WO2021112462A1 - 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법 - Google Patents

2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법 Download PDF

Info

Publication number
WO2021112462A1
WO2021112462A1 PCT/KR2020/016486 KR2020016486W WO2021112462A1 WO 2021112462 A1 WO2021112462 A1 WO 2021112462A1 KR 2020016486 W KR2020016486 W KR 2020016486W WO 2021112462 A1 WO2021112462 A1 WO 2021112462A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
estimating
dimensional
autonomous driving
dimensional image
Prior art date
Application number
PCT/KR2020/016486
Other languages
English (en)
French (fr)
Inventor
김재승
임도영
Original Assignee
주식회사 모빌테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 모빌테크 filed Critical 주식회사 모빌테크
Priority to US17/282,925 priority Critical patent/US20230143687A1/en
Publication of WO2021112462A1 publication Critical patent/WO2021112462A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Definitions

  • the present invention relates to a method for estimating a three-dimensional coordinate value for each pixel of a two-dimensional image and a method for estimating autonomous driving information using the same, and more particularly, to efficiently obtain information necessary for autonomous driving using a mono camera. made it possible
  • the present invention is a three-dimensional coordinate value estimation for each pixel of a two-dimensional image that can acquire information with sufficient reliability in real time without using expensive equipment such as a high-precision GPS receiver or stereo camera required for autonomous driving. It relates to a method and a method for estimating autonomous driving information using the same.
  • Unmanned autonomy of a vehicle largely consists of recognizing the surrounding environment (recognition area), planning a driving route from the recognized environment (judgment area), and driving along the planned route (control area) can be composed of
  • the cognitive domain it is the first base technology to be performed for autonomous driving, and only when the technology in the cognitive domain is accurately performed, accurate execution is possible in the next stage, the judgment domain and the control domain.
  • Techniques in the cognitive domain include a technique for grasping the exact location of a vehicle using GPS, a technique for acquiring information about the surrounding environment through image information acquired through a camera, and the like.
  • the error range for the position of a vehicle using GPS should be at least smaller than the distance between lanes, and the smaller the error range, the more efficient it can be used for real-time autonomous driving.
  • the price must be very high.
  • Korean Patent Application Laid-Open No. 10-2018-0019309 'Stereo camera-based autonomous driving method and device' (hereinafter 'prior art 2') ') is to adjust the depth measurement area by adjusting the distance between the two cameras constituting the stereo camera according to the driving state (mainly, driving speed) of the vehicle.
  • the technology using a stereo camera also has a problem similar to that of the cited invention 1 described above because the device is expensive, and it involves the complexity of the configuration and data processing of the device.
  • the precision depends on the amount of image-processed data, but for real-time data processing, the amount of data has to be reduced, so there is a disadvantage in that the precision is limited.
  • Patent Document 1 Republic of Korea Patent Publication No. 10-1765746 'Location estimation method and system for autonomous driving of unmanned agricultural tractors using multiple low-cost GPS'
  • Patent Document 2 Republic of Korea Patent Publication No. 10-2018-0019309 'Stereo camera-based autonomous driving method and device therefor'
  • the present invention provides a method for estimating 3D coordinates for each pixel of a 2D image capable of efficiently acquiring information required for autonomous driving using a mono camera, and a method for estimating the same
  • the purpose of the present invention is to provide a method for estimating autonomous driving information.
  • the present invention is an object required for autonomous driving by estimating in real time the three-dimensional coordinate value for each pixel of an image captured by a mono camera using modeling and linear interpolation by a pinhole camera model.
  • the purpose is to provide a method of estimating the 3D coordinate value for each pixel of a 2D image that can estimate the relative position with (vehicle, etc.) and semantic information (lane, etc.) for autonomous driving in real time, and an autonomous driving information estimation method using the same have.
  • An object of the present invention is to provide a method for estimating autonomous driving information using this method.
  • a reference value setting step of setting at least one of a vertical viewing angle, an azimuth, and a resolution of the mono camera
  • a pixel coordinate estimation step of estimating three-dimensional coordinate values of at least some of the pixels of the ground of the two-dimensional image photographed by the mono-camera based on the input height of the mono-camera and the set reference value
  • the pixel coordinate estimation step may include a modeling process of estimating a 3D coordinate value by generating a 3D point using a pinhole camera model.
  • the pixel coordinate estimation step may further include a lens distortion correction process of correcting distortion caused by a lens of the mono camera after the modeling process.
  • the three-dimensional coordinate value of the corresponding pixel is obtained from the pixel corresponding to the three-dimensional coordinate value by using a linear interpolation method.
  • the method may further include a non-corresponding pixel coordinate estimation step of estimating .
  • the autonomous driving information estimation method using the method for estimating the three-dimensional coordinate value for each pixel of the two-dimensional image according to the present invention includes: a two-dimensional image acquisition step of acquiring a two-dimensional image photographed by a mono camera; a coordinate system matching step of matching each pixel of the two-dimensional image with a three-dimensional coordinate system; and an object distance estimation step of estimating a distance to an object included in the two-dimensional image.
  • the coordinate system matching step includes a method of estimating a three-dimensional coordinate value for each pixel of the two-dimensional image, and the object distance estimating step identifies an object included in the two-dimensional image, and includes 3 corresponding pixels for each pixel. It may include a; object position calculation process of estimating the direction and distance to the object based on the dimensional coordinate value.
  • the distance to the object may be estimated by using a three-dimensional coordinate value corresponding to a pixel corresponding to the ground of the object included in the two-dimensional image.
  • the autonomous driving information estimation method using the method for estimating the three-dimensional coordinate value for each pixel of the two-dimensional image according to the present invention includes: a two-dimensional image acquisition step of acquiring a two-dimensional image photographed by a mono camera; a coordinate system matching step of matching each pixel of the two-dimensional image with a three-dimensional coordinate system; and a semantic information position estimation step of estimating a three-dimensional coordinate value of the semantic information for autonomous driving included in the ground of the two-dimensional image.
  • the coordinate system matching step includes the method of estimating a three-dimensional coordinate value for each pixel of the two-dimensional image of claim 4, and after the semantic information estimating step, based on the three-dimensional coordinate value of the semantic information for autonomous driving , a localization step of confirming the location of the corresponding vehicle on a map (High Definition map, HD-map) with precision for autonomous driving; may further include.
  • the localization step may include: a semantic information confirmation process of confirming the corresponding semantic information for autonomous driving on an HD-map for autonomous driving; and a vehicle location checking process of confirming the current location of the vehicle by applying a relative location with the corresponding autonomous driving semantic information on the map with the precision for autonomous driving.
  • the present invention has an advantage in that it is possible to efficiently acquire information necessary for autonomous driving by using a mono camera.
  • the present invention uses modeling and linear interpolation by a pinhole camera model to estimate in real time the three-dimensional coordinate values for each pixel of an image captured by a mono camera, thereby It has the advantage of estimating the relative position with an object (vehicle, etc.) and semantic information for autonomous driving (lane, etc.) in real time.
  • the present invention has the advantage of being able to acquire information having sufficient reliability in real time without using expensive equipment such as a high-precision GPS receiver or a stereo camera required for autonomous driving.
  • the present invention has the advantage of significantly reducing the data processing time compared to the expensive high-precision lidar that receives millions of points per second.
  • the precision of the lidar data measured while the vehicle is moving is also degraded because an error according to the relative speed and an error generated by the shaking of the vehicle occur, whereas the present invention provides a two-dimensional (2D) state in a static state (photographed image). It has the advantage of high precision because it corresponds to an image with three-dimensional relative coordinates.
  • the distance calculation using the depth of the stereo camera is limited because the distance can be estimated through pixels that can be distinguished from the surroundings, such as a feature point or a boundary line of an image. Since it is a distance calculation using triangulation, it is difficult to indicate an accurate value, but in the present invention, since it is a technique for estimating a three-dimensional coordinate value based on the ground, the distance can be calculated within a fairly reliable error range. There are advantages.
  • the present invention provides an advanced driver assistance system (ADAS) such as estimating the current location of an autonomous vehicle and calculating an inter-vehicle distance through recognition of objects and semantic information for autonomous driving without using GPS. ), localization, etc., furthermore, there is an advantage of developing a camera that can perform the same function by developing software with the corresponding data (corresponded data).
  • ADAS advanced driver assistance system
  • FIG. 1 is a flowchart illustrating an embodiment of a method for estimating a three-dimensional coordinate value for each pixel of a two-dimensional image according to the present invention.
  • FIG. 2 to 4 are diagrams for specifically explaining each step of FIG. 1 .
  • FIG. 5 is a flowchart illustrating another embodiment of FIG. 1 .
  • FIG. 6 is a flowchart illustrating an embodiment of a method for estimating autonomous driving information using a method for estimating a three-dimensional coordinate value for each pixel of a two-dimensional image according to the present invention.
  • FIG. 7 and 8 are diagrams for explaining step 'S300' shown in FIG.
  • 9 to 12 are views for explaining step 'S400' shown in FIG.
  • FIG. 13 is a flowchart illustrating another embodiment of a method for estimating autonomous driving information using a method for estimating a three-dimensional coordinate value for each pixel of a two-dimensional image according to the present invention.
  • FIG. 14 and 15 are diagrams for explaining FIG. 13 .
  • FIG. 13 is a flowchart illustrating another embodiment of a method for estimating autonomous driving information using a method for estimating a three-dimensional coordinate value for each pixel of a two-dimensional image according to the present invention.
  • 17 and 18 are diagrams for explaining FIG. 16 .
  • FIG. 1 is a flowchart illustrating an embodiment of a method for estimating a 3D coordinate value for each pixel of a 2D image according to the present invention
  • FIGS. 2 to 4 are diagrams for explaining each step of FIG. 1 in detail.
  • the method of estimating the three-dimensional coordinate value for each pixel of the two-dimensional image includes a camera height input step S110 , a reference value setting step S120 , and a pixel coordinate estimation step S130 .
  • the camera height input step (S110) is a process of receiving the height (h) of the mono camera installed parallel to the ground as shown in FIG. 2 , the driver (user) of the vehicle in which the mono camera is installed, or
  • the distance to the ground can be automatically measured by configuring a distance measuring sensor on one side of the mono camera, and in addition, the height of the mono camera can be measured and input in various ways according to the needs of those skilled in the art.
  • the reference value setting step (S120) is a process of setting at least one of the vertical viewing angle ( ⁇ ), the azimuth angle ( ⁇ ) and the resolution of the mono camera as shown in FIGS. Of course, it can be entered and changed by
  • the pixel coordinate estimation step (S130) is based on the previously input height of the mono camera and the set reference value, the three-dimensional coordinate value of at least some of the pixels for the ground of the two-dimensional image taken by the mono camera to estimate the pixel As a process, it will be described in detail below.
  • Equation (1) the height (h) of the mono camera and the distance (d) to the ground according to the vertical angle ( ⁇ ) can be expressed as Equation (1).
  • the three-dimensional coordinates of the three-dimensional points generated on the ground may be determined by the azimuth (Azimuth, ⁇ ) and the resolution.
  • the 3D point is a point displayed on the ground from the viewpoint of the mono camera, and may correspond to a pixel of a 2D image in the present invention.
  • the three-dimensional points X, Y, and Z with respect to the ground are the distance d, the height h of the mono camera, the vertical viewing angle ⁇ , and the azimuth angle ⁇ may be expressed as in Equation 2.
  • a three-dimensional coordinate value may be estimated by generating a three-dimensional point using a pinhole camera model.
  • FIG. 4 is an expression of the relationship and correspondence between the pixels of the 2D image on the ground and the 3D points using the pinhole camera model, and each of the Roll, Pitch, and Yaw
  • the rotation matrix R x , R y , and R z may be expressed as in Equation 3 .
  • the rotation matrix R for converting the 3D coordinate system of the mono camera view into the coordinate system of the 2D image may be expressed as Equation (4).
  • a lens distortion correction process (S132) of correcting distortion caused by the lens of the mono camera may be performed thereafter.
  • Equation 6 The process as in Equation 6 is developed using these external parameters.
  • FIG. 6 is a flowchart illustrating an embodiment of a method for estimating autonomous driving information using a method for estimating a three-dimensional coordinate value for each pixel of a two-dimensional image according to the present invention
  • FIGS. 7 to 12 are after step 'S130' shown in FIG. It is a diagram explaining each step of
  • FIGS. 7 and 8 show three-dimensional points in pixels corresponding to the ground of a two-dimensional image through the process described above in the pixel coordinate estimation step S130. As can be seen through enlarged parts, each point and It can be seen that there is an empty space between the points.
  • FIGS. 9 and 10 show that the linear interpolation method is applied in the left-right direction
  • FIGS. 11 and 12 show that the linear interpolation method is applied in the front-rear direction after applying the linear interpolation method in the left-right direction.
  • the data that has undergone such a process can be utilized in the object position calculation step S151 or the localization step S152 afterward, and will be described in more detail below.
  • FIG. 13 is a flowchart illustrating another embodiment of a method for estimating autonomous driving information using a method for estimating a three-dimensional coordinate value for each pixel of a two-dimensional image according to the present invention
  • FIGS. 14 and 15 are views for explaining FIG. 13 .
  • the method for estimating autonomous driving information includes a two-dimensional image acquisition step (S210), a coordinate system matching step (S220), and an object distance estimation step (S230).
  • a two-dimensional image captured by a mono camera is acquired in the two-dimensional image acquisition step (S210), and each pixel of the two-dimensional image and the three-dimensional coordinate system are matched in the coordinate system matching step (S220). , to estimate the distance to the object included in the two-dimensional image in the object distance estimation step (S230).
  • 3D coordinate values for each pixel of the 2D image may be estimated through the processes of steps 'S110' to 'S140' of FIG. 6 described above.
  • the object (vehicle) included in the 2D image is identified, and the direction and distance to the object are determined based on the 3D coordinate value corresponding to each pixel.
  • the estimated object position calculation process can be performed.
  • the object position calculation process may estimate the distance to the object by using the 3D coordinate value corresponding to the pixel corresponding to the ground (the ground on which the vehicle is located) of the object included in the 2D image.
  • FIG. 14 shows the distance estimated to the vehicle in front according to the present invention, as shown in FIG. 14 , pixels at both ends of the lower end of the bounding box that recognizes the vehicle in front, the width and height of the bounding box
  • the distance to the vehicle estimated using is 7.35m.
  • the distance measured using LiDAR is about 7.24 m as shown in FIG. 15, and although an error of about 0.11 m from FIG. 14 occurs, if it is estimated only from the ground where the object is located, Accuracy can be further improved.
  • FIG. 13 is a flowchart illustrating another embodiment of a method for estimating autonomous driving information using a method for estimating a three-dimensional coordinate value for each pixel of a two-dimensional image according to the present invention
  • FIGS. 17 and 18 are views for explaining FIG. 16 . .
  • the autonomous driving information estimation method includes a two-dimensional image acquisition step (S310), a coordinate system matching step (S320), and a semantic information location estimation step (S330).
  • a two-dimensional image captured by a mono camera is acquired in the two-dimensional image acquisition step (S310), and each pixel of the two-dimensional image and the three-dimensional coordinate system are matched in the coordinate system matching step (S320).
  • the semantic information location estimation step (S330) the three-dimensional coordinate value of the semantic information for autonomous driving included in the ground of the two-dimensional image is estimated.
  • 3D coordinate values for each pixel of the 2D image may be estimated through the processes of steps 'S110' to 'S140' of FIG. 6 described above.
  • the vehicle (mono camera is mounted) It may further include a localization (Localization) step (S340) for checking the location of the vehicle).
  • a localization (Localization) step (S340) for checking the location of the vehicle).
  • the localization step (S340) includes a semantic information confirmation process for confirming the corresponding autonomous driving semantic information on the HD-map for autonomous driving, and the corresponding autonomous driving on the autonomous driving precision road map.
  • a vehicle location check process of confirming the current location of the vehicle may be performed by applying the relative location with the use semantic information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법에 관한 것으로, 보다 상세하게는 모노카메라(Mono camera)를 이용하여 자율주행에 필요한 정보를 효율적으로 획득할 수 있도록 한 것이다. 특히, 본 발명은 자율주행에서 요구하는 고정밀GPS수신기나 스테레오카메라 등과 같은 고가의 장비를 사용하지 않으면서도, 충분한 신뢰성을 갖는 정보를 실시간으로 획득할 수 있다. 결과적으로, 본 발명은 GPS를 사용하지 않으면서도, 자율주행을 위한 의미정보 인식, 자율주행 자동차의 위치를 추정, 차간거리계산 등과 같은 ADAS, 로컬라이제이션 등에 널리 활용될 수 있으며, 더 나아가 대응된 데이터를 가지고 소프트웨어를 개발하여, 동일한 기능을 수행할 수 있는 카메라를 개발할 수 있다. 따라서, 자율주행 분야, 자율주행용 객체 인식 분야, 자율주행 차량 위치추적 분야는 물론 이와 유사 내지 연관된 분야에서 신뢰성 및 경쟁력을 향상시킬 수 있다.

Description

2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
본 발명은 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법에 관한 것으로서, 보다 상세하게는 모노카메라(Mono camera)를 이용하여 자율주행에 필요한 정보를 효율적으로 획득할 수 있도록 한 것이다.
특히, 본 발명은 자율주행에서 요구하는 고정밀GPS수신기나 스테레오카메라 등과 같은 고가의 장비를 사용하지 않으면서도, 충분한 신뢰성을 갖는 정보를 실시간으로 획득할 수 있는 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법에 관한 것이다.
차량의 무인자율화(자율주행차량)는 크게 주위 환경을 인식하는 단계(인지영역)와, 인식된 환경으로부터 주행경로를 계획하는 단계(판단영역), 그리고 계획된 경로를 따라 주행하는 단계(제어영역)로 구성될 수 있다.
특히, 인지영역의 경우 자율주행을 위해 가장 처음 수행되는 기반 기술이며, 이러한 인지영역에서의 기술이 정확히 이루어져야만 다음 단계인 판단영역 및 제어영역에서도 정확한 수행이 가능하게 된다.
인지영역에서의 기술로는, GPS를 이용하여 차량의 정확한 위치를 파악하는 기술과, 카메라를 통해 획득된 영상정보를 통해 주위환경에 대한 정보를 획득하는 기술 등이 있다.
먼저, 자율주행에서 GPS를 이용한 차량의 위치에 대한 오차범위는 최소한 차선의 간격보다 작아야 하며, 오차범위가 작을수록 실시간 자율주행에 효율적으로 사용할 수 있으나, 이와 같이 오차범위가 작은 고정밀의 GPS수신기는 그 가격이 매우 고가일 수 밖에 없다.
이를 해결하기 위한 기술 중 하나로, 하기의 선행기술문헌인 대한민국 등록특허공보 제10-1765746호 '다중 저가형 GPS를 이용한 농업용 무인 트랙터의 자율주행용 위치 추정방법 및 시스템'(이하 '선행기술1'이라고 한다)은, 기하학적 구조를 기반으로 복수 개의 GPS위치정보를 상호 보완함으로써, 복수 개의 저가형 GPS를 이용하여 정밀한 위치데이터를 확보할 수 있도록 한 것이다.
그러나, 선행기술1에서는 GPS수신기를 복수 개로 운용해야 하므로, 그 개수만큼 가격이 상승할 수 밖에 없음은 당연하다.
또한, 복수 개의 GPS수신기를 연동해야 하므로, 장치의 구성이나 데이터처리 프로세스 들이 복잡해질 수 밖에 없으며, 이러한 복잡성은 기기의 신뢰성을 저하시키는 요인이 될 수 있다.
다음으로, 주위환경에 대한 정보의 획득에 관한 기술로, 하기의 선행기술문헌인 대한민국 공개특허공보 제10-2018-0019309호 '스테레오 카메라 기반의 자율 주행 방법 및 그 장치'(이하 '선행기술2'이라고 한다)는, 차량의 주행상태(주로, 주행속도)에 따라 스테레오 카메라를 구성하는 두 카메라의 간격을 조절하여 깊이측정 영역을 조정하도록 한 것이다.
이와 같이 스테레오 카메라를 이용하는 기술 또한, 그 장치가 고가일 뿐만 아니라, 장치의 구성이나 데이터처리의 복잡성을 수반하므로, 앞서 설명한 인용발명1의 문제점과 유사한 문제점을 가지고 있다.
또한, 인용발명2와 같은 기술에서는 영상처리되는 데이터의 양에 따라 정밀도가 좌우되는데, 실시간 데이터 처리를 위해서는 데이터의 양을 감소시킬 수 밖에 없기 때문에, 그 정밀도에서 한계가 발생한다는 단점이 있다.
(특허문헌 1) 대한민국 등록특허공보 제10-1765746호 '다중 저가형 GPS를 이용한 농업용 무인 트랙터의 자율주행용 위치 추정방법 및 시스템'
(특허문헌 2) 대한민국 공개특허공보 제10-2018-0019309호 '스테레오 카메라 기반의 자율 주행 방법 및 그 장치'
상기와 같은 문제점을 해결하기 위해서, 본 발명은 모노카메라(Mono camera)를 이용하여 자율주행에 필요한 정보를 효율적으로 획득할 수 있도록 할 수 있는 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법을 제공하는데 목적이 있다.
보다 구체적으로, 본 발명은 핀홀 카메라 모델(Pinhole camera model)에 의한 모델링과 선형보간법을 이용하여, 모노카메라에서 촬영된 영상의 픽셀별 3차원 좌표값을 실시간으로 추정함으로써, 자율주행에서 요구되는 객체(차량 등)와의 상대적 위치와, 자율주행용 의미정보(차선 등)를 실시간으로 추정할 수 있는 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법을 제공하는데 목적이 있다.
또한, 자율주행에서 요구하는 고정밀의 GPS수신기나 스테레오카메라 등과 같은 고가의 장비를 사용하지 않으면서도, 충분한 신뢰성을 갖는 정보를 실시간으로 획득할 수 있는 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법을 제공하는데 목적이 있다.
입력단계; 상기 모노카메라의 수직시야각, 방위각 및 분해능 중 적어도 하나를 설정하는 기준값 설정단계; 및 상기 입력된 모노카메라의 높이 및 설정된 기준값에 기초하여, 상기 모노카메라에 의해 촬영된 2차원 영상의 지면에 대한 픽셀들 중 적어도 일부의 픽셀에 대한 3차원 좌표값 추정하는 픽셀좌표 추정단계;를 포함한다.
또한, 상기 픽셀좌표 추정단계는, 핀홀 카메라 모델(Pinhole camera model)을 이용한 3차원 포인트를 생성하여 3차원 좌표값을 추정하는 모델링과정;을 포함할 수 있다.
또한, 상기 픽셀좌표 추정단계는, 상기 모델링과정 이후에, 상기 모노카메라의 렌즈에 의한 왜곡을 보정하는 렌즈왜곡 보정과정;을 더 포함할 수 있다.
또한, 상기 픽셀좌표 추정단계 이후에, 상기 2차원 영상의 픽셀 중 3차원 좌표값에 대응되지 않은 픽셀에 대하여, 선형보간법을 이용하여 3차원 좌표값에 대응된 픽셀로부터 해당 픽셀의 3차원 좌표값을 추정하는 미대응픽셀좌표 추정단계;를 더 포함할 수 있다.
또한, 본 발명에 따른 2차원 영상의 픽셀별 3차원 좌표값 추정 방법을 이용한 자율주행정보 추정 방법은, 모노카메라(Mono camera)에 의해 촬영된 2차원 영상을 획득하는 2차원영상 획득단계; 상기 2차원 영상의 각 픽셀과 3차원 좌표계를 매칭시키는 좌표계 매칭단계; 및 상기 2차원 영상에 포함된 객체까지의 거리를 추정하는 객체거리 추정단계;를 포함한다.
또한, 상기 좌표계 매칭단계는, 상기의 2차원 영상의 픽셀별 3차원 좌표값 추정 방법을 포함하며, 상기 객체거리 추정단계는, 상기 2차원 영상에 포함된 객체를 확인하고, 픽셀별로 대응된 3차원 좌표값에 기초하여, 해당 객체까지의 방향 및 거리를 추정하는 객체위치 산출과정;을 포함할 수 있다.
또한, 상기 객체위치 산출과정은, 상기 2차원 영상에 포함된 객체의 지면에 해당하는 픽셀에 대응된 3차원 좌표값을 이용하여 해당 객체까지의 거리를 추정할 수 있다.
또한, 본 발명에 따른 2차원 영상의 픽셀별 3차원 좌표값 추정 방법을 이용한 자율주행정보 추정 방법은, 모노카메라(Mono camera)에 의해 촬영된 2차원 영상을 획득하는 2차원영상 획득단계; 상기 2차원 영상의 각 픽셀과 3차원 좌표계를 매칭시키는 좌표계 매칭단계; 및 상기 2차원 영상의 지면에 포함된 자율주행용 의미정보의 3차원 좌표값을 추정하는 의미정보위치 추정단계;를 포함한다.
또한, 상기 좌표계 매칭단계는, 청구항 제4항의 2차원 영상의 픽셀별 3차원 좌표값 추정 방법을 포함하며, 상기 의미정보 추정단계 이후에, 상기 자율주행용 의미정보의 3차원 좌표값에 기초하여, 자율주행용 정밀도로지도(High Definition map, HD-map) 상에서 해당 차량의 위치를 확인하는 로컬라이제이션(Localization) 단계;를 더 포함할 수 있다.
또한, 상기 로컬라이제이션 단계는, 자율주행용 정밀도로지도(HD-map) 상에서, 해당 자율주행용 의미정보를 확인하는 의미정보 확인과정; 및 상기 자율주행용 정밀도로지도 상에서, 해당 자율주행용 의미정보와의 상대적 위치를 적용하여 현재 차량의 위치를 확인하는 차량위치 확인과정;을 포함할 수 있다.
상기와 같은 해결수단에 의해, 본 발명은 모노카메라(Mono camera)를 이용하여 자율주행에 필요한 정보를 효율적으로 획득할 수 있도록 할 수 있는 장점이 있다.
*보다 구체적으로, 본 발명은 핀홀 카메라 모델(Pinhole camera model)에 의한 모델링과 선형보간법을 이용하여, 모노카메라에서 촬영된 영상의 픽셀별 3차원 좌표값을 실시간으로 추정함으로써, 자율주행에서 요구되는 객체(차량 등)와의 상대적 위치와, 자율주행용 의미정보(차선 등)를 실시간으로 추정할 수 있는 장점이 있다.
특히, 단순히 촬영된 영상만을 이용하는 경우, 영상처리를 통해 영상 내의 객체를 인식하고, 해당 객체까지의 거리를 추정하는 하는데, 이때 요구되는 거리의 정확도가 높아질수록 처리해야 할 데이터의 양이 매우 크게 증가하므로, 실시간으로 데이터를 처리하는데 한계가 있다.
이에 반해, 본 발명에서는 촬영된 영상의 지면을 기준으로 각 픽셀별 3차원 좌표값을 추정하므로, 영상분석에 필요한 데이터를 최소화할 수 있으며, 실시간 데이터처리가 가능하다는 장점이 있다.
이에, 본 발명은 자율주행에서 요구하는 고정밀GPS수신기나 스테레오카메라 등과 같은 고가의 장비를 사용하지 않으면서도, 충분한 신뢰성을 갖는 정보를 실시간으로 획득할 수 있는 장점이 있다.
또한, 본 발명은 초당 수백만 개의 포인트가 들어오는 고가의 고정밀라이다에 비해 데이터 처리 시간을 월등히 줄일 수 있는 장점이 있다.
또한, 차량이 움직이면서 측정되는 라이다의 데이터는 상대 속도에 따른 오차와 차량의 흔들림으로 발생하는 오차가 발생하기 때문에 정밀도 역시 떨어지게 되는 반면, 본 발명은 정적인 상태(촬영된 영상)에서의 2차원 영상에 3차원의 상대좌표를 대응시키는 것이기 때문에 정밀도가 높다는 장점이 있다.
더불어, 스테레오 카메라의 뎁스(Depth)를 이용한 거리 계산은 이미지의 특징점(Feature) 혹은 경계선(Boundary)과 같이 주변과 구분할 수 있는 픽셀을 통해 거리를 추정할 수 있기 때문에 제약이 따른다는 단점과 더불어, 삼각 측량(Triangulation)을 이용한 거리 계산이기 때문에 정확한 값을 나타내기엔 무리가 있는 반면, 본 발명에서는 지면을 기준으로 하여 3차원 좌표값을 추정하는 기술이므로, 상당히 신뢰할만한 오차 범위 내로 거리를 계산할 수 있다는 장점이 있다.
이와 같이, 본 발명은 GPS를 사용하지 않으면서도, 객체와 자율주행을 위한 의미정보의 인식을 통해 자율주행 자동차의 현재 위치를 추정, 차간 거리 계산과 같은 ADAS(Advanced Driver Assistance System, 첨단 운전자 지원 시스템), 로컬라이제이션(Localization) 등에 널리 활용될 수 있으며, 더 나아가 대응된 데이터(Corresponded data)를 가지고 소프트웨어를 개발하여 동일한 기능을 수행할 수 있는 카메라를 개발할 수 있는 장점이 있다.
따라서, 자율주행 분야, 자율주행용 객체 인식 분야, 자율주행 차량 위치추적 분야는 물론 이와 유사 내지 연관된 분야에서 신뢰성 및 경쟁력을 향상시킬 수 있다.
도 1은 본 발명에 의한 2차원 영상의 픽셀별 3차원 좌표값 추정 방법의 일 실시예를 나타내는 흐름도이다.
도 2 내지 도 4는 도 1의 각 단계를 구체적으로 설명하기 위한 도면이다.
도 5는 도 1의 다른 일 실시예를 나타내는 흐름도이다.
도 6은 본 발명에 의한 2차원 영상의 픽셀별 3차원 좌표값 추정 방법을 이용한 자율주행정보 추정 방법의 일 실시예를 나타내는 흐름도이다.
도 7 및 도 8은 도 3에 나타난 단계'S300'을 설명하는 도면이다.
도 9 내지 도 12는 도 3에 나타난 단계'S400'을 설명하는 도면이다.
도 13은 본 발명에 의한 2차원 영상의 픽셀별 3차원 좌표값 추정 방법을 이용한 자율주행정보 추정 방법의 다른 일 실시예를 나타내는 흐름도이다.
도 14 및 도 15는 도 13을 설명하는 도면이다.
도 13은 본 발명에 의한 2차원 영상의 픽셀별 3차원 좌표값 추정 방법을 이용한 자율주행정보 추정 방법의 또 다른 일 실시예를 나타내는 흐름도이다.
도 17 및 도 18은 도 16을 설명하는 도면이다.
본 발명에 따른 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법에 대한 예는 다양하게 적용할 수 있으며, 이하에서는 첨부된 도면을 참조하여 가장 바람직한 실시 예에 대해 설명하기로 한다.
도 1은 본 발명에 의한 2차원 영상의 픽셀별 3차원 좌표값 추정 방법의 일 실시예를 나타내는 흐름도이고, 도 2 내지 도 4는 도 1의 각 단계를 구체적으로 설명하기 위한 도면이다.
도 1을 참조하면, 2차원 영상의 픽셀별 3차원 좌표값 추정 방법은 카메라높이 입력단계(S110), 기준값 설정단계(S120) 및 픽셀좌표 추정단계(S130)를 포함한다.
카메라높이 입력단계(S110)는 도 2에 나타난 바와 같이 지면과 평행하게 설치된 모노카메라(Mono camera)의 높이(h)를 입력받는 과정으로, 모노카메라가 설치된 차량의 운전자(사용자)가 입력하거나, 모노카메라의 일측에 거리측정센서를 구성하여 지면까지의 거리를 자동으로 측정할 수 있으며, 이외에도 당업자의 요구에 따라 다양한 방식으로 모노카메라의 높이를 측정 및 입력할 수 있다.
기준값 설정단계(S120)는 도 2 및 도 3에 나타난 바와 같이 모노카메라의 수직시야각(θ), 방위각(φ) 및 분해능 중 적어도 하나를 설정하는 과정으로, 주로 사용하는 값을 미리 설정하거나 사용자에 의해 입력 및 변경할 수 있음은 물론이다.
픽셀좌표 추정단계(S130)는 앞서 입력된 모노카메라의 높이 및 설정된 기준값에 기초하여, 모노카메라에 의해 촬영된 2차원 영상의 지면에 대한 픽셀들 중 적어도 일부의 픽셀에 대한 3차원 좌표값 추정하는 과정으로, 이하에서 구체적으로 설명하기로 한다.
먼저, 도 2를 참조하면, 모노카메라의 높이(h)와 수직시야각(Vertical angle, θ)에 따른 지면까지의 거리(d)는 수학식 1과 같이 나타낼 수 있다.
(수학식 1)
Figure PCTKR2020016486-appb-img-000001
그리고, 도 3에 나타난 바와 같이 방위각(Azimuth, φ)과 분해능에 의해, 지면에 생성되는 3차원 포인트의 3차원 좌표가 결정될 수 있다. 여기서, 3차원 포인트는 모노카메라의 시점에서 지면에 표시되는 점으로, 본 발명에서는 2차원 영상의 픽셀에 대응될 수 있다.
예를 들어, 지면에 대한 3차원 포인트 X, Y, Z는 거리 d, 모노카메라의 높이 h, 수직시야각 θ, 방위각 φ은 수학식 2와 같이 나타낼 수 있다.
(수학식 2)
Figure PCTKR2020016486-appb-img-000002
이후, 핀홀 카메라 모델(Pinhole camera model)을 이용한 3차원 포인트를 생성하여 3차원 좌표값을 추정할 수 있다.
도 4는 핀홀 카메라 모델을 이용하여 지면에 대한 2차원 영상의 픽셀과, 3차원 포인트의 관계 및 대응되는 모습을 표현한 것으로, 롤(Roll), 피치(Pitch), 요(Yaw)에 대한 각각의 로테이션 매트릭스(Rotation matrix) R x, R y, R z는 수학식 3과 같이 표현할 수 있다.
(수학식 3)
Figure PCTKR2020016486-appb-img-000003
그리고, 모노카메라 시점의 3차원 좌표계를 2차원 영상의 좌표계로 변환해주는 로테이션 매트릭스 R은 수학식 4와 같이 나타낼 수 있다.
(수학식 4)
Figure PCTKR2020016486-appb-img-000004
마지막으로, 3차원 좌표계의 포인트 X, Y, Z를 카메라 시점의 2차원 영상의 좌표계의 포인트로 변환하기 위해서는 식 5와 같은 3차원 좌표계 포인트에 로테이션 매트릭스 R을 곱해준다.
(수학식 5)
Figure PCTKR2020016486-appb-img-000005
이와 같이, 도 5에 나타난 모델링과정(S131)을 거치게 되면, 이후에 모노카메라의 렌즈에 의한 왜곡을 보정하는 렌즈왜곡 보정과정(S132)을 수행할 수 있다.
일반적으로, 카메라의 렌즈는 완벽한 곡률이 아니기 때문에 상의 왜곡이 발생하게 되며, 정확한 위치를 추정하기 위해서는 이러한 왜곡을 보정하는 캘리브레인션(Calibration)을 거치게 된다.
모노카메라의 캘리브레이션을 통해 모노카메라의 외부 파라미터(Extrinsic parameter)를 계산하면, 레이디얼 디스토션 계수(Radial distortion coefficients) k 1, k 2, k 3, k 4, k 5, k 6와 탄젠셜 디스토션 계수(Tangential distortion coefficients) p 1, p 2를 구할 수 있다.
이러한 외부 파라미터를 이용하여 수학식 6과 같은 과정을 전개한다.
(수학식 6)
Figure PCTKR2020016486-appb-img-000006
(여기서, r 2=x' 2+y' 2)
앞서 구한 두 점 x", y"과, 모노카메라 내부 파라미터인 초점 거리(Focal length) f x, f y와, 주점(Principal point) c x, c y를 이용하여 구한 영상 좌표계 u, v와의 관계식은 수학식 7과 같다.
(수학식 7)
Figure PCTKR2020016486-appb-img-000007
이와 같은 과정으로, 모노카메라의 높이와 핀홀 카메라 모델을 이용하면 지면에 해당하는 픽셀과 3차원 포인트를 계산할 수 있다.
이하에서는, 실제 모노카메라에 의해 촬영된 영상을 이용하여, 앞서 설명한 과정들을 설명하기로 한다.
도 6은 본 발명에 의한 2차원 영상의 픽셀별 3차원 좌표값 추정 방법을 이용한 자율주행정보 추정 방법의 일 실시예를 나타내는 흐름도이고, 도 7 내지 도 12는 도 3에 나타난 단계'S130'이후의 각 단계들을 설명하는 도면이다.
먼저, 도 7 및 도 8은 픽셀좌표 추정단계(S130)에서 앞서 설명한 과정을 거쳐, 2차원 영상의 지면에 해당하는 픽셀에 3차원 포인트를 나타낸 것으로, 확대부분을 통해 알 수 있듯이, 각 포인트와 포인트 사이가 비어있음 알 수 있다.
도 6을 참조하면, 픽셀좌표 추정단계(S130) 이후에 도 7 및 도 8의 확대부분과 같이 2차원 영상의 픽셀 중 3차원 포인트의 좌표값에 대응되지 않은 픽셀에 대하여, 선형보간법을 이용하여 3차원 포인트의 좌표값에 대응된 픽셀로부터 해당 픽셀의 3차원 좌표값을 추정하게 되면(S140), 도 9 내지 도 12에 나타난 바와 같이 3차원 포인트가 표시될 수 있다.
여기서, 도 9 및 도 10은 좌우방향으로 선형보간법을 적용한 것이고, 도 11 및 도 12는 좌우방향으로 선형보간법을 적용한 이후 전후방향으로 선형보간법을 적용한 것이다.
이와 같은 과정을 거친 데이터들은, 이후 객체위치 산출단계(S151)나 로컬라이제이션(Localization) 단계(S152) 등에서 활용이 가능하며, 이하에서 이를 보다 구체적으로 살펴보기로 한다.
도 13은 본 발명에 의한 2차원 영상의 픽셀별 3차원 좌표값 추정 방법을 이용한 자율주행정보 추정 방법의 다른 일 실시예를 나타내는 흐름도이고, 도 14 및 도 15는 도 13을 설명하는 도면이다.
도 13을 참조하면, 본 발명에 의한 자율주행정보 추정 방법은 2차원영상 획득단계(S210), 좌표계 매칭단계(S220) 및 객체거리 추정단계(S230)을 포함한다.
구체적으로 살펴보면, 2차원영상 획득단계(S210)에서 모노카메라(Mono camera)에 의해 촬영된 2차원 영상을 획득하고, 좌표계 매칭단계(S220)에서 2차원 영상의 각 픽셀과 3차원 좌표계를 매칭시키며, 객체거리 추정단계(S230)에서 2차원 영상에 포함된 객체까지의 거리를 추정한다.
이때, 좌표계 매칭단계(S220)는 앞서 설명한 도 6의 단계 'S110' 내지 'S140'의 과정을 거쳐 2차원 영상의 픽셀별 3차원 좌표값 추정할 수 있다.
이후 객체거리 추정단계(S230)에서는, 도 14에 나타난 바와 같이 2차원 영상에 포함된 객체(차량)를 확인하고, 픽셀별로 대응된 3차원 좌표값에 기초하여, 해당 객체까지의 방향 및 거리를 추정하는 객체위치 산출과정을 수행할 수 있다.
구체적으로, 객체위치 산출과정은 2차원 영상에 포함된 객체의 지면(차량이 위치한 지면)에 해당하는 픽셀에 대응된 3차원 좌표값을 이용하여 해당 객체까지의 거리를 추정할 수 있다.
도 14는 본 발명에 의해 전방의 차량까지 추정한 거리를 나타낸 것으로, 도 14에 나타난 바와 같이 전방의 차량을 인식한 바운딩 박스(Bounding box)의 양쪽 끝 하단부분의 픽셀, 바운딩 박스의 폭과 높이를 이용하여 추정된 해당 차량까지의 거리는 7.35m이다.
그리고, 동일 상황에서 라이다(LiDAR)를 이용하여 측정된 거리는 도 15에 나타난 바와 같이 약 7.24m로, 도 14와는 약 0.11m의 오차가 발생하기는 하지만, 객체가 위치한 지면으로만 추정하게 되면 정확도가 더 향상될 수 있다.
도 13은 본 발명에 의한 2차원 영상의 픽셀별 3차원 좌표값 추정 방법을 이용한 자율주행정보 추정 방법의 또 다른 일 실시예를 나타내는 흐름도이고, 도 17 및 도 18은 도 16을 설명하는 도면이다.
도 16을 참조하면, 본 발명에 의한 자율주행정보 추정 방법은 2차원영상 획득단계(S310), 좌표계 매칭단계(S320) 및 의미정보위치 추정단계(S330)을 포함한다.
구체적으로 살펴보면, 2차원영상 획득단계(S310)에서 모노카메라(Mono camera)에 의해 촬영된 2차원 영상을 획득하고, 좌표계 매칭단계(S320)에서 2차원 영상의 각 픽셀과 3차원 좌표계를 매칭시키며, 의미정보위치 추정단계(S330)에서 2차원 영상의 지면에 포함된 자율주행용 의미정보의 3차원 좌표값을 추정한다.
이때, 좌표계 매칭단계(S320)는 앞서 설명한 도 6의 단계 'S110' 내지 'S140'의 과정을 거쳐 2차원 영상의 픽셀별 3차원 좌표값 추정할 수 있다.
그리고, 의미정보위치 추정단계(S330) 이후에, 자율주행용 의미정보의 3차원 좌표값에 기초하여, 자율주행용 정밀도로지도(High Definition map, HD-map) 상에서 해당 차량(모노카메라가 탑재된 차량)의 위치를 확인하는 로컬라이제이션(Localization) 단계(S340)를 더 포함할 수 있다.
특히, 로컬라이제이션(Localization) 단계(S340)는 자율주행용 정밀도로지도(HD-map) 상에서, 해당 자율주행용 의미정보를 확인하는 의미정보 확인과정과, 자율주행용 정밀도로지도 상에서, 해당 자율주행용 의미정보와의 상대적 위치를 적용하여 현재 차량의 위치를 확인하는 차량위치 확인과정을 수행할 수 있다.
다시 말해, 도 17에 나타난 바와 같이 2차원 영상의 지면에 포함된 자율주행용 의미정보(예를 들어, 차선)의 3차원 좌표값을 추정하게 되면(S330), 도 18에 나타난 바와 같이 정밀도로지도(HD-map) 상에서 해당 의미정보를 확인하고, 확인된 의미정보와의 상대적인 방향과 거리를 이용하여 해당 차량(모노카메라가 설치된 차량)의 위치를 파악할 수 있다(S340).
이상에서 본 발명에 의한 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법에 대하여 설명하였다. 이러한 본 발명의 기술적 구성은 본 발명이 속하는 기술분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 한정적인 것이 아닌 것으로서 이해되어야 한다.

Claims (10)

  1. 지면과 평행하게 설치된 모노카메라(Mono camera)의 높이를 입력받는 카메라높이 입력단계;
    상기 모노카메라의 수직시야각, 방위각 및 분해능 중 적어도 하나를 설정하는 기준값 설정단계; 및
    상기 입력된 모노카메라의 높이 및 설정된 기준값에 기초하여, 상기 모노카메라에 의해 촬영된 2차원 영상의 지면에 대한 픽셀들 중 적어도 일부의 픽셀에 대한 3차원 좌표값 추정하는 픽셀좌표 추정단계;를 포함하는 2차원 영상의 픽셀별 3차원 좌표값 추정 방법.
  2. 제 1항에 있어서,
    상기 픽셀좌표 추정단계는,
    핀홀 카메라 모델(Pinhole camera model)을 이용한 3차원 포인트를 생성하여 3차원 좌표값을 추정하는 모델링과정;을 포함하는 것을 특징으로 하는 2차원 영상의 픽셀별 3차원 좌표값 추정 방법.
  3. 제 2항에 있어서,
    상기 픽셀좌표 추정단계는,
    상기 모델링과정 이후에, 상기 모노카메라의 렌즈에 의한 왜곡을 보정하는 렌즈왜곡 보정과정;을 더 포함하는 것을 특징으로 하는 2차원 영상의 픽셀별 3차원 좌표값 추정 방법.
  4. 제 1항 내지 제 3항 중 어느 한 항에 있어서,
    상기 픽셀좌표 추정단계 이후에,
    상기 2차원 영상의 픽셀 중 3차원 좌표값에 대응되지 않은 픽셀에 대하여, 선형보간법을 이용하여 3차원 좌표값에 대응된 픽셀로부터 해당 픽셀의 3차원 좌표값을 추정하는 미대응픽셀좌표 추정단계;를 더 포함하는 것을 특징으로 하는 2차원 영상의 픽셀별 3차원 좌표값 추정 방법.
  5. 모노카메라(Mono camera)에 의해 촬영된 2차원 영상을 획득하는 2차원영상 획득단계;
    상기 2차원 영상의 각 픽셀과 3차원 좌표계를 매칭시키는 좌표계 매칭단계; 및
    상기 2차원 영상에 포함된 객체까지의 거리를 추정하는 객체거리 추정단계;를 포함하는 2차원 영상의 픽셀별 3차원 좌표값 추정 방법을 이용한 자율주행정보 추정 방법.
  6. 제 5항에 있어서,
    상기 좌표계 매칭단계는,
    청구항 4의 2차원 영상의 픽셀별 3차원 좌표값 추정 방법을 포함하며,
    상기 객체거리 추정단계는,
    상기 2차원 영상에 포함된 객체를 확인하고, 픽셀별로 대응된 3차원 좌표값에 기초하여, 해당 객체까지의 방향 및 거리를 추정하는 객체위치 산출과정;을 포함하는 것을 특징으로 하는 2차원 영상의 픽셀별 3차원 좌표값 추정 방법을 이용한 자율주행정보 추정 방법.
  7. 제 6항에 있어서,
    상기 객체위치 산출과정은,
    상기 2차원 영상에 포함된 객체의 지면에 해당하는 픽셀에 대응된 3차원 좌표값을 이용하여 해당 객체까지의 거리를 추정하는 것을 특징으로 하는 2차원 영상의 픽셀별 3차원 좌표값 추정 방법을 이용한 자율주행정보 추정 방법.
  8. 모노카메라(Mono camera)에 의해 촬영된 2차원 영상을 획득하는 2차원영상 획득단계;
    상기 2차원 영상의 각 픽셀과 3차원 좌표계를 매칭시키는 좌표계 매칭단계; 및
    상기 2차원 영상의 지면에 포함된 자율주행용 의미정보의 3차원 좌표값을 추정하는 의미정보위치 추정단계;를 포함하는 2차원 영상의 픽셀별 3차원 좌표값 추정 방법을 이용한 자율주행정보 추정 방법.
  9. 제 8항에 있어서,
    상기 좌표계 매칭단계는,
    청구항 제4항의 2차원 영상의 픽셀별 3차원 좌표값 추정 방법을 포함하며,
    상기 의미정보 추정단계 이후에,
    상기 자율주행용 의미정보의 3차원 좌표값에 기초하여, 자율주행용 정밀도로지도(High Definition map, HD-map) 상에서 해당 차량의 위치를 확인하는 로컬라이제이션(Localization) 단계;를 더 포함하는 것을 특징으로 하는 2차원 영상의 픽셀별 3차원 좌표값 추정 방법을 이용한 자율주행정보 추정 방법.
  10. 제 9항에 있어서,
    상기 로컬라이제이션 단계는,
    자율주행용 정밀도로지도(HD-map) 상에서, 해당 자율주행용 의미정보를 확인하는 의미정보 확인과정; 및
    상기 자율주행용 정밀도로지도 상에서, 해당 자율주행용 의미정보와의 상대적 위치를 적용하여 현재 차량의 위치를 확인하는 차량위치 확인과정;을 포함하는 것을 특징으로 하는 2차원 영상의 픽셀별 3차원 좌표값 추정 방법을 이용한 자율주행정보 추정 방법.
PCT/KR2020/016486 2019-12-06 2020-11-20 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법 WO2021112462A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/282,925 US20230143687A1 (en) 2019-12-06 2020-11-20 Method of estimating three-dimensional coordinate value for each pixel of two-dimensional image, and method of estimating autonomous driving information using the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190161567A KR102249769B1 (ko) 2019-12-06 2019-12-06 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
KR10-2019-0161567 2019-12-06

Publications (1)

Publication Number Publication Date
WO2021112462A1 true WO2021112462A1 (ko) 2021-06-10

Family

ID=75919060

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/016486 WO2021112462A1 (ko) 2019-12-06 2020-11-20 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법

Country Status (3)

Country Link
US (1) US20230143687A1 (ko)
KR (1) KR102249769B1 (ko)
WO (1) WO2021112462A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102490521B1 (ko) 2021-06-30 2023-01-26 주식회사 모빌테크 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법
KR102506811B1 (ko) 2021-08-17 2023-03-08 김배훈 자율 주행용 차량의 근접 거리 측정 장치 및 방법
KR102506812B1 (ko) 2021-08-27 2023-03-07 김배훈 자율 주행용 차량
KR20230040149A (ko) 2021-09-15 2023-03-22 김배훈 카메라 탑재용 프레임을 구비하는 자율 주행 차량
KR102562617B1 (ko) 2021-09-15 2023-08-03 김배훈 어레이 카메라 시스템
KR20230040150A (ko) 2021-09-15 2023-03-22 김배훈 자율 주행용 차량
KR20230119912A (ko) 2022-02-08 2023-08-16 김배훈 백업카메라를 활용한 자율 주행 차량의 거리 측정 장치
KR20230119911A (ko) 2022-02-08 2023-08-16 김배훈 자율 주행 차량의 거리 측정 시스템 및 방법
KR102540676B1 (ko) * 2022-09-05 2023-06-07 콩테크 주식회사 카메라이미지를 이용하여 객체의 위치를 도출하는 방법 및 그 시스템
CN115393479B (zh) * 2022-10-28 2023-03-24 山东捷瑞数字科技股份有限公司 一种基于三维引擎的车轮转动控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001236505A (ja) * 2000-02-22 2001-08-31 Atsushi Kuroda 座標推定方法、座標推定装置および座標推定システム
JP2006277293A (ja) * 2005-03-29 2006-10-12 Dainippon Printing Co Ltd 回転体の三次元情報復元装置
KR100640761B1 (ko) * 2005-10-31 2006-11-01 전자부품연구원 단일카메라 기반의 영상 특징점의 3차원 위치 검출방법
JP2009186353A (ja) * 2008-02-07 2009-08-20 Fujitsu Ten Ltd 物体検出装置および物体検出方法
JP2011095112A (ja) * 2009-10-29 2011-05-12 Tokyo Electric Power Co Inc:The 三次元位置測定装置、飛翔体のマッピングシステム、およびコンピュータプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11144050A (ja) * 1997-11-06 1999-05-28 Hitachi Ltd 画像歪補正方法及び装置
DE602007003849D1 (de) * 2007-10-11 2010-01-28 Mvtec Software Gmbh System und Verfahren zur 3D-Objekterkennung
WO2014006545A1 (en) * 2012-07-04 2014-01-09 Creaform Inc. 3-d scanning and positioning system
KR101916467B1 (ko) * 2012-10-30 2018-11-07 현대자동차주식회사 Ａｖｍ 시스템의 장애물 검출 장치 및 방법
KR101765746B1 (ko) 2015-09-25 2017-08-08 서울대학교산학협력단 다중 저가형 gps를 이용한 농업용 무인 트랙터의 자율주행용 위치 추정방법 및 시스템
JP6713622B2 (ja) * 2016-03-04 2020-06-24 株式会社アプライド・ビジョン・システムズ ３次元計測装置、３次元計測システム、３次元計測方法及びプログラム
KR102462502B1 (ko) 2016-08-16 2022-11-02 삼성전자주식회사 스테레오 카메라 기반의 자율 주행 방법 및 그 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001236505A (ja) * 2000-02-22 2001-08-31 Atsushi Kuroda 座標推定方法、座標推定装置および座標推定システム
JP2006277293A (ja) * 2005-03-29 2006-10-12 Dainippon Printing Co Ltd 回転体の三次元情報復元装置
KR100640761B1 (ko) * 2005-10-31 2006-11-01 전자부품연구원 단일카메라 기반의 영상 특징점의 3차원 위치 검출방법
JP2009186353A (ja) * 2008-02-07 2009-08-20 Fujitsu Ten Ltd 物体検出装置および物体検出方法
JP2011095112A (ja) * 2009-10-29 2011-05-12 Tokyo Electric Power Co Inc:The 三次元位置測定装置、飛翔体のマッピングシステム、およびコンピュータプログラム

Also Published As

Publication number Publication date
KR102249769B1 (ko) 2021-05-12
US20230143687A1 (en) 2023-05-11

Similar Documents

Publication Publication Date Title
WO2021112462A1 (ko) 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
WO2020235734A1 (ko) 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법
CN108692719B (zh) 物体检测装置
WO2016153100A1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
WO2019139243A1 (ko) 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법
EP3782363B1 (en) Method for dynamic stereoscopic calibration
CN111353453B (zh) 用于车辆的障碍物检测方法和装置
WO2021015435A1 (ko) 항공사진을 이용하여 3차원 지도를 생성하는 장치 및 방법
WO2020071619A1 (ko) 정밀 지도 업데이트 장치 및 방법
WO2016206108A1 (en) System and method for measuring a displacement of a mobile platform
WO2020189909A2 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
CN114494466B (zh) 外参标定方法、装置及设备、存储介质
CN110044266B (zh) 基于散斑投影的摄影测量系统
WO2013022153A1 (en) Apparatus and method for detecting lane
JP3348939B2 (ja) 車輌用距離検出装置
KR102195040B1 (ko) 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법
CN112785647A (zh) 一种三目立体图像检测方法和系统
JP3820074B2 (ja) 写真測量用画像処理装置、この写真測量画像処理装置を用いた写真測量方法、および写真測量用画像処理プログラムを格納した記録媒体
CN111412898B (zh) 基于地空耦合的大区域变形摄影测量方法
Shami et al. Geo-locating Road Objects using Inverse Haversine Formula with NVIDIA Driveworks
US20230421739A1 (en) Robust Stereo Camera Image Processing Method and System
WO2022075607A1 (ko) 도로 노면 감지가 가능한 라이다 시스템 및 데이터 처리방법
CN117677985A (zh) 用于标记对极投影3d图像的方法
CN114549648A (zh) 一种基于高分遥感卫星立体影像rpc模型定位系统
WO2024179658A1 (en) Calibration of sensor devices

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20896408

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20896408

Country of ref document: EP

Kind code of ref document: A1