KR20210130688A - Apparatus for generating top-view image and method thereof - Google Patents

Apparatus for generating top-view image and method thereof Download PDF

Info

Publication number
KR20210130688A
KR20210130688A KR1020210142658A KR20210142658A KR20210130688A KR 20210130688 A KR20210130688 A KR 20210130688A KR 1020210142658 A KR1020210142658 A KR 1020210142658A KR 20210142658 A KR20210142658 A KR 20210142658A KR 20210130688 A KR20210130688 A KR 20210130688A
Authority
KR
South Korea
Prior art keywords
lane
camera
image
view image
color
Prior art date
Application number
KR1020210142658A
Other languages
Korean (ko)
Other versions
KR102430352B1 (en
Inventor
이성수
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020210142658A priority Critical patent/KR102430352B1/en
Publication of KR20210130688A publication Critical patent/KR20210130688A/en
Application granted granted Critical
Publication of KR102430352B1 publication Critical patent/KR102430352B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Disclosed are a top-view image generating device and a method thereof. According to one aspect of the present invention, the top-view image generating method includes: a process of acquiring front, rear, left, and right images respectively from front, rear, left, and right cameras installed in a vehicle; a process of detecting a left lane and a right lane of the vehicle from the front, rear, left, and right images; a process of determining whether the color and shape of the left lane are the same as the color and shape of the right lane; a process of estimating an attitude angle of at least one of the front, rear, left, and right cameras when the color and shape are the same; and a process of generating a top-view image based on the camera attitude angle.

Description

탑-뷰 영상 생성 장치 및 그 방법{APPARATUS FOR GENERATING TOP-VIEW IMAGE AND METHOD THEREOF}Apparatus for generating a top-view image and a method therefor

본 발명은 탑-뷰 영상 생성 장치 및 그 방법, 더욱 상세하게는 차량에 탑재된 어라운드 뷰 모니터링 시스템의 어라운드 뷰 영상으로 정합되는 탑-뷰(Top-View) 영상을 생성하는 탑-뷰 영상 생성 장치 및 그 방법에 관한 것이다.The present invention relates to an apparatus and method for generating a top-view image, and more particularly, to an apparatus for generating a top-view image that generates a top-view image matched with an around-view image of an around-view monitoring system mounted on a vehicle. and methods thereof.

차량의 어라운드 뷰 모니터링(Around View Monitoring, AVM) 시스템은 차량의 전면, 양쪽 사이드 미러, 트렁크 등에 각각 설치된 4개의 카메라로부터 획득한 영상들을 합성하여, 차량 주변을 위에서 바라보는 조감도(Top view 또는 Bird's Eye View) 형태로 보여주는 어라운드 뷰 영상을 제공하는 시스템이다.The Around View Monitoring (AVM) system of the vehicle synthesizes images obtained from four cameras installed on the front, both side mirrors, and trunk of the vehicle, respectively, and provides a bird's eye view of the vehicle's surroundings from above (Top view or Bird's Eye). It is a system that provides an around-view image that is displayed in the form of a View).

어라운드 뷰 모니터링 시스템에서 사용하는 카메라들의 조립 과정에서, 공차를 보상하는 작업은 필수적이다. 차량의 제조사는 어라운드 뷰 모니터링 시스템이 장착된 차량에 대하여 어라운드 뷰 영상의 정합성 기준에 맞도록 공차를 보상한 후 차량을 출고한다.In the process of assembling cameras used in the around-view monitoring system, compensating for tolerances is essential. The vehicle manufacturer compensates for the tolerance for a vehicle equipped with an around-view monitoring system to meet the consistency standard of the around-view image, and then releases the vehicle.

그러나 차량 출고 후 차량의 운행 도중 발생하는 차량의 진동, 사이드 미러의 반복적인 폴딩, 트렁크의 반복적인 여닫음 등으로 인하여 각 카메라에서는 새로운 공차가 발생하며, 각 카메라에서 발생하는 공차의 지속적인 누적은 어라운드 뷰 영상의 정합성을 저하시킨다. 이는 어라운드 뷰 영상의 표시품질 저하의 원인이 된다.However, new tolerances occur in each camera due to vibration of the vehicle that occurs while the vehicle is running after leaving the vehicle, repeated folding of side mirrors, and repeated opening/closing of the trunk, etc. Decreases the consistency of the view image. This causes deterioration of the display quality of the around-view image.

따라서, 본 발명의 목적은 어라운드 뷰 영상의 정합성을 향상시키기 위해 차량 운행 중에서도 카메라 공차 보상이 가능한 탑-뷰 영상 생성 장치 및 그 방법을 제공하는 데 있다.Accordingly, an object of the present invention is to provide an apparatus and method for generating a top-view image capable of compensating for camera tolerance while driving a vehicle in order to improve the consistency of around-view images.

본 실시예의 일 측면에 의하면, 차량에 설치된 전후좌우 카메라로부터 전후좌우 영상을 각각 획득하는 과정; 상기 전후좌우 영상으로부터 상기 차량의 좌측 차선과 우측 차선을 검출하는 과정; 상기 좌측 차선의 색상 및 형태와 상기 우측 차선의 색상 및 형태가 동일한지 판단하는 과정; 상기 색상 및 형태가 동일하면, 상기 전후좌우 카메라 중 하나 이상의 카메라 자세각을 추정하는 과정; 및 상기 카메라 자세각을 기반으로 탑-뷰 영상을 생성하는 과정을 포함하는 탑-뷰 영상 생성 방법을 제공한다.According to one aspect of the present embodiment, the process of obtaining each of the front, rear, left, and right images from the front, rear, left, and right cameras installed in the vehicle; detecting a left lane and a right lane of the vehicle from the front, rear, left, and right images; determining whether the color and shape of the left lane and the color and shape of the right lane are the same; estimating an attitude angle of at least one of the front, rear, left, and right cameras when the color and shape are the same; and generating a top-view image based on the camera attitude angle.

본 실시예의 다른 측면에 의하면, 차량의 전후좌우를 촬영하여 전후좌우 영상을 생성하는 카메라부; 상기 전후좌우 영상으로부터 상기 차량의 좌측 차선과 우측 차선을 검출하는 차선 검출부; 상기 좌측 차선의 색상 및 형태와 상기 우측 차선의 색상 및 형태가 동일한지 판단하는 차선 색상/형태 판단부; 상기 색상 및 형태가 동일하면, 상기 전후좌우 카메라 중 하나 이상의 카메라 자세각을 추정하는 카메라 자세각 추정부; 및 상기 카메라 자세각을 기반으로 탑-뷰 영상을 생성하는 영상 합성부를 포함하는 탑-뷰 영상 생성 장치를 제공한다.According to another aspect of the present embodiment, a camera unit for generating front, rear, left and right images by photographing the front, rear, left, and right of the vehicle; a lane detection unit detecting a left lane and a right lane of the vehicle from the front, rear, left, and right images; a lane color/shape determining unit configured to determine whether the color and shape of the left lane and the color and shape of the right lane are the same; a camera posture angle estimator for estimating at least one camera posture angle among the front, rear, left and right cameras when the color and shape are the same; and an image synthesizing unit for generating a top-view image based on the camera attitude angle.

본 발명에 따르면, 차량이 도로를 주행하는 상황에서 실시간으로 카메라 공차를 보상함으로써, 운전자가 차량과 함께 주기적으로 정비 업체를 방문하여 카메라 공차를 보상해야 하는 번거로움을 줄일 수 있다.According to the present invention, by compensating for the camera tolerance in real time in a situation where the vehicle is traveling on the road, it is possible to reduce the hassle of the driver having to periodically visit a maintenance company with the vehicle to compensate for the camera tolerance.

또한, 실시간으로 카메라 공차를 보상함으로써, 카메라 공차에 의한 탑뷰 영상의 표시 품질 저하를 방지할 수 있다.In addition, by compensating for the camera tolerance in real time, it is possible to prevent deterioration of the display quality of the top view image due to the camera tolerance.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those of ordinary skill in the art from the following description.

도 1은 본 발명의 일 실시 예에 따른 탑-뷰 영상 생성 장치의 기능들을 블록 단위로 도시한 기능 블록도이다.
도 2는 도 1에 도시된 차선 검출부에서 수행되는 차선 패턴 검출 과정을 도식적으로 나타낸 도면이다.
도 3은 카메라 좌표계에서 정의된 피치(Pitch) 방향, 롤(Roll) 방향 및 요(Yaw) 방향의 회전 각도를 도식적으로 나타낸 것이다.
도 4는 본 발명의 일 실시 예에 따른 롤 방향의 회전 각도를 추정하는 방법을 도식적으로 설명하는 도면이다.
도 5는 본 발명의 일 실시 예에 따른 카메라 공차가 보정된 탑-뷰 영상을 생성하는 방법을 나타내는 순서도이다.
1 is a functional block diagram illustrating functions of an apparatus for generating a top-view image in units of blocks according to an embodiment of the present invention.
FIG. 2 is a diagram schematically illustrating a lane pattern detection process performed by the lane detection unit illustrated in FIG. 1 .
3 schematically shows rotation angles in a pitch direction, a roll direction, and a yaw direction defined in the camera coordinate system.
4 is a diagram schematically illustrating a method of estimating a rotation angle in a roll direction according to an embodiment of the present invention.
5 is a flowchart illustrating a method of generating a top-view image in which camera tolerance is corrected according to an embodiment of the present invention.

본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.Advantages and/or features of the present invention, and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the art to which the present invention pertains It is provided to fully inform the possessor of the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout.

본 발명은 영상에서 검출 가능한 지면에 존재하는 차선을 이용하여 AVM 카메라 자세각을 추정하고 AVM의 영상 합성 LUT(Look-up Table)을 업데이트하는 장치 및 방법에 관한 것이다. The present invention relates to an apparatus and method for estimating an AVM camera attitude angle and updating an image synthesis look-up table (LUT) of an AVM by using a lane existing on the ground detectable in an image.

AVM 합성 영상에서 자차 기준의 좌/우측 차선이 평행할 조건, 상기 좌/우측 차선의 두께가 동일할 조건, 좌/우측 차선 각각이 동일선 상에 존재해야 하는 조건을 이용하면, 지면을 기준으로 하는 카메라 자세각을 정확하게 추정할 수 있고, 동시에 AVM 영상을 합성하기 위한 룩업 테이블(LUT)의 업데이트도 가능하다. In the AVM composite image, using the condition that the left and right lanes of the own vehicle are parallel, the thickness of the left and right lanes are the same, and the condition that each of the left and right lanes exist on the same line, It is possible to accurately estimate the camera attitude angle, and at the same time to update the lookup table (LUT) for synthesizing AVM images.

하지만, 실제 도로 환경에서는 좌/우측 차선의 두께가 동일할 조건을 만족하지 않는 경우가 존재한다. 예를 들면, 좌측 차선의 색상과 우측 차선의 색상이 서로 다른 경우, 좌/우측 차선의 두께는 서로 다를 수 있고, 좌측 차선의 형태가 실선이고, 우측 차선의 형태가 점선인 경우에도 좌/우측 차선의 두께는 서로 다를 수 있다. However, in an actual road environment, there are cases in which the condition that the thickness of the left and right lanes is the same is not satisfied. For example, when the color of the left lane and the color of the right lane are different from each other, the thickness of the left/right lane may be different from each other, and even when the shape of the left lane is a solid line and the shape of the right lane is a dotted line, the left/right The thickness of the lanes may be different.

이와 같이, 색상 또는/및 형태가 서로 다른 좌/우측 차선의 경우, 상기 좌/우측 차선의 두께가 동일할 조건을 만족하지 않을 가능성이 높기 때문에, 이 경우에는 지면을 기준으로 하는(탑-뷰 좌표계를 기준으로 하는) 카메라 자세각을 정확하게 추정할 수 없다.As such, in the case of the left/right lanes having different colors and/or shapes, it is highly likely that the thickness of the left/right lanes does not satisfy the same condition, so in this case the ground-based (top-view) The camera attitude angle (relative to the coordinate system) cannot be accurately estimated.

이러한 문제를 해결하기 위해 본 발명에서는 검출된 좌/우측 차선의 색상 및 형태(실선 또는 점선)을 활용하여 AVM 자동 공차 보정 수행 여부를 결정한다. 즉, 좌/우측 차선의 색상 및 형태(실선 또는 점선)가 동일한 경우에만 각 카메라의 공차 보정을 위한 카메라 자세각을 추정함으로써, 보다 정확한 공차 보정이 가능하다.In order to solve this problem, in the present invention, whether to perform AVM automatic tolerance correction is determined by using the detected color and shape (solid line or dotted line) of the left/right lane. That is, more accurate tolerance correction is possible by estimating the camera attitude angle for tolerance correction of each camera only when the color and shape (solid line or dotted line) of the left and right lanes are the same.

또한, 실제 도로 주행 환경에서는 전/후/좌/우 카메라 영상에서 동시에 차선이 검출되기 어려운데, 본 발명에서는 차량이 직진 주행하는 상황에서 획득한 영상들로부터 검출된 차선들을 누적하여 사용함으로써 이러한 문제를 해결한다. 본 발명을 통해 AVM 자동 공차 보정 성능 향상을 기대할 수 있다.In addition, in an actual road driving environment, it is difficult to simultaneously detect lanes from the front/rear/left/right camera images. In the present invention, this problem is solved by accumulating and using lanes detected from images acquired while the vehicle is driving straight. solve it An improvement in AVM automatic tolerance correction performance can be expected through the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대해 상세 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시 예에 따른 탑-뷰 영상 생성 장치의 기능들을 블록 단위로 도시한 기능 블록도이다.1 is a functional block diagram illustrating functions of an apparatus for generating a top-view image in units of blocks according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 탑-뷰 영상 생성 장치(100)는, 탑-뷰 영상용 카메라의 공차를 보상하기 위해, 카메라부(110), 렌즈왜곡 보정부(120), 차선 검출부(130), 차선 색상/형태 판단부(140), 카메라 각도 추정부(150), 저장부(160), 영상 회전부(170), 영상 합성부(180) 및 표시부(190)를 포함한다. 추가로, 도 1에 도시하지는 않았으나, 상기 구성들(110~190)의 각 동작을 관리 및 제어하는 제어부를 더 포함할 수 있으며, 상기 제어부는 마이컴이나 중앙 연산 처리 장치(CPU)로 구현될 수 있다. 또한, 상기 구성들(110~190)은 상기 마이컴이나 중앙 연산 처리 장치(CPU) 내에 논리 블록으로 구현될 수도 있다.Referring to FIG. 1 , the top-view image generating apparatus 100 according to an embodiment of the present invention includes a camera unit 110 and a lens distortion correcting unit 120 to compensate for a tolerance of a camera for a top-view image. ), a lane detection unit 130 , a lane color/shape determination unit 140 , a camera angle estimation unit 150 , a storage unit 160 , an image rotation unit 170 , an image synthesis unit 180 , and a display unit 190 . include In addition, although not shown in FIG. 1 , a control unit for managing and controlling each operation of the components 110 to 190 may be further included, and the control unit may be implemented with a microcomputer or a central processing unit (CPU). have. In addition, the components 110 to 190 may be implemented as logical blocks in the microcomputer or central processing unit (CPU).

카메라부(110)camera unit 110

상기 카메라부(110)는 차량 운행 중에서 자차(자기 차량)의 360도 주변을 촬영한 주변 영상을 생성하며, 상기 주변 영상은 전방 영상, 후방 영상, 좌측방 영상 및 우측방 영상(전/후/좌/우 영상)을 포함한다.The camera unit 110 generates a surrounding image taken around 360 degrees of the own vehicle (own vehicle) while driving the vehicle, and the surrounding image is a front image, a rear image, a left image and a right image (front/rear/ left/right image).

이를 위해, 상기 카메라부(110)는 전방 카메라(112), 후방 카메라(114), 좌측 카메라(116) 및 우측 카메라(118)를 포함한다. To this end, the camera unit 110 includes a front camera 112 , a rear camera 114 , a left camera 116 , and a right camera 118 .

상기 전방 카메라는 차량 전면(예를 들면, 앞쪽 범퍼)에 설치되어 차량의 전방을 촬영한 전방 영상을 생성할 수 있다. 상기 후방 카메라는 차량의 후면(예를 들면, 뒤쪽 범퍼)에 설치되어, 차량의 후방을 촬영한 후방 영상을 생성할 수 있다. 상기 좌측 카메라는 차량의 좌측면에 설치되어, 차량의 좌측방을 촬영한 좌측 영상을 생성할 수 있다. 상기 우측 카메라는 차량의 우측면에 설치되어, 차량의 우측방을 촬영한 우측 영상을 생성할 수 있다. 이러한 카메라들(112~118)은, 자차 주변의 360도를 촬영하도록 넓은 화각 특성을 갖는 광각 렌즈를 구비하는 것이 바람직하다.The front camera may be installed on the front of the vehicle (eg, a front bumper) to generate a front image of the front of the vehicle. The rear camera may be installed on a rear side of the vehicle (eg, a rear bumper) to generate a rear image photographing the rear of the vehicle. The left camera may be installed on the left side of the vehicle to generate a left image of the left side of the vehicle. The right camera may be installed on the right side of the vehicle to generate a right image of the right side of the vehicle. These cameras 112 to 118 preferably include a wide-angle lens having a wide angle of view to photograph 360 degrees around the own vehicle.

렌즈왜곡 보정부(120)Lens distortion correction unit 120

상기 렌즈왜곡 보정부(120)는, 상기 광각 렌즈가 갖는 넓은 화각 특성으로 인해 발생하는 주변 영상(전/후/좌/우 영상)의 왜곡을 보정하기 위해, 렌즈 왜곡 모델(lens distortion model) 또는 렌즈 왜곡 보정 알고리즘을 기반으로 상기 주변 영상(전/후/좌/우 영상)을 보정한다. 렌즈 왜곡 모델 또는 렌즈 왜곡 보정 알고리즘은 공지의 기술이며, 본 발명은 렌즈 왜곡 모델 또는 렌즈 왜곡 보정 알고리즘을 한정하는 데 그 특징이 있는 것이 아니므로, 이에 대한 상세한 설명은 생략한다.The lens distortion correcting unit 120 may use a lens distortion model or The peripheral image (front/rear/left/right image) is corrected based on a lens distortion correction algorithm. A lens distortion model or a lens distortion correction algorithm is a well-known technology, and since the present invention is not characterized in limiting a lens distortion model or a lens distortion correction algorithm, a detailed description thereof will be omitted.

차선 검출부(130)lane detection unit 130

상기 차선 검출부(130)은 렌즈 왜곡이 보정된 각 영상(전/후/좌/우)으로부터 적어도 2개의 차선 패턴을 검출한다. 차선 패턴을 검출하기 위해, 다양한 차선 검출 알고리즘이 사용될 수 있다. 예를 들면, 탑-햇(Top-Hat) 필터, 허브 변환(Hough transformation) 알고리즘, RANSAC 기반의 라인 피팅(Line Fitting) 알고리즘, 칼만(Kalman) 필터 등이 이용될 수 있다. The lane detector 130 detects at least two lane patterns from each image (front/rear/left/right) for which lens distortion is corrected. To detect the lane pattern, various lane detection algorithms may be used. For example, a Top-Hat filter, a Hough transformation algorithm, a RANSAC-based line fitting algorithm, a Kalman filter, or the like may be used.

특별히 한정하는 것은 아니지만, 도 2를 참조하여, 상기 차선 검출부(130)에서 수행되는 차선 패턴을 검출하는 일 예에 대해 설명하기로 한다. Although not particularly limited, an example of detecting a lane pattern performed by the lane detection unit 130 will be described with reference to FIG. 2 .

먼저, 단계(1)에서, 렌즈 왜곡이 보정된 영상 내에서 관심 영역을 선정한다. 예를 들면, 상기 영상을 수평 방향으로 2개의 영역들(ⓐ, ⓑ)로 이등분하고, 이등분된 2개의 영역들 중 하부 영역(ⓑ)을 관심 영역으로 선정할 수 있다. First, in step (1), a region of interest is selected in an image in which lens distortion is corrected. For example, the image may be halved into two regions ⓐ and ⓑ in the horizontal direction, and a lower region ⓑ among the two halved regions may be selected as the region of interest.

상부 영역(A)을 관심 영역에서 제외하는 것은 상부 영역(ⓐ)에는 차선이 존재하는 도로면 외에 차선이 존재하지 않는 하늘과 같은 배경이 존재하기 때문에, 차선이 존재하지 않는 배경에서 차선을 검출하기 위한 불필요한 탐색 과정을 배제함으로써, 연산 처리 시간을 단축하기 위함이다.Excluding the upper area (A) from the area of interest is because the upper area (ⓐ) has a background such as the sky where no lanes exist in addition to the road surface on which the lanes exist. This is to shorten the calculation processing time by excluding an unnecessary search process for

이어, 단계(2)에서, 상기 관심 영역(ⓑ)으로 설정된 영상에 대해 모폴로지 연산(morphological)을 수행하여, 상기 관심 영역으로 설정된 영상을 이진 영상으로 변환한다.Next, in step (2), a morphological operation is performed on the image set as the region of interest (ⓑ), and the image set as the region of interest is converted into a binary image.

이어, 단계(3)에서, 상기 이진 영상에 대해 연결 요소 분석(connected component analysis)을 수행하여, 상기 이진 영상 내에 나타나는 객체들(차선 객체들)을 라벨링(labelling) 한다. 상기 연결 요소 분석은 상호 연결된 단일 화소들의 집합을 독립된 하나로 객체화하는 것으로, 이 방법을 이용하면 상기 이진 영상 내에 존재하는 객체들(차선 객체들)을 효율적으로 분리할 수 있다.Next, in step (3), connected component analysis is performed on the binary image to label objects (lane-line objects) appearing in the binary image. The connection element analysis objectifies a set of interconnected single pixels into an independent one. Using this method, objects (suboptimal objects) existing in the binary image can be efficiently separated.

이어, 단계(4)에서, 차선 패턴은 수평 방향으로 존재할 수 없고, 직선의 형태를 띠기 때문에, 각도와 직선 정도를 고려하여, 라벨링된 객체들(차선 객체들) 중 차선 패턴으로 볼 수 없는 객체들을 제거하고, 제거되지 않고 남은 동일선 상의 객체들을 차선 후보군으로 검출한다.Next, in step (4), since the lane pattern cannot exist in the horizontal direction and takes the form of a straight line, an object that cannot be viewed as a lane pattern among the labeled objects (lane objects) in consideration of the angle and the degree of straight line are removed, and objects on the same line that are not removed are detected as the next best candidate group.

이어, 단계(5)에서, 상기 검출된 차선 후보군에 포함된 객체들을 라인 피팅 알고리즘을 이용하여 하나의 라인으로 연결하고, 연결된 라인을 좌측 차선 패턴 및 우측 차선 패턴으로 검출한다. 한편, 도 2에서는 도면의 간략화를 위해, 하나의 차선 패턴에 대한 검출 과정을 예시한 것이다.Next, in step 5, objects included in the detected lane candidate group are connected as one line using a line fitting algorithm, and the connected lines are detected as a left lane pattern and a right lane pattern. Meanwhile, FIG. 2 exemplifies a detection process for one lane pattern for the sake of simplification of the drawing.

차선 색상/형태 판단부(140)Lane color/shape determination unit 140

다시 도 1을 참조하면, 상기 차선 색상/형태 판단부(140)는 상기 검출된 좌측 차선 패턴과 우측 차선 패턴의 색상 및 형태(실선 또는 점선)가 동일한지를 판단한다.Referring back to FIG. 1 , the lane color/shape determination unit 140 determines whether the detected color and shape (solid line or dotted line) of the detected left lane pattern and the right lane pattern are the same.

본 발명의 실시 예에서는, 상기 좌측 차선 패턴과 상기 우측 차선 패턴 간의 색상 및 형태가 동일한 경우에만 아래에서 설명하는 카메라 자세각 추정부(150)에서 카메라 자세각에 대한 추정을 수행한다. 즉, 색상 및 형태가 다른 좌우측 차선 패턴이 검출된 영상을 제공하는 해당 카메라에 대해서는 카메라 각도를 추정하는 작업을 진행하지 않는다.In an embodiment of the present invention, only when the color and shape between the left lane pattern and the right lane pattern are the same, the camera attitude angle estimation unit 150 described below estimates the camera attitude angle. That is, the work of estimating the camera angle is not performed with respect to a corresponding camera that provides an image in which left and right lane patterns having different colors and shapes are detected.

상기 좌측 차선 패턴의 색상과 상기 우측 차선 패턴의 색상이 동일한지를 판단하기 위해, 먼저, 상기 차선 색상/형태 판단부(140)는 상기 좌측 차선 패턴에 포함된 픽셀들의 좌측 평균 색상값을 계산하고, 상기 우측 차선 패턴에 포함된 픽섹들의 우측 평균 색상값을 계산한다. 여기서, 평균 색상값은 RGB 컬러 모델에 기반한 RGB 컬러값들에 대한 평균 색상값 또는 HSV(Hue/Saturation/Value) 모델에 기반한 Hue값들에 대한 평균 색상값일 수 있다.In order to determine whether the color of the left lane pattern and the color of the right lane pattern are the same, first, the lane color/shape determination unit 140 calculates a left average color value of pixels included in the left lane pattern, A right average color value of pixels included in the right lane pattern is calculated. Here, the average color value may be an average color value for RGB color values based on an RGB color model or an average color value for Hue values based on a Hue/Saturation/Value (HSV) model.

상기 좌측 평균 색상값과 상기 우측 평균 색상값이 계산되면, 상기 차선 색상/형태 판단부(140)는 상기 좌측 평균 색상값과 상기 우측 평균 색상값 간의 차이값을 계산하고, 계산된 차이값이 임계값 이하이면, 상기 좌측 차선 패턴의 색상과 상기 우측 차선 패턴의 색상을 동일한 것으로 판단한다.When the left average color value and the right average color value are calculated, the lane color/shape determination unit 140 calculates a difference value between the left average color value and the right average color value, and the calculated difference value is a critical value If the value is less than or equal to the value, it is determined that the color of the left lane pattern and the color of the right lane pattern are the same.

상기 좌측 차선 패턴의 형태와 상기 우측 차선 패턴의 형태가 동일한지를 판단하기 위해, 먼저, 상기 차선 색상/형태 판단부(140)는 상기 좌측 차선 패턴의 형태가 점선 형태인지 실선 형태인지를 판단하고, 상기 우측 차선 패턴의 형태가 점선 형태인지 실선 형태인지를 판단한다.In order to determine whether the shape of the left lane pattern and the shape of the right lane pattern are the same, first, the lane color/shape determining unit 140 determines whether the shape of the left lane pattern is a dotted line or a solid line, It is determined whether the shape of the right lane pattern is a dotted line shape or a solid line shape.

각 차선 패턴이 점선 형태인지 실선 형태인지를 판단하는 방법은, 전술한 차선 검출 과정에서 차선 후보군에 속한 라벨링된 객체들(동일선 상의 객체들)의 개수로부터 판단할 수 있다. 예를 들면, 상기 차선 후보군에 속한 라벨링된 객체들(동일선 상의 객체들)의 개수가 기 설정된 개수 이하이면, 해당 차선 패턴은 실선 형태로 판단하고, 기 설정된 개수를 초과하면, 점선 형태로 판단한다.A method of determining whether each lane pattern is a dotted line or a solid line may be determined from the number of labeled objects (objects on the same line) belonging to the lane candidate group in the aforementioned lane detection process. For example, if the number of labeled objects (objects on the same line) belonging to the lane candidate group is less than or equal to a preset number, the corresponding lane pattern is determined as a solid line, and when the number exceeds the preset number, it is determined as a dotted line. .

카메라 자세각 추정부(150)Camera attitude angle estimation unit 150

상기 카메라 자세각 추정부(150)는, 색상과 형태가 동일한 좌측 차선 패턴과 우측 차선 패턴이 검출된 영상을 제공하는 카메라의 카메라 자세각을 추정한다. 여기서, 카메라 자세각은, 도 3에 도시된 바와 같이, 피치(Pitch) 방향의 회전 각도, 롤(Roll) 방향의 회전 각도 및 요(Yaw) 방향의 회전 각도를 포함한다. The camera attitude angle estimation unit 150 estimates a camera attitude angle of a camera that provides an image in which a left lane pattern and a right lane pattern having the same color and shape are detected. Here, the camera attitude angle includes a rotation angle in a pitch direction, a rotation angle in a roll direction, and a rotation angle in a yaw direction, as shown in FIG. 3 .

카메라 자세각이 추정되면, 추정된 카메라 자세각이 포함된 회전 행렬을 생성하고, 생성된 회전 행렬을 룩업 테이블 형태로 저장부(160)에 저장하여, 기존에 저장된 룩업 테이블을 업데이트한다. 상기 저장부(160)는 비휘발성 메모리일 수 있다.When the camera attitude angle is estimated, a rotation matrix including the estimated camera attitude angle is generated, and the generated rotation matrix is stored in the storage unit 160 in the form of a lookup table to update the previously stored lookup table. The storage unit 160 may be a non-volatile memory.

카메라 자세각은 탑-뷰 영상 좌표계에서 상기 좌/우측 차선 패턴이 갖는 기하학적 조건(기하학적 성질, 기하학적 특성)을 이용하여, 추정될 수 있다. The camera attitude angle may be estimated using geometric conditions (geometric properties, geometric properties) of the left/right lane patterns in the top-view image coordinate system.

카메라 자세각 추정 방법1Camera attitude estimation method1

카메라 자세각 추정 방법1은 피치 방향의 회전 각도와 요 방향의 회전 각도를 추정(또는 계산)하는 것이다.The camera attitude angle estimation method 1 is to estimate (or calculate) the rotation angle in the pitch direction and the rotation angle in the yaw direction.

카메라 좌표계에서는, 좌측 차선 패턴과 우측 차선 패턴이 평행하지 않고, 좌측 차선 패턴의 두께와 우측 차선 패턴의 두께가 서로 다르지만, 탑뷰 좌표계에서는, 좌측 차선 패턴과 우측 차선 패턴이 서로 평행하고, 좌측 차선 패턴의 두께와 우측 차선 패턴의 두께가 서로 동일해야 한다. 여기서 '두께'란 일반적으로 흰색 또는 노란색으로 도로상에 도포된 차선 자체의 폭을 의미한다.In the camera coordinate system, the left lane pattern and the right lane pattern are not parallel, and the thickness of the left lane pattern and the thickness of the right lane pattern are different from each other, but in the top view coordinate system, the left lane pattern and the right lane pattern are parallel to each other, and the left lane pattern The thickness of the right lane pattern and the thickness of the right lane pattern must be the same. Here, 'thickness' refers to the width of the lane itself, which is generally white or yellow, applied on the road.

따라서, 카메라 자세각 추정 방법1은, 좌측 차선 패턴과 우측 차선 패턴이 평행하게 되는 조건과 좌측 차선 패턴의 두께와 우측 차선 패턴의 두께가 동일하게 되는 조건을 포함하는 기하학적 조건을 모두 만족하는 피치 방향의 회전 각도와 요 방향의 회전 각도를 계산하는 것이다.Therefore, the camera attitude angle estimation method 1 in the pitch direction satisfies all geometric conditions including the condition that the left lane pattern and the right lane pattern are parallel and the thickness of the left lane pattern and the thickness of the right lane pattern are the same To calculate the rotation angle of and the rotation angle in the yaw direction.

카메라 자세각 추정 방법2Camera attitude estimation method2

카메라 자세각 추정 방법2는 피치 방향의 회전 각도를 추정할 수 있는 또 다른 방법으로, 좌측 차선 패턴과 우측 차선 패턴이 평행하게 되는 조건과 좌측 차선 패턴과 우측 차선 패턴이 도 3의 yz축 평면과 평행하게 되는 조건을 포함하는 기하학적 조건을 모두 만족하는 피치 방향의 회전 각도를 계산하는 것이다.The camera attitude angle estimation method 2 is another method for estimating the rotation angle in the pitch direction. The condition that the left lane pattern and the right lane pattern are parallel and the left lane pattern and the right lane pattern are the yz-axis plane of FIG. To calculate the rotation angle in the pitch direction that satisfies all geometric conditions including the condition to be parallel.

카메라 자세각 추정 방법3Camera attitude estimation method3

카메라 자세각 추정 방법3은 롤 방향의 회전 각도를 추정하는 방법으로, 도 4를 참조하여 설명하면, 먼저, 전술한 카메라 자세각 추정 방법1 및 2에 따라 추정된 회전 각도를 이용하여 임의의 영상(이하, '전방 영상'으로 가정함)을 회전 변환하여, 전방 탑-뷰 영상을 생성한다.The camera attitude angle estimation method 3 is a method of estimating the rotation angle in the roll direction. Referring to FIG. 4 , first, an arbitrary image using the rotation angle estimated according to the camera attitude angle estimation methods 1 and 2 described above. (hereinafter referred to as a 'front image') is rotated to generate a front top-view image.

이어, 이전 프레임의 전방 탑-뷰 영상에 포함된 특징점(P1n-1)을 기준으로, 현재 프레임의 전방 탑-뷰 영상에 포함된 특징점(P1n)의 이동벡터(71)를 계산하고, 차량의 움직임 정보에 따른 상기 특징점(P1n-1)의 예측이동벡터(73)를 계산한다. 이후, 상기 이동벡터(71)가 상기 예측 이동 벡터(73)와 일치되는 회전 각도(Θ)를 계산하는 방식으로, 롤 방향의 회전 각도를 추정할 수 있다. Then, based on the feature point (P1 n-1 ) included in the front top-view image of the previous frame, a movement vector 71 of the feature point (P1 n ) included in the front top-view image of the current frame is calculated, A predicted motion vector 73 of the feature point P1 n-1 according to the vehicle motion information is calculated. Thereafter, the rotation angle in the roll direction can be estimated by calculating the rotation angle Θ at which the motion vector 71 coincides with the predicted motion vector 73 .

한편, 상기 지면상의 특징점은 도로 표면에서 볼 수 있는 균열, 스크래치, 차선 외의 도포 표시선 등일 수 있고, 상기 차량의 움직임 정보는 GPS 정보, 자이로 센서에서 획득한 정보 등과 같은 차량의 진행 방향을 알 수 있는 모든 종류의 정보로부터 획득할 수 있다. On the other hand, the feature point on the ground may be a crack, a scratch, an application mark line other than a lane, etc. that can be seen on the road surface, and the movement information of the vehicle is GPS information, information obtained from a gyro sensor, etc. It can be obtained from all kinds of information.

전술한 카메라 자세각 추정 방법 1-3에 의해 피치(Pitch) 방향의 회전 각도, 롤(Roll) 방향의 회전 각도 및 요(Yaw) 방향의 회전 각도가 추정되면, 상기 카메라 자세각 추정부(150)는, 추정된 피치(Pitch) 방향의 회전 각도, 롤(Roll) 방향의 회전 각도 및 요(Yaw) 방향의 회전 각도로 이루어진 회전 행렬을 생성하고, 이를 룩업 테이블 형태로 저장부(160)에 저장한다.When the rotation angle in the pitch direction, the rotation angle in the roll direction, and the rotation angle in the yaw direction are estimated by the above-described camera attitude angle estimation method 1-3, the camera attitude angle estimation unit 150 ) generates a rotation matrix consisting of the estimated rotation angle in the pitch direction, the rotation angle in the roll direction, and the rotation angle in the yaw direction, and stores it in the storage unit 160 in the form of a lookup table. Save.

영상 회전부(170) image rotation unit 170

상기 영상 회전부(170)는 상기 저장부(160)에 저장된 회전 행렬(R)을 이용하여 상기 카메라부(110)에서 생성한 전/후/좌/우 영상을 각각 회전 변환하여 4개의 전/후/좌/우 탑뷰 영상으로 변환한다.The image rotation unit 170 rotates the front/rear/left/right images generated by the camera unit 110 by using the rotation matrix R stored in the storage unit 160, respectively, and performs four front/rear images. /Converts to the left/right top view image.

영상 합성부(180)Image synthesizing unit 180

상기 영상 합성부(180)는 상기 영상 회전부(170)에 의해 회전 변환된 4개의 전/후/좌/우 탑뷰 영상을 합성하여, 하나의 최종 탑뷰 영상을 생성하고, 이를 표시부(190)를 통해 출력한다.The image synthesizing unit 180 synthesizes four front/rear/left/right top-view images rotationally converted by the image rotating unit 170 to generate one final top-view image, which is then displayed through the display unit 190 . print out

도 5는 본 발명의 일 실시 예에 따른 카메라 공차가 보정된 탑-뷰 영상을 생성하는 방법을 나타내는 순서도로서, 아래의 각 단계의 설명에서 도 1 내지 도 4를 참조한 설명과 중복되는 설명은 간략히 기재하기로 한다. 5 is a flowchart illustrating a method of generating a top-view image in which camera tolerance is corrected according to an embodiment of the present invention. In the description of each step below, the description overlapping with the description with reference to FIGS. 1 to 4 will be briefly described. to be listed.

도 5를 참조하면, 먼저, 단계 S551에서, 차량이 주행을 시작한다. Referring to FIG. 5 , first, in step S551, the vehicle starts to travel.

이어, 단계 S513에서, 상기 차량의 직선 주행 여부를 판단한다. 여기서, 직선 주행 여부를 판단하는 이유는, 실제 도로 주행 환경에서 차량의 주변을 촬영한 전/후/좌/우 영상에서 차선이 동시에 검출되지 않을 수도 있다. 예를 들면, 커브 주행에서는 좌측 영상 또는 우측 영상에서 차선이 검출되지 않을 수도 있다. 이 경우, 좌 또는 우 영상에서 차선이 검출되지 않았기 때문에, 좌/우 카메라에 대한 카메라 자세각 추정 과정을 수행할 없다.Next, in step S513, it is determined whether the vehicle travels in a straight line. Here, the reason for determining whether to drive in a straight line is that lanes may not be simultaneously detected in front/rear/left/right images captured around the vehicle in an actual road driving environment. For example, in curve driving, a lane may not be detected in the left image or the right image. In this case, since the lane is not detected in the left or right image, the camera attitude angle estimation process for the left/right camera cannot be performed.

따라서, 본 발명의 일 실시 예에서는, 전/후/좌/우 영상에서 차선을 동시에 검출할 수 있는 직선 주행 환경에서만 카메라 자세각 추정 과정을 진행함으로써, 일부 카메라에 대한 카메라 자세각 추정 실패를 방지할 수 있다. 만일, 차량의 주행 환경이 직선 주행이 아닌 경우, 차량이 직선 주행할 때까지 카메라 자세각 추정 과정은 중지될 수 있다. 한편, 차량의 직선 주행 여부는 차량 내에 설치된 GPS 정보, 자이로 센서에서 획득한 정보 등과 같은 차량의 진행 방향을 알 수 있는 모든 종류의 정보로부터 알 수 있다.Accordingly, in an embodiment of the present invention, the camera attitude angle estimation process for some cameras is prevented by performing the camera attitude angle estimation process only in a straight-line driving environment in which lanes can be simultaneously detected from the front/rear/left/right images. can do. If the driving environment of the vehicle is not linear driving, the camera attitude angle estimation process may be stopped until the vehicle travels in a straight line. On the other hand, whether the vehicle is traveling in a straight line can be known from all kinds of information that can determine the traveling direction of the vehicle, such as GPS information installed in the vehicle, information obtained from a gyro sensor, and the like.

이어, 차량이 직선 주행인 것으로 확인되면, 단계 S515에서, 전/후/좌/우 카메라로부터 전/후/좌/우 영상을 각각 획득한다.Next, if it is confirmed that the vehicle is traveling in a straight line, in step S515 , front/rear/left/right images are respectively acquired from the front/rear/left/right cameras.

이어, 단계 S517에서, 렌즈 왜곡 알고리즘을 이용하여, 상기 광각 렌즈가 갖는 넓은 화각 특성으로 인해 발생하는 상기 전/후/좌/우 영상의 렌즈 왜곡을 보정한다.Next, in step S517, the lens distortion of the front/rear/left/right image generated due to the wide angle of view of the wide-angle lens is corrected using a lens distortion algorithm.

이어, 단계 S519에서, 차선 검출 알고리즘을 이용하여 렌즈 왜곡이 보정된 상기 전/후/좌/우 영상으로부터 차선(또는 차선 패턴)을 검출한다.Next, in step S519, a lane line (or lane pattern) is detected from the front/rear/left/right image for which lens distortion is corrected using a lane detection algorithm.

이어, 단계 S521에서, 상기 전/후/좌/우 영상 모두로부터 차선이 검출되었는지를 판단하는 과정이 수행된다. 모든 영상에서 차선이 검출되면, 단계 S523으로 진행하고, 모든 영상들 중에서 적어도 하나에서 차선이 검출되지 않으면, 단계 S513 이전으로 돌아가 상기 단계 S513~S519를 재 수행한다.Next, in step S521, a process of determining whether a lane is detected from all of the front/rear/left/right images is performed. If a lane is detected in all images, the process proceeds to step S523. If no lane is detected in at least one of all images, the process returns to before step S513 and performs steps S513 to S519 again.

이어, 모든 영상에서 차선이 검출되면, 단계 S523에서, 각 영상에서 검출된 차선의 색상/형태를 판단한다.Next, when lanes are detected in all images, in step S523, the color/shape of lanes detected in each image is determined.

이어, 단계 S525에서, 각 영상에서 검출된 차선의 색상/형태가 동일할 지를 판단한다. 구체적으로, 전방영상에서 좌측 차선과 우측 차선이 검출되면, 좌측 차선과 우측 차선의 색상/형태가 동일한지를 판단하고, 유사하게, 후방 영상에서 검출된 좌측 차선과 우측 차선의 색상/형태가 동일한지를 판단한다. Next, in step S525, it is determined whether the color/shape of the lane detected in each image is the same. Specifically, when the left and right lanes are detected in the front image, it is determined whether the colors/shapes of the left and right lanes are the same, and similarly, whether the colors/shapes of the left and right lanes detected in the rear image are the same. judge

한편, 좌측 영상에서는 하나의 좌측 차선만이 검출되고, 우측 영상에서는 하나의 우측 차선만이 검출될 수 있다. 이 경우에는, 좌측 영상에서 검출된 좌측 차선과 전방 영상(또는 후방 영상)에서 검출된 좌측 차선의 색상/형태가 동일한지를 판단한다. 유사하게, 우측 영상에서 검출된 우측 차선과 전방 영상(또는 후방 영상)에서 검출된 우측 차선의 색상/형태가 동일한지를 판단한다.Meanwhile, only one left lane may be detected in the left image, and only one right lane may be detected in the right image. In this case, it is determined whether the color/shape of the left lane detected in the left image is the same as the color/shape of the left lane detected in the front image (or rear image). Similarly, it is determined whether the color/shape of the right lane detected in the right image is the same as that of the right lane detected in the front image (or rear image).

이어, 좌우 차선의 색상/형태가 모두 동일하면, 단계 S527에서, 검출된 좌우 차선을 이용하여 카메라 공차보정을 위한 카메라 자세각(또는 피치 방향, 롤 방향 및 요 방향의 회전각도)을 추정한다. 즉, 전술한 카메라 자세각 추정 방법 1-3으로, 지면을 기준으로 하는(탑-뷰 좌표계를 기준으로 하는) 카메라 자세각(또는 피치 방향, 롤 방향 및 요 방향의 회전각도)을 추정(계산)한다.Next, if the color/shape of the left and right lanes are the same, in step S527, the camera attitude angle (or the rotation angle in the pitch direction, roll direction, and yaw direction) for camera tolerance correction is estimated using the detected left and right lanes. That is, with the camera attitude angle estimation method 1-3 described above, the camera attitude angle (or the rotation angle in the pitch direction, roll direction, and yaw direction) with respect to the ground (based on the top-view coordinate system) is estimated (calculated) )do.

한편, 좌측 영상에서 하나의 좌측 차선만이 검출되고, 우측 영상에서 하나의 우측 차선만이 검출된 경우에는, 상기 좌측 영상에서 검출된 좌측 차선과 상기 우측 영상에서 검출된 우측 차선이 전술한 회전각도 추정방법 1, 2, 3에서 설명한 조건들을 만족하는 카메라 자세각을 계산하고, 이를 통해 좌우측 카메라의 카메라 자세각을 추정할 수 있다.On the other hand, when only one left lane is detected in the left image and only one right lane is detected in the right image, the left lane detected in the left image and the right lane detected in the right image are the aforementioned rotation angles. Camera attitude angles satisfying the conditions described in Estimation Methods 1, 2, and 3 are calculated, and the camera attitude angles of the left and right cameras can be estimated through this.

다르게, 전방 영상(또는 후방 영상)에서 검출한 좌우 차선을 이용하여 추정된 전방 카메라(또는 후방 카메라)의 카메라 자세각을 이용하여 좌우측 카메라의 카메라 자세각을 추정할 수 있다. 예를 들면, 전방 영상(또는 후방 영상)에서 검출된 좌측 차선의 두께와 좌측 영상에서 검출된 좌측 차선의 두께가 동일할 조건 및 전방 영상(또는 후방 영상)에서 검출된 좌측 차선과 좌측 영상에서 검출된 좌측 차선이 평행할 조건을 만족하는 카메라 자세각을 추정하는 방식으로, 좌측 카메라의 카메라 자세각을 추정할 수 있다. 이와 유사한 방식으로, 전방 영상(또는 후방 영상)에서 검출된 우측 차선과 우측 영상에서 검출된 우측 차선을 비교하여, 좌측 카메라의 카메라 자세각을 추정할 수 있다. Alternatively, the camera attitude angles of the left and right cameras may be estimated using the camera attitude angles of the front camera (or rear camera) estimated using the left and right lanes detected from the front image (or the rear image). For example, under the condition that the thickness of the left lane detected in the front image (or rear image) and the thickness of the left lane detected in the left image are the same, and detection in the left lane and left image detected in the front image (or rear image) The camera attitude angle of the left camera can be estimated by estimating the camera attitude angle that satisfies the condition that the left lane is parallel. In a similar manner, the camera attitude angle of the left camera may be estimated by comparing the right lane detected from the front image (or the rear image) with the right lane detected from the right image.

전/후/좌/우 카메라에 대한 모든 카메라 자세각이 추정되면, 추정된 카메라 자세각을 포함하는 회전 행렬을 구성한다. When all camera attitude angles for the front/rear/left/right cameras are estimated, a rotation matrix including the estimated camera attitude angles is constructed.

이어, 단계 S529에서, 상기 구성된 회전 행렬을 룩업 테이블 형태로 저장부에 저장하여, 기존에 저장된 룩업 테이블을 업데이트한다. Next, in step S529, the configured rotation matrix is stored in the storage unit in the form of a lookup table, and the previously stored lookup table is updated.

이후, 상기 저장부에 룩업 테이블 형태로 저장된 회전 행렬을 이용하여 현재 입력되는 4개의 전/후/좌/우 영상을 전/후/좌/우 탑-뷰 영상으로 회전 변환하고, 회전 변환된 전/후/좌/우 탑-뷰 영상을 합성함으로써, 카메라 공차가 보정된 최종 탑-뷰 영상을 운전자에게 제공할 수 있다.Then, using the rotation matrix stored in the form of a lookup table in the storage unit, the four currently input before/after/left/right images are rotationally converted into before/after/left/right top-view images, and the rotation-converted before-and-after images are rotated. By synthesizing the /rear/left/right top-view image, the final top-view image with the camera tolerance corrected can be provided to the driver.

한편, 탑-뷰 영상을 생성 장치를 나타내는 도 1의 블록도는 발명의 원리를 기능적 관점에서 구체화한 것으로 이해해야 한다. 이와 유사하게, 도 5의 흐름도는 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.Meanwhile, the block diagram of FIG. 1 showing an apparatus for generating a top-view image should be understood as embodied in the principle of the invention from a functional point of view. Similarly, the flow diagram of FIG. 5 is to be understood as representing various processes that may be tangibly embodied on a computer-readable medium and performed by a computer or processor, whether or not a computer or processor is explicitly shown.

프로세서 또는 이와 유사한 개념으로 표시된 도 1의 블록들(120~190)은 전용 하드웨어뿐만 아니라 소프트웨어를 실행할 수 있는 하드웨어의 사용으로 제공될 수 있다. Blocks 120 to 190 of FIG. 1 indicated by a processor or a similar concept may be provided by using hardware capable of executing software as well as dedicated hardware.

도 1의 블록들(120~190)이 프로세서에 의해 구현될 때, 도 1에 도시된 블록들(120~190)의 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.When blocks 120 to 190 of FIG. 1 are implemented by a processor, the functions of blocks 120 to 190 shown in FIG. 1 may be provided by a single dedicated processor, a single shared processor, or a plurality of individual processors. and some of them may be shared.

또한, 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 인용하여 해석되어서는 안되며, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 물론 주지관용의 다른 하드웨어도 포함될 수 있다.Further, clear use of terms presented as processor, control, or similar concepts should not be construed as citing exclusively hardware capable of executing software, without limitation, digital signal processor (DSP) hardware, ROM (for storing software) ROM), RAM, and non-volatile memory are to be understood as implicitly included. Of course, other hardware for general use may also be included.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and various modifications, changes, and substitutions are possible within the range that does not depart from the essential characteristics of the present invention by those of ordinary skill in the art to which the present invention pertains. will be. Accordingly, the embodiments disclosed in the present invention and the accompanying drawings are for explaining, not limiting, the technical spirit of the present invention, and the scope of the technical spirit of the present invention is not limited by these embodiments and the accompanying drawings . The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

Claims (18)

차량에 설치된 전후좌우 카메라로부터 전후좌우 영상을 각각 획득하는 과정;
상기 전후좌우 영상으로부터 상기 차량의 좌측 차선과 우측 차선을 검출하는 과정;
상기 좌측 차선의 색상 및 형태와 상기 우측 차선의 색상 및 형태가 동일한지 판단하는 과정;
상기 색상 및 형태가 동일하면, 상기 전후좌우 카메라 중 하나 이상의 카메라 자세각을 추정하는 과정; 및
상기 카메라 자세각을 기반으로 탑-뷰 영상을 생성하는 과정
을 포함하는 탑-뷰 영상 생성 방법.
a process of acquiring front, rear, left, and right images from front, rear, left, and right cameras installed in the vehicle;
detecting a left lane and a right lane of the vehicle from the front, rear, left, and right images;
determining whether the color and shape of the left lane and the color and shape of the right lane are the same;
estimating an attitude angle of at least one of the front, rear, left, and right cameras when the color and shape are the same; and
The process of generating a top-view image based on the camera attitude angle
A top-view image generating method comprising a.
제1항에 있어서,
상기 전후좌우 영상을 획득하는 과정 이전에,
상기 차량의 주행 상태가 직선 주행인지를 판단하는 과정을 추가로 포함하는 것을 특징으로 하는 탑-뷰 영상 생성 방법.
According to claim 1,
Before the process of acquiring the front and rear left and right images,
The method for generating a top-view image, characterized in that it further comprises the step of determining whether the driving state of the vehicle is a straight-line driving.
제1항에 있어서,
상기 색상 및 형태가 동일한지 판단하는 과정은,
상기 좌측 차선과 상기 우측 차선 각각의 형태가 점선 또는 실선인지를 판단하는 과정; 및
상기 좌측 차선과 상기 우측 차선의 형태가 동일한 점선인지 또는 동일한 실선인지를 판단하는 과정
을 포함하는 것을 특징으로 하는 탑-뷰 영상 생성 방법.
According to claim 1,
The process of determining whether the color and shape are the same,
determining whether the shape of each of the left lane and the right lane is a dotted line or a solid line; and
A process of determining whether the shapes of the left lane and the right lane are the same dotted line or the same solid line
A top-view image generating method comprising a.
제1항에 있어서,
상기 색상 및 형태가 동일한지 판단하는 과정은,
상기 좌측 차선의 평균 색상값과 상기 우측 차선의 평균 색상값의 간의 차이값을 임계치와 비교하고, 상기 차이값이 상기 임계치 이하인 경우, 상기 좌측 차선과 상기 우측 차선의 색상을 동일한 것으로 판단하는 과정
을 포함하는 것을 특징으로 하는 탑-뷰 영상 생성 방법.
According to claim 1,
The process of determining whether the color and shape are the same,
Comparing a difference value between the average color value of the left lane and the average color value of the right lane with a threshold value, and determining that the colors of the left lane and the right lane are the same when the difference value is less than or equal to the threshold value
A top-view image generating method comprising a.
제1항에 있어서,
상기 카메라 자세각을 추정하는 과정은,
탑-뷰(Top view) 영상 좌표계에서 요구되는 상기 좌측 차선과 상기 우측 차선의 기하학적 조건을 이용하여 상기 카메라 자세각을 추정하는 것을 특징으로 하는 탑-뷰 영상 생성 방법.
According to claim 1,
The process of estimating the camera attitude angle is
The method for generating a top-view image, characterized in that the camera attitude angle is estimated using geometric conditions of the left and right lanes required in a top view image coordinate system.
제5항에 있어서,
상기 기하학적 조건은,
상기 좌측 차선과 상기 우측 차선이 평행한 조건 및 상기 좌측 차선의 두께와 상기 우측 차선의 두께가 동일한 조건 중 적어도 하나를 포함하는 것을 특징으로 하는 탑-뷰 영상 생성 방법.
6. The method of claim 5,
The geometric condition is
and at least one of a condition in which the left lane and the right lane are parallel, and a condition in which a thickness of the left lane and a thickness of the right lane are the same.
제5항에 있어서,
상기 카메라 자세각을 추정하는 과정은,
좌측 영상으로부터 검출된 좌측 차선과 우측 영상으로부터 검출된 우측 차선이 상기 기하학적 조건을 만족하도록 좌측 카메라 및 우측 카메라의 자세각을 추정하는 과정인 것을 특징으로 하는 탑-뷰 영상 생성 방법.
6. The method of claim 5,
The process of estimating the camera attitude angle is
A method for generating a top-view image, characterized in that it is a process of estimating the attitude angles of a left camera and a right camera so that the left lane detected from the left image and the right lane detected from the right image satisfy the geometric condition.
제5항에 있어서,
상기 카메라 자세각을 추정하는 과정은,
전방 영상 및 후방 영상 중 적어도 하나로부터 검출된 좌측 차선과 좌측 영상으로부터 검출된 좌측 차선이 상기 기하학적 조건을 만족하도록 전방 카메라 및 후방 카메라 중 적어도 하나와 좌측 카메라의 자세각을 추정하는 과정인 것을 특징으로 하는 탑-뷰 영상 생성 방법.
6. The method of claim 5,
The process of estimating the camera attitude angle is
It is characterized in that it is a process of estimating the attitude angles of at least one of the front camera and the rear camera and the left camera so that the left lane detected from at least one of the front image and the rear image and the left lane detected from the left image satisfy the geometric condition. How to create a top-view video.
제5항에 있어서,
상기 카메라 자세각을 추정하는 과정은,
전방 영상 및 후방 영상 중 적어도 하나로부터 검출된 우측 차선과 우측 영상으로부터 검출된 우측 차선이 상기 기하학적 조건을 만족하도록 전방 카메라 및 후방 카메라 중 적어도 하나와 우측 카메라의 자세각을 추정하는 과정인 것을 특징으로 하는 탑-뷰 영상 생성 방법.
6. The method of claim 5,
The process of estimating the camera attitude angle is
It is characterized in that it is a process of estimating the attitude angle of at least one of the front camera and the rear camera and the right camera so that the right lane detected from at least one of the front image and the rear image and the right lane detected from the right image satisfy the geometric condition. How to create a top-view video.
차량의 전후좌우를 촬영하여 전후좌우 영상을 생성하는 카메라부;
상기 전후좌우 영상으로부터 상기 차량의 좌측 차선과 우측 차선을 검출하는 차선 검출부;
상기 좌측 차선의 색상 및 형태와 상기 우측 차선의 색상 및 형태가 동일한지 판단하는 차선 색상/형태 판단부;
상기 색상 및 형태가 동일하면, 상기 전후좌우 카메라 중 하나 이상의 카메라 자세각을 추정하는 카메라 자세각 추정부; 및
상기 카메라 자세각을 기반으로 탑-뷰 영상을 생성하는 영상 합성부
를 포함하는 탑-뷰 영상 생성 장치.
A camera unit for generating front, rear, left, and right images by photographing the front, rear, left, and right of the vehicle;
a lane detection unit detecting a left lane and a right lane of the vehicle from the front, rear, left, and right images;
a lane color/shape determining unit configured to determine whether the color and shape of the left lane and the color and shape of the right lane are the same;
a camera posture angle estimator for estimating at least one camera posture angle among the front, rear, left and right cameras when the color and shape are the same; and
An image synthesizing unit that generates a top-view image based on the camera attitude angle
A top-view image generating device comprising a.
제10항에 있어서,
상기 차량의 주행 상태가 직선 주행인지를 판단하는 주행 판단부를 더 포함하는 것을 특징으로 하는 탑-뷰 영상 생성 장치.
11. The method of claim 10,
Top-view image generating apparatus, characterized in that it further comprises a driving determination unit for determining whether the driving state of the vehicle is a straight-line driving.
제10항에 있어서,
상기 차선 색상/형태 판단부는,
상기 좌측 차선과 상기 우측 차선 각각의 형태가 점선 또는 실선인지를 판단하여, 상기 좌측 차선과 상기 우측 차선의 형태가 동일한 점선인지 또는 동일한 실선인지를 판단하는 것을 특징으로 하는 탑-뷰 영상 생성 장치.
11. The method of claim 10,
The lane color/shape determination unit,
The apparatus for generating a top-view image, characterized in that by determining whether the shapes of the left and right lanes are dotted lines or solid lines, determining whether the shapes of the left and right lanes are the same dotted line or the same solid line.
제10항에 있어서,
상기 차선 색상/형태 판단부는,
상기 좌측 차선의 평균 색상값과 상기 우측 차선의 평균 색상값의 간의 차이값을 임계치와 비교하고, 상기 차이값이 상기 임계치 이하인 경우, 상기 좌측 차선과 상기 우측 차선의 색상을 동일한 것으로 판단하는 것을 특징으로 하는 탑-뷰 영상 생성 장치.
11. The method of claim 10,
The lane color/shape determination unit,
a difference value between the average color value of the left lane and the average color value of the right lane is compared with a threshold value, and when the difference value is less than or equal to the threshold value, it is determined that the colors of the left lane and the right lane are the same A top-view image generating device with
제10항에 있어서,
상기 카메라 자세각 추정부는,
탑-뷰(Top view) 영상 좌표계에서 요구되는 상기 좌측 차선과 상기 우측 차선의 기하학적 조건을 이용하여 상기 카메라 자세각을 추정하는 것을 특징으로 하는 탑-뷰 영상 생성 장치.
11. The method of claim 10,
The camera attitude angle estimation unit,
The apparatus for generating a top-view image, characterized in that the camera attitude angle is estimated using geometric conditions of the left and right lanes required in a top view image coordinate system.
제14항에 있어서,
상기 기하학적 조건은,
상기 좌측 차선과 상기 우측 차선이 평행한 조건 및 상기 좌측 차선의 두께와 상기 우측 차선의 두께가 동일한 조건 중 적어도 하나를 포함하는 것을 특징으로 하는 탑-뷰 영상 생성 장치.
15. The method of claim 14,
The geometric condition is
and at least one of a condition in which the left lane and the right lane are parallel and a thickness of the left lane and a thickness of the right lane are the same.
제14항에 있어서,
상기 카메라 자세각 추정부는,
좌측 영상으로부터 검출된 좌측 차선과 우측 영상으로부터 검출된 우측 차선이 상기 기하학적 조건을 만족하도록 좌측 카메라 및 우측 카메라의 자세각을 추정하는 것을 특징으로 하는 탑-뷰 영상 생성 장치.
15. The method of claim 14,
The camera attitude angle estimation unit,
A top-view image generating apparatus, characterized in that the attitude angles of the left and right cameras are estimated so that the left lane detected from the left image and the right lane detected from the right image satisfy the geometric condition.
제14항에 있어서,
상기 카메라 자세각 추정부는,
전방 영상 및 후방 영상 중 적어도 하나로부터 검출된 좌측 차선과 좌측 영상으로부터 검출된 좌측 차선이 상기 기하학적 조건을 만족하도록 전방 카메라 및 후방 카메라 중 적어도 하나와 좌측 카메라의 자세각을 추정하는 것을 특징으로 하는 탑-뷰 영상 생성 장치.
15. The method of claim 14,
The camera attitude angle estimation unit,
A tower, characterized in that at least one of the front camera and the rear camera and the left camera are estimated so that the left lane detected from at least one of the front image and the rear image and the left lane detected from the left image satisfy the geometric condition. -View image generating device.
제14항에 있어서,
상기 카메라 자세각 추정부는,
전방 영상 및 후방 영상 중 적어도 하나로부터 검출된 우측 차선과 우측 영상으로부터 검출된 우측 차선이 상기 기하학적 조건을 만족하도록 전방 카메라 및 후방 카메라 중 적어도 하나와 우측 카메라의 자세각을 추정하는 것을 특징으로 하는 탑-뷰 영상 생성 장치.
15. The method of claim 14,
The camera attitude angle estimation unit,
A tower, characterized in that the at least one of the front camera and the rear camera and the right camera are estimated so that the right lane detected from at least one of the front image and the rear image and the right lane detected from the right image satisfy the geometric condition. -View image generating device.
KR1020210142658A 2016-12-08 2021-10-25 Apparatus for generating top-view image and method thereof KR102430352B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210142658A KR102430352B1 (en) 2016-12-08 2021-10-25 Apparatus for generating top-view image and method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160167002A KR102328031B1 (en) 2016-12-08 2016-12-08 Apparatus for generating top-view image and method thereof
KR1020210142658A KR102430352B1 (en) 2016-12-08 2021-10-25 Apparatus for generating top-view image and method thereof

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020160167002A Division KR102328031B1 (en) 2016-12-08 2016-12-08 Apparatus for generating top-view image and method thereof

Publications (2)

Publication Number Publication Date
KR20210130688A true KR20210130688A (en) 2021-11-01
KR102430352B1 KR102430352B1 (en) 2022-08-05

Family

ID=62768103

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020160167002A KR102328031B1 (en) 2016-12-08 2016-12-08 Apparatus for generating top-view image and method thereof
KR1020210142658A KR102430352B1 (en) 2016-12-08 2021-10-25 Apparatus for generating top-view image and method thereof

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020160167002A KR102328031B1 (en) 2016-12-08 2016-12-08 Apparatus for generating top-view image and method thereof

Country Status (1)

Country Link
KR (2) KR102328031B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240025323A (en) * 2022-08-18 2024-02-27 주식회사 켐트로닉스 Device and Method for Creating a Rear Panoramic View

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102100047B1 (en) * 2018-09-04 2020-04-10 한국교통대학교산학협력단 Method for position recognition of vehicle using lane-end-point detection algorithm and method for evaluating performance of the same
KR102235125B1 (en) * 2019-09-20 2021-04-02 주식회사 와이즈오토모티브 Apparatus for generating front image for construction equipment
CN114375568A (en) * 2019-09-20 2022-04-19 伟智有限公司 Front image generation device for heavy machinery
KR20210148756A (en) 2020-06-01 2021-12-08 삼성전자주식회사 Slope estimating apparatus and operating method thereof

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4555876B2 (en) * 2008-05-30 2010-10-06 株式会社日本自動車部品総合研究所 Car camera calibration method
KR20140033803A (en) * 2012-09-10 2014-03-19 현대모비스 주식회사 Method and apparatus for compensating camera tolerance and around view monitoring system using the same
JP2014164694A (en) * 2013-02-27 2014-09-08 Oki Electric Ind Co Ltd Information processor, and program
KR101549165B1 (en) * 2014-08-25 2015-09-14 경북대학교 산학협력단 Apparatus and method for estimating pose of vehicle
KR20160007022A (en) * 2014-07-10 2016-01-20 현대모비스 주식회사 Around view system and the operating method
KR20160123411A (en) * 2015-04-15 2016-10-26 주식회사 만도 Camera apparatus for vehicle, calibration system and method thereof

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4555876B2 (en) * 2008-05-30 2010-10-06 株式会社日本自動車部品総合研究所 Car camera calibration method
KR20140033803A (en) * 2012-09-10 2014-03-19 현대모비스 주식회사 Method and apparatus for compensating camera tolerance and around view monitoring system using the same
JP2014164694A (en) * 2013-02-27 2014-09-08 Oki Electric Ind Co Ltd Information processor, and program
KR20160007022A (en) * 2014-07-10 2016-01-20 현대모비스 주식회사 Around view system and the operating method
KR101549165B1 (en) * 2014-08-25 2015-09-14 경북대학교 산학협력단 Apparatus and method for estimating pose of vehicle
KR20160123411A (en) * 2015-04-15 2016-10-26 주식회사 만도 Camera apparatus for vehicle, calibration system and method thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240025323A (en) * 2022-08-18 2024-02-27 주식회사 켐트로닉스 Device and Method for Creating a Rear Panoramic View

Also Published As

Publication number Publication date
KR102328031B1 (en) 2021-11-17
KR20180065758A (en) 2018-06-18
KR102430352B1 (en) 2022-08-05

Similar Documents

Publication Publication Date Title
KR102430352B1 (en) Apparatus for generating top-view image and method thereof
US10620000B2 (en) Calibration apparatus, calibration method, and calibration program
KR102188721B1 (en) Apparatus for generating top-view image and method thereof
US11216673B2 (en) Direct vehicle detection as 3D bounding boxes using neural network image processing
US8259174B2 (en) Camera auto-calibration by horizon estimation
US9330472B2 (en) System and method for distorted camera image correction
EP3032818B1 (en) Image processing device
US10268904B2 (en) Vehicle vision system with object and lane fusion
KR102528002B1 (en) Apparatus for generating top-view image and method thereof
KR102441209B1 (en) Method and Apparatus for Assessing an Image Match of an Around View Image for an Around View Monitor System
JP6471522B2 (en) Camera parameter adjustment device
WO2019156072A1 (en) Attitude estimating device
US10546391B2 (en) Apparatus and method for generating around view
US20070296566A1 (en) Vehicle surroundings display unit and a method of displaying vehicle surroundings
KR102466305B1 (en) System and method for compensating avm tolerance
CN113516711A (en) Camera pose estimation techniques
JP7019431B2 (en) Camera calibration device, camera calibration method, and program
CN112150547A (en) Method and device for determining pose of vehicle body and look-around vision odometer system
EP3709265A1 (en) Road surface area detection device
JP6992344B2 (en) Landmark selection method and landmark selection device
US20150104072A1 (en) Lane detection method and system using photographing unit
US11568565B2 (en) Rendering-based lidar and camera alignment
KR102457265B1 (en) Apparatus for generating top-view image and method thereof
KR101949349B1 (en) Apparatus and method for around view monitoring
Zhang et al. An Adaptive 3D Panoramic Vision System for Intelligent Vehicle

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant