KR102658268B1 - Avm용 주행 자동 공차 보정 장치 및 방법 - Google Patents

Avm용 주행 자동 공차 보정 장치 및 방법 Download PDF

Info

Publication number
KR102658268B1
KR102658268B1 KR1020160041591A KR20160041591A KR102658268B1 KR 102658268 B1 KR102658268 B1 KR 102658268B1 KR 1020160041591 A KR1020160041591 A KR 1020160041591A KR 20160041591 A KR20160041591 A KR 20160041591A KR 102658268 B1 KR102658268 B1 KR 102658268B1
Authority
KR
South Korea
Prior art keywords
image
avm
unit
tolerance
driving
Prior art date
Application number
KR1020160041591A
Other languages
English (en)
Other versions
KR20170114523A (ko
Inventor
이성수
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020160041591A priority Critical patent/KR102658268B1/ko
Publication of KR20170114523A publication Critical patent/KR20170114523A/ko
Application granted granted Critical
Publication of KR102658268B1 publication Critical patent/KR102658268B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 전방카메라 또는 후방카메라로 좌측카메라 또는 우측카메라로 주변을 촬영하는 영상을 출력하는 영상촬영부, 상기 영상촬영부에서 출력된 영상에서 지면 특징점을 추출하는 영상변환부, 상기 영상변환부에서 검출된 특징점과 실세계 좌표계의 좌표가 매칭되도록 공차를 보정하는 공차보정부, 상기 공차 보정된 영상을 어라운드 뷰 영상으로 합성하고, 어라운드 뷰 합성 LUT을 생성하는 영상합성부, 상기 영상합성부에서 출력된 상기 어라운드 뷰 영상에서 차선 및 정지선을 검출하는 차선 및 정지선 검출부, 상기 차선 및 정지선 검출부에서 검출된 차선 및 정지선을 이용하여 어라운드 뷰영상의 AVM 경계 정합성을 판단하는 AVM 경계 정합성 판단부, 상기 영상촬영부의 카메라 장착 각도 변동에 따른 영상 에러 발생시, 자율주행 불가로 판단하여, 이를 운전자에게 경고하고, 차량의 주행을 수동주행으로 변경하는 주행판단부를 포함하는 AVM용 주행 자동 공차 보정 장치 및 방법에 관한 것이다.

Description

AVM용 주행 자동 공차 보정 장치 및 방법{Apparatus and method for AVM automatic Tolerance compensation}
본 발명은 AVM용 주행 자동 공차 보정 방법에 관한 것으로, 보다 상세하게는 AVM 카메라 장착 각도가 변동 발생하였을 때 주행 중에 자동으로 공차 보정을 하는 AVM용 주행 자동 공차 보정 방법에 관한 것이다.
최근 차량에는 다수의 카메라에서 촬영되는 영상을 이용하는 어라운드 뷰 모니터링 시스템은 카메라 조립 시 공차를 보정하는 작업이 필수적이다. 차량의 제조사는 어라운드 뷰 모니터링 시스템이 장착된 차량에 대하여 어라운드 뷰 화면 정합성 기준에 맞도록 공차를 보정한 후 차량을 출고한다.
그러나 차량 출고 후 차량의 운행 도중 공차가 누적되면 어라운드 뷰 화면의 정합성이 낮아질 수 있다. 따라서, 새롭게 발생한 누적 공차의 보정이 필요하며, 공차 보정을 위하여 공차 보정이 가능한 서비스 센터나 사업소로 방문해야 하는 불편함이 존재하는 문제점이 있다.
상기와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명의 일실시례에 따른 AVM용 주행 자동 공차 보정 장치 및 방법은, 공장 출고 후 AVM 카메라 장착 각도 변동이 발생하였을 때, 본 발명을 통해 A/S 사업소 방문 없이 주행 중에 자동으로 공차 보정을 해줌으로써 고객 편의를 증대시킬 뿐 아니라 AVM 상품성 향상에 그 목적이 있다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당 업자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위하여, 본 발명의 실시례에 따른 AVM용 주행 자동 공차 보정 장치는 전방카메라 또는 후방카메라로 좌측카메라 또는 우측카메라로 주변을 촬영하는 영상을 출력하는 영상촬영부, 상기 영상촬영부에서 출력된 영상에서 지면 특징점을 추출하는 영상변환부, 상기 영상변환부에서 검출된 특징점과 실세계 좌표계의 좌표가 매칭되도록 공차를 보정하는 공차보정부, 상기 공차 보정된 영상을 어라운드 뷰 영상으로 합성하고, 어라운드 뷰 합성 LUT(look up table)을 생성하는 영상합성부, 상기 영상합성부에서 출력된 상기 어라운드 뷰 영상에서 차선 및 정지선을 검출하는 차선 및 정지선 검출부, 상기 차선 및 정지선 검출부에서 검출된 차선 및 정지선을 이용하여 어라운드 뷰 영상의 AVM 경계 정합성을 판단하는 AVM 경계 정합성 판단부, 상기 영상촬영부의 카메라 장착 각도 변동에 따른 영상 에러 발생시, 자율주행 불가로 판단하여, 이를 운전자에게 경고하고, 차량의 주행을 수동주행으로 변경하는 주행판단부를 포함한다.
본 발명의 실시례에 따른 AVM용 주행 자동 공차 보정 방법은 전방, 후방, 좌측 및 우측 카메라에서 지면 특징점을 추출하고 매칭하는 단계, 상기 전방, 후방, 좌측 및 우측 카메라 자세를 추정하는 단계, 상기 추정 자세와 기준 각도 간의 차이를 판단하는 단계, 상기 전방, 후방, 좌측 및 우측 카메라 자세로부터 어라운드 뷰 합성 LUT 생성 단계, 상기 어라운드 뷰 영상으로부터 차선 또는 정지선을 검출하는 단계, 상기 차선 또는 정지선을 이용하여 AVM 경계 정합성 판단 및 보정하는 단계를 포함한다.
기타 실시례들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 AVM용 주행 자동 공차 보정 장치 및 방법에 따르면　AVM 시스템에 적용하여 자동 공차 보정 기능을 지원해 줌으로써 AVM 합성 영상의 정합성을 향상시켜주는 장점이 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당 업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일실시례에 따른 AVM용 주행 자동 공차 보정 장치의 구성을 도시한 구성도이다.
도 2는 본 발명의 일실시례에 따른 영상 촬영부에서 추출된 특징점을 도시하는 도면이다.
도 3은 본 발명의 일실시례에 따른 영상촬영부의 좌표계를 도시하는 도면이다.
도 4는 본 발명의 일실시례에 따른 지면 특징점의 기하학 조건을 도시하는 도면이다.
도 5는 본 발명의 일실시례에 따른 차량 움직임 정보와 지면 특징점 이동 관계를 도시하는 도면이다.
도 6은 본 발명의 일실시례에 따른 어라운드 뷰 합성 LUT 생성을 도시하는 도면이다.
도 7은 본 발명의 일실시례에 따른 차선을 검출방법을 도시하는 도면이다.
도 8은 본 발명의 일실시례에 따른 정지선을 검출방법을 도시하는 도면이다.
도 9는 본 발명의 일실시례에 따른 AVM 경계 정합성 판단 방법을 도시하는 도면이다.
도 10은 본 발명의 일실시례에 따른 AVM용 주행 자동 공차 보정 방법의 구성을 도시한 구성도이다.
(x, y, z)으로 표현할 수 있다. 상기 카메라의 X축을 Pitch, Y축을 Yaw, Z축을 Roll이라고 표현할 수 있다.
도 4는 본 발명의 일실시례에 따른 지면 특징점의 기하학 조건을 도시하는 도면이다.
공차보정부(130)는 상기 영상촬영부에서 출력된 영상을 Top-View 변환시 영상변환부(120)에서 추출된 지면 특징점의 기하학 조건을 이용하여 공차를 보정할 수 있다.
상기 추출된 지면 특징점(401, 403) 간 거리 (d1, d2)가 동일하고, 상기 지면 특징점(401,411)의 이동 거리(d3)와 상기 지면 특징점(403,413)의 이동 거리(d4)가 동일하다면 상기 지면 특징점 기하학적 조건을 만족할 수 있다.
상기 조건을 만족시키기 위해 공차보정부(130)는 영상촬영부(110)의 각 카메라의 영상을 Pitch 및 Yaw 회전하여 공차를 보정할 수 있다.
상기 Pitch/ Yaw 축의 회전은 Gauss-Newton 방법을 이용하여 [수학식 1]과 [수학식 2]를 통해 계산할 수 있다.
(는 특징점 i의 현재 좌표, 는 특징점 i의 이전 좌표, 는 특징점 j의 현재 좌표, 는 특징점 j의 이전 좌표)
도 5는 본 발명의 일실시례에 따른 차량 움직임 정보와 지면 특징점 이동 관계를 도시하는 도면이다.
공차보정부(130)는 차량 움직임 정보와 지면 특징점 이동 관계를 이용하여 공차를 보정할 수 있다. 상기 공차보정부(130)는 Top-View 기준 차량 움직임에 의한 예측 이동 벡터 계산할 수 있다. 추출된 지면 특징점 이동 벡터가 상기 예측 이동 벡터 방향과 일치되는 회전 각도 계산할 수 있다. 상기 조건을 만족시키기 위해 공차보정부(130)는 영상촬영부(110)의 각 카메라의 영상을 Pitch 및 Yaw 회전하여 공차를 보정할 수 있다.
상기 Roll 회전과 도 4의 Pitch/Yaw 회전에 의한 공차보정 결과를 통해 카메라 영상을 Top -View로 변환할 수 있다.
상기 Top-View 변환은 Homography 방법을 이용하여 [수학식 3]과 [수학식 4]를 통해 계산할수 있다.
도 6은 본 발명의 일실시례에 따른 어라운드 뷰 합성 LUT 생성을 도시하는 도면이다.
영성 합성부(140)는 공차를 보정된 영상을 어라운드 뷰 영상으로 출력한다.
영상촬영부(110)는 차량의 주변인 전방, 후방, 우측 및 좌측의 영상을 촬영하고, 촬영된 영상은 어라운드 뷰 영상을 생성하는데 이용된다. 도 6 (a)를 참조하면, 합성 보정 전의 전방, 후방, 좌측, 및 우측 카메라가 촬영하여, 상기 촬영된 영상을 Top-View 영상으로 변화하여 전방 Top-View 영상(610), 후방 Top-View 영상(620), 좌측 Top-View 영상(630), 우측 Top-View 영상(640)으로 각각 출력된다.
상기 영상 합성부(140)는 상기 어라운드 뷰 영상이 합성되는 과정에서 높은 정합성을 가지기 위하여 공차를 보정한다. 도 6 (b)를 참조하면, 합성 보정 후의 공차보정부(130)에 의하여 보정된 전방 Top-View 영상(615), 보정된 후방 Top-View 영상(625), 보정된 좌측 Top-View 영상(635), 보정된 우측 Top-View 영상(645)으로 출력된다.
상기 공차 보정을 통해 좌표를 변환하는 변환비 등 변환에 필요한 데이터를 저장하고 있는 룩 업 테이블(LUT, Look UP Table)을 생성할 수 있다.
도 7은 본 발명의 일실시례에 따른 차선을 검출방법을 도시하는 도면이다.
도 7의 (a)참조하면, 차선 및 정지선 검출부(150)는 영상 합성부(140)에서 출력된 어라운드 뷰 영상에서 수직 방향 차선 특징점 추출한다. 상기 횡단보도 검출부(120)는 탐색할 수평 구간(715)들을 선정한다. 상기 어라운드 뷰 영상에서 수평 방향으로 탐색하여 그래디언트가 상대적으로 높은 곳을 검출하여 특징점을 추출한다.
도 7의 (b)참조하면, 차선 후보군 검출하기 위해 상기 Top-View 영상에서 상기 특징점을 기준으로 360도 방향 탐색하여 선 성분을 추출한다. 상기 차선 및 정지선 검출부(150)는 상기 추출된 특징점(710)을 사용하여 Line Fitting 과정을 진행한다. 상기 Line Fitting 과정은 상기 차선 좌/우측의 특징점(710)을 기준으로 360도 방향을 탐색하여 선 성분을 추출한다. 상기 차선 중심점을 기준으로 차선 후보군(720)을 표시한다.
도 7의 (c)참조하면, 상기 차량 기준 좌/우측의 다수의 후보점을 지나는 선 성분을 대표 차선으로 검출하여 주행 차선(730)으로 인식된다.
도 8은 본 발명의 일실시례에 따른 정지선을 검출방법을 도시하는 도면이다.
도 8의 (a)참조하면, 차선 및 정지선 검출부(150)는 영상 합성부(140)에서 출력된 어라운드 뷰 영상에서 수평 방향 정지선 특징점(810)을 추출한다. 상기 차선 및 정지선 검출부(150)는 탐색할 수직 구간(815)을 선정한다. 상기 어라운드 뷰 영상에서 수직 방향으로 탐색하여 그래디언트가 상대적으로 높은 곳을 검출하여 특징점을 추출한다.
도 8의 (b)참조하면, 정지선 후보군 검출하기 위해 상기 Top-View 영상에서 상기 특징점을 기준으로 360도 방향 탐색하여 선 성분을 추출한다. 도 8(b)를 참조하면, 상기 차선 및 정지선 검출부(150)는 상기 추출된 특징점(810)을 사용하여 Line Fitting 과정을 진행한다. 상기 Line Fitting 과정은 상기 정지선의 특징점(810)을 기준으로 360도 방향을 탐색하여 선 성분을 추출한다. 정지선 중심점을 기준으로 정지선 후보군(820)을 표시한다.
도 8의 (c)참조하면, 다수의 후보점을 지나는 선 성분을 정지선(830)으로 인식한다.
도 9는 본 발명의 일실시례에 따른 AVM 경계 정합성 판단 방법을 도시하는 도면이다.
AVM 경계 정합성 판단부(160)는 상기 차선 및 정지선 검출부(150)에서 검출된 차선 및 정지선을 이용하여 정합성 조건에 따라 AVM 경계 정합성을 판단하고, 상기 판단 결과에 따라 AVM 합성 영상을 보정한다.
도 9 (a)를 참고하면, 상기 자차 기준 왼쪽 차선(731)과 오른쪽 차선(733)은 각각 직선이어야 한다는 조건 이용하여 상기 AVM 경계 정합성을 판단할 수 있다.
도 9 (b)를 참고하면, 상기 AVM 경계 정합성 판단부(160)는 상기 AVM 합성 영상의 전방, 후방, 좌측 및 우측 영역에서 검출된 차선 후보군 중 왼쪽 차선(920) 또는 오른쪽 차선(930)에 속하는지 그룹핑 할 수 있다. 각 그룹핑 된 차선 후보군들이 서로 직선이 되도록 하는 전방, 후방, 좌측 및 우측 영역에 대해 각각 3x3 행렬을 계산하여 영상 변환을 수행하여 영상을 보정할 수 있다.
도 10은 본 발명의 일실시례에 따른 AVM용 주행 자동 공차 보정 방법의 구성을 도시한 구성도이다.
영상변환부(120)는 전방, 후방, 좌측 및 우측 카메라의 영상에서 지면 특징점을 추출하고 매칭한다(S110).
공차보정부(130)는 상기 전방, 후방, 좌측 및 우측 카메라의 자세를 추정한다(S120). 상기 카메라의 자세를 추정하여 지면 특징점 기하학 조건 및 차량 이동방향과 지면 특징점 이동 관계를 이용할 수 있다. 상기 추정 자세와 기준 각도 간의 차이를 판단한다(S130). 상기 추정 자세와 기준 각도 간의 차이가 소정의 임계치 이상이면 이를 운전자에게 알림을 출력한다(S140). 상기 알림을 통해 장착 기준 각도 대비 오차가 큰 경우, 어라운드 뷰 합성 영상에 검은색 영역이 존재하거나 화질 저하 발생 가능성을 알림으로 출력할 수 있다.
상기 추정 자세와 기준 각도 간의 차이가 소정의 임계치 미만이면, 어라운드 뷰 합성 LUT(look up table)를 생성한다(S150).
차선 및 정지선 검출부(150)는 상기 어라운드 뷰로부터 차선 또는 정지선을 검출한다(S160).
AVM 정합성 판단부(160)는 상기 차선과 정지선을 이용하여 AVM 경계 정합성 판단 및 보정한다(S170).
주행판단부(170)는 상기 추정 자세와 기준 각도 간의 차이가 소정의 임계치 미만이면 차량을 자율 주행 운전 모드로 설정할 수 있다(S180). 상기 주행판단부(170)는 추정 자세와 기준 각도 간의 차이가 소정의 임계치 이상이면 차량을 수동 운전 모드로 설정 할 수 있다(S190).
이상에서는 본 발명의 바람직한 실시례에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시례에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
110 : 영상촬영부
120 : 영상변환부
130 : 공차보정부
140 : 영상합성부
150: 차선 및 정지선 검출부
160 : AVM 정합성 판단부
170: 주행판단부

Claims (16)

  1. 전방카메라 또는 후방카메라로 좌측카메라 또는 우측카메라로 주변을 촬영하는 영상을 출력하는 영상촬영부;
    상기 영상촬영부에서 출력된 영상에서 지면 특징점을 추출하는 영상변환부;
    상기 영상변환부에서 검출된 특징점과 실세계 좌표계의 좌표가 매칭되도록 공차를 보정하는 공차보정부;
    상기 공차 보정된 영상을 어라운드 뷰 영상으로 합성하고, 어라운드 뷰 합성 LUT(look up table)을 생성하는 영상합성부;
    상기 영상합성부에서 출력된 상기 어라운드 뷰 영상에서 차선 및 정지선을 검출하는 차선 및 정지선 검출부;
    상기 차선 및 정지선 검출부에서 검출된 차선 및 정지선을 이용하여 AVM 합성 영상의 AVM 경계 정합성을 판단하는 AVM 경계 정합성 판단부; 및
    상기 영상촬영부의 카메라 자세를 판단하여 차량의 주행을 모드를 결정하는 주행판단부;
    를 포함하는 AVM용 주행 자동 공차 보정 장치.
  2. 제 1항에 있어서,
    상기 영상변환부는 Optical flow 기반 특징점 추출하는 AVM용 주행 자동 공차 보정 장치.
  3. 제 1항에 있어서,
    상기 영상변환부는 지면 특징점 간 대응 관계를 나타내는 homography를 계산하여 지면 특징점들만 검출하는 AVM용 주행 자동 공차 보정 장치.
  4. 제 1항에 있어서,
    상기 공차보정부는 지면 특징점의 기하학 조건에 따라 공차를 보정하는 AVM용 주행 자동 공차 보정 장치.
  5. 제 4항에 있어서,
    상기 공차보정부는 상기 지면 특징점의 기하학 조건에 따라 지면 특징점 간 거리가 동일하고, 상기 지면 특징점의 이동 거리와 상기 지면 특징점의 이동 거리가 동일하도록 공차보정하는 AVM용 주행 자동 공차 보정 장치.
  6. 제 1항에 있어서,
    상기 공차보정부는 차량 움직임 정보와 지면 특징점 이동 관계를 이용하여 공차를 보정하는 AVM용 주행 자동 공차 보정 장치.
  7. 제 6항에 있어서,
    상기 공차보정부는 상기 차량 움직임 정보에 의한 예측 이동 벡터 계산하여, 상기 지면 특징점 이동 벡터가 상기 예측 이동 벡터 방향과 일치되도록 공차보정하는 AVM용 주행 자동 공차 보정 장치.
  8. 제 1항에 있어서,
    상기 공차보정부는 상기 영상촬영부의 영상을 Roll, Pitch 및 Yaw 회전을 이용한 공차보정을 통해 Top -View 영상으로 변환하는 AVM용 주행 자동 공차 보정 장치.
  9. 제 1항에 있어서,
    상기 AVM 경계 정합성 판단부는 상기 자차 기준 왼쪽과 오른쪽 차선은 각각 직선이어야 한다는 조건을 이용하여 상기 AVM 경계 정합성을 판단하는 AVM용 주행 자동 공차 보정 장치.
  10. 제 1항에 있어서,
    상기 주행판단부는 상기 카메라의 자세가 정해진 장착 기준 각도와 오차가 소정의 임계치 미만인 경우 차량을 자율 주행 운전 모드로 설정하는 AVM용 주행 자동 공차 보정 장치.
  11. 제 1항에 있어서,
    상기 주행판단부는 상기 카메라의 자세가 정해진 장착 기준 각도와 오차가 소정의 임계치 이상인 경우 차량의 주행을 수동 운전 모드로 설정하는 AVM용 주행 자동 공차 보정 장치.
  12. 전방, 후방, 좌측 및 우측 카메라에서 지면 특징점을 추출하고 매칭하는 단계;
    상기 전방, 후방, 좌측 및 우측 카메라 자세를 추정하는 단계;
    상기 추정 자세와 기준 각도 간의 차이를 판단하는 단계;
    상기 전방, 후방, 좌측 및 우측 카메라 자세로부터 어라운드 뷰 합성 LUT 생성 단계;
    상기 어라운드 뷰 영상으로부터 차선 또는 정지선을 검출하는 단계; 및
    상기 차선 또는 정지선을 이용하여 AVM 경계 정합성 판단 및 보정하는 단계;
    를 포함하는 AVM용 주행 자동 공차 보정 방법.
  13. 제 12항에 있어서,
    상기 추정 자세와 기준 각도 간의 차이에 따라 자율 주행 운전 모드와 수동 운전 모드를 선택하는 단계를 더 포함하는 AVM용 주행 자동 공차 보정 방법.
  14. 제 12항에 있어서,
    상기 전방, 후방, 좌측 및 우측 카메라 자세를 추정하는 단계에서,
    추출된 두 개의 지면 특징점 간 거리가 동일하고, 이동된 각 지면 특징점의 이동 거리가 동일하도록 카메라의 영상을 Pitch 및 Yaw 회전하는 AVM용 주행 자동 공차 보정 방법.
  15. 제 12항에 있어서,
    상기 전방, 후방, 좌측 및 우측 카메라 자세를 추정하는 단계에서,
    차량 움직임에 의한 예측 이동 벡터를 계산하고, 상기 예측 이동 벡터와 특징점 이동 벡터의 방향과 일치되도록 Top-View 영상을 Roll 회전하는 AVM용 주행 자동 공차 보정 방법.
  16. 제 12항에 있어서,
    상기 차선 또는 정지선을 이용하여 AVM 경계 정합성 판단 및 보정하는 단계에서,
    상기 자차 기준 왼쪽과 오른쪽 차선은 각각 직선이어야 한다는 조건을 이용하여 각 그룹핑 된 차선 후보군들이 서로 직선이 되도록 하는 전방, 후방, 좌측 및 우측 영역에 대해 각각 행렬을 계산을 통해 영상 변환을 수행하여 영상을 보정하는 AVM용 주행 자동 공차 보정 방법.
KR1020160041591A 2016-04-05 2016-04-05 Avm용 주행 자동 공차 보정 장치 및 방법 KR102658268B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160041591A KR102658268B1 (ko) 2016-04-05 2016-04-05 Avm용 주행 자동 공차 보정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160041591A KR102658268B1 (ko) 2016-04-05 2016-04-05 Avm용 주행 자동 공차 보정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170114523A KR20170114523A (ko) 2017-10-16
KR102658268B1 true KR102658268B1 (ko) 2024-04-17

Family

ID=60295745

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160041591A KR102658268B1 (ko) 2016-04-05 2016-04-05 Avm용 주행 자동 공차 보정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102658268B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102522609B1 (ko) 2016-08-16 2023-04-17 현대모비스 주식회사 어라운드 뷰 모니터링 시스템 및 이의 동작 방법
KR101964864B1 (ko) * 2017-12-14 2019-04-02 공주대학교 산학협력단 차량의 어라운드 뷰 영상의 왜곡 보정 방법
KR102628012B1 (ko) * 2018-10-23 2024-01-22 삼성전자주식회사 캘리브레이션 방법 및 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101987634B1 (ko) * 2012-09-10 2019-06-11 현대모비스 주식회사 카메라 공차 보정 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템

Also Published As

Publication number Publication date
KR20170114523A (ko) 2017-10-16

Similar Documents

Publication Publication Date Title
CN107738612B (zh) 基于全景视觉辅助系统的自动泊车停车位检测与识别系统
CN108141570B (zh) 校准装置、校准方法以及校准程序存储介质
JP3868876B2 (ja) 障害物検出装置及び方法
JP4919036B2 (ja) 移動物体認識装置
US8102427B2 (en) Camera egomotion estimation from an infra-red image sequence for night vision
US9330472B2 (en) System and method for distorted camera image correction
US20130286205A1 (en) Approaching object detection device and method for detecting approaching objects
WO2004106856A1 (ja) ステレオカメラ支持装置、ステレオカメラ支持方法及びキャリブレーション検出装置及びキャリブレーション補正装置並びにステレオカメラシステム
US10192141B2 (en) Determining scale of three dimensional information
US10991105B2 (en) Image processing device
CN111164648B (zh) 移动体的位置推断装置及位置推断方法
WO2018235300A1 (ja) 物体検知装置、物体検知方法、及びコンピュータ読み取り可能な記録媒体
KR102658268B1 (ko) Avm용 주행 자동 공차 보정 장치 및 방법
CN112261390B (zh) 车载摄像设备及其图像优化装置和优化方法
Yamaguchi et al. Road region estimation using a sequence of monocular images
KR20170001765A (ko) Avm 시스템의 공차 보정 장치 및 방법
US11346670B2 (en) Position estimating device
JP5091897B2 (ja) 停止線検出装置
CN112800890B (zh) 一种基于表面法向量的道路障碍检测方法
CN110688876A (zh) 一种基于视觉的车道线检测方法及装置
CN111260709B (zh) 一种面向动态环境的地面辅助的视觉里程计方法
JP2014067320A (ja) ステレオカメラ装置
CN113239948B (zh) 一种面向毫米波雷达与视频图像的数据融合方法及系统
JP2010002985A (ja) 動きベクトル算出装置、障害物検出装置および動きベクトル算出方法
JP6334773B2 (ja) ステレオカメラ

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)