KR20170114523A - Avm용 주행 자동 공차 보정 장치 및 방법 - Google Patents
Avm용 주행 자동 공차 보정 장치 및 방법 Download PDFInfo
- Publication number
- KR20170114523A KR20170114523A KR1020160041591A KR20160041591A KR20170114523A KR 20170114523 A KR20170114523 A KR 20170114523A KR 1020160041591 A KR1020160041591 A KR 1020160041591A KR 20160041591 A KR20160041591 A KR 20160041591A KR 20170114523 A KR20170114523 A KR 20170114523A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- unit
- tolerance
- lane
- avm
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 238000003786 synthesis reaction Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 5
- 239000002131 composite material Substances 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 17
- 230000036544 posture Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000037007 arousal Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H04N5/23216—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 전방카메라 또는 후방카메라로 좌측카메라 또는 우측카메라로 주변을 촬영하는 영상을 출력하는 영상촬영부, 상기 영상촬영부에서 출력된 영상에서 지면 특징점을 추출하는 영상변환부, 상기 영상변환부에서 검출된 특징점과 실세계 좌표계의 좌표가 매칭되도록 공차를 보정하는 공차보정부, 상기 공차 보정된 영상을 어라운드 뷰 영상으로 합성하고, 어라운드 뷰 합성 LUT을 생성하는 영상합성부, 상기 영상합성부에서 출력된 상기 어라운드 뷰 영상에서 차선 및 정지선을 검출하는 차선 및 정지선 검출부, 상기 차선 및 정지선 검출부에서 검출된 차선 및 정지선을 이용하여 어라운드 뷰영상의 AVM 경계 정합성을 판단하는 AVM 경계 정합성 판단부, 상기 영상촬영부의 카메라 장착 각도 변동에 따른 영상 에러 발생시, 자율주행 불가로 판단하여, 이를 운전자에게 경고하고, 차량의 주행을 수동주행으로 변경하는 주행판단부를 포함하는 AVM용 주행 자동 공차 보정 장치 및 방법에 관한 것이다.
Description
본 발명은 AVM용 주행 자동 공차 보정 방법에 관한 것으로, 보다 상세하게는 AVM 카메라 장착 각도가 변동 발생하였을 때 주행 중에 자동으로 공차 보정을 하는 AVM용 주행 자동 공차 보정 방법에 관한 것이다.
최근 차량에는 다수의 카메라에서 촬영되는 영상을 이용하는 어라운드 뷰 모니터링 시스템은 카메라 조립 시 공차를 보정하는 작업이 필수적이다. 차량의 제조사는 어라운드 뷰 모니터링 시스템이 장착된 차량에 대하여 어라운드 뷰 화면 정합성 기준에 맞도록 공차를 보정한 후 차량을 출고한다.
그러나 차량 출고 후 차량의 운행 도중 공차가 누적되면 어라운드 뷰 화면의 정합성이 낮아질 수 있다. 따라서, 새롭게 발생한 누적 공차의 보정이 필요하며, 공차 보정을 위하여 공차 보정이 가능한 서비스 센터나 사업소로 방문해야 하는 불편함이 존재하는 문제점이 있다.
상기와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명의 일실시례에 따른 AVM용 주행 자동 공차 보정 장치 및 방법은, 공장 출고 후 AVM 카메라 장착 각도 변동이 발생하였을 때, 본 발명을 통해 A/S 사업소 방문 없이 주행 중에 자동으로 공차 보정을 해줌으로써 고객 편의를 증대시킬 뿐 아니라 AVM 상품성 향상에 그 목적이 있다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당 업자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위하여, 본 발명의 실시례에 따른 AVM용 주행 자동 공차 보정 장치는 전방카메라 또는 후방카메라로 좌측카메라 또는 우측카메라로 주변을 촬영하는 영상을 출력하는 영상촬영부, 상기 영상촬영부에서 출력된 영상에서 지면 특징점을 추출하는 영상변환부, 상기 영상변환부에서 검출된 특징점과 실세계 좌표계의 좌표가 매칭되도록 공차를 보정하는 공차보정부, 상기 공차 보정된 영상을 어라운드 뷰 영상으로 합성하고, 어라운드 뷰 합성 LUT(look up table)을 생성하는 영상합성부, 상기 영상합성부에서 출력된 상기 어라운드 뷰 영상에서 차선 및 정지선을 검출하는 차선 및 정지선 검출부, 상기 차선 및 정지선 검출부에서 검출된 차선 및 정지선을 이용하여 어라운드 뷰 영상의 AVM 경계 정합성을 판단하는 AVM 경계 정합성 판단부, 상기 영상촬영부의 카메라 장착 각도 변동에 따른 영상 에러 발생시, 자율주행 불가로 판단하여, 이를 운전자에게 경고하고, 차량의 주행을 수동주행으로 변경하는 주행판단부를 포함한다.
본 발명의 실시례에 따른 AVM용 주행 자동 공차 보정 방법은 전방, 후방, 좌측 및 우측 카메라에서 지면 특징점을 추출하고 매칭하는 단계, 상기 전방, 후방, 좌측 및 우측 카메라 자세를 추정하는 단계, 상기 추정 자세와 기준 각도 간의 차이를 판단하는 단계, 상기 전방, 후방, 좌측 및 우측 카메라 자세로부터 어라운드 뷰 합성 LUT 생성 단계, 상기 어라운드 뷰 영상으로부터 차선 또는 정지선을 검출하는 단계, 상기 차선 또는 정지선을 이용하여 AVM 경계 정합성 판단 및 보정하는 단계를 포함한다.
기타 실시례들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 AVM용 주행 자동 공차 보정 장치 및 방법에 따르면 AVM 시스템에 적용하여 자동 공차 보정 기능을 지원해 줌으로써 AVM 합성 영상의 정합성을 향상시켜주는 장점이 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당 업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일실시례에 따른 AVM용 주행 자동 공차 보정 장치의 구성을 도시한 구성도이다.
도 2는 본 발명의 일실시례에 따른 영상 촬영부에서 추출된 특징점을 도시하는 도면이다.
도 3은 본 발명의 일실시례에 따른 영상촬영부의 좌표계를 도시하는 도면이다.
도 4는 본 발명의 일실시례에 따른 지면 특징점의 기하학 조건을 도시하는 도면이다.
도 5는 본 발명의 일실시례에 따른 차량 움직임 정보와 지면 특징점 이동 관계를 도시하는 도면이다.
도 6은 본 발명의 일실시례에 따른 어라운드 뷰 합성 LUT 생성을 도시하는 도면이다.
도 7은 본 발명의 일실시례에 따른 차선을 검출방법을 도시하는 도면이다.
도 8은 본 발명의 일실시례에 따른 정지선을 검출방법을 도시하는 도면이다.
도 9는 본 발명의 일실시례에 따른 AVM 경계 정합성 판단 방법을 도시하는 도면이다.
도 10은 본 발명의 일실시례에 따른 AVM용 주행 자동 공차 보정 방법의 구성을 도시한 구성도이다.
도 2는 본 발명의 일실시례에 따른 영상 촬영부에서 추출된 특징점을 도시하는 도면이다.
도 3은 본 발명의 일실시례에 따른 영상촬영부의 좌표계를 도시하는 도면이다.
도 4는 본 발명의 일실시례에 따른 지면 특징점의 기하학 조건을 도시하는 도면이다.
도 5는 본 발명의 일실시례에 따른 차량 움직임 정보와 지면 특징점 이동 관계를 도시하는 도면이다.
도 6은 본 발명의 일실시례에 따른 어라운드 뷰 합성 LUT 생성을 도시하는 도면이다.
도 7은 본 발명의 일실시례에 따른 차선을 검출방법을 도시하는 도면이다.
도 8은 본 발명의 일실시례에 따른 정지선을 검출방법을 도시하는 도면이다.
도 9는 본 발명의 일실시례에 따른 AVM 경계 정합성 판단 방법을 도시하는 도면이다.
도 10은 본 발명의 일실시례에 따른 AVM용 주행 자동 공차 보정 방법의 구성을 도시한 구성도이다.
(x, y, z)으로 표현할 수 있다. 상기 카메라의 X축을 Pitch, Y축을 Yaw, Z축을 Roll이라고 표현할 수 있다.
도 4는 본 발명의 일실시례에 따른 지면 특징점의 기하학 조건을 도시하는 도면이다.
공차보정부(130)는 상기 영상촬영부에서 출력된 영상을 Top-View 변환시 영상변환부(120)에서 추출된 지면 특징점의 기하학 조건을 이용하여 공차를 보정할 수 있다.
상기 추출된 지면 특징점(401, 403) 간 거리 (d1, d2)가 동일하고, 상기 지면 특징점(401,411)의 이동 거리(d3)와 상기 지면 특징점(403,413)의 이동 거리(d4)가 동일하다면 상기 지면 특징점 기하학적 조건을 만족할 수 있다.
상기 조건을 만족시키기 위해 공차보정부(130)는 영상촬영부(110)의 각 카메라의 영상을 Pitch 및 Yaw 회전하여 공차를 보정할 수 있다.
상기 Pitch/ Yaw 축의 회전은 Gauss-Newton 방법을 이용하여 [수학식 1]과 [수학식 2]를 통해 계산할 수 있다.
(
는 특징점 i의 현재 좌표, 
는 특징점 i의 이전 좌표, 
는 특징점 j의 현재 좌표, 
는 특징점 j의 이전 좌표)
도 5는 본 발명의 일실시례에 따른 차량 움직임 정보와 지면 특징점 이동 관계를 도시하는 도면이다.
공차보정부(130)는 차량 움직임 정보와 지면 특징점 이동 관계를 이용하여 공차를 보정할 수 있다. 상기 공차보정부(130)는 Top-View 기준 차량 움직임에 의한 예측 이동 벡터 계산할 수 있다. 추출된 지면 특징점 이동 벡터가 상기 예측 이동 벡터 방향과 일치되는 회전 각도 계산할 수 있다. 상기 조건을 만족시키기 위해 공차보정부(130)는 영상촬영부(110)의 각 카메라의 영상을 Pitch 및 Yaw 회전하여 공차를 보정할 수 있다.
상기 Roll 회전과 도 4의 Pitch/Yaw 회전에 의한 공차보정 결과를 통해 카메라 영상을 Top -View로 변환할 수 있다.
상기 Top-View 변환은 Homography 방법을 이용하여 [수학식 3]과 [수학식 4]를 통해 계산할수 있다.
도 6은 본 발명의 일실시례에 따른 어라운드 뷰 합성 LUT 생성을 도시하는 도면이다.
영성 합성부(140)는 공차를 보정된 영상을 어라운드 뷰 영상으로 출력한다.
영상촬영부(110)는 차량의 주변인 전방, 후방, 우측 및 좌측의 영상을 촬영하고, 촬영된 영상은 어라운드 뷰 영상을 생성하는데 이용된다. 도 6 (a)를 참조하면, 합성 보정 전의 전방, 후방, 좌측, 및 우측 카메라가 촬영하여, 상기 촬영된 영상을 Top-View 영상으로 변화하여 전방 Top-View 영상(610), 후방 Top-View 영상(620), 좌측 Top-View 영상(630), 우측 Top-View 영상(640)으로 각각 출력된다.
상기 영상 합성부(140)는 상기 어라운드 뷰 영상이 합성되는 과정에서 높은 정합성을 가지기 위하여 공차를 보정한다. 도 6 (b)를 참조하면, 합성 보정 후의 공차보정부(130)에 의하여 보정된 전방 Top-View 영상(615), 보정된 후방 Top-View 영상(625), 보정된 좌측 Top-View 영상(635), 보정된 우측 Top-View 영상(645)으로 출력된다.
상기 공차 보정을 통해 좌표를 변환하는 변환비 등 변환에 필요한 데이터를 저장하고 있는 룩 업 테이블(LUT, Look UP Table)을 생성할 수 있다.
도 7은 본 발명의 일실시례에 따른 차선을 검출방법을 도시하는 도면이다.
도 7의 (a)참조하면, 차선 및 정지선 검출부(150)는 영상 합성부(140)에서 출력된 어라운드 뷰 영상에서 수직 방향 차선 특징점 추출한다. 상기 횡단보도 검출부(120)는 탐색할 수평 구간(715)들을 선정한다. 상기 어라운드 뷰 영상에서 수평 방향으로 탐색하여 그래디언트가 상대적으로 높은 곳을 검출하여 특징점을 추출한다.
도 7의 (b)참조하면, 차선 후보군 검출하기 위해 상기 Top-View 영상에서 상기 특징점을 기준으로 360도 방향 탐색하여 선 성분을 추출한다. 상기 차선 및 정지선 검출부(150)는 상기 추출된 특징점(710)을 사용하여 Line Fitting 과정을 진행한다. 상기 Line Fitting 과정은 상기 차선 좌/우측의 특징점(710)을 기준으로 360도 방향을 탐색하여 선 성분을 추출한다. 상기 차선 중심점을 기준으로 차선 후보군(720)을 표시한다.
도 7의 (c)참조하면, 상기 차량 기준 좌/우측의 다수의 후보점을 지나는 선 성분을 대표 차선으로 검출하여 주행 차선(730)으로 인식된다.
도 8은 본 발명의 일실시례에 따른 정지선을 검출방법을 도시하는 도면이다.
도 8의 (a)참조하면, 차선 및 정지선 검출부(150)는 영상 합성부(140)에서 출력된 어라운드 뷰 영상에서 수평 방향 정지선 특징점(810)을 추출한다. 상기 차선 및 정지선 검출부(150)는 탐색할 수직 구간(815)을 선정한다. 상기 어라운드 뷰 영상에서 수직 방향으로 탐색하여 그래디언트가 상대적으로 높은 곳을 검출하여 특징점을 추출한다.
도 8의 (b)참조하면, 정지선 후보군 검출하기 위해 상기 Top-View 영상에서 상기 특징점을 기준으로 360도 방향 탐색하여 선 성분을 추출한다. 도 8(b)를 참조하면, 상기 차선 및 정지선 검출부(150)는 상기 추출된 특징점(810)을 사용하여 Line Fitting 과정을 진행한다. 상기 Line Fitting 과정은 상기 정지선의 특징점(810)을 기준으로 360도 방향을 탐색하여 선 성분을 추출한다. 정지선 중심점을 기준으로 정지선 후보군(820)을 표시한다.
도 8의 (c)참조하면, 다수의 후보점을 지나는 선 성분을 정지선(830)으로 인식한다.
도 9는 본 발명의 일실시례에 따른 AVM 경계 정합성 판단 방법을 도시하는 도면이다.
AVM 경계 정합성 판단부(160)는 상기 차선 및 정지선 검출부(150)에서 검출된 차선 및 정지선을 이용하여 정합성 조건에 따라 AVM 경계 정합성을 판단하고, 상기 판단 결과에 따라 AVM 합성 영상을 보정한다.
도 9 (a)를 참고하면, 상기 자차 기준 왼쪽 차선(731)과 오른쪽 차선(733)은 각각 직선이어야 한다는 조건 이용하여 상기 AVM 경계 정합성을 판단할 수 있다.
도 9 (b)를 참고하면, 상기 AVM 경계 정합성 판단부(160)는 상기 AVM 합성 영상의 전방, 후방, 좌측 및 우측 영역에서 검출된 차선 후보군 중 왼쪽 차선(920) 또는 오른쪽 차선(930)에 속하는지 그룹핑 할 수 있다. 각 그룹핑 된 차선 후보군들이 서로 직선이 되도록 하는 전방, 후방, 좌측 및 우측 영역에 대해 각각 3x3 행렬을 계산하여 영상 변환을 수행하여 영상을 보정할 수 있다.
도 10은 본 발명의 일실시례에 따른 AVM용 주행 자동 공차 보정 방법의 구성을 도시한 구성도이다.
영상변환부(120)는 전방, 후방, 좌측 및 우측 카메라의 영상에서 지면 특징점을 추출하고 매칭한다(S110).
공차보정부(130)는 상기 전방, 후방, 좌측 및 우측 카메라의 자세를 추정한다(S120). 상기 카메라의 자세를 추정하여 지면 특징점 기하학 조건 및 차량 이동방향과 지면 특징점 이동 관계를 이용할 수 있다. 상기 추정 자세와 기준 각도 간의 차이를 판단한다(S130). 상기 추정 자세와 기준 각도 간의 차이가 소정의 임계치 이하이면 이를 운전자에게 알림을 출력한다(S140). 상기 알림을 통해 장착 기준 각도 대비 오차가 큰 경우, 어라운드 뷰 합성 영상에 검은색 영역이 존재하거나 화질 저하 발생 가능성을 알림으로 출력할 수 있다.
상기 추정 자세와 기준 각도 간의 차이가 소정의 임계치 이상이면, 어라운드 뷰 합성 LUT(look up table)를 생성한다(S150).
차선 및 정지선 검출부(150)는 상기 어라운드 뷰로부터 차선 또는 정지선을 검출한다(S160).
AVM 정합성 판단부(160)는 상기 차선과 정지선을 이용하여 AVM 경계 정합성 판단 및 보정한다(S170).
주행판단부(170)는 상기 추정 자세와 기준 각도 간의 차이가 소정의 임계치 이하이면 차량을 수동 운전 모드로 설정할 수 있다(S180). 상기 주행판단부(170)는 추정 자세와 기준 각도 간의 차이가 소정의 임계치 이상이면 차량을 자율 주행 운전 모드로 설정 할 수 있다(S190).
이상에서는 본 발명의 바람직한 실시례에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시례에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
110 : 영상촬영부
120 : 영상변환부
130 : 공차보정부
140 : 영상합성부
150: 차선 및 정지선 검출부
160 : AVM 정합성 판단부
170: 주행판단부
120 : 영상변환부
130 : 공차보정부
140 : 영상합성부
150: 차선 및 정지선 검출부
160 : AVM 정합성 판단부
170: 주행판단부
Claims (16)
- 전방카메라 또는 후방카메라로 좌측카메라 또는 우측카메라로 주변을 촬영하는 영상을 출력하는 영상촬영부;
상기 영상촬영부에서 출력된 영상에서 지면 특징점을 추출하는 영상변환부;
상기 영상변환부에서 검출된 특징점과 실세계 좌표계의 좌표가 매칭되도록 공차를 보정하는 공차보정부;
상기 공차 보정된 영상을 어라운드 뷰 영상으로 합성하고, 어라운드 뷰 합성 LUT(look up table)을 생성하는 영상합성부;
상기 영상합성부에서 출력된 상기 어라운드 뷰 영상에서 차선 및 정지선을 검출하는 차선 및 정지선 검출부;
상기 차선 및 정지선 검출부에서 검출된 차선 및 정지선을 이용하여 AVM 합성 영상의 AVM 경계 정합성을 판단하는 AVM 경계 정합성 판단부; 및
상기 영상촬영부의 카메라 자세를 판단하여 차량의 주행을 모드를 결정하는 주행판단부;
를 포함하는 AVM용 주행 자동 공차 보정 장치. - 제 1항에 있어서,
상기 영상변환부는 Optical flow 기반 특징점 추출하는 AVM용 주행 자동 공차 보정 장치. - 제 1항에 있어서,
상기 영상변환부는 지면 특징점 간 대응 관계를 나타내는 homography를 계산하여 지면 특징점들만 검출하는 AVM용 주행 자동 공차 보정 장치. - 제 1항에 있어서,
상기 공차보정부는 지면 특징점의 기하학 조건에 따라 공차를 보정하는 AVM용 주행 자동 공차 보정 장치. - 제 4항에 있어서,
상기 공차보정부는 상기 지면 특징점의 기하학 조건에 따라 지면 특징점 간 거리가 동일하고, 상기 지면 특징점의 이동 거리와 상기 지면 특징점의 이동 거리가 동일하도록 공차보정하는 AVM용 주행 자동 공차 보정 장치. - 제 1항에 있어서,
상기 공차보정부는 차량 움직임 정보와 지면 특징점 이동 관계를 이용하여 공차를 보정하는 AVM용 주행 자동 공차 보정 장치. - 제 6항에 있어서,
상기 공차보정부는 상기 차량 움직임 정보에 의한 예측 이동 벡터 계산하여, 상기 지면 특징점 이동 벡터가 상기 예측 이동 벡터 방향과 일치되도록 공차보정하는 AVM용 주행 자동 공차 보정 장치. - 제 1항에 있어서,
상기 공차보정부는 상기 영상촬영부의 영상을 Roll, Pitch 및 Yaw 회전을 이용한 공차보정을 통해 Top -View 영상으로 변환하는 AVM용 주행 자동 공차 보정 장치. - 제 1항에 있어서,
상기 AVM 경계 정합성 판단부는 상기 자차 기준 왼쪽과 오른쪽 차선은 각각 직선이어야 한다는 조건을 이용하여 상기 AVM 경계 정합성을 판단하는 AVM용 주행 자동 공차 보정 장치. - 제 1항에 있어서,
상기 주행판단부는 상기 카메라의 자세가 정해진 장착 기준 각도와 오차가 소정의 임계치 이상인 경우 차량을 자율 주행 운전 모드로 설정하는 AVM용 주행 자동 공차 보정 장치. - 제 1항에 있어서,
상기 주행판단부는 상기 카메라의 자세가 정해진 장착 기준 각도와 오차가 소정의 임계치 이하인 경우 차량의 주행을 수동 운전 모드로 설정하는 AVM용 주행 자동 공차 보정 장치. - 전방, 후방, 좌측 및 우측 카메라에서 지면 특징점을 추출하고 매칭하는 단계;
상기 전방, 후방, 좌측 및 우측 카메라 자세를 추정하는 단계;
상기 추정 자세와 기준 각도 간의 차이를 판단하는 단계;
상기 전방, 후방, 좌측 및 우측 카메라 자세로부터 어라운드 뷰 합성 LUT 생성 단계;
상기 어라운드 뷰 영상으로부터 차선 또는 정지선을 검출하는 단계; 및
상기 차선 또는 정지선을 이용하여 AVM 경계 정합성 판단 및 보정하는 단계;
를 포함하는 AVM용 주행 자동 공차 보정 방법. - 제 12항에 있어서,
상기 추정 자세와 기준 각도 간의 차이에 따라 자율 주행 운전 모드와 수동 운전 모드를 선택하는 단계를 더 포함하는 AVM용 주행 자동 공차 보정 방법. - 제 12항에 있어서,
상기 전방, 후방, 좌측 및 우측 카메라 자세를 추정하는 단계에서,
추출된 두 개의 지면 특징점 간 거리가 동일하고, 이동된 각 지면 특징점의 이동 거리가 동일하도록 카메라의 영상을 Pitch 및 Yaw 회전하는 AVM용 주행 자동 공차 보정 방법. - 제 12항에 있어서,
상기 전방, 후방, 좌측 및 우측 카메라 자세를 추정하는 단계에서,
차량 움직임에 의한 예측 이동 벡터를 계산하고, 상기 예측 이동 벡터와 특징점 이동 벡터의 방향과 일치되도록 Top-View 영상을 Roll 회전하는 AVM용 주행 자동 공차 보정 방법. - 제 12항에 있어서,
상기 차선 또는 정지선을 이용하여 AVM 경계 정합성 판단 및 보정하는 단계에서,
상기 자차 기준 왼쪽과 오른쪽 차선은 각각 직선이어야 한다는 조건을 이용하여 각 그룹핑 된 차선 후보군들이 서로 직선이 되도록 하는 전방, 후방, 좌측 및 우측 영역에 대해 각각 행렬을 계산을 통해 영상 변환을 수행하여 영상을 보정하는 AVM용 주행 자동 공차 보정 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160041591A KR102658268B1 (ko) | 2016-04-05 | 2016-04-05 | Avm용 주행 자동 공차 보정 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160041591A KR102658268B1 (ko) | 2016-04-05 | 2016-04-05 | Avm용 주행 자동 공차 보정 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170114523A true KR20170114523A (ko) | 2017-10-16 |
| KR102658268B1 KR102658268B1 (ko) | 2024-04-17 |
Family
ID=60295745
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160041591A KR102658268B1 (ko) | 2016-04-05 | 2016-04-05 | Avm용 주행 자동 공차 보정 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102658268B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101964864B1 (ko) * | 2017-12-14 | 2019-04-02 | 공주대학교 산학협력단 | 차량의 어라운드 뷰 영상의 왜곡 보정 방법 |
| CN111086521A (zh) * | 2018-10-23 | 2020-05-01 | 三星电子株式会社 | 校准方法、校准装置以及非暂时性计算机记录媒体 |
| US10668858B2 (en) | 2016-08-16 | 2020-06-02 | Hyundai Mobis Co., Ltd. | Around view monitoring system and operating method thereof |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140033803A (ko) * | 2012-09-10 | 2014-03-19 | 현대모비스 주식회사 | 카메라 공차 보정 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템 |
-
2016
- 2016-04-05 KR KR1020160041591A patent/KR102658268B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140033803A (ko) * | 2012-09-10 | 2014-03-19 | 현대모비스 주식회사 | 카메라 공차 보정 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10668858B2 (en) | 2016-08-16 | 2020-06-02 | Hyundai Mobis Co., Ltd. | Around view monitoring system and operating method thereof |
| KR101964864B1 (ko) * | 2017-12-14 | 2019-04-02 | 공주대학교 산학협력단 | 차량의 어라운드 뷰 영상의 왜곡 보정 방법 |
| CN111086521A (zh) * | 2018-10-23 | 2020-05-01 | 三星电子株式会社 | 校准方法、校准装置以及非暂时性计算机记录媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102658268B1 (ko) | 2024-04-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108141570B (zh) | 校准装置、校准方法以及校准程序存储介质 | |
| JP3868876B2 (ja) | 障害物検出装置及び方法 | |
| US9378553B2 (en) | Stereo image processing device for vehicle | |
| JP4861574B2 (ja) | 運転支援装置 | |
| JP4832321B2 (ja) | カメラ姿勢推定装置、車両、およびカメラ姿勢推定方法 | |
| WO2018225446A1 (ja) | 地図変化点検出装置 | |
| WO2004106856A1 (ja) | ステレオカメラ支持装置、ステレオカメラ支持方法及びキャリブレーション検出装置及びキャリブレーション補正装置並びにステレオカメラシステム | |
| JP6129981B2 (ja) | 移動体位置推定装置および移動体位置推定方法 | |
| US9330472B2 (en) | System and method for distorted camera image correction | |
| US9087374B2 (en) | Automatic airview correction method | |
| CN107843251B (zh) | 移动机器人的位姿估计方法 | |
| JP4275378B2 (ja) | ステレオ画像処理装置およびステレオ画像処理方法 | |
| US20170259830A1 (en) | Moving amount derivation apparatus | |
| JP4735361B2 (ja) | 車両乗員顔向き検出装置および車両乗員顔向き検出方法 | |
| JP6932058B2 (ja) | 移動体の位置推定装置及び位置推定方法 | |
| JP5959311B2 (ja) | データ導出装置、及び、データ導出方法 | |
| JP5539250B2 (ja) | 接近物体検知装置及び接近物体検知方法 | |
| JP5951785B2 (ja) | 画像処理装置及び車両前方監視装置 | |
| WO2019156072A1 (ja) | 姿勢推定装置 | |
| KR20170114523A (ko) | Avm용 주행 자동 공차 보정 장치 및 방법 | |
| JP2005217883A (ja) | ステレオ画像を用いた道路平面領域並びに障害物検出方法 | |
| JP2020060550A (ja) | 異常検出装置、異常検出方法、姿勢推定装置、および、移動体制御システム | |
| JP7380443B2 (ja) | 部分画像生成装置及び部分画像生成用コンピュータプログラム | |
| JP2004110521A (ja) | 変位データ抽出方法及び物体検出装置 | |
| JP7311407B2 (ja) | 姿勢推定装置、および、姿勢推定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |