KR101973408B1 - 영상 교정 장치 및 영상 교정 방법 - Google Patents
영상 교정 장치 및 영상 교정 방법 Download PDFInfo
- Publication number
- KR101973408B1 KR101973408B1 KR1020130057339A KR20130057339A KR101973408B1 KR 101973408 B1 KR101973408 B1 KR 101973408B1 KR 1020130057339 A KR1020130057339 A KR 1020130057339A KR 20130057339 A KR20130057339 A KR 20130057339A KR 101973408 B1 KR101973408 B1 KR 101973408B1
- Authority
- KR
- South Korea
- Prior art keywords
- correction amount
- line
- roll
- image
- pitch
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 32
- 238000003702 image correction Methods 0.000 title claims description 11
- 238000000605 extraction Methods 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 4
- 238000001514 detection method Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 발명의 일 실시예에 따른 영상 교정 장치는, 지면에 형성되고, 직교좌표계의 X축과 평행한 복수개의 가로 라인 및 상기 복수개의 가로 라인과 직교하는 복수개의 세로 라인을 포함하는 격자 형상을 촬영하여 영상을 획득하는 영상 획득부, 상기 영상에서 직선성분을 추출하는 직선 검출부, 상기 직선성분 중 복수개의 특징부를 추출하는 특징 추출부, 상기 복수개의 특징부에 기초하여 보정량을 산출하는 보정량 산출부 및 상기 보정량에 기초하여 상기 영상의 교정을 수행하는 영상 변환부를 포함한다.
Description
본 발명은 영상 교정 장치 및 영상 교정 방법에 관한 것으로써, 구체적으로는 차량용 어라운드 뷰 모니터링(AVM, Around View Monitoring) 시스템에서 카메라에 의해서 획득된 영상을 자동으로 교정하는 장치 및 방법에 관한 것이다.
최근의 자동차 기술은 운전자 편의와 안전을 향상시키기 위한 방법으로 다양한 편의 시설과 이를 작동하고 제어하기 위한 장치 및 시스템이 개발되고 있으며, 특히 영상 카메라 시스템은 자동차의 광범위한 영역에서 사용되고 있다. 예를 들면, 자동차의 외부에 카메라를 설치하고 이를 이용하여 운전석 계기판의 디스플레이를 통하여 운전자가 차량 주변의 외부 영상을 확인하거나 차량 주변의 사물 및 차선 등을 인식하고 운전자에게 경고하는 등의 다양한 시스템이 개발되어 적용되고 있다.
이들 중 어라운드 뷰 모니터링 시스템은, 차량 외곽에 복수 개의 카메라를 설치하고 차량 주변을 촬영하여 운전자로 하여금 주행 및 주차를 원할히 하도록 지원하는 기능을 수행한다. 이러한 어라운드 뷰 모니터링 시스템의 출력 영상은, 복수의 카메라에서 촬영된 영상들이 영상 처리 과정을 거쳐서 차량의 위에서 보는 것과 같은 하나의 버드뷰(Bird View) 영상으로 합성되어 최종적으로 디스플레이된다.
어라운드 뷰 모니터링 시스템의 출력 영상이 운전자에게 주차 지원이나 차량 주변 정보를 정확히 인식시키기 위한 목적으로 사용되기 위해서는 각 카메라 영상들이 높은 정밀도로 합성되어야 하고 이를 위해서는 카메라를 차량에 장착할 때, 높은 설치 정밀도를 가져야 한다. 따라서, 차량의 생산 공정에서 카메라의 설치 위치를 물리적으로 교정하거나 소프트웨어적으로 영상 합성을 위한 변환 파라미터 값을 교정하는 작업이 필수적이다.
이러한 교정 작업을 소프트웨어적으로 해결하기 위한 선행 기술로는 카메라 설치 공차로 인하여 영상이 오정렬 되더라도 수정된 영상이 생성되도록 ECU에서 영상 처리를 수행하여 영상을 변환 시키기 위한 카메라 교정 방법들이 제시되어 있다. 이들 방법들은 카메라의 삼차원 직교 좌표계인 3개의 축을 중심으로 한 회전에 대응되는 롤(roll), 피치(pitch),요(yaw)에 해당하는 오차량을 순차적으로 계산한 후, 이를 교정하기 위한 카메라 투영 파라미터를 구하고 이에 대응되는 카메라의 회전 행렬을 연산하여 영상을 변환시킴으로써 오정렬을 교정한다.
그러나 이 경우 교정 작업을 작업자가 디스플레이 화면을 보면서 수동 조정으로 수행하거나 교정 작업을 위한 별도의 타깃 장치나 마크 또는 설비를 차량 주변에 대하여 사전 설정된 위치에 설치하는 등의 추가적인 작업들을 요구하는 문제를 가진다. 이러한 추가적인 요구사항들은 차량 조립 라인이나 차고지에서 교정 작업을 행하기에는 많은 시간과 노동력이 필요하며 결과적으로 차량 서비스의 비용을 증가시킬 수 있다.
하기 선행기술문헌에 기재된 특허문헌은, 차량 탑재 카메라의 교정 방법 및 교정 프로그램을 제공하기 위한 발명으로써, 격자 형상의 영상을 획득하여 각 방향에 대한 오차 보정량을 산출하는 본 발명의 기술적 사항을 개시하고 있지 않다.
본 발명의 일 실시예에 따른 영상 교정 장치 및 영상 교정 방법은 전술한 문제점을 해결하기 위하여 다음과 같은 해결과제를 목적으로 한다.
본 발명의 일 실시형태의 목적은 차량 조립 라인이나 차량 정비소 등에서 비교적 신속하고 간단하며 자동적으로 카메라 영상의 교정을 수행하기 위한 방법을 제공함을 목적으로 한다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자에게 명확하게 이해되어 질 수 있을 것이다.
본 발명의 일 실시예에 따른 영상 교정 장치는, 지면에 형성되고, 직교좌표계의 X축과 평행한 복수개의 가로 라인 및 상기 복수개의 가로 라인과 직교하는 복수개의 세로 라인을 포함하는 격자 형상을 촬영하여 영상을 획득하는 영상 획득부, 상기 영상에서 직선성분을 추출하는 직선 검출부, 상기 직선성분 중 복수개의 특징부를 추출하는 특징 추출부, 상기 복수개의 특징부에 기초하여 보정량을 산출하는 보정량 산출부 및 상기 보정량에 기초하여 상기 영상의 교정을 수행하는 영상 변환부를 포함한다.
상기 특징 추출부는 상기 직선성분 중 상기 복수개의 가로 라인에 대응되는 성분으로부터 제 1라인 및 제 2라인을 추출하는 롤(Roll) 특징 추출부 및 상기 직선성분 중 상기 복수개의 세로 라인에 대응되는 성분으로부터 제 3라인 및 제 4라인을 추출하는 피치(Pitch) 특징 추출부를 포함할 수 있다.
상기 보정량 산출부는, 상기 제 1라인 및 상기 제 2라인을 기초로 롤(Roll) 방향의 보정량을 산출하는 롤(Roll) 보정량 산출부, 상기 제 3라인 및 상기 제 4라인을 기초로 피치(Pitch) 방향의 보정량을 산출하는 피치(Pitch) 보정량 산출부; 및 상기 롤(Roll) 보정량 산출부 및 상기 피치(Pitch) 보정량 산출부에 의해서 교정된 직선성분에 포함된 제 5라인 및 상기 직교좌표계의 X축이 이루는 각도에 기초하여 요(Yaw) 방향의 보정량을 산출하는 요(Yaw) 보정량 산출부를 포함하며, 상기 교정된 직선성분은 상기 직선성분이 상기 롤(Roll) 보정량 산출부 및 상기 피치(Pitch) 보정량 산출부에 의해서 교정된 것일 수 있다.
상기 롤(Roll) 보정량 산출부는, 상기 제 1라인의 길이 및 상기 제 2라인의 길이의 차에 의해 롤(Roll) 방향의 보정량을 산출하고, 상기 피치(Pitch) 보정량 산출부는, 상기 제 3라인의 길이 및 상기 제 4라인의 길이의 차에 의해 피치(Pitch) 방향의 보정량을 산출하는 것도 가능하다.
본 발명의 다른 실시예에 따른 영상 교정 방법은, 지면에 형성되고, 직교좌표계의 X축과 평행한 복수개의 가로 라인 및 상기 복수개의 가로 라인과 직교하는 복수개의 세로 라인을 포함하는 격자 형상을 촬영하여 영상을 획득하는 영상 획득 단계, 상기 영상의 윤곽선에서 직선성분을 추출하는 직선 검출 단계, 상기 직선성분을 기초로 롤(Roll) 방향의 보정량을 산출하는 롤(Roll) 교정 단계, 상기 직선성분을 기초로 피치(Pitch) 방향의 보정량을 산출하는 피치(Pitch) 교정 단계 및 상기 직선성분, 상기 롤(Roll) 방향의 보정량 및 상기 피치(Pitch) 방향의 보정량을 기초로 요(Yaw) 방향의 보정량을 산출하는 요(Yaw) 교정 단계를 포함한다.
상기 롤(Roll) 교정 단계는, 상기 직선성분 중 상기 복수개의 가로 라인에 대응되는 성분으로부터 제 1라인 및 제 2라인을 추출하는 롤(Roll) 방향 특징 추출 단계 및 상기 제 1라인 및 상기 제 2라인을 기초로 롤(Roll) 방향의 보정량을 산출하는 롤(Roll) 보정량 산출 단계를 포함하는 것이 가능하다.
상기 롤(Roll) 보정량 산출 단계는, 상기 제 1라인의 길이 및 상기 제 2라인의 길이의 차에 의해 롤(Roll) 방향의 보정량을 산출하는 것이 바람직하다.
상기 피치(Pitch) 교정 단계는, 상기 직선성분 중 상기 복수개의 가로 라인에 대응되는 성분으로부터 제 3라인 및 제 4라인을 추출하는 피치(Pitch) 방향 특징 추출 단계 및 상기 제 3라인 및 상기 제 4라인을 기초로 피치(Pitch) 방향의 보정량을 산출하는 피치(Pitch) 보정량 산출 단계를 포함하는 것이 가능하다.
상기 피치(Pitch) 보정량 산출 단계는, 상기 제 3라인의 길이 및 상기 제 4라인의 길이의 차에 의해 피치(Pitch) 방향의 보정량을 산출하는 것이 바람직하다.
상기 요(Yaw) 교정단계는, 상기 롤(Roll) 보정량 산출부 및 상기 피치(Pitch) 보정량 산출부에 의해서 교정된 직선성분에 포함된 제 5라인 및 상기 직교좌표계의 X축이 이루는 각도에 기초하여 요(Yaw) 방향의 보정량을 산출하는 것이 바람직하다.
상기 요(Yaw) 교정단계 이후에, 상기 롤(Roll) 방향의 보정량, 상기 피치(Pitch) 방향의 보정량 및 상기 요(Yaw) 방향의 보정량을 미리 설정된 기준치와 각각 비교하는 영상 변환 판단 단계 및 상기 롤(Roll) 방향의 보정량, 상기 피치(Pitch) 방향의 보정량 및 상기 요(Yaw) 방향의 보정량 중 적어도 하나가 상기 기준치 이상인 경우 상기 보정량을 기초로 변환된 영상을 출력하는 영상 변환 단계를 더 포함하는 것이 가능하다.
본 발명은 자동차 조립 라인이나 차고지 등에서 비교적 신속하고 정밀하게 카메라 오장착에 의한 영상 왜곡을 영상 변환에 의하여 교정할 수 있다. 또한 자동차 주변에 별도의 마크나 시설물을 고정된 위치에 설치할 필요가 없으며, 교정을 위하여 사용자가 출력 화면에서 보정 좌표를 선택하거나 설정하는 등의 수동적인 업무를 수행하지 않아도 된다는 장점을 가진다. 따라서 교정을 위한 전문 인력을 요구하지 않으므로 차량 서비스의 비용을 줄일 수 있다.
나아가, 차량 노후나 사고에 의하여 카메라 장착 위치의 변화가 있을 경우에도 차량 정비소 등에서도 격자형 직선을 가진 차량을 주차할 수 있는 공간만 있다면 간단하게 출력 영상의 교정이 가능하다는 장점을 갖는다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자에게 명확하게 이해되어질 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 영상 교정 장치의 블록도이다.
도 2는 본 발명을 설명하기 위한 좌표계를 도시한 도면이다.
도 3은 본 발명의 영상 획득부에서의 격자 형상의 영상을 획득하는 방법을 설명하기 위한 도면이다.
도 4a 내지 4c는 본 발명의 특징 추출부 및 보정량 산출부의 기능을 설명하기 위해 도시된 도면이다.
도 5는 본 발명의 다른 실시예에 따른 영상 교정 방법을 설명하기 위한 플로우차트이다.
도 2는 본 발명을 설명하기 위한 좌표계를 도시한 도면이다.
도 3은 본 발명의 영상 획득부에서의 격자 형상의 영상을 획득하는 방법을 설명하기 위한 도면이다.
도 4a 내지 4c는 본 발명의 특징 추출부 및 보정량 산출부의 기능을 설명하기 위해 도시된 도면이다.
도 5는 본 발명의 다른 실시예에 따른 영상 교정 방법을 설명하기 위한 플로우차트이다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 사용되는 구성요소에 대한 접미사 "모듈", "유닛" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
이하 도 1 내지 도 4를 참조하여 본 발명의 일 실시예에 따른 영상 교정 장치에 대하여 구체적으로 살펴보기로 한다. 본 명세서에서의 영상 교정 장치는 도 1에 도시된 바와 같이 영상 획득부(100), 직선 검출부(200), 특징 추출부(300), 보정량 산출부(400) 및 영상 변환부(500)를 포함한다.
각 구성에 대해 구체적으로 살펴보기 전에, 본 발명에서 정의되는 카메라의 방위에 대해서 설명하도록 하겠다. 도 2에 도시된 바와 같이 카메라의 방위는 일반적으로 3차원 직교 좌표계의 축을 중심으로 카메라를 회전시킴으로써 얻어질 수 있다. 직교 좌표계의 X축, Y축 및 Z축을 중심으로 하는 회전각의 변위는 각각 롤(Roll), 피치(Pitch) 및 요(Yaw)로 표현된다. 본 발명에 장착되는 카메라의 방위와 관련해서는 도3에 도시된 바와 같이 카메라가 바라보는 방향을 직교 좌표계의 X축, X축과 수직하고 지면에 평행한 방향을 직교 좌표계의 Y축, X축 및 Y축에 수직한 방향을 Z축으로 정의하도록 하겠다.
영상 획득부(100)는 지면에 형성되고, 직교좌표계의 X축과 평행한 복수개의 가로 라인 및 상기 복수개의 가로 라인과 직교하는 복수개의 세로 라인을 포함하는 격자 형상을 촬영하여 영상을 획득한다. 구체적으로, 차량 조립 라인에서 어라운드 뷰 모니터링(AVM: Around View Monitoring) 시스템을 위한 카메라가 장착된 후, 차량은 공차 보정을 위하여 격자 형상이 페인팅 된 위치에 정렬된다. 이 때 카메라가 정위치 및 정방향으로 배치된다면 정상적으로 합성된 영상이 출력되지만, 그렇지 않다면 오차가 발생한 회전축에 따라 오정렬되거나 왜곡된 영상이 출력될 것이다.
직선 검출부(200)는 영상 획득부(100)에 의해서 영상에서 직선성분을 추출하는 영상 처리 과정을 수행한다. 이때 캐니 윤곽선 검출(Canny Edge Detection) 알고리즘을 적용하여 영상의 윤곽선을 검출하는 것도 가능할 것이다. 또한 영상으로부터 직선을 추출하기 위한 방법으로는 허프 변환(Hough Transform)에 의하여 수행이 가능하다. 상기 알고리즘들은 통상적으로 사용 가능한 영상 처리 알고리즘이기에 본 명세서에서는 이에 대한 자세한 설명은 생략하도록 하겠다.
특징 추출부(300)는 직선성분 중 보정량을 산출하기 위한 복수개의 특징부를 추출한다. 특징 추출부(300)는 구체적으로 상기 직선성분 중 상기 복수개의 가로 라인에 대응되는 성분으로부터 제 1라인(L1) 및 제 2라인(L2)을 추출하는 롤(Roll) 특징 추출부(310) 및 상기 직선성분 중 상기 복수개의 세로 라인에 대응되는 성분으로부터 제 3라인(L3) 및 제 4라인(L4)을 추출하는 피치(Pitch) 특징 추출부(320)로 구성된다.
롤(Roll) 특징 추출부(310)에 대해서 도 4(a)를 참조하여 설명하면, 먼저 영상에서 검출된 직선 성분에서 직교좌표계의 Y축에 평행한 복수개의 세로 라인과 대응되는 직선 중 최외곽에 있는 두개의 직선 ly1 및 ly2를 선택한다. 이후 ly1와 ly2간을 연결하고 격자 형상의 가로 라인에 대응되는 제 1라인(L1) 및 제 2라인(L2)을 롤(Roll) 방향의 오차 보정을 위한 특징부로 추출한다.
피치(Pitch) 특징 추출부(320)에 대해서 도 4(b)를 참조하여 설명하면, 먼저 영상에서 검출된 직선 성분에서 직교좌표계의 X축에 평행한 복수개의 가로 라인과 대응되는 직선 중 최외곽에 있는 두개의 직선 lx1 및 lx2를 선택한다. 이후 lx1과 lx2간을 연결하고 격자 형상의 세로 라인에 대응되는 제 3라인(L3) 및 제4라인(L4)을 피치(Pitch) 방향의 오차 보정을 위한 특징부로 추출한다.
보정량 산출부(400)는 상기 복수개의 특징부에 기초하여 보정량을 산출한다. 보정량 산출부(400)는 구체적으로 롤(Roll) 보정량 산출부(410), 피치(Pitch) 보정량 산출부(420) 및 요(Yaw) 보정량 산출부(430)로 구성된다.
롤(Roll) 보정량 산출부(410)는 롤(Roll) 특징 추출부(310)에서 추출된 제 1라인(L1) 및 제 2라인(L2)을 기초로 롤(Roll) 방향의 보정량을 산출한다. 직교 좌표계의 X축을 중심으로 하는 회전인 롤(Roll)에서 카메라 장착의 공차가 발생한 경우, 카메라가 지면을 응시하는 각도의 변화로 인하여 입력 영상의 지면 기울기에 변화가 발생한다. 따라서 제 1라인(L1)과 제 2라인(L2)의 길이에 차이가 발생하게 되며, 이러한 제 1라인(L1)의 길이 및 제 2라인(L2)의 길이의 차에 의해 롤(Roll) 방향의 보정량을 산출할 수 있다.
피치(Pitch) 보정량 산출부(420)는 피치(Pitch) 특징 추출부(320)에서 추출된 제 3라인(L3) 및 제 4라인(L4)을 기초로 피치(Pitch) 방향의 보정량을 산출한다. 직교 좌표계의 Y축을 중심으로 하는 회전인 피치(Pitch)에서 카메라 장착의 공차가 발생한 경우, 롤(Roll) 방향의 특징부와 마찬가지로 제 3라인(L3)과 제 4라인(L4)의 길이에 차이가 발생하게 되며, 이러한 제 3라인(L3)의 길이 및 제 4라인(L4)의 길이의 차에 의해 피치(Pitch) 방향의 보정량을 산출할 수 있다.
요(Yaw) 보정량 산출부(430)는 롤(Roll) 보정량 산출부(410) 및 상기 피치(Pitch) 보정량 산출부(420)에 의해서 교정된 직선성분에 포함된 제 5라인(L5)을 먼저 추출한다. 따라서 요(Yaw) 방향의 보정량 산출은 롤(Roll) 방향의 보정량 산출 및 피치(Pitch) 방향의 보정량 산출 이후에 이루어지게 된다. 이후 도 4(c)에 도시된 바와 같이 제 5라인(L5)과 직교좌표계의 X축이 이루는 각도(θ)에 기초하여 요(Yaw) 방향의 보정량을 산출한다. 경우에 따라서는 제 5라인(L5)과 직교좌표계의 Y축이 이루는 각도에 기초하여 요(Yaw) 방향의 보정량을 산출하는 것도 가능할 것이다.
영상 변환부(500)는 보정량 산출부(400)로부터 산출된 보정량에 기초하여 상기 영상의 교정을 수행한다. 구체적으로, 상기 보정량에 기초하여 회전 파라미터를 설정한 후, 상기 회전 파라미터에 기초하여 영상을 변환한다.
롤(Roll)의 오차를 교정하는 경우, 제 1라인(L1)과 제 2라인(L2)의 차이값이 양수이면 롤(Roll) 회전각 변위가 양의 방향으로 공차가 발생한 것으로 판단하고 X축에 대한 음의 회전 파라미터 값을 설정한다. 반대로 제 1라인(L1)과 제 2라인(L2)의 차이값이 음수이면 롤(Roll) 회전각 변위가 음의 방향으로 공차가 발생한 것으로 판단하고 X축에 대한 양의 회전 파라미터 값을 설정한다. 교정 시간을 신속하게 하기 위해서 롤(Roll) 회전각의 1° 변화에 따른 제 1라인(L1)과 제 2라인(L2)의 변화량을 미리 설정하는 것도 가능하다.
피치(Pitch)의 오차를 교정하는 경우, 롤(Roll)의 오차를 교정하는 것과 마찬가지로 Y축에 대한 회전 파라미터 값을 설정한다.
요(Yaw)의 오차를 교정하는 경우, 회전 파라미터 값은 롤(Roll) 및 피치(Pitch)의 오차를 교정하는 경우와 같이 별도의 연산을 통한 회전 파라미터 값을 설정하는 것이 아니라, 요(Yaw) 보정량 산출부의 출력을 그대로 이용할 수 있다. 즉, 요(Yaw) 보정량 산출부에 의해 산출된 요(Yaw) 보정량 θ가 0°를 기준으로 허용 오차 범위를 벗어난다면 장착 공차가 발생한 것으로 판단한다. 또한 산출된 요(Yaw) 보정량 θ가 1° 내지 90°라면 Z축에 대한 음의 파라미터 값을 설정하고, 90° 내지 180°라면 Z축에 대한 양의 파라미터 값을 설정한다.
이하에서는 도 5를 중심으로 본 발명의 다른 실시예에 따른 영상 보정 방법에 대해서 살펴보도록 하겠다.
본 발명의 다른 실시예에 따른 영상 보정 방법은 구체적으로 영상 획득 단계(S100), 직선 검출 단계(S200), 롤(Roll) 교정 단계(S300), 피치(Pitch) 교정 단계(S400), 요(Yaw) 교정 단계(S500), 영상 변환 판단 단계(S600) 및 영상 변환 단계(S700)를 포함한다.
영상 획득 단계(S100)는 지면에 형성되고, 직교좌표계의 X축과 평행한 복수개의 가로 라인 및 상기 복수개의 가로 라인과 직교하는 복수개의 세로 라인을 포함하는 격자 형상을 촬영하여 영상을 획득하는 단계이다. 직선 검출 단계(S200)는 상기 영상의 윤곽선에서 직선성분을 추출하는 단계이다. 영상 획득 단계(S100) 및 직선 검출 단계(S200)에 대한 구체적인 내용은 상술한 영상 획득부(100) 및 직선 검출부(200)에 대한 설명과 동일하다.
롤(Roll) 교정 단계(S300), 피치(Pitch) 교정 단계(S400) 및 요(Yaw) 교정 단계(S500)에 대한 구체적인 내용은 상술한 본 발명의 일 실시예에 따른 영상 보정 장치의 특징 추출부(300) 및 보정량 산출부(400)에 대한 설명과 동일하다. 다만 본 발명의 다른 실시예에 따른 영상 보정 방법은 도 5에 도시된 바와 같이 롤(Roll) 교정 단계(S300), 피치(Pitch) 교정 단계(S400) 및 요(Yaw) 교정 단계(S500)가 순차적으로 진행된다.
요(Yaw) 교정단계(S500) 이후에는 롤(Roll) 방향의 보정량, 상기 피치(Pitch) 방향의 보정량 및 상기 요(Yaw) 방향의 보정량을 미리 설정된 기준치와 각각 비교하는 영상 변환 판단 단계(S600)를 더 포함할 수 있다. 상기 세 방향의 보정량이 모두 미리 설정된 기준치보다 작은 경우에는 카메라의 장착 오차가 없다고 판단하고 영상 교정을 종료한다. 반대로 상기 세 방향의 보정량 중 적어도 하나가 상기 기준치 이상인 경우에는 상기 보정량을 기초로 영상을 변환한다. 이러한 영상 변환 단계(S700)는 상술한 영상 변환부(500)에서 이루어지며, 구체적인 내용은 영상 변환부(500)에서 상술한 설명과 동일하다. 다만, 변환된 영상은 다시 영상 입력부(100)에 피드백되어 다시 영상 획득 단계(S100)로 진입하여 보정량을 산출함으로써, 모든 축에 대한 보정량이 허용 오차 범위를 만족할 때까지 영상 교정을 계속 수행하게 하는 것도 가능하다.
본 명세서에서 설명되는 실시예와 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 예시적으로 설명하는 것에 불과하다. 따라서 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이므로, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것이 아님은 자명하다.
본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당해 기술분야에 있어서의 통상의 지식을 가진 자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시 예는 모두 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 영상 획득부 200: 직선 검출부
300: 특징 추출부 310: 롤(Roll) 특징 추출부
320: 피치(Pitch) 특징 추출부 400: 보정량 산출부
410: 롤(Roll) 보정량 산출부 420: 피치(Pitch) 보정량 산출부
430: 요(Yaw) 보정량 산출부 500: 영상 변환부
L1: 제 1라인 L2: 제 2라인
L3: 제 3라인 L4: 제 4라인
L5: 제 5라인 θ: 요(Yaw) 보정량
S100: 영상 획득 단계
S200: 직선 검출 단계
S300: 롤(Roll) 교정 단계
S310: 롤(Roll) 방향 특징 추출 단계
S320: 롤(Roll) 보정량 산출 단계
S400: 피치(Pitch) 교정 단계
S410: 피치(Pitch) 방향 특징 추출 단계
S420: 피치(Pitch) 보정량 산출 단계
S500: 요(Yaw) 교정 단계
S600: 영상 변환 판단 단계
S700: 영상 변환 단계
300: 특징 추출부 310: 롤(Roll) 특징 추출부
320: 피치(Pitch) 특징 추출부 400: 보정량 산출부
410: 롤(Roll) 보정량 산출부 420: 피치(Pitch) 보정량 산출부
430: 요(Yaw) 보정량 산출부 500: 영상 변환부
L1: 제 1라인 L2: 제 2라인
L3: 제 3라인 L4: 제 4라인
L5: 제 5라인 θ: 요(Yaw) 보정량
S100: 영상 획득 단계
S200: 직선 검출 단계
S300: 롤(Roll) 교정 단계
S310: 롤(Roll) 방향 특징 추출 단계
S320: 롤(Roll) 보정량 산출 단계
S400: 피치(Pitch) 교정 단계
S410: 피치(Pitch) 방향 특징 추출 단계
S420: 피치(Pitch) 보정량 산출 단계
S500: 요(Yaw) 교정 단계
S600: 영상 변환 판단 단계
S700: 영상 변환 단계
Claims (11)
- 지면에 형성되고, 직교좌표계의 X축과 평행한 복수개의 가로 라인 및 상기 복수개의 가로 라인과 직교하는 복수개의 세로 라인을 포함하는 격자 형상을 촬영하여 영상을 획득하는 영상 획득부;
상기 영상에서 직선성분을 추출하는 직선 검출부;
상기 직선성분 중 복수개의 특징부를 추출하는 특징 추출부;
상기 복수개의 특징부에 기초하여 롤(Roll) 방향의 보정량, 피치(Pitch) 방향의 보정량 및 요(Yaw) 방향의 보정량을 산출하는 보정량 산출부; 및
상기 롤(Roll) 방향의 보정량, 피치(Pitch) 방향의 보정량 및 요(Yaw) 방향의 보정량에 기초하여 상기 영상의 교정을 수행하는 영상 변환부;
를 포함하는 영상 교정 장치.
- 제 1항에 있어서,
상기 특징 추출부는,
상기 직선성분 중 상기 복수개의 가로 라인에 대응되는 성분으로부터 제 1라인 및 제 2라인을 추출하는 롤(Roll) 특징 추출부; 및
상기 직선성분 중 상기 복수개의 세로 라인에 대응되는 성분으로부터 제 3라인 및 제 4라인을 추출하는 피치(Pitch) 특징 추출부;
를 포함하는 영상 교정 장치.
- 제 2항에 있어서,
상기 보정량 산출부는,
상기 제 1라인 및 상기 제 2라인을 기초로 상기 롤(Roll) 방향의 보정량을 산출하는 롤(Roll) 보정량 산출부;
상기 제 3라인 및 상기 제 4라인을 기초로 상기 피치(Pitch) 방향의 보정량을 산출하는 피치(Pitch) 보정량 산출부; 및
상기 롤(Roll) 보정량 산출부 및 상기 피치(Pitch) 보정량 산출부에 의해서 교정된 직선성분에 포함된 제 5라인 및 상기 직교좌표계의 X축이 이루는 각도에 기초하여 상기 요(Yaw) 방향의 보정량을 산출하는 요(Yaw) 보정량 산출부;
를 포함하는 영상 교정 장치.
- 제 3항에 있어서,
상기 롤(Roll) 보정량 산출부는,
상기 제 1라인의 길이 및 상기 제 2라인의 길이의 차에 의해 롤(Roll) 방향의 보정량을 산출하고,
상기 피치(Pitch) 보정량 산출부는,
상기 제 3라인의 길이 및 상기 제 4라인의 길이의 차에 의해 피치(Pitch) 방향의 보정량을 산출하는 영상 교정 장치.
- 지면에 형성되고, 직교좌표계의 X축과 평행한 복수개의 가로 라인 및 상기 복수개의 가로 라인과 직교하는 복수개의 세로 라인을 포함하는 격자 형상을 촬영하여 영상을 획득하는 영상 획득 단계;
상기 영상의 윤곽선에서 직선성분을 추출하는 직선 검출 단계;
상기 직선성분을 기초로 롤(Roll) 방향의 보정량을 산출하는 롤(Roll) 교정 단계;
상기 직선성분을 기초로 피치(Pitch) 방향의 보정량을 산출하는 피치(Pitch) 교정 단계; 및
상기 직선성분, 상기 롤(Roll) 방향의 보정량 및 상기 피치(Pitch) 방향의 보정량을 기초로 요(Yaw) 방향의 보정량을 산출하는 요(Yaw) 교정 단계;
를 포함하는 영상 교정 방법.
- 제 5항에 있어서,
상기 롤(Roll) 교정 단계는,
상기 직선성분 중 상기 복수개의 가로 라인에 대응되는 성분으로부터 제 1라인 및 제 2라인을 추출하는 롤(Roll) 방향 특징 추출 단계; 및
상기 제 1라인 및 상기 제 2라인을 기초로 롤(Roll) 방향의 보정량을 산출하는 롤(Roll) 보정량 산출 단계;
를 포함하는 영상 교정 방법.
- 제 6항에 있어서,
상기 롤(Roll) 보정량 산출 단계는,
상기 제 1라인의 길이 및 상기 제 2라인의 길이의 차에 의해 롤(Roll) 방향의 보정량을 산출하는 영상 교정 방법.
- 제6항에 있어서,
상기 피치(Pitch) 교정 단계는,
상기 직선성분 중 상기 복수개의 가로 라인에 대응되는 성분으로부터 제 3라인 및 제 4라인을 추출하는 피치(Pitch) 방향 특징 추출 단계; 및
상기 제 3라인 및 상기 제 4라인을 기초로 피치(Pitch) 방향의 보정량을 산출하는 피치(Pitch) 보정량 산출 단계;
를 포함하는 영상 교정 방법.
- 제 8항에 있어서,
상기 피치(Pitch) 보정량 산출 단계는,
상기 제 3라인의 길이 및 상기 제 4라인의 길이의 차에 의해 피치(Pitch) 방향의 보정량을 산출하는 영상 교정 방법.
- 제8항에 있어서,
상기 요(Yaw) 교정단계는,
상기 롤(Roll) 보정량 산출단계 및 상기 피치(Pitch) 보정량 산출단계에 의해서 교정된 직선성분에 포함된 제 5라인 및 상기 직교좌표계의 X축이 이루는 각도에 기초하여 요(Yaw) 방향의 보정량을 산출하는 영상 교정 방법.
- 제 5항에 있어서,
상기 요(Yaw) 교정단계 이후에,
상기 롤(Roll) 방향의 보정량, 상기 피치(Pitch) 방향의 보정량 및 상기 요(Yaw) 방향의 보정량을 미리 설정된 기준치와 각각 비교하는 영상 변환 판단 단계; 및
상기 롤(Roll) 방향의 보정량, 상기 피치(Pitch) 방향의 보정량 및 상기 요(Yaw) 방향의 보정량 중 적어도 하나가 상기 기준치 이상인 경우 상기 보정량을 기초로 변환된 영상을 출력하는 영상 변환 단계;
를 더 포함하는 영상 교정 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130057339A KR101973408B1 (ko) | 2013-05-21 | 2013-05-21 | 영상 교정 장치 및 영상 교정 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130057339A KR101973408B1 (ko) | 2013-05-21 | 2013-05-21 | 영상 교정 장치 및 영상 교정 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140136810A KR20140136810A (ko) | 2014-12-01 |
| KR101973408B1 true KR101973408B1 (ko) | 2019-04-29 |
Family
ID=52456941
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130057339A KR101973408B1 (ko) | 2013-05-21 | 2013-05-21 | 영상 교정 장치 및 영상 교정 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101973408B1 (ko) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009267602A (ja) * | 2008-04-23 | 2009-11-12 | Alpine Electronics Inc | 車両周辺監視装置およびこれに適用されるカメラ取り付け位置・姿勢情報の設定修正方法 |
| JP2012015576A (ja) * | 2010-06-29 | 2012-01-19 | Clarion Co Ltd | 画像のキャリブレーション方法および装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4636346B2 (ja) * | 2009-03-31 | 2011-02-23 | アイシン精機株式会社 | 車載カメラの校正装置、方法、及びプログラム |
| KR101624916B1 (ko) | 2009-11-19 | 2016-05-27 | 삼성전자주식회사 | 휴대 단말기의 노이즈 저감장치 |
-
2013
- 2013-05-21 KR KR1020130057339A patent/KR101973408B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009267602A (ja) * | 2008-04-23 | 2009-11-12 | Alpine Electronics Inc | 車両周辺監視装置およびこれに適用されるカメラ取り付け位置・姿勢情報の設定修正方法 |
| JP2012015576A (ja) * | 2010-06-29 | 2012-01-19 | Clarion Co Ltd | 画像のキャリブレーション方法および装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20140136810A (ko) | 2014-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2017135081A1 (ja) | 車載カメラ用校正システム | |
| KR101265012B1 (ko) | 차량 탑재 카메라의 교정 장치, 방법 및 프로그램 | |
| JP4690476B2 (ja) | 車載カメラの校正装置 | |
| JP6034775B2 (ja) | カメラ校正装置 | |
| US8452568B2 (en) | Method for calibrating cameras installed on vehicle | |
| JP6334734B2 (ja) | 車両サラウンドビューシステムの較正用データ処理システムおよび方法 | |
| JP4803450B2 (ja) | 車載カメラの校正装置及び当該装置を用いた車両の生産方法 | |
| JP4803449B2 (ja) | 車載カメラの校正装置、校正方法、並びにこの校正方法を用いた車両の生産方法 | |
| US20130002861A1 (en) | Camera distance measurement device | |
| JP5081313B2 (ja) | 車載カメラの校正装置 | |
| JP5811327B2 (ja) | カメラキャリブレーション装置 | |
| JP2010239409A (ja) | 車載カメラの校正装置 | |
| EP1954063A2 (en) | Apparatus and method for camera calibration, and vehicle | |
| US20090019916A1 (en) | Method for calibrating a measuring system | |
| JP2014064224A (ja) | カメラのキャリブレーション方法及び装置 | |
| JP2006148745A (ja) | カメラの校正方法及びカメラの校正装置 | |
| CN115797467B (zh) | 车辆相机标定结果检测方法、装置、设备及存储介质 | |
| CN115066313B (zh) | 用于加工装置的工件的安装方法、工件安装支援系统及存储介质 | |
| CN202111802U (zh) | 多图像传感器的监控设备的校准装置 | |
| JP2009276233A (ja) | パラメータ計算装置、パラメータ計算システムおよびプログラム | |
| KR102227850B1 (ko) | 차량용 후방 카메라의 영상 보정 방법 | |
| KR101245529B1 (ko) | 카메라 캘리브레이션 방법 | |
| JP2013024712A (ja) | 複数カメラの校正方法及び校正システム | |
| KR101973408B1 (ko) | 영상 교정 장치 및 영상 교정 방법 | |
| CN114993266B (zh) | 定位装置及定位系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |