KR101709009B1 - 어라운드 뷰 왜곡 보정 시스템 및 방법 - Google Patents
어라운드 뷰 왜곡 보정 시스템 및 방법 Download PDFInfo
- Publication number
- KR101709009B1 KR101709009B1 KR1020150116029A KR20150116029A KR101709009B1 KR 101709009 B1 KR101709009 B1 KR 101709009B1 KR 1020150116029 A KR1020150116029 A KR 1020150116029A KR 20150116029 A KR20150116029 A KR 20150116029A KR 101709009 B1 KR101709009 B1 KR 101709009B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- pixel information
- area
- information
- target pixel
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/006—Geometric correction
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30264—Parking
Abstract
본 발명은 누적하고자 하는 이미지가 과거 누적영역에 매칭될 경우, 현재시점의 이미지 픽셀정보를 기준으로 미리 누적된 과거시점의 이미지 픽셀정보를 보정하는 구성을 통해 부드러운 어라운드 뷰 이미지의 출력을 유도할 수 있는 어라운드 뷰 왜곡 보정 시스템 및 방법을 제공하는 것을 목적으로 한다. 이를 위해 본 발명은 차량에 적어도 하나 설치되어, 상기 차량의 전방 또는 후방 중 적어도 하나를 촬영한 이미지를 출력하는 카메라부; 및 상기 카메라부에서 출력되는 이미지로부터 미리 설정된 영역을 갖는 합성용 이미지 패치를 추출하여 순차적으로 누적하고, 상기 누적되는 합성용 이미지 패치가 과거 누적영역에 일정 기준값 이상 매칭될 경우, 상기 매칭되는 과거 누적영역과 상기 합성용 이미지 패치의 인식대상 픽셀정보를 각각 검출하며, 상기 검출된 인식대상 픽셀정보의 비교 분석을 통해 상기 인식대상 픽셀정보의 회전 또는 이동 오차를 계산하여 임의의 보정값을 산출하고, 상기 산출된 보정값으로 상기 과거 누적영역의 인식대상 픽셀정보를 보정하는 제어모듈을 포함하여 구성한다. 따라서 본 발명은 어라운드 뷰 왜곡 보정 시스템 및 방법은 누적하고자 하는 이미지가 과거 누적영역에 매칭될 경우, 현재시점의 이미지 픽셀정보를 기준으로 미리 누적된 과거시점의 이미지 픽셀정보를 보정하는 구성을 통해 부드러운 어라운드 뷰 이미지의 출력을 유도할 수 있는 장점이 있다.
Description
본 발명은 어라운드 뷰 왜곡 보정 시스템 및 방법에 관한 발명으로서, 더욱 상세하게는 누적하고자 하는 이미지가 과거 누적영역에 매칭될 경우, 현재시점의 이미지 픽셀정보를 기준으로 미리 누적된 과거시점의 이미지 픽셀정보를 보정하는 구성을 통해 부드러운 어라운드 뷰 이미지의 출력을 유도할 수 있는 어라운드 뷰 왜곡 보정 시스템 및 방법에 관한 것이다.
최근, 차량의 고급화 및 다기능화에 따라, 차량의 전방, 후방, 좌측 및 우측에 장착된 카메라를 이용하여 가상 시점에서 차량을 부감(상공으로부터 내려다 본 상태)시킨 화면을 제공하여 운전자가 볼 수 없는 시야를 확보할 수 있도록 하는 어라운드 뷰 모니터(AVM, Around View Monitor) 시스템이 탑재되고 있다.
이러한 어라운드 뷰 모니터 시스템은 차량의 사방에 장착된 카메라의 영상을 합성하여, 차량의 주차시 힘들게 뒤를 돌아보거나 주위를 살피지 않고도 실내에 장착된 정면의 모니터를 통해, 마치 위에서 보는 것과 같은 시점(Top View)으로 자동차의 사방을 주시하면서 안전하고 정확하게 주차를 하거나, 좁은 길을 지날 수 있도록 한 일종의 주차 편의장치를 말한다.
그러나, 상기 어라운드 뷰 모니터 시스템은 보통, 다수개의 카메라가 촬영한 4개의 영상이 합성되어 하나의 영상을 형성하므로, 각 영상의 밝기가 다른 경우, 화면 시인성이 저하될 수 있으며, 이에 따라 영상 간의 화면 이질감 제거가 요구된다.
상기와 같은 요구에 부응하여 하나의 후방 카메라를 통해 어라운드 뷰 영상을 생성하는 시스템이 등장하고 있는데, 이러한 하나의 후방 카메라를 이용한 어라운드 뷰 모니터 시스템은 적어도 하나의 카메라로 후방 영상을 촬영하고, 상기 촬영되는 이미지의 시점을 변환하여 미리 설정된 영역을 갖는 합성용 이미지 패치를 형성하며, 상기 형성되는 다수개의 이미지 패치를 누적하여 합성함으로써, 일정 이미지 영역을 갖는 어라운드 뷰 영상을 생성한다.
즉, 앞서 촬영되었던 과거 이미지를 기반으로 하여 마치 현재의 이미지처럼 실시간 시뮬레이션함으로써, 차량 주변을 모니터링할 수 있게 되는 것이다.
그러나, 상기 종래기술은 일정 영역을 갖는 단위별 합성용 이미지 패치를 촬영되는 순서에 따라 합성하여 어라운드 뷰 영상을 생성하므로, 촬영이 특정 경우에 의해 순간적으로 정지된 후, 차량의 위치가 변환됨에 따라 촬영 좌표까지 변환된 상태에서 다시 촬영이 시작되면, 그 정지되었던 간격에 의해 과거 이미지와 현재 이미지의 합성에 있어서, 픽셀이 일치하지 않는 등의 왜곡이 발생할 수 있는 단점이 있다.
예컨대, 도 1은 하나의 후방 카메라를 이용한 종래의 어라운드 뷰 모니터 시스템의 왜곡을 나타낸 실시예이고, 상기 도 1의 (a)는 후진을 하다가(좌측단 이미지) 그대로 주차하기 어려워서 일정거리 앞으로 전진(중앙 이미지), 다시 차량의 조향각을 조절하여 후진(우측단 이미지)의 순서로 차량이동이 진행될 시에, 그에 대한 어라운드 뷰 영상을 나타낸 도면이다.
또한, 상기 도 1의 (b)는 상기 (a)의 우측단 이미지 중 A영역을 확대한 도면이며, 이를 참조하여 살펴보면, 최초 후진하면서 촬영되어 형성된 과거 이미지 영역(I1)과 두번째 후진시 촬영되어 형성된 현재 이미지 영역(I2)에 대한 위치 오차가 발생하여 겹쳐 그려지면서 서로 어긋난 주차선(L)이 생성된 것을 볼 수 있다.
이는 최초 후진시 일정 좌표로 형성된 과거 이미지 영역(I1)에, 두번재 후진시 변환된 좌표로 형성된 현재 이미지 영역(I2)이 합성되면서 발생하는 합성오류이며, 이에 따라 사용자는 매끄럽지 못한 주차선(L)을 보면서 시각적인 불편함을 겪을 수 있다.
따라서, 상기 실시예의 경우와 같이, 경로가 변환되는 재주차시에도, 카메라가 촬영하는 현재 이미지의 주차선과 미리 저장된 과거 이미지의 주차선이 일치하도록 보정하여 부드러운 어라운드 뷰 이미지의 출력을 유도하는 기술의 개발이 필요한 실정이다.
이러한 문제점을 해결하기 위하여, 본 발명은 누적하고자 하는 이미지가 과거 누적영역에 매칭될 경우, 현재시점의 이미지 픽셀정보를 기준으로 미리 누적된 과거시점의 이미지 픽셀정보를 보정하는 구성을 통해 부드러운 어라운드 뷰 이미지의 출력을 유도할 수 있는 어라운드 뷰 왜곡 보정 시스템 및 방법을 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위하여 본 발명은 차량에 적어도 하나 설치되어, 상기 차량의 전방 또는 후방 중 적어도 하나를 촬영한 이미지를 출력하는 카메라부; 및 상기 카메라부에서 출력되는 이미지로부터 미리 설정된 영역을 갖는 합성용 이미지 패치를 추출하여 순차적으로 누적하고, 상기 누적되는 합성용 이미지 패치가 과거 누적영역에 일정 기준값 이상 매칭될 경우, 상기 매칭되는 과거 누적영역과 상기 합성용 이미지 패치의 인식대상 픽셀정보를 각각 검출하며, 상기 검출된 인식대상 픽셀정보의 비교 분석을 통해 상기 인식대상 픽셀정보의 회전 또는 이동 오차를 계산하여 임의의 보정값을 산출하고, 상기 산출된 보정값으로 상기 과거 누적영역의 인식대상 픽셀정보를 보정하는 제어모듈을 포함하여 구성한다.
또한, 본 발명에 따른 상기 제어모듈은, 상기 카메라부로부터 출력되는 이미지의 시점을 변환하여 미리 설정된 영역을 갖는 합성용 이미지 패치를 추출하는 이미지 패치 추출부; 차량으로부터 제공받는 조향각 정보, 기어정보, 이동거리정보, 속도정보 중 적어도 하나의 운행정보를 통해 차량의 위치를 계산하고, 계산결과에 따라 상기 이미지 패치 추출부에서 추출된 합성용 이미지 패치의 누적 좌표가 설정되도록 하는 차량 위치 계산부; 상기 차량 위치 계산부에서 설정된 누적 좌표로 상기 합성용 이미지 패치가 누적되도록 하고, 상기 누적되는 적어도 하나의 합성용 이미지 패치를 합성하여 누적 이미지를 생성하는 이미지 생성부; 상기 이미지 패치 추출부에서 추출되어, 상기 이미지 생성부에 의해 누적되는 합성용 이미지 패치가 과거 누적영역에 일정 기준값 이상 매칭될 경우, 미리 저장된 이미지 프로세싱 프로그램을 통해 상기 매칭되는 과거 누적영역과 상기 합성용 이미지 패치를 분석하여 인식대상 픽셀정보를 각각 검출하는 이미지 분석부; 및 상기 이미지 분석부를 통해 검출된 인식대상 픽셀정보를 상호 비교 분석하여 상기 인식대상 픽셀정보의 회전 또는 이동 오차를 계산하고, 상기 계산결과에 따라 임의의 보정값을 산출하여 상기 산출된 보정값으로 상기 과거 누적영역의 인식대상 픽셀정보를 보정하는 오차 보정부로 구성된다.
또한, 본 발명에 따른 상기 과거 누적영역에 대한 상기 합성용 이미지 패치의 매칭 여부는, 상기 차량 위치 계산부의 차량 위치 계산결과 또는 이미지 분석부의 이미지 프로세싱 프로그램 중 적어도 하나를 이용하여 판단하는 것을 특징으로 한다.
또한, 본 발명에 따른 상기 인식대상 픽셀정보는, 차선을 포함하는 물체의 위치, 각도에 대한 정보인 것을 특징으로 한다.
또한, 본 발명에 따른 상기 보정값은, 매칭되는 과거 누적영역의 인식대상 픽셀정보에 대한 배율 조정값, 픽셀 위치 변환값, 왜곡영역 시프트(shift)값, 왜곡영역 회전(rotation)값 중 적어도 어느 하나인 것을 특징으로 한다.
또한, 본 발명은 어라운드 뷰 왜곡을 보정하는 방법으로서, a) 제어모듈이 카메라부에서 출력되는 이미지로부터 미리 설정된 영역을 갖는 합성용 이미지 패치를 추출하여 순차적으로 누적하는 단계; b) 상기 제어모듈이 차량 위치의 계산 또는 미리 저장된 이미지 프로세싱 프로그램을 통해 상기 a)단계에서 누적되는 합성용 이미지 패치가 과거 누적영역에 일정 기준값 이상으로 매칭되는지 여부를 판단하는 단계; c) 상기 b)단계의 판단결과, 매칭되는 것으로 판단되면, 상기 제어모듈이 이미지 프로세싱 프로그램을 이용하여 상기 매칭되는 과거 누적영역과 상기 합성용 이미지 패치의 인식대상 픽셀정보를 각각 검출하는 단계; 및 d) 상기 제어모듈이 c)단계에서 검출된 인식대상 픽셀정보를 상호 비교 분석하여 상기 인식대상 픽셀정보의 회전 또는 이동 오차를 계산하고, 상기 계산결과에 따라 임의의 보정값을 산출하여 상기 산출된 보정값으로 상기 과거 누적영역의 인식대상 픽셀정보를 보정하는 단계를 포함하여 구성한다.
본 발명에 따른 어라운드 뷰 왜곡 보정 시스템 및 방법은 누적하고자 하는 이미지가 과거 누적영역에 매칭될 경우, 현재시점의 이미지 픽셀정보를 기준으로 미리 누적된 과거시점의 이미지 픽셀정보를 보정하는 구성을 통해 부드러운 어라운드 뷰 이미지의 출력을 유도할 수 있는 장점이 있다.
도 1 은 종래기술에 따른 어라운드 뷰 모니터 시스템의 왜곡을 나타낸 도면.
도 2 는 본 발명에 따른 어라운드 뷰 왜곡 보정 시스템의 개략적인 구성을 나타낸 블록도.
도 3 은 도 2에 따른 제어모듈의 구성을 나타낸 블록도.
도 4 는 본 발명에 따른 어라운드 뷰 왜곡 보정 방법을 나타낸 흐름도.
도 2 는 본 발명에 따른 어라운드 뷰 왜곡 보정 시스템의 개략적인 구성을 나타낸 블록도.
도 3 은 도 2에 따른 제어모듈의 구성을 나타낸 블록도.
도 4 는 본 발명에 따른 어라운드 뷰 왜곡 보정 방법을 나타낸 흐름도.
이하, 첨부된 도면을 참조하여 본 발명에 따른 어라운드 뷰 왜곡 보정 시스템 및 방법의 바람직한 실시예를 상세하게 설명한다.
(어라운드 뷰 왜곡 보정 시스템)
도 2는 본 발명에 따른 어라운드 뷰 왜곡 보정 시스템의 개략적인 구성을 나타낸 블록도이며, 도 3은 도 2에 따른 제어모듈의 구성을 나타낸 블록도이다.
도 2 및 도 3에 도시된 바와 같이, 본 발명에 따른 어라운드 뷰 왜곡 보정 시스템(100)은 카메라부(110), 제어모듈(120) 및 디스플레이부(130)를 포함하여 구성된다.
상기 카메라부(110)는 차량에 적어도 하나 설치되어, 일정 광각 특성에 따라 상기 차량의 후방을 촬영한 이미지를 출력하는 것으로, 본 발명의 실시예에 따르면, 전방을 촬영한 이미지도 함께 출력하여 후술되는 제어모듈(120)에 의해 전방에 대한 어라운드 뷰 이미지 생성까지 가능하도록 차체의 전방 후드 위치에 미리 설정된 각도를 형성하여 설치되는 것이 바람직하나, 이에 한정되지는 않는다.
또한, 상기 카메라부(110)는 좌/우측 사이드 미러, 좌/우측 후미등, 후방에 배치된 엠블럼, 번호판, 윈도우 글래스 등에 다수개 설치될 수 있으며, 이러한 상기 카메라부(110)의 설치개수 및 설치위치는 차량의 전방, 후방 등을 촬영하여 이미지를 획득하는 본 발명의 기술적 범위내에서 해당관련분야의 통상지식을 가진 당업자에 의해 다양하게 변경설계될 수 있음은 물론이다.
이러한 상기 카메라부(110)는 CMOS형 카메라 또는 CCD 카메라가 바람직하나, 이에 한정되지 않고, 스피드돔 카메라, 핀홀 카메라, 팬틸트줌 카메라 등이 사용될 수도 있으며, 나아가, 야간에도 촬영이 가능하도록 적외선 카메라가 부가적으로 구비될 수도 있다.
상기 제어모듈(120)은 카메라부(110)에서 출력되는 이미지로부터 미리 설정된 영역을 갖는 합성용 이미지 패치를 추출하여 순차적으로 누적하고, 상기 누적되는 합성용 이미지 패치가 과거 누적영역에 일정 기준값 이상 매칭될 경우, 상기 매칭되는 과거 누적영역과 상기 합성용 이미지 패치의 인식대상 픽셀정보를 각각 검출하며, 상기 검출된 인식대상 픽셀정보의 비교 분석을 통해 상기 인식대상 픽셀정보의 회전 또는 이동 오차를 계산하여 임의의 보정값을 산출하고, 상기 산출된 보정값으로 상기 과거 누적영역의 인식대상 픽셀정보를 보정하는 구성으로, 이미지 패치 추출부(121), 차량 위치 계산부(122), 이미지 생성부(123), 이미지 분석부(124) 및 오차 보정부(125)를 포함하여 구성된다.
여기서, 상기 왜곡 보정 시스템(100)은 제어모듈(120)로 상기 카메라부(110)가 촬영한 이미지가 입력되기 전에, 일정 광각으로 촬영하는 카메라부(110) 렌즈 왜곡에 의해 촬영된 이미지의 테두리 부분이 심하게 일그러지는 등 상기 카메라부(110)의 렌즈와 관련된 다양한 왜곡 현상을 보정하는 이미지 보정부(111)를 더 포함할 수도 있다.
이러한 상기 이미지 보정부(111)는 일반적인 공지의 기술로서, 더 구체적인 설명은 생략하기로 한다.
상기 이미지 패치 추출부(121)는 하나의 어라운드 뷰 이미지를 생성하기 위한 다수의 패치들을 추출하는 것으로, 상기 카메라부(110)의 촬영횟수에 비례하여 상기 카메라부(110)로부터 출력되는 이미지의 시점을 변환하고, 상기 변환된 시점의 이미지를 미리 설정된 영역으로 커팅(cutting)하여 임의의 합성용 이미지 패치를 추출하는 기능을 수행한다.
상기 시점은 차량을 위에서 바라본 시점이며, 이에 따라, 상기 시점이 변환된 이미지는 탑 뷰(Top View) 이미지 인 것이 바람직하다.
또한, 상기 합성용 이미지 패치는 차량의 이동거리정보 또는 조향각 정보에 따라 실시간으로 변환될 수 있는 카메라부(110)의 좌표에 대응하도록 상기 카메라부(110)의 전체 촬영 이미지 중 일정 영역을 갖는 합성용 이미지를 의미하며, 이러한 상기 합성용 이미지 패치를 추출하는 기술은 일반적인 공지의 기술로서, 더 구체적인 설명은 생략하기로 한다.
또한, 상기 좌표의 변환은 후술되는 차량 위치 계산부(122)에서 계산한 차량의 위치에 대응하도록 이루어질 수 있다.
상기 차량 위치 계산부(122)는 차량에 설치된 다양한 제어장치 및 센서를 통해 제공받을 수 있는 운행정보로 차량의 위치를 계산하여 상기 합성용 이미지 패치가 누적될 좌표를 설정하는 구성으로, 조향각 정보, 기어정보, 이동거리정보, 속도정보 등의 운행정보를 연산분석하여 차량의 위치를 계산해내고, 상기 계산결과에 따라 상기 이미지 패치 추출부(121)에서 추출된 합성용 이미지 패치의 누적 좌표가 설정되도록 한다.
이때, 상기 제어장치(미도시)는 ECU, TCU 등이 적용될 수 있으며, 상기 센서(미도시)는 휠 센서, 스티어링 각도센서, 차속 감지센서, 기어 위치 감지센서 등 다양한 조향/이동감지 센서가 적용될 수 있다.
상기 이미지 생성부(123)는 이미지 패치 추출부(121)에서 추출되는 다수의 합성용 이미지 패치들을 순차적으로 누적하여 어라운드 뷰 이미지가 달성되기 위한 누적 이미지를 지속적으로 생성하는 것으로, 차량 위치 계산부(122)에서 설정된 누적 좌표로 상기 합성용 이미지 패치가 누적되도록 하고, 상기 누적되는 적어도 하나의 합성용 이미지 패치를 합성하여 누적 이미지를 생성하는 기능을 수행한다.
여기서, 상기 이미지 생성부(123)는 미리 저장된 이미지 합성(정합) 프로그램을 활용하도록 구성할 수 있으며, 이러한 상기 이미지 합성 프로그램은 상기 미리 누적된 합성용 이미지 패치와, 새롭게 누적되는 합성용 이미지 패치로부터 왜곡 보정을 위한 파라미터 추출과 합성용 이미지 패치 간의 호모그래피 등을 계산한 후 각 합성용 이미지 패치의 매핑을 통한 이미지 합성을 수행하여, 하나의 누적(합성) 이미지, 즉, 어라운드 뷰 이미지를 생성할 수 있다.
상기 이미지 분석부(124)는 이미지 패치 추출부(121)에서 추출되어, 상기 이미지 생성부(123)에 의해 누적되는 합성용 이미지 패치가 과거 누적영역에 일정 기준값 이상 매칭될 경우, 각 이미지의 분석을 통해 인식대상 픽셀정보를 검출하는 것으로, 미리 저장된 이미지 프로세싱 프로그램을 통해 상기 매칭되는 과거 누적영역과 상기 합성용 이미지 패치를 분석하여 인식대상 픽셀정보를 각각 검출하는 기능을 수행한다.
여기서, 본 발명의 실시예에 따르면, 상기 과거 누적영역에 대한 상기 합성용 이미지 패치의 매칭 여부는 상기 차량 위치 계산부(122)의 차량 위치 계산결과 또는 이미지 분석부(124)의 이미지 프로세싱 프로그램 중 적어도 하나를 이용하여 판단될 수 있다.
예컨대, 상기 운행정보가 '후진'에서 일정거리 '전진', '전진'에서 다시 일정거리 '후진'을 나타내는 정보일 경우, 상기 합성용 이미지 패치가 상기 과거 누적영역과 일정 부분(즉, 일정 비율)이 매칭될 수 있다.
나아가, 상기 운행정보가 상술한 설명과 반대로 '전진'에서 일정거리 '후진', '후진'에서 다시 일정거리 '전진'을 나타내는 정보일 경우에도, 상기 합성용 이미지 패치가 상기 과거 누적영역과 일정 부분 매칭될 수 있음은 물론이다.
상기 인식대상 픽셀정보는 차선의 형태, 즉, 차선의 위치와 각도에 대한 정보가 바람직하나, 이에 한정하지 않고, 차량의 전방 또는 후방에서 검출될 수 있는 다양한 물체의 위치와 각도에 대한 정보가 될 수도 있다.
예컨대, 상기 이미지 분석부(124)는 상기 이미지 프로세싱 프로그램에 의해 관심있는 적어도 두 개의 이미지가 서로 비교 분석되고, 백터로 정의된 화소들의 이동 변위와 각도 변위 등을 통해 유사도를 검출하여 물체를 인식하거나, 물체의 경계선 또는 윤곽선 등의 에지나 물체의 윤곽에 근사하는 선분, 곡선 등을 구하여 이용하기도 하고, 이미지 내에 존재하는 모서리점, 불변인 점, 또는 회전변환이나 크기 변화 등에 대하여 불변인 특징점을 이용한 인식을 수행할 수도 있으며, 이미지에 포함된 물체의 특징점을 추출하여 인식을 수행할 수도 있다.
이러한 이미지 프로세싱 기술은 일반적인 공지의 기술로서, 해당관련분야의 통상지식을 가진 당업자가 다양하게 변경설계할 수 있다.
상기 오차 보정부(125)는 미리 누적되어 생성된 과거시점의 이미지가 현재시점의 이미지에 대응되도록 보정하는 것으로서, 상기 이미지 분석부(124)를 통해 검출된 인식대상 픽셀정보를 상호 비교 분석하여 상기 인식대상 픽셀정보의 회전 또는 이동 오차를 계산하고, 상기 계산결과에 따라 임의의 보정값을 산출하여 상기 산출된 보정값으로 상기 과거 누적영역의 인식대상 픽셀정보를 보정한다.
여기서, 상기 보정값은 매칭되는 과거 누적영역의 인식대상 픽셀정보에 대한 배율 조정값, 픽셀 위치 변환값, 왜곡영역 시프트(shift)값, 왜곡영역 회전(rotation)값 등이 될 수 있다.
즉, 상기 오차 보정부(125)는 상기 과거 누적영역의 인식대상 픽셀정보가 상기 합성용 이미지 패치의 인식대상 픽셀정보에 대응되도록 회전 또는 이동되어야 할 오차값을 계산하고, 상기 계산된 오차값에 따라 이미지 프로세싱 등을 통해 보정해야할 보정값을 산출하며, 상기 산출된 보정값을 통해 과거 누적영역의 인식대상 픽셀정보의 배율을 조정하거나, 픽셀 위치를 변환하거나, 왜곡된 영역을 시프트 또는 회전시킨다.
이에 따라, 상기 이미지 생성부(123)는 상기 오차 보정부(125)에 의해 인식대상 픽셀정보가 보정된 과거 누적영역을 적용하여 어라운드 뷰 이미지를 생성하게 된다.
상기 디스플레이부(130)는 제어모듈(120)이 생성한 어라운드 뷰 이미지를 임의의 화면 상에 출력하는 구성으로, 차량 내에 설치된 룸미러(Room Mirror), 내비게이션, 헨드 업 디스플레이(HUD, Head Up Display), 클러스터(Cluster) 중 적어도 어느 하나가 적용되는 것이 바람직하나, 이에 한정되지는 않는다.
(어라운드 뷰 왜곡 보정 방법)
도 4는 본 발명에 따른 어라운드 뷰 왜곡 보정 방법을 나타낸 흐름도이다.
도 4에 도시한 바와 같이, 본 발명에 따른 어라운드 뷰 왜곡 보정 시스템(100)을 이용한 보정 방법은 이미지 패치 추출단계(S100), 이미지 패치 누적단계(S200), 매칭여부 판단단계(S300), 픽셀정보 검출단계(S400), 오차 계산단계(S500) 및 픽셀정보 보정단계(S600)를 포함하여 구성된다.
먼저, S100단계의 이미지 패치 추출단계에서는, 제어모듈(120)의 이미지 패치 추출부(121)가 카메라부(110)로부터 출력되는 이미지의 시점을 변환하여 미리 설정된 영역을 갖는 합성용 이미지 패치를 추출한다.
상기 S200단계의 이미지 패치 누적단계에서는, 상기 제어모듈(120)의 이미지 생성부(123)가 상기 S100단계에서 추출되는 적어도 하나의 합성용 이미지 패치를 누적한다.
여기서, 상기 합성용 이미지 패치의 누적 좌표는 상기 제어모듈(120)의 차량 위치 계산부(122)가 조향각 정보, 기어정보, 이동거리정보, 속도정보 등의 운행정보를 연산분석하여 차량의 위치를 계산해냄으로써, 상기 계산결과에 따라 설정될 수 있다.
상기 S300단계의 매칭여부 판단단계에서는, 상기 차량 위치 계산부(122)가 차량의 위치를 계산하거나, 상기 제어모듈(120)의 이미지 분석부(124)가 미리 저장된 이미지 프로세싱 프로그램을 활용하여 상기 S200단계에서 누적되는 합성용 이미지 패치가 과거 누적영역에 일정 기준값 이상으로 매칭되는지 여부를 판단한다.
상기 S400단계의 픽셀정보 검출단계에서는, 상기 S300단계의 판단결과, 매칭되는 것으로 판단되면, 상기 이미지 분석부(124)가 상기 매칭되는 과거 누적영역과 상기 합성용 이미지 패치를 상기 이미지 프로세싱 프로그램으로 분석하여 인식대상 픽셀정보를 각각 검출한다.
여기서, 상기 S400단계의 인식대상 픽셀정보를 검출함에 있어서는, 차선의 형태, 즉, 차선의 위치와 각도에 대한 정보를 검출할 수 있으나, 이에 한정하지 않고, 차량의 전방 또는 후방에서 검출될 수 있는 다양한 물체의 위치와 각도에 대한 정보를 검출할 수도 있다.
상기 S500단계의 오차 계산단계에서는, 상기 제어모듈(120)의 오차 보정부(125)가 상기 S400단계에서 검출된 인식대상 픽셀정보를 상호 비교 분석하여 상기 인식대상 픽셀정보의 회전 또는 이동 오차를 계산한다.
상기 S600단계의 픽셀정보 보정단계에서는, 상기 오차 보정부(125)가 상기 S500단계의 계산결과에 따라 임의의 보정값을 산출하고, 상기 산출된 보정값으로 상기 과거 누적영역의 인식대상 픽셀정보를 보정한다.
여기서, 상기 S600단계의 보정값을 산출함에 있어서는, 상기 매칭되는 과거 누적영역의 인식대상 픽셀정보에 대한 배율 조정값, 픽셀 위치 변환값, 왜곡영역 시프트(shift)값, 왜곡영역 회전((rotation)값 등을 산출할 수 있다.
즉, 상기 S500단계 및 S600단계에서는, 상기 오차 보정부(125)가 상기 과거 누적영역의 인식대상 픽셀정보가 상기 합성용 이미지 패치의 인식대상 픽셀정보에 대응되도록 회전 또는 이동되어야 할 오차값을 계산하고, 상기 계산된 오차값에 따라 이미지 프로세싱 등을 통해 보정해야할 보정값을 산출하며, 상기 산출된 보정값을 통해 과거 누적영역의 인식대상 픽셀정보의 배율을 조정하거나, 픽셀 위치를 변환하거나, 왜곡된 영역을 시프트 또는 회전시키는 등의 이미지 보정작업을 수행한다.
따라서, 본 발명은 누적하고자 하는 이미지가 과거 누적영역에 매칭될 경우, 현재시점의 이미지 픽셀정보를 기준으로 미리 누적된 과거시점의 이미지 픽셀정보를 보정하는 구성을 통해 부드러운 어라운드 뷰 이미지의 출력을 유도할 수 있게 된다.
상기와 같이, 본 발명의 바람직한 실시 예를 참조하여 설명하였지만 해당 기술 분야의 숙련된 당업자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
또한, 본 발명의 실시예를 설명하는 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있으며, 상술된 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있으므로, 이러한 용어들에 대한 해석은 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
100 : 왜곡 보정 시스템 110 : 카메라부
111 : 이미지 보정부 120 : 제어모듈
121 : 이미지 패치 추출부 122 : 차량 위치 계산부
123 : 이미지 생성부 124 : 이미지 분석부
125 : 오차 보정부 130 : 디스플레이부
I1 : 과거 이미지 영역 I2 : 현재 이미지 영역
L : 주차선
111 : 이미지 보정부 120 : 제어모듈
121 : 이미지 패치 추출부 122 : 차량 위치 계산부
123 : 이미지 생성부 124 : 이미지 분석부
125 : 오차 보정부 130 : 디스플레이부
I1 : 과거 이미지 영역 I2 : 현재 이미지 영역
L : 주차선
Claims (6)
- 차량에 적어도 하나 설치되어, 상기 차량의 전방 또는 후방 중 적어도 하나를 촬영한 이미지를 출력하는 카메라부(110); 및
상기 카메라부(110)에서 출력되는 이미지의 시점을 변환하고, 상기 변환된 시점의 이미지를 미리 설정된 영역으로 커팅하여 합성용 이미지 패치를 추출하고, 차량으로부터 제공되는 조향각 정보, 기어정보, 이동거리정보 및 속도정보 중 어느 하나의 운행정보를 연산분석하여 차량의 위치 좌표를 설정하며, 상기 설정된 이미지 패치의 좌표를 순차적으로 누적하고, 상기 누적되는 합성용 이미지 패치가 과거 누적영역에 일정 기준값 이상 매칭될 경우, 상기 매칭되는 과거 누적영역과 상기 합성용 이미지 패치의 인식대상 픽셀정보를 각각 검출하며, 상기 검출된 인식대상 픽셀정보의 비교 분석을 통해 상기 인식대상 픽셀정보의 회전 또는 이동 오차를 계산하여 매칭되는 과거 누적영역의 인식대상 픽셀정보에 대한 배율 조정값, 픽셀 위치 변환값, 왜곡영역 시프트(shift)값, 왜곡영역 회전(rotation)값을 포함한 보정값을 산출하고, 상기 산출된 보정값으로 상기 과거 누적영역의 인식대상 픽셀정보를 보정하는 제어모듈(120)을 포함하는 어라운드 뷰 왜곡 보정 시스템.
- 제 1 항에 있어서,
상기 제어모듈(120)은,
상기 카메라부(110)로부터 출력되는 이미지의 시점을 변환하여 미리 설정된 영역을 갖는 합성용 이미지 패치를 추출하는 이미지 패치 추출부(121);
차량으로부터 제공받는 조향각 정보, 기어정보, 이동거리정보, 속도정보 중 적어도 하나의 운행정보를 통해 차량의 위치를 계산하고, 계산결과에 따라 상기 이미지 패치 추출부(121)에서 추출된 합성용 이미지 패치의 누적 좌표가 설정되도록 하는 차량 위치 계산부(122);
상기 차량 위치 계산부(122)에서 설정된 누적 좌표로 상기 합성용 이미지 패치가 누적되도록 하고, 상기 누적되는 적어도 하나의 합성용 이미지 패치를 합성하여 누적 이미지를 생성하는 이미지 생성부(123);
상기 이미지 패치 추출부(121)에서 추출되어, 상기 이미지 생성부(123)에 의해 누적되는 합성용 이미지 패치가 과거 누적영역에 일정 기준값 이상 매칭될 경우, 미리 저장된 이미지 프로세싱 프로그램을 통해 상기 매칭되는 과거 누적영역과 상기 합성용 이미지 패치를 분석하여 인식대상 픽셀정보를 각각 검출하는 이미지 분석부(124); 및
상기 이미지 분석부(124)를 통해 검출된 인식대상 픽셀정보를 상호 비교 분석하여 상기 인식대상 픽셀정보의 회전 또는 이동 오차를 계산하고, 상기 계산결과에 따라 임의의 보정값을 산출하여 상기 산출된 보정값으로 상기 과거 누적영역의 인식대상 픽셀정보를 보정하는 오차 보정부(125)를 포함하는 어라운드 뷰 왜곡 보정 시스템.
- 제 2 항에 있어서,
상기 과거 누적영역에 대한 상기 합성용 이미지 패치의 매칭 여부는,
상기 차량 위치 계산부(122)의 차량 위치 계산결과 또는 이미지 분석부(124)의 이미지 프로세싱 프로그램 중 적어도 하나를 이용하여 판단하는 것을 특징으로 하는 어라운드 뷰 왜곡 보정 시스템.
- 제 1 항에 있어서,
상기 인식대상 픽셀정보는,
차선을 포함하는 물체의 위치, 각도에 대한 정보인 것을 특징으로 하는 어라운드 뷰 왜곡 보정 시스템.
- 제 1 항에 있어서,
상기 보정값은,
매칭되는 과거 누적영역의 인식대상 픽셀정보에 대한 배율 조정값, 픽셀 위치 변환값, 왜곡영역 시프트(shift)값, 왜곡영역 회전(rotation)값 중 적어도 어느 하나인 것을 특징으로 하는 어라운드 뷰 왜곡 보정 시스템.
- 어라운드 뷰 왜곡을 보정하는 방법으로서,
a) 제어모듈(120)이 카메라부(110)에서 출력되는 이미지의 시점을 변환하고, 상기 변환된 시점의 이미지를 미리 설정된 영역으로 커팅하여 합성용 이미지 패치를 추출하며, 차량으로부터 제공되는 조향각 정보, 기어정보, 이동거리정보 및 속도정보 중 어느 하나의 운행정보를 연산분석하여 차량의 위치 좌표를 설정하며, 상기 설정된 이미지 패치의 좌표를 순차적으로 누적하는 단계;
b) 상기 제어모듈(120)이 차량 위치의 계산 또는 미리 저장된 이미지 프로세싱 프로그램을 통해 상기 a)단계에서 누적되는 합성용 이미지 패치가 과거 누적영역에 일정 기준값 이상으로 매칭되는지 여부를 판단하는 단계;
c) 상기 b)단계의 판단결과, 매칭되는 것으로 판단되면, 상기 제어모듈(120)이 이미지 프로세싱 프로그램을 이용하여 상기 매칭되는 과거 누적영역과 상기 합성용 이미지 패치의 인식대상 픽셀정보를 각각 검출하는 단계; 및
d) 상기 제어모듈(120)이 c)단계에서 검출된 인식대상 픽셀정보의 비교 분석을 통해 상기 인식대상 픽셀정보의 회전 또는 이동 오차를 계산하여 매칭되는 과거 누적영역의 인식대상 픽셀정보에 대한 배율 조정값, 픽셀 위치 변환값, 왜곡영역 시프트(shift)값, 왜곡영역 회전(rotation)값을 포함한 보정값을 산출하고, 상기 산출된 보정값으로 상기 과거 누적영역의 인식대상 픽셀정보를 보정하는 단계를 포함하는 어라운드 뷰 왜곡 보정 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150116029A KR101709009B1 (ko) | 2015-08-18 | 2015-08-18 | 어라운드 뷰 왜곡 보정 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150116029A KR101709009B1 (ko) | 2015-08-18 | 2015-08-18 | 어라운드 뷰 왜곡 보정 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101709009B1 true KR101709009B1 (ko) | 2017-02-21 |
Family
ID=58313855
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150116029A KR101709009B1 (ko) | 2015-08-18 | 2015-08-18 | 어라운드 뷰 왜곡 보정 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101709009B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101894204B1 (ko) * | 2018-03-02 | 2018-08-31 | 주식회사 아이엔티코리아 | 실시간 컨테이너 트럭 모니터링 방법 및 시스템 |
| WO2019059732A1 (ko) * | 2017-09-22 | 2019-03-28 | 엘지이노텍 주식회사 | 어라운드뷰 영상 제어장치 및 그 어라운드뷰 영상 처리방법 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003191810A (ja) * | 2001-12-26 | 2003-07-09 | Denso Corp | 車両周辺監視システム及び車両移動状態検出装置 |
| JP4956799B2 (ja) * | 2006-05-09 | 2012-06-20 | 日産自動車株式会社 | 車両周辺画像提供装置及び車両周辺画像提供方法 |
| KR101241012B1 (ko) | 2011-06-27 | 2013-03-11 | 현대자동차일본기술연구소 | 어라운드 뷰 모니터 시스템의 카메라 간 화질차이 개선 방법 |
| KR20140033803A (ko) * | 2012-09-10 | 2014-03-19 | 현대모비스 주식회사 | 카메라 공차 보정 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템 |
| KR20150081042A (ko) * | 2014-01-03 | 2015-07-13 | 현대모비스 주식회사 | 영상 왜곡 보정 방법 및 이를 위한 장치 |
-
2015
- 2015-08-18 KR KR1020150116029A patent/KR101709009B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003191810A (ja) * | 2001-12-26 | 2003-07-09 | Denso Corp | 車両周辺監視システム及び車両移動状態検出装置 |
| JP4956799B2 (ja) * | 2006-05-09 | 2012-06-20 | 日産自動車株式会社 | 車両周辺画像提供装置及び車両周辺画像提供方法 |
| KR101241012B1 (ko) | 2011-06-27 | 2013-03-11 | 현대자동차일본기술연구소 | 어라운드 뷰 모니터 시스템의 카메라 간 화질차이 개선 방법 |
| KR20140033803A (ko) * | 2012-09-10 | 2014-03-19 | 현대모비스 주식회사 | 카메라 공차 보정 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템 |
| KR20150081042A (ko) * | 2014-01-03 | 2015-07-13 | 현대모비스 주식회사 | 영상 왜곡 보정 방법 및 이를 위한 장치 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019059732A1 (ko) * | 2017-09-22 | 2019-03-28 | 엘지이노텍 주식회사 | 어라운드뷰 영상 제어장치 및 그 어라운드뷰 영상 처리방법 |
| CN111295876A (zh) * | 2017-09-22 | 2020-06-16 | Lg伊诺特有限公司 | 全景环视图像控制装置及其全景环视图像处理方法 |
| CN111295876B (zh) * | 2017-09-22 | 2022-01-28 | Lg伊诺特有限公司 | 全景环视图像控制装置及其全景环视图像处理方法 |
| US11546555B2 (en) | 2017-09-22 | 2023-01-03 | Lg Innotek Co., Ltd. | Around-view image control device and around-view image processing method therefor |
| KR101894204B1 (ko) * | 2018-03-02 | 2018-08-31 | 주식회사 아이엔티코리아 | 실시간 컨테이너 트럭 모니터링 방법 및 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101243108B1 (ko) | 차량의 후방 영상 표시 장치 및 방법 | |
| JP6091586B1 (ja) | 車両用画像処理装置および車両用画像処理システム | |
| JP5099451B2 (ja) | 車両周辺確認装置 | |
| US11263758B2 (en) | Image processing method and apparatus | |
| US20130300872A1 (en) | Apparatus and method for displaying a blind spot | |
| JP2008230296A (ja) | 車両用運転支援システム | |
| JP5516998B2 (ja) | 画像生成装置 | |
| JP7426174B2 (ja) | 車両周囲画像表示システム及び車両周囲画像表示方法 | |
| JP5178454B2 (ja) | 車両周囲監視装置及び車両周囲監視方法 | |
| WO2016129552A1 (ja) | カメラパラメータ調整装置 | |
| JP4830380B2 (ja) | 車両周辺監視装置及び車両周辺監視方法 | |
| JP2012105090A (ja) | 駐車支援装置 | |
| JP2012221103A (ja) | 車両用画像処理装置 | |
| JP6065629B2 (ja) | 物体検知装置 | |
| WO2015129280A1 (ja) | 画像処理装置および画像処理方法 | |
| KR101504335B1 (ko) | 어라운드뷰 제공 장치, 방법 및 차량 | |
| KR101709009B1 (ko) | 어라운드 뷰 왜곡 보정 시스템 및 방법 | |
| KR101767435B1 (ko) | 헤드업 디스플레이의 표시 제어 장치 및 방법 | |
| KR101704201B1 (ko) | 파노라마 뷰 가변 시스템 및 이의 제어방법 | |
| JP2008042759A (ja) | 画像処理装置 | |
| KR101750160B1 (ko) | 어라운드 뷰 노이즈 제거 시스템 및 방법 | |
| KR101750156B1 (ko) | 차량의 파노라마 영상 표시장치 및 방법 | |
| KR101750161B1 (ko) | 관심영역 이미지 패치 관리 시스템 및 방법 | |
| JP2018113622A (ja) | 画像処理装置、画像処理システム、及び、画像処理方法 | |
| KR20150005072A (ko) | 장애물 경고 기능을 구비한 주차 지원 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |