KR101964864B1 - 차량의 어라운드 뷰 영상의 왜곡 보정 방법 - Google Patents

차량의 어라운드 뷰 영상의 왜곡 보정 방법 Download PDF

Info

Publication number
KR101964864B1
KR101964864B1 KR1020170172381A KR20170172381A KR101964864B1 KR 101964864 B1 KR101964864 B1 KR 101964864B1 KR 1020170172381 A KR1020170172381 A KR 1020170172381A KR 20170172381 A KR20170172381 A KR 20170172381A KR 101964864 B1 KR101964864 B1 KR 101964864B1
Authority
KR
South Korea
Prior art keywords
image
view image
viewing angle
vehicle
view
Prior art date
Application number
KR1020170172381A
Other languages
English (en)
Inventor
박성영
Original Assignee
공주대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 공주대학교 산학협력단 filed Critical 공주대학교 산학협력단
Priority to KR1020170172381A priority Critical patent/KR101964864B1/ko
Application granted granted Critical
Publication of KR101964864B1 publication Critical patent/KR101964864B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H04N5/23245—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 차량의 어라운드 뷰 영상의 왜곡 보정 방법으로, 차량의 전, 후, 좌우(사이드 미러) 4곳에 광각카메라를 설치하여 사이드 미러가 접히는 경우 4개의 영상을 취합하는 과정에서 발생하는 왜곡현상을 보정하기 위한 방법에 관한 것이다.
상기 복수의 광각 카메라로부터 차량의 전방, 후방, 좌측 및 우측에 대한 각각의 기준 영상을 획득하고, 상기 획득된 기준 영상을 이용하여 영상 합성을 위한 룩업테이블을 생성하는 룩업테이블 생성단계; 상기 복수의 광각 카메라에서 촬영된 차량의 전방 뷰 영상, 후방 뷰 영상, 좌측 사이드 뷰 영상 및 우측 사이드 뷰 영상을 각각 수신하는 영상 생성단계; 상기 좌측 기준 영상과 우측 기준 영상을 근거로 하여 상기 좌측 사이드 뷰 영상과 우측 사이드 뷰 영상을 각각 비교하여 시야각 오차 정보를 계산하고, 상기 계산된 시야각 오차 정보를 반영하여 좌측 사이드 뷰 영상과 우측 사이드 뷰 영상을 보정하는 영상 보정단계; 및 상기 룩업 테이블을 이용하여 상기 보정된 좌측 사이드 뷰 영상, 상기 보정된 우측 사이드 뷰 영상, 전방 뷰 영상 및 후방 뷰 영상을 합성하여 어라운드 뷰 영상을 생성하는 어라운드 뷰 영상 생성단계;를 포함하여 구성되는 것을 특징으로 한다.

Description

차량의 어라운드 뷰 영상의 왜곡 보정 방법{Distortion Correction Method of Around View Image of Vehicle}
본 발명은 차량의 어라운드 뷰 영상의 왜곡 보정 방법으로, 차량의 전, 후, 좌우(사이드 미러) 4곳에 광각카메라를 설치하여 사이드 미러가 접히는 경우 4개의 영상을 취합하는 과정에서 발생하는 왜곡현상을 보정하기 위한 방법에 관한 것이다.
최근에 차량의 전방, 후방, 좌측 및 우측에 장착된 광각 카메라를 이용하여 가상 시점에서 차량을 부감(상공으로부터 내려다 본 상태)시킨 화면을 제공하여 운전자가 볼 수 없는 시야를 확보할 수 있도록 하는 어라운드 뷰(Around view) 모니터링 시스템이 제공되고 있다.
기존의 어라운드 뷰 모니터링 시스템은 단순히 자동차의 전후좌우의 영상만을 모니터를 통해 운전자에게 제공하거나 운전자의 조작에 의해 선택된 방향의 영상만을 표시해주는 것이다.
이러한 광각 카메라 기반의 어라운드 뷰 시스템은 각 방향에서 획득한 영상정보를 합성하여 하나의 전(around) 방향의 영상으로 복원하여, 운전자가 자차량의 주변상황을 보다 시각적으로 확인할 수 있도록 한다. 하지만, 카메라 기반의 어라운드 뷰 시스템에서는 실제 주변의 객체와 자차량 간의 거리를 추정하기에 어렵고, 좌측 사이드 미러 또는 우측의 사이드 미러가 접히거나 고장 등으로 정상 위치에서 어긋난 경우에 전방, 후방, 좌측 및 우측의 영상을 취합하는 과정에서 어라운드 뷰의 영상에 왜곡이 발생하는 문제점이 있다.
운전자가 좌측 및 우측 사이드 미러와 내부 룸 미러를 통하여 차량의
후방을 파악할 수 있는 방향은 한정되어 사각지대가 생기게 된다. 이에 차량의 주차시 및 후진시 시야각을 충분히 확보하기 위해 어라운드 뷰 영상을 이용하게 된다. 그러나, 좌측 사이드 미러 또는 우측의 사이드 미러가 접히거나 고장 등으로 정상 위치에서 어긋난 경우에 발생되는 어라운드 뷰의 영상 왜곡으로 인해 차량 후방의 상황을 정확히 인식하지 못하여 주차시 또는 차량 주행시 사고가 발생할 수 있는 문제점이 있다.
한국 등록특허 제10-1113679(2012년02월01일)
따라서 좌측 및 우측 사이드 미러가 접히거나 고장 등으로 정상 위치에서 어긋난 경우 발생한 영상의 왜곡을 보정하여 차량의 탑승자에게 제공할 수 있는 방법이 필요하다.
본 발명은 상술한 필요성에 따라 차량의 전, 후, 좌우(사이드 미러) 4곳에 광각카메라를 설치하여 사이드 미러가 접히는 경우 4개의 영상을 취합하는 과정에서 발생하는 왜곡현상을 보정하기 위한 방법의 제공에 목적이 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 복수의 광각 카메라로부터 획득한 영상을 이용하여 어라운드뷰 영상을 생성하여 표시하는 차량의 어라운드 뷰 영상의 왜곡 보정 방법에 있어서,
상기 복수의 광각 카메라로부터 차량의 전방, 후방, 좌측 및 우측에 대한 각각의 기준 영상을 획득하고, 상기 획득된 기준 영상을 이용하여 영상 합성을 위한 룩업테이블을 생성하는 룩업테이블 생성단계;
상기 복수의 광각 카메라에서 촬영된 차량의 전방 뷰 영상, 후방 뷰 영상, 좌측 사이드 뷰 영상 및 우측 사이드 뷰 영상을 각각 수신하는 영상 생성단계;
상기 좌측 기준 영상과 우측 기준 영상을 근거로 하여 상기 좌측 사이드 뷰 영상과 우측 사이드 뷰 영상을 각각 비교하여 시야각 오차 정보를 계산하고, 상기 계산된 시야각 오차 정보를 반영하여 좌측 사이드 뷰 영상과 우측 사이드 뷰 영상을 보정하는 영상 보정단계; 및
상기 룩업 테이블을 이용하여 상기 보정된 좌측 사이드 뷰 영상, 상기 보정된 우측 사이드 뷰 영상, 전방 뷰 영상 및 후방 뷰 영상을 합성하여 어라운드 뷰 영상을 생성하는 어라운드 뷰 영상 생성단계;를 포함하여 구성되는 것을 특징으로 한다.
상기 영상 수신단계는,
상기 좌측 사이드 뷰 영상은 차량의 좌측 사이드 미러에 설치된 제1 광각 카메라로부터 수신하고, 상기 우측 사이드 뷰 영상은 차량의 우측 사이드 미러에 설치된 제2 광각 카메라로부터 수신하며,
상기 좌측 사이드 미러와 우측 사이드 미러는 접이식으로 동작하도록 구성될 수 있다.
상기 룩업테이블 생성단계는,
상기 좌측 기준 영상을 촬영하는 제1 광각 카메라의 회전 각도와 틸트 각도를 저장하고, 상기 좌측 기준 영상에 대한 제1 기준 시야각 정보를 저장하는 제1 기준 시야각 저장단계; 및
상기 우측 기준 영상을 촬영하는 제2 광각 카메라의 회전 각도와 틸트 각도를 저장하고, 상기 우측 기준 영상에 대한 제2 기준 시야각 정보를 저장하는 제2 기준 시야각 저장단계;를 포함하여 구성될 수 있다.
상기 영상 보정단계는,
상기 좌측 사이드 뷰 영상에서 제1 시야각 정보를 추출한 후 상기 추출된 제1 시야각 정보와 상기 제1 기준 시야각 정보를 비교하여 제1 시야각 오차 정보를 계산하고,
상기 우측 사이드 뷰 영상에서 제2 시야각 정보를 추출한 후 상기 추출된 제2 시야각 정보와 상기 제2 기준 시야각 정보를 비교하여 제2 시야각 오차 정보를 계산하하도록 구성될 수 있다.
상기 룩업테이블 생성단계는,
상기 좌측 기준 영상과 우측 기준 영상에서 차량의 윤곽 정보를 추출하고, 상기 검출된 차량의 윤곽 정보에서 기 설정된 기준점을 중심으로 최끝단에 위치한 복수의 끝점 좌표를 검출하며, 상기 복수의 끝점 좌표를 연결한 좌측 기준 폴리곤과 우측 기준 폴리곤을 생성하여 저장하도록 구성될 수 있다.
상기 영상 보정단계는,
상기 좌측 사이드 뷰 영상에 좌측 기준 폴리곤의 좌표에 해당하는 좌측 비교 폴리곤을 추출하고, 상기 좌측 기준 폴리곤과 좌측 비교 폴리곤을 비교하여 각 폴리곤의 시야각에 대한 오차를 계산하여 제1 시야각 오차 정보를 산출하는 제1 시야각 오차 산출단계; 및
상기 우측 사이드 뷰 영상에 우측 기준 폴리곤의 좌표에 해당하는 우측 비교 폴리곤을 추출하고, 상기 우측 기준 폴리곤과 우측 비교 폴리곤을 비교하여 각 폴리곤의 시야각에 대한 오차를 계산하여 제2 시야각 오차 정보를 산출하는 제2 시야각 오차 산출단계;를 포함하여 구성될 수 있다.
상기 영상 보정단계는,
상기 시야각 오차 정보를 이용하여 상기 좌측 사이드 미러와 우측 사이드 미러의 회전 각도와 틸트 각도를 조정하도록 구성될 수 있다.
상기 차량의 어라운드 뷰 영상의 왜곡 보정 방법은,
상기 차량이 초기 주행 또는 주차 모드로 진입하는 경우에, 상기 좌측 사이드 뷰 영상과 우측 사이드 뷰 영상에 대한 각각의 시야각 오차 정보가 기 설정된 허용 오차값을 벗어나는 경우에 상기 좌측 사이드 미러 또는 우측 사이드 미러의 비정상 상태를 경고하는 단계;를 더 포함하여 구성될 수 있다.
본 발명의 차량의 어라운드 뷰 영상의 왜곡 보정 방법은, 주차 모드, 주행시 사이드 미러의 접힘이나 이탈 사고시 왜곡되는 사이드 미러의 영상을 보정하여 탑승자에게 왜곡되지 않은 영상을 제공할 수 있는 효과가 있다.
도 1은 본 실시예에 따른 차량의 어라운드 뷰 영상의 왜곡 보정 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 차량의 어라운드 뷰 영상의 왜곡 보정 방법을 설명하는 순서도이다.
도 3은 본 발명의 제1 실시예에 따른 좌측 사이드 뷰 영상과 우측 사이드 뷰 영상에 대한 왜곡 보정 방법을 설명하는 순서도이다.
도 4는 본 발명의 제2 실시예에 따른 좌측 사이드 뷰 영상과 우측 사이드 뷰 영상에 대한 왜곡 보정 방법을 설명하는 순서도이다.
하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서 또는 출원서에 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명은 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 또한, 본 명세서에서 단어 "예시적인" 은 "예로서, 일례로서, 또는 예증으로서 역할을 한다."라는 것을 의미하기 위해 이용된다. "예시적"으로서 본 명세서에서 설명된 임의의 양태들은 다른 양태들에 비해 반드시 선호되거나 또는 유리하다는 것으로서 해석되어야 하는 것만은 아니다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명의 실시예를 나타내는 첨부 도면을 참조하여 본 발명을 더욱 상세히 설명한다.
도 1은 본 실시예에 따른 차량의 어라운드 뷰 영상의 왜곡 보정 시스템의 구성을 개략적으로 나타낸 도면이다.
도 1을 참고하면, 차량의 어라운드 뷰 영상의 왜곡 보정 시스템(1)은, 제1 내지 제4 광각 카메라(110, 120, 130, 140), 제어부(150), 카메라 구동부(160), 입력부(170) 및 표시부(180)를 포함한다.
제1 광각 카메라(110)는 차량의 좌측 사이드 미러(10)에 설치되어 좌측 사이드 뷰 영상을 출력하고, 제2 광각 카메라(120)는 우측 사이드 미러(20)에 설치되어 우측 사이드 뷰 영상을 출력한다. 이때, 좌측 사이드 미러(10)와 우측 사이드 미러(20)는 접이식으로 동작하고, 제1 광각 카메라(110)와 제2 광각 카메라(120)는 수평 방향으로 회전이 가능하며 수직 방향으로 틸트가 가능하다.
제3 광각 카메라(130)는 전방 광각 카메라로서 차량의 전방 뷰 영상을 촬영하여 전방 뷰 영상을 출력하고, 제4 광각 카메라(140)는 후방 광각 카메라로서 차량의 후방 뷰 영상을 촬영하여 후방 뷰 영상을 출력한다.
제어부(150)는 제1 내지 제4 광각 카메라(110, 120, 130, 140)에서 촬영된 차량의 전방, 후방, 좌측 및 우측에 대한 복수의 영상 신호를 수신하고, 기 설정된 기준 영상을 근거로 하여 좌측 사이드 뷰 영상과 우측 사이드 뷰 영상에 대한 시야각 오차 정보를 계산한 후 계산된 시야각 오차 정보를 반영하여 좌측 사이드 뷰 영상과 우측 사이드 뷰 영상을 보정하며, 룩업 테이블을 이용하여 보정된 좌측 사이드 뷰 영상, 보정된 우측 사이드 뷰 영상, 전방 뷰 영상 및 후방 뷰 영상을 합성하여 어라운드 뷰 영상을 제공한다.
이와 같이, 제어부(150)는 4대의 광각 카메라(110, 120, 130, 140)로부터 영상을 입력받아 하나의 어라운드 뷰 영상으로 합성하여 표시부(180)에 뷰 모니터링 영상을 출력하도록 한다. 제어부(150)는 스카이뷰, 후방 뷰, 전방 뷰, 사이드 뷰, 올 어라인드(all around) 뷰 등의 적어도 하나 이상의 뷰 영상을 제공하는 뷰 모드를 지원하며, 뷰 모드에 해당하는 룩업 테이블(Look Up Table)을 사용하여 영상을 합성한다.
이때, 제어부(150)는 제1 내지 제4 광각 카메라(110, 120, 130, 140)로부터 각각의 기준 영상을 획득하고, 획득한 4장의 기준 영상을 이용하여 영상 합성 시뮬레이션을 진행한다. 그 다음에, 영상 합성 시뮬레이션을 통해 획득한 출력 영상에 대해서 입력 영상들의 좌표 및 가중치 정보를 담은 룩업 테이블을 생성한다. 룩업테이블은 뷰 모드별로 좌표 정보, 가중치 정보가 기록된 레코드들로 구성되며, 각 뷰 모드의 액티브(Active) 영역에 대해서만 생성된다.
카메라 구동부(160)는 제어부(150)의 제어 또는 운전자의 조작에 따라 제1 내지 제4 광각 카메라(110, 120, 130, 140)의 틸트 및 회전을 조절하도록 차량에 설치된다.
입력부(170)는 사용자로부터 입력되는 조작 신호에 의해 뷰 모드를 선택할 수 있다.
표시부(180)는 뷰 모드의 설정에 대한 조작 신호에 따라 전체 화면, 2분할 화면, 3분할 화면 등의 뷰 모니터링 영상을 표시한다.
도 2는 본 발명의 일 실시예에 따른 차량의 어라운드 뷰 영상의 왜곡 보정 방법을 설명하는 순서도이다.
도 2를 참고하면, 차량의 어라운드 뷰 영상의 왜곡 보정 방법은, 제어부(150)에서 제1 내지 제4 광각 카메라(110, 120, 130, 140)로부터 차량의 전방, 후방, 좌측 및 우측에 대한 각각의 기준 영상을 획득하고, 획득된 기준 영상을 이용하여 영상 합성을 위한 룩업테이블을 생성하여 메모리에 저장한다(S210).
제어부(150)는 제1 내지 제4 광각 카메라(110, 120, 130, 140)에서 촬영된 차량의 전방 뷰 영상, 후방 뷰 영상, 좌측 사이드 뷰 영상, 우측 사이드 뷰 영상을 각각 수신한다(S220).
제어부(150)는 좌측 기준 영상과 우측 기준 영상을 근거로 하여 좌측 사이드 뷰 영상과 우측 사이드 뷰 영상을 각각 비교하여 시야각 오차 정보를 계산하고, 계산된 시야각 오차 정보를 반영하여 좌측 사이드 뷰 영상과 우측 사이드 뷰 영상을 보정한다(S230, S240).
제어부(150)는 룩업 테이블을 이용하여 보정된 좌측 사이드 뷰 영상, 보정된 우측 사이드 뷰 영상, 전방 뷰 영상 및 후방 뷰 영상을 합성하여 어라운드 뷰 영상을 생성하여 표시부(180)를 통해 표시한다(S250).
이때, 제어부(150)는 차량이 저속으로 초기 주행 또는 주차 모드로 진입하는 경우에, 좌측 사이드 뷰 영상과 우측 사이드 뷰 영상에 대한 각각의 시야각 오차 정보가 기 설정된 허용 오차값을 벗어나는 경우에 좌측 사이드 미러 또는 우측 사이드 미러가 접힘 상태이거나 정상 위치에서 벗어난 상태라고 판단하고 표시부(180)나 차량 오디오 시스템(도시되지 않음)을 통해 해당 사이드 미러의 비정상 상태를 경고한다.
도 2에서는 단계 S210 내지 단계 S250을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 2에 기재된 순서를 변경하여 실행하거나 단계 S210 내지 단계 S250 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 2는 시계열적인 순서로 한정되는 것은 아니다.
도 3은 본 발명의 제1 실시예에 따른 좌측 사이드 뷰 영상과 우측 사이드 뷰 영상에 대한 왜곡 보정 방법을 설명하는 순서도이다.
도 3을 참고하면, 제어부(150)는 좌측 사이드 뷰 영상과 우측 사이드 뷰 영상의 왜곡을 보정하기 위해, 좌측 기준 영상을 촬영하는 제1 광각 카메라(110)의 회전 각도와 틸트 각도를 기본 설정값으로 저장하고, 좌측 기준 영상에 대한 제1 기준 시야각 정보를 저장한다(S310).
또한, 제어부(150)는 우측 기준 영상을 촬영하는 제2 광각 카메라(120)의 회전 각도와 틸트 각도를 기본 설정값으로 저장하고, 우측 기준 영상에 대한 제2 기준 시야각 정보를 저장한다(S320).
그 후, 제어부(150)는 좌측 사이드 뷰 영상과 우측 사이드 뷰 영상이 수신되면, 좌측 사이드 뷰 영상에서 제1 시야각 정보를 추출한 후 제1 시야각 정보와 제1 기준 시야각 정보를 비교하여 제1 시야각 오차 정보를 계산한다(S330, S340).
또한, 제어부(150)는 우측 사이드 뷰 영상에서 제2 시야각 정보를 추출한 후 제2 시야각 정보와 제2 기준 시야각 정보를 비교하여 제2 시야각 오차 정보를 계산한다(S350, S360).
따라서, 제어부(150)는 제1 시야각 오차 정보를 좌측 사이드 뷰 영상에 반영하여 보정된 좌측 사이드 뷰 영상을 산출하고, 제2 시야각 오차 정보를 우측 사이드 뷰 영상에 반영하여 보정된 우측 사이드 뷰 영상을 산출한다.
한편, 제어부(150)는 사용자 선택에 따라 상기에서 산출된 제1 시야각 오차 정보와 제2 시야각 오차 정보를 이용하여 좌측 사이드 미러와 우측 사이드 미러의 회전 각도와 틸트 각도를 기본 설정값으로 조정할 수 있다.
도 3에서는 단계 S310 내지 단계 S360을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 3에 기재된 순서를 변경하여 실행하거나 단계 S310 내지 단계 S360 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 3은 시계열적인 순서로 한정되는 것은 아니다.
도 4는 본 발명의 제2 실시예에 따른 좌측 사이드 뷰 영상과 우측 사이드 뷰 영상에 대한 왜곡 보정 방법을 설명하는 순서도이다.
도 4를 참고하면, 제어부(150)는 좌측 기준 영상에서 차량의 윤곽 정보를 추출하고, 차량의 윤곽 정보에서 에지 정보를 검출한 후 검출된 에지 정보 중에서 기 설정된 기준점을 중심으로 최끝단에 위치한 복수의 끝점 좌표를 추출한다(S410, S420, S430).
제어부(150)는 복수의 끝점 좌표를 연결한 다각형을 좌측 기준 폴리곤으로 생성하여 메모리에 저장한다(S440).
좌측 기준 폴리곤은 좌측 기준 영상의 기준점(0, 0)과 2개의 끝점 좌표를 연결한 삼각형 형태로 생성될 수 있다. 이때, 기준점은 사이드 미러가 접힌 상태와 펼쳐진 상태에서 자량 윤곽 정보가 가장 많이 포함될 수 있는 영역을 중심으로 설정될 수 있다. 예를 들어, 좌측 사이드 미러의 경우에 좌측 최외곽선을 Y축으로, 우측 사이드 미러의 경우에 우측 최외곽선을 Y축으로 하고, X축은 차종, 운전자의 운전 습관 등에 따라 설정될 수 있다.
제어부(150)는 좌측 사이드 뷰 영상에 좌측 기준 폴리곤의 좌표값, 즉 기준점, 2개의 끝점 좌표를 대응시켜 좌측 비교 폴리곤을 추출하고, 좌측 기준 폴리곤과 좌측 비교 폴리곤을 비교하여 각 폴리곤의 시야각에 대한 오차를 계산하여 제1 시야각 오차 정보를 산출한다(S450, S460).
따라서, 제어부(150)는 제1 시야각 오차 정보를 좌측 사이드 뷰 영상에 반영하여 보정된 좌측 사이드 뷰 영상을 산출한다. 이와 같은 방법으로 제어부(150)는 우측 사이드 뷰 영상에 대한 제2 시야각 오차 정보를 산출할 수 있다.
상기에서, 제어부(150)는 상기한 제1 실시예에 의한 왜곡 보정 방법과 상기한 제2 실시예에 의한 왜곡 보정 방법을 각각 적용하는 것으로 기술하였으나, 시야각 오차 정보에 대한 정확도를 높이기 위해 상기한 제1 실시예에 의한 왜곡 보정 방법과 상기한 제2 실시예에 의한 왜곡 보정 방법을 동시에 적용할 수 있고, 상기한 왜곡 보정 방법들 외에도 다양한 영상 왜곡 보정 방법을 적용하여 양측 사이드 미러에 대한 왜곡된 영상의 보정 기능을 수행할 수 있다.
도 4에서는 단계 S410 내지 단계 S460을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 4에 기재된 순서를 변경하여 실행하거나 단계 S410 내지 단계 S460 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 4는 시계열적인 순서로 한정되는 것은 아니다.
상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진 자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
1: 차량의 어라운드 뷰 영상의 왜곡 보정 시스템
10: 좌측 사이드 미러
20: 우측 사이드 미러
110: 제1 광각 카메라
120: 제2 광각 카메라
130: 제3 광각 카메라
140: 제4 광각 카메라
150: 제어부
160: 카메라 구동부
170: 입력부
180: 표시부

Claims (8)

  1. 복수의 광각 카메라로부터 획득한 영상을 이용하여 어라운드뷰 영상을 생성하여 표시하는 차량의 어라운드 뷰 영상의 왜곡 보정 방법에 있어서,
    제어부가 상기 복수의 광각 카메라로부터 차량의 전방, 후방, 좌측 및 우측에 대한 각각의 기준 영상을 획득하고, 상기 획득된 기준 영상을 이용하여 영상 합성을 위한 룩업테이블을 생성하는 룩업테이블 생성단계;
    상기 제어부가 상기 복수의 광각 카메라에서 촬영된 차량의 전방 뷰 영상, 후방 뷰 영상, 좌측 사이드 뷰 영상 및 우측 사이드 뷰 영상을 각각 수신하는 영상 수신단계;
    상기 제어부가 상기 좌측 기준 영상과 우측 기준 영상을 근거로 하여 상기 좌측 사이드 뷰 영상과 우측 사이드 뷰 영상을 각각 비교하여 시야각 오차 정보를 계산하고, 상기 계산된 시야각 오차 정보를 반영하여 좌측 사이드 뷰 영상과 우측 사이드 뷰 영상을 보정하는 영상 보정단계; 및
    상기 제어부가 상기 룩업 테이블을 이용하여 상기 보정된 좌측 사이드 뷰 영상, 상기 보정된 우측 사이드 뷰 영상, 전방 뷰 영상 및 후방 뷰 영상을 합성하여 어라운드 뷰 영상을 생성하는 어라운드 뷰 영상 생성단계;를 포함하고,
    상기 룩업테이블 생성단계에서,
    상기 제어부는 상기 복수의 광각 카메라로부터 획득된 각각의 기준 영상을 이용하여 영상 합성 시뮬레이션을 통해 출력 영상을 획득한 후 해당 출력 영상에 대한 입력 영상들의 좌표 및 가중치 정보를 담은 룩업테이블을 생성하되,
    상기 룩업테이블은,
    스카이뷰, 후방 뷰, 전방 뷰, 사이드 뷰, 올 어라운드(all around) 뷰를 포함하는 뷰 모드별로 좌표 정보, 가중치 정보가 기록된 레코드들로 구성되는 것을 특징으로 하는 차량의 어라운드 뷰 영상의 왜곡 보정 방법.
  2. 제1항에 있어서,
    상기 영상 수신단계는,
    상기 좌측 사이드 뷰 영상은 차량의 좌측 사이드 미러에 설치된 제1 광각 카메라로부터 수신하고, 상기 우측 사이드 뷰 영상은 차량의 우측 사이드 미러에 설치된 제2 광각 카메라로부터 수신하며,
    상기 좌측 사이드 미러와 우측 사이드 미러는 접이식으로 동작하는 것을 특징으로 하는 차량의 어라운드 뷰 영상의 왜곡 보정 방법.
  3. 제1항에 있어서,
    상기 룩업테이블 생성단계는,
    상기 좌측 기준 영상을 촬영하는 제1 광각 카메라의 회전 각도와 틸트 각도를 저장하고, 상기 좌측 기준 영상에 대한 제1 기준 시야각 정보를 저장하는 제1 기준 시야각 저장단계; 및
    상기 우측 기준 영상을 촬영하는 제2 광각 카메라의 회전 각도와 틸트 각도를 저장하고, 상기 우측 기준 영상에 대한 제2 기준 시야각 정보를 저장하는 제2 기준 시야각 저장단계;를 포함하는 것을 특징으로 하는 차량의 어라운드 뷰 영상의 왜곡 보정 방법.
  4. 제3항에 있어서,
    상기 영상 보정단계는,
    상기 좌측 사이드 뷰 영상에서 제1 시야각 정보를 추출한 후 상기 추출된 제1 시야각 정보와 상기 제1 기준 시야각 정보를 비교하여 제1 시야각 오차 정보를 계산하고,
    상기 우측 사이드 뷰 영상에서 제2 시야각 정보를 추출한 후 상기 추출된 제2 시야각 정보와 상기 제2 기준 시야각 정보를 비교하여 제2 시야각 오차 정보를 계산하는 것을 특징으로 하는 차량의 어라운드 뷰 영상의 왜곡 보정 방법.
  5. 제1항에 있어서,
    상기 룩업테이블 생성단계는,
    상기 좌측 기준 영상과 우측 기준 영상에서 차량의 윤곽 정보를 추출하고, 상기 추출된 차량의 윤곽 정보에서 기 설정된 기준점을 중심으로 최끝단에 위치한 복수의 끝점 좌표를 검출하며, 상기 복수의 끝점 좌표를 연결한 좌측 기준 폴리곤과 우측 기준 폴리곤을 생성하여 저장하는 것을 특징으로 하는 차량의 어라운드 뷰 영상의 왜곡 보정 방법.
  6. 제5항에 있어서,
    상기 영상 보정단계는,
    상기 좌측 사이드 뷰 영상에 좌측 기준 폴리곤의 좌표에 해당하는 좌측 비교 폴리곤을 추출하고, 상기 좌측 기준 폴리곤과 좌측 비교 폴리곤을 비교하여 각 폴리곤의 시야각에 대한 오차를 계산하여 제1 시야각 오차 정보를 산출하는 제1 시야각 오차 산출단계; 및
    상기 우측 사이드 뷰 영상에 우측 기준 폴리곤의 좌표에 해당하는 우측 비교 폴리곤을 추출하고, 상기 우측 기준 폴리곤과 우측 비교 폴리곤을 비교하여 각 폴리곤의 시야각에 대한 오차를 계산하여 제2 시야각 오차 정보를 산출하는 제2 시야각 오차 산출단계;를 포함하는 것을 특징으로 하는 차량의 어라운드 뷰 영상의 왜곡 보정 방법.
  7. 제2항에 있어서,
    상기 영상 보정단계는,
    상기 시야각 오차 정보를 이용하여 상기 좌측 사이드 미러와 우측 사이드 미러의 회전 각도와 틸트 각도를 조정하는 것을 특징으로 하는 차량의 어라운드 뷰 영상의 왜곡 보정 방법.
  8. 제2항에 있어서,
    상기 차량이 초기 주행 또는 주차 모드로 진입하는 경우에, 상기 좌측 사이드 뷰 영상과 우측 사이드 뷰 영상에 대한 각각의 시야각 오차 정보가 기 설정된 허용 오차값을 벗어나는 경우에 상기 좌측 사이드 미러 또는 우측 사이드 미러의 비정상 상태를 경고하는 단계;를 더 포함하는 것을 특징으로 하는 차량의 어라운드 뷰 영상의 왜곡 보정 방법.
KR1020170172381A 2017-12-14 2017-12-14 차량의 어라운드 뷰 영상의 왜곡 보정 방법 KR101964864B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170172381A KR101964864B1 (ko) 2017-12-14 2017-12-14 차량의 어라운드 뷰 영상의 왜곡 보정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170172381A KR101964864B1 (ko) 2017-12-14 2017-12-14 차량의 어라운드 뷰 영상의 왜곡 보정 방법

Publications (1)

Publication Number Publication Date
KR101964864B1 true KR101964864B1 (ko) 2019-04-02

Family

ID=66167128

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170172381A KR101964864B1 (ko) 2017-12-14 2017-12-14 차량의 어라운드 뷰 영상의 왜곡 보정 방법

Country Status (1)

Country Link
KR (1) KR101964864B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102052013B1 (ko) 2019-06-12 2019-12-04 한국해양과학기술원 선박용 카메라 영상 합성 시스템 및 선박용 카메라 교정방법
KR102140526B1 (ko) * 2019-04-26 2020-08-04 주식회사 켐트로닉스 어라운드 뷰 장치
KR102336049B1 (ko) * 2021-09-03 2021-12-06 정태형 자동차 안전 주행을 위한 카메라 영상 떨림 보정 장치
KR102482341B1 (ko) * 2022-02-14 2022-12-28 (주)테라테코 차량 단속영역좌표 자동 보정 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009288152A (ja) * 2008-05-30 2009-12-10 Nippon Soken Inc 車載カメラのキャリブレーション方法
KR101113679B1 (ko) 2010-05-24 2012-02-14 기아자동차주식회사 카메라 시스템의 영상 보정 방법
KR101239740B1 (ko) * 2011-12-08 2013-03-18 아진산업(주) 폴리곤 매핑 및 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치
KR20150141804A (ko) * 2014-06-10 2015-12-21 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
KR20170114523A (ko) * 2016-04-05 2017-10-16 현대모비스 주식회사 Avm용 주행 자동 공차 보정 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009288152A (ja) * 2008-05-30 2009-12-10 Nippon Soken Inc 車載カメラのキャリブレーション方法
KR101113679B1 (ko) 2010-05-24 2012-02-14 기아자동차주식회사 카메라 시스템의 영상 보정 방법
KR101239740B1 (ko) * 2011-12-08 2013-03-18 아진산업(주) 폴리곤 매핑 및 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치
KR20150141804A (ko) * 2014-06-10 2015-12-21 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
KR20170114523A (ko) * 2016-04-05 2017-10-16 현대모비스 주식회사 Avm용 주행 자동 공차 보정 장치 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102140526B1 (ko) * 2019-04-26 2020-08-04 주식회사 켐트로닉스 어라운드 뷰 장치
KR102052013B1 (ko) 2019-06-12 2019-12-04 한국해양과학기술원 선박용 카메라 영상 합성 시스템 및 선박용 카메라 교정방법
KR102336049B1 (ko) * 2021-09-03 2021-12-06 정태형 자동차 안전 주행을 위한 카메라 영상 떨림 보정 장치
KR102482341B1 (ko) * 2022-02-14 2022-12-28 (주)테라테코 차량 단속영역좌표 자동 보정 시스템

Similar Documents

Publication Publication Date Title
KR101964864B1 (ko) 차량의 어라운드 뷰 영상의 왜곡 보정 방법
JP7054293B2 (ja) リアビュー可視化のためのリアスティッチされたビューパノラマ
JP5120880B2 (ja) 画像処理装置及び画像処理方法
JP5222597B2 (ja) 画像処理装置及び方法、運転支援システム、車両
JP6099333B2 (ja) 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法及びパラメータ取得方法
US8570188B2 (en) Driver vision support system and vehicle including the system
US20070041659A1 (en) Surroundings monitoring apparatus and surroundings monitoring method
JP4725233B2 (ja) 俯瞰画像表示システム
JP2009524171A (ja) 複数の画像を結合して鳥瞰図画像にする方法
JP4681432B2 (ja) 車載周辺画像表示装置
JP2009017020A (ja) 画像処理装置及び表示画像生成方法
WO2005079060A1 (ja) 運転支援装置
US10783665B2 (en) Apparatus and method for image processing according to vehicle speed
JP2008141649A (ja) 車両周辺監視装置
JP2012156672A (ja) 車両周辺監視装置
WO2019187283A1 (ja) 画像処理装置、画像表示システムおよび画像処理方法
KR101406230B1 (ko) 차량 기울어짐에 따라 보정된 avm 영상을 생성하는 시스템 및 방법
KR20100005971A (ko) 차량 전방위 감시 시스템
JP2010183234A (ja) 描画装置
JP2021013072A (ja) 画像処理装置および画像処理方法
JP2012147308A (ja) 画像処理装置、画像表示システム、及び、画像処理方法
WO2021131481A1 (ja) 表示装置、表示方法及び表示プログラム
JP4814752B2 (ja) 表示制御装置
JP2021118435A (ja) 画像処理装置及び画像処理方法
JP6855254B2 (ja) 画像処理装置、画像処理システム、及び、画像処理方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant