KR20150028532A - 카메라 영상 보정 장치 및 그 동작 방법 - Google Patents

카메라 영상 보정 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20150028532A
KR20150028532A KR20130107275A KR20130107275A KR20150028532A KR 20150028532 A KR20150028532 A KR 20150028532A KR 20130107275 A KR20130107275 A KR 20130107275A KR 20130107275 A KR20130107275 A KR 20130107275A KR 20150028532 A KR20150028532 A KR 20150028532A
Authority
KR
South Korea
Prior art keywords
image
photographed
camera
pattern
coordinates
Prior art date
Application number
KR20130107275A
Other languages
English (en)
Inventor
김종환
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR20130107275A priority Critical patent/KR20150028532A/ko
Publication of KR20150028532A publication Critical patent/KR20150028532A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 일정 주기마다 패턴 및 차량의 주변 영역이 촬영된 촬영 영상을 출력하는 촬영부, 및 상기 촬영 영상에서 상기 패턴의 특정 위치를 추출하고, 상기 특정 위치의 좌표를 획득하고, 획득된 상기 특정 위치 좌표와 기저장된 설정 좌표를 고려하여 상기 촬영 영상의 보정 동작을 수행할지 여부를 판단하며, 판단 결과에 따라 상기 촬영 영상을 보정하는 영상 처리부를 포함하는 카메라 영상 보정 장치 및 그 동작 방법에 관한 것이다.

Description

카메라 영상 보정 장치 및 그 동작 방법{Device for correcting the camera image and method thereof}
본 발명은 카메라 영상 보정 장치에 관한 것으로, 특히 실시간으로 차량용 카메라의 영상을 보정하는 기술에 관한 것이다.
최근, 차량에는 사용자의 안전 운전을 위한 다양한 장치들이 설치되고 있다. 일 예로, 이러한 장치들 중 차량의 주변을 촬영하는 차량용 카메라가 차량에 구현될 수 있다. 이 차량용 카메라는 차량 전방의 영상을 촬영하고 그 촬영된 영상을 기초로 하여 차량이 차선을 이탈하였는지의 여부를 판단하는 차선 이탈 경보 시스템 또는 차량의 전방 상황을 영상 기록으로 남기기 위한 차량용 블랙박스 시스템에 이용될 수 있다.
이러한 차량용 카메라는 차량에 장착시 초기 설정(인라인 보정, In-line calibration)을 통하여 초기 얼라이먼트(aligment) 값을 설정한다. 그러나, 차량용 카메라는 차량의 진동이나 외부에서 가해지는 충격으로 인해 초기에 설정된 초기 얼라이먼트 값이 틀어지는 현상이 발생한다. 이렇게 얼라이먼트가 틀어질 경우, 이는 차량용 카메라의 성능 저하에 큰 영향을 미치게 된다.
본 발명은 차량 주행중에 실시간으로 차량용 카메라의 영상 보정 동작을 수행할 수 있도록 하는 기술적 방안을 제공함을 목적으로 한다.
전술한 과제를 달성하기 위한 본 발명의 일 양상에 따른 카메라 영상 보정 장치는 일정 주기마다 패턴 및 차량의 주변 영역이 촬영된 촬영 영상을 출력하는 촬영부, 및 상기 촬영 영상에서 상기 패턴의 특정 위치를 추출하고, 상기 특정 위치의 좌표를 획득하고, 획득된 상기 특정 위치 좌표와 기저장된 설정 좌표를 고려하여 상기 촬영 영상의 보정 동작을 수행할지 여부를 판단하며, 판단 결과에 따라 상기 촬영 영상을 보정하는 영상 처리부를 포함한다.
여기서, 상기 영상 처리부는 상기 특정 위치 좌표와 상기 설정 좌표 간의 거리값을 구하며, 구해진 상기 거리값이 기설정된 임계값보다 큰 경우, 상기 보정 동작을 수행한다.
덧붙여, 상기 영상 처리부는 상기 촬영 영상에서 상기 패턴의 특정 위치를 다수 추출하고, 추출된 상기 다수의 특정 위치 각각의 좌표를 획득하고, 획득된 상기 다수의 특정 위치 좌표와 상기 다수의 특정 위치에 대응되어 기저장된 설정 좌표들 간의 거리값들의 평균을 구하며, 구해진 상기 거리값들의 상기 평균이 기설정된 값보다 큰 경우 상기 보정 동작을 수행한다.
이때, 상기 설정 좌표는 상기 촬영부로부터 최초로 입력받은 최초 촬영 영상에서 추출된 상기 패턴의 상기 특정 위치 좌표이다.
또한, 상기 촬영부는 스테레오 카메라에 의해 상기 차량 전방의 서로 다른 영역이 촬영된 다수의 상기 촬영 영상을 출력하는 것이고, 상기 패턴은 상기 차량의 소정 위치에 설치되어 상기 차량의 윈드실드에 비친 패턴 그림이 상기 촬영부에 의해 촬영된 것이며, 상기 다수의 촬영 영상 모두에는 상기 패턴 그림 중 동일한 소정 영역이 포함된다.
상기 영상 처리부는 상기 촬영 영상을 보정한 후, 상기 다수의 촬영 영상에 포함된 상기 소정 영역의 정보를 이용하여 상기 다수의 상기 촬영 영상 간의 에피폴라 라인을 매칭한다.
한편, 전술한 과제를 달성하기 위한 본 발명의 일 양상에 따른 카메라 영상 보정 장치에 의한 실시간 영상 보정 방법은 카메라로부터 일정 주기마다 패턴 및 차량의 전방 영역이 촬영된 촬영 영상을 입력받는 단계, 상기 촬영 영상에서 상기 패턴의 특정 위치를 다수 추출하는 단계, 상기 다수의 특정 위치 각각의 좌표를 획득하는 단계, 획득된 상기 다수의 특정 위치 좌표과 상기 다수의 특정 위치에 대응되어 기저장된 설정 좌표들 간의 거리값들의 평균을 구하는 단계, 및 구해진 상기 거리값들의 상기 평균이 기설정된 값보다 큰 경우, 상기 촬영 영상의 보정 동작을 수행하는 단계를 포함한다.
여기서, 상기 패턴은 상기 차량의 대시 보드에 설치되어 상기 차량의 윈드실드에 비친 패턴 그림이 촬영된 것이다.
덧붙여, 카메라 영상 보정 장치에 의한 실시간 영상 보정 방법은 상기 카메라의 상기 촬영 영상에 포함된 상기 패턴과 다른 카메라에 의해 촬영된 촬영 영상에 포함된 패턴을 이용하여, 상기 두 개의 카메라에 의해 각각 촬영된 상기 촬영 영상 간의 에피폴라 라인을 매칭하는 단계를 더 포함한다.
본 발명의 일 실시예에 따르면, 차량 대시 보드의 물리적 패턴 그림을 차량 주행 중 실시간으로 카메라에 의해 촬영하며, 촬영된 실시간 촬영 영상에 포함된 패턴을 이용하여 영상 보정 동작 여부를 판단 및 보정 동작을 수행함으로써, 촬영 영상의 보정 동작(캘리브레이션) 여부를 판단하기 위해 별도의 기구를 사용하지 않고 차량 주행 중 실시간으로 촬영 영상을 보정할 수 있어 사용자의 편의 및 성능이 향상될 수 있다.
도 1은 본 발명의 실시예에 따른 카메라 영상 보정 장치 블록도.
도 2는 본 발명에 따른 카메라 장착 예시도.
도 3은 본 발명에 따른 대시보드의 패턴 그림이 윈드실드(windshield)에 비친 패턴을 나타내는 제1 예시도.
도 4는 본 발명에 따른 대시보드의 패턴 그림이 윈드실드(windshield)에 비친 패턴을 나타내는 제2 예시도.
도 5는 본 발명에 따른 카메라에 의해 촬영된 최초 촬영 영상을 예시한 예시도.
도 6은 본 발명에 따른 카메라에 의해 촬영된 실시간 촬영 영상을 예시한 예시도.
도 7은 본 발명의 실시예에 따른 카메라 영상 보정 장치에 의한 실시간 영상 보정 방법 흐름도.
전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명을 이러한 실시예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 카메라 영상 보정 장치 블록도이다. 카메라 영상 보정 장치(10)는 촬영부(100) 및 영상 처리부(200)를 포함한다.
촬영부(100)는 차량의 주변 영역을 촬영한 촬영 영상을 출력하기 위한 것으로서, 적어도 하나 이상의 카메라를 포함할 수 있다. 예를 들어, 촬영부(100)는 차량의 소정 위치에 장착되어 차량 전방을 촬영하는 전방 카메라일 수 있다. 바람직하게, 촬영부(100)는 도 2에 예시된 바와 같이, 제1 카메라(좌측 카메라(110)) 및 제2 카메라(우측 카메라(120))를 포함하는 스테레오 카메라일 수 있다. 본 발명에서 촬영부(100)는 제1 카메라(110) 및 제2 카메라(120) 두 개의 카메라를 포함하며, 그 이상 개수의 카메라를 포함할 수도 있다.
나아가, 촬영부(100)는 차량의 전방과 함께, 도 3에 예시된 바와 같이 차량의 소정 위치에 설치된 패턴 그림(A)이 윈드실드(windshield)에 비친 패턴(A')을 포함하여 촬영할 수 있다. 여기서, 패턴 그림(A)은 도 3 및 도 4에 예시된 바와 같이 차량의 대시보드(dashboard) 위에 설치/부착된 체크(격자)무늬의 그림일 수 있다. 또는, 패턴 그림(A)은 차량의 대시보드 측 우퍼 스피커의 패턴 그 자체일 수도 있다.
본 발명에서는 설명의 편의를 위해 패턴 그림(A)이 도 3에 예시된 바와 같이 6개의 격자 무늬를 포함하는 패턴 그림일 수 있으며, 그에 따라 윈드실드에 6개의 격자 무늬가 비치는 패턴(A')일 수 있다. 도 5에 예시된 바와 같이, 촬영부(100)의 제1 카메라(110) 및 제2 카메라(120)를 통해 차량의 전방 및 윈드실드에 비친 패턴(A')이 포함된 촬영 영상이 출력될 수 있다.
이때, 패턴 그림(A)은 촬영부(100)에 의해 촬영되는 패턴(A')이 차량 전방의 차량 및 도로 영상을 방해하지 않는 범위 내에서 촬영 영상의 가장자리 부분에 나타나도록 차량의 소정 위치에 설치될 수 있다. 덧붙여, 패턴 그림(A)은 윈드실드에 비친 패턴(A') 중 소정 영역(가운데 패턴(A'3, A'4))이 촬영부(100)의 제1 카메라(110) 및 제2 카메라(120) 모두에 의해 촬영될 수 있도록 설치될 수 있다.
즉, 촬영부(100)의 제1 카메라(110) 및 제2 카메라(120) 각각은 윈드실드에 비친 패턴(A') 중 소정 영역(가운데 패턴(A'3, A'4))을 공통으로 촬영할 수 있도록 장착될 수 있다. 예를 들어, 도 2와 같이 윈드실드에 비친 패턴(A') 중 좌측 패턴(A'1, A'2) 및 가운데 패턴(A'3, A'4)이 촬영부(100)의 제1 카메라(110)의 촬영 범위에 포함될 수 있으며, 가운데 패턴(A'3, A'4) 및 우측 패턴(A'5, A'6)이 촬영부(100)의 제2 카메라(120)의 촬영 범위에 포함될 수 있다. 다시 말해, 도 5에서 제1 카메라(110)에 의해 촬영된 촬영 영상의 패턴(L1~L4)은 패턴(A')의 좌측 패턴(A'1, A'2) 및 가운데 패턴(A'3, A'4)이 촬영된 것이며, 제2 카메라(120)에 의해 촬영된 촬영 영상의 패턴(R1~R4)은 패턴(A')의 가운데 패턴(A'3, A'4) 및 우측 패턴(A'5, A'6)이 촬영된 것이다.
영상 처리부(200)는 촬영부(100)에 의해 촬영된 촬영 영상에 포함된 패턴(L1~L4, R1~R4)을 이용하여 촬영 영상의 보정 동작이 필요한지 판단하고, 판단 결과에 따라 촬영 영상의 보정 동작을 수행하는 것이다. 영상 처리부(200)는 차량용 카메라의 전반적인 동작을 제어하는 전자 제어 유닛(Electronic Control Unit, ECU) 또는 별도의 차량 제어 유닛일 수 있다. 또한, 영상 처리부(200)는 촬영 영상의 보정을 위한 영상 처리 프로세서를 포함할 수 있다.
영상 처리부(200)는 촬영부(100)의 제1 및 제2 카메라(110, 120)로부터 최초로 입력되는 촬영 영상에서 추출되는 패턴의 특정 위치의 좌표를 획득한다. 여기서, 최초로 입력되는 촬영 영상은 촬영부(100)가 차량에 장착되어 작업자에 의해 수동으로 초기 설정 과정(인라인 보정(In-line Calibration))이 수행된 후 최초로 촬영 및 입력되는 촬영 영상일 수 있다. 또는, 최초로 입력되는 촬영 영상은 차량의 시동이 온 되어 촬영부(100)의 제1 및 제2 카메라(110, 120)에 전원이 인가되어 촬영 동작이 수행된 후 최초로 촬영되는 촬영 영상일 수 있다.
도 5는 본 발명에 따른 촬영부(100)의 제1 및 제2 카메라(110, 120)로부터 최초로 입력되는 최초 촬영 영상을 나타내는 예시도이다. 영상 처리부(200)는 제1 카메라(110)에 의해 최초로 촬영된 도 5의 (가) 영상에서 패턴(L1~L4)을 추출할 수 있다. 나아가, 영상 처리부(200)는 각 패턴에서 흑과 백이 교차하는 지점인 특정 위치의 좌표(L1_Fi~L4_Fi)를 획득할 수 있다. 마찬가지로, 영상 처리부(200)는 제2 카메라(120)에 의해 최초로 촬영된 도 5의 (나) 영상에서 패턴(R1~R4)을 추출할 수 있으며, 각 패턴의 특정 위치의 좌표(R1_Fi~R4_Fi)를 획득할 수 있다. 이때, 획득되는 좌표는 2차원 형식(x,y)의 좌표일 수 있다. 이와 같이, 최초의 촬영 영상에서 특정 위치의 좌표를 획득하는 방법은 이후에 촬영부(100)를 통해 연속적으로 입력되는 촬영 영상(예를 들어, 차량 주행 중 실시간을 입력되는 촬영 영상)에서의 특정 위치의 좌표를 획득하는 방법과 동일하다.
덧붙여, 최초의 촬영 영상의 특정 위치 좌표 중 L1_Fi, L3_Fi, R1_Fi 및 R1_Fi 각각의 y좌표는 동일할 수 있다. 마찬가지로, 최초의 촬영 영상의 특정 위치 좌표 중 L2_Fi, L4_Fi, R2_Fi 및 R4_Fi 각각의 y좌표는 동일할 수 있다. 이는 초기 사용자의 설정 과정에 의해 촬영부(100)의 에피폴라 라인(epipolar line)(도 5의 녹색선)이 정렬되었기 때문이다. 이후, 차량 주행에 의한 진동 및 기타 외부 영향에 따라 제1 및 제2 카메라(110, 120)의 틀어짐이 발생할 수 있어. 차량 주행 중 촬영부(100)를 통해 일정 시간(T) 주기마다 연속적으로 입력되는 촬영 영상에서 위와 같은 특정 위치 좌표들의 y 좌표는 동일하지 않을 수 있다.
나아가, 최초의 촬영 영상에서 추출된 패턴의 특정 위치의 좌표들은 설정 좌표로 설정되어 별도의 메모리에 저장될 수 있다. 이 설정 좌표는 이후에 영상 처리부(200)에서 차량 주행 촬영부(100)에 의해 실시간으로 촬영되는 실시간 촬영 영상의 보정 여부를 판단할 때 이용된다.
영상 처리부(200)는 촬영부(100)를 통해 일정 시간 주기(T)마다 연속적(실시간)으로 입력되는 촬영 영상에서 획득되는 특정 위치의 좌표와 기설정된 설정 좌표를 고려(비교)하여 촬영 영상의 보정 동작을 수행할지 여부를 판단한다. 도 6은 본 발명에 따른 촬영부(100)의 제1 및 제2 카메라(110, 120)로부터 입력되는 실시간 촬영 영상을 나타내는 예시도이다. 예를 들어, 도 6의 (가) 및 (나)는 최초의 촬영 영상을 수신하고 1초 후 촬영부(100)로부터 입력되는 실시간 촬영 영상일 수 있다. 이때, 입력되는 촬영 영상은 차량 주행 중에 촬영부(100)에 의해 촬영된 촬영 영상일 수 있으며, 차량이 주행 중이 아니더라도 차량 시동 온이 되어 촬영부(100)에 전원이 인가되는 동안에 촬영된 촬영 영상일 수 있다.
구체적으로, 영상 처리부(200)는 영상 처리부(200)는 제2 카메라(120)에 의해 차량 주행 중 촬영된 도 6의 (가) 영상에서 패턴(L1~L4)을 추출할 수 있다. 나아가, 영상 처리부(200)는 각 패턴에서 흑과 백이 교차하는 지점인 특정 위치의 좌표(L1_Fj~L4_Fj)를 획득할 수 있다. 마찬가지로, 영상 처리부(200)는 제2 카메라(120)에 의해 차량 주행 중 촬영된 도 6의 (나) 영상에서 패턴(R1~R4)을 추출할 수 있으며, 각 패턴의 특정 위치의 좌표(R1_Fj~R4_Fj)를 획득할 수 있다.
이후, 영상 처리부(200)는 실시간 촬영 영상에서 획득되는 특정 위치 좌표와 메모리에 저장된 설정 좌표 간의 거리값을 구하여 실시간 촬영 영상의 보정 동작을 수행할지 여부를 판단한다. 이때, 영상 처리부(200)는 특정 위치 좌표와 설정 좌표 간에 유클리디안 거리로 거리값을 계산할 수 있다.
일 예로, 영상 처리부(200)는 촬영부(100)의 제1 카메라(110)로부터 입력되는 실시간 촬영 영상에서 획득되는 특정 위치 좌표(L1_Fj~L4_Fj)와 설정 좌표(L1_Fi~L4_Fi) 간의 거리값이 기설정된 임계값보다 큰 경우, 제1 카메라(110)로부터 입력되는 실시간 촬영 영상의 보정 동작을 수행하는 것으로 판단할 수 있다. 마찬가지로, 영상 처리부(200)는 촬영부(100)의 제2 카메라(120)로부터 입력되는 실시간 촬영 영상에서 획득되는 특정 위치 좌표(R1_Fj~R4_Fj)와 설정 좌표(R1_Fi~R4_Fi) 간의 거리값이 기설정된 임계값보다 큰 경우, 제2 카메라(120)로부터 입력되는 실시간 촬영 영상의 보정 동작을 수행하는 것으로 판단할 수 있다.
다른 예로, 영상 처리부(200)는 촬영부(100)의 제1 카메라(110)로부터 입력되는 실시간 촬영 영상에서 획득되는 특정 위치 좌표(L1_Fj~L4_Fj)와 설정 좌표(L1_Fi~L4_Fi) 간의 거리값들의 평균이 기설정된 값(Dth)보다 큰 경우
Figure pat00001
, 제1 카메라(110)로부터 입력되는 실시간 촬영 영상의 보정 동작을 수행하는 것으로 판단할 수 있다. 마찬가지로, 영상 처리부(200)는 촬영부(100)의 제2 카메라(120)로부터 입력되는 실시간 촬영 영상에서 획득되는 특정 위치 좌표(R1_Fj~R4_Fj)와 설정 좌표(R1_Fi~R4_Fi) 간의 거리값들의 평균이 기설정된 값(Dth)보다 큰 경우, 제2 카메라(120)로부터 입력되는 실시간 촬영 영상의 보정 동작을 수행하는 것으로 판단할 수 있다.
영상 처리부(200)는 촬영 영상의 보정 동작을 수행하는 것으로 판단되면 메모리에 기저장된 보정 알고리즘을 이용하여 실시간 촬영 영상의 보정 동작(Image Warping)을 수행할 수 있다. 이때, 촬영 영상의 보정 동작을 위해 보정 알고리즘(예를 들어, Calibration Matrix)이 이용되며, 이는 사전에 사용자(작업자)에 의해 설정되어 메모리에 저장될 수 있다.
일 예로, 도 6의 (나)의 특정 위치 좌표(R1_Fj~R4_Fj)와 설정 좌표(R1_Fi~R4_Fi) 간의 거리값이 기설정된 임계값보다 큰 경우, 영상 처리부(200)는 특정 위치의 좌표와 설정 좌표가 일치할 수 있도록, 또는, 특정 위치의 좌표와 설정 좌표 간의 거리값이 임계값 미만이 되도록 촬영부(100)의 제2 카메라(120)를 통해 입력되는 실시간 촬영 영상을 보정하는 동작을 수행할 수 있다.
다른 예로, 도 6의 (나)의 특정 위치 좌표(R1_Fj~R4_Fj)와 설정 좌표(R1_Fi~R4_Fi) 간의 거리값들의 평균이 기설정된 값(Dth)보다 큰 경우, 영상 처리부(200)는 특정 위치 좌표와 설정 좌표가 일치할 수 있도록, 또는, 특정 위치의 좌표와 설정 좌표 간의 거리값의 평균이 기설정된 값(Dth) 미만이 되도록 촬영부(100)의 제2 카메라(120)를 통해 입력되는 실시간 촬영 영상을 보정하는 동작을 수행할 수 있다.
제2 카메라(120)를 통해 입력되는 실시간 촬영 영상을 보정하는 동작을 수행 후, 영상 처리부(200)는 보정된 제2 카메라(120)의 촬영 영상과 제1 카메라(110)의 촬영 영상 간의 에피폴라 라인을 조절할 수 있다.
이와 같이, 영상 처리부(200)는 차량 주행 중 혹은 차량 시동 온 상태일 때, 촬영부(100)로부터 일정 시간 주기마다 실시간 촬영 영상들이 획득될 때마다 계속해서 보정 동작을 수행할지 여부를 판단 및 보정 동작을 수행할 수 있으며, 차량 시동이 오프 되면 프로세서를 종료할 수 있다.
이와 같은 본 발명의 일 실시예에 따르면, 차량 대시 보드의 물리적 패턴 그림을 차량 주행 중 실시간으로 카메라에 의해 촬영하며, 촬영된 실시간 촬영 영상에 포함된 패턴을 이용하여 영상 보정 동작 여부를 판단 및 보정 동작을 수행함으로써, 촬영 영상의 보정 동작(캘리브레이션) 여부를 판단하기 위해 별도의 기구를 사용하지 않고 차량 주행 중 실시간으로 촬영 영상을 보정할 수 있어 사용자의 편의 및 성능이 향상될 수 있다.
도 7을 본 발명의 실시예에 따른 카메라 영상 보정 장치의 실시간 영상 보정 방법 흐름도이다.
카메라 영상 보정 장치(10)는 카메라로부터 최초의 촬영 영상을 입력받는다(S100). 여기서, 카메라는 차량의 소정 위치에 장착되어 차량의 전방을 촬영하는 스테레오 카메라(제1 카메라(110) 및 제2 카메라(120))일 수 있다. 또한, 최초의 촬영 영상은 카메라가 차량에 장착되어 작업자에 의해 수동으로 초기 설정 과정(인라인 보정(In-ine Calibration))이 수행된 후 최초로 촬영되어 입력된 영상일 수 있다. 또는, 최초의 촬영 영상은 차량의 시동이 온 되어 카메라에 전원이 인가되어 촬영 동작이 수행된 후 최초로 촬영된 영상일 수 있다.
덧붙여, 제1 및 제2 카메라(110, 120)로부터 입력되는 최초의 촬영 영상의 각 모서리 부분에는 도 5에 예시된 바와 같이 패턴(L1~L4, R1~R4)이 포함될 수 있다. 이는 차량의 대시 보드에 설치된 패턴 그림(A)이 윈드실드에 비친 패턴(A')이 카메라에 의해 촬영된 것이다.
카메라 영상 보정 장치(10)는 최초의 촬영 영상에 포함된 패턴을 추출하고, 각 패턴에서 특정 위치의 좌표를 획득한다(S200). 구체적으로, 카메라 영상 보정 장치(10)는 제1 카메라(110)로부터 입력되는 최초의 촬영 영상에서 패턴(L1~L4)를 추출하며, 추출된 패턴에서 흑과 백이 교차하는 지점인 특정 위치의 좌표(L1_Fi~L4_Fi)를 획득할 수 있다. 마찬가지로, 카메라 영상 보정 장치(10)는 제2 카메라(120)로부터 입력되는 최초의 촬영 영상에서 패턴(R1~R4)를 추출하며, 추출된 패턴에서 흑과 백이 교차하는 지점인 특정 위치의 좌표(R1_Fi~R4_Fi)를 획득할 수 있다.
카메라 영상 보정 장치(10)는 최초의 촬영 영상에서 획득된 특정 위치 좌표를 설정 좌표로 설정하여 메모리에 저장한다(S300). 이때, 설정 좌표 중 L1_Fi, L3_Fi, R1_Fi 및 R1_Fi 각각의 y좌표는 동일할 수 있다. 마찬가지로, 설정 좌표 중 L2_Fi, L4_Fi, R2_Fi 및 R4_Fi 각각의 y좌표는 동일할 수 있다. 이는 초기 사용자의 초기 설정 과정에 의해 스테레오 카메라의 에피폴라 라인(epipolar line)(도 5의 녹색선)이 정렬되었기 때문이다.
카메라 영상 보정 장치(10)는 일정 시간 후에 카메라로부터 입력되는 실시간 촬영 영상에서 패턴을 추출하고, 각 패턴에서 특정 위치의 좌표를 획득한다(S400). 구체적으로, 카메라 영상 보정 장치(10)는 최초 촬영 영상이 입력된 후 주기에 따른 일정 시간(T) 후 카메라로부터 실시간 촬영 영상을 도 6과 같이 입력받을 수 있다. 카메라 영상 보정 장치(10)는 제1 카메라(110)로부터 입력되는 실시간 촬영 영상에서 패턴(L1~L4)를 추출하며, 추출된 패턴에서 흑과 백이 교차하는 지점인 특정 위치의 좌표(L1_Fj~L4_Fj)를 획득할 수 있다. 마찬가지로, 카메라 영상 보정 장치(10)는 제2 카메라(120)로부터 입력되는 실시간 촬영 영상에서 패턴(R1~R4)를 추출하며, 추출된 패턴에서 흑과 백이 교차하는 지점인 특정 위치의 좌표(R1_Fj~R4_Fj)를 획득할 수 있다.
카메라 영상 보정 장치(10)는 실시간 촬영 영상에서 획득되는 특정 위치 좌표와 기설정된 설정 좌표 간의 거리값들의 평균이 기설정된 값보다 큰지 확인한다(S500). 이때, 카메라 영상 보정 장치(10)는 특정 위치 좌표와 설정 좌표 간에 유클리디안 거리로 거리값을 계산할 수 있다. 구체적으로, 카메라 영상 보정 장치(10)는 제1 카메라(110)로부터 입력되는 실시간 촬영 영상에서 획득되는 특정 위치 좌표(L1_Fj~L4_Fj)와 설정 좌표(L1_Fi~L4_Fi) 간의 거리값들의 평균이 기설정된 값(Dth)보다 큰지 확인한다. 마찬가지로, 카메라 영상 보정 장치(10)는 제1 카메라(110)로부터 입력되는 실시간 촬영 영상에서 획득되는 특정 위치 좌표(L1_Fj~L4_Fj)와 설정 좌표(L1_Fi~L4_Fi) 간의 거리값들의 평균이 기설정된 값(Dth)보다 큰지 확인한다.
단계 S500의 확인 결과, 거리값들의 평균이 기설정된 값보다 작으면, 카메라 영상 보정 장치(10)는 단계 S400으로 피드백한다. 예를 들어, 도 6의 (가)의 경우와 같이 제1 카메라(110)로부터 입력되는 실시간 촬영 영상에서 획득되는 특정 위치 좌표(L1_Fj~L4_Fj)와 설정 좌표(L1_Fi~L4_Fi) 간의 거리값들의 평균이 기설정된 값(Dth)보다 작으면, 카메라 영상 보정 장치(10)는 주기에 따른 일정 시간(T) 후에 입력되는 다른 실시간 촬영 영상을 이용하여 단계 S400의 동작을 수행한다.
단계 S500의 확인 결과, 거리값들의 평균이 기설정된 값보다 크면, 카메라 영상 보정 장치(10)는 실시간 촬영 영상의 보정 동작을 수행한다(S600). 예를 들어, 도 6의 (나)의 경우와 같이 제2 카메라(120)로부터 입력되는 실시간 촬영 영상에서 획득되는 특정 위치 좌표(R1_Fj~R4_Fj)와 설정 좌표(R1_Fi~R4_Fi) 간의 거리값들의 평균이 기설정된 값(Dth)보다 크면, 카메라 영상 보정 장치(10)는 제2 카메라(120)로부터 입력된 실시간 촬영 영상을 보정하는 동작(Image Warping)을 수행한다. 이때, 카메라 영상 보정 장치(10)는 사전에 사용자(작업자)에 의해 설정되어 기저장된 보정 알고리즘(예를 들어, Calibration Matrix)를 이용하여 영상 보정 동작을 수행할 수 있다.
단계 S500의 확인 결과에 따라, 제1 카메라(110)의 실시간 촬영 영상과 제2 카메라(120)의 실시간 촬영 영상 둘 다 영상 보정 동작이 수행되거나, 둘 중 하나의 실시간 촬영 영상만 영상 보정 동작이 수행될 수 있다. 또는, 제1 카메라(110)의 실시간 촬영 영상과 제2 카메라(120)의 실시간 촬영 영상 둘 다 영상 보정 동작이 수행되지 않을 수도 있다.
단계 S600에서 영상 보정 동작을 수행 후 카메라 영상 보정 장치(10)는 두 개의 실시간 촬영 영상 간의 에피폴라 라인을 조절한다(S700). 예를 들어, 도 6에 경우와 같이, 제1 카메라(110)의 실시간 촬영 영상에는 보정 동작이 수행되지 않고, 제2 카메라(120)의 실시간 촬영 영상에는 보정 동작이 수행된 경우, 카메라 영상 보정 장치(10)는 제1 카메라(110)의 실시간 촬영 영상과 보정된 제2 카메라(120)의 실시간 촬영 영상을 수평으로 이동하여 두 실시간 촬영 영상 간의 에피폴라 라인을 맞추는 동작을 수행할 수 있다.
이후, 카메라 영상 보정 장치(10)는 단계 S400으로 피드백하여 차량 주행 중 또는 차량의 시동이 온 상태인 동안 계속해서 획득되는 실시간 촬영 영상에 대한 보정 동작 여부 판단 및 보정 동작을 수행할 수 있다.
차량의 시동이 오프되면, 카메라 영상 보정 장치(10)는 모든 프로세스를 종료한다(S800).
이와 같이, 본 발명의 일 실시예에 따르면 차량 대시 보드의 물리적 패턴 그림을 차량 주행 중 실시간으로 카메라에 의해 촬영하며, 촬영된 실시간 촬영 영상에 포함된 패턴을 이용하여 영상 보정 동작 여부를 판단 및 보정 동작을 수행함으로써, 촬영 영상의 보정 동작(캘리브레이션) 여부를 판단하기 위해 별도의 기구를 사용하지 않고 차량 주행 중 실시간으로 촬영 영상을 보정할 수 있어 사용자의 편의 및 성능이 향상될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
10 : 카메라 영상 보정 장치 100 : 촬영부
110 : 제1 카메라 120 : 제2 카메라
200 : 영상 처리부

Claims (9)

  1. 일정 주기마다 패턴 및 차량의 주변 영역이 촬영된 촬영 영상을 출력하는 촬영부; 및
    상기 촬영 영상에서 상기 패턴의 특정 위치를 추출하고, 상기 특정 위치의 좌표를 획득하고, 획득된 상기 특정 위치 좌표와 기저장된 설정 좌표를 고려하여 상기 촬영 영상의 보정 동작을 수행할지 여부를 판단하며, 판단 결과에 따라 상기 촬영 영상을 보정하는 영상 처리부;
    를 포함하는 카메라 영상 보정 장치.
  2. 제1항에 있어서,
    상기 영상 처리부는 상기 특정 위치 좌표와 상기 설정 좌표 간의 거리값을 구하며, 구해진 상기 거리값이 기설정된 임계값보다 큰 경우, 상기 보정 동작을 수행하는 것으로 판단하는 것인 카메라 영상 보정 장치.
  3. 제1항에 있어서,
    상기 영상 처리부는 상기 촬영 영상에서 상기 패턴의 특정 위치를 다수 추출하고, 추출된 상기 다수의 특정 위치 각각의 좌표를 획득하고, 획득된 상기 다수의 특정 위치 좌표와 상기 다수의 특정 위치에 대응되어 기저장된 설정 좌표들 간의 거리값들의 평균을 구하며, 구해진 상기 거리값들의 상기 평균이 기설정된 값보다 큰 경우 상기 보정 동작을 수행하는 것으로 판단하는 것인 카메라 영상 보정 장치.
  4. 제1항에 있어서,
    상기 설정 좌표는 상기 촬영부로부터 최초로 입력받은 최초 촬영 영상에서 추출된 상기 패턴의 상기 특정 위치 좌표인 것인 카메라 영상 보정 장치.
  5. 제1항에 있어서,
    상기 촬영부는 스테레오 카메라에 의해 상기 차량 전방의 서로 다른 영역이 촬영된 다수의 상기 촬영 영상을 출력하는 것이고,
    상기 패턴은 상기 차량의 소정 위치에 설치되어 상기 차량의 윈드실드에 비친 패턴 그림이 상기 촬영부에 의해 촬영된 것이며,
    상기 다수의 촬영 영상 모두에는 상기 패턴 그림 중 동일한 소정 영역이 포함되는 것인 카메라 영상 보정 장치.
  6. 제5항에 있어서,
    상기 영상 처리부는 상기 촬영 영상을 보정한 후, 상기 다수의 촬영 영상에 포함된 상기 소정 영역의 정보를 이용하여 상기 다수의 상기 촬영 영상 간의 에피폴라 라인을 매칭하는 것인 카메라 영상 보정 장치.
  7. 카메라 영상 보정 장치에 의한 실시간 영상 보정 방법으로서,
    카메라로부터 일정 주기마다 패턴 및 차량의 전방 영역이 촬영된 촬영 영상을 입력받는 단계;
    상기 촬영 영상에서 상기 패턴의 특정 위치를 다수 추출하는 단계;
    상기 다수의 특정 위치 각각의 좌표를 획득하는 단계;
    획득된 상기 다수의 특정 위치 좌표과 상기 다수의 특정 위치에 대응되어 기저장된 설정 좌표들 간의 거리값들의 평균을 구하는 단계; 및
    구해진 상기 거리값들의 상기 평균이 기설정된 값보다 큰 경우, 상기 촬영 영상의 보정 동작을 수행하는 단계;
    를 포함하는 것인 실시간 영상 보정 방법.
  8. 제7항에 있어서,
    상기 패턴은 상기 차량의 대시 보드에 설치되어 상기 차량의 윈드실드에 비친 패턴 그림이 촬영된 것인 실시간 영상 보정 방법.
  9. 제8항에 있어서,
    상기 카메라의 상기 촬영 영상에 포함된 상기 패턴과 다른 카메라에 의해 촬영된 촬영 영상에 포함된 패턴을 이용하여, 상기 두 개의 카메라에 의해 각각 촬영된 상기 촬영 영상 간의 에피폴라 라인을 매칭하는 단계;
    를 더 포함하는 것인 실시간 영상 보정 방법.
KR20130107275A 2013-09-06 2013-09-06 카메라 영상 보정 장치 및 그 동작 방법 KR20150028532A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130107275A KR20150028532A (ko) 2013-09-06 2013-09-06 카메라 영상 보정 장치 및 그 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130107275A KR20150028532A (ko) 2013-09-06 2013-09-06 카메라 영상 보정 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR20150028532A true KR20150028532A (ko) 2015-03-16

Family

ID=53023387

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130107275A KR20150028532A (ko) 2013-09-06 2013-09-06 카메라 영상 보정 장치 및 그 동작 방법

Country Status (1)

Country Link
KR (1) KR20150028532A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3512184A1 (en) 2015-02-27 2019-07-17 Samsung Electronics Co., Ltd. Method for performing function and electronic device supporting the same
US10696240B2 (en) 2015-07-29 2020-06-30 Continental Automotive Gmbh Drive-by calibration from static targets

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3512184A1 (en) 2015-02-27 2019-07-17 Samsung Electronics Co., Ltd. Method for performing function and electronic device supporting the same
US10696240B2 (en) 2015-07-29 2020-06-30 Continental Automotive Gmbh Drive-by calibration from static targets

Similar Documents

Publication Publication Date Title
JP6013884B2 (ja) 物体検出装置及び物体検出方法
JP5068134B2 (ja) 対象領域分割方法及び対象領域分割装置
JP5011049B2 (ja) 画像処理システム
WO2015198930A1 (ja) 測距装置および補正パラメータを用いた測距補正装置
CN106851122A (zh) 基于双摄像头系统的自动曝光参数的标定方法和装置
KR20160013337A (ko) 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법
KR101223206B1 (ko) 3차원 영상 생성 방법 및 시스템
JP2008102620A (ja) 画像処理装置
TW201403553A (zh) 自動校正鳥瞰影像方法
JP2013005234A5 (ko)
JP2007150658A (ja) 車載周辺画像表示装置
JP2012105090A (ja) 駐車支援装置
JP2011170750A (ja) 白線認識装置
CN106851103A (zh) 基于双摄像头系统的自动对焦方法和装置
JP3287465B2 (ja) ステレオ画像処理装置
CN112184827B (zh) 校准多个摄像机的方法及装置
US10546391B2 (en) Apparatus and method for generating around view
EP2463621A1 (en) Distance calculation device for vehicle
KR101697229B1 (ko) 차량용 영상 정합을 위한 차선 정보 기반의 자동보정장치 및 그 방법
KR20150028532A (ko) 카메라 영상 보정 장치 및 그 동작 방법
JP2009212734A (ja) 自動校正単眼ステレオ視装置
CN111260538B (zh) 基于长基线双目鱼眼相机的定位及车载终端
JP6204844B2 (ja) 車両のステレオカメラシステム
KR102477480B1 (ko) 어라운드뷰 카메라의 캘리브레이션 장치 및 그 방법
US10427683B2 (en) Vehicle display device and vehicle display method for displaying images

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid