KR20180068022A - 스테레오 카메라 영상 실시간 자동 캘리브레이션 장치, 그를 포함한 시스템 및 그 방법 - Google Patents

스테레오 카메라 영상 실시간 자동 캘리브레이션 장치, 그를 포함한 시스템 및 그 방법 Download PDF

Info

Publication number
KR20180068022A
KR20180068022A KR1020160169570A KR20160169570A KR20180068022A KR 20180068022 A KR20180068022 A KR 20180068022A KR 1020160169570 A KR1020160169570 A KR 1020160169570A KR 20160169570 A KR20160169570 A KR 20160169570A KR 20180068022 A KR20180068022 A KR 20180068022A
Authority
KR
South Korea
Prior art keywords
correction matrix
fine
image data
reference point
matrix
Prior art date
Application number
KR1020160169570A
Other languages
English (en)
Other versions
KR102371594B1 (ko
Inventor
이동하
이재홍
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020160169570A priority Critical patent/KR102371594B1/ko
Publication of KR20180068022A publication Critical patent/KR20180068022A/ko
Application granted granted Critical
Publication of KR102371594B1 publication Critical patent/KR102371594B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Abstract

본 발명의 실시예에 따른 스테레오 카메라 실시간 자동 캘리브레이션 시스템은 서로 다른 시점을 가지는 복수의 카메라를 구비하는 스테레오 카메라; 및 상기 스테레오 카메라로부터 촬영된 영상 데이터의 영상에 대해 미세 보정량을 탐색하고 상기 미세 보정량에 따른 미세 보정 행렬을 계산하여, 상기 미세 보정 행렬을 이용하여 전체 보정행렬을 계산하여 상기 스테레오 카메라의 영상을 캘리브레이션(calibration)하는 캘리브레이션 장치를 포함할 수 있다.

Description

스테레오 카메라 영상 실시간 자동 캘리브레이션 장치, 그를 포함한 시스템 및 그 방법{Apparatus for automatic calibration of stereo camera image, system having the same and method thereof}
본 발명은 스테레오 카메라 영상 실시간 자동 캘리브레이션 장치, 그를 포함한 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 스테레오 카메라의 실시간 얼라인먼트(alignment) 보정 기술에 관한 것이다.
다양한 센서 및 카메라의 기술 발전과 더불어 이들의 융합을 통한 자율주행 기술이 활발히 연구되고 있다. 그 중 차량의 눈과 같은 역할을 하는 스테레오 카메라는 전방의 장애물의 위치 및 움직임 파악을 위해 매우 중요하다.
그런데, 차량이 주행하는 실 도로 상황은 매우 다양하기 때문에, 주행 시 발생하는 차량의 진동이나 외부 고온 환경에 의한 센서 및 기구내부의 발열로 인하여 스테레오 카메라의 좌우 영상 얼라인먼트(alignment) 관계가 변형되게 된다. 카메라가 이 변형에 능동적으로 대처하지 못하면, 카메라 거리 인지 성능의 급격한 저하를 가져오기 때문에, 자동으로 이 변형을 인지하고 복구하는 기능 적용이 필수적이다.
이러한 변형을 보정하기 위한 스테레오 카메라 자동 캘리브레이션 기술로서 통상적으로 SIFT, KLT 등의 특징점을 이용한 방법이 널리 사용되고 있다. 그러나 이러한 특징점을 이용한 방법은 영상의 모든 점을 분석하여 특징점을 추출하고 이를 일일이 매칭하는 전처리 작업을 수행해줘야 하기 때문에, 많은 처리시간이 필요하고 실시간 구현이 어려운 단점이 있다.
본 발명의 실시예는 실시간으로 정확하고 빠르게 스테레오 카메라 영상 캘리브레이션을 수행할 수 있는 스테레오 카메라 영상 실시간 자동 캘리브레이션 장치, 그를 포함한 시스템 및 그 방법을 제공하고자 한다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시예에 따른 스테레오 카메라 실시간 자동 캘리브레이션 시스템은 서로 다른 시점을 가지는 복수의 카메라를 구비하는 스테레오 카메라; 및 상기 스테레오 카메라로부터 촬영된 영상 데이터의 영상에 대해 미세 보정량을 탐색하고 상기 미세 보정량에 따른 미세 보정 행렬을 계산하여, 상기 미세 보정 행렬을 이용하여 전체 보정행렬을 계산하여 상기 스테레오 카메라의 영상을 캘리브레이션(calibration)하는 캘리브레이션 장치를 포함할 수 있다.
일실시예에서, 상기 캘리브레이션 장치는, 상기 전체 보정행렬을 이용하여 영상 데이터의 와핑을 수행하고, 와핑된 영상 중 좌측 영상 데이터와 우측 영상 데이터의 스테레오 매칭을 수행하고 스테레오 매칭된 영상에서 상기 미세 보정량을 탐색할 수 있다.
일실시예에서, 상기 캘리브레이션 장치는, 전체 보정행렬을 계산하는 보정행렬 계산부; 상기 전체 보정행렬을 이용하여 영상 데이터의 와핑(warping)을 수행하는 영상 와핑부; 상기 와핑된 영상 데이터 중 좌측 영상 데이터와 우측 영상 데이터간의 스테레오 매칭을 수행하는 스테레오 매칭부; 상기 스테레오 매칭된 영상 데이터에서 미세 보정량을 탐색하는 미세 보정량 탐색부; 상기 미세 보정량을 만족하는 미세 보정행렬을 계산하는 미세 보정행렬 계산부; 및 상기 미세 행렬을 매 프레임마다 누적하여 새로운 전체 보정행렬을 계산하는 보정행렬 누적부를 포함할 수 있다.
일실시예에서, 상기 미세 보정량 탐색부는, 상기 영상 데이터 중 수평방향 매칭을 통해 코스트(cost) 최저점 위치를 탐색하고, 상기 수평방향의 최저점 위치에 대응되는, 상기 영상 데이터 중 기준점을 중심으로 수직 방향으로 매칭하여 코스트 최저점 위치를 탐색할 수 있다.
일실시예에서, 상기 미세 보정량 탐색부는, 상기 기준점을 중심으로 수직방향으로 적어도 하나 이상의 기준점을 추가하여, 적어도 하나 이상의 기준점 중 상기 코스트 최저점인 기준점 위치를 탐색 할 수 있다.
일실시예에서, 상기 미세 보정행렬 계산부는, 상기 기준점과 상기 코스트 최저점인 기준점 위치를 이용하여 상기 미세 보정행렬을 계산 할 수 있다.
일실시예에서, 상기 미세 보정행렬 계산부는, SVD(Singular Vector Decomposition), RANSAC(Random sample consensus)을 이용하여 상기 미세 보정행렬을 계산할 수 있다.
일실시예에서, 상기 보정행렬 누적부는, 상기 보정행렬 누적부에 의해 매 프레임마다 누적된 미세 보정행렬을 상기 전체 보정행렬로 수렴 할 수 있다.
일실시예에서, 상기 보정행렬 누적부는, 이전 보정행렬에 현재 미세 보정행렬을 차례로 곱하여 새로운 전체 보정 행렬을 산출할 수 있다.
본 발명의 실시예에 스테레오 카메라 실시간 자동 캘리브레이션 장치는 스테레오 카메라로부터 수신된 영상 데이터에 대해 전체 보정행렬을 계산하는 보정행렬 계산부; 상기 전체 보정행렬을 이용하여 영상 데이터의 와핑(warping)을 수행하는 영상 와핑부; 상기 와핑된 영상 데이터 중 좌측 영상 데이터와 우측 영상 데이터간의 스테레오 매칭을 수행하는 스테레오 매칭부; 상기 스테레오 매칭된 영상 데이터에서 미세 보정량을 탐색하는 미세 보정량 탐색부; 상기 미세 보정량을 만족하는 미세 보정행렬을 계산하는 미세 보정행렬 계산부; 및 상기 미세 행렬을 매 프레임마다 누적하여 새로운 전체 보정행렬을 계산하는 보정행렬 누적부를 포함할 수 있다.
일실시예에서, 상기 미세 보정량 탐색부는, 상기 영상 데이터 중 수평방향 매칭을 통해 코스트(cost) 최저점 위치를 탐색하고, 상기 수평방향의 최저점 위치에 대응되는, 상기 영상 데이터 중 기준점을 중심으로 수직 방향으로 매칭하여 코스트 최저점 위치를 탐색 할 수 있다.
일실시예에서, 상기 미세 보정량 탐색부는, 상기 기준점을 중심으로 수직방향으로 적어도 하나 이상의 기준점을 추가하여, 적어도 하나 이상의 기준점 중 상기 코스트 최저점인 기준점 위치를 탐색 할 수 있다.
일실시예에서, 상기 미세 보정행렬 계산부는, 상기 기준점과 상기 코스트 최저점인 기준점 위치를 이용하여 상기 미세 보정행렬을 계산 할 수 있다.
일실시예에서, 상기 미세 보정행렬 계산부는, SVD(Singular Vector Decomposition), RANSAC(Random sample consensus)을 이용하여 상기 미세 보정행렬을 계산 할 수 있다.
일실시예에서, 상기 보정행렬 누적부는, 상기 보정행렬 누적부에 의해 매 프레임마다 누적된 미세 보정행렬을 상기 전체 보정행렬로 수렴 할 수 있다.
일실시예에서, 상기 보정행렬 누적부는, 이전 보정행렬에 현재 미세 보정행렬을 차례로 곱하여 새로운 전체 보정 행렬을 산출할 수 있다.
본 발명의 실시예에 스테레오 카메라 실시간 자동 캘리브레이션 방법은 스테레오 카메라로부터 수신된 영상 데이터에 대해 전체 보정행렬을 계산하는 단계; 상기 전체 보정행렬을 이용하여 영상 데이터의 와핑(warping)을 수행하는 단계; 상기 와핑된 영상 데이터 중 좌측 영상 데이터와 우측 영상 데이터간의 스테레오 매칭을 수행하는 단계; 상기 스테레오 매칭된 영상 데이터에서 미세 보정량을 탐색하는 단계; 상기 미세 보정량을 만족하는 미세 보정행렬을 계산하는 단계; 상기 미세 행렬을 매 프레임마다 누적하여 새로운 전체 보정행렬을 계산하는 단계;를 포함할 수 있다.
일실시예에서, 상기 미세 보정량을 탐색하는 단계는, 상기 영상 데이터 중 수평방향 매칭을 통해 코스트(cost) 최저점 위치를 탐색하고, 상기 수평방향의 최저점 위치에 대응되는, 상기 영상 데이터 중 기준점을 중심으로 수직 방향으로 매칭하여 코스트 최저점 위치를 탐색 할 수 있다.
일실시예에서, 상기 미세 보정량을 탐색하는 단계는, 상기 기준점을 중심으로 수직방향으로 적어도 하나 이상의 기준점을 추가하여, 적어도 하나 이상의 기준점 중 상기 코스트 최저점인 기준점 위치를 탐색 할 수 있다.
일실시예에서, 상기 미세 보정행렬을 계산하는 단계는, 상기 기준점과 상기 코스트 최저점인 기준점 위치를 이용하여 상기 미세 보정행렬을 계산할 수 있다.
본 기술은 차량 주행 중 스테레오 카메라의 얼라인먼트 틀어짐을 자동으로 인지하여 카메라 스스로 빠르고 정확하게 틀어짐을 복구할 수 있도록 함으로써 스테레오 카메라의 인지 성능을 증대시키고 스테레오 카메라 기반 차량 시스템의 신뢰도를 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 스테레오 카메라 영상 실시간 자동 캘리브레이션 시스템의 구성도이다.
도 2는 본 발명의 실시예에 따른 미세 보정량 탐색 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 스테레오 카메라 영상 실시간 자동 캘리브레이션 방법을 나타내는 순서도이다.
도 4a는 본 발명의 실시예에 따른 스테레오 카메라 영상 실시간 자동 캘리브레이션 방법을 적용하기 전의 영상 예시도이다.
도 4b는 본 발명의 실시예에 따른 스테레오 카메라 영상 실시간 자동 캘리브레이션 방법을 적용한 영상의 예시도이다.
도 5는 본 발명의 실시예에 따른 스테레오 카메라 영상 실시간 자동 캘리브레이션 방법을 적용한 동영상의 예시도이다.
도 6은 본 발명의 실시예에 따른 스테레오 카메라 영상 실시간 자동 캘리브레이션 기술을 적용한 컴퓨터 시스템의 구성도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 도 1 내지 도 6을 참조하여, 본 발명의 실시예들을 구체적으로 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 스테레오 카메라 실시간 자동 캘리브레이션 시스템의 구성도이다.
본 발명의 실시예에 따른 스테레오 카메라 영상 실시간 자동 캘리브레이션 시스템은, 스테레오 카메라(100), 캘리브레이션 장치(200)를 포함한다.
스테레오 카메라(100)는 입체사진을 촬영하기 위한 서로 다른 시점을 가지는 복수개의 카메라로서, 카메라 배치 방식과 주시점 제어 방식에 따라 제어될 수 있다.
캘리브레이션 장치(200)는 스테레오 카메라로부터 촬영된 영상 데이터의 영상에 대해 미세 보정량을 탐색하고 미세 보정량에 따른 미세 보정 행렬을 계산하여, 미세 보정 행렬을 이용한 전체 보정행렬을 계산함으로써 스테레오 카메라의 영상을 캘리브레이션(calibration)한다.
또한, 캘리브레이션 장치(200)는 전체 보정행렬을 이용하여 영상 데이터의 와핑을 수행하고, 와핑된 영상 중 좌측 영상 데이터와 우측 영상 데이터의 스테레오 매칭을 수행하고 스테레오 매칭된 영상에서 미세 보정량을 탐색한다.
이를 위해, 캘리브레이션 장치(200)는 보정행렬 계산부(210), 영상 와핑부(220), 스테레오 매칭부(230), 미세 보정량 탐색부(240), 미세 보정행렬 계산부(250), 보정행렬 누적부(260)를 구비한다.
보정행렬 계산부(210)는 보정행렬 누적부(260)에서 누적된 누적 보정행렬을 이용하여 전체 보정 행렬을 계산한다. 누적된 누적 보정행렬이 존재하지 않는 최초 전체 보정행렬은 3*3 단위 행렬일 수 있다.
영상 와핑부(220)는 보정행렬을 이용하여 영상 와핑(warping)을 수행한다. 이때, 영상 와핑은 특정 규칙에 따라 입력 영상을 리샘플링(resampling)하는 것으로 스테레오 영상 정합등에 사용된다.
영상 와핑부(220)는 아래 수학식 1을 이용하여 영상 와핑을 수행할 수 있다.
Figure pat00001
수학식 1에서 H는 3x3 호모그래피 행렬, X는 3x1 영상좌표, X’는 와핑된 3x1 영상좌표이다.
스테레오 매칭부(230)는 와핑된 영상에 대해 우측 영상데이터와 좌측 영상 데이터간의 스테레오 매칭을 수행한다.
Figure pat00002
d 는 구하고자 하는 양안 시차, L 은 좌영상, R 은 우영상, x,y 는 임의의 픽셀좌표, Similarity 는 두 영상 임의의 블록간의 유사도를 계산하는 함수이다. 유사도를 계산하는 함수에는 통상적으로, SAD(Sum of Absolute Difference), SSD(Sum of Squared Difference) 와 같은 함수 등이 있다.
미세 보정량 탐색부(240)는 스테레오 매칭된 영상의 수직방향으로 미세 보정량을 탐색한다. 즉 미세 보정량 탐색부(240)는 각 픽셀의 보정된 위치를 알 수 있도록 한다. 이때, 미세 보정량 탐색은 수직방향으로 n개의 적은 수의 픽셀에 대해서만 수행될 수 있어 로직의 실시간성을 매우 쉽게 확보할 수 있다.
미세 보정량 탐색을 설명하기 위해 도 2를 참조하면, 좌측영상과 우측영상이 있을 때, L1은 좌측영상의 기준점, L2, L3은 좌측영상의 수직방향 매칭 코스트의 계산을 위한 추가 기준점 위치에 해당하고, R은 우측영상에서 수평방향 매칭 코스트 최저점 위치를 나타낸다.
도 2에서, ①우측영상에서 수평방향으로 스테레오 매칭 및 코스트 최저점(도 2에서 R)을 탐색한 후, ②우측 영상의 수평 최저점에 대해서만 좌측 영상의 수직방향 매칭 코스트 추가 계산 및 비교를 수행한다. 즉, 미세 보정량 탐색부(240)는 우측 영상 데이터 중 수평방향 매칭을 통해 코스트(cost) 최저점 위치를 탐색하고, 수평방향의 최저점 위치(R)에 대응되는, 좌측 영상 데이터 중 기준점(L1)을 중심으로 수직 방향으로 매칭하여 추가 기준점인 L1 및 L2 중 코스트 최저점 위치를 탐색한다.
더욱 구체적으로 설명하면, 좌측영상의 기준점 L1을 중심으로 상하 N개의 기준점을 추가한다. 도 2에서는 상하 2개의 기준점 L2, L3를 추가한 예를 개시하나 2개 이상의 기준점을 추가할 수 있다. 이렇게 추가된 각 기준점들을 대상으로 스테레오 매칭부(230)에 의한 스테레오 매칭 결과 매칭된 점과의 매칭 코스트를 추가 계산하여 제일 낮은 기준점의 위치를 탐색하고 수직방향의 얼라인먼트 보정량(V)를 계산한다. 이때, 영상상의 모든 픽셀에 대해 보정량을 계산하며 기준점의 상하 N개의 픽셀에 대해서만 추가로 적용한다. 이때, 기준점 및 매칭점의 위치가 좌영상에서 우영상, 우영상에서 좌영상으로 변경되더라도 무관하게 동작된다.
즉, 본 발명은 영상 캘리브레이션을 위해 미세 보정량 탐색 시 스테레오 매칭 후 그 결과값을 재사용하여 수직방향으로 한 두 점만 추가 계산하는 방법을 적용함으로써 계산시간이 빠르고 프레임마다 실시간 계산이 가능할 수 있다.
미세 보정행렬 계산부(250)는 좌측 영상의 기준점(L)과 우측영상의 코스트 최저점에 대응하는 코스트 최저인 기준점(L2 또는 L3)를 이용하여 아래 수학식 3과 같이 미세 보정행렬을 계산할 수 있다.
Figure pat00003
X는 보정값 탐색 전의 기준점 위치이고, X'는 미세 보정량 탐색으로 알게 된 변경 기준점 위치 즉 보정값이 적용된 변경된 기준점 위치이며, Hcurr은 구하고 싶은 미세 보정 행렬이다.
미세 보정행렬 계산부(250)는 SVD(Singular Vector Decomposition) 및 RANSAC(Random sample consensus) 등의 통계적인 방법을 이용하여 미세 보정 행렬 Hcurr을 산출할 수 있으며 결국 극단치(outlier)를 제거한 대부분 픽셀의 미세 보정값(v) 를 만족시키는 보정행렬을 구할 수 있다.
보정행렬 누적부(260)는 미세 보정행렬 계산부(250)에서 계산된 미세 보정행렬을 매 프레임마다 누적하여 최종적으로 유효한 전체 보정행렬의 값으로 수렴시킨다. 보정행렬 누적부(260)는 아래 수학식 4와 같이 보정행렬 계산부(210)에서 계산된 보정행렬에 현재의 미세 보정행렬을 차례로 곱하여 새로운 전체 보정 행렬을 산출한다.
Figure pat00004
Figure pat00005
는 현재 미세 보정 행렬이고,
Figure pat00006
는 예전 보정 행렬이며,
Figure pat00007
는 새로운 보정 행렬이다. Hcurr 은 매우 미세한 값이지만, 매 프레임 계속 누적이 되고, Hnew 에서는 카메라 뒤틀림을 보정할 수 있는 유효한 값으로 수렴하게 된다.
따라서 입력된 좌측 영상을 구해진 새로운 보정 행렬 Hnew을 기준으로 와핑(warping) 후, 입력된 우측 영상과 스테레오 매칭을 수행하면, (카메라 뒤틀림과 상관없이) 정확도가 향상된 깊이 영상(depth map) 을 구할 수 가 있다.
이와 같이, 본 발명은 높은 연산량을 필요로 하는 특징점 추출 및 매칭 로직(예, SIFT, KLT 등)을 사용하지 않고 스테레오 매칭 후 수직방향으로 N개의 픽셀에 대해서만 미세 보정량을 탐색함으로써 로직의 실시간성을 증대시키고 영상 캘리브레이션의 정확도 및 속도를 증가시킬 수 있다.
또한 본 발명은 차량 주행 중 스테레오 카메라의 얼라인먼트 틀어짐을 자동으로 인지하여 카메라 스스로 빠르고 정확하게 틀어짐을 복구할 수 있도록 함으로써 스테레오 카메라의 인지 성능을 증대시키고 스테레오 카메라 기반 차량 시스템의 신뢰도를 향상시킬 수 있다.
이하, 도 3을 참조하여 본 발명의 실시예에 따른 스테레오 카메라 영상 실시간 자동 캘리브레이션 방법을 설명하기로 한다.
본 발명의 실시예에 따른 캘리브레이션 장치는 스테레오 카메라(100)로부터 영상 데이터가 입력되면(S101), 보정행렬 계산부(210)에서 전체 보정행렬을 계산한다(S102). 이때 전체 보정행렬은 최초 1회에 단위 행렬로서 산출되고 2회부터는 보정행렬 누적부(260)에 의해 누적되어 산출된 보정행렬을 이용한다.
그 후, 영상 화핑부(220)는 계산된 전체 보정행렬을 이용하여 영상 와핑을 수행하고(S103), 스테레오 매칭부(230)는 와핑된 영상데이터 중 좌측 영상데이터와 우측 영상데이터에 대해 스테레오 매칭을 수행한다(S104).
그 후 미세 보정량 탐색부(240)는 스테레오 매칭된 영상데이터에서 미세 보정량을 탐색하고(S105), 미세 보정행령 계산부(250)는 미세 보정량을 만족하는 미세 보정행렬을 계산한다(S106).
보정행렬 누적부(260)는 미세 보정행렬을 매 프레임마다 누적하여 새로운 전체 보정행렬을 계산한다(S107).
도 4a는 본 발명의 실시예에 따른 스테레오 카메라 영상 실시간 자동 캘리브레이션 방법을 적용하기 전의 영상 예시도이고, 도 4b는 본 발명의 실시예에 따른 스테레오 카메라 영상 실시간 자동 캘리브레이션 방법을 적용한 영상의 예시도이다.
도 4a는 주행 중 카메라 뒤틀림으로 인하여 우측 하단의 얼라인먼트 오류가 발생하고 깊이 영상의 정확도가 급격히 저하된 모습을 보여준다. 이를 본 발명의 미세보정량을 이용한 기술을 적용시키면, 수초 내에 얼라인먼트가 보정되어, 도 4b와 같이 오류가 발생하였던 우측하단의 깊이 영상을 빠르게 복구할 수 있음을 알 수 있다. 따라서 실 도로 주행 중의 다양한 환경에 있어서도, 고성능의 스테레오 카메라 인지 성능을 확보할 수 있게 된다.
도 5는 본 발명의 실시예에 따른 스테레오 카메라 영상 실시간 자동 캘리브레이션 방법을 적용한 동영상의 예시도이다. 도 5와 같이 동영상에서 로직의 실시간 성능이 더욱 확인 가능하다.
이와 같이, 본 발명은 차량 실 주행 중에 발생할 수 있는 전방 스테레오 카메라 모듈의 얼라인먼트 틀어짐을 자동으로 인지하여, 카메라 스스로 이를 매우 빠르고 정확하게 복구할 수 있다. 따라서, 다양한 도로 환경에 있어서도 얼라인먼트 틀어짐 없이 스테레오 카메라의 인지 성능을 높게 유지시킬 수 있으며, 이를 통해 카메라 기반의 안정적인 ADAS(Advanced Driver Assistant System) 및 자율주행의 기능을 구현 가능하다. 이에 본 발명은 자율주행을 위한 전방 스테레오 카메라 모듈, ADAS(Advanced Driver Assistant System) 카메라 모듈, ADAS 통합 제어기 모듈 등에 적용될 수 있다.
도 6은 본 발명의 실시예에 따른 스테레오 카메라 영상 실시간 자동 캘리브레이션 기술을 적용한 컴퓨터 시스템의 구성도이다.
도 6을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다.
예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 스테레오 카메라
200 : 캘리브레이션 장치
210 : 보정행렬 계산부
220 : 영상 와핑부
230 : 스테레오 매칭부
240 : 미세 보정량 탐색부
250 : 미세 보정행렬 계산부
260 : 보정행렬 누적부

Claims (20)

  1. 서로 다른 시점을 가지는 복수의 카메라를 구비하는 스테레오 카메라; 및
    상기 스테레오 카메라로부터 촬영된 영상 데이터의 영상에 대해 미세 보정량을 탐색하고 상기 미세 보정량에 따른 미세 보정 행렬을 계산하여, 상기 미세 보정 행렬을 이용하여 전체 보정행렬을 계산하여 상기 스테레오 카메라의 영상을 캘리브레이션(calibration)하는 캘리브레이션 장치;
    를 포함하는 스테레오 카메라 실시간 자동 캘리브레이션 시스템.
  2. 청구항 1에 있어서,
    상기 캘리브레이션 장치는,
    상기 전체 보정행렬을 이용하여 영상 데이터의 와핑을 수행하고, 와핑된 영상 중 좌측 영상 데이터와 우측 영상 데이터의 스테레오 매칭을 수행하고 스테레오 매칭된 영상에서 상기 미세 보정량을 탐색하는 것을 특징으로 하는 스테레오 카메라 실시간 자동 캘리브레이션 시스템.
  3. 청구항 1에 있어서,
    상기 캘리브레이션 장치는,
    전체 보정행렬을 계산하는 보정행렬 계산부;
    상기 전체 보정행렬을 이용하여 영상 데이터의 와핑(warping)을 수행하는 영상 와핑부;
    상기 와핑된 영상 데이터 중 좌측 영상 데이터와 우측 영상 데이터간의 스테레오 매칭을 수행하는 스테레오 매칭부;
    상기 스테레오 매칭된 영상 데이터에서 미세 보정량을 탐색하는 미세 보정량 탐색부;
    상기 미세 보정량을 만족하는 미세 보정행렬을 계산하는 미세 보정행렬 계산부; 및
    상기 미세 행렬을 매 프레임마다 누적하여 새로운 전체 보정행렬을 계산하는 보정행렬 누적부
    를 포함하는 것을 특징으로 하는 스테레오 카메라 실시간 자동 캘리브레이션 시스템.
  4. 청구항 3에 있어서,
    상기 미세 보정량 탐색부는,
    상기 영상 데이터 중 수평방향 매칭을 통해 코스트(cost) 최저점 위치를 탐색하고, 상기 수평방향의 최저점 위치에 대응되는, 상기 영상 데이터 중 기준점을 중심으로 수직 방향으로 매칭하여 코스트 최저점 위치를 탐색하는 것을 특징으로 하는 스테레오 카메라 실시간 자동 캘리브레이션 시스템.
  5. 청구항 4에 있어서,
    상기 미세 보정량 탐색부는,
    상기 기준점을 중심으로 수직방향으로 적어도 하나 이상의 기준점을 추가하여, 적어도 하나 이상의 기준점 중 상기 코스트 최저점인 기준점 위치를 탐색하는 것을 특징으로 하는 스테레오 카메라 실시간 자동 캘리브레이션 시스템.
  6. 청구항 5에 있어서,
    상기 미세 보정행렬 계산부는,
    상기 기준점과 상기 코스트 최저점인 기준점 위치를 이용하여 상기 미세 보정행렬을 계산하는 것을 특징으로 하는 스테레오 카메라 실시간 자동 캘리브레이션 시스템.
  7. 청구항 6에 있어서,
    상기 미세 보정행렬 계산부는,
    SVD(Singular Vector Decomposition), RANSAC(Random sample consensus)을 이용하여 상기 미세 보정행렬을 계산하는 것을 특징으로 하는 스테레오 카메라 실시간 자동 캘리브레이션 시스템.
  8. 청구항 6에 있어서,
    상기 보정행렬 누적부는,
    상기 보정행렬 누적부에 의해 매 프레임마다 누적된 미세 보정행렬을 상기 전체 보정행렬로 수렴하는 것을 특징으로 하는 스테레오 카메라 실시간 자동 캘리브레이션 시스템.
  9. 청구항 8에 있어서,
    상기 보정행렬 누적부는,
    이전 보정행렬에 현재 미세 보정행렬을 차례로 곱하여 새로운 전체 보정 행렬을 산출하는 것을 특징으로 하는 스테레오 카메라 실시간 자동 캘리브레이션 시스템.
  10. 스테레오 카메라로부터 수신된 영상 데이터에 대해 전체 보정행렬을 계산하는 보정행렬 계산부;
    상기 전체 보정행렬을 이용하여 영상 데이터의 와핑(warping)을 수행하는 영상 와핑부;
    상기 와핑된 영상 데이터 중 좌측 영상 데이터와 우측 영상 데이터간의 스테레오 매칭을 수행하는 스테레오 매칭부;
    상기 스테레오 매칭된 영상 데이터에서 미세 보정량을 탐색하는 미세 보정량 탐색부;
    상기 미세 보정량을 만족하는 미세 보정행렬을 계산하는 미세 보정행렬 계산부; 및
    상기 미세 행렬을 매 프레임마다 누적하여 새로운 전체 보정행렬을 계산하는 보정행렬 누적부
    를 포함하는 것을 특징으로 하는 스테레오 카메라 실시간 자동 캘리브레이션 장치.
  11. 청구항 10에 있어서,
    상기 미세 보정량 탐색부는,
    상기 영상 데이터 중 수평방향 매칭을 통해 코스트(cost) 최저점 위치를 탐색하고, 상기 수평방향의 최저점 위치에 대응되는, 상기 영상 데이터 중 기준점을 중심으로 수직 방향으로 매칭하여 코스트 최저점 위치를 탐색하는 것을 특징으로 하는 스테레오 카메라 실시간 자동 캘리브레이션 장치.
  12. 청구항 11에 있어서,
    상기 미세 보정량 탐색부는,
    상기 기준점을 중심으로 수직방향으로 적어도 하나 이상의 기준점을 추가하여, 적어도 하나 이상의 기준점 중 상기 코스트 최저점인 기준점 위치를 탐색하는 것을 특징으로 하는 스테레오 카메라 실시간 자동 캘리브레이션 장치.
  13. 청구항 12에 있어서,
    상기 미세 보정행렬 계산부는,
    상기 기준점과 상기 코스트 최저점인 기준점 위치를 이용하여 상기 미세 보정행렬을 계산하는 것을 특징으로 하는 스테레오 카메라 실시간 자동 캘리브레이션 장치.
  14. 청구항 13에 있어서,
    상기 미세 보정행렬 계산부는,
    SVD(Singular Vector Decomposition), RANSAC(Random sample consensus)을 이용하여 상기 미세 보정행렬을 계산하는 것을 특징으로 하는 스테레오 카메라 실시간 자동 캘리브레이션 장치.
  15. 청구항 13에 있어서,
    상기 보정행렬 누적부는,
    상기 보정행렬 누적부에 의해 매 프레임마다 누적된 미세 보정행렬을 상기 전체 보정행렬로 수렴하는 것을 특징으로 하는 스테레오 카메라 실시간 자동 캘리브레이션 장치.
  16. 청구항 15에 있어서,
    상기 보정행렬 누적부는,
    이전 보정행렬에 현재 미세 보정행렬을 차례로 곱하여 새로운 전체 보정 행렬을 산출하는 것을 특징으로 하는 스테레오 카메라 실시간 자동 캘리브레이션 장치.
  17. 스테레오 카메라로부터 수신된 영상 데이터에 대해 전체 보정행렬을 계산하는 단계;
    상기 전체 보정행렬을 이용하여 영상 데이터의 와핑(warping)을 수행하는 단계;
    상기 와핑된 영상 데이터 중 좌측 영상 데이터와 우측 영상 데이터간의 스테레오 매칭을 수행하는 단계;
    상기 스테레오 매칭된 영상 데이터에서 미세 보정량을 탐색하는 단계:
    상기 미세 보정량을 만족하는 미세 보정행렬을 계산하는 단계;
    상기 미세 행렬을 매 프레임마다 누적하여 새로운 전체 보정행렬을 계산하는 단계;
    를 포함하는 것을 특징으로 하는 스테레오 카메라 실시간 자동 캘리브레이션 방법.
    캘리브레이션 장치.
  18. 청구항 17에 있어서,
    상기 미세 보정량을 탐색하는 단계는,
    상기 영상 데이터 중 수평방향 매칭을 통해 코스트(cost) 최저점 위치를 탐색하고, 상기 수평방향의 최저점 위치에 대응되는, 상기 영상 데이터 중 기준점을 중심으로 수직 방향으로 매칭하여 코스트 최저점 위치를 탐색하는 것을 특징으로 하는 스테레오 카메라 실시간 자동 캘리브레이션 방법.
  19. 청구항 18에 있어서,
    상기 미세 보정량을 탐색하는 단계는,
    상기 기준점을 중심으로 수직방향으로 적어도 하나 이상의 기준점을 추가하여, 적어도 하나 이상의 기준점 중 상기 코스트 최저점인 기준점 위치를 탐색하는 것을 특징으로 하는 스테레오 카메라 실시간 자동 캘리브레이션 방법.
  20. 청구항 19에 있어서,
    상기 미세 보정행렬을 계산하는 단계는,
    상기 기준점과 상기 코스트 최저점인 기준점 위치를 이용하여 상기 미세 보정행렬을 계산하는 것을 특징으로 하는 스테레오 카메라 실시간 자동 캘리브레이션 방법.
KR1020160169570A 2016-12-13 2016-12-13 스테레오 카메라 영상 실시간 자동 캘리브레이션 장치, 그를 포함한 시스템 및 그 방법 KR102371594B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160169570A KR102371594B1 (ko) 2016-12-13 2016-12-13 스테레오 카메라 영상 실시간 자동 캘리브레이션 장치, 그를 포함한 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160169570A KR102371594B1 (ko) 2016-12-13 2016-12-13 스테레오 카메라 영상 실시간 자동 캘리브레이션 장치, 그를 포함한 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20180068022A true KR20180068022A (ko) 2018-06-21
KR102371594B1 KR102371594B1 (ko) 2022-03-07

Family

ID=62806718

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160169570A KR102371594B1 (ko) 2016-12-13 2016-12-13 스테레오 카메라 영상 실시간 자동 캘리브레이션 장치, 그를 포함한 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102371594B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111681286A (zh) * 2020-06-09 2020-09-18 商汤集团有限公司 一种标定方法、装置、系统、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010531490A (ja) * 2007-06-20 2010-09-24 トムソン ライセンシング 画像のステレオ・マッチングのためのシステム及び方法
WO2015099169A1 (ja) * 2013-12-27 2015-07-02 物産フードサイエンス株式会社 フルクトースが付加された糖質の製造方法
JP2016008847A (ja) * 2014-06-23 2016-01-18 株式会社日本自動車部品総合研究所 測距補正装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010531490A (ja) * 2007-06-20 2010-09-24 トムソン ライセンシング 画像のステレオ・マッチングのためのシステム及び方法
WO2015099169A1 (ja) * 2013-12-27 2015-07-02 物産フードサイエンス株式会社 フルクトースが付加された糖質の製造方法
JP2016008847A (ja) * 2014-06-23 2016-01-18 株式会社日本自動車部品総合研究所 測距補正装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111681286A (zh) * 2020-06-09 2020-09-18 商汤集团有限公司 一种标定方法、装置、系统、电子设备及存储介质
CN111681286B (zh) * 2020-06-09 2023-11-28 商汤集团有限公司 一种标定方法、装置、系统、电子设备及存储介质

Also Published As

Publication number Publication date
KR102371594B1 (ko) 2022-03-07

Similar Documents

Publication Publication Date Title
JP6844043B2 (ja) 視覚測位方法、装置、電子機器およびシステム
US11164323B2 (en) Method for obtaining image tracking points and device and storage medium thereof
US9092875B2 (en) Motion estimation apparatus, depth estimation apparatus, and motion estimation method
US10079975B2 (en) Image distortion correction of a camera with a rolling shutter
US8755630B2 (en) Object pose recognition apparatus and object pose recognition method using the same
US9270891B2 (en) Estimation of panoramic camera orientation relative to a vehicle coordinate frame
TWI575928B (zh) 在立體影像中用以消除雜訊的裝置及方法
US10659762B2 (en) Stereo camera
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
US20170316612A1 (en) Authoring device and authoring method
US9619886B2 (en) Image processing apparatus, imaging apparatus, image processing method and program
JP6061770B2 (ja) カメラ姿勢推定装置及びそのプログラム
US11880993B2 (en) Image processing device, driving assistance system, image processing method, and program
WO2017033422A1 (ja) 画像処理装置および画像処理方法
CN110796201A (zh) 一种标注框的修正方法、电子设备及存储介质
CN112233189A (zh) 多深度相机外部参数标定方法、装置及存储介质
JP6395429B2 (ja) 画像処理装置、その制御方法及び記憶媒体
KR20150097251A (ko) 다중 영상간 대응점을 이용한 카메라 정렬 방법
JP6282133B2 (ja) 撮像装置、その制御方法、および制御プログラム
KR20180068022A (ko) 스테레오 카메라 영상 실시간 자동 캘리브레이션 장치, 그를 포함한 시스템 및 그 방법
JP2014138331A (ja) 撮影装置及びプログラム
KR20160098020A (ko) 스테레오 영상들의 보정 방법, 및 그 방법을 수행하는 장치
JP6747176B2 (ja) 画像処理装置、撮影装置、プログラム、機器制御システム及び機器
JP6602089B2 (ja) 画像処理装置及びその制御方法
CN114037977A (zh) 道路灭点的检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant