KR101739394B1 - 이종 화각의 스테레오 카메라를 이용한 객체 거리 추정 장치 및 그 방법 - Google Patents

이종 화각의 스테레오 카메라를 이용한 객체 거리 추정 장치 및 그 방법 Download PDF

Info

Publication number
KR101739394B1
KR101739394B1 KR1020160183429A KR20160183429A KR101739394B1 KR 101739394 B1 KR101739394 B1 KR 101739394B1 KR 1020160183429 A KR1020160183429 A KR 1020160183429A KR 20160183429 A KR20160183429 A KR 20160183429A KR 101739394 B1 KR101739394 B1 KR 101739394B1
Authority
KR
South Korea
Prior art keywords
view
angle
parallax
image
parallax map
Prior art date
Application number
KR1020160183429A
Other languages
English (en)
Inventor
권순
정우영
김영덕
박재형
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020160183429A priority Critical patent/KR101739394B1/ko
Application granted granted Critical
Publication of KR101739394B1 publication Critical patent/KR101739394B1/ko

Links

Images

Classifications

    • H04N13/0271—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H04N13/0253—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 이종 화각의 스테레오 카메라를 이용한 객체 거리 추정 장치 및 그 방법에 관한 것이다. 본 발명에 따르면, 객체 거리 추정 방법은 차량의 전면 또는 후면에 부착된 이종 화각의 스테레오 카메라로부터 제1 화각의 촬영 영상 및 상기 제1 화각보다 큰 제2 화각의 촬영 영상을 수신하는 단계, 상기 제1 화각의 촬영 영상과 상기 제2 화각의 촬영 영상을 스테레오 정합하여 상기 제1 화각의 촬영 영상에 대한 시차맵을 생성하는 단계, 상기 제1 화각의 촬영 영상에 대한 시차맵을 이용하여 상기 제2 화각의 촬영 영상과 동일한 영상 크기의 V-시차맵을 생성하는 단계, 상기 제2 화각의 촬영 영상과 동일한 영상 크기의 V-시차맵을 이용하여 도로 표면의 시차 정보를 추출하는 단계, 상기 도로 표면의 시차 정보를 이용하여 상기 제2 화각의 영상 중 소실선 이하의 영역에 대한 시차맵을 추정하는 단계, 그리고 상기 추정된 소실선 이하의 시차맵과 상기 제1 화각의 촬영 영상에 대한 시차맵을 이용하여 영상 내 객체와의 거리를 산출하는 단계를 포함한다. 이와 같이 본 발명에 따르면, 서로 다른 화각 범위를 가지는 렌즈로 구성되는 스테레오 카메라의 촬영 영상을 이용하므로 원거리에서의 객체 거리추정 정확도가 향상될 뿐만 아니라 영상 내 포함되는 정보량이 많아진다. 이에 따라 종래보다 많은 정보량을 포함함과 동시에 정확도가 높은 객체 검출 정보를 제공할 수 있다.

Description

이종 화각의 스테레오 카메라를 이용한 객체 거리 추정 장치 및 그 방법{APPARATUS FOR ESTIMATING DISTANCE TO OBJECT USING STEREO CAMERA WITH HETEROGENEOUS ANGLE OF VIEW AND METHOD THEREOF}
본 발명은 이종 화각의 스테레오 카메라를 이용한 객체 거리 추정 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 서로 다른 화각의 객체 촬영 영상을 통해 정보량과 객체 검출 정확도를 향상시키는 위한 이종 화각의 스테레오 카메라를 이용한 객체 거리 추정 장치 및 그 방법에 관한 것이다.
스테레오 비전 시스템은 두 개 이상의 카메라로부터 획득된 영상으로부터 스테레오 정합과정을 거쳐 시차맵(depth map) 영상을 추출해 낸다. 여기서, 좌우 카메라는 효율적인 스테레오 정합을 위해 광축이 평행하고 베이스라인 축에 배치되도록 설치되며, 이때, 카메라 센서 및 렌즈의 특성은 동일한 것이 일반적이다.
스테레오 정합과정을 위해서는 먼저 카메라 캘리브레이션 과정을 거쳐 좌우 각각의 내부매개변수(Intrinsic parameter)를 추출한 뒤 외부매개변수(Extrinsic parameter)까지 포함된 스테레오 렉티피케이션(rectification) 과정 거침으로써, 스테레오 영상의 에피폴라선 일치화 작업을 수행한다. 이렇게 렉티피케이션 과정을 거친(rectified) 스테레오 영상은 스테레오 정합과정에서 화소 단위의 일치점 탐색과정을 2차원탐색이 아닌 1차원탐색으로 범위를 줄여줌으로써 연산시간을 개선할 수 있도록 한다.
이와 같은 스테레오 카메라를 이용한 거리측정에 있어, 객체를 판별할 수 있는 유효 거리의 범위를 설정하기 위해서는 거리분해능이 중요한 요소로 꼽힌다. 거리분해능은 시차값이 클수록 높게 나타나며, 시차값은 렌즈의 초점 거리나 렌즈간 베이스라인 간격이 클수록 높게 나타난다.
하지만, 센서의 초점거리를 크게할 경우 화각은 반대로 좁아지게 되어 근거리의 객체가 획득이 되지 않을 수 있는 단점이 있다. 비슷한 원리로, 베이스라인이 커질 경우 거리분해능은 좋아지지만 좌우 카메라 간 공통 화각 영역이 축소될 뿐만 아니라 스테레오 카메라 구성에 있어서 공간을 많이 차지하게 되는 단점이 있다.
따라서, 광각 카메라로만 구성된 스테레오 카메라는 최대 측정 가능한 유효거리가 짧아지는 반면 근거리 인접영역(컷인차량, 횡단보행자)에 대한 영상정보를 제공할 수 있다. 반면, 협각 카메라로만 구성된 스테레오 카메라는 광각 카메라로만 구성된 경우에 반대의 특성을 가지게 된다.
그러므로, 근거리 및 원거리의 화각 영역을 충분히 확보함과 동시에 객체의 거리정보 추정성능을 높이기 위한 스테레오 비전 시스템이 요구된다.
본 발명의 배경이 되는 기술은 한국등록특허 제10-1075084호(2011.10.19.공고)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는 서로 다른 화각의 객체 촬영 영상을 통해 정보량과 객체 검출 정확도를 향상시키는 위한 이종 화각의 스테레오 카메라를 이용한 객체 거리 추정 장치 및 그 방법을 제공하기 위한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따르면 객체 거리 추정 장치를 이용한 객체 거리 추정 방법에 있어서, 객체 거리 추정 방법은 차량의 전면 또는 후면에 부착된 이종 화각의 스테레오 카메라로부터 제1 화각의 촬영 영상 및 상기 제1 화각보다 큰 제2 화각의 촬영 영상을 수신하는 단계, 상기 제1 화각의 촬영 영상과 상기 제2 화각의 촬영 영상을 스테레오 정합하여 상기 제1 화각의 촬영 영상에 대한 시차맵을 생성하는 단계, 상기 제1 화각의 촬영 영상에 대한 시차맵을 이용하여 상기 제2 화각의 촬영 영상과 동일한 영상 크기의 V-시차맵을 생성하는 단계, 상기 제2 화각의 촬영 영상과 동일한 영상 크기의 V-시차맵을 이용하여 도로 표면의 시차 정보를 추출하는 단계, 상기 도로 표면의 시차 정보를 이용하여 상기 제2 화각의 영상 중 소실선 이하의 영역에 대한 시차맵을 추정하는 단계, 그리고 상기 추정된 소실선 이하의 시차맵과 상기 제1 화각의 촬영 영상에 대한 시차맵을 이용하여 영상 내 객체와의 거리를 산출하는 단계를 포함한다.
상기 제1 화각의 촬영 영상에 대한 V-시차맵을 생성하는 단계는, 상기 제2 화각의 영상과 동일한 크기의 시차맵 공간에 상기 제1 화각의 촬영 영상에 대한 시차맵을 오버랩하는 단계, 그리고 상기 제1 화각의 촬영 영상에 대한 시차맵이 오버랩된 시차맵 공간의 수직선(vertical line)을 따라 시차값을 누적하여 V-시차맵을 생성하는 단계를 포함할 수 있다.
상기 도로 표면의 시차 정보를 추출하는 단계는, 상기 제2 화각 영상과 동일한 크기의 V-시차맵의 각 행 별로 최대값을 가지는 픽셀들을 추출하는 단계, 그리고 상기 각 행 별로 최대값을 가지는 픽셀들을 선분 분석하여 도로 표면의 시차 정보를 추출하는 단계를 포함할 수 있다.
상기 도로 표면의 시차 정보를 추출하는 단계는, 허프 변환, 선분 보간법 및 비스플라인(B-spline) 기법 중 어느 하나를 이용하여 상기 각 행 별로 최대값을 가지는 픽셀들을 선분 분석할 수 있다.
상기 소실선 이하의 시차맵을 추정하는 단계는, 상기 도로 표면의 시차 정보를 모델링하여 상기 도로 표면의 시차 정보에 대한 함수 정보를 산출하는 단계, 상기 산출된 함수 정보에 대한 변위 범위를 확장하여 상기 제2 화각의 영상 중 소실선 이하 영역에 대한 V-시차맵을 생성하는 단계, 그리고 상기 소실선 이하의 V-시차맵을 이용하여 상기 제2 화각의 영상 중 소실선 이하 영역의 시차맵을 추정하는 단계를 포함할 수 있다.
본 발명의 다른 실시예에 따른 객체 거리 추정 장치는 차량의 전면 또는 후면에 부착된 이종 화각의 스테레오 카메라로부터 제1 화각의 촬영 영상 및 상기 제1 화각보다 큰 제2 화각의 촬영 영상을 수신하는 수신부, 상기 제1 화각의 촬영 영상과 상기 제2 화각의 촬영 영상을 스테레오 정합하여 상기 제1 화각의 촬영 영상에 대한 시차맵을 생성하고, 상기 제1 화각의 촬영 영상에 대한 시차맵을 이용하여 상기 제2 화각의 촬영 영상과 동일한 영상 크기의 V-시차맵을 생성하는 시차맵 생성부, 상기 제2 화각의 촬영 영상과 동일한 영상 크기의 V-시차맵을 이용하여 도로 표면의 시차 정보를 추출하는 추출부, 상기 도로 표면의 시차 정보를 이용하여 상기 제2 화각의 영상 중 소실선 이하의 영역에 대한 시차맵을 추정하는 시차맵 추정부, 그리고 상기 추정된 소실선 이하의 시차맵과 상기 제1 화각의 촬영 영상에 대한 시차맵을 이용하여 영상 내 객체와의 거리를 산출하는 산출부를 포함한다.
이와 같이 본 발명에 따르면, 서로 다른 화각 범위를 가지는 렌즈로 구성되는 스테레오 카메라의 촬영 영상을 이용하므로 원거리에서의 객체 거리추정 정확도가 향상될 뿐만 아니라 영상 내 포함되는 정보량이 많아진다. 이에 따라 종래보다 많은 정보량을 포함함과 동시에 정확도가 높은 객체 검출 정보를 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 객체 거리 추정 장치를 이용한 객체 거리 추정 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 스테레오 카메라를 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 객체 거리 추정 장치의 구성도이다.
도 4는 본 발명의 실시예에 따른 객체 거리 추정 방법의 순서도이다.
도 5는 도 4의 S420단계를 상세하게 설명하기 위한 도면이다.
도 6은 도 4의 S430 단계를 상세하게 나타낸 순서도이다.
도 7은 도 4의 S430 단계를 상세하게 설명하기 위한 도면이다.
도 8은 도 4의 S440 단계를 상세하게 나타낸 순서도이다.
도 9는 도 4의 S450 단계를 상세하게 나타낸 순서도이다.
도 10은 도 9를 상세하게 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
우선, 도 1 및 도 2를 통해 본 발명의 실시예에 따른 객체 거리 추정 장치를 이용한 객체 거리 추정 시스템에 대해 살펴보도록 한다.
도 1은 본 발명의 실시예에 따른 객체 거리 추정 장치를 이용한 객체 거리 추정 시스템을 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 객체 거리 추정 장치(100)를 이용한 객체 거리 추정 시스템은 차량(10)에 설치되어 객체와 차량(10)간의 거리를 추정하는데 이용된다.
구체적으로, 차량(10)의 전면 및 후면 중 적어도 어느 하나에 부착된 스테레오 카메라(20)가 차량(10)의 주변을 촬영하면, 본 발명의 실시예에 따른 객체 거리 추정 장치(100)는 스테레오 카메라(20)로부터 수신한 두 개의 촬영 영상을 이용하여 차량(10)과 객체 사이의 거리를 추정하여 사용자에게 제공한다.
이때, 본 발명의 실시예에 따른 스테레오 카메라(20)는 도 1에 도시된 바와 같이, 좌측 렌즈부(21) 및 우측 렌즈부(22), 두 개의 렌즈부를 포함하며, 좌측 렌즈부(21)와 우측 렌즈부(22)는 서로 화각(angle of view)의 범위가 다르게 구성된다.
예를 들어, 본 발명의 실시예에 따른 스테레오 카메라(20)는 좌측 렌즈부(21)를 광각 렌즈로 우측 렌즈부(22)를 협각 렌즈로 구성할 수 있다.
도 2는 본 발명의 실시예에 따른 스테레오 카메라를 설명하기 위한 도면이다.
도 2의 (a)는 좌측 렌즈부(21)가 광각 렌즈로 구성되고 우측 렌즈부(22)가 협각 렌즈로 구성된 경우의 화각을 나타낸다. 그리고, 도 2의 (b)와 (c)는 (a)의 렌즈 구성에 따라 촬영된 광각 영상 및 협각 영상을 나타낸다.
도 2의 경우, 스테레오 카메라(20)의 좌측 렌즈부(21)는 도 2의 (b)에서와 같이, 차량 전방에 위치한 주행 차선의 객체들뿐만 아니라 주변의 나무나 건물과 같은 객체 정보도 동시에 촬영할 수 있다. 반면, 스테레오 카메라(20)의 우측 렌즈부(22)는 도 2의 (c)에서와 같이, 차량 전방에 위치한 주행 차선의 객체 이외의 주변 객체 정보를 광각 렌즈에 비해 적게 촬영하게 된다.
그리고, 도 2에서 나타난 바와 같이, 스테레오 카메라(20)의 좌측 렌즈부(21)로 촬영된 영상은 전방 객체의 구별을 위한 해상도가 낮은 반면, 스테레오 카메라(20)의 우측 렌즈부(22)로 촬영된 영상의 경우 전방 객체의 구별을 위한 해상도가 높다.
즉, 렌즈부(21,22)의 화각이 작을수록 거리 분해능(range resolution)이 높아지는 반면 촬영 영상에 포함되는 정보량, 즉, 촬영폭은 좁아진다. 반대로, 렌즈부(21,22)의 화각이 클수록 거리 분해능은 낮아지지만 촬영 영상의 촬영 폭은 넓어져 포함할 수 있는 정보량이 많아진다.
다음으로, 도 3을 통해 본 발명의 실시예에 따른 객체 거리 추정 장치의 구성에 대해 살펴보도록 한다. 도 3은 본 발명의 실시예에 따른 객체 거리 추정 장치의 구성도이다.
도 3에 도시된 바와 같이, 본 발명의 실시예에 따른 객체 거리 추정 장치(100)는 수신부(110), 시차맵 생성부(120), 추출부(130), 시차맵 추정부(140) 및 산출부(150)를 포함한다.
먼저, 수신부(110)는 차량(10)의 전면 또는 후면에 부착된 이종 화각의 스테레오 카메라(20)로부터 제1 화각의 촬영 영상 및 제1 화각보다 큰 제2 화각의 촬영 영상을 수신한다. 이때, 수신부(110)는 유선 또는 무선 네트워크 통신을 이용하여 스테레오 카메라(20)로부터 제1 화각의 촬영 영상 및 제2 화각의 촬영 영상을 수신할 수 있다.
시차맵 생성부(120)는 제1 화각의 촬영 영상과 제2 화각의 촬영 영상을 스테레오 정합하여 제1 화각의 촬영 영상에 대한 시차맵(depth map)을 생성하고, 제1 화각의 촬영 영상에 대한 시차맵을 이용하여 제2 화각의 촬영 영상과 동일한 영상 크기의 V-시차맵(V-disparity map)을 생성한다.
구체적으로, 시차맵 생성부(120)는 제2 화각의 영상과 동일한 크기의 시차맵 공간에 제1 화각의 촬영 영상에 대한 시차맵을 오버랩(overlap)하고, 제1 화각의 촬영 영상에 대한 시차맵이 오버랩된 시차맵 공간의 수직선(vertical line)을 따라 시차값을 누적하여 V-시차맵을 생성한다.
추출부(130)는 제2 화각의 촬영 영상과 동일한 영상 크기의 V-시차맵을 이용하여 도로 표면의 시차 정보를 추출한다.
구체적으로, 추출부(130)는 제2 화각 영상과 동일한 크기의 V-시차맵의 각 행 별로 최대값을 가지는 픽셀들을 추출한다. 그리고, 추출부(130)는 각 행 별로 최대값을 가지는 픽셀들을 추출하며, 각 행 별로 최대값을 가지는 픽셀들을 선분 분석하여 도로 표면의 시차 정보를 추출한다.
이때, 추출부(130)는 허프 변환, 선분 보간법 및 비스플라인(B-spline) 기법 중 어느 하나를 이용하여 각 행 별로 최대값을 가지는 픽셀들을 선분 분석하며, 상기 기법들은 당업자라면 용이하게 실시할 수 있는 기술이므로 각 기법들에 대한 상세한 설명은 생략한다.
시차맵 추정부(140)는 도로 표면의 시차 정보를 이용하여 제2 화각의 영상 중 소실선 이하의 영역에 대한 시차맵을 추정한다.
구체적으로, 시차맵 추정부(140)는 도로 표면의 시차 정보를 모델링하여 도로 표면의 시차 정보에 대한 함수 정보를 산출하고, 산출된 함수 정보에 대한 변위 범위를 확장하여 제2 화각의 영상 중 소실선 이하의 영역에 대한 V-시차맵을 생성한다. 그리고, 시차맵 추정부(140)는 소실선 이하의 V-시차맵을 이용하여 제2 화각의 영상 중 소실선 이하 영역의 시차맵을 추정한다.
산출부(150)는 추정된 소실선 이하의 시차맵과 제1 화각의 촬영 영상에 대한 시차맵을 이용하여 영상 내 객체와의 거리를 산출한다.
이하에서는 도 4 내지 도 10을 통해 본 발명의 실시예에 따른 객체 거리 추정 장치를 이용한 객체 거리 추정 방법에 대해 살펴보도록 한다.
도 4는 본 발명의 실시예에 따른 객체 거리 추정 방법의 순서도이다.
도 4에 도시된 바와 같이, 우선, 수신부(110)는 차량(10)의 전면 또는 후면에 부착된 이종 화각의 스테레오 카메라(20)로부터 제1 화각의 촬영 영상 및 제1 화각보다 큰 제2 화각의 촬영 영상을 수신한다(S410).
그러면, 시차맵 생성부(120)는 제1 화각의 촬영 영상과 제2 화각의 촬영 영상을 스테레오 정합을 수행하여 제1 화각의 촬영 영상에 대한 시차맵을 생성한다(S420).
여기서, 두 개의 촬영 영상은 서로 영상의 화각이 다르므로, 시차맵 생성부(120)는 제1 화각의 촬영 영상에 대한 시차맵을 생성하기 위한 스테레오 정합시 제2 화각의 촬영 영상에 대한 화각 보정 단계, 해상도 및 컬러 보정 단계와 같은 영상 보정 단계의 프로세스를 수행한다.
도 5는 도 4의 S420단계를 상세하게 설명하기 위한 도면으로서, 도 5를 통해 S420 단계를 상세하게 살펴본다. 도 5에 도시된 바와 같이, 제1 화각의 촬영 영상을 협각의 우영상, 제2 화각의 촬영 영상을 광각의 좌영상이라고 가정한다.
우선, 시차맵 생성부(120)는 광각의 좌영상으로부터 협각의 우영상과 동일한 화각 크기의 크롭된 영상(Cropped Image)을 생성한다.
구체적으로, 시차맵 생성부(120)는 우영상의 화각 크기를 측정하고, 좌영상의 영상 중심을 검출한다. 그리고, 시차맵 생성부(120)는 도 5에서와 같이 검출된 좌영상의 영상 중심과 협각 크기의 윈도우 중심을 매칭한 후, 좌영상으로부터 협각 크기의 윈도우에 대응하는 영역을 크롭(Crop)하여 스테레오 정합 수행을 위한 크롭 영상을 생성한다.
이때, 이종 화각의 스테레오 카메라(20) 특성상, 크롭 영상은 제1 화각의 촬영 영상과 해상도 및 컬러가 다를 수 있다. 그러므로, 시차맵 생성부(120)는 크롭 영상에 대해 제1 화각의 촬영 영상과 해상도 및 컬러 특성이 동일하도록 보정을 수행한다.
그러면, 시차맵 생성부(120)는 크롭 영상과 제1 화각의 촬영 영상을 스테레오 정합하여 시차맵을 생성한다.
스테레오 정합을 통한 시차맵 생성 과정이나 구체적인 해상도 및 컬러 특성 보정 과정은 당업자에게 용이한 사항이므로 자세한 설명은 생략한다.
S420 단계에서 제1 화각의 촬영 영상에 대한 시차맵을 생성한 후, 시차맵 생성부(120)는 제1 화각의 촬영 영상에 대한 시차맵을 이용하여 제2 화각의 촬영 영상과 동일한 영상 크기의 V-시차맵을 생성한다(S430).
도 6은 도 4의 S430 단계를 상세하게 나타낸 순서도이고, 도 7은 도 4의 S430 단계를 상세하게 설명하기 위한 도면이다.
도 6에 도시된 바와 같이, 시차맵 생성부(120)는 제2 화각의 영상과 동일한 크기의 시차맵 공간에 제1 화각의 촬영 영상에 대한 시차맵을 오버랩한다(S432).
이 후, 시차맵 생성부(120)는 제1 화각의 촬영 영상에 대한 시차맵이 오버랩된 시차맵 공간의 수직선(vertical line)을 따라 시차값을 누적하여 V-시차맵을 생성한다(S434).
예를 들어, 도 7에 나타난 바와 같이, 시차맵 생성부(120)는 도 7의 (a)의 화각이 상대적으로 큰 좌영상과 동일한 영상 크기의 시차맵 공간을 생성한다.
그리고, 도 7의 (c)에서와 같이, 시차맵 생성부(120)는 생성된 시차맵 공간 중 s420 단계에서 크롭 영상이 위치한 부분, 즉 도 7의 (b)에 대응하는 도 7의 (a)의 사각 영역과 동일한 위치에 우영상에 대한 시차맵을 오버랩한다.
그러면, 확장 영역 (1) 내지 (4)에는 시차값이 할당되지 않고 크롭 영상이 위치한 부분에 대응하는 공간에만 시차값이 할당된다.
이 후, 시차맵 생성부(120)는 우영상에 대한 시차맵이 오버랩된 시차맵 공간의 수직선을 따라 시차값을 누적하여 도 7의 (d)와 같은 V-시차맵을 생성한다. 이때, 확장 영역 (1) 내지 (4)에는 시차값이 할당되어 있지 않으므로, V-시차맵 역시 일부 영역에는 시차값이 누적되지 않은 공간이 형성된다.
다음으로, 추출부(130)는 제2 화각의 촬영 영상과 동일한 영상 크기의 V-시차맵을 이용하여 도로 표면의 시차 정보를 추출한다(S440).
도 8은 도 4의 S440 단계를 상세하게 나타낸 순서도이다.
도 8에 도시된 바와 같이, 우선, 추출부(130)는 제2 화각 영상과 동일한 크기의 V-시차맵의 각 행 별로 최대값을 가지는 픽셀들을 추출한다(S442). 이때, 추출부(130)는 이진화를 통해 열에 따른 이진영상과 행에 따른 이진영상을 각각 생성하는 방식으로 픽셀들을 추출할 수 있다.
그러면, 추출부(130)는 각 행 별로 최대값을 가지는 픽셀들을 선분 분석하여 도로 표면의 시차 정보를 추출한다(S444). 이때, 추출부(130)는 허프 변환, 선분 보간법 및 비스플라인(B-spline) 기법 중 어느 하나를 이용하여 각 행 별로 최대값을 가지는 픽셀들을 선분 분석할 수 있다.
그러면, 시차맵 추정부(140)는 도로 표면의 시차 정보를 이용하여 제2 화각의 영상 중 소실선 이하의 영역에 대한 시차맵을 추정한다(S450).
도 9는 도 4의 S450 단계를 상세하게 나타낸 순서도이고, 도 10은 도 9를 상세하게 설명하기 위한 도면이다.
도 9에 도시된 바와 같이, 우선, 시차맵 추정부(140)는 도로 표면의 시차 정보를 모델링하여 도로 표면의 시차 정보에 대한 함수 정보를 산출한다(S452). 이때, 도 10의 (a) 및 (b)에서와 같이 시차값이나 시차 누적값이 할당되지 않는 공간이 있으므로, 도로 표면의 시차 정보에 대한 함수 정보는 시차값이나 시차 누적값이 할당된 변위 범위에서만 존재한다.
그리고, 시차맵 추정부(140)는 산출된 함수 정보에 대한 변위 범위를 확장하여 제2 화각의 영상 중 소실선 이하의 영역에 대한 V-시차맵을 생성한다(S454). 즉, 도 10의 (c)에서와 같이 변위 범위를 확장하여 도 10의 (d)에서와 같이 도로 표면의 시차 정보가 없는 소실선 이하 영역에 대한 V-시차맵을 생성한다.
그러면, 시차맵 추정부(140)는 소실선 이하의 V-시차맵을 이용하여 제2 화각의 영상 중 공통 영역을 제외한 영역에서 소실선 이하의 시차맵을 추정한다(S456). 도 10의 (d)의 V-시차맵을 시차맵으로 변환하면 도 10의 (e)와 같은 시차맵이 생성된다.
그리고, 산출부(150)는 추정된 소실선 이하의 시차맵과 공통 영역에 대한 시차맵을 이용하여 영상 내 객체와의 거리를 산출한다(S460).
본 발명의 실시예에 따르면, 서로 다른 화각 범위를 가지는 렌즈로 구성되는 스테레오 카메라의 촬영 영상을 이용하므로 원거리에서의 객체 거리추정 정확도가 향상될 뿐만 아니라 영상 내 포함되는 정보량이 많아진다. 이에 따라 종래보다 많은 정보량을 포함함과 동시에 정확도가 높은 객체 검출 정보를 제공할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
10 : 차량 20 : 스테레오 카메라
21 : 좌측 렌즈부 22 : 우측 렌즈부
100 : 객체 거리 추정 장치 110 : 수신부
120 : 시차맵 생성부 130 : 추출부
140 : 시차맵 추정부 150 : 산출부

Claims (10)

  1. 객체 거리 추정 장치를 이용한 객체 거리 추정 방법에 있어서,
    차량의 전면 또는 후면에 부착된 이종 화각의 스테레오 카메라로부터 제1 화각의 촬영 영상 및 상기 제1 화각보다 큰 제2 화각의 촬영 영상을 수신하는 단계,
    상기 제1 화각의 촬영 영상과 상기 제2 화각의 촬영 영상을 스테레오 정합하여 상기 제1 화각의 촬영 영상에 대한 시차맵을 생성하는 단계,
    상기 제1 화각의 촬영 영상에 대한 시차맵을 이용하여 상기 제2 화각의 촬영 영상과 동일한 영상 크기의 V-시차맵을 생성하는 단계,
    상기 제2 화각의 촬영 영상과 동일한 영상 크기의 V-시차맵을 이용하여 도로 표면의 시차 정보를 추출하는 단계,
    상기 도로 표면의 시차 정보를 이용하여 상기 제2 화각의 영상 중 소실선 이하의 영역에서 시차값 및 시차 누적값 중 적어도 하나가 할당되지 않은 영역에 대한 시차맵을 추정하는 단계, 그리고
    상기 추정된 소실선 이하의 영역에서 시차값 및 시차 누적값 중 적어도 하나가 할당되지 않은 영역에 대한 시차맵과 상기 제1 화각의 촬영 영상에 대한 시차맵을 이용하여 영상 내 객체와의 거리를 산출하는 단계를 포함하는 객체 거리 추정 방법.
  2. 제1항에 있어서,
    상기 제1 화각의 촬영 영상에 대한 V-시차맵을 생성하는 단계는,
    상기 제2 화각의 영상과 동일한 크기의 시차맵 공간에 상기 제1 화각의 촬영 영상에 대한 시차맵을 오버랩하는 단계, 그리고
    상기 제1 화각의 촬영 영상에 대한 시차맵이 오버랩된 시차맵 공간의 수직선(vertical line)을 따라 시차값을 누적하여 V-시차맵을 생성하는 단계를 포함하는 객체 거리 추정 방법.
  3. 제1항에 있어서,
    상기 도로 표면의 시차 정보를 추출하는 단계는,
    상기 제2 화각 영상과 동일한 크기의 V-시차맵의 각 행 별로 최대값을 가지는 픽셀들을 추출하는 단계, 그리고
    상기 각 행 별로 최대값을 가지는 픽셀들을 선분 분석하여 도로 표면의 시차 정보를 추출하는 단계를 포함하는 객체 거리 추정 방법.
  4. 제3항에 있어서,
    상기 도로 표면의 시차 정보를 추출하는 단계는,
    허프 변환, 선분 보간법 및 비스플라인(B-spline) 기법 중 어느 하나를 이용하여 상기 각 행 별로 최대값을 가지는 픽셀들을 선분 분석하는 객체 거리 추정 방법.
  5. 제1항에 있어서,
    상기 시차값 및 시차 누적값 중 적어도 하나가 할당되지 않은 영역에 대한 시차맵을 추정하는 단계는,
    상기 도로 표면의 시차 정보를 모델링하여 상기 도로 표면의 시차 정보에 대한 함수 정보를 산출하는 단계,
    상기 산출된 함수 정보에 대한 변위 범위를 확장하여 상기 제2 화각의 영상 중 소실선 이하 영역에 대한 V-시차맵을 생성하는 단계, 그리고
    상기 소실선 이하의 V-시차맵을 이용하여 상기 제2 화각의 영상 중 소실선 이하 영역의 시차맵을 추정하는 단계를 포함하는 객체 거리 추정 방법.
  6. 차량의 전면 또는 후면에 부착된 이종 화각의 스테레오 카메라로부터 제1 화각의 촬영 영상 및 상기 제1 화각보다 큰 제2 화각의 촬영 영상을 수신하는 수신부,
    상기 제1 화각의 촬영 영상과 상기 제2 화각의 촬영 영상을 스테레오 정합하여 상기 제1 화각의 촬영 영상에 대한 시차맵을 생성하고, 상기 제1 화각의 촬영 영상에 대한 시차맵을 이용하여 상기 제2 화각의 촬영 영상과 동일한 영상 크기의 V-시차맵을 생성하는 시차맵 생성부,
    상기 제2 화각의 촬영 영상과 동일한 영상 크기의 V-시차맵을 이용하여 도로 표면의 시차 정보를 추출하는 추출부,
    상기 도로 표면의 시차 정보를 이용하여 상기 제2 화각의 영상 중 소실선 이하의 영역에서 시차값 및 시차 누적값 중 적어도 하나가 할당되지 않은 영역에 대한 시차맵을 추정하는 시차맵 추정부, 그리고
    상기 추정된 소실선 이하의 영역에서 시차값 및 시차 누적값 중 적어도 하나가 할당되지 않은 영역에 대한 시차맵과 상기 제1 화각의 촬영 영상에 대한 시차맵을 이용하여 영상 내 객체와의 거리를 산출하는 산출부를 포함하는 객체 거리 추정 장치.
  7. 제6항에 있어서,
    상기 시차맵 생성부는,
    상기 제2 화각의 영상과 동일한 크기의 시차맵 공간에 상기 제1 화각의 촬영 영상에 대한 시차맵을 오버랩하고, 상기 제1 화각의 촬영 영상에 대한 시차맵이 오버랩된 시차맵 공간의 수직선(vertical line)을 따라 시차값을 누적하여 V-시차맵을 생성하는 객체 거리 추정 장치.
  8. 제6항에 있어서,
    상기 추출부는,
    상기 제2 화각 영상과 동일한 크기의 V-시차맵의 각 행 별로 최대값을 가지는 픽셀들을 추출하고, 상기 각 행 별로 최대값을 가지는 픽셀들을 선분 분석하여 도로 표면의 시차 정보를 추출하는 객체 거리 추정 장치.
  9. 제8항에 있어서,
    상기 추출부는,
    허프 변환, 선분 보간법 및 비스플라인(B-spline) 기법 중 어느 하나를 이용하여 상기 각 행 별로 최대값을 가지는 픽셀들을 선분 분석하는 객체 거리 추정 장치.
  10. 제6항에 있어서,
    상기 시차맵 추정부는,
    상기 도로 표면의 시차 정보를 모델링하여 상기 도로 표면의 시차 정보에 대한 함수 정보를 산출하고, 상기 산출된 함수 정보에 대한 변위 범위를 확장하여 상기 제2 화각의 영상 중 소실선 이하의 영역에 대한 V-시차맵을 생성하며, 상기 소실선 이하의 V-시차맵을 이용하여 상기 제2 화각의 영상 중 소실선 이하 영역의 시차맵을 추정하는 객체 거리 추정 장치.
KR1020160183429A 2016-12-30 2016-12-30 이종 화각의 스테레오 카메라를 이용한 객체 거리 추정 장치 및 그 방법 KR101739394B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160183429A KR101739394B1 (ko) 2016-12-30 2016-12-30 이종 화각의 스테레오 카메라를 이용한 객체 거리 추정 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160183429A KR101739394B1 (ko) 2016-12-30 2016-12-30 이종 화각의 스테레오 카메라를 이용한 객체 거리 추정 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101739394B1 true KR101739394B1 (ko) 2017-05-26

Family

ID=59052095

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160183429A KR101739394B1 (ko) 2016-12-30 2016-12-30 이종 화각의 스테레오 카메라를 이용한 객체 거리 추정 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101739394B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844749A (zh) * 2017-10-19 2018-03-27 海信集团有限公司 路面检测方法及装置、电子设备、存储介质
KR20190066396A (ko) 2017-12-05 2019-06-13 (주)캠시스 이종 카메라를 이용한 충돌 경고 방법 및 장치
KR20190067578A (ko) 2017-12-07 2019-06-17 (주)캠시스 오버랩 촬영 영역을 가지는 이종 카메라를 이용한 충돌 경고 장치 및 방법
KR20200023707A (ko) * 2018-08-23 2020-03-06 엘지전자 주식회사 이동 로봇
US10848746B2 (en) 2018-12-14 2020-11-24 Samsung Electronics Co., Ltd. Apparatus including multiple cameras and image processing method
US11430089B2 (en) 2019-07-10 2022-08-30 Samsung Electronics Co., Ltd. Image processing method and image processing system for generating a corrected image

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100938195B1 (ko) * 2008-07-28 2010-01-21 재단법인대구경북과학기술원 스테레오 매칭을 이용한 거리 추정 장치 및 추정 방법
JP2010103810A (ja) * 2008-10-24 2010-05-06 Ricoh Co Ltd 車載用監視装置
JP2015143966A (ja) * 2013-07-25 2015-08-06 株式会社リコー 画像処理装置、立体物検出方法、立体物検出プログラム、および、移動体制御システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100938195B1 (ko) * 2008-07-28 2010-01-21 재단법인대구경북과학기술원 스테레오 매칭을 이용한 거리 추정 장치 및 추정 방법
JP2010103810A (ja) * 2008-10-24 2010-05-06 Ricoh Co Ltd 車載用監視装置
JP2015143966A (ja) * 2013-07-25 2015-08-06 株式会社リコー 画像処理装置、立体物検出方法、立体物検出プログラム、および、移動体制御システム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844749A (zh) * 2017-10-19 2018-03-27 海信集团有限公司 路面检测方法及装置、电子设备、存储介质
CN107844749B (zh) * 2017-10-19 2020-09-29 海信集团有限公司 路面检测方法及装置、电子设备、存储介质
KR20190066396A (ko) 2017-12-05 2019-06-13 (주)캠시스 이종 카메라를 이용한 충돌 경고 방법 및 장치
KR20190067578A (ko) 2017-12-07 2019-06-17 (주)캠시스 오버랩 촬영 영역을 가지는 이종 카메라를 이용한 충돌 경고 장치 및 방법
KR102031635B1 (ko) * 2017-12-07 2019-10-14 (주)캠시스 오버랩 촬영 영역을 가지는 이종 카메라를 이용한 충돌 경고 장치 및 방법
KR20200023707A (ko) * 2018-08-23 2020-03-06 엘지전자 주식회사 이동 로봇
KR102560462B1 (ko) 2018-08-23 2023-07-26 엘지전자 주식회사 이동 로봇
US10848746B2 (en) 2018-12-14 2020-11-24 Samsung Electronics Co., Ltd. Apparatus including multiple cameras and image processing method
US11430089B2 (en) 2019-07-10 2022-08-30 Samsung Electronics Co., Ltd. Image processing method and image processing system for generating a corrected image

Similar Documents

Publication Publication Date Title
KR101739394B1 (ko) 이종 화각의 스테레오 카메라를 이용한 객체 거리 추정 장치 및 그 방법
US10834324B2 (en) Image distortion correction of a camera with a rolling shutter
EP1796043B1 (en) Object detection
JP6018231B2 (ja) 映像ソース及び画像ソースにおける静止要素を検出するための方法、システム、撮像装置、可動装置、及びプログラム製品
US20110044502A1 (en) Motion detection method, apparatus and system
US20160232410A1 (en) Vehicle speed detection
KR20170063827A (ko) 어레이 카메라들의 동적 교정을 위한 시스템들 및 방법들
CN105069804B (zh) 基于智能手机的三维模型扫描重建方法
KR101223206B1 (ko) 3차원 영상 생성 방법 및 시스템
JP2012058188A (ja) 校正装置、距離計測システム、校正方法および校正プログラム
KR20170056698A (ko) 자동 포커싱 방법, 장치 및 전자 장치
JP4835201B2 (ja) 立体形状検出装置
US20110187828A1 (en) Apparatus and method for obtaining 3d location information
US9747507B2 (en) Ground plane detection
CN105975923B (zh) 用于跟踪人体对象的方法和系统
JP6288173B2 (ja) 道路境界物を検出する方法及び装置
KR101709317B1 (ko) 단일 카메라와 ｇｐｓ를 이용한 영상 내 객체의 좌표 산출 방법
KR100888459B1 (ko) 피사체의 깊이 정보 검출 방법 및 시스템
JP5539250B2 (ja) 接近物体検知装置及び接近物体検知方法
JP6617150B2 (ja) 物体検出方法及び物体検出装置
KR101716973B1 (ko) 스테레오 영상 기반 도로상의 차량 검출 장치 및 방법
JP5979046B2 (ja) 合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム
JP3540005B2 (ja) 障害物検出装置
WO2021124657A1 (ja) カメラシステム
KR101289386B1 (ko) 스테레오 비전 기반의 장애물체 검출 및 분리 방법과 이를 실행하는 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant