KR101418167B1 - 스테레오 카메라 제어 장치 및 그 방법 - Google Patents

스테레오 카메라 제어 장치 및 그 방법 Download PDF

Info

Publication number
KR101418167B1
KR101418167B1 KR1020120128256A KR20120128256A KR101418167B1 KR 101418167 B1 KR101418167 B1 KR 101418167B1 KR 1020120128256 A KR1020120128256 A KR 1020120128256A KR 20120128256 A KR20120128256 A KR 20120128256A KR 101418167 B1 KR101418167 B1 KR 101418167B1
Authority
KR
South Korea
Prior art keywords
camera
distance value
distance
lens
stereo
Prior art date
Application number
KR1020120128256A
Other languages
English (en)
Other versions
KR20140061089A (ko
Inventor
권순
이장우
김현우
하재욱
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020120128256A priority Critical patent/KR101418167B1/ko
Publication of KR20140061089A publication Critical patent/KR20140061089A/ko
Application granted granted Critical
Publication of KR101418167B1 publication Critical patent/KR101418167B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

본 발명은 스테레오 카메라 제어 장치 및 그 방법을 개시한다. 스테레오 카메라 제어 장치는 스테레오 카메라로부터 수신한 컬러 영상과 깊이 영상을 이용하여 관심 영역 및 관심 영역에 포함된 객체를 추출하는 객체 추출부; 상기 관심 영역의 시차값을 이용하여 상기 객체의 거리값을 결정하는 거리값 결정부; 상기 거리값을 이용하여 스테레오 카메라의 왼쪽 렌즈와 오른쪽 렌즈의 초점 거리 또는 상기 왼쪽 렌즈와 오른쪽 렌즈 간의 베이스라인을 조절하는 조절부를 포함한다.

Description

스테레오 카메라 제어 장치 및 그 방법{METHOD AND DEVICE CONTROL STEREOSCOPIC CAMERA}
본 발명은 스테레오 카메라 제어 장치 및 그 방법에 관한 것이다. 보다 구체적으로는 스테레오 카메라로부터 입력 받은 좌측과 우측의 영상을 이용하여 스테레오 카메라에 포함된 베이스라인 간격 및 렌즈의 초점 거리를 조절하는 스테레오 카메라 제어 장치 및 그 방법에 관한 것이다.
스테레오 카메라는 사람의 두 눈을 모방하여 두 개의 카메라를 적당한 간격을 두어 구성된다. 이 때 카메라는 빛을 받아들이는 영상센서와 렌즈를 포함한다. 또한, 스테레오 카메라는 두 개 이상의 카메라를 이용하여 동시에 두 장 이상의 영상을 획득한다. 그리고, 스테레오 카메라는 획득한 영상으로부터 스테레오 정합 과정을 거쳐 시차맵 영상을 추출한다.
시차맵 영상 추출하기 위해, 스테레오 카메라는 왼쪽 렌즈와 오른쪽 렌즈 각각의 내부매개변수(Intrinsic parameter)를 추출한다. 이 때, 스테레오 카메라는 캘리브레이션(Calivration) 과정을 통해 내부매개변수를 추출한다. 그리고, 스테레오 카메라는 스테레오 렉티피케이션(Rectification) 과정을 거침으로써, 스테레오 영상의 에피폴라선(Epipolar Line) 일치화 작업을 수행한다. 이러한 방법으로 스테레오 카메라는 시차맵 영상을 추출한다.
이 때, 내부매개변수는 렌즈의 초점 간격에 따라 내부매개변수의 값이 변경된다. 그래서, 렌즈의 초점 간격이 변경되면, 스테레오 카메라는 내부매개변수의 값도 변경된다. 따라서, 스테레오 카메라는 변경된 렌즈? 초점 감격에 따라 캘리브레이션를 이용하여 내부매개변수를 다시 추출해야 한다.
하지만, 내부매개변수 추출 과정은 상황에 따라 실시간으로 변경하는 것은 용이하지 않다. 그래서 대부분의 스테레오 카메라는 렌즈의 초점값 및 카메라 간 간격(베이스라인)을 고정시킨다.
그러므로 상황에 따라 렌즈의 초점 값이 조절 가능하며, 이에 따라 베이스라인도 조절할 수 있는 장치 및 방법이 제시되어야 한다.
본 발명은 스테레오 카메라의 베이스라인 또는 각각의 렌즈의 초점 거리를 조절함으로써 근거리 또는 원거리의 객체 거리 추청 정확도가 높아지고, 시차탐색범위를 최소화할 수 있는 스테레오 카메라 제어 장치 및 방법을 포함할 수 있다.
본 발명의 일실시예에 따른 스테레오 카메라 제어 장치는 스테레오 카메라로부터 수신한 컬러 영상과 깊이 영상을 이용하여 관심 영역 및 관심 영역에 포함된 객체를 추출하는 객체 추출부; 상기 관심 영역의 시차값을 이용하여 상기 객체의 거리값을 결정하는 거리값 결정부; 상기 거리값을 이용하여 스테레오 카메라의 왼쪽 카메라의 렌즈와 오른쪽 카메라의 렌즈의 초점 거리 또는 상기 왼쪽 카메라와 오른쪽 카메라 간의 베이스라인을 조절하는 조절부를 포함할 수 있다.
본 발명의 일실시예에 따른 객체 추출부는 상기 컬러 영상과 해상도가 동일한 깊이 영상을 이용하여 관심 영역과 객체를 추출할 수 있다.
본 발명의 일실시예에 따른 거리값 결정부는 상기 스테레오 카메라의 왼쪽 카메라로부터 출력된 좌영상과 오른쪽 카메라로부터 출력된 우영상이 스테레오 정합된 깊이 영상의 시차맵을 이용하여 상기 객체의 거리값을 결정할 수 있다.
본 발명의 일실시예에 따른 거리값 결정부는 삼각측량 원리를 이용하여 상기 시차값으로부터 객체의 거리값을 결정할 수 있다.
본 발명의 일실시예에 따른 조절부는 상기 렌즈의 초점 거리별로 캘리브레이션된 내부매개 변수값을 포함하는 룩업테이블(Look-up Table)을 통해 상기 객체의 거리값에 따른 왼쪽 카메라의 렌즈와 오른쪽 카메라의 렌즈의 초점 거리에 해당하는 상기 변수값을 매핑하여 조절할 수 있다.
본 발명의 일실시예에 따른 조절부는 상기 객체의 거리값의 변화에 대응하여, 상기 베이스라인을 조절할 수 있다.
본 발명의 일실시예에 따른 조절부는 상기 객체의 거리값의 변화에 대응하여, 상기 초점 거리를 조절할 수 있다.
본 발명의 일실시예에 따르면 스테레오 카메라 제어 방법은 스테레오 카메라로부터 수신한 컬러 영상과 깊이 영상을 이용하여 관심 영역 및 관심 영역에 포함된 객체를 추출하는 단계; 상기 관심 영역의 시차값을 이용하여 상기 객체의 거리값을 결정하는 단계; 상기 거리값을 이용하여 스테레오 카메라의 왼쪽 카메라의 렌즈와 오른쪽 카메라의 렌즈의 초점 거리 또는 상기 왼쪽 카메라와 오른쪽 카메라 간의 베이스라인을 조절하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따르면 객체를 추출하는 단계는 상기 컬러 영상과 해상도가 동일한 깊이 영상을 이용하여 관심 영역과 객체를 추출할 수 있다.
본 발명의 일실시예에 따르면 객체의 거리값을 결정하는 단계는 상기 스테레오 카메라의 왼쪽 카메라로부터 출력된 좌영상과 오른쪽 카메라로부터 출력된 우영상이 스테레오 정합된 깊이 영상의 시차맵을 이용하여 상기 객체의 거리값을 결정할 수 있다.
본 발명의 일실시예에 따르면 객체의 거리값을 결정하는 단계는 삼각측량 원리를 이용하여 상기 시차값으로부터 객체의 거리값을 결정할 수 있다.
본 발명의 일실시예에 따르면 조절하는 단계는 상기 렌즈의 초점 거리별로 캘리브레이션된 내부매개 변수값을 포함하는 룩업테이블(Look-up Table)을 통해 상기 객체의 거리값에 따른 왼쪽 카메라의 렌즈와 오른쪽 카메라의 렌즈의 초점 거리에 해당하는 상기 변수값을 매핑하여 조절할 수 있다.
본 발명의 일실시예에 따르면 조절하는 단계는 상기 객체의 거리값의 변화에 대응하여, 상기 베이스라인을 조절할 수 있다.
본 발명의 일실시예에 따르면 조절하는 단계는 상기 객체의 거리값의 변화에 대응하여, 상기 초점 거리를 조절할 수 있다.
본 발명의 일실시예에 따른 스테레오 카메라 제어 장치 및 방법은 스테레오 카메라의 베이스라인 또는 스테레오 카메라 렌즈의 초점 거리를 조절함으로써 근거리 또는 원거리의 객체 거리 추정 정확도가 높아지고, 시차탐색범위를 최소화할 수 있다.
도 1은 일실시예에 따른 실제 구현에 따른 전체 구성을 도시한 도면이다.
도 2는 일실시예에 따른 스테레오 카메라 제어 장치를 도시한 도면이다.
도 3은 일실시예에 따른 스테레오 카메라 제어 방법을 도시한 도면이다.
도 4는 일실시예에 따른 시차값과 객체의 거리값과의 관계를 설명하기 위해 도시한 그래프이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일실시예에 따른 실제 구현에 따른 전체 구성을 도시한 도면이다.
도 1을 참고하면, 왼쪽 카메라(102)와 오른쪽 카메라(103)는 광축이 평행한 베이스라인(104)에 배치될 수 있다. 그리고, 왼쪽 카메라(102)와 오른쪽 카메라(103)는 영상센서와 렌즈를 포함할 수 있다. 일례로, 왼쪽 카메라(102)와 오른쪽 카메라(103)은 가변 초점 카메라일 수 있다. 베이스라인(104)은 왼쪽 카메라(102)와 오른쪽 카메라(103) 간의 간격일 수 있다. 베이스라인(104)은 관심 영역 또는 객체의 거리값에 따라 증가되거나, 감소될 수 있다. 이에 따라, 왼쪽 카메라(102)와 오른쪽 카메라(103)는 베이스라인(104)의 증가 또는 감소되면, 왼쪽 카메라와 오른쪽 카메라간의 사이 간격도 증가되거나 감소될 수 있다. 그리고, 왼쪽 카메라(102)와 오른쪽 카메라(103)는 객체의 거리값에 따라 렌즈의 초점 거리가 증가되거나 감소될 수 있다.
이 때, 왼쪽 카메라(102)와 오른쪽 카메라(103) 및 베이스라인(104)의 구성은 스테레오 카메라의 구성에 대응할 수 있다.
왼쪽 카메라(102)는 베이스라인(104)에 배치되어, 좌영상을 촬영할 수 있다. 그리고, 오른쪽 카메라(103) 베이스라인(104)에 배치되어, 우영상을 촬영할 수 있다. 이 때, 좌영상과 우영상의 공통 화각 범위는 베이스라인에 의해 결정된다. 다시 말해, 좌영상과 우영상은 베이스라인에 따라 공통 화각의 범위가 결정되고, 이에 따라 영상들이 촬영될 수 있다. 이렇게 촬영된 좌영상과 우영상은 스테레오 정합 과정을 거쳐 깊이 영상으로 추출될 수 있다. 이 때, 깊이 영상은 영상의 깊이에 따른 시차맵 영상일 수 있다. 그리고, 촬영된 좌영상과 우영상은 컬러 영상을 포함할 수 있다.
스테레오 카메라 제어 장치(101)는 추출된 깊이 영상을 수신할 수 있다. 그리고, 스테레오 카메라 제어 장치(101)는 컬러 영상도 수신할 수 있다. 스테레오 카메라 제어 장치는 수신한 컬러 영상과 깊이 영상을 이용하여 관심 영역 및 관심 영역에 포함된 객체를 추출할 수 있다.
그리고, 스테레오 카메라 제어 장치(101)는 추출한 관심 영역의 시차값을 이용하여 객체의 거리값을 결정할 수 있다. 스테레오 카메라 제어 장치(101)는 결정된 거리값을 이용하여 스테레오 카메라의 왼쪽 카메라의 렌즈와 오른쪽 카메라의 렌즈의 초점 거리 또는 상기 왼쪽 카메라와 오른쪽 카메라 간의 베이스라인을 조절할 수 있다.
본 발명의 일실시예에 따른 스테레오 카메라 제어 장치는 왼쪽 카메라와 오른쪽 카메라 간의 베이스라인 또는 왼쪽 카메라의 렌즈와 오른쪽 카메라의 렌즈 간의 초점 거리를 조절함으로써, 근거리 또는 원거리의 객체 거리 추청 정확도가 높아지고, 시차탐색범위를 최소화할 수 있다.
도 2는 일실시예에 따른 스테레오 카메라 제어 장치를 도시한 도면이다.
도 2를 참고하면, 스테레오 카메라 제어 장치(201)는 객체 추출부(202), 거리값 결정부(203), 조절부(204)를 포함할 수 있다.
객체 추출부(202)는 스테레오 카메라로부터 수신한 컬러 영상(205)와 깊이 영상(206)을 이용하여 관심 영역 및 관심 영역에 포함된 객체를 추출할 수 있다. 컬러 영상(205)은 RGB 칼라의 영상일 수 있다. 그리고, 깊이 영상(206)은 영상의 깊이에 따른 시차맵 영상일 수 있다. 또한, 깊이 영상(206)은 스테레오 카메라의 왼쪽 카메라로부터 출력된 좌영상과 오른쪽 카메라로부터 출력된 우영상을 이용하여 스테레오 정합된 영상일 수 있다.
객체 추출부(202)는 컬러 영상(205)과 깊이 영상(206)을 이용하여 관심 영역 및 객체를 추출할 수 있다. 여기서, 컬러 영상(205)과 깊이 영상(206)은 동일한 해상도로 구성될 수 있다. 다시 말해, 객체 추출부(202)는 동일한 해상도를 갖는 컬러 영상(205)과 깊이 영상(206)을 통해 관심 영역 및 객체를 추출할 수 있다.
거리값 결정부(203)는 추출된 관심 영역의 시차값을 이용하여 객체의 거리값을 결정할 수 있다. 시차값은 깊이 영상(206)에 따른 영상의 값일 수 있다. 거리값 결정부(203)는 삼각측량 원리를 이용하여 시차값으로부터 객체의 거리값을 결정할 수 있다. 거리값 결정부(203)는 수식을 통해 객체의 거리값을 결정할 수 있다.
객체의 거리값을 결정하는 수식은,
Figure 112012093291135-pat00001
일 수 있다.
이 때, Z는 객체의 거리값이며, D는 시차(disparity)를 나타낼 수 있다. 다시 D는 X_L- X_R의 형태로 나타낼 수 있다. 그리고, k는 영상의 따른 화소의 차이를 나타내는 상수일 수 있다. 이 때, k는 ‘0’보다 크거나 같은 정수일 수 있다. 그리고, k의 최대값(X_max)은 영상의 가로 라인의 화수 수일 수 있다. D_P는 화소간의 거리를 나타낼 수 있다.
따라서, 객체의 거리값(Z)은 왼쪽 카메라의 렌즈와 오른쪽 카메라의 렌즈의 중심 사이의 거리(b)와 왼쪽 카메라에 외쪽 렌즈와 오른쪽 카메라의 렌즈의 초점 거리(f)를 곱한 값을 시차(D)로 나눈 값일 수 있다. 여기서, 스테레오 카메라에서 왼쪽 카메라와 오른쪽 카메라의 중심 사이의 거리(b)는 베이스라인일 수 있다. 그리고, 시차(D)는 상수(k)에 화소간의 거리(D_P)를 곱한 값일 수 있다.
다시 말해, 거리값 결정부(203)는 객체의 거리값을 결정하는 수식을 이용하여, 객체의 거리값을 결정할 수 있다.
조절부(204)는 객체의 거리값을 이용하여 스테레오 카메라의 왼쪽 카메라의 렌즈와 오른쪽 카메라의 렌즈의 초점 거리 또는 상기 왼쪽 카메라와 오른쪽 카메라 간의 베이스라인을 조절할 수 있다.
조절부(204)는 왼쪽 렌즈와 오른쪽 렌즈의 초점 거리를 조절하기 위해 룩업테이블(Look-up Table)을 이용할 수 있다. 룩업테이블은 렌즈의 초점 거리별로 사전에 캘리브레이션과정을 통해 계산된 내부매개 변수값을 포함할 수 있다. 따라서, 조절부(204)는 객체의 거리값에 따라 왼쪽 카메라의 렌즈와 오른쪽 카메라의 렌즈의 초점 거리에 대응하는 내부매개 변수를 맵핑하여 조절할 수 있다. 또한, 조절부(204)는 스테레오 카메라의 초점거리가 변동될 경우, 룩업테이블에서 실시간으로 내부매개 변수값을 반영할 수 있다
일례로, 조절부(204)는 객체의 거리값이 변화에 따라 초점 거리를 조절할 수 있다. 구체적으로, 조절부(204)는 가변된 초점 거리에 대응하는 내부매개 변수를 재 할당하여 조절할 수 있다.
또한 조절부(204)는 객체의 거리값에 따라 베이스라인을 조절할 수 있다. 일례로, 조절부(204)는 객체의 거리값이 변화하면 베이스라인을 조절할 수 있다. 그리고, 조절부(204)는 객체의 거리값의 변화에 대응하여 베이스라인을 조절할 수 있다.
그리고,베이스라인의 간격은 초점 거리값을 조절하는 내부매개변수값과 별개로 조절될 수 있다. 다시 말해, 베이스라인의 간격은 내부매개변수값의 변화에 영향을 미치지 않으므로, 룩업테이블을 사용하여 내부매개변수 값을 재 반영하지 않을 수 있다. 그래서, 베이스라인의 간격은 객체의 거리값에 따라 조절될 수 있다.
일례로 스테레오 카메라 제어 장치는 왼쪽 카메라와 오른쪽 카메라 간의 베이스라인 또는 왼쪽 카메라의 렌즈와 오른쪽 카메라의 렌즈 간의 초점 거리를 조절함으로써 거리에 따른 시차구별능력을 최대화 할 수 있다.
또한, 스테레오 카메라 제어 장치는 왼쪽 카메라와 오른쪽 카메라 간의 베이스라인 또는 왼쪽 카메라의 렌즈와 오른쪽 카메라의 렌즈의 초점 거리를 조절함으로써, 시차탐색범위도 조절됨으로써 보다 효율적으로 스테레오 카메라와 객체의 시차를 탐색할 수 있다.
일례로, 베이스라인 간격 또는 초점거리가 감소할 경우, 시차탐색범위도 비례하여 감소하게 되므로 스테레오 정합에 소요되는 시간을 단축할 수 있거나 시스템 구현비용을 낮출 수 있다.
도 3은 일실시예에 따른 스테레오 카메라 제어 방법을 도시한 도면이다.
단계(301)에서 스테레오 카메라 제어 장치는 관심 영역 및 관심 영역에 포함된 객체를 추출할 수 있다. 이 때, 카메라 제어 장치는 스테레오 카메라로부터 수신한 컬러 영상과 깊이 영상을 이용할 수 있다. 그리고, 컬러 영상과 깊이 영상은 동일한 해상도로 표현될 수 있다.
단계(302)에서 스테레오 카메라 제어 장치는 관심 영역의 시차값을 이용하여 객체의 거리값을 결정할 수 있다. 그리고, 스테레오 카메라 제어 장치는 삼각측량 원리를 이용하여 시차값으로부터 객체의 거리값을 결정할 수 있다. 스테레오 카메라 제어 장치는 객체의 거리값을 결정하는 수식을 이용할 수 있다. 객체의 거리값을 결정하는 수식은 왼쪽 렌즈와 오른쪽 렌즈의 중심 사이의 거리와 왼쪽 렌즈와 오른쪽 렌즈의 초점 거리를 곱한 값을 시차로 나눈 값일 수 있다. 여기서 시차는 ‘0’보다 크거나 같은 정수에 화소간의 거리를 곱한 값일 수 있다.
단계(303)에서 스테레오 카메라 제어 장치는 객체의 거리값을 이용하여 스테레오 카메라의 왼쪽 카메라의 렌즈와 오른쪽 카메라의 렌즈의 초점 거리 또는 상기 왼쪽 카메라와 오른쪽 카메라 간의 베이스라인을 조절할 수 있다. 스테레오 카메라 제어 장치는 렌즈의 초점 거리별로 캘리브레이션된 내부매개 변수값을 포함하는 룩업테이블을 이용할 수 있다. 스테레오 카메라 제어 장치는 객체의 거리값에 따라 왼쪽 카메라의 렌즈와 오른쪽 카메라의 렌즈의 초점 거리에 대응하는 내부매개 변수를 맵핑함으로써 왼쪽 카메라와 오른쪽 카메라 각각에 렌즈의 초점 거리를 조절할 수 있다.
또한, 스테레오 카메라 제어 장치는 객체의 거리값의 변화에 따라 베이스라인 및 왼쪽 카메라의 렌즈와 오른쪽 카메라의 렌즈의 초점 거리를 조절할 수 있다. 스테레오 카메라 제어 장치는 베이스라인 또는 왼쪽 카메라의 렌즈와 오른쪽 카메라의 렌즈의 초점 거리를 조절함으로써, 객체의 거리값의 추정 정확도를 높일 수 있으며, 스테레오 정합의 탐색범위를 효과적으로 조절할 수 있다.
그리고, 스테레오 카메라 제어 장치는 근거리뿐만 아니라 원거리에서의 객체 거리 추정 정확도를 높일 수 있다. 또한, 스테레오 카메라 제어 장치는 시차탐색범위를 최소화함으로써 스테레오 카메라 제어 장치의 구현 비용을 낮출 수 있다.
도 4는 일실시예에 따른 시차값과 객체의 거리값과의 관계를 설명하기 위해 도시한 그래프이다.
도 4를 참고하면, 객체의 거리값은 스테레오 카메라와 객체와의 거리가 멀어질수록 시차의 폭이 작아질 수 있다. 다시 말해, 객체의 거리값은 원거리일수록 객체의 거리값 추정의 오차가 클 수 있다. 그래서, 스테레오 카메라 제어 장치는 베이스라인 또는 왼쪽 카메라의 렌즈와 오른쪽 카메라의 렌즈의 초점 거리를 조절함으로써, 객체의 거리값의 정확도를 높일 수 있다.
일례로, 스테레오 카메라 제어 장치는 원거리의 객체일 경우, 베이스라인 간격을 최대화하거나, 왼쪽 카메라의 렌즈와 오른쪽 카메라의 렌즈의 초점 거리를 증가시킴으로써, 객체에 대한 원거리에서의 시차구별능력을 최대화할 수 있다.
따라서, 스테레오 카메라 제어 장치는 베이스라인 또는 왼쪽 카메라의 렌즈와 오른쪽 카메라의 렌즈의 초점 거리의 변화에 따라 스테레오 정합과정의 탐색범위를 최적화할 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
101: 스테레오 카메라 제어 장치
102: 왼쪽 렌즈
103: 오른쪽 렌즈
104: 베이스라인

Claims (14)

  1. 베이스라인에 배치되는 스테레오 카메라의 왼쪽 카메라 및 오른쪽 카메라로부터 수신한 컬러 영상과 깊이 영상을 이용하여 관심 영역 및 관심 영역에 포함된 객체를 추출하는 객체 추출부;
    상기 왼쪽 카메라와 오른쪽 카메라 간의 베이스라인 간격 및 상기 컬러 영상의 가로 라인의 화소 개수를 이용하여 관심 영역의 시차값으로부터 상기 객체의 거리값을 결정하는 거리값 결정부;
    상기 결정된 객체의 거리값을 이용하여 스테레오 카메라의 왼쪽 카메라의 렌즈와 오른쪽 카메라의 렌즈의 초점 거리 및 상기 왼쪽 카메라와 오른쪽 카메라 간의 베이스라인 간격을 조절하는 조절부
    를 포함하고,
    상기 객체 추출부는,
    상기 왼쪽 카메라와 오른쪽 카메라 간의 베이스라인 간격에 의해 결정되는 공통 화각 범위에 기초하여 상기 컬러 영상과 깊이 영상을 수신하며,
    상기 조절부는,
    상기 객체의 거리값에 따라 변화되는 시차의 폭에 의한 객체의 거리값의 추정 오차를 고려하여 렌즈의 초점 거리별로 캘리브레이션된 내부매개 변수값을 할당하여 상기 초점 거리를 가변적으로 조절하는 스테레오 카메라 제어 장치.
  2. 제1항에 있어서,
    상기 객체 추출부는,
    상기 컬러 영상과 해상도가 동일한 깊이 영상을 이용하여 관심 영역과 객체를 추출하는 스테레오 카메라 제어 장치.
  3. 제1항에 있어서,
    상기 거리값 결정부는,
    상기 스테레오 카메라의 왼쪽 카메라로부터 출력된 좌영상과 오른쪽 카메라로부터 출력된 우영상이 스테레오 정합된 깊이 영상의 시차맵을 이용하여 상기 객체의 거리값을 결정하는 스테레오 카메라 제어 장치.
  4. 제1항에 있어서,
    상기 거리값 결정부는,
    삼각측량 원리를 이용하여 상기 시차값으로부터 객체의 거리값을 결정하는 스테레오 카메라 제어 장치.
  5. 삭제
  6. 제1항에 있어서,
    상기 조절부는,
    상기 객체의 거리값의 변화에 대응하여, 상기 베이스라인을 조절하는 스테레오 카메라 제어 장치.
  7. 제1항에 있어서,
    상기 조절부는,
    상기 객체의 거리값의 변화에 대응하여, 상기 초점 거리를 조절하는 스테레오 카메라 제어 장치.
  8. 베이스라인에 배치되는 스테레오 카메라의 왼쪽 카메라 및 오른쪽 카메라로부터 수신한 컬러 영상과 깊이 영상을 이용하여 관심 영역 및 관심 영역에 포함된 객체를 추출하는 단계;
    상기 왼쪽 카메라와 오른쪽 카메라 간의 베이스라인 간격 및 상기 컬러 영상의 가로 라인의 화소 개수를 이용하여 관심 영역의 시차값으로부터 상기 객체의 거리값을 결정하는 단계;
    상기 결정된 객체의 거리값을 이용하여 스테레오 카메라의 왼쪽 카메라의 렌즈와 오른쪽 카메라의 렌즈의 초점 거리 및 상기 왼쪽 카메라와 오른쪽 카메라 간의 베이스라인 간격을 조절하는 단계
    를 포함하고,
    상기 객체를 추출하는 단계는,
    상기 왼쪽 카메라와 오른쪽 카메라 간의 베이스라인 간격에 의해 결정되는 공통 화각 범위에 기초하여 상기 컬러 영상과 깊이 영상을 수신하며,
    상기 조절하는 단계는,
    상기 객체의 거리값에 따라 변화되는 시차의 폭에 의한 객체의 거리값의 추정 오차를 고려하여 렌즈의 초점 거리별로 캘리브레이션된 내부매개 변수값을 할당하여 상기 초점 거리를 가변적으로 조절하는 스테레오 카메라 제어 방법.
  9. 제8항에 있어서,
    상기 객체를 추출하는 단계는,
    상기 컬러 영상과 해상도가 동일한 깊이 영상을 이용하여 관심 영역과 객체를 추출하는 스테레오 카메라 제어 방법.
  10. 제8항에 있어서,
    상기 객체의 거리값을 결정하는 단계는,
    상기 스테레오 카메라의 왼쪽 카메라로부터 출력된 좌영상과 오른쪽 카메라로부터 출력된 우영상이 스테레오 정합된 깊이 영상의 시차맵을 이용하여 상기 객체의 거리값을 결정하는 스테레오 카메라 제어 방법.
  11. 제8항에 있어서,
    상기 객체의 거리값을 결정하는 단계는,
    삼각측량 원리를 이용하여 상기 시차값으로부터 객체의 거리값을 결정하는 스테레오 카메라 제어 방법.
  12. 삭제
  13. 제8항에 있어서,
    상기 조절하는 단계는,
    상기 객체의 거리값의 변화에 대응하여, 상기 베이스라인을 조절하는 스테레오 카메라 제어 방법.
  14. 제8항에 있어서,
    상기 조절하는 단계는,
    상기 객체의 거리값의 변화에 대응하여, 상기 초점 거리를 조절하는 스테레오 카메라 제어 방법.
KR1020120128256A 2012-11-13 2012-11-13 스테레오 카메라 제어 장치 및 그 방법 KR101418167B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120128256A KR101418167B1 (ko) 2012-11-13 2012-11-13 스테레오 카메라 제어 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120128256A KR101418167B1 (ko) 2012-11-13 2012-11-13 스테레오 카메라 제어 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20140061089A KR20140061089A (ko) 2014-05-21
KR101418167B1 true KR101418167B1 (ko) 2014-07-09

Family

ID=50890233

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120128256A KR101418167B1 (ko) 2012-11-13 2012-11-13 스테레오 카메라 제어 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101418167B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160024562A (ko) * 2014-08-26 2016-03-07 연세대학교 산학협력단 복수의 uav를 이용한 스테레오 비전 시스템

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101666744B1 (ko) * 2015-04-09 2016-10-17 성균관대학교산학협력단 시각 피로도를 줄일 수 있는 스테레오스코픽 영상 촬영 장치 및 방법
KR101597216B1 (ko) 2015-10-19 2016-02-25 (주)대지이엔지 영상이미지의 기준점 중심으로 지형물을 도화하는 공간영상도화 장치
KR101673000B1 (ko) 2015-11-11 2016-11-07 공간정보기술 주식회사 3안 스테레오 이미지를 이용한 피사체 윤곽선 개선 시스템
KR101888310B1 (ko) * 2017-08-14 2018-08-13 한국항공우주연구원 스테레오 카메라를 이용한 탐지 장치 및 방법
KR101954619B1 (ko) * 2017-11-28 2019-03-06 쌍용자동차 주식회사 차량 속도에 따른 스테레오카메라 제어장치
KR102526857B1 (ko) * 2018-07-16 2023-04-28 한국전자통신연구원 스테레오 카메라와 추가 카메라를 이용한 무인비행체 장애물 탐지 장치 및 방법
KR102561947B1 (ko) * 2021-10-13 2023-08-01 삼성전기주식회사 멀티 스테레오 카메라 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020014493A (ko) * 2000-08-18 2002-02-25 이용범 초점과 주시각을 동시에 조절할 수 있는 입체영상 카메라및 입체영상 카메라의 초점과 주시각 동시 제어방법
KR100938195B1 (ko) * 2008-07-28 2010-01-21 재단법인대구경북과학기술원 스테레오 매칭을 이용한 거리 추정 장치 및 추정 방법
KR20100131814A (ko) * 2009-06-08 2010-12-16 충북대학교 산학협력단 입체영상 카메라의 관심물체 주시각 제어방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020014493A (ko) * 2000-08-18 2002-02-25 이용범 초점과 주시각을 동시에 조절할 수 있는 입체영상 카메라및 입체영상 카메라의 초점과 주시각 동시 제어방법
KR100938195B1 (ko) * 2008-07-28 2010-01-21 재단법인대구경북과학기술원 스테레오 매칭을 이용한 거리 추정 장치 및 추정 방법
KR20100131814A (ko) * 2009-06-08 2010-12-16 충북대학교 산학협력단 입체영상 카메라의 관심물체 주시각 제어방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160024562A (ko) * 2014-08-26 2016-03-07 연세대학교 산학협력단 복수의 uav를 이용한 스테레오 비전 시스템
KR101600862B1 (ko) * 2014-08-26 2016-03-08 연세대학교 산학협력단 복수의 uav를 이용한 스테레오 비전 시스템

Also Published As

Publication number Publication date
KR20140061089A (ko) 2014-05-21

Similar Documents

Publication Publication Date Title
KR101418167B1 (ko) 스테레오 카메라 제어 장치 및 그 방법
US9544574B2 (en) Selecting camera pairs for stereoscopic imaging
EP3248374B1 (en) Method and apparatus for multiple technology depth map acquisition and fusion
WO2018161877A1 (zh) 处理方法、处理装置、电子装置和计算机可读存储介质
CN107945105B (zh) 背景虚化处理方法、装置及设备
CN105635593B (zh) 多重曝光成像系统及其白平衡方法
US20150009295A1 (en) Three-dimensional image acquisition apparatus and image processing method using the same
US9076214B2 (en) Image acquisition apparatus and image processing apparatus using selected in-focus image data
US20150035824A1 (en) Imaging apparatus and method of controlling same
WO2019105261A1 (zh) 背景虚化处理方法、装置及设备
JP2017520050A (ja) 局所的適応ヒストグラム平坦化
US9143764B2 (en) Image processing device, image processing method and storage medium
CN107454371B (zh) 投影区域的适配方法、装置及系统
WO2019105254A1 (zh) 背景虚化处理方法、装置及设备
KR102391828B1 (ko) 동영상 카메라 초점 응용을 위한 거리 측정 디바이스
US20130002826A1 (en) Calibration data selection device, method of selection, selection program, and three dimensional position measuring apparatus
WO2014044126A1 (zh) 坐标获取装置、实时三维重建系统和方法、立体交互设备
JP6452360B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
US20150304625A1 (en) Image processing device, method, and recording medium
CN108053438B (zh) 景深获取方法、装置及设备
US20150323310A1 (en) Systems and methods for determining pupillary distance and scale
TWI518305B (zh) 影像擷取方法
WO2016197494A1 (zh) 对焦区域调整方法和装置
US20130307938A1 (en) Stereo vision apparatus and control method thereof
KR101109695B1 (ko) 고속 오토 포커스 제어 장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170628

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190701

Year of fee payment: 6