KR102203687B1 - 스테레오 카메라 장치 및 그의 렉티피케이션 방법 - Google Patents

스테레오 카메라 장치 및 그의 렉티피케이션 방법 Download PDF

Info

Publication number
KR102203687B1
KR102203687B1 KR1020130167123A KR20130167123A KR102203687B1 KR 102203687 B1 KR102203687 B1 KR 102203687B1 KR 1020130167123 A KR1020130167123 A KR 1020130167123A KR 20130167123 A KR20130167123 A KR 20130167123A KR 102203687 B1 KR102203687 B1 KR 102203687B1
Authority
KR
South Korea
Prior art keywords
unit
camera
pattern light
image
rectification
Prior art date
Application number
KR1020130167123A
Other languages
English (en)
Other versions
KR20150078055A (ko
Inventor
남동민
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020130167123A priority Critical patent/KR102203687B1/ko
Priority to US15/109,062 priority patent/US10257489B2/en
Priority to PCT/KR2014/012675 priority patent/WO2015102280A1/ko
Publication of KR20150078055A publication Critical patent/KR20150078055A/ko
Application granted granted Critical
Publication of KR102203687B1 publication Critical patent/KR102203687B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Mechanical Engineering (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명의 한 실시예에 따른 스테레오 카메라 장치는 소정의 패턴을 투사하는 패턴광 투사부, 상기 패턴을 촬영하는 제1 카메라부, 상기 패턴을 촬영하는 제2 카메라부, 그리고 상기 패턴광 투사부의 패턴광 투사를 제어하며, 상기 제1 카메라부로부터 촬영된 제1 영상과 상기 제2 카메라부로부터 촬영된 제2 영상을 분석하여 상기 제1영상과 상기 제2 영상 간의 렉티피케이션(rectification) 여부를 결정하는 제어부를 포함한다.

Description

스테레오 카메라 장치 및 그의 렉티피케이션 방법{STEREO CAMERA APPARATUS AND RECTIFICATION METHOD OF THE SAME}
본 발명은 스테레오 카메라 장치 및 그의 렉티피케이션 방법에 관한 것이다.
스테레오 카메라(stereo camera) 장치는 두 대의 카메라로부터 영상을 동시에 입력 받는 장치이다. 스테레오 카메라 장치는 좌우 영상으로부터 물체까지의 거리를 계산하므로, 3차원 영상을 획득하는데 사용될 수 있다.
이러한 스테레오 카메라는 동일한 행 상에 정렬되며, 이를 전제로 물체(object)의 깊이(depth)를 추출할 수 있다. 다만, 생산 과정에서 공차가 발생하거나, 사용 도중에 카메라의 위치가 어긋나는 경우, 스테레오 카메라는 동일한 행 상에 정렬되지 않을 수 있다. 특히, 차량에 장착되는 스테레오 카메라의 경우, 충격 등으로 인하여 위치가 어긋나기 쉽다.
이에, 정확한 깊이 추출 결과를 얻기 위하여, 좌우 영상이 동일한 행 상에 정렬된 두 대의 카메라로부터 촬영된 것처럼 바꾸는 렉티피케이션(rectification) 과정이 필요하다.
렉티피케이션을 위해서는 기준점이 필요하다. 일반적으로 체스 보드(chess board) 또는 3D 물체로부터 기준점을 추출할 수 있다. 다만, 체스 보드 또는 3D 물체를 설치하기 위하여 공간이 필요하며, 야간이나 지하 등 광량이 부족한 곳에서는 기준점을 인식하기 어려운 문제가 있다.
따라서, 시간상, 공간상 제약 없이 렉티피케이션을 수행할 수 있는 방법이 필요하다.
본 발명이 이루고자 하는 기술적 과제는 스테레오 카메라 장치 및 그의 렉티피케이션 방법을 제공하는 데 있다.
본 발명의 한 실시예에 따른 스테레오 카메라 장치는 소정의 패턴을 투사하는 패턴광 투사부, 상기 패턴을 촬영하는 제1 카메라부, 상기 패턴을 촬영하는 제2 카메라부, 그리고 상기 패턴광 투사부의 패턴광 투사를 제어하며, 상기 제1 카메라부로부터 촬영된 제1 영상과 상기 제2 카메라부로부터 촬영된 제2 영상을 분석하여 상기 제1영상과 상기 제2 영상 간의 렉티피케이션(rectification) 여부를 결정하는 제어부를 포함한다.
상기 제어부는 타이머를 구동하며, 상기 타이머가 만료되면 상기 패턴광 투사부에게 패턴광 투사를 요청할 수 있다.
상기 제어부는 차량의 전자제어유닛(Electronic Control Unit, ECU)에 연결되며, 상기 ECU로부터 충격 감지 신호를 수신한 후 상기 패턴광 투사부에게 패턴광 투사를 요청할 수 있다.
상기 제어부로부터 렉티피케이션 요청을 수신하면, 상기 제1 영상과 상기 제2 영상 간의 렉티피케이션을 수행하는 렉티피케이션부를 더 포함할 수 있다.
상기 패턴은 IR(InfraRed) 패턴일 수 있다.
본 발명의 한 실시예에 따른 스테레오 카메라 장치의 렉티피케이션 방법은 패턴광을 투사하는 단계, 제1 카메라를 이용하여 투사된 패턴을 촬영하는 단계, 제2 카메라를 이용하여 상기 투사된 패턴을 촬영하는 단계, 상기 제1 카메라에 의하여 촬영된 제1 영상과 상기 제2 카메라에 의하여 촬영된 제2 영상을 분석하는 단계, 그리고 상기 제1 영상과 상기 제2 영상 간의 왜곡이 있는 경우, 렉티피케이션을 수행하는 단계를 포함한다.
상기 패턴광은 미리 설정된 타이머가 만료되면 투사될 수 있다.
상기 패턴광은 상기 스테레오 카메라 장치의 충격을 감지하면 투사될 수 있다.
본 발명의 실시예에 따르면, 공간 상, 시간 상의 제약 없이 렉티피케이션을 수행할 수 있다. 즉, 렉티피케이션에 필요한 기준점을 추출하기 위한 3D 물체를 설치하거나 보관할 필요가 없으며, 광량이 부족한 야간이나 지하에서도 렉티피케이션이 가능하다. 또한, 사용자가 이상을 감지하기 전에 자동으로 렉티피케이션 여부를 결정하고 렉티피케이션을 수행하므로, 사용자가 서비스 센터 등을 직접 방문할 필요가 없으며, 영상의 질을 높일 수 있다.
도 1은 스테레오 카메라 장치를 렉티피케이션하는 일 예이다.
도 2는 본 발명의 한 실시예에 따른 스테레오 카메라 장치 및 이로부터 투사된 패턴이다.
도 3은 본 발명의 한 실시예에 따른 스테레오 카메라 장치의 블록도이다.
도 4는 본 발명의 한 실시예에 따른 스테레오 카메라 장치의 렉티피케이션 방법을 나타내는 흐름도이다.
도 5는 본 발명의 한 실시예에 따른 스테레오 카메라 장치의 패턴광 투사 제어 방법을 나타내는 순서도이다.
도 6은 본 발명의 다른 실시예에 따른 스테레오 카메라 장치의 패턴광 투사 제어 방법을 나타내는 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 스테레오 카메라 장치를 렉티피케이션하는 일 예이다.
도 1을 참조하면, 스테레오 카메라 장치(100)의 양 카메라(110, 120)를 렉티피케이션(rectification)하기 위하여, 기준점이 필요하다. 기준점을 추출하기 위하여, 카메라(110, 120) 전방에 체스 보드(C) 또는 3D 물체를 설치하여야 한다. 이때, 체스 보드(C) 또는 3D 물체를 설치하기 위한 공간이 필요하며, 체스 보드(C) 또는 3D 물체에 빛을 조사할 광원(L)이 필요하다.
이와 같이, 스테레오 카메라 장치를 렉티피케이션하기 위한 공간 상, 시간 상 제약을 줄일 필요가 있다.
본 발명의 실시예에 따르면, 스테레오 카메라 장치가 패턴광 투사부를 포함하며, 렉티피케이션을 수행하기 위한 기준점 추출을 위하여 패턴광 투사부가 소정의 패턴광을 투사한다.
도 2는 본 발명의 한 실시예에 따른 스테레오 카메라 장치 및 이로부터 투사된 패턴이다.
도 2를 참조하면, 스테레오 카메라 장치(200)는 양 카메라(210, 220) 및 패턴광 투사부(230)를 포함한다. 패턴광 투사부(230)는 스크린이나 벽에 소정의 패턴(P)을 투사한다. 패턴광 투사부(230)가 투사한 패턴(P)으로부터 렉티피케이션을 위한 기준점이 추출될 수 있다. 이에 따라, 체스 보드나 3D 물체를 설치할 필요가 없어지며, 별도의 광원이 요구되지 않는다.
이하, 본 발명의 한 실시예에 따른 스테레오 카메라 장치와 그의 렉티피케이션 방법을 구체적으로 설명한다.
도 3은 본 발명의 한 실시예에 따른 스테레오 카메라 장치의 블록도이고, 도 4는 본 발명의 한 실시예에 따른 스테레오 카메라 장치의 렉티피케이션 방법을 나타내는 흐름도이다.
도 3을 참조하면, 스테레오 카메라 장치(200)는 제1 카메라부(210), 제2 카메라부(220), 패턴광 투사부(230), 제어부(240) 및 렉티피케이션부(250)를 포함한다.
제1 카메라부(210)와 제2 카메라부(220)는 동일한 행 상에 소정 간격 떨어져 정렬될 수 있다. 제1 카메라부(210)와 제2 카메라부(220)는 좌우에서 동일한 영상을 촬영한다.
한편, 패턴광 투사부(230)는 제1 카메라부(210) 및 제2 카메라부(220) 사이에 위치한다. 패턴광 투사부(230)는 제1 카메라부(210) 및 제2 카메라부(220)와 동일한 행 상에 정렬될 수 있다. 패턴광 투사부(230)가 소정의 패턴광을 투사하면, 제1 카메라부(210)와 제2 카메라부(220)는 패턴광 투사부(230)가 투사한 패턴을 각각 촬영한다.
제어부(240)는 제1 카메라부(210) 및 제2 카메라부(220)와 연결되며, 제1 카메라부(210)로부터 촬영된 제1 영상과 제2 카메라부(220)로부터 촬영된 제2 영상을 분석하여 제1 영상과 제2 영상 간의 렉티피케이션(rectification) 여부를 결정한다.
렉티피케이션부(250)는 제어부(240)로부터 렉티피케이션 요청을 수신하면, 제1 영상과 제2 영상 간의 렉티피케이션을 수행한다. 이때, 패턴광 투사부(230)가 투사하는 패턴광의 패턴 및 패턴 내의 기준점 추출 방법은 렉티피케이션부(250)의 렉티피케이션 방법에 따라 달라질 수 있다.
도 3 및 4를 참조하면, 스테레오 카메라 장치(200)의 제어부(240)가 패턴광 투사부(230)에게 패턴광 투사를 요청하면(S300), 패턴광 투사부(230)는 소정의 패턴광을 투사한다(S310). 이때, 패턴광 투사부(230)는 전방의 스크린 또는 벽에 소정의 패턴광을 투사할 수 있다. 패턴광은 IR(InfraRed) 광일 수 있으며, 패턴광의 형상은 기준점 추출 알고리즘에 따라 다양하게 구현될 수 있다.
제1 카메라부(210)와 제2 카메라부(220)는 각각 패턴광 투사부(230)가 투사한 패턴을 촬영하고(S320, S330), 촬영한 영상을 제어부(240)에게 전송한다(S340, S350). 제1 카메라부(210)와 제2 카메라부(220)가 투사된 패턴광을 감지하면, 제1 카메라부(210)와 제2 카메라부(220)는 자동으로 패턴을 촬영하고, 촬영한 영상을 제어부(240)에게 전송하도록 설정될 수 있다.
제어부(240)는 제1 카메라부(210)와 제2 카메라부(220)로부터 각각 수신한 영상을 분석한다(S360). 이를 위하여, 제어부(240)는 각 영상으로부터 기준점을 추출하며, 기준점을 이용하여 영상의 왜곡 여부를 판단한다.
영상이 왜곡된 것으로 판단되는 경우(S370), 제어부(240)는 렉티피케이션부(250)에게 렉티피케이션을 요청하고(S380), 렉티피케이션부(250)는 렉티피케이션을 수행한다(S390). 즉, 렉티피케이션부(250)는 두 개의 영상이 동일한 행 상에 정렬된 카메라로부터 촬영된 것처럼 바꿀 수 있다. 예를 들어, 렉티피케이션부(250)는 광축(Optical axis) 및 기준점이 평행하며, 무한대에서 교차하도록 만들 수 있다. 이에 따라, 장면 겹침이 최대가 되며, 왜곡이 최소가 될 수 있다. 이때, 렉티피케이션부(250)는 에피폴라 기하(epipolar geometry)를 이용하여 렉티피케이션을 수행할 수 있다. 이와 같이, 렉티피케이션부(250)는 기구의 에러를 소프트웨어로 정정하여, 질 높은 영상을 제공할 수 있다.
한편, 본 발명의 실시예에 따른 스테레오 카메라 장치에서, 제어부(240)는 패턴광 투사부(230)의 패턴광 투사를 자동으로 제어할 수 있다.
도 5는 본 발명의 한 실시예에 따른 스테레오 카메라 장치의 패턴광 투사 제어 방법을 나타내는 순서도이다.
도 5를 참조하면, 스테레오 카메라 장치의 제어부(240)는 타이머를 시작한다(S500). 타이머는 사용자에 의하여 미리 설정되거나, 카메라 사양에 따라 미리 설정될 수 있다.
타이머가 만료되면(S510), 제어부(240)는 패턴광 투사부(230)에게 패턴광 투사를 요청한다(S520).
이와 같이, 스테레오 카메라 장치는 미리 설정된 시간이 경과하면 자동으로 패턴광을 투사하고, 영상의 왜곡 여부에 따라 렉티피케이션을 수행할 수 있다. 이에 따라, 사용자의 편의를 도모할 수 있으며, 깊이 추출의 질을 높일 수 있다.
도시되지 않았으나, 스테레오 카메라 장치가 렉티피케이션을 완료한 후, 타이머를 다시 시작할 수 있다.
도 6은 본 발명의 다른 실시예에 따른 스테레오 카메라 장치의 패턴광 투사 제어 방법을 나타내는 순서도이다. 자동차에 장착된 스테레오 카메라 장치를 가정한다.
도 6을 참조하면, 자동차의 전자제어유닛(Electronic Control Unit, ECU)은 충격을 감지한다(S600). ECU는 가속도 센서, 자이로 센서, 충격 센서 등과 연결되며, 이들 센서에 의하여 차량에 가해진 충격을 감지할 수 있다.
ECU가 충격을 감지한 경우, ECU는 스테레오 카메라 장치의 제어부(240)에게 충격 감지 신호를 전송한다(S610).
ECU로부터 충격 감지 신호를 수신한 경우, 제어부(240)는 양 카메라의 위치가 어긋나 있을 가능성이 있는 것으로 판단하고, 패턴광 투사부(230)에게 패턴광 투사를 요청한다(S620). 다만, 자동차가 이동 중인 경우, 패턴광 투사부(230)는 자동차가 정지한 후 패턴광을 투사할 수 있다. 이를 위하여, ECU는 자동차가 정지한 후 제어부(240)에게 충격 감지 신호를 전송하거나, 제어부(240)는 자동차가 정지한 후 패턴광 투사부(230)에게 패턴광 투사를 요청할 수 있다.
이와 같이, 차량에 충격이 가해진 경우, 자동으로 패턴광을 투사하고, 영상의 왜곡에 따라 렉티피케이션을 수행할 수 있다. 이에 따라, 사용자가 이상을 감지하기 전에 자동으로 렉티피케이션이 되므로, 사용자의 편의를 도모할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
200: 스테레오 카메라 장치.
210, 220: 카메라부
230: 패턴광 투사부
240: 제어부
250: 렉티피케이션부

Claims (8)

  1. 차량에 탑재되는 스테레오 카메라 장치에 있어서,
    전방에 소정의 패턴광을 투사하는 패턴광 투사부,
    상기 패턴광 투사부로부터 투사된 상기 패턴광을 촬영하는 제1 카메라부,
    상기 패턴광 투사부로부터 투사된 상기 패턴광을 촬영하는 제2 카메라부, 그리고
    상기 패턴광 투사부의 패턴광 투사를 제어하며, 상기 제1 카메라부로부터 촬영된 제1 영상과 상기 제2 카메라부로부터 촬영된 제2 영상을 분석하여 상기 제1 영상과 상기 제2 영상 간의 렉티피케이션(rectification) 여부를 결정하는 제어부
    를 포함하고,
    상기 제1 카메라부 및 상기 제2 카메라부는 동일한 행 상에서 소정 간격 서로 떨어져 정렬되고,
    상기 패턴광 투사부는 상기 제1 카메라부 및 상기 제2 카메라부와 동일한 행 상에서 상기 제1 카메라부와 상기 제2 카메라부 사이에 배치되며,
    상기 제어부는 상기 차량의 전자제어유닛(Electronic Control Unit, ECU)으로부터 충격 감지 신호를 수신한 후 상기 패턴광 투사부에게 상기 패턴광의 투사를 요청하고,
    상기 패턴광 투사부는 상기 차량이 멈춘 후 상기 패턴광을 투사하며,
    상기 제어부는 상기 제1 영상 및 상기 제2 영상이 왜곡되면 렉티피케이션 요청을 전송하는 스테레오 카메라 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 제어부로부터 상기 렉티피케이션 요청을 수신하면, 상기 제1 영상과 상기 제2 영상 간의 렉티피케이션을 수행하는 렉티피케이션부
    를 더 포함하는 스테레오 카메라 장치.
  5. 제1항에 있어서,
    상기 패턴은 IR(InfraRed) 패턴인 스테레오 카메라 장치.
  6. 차량에 탑재되는 스테레오 카메라 장치의 렉티피케이션 방법에 있어서,
    상기 차량의 전자제어유닛(Electronic Control Unit, ECU)으로부터 충격 감지 신호를 수신하는 단계,
    패턴광 투사부에게 패턴광의 투사를 요청하는 단계,
    상기 차량이 멈춘 후 상기 패턴광 투사부를 이용하여 전방에 상기 패턴광을 투사하는 단계,
    제1 카메라를 이용하여 투사된 패턴광을 촬영하는 단계,
    제2 카메라를 이용하여 상기 투사된 패턴광을 촬영하는 단계,
    상기 제1 카메라에 의하여 촬영된 제1 영상과 상기 제2 카메라에 의하여 촬영된 제2 영상을 분석하는 단계, 그리고
    상기 제1 영상과 상기 제2 영상 간의 왜곡이 있는 경우, 렉티피케이션을 수행하는 단계
    를 포함하고,
    상기 제1 카메라 및 상기 제2 카메라는 동일한 행 상에서 소정 간격 서로 떨어져 정렬되고,
    상기 패턴광 투사부는 상기 제1 카메라 및 상기 제2 카메라와 동일한 행 상에서 상기 제1 카메라 및 상기 제2 카메라 사이에 배치되는 렉티피케이션 방법.
  7. 삭제
  8. 삭제
KR1020130167123A 2013-12-30 2013-12-30 스테레오 카메라 장치 및 그의 렉티피케이션 방법 KR102203687B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130167123A KR102203687B1 (ko) 2013-12-30 2013-12-30 스테레오 카메라 장치 및 그의 렉티피케이션 방법
US15/109,062 US10257489B2 (en) 2013-12-30 2014-12-23 Stereo camera device and rectification method therefor
PCT/KR2014/012675 WO2015102280A1 (ko) 2013-12-30 2014-12-23 스테레오 카메라 장치 및 그의 렉티피케이션 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130167123A KR102203687B1 (ko) 2013-12-30 2013-12-30 스테레오 카메라 장치 및 그의 렉티피케이션 방법

Publications (2)

Publication Number Publication Date
KR20150078055A KR20150078055A (ko) 2015-07-08
KR102203687B1 true KR102203687B1 (ko) 2021-01-15

Family

ID=53493580

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130167123A KR102203687B1 (ko) 2013-12-30 2013-12-30 스테레오 카메라 장치 및 그의 렉티피케이션 방법

Country Status (3)

Country Link
US (1) US10257489B2 (ko)
KR (1) KR102203687B1 (ko)
WO (1) WO2015102280A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106416241B (zh) * 2014-03-21 2019-07-26 欧姆龙株式会社 用于检测和减轻光学系统中的光学损伤的方法和装置
US9716876B2 (en) * 2015-04-01 2017-07-25 Sony Corporation Power efficient multiple camera system
KR20230104298A (ko) * 2020-01-22 2023-07-07 노다르 인크. 비-강성 스테레오 비전 카메라 시스템
US11427193B2 (en) 2020-01-22 2022-08-30 Nodar Inc. Methods and systems for providing depth maps with confidence estimates
WO2023059365A1 (en) 2021-10-08 2023-04-13 Nodar Inc. Real-time perception system for small objects at long range for autonomous vehicles
WO2023244252A1 (en) 2022-06-14 2023-12-21 Nodar Inc. 3d vision system with automatically calibrated stereo vision sensors and lidar sensor

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060221072A1 (en) * 2005-02-11 2006-10-05 Se Shuen Y S 3D imaging system
KR100708352B1 (ko) * 2006-03-07 2007-04-18 한국과학기술원 모아레 원리의 2π 모호성과 위상천이 수단이 없도록실시되는 3차원 형상 측정장치 및 그 방법
JP2013210254A (ja) * 2012-03-30 2013-10-10 Canon Inc 三次元計測装置、三次元計測方法及び三次元計測プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101095670B1 (ko) 2009-07-06 2011-12-19 (주) 비전에스티 스테레오 카메라의 고속 칼리브레이션 및 렉티피케이션 방법 및 장치
JP5432835B2 (ja) * 2010-06-24 2014-03-05 アズビル株式会社 カメラのキャリブレーション方法
KR101222009B1 (ko) 2010-12-20 2013-01-14 성균관대학교산학협력단 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 렌즈 왜곡 보정 시스템과 그 방법
KR20120102987A (ko) 2011-03-09 2012-09-19 삼성전자주식회사 삼차원 측정기용 캘리브레이션 장치, 캘리브레이션 시스템 및 캘리브레이션 방법
KR20130027671A (ko) 2011-09-08 2013-03-18 한국전자통신연구원 깊이 정보 획득장치 및 이를 포함하는 3차원 정보 획득 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060221072A1 (en) * 2005-02-11 2006-10-05 Se Shuen Y S 3D imaging system
KR100708352B1 (ko) * 2006-03-07 2007-04-18 한국과학기술원 모아레 원리의 2π 모호성과 위상천이 수단이 없도록실시되는 3차원 형상 측정장치 및 그 방법
JP2013210254A (ja) * 2012-03-30 2013-10-10 Canon Inc 三次元計測装置、三次元計測方法及び三次元計測プログラム

Also Published As

Publication number Publication date
US20160330427A1 (en) 2016-11-10
WO2015102280A1 (ko) 2015-07-09
US10257489B2 (en) 2019-04-09
KR20150078055A (ko) 2015-07-08

Similar Documents

Publication Publication Date Title
KR102203687B1 (ko) 스테레오 카메라 장치 및 그의 렉티피케이션 방법
US20140267427A1 (en) Projector, method of controlling projector, and program thereof
EP3324384B1 (en) Traffic light recognition device and traffic light recognition method
EP3139600B1 (en) Projection method
JP2014089081A5 (ja) 測定装置及びその制御方法、プログラム
WO2017215351A1 (zh) 摄像装置识别范围的调整方法及装置
JP2016540267A5 (ko)
JP6789767B2 (ja) 監視システム
JP2012014019A5 (ja) 光学機器、撮像装置、及び制御方法
JP6652463B2 (ja) 車載カメラ装置、車載カメラ調整装置及び車載カメラ調整システム
JP6887356B2 (ja) ステレオ画像処理装置
JP2011033594A (ja) 車両用距離算出装置
WO2023241263A1 (zh) 定位装置及定位系统
JP2009212734A (ja) 自動校正単眼ステレオ視装置
KR101617068B1 (ko) 편광 차분 카메라를 이용한 영상처리 시스템
US10281265B2 (en) Method and system for scene scanning
JP2016181824A5 (ko)
JP2006153768A (ja) 位置検出装置及びその補正方法
JPWO2019172102A1 (ja) ステレオカメラ装置
JP2014194618A (ja) 車外環境認識装置および車外環境認識方法
JP2008064716A (ja) 車両方位補正システム
KR20200063310A (ko) 시계열 영상 데이터를 이용한 차량 주변의 사물 인식 장치 및 방법
JP2013114290A5 (ja) 安全支援装置、安全支援方法および車両
KR20140104289A (ko) 감시카메라와 이를 이용한 얼굴 검출 시스템 및 얼굴 검출 방법
TWI621554B (zh) 基線可調式立體視覺裝置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant