KR101076406B1 - 장애물체 위치 및 속도 추정 장치 및 방법 - Google Patents

장애물체 위치 및 속도 추정 장치 및 방법 Download PDF

Info

Publication number
KR101076406B1
KR101076406B1 KR1020090117223A KR20090117223A KR101076406B1 KR 101076406 B1 KR101076406 B1 KR 101076406B1 KR 1020090117223 A KR1020090117223 A KR 1020090117223A KR 20090117223 A KR20090117223 A KR 20090117223A KR 101076406 B1 KR101076406 B1 KR 101076406B1
Authority
KR
South Korea
Prior art keywords
pixel
parallax
estimating
ncc
center
Prior art date
Application number
KR1020090117223A
Other languages
English (en)
Other versions
KR20110060600A (ko
Inventor
임영철
이충희
권순
이종훈
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020090117223A priority Critical patent/KR101076406B1/ko
Publication of KR20110060600A publication Critical patent/KR20110060600A/ko
Application granted granted Critical
Publication of KR101076406B1 publication Critical patent/KR101076406B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 스테레오 카메라에서 획득된 좌우 영상으로부터 스테레오 매칭 알고리즘을 이용하여 깊이맵(Depth map)을 추출하고, 깊이맵 정보를 이용하여 거리나 속도 등을 추정하고자 하는 객체를 추출하고, 검출된 관심영역(ROI)에 대하여 정수시차를 추출하고, 상기 정수시차들 중에 실제 객체에 해당(dominant region)하면서 가장 가까운 거리에 있는 영역들(max dominant region) 중에 수직 에지 성분들로 구성된 화소들만을 특징점으로 추출하고, 좌우 영상에서 상기 특징점들이 분포된 라인 단위의 벡터인 스트라이퍼들(stripes)을 추출하고, 상기 스트라이퍼들로부터 특징점들로만 구성된 정규 유사도(Normalized Cross Correlation) 벡터(NCC vector)를 생성하고, 추정된 정밀시차를 우영상에 반영하여, 좌우 영상의 객체의 중심점을 구하고, 추정된 2개의 객체의 중심 화소들과 IPM(Inverse Perspective Mapping)을 이용하여 3차원 좌표 상의 객체의 위치를 얻고, 3차원 좌표상의 객체의 위치를 확장칼만 필터를 이용하여 동적(dynamic)으로 추정하여 객체의 위치 및 속도를 최적화하여 추정하는 장애물체 속도 및 위치 추정 방법 및 장치를 제공한다.
스테레오, 비전, 시차맵,

Description

장애물체 위치 및 속도 추정 장치 및 방법{Apparatus and Method for Extracting Location and velocity of Obstacle}
본 발명은 장애물체의 위치 및 속도를 추정하는 장애물체 위치 및 속도 추정 장치 및 방법에 관한 것이다. 더욱 상세하게는, 스테레오 비전을 이용하여 장애물체의 위치 및 속도를 추정하는 장애물체 위치 및 속도 추정 장치 및 방법에 관한 것이다.
3차원 공간에서 장애물 위치 결정(Obstacle Localization)은 지능형 차량과 로봇 항법에서 중요한 문제 중 하나이다. 특히, 지능형 차량에서 필수 기능 중 하나인 자동 순항 제어(ACC: Adaptive Cruise Control)와 차선 유지 시스템(LKS: Lane Keeping System)의 구현에서 매우 중요하다. 장애물의 위치를 결정하기 위해서는 카메라, 소나(Sonar), 레이더, 광선 레이더(Lidar)와 같은 다양한 센서들을 이용한다. 최근에는 컴퓨터 성능과 통합 기술(Integration Technology)의 향상으로 데이터 처리 시간이 감소하여, 많은 연구자가 컴퓨터 비전(Computer Vision)을 이용하여 장애물 위치 결정을 수행하고 있다.
컴퓨터 비전은 데이터 처리 시간과 관련된 몇 가지 문제점들이 있지만, 하나 의 센서로부터 많은 정보를 이용할 수 있는 사람의 시각과 유사한 많은 장점들이 있다. 최근 모노 비전(Mono Vision)의 많은 문제점을 극복할 수 있는 스테레오 비전(Stereo Vision)이 연구되어 왔다.
스테레오 카메라를 이용한 위치 측정에서는 좌우 카메라 모델을 이용하여, 각각에 대하여 역변환을 취하게 되면, 좌우 영상에 촬영된 하나의 점이 전역 좌표계 상에서 하나의 좌표값으로 표현된다. 이 때, 영상에서 표현되는 좌표 값이 화소 단위로 표현되게 때문에 양자화 오차가 발생하며, 양자화 오차가 거리로 환산될 때, 거리가 멀어질수록 오차가 커지게 되어 거리 정밀도가 떨어지게 된다. 이를 극복하기 위하여, 부화소 보간법을 이용한 정밀 시차 추정 방법을 사용하지만, 실제 환경에서는 영상내의 균등 영역에 의하여 스테레오 매칭 오류와 시차 추정 오차가 발생하여, 거리 정확도 및 정밀도가 저하되는 문제점이 있다.
전술한 문제점을 해결하기 위해 본 발명은, 원거리에서의 거리 정밀도를 향상시킬 수 있으며, 확장형 칼만필터를 적용하여 객체를 추정함으로써, 위치 및 속도 오차를 최소화할 수 있는 스테레오 카메라를 이용한 장애 물체 위치 및 속도 추정 장치 및 방법을 제공하는데 그 목적이 있다.
또한 본 발명은 시차를 부화소 단위로 정밀하게 추정하면 측정할 시차의 범위 및 스테레오 매칭에 필요한 해상도를 줄일 수 있으며, 이는 정수 시차를 추정하는 방법에서 객체의 거리 추정에 필요한 연산 시간 및 비용을 최소화할 수 있는 스테레오 카메라를 이용한 장애 물체 위치 및 속도 추정 장치 및 방법을 제공하는데 다른 목적이 있다.
전술한 목적을 달성하기 위해 본 발명은, 스테레오 카메라에서 획득된 좌우 영상으로부터 스테레오 매칭 알고리즘을 이용하여 깊이맵(Depth map)을 추출하는 스테레오 매칭단계; 깊이맵 정보를 이용하여 거리나 속도 등을 추정하고자 하는 객체를 추출하는 객체 검출단계; 검출된 관심영역(ROI)에 대하여 정수시차를 추출하는 정수시차 추정단계; 상기 정수시차들 중에 실제 객체에 해당(dominant region)하면서 가장 가까운 거리에 있는 영역들(max dominant region) 중에 수직 에지 성분들로 구성된 화소들만을 특징점으로 추출하고, 좌우 영상에서 상기 특징점들이 분포된 라인 단위의 벡터인 스트라이퍼들(stripes)을 추출하고, 상기 스트라이퍼들로부터 특징점들로만 구성된 정규 유사도(Normalized Cross Correlation) 벡터(NCC vector)를 생성하고, 생성된 정규 유사도 벡터들에 대한 정밀시차들을 추정하고, 추정된 정밀시차들의 평균값을 이용하여 상기 객체의 정밀 시차를 추정하는 정밀시차 추정단계; 추정된 정밀시차를 우영상에 반영하여, 좌우 영상의 객체의 중심점을 구하는 객체중심 추정단계; 추정된 2개의 객체의 중심 화소들과 IPM(Inverse Perspective Mapping)을 이용하여 3차원 좌표 상의 객체의 위치를 얻는 IPM단계; 및 3차원 좌표상의 객체의 위치를 확장칼만 필터를 이용하여 동적(dynamic)으로 속도 및 위치 추정하여 객체의 위치 및 속도를 최적화하여 추정하는 확장칼만 필터단계를 포함하며, 상기 정밀시차 추정단계에서, 윈도우의 중심 픽셀이 k인 경우 생성된 정규 유사도 벡터에서 상기 좌우영상 중 하나의 영상의 객체의 중심을 중심 픽셀로 하여 설정된 윈도우와 우영상에서 대응 픽셀을 중심 픽셀로 하여 설정된 윈도우의 NCC 값인 NCC(k1), 상기 하나의 영상의 객체의 중심을 중심 픽셀로 하여 설정된 윈도우와 상기 좌우영상 중 다른 하나의 영상의 대응 픽셀에서 우측으로 한 픽셀 이동한 픽셀을 중심 픽셀로 하여 설정된 윈도우의 NCC 값인 NCC(k1-1), 및 상기 하나의 영상의 객체의 중심을 중심 픽셀로 하여 설정된 윈도우와 상기 다른 하나의 영상의 상기 대응 픽셀에서 한 픽셀 이동한 픽셀을 중심 픽셀로 하여 설정된 윈도우의 NCC 구한 값인 NCC(k1+1)을 이용하여 2차원 포물선을 형성할 경우 정규 유사도가 최대가 되는 지점의 시차를 정밀시차를 추정하여, 생성된 정규 유사도 벡터들에 대한 정밀시차들을 추정하는 것은 특징으로 하는 장애물체 속도 및 위치 추정방법을 제공한다. 또한 본 발명은 스테레오 카메라에서 획득된 좌우 영상으로부터 스테레오 매칭 알고리즘을 이용하여 깊이맵(Depth map)을 추출하는 스테레오 매칭부;
깊이맵 정보를 이용하여 거리나 속도 등을 추정하고자 하는 객체를 추출하는 객체 검출부;
검출된 관심영역(ROI)에 대하여 정수시차를 추출하는 정수시차 추정부;
상기 정수시차들 중에 실제 객체에 해당(dominant region)하면서 가장 가까운 거리에 있는 영역들(max dominant region) 중에 수직 에지 성분들로 구성된 화소들만을 특징점으로 추출하고, 좌우 영상에서 상기 특징점들이 분포된 라인 단위의 벡터인 스트라이퍼들(stripes)을 추출하고, 상기 스트라이퍼들로부터 특징점들로만 구성된 정규 유사도(Normalized Cross Correlation) 벡터(NCC vector)를 생성하고, 생성된 정규 유사도 벡터들에 대한 정밀시차들을 추정하고, 추정된 정밀시차들의 평균값을 이용하여 상기 객체의 정밀 시차를 추정하는 정밀시차 추정부; 추정된 정밀시차를 우영상에 반영하여, 좌우 영상의 객체의 중심점을 구하는 객체중심 추정부; 추정된 2개의 객체의 중심 화소들과 IPM(Inverse Perspective Mapping)을 이용하여 3차원 좌표 상의 객체의 위치를 얻는 IPM부; 및 3차원 좌표상의 객체의 위치를 확장칼만 필터를 이용하여 동적(dynamic)으로 속도 및 위치 추정하여 객체의 위치 및 속도를 최적화하여 추정하는 확장칼만 필터부를 포함하며, 상기 정밀시차 추정부는, 윈도우의 중심 픽셀이 k인 경우 생성된 정규 유사도 벡터에서 상기 좌우영상 중 하나의 영상의 객체의 중심을 중심 픽셀로 하여 설정된 윈도우와 우영상에서 대응 픽셀을 중심 픽셀로 하여 설정된 윈도우의 NCC 값인 NCC(k1), 상기 하나의 영상의 객체의 중심을 중심 픽셀로 하여 설정된 윈도우와 상기 좌우영상 중 다른 하나의 영상의 대응 픽셀에서 우측으로 한 픽셀 이동한 픽셀을 중심 픽셀로 하여 설정된 윈도우의 NCC 값인 NCC(k1-1), 및 상기 하나의 영상의 객체의 중심을 중심 픽셀로 하여 설정된 윈도우와 상기 다른 하나의 영상의 상기 대응 픽셀에서 한 픽셀 이동한 픽셀을 중심 픽셀로 하여 설정된 윈도우의 NCC 구한 값인 NCC(k1+1)을 이용하여 2차원 포물선을 형성할 경우 정규 유사도가 최대가 되는 지점의 시차를 정밀시차를 추정하여, 상기 생성된 정규 유사도 벡터들에 대한 정밀시차들을 추정하는 것을 특징으로 하는 장애물체 속도 및 위치 추정장치를 제공한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 원거리에서의 거리 정밀도를 향상시킬 수 있으며, 확장형 칼만필터를 적용하여 객체를 추정함으로써, 위치 및 속도 오차를 최소화할 수 있는 효과가 있다.
또한 본 발명은 시차를 부화소 단위로 정밀하게 추정하면 측정할 시차의 범위 및 스테레오 매칭에 필요한 해상도를 줄일 수 있으며, 이는 정수 시차를 추정하는 방법에서 객체의 거리 추정에 필요한 연산 시간 및 비용을 최소화할 수 있는 효과가 있다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
이하에서는 본 발명의 실시예를 설명하는 데 있어서, 영상 내의 임의의 대상이 도로인 것으로 가정한다. 즉, 차량에 탑재된 컴퓨터 비전 시스템이 두 개 이상의 카메라를 이용하여 도로를 촬영하고 촬영된 도로에 대한 이미지에서 장애물을 검출하기 위해 도로의 특징 정보를 추출하는 것을 예를 들어, 본 발명의 실시예를 설명한다. 다만, 이러한 가정은 설명의 편의를 위한 것일 뿐, 본 발명은 영상 내의 임의의 대상으로서 도로뿐만 아니라 인도, 책상, 실내, 운동장 등의 사물이거나 얼굴, 볼, 복부, 다리 등 사람의 신체 일부 등 다양한 형태의 물체일 수 있다.
도 1은 스테레오 카메라와 3차원 좌표계의 관계도이다.
도 1에 도시한 바와 같이, 3차원 전역 좌표계에서 하나의 점은 스테레오 비전에서 획득된 좌우 영상에서 하나의 화소로 맵핑된다. 아래 수학식 1과 같이 이러한 카메라 모델을 역으로 변환하면(IPM : Inverse Perspective Mapping), 좌우 영상에서 획득된 하나의 점은 3차원 공간상에서 위치를 구할 수 있다.
Figure 112009073896983-pat00001
수학식 1에서 는 전역 좌표계에서 3차원 좌표 위치를 나타내고, 는 좌, 우 영상에서 획득된 x좌표, 는 좌우영상에서 획득된 y좌표를 나타낸다. 는 스테레오 매칭에서 획득된 시차를 나타낸다. 또한, 는 화소 단위의 초점 길이를 나타내며, b는 두 카메라 간의 거리, 는 카메라와 도로와의 각도를 나타낸다.
스테레오 매칭은 한 영상의 기준점으로부터 다른 영상의 대응점을 찾는 문제로 복잡성을 줄이기 위하여 에피폴라 라인을 정합함으로써, 2차원 검색을 1차원 검색으로 변환할 수 있다. 에피폴라 라인을 정합하기 위하여, 보정(calibration)과 교정(rectification)등의 전처리 과정이 필요하며, 이 결과로써 카메라의 내부(interisic) 및 외부 파라미터를 추출할 수 있다.
차량에서와 같이 원거리의 장애물체의 거리를 측정할 때는 , 즉 시차의 변화에 대하여 주요하게 결정되며, 이는 곧, 시차의 오차가 거리의 오차로 변환된다는 것을 의미한다. 가까운 거리에서는 시차의 오차에 대한 거리의 오차가 영향을 적게 받지만, 원거리에서는 시차의 작은 오차에도 거리 오차가 커지게 된다.
도 2는 시차와 거리와의 관계 그래프이다.
수학식 1에서 는 화소의 단위로 표현되기 때문에 양자화 오차가 생기고 이로 인해 원거리에서 거리 오차가 커지게 된다. 이를 해결하기 위하여 기존 발명에서는 NCC(normalized cross correlation)기반의 부화소 시차 추정법을 이용하여, 소수 단위의 부화소 시차를 추정한다. 제한된 영상(인위적으로 생성한 영상)에서 부화소 시차 추정법을 이용하면 스테레오 매칭에서 추정된 화소 단위의 시차보다 정확도(accuracy)를 높일 수 있다. 하지만 실제 영상에서는 균등한 영역(homogeneous region)에서, 매칭 오류와 시차 추정 오차가 발생하게 되어 정확도(accuracy) 및 정밀도(precision)가 저하되는 현상이 발생한다(도 3 참조).
본 발명은 매칭 오차와 시차 추정 오차를 최소화할 수 있는 특징점 기반 정밀 시차 추정 방법을 제안하고, 이를 기반으로 확장칼만 필터(EKF)를 적용함으로써, 정밀도를 향상시키고, 객체의 위치 및 속도를 추정할 수 있는 장치 및 방법을 제공한다.
본 발병은 스테레오 카메라를 이용하여 정밀한 시차를 추정하여 장애물체의 위치를 추정할 수 있는 방법과 추정된 시차를 기반으로 확장형 칼만 필터(EKF : extended Kalman filter)를 적용함으로써 정밀한 위치 및 속도를 연속적으로 추정할 수 있는 장치 및 방법을 제공한다.
도 4는 본 발명의 일실시예에 따른 장애물체 위치 및 속도 추정 장치의 블록도이다.
본 발명의 일실시예에 따른 장애물체 속도 및 위치 추정 장치는 스테레오 매칭부(410) 및 객체 검출부(420), 정수시차 추정부(430), 정밀시차 추정부(450), 객체중심 추정부(460), PMI부(470), 확장칼만 필터부(480)를 포함한다.
도 4에 도시하지 않은 제1 영상 촬영 장치와 제2 영상 촬영 장치는 스테레오 비전 시스템에서 거리, 속도 등의 추정에 필요한 좌측 영상과 우측 영상을 각각 촬영한다. 영상 촬영 장치는 예를 들어, 카메라 등이 사용될 수 있다. 제1 영상 촬영 장치와 제2 영상 촬영 장치)에서 얻어진 좌영상과 우영상(400)은 스테레오 매칭부(410)에 입력된다.
스테레오 매칭부(410)는 스테레오 카메라에서 획득된 좌우 영상(400)으로부터 스테레오 매칭 알고리즘을 이용하여 깊이맵(Depth map)을 추출한다.
객체 검출부(730)는 깊이맵 정보를 이용하여 거리나 속도 등을 추정하고자 하는 객체를 추출할 수 있다. 객체는 도로상의 장애물체일 수 있다. 이 장애물체는 V-변위(v-disparity), 컬럼 검출(column detection), 아다부스트(adaboost), SVM(support vector machine) 등의 알고리즘을 이용하여 검출될 수 있다.
정수시차 추정부(430)는 검출된 관심영역(ROI :region of interest)에 대하여 정수 시차를 추출한다. 정수 시차를 추출할 때, 관심영역 안에는 객체의 형태 및 배경 성분에 의하여 다양한 시차 값이 존재할 수 있다. 정수시차 추정부(430)는 이러한 시차 값들 중에 가장 주요하면서(dominant), 가장 가까운 거리에 위치한 영역(max dominant region)을 추출한다.
도 5는 도 4의 정수시차 추정부에서 가장 가까운 거리의 영역을 추출하는 방법의 흐름도이다.
도면 5에서와 같이, 원영상에서 획득된 관심 영역(ROI) 내에서 가장 주요한 영역(그래프에서 초록색 원형 표시 부분)을 추출한다. 가장 주요한 영역, 즉 객체에 해당되는 영역들 중에서 가장 가까운 영역(그래프에서 붉은색 원형 표시 부분)을 추출한다. 가장 가까운 영역(max dominant region)내에서 수직 에지 성분들로 구성된 화소들만을 특징점으로 추출하다. 좌우 영상에서 이러한 특징점들이 분포된 라인 단위의 벡터, 즉 스트라이퍼들(stripes)을 추출하고, 이 스트라이퍼들로부터 특징점들로만 구성된 정규 유사도(Normalized Cross Correlation) 벡터(NCC vector)를 생성한다. 도 5에 도시한 바와 같이 n번째 스트라이퍼에서 전체 화소들 중 특징점들(도 5의 1 내지 9)만으로 NCC 벡터를 생성한다. 정규 유사도(NCC)는 윈도우 내 픽셀의 유사도 정도를 정규화한 값을 나타낸다.
도 6은 특징점 및 객체 중심 추출을 나타낸 도면이다.
정밀시차 추정부(450)는 생성된 NCC 벡터들의 정규 유사도(NCC)를 이용하여 이차원 포물선 상에서 부화소 단위의 정밀 시차를 추정한다.
예를 들어, 좌영상의 객체의 중심을 중심 픽셀로 하여 설정된 윈도우와 우영상에서 대응 픽셀을 중심 픽셀로 하여 설정된 윈도우의 NCC 값을 NCC(k1)이라고 하고, 좌영상의 객체의 중심을 중심 픽셀로 하여 설정된 윈도우와 우영상의 대응 픽셀에서 우측으로 한 픽셀 이동한 픽셀을 중심 픽셀로 하여 설정된 윈도우의 NCC 값 을 NCC(k1-1)이라고 하고, 좌영상 의 객체의 중심을 중심 픽셀로 하여 설정된 윈도우와 상기 우영상의 상기 대응 픽셀에서 좌측으로 한 픽셀 이동한 픽셀을 중심 픽셀로 하여 설정된 윈도우의 NCC 구한 값을 NCC(k1+1)이라고 한다. 이하 수학식 2, 3은 상기 NCC를 구하는 수식을 나타낸다.
Figure 112009073896983-pat00002
Figure 112009073896983-pat00003
이때 수학식 2와 수학식 3에서 W(x,y)는 윈도우 안의 x,y 좌표에서의 밝기값, Wm(x,y)는 윈도우 안의 전체 픽셀에 대한 휘도의 평균값, W'(x,y)는 x,y 좌표에서의 휘도값을 전체 픽셀에 대한 휘도의 평균값을 뺀 값을 놈(norm) 값으로 나눈 값을 나타낸다. 이 수학식 3에서 연산자 ⓧ는 좌측 영상의 윈도우 안에 있는 각 픽셀의 WL'(x,y) 값과 우측 영상의 윈도우 안에 있는 각 픽셀의 WR'(x,y) 값을 크로스 코릴레이션(cross correlation)하는 연산을 나타낸다. d0는 정수 시차 추정부에서 획득된 가장 가까운 영역(max dominant region)에 해당되는 시차값을 나타낸다. k는 윈도우의 위치를 이동하여 NCC 값을 구하는 경우에 윈도우의 중심 픽셀이 이동한 양을 나타낸다. 상기 예에서는 좌영상을 기준 영상으로 하여 우영상의 윈도우를 이동하는 경우를 예로 하였으나, 상기에서 언급한 바와 같이 구현예에 따라 우영상 을 기준 영상으로 한 경우에는, 좌영상의 윈도우를 이동하는 경우로 구현할 수도 있다.
상기 구하여진 3개의 NCC 값(NCC(k1-1), NCC(k1), NCC(k1+1))을 이용하여 정규 유사도가 최대가 되는 정밀 시차를 추정할 수 있다. 예를 들어, 상기 3개의 NCC 값이 2차 포물선을 형성한다고 가정한다.
도 7은 3개의 NCC 값이 좌우 대칭형의 2차 포물선을 형성하는 경우 부화소 시차 추정 방법을 도시하고 있다.
좌영상 윈도우의 중심 픽셀과 우영상 윈도우의 중심 픽셀 차이가 k1=dint인 경우 NCC(dint) 값이고, 중심 픽셀 차이가 dint+1인 경우 NCC(dint+1) 값이고, 중심 픽셀 차이가 dint-1인 경우 NCC(dint-1) 값이 2차 포물선 좌표에 나타난 것을 볼 수 있다. 도 7에서 정규 유사도가 최대가 되는 지점의 시차(dacc)와 좌우 윈도우 중심 픽셀의 시차(dint)와 차이가 남을 알 수 있다. 이는 픽셀을 기초로 한 스테레오 비전 시스템에 있어서 픽셀간 양자화 오차에 기인한다. 정규 유사도(NCC)가 최대가 되는 지점의 부화소 시차(dacc)는 상기 2차 포물선(y=ax2+bx+c)과 3개의 NCC 값을 이용하여 구할 수 있다.
이때, 스트라이퍼의 개수는 N개를 만들 수 있으며, N개 스트라이퍼들의 정밀시차의 평균을 이용하여, 객체의 정밀 시차를 추정한다.
추정된 부화소 시차(dacc), 즉 객체의 정밀시차를 우영상에 반영하여, 좌우 영상의 객체의 중심점을 구한다.
IPM부(470)는 추정된 2개의 객체의 중심 화소들과 앞에서 설명한 IPM(Inverse Perspective Mapping)을 이용하여 3차원 좌표 상의 객체의 위치를 얻을 수 있다.
확장칼만 필터부(480)는 3차원 좌표상의 객체의 위치를 확장칼만 필터를 이용하여 동적(dynamic)으로 속도 및 위치 추정하여 객체의 위치 및 속도를 최적화하여 추정할 수 있다.
도 8a 내지 도 8b는 정밀 시차와 IPM 기반의 확장칼만 필터를 이용하여 위치 및 속도에 대하여 실제 도로상에서 실험한 결과를 보여준다.
도 9는 본 발명의 다른 실시예에 따른 장애물체 속도 및 위치 추정방법의 흐름도이다.
본 발명의 다른 실시예에 따른 장애물체 속도 및 위치 추정 방법은 스테레오 카메라에서 획득된 좌우 영상으로부터 스테레오 매칭 알고리즘을 이용하여 깊이맵(Depth map)을 추출하는 스테레오 매칭단계(910) 및 깊이맵 정보를 이용하여 거리나 속도 등을 추정하고자 하는 객체를 추출하는 객체 검출단계(920), 검출된 관심영역(ROI)에 대하여 정수 시차를 추출하는 정수시차 추정단계(930), 이러한 시 차 값들 중에 가장 주요하면서(dominant), 가장 가까운 거리에 위치한 영역(max dominant region)을 추출하고, 원영상에서 획득된 관심 영역(ROI) 내에서 수직 에지 성분들을 추출하고, 가장 주요하면서, 가장 가까운 영역(max dominant region) 내에서 수직 에지 성분들로 구성된 화소들만을 특징점으로 추출하고, 좌우 영상에서 이러한 특징점들이 분포된 라인 단위의 벡터, 즉 스트라이퍼들(stripes)을 추출하고, 이 스트라이퍼들로부터 특징점들로만 구성된 정규 유사도(Normalized Cross Correlation) 벡터(NCC vector)를 생성하는 정밀시차 추정단계(950), 추정된 부화소 시차(dacc)를 우영상에 반영하여, 좌우 영상의 객체의 중심점을 구하는 객체중심 추정단계(960), 추정된 2개의 객체의 중심 화소들과 앞에서 설명한 IPM(Inverse Perspective Mapping)을 이용하여 3차원 좌표 상의 객체의 위치를 얻는 IPM단계(970), 3차원 좌표상의 객체의 위치를 확장칼만 필터를 이용하여 동적(dynamic)으로 속도 및 위치 추정하여 객체의 위치 및 속도를 최적화하여 추정하는 확장칼만 필터단계(980)를 포함한다.
각 단계들에 대한 자세한 설명은 도 1 내지 도8을 참조하여 설명한 장애물체 속도 및 위치 추정 장치의 각 구성요소들에 대한 설명과 동일하므로 자세한 설명을 생략한다.
본 발명의 실시예들에 따른 스테레오 카메라를 이용한 장애 물체 위치 및 속도 추정 장치 및 방법은 원거리에서의 거리 정밀도를 향상시킬 수 있으며, 확장형 칼만필터를 적용하여 객체를 속도 및 위치 추정함으로써, 위치 및 속도 오차를 최 소화할 수 있다.
본 발명의 실시예들에 따른 스테레오 카메라를 이용한 장애 물체 위치 및 속도 추정 장치 및 방법을 이용하여 시차를 부화소 단위로 정밀하게 추정하면 측정할 시차의 범위 및 스테레오 매칭에 필요한 해상도를 줄일 수 있으며, 이는 정수 시차를 추정하는 방법에서 객체의 거리 추정에 필요한 연산 시간 및 비용을 최소화 할 수 있다.
본 발명은 지능형 자동차에서 스테레오 비전 시스템을 이용한 사고 경감 시스템, 운전 보조 시스템, 자율 주행 등의 기술로 응용될 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
도 1은 스테레오 카메라와 3차원 좌표계의 관계도이다.
도 2는 시차와 거리와의 관계 그래프이다.
도 3은 매칭 오류 및 시차 추정 오차를 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 장애물체 속도 및 위치 추정 장치의 블록도이다.
도 5는 도 4의 정수시차 추정부의 정수시차 추정 방법의 흐름도이다.
도 6은 특징점 및 객체 중심 추출을 나타낸 도면이다.
도 7은 3개의 NCC 값이 좌우 대칭형의 2차 포물선을 형성하는 경우 부화소 시차 추정 방법을 도시하고 있다.
도 8a 내지 도 8b는 정밀 시차와 IPM 기반의 확장칼만 필터를 이용하여 위치 및 속도에 대하여 실제 도로상에서 실험한 결과를 보여준다.
도 9는 본 발명의 다른 실시예에 따른 장애물체 속도 및 위치 추정방법의 흐름도이다.

Claims (6)

  1. 스테레오 카메라에서 획득된 좌우 영상으로부터 스테레오 매칭 알고리즘을 이용하여 깊이맵(Depth map)을 추출하는 스테레오 매칭단계;
    깊이맵 정보를 이용하여 거리나 속도 등을 추정하고자 하는 객체를 추출하는 객체 검출단계;
    검출된 관심영역(ROI)에 대하여 정수시차를 추출하는 정수시차 추정단계;
    상기 정수시차들 중에 실제 객체에 해당(dominant region)하면서 가장 가까운 거리에 있는 영역들(max dominant region) 중에 수직 에지 성분들로 구성된 화소들만을 특징점으로 추출하고, 좌우 영상에서 상기 특징점들이 분포된 라인 단위의 벡터인 스트라이퍼들(stripes)을 추출하고, 상기 스트라이퍼들로부터 특징점들로만 구성된 정규 유사도(Normalized Cross Correlation) 벡터(NCC vector)를 생성하고, 생성된 정규 유사도 벡터들에 대한 정밀시차들을 추정하고, 추정된 정밀시차들의 평균값을 이용하여 상기 객체의 정밀 시차를 추정하는 정밀시차 추정단계;
    추정된 정밀시차를 우영상에 반영하여, 좌우 영상의 객체의 중심점을 구하는 객체중심 추정단계;
    추정된 2개의 객체의 중심 화소들과 IPM(Inverse Perspective Mapping)을 이용하여 3차원 좌표 상의 객체의 위치를 얻는 IPM단계; 및 ,
    3차원 좌표상의 객체의 위치를 확장칼만 필터를 이용하여 동적(dynamic)으로 속도 및 위치 추정하여 객체의 위치 및 속도를 최적화하여 추정하는 확장칼만 필터단계를 포함하며,
    상기 정밀시차 추정단계에서, 윈도우의 중심 픽셀이 k인 경우 생성된 정규 유사도 벡터에서 상기 좌우영상 중 하나의 영상의 객체의 중심을 중심 픽셀로 하여 설정된 윈도우와 우영상에서 대응 픽셀을 중심 픽셀로 하여 설정된 윈도우의 NCC 값인 NCC(k1), 상기 하나의 영상의 객체의 중심을 중심 픽셀로 하여 설정된 윈도우와 상기 좌우영상 중 다른 하나의 영상의 대응 픽셀에서 우측으로 한 픽셀 이동한 픽셀을 중심 픽셀로 하여 설정된 윈도우의 NCC 값인 NCC(k1-1), 및 상기 하나의 영상의 객체의 중심을 중심 픽셀로 하여 설정된 윈도우와 상기 다른 하나의 영상의 상기 대응 픽셀에서 한 픽셀 이동한 픽셀을 중심 픽셀로 하여 설정된 윈도우의 NCC 구한 값인 NCC(k1+1)을 이용하여 2차원 포물선을 형성할 경우 정규 유사도가 최대가 되는 지점의 시차를 정밀시차를 추정하여, 생성된 정규 유사도 벡터들에 대한 정밀시차들을 추정하는 것은 특징으로 하는 장애물체 속도 및 위치 추정방법.
  2. 제 1 항에 있어서,
    상기 객체 검출단계에서, V-변위(v-disparity), 컬럼 검출(column detection), 아다부스트(adaboost), SVM(support vector machine) 중 하나의 알고리즘을 이용하여 깊이맵 정보를 이용하여 거리나 속도 등을 추정하고자 하는 객체를 추출하는 것을 특징으로 하는 장애물체 속도 및 위치 추정방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 정밀시차 추정단계에서,
    상기 정수시차들 중에 가장 주요하면서(dominant) 가장 가까운 거리에 위치한 영역(max dominant region)을 추출하고, 원영상에서 획득된 관심 영역(ROI) 내에서 가장 주요하면서 가장 가까운 영역(max dominant region) 내에서 수직 에지 성분들로 구성된 화소들만을 특징점으로 추출하는 것을 특징으로 하는 장애물체 속도 및 위치 추정방법.
  4. 스테레오 카메라에서 획득된 좌우 영상으로부터 스테레오 매칭 알고리즘을 이용하여 깊이맵(Depth map)을 추출하는 스테레오 매칭부;
    깊이맵 정보를 이용하여 거리나 속도 등을 추정하고자 하는 객체를 추출하는 객체 검출부;
    검출된 관심영역(ROI)에 대하여 정수시차를 추출하는 정수시차 추정부;
    상기 정수시차들 중에 실제 객체에 해당(dominant region)하면서 가장 가까운 거리에 있는 영역들(max dominant region) 중에 수직 에지 성분들로 구성된 화소들만을 특징점으로 추출하고, 좌우 영상에서 상기 특징점들이 분포된 라인 단위의 벡터인 스트라이퍼들(stripes)을 추출하고, 상기 스트라이퍼들로부터 특징점들로만 구성된 정규 유사도(Normalized Cross Correlation) 벡터(NCC vector)를 생성하고, 생성된 정규 유사도 벡터들에 대한 정밀시차들을 추정하고, 추정된 정밀시차들의 평균값을 이용하여 상기 객체의 정밀 시차를 추정하는 정밀시차 추정부;,
    추정된 정밀시차를 우영상에 반영하여, 좌우 영상의 객체의 중심점을 구하는 객체중심 추정부;
    추정된 2개의 객체의 중심 화소들과 IPM(Inverse Perspective Mapping)을 이용하여 3차원 좌표 상의 객체의 위치를 얻는 IPM부; 및 ,
    3차원 좌표상의 객체의 위치를 확장칼만 필터를 이용하여 동적(dynamic)으로 속도 및 위치 추정하여 객체의 위치 및 속도를 최적화하여 추정하는 확장칼만 필터부를 포함하며,
    상기 정밀시차 추정부는, 윈도우의 중심 픽셀이 k인 경우 생성된 정규 유사도 벡터에서 상기 좌우영상 중 하나의 영상의 객체의 중심을 중심 픽셀로 하여 설정된 윈도우와 우영상에서 대응 픽셀을 중심 픽셀로 하여 설정된 윈도우의 NCC 값인 NCC(k1), 상기 하나의 영상의 객체의 중심을 중심 픽셀로 하여 설정된 윈도우와 상기 좌우영상 중 다른 하나의 영상의 대응 픽셀에서 우측으로 한 픽셀 이동한 픽셀을 중심 픽셀로 하여 설정된 윈도우의 NCC 값인 NCC(k1-1), 및 상기 하나의 영상의 객체의 중심을 중심 픽셀로 하여 설정된 윈도우와 상기 다른 하나의 영상의 상기 대응 픽셀에서 한 픽셀 이동한 픽셀을 중심 픽셀로 하여 설정된 윈도우의 NCC 구한 값인 NCC(k1+1)을 이용하여 2차원 포물선을 형성할 경우 정규 유사도가 최대가 되는 지점의 시차를 정밀시차를 추정하여, 상기 생성된 정규 유사도 벡터들에 대한 정밀시차들을 추정하는 것을 특징으로 하는 장애물체 속도 및 위치 추정장치.
  5. 제 4 항에 있어서,
    상기 객체 검출부에서, V-변위(v-disparity), 컬럼 검출(column detection), 아다부스트(adaboost), SVM(support vector machine) 중 하나의 알고리즘을 이용하여 깊이맵 정보를 이용하여 거리나 속도 등을 추정하고자 하는 객체를 추출하는 것을 특징으로 하는 장애물체 속도 및 위치 추정장치.
  6. 제 4 항 또는 제 5 항에 있어서,
    상기 정밀시차 추정부는 상기 정수시차들 중에 가장 주요하면서(dominant) 가장 가까운 거리에 위치한 영역(max dominant region)을 추출하고, 원영상에서 획득된 관심 영역(ROI) 내에서 가장 주요하면서 가장 가까운 영역(max dominant region) 내에서 수직 에지 성분들로 구성된 화소들만을 특징점으로 추출하는 것을 특징으로 하는 장애물체 속도 및 위치 추정장치.
KR1020090117223A 2009-11-30 2009-11-30 장애물체 위치 및 속도 추정 장치 및 방법 KR101076406B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090117223A KR101076406B1 (ko) 2009-11-30 2009-11-30 장애물체 위치 및 속도 추정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090117223A KR101076406B1 (ko) 2009-11-30 2009-11-30 장애물체 위치 및 속도 추정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110060600A KR20110060600A (ko) 2011-06-08
KR101076406B1 true KR101076406B1 (ko) 2011-10-25

Family

ID=44395339

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090117223A KR101076406B1 (ko) 2009-11-30 2009-11-30 장애물체 위치 및 속도 추정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101076406B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101276073B1 (ko) * 2011-01-27 2013-06-18 팅크웨어(주) 차량용 내비게이션에서의 영상에서 앞차 검출을 통한 거리 인식 시스템 및 방법
KR101339616B1 (ko) 2012-11-27 2013-12-10 재단법인대구경북과학기술원 객체 검출 및 추적 방법과 장치
US10063833B2 (en) 2013-08-30 2018-08-28 Samsung Electronics Co., Ltd. Method of controlling stereo convergence and stereo image processor using the same

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108480239B (zh) * 2018-02-10 2019-10-18 浙江工业大学 基于立体视觉的工件快速分拣方法及装置
KR102567659B1 (ko) * 2020-11-17 2023-08-17 조선대학교 산학협력단 스마트 조명 시스템 및 스마트 조명 시스템의 구동 방법
CN113379801B (zh) * 2021-06-15 2024-04-30 江苏科技大学 一种基于机器视觉的高空抛物监测定位方法
CN116994457B (zh) * 2023-09-26 2023-12-29 深圳海星智驾科技有限公司 车辆防碰撞的检测方法、装置、计算机设备及存储介质
KR102618924B1 (ko) * 2023-10-18 2023-12-28 한화시스템(주) Fmcw 레이다 기반의 객체 탐지 시스템 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Distance estimation algorithm for both long and short ranges based on stereo vision system(Young-Chul Lim, et al., IEEE Intelligent Vehicles Symposium, pp. 841-846, 4-6 June 2008)
단일 카메라를 이용한 차량감지 및 추적시스템의 개발(황준연 외5인, 한국자동차공학회 부문종합 학술대회, pp. 870, 2009.04)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101276073B1 (ko) * 2011-01-27 2013-06-18 팅크웨어(주) 차량용 내비게이션에서의 영상에서 앞차 검출을 통한 거리 인식 시스템 및 방법
KR101339616B1 (ko) 2012-11-27 2013-12-10 재단법인대구경북과학기술원 객체 검출 및 추적 방법과 장치
US10063833B2 (en) 2013-08-30 2018-08-28 Samsung Electronics Co., Ltd. Method of controlling stereo convergence and stereo image processor using the same

Also Published As

Publication number Publication date
KR20110060600A (ko) 2011-06-08

Similar Documents

Publication Publication Date Title
JP7398506B2 (ja) ローカライゼーション基準データを生成及び使用する方法及びシステム
KR101076406B1 (ko) 장애물체 위치 및 속도 추정 장치 및 방법
EP3517997B1 (en) Method and system for detecting obstacles by autonomous vehicles in real-time
US11436743B2 (en) Systems and methods for semi-supervised depth estimation according to an arbitrary camera
JP5926228B2 (ja) 自律車両用の奥行き検知方法及びシステム
EP2948927B1 (en) A method of detecting structural parts of a scene
KR102249769B1 (ko) 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
US20120308114A1 (en) Voting strategy for visual ego-motion from stereo
US10872246B2 (en) Vehicle lane detection system
KR20090103165A (ko) 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치 및방법
US20230138487A1 (en) An Environment Model Using Cross-Sensor Feature Point Referencing
CN105844692A (zh) 基于双目立体视觉的三维重建装置、方法、系统及无人机
Konrad et al. Localization in digital maps for road course estimation using grid maps
Lui et al. Eye-full tower: A gpu-based variable multibaseline omnidirectional stereovision system with automatic baseline selection for outdoor mobile robot navigation
US11652972B2 (en) Systems and methods for self-supervised depth estimation according to an arbitrary camera
KR101030317B1 (ko) 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법
KR20220113781A (ko) 환경의 지형을 측정하는 방법
Fei et al. Ossim: An object-based multiview stereo algorithm using ssim index matching cost
Li et al. Automatic parking slot detection based on around view monitor (AVM) systems
EP3566206B1 (en) Visual odometry
Murmu et al. Relative velocity measurement using low cost single camera-based stereo vision system
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
US11532100B2 (en) Method for environmental acquisition, data processing unit
CN111695379B (zh) 基于立体视觉的地面分割方法、装置、车载设备及存储介质
CN113269857A (zh) 坐标系关系获取方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141008

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151012

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160928

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170918

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180918

Year of fee payment: 8