KR101431373B1 - 스테레오 정합을 이용한 차량의 움직임 측정 장치 - Google Patents

스테레오 정합을 이용한 차량의 움직임 측정 장치 Download PDF

Info

Publication number
KR101431373B1
KR101431373B1 KR1020130020556A KR20130020556A KR101431373B1 KR 101431373 B1 KR101431373 B1 KR 101431373B1 KR 1020130020556 A KR1020130020556 A KR 1020130020556A KR 20130020556 A KR20130020556 A KR 20130020556A KR 101431373 B1 KR101431373 B1 KR 101431373B1
Authority
KR
South Korea
Prior art keywords
information
homography
unit
plane
label
Prior art date
Application number
KR1020130020556A
Other languages
English (en)
Inventor
정순기
원광희
장재석
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020130020556A priority Critical patent/KR101431373B1/ko
Priority to US14/087,145 priority patent/US9373175B2/en
Application granted granted Critical
Publication of KR101431373B1 publication Critical patent/KR101431373B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

본 발명은 스테레오 영상의 정합을 통해 차량의 움직임을 측정하는 장치에 관한 것으로, 구체적으로 스테레오 영상 정보를 지면, 배경, 객체 레이블로 분할하고, 상기 지면 레이블 및 배경 레이블을 이용하여 차량의 회전 정보 및 이동 정보를 측정하는 스테레오 정합을 이용한 차량의 움직임 측정 장치에 관한 것이다.

Description

스테레오 정합을 이용한 차량의 움직임 측정 장치{Apparatus for estimating of vehicle movement using stereo matching}
본 발명은 스테레오 영상의 정합을 통해 차량의 움직임을 측정하는 장치에 관한 것으로, 구체적으로 스테레오 영상 정보를 지면, 배경, 객체 레이블로 분할하고, 상기 지면 레이블 및 배경 레이블을 이용하여 차량의 회전 정보 및 이동 정보를 측정하는 스테레오 정합을 이용한 차량의 움직임 측정 장치에 관한 것이다.
최근 스마트 자동차(Smart Car)에 대한 관심은 자동차 산업분야에서뿐만 아니라 IT산업 분야에서도 중요한 키워드가 되고 있다. 이는 안전 운전을 달성하기 위해서 운전자에게 추가적인 정보를 제공하고 어떤 사건을 정확하고 적절한 시점에알리도록 도로상의 장면을 분석할 필요성이 있기 때문이다.
자동차에 근접하는 장애물을 검출하거나 운전자의 시야를 넓혀주기 위해서, 카메라 또는 범위 센서가 자동차에 설치되고 있다. 이러한 센서 중에서, 스테레오 시야 센서(Stereo vision sensor)는 대표적인 수동 범위 센서(passive range sensor)이다. 이는 2.5 차원(dimension)의 범위 데이터와 이미지를 동시에 생산할 수 있기 때문에 유용하다. 결과로 생성되는 범위 데이터 또는 시차 맵(disparity map)은 장애물을 검출하거나 경로를 계획하는 것과 같은 작업을 위한 입력 정보로 사용될 수 있다.
현재 사용되고 있는 스테레오 정합 알고리즘은 제로-시차 평면이 이미지 평면 중의 하나와 평행하다는 추정에 기반하고 있다. 그러나, 이런 추정은 지면과 같이 영상면과 다소 평행하지 않은 평면에 대한 시차를 획득할 경우에 효과적인 추정이 아니다. 도 1에 도시된 바와 같이, 종래의 먼 기준 평면에 기초한 스테레오 정합 알고리즘은 주어진 시차의 단계에 대해서 좁은 거리범위의 물체에 대한 시차 정합만이 가능하여 범위를 벗어난 전, 후 시차의 물체에 대해서는 동작하지 않는 문제점이 있었다.
또한, 종래에는 이동중인 차량의 움직임을 측정하기 위해서는 GPS 등의 위치 정보를 활용하거나, 조향각 센서 등의 차량 내 구비된 기타 센서 장비를 이용해야만 차량의 움직임을 측정할 수 있다는 문제점이 있었다.
대한민국 공개특허 제 10-2012-0065063호
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 획득되는 영상 정보를 지면, 객체 및 배경의 세 레이블로 분별하고, 상기 레이블 정보를 활용하여 차량의 움직임 정보를 측정하는 장치를 제공하고자 한다.
본 발명의 일 측면에 따른 스테레오 정합을 이용한 차량의 움직임 측정 장치는 두 개 이상의 카메라를 이용하여 스테레오 영상을 획득하는 촬상부; 상기 촬상부를 통해 획득된 스테레오 영상 정보를 호모그라피 정보 기반으로 스테레오 정합하여 지면, 배경, 객체 레이블로 분할하는 레이블 분할부; 및 상기 레이블 분할부를 통해 획득된 N 프레임 및 N+1 프레임의 지면 레이블과 N 프레임 및 N+1 프레임의 배경 레이블을 이용하여 차량의 회전 정보 및 이동 정보를 측정하는 움직임 측정부;를 포함한다.(N은 자연수)
구체적으로, 상기 레이블 분할부는, 복수 개의 지면 호모그라피, 객체 호모그라피 및 배경 호모그라피를 포함하는 호모그라피 정보를 이용하여 상기 스테레오 영상 정보간 정합비용(matching cost)을 연산하는 정합비용 연산부; 상기 정합비용을 이용하여 집계비용을 산출하는 집계부; 상기 집계비용이 최소값이 되는 호모그라피 정보를 추출하는 호모그라피 추출부; 및 상기 추출된 호모그라피 정보를 이용하여 지면, 배경, 객체 레이블로 구별하는 레이블 구별부;를 포함할 수 있다.
이때, 상기 지면 호모그라피는 상기 촬상부에 대한 수평면과 일정한 기울기를 갖는 평면에 대한 호모그라피 정보이고, 상기 객체 호모그라피는 상기 촬상부의 영상 평면과 평행하며, 상기 촬상부로부터 임계 거리 미만으로 이격된 평면에 대한 호모그라피 정보이고, 상기 배경 호모그라피는 상기 촬상부의 영상 평면과 평행하며, 상기 촬상부로부터 임계 거리 이상으로 이격된 평면에 대한 호모그라피 정보가 적용될 수 있다.
이때, 상기 레이블 구별부는, 상기 추출된 호모그라피 정보가 지면 호모그라피인 경우, 상기 지면 호모그라피 정보의 기울기 정보를 이용하여 상기 촬상부의 기준평면과 일정한 기울기를 갖는 지면 레이블을 구별할 수 있다.
또한, 상기 레이블 구별부는, 상기 추출된 호모그라피 정보가 객체 호모그라피인 경우, 상기 객체 호모그라피 정보의 거리 정보를 이용하여 상기 촬상부의 영상 평면과 평행하며 상기 촬상부로부터 임계 거리 미만 이격된 객체 레이블을 구별할 수 있다.
또한, 상기 레이블 구별부는, 상기 추출된 호모그라피 정보가 배경 호모그라피인 경우, 상기 배경 호모그라피 정보의 거리 정보를 이용하여 상기 촬상부의 영상 평면과 평행하며 상기 촬상부로부터 임계 거리 이상 이격된 배경 레이블을 구별할 수 있다.
또한, 상기 움직임 측정부는, N 프레임 및 N+1 프레임의 배경 레이블에 대해 대응점을 획득하는 배경 대칭부; 상기 N 프레임 및 N+1 프레임의 배경 레이블에 대해, 각각 상기 대응점 및 상기 촬상부의 초점을 포함하며 각 프레임의 지면 레이블에 수직한 평면 정보를 획득하는 평면 획득부; 및 상기 평면 획득부에 의해 획득된 두 평면 사이의 각도 정보를 이용하여 차량의 회전 정보를 측정하는 회전 측정부;를 포함할 수 있다.
이때, 상기 회전 측정부는, 상기 평면 획득부에 의해 획득된 N 프레임의 평면 정보와 N+1 프레임 평면 정보 간의 상대적 위치 정보 및 상기 두 평면 사이의 각도 정보를 이용하여 차량의 회전 방향 및 회전 각도 정보를 측정할 수 있다.
또한, 상기 움직임 측정부는, 상기 N 프레임의 지면 레이블 및 측정된 회전 정보를 역으로 적용한 N+1 프레임의 지면 레이블 간 대응점을 획득하는 지면 매칭부; 및 상기 지면 매칭부에 의해 획득된 대응점의 3차원 정보를 이용하여 차량의 이동 정보를 측정하는 이동 측정부;를 포함할 수 있다.
이때, 상기 이동 측정부는, 일정 영역 내 위치하는 복수의 대응점에 대한 3차원 정보를 이용하여, 각 대응점간 거리의 평균 정보를 이용하여 차량의 이동 정보를 측정할 수 있다.
본 발명의 바람직한 실시예에 따른 스테레오 정합을 이용한 차량의 움직임 측정 장치는 획득되는 영상 정보를 일련의 호모그라피 정보를 이용하여 지면, 객체 및 배경의 세 레이블로 분별하고, 이 중 지면 및 배경 레이블을 이용하여 차량의 회전 이동 및 이동 거리 정보를 측정할 수 있다는 효과가 있다.
도 1은 종래의 스테레오 카메라의 영상 평면 기반의 스테레오 정합 방법을 나타낸 도면,
도 2는 본 발명의 일 실시예에 따른 스테레오 영상을 지면, 객체 및 배경 레이블로 구분하여 나타낸 도면,
도 3은 본 발명의 일 실시예에 따른 스테레오 정합을 이용한 차량의 움직임 측정 장치를 나타낸 도면,
도 4는 일련의 호모그라피 정보의 예시를 나타낸 도면,
도 5는 본 발명의 일 실시예에 따른 집계 비용을 산출하는 방법을 나타낸 도면,
도 6은 일련의 호모그라피 정보의 집합을 나타낸 도면,
도 7은 본 발명의 일 실시예에 따른 차량의 회전 이동을 측정하는 방법을 나타낸 도면, 및
도 8a 및 8b는 본 발명의 일 실시예에 따라 차량의 이동 거리를 측정하기 위해 획득하는 이미지의 예시를 나타낸 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 스테레오 영상을 지면, 객체 및 배경 레이블로 구분하여 나타낸 도면이다.
도 2에 도시된 바와 같이, 본 발명인 스테레오 정합을 이용한 차량의 움직임 측정 장치는 획득된 스테레오 영상 정보를 지면 레이블, 객체 레이블 및 배경 레이블로 분할한다. 예를 들어, 일정 도로 위를 달리고 있는 차량에 적용된 움직임 측정 장치의 경우, 스테레오 영상 정보 중 상기 도로의 지면에 대한 영상 정보는 지면 레이블로 분할하고, 상기 차량의 전방에서 주행 중인 차량들은 객체 레이블로 분할하며, 주위 건물 영상이나 먼 하늘 등의 영상은 배경 레이블로 분할할 수 있다.
도 2에서는, 특정 스테레오 영상 정보가 하나의 지면 레이블, 하나의 배경 레이블 및 복수의 객체 레이블로 구성되는 것으로 도시하였으나, 획득되는 스테레오 영상 정보에 따라 복수의 지면 레이블, 또는 복수의 배경 레이블이 적용될 수 있다. 이하, 본 발명의 구체적인 기술 구성은 도 3을 통해 상세히 설명한다.
도 3은 본 발명의 일 실시예에 따른 스테레오 정합을 이용한 차량의 움직임 측정 장치를 나타낸 도면이다.
도 3에 도시된 바와 같이, 본 발명에 적용가능한 바람직한 실시예에 따른 스테레오 정합을 이용한 차량의 움직임 측정 장치(1000)는 두 개 이상의 카메라를 이용하여 스테레오 영상을 획득하는 촬상부(100); 상기 촬상부(100)를 통해 획득된 스테레오 영상 정보를 일련의 호모그라피 정보 기반으로 스테레오 정합하여 지면, 배경, 객체 레이블로 분할하는 레이블 분할부(200); 및 상기 레이블 분할부(200)를 통해 획득된 N 프레임 및 N+1 프레임의 지면 레이블과 N 프레임 및 N+1 프레임의 배경 레이블을 이용하여 차량의 회전 정보 및 이동 정보를 측정하는 움직임 측정부(300);를 포함한다(N은 자연수).
먼저, 촬상부(100)는 두 개 이상의 카메라를 이용하여 스테레오 영상을 획득한다. 상기 촬상부(100)로는 CCD(Charge-Coupled Device) 카메라 또는 CMOS 카메라 등의 영상 정보 획득 장치가 적용될 수 있다. 예를 들어 6mm C-마운트 렌즈와 24cm 베이스 라인을 갖는 스테레오 카메라 시스템으로 구현될 수 있다.
이때, 상기 촬상부(100)는 차량의 일정 부분에 구비되어 차량의 주변 영상 정보를 획득한다. 바람직하게는, 상기 촬상부(100)는 차량의 전방에 대한 영상 정보를 획득하기 위해 차량의 전조등 위치에 설치되거나, 도 1과 같이 차량의 상단 부분에 설치될 수 있다. 다만, 본 발명은 상기 실시예로 한정되지 않으며, 상기 촬상부(100)는 차량의 좌/우측 영상 정보를 획득하기 용이한 형태로 설치될 수 있다.
본 발명에 있어, '영상 평면'이라 함은 상기 촬상부(100)에 의해 획득되는 영상 정보를 평면 형상으로 나타낸 영상 정보를 나타내고, '수평면'은 상기 영상 평면과 수직으로 형성되며 상기 촬상부(100)와 평행한 실제 평면 정보를 나타낸다.
레이블 분할부(200)는 상기 촬상부(100)를 통해 획득된 스테레오 영상 정보를 일련의 호모그라피 정보 기반으로 스테레오 정합하여 지면, 배경, 객체 레이블로 분할한다. 이때, 본 발명에 적용가능한 실시예에서 상기 레이블 분할부(200)는, 복수 개의 지면 호모그라피, 객체 호모그라피 및 배경 호모그라피를 포함하는 일련의 호모그라피 정보를 이용하여 상기 스테레오 영상 정보간 정합비용(matching cost)을 연산하는 정합비용 연산부(210); 상기 정합비용을 이용하여 집계비용을 산출하는 집계부(220); 상기 집계비용이 최소값이 되는 호모그라피 정보를 추출하는 호모그라피 추출부(230); 및 상기 추출된 호모그라피 정보를 이용하여 지면, 배경, 객체 레이블로 구별하는 레이블 구별부(240);를 포함할 수 있다.
일반적으로 스테레오 정합을 통해 얻어지는 시차 영상(disparity image)은 카메라의 영상 평면에 평행한 가상의 평면을 시차 영상의 기준면(시차가 0인 평면)으로 하여 획득될 수 있다. 평행한 두 대의 카메라에서는 시차가 0인 평면이 무한대에 위치하게 된다.
이때, 본 발명에 적용가능한 실시예에서는 일련의 호모그라피 정보를 이용하여 실제 지면 정보를 시차 영상의 기준면으로 설정할 수 있다. 이 경우, 실제 지면에 대해 획득한 화소는 매우 작은 시차 값, 즉 0에 가까운 시차 값을 가지게 된다.
이와 같이, 본 발명에서는 실제 지면 정보를 시차 영상의 기준면으로 변환하기 위해서 지면 호모그라피 정보가 활용될 수 있다. 이때, 영상 정보 내에서의 실제 지면 정보는 각 경우마다 상이한 기울기를 갖는 등 다양한 실시예가 적용될 수 있으므로, 본 발명에 적용가능한 실시예에서는 복수 개의 지면 호모그라피를 포함하는 일련의 호모그라피 정보를 이용할 수 있다. 예를 들면, 상기 지면 호모그라피는 수평면과 일정한 기울기를 갖는 평면에 대한 호모그라피 정보일 수 있다.
이와 비슷하게, 지면으로부터 일정 높이를 가지는 객체 정보를 추출하기 위하여 객체 호모그라피 정보를 이용할 수 있다. 본 발명에 적용가능한 실시예에서 상기 객체 정보는 촬상부(100)의 영상 평면과 평행하며, 상기 촬상부(100)로부터 일정 거리 이격되어 위치할 수 있다. 상기와 같은 객체 정보를 추출해내기 위해 촬상부(100)의 영상 평면과 평행하며, 상기 촬상부(100)로부터 일정 거리 이격된 평면에 대한 호모그라피 정보를 객체 호모그라피로 활용할 수 있다. 바람직하게는, 촬상부(100)로부터 서로 다른 거리 정보를 갖는 복수 개의 객체 호모그라피가 적용될 수 있다.
상기 일련의 호모그라피 정보는 도 4에 도시된 바와 같이, 다양한 지면 호모그라피, 객체 호모그라피 및 배경 호모그라피를 포함할 수 있다. 이때, 상기 복수의 지면 호모그라피 정보는 수평면과의 기울기 정보를 포함할 수 있고, 상기 복수의 객체 호모그라피 및 배경 호모그라피 정보는 상기 촬상부(100)로부터의 거리 정보를 포함할 수 있다.
정합비용 연산부(210)는 복수 개의 지면 호모그라피, 객체 호모그라피 및 배경 호모그라피를 포함하는 일련의 호모그라피 정보를 이용하여 상기 스테레오 영상 정보간 정합비용을 연산한다. 이때, 상기 정합비용 연산부(210)는 좌측 또는 우측 이미지들의 특정 픽셀에 대해 특정 호모그라피 정보가 적용된 위치의 픽셀의 강도값(intensity value)을 이용하여 정합 비용을 연산할 수 있다.
보다 상세하게는, 하기 수학식 1을 통해 특정 픽셀의 정합 비용을 연산할 수 있다.
Figure 112013017214632-pat00001
(
Figure 112013017214632-pat00002
: 정합 비용,
Figure 112013017214632-pat00003
: 픽셀,
Figure 112013017214632-pat00004
: 픽셀 p 에서의 강도 값(intensity value),
Figure 112013017214632-pat00005
: i 번째 호모그라피 정보)
여기서 IL과 IR은 각각 좌측 및 우측의 스테레오 영상을 의미한다. 상기 수학식 1과 같이, 호모그라피 정보를 적용한 우측 영상의 강도 값과 좌측 영상의 강도 값의 차이를 이용하여 정합 비용을 연산할 수 있다. 다만, 상기 수학식 1은 일 실시예에 불과할 뿐, 본 발명의 다른 실시예에서는 호모그라피 정보를 적용한 좌측 영상의 강도 값과 우측 영상의 강도 값의 차이를 이용하여 정합 비용을 연산할 수도 있다.
집계부(220)는 상기 정합비용을 이용하여 집계비용을 산출한다. 본 발명에 적용가능한 실시예에서 상기 집계부(220)는 복수의 방향(r)에 따라 정합비용을 집계하여 집계비용을 산출할 수 있다. 이때, 상기 복수의 방향으로는 특정 픽셀을 중심으로 하는 8개의 방향이 적용될 수 있다. 상기 복수의 방향의 예시로는 도 5와 같이 8개의 방향 모두가 적용될 수도 있으며, 도 5의 굵은 화살표와 같이, 이 중 선택되는 4개 방향 만이 적용될 수도 있다. 이와 같이, 상기 집계부(220)는 상술한 오류를 감소시키기 위해서 반광역 최적화 기법인 SGM(Semi-Global Matching)과 유사하게 영상의 여러 방향을 따라서 정합비용을 연산할 수 있다. 이때, 각 방향(r)에 대한 정합비용의 집계 Lr은 하기 수학식 2에 의해서 결정될 수 있다.
Figure 112013017214632-pat00006
(Lr(p,i) : 픽셀(p) 및 i번째 호모그라피에 대한 합계 정합비용, pp : 집계 방향에 대한 이전 화소, k : i, i±1이 아닌 수, p1 : 작은 시차 (또는 기울기) 변화에 대한 추가 비용, p2 : 큰 시차 (또는 기울기) 변화에 대한 추가 비용)
이때, 상기 p1 및 p2는 p 와 pp 사이의 픽셀 값의 차이에 따라 적응적으로 결정될 수 있다. 상기 추가 비용을 이용하여, 외부 환경에서, 다른 노출, 움직임으로 인한 흐려짐, 가려짐, 비동기적 획득과 같은 다양한 이유로 발생가능한 정합오류를 보안할 수 있다.
호모그라피 추출부(230)는 상기 집계비용이 최소값이 되는 호모그라피 정보를 추출한다. 즉, 상기 호모그라피 추출부(230)는 일련의 호모그라피 정보를 이용하여 집계비용을 최소화하는 호모그라피 정보를 추출한다. 이때, 상기 일련의 호모그라피 정보는 복수 개의 지면 호모그라피, 객체 호모그라피 및 배경 호모그라피를 포함할 수 있다.
본 발명의 일 실시예에서는 상기 일련의 호모그라피 정보를 일정한 순서대로 구성할 수 있다. 예를 들면, 도 5의 경우와 같이, 상기 일련의 호모그라피 정보의 앞 부분에는 지면 호모그라피를 배치하고, 상기 지면 호모그라피 이후에는 객체 호모그라피 및 배경 호모그라피를 위치시킬 수 있다. 이때, 상기 호모그라피 추출부(230)는 상기 집계비용을 최소화하는 호모그라피 정보의 순번 정보를 이용하여 지면 호모그라피 또는 객체 호모그라피 등을 구분할 수 있다.
레이블 구별부(240)는 상기 호모그라피 추출부(230)를 통해 추출된 호모그라피 정보를 이용하여 지면, 배경, 객체 레이블로 구별한다.
본 발명에 적용가능한 실시예에서 상기 레이블 구별부(240)는 상기 추출된 호모그라피 정보가 지면 호모그라피인 경우, 상기 지면 호모그라피 정보의 기울기 정보를 이용하여 상기 촬상부(100)의 기준평면과 일정한 기울기를 갖는 지면 레이블을 구별할 수 있다.
또한, 본 발명에 적용가능한 다른 실시예에서 상기 레이블 구별부(240)는 상기 추출된 호모그라피 정보가 객체 호모그라피인 경우, 상기 객체 호모그라피 정보의 거리 정보를 이용하여 상기 촬상부(100)의 영상 평면과 평행하며 상기 촬상부(100)로부터 임계 거리 미만 이격된 객체 레이블을 구별할 수 있다.
또한, 본 발명에 적용가능한 다른 실시예에서 상기 레이블 구별부(240)는 상기 추출된 호모그라피 정보가 배경 호모그라피인 경우, 상기 배경 호모그라피 정보의 거리 정보를 이용하여 상기 촬상부(100)의 영상 평면과 평행하며 상기 촬상부(100)로부터 임계 거리 이상 이격된 배경 레이블을 구별할 수 있다.
이와 같이, 상기 레이블 구별부(240)는 스테레오 영상 중 지면 정보를 나타내는 지면 레이블, 촬상부(100)로부터 임계 거리 미만 이격되어 있는 객체 정보를 나타내는 객체 레이블 및 촬상부(100)로부터 임계 거리 이상 이격되어 있어 각 프레임간 시차의 변화가 작은 배경 정보를 나타내는 배경 레이블을 구별할 수 있다.
본 발명에 적용가능한 실시예에서 움직임 측정부(300)는 N 프레임 및 N+1 프레임의 배경 레이블에 대해 대응점을 획득하는 배경 대칭부(310); 상기 N 프레임 및 N+1 프레임의 배경 레이블에 대해, 각각 상기 대응점 및 상기 촬상부(100)의 초점을 포함하며 각 프레임의 지면 레이블에 수직한 평면 정보를 획득하는 평면 획득부(320); 및 상기 평면 획득부(320)에 의해 획득된 두 평면 사이의 각도 정보를 이용하여 차량의 회전 정보를 측정하는 회전 측정부(330);를 포함할 수 있다(N은 자연수). 이하, 움직임 측정부(300)의 각 구성 요소에 대하여 도 7을 통해 상세히 설명한다.
도 7은 본 발명의 일 실시예에 따른 차량의 회전 이동을 측정하는 방법을 나타낸 도면이다.
배경 대칭부(310)는 N 프레임 및 N+1 프레임의 배경 레이블에 대하여 대응되는 픽셀 정보를 획득할 수 있다. 이때, 상기 대응점을 찾는 방법으로는 다양한 영상 처리 기술이 적용될 수 있다. 도 6에서는 N 프레임 및 N+1 프레임의 배경 레이블에 대하여 대응되는 대응점을 각각 Pt 및 Pt+1로 도시하였다.
이후, 평면 획득부(320)는 상기 N 프레임 및 N+1 프레임의 배경 레이블에 대해, 각각 상기 대응점 및 상기 촬상부(100)의 초점을 포함하며 각 프레임의 지면 레이블에 수직한 평면 정보를 획득한다. 이때, 상기 촬상부(100)의 초점에 대한 정보는 상기 촬상부(100)의 파라미터 정보 값을 통해 획득할 수 있다.
본 발명에 적용가능한 실시예에서 상기 N 프레임 및 N+1 프레임의 지면 레이블은 짧은 시간 차를 두고 획득된 지면 레이블로써, 각각의 지면 레이블은 동일한 지면 호모그라피를 이용하여 추출된 지면 레이블이 적용될 수 있다. 상기와 같은 이유로, 도 7의 경우, N 프레임 및 N+1 프레임의 지면 레이블이 동일한 지면 평면에 포함되는 것으로 도시하였으나, 각 프레임별 지면 레이블이 상이한 지면 평면에 포함될 수도 있다.
상기와 같은 방법을 통해 평면 획득부(320)는 상기 N 프레임 및 N+1 프레임의 배경 레이블에 대해, 각각 상기 대응점 및 상기 촬상부(100)의 초점을 포함하며 각 프레임의 지면 레이블에 수직한 평면 정보를 획득할 수 있다. 도 7의 경우, 상기 평면 획득부(320)는 제1 평면 및 제2 평면을 획득할 수 있다.
회전 측정부(330)는 상기 평면 획득부(320)에 의해 획득된 두 평면 사이의 각도 정보를 이용하여 차량의 회전 정보를 측정한다. 도 7의 경우, 제1 평면과 제2 평면은 지면 평면에 수직하므로, 상기 제1 평면 및 제2 평면 사이의 각도는 제1 평면 및 제2 평면이 지면 평면과 만나는 교선 간의 각도 정보를 통해 상기 두 평면 사이의 각도 정보를 획득할 수 있다.
본 발명에 적용가능한 바람직한 실시예에서 상기 회전 측정부(330)는 상기 평면 획득부(320)에 의해 획득된 N 프레임의 평면 정보와 N+1 프레임 평면 정보 간의 상대적 위치 정보 및 상기 두 평면 사이의 각도 정보를 이용하여 차량의 회전 방향 및 회전 각도 정보를 측정할 수 있다. 구체적으로는, 도 7에서처럼 Pt+1이 Pt에 비해 상대적으로 우측에 위치하는 경우, 상기 상대적 위치 정보를 이용하여 차량은 좌측 방향으로 회전하였음을 알 수 있다. 이는 고개를 좌측으로 돌리는 경우, 전에는 정면에 위치하던 물체가 우측에 위치하게 되는 원리와 동일하다. 도 7과 반대로, Pt+1이 Pt에 비해 상대적으로 좌측에 위치하는 경우, 차량은 우측으로 회전하였음을 알 수 있다.
이때, 상기 회전 측정부(330)는 상기 차량의 회전 방향과 함께 회전 각도 정보를 이용하여 정확한 차량의 회전 운동 정보를 측정할 수 있다. 도 7에서 상기 제1 평면 및 제2 평면 사이의 각도가 30°라 하면, 차량은 좌측으로 30° 회전하였음을 확인할 수 있다.
본 발명에 적용가능한 바람직한 실시예에서 상기 움직임 측정부(300)는 상기 N 프레임의 지면 레이블 및 측정된 회전 정보를 역으로 적용한 N+1 프레임의 지면 레이블 간 대응점을 획득하는 지면 매칭부(340); 및 상기 지면 매칭부(340)에 의해 획득된 대응점의 3차원 정보를 이용하여 차량의 이동 정보를 측정하는 이동 측정부(350);를 포함할 수 있다.
구체적으로, 지면 매칭부(340)는 상기 N 프레임의 지면 레이블 및 측정된 회전 정보를 역으로 적용한 N+1 프레임의 지면 레이블 간 대응점을 획득한다. 상기 지면 매칭부(340)는 N+1 프레임의 지면 레이블에 측정된 회전 정보를 역으로 적용하여 N 프레임 및 N+1 프레임의 대응점이 영상 평면상에서 수직선 상에 위치할 수 있도록 한다. 이때, 상기 회전 정보를 역으로 적용하는 방법으로는 상기 회전 정보를 나타내는 행렬의 역행렬을 적용하는 방법이 적용될 수 있다.
이동 측정부(350)는 상기 지면 매칭부(340)에 의해 획득된 대응점의 3차원 정보를 이용하여 차량의 이동 정보를 측정한다. 구체적으로는, 이동 측정부(350)는 N 프레임 및 N+1 프레임의 각 대응점에 대한 3차원 정보를 획득하고, 상기 대응점 간의 3차원 거리 정보를 이용하여 이동 정보를 측정할 수 있다. 이때, 상기 3차원 거리 정보는 스테레오 정합을 통한 시차 정보를 통하여 획득할 수 있다.
이때, 상기 이동 측정부(350)는 상기 측정된 이동 정보 및 각 프레임 간의 시간 차 정보를 이용하여 상기 차량의 이동 속도를 측정할 수 있음은 물론이다.
또한, 상기 이동 측정부(350)는 일정 영역 내 위치하는 복수의 대응점에 대한 3차원 정보를 이용하여, 각 대응점간 거리의 평균 정보를 이용하여 차량의 이동 정보를 측정할 수 있다. 상기 이동 측정부(350)는 이와 같은 방법을 통해 보다 신뢰성 높은 이동 정보를 측정할 수 있다.
도 8a 및 8b는 본 발명의 일 실시예에 따라 차량의 이동 거리를 측정하기 위해 획득하는 이미지의 예시를 나타낸 도면이다.
본 발명에 따른 스테레오 정합을 이용한 차량의 움직임 측정 장치는 차량의 이동 거리를 측정하기 위하여 도 8a 및 8b와 같은 N 프레임 및 N+1 프레임 정보를 활용할 수 있다.
먼저, 지면 매칭부(340)는 N 프레임 및 N+1 프레임 영상 정보를 동일한 방향을 바라보는 영상 정보로 재구성하기 위해 N+1 프레임 영상 정보에 회전 정보를 역으로 적용할 수 있다. 이와 같은 방법을 통해, 도 8a 및 8b와 같이 동일한 방향에 대한 영상 정보를 획득할 수 있다.
이후, 이동 측정부(350)는 상기 두 영상 정보를 비교하여 차량의 이동 정보를 측정한다. 일 예로, 상기 두 영상 정보에 대해 대응점(A)을 획득하고, 상기 대응점 간의 3차원 거리 정보를 이용하여 차량의 이동 거리를 측정할 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100: 촬상부 200: 레이블 분할부
210: 정합비용 연산부 220: 집계부
230: 호모그라피 추출부 240: 레이블 구별부
300: 움직임 측정부 310: 배경 대칭부
320: 평면 획득부 330: 회전 측정부
340: 지면 매칭부 350: 이동 측정부
1000: 움직임 측정 장치

Claims (10)

  1. 두 개 이상의 카메라를 이용하여 스테레오 영상을 획득하는 촬상부;
    상기 촬상부를 통해 획득된 스테레오 영상 정보를 호모그라피 정보 기반으로 스테레오 정합하여 지면, 배경, 객체 레이블로 분할하는 레이블 분할부; 및
    상기 레이블 분할부를 통해 획득된 N 프레임 및 N+1 프레임의 지면 레이블과 N 프레임 및 N+1 프레임의 배경 레이블을 이용하여 차량의 회전 정보 및 이동 정보를 측정하는 움직임 측정부;를 포함하고,
    상기 움직임 측정부는,
    N 프레임 및 N+1 프레임의 배경 레이블에 대해 대응점을 획득하는 배경 대칭부;
    상기 N 프레임 및 N+1 프레임의 배경 레이블에 대해, 각각 상기 대응점 및 상기 촬상부의 초점을 포함하며 각 프레임의 지면 레이블에 수직한 평면 정보를 획득하는 평면 획득부; 및
    상기 평면 획득부에 의해 획득된 두 평면 사이의 각도 정보를 이용하여 차량의 회전 정보를 측정하는 회전 측정부;를 포함하는 스테레오 정합을 이용한 차량의 움직임 측정 장치.(N은 자연수)
  2. 제 1항에 있어서,
    상기 레이블 분할부는,
    복수 개의 지면 호모그라피, 객체 호모그라피 및 배경 호모그라피를 포함하는 호모그라피 정보를 이용하여 상기 스테레오 영상 정보간 정합비용(matching cost)을 연산하는 정합비용 연산부;
    상기 정합비용을 이용하여 집계비용을 산출하는 집계부;
    상기 집계비용이 최소값이 되는 호모그라피 정보를 추출하는 호모그라피 추출부; 및
    상기 추출된 호모그라피 정보를 이용하여 지면, 배경, 객체 레이블로 구별하는 레이블 구별부;를 포함하는 것을 특징으로 하는 스테레오 정합을 이용한 차량의 움직임 측정 장치.
  3. 제 2항에 있어서,
    상기 지면 호모그라피는 상기 촬상부에 대한 수평면과 일정한 기울기를 갖는 평면에 대한 호모그라피 정보이고,
    상기 객체 호모그라피는 상기 촬상부의 영상 평면과 평행하며, 상기 촬상부로부터 임계 거리 미만으로 이격된 평면에 대한 호모그라피 정보이고,
    상기 배경 호모그라피는 상기 촬상부의 영상 평면과 평행하며, 상기 촬상부로부터 임계 거리 이상으로 이격된 평면에 대한 호모그라피 정보인 것을 특징으로 하는 스테레오 정합을 이용한 차량의 움직임 측정 장치.
  4. 제 3항에 있어서,
    상기 레이블 구별부는,
    상기 추출된 호모그라피 정보가 지면 호모그라피인 경우, 상기 지면 호모그라피 정보의 기울기 정보를 이용하여 상기 촬상부의 기준평면과 일정한 기울기를 갖는 지면 레이블을 구별하는 것을 특징으로 하는 스테레오 정합을 이용한 차량의 움직임 측정 장치.
  5. 제 3항에 있어서,
    상기 레이블 구별부는,
    상기 추출된 호모그라피 정보가 객체 호모그라피인 경우, 상기 객체 호모그라피 정보의 거리 정보를 이용하여 상기 촬상부의 영상 평면과 평행하며 상기 촬상부로부터 임계 거리 미만 이격된 객체 레이블을 구별하는 것을 특징으로 하는 스테레오 정합을 이용한 차량의 움직임 측정 장치.
  6. 제 3항에 있어서,
    상기 레이블 구별부는,
    상기 추출된 호모그라피 정보가 배경 호모그라피인 경우, 상기 배경 호모그라피 정보의 거리 정보를 이용하여 상기 촬상부의 영상 평면과 평행하며 상기 촬상부로부터 임계 거리 이상 이격된 배경 레이블을 구별하는 것을 특징으로 하는 스테레오 정합을 이용한 차량의 움직임 측정 장치.
  7. 삭제
  8. 제 1항에 있어서,
    상기 회전 측정부는,
    상기 평면 획득부에 의해 획득된 N 프레임의 평면 정보와 N+1 프레임 평면 정보 간의 상대적 위치 정보 및 상기 두 평면 사이의 각도 정보를 이용하여 차량의 회전 방향 및 회전 각도 정보를 측정하는 것을 특징으로 하는 스테레오 정합을 이용한 차량의 움직임 측정 장치.(N은 자연수)
  9. 제 1항에 있어서,
    상기 움직임 측정부는,
    상기 N 프레임의 지면 레이블 및 측정된 회전 정보를 역으로 적용한 N+1 프레임의 지면 레이블 간 대응점을 획득하는 지면 매칭부; 및
    상기 지면 매칭부에 의해 획득된 대응점의 3차원 정보를 이용하여 차량의 이동 정보를 측정하는 이동 측정부;를 더 포함하는 것을 특징으로 하는 스테레오 정합을 이용한 차량의 움직임 측정 장치.(N은 자연수)
  10. 제 9항에 있어서,
    상기 이동 측정부는,
    일정 영역 내 위치하는 복수의 대응점에 대한 3차원 정보를 이용하여, 각 대응점간 거리의 평균 정보를 이용하여 차량의 이동 정보를 측정하는 것을 특징으로 하는 스테레오 정합을 이용한 차량의 움직임 측정 장치.
KR1020130020556A 2013-02-26 2013-02-26 스테레오 정합을 이용한 차량의 움직임 측정 장치 KR101431373B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130020556A KR101431373B1 (ko) 2013-02-26 2013-02-26 스테레오 정합을 이용한 차량의 움직임 측정 장치
US14/087,145 US9373175B2 (en) 2013-02-26 2013-11-22 Apparatus for estimating of vehicle movement using stereo matching

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130020556A KR101431373B1 (ko) 2013-02-26 2013-02-26 스테레오 정합을 이용한 차량의 움직임 측정 장치

Publications (1)

Publication Number Publication Date
KR101431373B1 true KR101431373B1 (ko) 2014-08-18

Family

ID=51388202

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130020556A KR101431373B1 (ko) 2013-02-26 2013-02-26 스테레오 정합을 이용한 차량의 움직임 측정 장치

Country Status (2)

Country Link
US (1) US9373175B2 (ko)
KR (1) KR101431373B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469167B (zh) * 2014-12-26 2017-10-13 小米科技有限责任公司 自动对焦方法及装置
US10616578B2 (en) * 2015-01-30 2020-04-07 Texas Instruments Incorporated Semi-global matching (SGM) cost compression
US9679387B2 (en) * 2015-02-12 2017-06-13 Mitsubishi Electric Research Laboratories, Inc. Depth-weighted group-wise principal component analysis for video foreground/background separation
US10424070B2 (en) * 2016-04-21 2019-09-24 Texas Instruments Incorporated Methods and apparatus for structure from motion estimation
US10462445B2 (en) 2016-07-19 2019-10-29 Fotonation Limited Systems and methods for estimating and refining depth maps
US10839535B2 (en) 2016-07-19 2020-11-17 Fotonation Limited Systems and methods for providing depth map information
CN112446916A (zh) * 2019-09-02 2021-03-05 北京京东乾石科技有限公司 确定无人车停靠位的方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005217883A (ja) * 2004-01-30 2005-08-11 Rikogaku Shinkokai ステレオ画像を用いた道路平面領域並びに障害物検出方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2199983A1 (en) * 2008-12-22 2010-06-23 Nederlandse Centrale Organisatie Voor Toegepast Natuurwetenschappelijk Onderzoek TNO A method of estimating a motion of a multiple camera system, a multiple camera system and a computer program product
US20110169923A1 (en) * 2009-10-08 2011-07-14 Georgia Tech Research Corporatiotion Flow Separation for Stereo Visual Odometry
US8983121B2 (en) * 2010-10-27 2015-03-17 Samsung Techwin Co., Ltd. Image processing apparatus and method thereof
US8744169B2 (en) * 2011-05-31 2014-06-03 Toyota Motor Europe Nv/Sa Voting strategy for visual ego-motion from stereo
US8831290B2 (en) * 2012-08-01 2014-09-09 Mitsubishi Electric Research Laboratories, Inc. Method and system for determining poses of vehicle-mounted cameras for in-road obstacle detection
US9251587B2 (en) * 2013-04-05 2016-02-02 Caterpillar Inc. Motion estimation utilizing range detection-enhanced visual odometry

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005217883A (ja) * 2004-01-30 2005-08-11 Rikogaku Shinkokai ステレオ画像を用いた道路平面領域並びに障害物検出方法

Also Published As

Publication number Publication date
US9373175B2 (en) 2016-06-21
US20140241587A1 (en) 2014-08-28

Similar Documents

Publication Publication Date Title
KR101431373B1 (ko) 스테레오 정합을 이용한 차량의 움직임 측정 장치
US10466714B2 (en) Depth map estimation with stereo images
KR101411668B1 (ko) 교정 장치, 거리 측정 시스템, 교정 방법, 및 교정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
US8571354B2 (en) Method of and arrangement for blurring an image
US10909395B2 (en) Object detection apparatus
Salman et al. Distance measurement for self-driving cars using stereo camera
CN109997148B (zh) 信息处理装置、成像装置、设备控制系统、移动对象、信息处理方法和计算机可读记录介质
US20130177237A1 (en) Stereo-vision object detection system and method
CN104318561A (zh) 基于双目立体视觉与光流融合的车辆运动信息检测方法
JP5353455B2 (ja) 周辺監視装置
EP3150961B1 (en) Stereo camera device and vehicle provided with stereo camera device
US10832428B2 (en) Method and apparatus for estimating a range of a moving object
CN108645375B (zh) 一种用于车载双目系统快速车辆测距优化方法
KR101709317B1 (ko) 단일 카메라와 ｇｐｓ를 이용한 영상 내 객체의 좌표 산출 방법
WO2018179281A1 (ja) 物体検出装置及び車両
WO2018030010A1 (ja) 路面推定装置、車両制御装置、路面推定方法、およびプログラム
CN105049784A (zh) 用于基于图像的视距估计的方法和设备
JP2011134207A (ja) 運転記録装置および地図作成システム
Petrovai et al. A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices
Lion et al. Smart speed bump detection and estimation with kinect
Leu et al. High speed stereo vision based automotive collision warning system
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
JP5587852B2 (ja) 画像処理装置及び画像処理方法
CN104252707A (zh) 对象检测方法和装置
WO2019091381A1 (zh) 识别立体物的方法、装置、车辆和存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170725

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180724

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190725

Year of fee payment: 6