KR20180096980A - 스테레오 카메라를 이용한 거리 추정 방법 및 장치 - Google Patents

스테레오 카메라를 이용한 거리 추정 방법 및 장치 Download PDF

Info

Publication number
KR20180096980A
KR20180096980A KR1020170023465A KR20170023465A KR20180096980A KR 20180096980 A KR20180096980 A KR 20180096980A KR 1020170023465 A KR1020170023465 A KR 1020170023465A KR 20170023465 A KR20170023465 A KR 20170023465A KR 20180096980 A KR20180096980 A KR 20180096980A
Authority
KR
South Korea
Prior art keywords
image
local matching
value
local
depth
Prior art date
Application number
KR1020170023465A
Other languages
English (en)
Other versions
KR102252915B1 (ko
Inventor
이동하
이재홍
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020170023465A priority Critical patent/KR102252915B1/ko
Publication of KR20180096980A publication Critical patent/KR20180096980A/ko
Application granted granted Critical
Publication of KR102252915B1 publication Critical patent/KR102252915B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18072—Coasting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0059—Signal noise suppression
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2510/00—Input parameters relating to a particular sub-units
    • B60W2510/06—Combustion engines, Gas turbines
    • B60W2510/0638—Engine speed
    • B60W2510/0647—Coasting condition
    • B60W2550/10—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 일 실시예에 따른 차량에 설치된 스테레오 카메라를 이용한 거리 추정 방법은 본 발명의 일 실시예에 따른 차량에 설치된 스테레오 카메라를 이용한 거리 추정 방법은 스테레오 카메라로부터 스테레오 영상을 획득하는 단계, 상기 스테레오 영상을 로컬 매칭 방법을 통해 영상으로 출력하는 단계, 상기 로컬 매칭 영상의 신뢰도를 판단하는 단계, 상기 로컬 매칭 영상의 노이즈를 제거하는 단계, 상기 노이즈 제거된 로컬 매칭 영상과 글로벌 매칭 영상을 Depth map 합성하는 단계 및 상기 Depth map 합성된 영상을 분석하여 물체인식 거리를 추정하는 단계를 포함할 수 있다.
본 발명의 일 실시예의 차량에 설치된 스테레오 카메라를 이용한 거리 추정 장치에 있어서, 스테레오 영상을 획득하는 스테레오 카메라; 상기 스테레오 영상을 로컬 매칭 방법을 통해 영상으로 출력하는 매칭부, 상기 로컬 매칭 영상의 신뢰도를 판단하는 신뢰도 판단부, 상기 로컬 매칭 영상의 노이즈를 제거하는 노이즈 제거부, 상기 노이즈 제거된 로컬 매칭 영상과 글로벌 매칭 영상을 Depth map 합성하는 합성부 및 상기 Depth map 합성된 영상을 분석하여 물체인식 거리를 추정하는 거리 추정부를 포함할 수 있다.

Description

스테레오 카메라를 이용한 거리 추정 방법 및 장치{Method and apparatus for distance estimation using stereo camera}
본 발명은 스테레오 카메라를 이용한 거리 추정 방법 및 장치에 관한 것으로, 더욱 상세하게는 스테레오 카메라로부터 제공받은 스테레오 영상을 매칭하여 물체 인식 및 거리 추정을 개선할 수 있는 방법 및 장치에 관한 것이다.
종래의 기술은 스테레오 카메라를 이용한 영상처리 기술은 통상적으로, 로컬 매칭 단계와 글로벌 매칭 단계로 나뉘어 진다. 통상적으로 글로벌 매칭의 경우, 적은 연산량에 비하여 비교적 높은 정확도의 이점을 가진 SGM(Semi-Global Matching) 방법을 많이 활용한다.
종래의 SGM 방법은 정합의 밀도를 높게 가져가기 위하여, 물체의 거리정보를 평탄화 시키기 때문에, 최종 깊이 영상의 밀도는 매우 높아 객체 인식에는 유리하나, 각 픽셀의 거리 정확도가 열화되는 문제점이 있다.
본 발명에서는 스테레오 카메라를 이용한 거리 추정 방법 및 장치의 신뢰도 향상을 위하여, 장애물의 영역을 판단하고 그것까지의 거리를 정확하게 계산하는 방법에 대하여 제안한다.
더욱 상세하게, SGM 중간 단계인 로컬 매칭의 결과물을 활용하여, 최종 깊이 영상에 적절히 합성, 결과를 출력한다. 합성된 깊이 영상에는 매우 정확한 물체들의 깊이 정보와 높은 밀도의 깊이 영역들을 같이 포함하고 있기 때문에, 카메라 전방의 정확한 객체 인식 및 거리 정보 출력을 동시에 만족시키는 스테레오 카메라를 이용한 거리 추정 방법 및 장치를 제공하는 그 목적이 있다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당 업자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 차량에 설치된 스테레오 카메라를 이용한 거리 추정 방법은 스테레오 카메라로부터 스테레오 영상을 획득하는 단계, 상기 스테레오 영상을 로컬 매칭 방법을 통해 영상으로 출력하는 단계, 상기 로컬 매칭 영상의 신뢰도를 판단하는 단계, 상기 로컬 매칭 영상의 노이즈를 제거하는 단계, 상기 노이즈 제거된 로컬 매칭 영상과 글로벌 매칭 영상을 Depth map 합성하는 단계 및 상기 Depth map 합성된 영상을 분석하여 물체인식 거리를 추정하는 단계를 포함할 수 있다.
실시예에 따라, 상기 로컬 매칭 영상에 기초하여, 글로벌 매칭 방식으로 영상을 출력하는 단계를 더 포함할 수 있다.
실시예에 따라, 상기 신뢰도를 판단하는 단계는 상기 스테레오 영상에 기초하여, 에지 영상을 생성하는 단계 및 상기 에지 영상에 기초하여 상기 로컬 매칭 영상의 신뢰도를 판단하는 단계를 포함할 수 있다.
실시예에 따라, 상기 로컬 매칭 영상의 신뢰도를 판단하는 단계는 상기 에지 영상에 기초하여 상기 로컬 매칭 영상의 깊이 정확도를 계산할 수 있다.
실시예에 따라, 상기 로컬 매칭 영상의 노이즈를 제거하는 단계는, 상기 로컬 매칭 영상에서 코스트를 계산하는 단계 및 상기 코스트 값에 기초하여 상기 로컬 매칭 영상의 깊이 값을 계산하는 단계를 포함할 수 있다.
실시예에 따라, 상기 깊이 값을 계산하는 단계는 상기 로컬 매칭 영상에 상기 가장 작은 코스트 값이 상기 두 번째로 작은 코스트 값으로 나눈 결과값이 기 설정된 임계 값 이상인 경우, 깊이 값을 0으로 설정하는 단계 및 상기 로컬 매칭 영상에 상기 가장 작은 코스트 값이 상기 두 번째로 작은 코스트 값으로 나눈 결과값이 기 설정된 임계 값 미만인 경우, 상기 깊이 값을 노이즈 제거 이전의 초기 깊이 값으로 설정하는 단계를 포함할 수 있다.
실시예에 따라, 상기 Depth map 합성 단계는 노이즈가 제거된 로컬 매칭 영상의 에지 값에 기초하여, 로컬 매칭 영상 및 글로벌 매칭 영상을 합성하도록 수행될 수 있다.
실시예에 따라, 상기 Deep map 합성 단계는 신뢰도가 판단된 로컬 매칭 영상에서 각 픽셀의 에지 값이 높은 경우, 로컬 매칭의 깊이 값이 글로벌 매칭의 깊이 값 보다 많이 반영되도록 수행될 수 있다.
실시예에 따라, 상기 Deep map 합성 단계는 신뢰도가 판단된 로컬 매칭 영상에서 각 픽셀의 에지 값이 낮은 경우, 글로벌 매칭의 깊이 값이 로컬 매칭의 깊이 값보다 많이 반영되도록 수행될 수 있다.
또한, 본 발명의 일 실시예의 차량에 설치된 스테레오 카메라를 이용한 거리 추정 장치에 있어서, 스테레오 영상을 획득하는 스테레오 카메라; 상기 스테레오 영상을 로컬 매칭 방법을 통해 영상으로 출력하는 매칭부, 상기 로컬 매칭 영상의 신뢰도를 판단하는 신뢰도 판단부, 상기 로컬 매칭 영상의 노이즈를 제거하는 노이즈 제거부, 상기 노이즈 제거된 로컬 매칭 영상과 글로벌 매칭 영상을 Depth map 합성하는 합성부 및 상기 Depth map 합성된 영상을 분석하여 물체인식 거리를 추정하는 거리 추정부를 포함할 수 있다.
실시예에 따라, 상기 매칭부는 상기 로컬 매칭 영상에 기초하여, 글로벌 매칭 방식으로 영상을 출력할 수 있다.
실시예에 따라, 상기 신뢰도 판단부는 상기 스테레오 영상에 기초하여, 에지 영상을 생성하고, 상기 에지 영상에 기초하여 상기 로컬 매칭 영상의 신뢰도를 판단할 수 있다.
실시예에 따라, 상기 신뢰도 판단부는 상기 에지 영상에 기초하여 상기 로컬 매칭 영상의 깊이 정확도를 계산할 수 있다.
실시예에 따라, 상기 노이즈 판단부는 상기 로컬 매칭 영상에서 코스트를 계산하고, 상기 코스트 값에 기초하여 상기 로컬 매칭 영상의 깊이 값을 계산할 수 있다.
실시예에 따라, 상기 노이즈 판단부는 상기 로컬 매칭 영상에 상기 가장 작은 코스트 값이 상기 두 번째로 작은 코스트 값으로 나눈 결과값이 기 설정된 임계 값 이상인 경우, 깊이 값을 0으로 설정하고, 상기 로컬 매칭 영상에 상기 가장 작은 코스트 값이 상기 두 번째로 작은 코스트 값으로 나눈 결과값이 기 설정된 임계 값 미만인 경우, 상기 깊이 값을 노이즈 제거 이전의 초기 깊이 값으로 설정할 수 있다.
실시예에 따라, 상기 합성부는 노이즈가 제거된 로컬 매칭 영상의 에지 값에 기초하여, 로컬 매칭 영상 및 글로벌 매칭 영상을 합성하도록 수행될 수 있다.
실시예에 따라, 상기 합성부는 상기 신뢰도가 판단된 에지 영상에 기초하여, 노이즈 제거된 로컬 매칭 영상에서 각 픽셀의 에지 값이 높은 경우, 로컬 매칭의 깊이 값이 글로벌 매칭의 깊이 값 보다 많이 반영되도록 수행될 수 있다.
실시예에 따라, 상기 합성부는 상기 신뢰도가 판단된 에지 영상에 기초하여, 노이즈 제거된 로컬 매칭 영상에서 각 픽셀의 에지 값이 낮은 경우, 글로벌 매칭의 깊이 값이 로컬 매칭의 깊이 값보다 많이 반영되도록 수행될 수 있다.
본 발명에 따른 스테레오 카메라를 이용한 거리 추정 방법 및 장치에 대한 효과를 설명하면 다음과 같다.
첫째, 스테레오 카메라를 활용하여 장애물의 영역을 판단하고 그것까지의 거리를 정확하게 계산하는 장점이 있다.
둘째, 스테레오 카메라가 적용된 ADAS 및 자율주행 시스템, 특별히 AEB 와 같이 높은 거리 정밀도를 요구하는 시스템의 신뢰도 및 성능을 크게 향상시키는 장점이 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도1은 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 거리 추정 장치의 구성도이다.
도2는 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 거리 추정 방법의 예시도이다.
도 3은 본 발명의 일 실시예에 따른 스테레오 매칭 과정에서 출력되는 결과를 도시한 예시도이다.
이하, 본 발명의 실시예들이 적용되는 장치 및 다양한 방법들에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
실시예의 설명에 있어서, 각 구성 요소의 " 상(위) 또는 하(아래)", "전(앞) 또는 후(뒤)"에 형성되는 것으로 기재되는 경우에 있어, "상(위) 또는 하(아래)" 및"전(앞) 또는 후(뒤)"는 두 개의 구성 요소들이 서로 직접 접촉되거나 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 배치되어 형성되는 것을 모두 포함한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성 요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명의 실시예들은 스테레오 영상의 로컬 매칭 방법과 글로벌 매칭 방법의 합성을 통하여, 로컬 스테레오 매칭의 결과물을 활용하여, 최종 깊이 영상에 적절히 합성, 결과를 출력할 수 있다. 상기 합성된 깊이 영상에는 매우 정확한 물체들의 깊이 정보와 높은 밀도의 깊이 영역들을 같이 로컬 매칭의 거리를 매우 정확하게 표현 가능한 장점과 글로벌 매칭의 객체 인지가 정확하게 표현되는 장점을 모두 만족하는 스테레오 카메라를 이용한 거리 추정 방법 및 그를 수행할 수 있는 장치에 관한 것이다.
도1은 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 거리 추정 장치의 구성도이다.
스테레오 카메라를 이용한 거리 추정 장치는 스테레오 카메라(110), 매칭부(120), 신뢰도 판단부(130), 노이즈 제거부(140), 합성부(150), 거리 추정부(160), 제어부(170)를 포함할 수 있다.
스테레오 카메라(110)는 스테레오 카메라는, 차량의 전방 및 노면을 촬영하여 이로부터 스테레오 영상을 획득하는 기능을 수행한다.
스테레오 카메라(110)는 차량의 전면, 후면, 측면 중 하나 이상에 설치되며 제1카메라 및 제2카메라를 포함할 수 있다. 스테레오 카메라(110)는 제1카메라 및 제 2카메라를 통해 차량 전방을 촬영할 수 있다. 다시 말해서, 카메라(10)는 제1카메라(11) 및 제2카메라(12)를 통해 각각 제1영상 및 제2영상을 획득한다. 제1카메라(11) 및 제2카메라(12)는 CCD(charge coupled device) 영상센서(image sensor), MOS(metal oxide semi-conductor) 영상센서, CPD(charge priming device) 영상센서 및 CID(charge injection device) 영상센서 등과 같은 센서들 중 어느 하나의 센서로 구현될 수 있다.
매칭부(120)는 상기 스테레오 카메라(110)로부터 수신한 스테레오 영상을 로컬 매칭 방법을 수행할 수 있다.
로컬 매칭 방법은 상기 스테레오 영상으로 입력된 제1영상 또는 제2영상 중에서 하나의 영상을 기준 영상으로 설정하고, 상기 선택된 기준 영상의 기준 픽셀 주위로 일정 영역의 블록을 설정하여, 상기 선택되지 않은 나머지 영상에서 상기 기준 영상의 상기 일정 영역의 블록과 대응되는 가장 유사한 영역을 찾아 변이를 추정하고 변이맵을 구하는 스테레오 매칭방법이다.
이때, 상기 로컬 매칭 방법으로는 명암정보를 이용하여 상기 좌/우 영상의 일정영역의 블록 사이의 상관성을 구한 후 차이의 제곱을 합하는 SSD(Sum of Squared difference), 블록 사이의 상관성을 구한 후 차이의 절대값을 합하는SAD(Sum of Absolute Difference)가 있으며, 픽셀간의 상관관계를 이용하는 NCC(Normalized Cross Coefficient)등을 포함할 수 있다.
매칭부(120)는 상기 스테레오 카메라(110)로부터 수신한 스테레오 영상을 글로벌 매칭 방법을 수행할 수 있다.
글로벌 매칭 방법은 깊이 영상의 밀도를 높게 가져가기 위하여, 주변의 깊이 값들과의 평탄화를 수행할 수 있다. 평탄화 단계를 거치게 되면 주변 영역들과 깊이 값을 추출하는 매칭방법이다.
신뢰도 판단부(130)는 매칭부(120)로부터 수신한 로컬 매칭 영상의 신뢰도를 판단할 수 있다.
신뢰도 판단부(130)는 상기 스테레오 영상에 기초하여, 에지 영상을 생성할 수 있다. 상기 에지 영상은 물체의 경계를 확연히 나타낼 수 있는 영상이다. 통상적으로 에지가 강하게 나타나는 영역에 대하여, 로컬 매칭의 신뢰도가 높게 나타나는 특성이 있다
상기 에지 영상은 차량 및 도로의 수평 에지 성분, 수직 에지 성분, 바닥선 에지 성분 또는 그림자 정보 등과 같은 에지 정보를 포함하는 할 수 있다.
신뢰도 판단부(130)는 상기 에지 영상에 기초하여 상기 로컬 매칭 영상의 깊이 정확도를 계산할 수 있다.
노이즈 제거부(140)는 매칭부(120)로부터 수신 받은 로컬 매칭 영상에서 노이즈를 제거할 수 있다.
노이즈 제거부(140)는 상기 로컬 매칭 영상에서 코스트를 계산할 수 있다.
노이즈 제거부(140)는 상기 코스트 값에 기초하여 상기 로컬 매칭 영상의 깊이 값을 계산할 수 있다.
노이즈 제거부(140)는 상기 깊이 값을 하기 [수학식1]방법을 이용하여 계산할 수 있다.
[수학식1]
Figure pat00001
이때 D_initial 은 초기 깊이 값, C_1st 는 제일 작은 코스트 값, C_2nd 는 두 번째로 작은 코스트 값, R은 상기 로컬 매칭 영상에서 상기 로컬 매칭 영상에 상기 가장 작은 코스트 값을 상기 두 번째로 작은 코스트 값으로 나눈 결과값을 뜻한다.
노이즈 제거부(140)는 상기 R값이 기 설정된 임계 값 이상인 경우, 로컬 영상의 깊이 값을 깊이 값을 0으로 설정할 수 있다.
노이즈 제거부(140)는 상기 R값이 기 설정된 임계 값 미만인 경우, 상기 로컬 영상의 깊이 값을 노이즈 제거 이전의 초기 값으로 계산할 수 있다.
노이즈 제거부(140)는 상기 로컬 매칭 영상의 노이즈를 제거하여 높은 정확도의 깊이 값을 도출할 수 있다.
합성부(150)는 신뢰성 판단된 로컬 영상, 노이즈 제거된 로컬 매칭 영상 및 글로벌 매칭 영상을 합성하여 Depth map을 생성할 수 있다.
합성부(150)는 상기 합성부는 상기 신뢰도 판단부(130)로부터 에지 영상을 수신하고, 상기 노이즈 제거부(140)로부터 노이즈가 제거된 로컬 매칭 영상을 수신하고, 에지 영상에 기초하여, 상기 노이즈가 제거된 상기 로컬 매칭 영상의 깊이 정확도를 계산하여 각 픽셀의 정확도를 판단할 수 있다.
합성부(150)는 상기 노이즈 제거부(140)로부터 제거된 영상의 각 픽셀의 에지 값 및 상기 영상 전체에서 가장 큰 에지 값을 통해 Depth map 합성 방식에서 로컬 매칭 영상의 반영 정도를 계산할 수 있다.
합성부(150)는 상기 에지 값의 반영 정도 결과에 기초하여 노이즈가 제거된 로컬 매칭의 깊이 값 및 상기 글로벌 매칭 영상의 깊이 값을 계산할 수 있다.
합성부(150)는 에지 영상에 기초하여 로컬 매칭으로부터 각 픽셀의 정확도를 정량적으로 나타낼 수가 있다. 구체적인 합성 방법은 하기의 수학식 2 및 수학식 3을 통해 계산할 수 있다.
[수학식2]
Figure pat00002
[수학식3]
Figure pat00003
,
Figure pat00004
D_final 은 합성된 최종 깊이 값, D_filt 은 로컬 매칭에서 노이즈가 제거된 깊이 값, D_global 은 글로벌 매칭 영상 후 얻게 되는 깊이 값을 의미한다. E 는 각 픽셀에서의 에지 값, E_max 는 영상 전체에서 가장 큰 에지 값을 나타낸다.
예를 들어, 상기 신뢰도가 판단된 에지 영상에 기초하여, 노이즈 제거된 로컬 매칭 영상에서 각 픽셀의 에지 값이 높은 경우, 로컬 매칭의 깊이 값이 글로벌 매칭의 깊이 값 보다 많이 반영될 수 있다.
다른 예를 들어, 상기 신뢰도가 판단된 에지 영상에 기초하여, 노이즈 제거된 로컬 매칭 영상에서 각 픽셀의 에지 값이 낮은 경우, 글로벌 매칭의 깊이 값이 로컬 매칭의 깊이 값보다 많이 반영되도록 수행될 수 있다.
합성부(150)는 로컬 매칭의 깊이 값이 깊게 방영 되는 경우, 물체의 경계가 강하게 나타나게 되어, 깊이 값을 강하게 나타나는 영상을 출력할 수 있다.
합성부(150)는 글로벌 매칭의 깊이 값이 깊게 방영 되는 경우, 정합 밀도가 높게 나타나는 영상을 출력할 수 있다.
거리 추정부(160)는 합성부(150)로부터 처리된 영상으로부터 차간거리를 산출할 수 있다.
제어부(170)는 설정된 프로그램에 의해 동작하는 하나 이상의 마이크로 프로세서로 구현될 수 있으며, 이러한 설정된 프로그램은 후술하는 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 거리 추정 방법에 포함된 각 단계를 수행하기 위한 일련의 명령을 포함하는 것으로 할 수 있다.
도2는 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 거리 추정 방법의 예시도이다.
도2 를 참조하면, 본 발명의 알 실시예에 따른 스테레오 카메라를 이용한 거리 추정 방법은 스테레오 카메라(110)로부터 스테레오 영상을 획득하는 단계, 상기 스테레오 영상을 로컬 매칭 방법을 통해 영상으로 출력하는 단계, 상기 로컬 매칭 영상의 신뢰도를 판단하는 단계, 상기 로컬 매칭 영상의 노이즈를 제거하는 단계, 상기 노이즈 제거된 로컬 매칭 영상과 글로벌 매칭 영상을 Depth map 합성하는 단계, 상기 Depth map 합성된 영상을 분석하여 물체인식 거리를 추정하는 단계를 포함할 수 있다.
스테레오 카메라로부터 스테레오 영상을 획득하는 단계는 구비된 스테레오 카메라(110)로부터 스테레오 영상을 획득할 수 있다(S210).
매칭부(120)는 상기 스테레오 영상을 로컬 매칭 방법을 통해 영상으로 출력할 수 있다(S220).
예를 들어, 상기 스테레오 영상을 로컬 매칭한 제1 영상이다. 상기 제1 영상은 정확도는 뛰어나지만, 노이즈를 다수 포함할 수 있다. 상기 로컬 매칭의 노이즈를 제거하는 제2 영상일 수 있다.
신뢰도 판단부(130)는 상기 로컬 매칭 영상의 신뢰도를 판단할 수 있다(S230). 상기 로컬 매칭의 신뢰도를 높이기 위해 상기 스테레오 영상의 에지 영상을 생성할 수 있다. 상기 에지 영상으로부터 깊이 정확도, 및 신뢰도 계산할 수 있다. 상기 에지는 물체의 경계로서 상기 에지 값이 높을수록 매칭의 신뢰도는 또한 높을 수 있다.
노이즈 제거부(140)는 상기 로컬 매칭 영상의 노이즈를 제거할 수 있다(S240).
매칭부(250)는 상기 로컬 매칭을 기초로 하여 글로벌 매칭 방법을 통해 영상으로 출력할 수 있다(S250). 상기 매칭부는 상기 스테레오 영상을 글로벌 매칭할 수 있다. 글로벌 매칭 영상 밀도는 우수 하지만 정합의 밀도를 높게 가져가기 위하여, 물체의 거리정보를 평탄화 시키기 때문에, 최종 깊이 영상의 밀도는 매우 높아 객체 인식에는 유리할 수 있다. 상기 글로벌 매칭은 상기 영상으로부터 관심지점(ROI, Region Of Interest) 정보를 생성하여 제공할 수 있다.
합성부는(150)는 상기 노이즈 제거된 로컬 매칭 영상과 글로벌 매칭 영상을 Depth map 합성할 수 있다(S260).
상기 로컬 매칭 정보 및 상기 글로벌 매칭 정보에 기초하여 최종 합성된 영상의 깊이 정보를 통해 물체 인식 및 거리 추정 할 수 있다. 상기 합성 영상은 정확도 및 밀도를 동시에 만족할 수 있다. 상기 합성영상의 각 픽셀은 로컬 매칭의 깊이 값이 더욱 높게 반영되게 되는 것을 알 수 있다. 반대로 물체의 경계가 아닌 도로면, 혹은 물체 내부 영역의 경우, 에지 값이 적게 나타나기 때문에, 글로벌 매칭의 깊이 값이 많이 반영이 되게 된다
거리 추정부(160)는 상기 Depth map 합성된 영상을 분석하여 물체인식 거리를 추정할 수 있다(S270).
도 3은 본 발명의 일 실시예에 따른 스테레오 매칭 과정에서 출력되는 결과를 도시한 예시도이다.
상기한 실시예에서는 스테레오 카메라(110)의 원본 영상의 윤곽선 정보를 활용하므로, 스테레오 영사 입력 단계는 스테레오 카메라(110)로부터 제1 영상(311), 제 2영상(312)을 포함하는 스테레오 영상을 획득할 수 있다.
로컬 매칭 단계는 상기 스테레오 영상을 로컬 매칭하여 노이즈를 다수 포함하고 있으나, 노이즈를 제외한 각 점들의 깊이 정확도가 높은 로컬 매칭 결과(320)를 획득할 수 있다.
노이즈 제거 단계는 상기 로컬 매칭 결과에서 노이즈를 제거한 영상(330)을 획득할 수 있다.
글로벌 매칭 단계는 주변의 깊이 값들과의 평탄화를 수행한다. 평탄화 단계를 거치게 되면 주변 영역들과 깊이 값이 융화되어, 종래 가지고 있었던 거리 값의 정확도가 낮은 로컬 매칭 결과(340)를 획득할 수 있다. 상기 글로벌 매칭 결과를 통해 전방 물체의 ROI정보를 제공할 수 있다.
신뢰도 판단 단계는 에지 영상(350)은 윤곽선이 강하게 나타나는 경계에서 시차정보가 크게 변화할 수 있도록 유도한다. 상기 에지 영상을 통하여, 깊이 정확도 및 신뢰도를 계산할 수 있다.
Depth map 합성 단계는 최종 합성된 깊이 영상(360)을 획득할 수 있다.
한편, 본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
상술한 일 실시예에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장시스템 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상술한 방법을 구현하기 위한 기능적인(function)프로그램, 코드 및 코드 세그먼트들은 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
110: 스테레오 카메라
120: 매칭부
130: 신뢰도 판단부
140: 노이즈 제거부
150: 합성부
160: 거리 추정부
170: 제어부

Claims (19)

  1. 차량에 설치된 스테레오 카메라를 이용한 거리 추정 방법에 있어서,
    스테레오 카메라로부터 스테레오 영상을 획득하는 단계;
    상기 스테레오 영상을 로컬 매칭 방법을 통해 영상으로 출력하는 단계;
    상기 로컬 매칭 영상의 신뢰도를 판단하는 단계;
    상기 로컬 매칭 영상의 노이즈를 제거하는 단계;
    상기 노이즈 제거된 로컬 매칭 영상과 글로벌 매칭 영상을 Depth map 합성하는 단계; 및
    상기 Depth map 합성된 영상을 분석하여 물체인식 거리를 추정하는 단계를 포함하는 스테레오 카메라를 이용한 거리 추정 방법.
  2. 제 1항에 있어서,
    상기 로컬 매칭 영상에 기초하여, 글로벌 매칭 방식으로 영상을 출력하는 단계를 더 포함하는 스테레오 카메라를 이용한 거리 추정 방법.
  3. 제 1항에 있어서,
    상기 로컬 매칭 영상의 신뢰도를 판단하는 단계는
    상기 스테레오 영상에 기초하여, 에지 영상을 생성하는 단계; 및
    상기 에지 영상에 기초하여 상기 로컬 매칭 영상의 신뢰도를 판단하는 단계를 포함하는 스테레오 카메라를 이용한 거리 추정 방법.
  4. 제 3항에 있어서,
    상기 에지 영상에 기초하여 상기 로컬 매칭 영상의 신뢰도를 판단하는 단계는
    상기 에지 영상에 기초하여 상기 로컬 매칭 영상의 깊이 정확도를 계산하도록 수행되는 스테레오 카메라를 이용한 거리 추정 방법
  5. 제 1항에 있어서
    상기 로컬 매칭 영상의 노이즈를 제거하는 단계는,
    상기 로컬 매칭 영상에서 코스트를 계산하는 단계; 및
    상기 코스트 값에 기초하여 상기 로컬 매칭 영상의 깊이 값을 계산하는 단계를 포함하는 스테레오 카메라를 이용한 거리 추정 방법.
  6. 제 5항에 있어서
    상기 깊이 값을 계산하는 단계는
    상기 로컬 매칭 영상에 상기 가장 작은 코스트 값이 상기 두 번째로 작은 코스트 값으로 나눈 결과값이 기 설정된 임계 값 이상인 경우, 깊이 값을 0으로 설정하는 단계; 및
    상기 로컬 매칭 영상에 상기 가장 작은 코스트 값이 상기 두 번째로 작은 코스트 값으로 나눈 결과값이 기 설정된 임계 값 미만인 경우, 상기 깊이 값을 노이즈 제거 이전의 초기 깊이 값으로 설정하는 단계를 포함하는 스테레오 카메라를 이용한 거리 추정 방법.
  7. 제 1항에 있어서
    상기 Depth map 합성 단계는
    노이즈가 제거된 로컬 매칭 영상의 에지 값에 기초하여, 로컬 매칭 영상 및 글로벌 매칭 영상을 합성하도록 수행되는 스테레오 카메라를 이용한 거리 추정 방법.
  8. 제 7항에 있어서,
    상기 Deep map 합성 단계는
    신뢰도가 판단된 로컬 매칭 영상에서 각 픽셀의 에지 값이 높은 경우,
    로컬 매칭의 깊이 값이 글로벌 매칭의 깊이 값 보다 많이 반영되도록 수행되는 스테레오 카메라를 이용한 거리 추정 방법.
  9. 제 7항에 있어서
    상기 Deep map 합성 단계는
    신뢰도가 판단된 로컬 매칭 영상에서 각 픽셀의 에지 값이 낮은 경우,
    글로벌 매칭의 깊이 값이 로컬 매칭의 깊이 값보다 많이 반영되도록 수행되는 스테레오 카메라를 이용한 거리 추정 방법.
  10. 제 1항 내지 제 9항 중 어느 한 항에 따른 스테레오 카메라를 이용한 거리 추정 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 해독 가능 기록 매체.
  11. 차량에 설치된 스테레오 카메라를 이용한 거리 추정 장치에 있어서,
    스테레오 영상을 획득하는 스테레오 카메라;
    상기 스테레오 영상을 로컬 매칭 방법을 통해 영상으로 출력하는 매칭부;
    상기 로컬 매칭 영상의 신뢰도를 판단하는 신뢰도 판단부;
    상기 로컬 매칭 영상의 노이즈를 제거하는 노이즈 제거부;
    상기 노이즈 제거된 로컬 매칭 영상과 글로벌 매칭 영상을 Depth map 합성하는 합성부; 및
    상기 Depth map 합성된 영상을 분석하여 물체인식 거리를 추정하는 거리 추정부를 포함하는 스테레오 카메라를 이용한 거리 추정 장치.
  12. 제 11항에 있어서,
    상기 매칭부는
    상기 로컬 매칭 영상에 기초하여, 글로벌 매칭 방식으로 영상을 출력하는 스테레오 카메라를 이용한 거리 추정 장치.
  13. 제 11항에 있어서,
    상기 신뢰도 판단부는
    상기 스테레오 영상에 기초하여, 에지 영상을 생성하고,
    상기 에지 영상에 기초하여 상기 로컬 매칭 영상의 신뢰도를 판단하는 스테레오 카메라를 이용한 거리 추정 장치.
  14. 제 13항에 있어서,
    상기 신뢰도 판단부는
    상기 에지 영상에 기초하여 상기 로컬 매칭 영상의 깊이 정확도를 계산하도록 수행되는 스테레오 카메라를 이용한 거리 추정 장치
  15. 제 11항에 있어서
    상기 노이즈 판단부는
    상기 로컬 매칭 영상에서 코스트를 계산하고,
    상기 코스트 값에 기초하여 상기 로컬 매칭 영상의 깊이 값을 계산하는 스테레오 카메라를 이용한 거리 추정 장치.
  16. 제 15항에 있어서
    상기 노이즈 판단부는
    상기 로컬 매칭 영상에 상기 가장 작은 코스트 값이 상기 두 번째로 작은 코스트 값으로 나눈 결과값이 기 설정된 임계 값 이상인 경우, 깊이 값을 0으로 설정하고,
    상기 로컬 매칭 영상에 상기 가장 작은 코스트 값이 상기 두 번째로 작은 코스트 값으로 나눈 결과값이 기 설정된 임계 값 미만인 경우, 상기 깊이 값을 노이즈 제거 이전의 초기 깊이 값으로 설정하는 스테레오 카메라를 이용한 거리 추정 장치.
  17. 제 11항에 있어서
    상기 합성부는
    노이즈가 제거된 로컬 매칭 영상의 에지 값에 기초하여, 로컬 매칭 영상 및 글로벌 매칭 영상을 합성하도록 수행되는 스테레오 카메라를 이용한 거리 추정 장치.
  18. 제 17항에 있어서,
    상기 합성부는
    상기 신뢰도가 판단된 에지 영상에 기초하여, 노이즈 제거된 로컬 매칭 영상에서 각 픽셀의 에지 값이 높은 경우, 로컬 매칭의 깊이 값이 글로벌 매칭의 깊이 값 보다 많이 반영되도록 수행되는 스테레오 카메라를 이용한 거리 추정 장치.
  19. 제 17항에 있어서
    상기 합성부는
    상기 신뢰도가 판단된 에지 영상에 기초하여, 노이즈 제거된 로컬 매칭 영상에서 각 픽셀의 에지 값이 낮은 경우,
    글로벌 매칭의 깊이 값이 로컬 매칭의 깊이 값보다 많이 반영되도록 수행되는 스테레오 카메라를 이용한 거리 추정 장치.
KR1020170023465A 2017-02-22 2017-02-22 스테레오 카메라를 이용한 거리 추정 방법 및 장치 KR102252915B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170023465A KR102252915B1 (ko) 2017-02-22 2017-02-22 스테레오 카메라를 이용한 거리 추정 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170023465A KR102252915B1 (ko) 2017-02-22 2017-02-22 스테레오 카메라를 이용한 거리 추정 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20180096980A true KR20180096980A (ko) 2018-08-30
KR102252915B1 KR102252915B1 (ko) 2021-05-18

Family

ID=63453773

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170023465A KR102252915B1 (ko) 2017-02-22 2017-02-22 스테레오 카메라를 이용한 거리 추정 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102252915B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767426A (zh) * 2021-01-07 2021-05-07 珠海格力电器股份有限公司 一种目标匹配方法、装置和机器人
WO2021213650A1 (en) 2020-04-22 2021-10-28 Huawei Technologies Co., Ltd. Device and method for depth estimation using color images
US11164326B2 (en) 2018-12-18 2021-11-02 Samsung Electronics Co., Ltd. Method and apparatus for calculating depth map
WO2022075792A1 (ko) * 2020-10-08 2022-04-14 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102428744B1 (ko) 2021-12-27 2022-08-03 국방과학연구소 가시영역 비율 기반의 물체 거리 추정 방법 및 그 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090014532A (ko) * 2007-08-06 2009-02-11 삼성모바일디스플레이주식회사 스테레오 매칭 시스템 및 이를 이용한 스테레오 매칭방법
KR100938195B1 (ko) * 2008-07-28 2010-01-21 재단법인대구경북과학기술원 스테레오 매칭을 이용한 거리 추정 장치 및 추정 방법
KR20140030635A (ko) * 2012-09-03 2014-03-12 엘지이노텍 주식회사 스테레오 영상 정합 장치 및 이의 정합 방법
KR20140099098A (ko) * 2013-02-01 2014-08-11 한국전자통신연구원 능동 스테레오 매칭 방법 및 그 장치
KR20160008099A (ko) * 2015-06-11 2016-01-21 한국에너지기술연구원 전력을 공유하는 충전 시스템, 충전 장치 및 그 제어 방법
KR20160015662A (ko) * 2014-07-31 2016-02-15 한국전자통신연구원 스테레오 매칭 방법 및 이를 수행하는 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090014532A (ko) * 2007-08-06 2009-02-11 삼성모바일디스플레이주식회사 스테레오 매칭 시스템 및 이를 이용한 스테레오 매칭방법
KR100938195B1 (ko) * 2008-07-28 2010-01-21 재단법인대구경북과학기술원 스테레오 매칭을 이용한 거리 추정 장치 및 추정 방법
KR20140030635A (ko) * 2012-09-03 2014-03-12 엘지이노텍 주식회사 스테레오 영상 정합 장치 및 이의 정합 방법
KR20140099098A (ko) * 2013-02-01 2014-08-11 한국전자통신연구원 능동 스테레오 매칭 방법 및 그 장치
KR20160015662A (ko) * 2014-07-31 2016-02-15 한국전자통신연구원 스테레오 매칭 방법 및 이를 수행하는 장치
KR20160008099A (ko) * 2015-06-11 2016-01-21 한국에너지기술연구원 전력을 공유하는 충전 시스템, 충전 장치 및 그 제어 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11164326B2 (en) 2018-12-18 2021-11-02 Samsung Electronics Co., Ltd. Method and apparatus for calculating depth map
WO2021213650A1 (en) 2020-04-22 2021-10-28 Huawei Technologies Co., Ltd. Device and method for depth estimation using color images
WO2022075792A1 (ko) * 2020-10-08 2022-04-14 삼성전자주식회사 전자 장치 및 그 제어 방법
CN112767426A (zh) * 2021-01-07 2021-05-07 珠海格力电器股份有限公司 一种目标匹配方法、装置和机器人
CN112767426B (zh) * 2021-01-07 2023-11-17 珠海格力电器股份有限公司 一种目标匹配方法、装置和机器人
KR102428744B1 (ko) 2021-12-27 2022-08-03 국방과학연구소 가시영역 비율 기반의 물체 거리 추정 방법 및 그 장치

Also Published As

Publication number Publication date
KR102252915B1 (ko) 2021-05-18

Similar Documents

Publication Publication Date Title
KR20180096980A (ko) 스테레오 카메라를 이용한 거리 추정 방법 및 장치
JP6784943B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US20120127275A1 (en) Image processing method for determining depth information from at least two input images recorded with the aid of a stereo camera system
JP5178875B2 (ja) 対応点探索のための画像処理方法
US8290248B2 (en) Determining disparity search range in stereo videos
US9208541B2 (en) Apparatus and method for correcting disparity map
CN107316326B (zh) 应用于双目立体视觉的基于边的视差图计算方法和装置
KR100953076B1 (ko) 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
US20160173852A1 (en) Disparity computation method through stereo matching based on census transform with adaptive support weight and system thereof
CN105069804B (zh) 基于智能手机的三维模型扫描重建方法
CN111209770A (zh) 一种车道线识别方法及装置
EP2511875A1 (en) Apparatus and method for refining a value of a similarity measure
WO2019009110A1 (ja) 車両用外界認識装置
JP2017535884A (ja) ノイズの多い奥行きまたは視差画像のリアルタイム適応的フィルタリングを行う方法および装置
KR100926520B1 (ko) 객체/배경 분리 및 영상분할을 이용한 양안/다시점스테레오 정합 장치 및 그 방법
CN111428651B (zh) 一种车辆的障碍信息获取方法、系统及车辆
US10789727B2 (en) Information processing apparatus and non-transitory recording medium storing thereon a computer program
JP2001116513A (ja) 距離画像算出装置
CN112132925A (zh) 用于重建水下图像颜色的方法和装置
JP2021051347A (ja) 距離画像生成装置及び距離画像生成方法
US11227371B2 (en) Image processing device, image processing method, and image processing program
JP2005165969A (ja) 画像処理装置、及び方法
CN107680083B (zh) 视差确定方法和视差确定装置
US11475233B2 (en) Image processing device and image processing method
KR101717381B1 (ko) 스테레오 카메라 기반의 주행 가능 영역 추정 장치 및 방법과 이에 관한 기록매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant