KR20180056685A - 비 장애물 영역 검출을 위한 시스템 및 방법 - Google Patents

비 장애물 영역 검출을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20180056685A
KR20180056685A KR1020187010748A KR20187010748A KR20180056685A KR 20180056685 A KR20180056685 A KR 20180056685A KR 1020187010748 A KR1020187010748 A KR 1020187010748A KR 20187010748 A KR20187010748 A KR 20187010748A KR 20180056685 A KR20180056685 A KR 20180056685A
Authority
KR
South Korea
Prior art keywords
vertical
horizontal
obstacle
map
depth
Prior art date
Application number
KR1020187010748A
Other languages
English (en)
Inventor
고케 데인
바수데브 바스카란
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20180056685A publication Critical patent/KR20180056685A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06K9/00791—
    • G06K9/6292—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/507—Depth or shape recovery from shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

전자 디바이스에 의해 수행되는 방법이 설명된다. 그 방법은 수직 비 장애물 (non-obstacle) 추정을 결정하기 위하여 깊이 맵의 수직 처리를 수행하는 단계를 포함한다. 그 방법은 또한 수평 비 장애물 추정을 결정하기 위하여 깊이 맵의 수평 처리를 수행하는 단계를 포함한다. 그 방법은 수직 비 장애물 추정 및 수평 비 장애물 추정을 결합하는 단계를 더 포함한다. 그 방법은 수직 및 수평 비 장애물 추정들의 결합에 기초하여 비 장애물 맵을 생성하는 단계를 추가로 포함한다.

Description

비 장애물 영역 검출을 위한 시스템 및 방법
본 개시는 일반적으로 전자 디바이스들에 관한 것이다. 보다 구체적으로, 본 개시는 비 장애물 영역 검출을 위한 시스템 및 방법에 관한 것이다.
지난 수십년 동안, 전자 디바이스의 사용이 보편화되었다. 특히, 전자 기술의 진보는 점점 더 복잡하고 유용한 전자 디바이스들의 비용을 감소시켰다. 비용 절감과 소비자 수요는 전자 디바이스들의 사용을 확산시켜 이들이 현대 사회에서 실제로 유비쿼터스화되었다. 전자 디바이스들의 사용이 확대됨에 따라, 전자 디바이스들의 새롭고 개선된 특징에 대한 요구도 확대되었다. 보다 구체적으로, 새로운 기능을 수행하거나 및/또는 기능을 보다 빠르게, 보다 효율적으로 또는 보다 높은 품질로 수행하는 전자 디바이스들이 종종 추구된다.
일부 전자 디바이스들 (예 : 카메라, 비디오 캠코더, 디지털 카메라, 휴대 전화, 스마트 폰, 컴퓨터, 텔레비전 등) 은 이미지를 캡처 및/또는 활용한다. 예를 들어, 스마트폰은 정지 및/또는 비디오 이미지를 캡처 및/또는 처리할 수도 있다. 자동차 및 자율 차량 애플리케이션들에서, 장애물 검출은 이미지를 처리하는 것에 의해 수행될 수도 있다. 이미지를 처리하는 것은 상대적으로 많은 양의 시간, 메모리 및 에너지 리소스들을 요구할 수도 있다. 요구되는 리소스들은 처리의 복잡성에 따라 달라질 수도 있다.
일부 복잡한 처리 작업은 구현하기가 어려울 수도 있다. 예를 들어, 일부 플랫폼은 처리, 메모리 및/또는 에너지 리소스들이 제한적일 수도 있다. 또한, 일부 애플리케이션들은 시간에 민감할 수도 있다. 이러한 논의에서 알 수 있듯이, 이미지 처리를 향상시키는 시스템과 방법이 이로울 수도 있다.
개요
전자 디바이스에 의해 수행되는 방법이 설명된다. 그 방법은 수직 비 장애물 (non-obstacle) 추정을 결정하기 위하여 깊이 맵의 수직 처리를 수행하는 단계를 포함한다. 그 방법은 또한 수평 비 장애물 추정을 결정하기 위하여 깊이 맵의 수평 처리를 수행하는 단계를 포함한다. 그 방법은 수직 비 장애물 추정 및 수평 비 장애물 추정을 결합하는 단계를 더 포함한다. 그 방법은 수직 및 수평 비 장애물 추정들의 결합에 기초하여 비 장애물 맵을 생성하는 단계를 추가로 포함한다.
수직 처리를 수행하는 것은 깊이 맵을 세그먼트들로 분할하는 것을 포함할 수도 있다. 적어도 하나의 세그먼트는 열 (column) 에 다수의 픽셀들을 포함할 수도 있다. 선형 모델 파라미터들은 수직 비 장애물 추정을 결정하기 위해 적어도 하나의 세그먼트에 대해 추정될 수도 있다. 수직 비 장애물 추정을 위한 신뢰도 값 (reliability value) 을 포함하는 수직 신뢰도 맵이 생성될 수도 있다.
수직 신뢰도 맵을 결정하는 것은 추정된 선형 모델 파라미터들과 미리 결정된 선형 모델 파라미터들 사이의 차이에 기초하여 주어진 세그먼트에 대한 세그먼트 피팅 오차 (segment fitting error) 를 결정하는 것을 포함할 수도 있다. 주어진 세그먼트에 대한 신뢰도 값은 세그먼트 피팅 오차와 수직 추정 임계치를 비교함으로써 결정될 수도 있다. 주어진 세그먼트에 대한 신뢰도 값은 주어진 세그먼트 내의 적어도 하나의 픽셀에 적용될 수도 있다.
미리 결정된 선형 모델 파라미터들은 복수의 도로 조건 모델 (road condition model) 중에서 선택될 수도 있다. 복수의 도로 조건 모델들은 대응하는 선형 모델 파라미터 세트를 가질 수도 있다.
수평 처리를 수행하는 것은 깊이 맵의 적어도 하나의 픽셀 행 (row) 에 대한 깊이 히스토그램을 얻는 것을 포함할 수도 있다. 지형 라인 (terrain line) 은 깊이 히스토그램으로부터 결정될 수도 있다. 수평 비 장애물 추정은 지형 라인으로부터의 적어도 하나의 픽셀의 깊이 값의 거리에 기초하여 결정될 수도 있다. 수평 비 장애물 추정에 대한 신뢰도 값을 포함하는 수평 신뢰도 맵이 생성될 수도 있다.
수평 신뢰도 맵을 생성하는 것은 주어진 픽셀의 깊이 값이 깊이 히스토그램의 모드의 범위 내에 있는지 여부를 결정하는 것을 포함할 수도 있다. 주어진 픽셀의 깊이 값이 깊이 히스토그램의 모드의 범위 내에 있을 때 주어진 픽셀은 높은 신뢰도 값을 가질 수도 있다.
수직 비 장애물 추정 및 수평 비 장애물 추정의 결합은 수직 처리 및 수평 처리 양자 모두를 병렬로 수행하는 것을 포함할 수도 있다. 수직 비 장애물 추정 및 수평 비 장애물 추정은 수직 신뢰도 맵 및 수평 신뢰도 맵에 기초하여 병합될 수도 있다.
주어진 픽셀은 수직 신뢰도 맵 및 수평 신뢰도 맵 양자 모두가 주어진 픽셀에 대해 높은 신뢰도 값을 특징으로 하는 비 장애물 맵에서 비 장애물 영역으로 식별될 수도 있다. 주어진 픽셀은 수직 신뢰도 맵 또는 수평 신뢰도 맵 중 적어도 하나가 주어진 픽셀에 대해 낮은 신뢰도 값을 특징으로 하는 비 장애물 맵에서 장애물 영역으로 식별될 수도 있다. 주어진 픽셀은 수직 신뢰도 맵 및 수평 신뢰도 맵이 주어진 픽셀에 대해 상이한 신뢰도 값들을 특징으로 하는 주어진 픽셀의 좌표에 기초하여 비 장애물 맵에서 비 장애물 영역 또는 장애물 영역으로서 식별될 수도 있다.
수직 비 장애물 추정 및 수평 비 장애물 추정의 결합은 깊이 맵의 수직 처리를 수행하는 것을 포함할 수도 있다. 수직 신뢰도 맵은 모델 피팅 신뢰성 (model fitting confidence) 에 기초하여 얻어질 수도 있다. 수직 신뢰도 맵의 신뢰할 수 있는 지역은 비 장애물 영역으로 식별될 수도 있다. 신뢰할 수 없는 지역이 비 장애물 영역인지 여부를 결정하기 위해 수직 신뢰도 맵의 신뢰할 수 없는 지역에 대해 수평 처리가 수행될 수도 있다.
수직 비 장애물 추정 및 수평 비 장애물 추정의 결합은 깊이 맵의 수평 처리를 수행하는 것을 포함할 수도 있다. 수평 신뢰도 맵은 깊이 히스토그램 거리에 기초하여 얻어질 수도 있다. 수평 신뢰도 맵의 신뢰할 수 있는 지역은 비 장애물 영역으로서 식별될 수도 있다. 수평 신뢰도 맵의 신뢰할 수 없는 지역들에 대한 수직 처리는 신뢰할 수 없는 지역들이 비 장애물 영역인지 여부를 결정하기 위해 수행될 수도 있다.
비 장애물 맵은 오브젝트 검출 알고리즘 또는 차선 검출 알고리즘 중 적어도 하나에 의해 사용되는 관심 지역을 식별하는데 사용될 수도 있다.
전자 디바이스가 또한 설명된다. 그 전자 디바이스는 수직 비 장애물 추정을 결정하기 위하여 깊이 맵의 수직 처리를 수행하도록 구성된다. 그 전자 디바이스는 또한, 수평 비 장애물 추정을 결정하기 위하여 깊이 맵의 수평 처리를 수행하도록 구성된다. 그 전자 디바이스는 또한 수직 비 장애물 추정 및 수평 비 장애물 추정을 결합하도록 구성된다. 그 전자 디바이스는 추가적으로, 수직 및 수평 비 장애물 추정들의 결합에 기초하여 비 장애물 맵을 생성하도록 구성된다.
장치가 또한 설명된다. 그 장치는 수직 비 장애물 추정을 결정하기 위하여 깊이 맵의 수직 처리를 수행하는 수단을 포함한다. 그 장치는 또한 수평 비 장애물 추정을 결정하기 위하여 깊이 맵의 수평 처리를 수행하는 수단을 포함한다. 그 장치는 수직 비 장애물 추정 및 수평 비 장애물 추정을 결합하는 수단을 더 포함한다. 그 장치는 수직 및 수평 비 장애물 추정들의 결합에 기초하여 비 장애물 맵을 생성하는 수단을 추가로 포함한다.
컴퓨터 프로그램 제품이 또한 설명된다. 컴퓨터 프로그램 제품은 명령들을 갖는 비일시적 유형의 컴퓨터 판독가능 매체를 포함한다. 그 명령들은 전자 디바이스로 하여금 수직 비 장애물 추정을 결정하기 위하여 깊이 맵의 수직 처리를 수행하게 하기 위한 코드를 포함한다. 그 명령들은 또한, 전자 디바이스로 하여금 수평 비 장애물 추정을 결정하기 위하여 깊이 맵의 수평 처리를 수행하게 하기 위한 코드를 포함한다. 그 명령들은, 전자 디바이스로 하여금 수직 비 장애물 추정 및 수평 비 장애물 추정을 결합하게 하기 위한 코드를 더 포함한다. 그 명령들은 전자 디바이스로 하여금 수직 및 수평 비 장애물 추정들의 결합에 기초하여 비 장애물 맵을 생성하게 하기 위한 코드를 추가로 포함한다.
도 1은 비장애물 영역 검출을 수행하도록 구성된 전자 디바이스를 나타내는 블록도이다;
도 2는 비 장애물 결정 모듈을 나타내는 블록도이다;
도 3은 비 장애물 영역 검출을 수행하는 방법을 나타내는 흐름도이다;
도 4a 내지 도 4d는 깊이 맵의 수직 처리의 예를 나타낸다;
도 5는 수직 처리를 이용하여 비 장애물 영역 검출을 수행하는 방법을 나타내는 흐름도이다;
도 6a 내지 도 6d는 깊이 맵의 수평 처리의 예를 나타낸다;
도 7은 수평 처리를 이용하여 비 장애물 영역 검출을 수행하는 방법을 나타내는 흐름도이다;
도 8은 비 장애물 맵을 결정하기 위해 수직 비 장애물 추정 및 수평 비 장애물 추정을 결합하는 방법을 나타내는 흐름도이다;
도 9는 비 장애물 맵을 결정하기 위해 수직 비 장애물 추정 및 수평 비 장애물 추정을 결합하는 또 다른 방법을 나타내는 흐름도이다;
도 10은 비 장애물 맵을 결정하기 위해 수직 비 장애물 추정 및 수평 비 장애물 추정을 결합하는 또 다른 방법을 나타내는 흐름도이다;
도 11a 내지 도 11b 는 이미지 내의 비 장애물 영역을 결정하는 예를 나타낸다;
도 12a 내지 도 12b 는 이미지 내의 비 장애물 영역을 결정하는 또 다른 예를 나타낸다;
도 13a 내지 도 13b 는 비 장애물 영역으로부터의 거리를 결정하는 예를 나타낸다;
도 14는 오브젝트 검출 알고리즘에 의해 사용된 관심 지역 (ROI) 을 식별하기 위해 비 장애물 맵을 사용하는 예를 나타낸다;
도 15는 차선 검출 알고리즘에 의해 사용된 ROI 를 식별하기 위해 비 장애물 맵을 사용하는 예를 나타낸다;
도 16은 추정된 선형 모델 파라미터에 기초하여 도로를 분류하는 방법을 나타내는 흐름도이다; 그리고
도 17은 전자 디바이스 내에 포함될 수도 있는 특정 컴포넌트를 나타낸다.
상세한 설명
많은 애플리케이션들에서, 장애물 회피를 위해 지역 또는 환경 내의 비 오브젝트 영역을 식별하는 것이 유리하다. 예를 들어, 고급 운전자 보조 시스템 (ADAS) 의 경우, 장애물 회피를 위해 차 전방의 주행 가능 영역을 식별하는 것이 중요하다. 장애물 회피가 중요한 또 다른 시나리오는 자율 차량 (예 : 무인 항공기 (UAV) 또는 자율 자동차) 가 사람의 입력 없이 그의 환경을 감지하고 네비게이팅하는 차량 자동화이다.
전형적으로, 장애물 회피의 문제는, 관심 오브젝트 (예를 들어, 보행자, 자동차, 이륜차) 가 검출되고 오브젝트 검출/인식 알고리즘을 통해 식별될 수도 있고 경고가 운전자에게 예방조치를 취하기 위해 제공되는, 다른 방향으로부터 고려된다. 예를 들어, 장애물 검출은 교통 표지 (예 : 속도 제한 표지, 정지 표지, 거리 표지 등) 을 검출 및 식별하기 위해 이용될 수도 있다. 그러나 이 접근법은 느리고 부정확할 수도 있다. 게다가 모든 오브젝트 클래스는 사전에 교육을 받아야 하므로, 새로운 오브젝트 클래스를 추가하기가 어렵다.
본 명세서에 설명된 시스템 및 방법에서, 오브젝트를 식별하는 대신에, 장애물 또는 오브젝트가 없는 지역이 식별된다. 이러한 지역들은 움직일 수 있는 영역이라고 할 수도 있다. 즉, 이 3 차원 지역은 이동이 가능한 비 장애물 영역이다. 예를 들어, 비 장애물 영역이 도로에서 식별될 수도 있다. 비 장애물 영역을 식별할 때, 비 장애물 영역을 사용하여 도로 프로파일링, 속도 제어, 더 빠르고 더 신뢰적인 오브젝트, 및 차선 검출과 같은 다양한 다른 애플리케이션을 수행할 수도 있다.
여기에 기재된 시스템 및 방법은 깊이 맵을 분석함으로써 비 장애물 영역을 식별하는데 사용될 수도 있다. 일 구현에서, 깊이 맵은 스테레오 이미지 쌍으로부터 생성될 수도 있다. 도로 시나리오에서, 전방의 개방 공간은 깊이 도메인에서 도로를 기술하는 선형 모델로 매핑될 수도 있다. 도로 세그먼트들의 깊이를 사용하여, 선형 모델 파라미터들이 추정될 수도 있다. 추정된 선형 모델 파라미터는 이전의 (예를 들어, 사전 결정된) 모델 파라미터와 비교될 수도 있다. 피팅이 달성되면, 세그먼트들이 개방 영역의 일부로 선언된다. 스테레오 이미지 쌍이 이용가능하지 않은 경우, 모션으로부터의 구조와 같은 방법이, 모노 카메라 입력 시퀀스를 사용하여 깊이 맵을 얻는데 사용될 수 있다.
여기에 설명된 시스템 및 방법은 하나 이상의 이미지들의 수직 처리 및 수평 처리의 지능형 결합에 기초하여 비 장애물 맵의 결정을 제공한다. 비 장애물 영역을 식별하는 것을 수행하는 시스템 및 방법은 아래에서 더 자세히 설명된다.
도 1은 비장애물 영역 검출을 수행하도록 구성된 전자 디바이스 (102) 를 나타내는 블록도이다. 전자 디바이스 (102) 는 또한, 무선 통신 디바이스, 이동 디바이스, 이동국, 가입자국, 클라이언트, 클라이언트 국, 사용자 장비 (UE), 원격 국, 액세스 단말, 이동 단말, 단말, 사용자 단말, 가입자 유닛 등으로 지칭될 수도 있다. 전자 디바이스들의 예들로는 랩톱 또는 데스크톱 컴퓨터들, 셀룰러 폰들, 스마트 폰들, 무선 모뎀들, e-리더들, 태블릿 디바이스들, 게이밍 시스템들, 로봇들, 항공기, 무인 항공기 (unmanned aerial vehicle : UAV), 자동차 등을 포함한다. 이러한 디바이스들 중 일부는 하나 이상의 산업 표준에 따라 작동할 수도 있다.
많은 시나리오에서, 전자 디바이스 (102) 는 장면의 비 장애물 맵 (126) 을 사용할 수도 있다. 일 예에서, 스마트폰은 비점유 공간을 식별하기 위하여 장면의 비 장애물 맵 (126) 을 생성할 수도 있다. 또 다른 예에서, 자동차는 검출된 교통 표지, 신호 및/또는 다른 오브젝트에 기초하여 자동차의 속도, 조향, 주차 등을 조절하기 위해 비 장애물 맵 (126) 을 사용할 수도 있는 고급 운전자 보조 시스템 (ADAS) 을 포함할 수도 있다. 또 다른 예에서, 무인 항공기 (UAV) 는 비행 중에 기록된 비디오로부터 비 장애물 맵 (126) 을 생성할 수도 있고, 검출된 오브젝트들 (예를 들어, 건물, 표지, 사람, 패키지 등) 에 기초하여 네비게이팅할 수도 있고, 검출된 패키지 등을 픽업하거나 및/또는 배달할 수도 있다. 많은 다른 예가 본 명세서에 개시된 시스템 및 방법에 따라 구현될 수도 있다. 예를 들어, 여기에 개시된 시스템 및 방법은 비 장애물 맵 (126) 을 사용하여 검출된 하나 이상의 오브젝트들에 기초하여 하나 이상의 액션들 (예를 들어, 무언가를 가져오고, 무언가를 조립하고, 아이템을 검색하는 등) 을 수행하는 로봇에서 구현될 수 있다.
전자 디바이스 (102) 는 하나 이상의 카메라들을 포함할 수도 있다. 카메라는 이미지 센서 (104), 및 광학 시스템 (108) 의 시야 내에 위치된 오브젝트들의 이미지를 이미지 센서 (104) 상에 포커싱하는 광학 시스템 (108) (예를 들어, 렌즈) 를 포함할 수도 있다. 전자 디바이스 (102) 는 또한 카메라 소프트웨어 애플리케이션 및 디스플레이 스크린을 포함할 수도 있다. 카메라 애플리케이션이 실행중일 때, 광학 시스템 (108) 의 시야 내에 위치한 오브젝트들의 이미지들 (114) 은 이미지 센서 (104) 에 의해 기록될 수도 있다. 이 이미지들 (114) 은 메모리 버퍼 (112) 에 저장될 수도 있다. 일부 구현에서, 카메라는 전자 디바이스 (102) 로부터 분리될 수도 있고 전자 디바이스 (102) 는 전자 디바이스 (102) 외부의 하나 이상의 카메라들로부터 이미지 데이터를 수신할 수도 있다.
본 시스템 및 방법이 캡처된 이미지들 (114) 의 측면에서 설명되었지만, 여기서 논의된 기술들은 임의의 디지털 이미지에 대해 사용될 수도 있다. 그러므로, 비디오 프레임 및 디지털 이미지라는 용어는 본 명세서에서 상호교환가능하게 사용될 수도 있다.
많은 애플리케이션들에서, 전자 디바이스 (102) 가 장애물이 없는 영역을 식별하는 것이 유리하다. 예를 들어, ADAS 의 경우, 장애물 회피를 위해 차 전방의 주행 가능 영역을 식별하는 것이 중요하다. 일부 접근법에서, 이 문제는 다른 방향으로부터 고려된다. 이러한 접근법에서, 관심 오브젝트 (예를 들어, 보행자, 자동차, 이륜차) 가 오브젝트 검출 및 인식 알고리즘을 통해 식별되고 경고들이 운전자에게 예방 조치를 취하기 위해 제공된다.
다른 접근법들은 이미지 (114) 의 수직 처리 또는 수평 처리 중 하나를 수행함으로써 비 장애물 영역을 결정할 수도 있다. 수직 처리 및 수평 처리 각각은 이미지 (114) 에서 비 장애물 영역을 추정할 수도 있다. 그러나, 각 접근법은 독립적으로 수행될 때 한계가 있다.
도로가 기울어져 있을 때 수평 처리는 잘못된 비 장애물 추정을 제공할 수도 있다. 수직 처리는 이미지 (114) 에 대한 세그먼트화를 수행할 수도 있다. 세그먼트들이 큰 경우, 피팅이 보다 신뢰적이다. 그러나 오브젝트들의 부분들은 역시 비 장애물 (즉, 장애물이 없는) 영역으로서 포함될 수 있다. 예를 들어, 수직 처리를 사용하여, 자동차 또는 보행자의 바닥과 꼭대기가 비 장애물 영역으로서 잘못 식별될 수도 있다. 또한, 보도는 수직 처리 접근법으로 비 장애물 영역으로 잘못 식별될 수 있다. 그러나, 세그먼트가 작으면, 비 장애물 영역의 잘못된 검출이 일어날 수도 있다.
여기에 설명된 시스템 및 방법은 하나 이상의 이미지들 (114) 의 수직 처리 및 수평 처리의 지능형 결합에 기초하여 비 장애물 맵 (126) 의 결정을 제공한다. 설명된 시스템 및 방법에서, 오브젝트들을 식별하는 대신에, 비 장애물 맵 (126) 은 깊이 맵의 수직 처리 및 수평 처리를 결합함으로써 결정될 수도 있다. 일 구현에서, 깊이 맵은 하나 이상의 이미지들로부터 획득될 수도 있다. 또 다른 구현에서, 깊이 맵은 깊이 데이터 획득 프로세스 (예를 들어, LIDAR) 로부터 획득될 수도 있다.
일 구현에서, 전자 디바이스 (102) 는 비 장애물 맵 (126) 을 결정하기 위한 비 장애물 결정 모듈 (116) 을 포함할 수도 있다. 비 장애물 결정 모듈 (116) 은 깊이 맵을 획득하기 위한 깊이 맵 생성기 (118) 를 포함할 수도 있다. 비 장애물 결정 모듈 (116) 은 또한 수직 비 장애물 추정을 결정하기 위해 깊이 맵의 수직 처리를 수행하기 위한 수직 추정 모듈 (120) 을 포함할 수도 있다. 비 장애물 결정 모듈 (116) 은 수평 비 장애물 추정을 결정하기 위해 깊이 맵의 수평 처리를 수행하기 위한 수평 추정 모듈 (122) 을 더 포함할 수도 있다.
추정 결합기 (124) 는 비 장애물 맵 (126) 을 결정하기 위해 수직 비 장애물 추정 및 수평 비 장애물 추정을 결합할 수도 있다. 일 구현에서, 추정 결합기 (124) 는 추정과 관련된 신뢰도 값에 기초하여 수직 비 장애물 추정 및 수평 비 장애물 추정을 지능적으로 결합할 수도 있다. 비 장애물 맵 (126) 은 하나 이상의 이미지들 (114) 중 어느 영역이 비 장애물 영역인지 그리고 어느 영역이 장애물 영역인지를 표시할 수도 있다. 비 장애물 맵 (126) 을 생성하는 것에 대한 보다 자세한 사항은 도 2와 관련하여 주어진다.
일례에서, 비 장애물 맵 (126) 은 도로상의 장애물 (예를 들어, 오브젝트들) 이 없는 비 장애물 영역을 포함할 수도 있다. 이미지 (114) 의 수직 처리와 수평 처리를 결합함으로써, 오 검출 (false detection) 이 제거될 수도 있다. 또한, 결합된 접근법은 보다 신뢰적인 비 장애물 추정을 제공할 수도 있다.
기술된 시스템 및 방법은 다양한 다른 애플리케이션들의 속도를 높이기 위해 사용될 수도 있다. 예를 들어, 전자 디바이스 (102) 는 오브젝트 검출, 장면 이해, 도로 프로파일링 및 차선 검출과 같은 다른 애플리케이션들을 위해 비 장애물 맵 (126) 을 사용할 수도 있다. 기술된 시스템 및 방법은 또한 현재 차선 검출 알고리즘이 다룰 수 없는 도로 커브 (road curb) 검출의 문제를 해결할 수도 있다. 기술된 시스템 및 방법은 속도가 도로의 지형에 기초하여 조정되는 자율 주행에 더욱 도움이 될 수도 있다.
도 2는 비 장애물 결정 모듈 (216) 을 나타내는 블록도이다. 비 장애물 결정 모듈 (216) 은 전자 디바이스 또는 무선 디바이스 내에서 구현될 수도 있다. 비 장애물 결정 모듈 (216) 은 깊이 맵 생성기 (218), 수직 추정 모듈 (220), 수평 추정 모듈 (222) 및 추정 결합기 (224) 를 포함할 수도 있다. 비 장애물 결정 모듈 (216), 깊이 맵 생성기 (218), 수직 추정 모듈 (220), 수평 추정 모듈 (222) 및 추정 결합기 (224) 는, 도 1과 관련하여 위에서 설명된, 비 장애물 결정 모듈 (116), 깊이 맵 생성기 (118), 수직 추정 모듈 (120), 수평 추정 모듈 (122), 및 추정 결합기 (124) 의 구성들일 수도 있다.
깊이 맵 생성기 (218) 는 하나 이상의 이미지들 (214) 을 수신할 수도 있다. 일 구성에서, 하나 이상의 이미지들 (214) 은 도 1과 관련하여 기술된 바와 같이, 카메라 (예를 들어, 이미지 센서 (104) 및 광학 시스템 (108)) 를 통해 획득될 수도 있다. 일 구현에서, 깊이 맵 생성기 (218) 는 스테레오 이미지 쌍을 수신할 수도 있다. 또 다른 구현에서, 하나 이상의 이미지들 (214) 은 비디오 모노 이미지로부터 나올 수도 있다. 이미지 (214) 는 픽셀들로 구성된 디지털 이미지일 수도 있다.
깊이 맵 생성기 (218) 는 하나 이상의 이미지들 (214) 로부터 깊이 맵 (230) 을 획득할 수도 있다. 깊이 맵 (230) 은 하나 이상의 이미지들 (214) 의 픽셀들에 대응하는 픽셀들 (232) 을 포함할 수도 있다. 깊이 맵 (230) 내의 각 픽셀 (232) 은 깊이 값 (234) 을 갖는다. 깊이 값 (234) 은 카메라에 대한 픽셀 (232) 의 거리를 표시한다. 예를 들어, 더 높은 깊이 값 (234) 을 갖는 픽셀 (232) 은 더 낮은 깊이 값 (234) 을 갖는 픽셀 (232) 보다 카메라에 더 근접함을 표시할 수도 있다. 깊이 맵 (230) 의 예가 도 4a 내지 도 4d 와 관련하여 논의된다.
본 명세서에 설명된 알고리즘은 각 픽셀 (232) 에 대해 깊이 값 (234) 을 필요로 하지 않는다는 것에 유의해야 한다. 예를 들어, 깊이 맵 (230) 은 홀들을 가질 수도 있다. 이들 홀들의 깊이 값 (234) 은 처리를 시작하기 전에 채워질 수도 있다.
스테레오 이미지 쌍의 경우에, 깊이 맵 생성기 (218) 는 디스패리티를 추정하기 위해 픽셀들 (232) 간의 대응 관계를 구할 수도 있다. 디스패리티로부터, 깊이 맵 생성기 (218) 는 각 픽셀 (232) 에 대한 깊이 값 (234) 을 결정할 수도 있다. 대안적으로, 비디오 모노 이미지로, 깊이 맵 생성기 (218) 는 비디오의 모션에 기초하여 각 픽셀 (232) 에 대한 깊이 값 (234) 을 결정할 수도 있다.
깊이 맵 (230) 은 수직 추정 모듈 (220) 및 수평 추정 모듈 (222) 에 제공될 수도 있다. 수직 추정 모듈 (220) 은 깊이 맵 (230) 의 수직 처리를 수행하여 수직 비 장애물 추정 (242) 을 결정할 수도 있다. 수평 추정 모듈 (222) 은 깊이 맵 (230) 의 수평 처리를 수행하여 수평 비 장애물 추정 (258) 을 결정할 수도 있다.
수직 추정 모듈 (220) 은 깊이 맵 (230) 을 세그먼트들 (236) 로 분할할 수도 있다. 각 세그먼트 (236) 는 깊이 맵 (230) 의 열 (column) 에 다수의 픽셀들 (232) 을 포함할 수도 있다. 즉, 수직 추정 모듈 (220) 은 깊이 맵 (230) 의 수직 세그먼트들 (236) 을 처리할 수도 있다. 세그먼트 (236) 는 깊이 맵 (230) 내의 픽셀들 (232) 의 열의 일부일 수도 있다. 예를 들어, 세그먼트 (236) 는 10-15개 픽셀들 (232) 의 벡터일 수도 있다. 세그먼트들 (236) 은 중첩되거나 중첩되지 않을 수도 있다.
수직 추정 모듈 (220) 은 각각의 세그먼트 (236) 에 대한 선형 모델 파라미터를 추정하여 수직 비 장애물 추정 (242) 을 결정할 수도 있다. 수직 방향의 각 세그먼트 (236) 는 선형 모델을 통해 추정될 수도 있다. 선형 모델은 다음과 같이 표현될 수도 있다.
Figure pct00001
식중 y는 픽셀 (232) 의 깊이 값 (234) 이고, x는 픽셀 (232) 의 좌표이고, p1 및 p2는 추정된 선형 모델 파라미터 (238) 이다. 추정 오차가 수직 추정 임계치 (246) 보다 작고 선형 피트가 소정의 기울기를 갖는다면, 이는 유효한 자유 공간 (비 장애물 영역 (266)) 으로 라벨링될 수도 있다. 일 구현에서, 0보다 큰 기울기는 비 장애물을 나타내는 반면, 0 보다 작거나 같은 기울기는 오브젝트 또는 장애물을 나타낸다. 이 접근법의 예가 도 4a 내지 도 4d 와 관련하여 논의된다.
행렬 형태에서, 식 (1) 의 선형 모델은 식 (2) 에 의해 주어진다.
Figure pct00002
식 (2) 에서, y는 깊이 값들 (234) 의 n × 1 벡터이고, x는 수직 차원에서 모델 좌표에 대한 n × 2 설계 행렬 (즉, n 행, 2 열의 행렬) 이고, p1 및 p2는 추정 선형 모델 파라미터 (238) 이다. n의 값은 깊이 맵 세그먼트 (236) 내의 픽셀들 (232) 의 수에 대응한다.
하나의 접근법에서, p1 및 p2는 최소 제곱 해를 사용하여 풀어질 수도 있다. 이 접근법에서, p는 미지의 계수 p1 및 p2의 벡터이다. 정규 방정식은 다음에 의해 주어진다
Figure pct00003
여기서, X T 은 설계 행렬 X의 전치 (transpose) 이다. 식 (4) 에서 p 에 대해 풀면, 추정된 선형 모델 파라미터 (238) (즉, p1 및 p2) 가 얻어진다.
Figure pct00004
최적화된 구현에서, 행렬 역변환 항 (matrix inversion term)
Figure pct00005
은 위치 (즉, y-좌표) 에 기초하여 정해지고 위치에 기초하여 미리 계산되어 저장될 수 있음에 유의해야 한다. 또한 구분적 선형 모델 (piecewise linear model) 은 p1, p2 및 세그먼트 길이가 변동하는 표면에서의 딥 (dip) 과 범프 (bump) 를 추정할 수 있다. 또한, 이 접근법의 주요 복잡성은 상기 식 (2) 에서 크기 n의 두 벡터의 행렬 곱셈에 기인한다. 예를 들어, n은 10 일 수도 있거나, 또는 10 대신에 선정된 구분적 길이일 수도 있다.
수직 추정 모듈 (220) 은 수직 비 장애물 추정 (242) 에 대한 신뢰도 값 (250) 수직 신뢰도 맵 (248) 을 결정할 수도 있다. 일 구현에서, 수직 추정 모듈 (220) 은 추정된 선형 모델 파라미터들 (238) 과 미리 결정된 선형 모델 파라미터들 (240) 사이의 차이에 기초하여 각 세그먼트 (236) 에 대한 세그먼트 피팅 오차 (244) 를 결정할 수도 있다. 미리 결정된 모델 파라미터들은 [pM1, pM2] 로 지칭될 수도 있다. 수직 추정 모듈 (220) 은 미리 결정된 모델 파라미터가 임계치 (TH1) 와의 비교에 의해 추정된 파라미터 [p1, p2] 에 얼마나 가까운지를 체크할 수도 있다. 예를 들어,
Figure pct00006
.
수직 추정 임계치 (246) 는 추정된 선형 모델 파라미터들 (238) 이 훈련된 모델 파라미터들에 피팅되는지를 결정할 수도 있다. 미리 결정된 선형 모델 파라미터들 (240) 은 복수의 도로 조건 모델 중에서 선택될 수도 있다. 복수의 도로 조건 모델들의 각각은 대응하는 선형 모델 파라미터들 (240) 의 세트를 가질 수도 있다. 도로 조건 모델의 예들은 평탄한 평면, 언덕, 계곡 등을 포함한다. 사전 결정된 선형 모델 파라미터들 (240) 은 트레이닝에 의해 결정될 수도 있다.
수직 추정 모듈 (220) 은 식 (5) 에 따라 추정된 선형 모델 파라미터들 (238) 을 사용하여 추정된 깊이 값
Figure pct00007
을 결정할 수도 있으며, 식중
Figure pct00008
은 i 번째 위치에서 추정된 깊이 값이다.
Figure pct00009
추정된 선형 모델 파라미터들 (238) 에 의한 깊이 추정 오차
Figure pct00010
는 식 (6) 에 따라 결정될 수도 있고, 식중 yi는 i 번째 위치에서의 깊이 값 (234) 이다.
Figure pct00011
세그먼트 피팅 오차 (244 (s2))는 식 (7) 에 따라 결정될 수도 있으며, 여기서 n은 세그먼트 (236) 의 길이이다.
Figure pct00012
세그먼트 피팅 오차 (244) 는 수직 처리를 위한 신뢰도 메트릭으로서 사용될 수도 있다. 수직 추정 모듈 (220) 은 각 세그먼트 (236) 의 세그먼트 피팅 오차 (244) 와 수직 추정 임계치 (246) 를 비교함으로써 각 세그먼트 (236) 에 대한 수직 신뢰도 값 (250) 을 결정할 수도 있다.
수직 추정 임계치 (246) 는 미리 결정된 선형 모델 파라미터들 (240) 에 기초할 수도 있다. 수직 추정 임계치 (246 )는 어떤 미리 결정된 선형 모델 파라미터들 (240) 이 사용되는지에 따라 변할 수도 있다. 예를 들어, 평탄한 도로에 대한 미리 결정된 선형 모델 파라미터 (240) 가 사용되면, 수직 추정 임계치 (246) 는 하나의 값을 가질 수도 있다. 언덕에 대한 미리 결정된 선형 모델 파라미터 (240) 가 사용되면, 수직 추정 임계치 (246) 는 상이한 값을 가질 수도 있다.
수직 추정 모듈 (220) 은 세그먼트 피팅 오차 (244) 와 수직 추정 임계치 (246) 사이의 차이의 절대 값을 체크할 수도 있다. 주어진 세그먼트 (236) 에 대한 세그먼트 피팅 오차 (244) 가 수직 추정 임계치 (246) 보다 작을 때 주어진 세그먼트 (236) 는 높은 수직 신뢰도 값 (250) 을 가질 수도 있다. 반대로, 주어진 세그먼트 (236) 에 대한 세그먼트 피팅 오차 (244) 가 수직 추정 임계치 (246) 보다 크거나 같을 때 주어진 세그먼트 (236) 는 낮은 수직 신뢰도 값 (250) 을 가질 수도 있다. 따라서, 세그먼트 피팅 오차 (244) 와 수직 추정 임계치 (246) 간의 차이가 작은 경우, 세그먼트 (236) 는 비 장애물 영역 (266) 의 일부로 고려된다. 그 차이가 큰 경우, 세그먼트 (236) 는 비 장애물 영역 (266) 의 일부로 고려되지 않는다.
주어진 세그먼트 (236) 에 대한 신뢰도 값 (250) 을 결정할 때, 수직 추정 모듈 (220) 은 바이너리 맵을 얻기 위해 수직 신뢰도 맵 (248) 을 임계화할 수도 있다. 주어진 세그먼트 (236) 에 대한 신뢰도 값 (250) 은 임계치와 비교되어 세그먼트 (236) 가 비 오브젝트 영역 (예를 들어, 이동 가능) 인지 또는 오브젝트 영역 (예를 들어, 비 이동 가능 영역) 인지 를 결정할 수도 있다. 수직 신뢰도 맵 (248) 은 깊이 맵 (230) 내의 픽셀들 (232) 의 신뢰도 값 (250) 을 포함할 수도 있다. 따라서, 수직 신뢰도 맵 (248) 은 세그먼트 (236) 당 뿐만 아니라 깊이 픽셀 (232) 당 피팅 신뢰성을 갖는 맵이다.
수평 추정 모듈 (222) 은 깊이 맵 (230) 의 수평 처리를 수행하여 수평 비 장애물 추정 (258) 을 결정할 수도 있다. 수평 처리는 깊이 맵 (230) 의 픽셀들 (232) 의 각 행에 대한 깊이 히스토그램 (252) 을 얻는 것을 포함할 수도 있다. 깊이 히스토그램 (252) 의 예가 도 6a 내지 도 6d 와 관련하여 설명된다. 깊이 히스토그램 (252) 은 또한 디스패리티 히스토그램으로 지칭될 수도 있다.
일 구현에서, 깊이 히스토그램 (252) 은 깊이 맵 (230) 내의 각 행에 대한 히스토그램을 획득함으로써 획득될 수도 있다. 예를 들어, 깊이 맵 (230) 으로부터의 픽셀들 (232) 의 행에 대하여, 행 내 픽셀들 (232) 에 대응하는 깊이 값들 (234) 에 대해 히스토그램이 생성될 수도 있다.
수평 추정 모듈 (222) 은 깊이 히스토그램 (252) 으로부터 지형 라인 (254) 을 결정할 수도 있다. 지형 라인 (254) 의 종점들의 y 좌표는 가장 가까운 그리고 가장 먼 자유 공간 거리를 결정한다.
지형 라인 (254) 은 라인 추출 접근법을 사용하여 결정될 수도 있다. 허프 (Hough) 변환이 깊이 히스토그램 (252) 에 대해 적용될 수도 있다. 허프 변환은 깊이 히스토그램 (252) 으로부터 다수의 라인 세그먼트를 추출할 수도 있다. 예를 들어, 허프 변환은 10-20 개의 작은 라인들을 생성할 수도 있다. 라인 세그먼트들은 병합되어 지형 라인 (254) 을 형성할 수도 있다. 일 구현에서, 지형 라인 (254) 의 각도는 비 장애물 공간의 기울기 특성에 기초하여 (예를 들어, -20 도와 -40 도 사이에서) 제한될 수도 있다.
수평 추정 모듈 (222) 은 지형 라인 (254) 으로부터 각 픽셀 (232) 의 깊이 값 (234) 의 거리에 기초하여 각 픽셀 (232) 에 대한 수평 비 장애물 추정 (258) 을 결정할 수도 있다. 지형 라인 (254) 의 수평 추정 임계치 (260) 내에 놓이는 깊이 값 (234) 을 갖는 픽셀 (232) 은 비 장애물 영역 (266) 으로서 식별될 수도 있다. 예를 들어, 픽셀 (232) 의 깊이 값 (234) 이 지형 라인 (254) 의 소정의 디스패리티 범위 내에 있으면, 그 픽셀 (232) 은 비 장애물 영역 (266) 으로서 라벨링될 수도 있다. 픽셀 (232) 의 깊이 값 (234) 이 지형 라인 (254) 의 소정의 디스패리티 범위 밖에 있으면, 그 픽셀 (232) 은 장애물 영역 (268) 으로서 라벨링될 수도 있다.
수평 추정 모듈 (222) 은 또한 깊이 히스토그램 (252) 거리에 기초하여 수평 신뢰도 맵 (262) 을 결정할 수도 있다. 수평 신뢰도 맵 (262) 은 각 픽셀 (232) 의 수평 비 장애물 추정 (258) 에 대한 신뢰도 값 (264) 을 포함할 수도 있다.
깊이 히스토그램 (252) 의 모드 (256) 까지의 거리는 수평 처리를 위한 신뢰도 메트릭으로서 사용될 수도 있다. 수평 추정 모듈 (222) 은 각 픽셀 (232) 의 깊이 값 (234) 이 깊이 히스토그램 (252) 의 모드 (256) 의 신뢰도 임계치 (261) 내에 있는지 여부를 결정할 수도 있다. 주어진 픽셀 (232) 의 깊이 값 (234) 이 깊이 히스토그램 (252) 의 모드 (256) 의 신뢰도 임계치 (261) 내에 있을 때 주어진 픽셀 (232) 은 높은 신뢰도 값 (264) 을 가질 수도 있다.
추정 결합기 (224) 는 비 장애물 맵 (226) 을 결정하기 위해 수직 비 장애물 추정 (242) 및 수평 비 장애물 추정 (258) 을 결합할 수도 있다. 이 결합은 수직 신뢰도 값 (250) 및 수평 신뢰도 값 (264) 에 기초할 수도 있다. 하나의 접근법에서, 수직 처리 및 수평 처리는 병렬로 수행될 수도 있고 결과적인 비 장애물 추정 (242, 258) 은 병합된다. 또 다른 접근법에서, 수직 처리 및 수평 처리는 순차적으로 수행될 수도 있고 결과적인 비 장애물 추정은 병합된다.
병렬 처리 접근법을 위해, 수직 처리와 수평 처리 양자 모두가 병렬로 수행될 수도 있다. 예를 들어, 수직 추정 모듈 (220) 은 수직 처리를 수행할 수도 있고, 수평 추정 모듈 (222) 은 전술한 바와 같이 수평 처리를 동시에 수행할 수도 있다. 추정 결합기 (224) 는 각각의 픽셀 (232) 을 비 장애물 영역 (266) 또는 장애물 영역 (268) 으로 식별함으로써 비 장애물 맵 (226) 을 생성할 수도 있다. 이 식별은 수직 신뢰도 맵 (248) 의 수직 신뢰도 값 (250) 및 수평 신뢰도 맵 (262) 의 수평 신뢰도 값 (264) 에 기초할 수도 있다.
수직 신뢰도 맵 (248) 및 수평 신뢰도 맵 (262) 양자 모두가 픽셀 (232) 이 높은 신뢰도를 갖는다고 나타낼 경우, 픽셀 (232) 은 비 장애물 맵 (226) 에서 비 장애물 영역 (266) 으로서 식별될 수도 있다. 즉, 주어진 픽셀 (232) 은 수직 신뢰도 맵 (248) 및 수평 신뢰도 맵 (262) 양자 모두가 주어진 픽셀 (232) 에 대해 높은 신뢰도 값을 특징으로 하는 비 장애물 맵 (226) 에서 비 장애물 영역 (266) 으로 식별될 수도 있다.
일 구현에서, 이것은 수직 신뢰도 맵 (248) 및 수평 신뢰도 맵 (262) 을 각각의 임계치로 임계화함으로써 달성될 수도 있다. 예를 들어, 주어진 픽셀 (232) 의 수직 신뢰도 값 (250) 및 수평 신뢰도 값 (264) 이 임계치보다 큰 경우, 픽셀 (232) 은 비 장애물 영역 (266) 으로 식별될 수도 있다. 수직 신뢰도 맵 (248) 및 수평 신뢰도 맵 (262) 양자 모두가 낮은 신뢰도를 나타내는 경우, 픽셀 (232) 은 장애물 영역 (268) 으로 라벨링될 수도 있다.
수직 신뢰도 맵 (248) 또는 수평 신뢰도 맵 (262) 중 어느 하나가 높은 신뢰도를 나타내고 다른 하나가 낮은 신뢰도를 나타내는 경우에, 하나 이상의 상이한 병합 접근법들이 수행될 수도 있다. 하나의 접근법에서, 수직 신뢰도 맵 (248) 또는 수평 신뢰도 맵 (262) 중 적어도 하나가 주어진 픽셀 (232) 이 낮은 신뢰도를 갖는다고 나타낼 경우, 주어진 픽셀 (232) 은 비 장애물 맵 (226) 에서 장애물 영역 (268) 으로서 식별된다. 즉, 주어진 픽셀 (232) 은 수직 신뢰도 맵 (248) 또는 수평 신뢰도 맵 (262) 중 적어도 하나가 주어진 픽셀 (232) 에 대해 낮은 신뢰도 값을 특징으로 하는 비 장애물 맵 (226) 에서의 장애물 영역 (268) 으로서 식별될 수도 있다. 이 접근법에서, 신뢰도 맵들 (248, 262) 중 하나가 낮은 신뢰도를 나타내는 경우, 픽셀 (232) 은 그 신뢰도 맵 (248, 262) 에만 기초하여 라벨링될 수도 있다.
또 다른 접근법에서, 수직 신뢰도 맵 (248) 및 수평 신뢰도 맵 (262) 은 주어진 픽셀 (232) 에 대해 상이한 신뢰도 값 (250, 264) 을 특징으로 한다. 이 경우, 주어진 픽셀 (232) 은 주어진 픽셀 (232) 의 좌표에 기초하여 비 장애물 영역 (266) 또는 장애물 영역 (268) 으로 식별될 수도 있다. 이러한 접근법에서, 신뢰도 맵들 (248, 262) 양자 모두가 신뢰도의 측면에서 서로 가깝다면 (예를 들어, 하나가 다른 것보다 높음), 픽셀 (232) 좌표를 고려함으로써 판정이 더 향상될 수도 있다.
일례에서, RHij는 수평 처리로부터의 i 번째 및 j 번째 픽셀 (232) 에 대한 수평 신뢰도 값 (264) 이고, RVij는 수직 처리로부터의 수직 신뢰도 값 (250) 이다 (여기서 신뢰도 값들 (250, 264) 양자 모두는 상이한 방법들에 의해 획득된다면 정규화된다). |RHij-RVij|<TH이면, 이는 신뢰도 맵들 (248, 262) 의 근사를 나타낼 것이다. 또한, RHij는 RVi+n, j+n 과 비교될 수 있는데, 여기서 n은 <N이다 (예를 들어, 720p 해상도에 대해 N=5 이다).
순차적 처리 접근법을 위해, 수직 처리 또는 수평 처리 중 어느 하나가 먼저 수행될 수도 있다. 제 1 처리가 수행된 후에, 전체 깊이 맵 (230) 에 대해 신뢰도 맵 (예를 들어, 수직 신뢰도 맵 (248) 또는 수평 신뢰도 맵 (262) 중 어느 하나) 이 계산될 수도 있다. 신뢰도가 충족되지 않는 픽셀들 (232) 에 대해서는, 제 2 처리가 호출된다. 제 1 및 제 2 처리의 결과는 병합되어 비 장애물 맵 (226) 을 획득할 수도 있다. 수직 처리로 시작하는 순차적 처리의 예가 도 9와 관련하여 설명된다. 수평 처리로 시작하는 순차적 처리의 예가 도 10과 관련하여 설명된다.
비 장애물 결정 모듈 (216) 은 비 장애물 맵 (226) 의 추가적인 처리를 수행할 수도 있다. 일 구현에서, 비 장애물 결정 모듈 (216) 은 이상치 제거 (outlier removal) 를 수행할 수도 있다. 예를 들어, 적은 수의 픽셀 (232) 이 비 장애물 영역 (266) 내에서 잘못 라벨링된 장애물 영역 (268) 일 수도 있다. 비 장애물 결정 모듈 (216) 은 이러한 이상치들을 식별하고 그들의 상태를 비 장애물 또는 장애물 중 어느 하나로 변경할 수도 있다. 비 장애물 결정 모듈 (216) 은 비 장애물 맵 (226) 의 추가적인 필터링을 수행하여 이를 후속 동작들을 위해 준비할 수도 있다.
비 장애물 맵 (226) 은 상이한 동작들을 위해 사용될 수도 있다. 일 구현에서, 비 장애물 맵 (226) 은 오브젝트 검출 알고리즘에 의해 사용되는 관심 지역을 식별하는데 사용될 수도 있다. 이것은, 도 14와 관련하여 설명되는 바처럼 달성될 수도 있다. 또 다른 구현에서, 비 장애물 맵 (226) 은 차선 검출 알고리즘에 의해 사용되는 관심 지역을 식별하는데 사용될 수도 있다. 이것은, 도 15와 관련하여 설명되는 바처럼 달성될 수도 있다.
도 2에 나타낸 바와 같이, 나타낸 컴포넌트들 중 하나 이상은 프로세서 (228) 에 의해 선택적으로 구현될 수도 있다. 예를 들어, 비 장애물 결정 모듈 (216) 은 프로세서 (228) 에 의해 구현될 수도 있다. 일부 구성들에서, 상이한 프로세서들이 상이한 컴포넌트들을 구현하는데 사용될 수도 있다 (예를 들어, 하나의 프로세서가 깊이 맵 생성기 (218) 를 구현할 수도 있고, 또 다른 프로세서가 수직 추정 모듈 (220) 을 구현하는데 사용될 수도 있고, 또 다른 프로세스가 수평 추정 모듈 (222) 을 구현하는데 사용될 수도 있고, 또 다른 프로세서가 추정 결합기 (224) 를 구현하는데 사용될 수도 있다).
이미지 (214) 를 회전시키고 대각 처리를 수행하는 것이 가능하다는 것에 유의해야 한다. 이미지 (214) 가 회전되면, 수직 및 수평 처리는 대각 처리가 될 수도 있다. 그러므로, 수직 및 수평 처리라는 용어들이 본 명세서에서 사용되었지만, 대응하는 좌표 매핑으로 회전된 이미지를 통해 상이한 섹션에 걸쳐 처리가 적용될 수도 있음이 인식될 수도 있다.
도 3은 비 장애물 영역 검출을 수행하는 방법 (300) 을 나타내는 흐름도이다. 방법 (300) 은 도 1을 참조하여, 전자 디바이스 (102), 예를 들어 비 장애물 결정 모듈 (116) 에 의해 구현될 수도 있다. 전자 디바이스 (102) 는 하나 이상의 이미지들 (214) 로부터 깊이 맵 (230) 을 획득할 수도 있다 (302). 일 구현에서, 전자 디바이스 (102) 는 스테레오 이미지 쌍으로부터 깊이 맵 (230) 을 생성할 수도 있다. 또 다른 구현에서, 전자 디바이스 (102) 는 비디오 모노 이미지 쌍으로부터 깊이 맵 (230) 을 생성할 수도 있다. 깊이 맵 (230) 내의 각 픽셀 (232) 은 깊이 값 (234) 을 가질 수도 있다.
전자 디바이스 (102) 는 수직 비 장애물 추정 (242) 을 결정하기 위해 깊이 맵 (230) 의 수직 처리를 수행할 수도 있다 (304). 수직 처리는 깊이 맵 (230) 을 세그먼트들 (236) 로 분할하는 것을 포함할 수도 있다. 각 세그먼트 (236) 는 열에 다수의 픽셀들 (232) 을 포함할 수도 있다. 전자 디바이스 (102) 는 각각의 세그먼트 (236) 에 대한 선형 모델 파라미터 (238) 를 추정하여 수직 비 장애물 추정 (242) 을 결정할 수도 있다. 전자 디바이스 (102) 는 수직 비 장애물 추정 (242) 에 대한 신뢰도 값 (250) 을 포함하는 수직 신뢰도 맵 (248) 을 결정할 수도 있다.
전자 디바이스 (102) 는 수평 비 장애물 추정 (258) 을 결정하기 위해 깊이 맵 (230) 의 수평 처리를 수행할 수도 있다 (306). 수평 처리는 깊이 맵 (230) 의 픽셀들 (232) 의 각 행에 대한 깊이 히스토그램 (252) 을 얻는 것을 포함할 수도 있다. 전자 디바이스 (102) 는 깊이 히스토그램 (252) 으로부터 지형 라인 (254) 을 결정할 수도 있다. 전자 디바이스 (102) 는 지형 라인 (254) 으로부터 각 픽셀 (232) 의 깊이 값 (234) 의 거리에 기초하여 각 픽셀 (232) 에 대한 수평 비 장애물 추정 (258) 을 결정할 수도 있다. 전자 디바이스 (102) 는 또한, 각 픽셀 (232) 의 수평 비 장애물 추정 (258) 에 대한 신뢰도 값 (264) 을 포함하는 수평 신뢰도 맵 (262) 을 결정할 수도 있다.
전자 디바이스 (102) 는 비 장애물 맵 (226) 을 결정하기 위해 수직 비 장애물 추정 (242) 및 수평 비 장애물 추정 (258) 을 결합할 수도 있다 (308). 일 구현에서, 전자 디바이스 (102) 는 병렬 수직 처리 및 수평 처리를 수행할 수도 있다. 이 구현에서, 전자 디바이스 (102) 는 도 10과 관련하여 설명된 바처럼, 수직 비 장애물 추정 (242) 및 수평 비 장애물 추정 (258) 을 결합할 수도 있다. 또 다른 구현에서, 전자 디바이스 (102) 는 도 11a 및 도 11b 와 관련하여 설명된 바와 같이, 수직 처리로 시작하는 순차 처리를 수행할 수도 있다. 또 다른 구현에서, 전자 디바이스 (102) 는 도 12a 및 도 12b 와 관련하여 설명된 바와 같이, 수평 처리로 시작하는 순차 처리를 수행할 수도 있다.
도 4a 내지 도 4d는 깊이 맵 (430) 의 수직 처리의 예를 나타낸다. 깊이 맵 (430) 은 하나 이상의 이미지들 (404) 로부터 생성될 수도 있다. 깊이 맵 (430) 은 원래 이미지(들) (404) 의 픽셀들에 대응하는 위치들을 포함할 수도 있다. 깊이 맵 (430) 내의 각 위치 (예를 들어, 좌표) 는 원래 이미지(들) (404) 의 픽셀에 대응하는 수평 좌표 (472) 및 수직 좌표 (474a) 를 가질 수도 있다.
깊이 맵 (430) 은 원래의 해상도로부터 깊이가 계산되는 경우 원래 이미지 (404) 의 크기와 매칭될 수도 있다. 깊이 맵 (430) 의 시각화에서, 깊이 값 (434) 은 원래 이미지 (404) 의 대응하는 좌표로부터 획득될 수도 있다. 비 장애물 맵 (226) 을 생성할 때 깊이 맵 (430) 의 시각화는 생성될 수도 또는 생성되지 않을 수도 있음에 유의해야 한다.
깊이 맵 (430) 의 각 픽셀 (232) 은 깊이 값 (434) 을 가질 수도 있다. 이 예에서, 깊이 값들 (434a) 은 0 내지 120의 범위일 수도 있는데, 0은 가장 먼 거리를 나타내고, 120은 가장 가까운 거리를 나타낸다. 깊이 값들 (434) 에 대해 상이한 값들이 사용될 수도 있음에 유의해야 한다.
일 구현에서, 깊이 맵핑에 대한 디스패리티는 다음의 식에 의해 설명될 수 있다. Z = fB/d, 식중 Z는 카메라 Z 축에 따른 거리이고, f는 초점 거리 (픽셀 단위) 이고, B는 베이스라인 (미터 단위) 이고, d는 디스패리티 (픽셀 단위) 이다. 디스패리티가 작으면, 깊이가 크다. 깊이는 미터 단위로 구해질 수 있다.
스테레오 이미지들 (404) 로부터의 깊이 추정 알고리즘은 전적으로 신뢰할만한 것은 아닐 수도 있다는 것에 유의해야 한다. 예를 들어, 깊이 추정 알고리즘은 특정 지역에서 깊이 값들 (434) 을 할당할 수 없을 수도 있다. 누락 깊이 값들 (434) 을 채우기 위해 깊이 채우기 알고리즘이 사용될 수도 있다. 예를 들어, 이웃하는 깊이 값 (434) 은 인접한 영역으로 전파될 수도 있다. 그 전파는 좌측로부터 또는 우측로부터일 수도 있다. 대안적으로, 누락 깊이 값들 (434) 은 상단 및 하단뿐만 아니라 좌측과 우측 사이에서 보간함으로써 채워질 수도 있다.
이 예는 제 1 열 (470a) 및 제 2 열 (470b) 을 보여준다. 제 1 열 그래프 (475a) 에서, 깊이 값들 (434b) 이 제 1 열 (470a) 내의 픽셀들 (232) 에 대해 보여져 있다. 이 제 1 열 그래프 (475a) 에서, 깊이 값들 (434b) 은 제 1 열 (470a) 로부터의 픽셀들 (232) 의 수직 좌표 (474b) 에 대해 플롯된다. 이 예에서, 0에서 40까지 그리고 400 픽셀 이후에 0 값인 것은 거기에 할당된 깊이가 없기 때문임에 유의해야 한다. 스테레오 이미지들은 보정될 수도 있기 때문에, 보정 후 매칭 시야 (FOV) 를 갖지 않을 수도 있다. 깊이 추정은 오직 동일한 FOV 내에서만 수행될 수도 있다.
제 2 열 그래프 (475b) 에서, 깊이 값들 (434c) 이 제 2 열 (470b) 내의 픽셀들 (232) 에 대해 보여져 있다. 이 제 2 열 그래프 (475b) 에서, 깊이 값들 (434c) 은 제 2 열 (470b) 내의 픽셀들 (232) 의 수직 좌표 (474c) 에 대해 플롯된다. 0에서 150까지의 점선은 알고리즘 결과를 보여주는 매핑이다. 맵핑은 경사진 (즉, 기울어진) 라인으로만 될 수도 있다 (이는 비 오브젝트 도로 영역을 명시함). 평탄한 라인들인 오브젝트들로 매핑하기 위해, 동일한 알고리즘을 사용할 수도 있지만, 매핑 파라미터들은 변경될 수도 있다.
그래프들 (475a,b) 의 실선은 원래의 깊이 값들로부터 나온다. 점선은 설명된 시스템 및 방법에 따라 생성된다. 매핑은 점선의 기울기에 기초할 수도 있음에 유의해야 한다. 이들 그래프들 (475a,b) 에서, 0보다 큰 기울기는 비 장애물 영역 (266) 을 나타낸다. 0 보다 작거나 같은 기울기는 장애물 영역 (268) 을 나타낸다.
수직 처리 동안, 전자 디바이스 (102) 는 깊이 맵 (430) 을 세그먼트들 (236) 로 분할할 수도 있다. 각 세그먼트 (236) 는 열 (470) 에 다수의 픽셀들 (232) 을 포함할 수도 있다. 예를 들어, 세그먼트 (236) 는 10-15개 픽셀들 (232) 의 벡터일 수도 있다. 전자 디바이스 (102) 는 도 2와 관련하여 설명된 바처럼, 수직 비 장애물 추정 (242) 을 결정할 수도 있고 선형 모델 파라미터들 (238) 을 추정할 수도 있다. 추정 오차가 임계치 (246) 보다 작고 선형 피트가 소정의 기울기를 갖는다면, 세그먼트 (236) 는 유효한 비 장애물 영역 (266) 으로서 라벨링될 수도 있다.
도 5는 수직 처리를 이용하여 비 장애물 영역 검출을 수행하는 방법 (500) 을 나타내는 흐름도이다. 방법 (500) 은, 전자 디바이스 (102), 예를 들어 비 장애물 결정 모듈 (116) 에 의해 구현될 수도 있다. 전자 디바이스 (102) 는 깊이 맵 (430) 을 세그먼트들 (236) 로 분할할 수도 있다 (502). 각 세그먼트 (236) 는 열 (470) 에 수 n 의 픽셀들 (232) 을 포함할 수도 있다. 일 구현에서, n은 10개 픽셀들 (232) 과 같을 수도 있다.
전자 디바이스 (102) 는 각각의 세그먼트 (236) 에 대한 선형 모델 파라미터 (238) 를 추정하여 수직 비 장애물 추정 (242) 을 결정할 수도 있다 (504). 이것은 상술한 식 1-4에 따라 달성될 수도 있다.
전자 디바이스 (102) 는 수직 비 장애물 추정 (242) 에 대한 신뢰도 값 (250) 을 포함하는 수직 신뢰도 맵 (248) 을 결정할 수도 있다 (506). 예를 들어, 전자 디바이스 (102) 는 추정된 선형 모델 파라미터들 (238) 과 미리 결정된 선형 모델 파라미터들 (240) 사이의 차이에 기초하여 각 세그먼트 (236) 에 대한 세그먼트 피팅 오차 (244) 를 결정할 수도 있다. 세그먼트 피팅 오차 (244) 는 상기 식 5-7에 따라 결정될 수도 있다. 미리 결정된 선형 모델 파라미터들 (240) 은 복수의 도로 조건 모델 (예를 들어, 평탄, 언덕, 계곡) 중에서 선택될 수도 있다. 복수의 도로 조건 모델들의 각각은 대응하는 선형 모델 파라미터들 (240) 의 세트를 가질 수도 있다.
전자 디바이스 (102) 는 각 세그먼트 (236) 의 세그먼트 피팅 오차 (244) 와 수직 추정 임계치 (246) 를 비교함으로써 각 세그먼트 (236) 에 대한 신뢰도 값 (250) 을 결정할 수도 있다. 주어진 세그먼트 (236) 에 대한 세그먼트 피팅 오차 (244) 가 수직 추정 임계치 (246) 보다 작을 때 주어진 세그먼트 (236) 는 높은 신뢰도 값 (250) 을 가질 수도 있다.
전자 디바이스 (102) 는 주어진 세그먼트 (236) 에 대한 신뢰도 값 (250) 을 주어진 세그먼트 (236) 내의 각 픽셀 (232) 에 적용할 수도 있다. 따라서, 수직 신뢰도 맵 (248) 에서의 각 픽셀 (232) 은 수직 비 - 장애물 추정 (242) 의 신뢰성을 나타내는 신뢰도 값 (250) 을 가질 수도 있다.
도 6a 내지 도 6d는 깊이 맵 (630) 의 수평 처리의 예를 나타낸다. 깊이 맵 (630) 은 하나 이상의 이미지들 (114) 로부터 생성될 수도 있다. 도 6a에 나타낸 깊이 맵 (630) 은 도 4b와 관련하여 설명된 동일한 깊이 맵 (430) 이다 (페이지에 피팅되게 압축된다). 깊이 맵 (630) 은 원래 이미지(들) (114) 의 픽셀들에 대응하는 위치들을 포함할 수도 있다. 깊이 맵 (630) 내의 각 위치는 원래 이미지(들) (114) 의 픽셀들 (232) 에 대응하는 수평 좌표 (672) 및 수직 좌표 (674) 를 가질 수도 있다.
전자 디바이스 (102) 는 또한 깊이 히스토그램 (652) 을 생성할 수도 있다. 깊이 히스토그램 (652) 은 깊이 맵 (630) 내의 각 행에 대한 깊이들의 히스토그램을 획득함으로써 생성될 수도 있다. 예를 들어, 깊이 히스토그램 (652) 은 깊이 맵 (630) 을 수직축에 투영함으로써 생성될 수도 있다.
깊이 히스토그램 (652) 은 이미지 (114) 내의 각 행에 대해 계산될 수도 있다. 깊이 히스토그램 (652) 내 빈 (bin) 의 수는 이미지 (114) 내 최대 디스패리티 값의 수에 대응한다. 예를 들어, 720p 이미지에 대해 150 일 수 있거나 또는 더 큰 해상도 이미지에 대해 더 클 수 있고 더 작은 해상도 이미지에 대해 더 작을 수 있다. 도 6b 의 우측에 있는 x 축은 디스패리티 값에 대응하고, 이미지 (114) 내의 강도 값은 그 디스패리티 값에 대한 히스토그램 카운트에 대응한다. 음영이 어두울수록 디스패리티 값이 높아지며, 음영이 밝을수록 히스토그램의 디스패리티 값은 낮아진다. 이 예에서, 디스패리티 빈 (disparity bin) 의 최대 수는 150 이다. 깊이 히스토그램 (652) 에서, 디스패리티 값들은 수직 좌표 (674) 에 대해 플롯된다.
전자 디바이스 (102) 는 라인 세그먼트들 (676) 을 추출하기 위해 깊이 히스토그램 (652) 에 허프 변환을 적용할 수도 있다. 허프 변환은 깊이 히스토그램 (252) 으로부터 다수의 라인 세그먼트 (676) 를 추출할 수도 있다. 예를 들어, 허프 변환은 10-20 개의 작은 라인 세그먼트들 (676) 을 생성할 수도 있다.
라인 세그먼트들 (676) 는 병합되어 지형 라인 (654) 을 형성할 수도 있다. 지형 라인 (254) 의 종점들의 x 좌표는 가장 가까운 그리고 가장 먼 자유 공간 거리를 결정한다. 일 구현에서, 지형 라인 (254) 의 각도는 비 장애물 공간이 소정 기울기 특성을 가짐에 따라 (예를 들어, -20 도와 -40 도 사이에서) 제한될 수도 있다.
깊이 히스토그램 (652) 이 음의 기울기를 갖는 라인을 제공하면, 그것은 장애물이 없는 차량 전방의 도로 세그먼트에 대응한다. 장애물은 90도 직선의 수직 라인으로 표시될 것이다. 지형 라인 (254) 은 깊이 값이 이미지 (114) 의 행에서 분석될 때 카메라 전방에서의 깊이 값이 서서히 감소함을 나타낸다. 오브젝트가 있는 경우, 오브젝트는 소정 수의 행에 대해 동일한 깊이 값을 가질 것이다. 이 경우, 깊이 값은 감소하지 않을 것이다. 기울기 (즉, 지형 라인 (254) 의 각도) 는 도로가 가질 수 있는 최대 기울기에 따라 선정될 수도 있다.
전자 디바이스 (102) 는 비 장애물 영역 (266) 으로서 지형 라인 (654) 의 수평 추정 임계치 (260) 내에 있는 깊이 값들 (634) 로 픽셀들 (232) 을 라벨링할 수도 있다. 지형 라인 (654) 의 수평 추정 임계치 (260) 밖에 놓이는 깊이 값들 (634) 을 갖는 그러한 픽셀들 (232) 은 장애물 영역들 (268) 로서 라벨링될 수도 있다.
도 7은 수평 처리를 이용하여 비 장애물 영역 검출을 수행하는 방법 (700) 을 나타내는 흐름도이다. 방법 (700) 은, 전자 디바이스 (102), 예를 들어 비 장애물 결정 모듈 (116) 에 의해 구현될 수도 있다. 전자 디바이스 (102) 는 깊이 맵 (230) 의 픽셀들 (232) 의 각 행에 대한 깊이 히스토그램 (252) 을 획득할 수도 있다. 이것은, 도 6a 내지 도 6d 와 관련하여 설명되는 바처럼 달성될 수도 있다.
전자 디바이스 (102) 는 깊이 히스토그램 (252) 으로부터 지형 라인 (254) 을 결정할 수도 있다 (704). 이것은, 도 6a 내지 도 6d 와 관련하여 설명되는 바처럼 달성될 수도 있다.
전자 디바이스 (102) 는 지형 라인 (254) 으로부터 각 픽셀 (232) 의 깊이 값 (234) 의 거리에 기초하여 각 픽셀 (232) 에 대한 수평 비 장애물 추정 (258) 을 결정할 수도 있다 (706). 지형 라인 (654) 의 수평 추정 임계치 (260) 내에 놓이는 깊이 값들 (634) 을 갖는 그러한 픽셀들 (232) 은 비 장애물 영역들 (266) 로서 라벨링될 수도 있다. 지형 라인 (654) 의 수평 추정 임계치 (260) 밖에 놓이는 깊이 값들 (634) 을 갖는 그러한 픽셀들 (232) 은 장애물 영역들 (268) 로서 라벨링될 수도 있다.
전자 디바이스 (102) 는, 각 픽셀 (232) 의 수평 비 장애물 추정 (258) 에 대한 신뢰도 값 (264) 을 포함하는 수평 신뢰도 맵 (262) 을 결정할 수도 있다 (708). 예를 들어, 깊이 히스토그램 (252) 의 모드 (256) 까지의 거리는 수평 처리를 위한 신뢰도 메트릭으로서 사용될 수도 있다. 전자 디바이스 (102) 는 각 픽셀 (232) 의 깊이 값 (234) 이 깊이 히스토그램 (252) 의 모드 (256) 의 신뢰도 임계치 (261) 내에 있는지 여부를 결정할 수도 있다. 주어진 픽셀 (232) 의 깊이 값 (234) 이 깊이 히스토그램 (252) 의 모드 (256) 의 신뢰도 임계치 (261) 내에 있을 때 주어진 픽셀 (232) 은 높은 신뢰도 값 (264) 을 가질 수도 있다.
도 8은 비 장애물 맵 (226) 을 결정하기 위해 수직 비 장애물 추정 (242) 및 수평 비 장애물 추정 (258) 을 결합하는 방법 (800) 을 나타내는 흐름도이다. 방법 (800) 은, 전자 디바이스 (102), 예를 들어 비 장애물 결정 모듈 (116) 에 의해 구현될 수도 있다. 이 방법 (800) 에서, 전자 디바이스 (102) 는 수직 처리 및 수평 처리를 병렬로 수행할 수도 있다.
전자 디바이스 (102) 는 수직 비 장애물 추정 (242) 을 결정하기 위해 깊이 맵 (230) 의 수직 처리를 수행할 수도 있다 (802). 이것은, 도 5와 관련하여 설명되는 바처럼 달성될 수도 있다.
전자 디바이스 (102) 는 모델 피팅 신뢰성에 기초하여 수직 신뢰도 맵 (248) 을 획득할 수도 있다 (804). 이것은, 도 5와 관련하여 설명되는 바처럼 달성될 수도 있다.
전자 디바이스 (102) 는 수평 비 장애물 추정 (258) 을 결정하기 위해 깊이 맵 (230) 의 수평 처리를 수행할 수도 있다 (806). 이것은, 도 7과 관련하여 설명되는 바처럼 달성될 수도 있다.
전자 디바이스 (102) 는 깊이 히스토그램 (252) 거리에 기초하여 수평 신뢰도 맵 (262) 을 획득할 수도 있다 (808). 이것은, 도 7과 관련하여 설명되는 바처럼 달성될 수도 있다.
단계들 (802, 804, 806, 808) 은 병렬로 수행될 수도 있음에 유의해야 한다. 예를 들어, 전자 디바이스 (102) 가 수직 처리 단계들 (802 및 804) 을 수행하는 동안, 전자 디바이스 (102) 는 수평 처리 단계들 (806 및 808) 을 동시에 수행할 수도 있다.
전자 디바이스 (102) 는 비 장애물 맵 (226) 을 획득하기 위해 수직 비 장애물 추정 (242) 및 수평 비 장애물 추정 (258) 을 병합할 수도 있다 (810). 이 병합은 수직 신뢰도 맵 (248) 및 수평 신뢰도 맵 (262) 에 기초할 수도 있다.
수직 신뢰도 맵 (248) 및 수평 신뢰도 맵 (262) 양자 모두가 픽셀 (232) 이 높은 신뢰도를 갖는다고 나타낼 경우, 픽셀 (232) 은 비 장애물 맵 (226) 에서 비 장애물 영역 (266) 으로서 식별될 수도 있다. 예를 들어, 수직 신뢰도 맵 (248) 이 높은 수직 신뢰도 값 (250) 을 나타내고 수평 신뢰도 맵 (262) 이 높은 수평 신뢰도 값 (264) 을 나타내는 경우, 픽셀 (232) 은 비 장애물 맵 (226) 에서 비 장애물 영역 (266) 으로서 라벨링될 수도 있다.
수직 신뢰도 맵 (248) 또는 수평 신뢰도 맵 (262) 중 어느 하나가 높은 신뢰도를 나타내고 다른 하나가 낮은 신뢰도를 나타내는 경우에, 하나 이상의 상이한 병합 접근법들이 수행될 수도 있다. 하나의 접근법에서, 수직 신뢰도 맵 (248) 또는 수평 신뢰도 맵 (262) 중 적어도 하나가 주어진 픽셀 (232) 이 낮은 신뢰도 값 (250, 264) 을 갖는다고 나타낼 경우, 주어진 픽셀 (232) 은 비 장애물 맵 (226) 에서 장애물 영역 (268) 으로서 식별된다. 또 다른 접근법에서, 수직 신뢰도 맵 (248) 및 수평 신뢰도 맵 (262) 은 상이한 신뢰도 값 (250, 264) 을 나타낼 수도 있다. 이 경우, 주어진 픽셀 (2332) 은 주어진 픽셀 (232) 의 좌표에 기초하여 비 장애물 영역 (266) 또는 장애물 영역 (268) 으로 식별될 수도 있다.
도 9는 비 장애물 맵 (226) 을 결정하기 위해 수직 비 장애물 추정 (242) 및 수평 비 장애물 추정 (258) 을 결합하는 또 다른 방법 (900) 을 나타내는 흐름도이다. 방법 (900) 은, 전자 디바이스 (102), 예를 들어 비 장애물 결정 모듈 (116) 에 의해 구현될 수도 있다. 이 방법 (900) 에서, 전자 디바이스 (102) 는 수평 처리가 뒤 따르는 수직 처리의 순차적 적용을 수행할 수도 있다.
전자 디바이스 (102) 는 수직 비 장애물 추정 (242) 을 결정하기 위해 깊이 맵 (230) 의 수직 처리를 수행할 수도 있다 (902). 이것은, 도 5와 관련하여 설명되는 바처럼 달성될 수도 있다.
전자 디바이스 (102) 는 모델 피팅 신뢰성에 기초하여 수직 신뢰도 맵 (248) 을 획득할 수도 있다 (904). 이것은, 도 5와 관련하여 설명되는 바처럼 달성될 수도 있다.
전자 디바이스 (102) 는 수직 신뢰도 맵 (248) 에 기초하여 신뢰할 수 있는 지역들을 비 장애물 영역 (266) 으로서 식별할 수도 있다 (906). 예를 들어, 수직 신뢰도 맵 (248) 에서 높은 수직 신뢰도 값 (250) 을 갖는 각각의 픽셀 (232) 은 비 장애물 맵 (226) 에서 비 장애물 영역 (266) 으로서 라벨링될 수도 있다.
전자 디바이스 (102) 는 신뢰할 수 없는 지역이 비 장애물 영역 (266) 인지 여부를 결정하기 위해 수직 신뢰도 맵 (248) 의 신뢰할 수 없는 지역에 대해 수평 처리를 수행할 수도 있다 (908). 예를 들어, 전자 디바이스 (102) 는 낮은 신뢰도 값 (250) 을 갖는 픽셀들 (232) 의 적어도 하나의 행에 대해 수평 처리를 수행할 수도 있다. 행의 길이는 이미지 (114) 만큼 넓을 수 있거나 또는 이미지 폭보다 짧을 수 있다는 것에 유의해야 한다. 수평 처리는 도 7과 관련하여 기술된 바와 같이 달성되어 수평 비 장애물 추정 (258) 을 결정할 수도 있다. 비 장애물 맵 (226) 은 신뢰할 수 없는 지역들의 수평 신뢰도 맵 (262) 의 결과에 기초하여 업데이트될 수도 있다.
도 10은 비 장애물 맵 (226) 을 결정하기 위해 수직 비 장애물 추정 (242) 및 수평 비 장애물 추정 (258) 을 결합하는 또 다른 방법 (1000) 을 나타내는 흐름도이다. 방법 (1000) 은, 전자 디바이스 (102), 예를 들어 비 장애물 결정 모듈 (116) 에 의해 구현될 수도 있다. 이 방법 (1000) 에서, 전자 디바이스 (102) 는 수직 처리가 뒤 따르는 수평 처리의 순차적 적용을 수행할 수도 있다.
전자 디바이스 (102) 는 수평 비 장애물 추정 (258) 을 결정하기 위해 깊이 맵 (230) 의 수평 처리를 수행할 수도 있다 (1002). 이것은, 도 7과 관련하여 설명되는 바처럼 달성될 수도 있다.
전자 디바이스 (102) 는 깊이 히스토그램 (252) 거리에 기초하여 수평 신뢰도 맵 (262) 을 획득할 수도 있다 (1004). 이것은, 도 7과 관련하여 설명되는 바처럼 달성될 수도 있다.
전자 디바이스 (102) 는 수평 신뢰도 맵 (262) 에 기초하여 신뢰할 수 있는 지역들을 비 장애물 영역 (266) 으로서 식별할 수도 있다 (1006). 예를 들어, 수평 신뢰도 맵 (262) 에서 높은 수평 신뢰도 값 (264) 을 갖는 각각의 픽셀 (232) 은 비 장애물 맵 (226) 에서 비 장애물 영역 (266) 으로서 라벨링될 수도 있다.
전자 디바이스 (102) 는 신뢰할 수 없는 지역이 비 장애물 영역 (266) 인지 여부를 결정하기 위해 수평 신뢰도 맵 (262) 의 신뢰할 수 없는 지역에 대해 수직 처리를 수행할 수도 있다 (1008). 예를 들어, 전자 디바이스 (102) 는 낮은 수평 신뢰도 값 (264) 을 갖는 픽셀들 (232) 의 하나 이상의 열(들) 에 대해 수직 처리를 수행할 수도 있다. 픽셀들 (232) 의 하나 이상의 열(들) 은 이미지 (114) 처럼 클 수도 있거나 또는 이미지 높이보다 작을 수 있다.
수직 처리는 도 5과 관련하여 기술된 바와 같이 달성되어 수직 비 장애물 추정 (242) 을 결정할 수도 있다. 비 장애물 맵 (226) 은 신뢰할 수 없는 지역의 수직 신뢰도 맵 (248) 의 결과에 기초하여 업데이트될 수도 있다.
도 11a 내지 도 11b 는 이미지 (1114) 내의 비 장애물 영역 (1166) 을 결정하는 예를 나타낸다. 이 예에서, 원래 이미지 (1114a) 는 일방 도로의 이미지이다.
처리된 이미지 (1114b) 는 본 명세서에 설명된 시스템 및 방법에 따라 결정된 비 장애물 영역 (1166) 을 도시한다. 처리된 이미지 (1114b) 는 최종 결과가 아닌 알고리즘의 중간 단계로부터의 예를 보여준다. 이것은 더 처리되어야 하는 비 장애물 맵 (126) 에 홀 (hole) 들이 있을 수 있음을 보여주는 것이다. 또한 이것은 수직 처리만으로부터의 결과를 나타낸다.
비 장애물 영역 (1166) 은 도로에 대응하는 개방 영역을 포함한다. 비 장애물 영역 (1166) 내의 소정 이상치 영역 (1178) 은 비 장애물 영역 (1166) 의 일부로서 식별되지 않았다. 본 명세서에 사용된 이상치 (outlier) 는 이미지 (1114b) 내의 깊이 값이 미리 결정된 모델에서 피팅되지 않았다는 것을 의미한다. 이것은 깊이 값의 가능한 잘못된 추정 (예 : 입력 깊이 값이 완벽하지 않을 수도 있음) 으로 인해 발생할 수 있으므로, 일부 영역은 홀 (또는 이상치) 들로 나타난다. 이들 이상치 영역 (1178) 들은 이미지 (1114) 의 추가 처리를 수행함으로써 제거될 수도 있다.
도 12a 내지 도 12b 는 이미지 (1214) 내의 비 장애물 영역 (1266) 을 결정하는 또 다른 예를 나타낸다. 이 예에서, 원래 이미지 (1214a) 는 교차로의 이미지이다. 처리된 이미지 (1214b) 는 본 명세서에 설명된 시스템 및 방법에 따라 결정된 비 장애물 영역 (1266) 을 도시한다.
도 13a 내지 도 13b 는 비 장애물 영역 (1366) 으로부터의 거리 (1380) 를 결정하는 예를 나타낸다. 이 예는 도 11a 내지 도 11b 와 관련하여 기술된 도로의 처리된 이미지 (1314) 를 보여준다. 비 장애물 영역 (1366) 은 본 명세서에 설명된 시스템 및 방법에 따라 결정된다.
도 13b 의 깊이 맵 (1330) 에서, x 및 y 좌표는 좌표 위치이고, 음영은 깊이를 나타낸다. 이 예에서, 깊이 맵 (1330) 은 비 장애물 영역 (1366) 에 대한 깊이 정보를 포함한다. 깊이 맵 (1330) 은 카메라 전방에 여유 공간이 얼마나 멀리 있을지를 나타낸다.
깊이 맵 (1330) 으로부터 깊이 값들 (234) 을 사용하여, 전자 디바이스 (102)는 비 장애물 영역 (1366b) 과 관련된 다양한 거리들을 결정할 수도 있다. 예를 들어, 전자 디바이스 (102) 는 비 장애물 영역 (1366b) 에서 가장 먼 거리가 이미지 센서 (104) 로부터 45-50 미터 사이에 있다고 결정할 수도 있다. 유사하게, 전자 디바이스 (102) 는 가장 가까운 차가 이미지 센서 (104) 로부터 약 11 미터인 것으로 결정할 수도 있다.
도 14는 오브젝트 검출 알고리즘에 의해 사용된 관심 지역 (ROI) (1482) 을 식별하기 위해 비 장애물 맵 (226) 을 사용하는 예를 나타낸다. 이 예는 도 11a 내지 도 11b 와 관련하여 기술된 도로의 처리된 이미지 (1414) 를 보여준다. 비 장애물 영역 (1466) 은 본 명세서에 설명된 시스템 및 방법에 따라 결정된다.
다음으로, 전자 디바이스 (102) 는 잠재적인 장애물 영역 (268) 에 대한 하나 이상의 ROI (1482) 를 식별할 수도 있다. 예를 들어, 전자 디바이스 (102) 는 비 장애물 맵 (226) 으로부터 장애물 영역 (268) 을 식별할 수도 있다. 일 구현에서, 비 장애물 영역 (1466) 으로 라벨링되지 않은 픽셀 (232) 은 장애물 영역 (268) 으로 식별될 수도 있다. 이들 장애물 영역 (268) 은 하나 이상의 ROI (1482) 에 포함될 수도 있다. 이 예에서, 전자 디바이스 (102) 는 잠재적인 오브젝트 영역으로서 4 개의 ROI (1482a-d) 들을 식별한다.
전자 디바이스 (102) 는 식별된 ROI (1482) 에서 오브젝트 검출기를 실행시킬 수도 있다. 예를 들어, 전자 디바이스 (102) 는 ROI (1482) 가 자동차, 교통 신호, 보행자, 차선, 커브 등을 포함하는지 여부를 검출할 수도 있다.
비 장애물 영역 (1466) 을 식별하는 것은 먼저 오브젝트 검출을 위한 검색 영역을 감소시킨다. 이로 인해 오브젝트 검출을 위해 수행되는 처리 량이 줄어들 수도 있다.
도 15는 차선 검출 알고리즘에 의해 사용된 관심 지역 (ROI) (1582) 을 식별하기 위해 비 장애물 맵 (226) 을 사용하는 예를 나타낸다. 이 예는 도로의 처리된 이미지 (1514) 를 보여준다. 비 장애물 영역 (1566) 은 본 명세서에 설명된 시스템 및 방법에 따라 결정된다.
다음으로, 전자 디바이스 (102) 는 도로변 및/또는 커브에 대한 하나 이상의 ROI (1582) 를 식별할 수도 있다. 예를 들어, 전자 디바이스 (102) 는 비 장애물 맵 (226) 으로부터 장애물 영역 (268) 을 식별할 수도 있다. 이 예에서, 전자 디바이스 (102) 는 잠재적인 도로변 및/또는 커브으로서 비 장애물 영역 (1566) 의 측면상에서 2개의 ROI (1582a-b) 를 식별한다.
전자 디바이스 (102) 는 식별된 ROI (1582a-b) 에서 차선 검출기를 실행시킬 수도 있다. 비 장애물 영역 (1566) 을 식별하는 것은 먼저 차선 검출을 위한 검색 영역을 감소시킨다. 이로 인해 차선 검출을 위해 수행되는 처리 량이 줄어들 수도 있다.
도 16은 추정된 선형 모델 파라미터 (238) 에 기초하여 도로를 분류하는 방법 (1600) 을 나타내는 흐름도이다. 방법 (1600) 은, 전자 디바이스 (102), 예를 들어 비 장애물 결정 모듈 (116) 에 의해 구현될 수도 있다.
전자 디바이스 (102) 는 도로 이미지 (114) 로부터 깊이 맵 (230) 을 획득할 수도 있다 (1602). 깊이 맵 (230) 은, 도 2 와 관련하여 설명되는 바처럼 생성될 수도 있다.
전자 디바이스 (102) 는 선형 모델 파라미터 (238) 를 추정하기 위해 세그먼트 피팅을 수행할 수도 있다 (1604). 추정된 선형 모델 파라미터 (238) 는 도 2와 관련하여 설명된 바와 같이 결정될 수도 있다.
전자 디바이스 (102) 는 추정된 선형 모델 파라미터 (238) 에 기초하여 도로를 분류할 수도 있다 (1606). 예를 들어, 전자 디바이스 (102) 는 추정된 선형 모델 파라미터들 (238) 과 복수의 미리 결정된 선형 모델 파라미터들 (240) 을 비교할 수도 있다. 위에 설명된 바처럼, 미리 결정된 선형 모델 파라미터들 (240) 은 복수의 도로 조건 모델들과 연관될 수도 있다. 복수의 도로 조건 모델들의 각각은 대응하는 선형 모델 파라미터들 (240) 의 세트를 가질 수도 있다. 도로 조건 모델의 예들은 평탄한 평면, 경사 (예를 들어, 언덕), 계곡, 불규칙한 도로 등을 포함한다.
일 구현에서, 미리 결정된 선형 모델 파라미터들 (240) 은 트레이닝을 통해 획득될 수 있다. 사전 라벨링된 테스트 데이터가 사용될 수 있으며, 사전 라벨링된다는 것은 평탄한 도로 또는 불규칙한 도로 등의 라벨링된 이미지 (114) 및 깊이 맵 (230) 을 지칭한다. 이 데이터로 미리 결정된 선형 모델 파라미터 (240) 가 생성될 수도 있다.
전자 디바이스 (102) 는 미리 결정된 선형 모델 파라미터들 (240) 중 어느 것이 추정된 선형 모델 파라미터들 (238) 에 가장 잘 피팅되는지를 결정할 수도 있다. 도로는 추정된 선형 모델 파라미터들 (238) 에 가장 잘 피팅되는 도로 조건 모델에 따라 분류될 수도 있다 (1606). 따라서, 도로를 분류 (1606) 함으로써, 전자 디바이스 (102) 는 도로 이미지 (114) 에서 자유 공간의 유형을 결정할 수도 있다.
도 17은 전자 디바이스 (1702) 내에 포함될 수도 있는 특정 컴포넌트들을 나타낸다. 전자 디바이스 (1702) 는 카메라, 비디오 캠코더, 디지털 카메라, 휴대폰, 스마트폰, 컴퓨터 (예 : 데스크톱 컴퓨터, 랩톱 컴퓨터 등), 태블릿 디바이스, 미디어 플레이어, 텔레비전, 자동차, 개인용 카메라, 액션 카메라, 감시 카메라, 장착 카메라, 접속 카메라, 로봇, 항공기, 드론, 무인 항공기 (UAV), 헬스케어 장비, 게이밍 콘솔, 개인 휴대 정보 단말기 (PDA), 셋톱 박스 등일 수도 있거나 또는 이들 내부에 포함될 수도 있다. 전자 디바이스 (1702) 는 프로세서 (1728) 를 포함한다. 프로세서 (1728) 는 범용 단일 또는 다중 칩 마이크로프로세서 (예를 들어, ARM), 전용 마이크로프로세서 (예를 들어, 디지털 신호 프로세서 (DSP)), 마이크로제어기, 프로그램가능 게이트 어레이 등일 수도 있다. 프로세서 (1728) 는 중앙 처리 장치 (CPU) 로 지칭될 수도 있다. 단지 단일 프로세서 (1728) 가 전자 디바이스 (1702) 에 도시되었지만, 대안의 구성에서, 프로세서들 (예를 들어, ARM 및 DSP) 의 조합이 사용될 수 있다.
전자 디바이스 (1702) 는 또한 메모리 (1739) 를 포함한다. 메모리 (1739) 는 전자 정보를 저장할 수 있는 임의의 전자 컴포넌트일 수도 있다. 메모리 (1739) 는 랜덤 액세스 메모리 (RAM), 읽기 전용 메모리 (ROM), 자기 디스크 저장 매체, 광학 저장 매체, RAM 에서의 플래시 메모리 디바이스들, 프로세서와 함께 포함된 온보드 메모리, EPROM 메모리, EEPROM 메모리, 레지스트 및 기타 등등으로서 구체화될 수도 있으며, 이들의 조합을 포함한다.
데이터 (1721a) 및 명령들 (1741a) 은 메모리 (1739) 에 저장될 수도 있다. 명령들 (1741a) 은 여기에 개시된 하나 이상의 방법들을 구현하기 위해 프로세서 (1728) 에 의해 실행가능할 수도 있다. 명령들 (1741a) 을 실행하는 것은, 메모리 (1739) 에 저장된 데이터의 사용을 수반할 수도 있다. 프로세서 (1728) 가 명령들 (1741) 을 실행할 때, 명령들 (1741b) 의 다양한 부분들이 프로세서 (1728) 상으로 로딩될 수도 있고, 여러 개의 데이터 (1721b) 가 프로세서 (1728) 상으로 로딩될 수도 있다.
전자 디바이스 (1702) 는 또한, 전자 디바이스 (1702) 로 그리고 전자 디바이스 (1702) 로부터 신호들의 송신 및 수신을 허용하기 위한 송신기 (1725) 및 수신기 (1727) 를 포함할 수도 있다. 송신기 (1725) 및 수신기 (1727) 는 총칭하여 트랜시버 (1729) 로 지칭될 수도 있다. 하나 이상의 안테나들 (1737a-b) 은 트랜시버 (1729) 에 전기적으로 연결될 수도 있다. 전자 디바이스 (1702) 는 또한, (미도시의) 다수의 송신기들, 다수의 수신기들, 다수의 트랜시버들 및/또는 추가 안테나들을 포함할 수도 있다.
전자 디바이스 (1702) 는 디지털 신호 프로세서 (DSP) (1731) 를 포함할 수도 있다. 전자 디바이스 (1702) 는 또한 통신 인터페이스 (1733) 를 포함할 수도 있다. 통신 인터페이스 (1733) 는 하나 이상의 종류의 입력 및/또는 출력을 가능하게 할 수도 있다. 예를 들어, 통신 인터페이스 (1733) 는 다른 디바이스들을 전자 디바이스 (1702) 에 링크하기 위한 하나 이상의 포트들 및/또는 통신 디바이스들을 포함할 수도 있다. 부가적으로 또는 대안적으로, 통신 인터페이스 (1733) 는 하나 이상의 다른 인터페이스 (예를 들어, 터치스크린, 키패드, 키보드, 마이크로폰, 카메라 등) 를 포함할 수도 있다. 예를 들어, 통신 인터페이스 (1733) 는 사용자로 하여금 전자 디바이스 (1702) 와 상호작용할 수 있게 할 수도 있다.
전자 디바이스 (1702) 의 다양한 컴포넌트들은 함께 하나 이상의 버스들에 의해 연결될 수도 있고, 버스들은 전력 버스, 제어 신호 버스, 상태 신호 버스, 데이터 버스 등을 포함할 수도 있다. 명료성을 위해, 다양한 버스들이 버스 시스템 (1723) 으로서 도 17 에 나타나 있다.
본 개시에 따르면, 전자 디바이스 내의 회로는 하나 이상의 이미지들로부터 깊이 맵을 얻도록 적응될 수도 있다. 깊이 맵 내의 각 픽셀은 깊이 값을 가질 수도 있다. 동일한 회로, 상이한 회로 또는 그 동일한 또는 상이한 회로의 제 2 섹션은 수직 비 장애물 추정을 결정하기 위해 깊이 맵의 수직 처리를 수행하도록 적용될 수도 있다. 동일한 회로, 상이한 회로 또는 그 동일한 또는 상이한 회로의 제 3 섹션은 수평 비 장애물 추정을 결정하기 위해 깊이 맵의 수평 처리를 수행하도록 적용될 수도 있다. 동일한 회로, 상이한 회로 또는 그 동일한 또는 상이한 회로의 제 4 섹션은 비 장애물 맵을 결정하기 위하여 수직 비 장애물 추정 및 수평 비 장애물 추정을 결합하도록 적용될 수도 있다. 또한, 동일한 회로, 상이한 회로 또는 동일 또는 상이한 회로의 제 5 섹션은 상술한 기능성을 제공하는 회로(들) 또는 회로(들)의 섹션(들) 의 구성을 제어하도록 적응될 수도 있다.
용어 "결정하는 것" 은 광범위하게 다양한 행위들을 포함하고, 따라서, "결정하는 것" 은 계산, 컴퓨팅, 프로세싱, 도출, 조사, 룩업 (예를 들면, 테이블, 데이터베이스 또는 다른 데이터 구조에서의 룩업), 확인하는 것 등을 포함할 수 있다. 또한, "결정하는 것" 은 수신하는 것 (예를 들면, 정보를 수신하는 것), 액세스하는 것 (예컨대, 메모리에서 데이터에 액세스하는 것) 등을 포함할 수 있다. 또한, "결정하는 것" 은 해결하는 것, 선택하는 것, 선정하는 것, 확립하는 것 등을 포함할 수 있다.
어구 "에 기초하여" 는, 다르게 분명히 명시되지 않는 한 "에만 기초하여" 를 의미하지 않는다. 즉, 어구 "에 기초하여" 는 "에만 기초하여" 및 "에 적어도 기초하여" 양자 모두를 설명한다.
용어 "프로세서" 는 범용 프로세서, 중앙 처리 장치 (CPU), 마이크로프로세서, 디지털 신호 프로세서 (DSP), 제어기, 마이크로제어기, 상태 머신 및 기타 등등을 망라하는 것으로 폭넓게 해석되야 한다. 일부 상황들하에서, "프로세서" 는 ASIC (application specific integrated circuit), 프로그램가능 로직 디바이스 (PLD), 필드 프로그램가능 게이트 어레이 (FPGA) 등을 지칭할 수도 있다. 용어 "프로세서" 는 프로세싱 디바이스들의 조합, 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서, DSP 코어와 결합한 하나 이상의 마이크로프로세서, 또는 임의의 다른 이러한 구성을 지칭할 수도 있다.
용어 "메모리" 는 전자 정보를 저장할 수 있는 임의의 전자 컴포넌트를 망라하는 것으로 폭넓게 해석되야 한다. 용어 메모리는, 랜덤 액세스 메모리 (RAM), 읽기 전용 메모리 (ROM), 비휘발성 랜덤 액세스 메모리 (NVRAM), 프로그램가능 읽기 전용 메모리 (PROM), 소거가능 프로그램가능 읽기 전용 메모리 (EPROM), 전기 소거가능 PROM (EEPROM), 플래시 메모리, 자기 또는 광학 데이터 저장, 레지스터 등과 같은 다양한 타입의 프로세서 판독가능 매체를 지칭할 수도 있다. 프로세서가 메모리로부터 정보를 판독하거나 및/또는 메모리에 정보를 기입할 수 있다면, 메모리는 프로세서와 전자 통신한다고 한다. 프로세서에 내장된 메모리는 프로세서와 전자 통신한다.
용어들 "명령들" 및 "코드" 는 임의의 타입의 컴퓨터 판독가능 스테이트먼트 (statement) (들) 을 포함하는 것으로 폭넓게 해석되야 한다. 예를 들어, 용어 "명령들" 및 "코드" 는 하나 이상의 프로그램들, 루틴들, 서브루틴들, 함수들, 프로시저들 등을 지칭할 수도 있다. "명령들" 및 "코드" 는 단일 컴퓨터 판독가능 표현 또는 많은 컴퓨터 판독가능 표현들을 포함할 수도 있다.
여기에 기술된 기능들은 하드웨어에 의해 실행되는 소프트웨어 또는 펌웨어에서 구현될 수도 있다. 기능들은 컴퓨터 판독가능 매체 상의 하나 이상의 명령들로서 저장될 수도 있다. 용어들 "컴퓨터 판독가능 매체" 또는 "컴퓨터 프로그램 제품" 은 컴퓨터 또는 프로세서에 의해 액세스될 수 있는 임의의 유형의 저장 매체를 지칭한다. 비한정적 예로서, 컴퓨터 판독가능 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장, 자기 디스크 저장 또는 다른 자기 저장 디바이스들, 또는 명령 또는 데이터 구조의 형태로 원하는 프로그램 코드를 반송 또는 저장하는데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수도 있다. 여기에 설명된 바와 같이, 디스크 (disk) 및 디스크 (disc) 는 CD (compact disc), 레이저 디스크 (laser disc), 광 디스크 (optical disc), DVD (digital versatile disc), 플로피 디스크 (floppy disk) 및 블루레이® 디스크 (Blu-ray® disc) 를 포함하며, 여기서, 디스크 (disk) 는 일반적으로 데이터를 자기적으로 재생하지만, 디스크 (disc) 는 레이저를 이용하여 광학적으로 데이터를 재생한다. 컴퓨터 판독가능 매체는 유형 및 비일시적일 수도 있다는 것에 유의해야 한다. 용어 "컴퓨터 프로그램 제품" 은, 컴퓨팅 디바이스 또는 프로세서에 의해 실행, 프로세싱 또는 컴퓨팅될 수도 있는 코드 또는 명령들 (예를 들어, "프로그램") 과 조합한 컴퓨팅 디바이스 또는 프로세서를 지칭한다. 여기서 사용된 바처럼, 용어 "코드" 는 컴퓨팅 디바이스 또는 프로세서에 의해 실행가능한 소프트웨어, 명령들, 코드 또는 데이터를 지칭할 수도 있다.
소프트웨어 또는 명령들은 또한, 송신 매체 상에서 송신될 수도 있다. 예를 들어, 소프트웨어가 동축 케이블, 광섬유 케이블, 연선 (twisted pair), 디지털 가입자 라인 (DSL), 또는 적외선, 전파 (radio), 및 마이크로파와 같은 무선 기술을 사용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 송신되는 경우, 그 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 적외선, 전파, 및 마이크로파와 같은 무선 기술은 매체의 정의 내에 포함된다.
본원에 개시된 방법들은 설명된 방법을 달성하기 위한 하나 이상의 단계들 또는 행동들을 포함한다. 방법 단계들 및/또는 행동들은 청구항들의 범위로부터 이탈함이 없이 서로 상호교환될 수도 있다. 즉, 단계들 또는 행위들의 특정 순서가, 설명되고 있는 방법의 적절한 동작을 위해 필요하지 않으면, 특정 단계들 및/또는 행위들의 순서 및/또는 사용은 청구항들의 범위로부터 이탈함이 없이 수정될 수도 있다.
또한, 본원에 설명된 방법들 및 기법들을 수행하는 모듈들 및/또는다른 적절한 수단이 다운로드될 수도 있거나 및/또는, 그렇지 않으면 디바이스에 의해 획득될 수도 있다는 것이 인식되야 한다. 예를 들어, 디바이스는 본원에 설명된 방법들을 수행하기 위한 수단의 전달을 가능하게 하기 위한 서버에 연결될 수도 있다. 다르게는, 본원에 기재된 다양한 방법들은 저장 수단 (예를 들어, 랜덤 액세스 메모리 (RAM), 읽기 전용 메모리 (ROM), 물리적 저장 매체, 이를테면 컴팩트 디스크 (CD) 또는 플로피 디스크 등) 을 통해 제공되어, 디바이스는, 그 디바이스에 저장 수단을 연결 또는 제공할 시에 그 다양한 방법들을 획득할 수도 있다.
청구항들은 위에 예시된 바로 그 구성 및 컴포넌트들에 한정되지 않는다는 것이 이해되야 한다. 청구항들의 범위로부터 이탈함이 없이 본원에 기재된 시스템, 방법 및 장치의 배열, 동작 및 상세들에서 다양한 수정, 변경 및 변형들이 이루어질 수도 있다.

Claims (30)

  1. 전자 디바이스에 의해 수행되는 방법으로서,
    수직 비 장애물 추정을 결정하기 위하여 깊이 맵의 수직 처리를 수행하는 단계;
    수평 비 장애물 추정을 결정하기 위하여 상기 깊이 맵의 수평 처리를 수행하는 단계;
    상기 수직 비 장애물 추정 및 상기 수평 비 장애물 추정을 결합하는 단계; 및
    상기 수직 비 장애물 추정 및 상기 수평 비 장애물 추정의 결합에 기초하여 비 장애물 맵을 생성하는 단계
    를 포함하는, 전자 디바이스에 의해 수행되는 방법.
  2. 제 1 항에 있어서,
    수직 처리를 수행하는 단계는
    세그먼트들로 상기 깊이 맵을 분할하는 단계로서, 적어도 하나의 세그먼트는 열에 다수의 픽셀들을 포함하는, 상기 깊이 맵을 분할하는 단계;
    상기 수직 비 장애물 추정을 결정하기 위해 적어도 하나의 세그먼트에 대한 선형 모델 파라미터들을 추정하는 단계; 및
    상기 수직 비 장애물 추정을 위한 신뢰도 값을 포함하는 수직 신뢰도 맵을 생성하는 단계를 포함하는, 전자 디바이스에 의해 수행되는 방법.
  3. 제 2 항에 있어서,
    상기 수직 신뢰도 맵을 결정하는 단계는
    상기 추정된 선형 모델 파라미터들과 미리 결정된 선형 모델 파라미터들 사이의 차이에 기초하여 주어진 세그먼트에 대한 세그먼트 피팅 오차를 결정하는 단계;
    상기 세그먼트 피팅 오차와 수직 추정 임계치를 비교함으로써 상기 주어진 세그먼트에 대한 신뢰도 값을 결정하는 단계; 및
    상기 주어진 세그먼트 내의 적어도 하나의 픽셀에 상기 주어진 세그먼트에 대한 신뢰도 값을 적용하는 단계를 포함하는, 전자 디바이스에 의해 수행되는 방법.
  4. 제 3 항에 있어서,
    상기 미리 결정된 선형 모델 파라미터는 복수의 도로 조건 모델 중에서 선택되며, 상기 복수의 도로 조건 모델은 대응하는 선형 모델 파라미터 세트를 갖는, 전자 디바이스에 의해 수행되는 방법.
  5. 제 1 항에 있어서,
    수평 처리를 수행하는 단계는
    상기 깊이 맵의 적어도 하나의 픽셀 행에 대한 깊이 히스토그램을 획득하는 단계;
    상기 깊이 히스토그램으로부터 지형 라인을 결정하는 단계;
    상기 지형 라인으로부터의 적어도 하나의 픽셀의 깊이 값의 거리에 기초하여 수평 비 장애물 추정을 결정하는 단계; 및
    상기 수평 비 장애물 추정을 위한 신뢰도 값을 포함하는 수평 신뢰도 맵을 생성하는 단계를 포함하는, 전자 디바이스에 의해 수행되는 방법.
  6. 제 5 항에 있어서,
    상기 수평 신뢰도 맵을 생성하는 단계는
    주어진 픽셀의 상기 깊이 값이 상기 깊이 히스토그램의 모드의 범위 내에 있는지 여부를 결정하는 단계로서, 상기 주어진 픽셀의 깊이 값이 상기 깊이 히스토그램의 모드의 범위 내에 있을 때, 상기 주어진 픽셀은 높은 신뢰도 값을 갖는, 상기 결정하는 단계를 포함하는, 전자 디바이스에 의해 수행되는 방법.
  7. 제 1 항에 있어서,
    상기 수직 비 장애물 추정 및 상기 수평 비 장애물 추정을 결합하는 단계는
    상기 수직 처리와 상기 수평 처리 양자 모두를 병렬로 수행하는 단계; 및
    수직 신뢰도 맵 및 수평 신뢰도 맵에 기초하여 상기 수직 비 장애물 추정 및 상기 수평 비 장애물 추정을 병합하는 단계를 포함하는, 전자 디바이스에 의해 수행되는 방법.
  8. 제 7 항에 있어서,
    주어진 픽셀은 상기 수직 신뢰도 맵 및 상기 수평 신뢰도 맵 양자 모두가 상기 주어진 픽셀에 대해 높은 신뢰도 값을 특징으로 하는 상기 비 장애물 맵에서의 비 장애물 영역으로 식별되는, 전자 디바이스에 의해 수행되는 방법.
  9. 제 7 항에 있어서,
    주어진 픽셀은 상기 수직 신뢰도 맵 또는 상기 수평 신뢰도 맵 중 적어도 하나가 상기 주어진 픽셀에 대해 낮은 신뢰도 값을 특징으로 하는 상기 비 장애물 맵에서의 장애물 영역으로 식별되는, 전자 디바이스에 의해 수행되는 방법.
  10. 제 7 항에 있어서,
    주어진 픽셀은 상기 수직 신뢰도 맵 및 상기 수평 신뢰도 맵이 상기 주어진 픽셀에 대해 상이한 신뢰도 값들을 특징으로 하는 상기 주어진 픽셀의 좌표에 기초하여 상기 비 장애물 맵에서의 비 장애물 영역 또는 장애물 영역으로서 식별되는, 전자 디바이스에 의해 수행되는 방법.
  11. 제 1 항에 있어서,
    상기 수직 비 장애물 추정 및 상기 수평 비 장애물 추정을 결합하는 단계는
    상기 깊이 맵의 수직 처리를 수행하는 단계;
    모델 피팅 신뢰성에 기초하여 수직 신뢰도 맵을 획득하는 단계;
    상기 수직 신뢰도 맵의 신뢰할 수 있는 지역을 비 장애물 영역으로서 식별하는 단계; 및
    상기 신뢰할 수 없는 지역이 비 장애물 영역인지 여부를 결정하기 위해 상기 수직 신뢰도 맵의 신뢰할 수 없는 지역에 대해 수평 처리를 수행하는 단계를 포함하는, 전자 디바이스에 의해 수행되는 방법.
  12. 제 1 항에 있어서,
    상기 수직 비 장애물 추정 및 상기 수평 비 장애물 추정을 결합하는 단계는
    상기 깊이 맵의 수평 처리를 수행하는 단계;
    깊이 히스토그램 거리에 기초하여 수평 신뢰도 맵을 획득하는 단계;
    상기 수평 신뢰도 맵의 신뢰할 수 있는 지역을 비 장애물 영역으로서 식별하는 단계; 및
    상기 신뢰할 수 없는 지역이 비 장애물 영역인지 여부를 결정하기 위해 상기 수평 신뢰도 맵의 신뢰할 수 없는 지역에 대해 수직 처리를 수행하는 단계를 포함하는, 전자 디바이스에 의해 수행되는 방법.
  13. 제 1 항에 있어서,
    상기 비 장애물 맵은 오브젝트 검출 알고리즘 또는 차선 검출 알고리즘 중 적어도 하나에 의해 사용되는 관심 지역을 식별하는데 사용되는, 전자 디바이스에 의해 수행되는 방법.
  14. 전자 디바이스로서,
    수직 비 장애물 추정을 결정하기 위하여 깊이 맵의 수직 처리를 수행하고;
    수평 비 장애물 추정을 결정하기 위하여 상기 깊이 맵의 수평 처리를 수행하고;
    상기 수직 비 장애물 추정 및 상기 수평 비 장애물 추정을 결합하고; 그리고
    상기 수직 비 장애물 추정 및 상기 수평 비 장애물 추정의 결합에 기초하여 비 장애물 맵을 생성하도록 구성된, 전자 디바이스.
  15. 제 14 항에 있어서,
    상기 전자 디바이스가 수직 처리를 수행하도록 구성되는 것은, 상기 전자 디바이스가
    세그먼트들로 상기 깊이 맵을 분할하는 것으로서, 적어도 하나의 세그먼트는 열에 다수의 픽셀들을 포함하는, 상기 깊이 맵을 분할하고;
    상기 수직 비 장애물 추정을 결정하기 위해 적어도 하나의 세그먼트에 대한 선형 모델 파라미터들을 추정하고; 그리고
    상기 수직 비 장애물 추정을 위한 신뢰도 값을 포함하는 수직 신뢰도 맵을 생성하도록 구성되는 것을 포함하는, 전자 디바이스.
  16. 제 14 항에 있어서,
    상기 전자 디바이스가 수평 처리를 수행하도록 구성되는 것은, 상기 전자 디바이스가
    상기 깊이 맵의 적어도 하나의 픽셀 행에 대한 깊이 히스토그램을 획득하고;
    상기 깊이 히스토그램으로부터 지형 라인을 결정하고;
    상기 지형 라인으로부터의 적어도 하나의 픽셀의 깊이 값의 거리에 기초하여 수평 비 장애물 추정을 결정하고; 그리고
    상기 수평 비 장애물 추정을 위한 신뢰도 값을 포함하는 수평 신뢰도 맵을 생성하도록 구성되는 것을 포함하는, 전자 디바이스.
  17. 제 14 항에 있어서,
    상기 전자 디바이스가 상기 수직 비 장애물 추정 및 상기 수평 비 장애물 추정을 결합하도록 구성되는 것은, 상기 전자 디바이스가
    상기 수직 처리와 상기 수평 처리 양자 모두를 병렬로 수행하고; 그리고
    수직 신뢰도 맵 및 수평 신뢰도 맵에 기초하여 상기 수직 비 장애물 추정 및 상기 수평 비 장애물 추정을 병합하도록 구성되는 것을 포함하는, 전자 디바이스.
  18. 제 14 항에 있어서,
    상기 전자 디바이스가 상기 수직 비 장애물 추정 및 상기 수평 비 장애물 추정을 결합하도록 구성되는 것은, 상기 전자 디바이스가
    상기 깊이 맵의 수직 처리를 수행하고;
    모델 피팅 신뢰성에 기초하여 수직 신뢰도 맵을 획득하고;
    상기 수직 신뢰도 맵의 신뢰할 수 있는 지역을 비 장애물 영역으로서 식별하고; 그리고
    상기 신뢰할 수 없는 지역이 비 장애물 영역인지 여부를 결정하기 위해 상기 수직 신뢰도 맵의 신뢰할 수 없는 지역에 대해 수평 처리를 수행하도록 구성되는 것을 포함하는, 전자 디바이스.
  19. 제 14 항에 있어서,
    상기 전자 디바이스가 상기 수직 비 장애물 추정 및 상기 수평 비 장애물 추정을 결합하도록 구성되는 것은, 상기 전자 디바이스가
    상기 깊이 맵의 수평 처리를 수행하고;
    깊이 히스토그램 거리에 기초하여 수평 신뢰도 맵을 획득하고;
    상기 수평 신뢰도 맵의 신뢰할 수 있는 지역을 비 장애물 영역으로서 식별하고; 그리고
    상기 신뢰할 수 없는 지역이 비 장애물 영역인지 여부를 결정하기 위해 상기 수평 신뢰도 맵의 신뢰할 수 없는 지역에 대해 수직 처리를 수행하도록 구성되는 것을 포함하는, 전자 디바이스.
  20. 수직 비 장애물 추정을 결정하기 위하여 깊이 맵의 수직 처리를 수행하는 수단;
    수평 비 장애물 추정을 결정하기 위하여 상기 깊이 맵의 수평 처리를 수행하는 수단;
    상기 수직 비 장애물 추정 및 상기 수평 비 장애물 추정을 결합하는 수단; 및
    상기 수직 비 장애물 추정 및 상기 수평 비 장애물 추정의 결합에 기초하여 비 장애물 맵을 생성하는 수단
    을 포함하는, 장치.
  21. 제 20 항에 있어서,
    상기 수직 처리를 수행하는 수단은
    세그먼트들로 상기 깊이 맵을 분할하는 수단으로서, 적어도 하나의 세그먼트는 열에 다수의 픽셀들을 포함하는, 상기 깊이 맵을 분할하는 수단;
    상기 수직 비 장애물 추정을 결정하기 위해 적어도 하나의 세그먼트에 대한 선형 모델 파라미터들을 추정하는 수단; 및
    상기 수직 비 장애물 추정을 위한 신뢰도 값을 포함하는 수직 신뢰도 맵을 생성하는 수단을 포함하는, 장치.
  22. 제 20 항에 있어서,
    상기 수평 처리를 수행하는 수단은
    상기 깊이 맵의 적어도 하나의 픽셀 행에 대한 깊이 히스토그램을 획득하는 수단;
    상기 깊이 히스토그램으로부터 지형 라인을 결정하는 수단;
    상기 지형 라인으로부터의 적어도 하나의 픽셀의 깊이 값의 거리에 기초하여 수평 비 장애물 추정을 결정하는 수단; 및
    상기 수평 비 장애물 추정을 위한 신뢰도 값을 포함하는 수평 신뢰도 맵을 생성하는 수단을 포함하는, 장치.
  23. 제 20 항에 있어서,
    상기 수직 비 장애물 추정 및 상기 수평 비 장애물 추정을 결합하는 수단은
    상기 수직 처리와 상기 수평 처리 양자 모두를 병렬로 수행하는 수단; 및
    수직 신뢰도 맵 및 수평 신뢰도 맵에 기초하여 상기 수직 비 장애물 추정 및 상기 수평 비 장애물 추정을 병합하는 수단을 포함하는, 장치.
  24. 제 20 항에 있어서,
    상기 수직 비 장애물 추정 및 상기 수평 비 장애물 추정을 결합하는 수단은
    상기 깊이 맵의 수직 처리를 수행하는 수단;
    모델 피팅 신뢰성에 기초하여 수직 신뢰도 맵을 획득하는 수단;
    상기 수직 신뢰도 맵의 신뢰할 수 있는 지역을 비 장애물 영역으로서 식별하는 수단; 및
    상기 신뢰할 수 없는 지역이 비 장애물 영역인지 여부를 결정하기 위해 상기 수직 신뢰도 맵의 신뢰할 수 없는 지역에 대해 수평 처리를 수행하는 수단을 포함하는, 장치.
  25. 제 20 항에 있어서,
    상기 수직 비 장애물 추정 및 상기 수평 비 장애물 추정을 결합하는 수단은
    상기 깊이 맵의 수평 처리를 수행하는 수단;
    깊이 히스토그램 거리에 기초하여 수평 신뢰도 맵을 획득하는 수단;
    상기 수평 신뢰도 맵의 신뢰할 수 있는 지역을 비 장애물 영역으로서 식별하는 수단; 및
    상기 신뢰할 수 없는 지역이 비 장애물 영역인지 여부를 결정하기 위해 상기 수평 신뢰도 맵의 신뢰할 수 없는 지역에 대해 수직 처리를 수행하는 수단을 포함하는, 장치.
  26. 명령들이 저장된 비일시적 유형의 컴퓨터 판독가능 매체를 포함하는, 컴퓨터 프로그램 제품으로서, 상기 명령들은
    수직 비 장애물 추정을 결정하기 위하여 전자 디바이스로 하여금 깊이 맵의 수직 처리를 수행하게 하기 위한 코드;
    수평 비 장애물 추정을 결정하기 위하여 상기 전자 디바이스로 하여금 상기 깊이 맵의 수평 처리를 수행하게 하기 위한 코드;
    상기 전자 디바이스로 하여금 상기 수직 비 장애물 추정 및 상기 수평 비 장애물 추정을 결합하게 하기 위한 코드; 및
    상기 전자 디바이스로 하여금 상기 수직 비 장애물 추정 및 상기 수평 비 장애물 추정의 결합에 기초하여 비 장애물 맵을 생성하게 하기 위한 코드를 포함하는, 컴퓨터 프로그램 제품.
  27. 제 26 항에 있어서,
    상기 전자 디바이스로 하여금 수직 처리를 수행하게 하기 위한 코드는
    상기 전자 디바이스로 하여금 세그먼트들로 상기 깊이 맵을 분할하게 하기 위한 코드로서, 적어도 하나의 세그먼트는 열에 다수의 픽셀들을 포함하는, 상기 깊이 맵을 분할하게 하기 위한 코드;
    상기 전자 디바이스로 하여금 상기 수직 비 장애물 추정을 결정하기 위해 적어도 하나의 세그먼트에 대한 선형 모델 파라미터들을 추정하게 하기 위한 코드; 및
    상기 전자 디바이스로 하여금 상기 수직 비 장애물 추정을 위한 신뢰도 값을 포함하는 수직 신뢰도 맵을 생성하기 위한 코드를 포함하는, 컴퓨터 프로그램 제품.
  28. 제 26 항에 있어서,
    상기 전자 디바이스로 하여금 수평 처리를 수행하게 하기 위한 코드는
    상기 전자 디바이스로 하여금 상기 깊이 맵의 적어도 하나의 픽셀 행에 대한 깊이 히스토그램을 획득하게 하기 위한 코드;
    상기 전자 디바이스로 하여금 상기 깊이 히스토그램으로부터 지형 라인을 결정하게 하기 위한 코드;
    상기 전자 디바이스로 하여금 상기 지형 라인으로부터의 적어도 하나의 픽셀의 깊이 값의 거리에 기초하여 수평 비 장애물 추정을 결정하게 하기 위한 코드; 및
    상기 전자 디바이스로 하여금 상기 수평 비 장애물 추정을 위한 신뢰도 값을 포함하는 수평 신뢰도 맵을 생성하기 위한 코드를 포함하는, 컴퓨터 프로그램 제품.
  29. 제 26 항에 있어서,
    상기 전자 디바이스로 하여금 상기 수직 비 장애물 추정 및 상기 수평 비 장애물 추정을 결합하게 하기 위한 코드는
    상기 전자 디바이스로 하여금 상기 수직 처리와 상기 수평 처리 양자 모두를 병렬로 수행하게 하기 위한 코드; 및
    상기 전자 디바이스로 하여금 수직 신뢰도 맵 및 수평 신뢰도 맵에 기초하여 상기 수직 비 장애물 추정 및 상기 수평 비 장애물 추정을 병합하게 하기 위한 코드를 포함하는, 컴퓨터 프로그램 제품.
  30. 제 26 항에 있어서,
    상기 전자 디바이스로 하여금 상기 수직 비 장애물 추정 및 상기 수평 비 장애물 추정을 결합하게 하기 위한 코드는
    상기 전자 디바이스로 하여금 상기 깊이 맵의 수직 처리를 수행하게 하기 위한 코드;
    상기 전자 디바이스로 하여금 모델 피팅 신뢰성에 기초하여 수직 신뢰도 맵을 획득하게 하기 위한 코드;
    상기 전자 디바이스로 하여금 상기 수직 신뢰도 맵의 신뢰할 수 있는 지역을 비 장애물 영역으로서 식별하게 하기 위한 코드; 및
    상기 전자 디바이스로 하여금 상기 신뢰할 수 없는 지역이 비 장애물 영역인지 여부를 결정하기 위해 상기 수직 신뢰도 맵의 신뢰할 수 없는 지역에 대해 수평 처리를 수행하게 하기 위한 코드를 포함하는, 컴퓨터 프로그램 제품.
KR1020187010748A 2015-09-18 2016-08-01 비 장애물 영역 검출을 위한 시스템 및 방법 KR20180056685A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/858,471 US9761000B2 (en) 2015-09-18 2015-09-18 Systems and methods for non-obstacle area detection
US14/858,471 2015-09-18
PCT/US2016/045042 WO2017048383A1 (en) 2015-09-18 2016-08-01 Systems and methods for non-obstacle area detection

Publications (1)

Publication Number Publication Date
KR20180056685A true KR20180056685A (ko) 2018-05-29

Family

ID=56738213

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187010748A KR20180056685A (ko) 2015-09-18 2016-08-01 비 장애물 영역 검출을 위한 시스템 및 방법

Country Status (8)

Country Link
US (4) US9761000B2 (ko)
EP (1) EP3350746A1 (ko)
JP (1) JP6794436B2 (ko)
KR (1) KR20180056685A (ko)
CN (1) CN108027877B (ko)
JO (1) JO3741B1 (ko)
TW (1) TWI618028B (ko)
WO (1) WO2017048383A1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9761000B2 (en) * 2015-09-18 2017-09-12 Qualcomm Incorporated Systems and methods for non-obstacle area detection
US10282623B1 (en) * 2015-09-25 2019-05-07 Apple Inc. Depth perception sensor data processing
EP3185208A1 (en) * 2015-12-22 2017-06-28 Thomson Licensing Method for determining missing values in a depth map, corresponding device, computer program product and non-transitory computer-readable carrier medium
CN107563256A (zh) * 2016-06-30 2018-01-09 北京旷视科技有限公司 辅助驾驶信息产生方法及装置、辅助驾驶系统
JP6838340B2 (ja) * 2016-09-30 2021-03-03 アイシン精機株式会社 周辺監視装置
DE102017205093A1 (de) * 2017-03-27 2018-09-27 Conti Temic Microelectronic Gmbh Verfahren und System zur Vorhersage von Sensorsignalen eines Fahrzeugs
JPWO2018180104A1 (ja) * 2017-03-31 2020-05-14 パイオニア株式会社 判定装置、判定方法並びに判定用プログラム及びデータ構造
US10486485B1 (en) * 2017-04-19 2019-11-26 Zoox, Inc. Perception based suspension control
US11214143B2 (en) * 2017-05-02 2022-01-04 Motional Ad Llc Visually obstructed object detection for automated vehicle using V2V/V2I communications
CN109657523B (zh) * 2017-10-10 2021-03-30 北京京东乾石科技有限公司 一种可行驶区域检测方法和装置
CN109829351B (zh) * 2017-11-23 2021-06-01 华为技术有限公司 车道信息的检测方法、装置及计算机可读存储介质
KR102323394B1 (ko) * 2018-01-22 2021-11-08 삼성전자주식회사 차량의 주행을 보조하는 장치 및 방법
WO2019188389A1 (ja) * 2018-03-29 2019-10-03 ソニー株式会社 信号処理装置、および信号処理方法、プログラム、並びに移動体
CN110796633A (zh) * 2019-09-10 2020-02-14 浙江大华技术股份有限公司 无人机降落安全检测方法、装置、计算机设备和存储介质
FR3102739A1 (fr) * 2019-11-06 2021-05-07 Psa Automobiles Sa Procédé et système permettant à un système d’aide à la conduite d’un véhicule automobile de différencier des types d’intersections routières
CN111192283A (zh) * 2019-12-26 2020-05-22 昆山伟宇慧创智能科技有限公司 一种限高杆检测和高度计算方法
FR3107359B1 (fr) * 2020-02-18 2022-02-25 Thales Sa Procede et dispositif de determination d'obstacles d'altitude
CN113496146A (zh) * 2020-03-19 2021-10-12 苏州科瓴精密机械科技有限公司 自动工作系统、自动行走设备及其控制方法及计算机可读存储介质
CN111307159B (zh) * 2020-03-19 2022-11-18 哈尔滨工程大学 一种多auv三维协同航路规划方法
JP2021164059A (ja) * 2020-03-31 2021-10-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN112150490B (zh) * 2020-09-30 2024-02-02 北京小狗吸尘器集团股份有限公司 图像检测方法、装置、电子设备和计算机可读介质
FR3129511A1 (fr) * 2021-11-23 2023-05-26 Multitec Innovation Système d’assistance au stationnement d’un véhicule équipé d’une plateforme mobile, telle un hayon élévateur arrière ou latéral, et procédé correspondant
CN116884236B (zh) * 2023-06-26 2024-04-16 中关村科学城城市大脑股份有限公司 交通流量采集设备和交通流量采集方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3352655B2 (ja) * 1999-09-22 2002-12-03 富士重工業株式会社 車線認識装置
JP2005251106A (ja) * 2004-03-08 2005-09-15 Mitsubishi Electric Corp 車線認識装置
US7889949B2 (en) * 2007-04-30 2011-02-15 Microsoft Corporation Joint bilateral upsampling
DE102009009047A1 (de) * 2009-02-16 2010-08-19 Daimler Ag Verfahren zur Objektdetektion
JP5502448B2 (ja) * 2009-12-17 2014-05-28 富士重工業株式会社 路面形状認識装置
TR201010439A2 (tr) 2010-12-14 2012-07-23 Vestel Elektroni̇k San. Ve Ti̇c. A.Ş. Derinlik verilerinin yukarı örneklenmesi
CN103262139B (zh) * 2010-12-15 2015-06-24 本田技研工业株式会社 行车道识别装置
JP2012243049A (ja) * 2011-05-19 2012-12-10 Fuji Heavy Ind Ltd 環境認識装置および環境認識方法
CN103123722B (zh) 2011-11-18 2016-04-27 株式会社理光 道路对象检测方法和系统
CN103177236B (zh) * 2011-12-22 2016-06-01 株式会社理光 道路区域检测方法和装置、分道线检测方法和装置
US9258562B2 (en) * 2012-06-13 2016-02-09 Qualcomm Incorporated Derivation of depth map estimate
CN103679691B (zh) * 2012-09-24 2016-11-16 株式会社理光 连续型道路分割物检测方法和装置
CN103679127B (zh) * 2012-09-24 2017-08-04 株式会社理光 检测道路路面的可行驶区域的方法和装置
CN103854008B (zh) * 2012-12-04 2019-10-18 株式会社理光 路面检测方法和装置
US9483829B2 (en) * 2013-09-04 2016-11-01 International Business Machines Corporation Efficient visual surface finding
JP6151150B2 (ja) * 2013-10-07 2017-06-21 日立オートモティブシステムズ株式会社 物体検出装置及びそれを用いた車両
US9552633B2 (en) * 2014-03-07 2017-01-24 Qualcomm Incorporated Depth aware enhancement for stereo video
CN104899869B (zh) * 2015-05-14 2017-09-01 浙江大学 基于rgb‑d相机和姿态传感器的平面和障碍检测方法
US9761000B2 (en) 2015-09-18 2017-09-12 Qualcomm Incorporated Systems and methods for non-obstacle area detection

Also Published As

Publication number Publication date
JP2018530825A (ja) 2018-10-18
TW201724007A (zh) 2017-07-01
US9761000B2 (en) 2017-09-12
CN108027877A (zh) 2018-05-11
US9905015B2 (en) 2018-02-27
WO2017048383A1 (en) 2017-03-23
US20180012367A1 (en) 2018-01-11
US20170084038A1 (en) 2017-03-23
US20190333229A1 (en) 2019-10-31
US10395377B2 (en) 2019-08-27
TWI618028B (zh) 2018-03-11
EP3350746A1 (en) 2018-07-25
CN108027877B (zh) 2022-10-18
JO3741B1 (ar) 2021-01-31
JP6794436B2 (ja) 2020-12-02
US20180158193A1 (en) 2018-06-07

Similar Documents

Publication Publication Date Title
CN108027877B (zh) 用于非障碍区检测的系统和方法
EP3627180B1 (en) Sensor calibration method and device, computer device, medium, and vehicle
EP3338248B1 (en) Systems and methods for object tracking
CN109635685B (zh) 目标对象3d检测方法、装置、介质及设备
US9811732B2 (en) Systems and methods for object tracking
US10573018B2 (en) Three dimensional scene reconstruction based on contextual analysis
US20230110116A1 (en) Advanced driver assist system, method of calibrating the same, and method of detecting object in the same
TWI595450B (zh) 物件偵測系統
Lee et al. Temporally consistent road surface profile estimation using stereo vision
CN115187941A (zh) 目标检测定位方法、系统、设备及存储介质
CN110689556A (zh) 跟踪方法、装置及智能设备
CN105809971A (zh) 一种车辆跟踪方法及装置
CN111815667B (zh) 一种相机移动条件下高精度检测运动目标的方法
CN115431968B (zh) 车辆控制器、车辆及车辆控制方法
JP6134693B2 (ja) 物体検出装置
CN117622118A (zh) 确定障碍物朝向方法、装置、设备、介质及车辆
유인섭 Vision-based Distance Measurement and Localization for Automated Driving
WO2018058531A1 (zh) 目标跟踪方法、装置以及图像处理设备

Legal Events

Date Code Title Description
E902 Notification of reason for refusal