KR20170106963A - 위치 데이터 및 이미지 데이터의 스케일 공간 표현들을 이용한 오브젝트 검출 - Google Patents

Abstract

장치는, 장치로부터 보여지고 오브젝트를 포함하는 장면의 이미지 데이터를 수신하도록 구성된 오브젝트 검출기를 포함한다. 이미지 데이터는 장면의 다중 스케일 공간 표현들과 연관된다. 오브젝트 검출기는 다중 스케일 공간 표현들의 제 1 스케일 공간 표현 및 위치 데이터에 응답하여 오브젝트를 검출하도록 구성된다.

Description

위치 데이터 및 이미지 데이터의 스케일 공간 표현들을 이용한 오브젝트 검출{OBJECT DETECTION USING LOCATION DATA AND SCALE SPACE REPRESENTATIONS OF IMAGE DATA}

관련 출원들에 대한 상호 참조

본 출원은 2015 년 1 월 16 일에 출원된 공동 소유된 U.S. 정규 특허출원 제 14/598,892 호로부터 우선권을 주장하며, 그 내용들은 그 전부가 본 명세서에서 참조로서 명백히 통합된다.

본 개시물은 일반적으로 오브젝트 검출에 관한 것이다. 보다 구체적으로, 본 개시물은 이미지 데이터 및 위치 데이터에 응답하는 오브젝트 검출에 관한 것이다.

디바이스는 이미지 기반 기법을 사용하여 오브젝트 검출 동작들을 수행할 수도 있다. 예를 들어, 카메라는 차량에 장착되거나 전자 디바이스에 통합될 수도 있고, 카메라는 이미지 데이터를 프로세서에 공급할 수도 있다. 프로세서는 차량 또는 모바일 디바이스의 운행의 필드 근방 또는 내에 있는 장애물 (예를 들어, 보행자, 나무, 가축, 게임, 및/또는 다른 오브젝트) 과 같은 오브젝트를 검출하기 위해 이미지 데이터를 분석 (또는 "스캔") 하도록 컴퓨터 비전 어플리케이션을 실행할 수도 있다.

일부 상황들에서, 이미지 기판 오브젝트 검출은 느리고 비효과적일 수도 있다. 예를 들어, 이미지에서 오브젝트들을 인식하기 위한 이미지 "탐색" 은 이미지 세그먼팅 및 윈도윙 동작들과 같은 다중의 시간 소모적인 동작들을 수반할 수도 있다. 또한, 이미지 기반 오브젝트 검출은, 검출된 오브젝트 위치들이 신뢰성이 없게 할 수도 있는, 큰 범위의 불확실성 (또는 큰 마진의 에러) 과 연관될 수도 있다. 이러한 쟁점들은 오브젝트 검출을 위해 의도된 목적을 방해할 수 있다. 일 예로서, 차량과 관련된 어플리케이션들에 있어서, 이미지 기반 오브젝트 검출이 너무 느리게 발생하여 장애물을 회피하기 위한 시간의 과정을 느려지게, 정지하게 또는 그렇지 않으면 장애물을 회피하기 위한 시간의 과정을 변경하게 할 수도 있다.

일부 디바이스들은 오브젝트들을 검출하기 위한 레이더 (radar) 정보와 같은, 위치 기반 정보를 사용할 수도 있다. 하지만, 위치 기반 정보는 큰 범위의 불확실성에 영향을 받을 수도 있다 (예를 들어, 그러한 디바이스들은 큰 마진의 에러를 가질 수도 있음).

오브젝트 검출은 위치 데이터 및 이미지 데이터의 스케일 공간 표현들을 사용하여 수행될 수도 있다. 스케일 공간 표현들의 각각은 이미지 데이터의 상이한 해상도 버전일 수도 있다. 예시를 위해, 디바이스, 예를 들어 차량 또는 전자 디바이스는 이미지 데이터를 생성하도록 구성된 이미지 센서 (예를 들어, 카메라) 를 포함할 수도 있다. 디바이스는 또한, 검출될 오브젝트와 연관되고 및/또는 오브젝트가 존재할 수도 있는 장면에서의 하나 이상의 영역들을 표시하는 위치 데이터를 포함하거나 수신할 수도 있다. 예를 들어, 위치 데이터는 위치 데이터를 생성하도록 구성되는 위치 센서 (예를 들어, 레이더 디바이스, 글로벌 포지셔닝 시스템 (GPS) 디바이스 등) 로부터 수신될 수도 있다. 위치 센서는 이미지 센싱 디바이스에 커플링되거나 이미지 센싱 디바이스로부터 분리될 수 있다. 다른 예에서, 위치 데이터는 도로 또는 지표면 위에 있는 이미지 또는 장면의 영역과 같은, 관심 오브젝트 (예를 들어, 검출될 오브젝트) 가 존재할 수도 있는 곳을 표시하는 3 차원 (3D) 맵의 하나 이상의 영역들에 대응할 수도 있다. 일부 경우들에서, 장면의 하나 보다 많은 영역이 3D 맵에 의해 식별되고 위치 데이터로서 수신될 수도 있다. 예를 들어, 운전 레인의 좌측 및 우측 양자 상의 오브젝트들을 검출하는 것이 바람직할 수도 있다. 그러한 디바이스들에서, 오브젝트 (예를 들어, 보행자, 나무, 가축, 게임, 및/또는 다른 오브젝트) 를 검출하기 위해 모든 이미지 데이터를 탐색하는 대신, 디바이스 (예를 들어, 프로세서) 는 오브젝트를 검출하기 위해 이미지 데이터의 스케일 공간 표현 및 위치 데이터의 오버랩, 교차, 또는 수렴을 탐색할 수도 있다. 디바이스는 오브젝트를 검출하기 위해 하나 이상의 스케일 공간 표현들을 탐색하도록 구성될 수도 있고, 상이한 스케일 공간 표현들은 상이한 오브젝트들을 검출하기 위해 탐색될 수도 있다. 이미지 데이터의 하나 이상의 스케일 공간 표현들 및 위치 데이터의 오버랩 또는 교차를 탐색하는 것은 다른 기법들 (예를 들어, "억지(brute force)" 또는 모든 이미지 데이터의 완전 탐색) 보다 산출적으로 덜 복잡할 수도 있고, 따라서 위치 데이터를 고려하지 않는 다른 오브젝트 검출보다 더 효율적이다.

한정이 아닌 예시적인 예로서, 차량은 보행자 검출을 수행할 수도 있다. 보행자를 검출하기 위해서, 차량은 모델 기반 오브젝트 검출을 활용할 수도 있고, 여기서 모델은 카메라에 의해 제공된 이미지 데이터에서 관심 오브젝트들의 높이가 특정 수 이하의 화소들 (예를 들어, 높이에서 100 이하의 화소들) 일 것이라고 가정한다. 보행자가 차량에 근접할 때, 보행자는 높이에서 100 이상의 화소들일 수도 있고, 그 결과 모델은 보행자를 성공적으로 검출할 수 없을 수도 있다. 보행자를 검출하기 위해서, 모델 기반 오브젝트 검출이 이미지 데이터의 다운샘플링된 공간 표현 상에서 재실행될 수도 있다. 예를 들어, 보행자의 높이가 원래 이미지에서 180 화소들이면, 보행자의 높이는 2 의 팩터로 다운샘플링되는 스케일 공간 표현에서 90 화소들일 것이고, 모델 기반 오브젝트 검출은 다운샘플링된 이미지에서 보행자를 성공적으로 검출할 수도 있다. 따라서, 가변 거리들에서 오브젝트들 (예를 들어, 보행자들) 을 성공적으로 검출하기 위해서, 차량은 카메라에 의해 캡처된 이미지 데이터의 다중 스케일 공간 표현들 (예를 들어, "높이" 또는 "풀(full)" 해상도 표현, "중간" 해상도 표현, "낮음" 해상도 표현 등) 에 대한 오브젝트 검출을 수행할 수도 있다. 본 개시물은 차량들에 대한 오브젝트 검출에 제한되지 않는 것을 유의해야 한다. 다양한 실시형태들에서, 오브젝트 검출은 한정이 아닌 예시적인 예들로서, 전자 디바이스, 모바일 디바이스, 개인용 장착 카메라, 헤드 장착 디스플레이, 또는 무인 차량 (areial vehicle) 의 이미지 센서에 의해 캡처된 이미지들에서 및/또는 이 이미지들에 기초하여 수행될 수도 있다.

다중 스케일 공간 표현들의 각각을 전부 반복적으로 탐색하는 것은 시간 소모적일 수도 있다. 기재된 기법들에 따라, 오브젝트 검출기는 오브젝트 (예를 들어, 보행자) 의 가능성 있는 위치와 교차하거나 오버랩하지 않는 스케일 공간 표현들을 탐색하는 것을 스킵할 수도 있다. 또한, 스케일 공간 표현이 오브젝트의 가능성 있는 위치를 오버랩할 때, 탐색은 오버랩에 대응하는 관심 영역에 한정될 수도 있다. 오브젝트의 가능성 있는 위치는 차량의 부분이거나 차량으로부터 분리되는 위치 센서에 의해 제공될 수도 있다. 부가적으로, 오브젝트의 가능성 있는 위치는 오브젝트가 존재할 수도 있는 3D 맵의 하나 이상의 영역들에 적어도 부분적으로 기초할 수도 있다. 본 명세서에서 사용된 바와 같이, 오브젝트를 검출하는 것은 이미지 데이터에서 (또는 이미지 데이터의 스케일 공간 표현에서) 오브젝트의 표현을 검출하는 것, 실제 물리 오브젝트를 (예를 들어, 초음파, 레이더 등에 기초하여) 검출하는 것, 또는 이들 양자를 포함할 수 있다.

특정 양태에서, 장치는 이미지 센서로부터 장면의 이미지 데이터 및 위치 데이터를 수신하도록 구성된 오브젝트 검출기를 포함한다. 장면은 차량으로부터 보여지고 오브젝트를 포함한다. 이미지 데이터는 장면의 다중 스케일 공간 표현들과 연관된다 (예를 들어, 이 표현들을 생성하기 위해 사용될 수 있음). 오브젝트 검출기는 위치 데이터 및 다중 스케일 공간 표현들의 제 1 스케일 공간 표현에 응답하여 오브젝트를 검출하도록 구성된다.

다른 특정 양태에서, 방법은 프로세서에서, 이미지 센서로부터, 장치로부터 보여지고 오브젝트를 포함하는 장면의 이미지 데이터를 수신하는 단계를 포함한다. 이미지 데이터는 장면의 다중 스케일 공간 표현들과 연관된다. 방법은 또한, 프로세서에서, 오브젝트와 연관되거나 오브젝트가 존재할 수도 있는 영역을 표시하는 위치 데이터를 수신하는 단계를 포함한다. 방법은, 프로세서에서, 제 1 스케일 공간 표현과 위치 데이터 사이의 오버랩에 기초하여 다중 스케일 공간 표현들의 제 1 스케일 공간 표현의 탐색 영역을 식별하는 단계를 더 포함한다. 방법은, 프로세서에서, 제 1 스케일 공간 표현의 탐색 영역에서 오브젝트 검출을 수행하는 단계를 포함한다.

다른 특정 양태에서, 장치는, 장치로부터 보여지고 오브젝트를 포함하는 장면의 이미지 데이터를 수신하는 수단을 포함하고, 이미지 데이터는 장면의 다중 스케일 공간 표현들과 연관된다. 장치는 프로세싱하는 수단을 더 포함한다. 프로세싱하는 수단은, 오브젝트와 연관되거나 오브젝트가 존재할 수도 있는 영역을 표시하는 위치 데이터와 다중 스케일 공간 표현들의 제 1 스케일 공간 표현 사이의 오버랩에 기초하여 제 1 스케일 공간 표현의 탐색 영역을 식별하도록 구성된다. 프로세싱하는 수단은 또한 제 1 스케일 공간 표현의 탐색 영역에서 오브젝트 검출을 수행하도록 구성된다.

다른 특정 양태에서, 컴퓨터 판독가능 저장 디바이스는, 프로세서로 하여금, 이미지 센서로부터, 장치로부터 보여지고 오브젝트를 포함하는 장면의 이미지 데이터를 수신하게 하도록 프로세서에 의해 실행가능한 명령들을 저장한다. 이미지 이미지 데이터는 장면의 다중 스케일 공간 표현들과 연관된다. 명령들은 또한, 오브젝트와 연관되거나 오브젝트가 존재할 수도 있는 영역을 표시하는 위치 데이터를 수신하고, 그리고 다중 스케일 공간 표현들의 제 1 스케일 공간 표현과 위치 데이터 사이의 오버랩에 기초하여 제 1 스케일 공간 표현의 탐색 영역을 식별하도록 실행가능하다. 명령들은 추가로 제 1 스케일 공간 표현의 탐색 영역에서 오브젝트 검출을 수행하도록 실행가능하다.

개시된 실시형태들 중 적어도 하나에 의해 제공된 하나의 특별한 이점은 오브젝트와 연관되거나 오브젝트가 존재할 수도 있는 영역을 표시하는 위치 데이터를 사용하는 것에 의해 이미지 데이터 상에서 수행되는 오브젝트 검출의 시간이 감소될 수도 있다는 것이다. 예를 들어, 위치 데이터를 교차하거나 오버랩하지 않는 스케일 공간 표현(들) 에 대한 오브젝트 검출은 수행되지 않을 수도 있고, 위치 데이터를 교차하거나 오버랩하는 스케일 공간 표현(들) 에 대한 오브젝트 검출은 관심 영역(들) 을 오버랩하거나 교차하는 것에 제한되지 않을 수도 있다. 본 개시물의 다른 양태들, 이점들, 및 피처들은 다음의 섹션들을 포함하는, 전체 출원의 검토 후에 명백해질 것이다: 도면의 간단한 설명, 상세한 설명 및 청구항들.

도 1 은 위치 데이터 및 이미지 데이터의 스케일 공간 표현들을 사용하여 오브젝트 검출을 수행하도록 동작가능한 예시적인 시스템을 도시하는 다이어그램이다.
도 2a, 도 2b, 도 2c 및 도 2d 는 도 1 의 시스템의 동작의 예시적인 예들을 도시하는 다이어그램이다.
도 3 은 위치 데이터 및 이미지 데이터의 스케일 공간 표현들을 사용하여 오브젝트 검출을 수행하도록 동작가능한 시스템의 또 다른 예시적인 예를 도시하는 다이어그램이다.
도 4 는 위치 데이터 및 이미지 데이터의 스케일 공간 표현들을 사용하여 오브젝트 검출을 수행하도록 동작가능한 도 다른 예시적인 예를 도시하는 다이어그램이다.
도 5a 는 오브젝트 검출을 수행하기 위해 3 차원 (3D) 맵 데이터를 사용하는 예시적인 예를 도시한다.
도 5b 는 오브젝트 검출 동안 사용될 수도 있는 마스크의 예시적인 예를 도시한다.
도 6 은 3D 맵 데이터에 기초하여 관심 영역(들) 을 식별하는 방법의 예시적인 예를 도시하는 플로우챠트이다.
도 7 은 위치 데이터 및 이미지 데이터의 스케일 공간 표현들을 사용한 오브젝트 검출 방법의 예시적인 예를 도시하는 플로우챠트이다.
도 8 은 전자 디바이스의 예시적인 예의 블록 다이어그램이다.

도 1 은 오브젝트 검출을 수행하도록 구성되는 시스템의 특정 예시적인 실시형태를 도시한다. 도 1 의 예에서, 오브젝트 검출은 차량 (102) 에서 수행된다. 하지만, 본 개시물은 그러한 것으로 제한되는 것이 아님을 유의해야 한다. 본 명세서에 개시된 오브젝트 검출 디바이스들, 방법들, 시스템들 등은 트래픽에서, 시야에서 등 오브젝트들을 검출하기 위해 대안의 환경들에서 구현될 수도 있다. 예를 들어, 본 명세서에 기재된 하나 이상의 기능들은 전자 디바이스들, 모바일 디바이스들, 게이밍 콘솔들, 자동차 시스템 콘솔들 (예를 들어, ADAS), 웨어러블 디바이스들 (예를 들어, 개인용 장착 카메라), 헤드 장착 디스플레이 등에서 구현될 수도 있다. 부가 예들은, 로봇들 또는 로봇 디바이스들, 무인 항공기들 (UAV), 및 드론들을 포함하지만 이에 제한되지 않는다. 도 1 의 예에서, 차량 (102) 은 모토 차량 (예를 들어, 자동차, 트럭, 모토사이클, 버스, 또는 기차), 선박 (예를 들어, 배 또는 보트), 항공기 (예를 들어, 비행기 또는 헬리콥터), 우주선 (예를 들어, 우주 왕복선), 자전거, 또는 다른 차량일 수도 있다. 차량 (102) 은 예시적인 예들로서 휠형 차량, 트랙형 차량, 레일형 차량, 에어본 차량, 또는 스키형 차량일 수도 있다. 일부 경우들에서, 차량 (102) 은 하나 이상의 운전자들에 의해 동작될 수도 있다. 예를 들어, 차량 (102) 은 차량 (102) 의 운전자를 보조하도록 구성된 어드밴스드 드라이빙 보조 시스템 (ADAS) 를 포함할 수도 있다. 다른 경우들에서, 차량 (102) 은 컴퓨터 제어형 차량일 수도 있다. 더욱이, 도 1 의 예의 시스템에서 오브젝트 검출이 차량 (102) 에서 수행되더라도, 다른 예들에서 본 명세서에 개시된 오브젝트 검출이 차량 (102) 의 "클라우드(cloud)" 또는 외부에서 수행될 수 있다는 것을 이해해야 한다. 예를 들어, 차량 또는 다른 전자 디바이스는 오브젝트 검출을 수행하기 위해 다른 디바이스에 위치 데이터 및/또는 이미지 데이터를 제공할 수 있다.

차량 (102)(예를 들어, 차량 (102) 의 ADAS) 은 예시적인 이미지 센서 (104) 와 같은 하나 이상의 이미지 센서들을 포함할 수도 있다. 이미지 센서 (104) 는 전하 커플형 디바이스 (CCD) 기반 카메라 및/또는 상보형 금속 산화물 반도체 (COMS) 기반 카메라와 같은, 카메라를 포함할 수도 있다. 대안의 실시형태들에서, 이미지 센서 (104) 는 센서의 상이한 타입 (예를 들어, 적외선) 을 포함할 수도 있다.

도 1 의 예에서, 차량 (102) 은 예시적인 위치 센서 (106) 와 같은 하나 이상의 위치 센서들을 더 포함한다. 위치 센서 (106) 는 예시적인 예들로서, 레이더 디바이스, 광 검출 및 레인징 (lidar) 디바이스, 글로벌 포지셔닝 시스템 (GPS) 디바이스, 초음파 디바이스, 및/또는 통신 디바이스, 예컨대 차량과 관련된 통신 네트워크를 포함할 수도 있다.

도 1 의 예에서, 이미지 센서 (104) 의 삼각형 시야가 나타나 있다. 이미지 센서 (104) 의 시야는 다양한 방식들로 결정될 수도 있음을 유의해야 한다. 한정이 아닌 예시적인 예로서, 이미지 센서 (104)(또는 이미지 센서 (104) 를 포함하는 장치) 는 GPS 트랜시버를 포함할 수도 있고, 시야는 이미지 센서 (104)(또는 장치) 의 2 개의 GPS 위치들간 시간적 차이에 기초하여 결정될 수도 있다. 2 개의 GPS 위치들간 차이는 이미지 센서 (104) 의 운행 방향에 또는 삼각형 시야의 중심 라인에 대응할 수도 있다. 한정이 아닌 다른 예시적인 예로서, 이미지 센서 (104) 의 방향은 이미지 센서 (104) 에 커플링되거나, 또는 차량, 컴퓨팅 디바이스, 또는 다른 장치와 같은, 이미지 센서 (104) 를 포함하는 장치에 포함되는 모션 센서 (예를 들어, 가속도계) 에 기초하여 결정될 수도 있다. 따라서, 이미지 센서 (104) 의 방향 및 시야는 이전에 알려져 있지 않더라도 결정될 수도 있다.

차량 (102) 은 프로세서 (108) 및 메모리 (110) 를 더 포함할 수도 있다. 메모리 (110) 는 프로세서 (108) 에 의해 액세스가능한 명령들 및 데이터를 저장할 수도 있다. 프로세서 (108) 는 중앙 프로세싱 유닛 (CPU), 디지털 신호 프로세서 (DSP), 주문형 집적 회로 (ASIC), 전자 제어 유닛 (ECU), 다른 프로세싱 디바이스, 또는 그 조합을 포함할 수도 있다. 프로세서 (108) 는 위치 데이터 기반 및 스케일 공간 기반 오브젝트 검출기와 같은, 오브젝트 검출기 (128) 를 포함할 수도 있다. 오브젝트 검출기 (128) 는 차량 (102) 의 하드웨어 컴포넌트들, 프로세서 (108) 에 의해 실행가능한 소프트웨어 (예를 들어, 명령들), 또는 그 조합에 대응할 수도 있다.

동작 동안, 위치 센서 (106) 는 프로세서 (108) 에 위치 데이터 (116) 를 제공할 수도 있다. 일부 구현들에서, 위치 데이터 (116) 는 예시적인 오브젝트 (112) 와 같은, 하나 이상의 오브젝트들과 연관된, 레이더 데이터, 라이더 (lidar) 데이터, GPS 데이터 등을 포함할 수도 있다. 오브젝트 (112) 는 정지될 수도 있고 또는 움직일 수도 있다. 예를 들어, 오브젝트 (112) 는 한정이 아닌 예시적인 예들로서, 보행자, 다른 차량, 교통 표지판, 도로 장애들 (예를 들어, 떨어진 교통 표지판, 나무 가지, 또는 잔해), 가축 (예를 들어, 소, 들소, 말, 양, 또는 염소), 게임 (예를 들어, 엘크, 무스, 곰, 또는 사슴), 또는 노변 오브젝트 (예를 들어, 표지판, 광고 표지판, 또는 노변 유닛 (RSU)) 에 대응할 수도 있다. 오브젝트 (12) 는 차량 (102) 에 근접하거나 차량으로부터 상당한 거리 (예를 들어, 차량에 근접하지 않음) 에 배치될 수도 있다. 예를 들어, 오브젝트 (112) 는 차량 (102) 의 특정 범위 내, 차량 (102) 의 운행의 필드 또는 방향 내, 이미지 센서 (104) 등의 시야 내 등에 있을 수도 있다. 일부 구현들에서, 위치 센서 (106) 는 오브젝트 (112) 와 같은 오브젝트들에 대해 차량 (102) 의 운행의 필드를 스캔하도록 구성된 하나 이상의 센서들을 포함한다. 예를 들어, 위치 센서 (106) 는 레이더 디바이스, 초음파 디바이스, 및/또는 오브젝트 (112) 로부터 반사된 신호들을 사용하여 위치 데이터 (116) 를 생성하도록 구성된 라이더 디바이스를 포함할 수도 있다. 일부 구현들에서, 위치 센서 (106) 는 하나 이상의 오브젝트들과 연관된 위치 데이터를 수신하도록 구성된다. 예를 들어, 위치 센서 (106) 는 전용 단거리 통신 디바이스, RFID 디바이스, 개인용 네트워크 디바이스, 또는 다른 통신 디바이스를 포함할 수도 있다.

이미지 센서 (104) 는 오브젝트 (112) 를 포함하는 장면의 이미지 데이터 (114) 를 (예를 들어, 하나 이상의 이미지들을 캡처하는 것에 의해) 생성할 수도 있다. 이미지 센서 (104) 는 프로세서 (108) 에 이미지 데이터 (114) 를 제공할 수도 있다. 일부 구현들에서, 이미지 센서 (104) 는 위치 센서 (106) 로부터의 커맨드에 응답하여 이미지 데이터 (114) 를 생성할 수도 있다. 특정 예시적인 예에서, 위치 센서 (106) 가 오브젝트 (112) 를 검출하는 경우 (예를 들어, 레이더, 초음파, 또는 라이더 기법을 사용하여, 또는 다른 디바이스로부터 GPS 및/또는 DSRC 정보를 수신하는 것에 의해), 위치 센서 (104) 는 이미지 센서 (106) 및 위치 센서 (106) 를 연결하는 버스에서 제어 신호를 어셋할 수도 있다. 대안으로, 또는 부가적으로, 이미지 센서 (104) 의 동작은 프로세서 (108) 에 의해 제어될 수도 있다. 예를 들어, 프로세서 (108) 는 이미지 센서 (104) 로 하여금 위치 센서 (106) 로부터 위치 데이터 (116) 를 수신하는 것에 응답하여 이미지 데이터 (114) 를 생성하게 할 수도 있다. 다른 경우들에서, 이미지 센서 (104) 는 위치 센서 (106) 와 독립적으로 동작할 수도 있다. 예를 들어, 이미지 센서 (104) 는 일정하게, 주기적으로, 또는 가끔 이미지들을 캡처할 수도 있고, 이미지들의 이미지 데이터 (예를 들어, 이미지 데이터 (114)) 를 버퍼, 캐시, 또는 다른 메모리 (예를 들어, 메모리 (110)) 에 로딩할 수도 있다. 이 예에서, 위치 센서 (106) 로부터 위치 데이터 (116) 를 수신하는 것에 응답하여, 프로세서 (108) 는 버퍼, 캐시, 또는 다른 메모리로부터 이미지 데이터 (114) 를 취출할 수도 있다. 예시를 위해, 메모리 (110), 또는 그 일부는, 이미지 센서 (104) 로부터 취출된 이미지 데이터를 저장하도록 구성되는 원형 버퍼로서 기능할 수도 있다.

이미지 데이터 (114) 는 장면의 다중 스케일 공간 표현들, 예를 들어, 이를테면 제 1 스케일 공간 표현 (120), 제 2 스케일 공간 표현 (122), 및 제 3 스케일 공간 표현 (124) 와 연관될 수도 있다. 스케일 공간 표현들 (120, 122, 및 124) 의 각각은 개별 이미지 해상도와 연관될 수도 있다. 예를 들어, 제 1 스케일 공간 표현 (120) 은 제 1 이미지 해상도와 연관될 수도 있고, 제 2 스케일 공간 표현 (122) 은 제 1 이미지 해상도보다 작은 제 2 이미지 해상도와 연관될 수도 있고, 그리고 제 3 스케일 공간 표현 (124) 은 제 2 이미지 해상도보다 작은 제 3 이미지 해상도와 연관될 수도 있다. 도 1 의 예에서, 제 1 스케일 공간 표현 (120) 은 라인 세그먼트 (111) 에 의해 이미지 센서 (104) 의 시야에서 표현되는 "높음", "풀", 및/또는 "완전" 해상도 이미지 평면 상으로 투영된 장면에 대응할 수도 있다. 제 2 스케일 공간 표현 (122) 은 라인 세그먼트 (113) 에 의해 표현되는 "중간" 해상도 이미지 평면 상으로 투영된 장면에 대응할 수도 있고, 제 3 스케일 공간 표현 (124) 은 라인 세그먼트 (115) 에 의해 표현되는 "낮은" 해상도 이미지 상으로 투영된 장면에 대응할 수도 있다. 따라서, 도 1 에 나타낸 바와 같이, 라인 세그먼트들 (111, 113, 및 115)(및 대응하는 개별 "높음", "중간", 및 "낮음" 해상도 이미지 평면들) 은 이미지 센서 (104) 로부터 상이한 거리들이다.

도 1 은 3 개의 스케일 공간 표현들을 도시하지만, 개시물은 상이한 수의 스케일 공간 표현들 (예를 들어, 2 개의 스케일 공간 표현들, 4 개의 스케일 공간 표현들, 또는 다른 수의 스케일 공간 표현들) 에 또한 적용가능하다는 것을 알아야 한다. 예시적인 예에서, 제 1 스케일 공간 표현 (120) 은 이미지 센서의 풀 또는 완전 해상도에서의 이미지 데이터 (114) 에 대응하고, 제 2 스케일 공간 표현 (122) 은 제 1 팩터 (예를 들어, 2) 에 의해 다운샘플링된 이미지 데이터 (114) 에 대응하며, 그리고 제 3 스케일 공간 표현 (124) 은 제 1 팩터 보다 더 큰 제 2 팩터 (예를 들어, 5) 에 의해 다운샘플링된 이미지 데이터 (114) 에 대응한다. 프로세서 (108) 는 필터링, 제거 (decimation), 서브샘플링, 보간, 및/또는 다른 이미지 프로세싱 기법들을 사용하여 하나 이상의 더 낮은 해상도 스케일 공간 표현들을 생성하기 위해 더 높은 해상도 스케일 공간 표현을 다운샘플링하도록 구성될 수도 있다. 예를 들어, 프로세서 (108) 는 제 1 스케일 공간 표현 (120) 을 다운샘플링하여 제 2 스케일 공간 표현 (122) 을 생성할 수도 있고, 제 2 스케일 공간 표현 (122) 을 다운샘플링하여 제 3 스케일 공간 표현 (124) 을 생성할 수도 있다. 또 다른 예시적인 구현에서, 차량 (102) 은 다중 이미지 센서들을 포함할 수도 있고, 여기서 각각의 이미지 센서는 장면의 상이한 해상도 이미지 또는 스케일 공간 표현을 생성한다.

오브젝트 검출기 (128) 는 스케일 공간 표현들 (120-124) 중 하나 이상 및 위치 데이터 (116) 에 응답적일 수도 있다. 예를 들어, 오브젝트 검출기 (128) 는 위치 데이터 (116) 에 기초하여 스케일 공간 표현을 선택할 수도 있고 선택된 스케일 공간 표현에 대한 오브젝트 검출을 수행하여 오브젝트 (112) 를 검출할 수도 있다. 예시를 위해, 오브젝트 검출기 (128) 는 오브젝트 (112) 가 위치되는 추정된 영역 (118) 을 결정하기 위해 위치 데이터 (116) 를 사용할 수도 있다. 추정된 영역 (118) 은 (예를 들어, 잡음, 센서 지연, 오브젝트 (112) 및/또는 차량 (102) 의 모션의 속도/방향 등에 기인하여) 위치 데이터 (116) 와 연관된 에러 마진을 고려하여 오브젝트 (112) 의 가능성 있는 위치(들) 에 대응할 수도 있다. 오브젝트 검출기 (128) 는 스케일 공간 표현들 (120-124) 에 대응하는 이미지 평면들 중 임의의 것이 추정된 영역 (118) 을 오버랩하거나 교차하는지 여부를 결정할 수도 있다. 도 1 의 예에서, 제 1 스케일 공간 표현 (120)(라인 세그먼트 (111) 에 대응) 및 제 3 스케일 공간 표현 (124)(라인 세그먼트 (115) 에 대응) 은 추정된 영역 (118) 을 오버랩하지 않는다. 오버랩의 결여를 검출하는 것에 응답하여, 오브젝트 검출기 (128) 는 (예를 들어 오브젝트 검출을 더 빨리 수행하기 위해 및/또는 산출적 리소스들을 절약하기 위해) 제 1 스케일 공간 표현 (120) 및 제 3 스케일 공간 표현 (124) 에 대한 오브젝트 검출을 수행하는 것을 스킵할 수도 있다.

도 1 의 예에서, 오브젝트 검출기 (128) 는 제 2 스케일 공간 표현 (122)(라인 세그먼트 (113) 에 대응) 이 추정된 영역 (118) 을 오버랩하는 것을 결정할 수도 있다. 예를 들어, 오브젝트 검출기 (128) 가 제 2 스케일 공간 표현 (122) 이 수신된 위치 데이터 (116) 및 제 2 스케일 공간 (122) 의 해상도 이미지 평면의 거리에 기초하여 추정된 영역 (118) 을 오버랩하는 것을 결정할 수도 있다. 이에 대응하여, 오브젝트 검출기 (128) 는 제 2 스케일 공간 표현 (122) 을 추가로 프로세싱할 수도 있다. 예를 들어, 오브젝트 검출기 (128) 는 제 2 스케일 공간 표현 (122) 내에서 탐색 영역을 식별할 수도 있고, 탐색 영역은 위치 데이터 (116) 와 연관된 영역 또는 위치들의 세트와 스케일 공간 표현 (122) 과 연관된 영역 또는 위치들의 세트 사이의 오버랩, 교차, 또는 수렴에 대응한다. 예시를 위해, 도 1 은 이미지 센서 (104) 가 시야 라인들 (117 및 119) 에 의해 경계지워지는 수평 시야를 갖는 상하도를 나타낸다. 따라서, 제 2 스케일 공간 표현 (122) 의 수평 경계들은 도 1 에서 포인트들 (L0 및 L1) 로 나타내고, 추정된 영역 (118) 과 제 2 스케일 공간 표현 (122) 사이의 오버랩은 포인트들 (C0 및 C1) 사이에서 라인 세그먼트로 표현된다 (대안으로, "라인 세그먼트 (C0C1)" 으로 나타낼 수도 있음). 오브젝트 검출기 (128) 는 오브젝트 (112) 의 위치를 "핀포인트(pinpoint)" 하기 위해, L0 와 L1 사이의 큰 영역에서 대신, C0 와 C1 사이의 탐색 영역에서 컴퓨터 비전 동작들 (예를 들어, 이미지 세그먼팅 동작들) 을 수행할 수도 있다. 예를 들어, 오브젝트 검출기 (128) 는 보행자 위치를 결정하거나 오브젝트 (112) 를 인식할 수도 있다 (예를 들어, 표지판 상의 텍스트를 인식). C0 와 C1 사이의 영역을 탐색하는 것은 C0 및 C1 을 넘어 확장하는 이미지의 부분들을 탐색하는 것을 포함할 수도 있다. 예를 들어, C0 및 C1 은 상이한 오브젝트 검출 탐색 윈도우들에 의해 사용되는 중심 포인트들을 정의할 수도 있다. 오브젝트 (112) 를 식별하기 위해 오브젝트 검출기 (128) 에 의해 사용될 탐색 윈도우가 W 의 폭을 갖는 경우, C0 와 C1 "사이의" 탐색 영역은 C0-0.5 W (탐색 윈도우가 CO 상의 중심에 있을 때) 내지 C1+0.5W (탐색 윈도우가 C1 상의 중심에 있을 때) 범위일 수도 있다. 탐색 영역은 유사하게 다른 치수들로 (예를 들어, 탐색 윈도우의 높이를 넘어 수직 치수로) 확장할 수도 있다. 탐색 윈도우는 오브젝트 모델, 바운딩 박스 등에 대응할 수도 있다. 따라서, 탐색 영역이 본 명세서에서는 라인 세그먼트 또는 포인트들의 세트에 관하여 기재될 수도 있지만, 탐색되는 이미지의 실제 영역은 라인 세그먼트 또는 포인트들의 세트를 넘어 확장할 수도 있다.

도 1 은 2 차원 (2D) 뷰를 도시하지만, 본 명세서에 기재된 오브젝트 검출 동작들은 3 차원 (3D) 시나리오들에 적용될 수 있다. 예시를 위해, 포인트들 (C0, C1, L0 및 L1) 은 모두 3D 공간에 있을 수도 있고 (x, y, z) 좌표를 가질 수도 있다. 도 1 에서, 오브젝트 검출 및 축소는 x-y 평면에서 x 축을 따라 수평으로 수행된다. 대안으로 또는 부가적으로 (예를 들어, 수평 동작들과 병렬로), 오브젝트 검출 및 축소는 적절한 수직 스케일 공간 표현을 선택하는 것에 의해, x-z 평면에서 z 축을 따라 수직으로 수행될 수도 있다. 수평 및 수직 스케일 공간들 양자 모두에서 동작들을 수행하는 것에 의해, 오브젝트 (112) 의 위치는 단지 하나의 방향만이 사용될 때보다 더 정확하게 결정될 수도 있다.

다른 예들에서, 오브젝트 검출기 (128) 는 다중 스케일 공간 표현들이 위치 데이터 (116) 와 연관된 추정된 영역 (118) 을 오버랩하는 것을 결정할 수도 있다. 예시를 위해, 도 1 에서는, 제 3 스케일 공간 표현 (124) 이 라인 세그먼트 (115) 대신 라인 세그먼트 (115') 에 대응하면, 오브젝트 검출기 (128) 는 제 2 스케일 공간 표현 (122) 및 제 3 스케일 공간 표현 (124) 양자 모두가 추정된 영역 (118) 을 오버랩하는 것을 결정하게 된다. 그러한 시나리오에서, 오브젝트 검출기 (128) 는 오버랩하는 스케일 공간 표현들 중 어느 것을 오브젝트 검출을 수행하기 위해 선택할 수도 있다. 예시를 위해, 더 작은 (예를 들어, 저 해상도) 스케일 공간 표현은, 일부 정황들에서, 예컨대 보행자가 매우 가깝고 스케일로 인해 매우 크게 보일 때) 오브젝트 검출을 위해 바람직할 수도 있다. 이러한 상황에서, 저 해상도 스케일 공간 표현이 고 해상도 스케일 공간 표현 대신 탐색될 수도 있다. 대안으로, 고 해상도 스케일 공간 표현이 탐색되었고 오브젝트가 발견되지 않았다면 (예를 들어, 보행자가 스케일로 인해 "너무 커졌기" 때문), 저 해상도 스케일 공간 표현이 또한 탐색될 수도 있다. 다른 예로서, 검출되고 있는 오브젝트가 상대적으로 작고 복잡한 형상을 가질 때, 더 큰 (예를 들어, 고 해상도) 스케일 공간 표현이 바람직할 수도 있다.

오브젝트 검출기 (128) 에 의해 수행되는 일 예의 프로세스가 도 2a, 도 2b, 도 2c 및 도 2d 를 참조하여 예시의 목적으로 기재된다. 프로세스는 이미지 센서 (104) 가 좌표 공간에서 포인트 (x0, y0) 와 같은 특정 위치를 할당하는 것을 포함할 수도 있다. 오브젝트 (112) 의 측정되거나 보고된 포지션은, 추정된 영역 (118) 의 중심에 있을 수도 있는 포지션 (x1, y1) 을 할당 받을 수도 있다. 설명을 용이하게 하기 위해 단지 x 및 y 좌표만이 기재되지만, 이미지 센서 (104) 및 추정된 영역 (118) 의 중심은 3D 공간에서, 좌표 (x0, y0, z0) 및 (x1, y1, z1) 를 각각 가질 수도 있다.

라인 세그먼트 (L0L1) 는 (예를 들어, 카메라 기하학적 구조, 해상도 및 탐색 영역 사이즈에 기초하여) 이미지 센서 (104) 로부터의 특정 거리 (d) 와 연관될 수도 있다. 이미지 센서 (104) 의 포지션 (x0, y0) 및 d 의 값에 기초하여, 라인 세그먼트 (L0L1) 는 포인트들 (x0, y0) 및 (x1, y1) 와 동일한 좌표계를 공유하는 위치에 매핑, 피팅, 또는 트랜스포즈될 수도 있다. 시야 라인들 (117, 119) 와 추정된 영역 (118) 사이의 교차의 포인트들 (즉, 포인트들 C0 및 C1) 이 결정될 수도 있다. 이미지 데이터에서 위치들 사이의 거리의 계산을 가능하게 하기 위해서, 이미지 데이터는 위치 데이터의 좌표계와 "퓨즈(fused)" 될 수도 있다. 일부 실시형태들에서, 이미지 데이터의 3D 세계 공간의 투영은 디바이스 (예를 들어, 차량, 모바일 디바이스 등) 의 알려진 위치, 시야, 및 이미지 센서 (104) 의 포즈에 기초하여 오프라인으로 수행될 수도 있다. 투영은 그 후 오브젝트 검출 동안 스캐닝될 포인트들을 식별하기 위해 위치 데이터와 퓨즈될 수도 있다.

이미지 센서 (104) 로부터의 거리 (d) 에서, 오브젝트 (112)(예를 들어, 보행자) 의 포지션은 C0 와 C1 사이가 될 것이라는 것을 알게 된다. 라인 세그먼트 (I0I1) 는 오브젝트 (112) 를 위한 탐색 영역에 대한 중심 포인트들을 나타낼 수도 있고, 라인 세그먼트 (L0L1) 및 라인 세그먼트 (COC1) 의 교차로서 정의된다. 도 2a 의 예에서, I0=C0 및 I1=C1, 그리고 이에 따라 세그먼트 라인 ( I0I1) 가 라인 세그먼트 (C0C1) 와 동일하다는 것을 유의한다. 하지만, 오브젝트에 대해 추정된 영역이 전부 이미지 센서의 시야 내에 위치되지 않을 때, IO 는 C0 와 동일하지 않을 수도 있고 및/또는 I1 은 C1 과 동일하지 않을 수도 있다. 예를 들어, 도 2c 에서 I0=L0 그리고 I1=C1.

오브젝트 검출기 (128) 는 맵 (IO 및 I1) 의 이미지 좌표로의 선형 매핑을 수행할 수도 있다. 도 2a 의 예에서, LO 는 (0 의 x 좌표, 즉 x==0 을 갖는) 이미지의 좌측 보더에 대응하고, L1 은 (이미지의 폭과 동일한 x 좌표, 즉 x==image_width 을 갖는) 이미지의 우측에 대응한다. 따라서, 매핑 함수 M 은 다음과 같이 정의될 수도 있다:

(식 1)

(식 2)

오브젝트를 위한 탐색 영역은 x==M(I0) 와 x==M(I1) 사이의 x 좌표를 갖는 이미지에서 위치들 (예를 들어, 탐색 윈도우들의 중심들) 에 한정될 수도 있다. 예시를 위해, 이미지 센서 (104) 의 수평 시야가 도 2a 에 나타낸 바와 같이, 54°이고, 이미지 센서 (104) 의 수직 시야가 도 2b 에 나타낸 바와 같이 34°인 것을 상정한다. 대안의 실시형태들에서 수평 및 수직 시야들은 더 크거나 더 작을 수도 있다는 것을 이해해야 한다. 또한, 라인 세그먼트 (L0L1) 는 1080p 해상도 (1920x1080 화소) 에 대응하는 것이 또한 상정되고, 평균 보행자의 높이는 높이에서 80 화소들인 탐색 영역에 대응하는, 6 피트 (약 2 미터) 이도록 상정된다. 추가로, 도 2b 에 나타낸 바와 같이, 탐색되고 있는 이미지 센서 (104) 로부터의 거리가 p 피트이고 이미지의 상부 절반은 그 거리에서 q 피트에 대응하는 것이 상정된다. 상기 상정들을 고려하여, 다음이 확립될 수 있다:

(식 3)

(식 4)

p 에 대해 식 3 및 4 를 풀면:

이미지 센서 (104) 가 (0,0) 이도록 상정되는 경우, 보행자의 보고된 위치 (즉, 오브젝트 (112) 에 대응하는 원의 중심) 은 (x1,y1) == (-5,120), 그리고 보고된 위치의 가능한 에러는 30 피트 이내이다 (즉, 추정된 영역 (118) 의 반경이 30):

(식 5)

L0 는 포인트

에 있다.

L1 은 포인트

에 있다.

L0, L1, C0, 및 C1 은 동일 선상이기 때문에, 4 개의 모든 포인트들은 동일한 y 좌표, 즉 현재 예에서 132 를 갖는다. y==132 를 (식 5) 에 치환한 결과 그 해는 (x+5)=27.5 및 (x+5)=-27.5. 따라서, C0 는 포인트 (-32.5,132) 에 위치되고 C1 은 포인트 (22.5, 132) 에 위치된다. 이전에 정의된 매핑 M 을 사용하면:

따라서, 오브젝트 (112) 에 대하여, 탐색 영역은 x==496 만큼 좌측으로 그리고 x==1281 만큼 우측으로 경계지워질 수도 있고, 이는 x==0 로부터 x==1920 까지 탐색하는 것과 비교하여 대략 60% 절약을 제공한다. 게다가, 상술한 예가 수평 방향에서의 계산 및 절약을 예시하지만, 산출 절약은 또한 위치 데이터 (116) 에 기초하여 수직 방향에서 탐색 영역을 유사하게 한정하는 것에 의해 달성될 수도 있다는 것을 이해해야 한다.

도 2c 및 도 2d 는 동작의 부가 예들을 도시한다. 도 2c 의 예에서, 오브젝트의 추정된 영역은 이미지 센서의 시야를 부분적으로 교차한다. 도 2d 의 예에서, 2 개의 오브젝트 검출 동작들이 수행된다: 제 1 오브젝트 검출 동작은 우측 상의 오브젝트를 검출하기 위해 제 1 스케일 공간 표현 (라인 세그먼트 (202) 에 대응) 에 대해 수행되고, 제 2 오브젝트 검출 동작은 좌측 상의 오브젝트를 검출하기 위해 제 2 스케일 공간 표현 (라인 세그먼트 (204) 에 대응) 에 대해 수행된다.

따라서, 도 1 및 도 2 는 검출된 오브젝트와 연관된 위치 데이터에 기초하여, 생성된 이미지 데이터 또는 스케일 공간 표현(들)에 대해 수행될, 오브젝트 검출 동작들을 개량 (refine) 하도록 구성되는 시스템의 실시형태들을 도시한다. 예를 들어, 위치 데이터는 오브젝트에 대한 탐색 영역을 전체 장면 보다 적게 좁히는데 사용될 수도 있으며, 이는 오브젝트가 더 빨기 검출되게 할 수도 있다. 예시를 위해, 차량이, 예를 들어 추운 날씨에 브레이크를 적용하는 것이 보행자로의 차량 스키딩 (skidding) 을 초래하게 되는 경우, 보행자로부터 멀리 차량의 방향을 수정하면서, 예컨대 차량의 속도를 감소시키는 것, 차량의 방향을 수정하는 것, 및/또는 차량의 속도를 높이는 것에 의해 보행자에 대해 반응하기에 충분히 빠르게 보행자가 검출될 수도 있다. 다른 예시적인 예로서, 오브젝트 검출은 차량의 속도를 변경하기 위해 및/또는 이동하거나 정지하고 있는 오브젝트와 충돌하는 것을 회피하기 위해 차량의 방향을 수정하기 위해 차량의 ADAS 에 대해 충분히 빠르게 수행될 수도 있다.

도 3 은 차량 (102) 의 대안의 실시형태를 도시한다. 도 3 은 위치 데이터 (116) 를 생성하는 위치 센서가 차량 (102) 외부에 있다는 점에서 도 1 과 상이하다. 예를 들어, 도 3 에서, 오브젝트 (112) 는 위치 센서 (306) 를 포함하거나 이와 연관된다. 일부 구현들에서, 위치 센서 (306) 는 보행자에 의해 착용되거나, 다른 차량에 부착 또는 커플링될 수도 있고, 또는 다른 차량 내에 통합될 수도 있다. 위에 논의된 바와 같이, 일부 구현들에서, 위치 센서 (306) 는 오브젝트 (112) 및 차량 (102) 으로부터 분리될 수도 있다. 예를 들어, 위치 센서 (306) 는 노변 유닛 (RSU) 에 고정되거나, 도로 표지판에 고정되거나, 또는 차량 (102) 로부터 분리되는 다른 차량과 연관되거나 고정될 수 있다. 일부 예들에서, 정지식 노변 센서는 RSU 및/또는 차량과 통신할 수도 있다. 따라서, 도 3 은 위치 센서 (306) 와 차량 (102) 사이의 직접 통신을 도시하지만, 대안으로 위치 센서 (306) 로부터의 데이터는 차량 (102) 에 도달하기 전에 하나 이상의 중간 디바이스들을 통해 송신될 수도 있다. 예시를 위해, 보행자에 의해 반송되는 위치 센서로부터의 데이터는 위치 센서로부터 RSU 으로 제 1 차량 (예를 들어, 보행자에 아주 근접함) 으로 제 2 차량 (예를 들어, 제 1 차량을 트레일링함) 까지 운행할 수도 있다.

차량 (102) 은 무선 네트워크 접속과 같은, 접속 (350) 을 통해 위치 데이터 (116) 를 수신하도록 구성된 수신기 (340) 를 포함할 수도 있다. 예시적인 예들에서, 위치 센서 (306) 및 수신기 (340) 는 셀룰러 접속, 광역 네트워크, IEEE (Institute of Electrical and Electronics Engineers) 802.11 접속, 애드-혹 (ad-hoc) 네트워크 접속, 전용 단거리 통신 (DSRC) 네트워크 접속, 또는 다른 타입의 접속을 통해 통신한다.

예시적인 예에서, 위치 센서 (306) 로부터 수신된 위치 데이터 (116) 은 위치 좌표, 예를 들어 GPS 좌표를 포함한다. 오브젝트 (112) 가 다른 차량 (예를 들어, 위치 센서 (306) 가 다른 차량에 커플링되거나 또는 다른 차량 내의 디바이스의 부분) 일 때, 위치 데이터 (116) 는 차량-대-차량 (V2V) 통신을 사용하여 다른 차량으로부터 (예를 들어, DRSC 네트워크를 통해) 수신될 수도 있다. 다른 예로서, 노변 유닛 (RSU) 은 차량에 트래픽 정보를 송신할 수도 있다. 예시를 위해, 오브젝트 (112) 는 차량의 운행의 필드 내에서 사고로 수반된 차량을 포함할 수도 있고, 위치 데이터 (116) 는 사고로 수반된 차량의 위치 좌표를 포함할 수도 있다. 이 경우, 수신기 (340) 는 차량-대-인프라구조 (V2I) 통신을 사용하여 RSU 로부터 위치 데이터 (116) 를 수신할 수도 있다. 다른 예들에서, 위치 데이터는 다중 소스들로부터 수신될 수 있음을 이해해야 한다. 예를 들어, 공통 오브젝트와 연관된 위치 데이터는 하나 보다 많은 차량, RSU 또는 위치 센서로부터 수신될 수 있다. 위치 데이터의 다중 소스들이 사용될 때, 소스들 (및/또는 그로부터의 데이터) 은 서로를 개량하기 위해 집성되고, 우선순위화되거나 사용될 수 수 있다. 예를 들어, 도 1 및 도 2 의 추정된 영역 (118) 은 다중 소스들에 의해 제공된 모든 위치 데이터를 포괄할 수도 있고, 가장 신뢰성있는 소스로부터의 위치 데이터에 대응할 수도 있고, 다중 소스들의 각각 (또는 서브세트) 으로부터 위치 데이터의 교차에 기초할 수도 있고, 또는 그렇지 않으면 다중 소스들의 일부 또는 전부로부터 위치 데이터에 기초하여 결정될 수도 있다.

상술한 실시형태들은 위치 데이터에 기초하여 이미지 데이터에서 오브젝트 검출을 개량하는 것을 기재하지만, 본 개시물은 그렇게 제한되는 것은 아님을 유의해야 한다. 본 개시물에 따라, 제 1 센서로부터의 데이터는 제 2 센서의 동작을 개량하는데 사용될 수도 있다. 한정이 아닌 예시적인 예로서, 이미지 센서의 특성 (예를 들어, 해상도, 캡처 주파수, 관심 영역, 시야 (이동가능한 카메라의 경우) 등) 은 위치 데이터에 기초하여 조정될 수도 있다. 다른 예로서, 이미지 데이터는, 예컨대 이미지 데이터에 기초하여 오브젝트의 "조악한" 위치를 결정하는 것에 의해, 위치 센서에 의한 위치 결정 속도를 높이는데 사용될 수도 있다. 따라서, 본 개시물은 상이한 타입의 센서들이 그 개별 동작들을 개량하기 위해 서로 통신하는 것을 가능하게 한다.

특정 실시형태에 있어서, 프로세서 (108) 는 3 차원 (3D) 맵 어플리케이션 (130) 으로부터 위치 데이터를 사용하여 오브젝트 검출 동작을 수행할 수도 있다. 예시를 위해, 3D 맵 어플리케이션 (130) 은 탐색되고 있는 "알려진" 오브젝트 클래스 (예를 들어, 보행자, 차량, 교통 표지판 등) 에 기초하여 탐색 영역을 좁히기 위해 오브젝트 검출기 (128) 에 의해 액세스될 수 있는 3D 맵의 부분 또는 영역을 표시하거나 제공할 수도 있다. 도 1 은 위치 센서 (106) 에 의해 결정되는 바와 같은 위치 데이터 (116) 를 도시하지만, 대안의 실시형태들에서, 위치 데이터 (116) 는 위치 센서 (106)(또는 도 3 의 위치 센서 (306) 과 같은 외부 위치 센서) 대신 또는 이에 부가하여 3D 맵 어플리케이션 (130) 에 기초하여 결정될 수도 있다. 따라서, 본 명세서에 기재된 오브젝트 검출 기법들은, 오브젝트 검출 동안 3D 맵 데이터가 사용되거나, 오브젝트 검출 동안 위치 센서가 사용되거나, 또는 오브젝트 검출 동안 3D 맵 데이터 및 위치 센서 양자 모두가 사용되는, 실시형태들과 협력하여 사용될 수도 있다.

도 4 는 오브젝트 검출기 (128) 가 3D 어플리케이션 (130) 으로부터 위치 데이터 (116) 를 수신하고 위치 센서로부터 임의의 부가 위치 데이터를 수신하지 않는 시스템의 일 예를 도시한다. 3D 맵 어플리케이션 (130) 에 의해 제공된 위치 데이터 (116) 는, 오브젝트 클래스가 이미지 데이터 (114) 내에 존재할 수도 있는 곳을 표시할 수도 있다. 예를 들어, 도 4 에 나타낸 시스템은, 차량이 보행자, 나무가지, 다른 차량 등에 대한 검출을, 3D 맵 어플리케이션 (130) 으로부터 수신된 위치 데이터 및 이들 오브젝트들이 이미지 데이터 (114) 에 존재할 수도 있는 곳을 표시하는 위치 데이터 (116) 에 기초하여 수행하는 것을 가능하게 할 수도 있다.

예를 들어, 오브젝트 검출기 (128) 가 장면의 스케일 공간 표현 내에서 보행자를 검출하도록 구성되는 경우, 3D 맵 어플리케이션 (130) 은 보행자가 가능한 존재할 수도 있는 (예를 들어, 도로 또는 지표면 위로 0 미터 내지 3 미터) 장면의 하나 이상의 영역들을 표시할 수도 있고, 오브젝트 검출기 (128) 는 별도의 위치 센서로부터 데이터를 수신하지 않으면서 표시된 영역(들) 의 탐색을 개시할 수도 있다. 다른 예에서, 3D 맵 어플리케이션 (130) 은 도로면에 대응하는 장면의 하나 이상의 영역들을 표시할 수도 있어서, 오브젝트 검출기 (128) 가 도로 상에 있는 오브젝트들을 충분히 검출할 수 있다. 일부 구현들에서, 오브젝트 클래스는 이미지 데이터 (114) 및/또는 위치 데이터 (116) 에 기초하여 프로세서 (108) 에 의해 결정될 수도 있다. 대안으로, 오브젝트 클래스는 오브젝트 (112) 에 의해 표시 (예를 들어, 도 3 을 참조하여 기재된 바와 같이 오브젝트 (112) 에 수신기에 송신) 될 수도 있다.

동작 동안, 3D 맵은 차량 (102) 에서 동적으로 생성되고, 차량 (102) 등에 다운로드되거나 프리다운로드될 수도 있다. 도로면의 위치를 결정하고 위치 데이터 (116) 를 수신한 후, 오브젝트 검출기 (128) 는 3D 맵에 기초하여 도로면에 탐색 영역을 포커싱할 수도 있다 (예를 들어, 비 도로면 영역들이 이미지 탐색 영역으로부터 배제될 수도 있음). 예시적인 예로서, 도 1 의 라인 세그먼트 (LOL1)(또는 도 1 의 라인 세그먼트 (COC1)) 의 일 부분이 비 도로면 영역에 대응하면, 오브젝트 검출기 (128) 는 탐색 영역으로부터 그 부분을 배제할 수도 있다. 비 도로면 영역들의 예들은 도로면 위 또는 아래의 영역들 및 도로면 좌측 또는 우측의 영역들을 포함한다. 하지만, 이미지 센서 (104) 가 차량 또는 다른 디바이스의 부분으로서 움직이고 있을 때, 관심 영역(들) 은 3D 맵에 대한 차량 또는 디바이스의 위치에 기초하여 프레임 전체를 통해 달라질 수도 있음을 이해해야 한다. 예를 들어, 지형학적 변화들이 발생 (예를 들어, 차량이 도로에서 인클라인 또는 디클라인에 접근) 할 때, 관심의 탐색 영역이 변화할 수도 있다. 3D 맵 어플리케이션 (130) 에 의해 제공된 위치 데이터 (116) 는 동적일 수도 있고 차량 또는 디바이스의 알려진 위치에 의존하여 변화할 수도 있다.

일부 구현들에서, 오브젝트 검출기 (128) 는 3D 맵 어플리케이션 (130) 에 의해 표시된 3D 맵에 기초하여 탐색 영역을 생성하도록 구성된다. 마스크 이미지는 3D 맵을 사용하여 (예를 들어, 저장 및 산출 부담 사이의 트레이드 오프에 기초하여) 오프라인 또는 온라인 중 어느 하나에서 생성될 수도 있다. 일 예의 프로세스가 또한 도 6 를 참조하여 기재된다.

도 5a 는 차량의 시야 내에 보행자가 위치되는 2 개의 시나리오들을 도시하며, 여기서 보행자는 차량에 이용가능한 3D 맵에 의해 표현된 지형 상에 위치된다. 제 1 시나리오에 있어서, 510 에서, 보행자가 차량에 근접하고, 그 결과, 차량은 소형 스케일 공간 표현을 사용하여 오브젝트 검출을 수행한다. 제 2 시나리오에 있어서, 520 에서, 보행자가 차량으로부터 멀리 있고, 그 결과, 차량은 대형 스케일 공간 표현을 사용하여 오브젝트 검출을 수행한다. 다중 스케일 공간 표현들이 오브젝트의 가능한 위치를 오버랩할 때 일부 스케일 공간 표현들은 프로세싱될 수도 있는 한편 다른 스케일 공간 표현들을 추가 프로세싱으로부터 배제된다. 한정이 아닌 예시적인 예로서, 소형 (예를 들어, 저 해상도) 스케일 공간 표현이 차량에 근접하는 보행자를 검출하는데 바람직할 수도 있는데, 이는 대형 스케일 공간 표현에서의 보행자의 높이 및/또는 폭은 보행자 오브젝트 클래스 또는 모델을 사용하여 검출하기에 너무 클 수도 있기 때문이다. 오브젝트 검출을 수행하기 전에, 탐색되고 있는 스케일 공간 표현은 3D 맵 어플리케이션에 의해 제공된 위치 데이터에 기초하여 마스킹될 수도 있다. 마스크의 예시적인 예가 도 5b 에 530 에서 나타나 있다. 마스크는 제로들 또는 논제로들 (예를 들어, "1" 또는 논제로 분수 값) 로 스케일 공간 표현의 상이한 영역들을 마킹하는 것에 의해 생성될 수도 있다. 논제로들로 마킹된 영역들이 탐색될 수도 있고 제로들로 마킹된 영역들은 오브젝트 검출 동안 무시될 수도 있다. 논제로 분수값들이 사용될 때, 더 높은 논제로 분수값들은 대응 영역에 오브젝트를 위치시키는 더 큰 확률을 표현할 수도 있다. 예를 들어, 도 5b 에 나타낸 바와 같이, "0.5" 로 마킹된 영역이 "0.3" 으로 마킹된 영역을 탐색하기 전에 탐색될 수도 있다.

특정 실시형태에서, 마스크의 영역들 (예를 들어, 도 5b 의 마스크에서 0.5 및 0.3) 에 대한 확률들은 훈련 샘플들의 세트에 기초하여 생성될 수도 있다. 훈련 샘플들의 세트는 보행자가 나타날 수 있는 장소(들)의 3D 포지션(들) 을 포함할 수도 있다. 훈련 샘플들의 세트는 또한 전문가에 의해 "위험한" 것으로 마킹되었던 포지션들을 포함할 수도 있다. 예를 들어, 그러한 "위험한" 포지션들은, 보행자들이 명료하지 않은 것, 운전자에게 알리기 어려운 것, 사고로 수반되는 것 등의 더 높은 가능성을 갖는 포지션일 수도 있다. 일부 예들에서, 훈련 샘플들의 세트의 3D 포지션들은 확률들과 연관될 수도 있다. 마스크 이미지를 생성하는 동안, 3D 포지션들은 이미지 평면 상으로 투영될 수도 있고, 마스크의 상이한 부분들은 이미지 평면의 하부에 놓인 화소들에 대응하는 3D 포지션들에 기초하여 상이한 확률들을 할당받을 수도 있다.

특정 실시형태에서, 확률적 모델 및 마스크가 3D 맵 데이터 대신 또는 이에 부가하여 센서 데이터에 대해 사용될 수 있다. 예를 들어, 도 1 및 도 2 의 추정된 영역 (118) 이 마스크에 대응할 수도 있으며, 여기서 상이한 서브 영역들은 제로와 1 사이에서 상이한 확률 값들을 갖는다. 확률 값들은, 한정이 아닌 예시적인 예들로서, 위치 센서 (예를 들어, 위치 센서 (106)) 로부터의 위치 데이터, 3D 맵 어플리케이션 (예를 들어, 3D 어플리케이션 (130)) 으로부터의 위치 데이터, 3D 맵 데이터, 에러의 센서 또는 어플리케이션 마진, 센서 교정, 및/또는 센서 감도에 기초할 수도 있다.

따라서, 프로세서 (108) 는 오브젝트의 오브젝트 클래스 및 3D 맵 데이터에 기초하여 탐색 영역 또는 영역들을 결정할 수도 있다. 오브젝트 검출기는 도 1 을 참조하여 기재된 바와 같이, 탐색 영역에서 오브젝트 검출을 수행할 수도 있다. 오브젝트 검출을 수행하기 위해 3D 맵 데이터를 사용할 때, 국부화 결과(들) 의 가능한 부정확도를 고려하여 투영이 수행될 수도 있음을 유의한다. 즉, 카메라 위치들의 범위가 국부화 부정확도에 기인하여 열거될 수도 있다. 특정 실시형태들에서, 마스크들/탐색 영역들은 오프라인으로 구성되고 카메라 (예를 들어, 이미지 센서 (104)) 로부터 수신된 실시간 (또는 거의 실시간) 스트림에서 (예를 들어, 마스크 오프된 영역들의 탐색을 스킵하기 위해) 사용될 수도 있다는 것을 또한 유의해야 한다. 게다가, 3D 맵을 동적을 구성하는 대신, 3D 조건들은 평면/표면 추정치로 근사화될 수도 있으며, 이는 대략 실시간 (또는 거의 실시간) 평면을 제공할 수도 있다. 예를 들어, 대부분의 도로들이 평면 표면들 상에 있는 영역들에서, 3D 맵은 투영된 마스크들을 추정하기 위해 일부 기울기 변동을 갖는 평면을 사용하는 것에 의해 추정될 수도 있다. 특정 실시형태에서, 상술한 방법은 또한 특정 영역에서 관심 오브젝트를 발견하는데 사용될 수 있다. 예를 들어, 오브젝트 검출기 (128) 는 차량 (102) 의 "현재" 운전 레인을 포함하거나 이에 근접하는 영역에서 보행자들 (또는 다른 오브젝트들) 을 발견할 수도 있지만 보도 영역들에서는 보행자들을 무시할 수도 있다. 다른 예로서, 오브젝트 검출기 (128) 는 추적 영역들이 마스크들에 기초하여 제한되지 않는 오브젝트 추적 프레임워크의 부분일 수도 있다.

도 1 내지 도 3 은 위치 센서로부터의 위치 데이터를 사용하여 오브젝트 검출을 수행하는 것을 기재하고, 도 4 는 위치 센서 대신 3D 맵 어플리케이션에 의해 제공된 위치 데이터를 사용하여 오브젝트 검출을 수행하는 것을 도시하지만, 상술한 실시형태들은 상호 배타적인 것이 아님을 유의해야 한다. 일부 예들에서, 3D 맵 데이터가 위치 센서로부터의 데이터와 함께 사용될 수 있고, 더 빠른 오브젝트 검출 및 스캔 영역(들)의 추가적인 감소를 가능하게 할 수도 있다.

도 6 을 참조하면, 3D 맵 데이터에 기초하여 관심 영역(들)을 식별하는 방법의 특정 실시형태가 나타나 있으며 일반적으로 600 으로 지정된다. 방법 (600) 은 블록 (602) 에서 3D 맵 데이터를 수신하는 것을 포함한다. 예를 들어, 3D 맵 어플리케이션 (130) 은, 예컨대 외부 데이터 소스, 로컬 저장 디바이스 등으로부터 3D 맵 데이터를 수신할 수도 있다. 방법 (600) 은 또한 블록 (604) 에서, 3D 맵의 위치가 관심 오브젝트를 포함할 개연성이 있는지 여부를 결정하는 것을 포함한다. 그렇다면, 방법 (600) 은 블록 (606) 에서 오브젝트 검출기에 제공될 위치 데이터로서 위치를 식별하는 것을 포함한다. 위치가 관심 오브젝트를 포함할 개연성이 없거나, 위치 데이터를 식별한 후에, 방법 (600) 은 블록 (608) 에서, 부가 위치들이 검사되어야 하는지 여부를 결정하는 것을 포함한다. 그렇다면, 방법 (600) 은 블록 (604) 로 복귀한다. 예시를 위해, 도 4 및 도 5 를 참조하면, 위치 데이터 (116) 는 510 에서 차량에 근접하는 보행자, 또는 520 에서 차량으로부터 멀리 있는 보행자와 같은, 보행자를 포함할 개연성이 있는 지형의 하나 이상의 영역들을 표시할 수도 있다.

블록 (610) 으로 계속하면, 방법 (600) 은 관심 오브젝트의 오브젝트 클래스에 기초하는 사이즈로 위치 데이터의 관심 오브젝트를 투영하는 것을 포함한다. 도 5a 의 예에서, 보행자는 차량에 의해 운행되고 있는 도로에 대응하는 식별된 위치 데이터에 투영될 수도 있다. 방법 (600) 은 블록 (612) 에서 투영된 관심 오브젝트를 오버랩하는 스케일 공간 표현을 결정하고, 블록 (614) 에서 논제로 값(들) 로 스케일 공간 표현의 오버랩 영역(들)을 마킹하는 것을 더 포함한다. 예시를 위해, 도 5a 에 있어서, 510 에서 차량에 더 근접하는 보행자에 대하여, 소형 스케일 공간 표현에서의 영역들은 논제로 값들로 마킹될 수도 있다. 도 5a 에 있어서 520 에서, 량으로부터 더 멀리 있는 보행자에 대하여, 대형 스케일 공간 표현에서의 영역들은 논제로 값들로 마킹될 수도 있다. 예시적인 예에서, 스케일 공간 표현은 도 5b 에 나타낸 바와 같이 530 에서 마킹될 수도 있다.

일 예에서, 3D 맵 데이터는 이미지 센서의 시야 또는 방향을 변경하는데 사용될 수도 있고, 및/또는 3D 맵 데이터는 다중 이미지 센서들에 의해 생성되는 이미지 데이터의 일부를 선택하는데 사용될 수도 있다. 다른 예로서, 차량이 좌측 또는 우측으로 턴할 때, 차량의 이미지 센서는, 이미지 센서가 차량에 "앞서" 이미지 데이터를 캡처하는 것을 계속하도록 좌측 또는 우측으로 자동으로 작동될 수도 있다. 다른 예로서, 차량의 이미지 센서는 보행자들, 다른 접근 차량들, 도로 위험들 등을 식별하기 위해 좌측 및 우측을 자동으로 "보기" 위해 작동될 수도 있다. 예시를 위해, 차량 주위의 360°스티치드 뷰 (stitched view) 가 생성될 수도 있고 차량의 운전자는 운전자가 이후 턴온할 수도 있는 거리를 가로지르는 보행자가 있는 경우 사전에 통지받을 수도 있다. 특정 실시형태에서, 운전자가 턴 바이 턴 (turn-by-turn) 네비게이션 방향들을 사용하고 있을 때 (예를 들어, 차량 및 차량 내의 모바일 디바이스의 네비게이션 어플리케이션에 의해 제공됨), 네비게이션 방향들은 탐색 영역들을 우선순위화하기 위해서, 예컨대 탐색 마스크들에 대한 확률 값들을 결정하기 위해서, 행해지게 될 레인 변화들, 차량에 의해 행해지게 될 턴들을 예상하는데 사용될 수도 있다.

방법 (600) 은 블록 (616) 에서, 관심 오브젝트를 식별하기 위해 감소하는 순서로 논제로 값들로 마킹된 스케일 공간 표현의 영역(들)을 탐색하는 것을 포함한다. 예를 들어, 도 5b 에 나타낸 마스크를 참조하면, 마킹된 영역 "0.5" 는 마킹된 영역 "0.3" 을 탐색하기 전에 탐색될 수도 있다. 방법 (600) 은 블록 (618) 에서 종료한다.

따라서, 도 6 의 방법 (600) 은 3D 맵 데이터에 기초하여 하나 이상의 스케일 공간 표현들에 대한 오브젝트 검출을 수행하는 일 예를 도시한다. 3D 맵 데이터는 위치 센서에 의해 제공된 위치 데이터 대신 또는 이에 부가하여 사용될 수도 있다.

도 7 을 참조하면, 오브젝트 검출의 예시적인 방법이 나타나 있으며 일반적으로 700 으로 지정된다. 방법 (700) 은 블록 (702) 에서, 오브젝트를 포함하는 장면의 이미지 데이터를 이미지 센서로부터 수신하는 것을 포함한다. 이미지 데이터는 장면의 다중 스케일 공간 표현들과 연관된다. 예를 들어, 프로세서 (108) 는 이미지 센서 (104) 로부터 이미지 데이터 (114) 를 수신할 수도 있고, 여기서 이미지 데이터 (114) 는 스케일 공간 표현들 (120-124) 과 연관된다 (예를 들어, 이 표현들을 생성하는데 사용될 수 있음).

방법 (700) 은 또한, 블록 (704) 에서, 오브젝트와 연관되거나 오브젝트가 존재할 수도 있는 영역을 표시하는 위치 데이터를 수신하는 것을 포함한다. 예를 들어, 프로세서 (108) 는 도 1 을 참조하여 기재된 바와 같이, 차량 (102) 에서 온-보드 위치 센서 (106) 로부터 위치 데이터 (116) 를 수신할 수도 있다. 다른 예로서, 프로세서 (108) 는 도 3 을 참조하여 기재된 바와 같이, 수신기 (340) 를 통해, 차량 (102) 외부에 있는, 위치 센서 (306) 로부터 위치 데이터 (116) 를 수신할 수도 있다. 다른 예에서, 오브젝트 검출기 (128) 는 도 4 를 참조하여 기재된 바와 같이, 3D 맵 어플리케이션 (130) 으로부터 위치 데이터 (116) 를 수신할 수도 있으며, 위치 데이터는 오브젝트가 존재할 수도 있는 영역 (예를 들어, 도로 상, 레인에서 등) 을 표시한다. 또 다른 예에서, 위치 데이터는 다중 소스들, 예컨대 다중 위치 센서, 위치 센서 및 3D 맵 어플리케이션 등으로부터 수신될 수도 있다.

방법 (700) 은 블록 (706) 에서, 제 1 스케일 공간 표현이 위치 데이터를 오버랩하는지 여부를 결정하는 것을 포함한다. 제 1 스케일 공간 표현이 위치 데이터를 오버랩할 때, 블록 (710) 에서 1 스케일 공간 표현에서의 탐색 영역이 식별된다. 블록 (712) 에 앞서, 탐색 영역에서 오브젝트 검출이 수행된다. 예시를 위해, 도 1 의 예에서, 오브젝트 검출기 (128) 는 스케일 공간 표현 (122) 이 위치 데이터 (116) 에 대응하는 추정된 영역 (118) 을 오버랩하는 것을 결정할 수도 있다. 이에 대응하여, 오브젝트 검출기 (128) 는 식 1 내지 식 5 를 참조하여 기재된 바와 같이, 스케일 공간 표현 (122) 의 탐색 영역을 결정할 수도 있고, 탐색 영역에서 오브젝트 검출을 수행할 수도 있다.

대안으로, 제 1 스케일 공간 표현이 위치 데이터를 오버랩하지 않을 때, 방법 (700) 은 블록 (708) 에서 스케일 공간 표현에 대한 오브젝트 검출의 수행을 회피하는 것을 포함한다. 예시를 위해, 도 1 의 예에서, 오브젝트 검출은 추정된 지역 (118) 과 스케일 공간 표현들 (120 및 124) 사이의 오버랩의 결여로 인해 스케일 공간 표현들 (120 및 124) 에 대한 오브젝트 검출을 수행하는 것을 회피할 수도 있다. 블록 (714) 로 계속하면, 방법 (700) 은 부가 스케일 공간 표현들이 검사될지 여부를 결정하는 것을 포함한다 (예를 들어, 다중 스케일 공간 표현들이 위치 데이터를 오버랩할 때). 그렇다면, 방법 (700) 은 블록 (706) 으로 복귀한다. 그렇지 않거나, 오브젝트 검출이 블록 (712) 에서 수행된 후, 방법 (700) 은 블록 (716) 에서 부가 오브젝트들이 검출될지 여부를 결정하는 것을 포함한다. 그렇다면, 방법 (700) 은 블록 (704) 로 복귀하여 부가 오브젝트들에 대한 위치 데이터를 프로세싱한다. 그렇지 않으면, 방법 (700) 은 블록 (718) 에서 종료한다.

위치 데이터를 오버랩하기 위해 다중 스케일 공간 표현들이 발견될 때, 오브젝트 검출은 하나, 일부에 대해 또는 모든 오버랩하는 스케일 공간 표현들에 걸쳐 수행될 수도 있다 (예를 들어, 관심 오브젝트가 검출될 때까지). 예를 들어, 도 5a 를 참조하여 기재된 바와 같이, 최저 해상도 스케일 공간 표현은 차량에 근접하는 보행자를 검출하기 위해 먼저 검사될 수도 있다.

방법들 (600 및/또는 700) 의 하나 이상의 동작들은 프로세싱 유닛과 같은 하드웨어 디바이스에 의해 개시되고, 제어되거나 수행될 수도 있다. 예를 들어, 특정 구현에 의존하여, 프로세싱 유닛은 필드 프로그램 가능 게이트 어레이 (FPGA) 디바이스, 주문형 집적 회로 (ASIC), 프로세싱 유닛, 예컨대 중앙 프로세싱 유닛 (CPU), 디지털 신호 프로세서 (DSP), 제어기, 다른 하드웨어 디바이스, 펌웨어 디바이스 또는 그 조합을 포함할 수도 있다.

도 8 을 참조하면, 전자 디바이스의 특정 예시적인 실시형태의 블록 다이어그램이 도시되며 일반적으로 800 으로 지정된다. 특정 실시형태에서, 전자 디바이스 (800) 또는 그 컴포넌트들은 (예를 들어, 모바일 폰, 테블릿 컴퓨터, 스마트 워치 등의 부분으로서) 보행자에 의해 착용되거나 반송될 수도 있다. 다른 특정 실시형태에서, 전자 디바이스 (800) 또는 그 컴포넌트들은 차량에 부착/커플링될 수도 있고 차량에 포함될 수도 있다. 다른 특정 실시형태에서, 전자 디바이스 (800) 또는 그 컴포넌트는 노변 유닛 (RSU), 거리 표지판, 교통 신호등 또는 다른 가변 오브젝트 또는 디바이스에 부착/커플링되거나 이에 포함될 수도 있다. 추가 실시형태들에서, 전자 디바이스 (800) 는 컴퓨터 (예를 들어, 랩탑 컴퓨터, 테블릿 컴퓨터, 또는 데스크탑 컴퓨터), 셋톱 박스, 엔터테인먼트 유닛, 네비게이션 디바이스, 개인용 디지털 보조기 (PDA), 텔레비전, 튜너, 라디오 (예를 들어, 위성 라디오), 뮤직 플레이어 (예를 들어, 디지털 뮤직 플레이어 및/또는 포터블 뮤직 플레이어), 비디오 플레이어 (예를 들어, 디지털 비디오 디스크 (DVD) 플레이어 및/또는 포터블 디지털 비디오 플레이어와 같은, 디지털 비디오 플레이어), 다른 전자 디바이스 또는 그 조합에 대응할 수도 있다.

전자 디바이스 (800) 는 예시적인 예들로서, 메모리 (832) 및 프로세서 (810), 예컨대 디지털 신호 프로세서 (DSP), 중앙 프로세싱 유닛 (CPU), 및/또는 그래픽스 프로세싱 유닛 (GPU) 을 포함한다. 프로세서 (810) 는 명령들 (868) 을 실행할 수도 있다. 예시적인 예에서, 명령들 (868) 은 도 6 의 방법 (600) 및/또는 도 7 의 방법 (700) 을 포함하지만 이에 제한되지 않는, 본 명세서에 기재된 하나 이상의 기능들 또는 방법들을 수행하기 위해 프로세서 (810) 에 의해 실행가능하다. 프로세서 (810) 는 또한 오브젝트 검출기 (869)(예를 들어, 도 1, 도 3 및 도 4 의 오브젝트 검출기) 및 3D 맵 어플리케이션 (870)(예를 들어, 도 1 및 도 4 의 3D 맵 어플리케이션 (130)) 에 대응하는 하드웨어를 포함하고, 및/또는 이에 대응하는 소프트웨어를 실행할 수도 있다.

도 8 은 또한, 프로세서 (810) 에 그리고 디스플레이 (828) 에 커플링되는 디스플레이 제어기 (826) 를 나타낸다. 아날로그 오디오 프로세싱 프론트 엔드와 같은 코더/디코더 (코덱; CODEC)(834) 가 또한 프로세서 (810) 에 커플링될 수 있다. 스피커 (836) 및 마이크로폰 (838) 이 코덱 (834) 에 커플링될 수 있다. 도 8 은 또한, 무선 인터페이스 (840), 예컨대 무선 제어기 및/또는 트랜시버가 프로세서 (810) 및 안테나 (842) 에 커플링될 수 있는 것을 나타낸다. 특정 실시형태들에서, 전자 디바이스 (800) 는 다중 무선 인터페이스들 및 안테나들을 포함할 수도 있다. 각각의 무선 인터페이스 및/또는 안테나는 상이한 통신 기술 또는 네트워크 (예를 들어, 셀룰러, IEEE 802.11, DSRC 등) 에 대응할 수도 있다.

특정 실시형태에서, 프로세서 (810) 는 이미지 센서 (880)(예를 들어, 도 1, 도 3 및 도 4 의 이미지 센서 (104)) 에 추가로 커플링된다. 프로세서 (810) 는 또한 위치 센서 (890)(예를 들어, 도 1 의 위치 센서 (106)) 에 커플링될 수도 있다. 대안으로, 프로세서 (810) 는 수신기, 예컨대 무선 인터페이스 (840) 및/또는 안테나 (842) 를 통해 외부 위치 센서로부터 위치 데이터를 수신할 수도 있고, 및/또는 프로세서 (810) 는 3D 맵 어플리케이션 (870) 으로부터 위치 데이터를 수신할 수도 있다.

특정 실시형태에서, 프로세서 (810), 디스플레이 제어기 (826), 코덱 (834), 무선 인터페이스 (840), 이미지 센서 (880), 및 위치 센서 (890)(존재할 때) 는 시스템 인 패키지 또는 시스템 온 칩 디바이스 (822) 에 포함된다. 추가로, 입력 디바이스 (830) 및 전원 (844) 이 시스템 온 칩 디바이스 (822) 에 커플링될 수도 있다. 게다가, 특정 실시형태에서, 도 8 에 도시된 바와 같이, 디스플레이 (828), 입력 디바이스 (830), 스피커 (836), 마이크로폰 (838), 안테나 (842), 및 전원 (844) 은 시스템 온 칩 디바이스 (822) 외부에 있다. 하지만, 디스플레이 (828), 입력 디바이스 (830), 스피커 (836), 마이크로폰 (838), 안테나 (842), 및 전원 (844) 은 시스템 온 칩 디바이스 (822) 의 컴포넌트에, 예컨대 인터페이스 또는 제어기에 커플링될 수 있다.

기재된 실시형태들과 관련하여, 장치는 장치로부터 보여지고 오브젝트를 포함하는 장면의 이미지 데이터를 수신하는 수단을 포함하고, 이미지 데이터는 장면의 다중 스케일 공간 표현들과 연관된다. 예를 들어, 수신하는 수단은 이미지 센서 (104), 이미지 센서 (880), 이미지 센서에 커플링된 프로세서 또는 제어기 (예를 들어, 프로세서 (108) 또는 프로세서 (810)), 이미지 데이터를 수신하도록 구성된 다른 디바이스, 또는 그 임의의 조합을 포함할 수도 있다. 장치는 또한 프로세싱하는 수단을 포함한다. 프로세싱하는 수단은, 오브젝트와 연관되거나 오브젝트가 존재할 수도 있는 영역을 표시하는 위치 데이터와 제 1 스케일 공간 표현 사이의 오버랩에 기초하여 다중 스케일 공간 표현들의 제 1 스케일 공간 표현의 탐색 영역을 식별하도록 구성된다. 프로세싱하는 수단은 또한 제 1 스케일 공간 표현의 탐색 영역에서 오브젝트 검출을 수행하도록 구성된다. 예를 들어, 프로세싱하는 수단은 프로세서 (108), 오브젝트 검출기 (128), 프로세서 (810), 오브젝트 검출기 (869), 3D 맵 어플리케이션 (130), 3D 맵 어플리케이션 (870), 데이터를 프로세싱하도록 구성된 다른 디바이스, 또는 그 임의의 조합을 포함할 수도 있다. 특정 실시형태에서, 장치는 위치 데이터를 생성하는 수단을 포함한다. 예를 들어, 위치 데이터를 생성하는 수단은 위치 센서 (106), 위치 센서 (306), 위치 센서 (890), 3D 맵 어플리케이션, 위치 데이터를 생성하도록 구성된 다른 디바이스, 또는 그 임의의 조합을 포함할 수도 있다. 특정 실시형태에서, 장치는 외부 위치 센서로부터 위치 데이터를 수신하는 수단을 포함한다. 예를 들어, 수신하는 수단은 수신기 (340), 무선 인터페이스 (840), 안테나 (842), 외부 센서로부터 데이터를 수신하도록 구성된 다른 디바이스, 또는 그 임의의 조합을 포함할 수도 있다.

상술한 개시된 디바이스들 및 기능들은 컴퓨터 파일들 (예를 들어, RTL, GDSII, GERBER 등) 을 사용하여 설계되고 표현될 수도 있다. 컴퓨터 파일들은 컴퓨터 판독가능 매체 상에 저장될 수도 있다. 그러한 파일들의 일부 또는 전부는 그러한 파일들에 기초하여 디바이스들을 제조하는 제조 핸들러들에게 제공될 수도 있다. 결과의 제품들은 그 후 다이로 절단되고 집적 회로들 (또는 "칩들") 로 패키징되는 웨이퍼들을 포함한다. 칩들은 그 후 예컨대 차량 (102) 의 컴포넌트, 전자 디바이스 (800) 등과 같은 전자 디바이스들에 채용된다.

도 1 내지 도 8 의 하나 이상의 개시물의 기법들에 따른 시스템들, 장치들, 및/또는 방법을 도시할 수도 있지만, 개시물은 이러한 도시된 시스템들, 장치들, 및/또는 방법들에 제한되지 않는다. 본 명세서에 도시되거나 기재된 도 1 내지 도 8 중 어느 것의 하나 이상의 기능들 또는 컴포넌트들은 도 1 내지 도 8 의 다른 것의 하나 이상의 다른 부분들과 결합될 수도 있다. 따라서, 단 하나의 예도 제한하는 것으로 해석되지 않아야 하고 개시물의 실시형태들은 개시물의 기법들로부터 벗어나지 않으면서 적절히 결합될 수도 있다.

당업자는 본 명세서에 개시된 실시형태들과 관련하여 기재되는 다양한 예시적인 논리 블록들, 구성들, 모듈들, 회로들 및 알고리즘 단계들은 전자 하드웨어, 프로세서에 의해 구현되는 소프트웨어, 또는 그 양자의 조합들로서 구현될 수도 있음을 또한 이해하게 된다. 다양한 예시적인 컴포넌트들, 블록들, 구성들, 모듈들, 회로들 및 단계들은 그 기능에 관하여 일반적으로 상술되었다. 그러한 기능이 하드웨어로서 또는 프로세서 실행가능 명령들로서 구현되는지 여부는 전체 시스템에 부과된 설계 제약들 및 특정 어플리케이션에 의존한다. 당업자는 각각의 특정 어플리케이션에 대해 가변 방식들로 기재된 기능을 구현할 수도 있지만, 그러한 구현 결정들은 본 개시물의 범위로부터 벗어나는 것을 야기하는 것으로 해석되지 않아야 한다.

본 명세서에 개시된 실시형태들과 관련하여 기재된 방법 또는 알고리즘의 단계들은 직접 하드웨어에서, 프로세서에 의해 실행되는 소프트웨어 모듈에서, 또는 2 개의 조합에서 구현될 수도 있다. 소프트웨어 모듈은, 랜덤 액세스 메모리 (RAM), 플래시 메모리, 리드 온니 메모리 (ROM), 프로그램가능 리드 온니 메모리 (PROM), 소거가능 프로그램가능 리드 온니 메모리 (EPROM), 전기적 소거가능 프로그램가능 리드 온니 메모리 (EEPROM), 레지스터들, 하드 디스크, 탈착가능 디스크, 컴팩 디스크 리드 온니 메모리 (CD-ROM), 또는 종래에 알려진 임의의 다른 형태의 비일시적 컴퓨터 판독가능 또는 프로세서 판독가능 저장 매체 또는 저장 디바이스에 상주할 수도 있다. 예시적인 저장 매체 또는 디바이스는 프로세서가 저장 매체로부터 정보를 판독하고, 저장 매체에 정보를 기입할 수 있도록 프로세서에 커플링된다. 대안으로, 저장 매체 또는 디바이스는 프로세서에 통합될 수도 있다. 프로세서 및 저장 매체 또는 디바이스는 주문형 집적 회로 (ASIC) 에 상주할 수도 있다. ASIC 은 컴퓨팅 디바이스 또는 사용자 단말기에 상주할 수도 있다. 대안으로, 프로세서 및 저장 매체 또는 디바이스는 컴퓨팅 디바이스 또는 사용자 단말기에서 이산 컴포넌트들로서 상주할 수도 있다. 컴퓨터 판독가능 또는 프로세서 판독가능 저장 매체 또는 저장 디바이스는 신호가 아니다.

개시된 실시형태들의 이전 기재는 당업자가 개시된 실시형태들을 행하거나 사용하는 것을 가능하게 하기 위해 제공된다. 이러한 실시형태들의 다양한 수정들이 당업자에게 쉽게 자명할 것이고, 본 명세서에 정의된 원리들은 개시물의 범위로부터 벗어나지 않으면서 다른 실시형태들에 적용될 수도 있다. 따라서, 본 개시물은 본 명세서에 나타낸 실시형태들에 제한되는 것으로 의도되는 것이 아니라 다음의 청구항들에 의해 정의된 바와 같은 신규 피처들 및 원리들과 일치하는 가능한 최광의 범위에 부합되도록 의도된다.

Claims (30)

1. 장치로서,
   위치 데이터, 및 이미지 센서로부터의 장면의 이미지 데이터를 수신하도록 구성된 오브젝트 검출기를 포함하고,
   상기 장면은 상기 장치로부터 보여지고 오브젝트를 포함하고,
   상기 이미지 데이터는 상기 장면의 다중 스케일 공간 표현들과 연관되며,
   상기 오브젝트 검출기는 또한, 상기 위치 데이터 및 상기 다중 스케일 공간 표현들의 제 1 스케일 공간 표현에 응답하여 상기 오브젝트를 검출하도록 구성되는, 장치.
2. 제 1 항에 있어서,
   상기 오브젝트 검출기는 상기 위치 데이터에 기초하여 상기 제 1 스케일 공간 표현의 탐색 영역을 식별하도록 구성되고, 상기 탐색 영역은 전체 장면보다 작은, 장치.
3. 제 2 항에 있어서,
   상기 탐색 영역은 상기 제 1 스케일 공간 표현과 연관된 제 1 영역 및 상기 위치 데이터와 연관된 제 2 영역의 오버랩에 대응하는, 장치.
4. 제 3 항에 있어서,
   상기 오브젝트 검출기는 또한 상기 탐색 영역의 마스크를 생성하도록 구성되고, 상기 마스크는 복수의 지역들을 포함하며, 상기 복수의 지역들은 각각 상기 지역에서 상기 오브젝트를 검출하는 확률을 표시하는 할당된 값을 갖는, 장치.
5. 제 1 항에 있어서,
   상기 오브젝트 검출기는 상기 제 1 스케일 공간 표현과 연관된 제 1 영역이 상기 위치 데이터와 연관된 제 2 영역을 오버랩하지 않는다고 결정하는 것에 응답하여 상기 다중 스케일 공간 표현들의 제 2 스케일 공간 표현을 선택하도록 구성되는, 장치.
6. 제 5 항에 있어서,
   상기 오브젝트 검출기는 또한, 상기 위치 데이터에 기초하여 상기 제 2 스케일 공간 표현의 탐색 영역을 식별하도록 구성되는, 장치.
7. 제 6 항에 있어서,
   상기 탐색 영역은 상기 위치 데이터와 연관된 상기 제 2 영역 및 상기 제 2 스케일 공간 표현과 연관된 제 3 영역의 오버랩에 대응하는, 장치.
8. 제 1 항에 있어서,
   상기 위치 데이터는 상기 오브젝트와 연관되고 위치 센서로부터 수신되는, 장치.
9. 제 8 항에 있어서,
   상기 위치 센서는 레이더 디바이스, 광 검출 및 레인징 (lidar) 디바이스, 글로벌 포지셔닝 시스템 (GPS) 디바이스, 초음파 디바이스, 전용 단거리 통신 디바이스, 또는 그 임의의 조합을 포함하는, 장치.
10. 제 8 항에 있어서,
    상기 위치 센서는 상기 장치로부터 분리되는, 장치.
11. 제 1 항에 있어서,
    상기 위치 데이터는 상기 오브젝트가 존재할 수도 있는 곳을 표시하는 3 차원 (3D) 맵의 하나 이상의 영역들에 대응하는, 장치.
12. 제 11 항에 있어서,
    상기 위치 데이터는 또한 위치 센서에 의해 제공된 상기 오브젝트의 위치와 연관되는, 장치.
13. 제 1 항에 있어서,
    상기 이미지 센서 및 상기 오브젝트 검출기는 상기 장치에 동작가능하게 커플링되는, 장치.
14. 오브젝트를 검출하는 방법으로서,
    프로세서에서, 이미지 센서로부터, 장치로부터 보여지고 오브젝트를 포함하는 장면의 이미지 데이터를 수신하는 단계로서, 상기 이미지 데이터는 상기 장면의 다중 스케일 공간 표현들과 연관되는, 상기 장면의 이미지 데이터를 수신하는 단계;
    상기 프로세서에서, 상기 오브젝트와 연관되거나 상기 오브젝트가 존재할 수도 있는 영역을 표시하는 위치 데이터를 수신하는 단계;
    상기 프로세서에서, 제 1 스케일 공간 표현 및 상기 위치 데이터의 오버랩에 기초하여 상기 다중 스케일 공간 표현들의 제 1 스케일 공간 표현의 탐색 영역을 식별하는 단계; 및
    상기 프로세서에서, 상기 제 1 스케일 공간 표현의 상기 탐색 영역에서 오브젝트 검출을 수행하는 단계를 포함하는, 오브젝트를 검출하는 방법.
15. 제 14 항에 있어서,
    상기 탐색 영역은 상기 제 1 스케일 공간 표현과 연관된 제 1 영역 및 상기 위치 데이터와 연관된 제 2 영역의 오버랩에 대응하는, 오브젝트를 검출하는 방법.
16. 제 14 항에 있어서,
    상기 다중 스케일 공간 표현들의 제 2 스케일 공간 표현이 상기 위치 데이터를 오버랩하는지 여부를 결정하는 단계를 더 포함하는, 오브젝트를 검출하는 방법.
17. 제 16 항에 있어서,
    상기 제 2 스케일 공간 표현이 상기 위치 데이터를 오버랩하지 않는다고 결정하는 것에 응답하여 상기 제 2 스케일 공간 표현에 대한 오브젝트 검출의 수행을 회피하는 단계를 더 포함하는, 오브젝트를 검출하는 방법.
18. 제 16 항에 있어서,
    상기 제 2 스케일 공간 표현이 상기 위치 데이터를 오버랩한다고 결정하는 것에 응답하여 상기 제 2 스케일 공간 표현에 대한 오브젝트 검출을 수행하는 단계를 더 포함하고,
    상기 제 2 스케일 공간 표현은 상기 제 1 스케일 공간 표현보다 더 낮은 해상도 표현인, 오브젝트를 검출하는 방법.
19. 제 14 항에 있어서,
    상기 위치 데이터는 상기 오브젝트와 연관되고 위치 센서로부터 수신되는, 오브젝트를 검출하는 방법.
20. 제 19 항에 있어서,
    상기 위치 센서는 레이더 디바이스, 광 검출 및 레인징 (lidar) 디바이스, 글로벌 포지셔닝 시스템 (GPS) 디바이스, 초음파 디바이스, 전용 단거리 통신 디바이스, 또는 그 임의의 조합을 포함하는, 오브젝트를 검출하는 방법.
21. 제 19 항에 있어서,
    상기 이미지 센서, 상기 위치 센서, 및 상기 프로세서는 상기 장치에 동작가능하게 커플링되는, 오브젝트를 검출하는 방법.
22. 제 14 항에 있어서,
    상기 탐색 영역의 마스크를 생성하는 단계를 더 포함하고,
    상기 마스크는 복수의 지역들을 포함하고, 상기 복수의 지역들은 각각 상기 지역에서 상기 오브젝트를 검출하는 확률을 표시하는 할당된 값을 갖는, 오브젝트를 검출하는 방법.
23. 제 22 항에 있어서,
    상기 탐색 영역에서 오브젝트 검출을 수행하는 단계는 각각의 영역의 상기 할당된 값에 적어도 부분적으로 기초하는, 오브젝트를 검출하는 방법.
24. 제 14 항에 있어서,
    상기 위치 데이터는 상기 오브젝트가 존재할 수도 있는 곳을 표시하는 3 차원 (3D) 맵의 하나 이상의 영역들에 대응하는, 오브젝트를 검출하는 방법.
25. 제 24 항에 있어서,
    상기 위치 데이터는 또한 위치 센서에 의해 제공된 상기 오브젝트의 위치와 연관되는, 오브젝트를 검출하는 방법.
26. 장치로서,
    상기 장치로부터 보여지고 오브젝트를 포함하는 장면의 이미지 데이터를 수신하는 수단으로서, 상기 이미지 데이터는 상기 장면의 다중 스케일 공간 표현들과 연관되는, 상기 장면의 이미지 데이터를 수신하는 수단; 및
    프로세싱하는 수단을 포함하고,
    상기 프로세싱하는 수단은,
    상기 오브젝트와 연관되거나 상기 오브젝트가 존재할 수도 있는 영역을 표시하는 위치 데이터와 상기 다중 스케일 공간 표현들의 제 1 스케일 공간 표현 사이의 오버랩에 기초하여 상기 제 1 스케일 공간 표현의 탐색 영역을 식별하고, 그리고
    상기 제 1 스케일 공간 표현의 상기 탐색 영역에서 오브젝트 검출을 수행하도록 구성되는, 장치.
27. 제 26 항에 있어서,
    상기 위치 데이터를 생성하는 수단을 더 포함하는, 장치.
28. 제 26 항에 있어서,
    외부 위치 센서로부터 상기 위치 데이터를 수신하는 수단을 더 포함하는, 장치.
29. 오브젝트를 검출하기 위한 명령들을 저장하는 컴퓨터 판독가능 저장 디바이스로서,
    상기 명령들은, 프로세서로 하여금,
    이미지 센서로부터, 장치로부터 보여지고 오브젝트를 포함하는 장면의 이미지 데이터를 수신하게 하는 것으로서, 상기 이미지 데이터는 상기 장면의 다중 스케일 공간 표현들과 연관되는, 상기 장면의 이미지 데이터를 수신하게 하고;
    상기 오브젝트와 연관되거나 상기 오브젝트가 존재할 수도 있는 영역을 표시하는 위치 데이터를 수신하게 하고;
    상기 다중 스케일 공간 표현들의 제 1 스케일 공간 표현과 상기 위치 데이터 사이의 오버랩에 기초하여 상기 제 1 스케일 공간 표현의 탐색 영역을 식별하게 하며; 그리고
    상기 제 1 스케일 공간 표현의 상기 탐색 영역에서 오브젝트 검출을 수행하게 하도록
    상기 프로세서에 의해 실행가능한, 컴퓨터 판독가능 저장 디바이스.
30. 제 29 항에 있어서,
    상기 명령들은 또한, 상기 프로세서로 하여금,
    상기 다중 스케일 공간 표현들의 제 2 스케일 공간 표현이 상기 위치 데이터를 오버랩하는지 여부를 결정하게 하고; 그리고
    상기 제 2 스케일 공간 표현이 상기 위치 데이터를 오버랩하는지 여부에 기초하여 상기 제 2 스케일 공간 표현에 대한 오브젝트 검출을 선택적으로 수행하거나 또는 수행하는 것을 회피하게 하도록
    상기 프로세서에 의해 의해 실행가능한, 컴퓨터 판독가능 저장 디바이스.

Images