KR102493862B1 - 어려운 운전 조건하에서 랜드 마크를 이용한 내비게이션 명령 강화 - Google Patents

Abstract

본 기술은 운전자가 사용할 수 있도록 강화된 운전 방향을 트리거하는데 사용되는 차량 주변의 외부 환경과 관련된 요인과 관련이 있다. 요인에는 불리한 기상 조건, 저조도 조건 및 일시적인 장애물 또는 일련의 초기 운전 방향의 일부인 도로 표지판 또는 다른 랜드 마크를 볼 수 있는 운전자의 능력을 방해하거나 감소시킬 수 있는 다른 장애물과 같은 이슈가 포함될 수 있다. 하나 이상의 관련 요인이 결정되면 시스템은 실시간으로 방향을 수정하거나 개선할 수 있다. 이를 통해 운전자는 다른 가시적 랜드 마크를 빠르고 쉽게 식별하고 이러한 정보를 사용하여 원하는 목적지로 내비게이션할 수 있다. 이 접근 방식은 차량 프런트 엔드의 시야 내에서와 같이 차량에 인접하거나 차량 근처의 환경에서 객체 및 조건을 검출하도록 구성된 하나 이상의 온보드 카메라를 사용한다.

Description

어려운 운전 조건하에서 랜드 마크를 이용한 내비게이션 명령 강화

본 출원은 "어려운 운전 조건하에서 랜드 마크를 이용한 내비게이션 명령 강화"라는 제목으로 2018년 11월 20일에 출원된 미국 가출원 번호 62/769,646에 대한 출원일의 이점을 주장하며, 그 개시 내용은 본 명세서에 참고로 포함된다.

지도 내비게이션 시스템은 사용자에게 운전 또는 도보 방향을 제공할 때를 포함하여 많은 다른 상황에서 사용된다. 운전의 경우, 내비게이션 시스템은 현재 교통 조건에 적응하여 교통 체증 또는 사고에 대한 지식에 기초하여 경로를 변경할 수 있다. 이 정보는 (예를 들어, 다른 운전자, 지역 교통 당국 등으로부터 크라우드 소싱된) 제3자 리포트로부터 수신될 수 있다. 그러나, 여기에는 또한 운전에 영향을 미칠 수 있는 실시간 환경 및 기타 요인이 있을 수 있다. 예를 들어, 날씨, 도로 건설/차선 작업, 시간에 기인한 저조도 조건 및 다른 요인이 포함될 수 있다. 이러한 요인들과 관련된 조건은 운전자와 같은 사용자가 일련의 운전 방향을 올바르게 따르지 못하도록 제한할 수 있다.

기술의 양태는 불리한 기상 조건과 같은 강화된 운전 방향을 트리거하는 요인과 관련된다. 하나 이상의 관련 요인이 결정되면, 시스템은 실시간으로 방향을 수정하거나 개선하여, 운전자가 다른 랜드 마크를 빠르고 쉽게 식별하고 강화된 정보를 사용하여 원하는 목적지로 내비게이션할 수 있도록 한다. 예를 들어, 아래에서 상세히 논의되는 바와같이, 온보드 카메라는 차량 전방의 시선 내에서와 같이 차량에 인접하거나 차량 근처의 환경에서 객체 및 조건을 검출하도록 구성된다. 이러한 실시간 환경 정보는 분석되어, 환경 정보가 기존 방향을 따라가는 운전자 능력에 악영향을 미칠 수 있다고 판단되면, 보다 쉽게 운전자가 특정 경로를 정확하게 따라갈 수 있도록 강화된 방향을 제공한다.

일 양태에 따르면, 방법은 차량 운전자를 위한 운전 경로에 대한 초기 방향을 획득하는 단계와, 상기 방향은 출발 지점에서 목적지까지 차량을 라우팅하는데 사용되고; 경로를 따라 하나 이상의 위치의 이전에 캡처된 이미지를 획득하는 단계와; 이전에 캡처된 이미지에 위치한 제1 랜드 마크를 식별하는 단계; 컴퓨터 디바이스의 하나 이상의 프로세서에 의해, 차량에 위치한 카메라에 의해 획득된 실시간 이미지를 수신하는 단계와; 하나 이상의 프로세서에 의해, 제1 랜드 마크가 차량의 운전자에 의해 관찰될 수 있는지 여부를 결정하도록 실시간 이미지로부터의 적어도 하나의 이미지를 이전에 캡처된 이미지로부터의 적어도 하나의 이미지와 비교하는 단계와; 그리고 제1 랜드 마크가 차량의 운전자에 의해 관찰될 수 없다고 결정된 경우, 하나 이상의 프로세스에 의해, 제1 랜드 마크와 다른 적어도 하나의 다른 랜드 마크를 표시하도록 운전 경로에 대한 초기 방향을 수정하는 단계를 포함한다.

일 예에서, 제1 랜드 마크가 차량의 운전자에 의해 관찰될 수 있는지 여부를 결정하도록 비교하는 단계는 제1 랜드 마크가 차량의 운전자가 볼 수 없도록 부분적으로 또는 완전히 가려지는지 여부를 결정하는 단계를 포함한다. 여기서, 제1 랜드 마크가 부분적으로 또는 완전히 가려지는지 여부를 결정하는 단계는 제1 랜드 마크의 가시성이 기상 조건, 저조도 조건, 다른 차량, 건물 또는 초목에 의해 악영향을 받는지 여부를 결정하는 단계를 포함할 수 있다. 실시간 이미지는 경로를 따라 운전하는 동안 카메라에 의해 획득될 수 있다. 수정된 방향은 적어도 하나의 다른 랜드 마크가 운전자에게 보일 때 특정 운전 동작을 취하도록 운전자에게 지시할 수 있다. 특정 운전 동작은 감속, 회전, 정지 또는 주차로 구성된 그룹에서 선택될 수 있다.

초기 방향을 수정하는 단계는 차량 내의 그래픽 디스플레이를 업데이트하거나 차량 내에서 가청 명령을 재생하는 것 중 적어도 하나를 포함할 수 있다. 차량에 위치한 카메라는 시야를 가지며, 실시간 이미지로부터의 적어도 하나의 이미지를 이전에 캡처된 이미지로부터의 적어도 하나의 이미지와 비교하는 단계는 운전자의 예상 시야에 대해 카메라의 시야를 평가하는 단계를 포함할 수 잇다. 초기 방향을 수정하는 단계는 카메라에 기사적인 운전 경로를 따라 하나 이상의 객체에 기초하여 초기 방향을 적어도 하나의 시각적 힌트로 증강시키거나 대체하는 단계를 더 포함할 수 있다.

다른 양태에 따르면, 방법은 컴퓨팅 디바이스의 하나 이상의 프로세서에 의해, 운전자에 의한 차량의 운전 중에 차량에 위치한 카메라에 의해 획득된 실시간 이미지를 수신하는 단계와; 하나 이상의 프로세서에 의해. 차량 주변의 외부 환경에서 현재 조건을 결정하도록 실시간 이미지로부터 적어도 하나의 이미지를 분석하는 단계와; 하나 이상의 프로세서에 의해, 분석에 기초하여, 현재 조건이 외부 환경에서 선택된 랜드 마크를 운전자가 볼 수 없도록 가릴 것으로 예상되는지 결정하는 단계와; 현재 상태가 외부 환경에서 선택된 랜드 마크를 운전자가 볼 수 없도록 가릴 것으로 예상되는 경우, 하나 이상의 프로세서에 의해, 차량에 위치된 카메라에 의해 관찰될 수 있는 다른 랜드 마크를 식별하는 단계와; 그리고 다른 랜드 마크의 시각적, 청각적 또는 촉각적 표시를 운전자에게 제공하는 단계를 포함한다.

방법은 제공하는 단계 전에, 다른 랜드 마크의 표시로 목적지까지 운전하기 위한 일련의 초기 방향을 수정하는 단계를 포함할 수 있다. 수정된 초기 방향은 다른 랜드 마크가 운전자에게 보일 때 특정 운전 동작을 취하도록 운전자에게 지시할 수 있다. 특정 운전 동작은 감속, 회전, 정지 또는 주차로 구성된 그룹으로부터 선택될 수 있다.

현재 조건이 외부 환경에서 선택된 랜드 마크를 운전자가 볼 수 없도록 가릴 것으로 예상되는지 결정하는 단계는 선택된 랜드 마크의 가시성이 기상 조건, 저조도 조건, 다른 차량, 건물 또는 초목에 의해 악영향을 받는지 결정하는 단계를 포함할 수 있다. 그리고 차량 주변의 외부 환경에서 현재 조건을 결정하도록 실시간 이미지로부터 적어도 하나의 이미지를 분석하는 단계는 외부 환경에서 장애물이나 다른 가시성 손상을 검출하기 위해 실시간 이미지에 기계 학습 모델을 적용하는 단계를 포함할 수 있다.

추가 양태에 따르면, 시스템은 명령 또는 데이터 중 적어도 하나를 저장하도록 구성된 메모리와; 그리고 메모리에 작동 가능하게 결합된 하나 이상의 프로세서를 포함한다. 하나 이상의 프로세서는 차량 운전자를 위한 운전 경로에 대한 초기 방향을 획득하고, 상기 방향은 출발 지점에서 목적지까지 차량을 라우팅하는데 사용되고; 경로를 따라 하나 이상의 위치의 이전에 캡처된 이미지를 획득하고; 이전에 캡처된 이미지에 위치한 제1 랜드 마크를 식별하고; 차량에 위치한 카메라에 의해 획득된 실시간 이미지를 수신하고; 제1 랜드 마크가 차량의 운전자에 의해 관찰될 수 있는지 여부를 결정하도록 실시간 이미지로부터의 적어도 하나의 이미지를 이전에 캡처된 이미지로부터의 적어도 하나의 이미지와 비교하고; 그리고 제1 랜드 마크가 차량의 운전자에 의해 관찰될 수 없다고 결정된 경우, 제1 랜드 마크와 다른 적어도 하나의 다른 랜드 마크를 표시하도록 운전 경로에 대한 초기 방향을 수정하도록 구성된다.

일 예에서, 시스템은 카메라를 더 포함한다. 카메라는 개인 통신 디바이스의 일부일 수 있다.

또 다른 양태에 따르면, 시스템은 명령 또는 데이터 중 적어도 하나를 저장하도록 구성된 메모리와 메모리에 작동 가능하게 결합된 하나 이상의 프로세서를 포함한다. 하나 이상의 프로세서는 운전자에 의한 차량의 운전 중에 차량에 위치한 카메라에 의해 획득된 실시간 이미지를 수신하고; 차량 주변의 외부 환경에서 현재 조건을 결정하도록 실시간 이미지로부터 적어도 하나의 이미지를 분석하고; 분석에 기초하여 현재 조건이 외부 환경에서 선택된 랜드 마크를 운전자가 볼 수 없도록 가릴 것으로 예상되는지 결정하고; 현재 조건이 외부 환경에서 선택된 랜드 마크를 운전자가 볼 수 없도록 가릴 것으로 예상되는 경우, 차량에 위치한 카메라에 의해 관찰될 수 있는 다른 랜드 마크를 식별하고; 그리고 다른 랜드 마크의 시각적, 청각적 또는 촉각적 표시를 운전자에게 제공하도록 구성된다.

차량 주변의 외부 환경에서 현재 조건을 결정하도록 실시간 이미지로부터의 적어도 하나의 이미지의 분석은 기계 학습 프로세스에 따라 하나 이상의 프로세서에 의해 수행될 수 있다.

추가 양태에 따르면, 컴퓨팅 시스템은 하나 이상의 프로세서 및 비-일시적 컴퓨터 판독 가능 메모리를 포함한다. 메모리는 실행될 때 적어도 하나의 프로세서로 하여금 전술한 바와 같은 방법을 실행하게 하는 명령을 포함한다.

그리고 다른 양태에 따르면, 비-일시적 컴퓨터 판독 가능 저장 매체는 실행될 때 하나 이상의 프로세서로 하여금 전술한 바와 같은 방법을 수행하게 하는 명령을 저장한다.

도 1a는 외부 관점에서 본 기술의 양태와 함께 사용하기 위한 예시적인 승용차를 도시한다.
도 1b는 내부 관점에서 도 1a의 예시적인 승용차를 도시한다.
도 2a는 본 개시의 양태에 따른 예시적인 승용차의 기능도이다.
도 2b는 본 개시의 양태에 따른 촬상 디바이스의 예시적인 기능도이다.
도 3a-b는 본 개시의 양태에 따른 디바이스들의 예시적인 네트워크를 도시한다.
도 4a-b는 본 기술의 양태에 따른 운전 시나리오를 도시한다.
도 5a-c는 본 개시의 양태에 따른 다른 운전 시나리오를 도시한다.
도 6은 본 개시의 양태에 따른 예시적인 방법을 도시한다.
도 7은 본 개시의 양태에 따른 다른 예시적인 방법을 도시한다.

차량 주변의 환경 요인은 운전자가 디스플레이된 또는 청각적인 운전 명령 (instructions, 지침)을 얼마나 쉽게 따를 수 있는지에 영향을 미칠 수 있다. 따라서, 본 기술의 양태는 다른 또는 추가의(예를 들어, 강화된(enhanced)) 시각적 또는 청각적 힌트(clue, 단서)를 이용하여 이러한 명령을 향상시키는 것을 포함한다. 이것은 전반적인 가시성이 떨어지거나 장애물이 운전자가 도로 표지판, 비즈니스 표지판 또는 기타 랜드 마크를 보는 것을 방해하는 것과 같은 불리한 운전 조건에서 특히 중요할 수 있다. 온보드 카메라 또는 기타 촬상 디바이스는 시스템이 외부 환경의 이미지를 획득하는데 사용되며, 해당 정보는 강화된 시각적 및/또는 청각적 힌트 또는 방향을 운전자에게 제시할지 여부 및 방법을 평가할 때 사용된다. 사용자에게 제공되는 안내를 강화함으로써 이 접근 방식은 사용자가 차량 제어 동작을 수행하는데 도움을 준다. 수반되는 이점에는 차량 자원의 보다 효율적인 사용 및 강화된 도로 안전이 포함될 수 있다.

예시적인 차량 시스템

도 1a는 외부 관점에서 예시적인 승용차(100)를 도시하고, 도 1b는 내부 뷰 관점에서의 차량(100)을 도시한다. 두 도면 모두에 도시된 바와 같이, 촬상 디바이스(200)는 하나 이상의 이미지 센서가 차량 외부의 환경을 향하도록 위치된다. 예를 들어, 촬상 디바이스(200)는 운전자의 시야를 방해하지 않고 운전자와 동일하거나 유사한 시점을 갖도록 차량내에 배치될 수 있다. 예를 들어, 촬상 디바이스 (200)는 차량의 운전자 측에 있는 대시 보드 또는 앞 유리의 내부를 따라 배치될 수 있다. 차량의 앞 유리 와이퍼 및/또는 성에 제거 장치는 앞 유리를 깨끗하게 유지하도록 설계되었다. 따라서, 이러한 방식으로 촬상 디바이스(200)를 배치하면 스틸 또는 비디오 이미지가 유리를 통해 캡처될 수 있다.

본 개시의 특정 양태는 특정 유형의 차량과 관련하여 특히 유용할 수 있지만, 차량은 자동차, 트럭, 오토바이, 버스, 레저용 차량 등을 포함하지만 이에 제한되지 않는 임의의 유형의 차량일 수 있다.

도 2a는 도 1a-b의 차량(100)과 같은 예시적인 승용차의 다양한 시스템의 블록도를 도시한다. 도 2a의 블록도에 도시된 바와 같이, 차량은 하나 이상의 프로세서(104), 메모리(106) 및 일반 범용 컴퓨팅 디바이스에 존재하는 다른 구성 요소를 포함하는 컴퓨팅 디바이스(102)와 같은 하나 이상의 컴퓨팅 디바이스의 제어 시스템을 포함한다. 메모리(106)는 프로세서(104)에 의해 실행되거나 사용될 수 있는 명령(108) 및 데이터(110)를 포함하여 하나 이상의 프로세서(104)에 의해 액세스 가능한 정보를 저장한다. 메모리(106)는 컴퓨팅 디바이스 판독 가능 매체를 포함하여 프로세서에 의해 액세스 가능한 정보를 저장할 수 있는 임의의 유형일 수 있다. 메모리는 하드 드라이브, 메모리 카드, 광 디스크, 솔리드 스테이트, 테이프 메모리 등과 같은 비-일시적 매체이다. 시스템은 전술한 것의 다른 조합을 포함할 수 있으며, 이에 따라 명령 및 데이터의 다른 부분이 다른 유형의 미디어에 저장된다.

명령(108)은 프로세서에 의해 직접(기계 코드와 같이) 또는 간접적으로(스크립트와 같이) 실행될 임의의 일련의 명령일 수 있다. 예를 들어, 명령은 컴퓨팅 디바이스 판독 가능 매체에 컴퓨팅 디바이스 코드로 저장될 수 있다. 이와 관련하여, "명령" 및 "프로그램"이라는 용어는 본 명세서에서 상호 교환적으로 사용될 수 있다. 명령은 프로세서에 의한 직접 처리를 위해 객체 코드 포멧으로 저장되거나, 요청시 해석되거나 사전에 컴파일되는 독립 소스 코드 모듈 집합 또는 스크립트를 포함하는 임의의 다른 컴퓨팅 디바이스 언어로 저장될 수 있다. 데이터(110)는 명령(108)에 따라 하나 이상의 프로세서(104)에 의해 검색, 저장 또는 수정될 수 있다. 일 예에서, 메모리(106)의 일부 또는 전부는 차량 진단법 및/또는 감지된 센서 데이터를 저장하도록 구성된 이벤트 데이터 레코더 또는 기타 보안 데이터 저장 시스템일 수 있으며, 이는 구현에 따라 차량에 탑재되거나 원격에 있을 수 있다.

하나 이상의 프로세서(104)는 상업적으로 이용 가능한 CPU와 같은 임의의 통상적인 프로세서일 수 있다. 대안적으로, 하나 이상의 프로세서는 ASIC 또는 다른 하드웨어 기반 프로세서와 같은 전용 디바이스일 수 있다. 도 2a는 프로세서(들), 메모리 및 컴퓨팅 디바이스(102)의 다른 엘리먼트가 동일한 블록 내에 있는 것으로 기능적으로 도시하지만, 이러한 디바이스들은 실제로 동일한 물리적 하우징내에 저장되거나 저장되지 않을 수 있는 다수의 프로세서, 컴퓨팅 디바이스 또는 메모리를 포함할 수 있다. 유사하게, 메모리(106)는 프로세서(들)(104)의 하우징과 다른 하우징에 위치한 하드 드라이브 또는 다른 저장 매체일 수 있다. 따라서, 프로세서 또는 컴퓨팅 디바이스에 대한 참조는 병렬로 동작하거나 동작하지 않을 수 있는 프로세서 또는 컴퓨팅 디바이스 또는 메모리의 집합에 대한 참조를 포함하는 것으로 이해될 것이다.

일 예에서, 컴퓨팅 디바이스(202)는 예를 들어 차량이 부분 또는 완전 자율 운전 모드에서 작동할 수 있도록 차량(100)에 통합된 주행 컴퓨팅 시스템을 형성할 수 있다. 예를 들어, 부분 자율 운전 모드는 적응형 차간거리 제어 또는 비상 제동을 제공하는 첨단 운전자 지원 시스템(Advanced Driver Assistance System : ADAS))의 일부로서 구현될 수 있다. 주행 컴퓨팅 시스템은 차량의 다양한 구성 요소와 통신할 수 있다. 예를 들어, 컴퓨팅 디바이스(102)는 (차량의 제동을 제어하는) 감속 시스템(112), (차량의 가속을 제어하는) 가속 시스템(114), (휠 방향과 차량의 방향을 제어하는) 조향 시스템(116), (방향 지시등을 제어하는) 신호 시스템(118), (수동 또는 부분 자율 운전 모드에서 동작할 때 차량을 특정 위치 또는 객체 주변으로 내비게이션하거나 운전자에게 내비게이션 방향을 제공하는 내비게이션 시스템(120) 및 (차량의 위치를 결정하는) 위치 결정 시스템(122)을 포함하는 주행 시스템을 포함하여, 차량의 다양한 시스템과 통신할 수 있다.

컴퓨팅 디바이스들(102)은 또한 (차량의 환경에서 객체를 감지하는) 인식 시스템(124), 전력 시스템(126)(예를 들어, 배터리 및/또는 가스 또는 디젤 동력 엔진) 및 변속(기) 시스템(128)에 작동 가능하게 결합되어, 차량 승객으로부터의 연속적 또는 주기적 입력이 필요하거나 필요하지 않은 운전 모드에서 메모리(106)의 명령 (108)에 따라 차량의 이동, 속도 등을 제어한다. 휠/타이어(130)의 일부 또는 전부는 변속 시스템(128)에 결합되고, 컴퓨팅 디바이스들(102)은 임의의 운전 모드에서 운전에 영향을 미칠 수 있는 타이어 압력, 밸런스 및 다른 요인에 관한 정보를 수신할 수 있다.

적응형 차간거리 제어 또는 비상 제동과 같은 특정 운전 모드에서, 컴퓨팅 디바이스들(102)은 다양한 구성 요소를 제어함으로써 차량의 방향 및/또는 속도를 제어할 수 있다. 컴퓨팅 디바이스들(102)은 지도 정보 및 내비게이션 시스템(120)으로부터의 데이터를 사용하여 차량을 내비게이션하거나 운전자가 목적지 위치로 차량을 내비게이션하는 것을 도울 수 있다. 컴퓨팅 디바이스(102)는 위치 결정 시스템(122)을 사용하여 차량의 위치를 결정하고, 인식 시스템(124)을 사용하여 목적지 위치에 안전하게 도달하기 위해 필요할 때 객체를 감지하고 이에 응답한다. 그렇게하기 위해, 컴퓨팅 디바이스들(102)은 차량으로 하여금 (예를 들어, 가속 시스템(114)에 의해 엔진에 제공되는 연료 또는 다른 에너지를 증가시킴으로써) 가속하고, (엔진에 공급되는 연료를 감소시키고, 기어를 변경하고 및/또는 감속 시스템(112)에 의해 브레이크를 적용함으로써) 감속하고, (조향 시스템(116)에 의해 차량(100)의 앞 휠 또는 다른 휠을 회전시킴으로써) 방향을 변경하고, (신호 시스템 (118)의 방향 지시등을 점등함으로써) 이러한 변화를 신호하도록 한다. 따라서, 가속 시스템(114) 및 감속 시스템(112)은 차량의 엔진과 차량의 휠 사이에 다양한 구성 요소를 포함하는 구동계 또는 다른 변속 시스템(128)의 일부일 수 있다. 다시, 이들 시스템을 제어함으로써, 컴퓨팅 디바이스들(102)은 차량을 부분(또는 완전) 자율 모드로 조종하기 위해 차량의 변속기 시스템(128)을 제어할 수도 있다.

예로서, 컴퓨팅 디바이스들(102)은 차량의 속도를 제어하기 위해 감속 시스템(112) 및 가속 시스템(114)과 상호 작용할 수 있다. 유사하게, 조향 시스템(116)은 차량의 방향을 제어하기 위해 컴퓨팅 디바이스(102)에 의해 사용될 수 있다. 신호 시스템(118)은 예를 들어 필요할 때 방향 지시등 또는 브레이크 등을 켜서 다른 운전자 또는 차량에 차량의 의도를 신호하기 위해 컴퓨팅 디바이스들(102) 또는 운전자에 의해 사용될 수 있다.

내비게이션 시스템(120)은 컴퓨팅 디바이스(102)에 의해 사용되어 위치까지의 경로를 결정하고 따를 수 있다. 이와 관련하여, 내비게이션 시스템(120) 및/또는 메모리(106)는 예를 들어 컴퓨팅 디바이스들(102)이 차량을 내비게이션하거나 제어하는데 사용할 수 있는 매우 상세한 지도와 같은 지도 정보를 저장할 수 있다. 예를 들어, 이러한 지도는 도로, 차선 표시, 교차로, 횡단 보도, 속도 제한, 교통 신호등, 건물, 표지판, 실시간 교통 정보, 초목 또는 다른 이러한 객체 및 정보의 모양과 고도를 식별할 수 있다. 차선 표시에는 실선 또는 파선의 이중 또는 단일 차선, 실선 또는 파선 차선, 반사경 등과 같은 피처를 포함될 수 있다. 지정된 차선은 왼쪽 및 오른쪽 차선 또는 차선의 경계를 정의하는 다른 차선 표식과 연관될 수 있다. 따라서, 대부분의 차선들은 한 차선의 왼쪽 가장자리와 다른 차선의 오른쪽 가장자리에 의해 경계가 지정될 수 있다. 지도 정보는 매핑 데이터베이스와 같은 원격 컴퓨팅 시스템으로부터, 다른 차량으로부터 및/또는 차량(100)에 의해 수행된 이전 주행으로부터 수신될 수 있다.

인식 시스템(124)은 또한 차량 외부의 객체를 감지하기 위한 센서들을 포함한다. 감지된 객체는 다른 차량, 도로의 장애물, 교통 신호등, 표지판, 나무 등일 수 있다. 예를 들어, 인식 시스템(124)은 하나 이상의 광 검출 및 거리 측정 (Lidar) 센서, 음향(소나, 내부 및/또는 외부 마이크로폰) 디바이스, 레이더 유닛, 카메라(예를 들어, 광 및 자외선)와 같은 촬상 디바이스, 관성 센서(예를 들어, 자이로스코프 또는 가속도계), 및/또는 컴퓨팅 디바이스들(102)에 의해 처리될 수 있는 데이터를 기록하는 임의의 다른 검출 디바이스를 포함할 수 있다. 인식 시스템 (124)의 센서는 위치, 방위, 크기, 모양, 유형(예를 들어, 차량, 보행자, 자전거 등), 진행 방향 및 이동 속도 등과 같은 객체 및 그의 특성을 검출할 수 있다. 센서들로부터의 미가공 데이터 및/또는 전술한 특성은 인식 시스템(124)에 의해 생성될 때 추가 처리를 위해 주기적으로 그리고 지속적으로 컴퓨팅 디바이스(102)로 전송될 수 있다. 컴퓨팅 디바이스들(102)은 위치 결정 시스템(122)을 사용하여 차량의 위치 및 인식 시스템(124)을 결정하여, 그 위치에 안전하게 도달하기 위해 필요할 때 객체들을 감지하고 이에 응답한다. 또한, 컴퓨팅 디바이스들(102)은 개별 센서, 특정 센서 어셈블리내의 모든 센서 또는 상이한 센서 어셈블리내의 센서들 사이의 교정을 수행할 수 있다.

또한 통신 시스템(132)이 도 2a에 도시되어 있다. 통신 시스템(132)은 운전자 및/또는 차량 내 승객의 개인 컴퓨팅 디바이스와 같은 다른 컴퓨팅 디바이스와의 통신을 용이하게 하기 위해 하나 이상의 무선 네트워크 연결을 포함할 수 있을뿐만 아니라 도로의 다른 근처 차량이나 원격 네트워크에 있는 차량 외부의 컴퓨팅 디바이스들을 포함할 수 있다. 네트워크 연결에는 블루투스™, 블루투스™ 저에너지(LE), 셀룰러 연결과 같은 근거리 통신 프로토콜은 물론 인터넷, 월드 와이드 웹, 인트라넷, 가상 사설망, 광역 네트워크, 로컬 네트워크, 하나 이상의 회사 소유의 통신 프로토콜을 사용하는 사설 네트워크, 이더넷, WiFi 및 HTTP, 및 이들의 다양한 조합을 포함할 수 있다.

도 2a는 또한 사용자 인터페이스 서브 시스템(134)을 도시한다. 사용자 인터페이스 서브 시스템(134)은 하나 이상의 사용자 입력(136)(예를 들어, 마우스, 키보드, 터치 스크린 또는 다른 햅틱 입력 및/또는 하나 이상의 마이크로폰) 및 디스플레이 서브 시스템(138)의 하나 이상의 디스플레이 디바이스(예를 들어, 정보를 디스플레이하도록 동작 가능한 화면 또는 다른 디바이스가 있는 모니터)를 포함할 수 있다. 이와 관련하여, 내부 전자 디스플레이(140)는 승용차의 캐빈(객실)(도 1b 참조) 내에 위치될 수 있고, 컴퓨팅 디바이스(102)에 의해 사용되어 차량 내의 운전자 또는 승객에게 정보를 제공할 수 있다. 스피커(들)(142)와 같은 출력 디바이스가 또한 승용차 내에 위치될 수 있다. 아래에서 보다 상세히 논의되는 바와 같이, 디스플레이(들)(140) 및/또는 스피커(들)(142)는 차량이 수동 또는 부분 자율 운전 모드로 작동될 때 운전자에게 강화된 방향 또는 운전 힌트를 제공하도록 구성된다.

도 2b는 촬상 디바이스(200)의 일 예를 도시한다. 촬상 디바이스(200)는 차량의 온보드 인식 시스템(124)의 일부일 수 있다. 또는 대안적으로, 촬상 디바이스(200)는 자체 장착되거나 별도의 센서 유닛일 수 있다. 예를 들어, 촬상 디바이스(200)는 운전자(또는 승객)의 모바일 폰일 수 있거나, 웨어러블 디바이스(예를 들어, 헤드 마운트 디스플레이 시스템, 스마트 워치 등) 또는 차량의 내부 캐빈에 장착될 수 있는 다른 디바이스(예를 들어, PDA, 태블릿, 등)일 수 있다.

도시된 바와 같이, 촬상 디바이스(200)는 하나 이상의 프로세서(204), 메모리(206) 및 일반 범용 컴퓨팅 디바이스에 존재하는 다른 구성 요소를 포함하는 컴퓨팅 디바이스와 같은 하나 이상의 컴퓨팅 디바이스들(202)을 포함한다. 메모리 (206)는 프로세서(들)(304)에 의해 실행되거나 사용될 수 있는 명령(208) 및 데이터(210)를 포함하여 하나 이상의 프로세서(204)에 의해 액세스 가능한 정보를 저장한다. 도 2a의 프로세서, 메모리, 명령어 및 데이터에 대한 설명은 도 2b의 이들 엘리먼트에 적용된다.

이 예에서, 촬상 디바이스(200)는 또한 무선 연결(들)(214) 및 유선 연결(216) 중 하나 또는 둘 다를 가질 수 있는 통신 시스템(212)을 포함한다. 이러한 방식으로, 별도의 센서 유닛은 컴퓨팅 디바이스(102) 또는 차량의 다른 시스템 및/또는 원격 시스템과 직접 또는 간접적으로 통신하도록 구성된다(도 3a-b 참조).

촬상 디바이스(200)는 또한 하나 이상의 이미지 센서(220)를 갖는 촬상 시스템(218)을 포함한다. 예로서, 이미지 센서(220)는 광학 및/또는 적외선 이미지 캡처를 위해 구성된 하나 이상의 센서 디바이스 또는 센서 디바이스의 어레이를 포함할 수 있다. 이미지 캡처는 스틸 이미지 및/또는 일련의 비디오 이미지로서 프레임 단위로 수행될 수 있다. 하나 이상의 이미지 센서(220)는 예를 들어 풍경 또는 파노라마 스타일 이미지와 같이 차량 외부 환경의 이미지를 캡처할 수 있다.

촬상 디바이스(200)는 또한 사용자 입력(224)을 갖는 사용자 인터페이스 서브 시스템(222)을 포함할 수 있다. 사용자 입력(224)은 하나 이상의 기계식 액추에이터(226)(예를 들어, 스위치, 버튼 및/또는 다이얼) 및/또는 하나 이상의 소프트 액추에이터(228)(예를 들어, 정전식 또는 유도식 터치 스크린)를 포함할 수 있다. 사용자 인터페이스 서브 시스템(222)은 또한 이미지를 캡처하기 위한 미리보기 화면, 캡처된 이미지를 보기 위한 디스플레이 또는 둘 모두와 같은 그래픽 디스플레이 (230)를 포함할 수 있다.

또한, 촬상 디바이스(200)는 위치 결정 서브 시스템(236)과 같은 다른 구성 요소를 포함할 수 있다. 이 서브 시스템(236)은 가속도계(238), 자이로스코프(240) 및/또는 촬상 디바이스(200)의 자세 또는 방향을 결정하는 것을 돕는 다른 관성 센서와 같은 센서를 포함할 수 있다. 위치 결정 서브 시스템(236)은 또한 촬상 디바이스(200)의 위도/경도(및 고도)를 결정하기 위한 GPS 유닛(242) 또는 다른 위치 결정 엘리먼트를 포함할 수 있다. 촬상 디바이스(200)는 또한 예를 들어 프로세서(204), GPS 유닛(242)에 대한 타이밍 정보를 획득하거나 촬상 시스템(218)에 의해 획득된 이미지에 대한 타임 스탬프를 생성하기 위해 하나 이상의 내부 클럭 (244)을 포함할 수 있다. 그리고 촬상 디바이스(200) 내부의 하나 이상의 배터리 또는 외부 소스에 대한 연결과 같은 전원 소스(또는 소스들)(246)이 또한 제공될 수 있다.

예시적인 협업 시스템

위에서 논의된 바와 같이, 온보드 시스템은 원격 시스템(예를 들어, 원격 지원 또는 차량 관리), 다른 차량 및/또는 차량 내의 다양한 촬상 디바이스와 통신할 수 있다. 이에 대한 한 가지 예가 도 3a 및 3b에 도시되어 있다. 특히, 도 3a 및 3b는 각각 네트워크(314)를 통해 연결된 복수의 컴퓨팅 디바이스(302, 304, 306, 308), 촬상 디바이스(310) 및 저장 시스템(312)을 포함하는 예시적인 시스템(300)의 그림 및 기능 다이어그램이다. 예를 들어, 컴퓨팅 디바이스(304)는 태블릿, 랩탑 또는 넷북 컴퓨터일 수 있고, 컴퓨팅 디바이스(306)는 PDA 또는 모바일 폰일 수 있다. 컴퓨팅 디바이스들(308)은 스마트 워치 또는 헤드 마운트 디스플레이(HMD) 디바이스와 같은 웨어러블 디바이스일 수 있다. 이들 중 임의의 것은 카메라 또는 다른 이미저(imager)를 포함할 수 있고 도 2b에 도시된 것과 같은 촬상 디바이스(200)로서 동작할 수 있다.

시스템(300)은 또한 도 1a 및 1b의 차량(100)과 동일하거나 유사하게 구성될 수 있는 차량(316 및 318)으로 도시된다. 예를 들어, 차량(316)은 세단 또는 미니 밴과 같은 승객용 차량일 수 있다. 그리고 차량(318)은 트럭, 버스 등과 같은 더 큰 차량일 수 있다. 차량(316 및/또는 318)은 차량군의 일부일 수 있다. 단순화를 위해 몇 대의 차량, 컴퓨팅 디바이스 및 촬상 디바이스만 표시되었지만 이러한 시스템에는 훨씬 더 많은 엘리먼트가 포함될 수 있다. 도 3b에 도시된 바와 같이, 각각의 컴퓨팅 디바이스(302, 304, 306 및 308)는 하나 이상의 프로세서, 메모리, 데이터 및 명령을 포함할 수 있다. 이러한 프로세서, 메모리, 데이터 및 명령은 도 2a와 관련하여 전술한 것과 유사하게 구성될 수 있다.

다양한 컴퓨팅 디바이스 및 차량은 네트워크(314)와 같은 하나 이상의 네트워크를 통해 통신할 수 있다. 네트워크(314) 및 중개 노드들은 블루투스™, 블루투스™ LE, 인터넷, 월드 와이드 웹, 인트라넷, 가상 사설망, 광역 네트워크, 로컬 네트워크, 하나 이상의 회사 소유의 통신 프로토콜을 사용하는 사설 네트워크, 이더넷, WiFi 및 HTTP 그리고 이들의 다양한 조합과 같은 근거리 통신 프로토콜을 포함하여 다양한 구성 및 프로토콜을 포함할 수 있다. 이러한 통신은 모뎀 및 무선 인터페이스와 같은 다른 컴퓨팅 디바이스들과 데이터를 주고 받을 수 있는 임의의 디바이스에 의해 용이해질 수 있다.

일 예에서, 컴퓨팅 디바이스(302)는 복수의 컴퓨팅 디바이스를 갖는 하나 이상의 서버 컴퓨팅 디바이스, 예를 들어 다른 컴퓨팅 디바이스와 데이터를 수신, 처리 및 전송하기 위한 네트워크의 다른 노드들과 정보를 교환하는 로드 밸런싱된 서버 팜을 포함할 수 있다. 예를 들어, 컴퓨팅 디바이스(302)는 네트워크(314)를 통해 컴퓨팅 디바이스(304, 306 및 308) 뿐만 아니라 차량(316 및/또는 318)의 컴퓨팅 디바이스와 통신할 수 있는 하나 이상의 서버 컴퓨팅 디바이스를 포함할 수 있다. 예를 들어, 차량(316 및/또는 318)은 서버 컴퓨팅 디바이스에 의해 다양한 위치로 발송될 수 있는 차량군의 일부일 수 있다. 이와 관련하여, 컴퓨팅 디바이스 (302)는 승객을 태우고 내리거나 화물을 픽업 및 배달하기 위해 차량을 다른 위치로 배차(dispatch)하는데 사용될 수 있는 배차 서버 컴퓨팅 시스템으로서 기능할 수 있다. 또한, 서버 컴퓨팅 디바이스(302)는 네트워크(314)를 사용하여 다른 컴퓨팅 디바이스들 중 하나의 사용자(예를 들어, 운전자) 또는 차량의 승객에게 정보를 전송하고 제시할 수 있다. 이와 관련하여, 컴퓨팅 디바이스(304, 306 및 308)는 클라이언트 컴퓨팅 디바이스로 간주될 수 있다.

도 3b에 도시된 바와 같이, 각각의 클라이언트 컴퓨팅 디바이스(304, 306 및 308)는 개별 사용자에 의해 사용되도록 의도된 개인 컴퓨팅 디바이스일 수 있고, 하나 이상의 프로세서(예를 들어, 중앙 처리 장치(CPU)), 데이터 및 명령을 저장하는 메모리(예를 들어, RAM 및 내부 하드 드라이브), 디스플레이(예를 들어, 화면이있는 모니터, 터치 스크린, 프로젝터, 텔레비전 또는 정보를 디스플레이할 수 있는 스마트 워치 디스플레이와 같은 다른 디바이스) 및 사용자 입력 디바이스(예를 들어, 마우스, 키보드, 터치 스크린 또는 마이크로폰)를 포함하는 개인 컴퓨팅 디바이스와 관련하여 일반적으로 사용되는 모든 구성 요소를 가질 수 있다. 클라이언트 컴퓨팅 디바이스들은 또한 본 명세서에 논의된 바와 같이 강화된 운전 힌트에 사용될 수 있는 이미지를 기록하기 위한 카메라, 스피커, 네트워크 인터페이스 디바이스 및 이들 엘리먼트를 서로 연결하는데 사용되는 모든 구성 요소를 포함할 수 있다. 컴퓨팅 디바이스의 일부일 수 있는 다른 피처 및 구성 요소에 대해서는 위의 도 2b에 대한 설명을 참조한다.

저장 시스템(313)은 하드 드라이브, 메모리 카드, ROM, RAM, DVD, CD-ROM, 플래시 드라이브 및/또는 테이프 드라이브와 같은 서버 컴퓨팅 디바이스(302)에 의해 액세스 가능한 정보를 저장할 수 있는 데이터베이스 또는 임의의 유형의 컴퓨터화된 저장 디바이스일 수 있다. 또한, 저장 시스템(313)은 데이터가 동일하거나 상이한 지리적 위치에 물리적으로 위치할 수 있는 복수의 상이한 저장 디바이스에 저장되는 분산형 저장 시스템을 포함할 수 있다. 저장 시스템(314)은 도 3a-b에 도시된 바와 같이 네트워크(314)를 통해 컴퓨팅 디바이스들에 연결될 수 있고 및/또는 임의의 컴퓨팅 디바이스에 직접 연결되거나 통합될 수 있다.

저장 시스템(312)은 다양한 유형의 정보를 저장할 수 있다. 예를 들어, 저장 시스템(312)은 하나 이상의 데이터베이스에 지도, 랜드 마크 및/또는 이미지를 저장할 수 있다. 이 정보는 본 명세서에 설명된 피처들의 일부 또는 전부를 수행하기 위해 하나 이상의 서버 컴퓨팅 디바이스(302)와 같은 서버 컴퓨팅 디바이스에 의해 검색되거나 액세스될 수 있다.

예를 들어, 저장 시스템(312)은 지도 데이터를 저장할 수 있다. 이 지도 데이터는 예를 들어 차량(100)의 인식 시스템과 같은 인식 시스템에 의해 생성된 센서 데이터를 포함할 수 있다. 지도 데이터는 또한 다양한 이미지로부터 획득한 지도 정보일 수 있다. 랜드 마크 데이터베이스는 지도 데이터베이스의 위치와 연관되거나 연관되지 않을 수 있는 다양한 랜드 마크에 관한 정보를 저장할 수 있다. 예를 들어, 지도 데이터베이스는 뉴욕시에 관한 거리 정보를 포함할 수 있고, 랜드 마크 데이터베이스는 다양한 장소 또는 관심 항목(예를 들어, 엠파이어 스테이트 빌딩)에 관한 정보를 포함할 수 있다. 이미지 데이터베이스는 이러한 데이터베이스의 일부이거나 이와 분리될 수 있으며 지도 및/또는 랜드 마크 데이터베이스의 위치에 관한 이전에 획득된 이미지를 포함할 수 있다. 이미지 데이터베이스에는 거리 수준 또는 다양한 위치에 관한 다른 유형의 이미지가 포함될 수 있다. 지도, 랜드 마크 및/또는 이미지 데이터베이스 중 하나 이상은 경로를 따라 운전자가 볼 수 있는 도로 표지판, 비즈니스 표지판, 조각품 또는 기타 예술품 등과 같은 추가 정보를 포함할 수 있다. 이러한 정보는 서버 시스템(302), 컴퓨팅 디바이스(304, 306, 308) 및/또는 촬상 디바이스(310)에 의해 직접 또는 간접적으로 액세스 가능할 수 있다.

예시적인 구현

위에서 설명되고 도면에 도시된 구조 및 구성을 고려하여, 이제 다양한 구현이 설명될 것이다.

촬상 디바이스(200)와 같은 차량 내(또는 온보드) 카메라는 차량 전방의 시선내에서와 같이 차량에 인접하거나 근처의 환경에서 객체 및 조건을 감지하도록 구성된다. 위에서 언급한 바와 같이, 카메라는 예를 들어 대시 보드를 따라 또는 앞 유리 내부(백미러 또는 선바이저(sunvisor) 옆)와 같이 차량 내부에 위치할 수 있다. 일 예에서, 카메라는 운전자가 운전하는 동안 차량 앞에서 관찰하는 것과 유사하거나 정렬된 시야를 제공하도록 배치된다. 이런 방법으로, 이미지 센서는 거리 표지판, 비즈니스 표지판, 상점 정면, 랜드 마크 및 기타 관심 지점을 검출할 수 있도록 차량 앞의 도로와 인접 지역을 보기 위해 카메라상에 배치되거나 차량 캐빈내에 배치될 수 있다.

카메라의 시야(FOV)는 사용된 촬상 디바이스(들)의 유형, 차량 내 카메라의 배치 및 다른 요인에 기초하여 제한될 수 있다. 스틸 또는 비디오 이미지가 획득될 수 있다. 카메라는 복수의 촬상 디바이스를 포함할 수 있거나, 예를 들어 입체 촬상을 제공하기 위해 다중 카메라가 사용될 수 있다. 예를 들어, 단일 촬상 디바이스(200)가 도 1a-b에 도시되어 있지만, 차량 주위의 상이한 시야를 제공하기 위해 2개 이상의 촬상 디바이스(200)가 차량 캐빈 내에 배치될 수 있다. 이러한 촬상 디바이스(200)는 서로 또는 차량의 시스템과 직접 또는 간접적으로(예를 들어, Bluetooth ™ 연결을 통해) 통신할 수 있고, 원격 시스템 또는 서비스와, 또는 임의의 또는 모든 그러한 디바이스와 통신할 수 있다.

도 2b에 도시되지 않았지만, 촬상 디바이스(200) 또는 다른 카메라는 하나 이상의 마이크로폰을 포함할 수 있거나, 소리를 획득하기 위해 차량 주위에 위치된 하나 이상의 마이크로폰에 작동 가능하게 결합될 수 있다. 이러한 마이크로폰은 예를 들어 차량이 도로를 따라 이동할 때 타이어 소리에 기초하여 차량이 눈이나 비에서 운전 중인지 여부를 검출하는데 사용될 수 있다.

예시적인 시나리오

운전자가 수동 또는 부분 자율 모드로 차량을 운전하는 상황에서, 운전자는 미리 계획된 경로를 따라서 일련의 방향을 따라 목적지까지 운전할 수 있다. 방향은 촬상 디바이스(200)를 포함하거나 포함하지 않을 수 있는 모바일 폰, PDA, 태블릿 컴퓨터 등과 같은 개인 디바이스에 의해 생성되거나 다운로드될 수 있다. 대안적으로, 방향은 차량 자체의 내비게이션 시스템(120)에 의해 생성되거나 유지될 수 있다. 방향은 운전자에게 특정 거리로 회전하고, 특정 수의 피트 또는 미터만큼 기동하고, 특정 객체 또는 관심 지점 등을 향해(또는 멀리) 향하도록 지시할 수 있다.

불행히도, 실제 조건 및 기타 요인은 운전 방향을 따르는 운전자의 능력에 악영향을 미칠 수 있다. 예를 들어, 눈, 안개 또는 초목을 흔들리게 하는 강한 바람은 도로 표지판을 가릴 수 있다. 또한 트럭이나 건설 장비로 인해 운전자는 랜드 마크를 보지 못할 수 있다. 더욱이, 운전자는 현재 조건에서 눈에 띄는 간판이 거의 또는 전혀 없는 작은 거리로 폭설속에서 회전해야 할 때 문제가 발생할 수 있다. 따라서, 정지 표지판, 정지 신호등 또는 기타 표지판이 근처에 있더라도, 운전자는 장애물(다른 차량, 건물), 악천후(예를 들어, 눈, 안개, 폭우) 또는 열악한 운전 조건(예를 들어, 일몰 또는 다른 저조도 조건)으로 인해 이를 보지 못할 수 있다. 수신되었거나 이전에 생성된 방향들은 이러한 요인들을 처리하기에 충분하지 않을 수 있다.

카메라로부터 수신된 이미지 정보 및 온보드 위치 정보를 사용하여, 시스템은 현재 날씨 조건(예를 들어, 비, 안개, 눈, 일몰 또는 야간 등) 및/또는 도로 조건(예를 들어, 표면 유형의 변화, 포트홀, 젖거나 미끄러운 도로, 도로의 잔해, 폐쇄 등과 같은 도로 손상)를 실시간으로 결정할 수 있다. 표지판의 변화 또는 표지판의 방해는 카메라로 캡처된 이미지에 기초하여 결정될 수도 있다. 이것은 예를 들어, 캡처된 이미지를 현재 위치의 이전에 획득된 이미지와 비교함으로써 수행될 수 있다. 예를 들어, 온보드 시스템은 원격 서버, 다른 차량 및/또는 동일한 차량 또는 심지어 촬상 디바이스 자체에 의해 촬영된 이전 주행에 의해 이전에 획득된 이미지를 얻을 수 있다.

촬상 디바이스(200)는 실시간 이미지의 "카메라 피드백 루프"를 온보드 시스템에 제공하도록 구성된다. 운전하는 동안, 시스템은 이전에 획득된 이미지를 차량 내 카메라의 실시간 이미지와 비교할 수 있다. 이러한 이미지 처리는 시간 이미지를 캡처한 카메라 또는 다른 디바이스(예를 들어, 도 3a-b의 304, 306, 308 또는 310), 차량의 온보드 컴퓨터 시스템(예를 들어, 도 2a의 102) 및/또는 원격 서버(예를 들어, 도 3a-b의 서버(302))에 의해 수행될 수 있다. 이미지 비교 또는 차이 결정은 예를 들어 처리 자원 가용성, 통신 대역폭 및 기타 요인에 따라 시스템의 다른 처리 디바이스간에 공유될 수 있다. 분석에 기초하여, 얻은 영상과 획득한 영상의 차이에 대한 정보를 생성할 수 있다. 차이점(예를 들어, 도로 표지판이 보이지 않거나 부분적으로 가려짐)에 따라 시스템은 운전자를 위한 다른 시각적 힌트를 식별할 수 있다.

다른 예에서, 온보드 시스템, 원격 시스템(예를 들어, 서버 302) 또는 둘 모두는 실시간으로 획득된 이미지에 기계 학습 모델을 사용하여 눈, 비, 건설 장비 또는 다른 유형의 장애물 및 가시성 장애의 존재와 양을 검출할 수 있다. 이러한 방식으로, 실시간 이미지를 통해 현재 운전 조건과 환경이 결정된다.

아래에서 논의되는 바와 같이, 이 피드백 루프는 시스템이 획득된 실시간 이미지 데이터에 기초하여 운전자에게 주의를 줄 수 있게 한다. 예를 들어, 이것은 일반적인 예상 거리별 내비게이션 모드와 비교하여 쉽게 관찰할 수 있는 항목에 기초하여 보다 자세한 명령으로 일련의 초기 운전 방향을 업데이트하거나 변경함으로써 수행될 수 있다. 이 시스템은 보다 자세한 명령을 사용하여 운전자를 목적지까지 안내한다. 여기에는 경로에서 좋은 방향을 제공할 것으로 예상되거나 알려진 시각적 힌트가 있는 증강 명령이 포함될 수 있다. 특히, 시스템은 현재의 운전 명령을 향상시킬 것인지(예를 들어, 보다 상세한 명령 작성) 실시간으로 변경할 것인지 여부와 방법을 결정할 수 있다. 이것은 운전자가 계획된 경로를 더 쉽고 정확하게 따라갈 수 있게 할 수 있다. 또한, 시스템은 경로를 변경하여 특정 차선 조건을 피할 수 있다.

예를 들어, 랜드 마크, 건물 또는 도시 경관의 다양한 다른 피처(공원, 광고판, 가로등 기둥 등)와 같이 더 크고 더 쉽게 발견되는 시각적 가이드를 사용하여 운전자에게 더 나은 방향을 제공하고 회전할 시기를 알릴 수 있다. 결과는 물론 후자의 예에서 이 두 건물이 나머지 건물보다 두드러진다고 가정하면, "오른쪽에 있는 큰 광고판을 지나 15 번가에서 좌회전 하세요" 또는 "오른쪽에 있는 갈색 고층 건물 근처에서 속도를 늦추기 시작하고 다음 고층 건물 앞에서 우회전할 준비를 하세요"와 같은 보다 자세한 일련의 명령이다. 이러한 명령은 차량의 디스플레이 (140), 촬상 디바이스(200)의 그래픽 디스플레이(230)상과 같이 시각적으로 제시될 수 있다. 여기서, 더 큰 폰트, 다른 컬러 및/또는 강조 표시와 같은 시각적 힌트가 사용될 수 있다.

명령은 또한 차량의 사용자 인터페이스(134)의 스피커(들)(142) 또는 촬상 디바이스(200)의 스피커(232)에 의해 청각적으로 제시될 수 있다. 추가적으로 또는 대안적으로, (예를 들어, 조향 휠을 통한) 햅틱 피드백은 또한 우회전 또는 좌회전을 나타내는 방식으로 조향 휠을 진동시키는 것과 같이 운전자에게 강화된 업데이트된 안내를 제공하는데 도움이 될 수 있다.

기술의 또 다른 양태는 운전자가 현재 환경 조건을 고려하여 제공된 내비게이션 명령을 올바르게 따를 가능성을 포함한다. 이 가능성은 동일한 운전자와 관련된 이전 내비게이션 상황, 동일하거나 유사한 위치에 있는 다른 운전자에 대한 집계된(및 익명화된) 통계 정보 및/또는 동일하거나 유사한 조건에서 현재 위치에서 사용 가능한 랜드 마크 정보의 유형 및 다른 요인에 기초할 수 있다. 이러한 정보는 시스템을 교정하고 및/또는 운전자에 대한 추가(상세) 기능 힌트를 선택하는데 사용될 수 있다.

예를 들어, 시스템은 개별 사용자 편차(예를 들어, 운전자가 일련의 초기 명령을 올바르게 따르지 않음) 및 이러한 편차가 개인의 운전 습관뿐만 아니라 다른 상황에서 어떻게 나타나는지 분석할 수 있다. 개인별 정보는 사용자의 디바이스에 저장될 수 있으며 일반 또는 '강화된' 일련의 명령을 페치할지 여부를 결정할 때만 사용된다.

이 접근법의 일부로서, 시스템은 경로를 따르는 개별적인 실패뿐만 아니라 전체적인 실패를 분석할 수 있다. 따라서, 운전자가 운전 중에 여러 차례 회전을 놓치거나 시스템이 경로를 따라 여러 운전자가 회전을 놓치고 있음을 인식하면 운전자에게 더 자세한 시각적 및/또는 청각적(및 햅틱) 힌트가 제공될 수 있다. 다른 예에서, 시스템이 예상치 못한 지역(예를 들어, 경로의 직선 구간 중간)에서 운전자가 감속하고 있음을 감지하면, 이것은 또한 운전자가 원래 방향을 따르는데 어려움을 겪고 있음을 나타낼 수도 있다. 예를 들어, 이것은 밤이나 눈 속에서 도로 표지판을 읽기 어렵거나 도로가 얼거나 눈이 내리는 등의 이유일 수 있다.

시나리오에 따라, 이 접근법은 시간 경과에 따라 정보를 축적하는 것을 포함할 수 있다. 예를 들어, 카메라 및/또는 기타 디바이스로부터의 증거에 기초하여 명시적인 조건 종속 가시성 모델을 개발할 수 있다. 여기서, 시스템이 일정 시간(예를 들어, 15 분, 1 시간 등) 동안 눈이 내리는 것을 감지하였다면 시스템은 다른 또는 추가 힌트를 선택하여 운전자를 도울 수 있다.

게다가, 표지판이나 다른 랜드 마크가 날씨나 조명 불량으로 인해 가려지지 않더라도 도로의 곡률이나 트럭 및 다른 대형 차량과 같은 일시적인 장애물로 인해보기가 어려울 수 있다. 이 경우, 카메라 피드백 루프 분석이 운전자가 방향에 문제가 있을 수 있음을 시사할 때 운전자를 돕기 위해 청각 힌트가 제시될 수 있다.

상세한 힌트로 운전자를 돕기 위한 한 가지 방법은 환경에 어떤 유형의 랜드 마크가 존재하는지 먼저 이해하는 것이 포함된다. 예를 들어, 여기에는 공개적으로 사용 가능한 거리 수준 이미지(예를 들어, 구글 거리 뷰 파노라마 및 다른 공개적으로 사용 가능한 이미지)의 분석이 포함될 수 있다. 이미지 콘텐츠 분석 시스템은 시맨틱(의미적) 피처(예를 들어, "높은 탑 블록의 북향 벽에 있는 벽화")의 조합뿐만 아니라 다양한 도시 피처(지형 지물)와 이러한 피처의 다양한 속성(모양, 컬러, 크기)을 검출할 수 있다.

예를 들어, 시스템은 원격 서버 또는 다른 차량들로부터 계획된 경로를 따라 특정 위치에 대한 이미지 정보를 획득할 수 있다. 획득되는 정보의 양은 무선 통신 링크의 견고성에 따라 달라질 수 있다. 또한 운전자(또는 승객)의 개인 디바이스는 주행을 시작하기 전에 이미지를 다운로드할 수 있다. 콘텐츠 업데이트는 필요에 따라 또는 주행 중에 제공될 수 있다. 날씨, 교통 및 비상 알림과 같은 기타 정보는 다른 차량을 포함한 외부 소스에서도 얻을 수 있다.

이러한 모든 정보는 상세하고 강화된 방향 정보를 제공할지 여부 또는 제공 방법을 결정할 때 시스템이 사용할 요인으로서 분석 및/또는 결합될 수 있다.

도 4a-b는 전형적인 방향 정보가 가려지거나 검출하기 어려울 수 있는 하나의 시나리오(400)를 도시한다. 예를 들어, 도 4a에 도시된 바와 같이, 운전자는 미리 생성된 방향을 따라 도로를 따라 차량(100)을 운전할 수 있다. 그러나, 메인 스트리트 거리 표지판(402)은 건물(404)에 의해 가려질 수 있다. 그리고 비즈니스 표지판인“조의 이발소"(406)는 눈, 비 또는 저조도 조건때문에 잘 보이지 않을 수 있다. 그러나, 거기에는 이발소와 연관되거나 근처에 위치한 다른 랜드 마크가 있는데 이는 건물(404)의 이발소 폴(408)이다.

도 4b의 평면도에 도시된 바와 같이, 차량내 촬상 디바이스(200)는 시야 (410)를 가질 수 있다. 시야(410)는 도로의 운전자의 관점과 유사할 수 있다. 여기서, 이미지 비교, 기계 학습 및/또는 본 명세서에서 논의된 임의의 다른 접근 방식 에 의해, 시스템은 획득된 촬상 디바이스의 실시간 이미지로부터 도로 표지판이 가려지고 운전자가 비즈니스 표지판을 보기에는 조건이 너무 저하될 수 있음을 결정할 수 있다. 그러나, 촬상 디바이스(200)에 의해 캡처된 이미지는 온 또는 오프 상태일 수 있는 이발소 폴(408)을 쉽게 식별할 수 있다. 이 추가 랜드 마크는 시스템에 의해 결정되어 더 가시적인 관심 지점을 제공할 수 있다. 그 결과, 운전 방향이 수정될 수 있거나, 예를 들어 이발소 폴 근처에 주차하도록 운전자에게 추가 힌트가 시각적 또는 청각적으로 제공될 수 있다(도 1b 참조). 이러한 상세한 증강은 촬상 디바이스(200), 차량의 컴퓨팅 디바이스(102) 및/또는 내비게이션 시스템(120)에 의해, 또는 원격 서버(302)(또는 이들의 조합)에 의해 수행될 수 있다.

도 5a-c는 운전자의 시야가 제한되거나 가려질 수 있는 다른 시나리오를 도시한다. 예를 들어, 도 5a는 시야 범위(500)를 도시한다. 이 도면은 양호한 조건 하에서, 운전자가 200 피트 또는 미터 이상의 차량의 전방을 향한 가려지지 않은 시야(502)를 가질 수 있음을 보여준다. 도 5b의 운전 시나리오(510)에 도시된 바와 같이, 도로를 따라 운전하는 동안, 교차로에 인접하여 위치하는 정지 표지판(512)과 같은 객체가 있을 수 있다. 거기에는 차량 앞 도로의 일부를 따라 웅덩이 또는 얼음 조각(514)이 있을 수도 있다. 그러나, 다음 차선에는 대형 트럭(516)이 있을 수도 있다. 그리고 도 5c의 평면도(520)에 의해 도시된 바와 같이, 표지판 및 웅덩이 또는 얼음 조각의 적어도 일부는 트럭에 의해 운전자의 시야에서 가려질 수 있다. 웅덩이 또는 얼음 조각은 폭우, 눈 등에 의해 가려질 수도 있다. 그럼에도 불구하고, 본 명세서에 설명된 기술을 사용하여, 온보드 촬상 디바이스에서 획득된 이미지를 사용하여, 가시성이 감소했는지 또는 예상되는 객체(예를 들어, 정지 표지판)가 운전자의 시야에 없는지 여부를 식별할 수 있다. 이에 기초하여, 시스템은 특정 운전 동작을 수행하는 것과 같은 강화된 또는 대체 방향 또는 다른 명령을 제공할 수 있다. 여기에는 차선 변경 또는 경로 변경이 포함될 수 있다. 특정 운전 동작의 예로는 감속, 회전, 정지 또는 주차가 있다. 이것은 또한 운전자가 원하는 목적지로 이동하는데 도움이 되도록 다른 랜드 마크에 대한 정보를 시각적, 청각적 또는 촉각으로 제공하는 것도 포함할 수 있다.

예시적인 방법

도 6은 운전 방향을 수정하기 위한 방법의 예(600)를 예시한다. 예를 들어, 블록(602)에 도시된 바와 같이, 차량 운전자를 위한 운전 경로에 대한 초기 방향이 획득된다. 방향은 출발지에서 목적지까지 차량을 라우팅하는데 사용된다. 블록 (604)에서, 이전에 캡처된 이미지는 경로를 따라 하나 이상의 위치에 대해 획득된다. 이는 예를 들어 원격 시스템, 다른 차량의 이미지 데이터베이스 또는 현재 차량 또는 차량과 함께 사용중인 촬상 디바이스에 의해 이전에 획득된 이미지로부터 올 수 있다. 블록(606)에서, 프로세스는 이전에 캡처된 이미지에 위치한 제1 랜드 마크를 식별한다. 블록(602, 604 및 606)의 프로세스는 다른 순서로 또는 병렬로 수행될 수 있다. 이들 중 일부 또는 전부는 운전자가 차량을 운전하기 전에 또는 차량이 목적지로 가는 도중에 수행될 수 있다.

블록(608)에서, 차량에 위치한 카메라에 의해 획득된 실시간 이미지가 수신된다. 이것은 카메라, 차량 및/또는 서버 시스템(302)과 같은 원격 시스템의 하나 이상의 프로세서에 의해 수신될 수 있다. 블록(610)에서, 실시간 이미지로부터의 적어도 하나의 이미지를 이전에 캡처된 이미지로부터의 적어도 하나의 이미지와 비교하여 제1 랜드 마크가 차량의 운전자에 의해 관찰될 수 있는지 여부를 결정한다. 예를 들어, 이미지의 상대적 밝기 및/또는 다른 이미지 특성을 평가하는 것과 같이 이미지들은 제1 랜드 마크의 관찰 가능성과 관련된 상대적 특성을 평가하기 위해 비교될 수 있다. 이미지 특성에는 이미지로부터 식별된 객체 또는 외부 환경의 현재 상태와 같은 시맨틱 콘텐츠가 포함될 수 있다. 이것은 차량이 운전되는 동안 실시간으로 수행되는 것이 바람직하다. 그 다음, 블록(612)에서, 제1 랜드 마크가 차량의 운전자에 의해 관찰되지 않을 것이라는 결정시, 운전 경로에 대한 초기 방향이 제1 랜드 마크와 다른 적어도 하나의 다른 랜드 마크를 나타내도록 수정된다. 이러한 방식으로, 운전자가 목적지까지 차량을 조종하는데 효과적으로 도움을 주기 위해 강력한 정보가 운전자에게 제공될 수 있다.

도 7은 업데이트된 또는 증강된 방향 정보를 차량의 운전자에게 제공하기 위한 방법의 예(700)를 도시한다. 블록(702)에서, 프로세스는 차량에 위치한 카메라에 의해 획득된 실시간 이미지를 수신한다. 실시간 이미지는 운전자가 차량을 운전하는 동안 획득된다. 블록(704)에서, 실시간 이미지로부터의 적어도 하나의 이미지는 분석되어 차량 주변의 외부 환경에서의 현재 조건을 결정한다. 이 분석은 예를 들어 카메라, 차량 및/또는 서버 시스템(302)과 같은 원격 서버 시스템의 하나 이상의 프로세서에 의해 수행될 수 있다. 현재 조건에는 기상 조건 및/또는 하루 중 시간이 포함될 수 있지만 이에 한정되지는 않는다. 블록(706)에서, 시스템은 분석에 기초하여, 현재 조건이 외부 환경내의 선택된 랜드 마크를 운전자가 볼 수 없도록 가릴 것으로 예상되는지 결정한다. 예를 들어, 각 랜드 마크는 그 랜드 마크가 가려진 것으로 간주되는 조건과 연관될 수 있다(예를 들어, 조명이 없는 도로 표지판은 밤에 가려진 것으로 간주될 수 있음). 이러한 문제 상황을 회피하기 위해, 블록(708)에서, 현재 조건이 외부 환경내의 선택된 랜드 마크를 운전자가 볼 수 없도록 가릴 것으로 예상된다고 결정되면, 시스템은 차량에 위치된 카메라가 관찰할 수 있는 다른 랜드 마크를 식별한다. 다른 랜드 마크는 현재 실시간으로 관찰될 수 있거나 가까운 장래에, 예를 들어 다음 5-10초 또는 1분 이내, 1-3 블록 내 등에서 관찰될 수 있다. 이 정보에 기초하여, 블록(710)에서 상이한 랜드 마크의 시각적, 청각적 및/또는 햅틱 표시가 운전자에게 제공된다.

달리 언급되지 않는 한, 전술한 대안적인 예들은 상호 배타적이지 않으며, 고유한 이점을 달성하기 위해 다양한 조합으로 구현될 수 있다. 전술한 피처들의 이러한 및 다른 변형 및 조합은 청구 범위에 의해 정의된 주제에서 벗어나지 않고 활용될 수 있으므로, 실시예들에 대한 전술한 설명은 정의된 주제의 제한이 아닌 예시를 통해 취해져야 한다. 주장에 의해. 또한, 본 명세서에 설명된 예들의 제공은 "와 같은", "포함하는" 등과 같이 표현되는 조항은 특정 예에 대한 청구 범위의 주제를 제한하는 것으로 해석되어서는 안되며, 오히려, 예들은 많은 가능한 실시 예 중 하나만을 예시하기 위한 것이다. 또한, 다른 도면에서 동일한 참조 번호는 동일하거나 유사한 엘리먼트를 식별할 수 있다. 본 명세서에서 달리 명시하지 않는 한, 프로세스 또는 다른 동작들은 상이한 순서로 또는 동시에 수행될 수 있다.

전술한 바와 같이, 기술의 한 가지 유익한 영역은 악천후에 대한 것이다. 예를 들어, 시스템은 눈이 한 차선을 덮거나 닫을 때와 같은 목표 차선 안내를 제공할 수 있다. 여기서, 방향은 다른 출구 또는 턴 오프 지점을 식별하기 위해 변경될 수 있다. 이 시스템은 최적이 아닌 다른 조건에도 적합하다. 예를 들어, 조명이 꺼진 주거 거리에서는 야간에 특정 도로 표지판이 보이지 않을 수 있다.

다른 이점은 외부 환경 조건을 포함하는 요인들 이외의 요인에 대한 자세한 수정 명령을 제공하는 기능을 포함할 수 있다. 예를 들어, 위에서 언급한 바와 같이, 시스템은 운전자가 운전 명령을 얼마나 가깝게 따를 수 있는지 평가할 수 있다. 이를 고려하여, 대체 요인에는 방향의 복잡성, 시간 또는 거리등에서 서로 가까운 수 많은 회전이 포함될 수 있다. 이 정보의 일부 또는 전부는 운전자가 원하는 목적지까지 운전 방향을 효과적으로 따를 수 있는 가능성을 높이기 위해, 실시간으로 업데이트되거나 증강된 명령 또는 힌트를 운전자에게 제공하는데 사용될 수 있다.

이 기술은 또한 차량 폼 팩터에 구애받지 않는다. 우사한 접근 방식이 승용차, 버스, 오토바이, 경트럭 및 대형 트럭, 건설 장비 등에 적용될 수 있다.

Claims (22)

1. 내비게이션 방법으로서,
   차량 운전자를 위한 운전 경로에 대한 초기 방향을 획득하는 단계, 상기 방향은 출발 지점에서 목적지까지 차량을 라우팅하는데 사용되고;
   경로를 따라 하나 이상의 위치의 이전에 캡처된 이미지를 획득하는 단계;
   이전에 캡처된 이미지에 위치한 제1 랜드 마크를 식별하는 단계;
   컴퓨터 디바이스의 하나 이상의 프로세서에 의해, 차량에 위치한 카메라에 의해 획득된 실시간 이미지를 수신하는 단계;
   하나 이상의 프로세서에 의해, 제1 랜드 마크가 차량의 운전자에 의해 관찰될 수 있는지 여부를 결정하도록 실시간 이미지로부터의 적어도 하나의 이미지를 이전에 캡처된 이미지로부터의 적어도 하나의 이미지와 비교하는 단계; 및
   제1 랜드 마크가 차량의 운전자에 의해 관찰될 수 없다고 결정된 경우, 하나 이상의 프로세스에 의해, 제1 랜드 마크와 다른 적어도 하나의 다른 랜드 마크를 표시하도록 운전 경로에 대한 초기 방향을 수정하는 단계를 포함하는 것을 특징으로 하는 내비게이션 방법.
2. 제1항에 있어서,
   상기 제1 랜드 마크가 차량의 운전자에 의해 관찰될 수 있는지 여부를 결정하도록 비교하는 단계는,
   제1 랜드 마크가 차량의 운전자가 볼 수 없도록 부분적으로 또는 완전히 가려지는지 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 내비게이션 방법.
3. 제2항에 있어서,
   상기 제1 랜드 마크가 부분적으로 또는 완전히 가려지는지 여부를 결정하는 단계는,
   제1 랜드 마크의 가시성이 기상 조건, 저조도 조건, 다른 차량, 건물 또는 초목에 의해 악영향을 받는지 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 내비게이션 방법.
4. 제1항에 있어서,
   상기 실시간 이미지는 경로를 따라 운전하는 동안 카메라에 의해 획득되는 것을 특징으로 하는 내비게이션 방법.
5. 제1항에 있어서,
   상기 수정된 방향은 적어도 하나의 다른 랜드 마크가 운전자에게 보일 때 특정 운전 동작을 취하도록 운전자에게 지시하는 것을 특징으로 하는 내비게이션 방법.
6. 제5항에 있어서,
   상기 특정 운전 동작은 감속, 회전, 정지 또는 주차로 구성된 그룹에서 선택되는 것을 특징으로 하는 내비게이션 방법.
7. 제1항에 있어서,
   상기 초기 방향을 수정하는 단계는,
   차량 내의 그래픽 디스플레이를 업데이트하거나 차량 내에서 가청 명령을 재생하는 것 중 적어도 하나를 포함하는 것을 특징으로 하는 내비게이션 방법.
8. 제1항에 있어서,
   차량에 위치한 카메라는 시야를 가지며,
   상기 실시간 이미지로부터의 적어도 하나의 이미지를 이전에 캡처된 이미지로부터의 적어도 하나의 이미지와 비교하는 단계는 운전자의 예상 시야에 대해 카메라의 시야를 평가하는 단계를 포함하는 것을 특징으로 하는 내비게이션 방법.
9. 제1항에 있어서,
   상기 초기 방향을 수정하는 단계는,
   카메라에 기사적인 운전 경로를 따라 하나 이상의 객체에 기초하여 초기 방향을 적어도 하나의 시각적 힌트로 증강시키거나 대체하는 단계를 더 포함하는 것을 특징으로 하는 내비게이션 방법.
10. 내비게이션 방법으로서,
    컴퓨팅 디바이스의 하나 이상의 프로세서에 의해, 운전자에 의한 차량의 운전 중에 차량에 위치한 카메라에 의해 획득된 실시간 이미지를 수신하는 단계;
    하나 이상의 프로세서에 의해. 차량 주변의 외부 환경에서 현재 조건을 결정하도록 실시간 이미지로부터 적어도 하나의 이미지를 분석하는 단계;
    하나 이상의 프로세서에 의해, 분석에 기초하여, 현재 조건이 외부 환경에서 선택된 랜드 마크를 운전자가 볼 수 없도록 가릴 것으로 예상되는지 결정하는 단계;
    현재 상태가 외부 환경에서 선택된 랜드 마크를 운전자가 볼 수 없도록 가릴 것으로 예상되는 경우, 하나 이상의 프로세서에 의해, 차량에 위치된 카메라에 의해 관찰될 수 있는 다른 랜드 마크를 식별하는 단계;
    다른 랜드 마크의 표시로 목적지까지 운전하기 위한 일련의 초기 방향을 수정하는 단계; 및
    다른 랜드 마크의 시각적, 청각적 또는 촉각적 표시를 운전자에게 제공하는 단계를 포함하는 것을 특징으로 하는 내비게이션 방법.
11. 삭제
12. 제10항에 있어서,
    상기 수정된 초기 방향은,
    다른 랜드 마크가 운전자에게 보일 때 특정 운전 동작을 취하도록 운전자에게 지시하는 것을 특징으로 하는 내비게이션 방법.
13. 제12항에 있어서,
    상기 특정 운전 동작은 감속, 회전, 정지 또는 주차로 구성된 그룹으로부터 선택되는 것을 특징으로 하는 내비게이션 방법.
14. 제10항에 있어서,
    상기 현재 조건이 외부 환경에서 선택된 랜드 마크를 운전자가 볼 수 없도록 가릴 것으로 예상되는지 결정하는 단계는,
    선택된 랜드 마크의 가시성이 기상 조건, 저조도 조건, 다른 차량, 건물 또는 초목에 의해 악영향을 받는지 결정하는 단계를 포함하는 것을 특징으로 하는 내비게이션 방법.
15. 제10항에 있어서,
    차량 주변의 외부 환경에서 현재 조건을 결정하도록 실시간 이미지로부터 적어도 하나의 이미지를 분석하는 단계는,
    외부 환경에서 장애물이나 다른 가시성 손상을 검출하기 위해 실시간 이미지에 기계 학습 모델을 적용하는 단계를 포함하는 것을 특징으로 하는 내비게이션 방법.
16. 내비게이션을 위한 시스템으로서,
    명령 또는 데이터 중 적어도 하나를 저장하도록 구성된 메모리; 및
    메모리에 작동 가능하게 결합된 하나 이상의 프로세서를 포함하고, 상기 하나 이상의 프로세서는:
    차량 운전자를 위한 운전 경로에 대한 초기 방향을 획득하고, 상기 방향은 출발 지점에서 목적지까지 차량을 라우팅하는데 사용되고;
    경로를 따라 하나 이상의 위치의 이전에 캡처된 이미지를 획득하고;
    이전에 캡처된 이미지에 위치한 제1 랜드 마크를 식별하고;
    차량에 위치한 카메라에 의해 획득된 실시간 이미지를 수신하고;
    제1 랜드 마크가 차량의 운전자에 의해 관찰될 수 있는지 여부를 결정하도록 실시간 이미지로부터의 적어도 하나의 이미지를 이전에 캡처된 이미지로부터의 적어도 하나의 이미지와 비교하고; 그리고
    제1 랜드 마크가 차량의 운전자에 의해 관찰될 수 없다고 결정된 경우, 제1 랜드 마크와 다른 적어도 하나의 다른 랜드 마크를 표시하도록 운전 경로에 대한 초기 방향을 수정하도록 구성되는 것을 특징으로 하는 내비게이션을 위한 시스템.
17. 제16항에 있어서,
    카메라를 더 포함하는 것을 특징으로 하는 내비게이션을 위한 시스템.
18. 제16항에 있어서,
    상기 카메라는 개인 통신 디바이스의 일부인 것을 특징으로 하는 내비게이션을 위한 시스템.
19. 내비게이션을 위한 시스템으로서,
    명령 또는 데이터 중 적어도 하나를 저장하도록 구성된 메모리; 및
    메모리에 작동 가능하게 결합된 하나 이상의 프로세서를 포함하고, 상기 하나 이상의 프로세서는:
    운전자에 의한 차량의 운전 중에 차량에 위치한 카메라에 의해 획득된 실시간 이미지를 수신하고;
    차량 주변의 외부 환경에서 현재 조건을 결정하도록 실시간 이미지로부터 적어도 하나의 이미지를 분석하고;
    분석에 기초하여 현재 조건이 외부 환경에서 선택된 랜드 마크를 운전자가 볼 수 없도록 가릴 것으로 예상되는지 결정하고;
    현재 조건이 외부 환경에서 선택된 랜드 마크를 운전자가 볼 수 없도록 가릴 것으로 예상되는 경우, 차량에 위치한 카메라에 의해 관찰될 수 있는 다른 랜드 마크를 식별하고;
    다른 랜드 마크의 표시로 목적지까지 운전하기 위한 일련의 초기 방향을 수정하고; 그리고
    다른 랜드 마크의 시각적, 청각적 또는 촉각적 표시를 운전자에게 제공하도록 구성되는 것을 특징으로 하는 내비게이션을 위한 시스템.
20. 제19항에 있어서,
    차량 주변의 외부 환경에서 현재 조건을 결정하도록 실시간 이미지로부터의 적어도 하나의 이미지의 분석은 기계 학습 프로세스에 따라 하나 이상의 프로세서에 의해 수행되는 것을 특징으로 하는 내비게이션을 위한 시스템.
21. 컴퓨팅 시스템으로서,
    하나 이상의 프로세서; 및
    실행될 때, 적어도 하나의 프로세서로 하여금 제1항 내지 제10항 및 제12항 내지 제15항 중 어느 하나의 방법을 실행하게 하는 명령을 포함하는 비-일시적 컴퓨터 판독 가능 메모리를 포함하는 것을 특징으로 하는 컴퓨팅 시스템.
22. 실행될 때 하나 이상의 프로세서로 하여금 제1항 내지 제10항 및 제12항 내지 제15항 중 어느 하나의 방법을 수행하게 하는 명령을 저장하는 비-일시적 컴퓨터 판독 가능 저장 매체.
    
    
    
    
    
    
    
    
    
    
    

Images