KR102299487B1

KR102299487B1 - 증강 현실 알림 제공 시스템 및 방법

Info

Publication number: KR102299487B1
Application number: KR1020140090288A
Authority: KR
Inventors: 윤민지; 정예슬; 신연주; 허원준
Original assignee: 현대자동차주식회사; 기아 주식회사
Priority date: 2014-07-17
Filing date: 2014-07-17
Publication date: 2021-09-08
Also published as: US9905128B2; US20160019786A1; CN105280006B; US9773412B2; CN105280006A; US20170372606A1; KR20160010694A

Abstract

증강 현실 알림 제공 시스템 및 방법이 개시된다. 증강 현실 알림 제공 시스템은 증강 현실(Augmented Reality)의 주행 영상에서 지면에 해당되는 영역인 지면 영역을 인식하는 인식부; 및 상기 지면 영역에 디스플레이 요소를 부가하여 상기 디스플레이 요소를 통해 주행과 관련된 알림 출력을 제어하는 제어부를 포함할 수 있다.

Description

증강 현실 알림 제공 시스템 및 방법{SYSTEM AND METHOD FOR PROVIDING DRIVE CONDITION USING AUGMENTED REALITY}

본 발명의 실시예들은 증강 현실(Augmented Reality)을 이용하여 알림 정보를 제공하는 기술에 관한 것이다.

내비게이션 단말기는 지능형 교통 체계(ITS: Intelligent Transport System)를 구체화시킨 시스템으로서 GPS(Global Positioning System) 위성을 사용한 위치정보를 차량에 도입하여 현재 차량의 위치를 기준으로 주변의 도로 상황 등을 차량 운전자에게 제공한다.

일반적인 차량용 내비게이션 단말기는 GPS 위성으로부터 수신되는 위성신호를 사용하여 차량의 위치정보를 검출하고 검출된 위치정보를 가지고 미리 저장된 지도정보를 검색하여 검출한 차량의 위치정보에 대응하는 좌표를 표시해준다. 이와 같이, 차량용 내비게이션 단말기는 현재 차량 위치정보를 기준으로 하여 지도정보를 제공함으로써 차량 운전자는 운행지역이 낯선 지역이라고 할지라도 상세한 위치정보를 제공받을 수 있어 차량 운전자의 편의성을 증가시키게 되는 것이다.

덧붙여, 내비게이션 단말기는 고속도로에 속도제한 구간에 설치된 카메라를 미리 감지하여 사용자에게 속도제한 구간임을 알려줌으로써 과속구간에서 과속 방지를 유도한다. 예컨대, 한국공개특허 제10-2008-0080691호(공개일 2008년 09월 05일) "내비게이션 단말기의 속도 제한 알림 방법"에는 속도제한구간을 주행 중인 차량의 평균 주행속도를 실시간으로 산출하여 구간 제한속도와 비교하여 구간 제한속도이상이면 경보 알림을 제공하는 기술이 개시되어 있다.

한편, 증강 현실이라 함은 가상 현실(Virtual Reality)의 한 분야로, 실제 환경에 가상 사물을 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다. 증강 현실은 현실 세계에 가상의 영상을 중첩하여 표현함으로써 현실 세계를 보충하고 실제 환경과 가상의 객체가 혼합된 형태의 영상을 제공한다. 따라서, 현실 세계만으로는 획득하기 어려운 부가적인 정보들을 현실 세계에 보강하여 제공함으로써 더욱 풍부한 정보를 현실감 있게 제공할 수 있다.

내비게이션 분야에서 증강 현실 기술을 응용하고 있는 가운데, 최근 내비게이션은 카메라로 촬영된 현실 세계의 영상을 모니터에 직접 재생시키면서 안전 운전 정보, 회전 정보, 거리 등 각종 주행 정보를 증강 현실로 보여주게 된다.

현재 내비게이션 단말기는 주행 안내 시 과속 혹은 주의 등의 알림이 필요한 경우 별도의 팝업창을 띄우거나 주행 안내 화면에 대한 색반전 방식 혹은 칼라톤 점멸 방식 등을 적용하여 주행 상태를 안내하고 있다.

그러나, 기존의 주행 상태 표현 방식은 주행 안내 화면을 가리거나 신규 디자인 요소를 발생시키는 방식이기 때문에 비효율적일 뿐만 아니라 증강 현실을 이용한 내비게이션 단말기에서는 증강 현실 기술의 특징과 이점을 제대로 살리지 못하는 실정이다.

또한, 기존에는 경로선에 칼라 구분으로 주행 상태를 안내하는 방식이 있으나, 이것은 경로가 지정되어 있을 경우에만 적용 가능하고, 경로가 지정되어 있지 않는 상태로 주행하는 경우에는 경로가 지정된 경우와 같은 방식으로 주행 상태를 표현하기가 어려운 문제가 있다.

증강 현실을 이용한 내비게이션의 의도와 특징을 살려 알림 정보를 효과적으로 표현할 수 있는 증강 현실 알림 제공 시스템 및 방법을 제공한다.

경로 설정의 여부와 관계 없이 증강 현실을 이용하여 알림 정보를 안내할 수 있는 증강 현실 알림 제공 시스템 및 방법을 제공한다.

증강 현실(Augmented Reality)의 주행 영상에서 지면에 해당되는 영역인 지면 영역을 인식하는 인식부; 및 상기 지면 영역에 디스플레이 요소를 부가하여 상기 디스플레이 요소를 통해 주행과 관련된 알림 출력을 제어하는 제어부를 포함하는 증강 현실 알림 제공 시스템을 제공한다.

일 측면에 따르면, 상기 인식부는, 상기 주행 영상에서 지평선을 검출한 후 상기 지평선을 기준으로 상기 지면 영역을 인식할 수 있다.

다른 측면에 따르면, 상기 인식부는, 상기 주행 영상에서 차선을 검출한 후 상기 차선의 소실점(vanishing point)을 기준으로 상기 지면 영역을 인식할 수 있다.

또 다른 측면에 따르면, 상기 디스플레이 요소는 상기 지면 영역에 적용 가능한 칼라 및 패턴 중 적어도 하나를 포함할 수 있다.

또 다른 측면에 따르면, 상기 디스플레이 요소는 상기 주행 영상에 대한 투명도를 유지할 수 있다.

또 다른 측면에 따르면, 상기 인식부는, 차량의 현재 주행 속도 및 상기 차량이 주행 중인 도로의 속성 중 적어도 하나와 관련된 주행 상태를 인식하고, 상기 제어부는, 상기 주행 상태에 대응되는 디스플레이 요소를 상기 지면 영역에 표현할 수 있다.

또 다른 측면에 따르면, 상기 인식부는, 차량의 현재 주행 속도와 상기 차량이 주행 중인 도로의 제한 속도를 비교하여 과속 여부를 인식하고, 상기 제어부는, 상기 현재 주행 속도가 상기 제한 속도를 초과한 과속 주행 상태인 경우 상기 지면 영역을 빨간 칼라로 표현할 수 있다.

또 다른 측면에 따르면, 상기 인식부는, 차량의 현재 위치를 기준으로 상기 차량이 주행 중인 도로의 속성을 인식하고, 상기 제어부는, 상기 차량이 주의 구간으로 지정된 구역에 진입한 경우 상기 지면 영역을 노란 칼라로 표현할 수 있다.

또 다른 측면에 따르면, 상기 제어부는, 상기 지면 영역에 상기 디스플레이 요소로서 패턴을 부가하고 상기 패턴이 차량의 주행 속도에 대응하여 상기 차량의 주행 방향으로 이동하는 효과를 표현할 수 있다.

또 다른 측면에 따르면, 상기 제어부는, 상기 차량이 음영 구간을 주행하는 동안 상기 패턴이 고정된 상태를 유지할 수 있다.

또 다른 측면에 따르면, 증강 현실 알림 제공 시스템은 일정 거리 전방에 위치하는 회전 지점을 감지하는 감지부를 더 포함하고, 상기 제어부는, 상기 주행 영상에서 상기 회전 지점의 위치에 방면 정보를 노출할 수 있다.

또 다른 측면에 따르면, 상기 제어부는, 상기 회전 지점의 위치에 상기 회전 지점에서의 회전 방향과 상기 회전 지점까지의 남은 거리를 표현할 수 있다.

또 다른 측면에 따르면, 상기 제어부는, 상기 방면 정보가 상기 회전 지점까지의 남은 거리에 따라 역비례로 확대되었다가 상기 회전 지점을 통과하는 시점에 사라지는 효과를 표현할 수 있다.

컴퓨터로 구현되는 증강 현실 알림 제공 방법에 있어서, 증강 현실(Augmented Reality)의 주행 영상에서 지면에 해당되는 영역인 지면 영역을 인식하는 단계; 및 상기 지면 영역에 디스플레이 요소를 부가하여 상기 디스플레이 요소를 통해 주행과 관련된 알림을 표현하는 단계를 포함하는 증강 현실 알림 제공 방법을 제공한다.

본 발명의 실시예에 따르면, 경로 설정의 여부와 관계 없이 증강 현실을 이용하여 주행과 관련된 알림을 표현함으로써 증강 현실을 이용한 내비게이션의 의도와 특징을 살려 알림 정보를 효과적으로 표현할 수 있다.

본 발명의 실시예에 따르면, 증강 현실 상의 실제 도로와 매칭된 방식으로 주행과 관련된 알림 정보를 표현함으로써 이질감을 최소화 시키고 더욱 자연스러운 시각 효과를 제공할 수 있다.

도 1는 본 발명의 일 실시예에 있어서, 컴퓨터 시스템의 내부 구성의 일례를 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 있어서, 주행 상태 알림 방법을 도시한 순서도이다.
도 3 내지 도 4는 증강 현실의 주행 영상에서 지평선을 검출하는 방식을 설명하기 위한 예시 도면들이다.
도 5 내지 도 8은 증강 현실 상의 지면 영역에 주행 상태 알림을 표현하는 방식을 설명하기 위한 예시 도면들이다.
도 9는 본 발명의 일 실시예에 있어서, 방면 정보 알림 방법을 도시한 순서도이다.
도 10 내지 도 11은 증강 현실에서의 회전 지점에 방면 정보를 표현하는 방식을 설명하기 위한 예시 도면들이다.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

본 실시예들은 증강 현실을 이용한 주행 안내 환경에서 시각적인 알림 정보를 표현하는 기술에 관한 것으로, 이는 내비게이션의 증강 현실 뷰 모드에 적용될 수 있다.

도 1는 본 발명의 일 실시예에 있어서, 컴퓨터 시스템의 내부 구성의 일례를 설명하기 위한 블록도이다.

도 1에 도시한 바와 같이, 컴퓨터 시스템(100)은 적어도 하나의 프로세서(processor)(110), 메모리(memory)(120), 주변장치 인터페이스(peripheral interface)(130), 입/출력 서브시스템(I/O subsystem)(140), 전력 회로(150) 및 통신 회로(140)를 적어도 포함할 수 있다. 이때, 컴퓨터 시스템(100)은 증강 현실을 적용한 내비게이션 시스템에 해당될 수 있다.

도 1에서 화살표는 컴퓨터 시스템의 구성요소들간의 통신 및 데이터 전송을 가능하게 할 수 있음을 의미하며, 이는 고속 시리얼 버스(high-speed serial bus), 병렬 버스(parallel bus), SAN(Storage Area Network) 및/또는 다른 적절한 통신 기술을 이용하여 구성될 수 있다.

메모리(120)는 운영체제(121) 및 주행안내 제어루틴(122)을 포함할 수 있다. 일 예로, 메모리(120)는 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(120)는 운영체제(121)와 주행안내 제어루틴(122)을 위한 프로그램 코드가 저장될 수 있으며, 다시 말해 컴퓨터 시스템(100)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그밖에 다양한 데이터를 포함할 수 있다. 이때, 프로세서(110)나 주변장치 인터페이스(130) 등의 다른 컴포넌트에서 메모리(120)에 액세스하는 것은 프로세서(110)에 의해 제어될 수 있다.

주변장치 인터페이스(130)는 컴퓨터 시스템(100)의 입력 및/또는 출력 주변장치를 프로세서(110) 및 메모리(120)에 결합시킬 수 있다. 그리고, 입/출력 서브시스템(140)은 다양한 입/출력 주변장치들을 주변장치 인터페이스(130)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템(140)은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 카메라, 각종 센서 등의 주변장치를 주변장치 인터페이스(130)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템(140)을 거치지 않고 주변장치 인터페이스(130)에 결합될 수도 있다.

전력 회로(150)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(150)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.

통신 회로(140)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨터 시스템과 통신을 가능하게 할 수 있다. 또는 상술한 바와 같이 필요에 따라 통신 회로(140)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨터 시스템과 통신을 가능하게 할 수도 있다.

프로세서(110)는 메모리(120)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨터 시스템(100)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다. 다시 말해, 프로세서(110)는 기본적인 산술, 로직 및 컴퓨터 시스템의 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 프로세서(110)는 인식부(111)와 감지부(112) 및 제어부(113)를 위한 프로그램 코드를 실행하도록 구성될 수 있다. 이러한 프로그램 코드는 메모리(120)와 같은 기록 장치에 저장될 수 있다.

인식부(111)와 감지부(112) 및 제어부(113)는 이하에서 설명하게 될 증강 현실 알림 제공 방법을 수행하기 위해 구성될 수 있다.

이러한 도 1의 실시예는, 컴퓨터 시스템(100)의 일례일 뿐이고, 컴퓨터 시스템(100)은 도 1에 도시된 일부 컴포넌트가 생략되거나, 도 1에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨터 시스템은 도 1에 도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(140)에 다양한 통신 방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨터 시스템(100)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.

상기한 구성의 증강 현실을 이용한 내비게이션 시스템은 카메라로 촬영된 현실 세계의 주행 영상을 디스플레이에 재생하면서 주행 영상 상에 안전 운전 정보, 방면 정보, 거리 정보 등을 겹쳐서 표현할 수 있다.

특히, 본 발명에서는 증강 현실을 이용한 내비게이션의 의도와 특징을 살려 알림 정보를 효과적으로 표현하기 위한 기술로서 (1) 주행 영상에 주행 상황을 표현하는 기술과, (2) 주행 영상에 회전 지점의 접근을 표현하는 기술을 제안한다.

먼저, 주행 영상에 주행 상황을 표현하는 기술에 대해 설명하기로 한다.

도 2는 본 발명의 일 실시예에 있어서, 주행 상태 알림 방법을 도시한 순서도이다. 일 실시예에 따른 주행 상태 알림 방법은 도 1을 통해 설명한 시스템의 구성요소인 인식부(111) 및 제어부(113)에 의해 수행될 수 있다.

단계(210)에서 인식부(111)는 증강 현실을 이용한 주행 영상에서 지면에 해당되는 부분(이하, '지면 영역'을 칭함)을 인식할 수 있다. 다시 말해, 인식부(111)는 카메라로 촬영된 실제 주행 영상에서 도로에 해당되는 지면 영역을 검출할 수 있다. 일 예로, 도 3을 참조하면 인식부(111)는 주행 영상(310)에서 지평선(수평선)(301)을 검출한 후 지평선(301)을 기준으로 이하의 영역(303)을 지면 영역으로 인식할 수 있다. 이때, 지평선은 카메라의 설치 각도 및 시야각에 따라 결정될 수 있으며, 기 공지된 지평선 검출 알고리즘 중 하나 이상의 알고리즘을 이용하여 검출할 수 있다. 다른 예로, 도 4를 참조하면 인식부(111)는 주행 영상(410)에서 차선들(405)을 검출하고 검출된 차선들(405)에 대한 소실점(vanishing point)을 이용하여 주행 영상(410)에서의 지평선(401)을 인식할 수 있고, 지평선(401)을 기준으로 이하의 영역(403)을 지면 영역으로 인식할 수 있다. 상기한 방식들 이외에도 영상 분석 기술을 이용하여 주행 영상에서 지면 영역을 인식하는 등 다양한 방식을 통해 지면 영역을 인식할 수 있다.

단계(220)에서 인식부(111)는 현재 주행 위치에서의 차량 주행 상태를 인식할 수 있다. 일 예로, 인식부(111)는 차량의 현재 주행 속도를 인식한 후 차량이 주행 중인 도로의 기 설정된 제한 속도와 차량의 현재 주행 속도를 비교하여 과속 여부를 인식할 수 있다. 다른 예, 인식부(111)는 차량이 현재 주행 중인 도로 속성을 인식할 수 있으며, 다시 말해 현재 주행 위치에 해당되는 도로의 링크 속성을 인식할 수 있다. 예를 들어, 인식부(111)는 차량의 현재 주행 속도에 따라 차량 주행 상태를 일반 주행 상태와 과속 주행 상태로 구분할 수 있고, 차량이 주행 중인 도로 속성에 따라 주의 구간(예컨대, 어린이보호구역(스쿨존), 노인보호구역(실버존) 등)과 GPS 음영구간(예컨대, 지하 구간, 터널 구간 등)을 구분할 수 있다.

단계(230)에서 제어부(113)는 증강 현실을 이용한 주행 영상의 지면 영역에 차량 주행 상태에 대응되는 디스플레이 요소를 부가하여 알림, 주의, 경고 등의 주행 상태를 표현할 수 있다. 주행 상태를 표현하기 위한 디스플레이 요소로는 칼라와 패턴 중 적어도 하나를 적용할 수 있다. 본 실시예에서는 사전에 주행 상태(예컨대, 일반 주행 상태, 과속 주행 상태, 주의구간 진입 상태, GPS 음영구간 진입 상태)를 구분하여 정의하고, 칼라가 가진 특징과 매칭되도록 각 주행 상태에 알맞은 비쥬얼적인 요소로 지면 영역을 표현할 수 있다. 이때, 제어부(113)는 주행 영상의 전체 화면이 아닌 지면 영역에 디스플레이 요소를 표현할 수 있으며, 특히 주행 영상이 가려지지 않도록 디스플레이 요소에 대해 소정의 투명도를 유지할 수 있다. 그리고, 디스플레이 요소 중 하나인 패턴은 가로 스트라이프 형태의 패턴이나 ∧ 모양의 변형된 스트라이프 패턴을 적용할 수 있으며, 실제 지면과 매칭하여 원근법에 따라 패턴 굵기나 간격 등으로 거리감을 표현할 수 있고 주행 속도에 따라 해당 패턴도 함께 움직이는 효과의 속도감 표현도 가능하다. 상기한 바와 같이, 디스플레이 요소로는 칼라가 가진 특징을 주행 상태와 매칭하여 표현할 수 있고, 패턴을 통해 거리감과 주행 속도는 물론 도로 질감 등을 표현할 수 있다.

예를 들어, 제어부(113)는 도 5에 도시한 바와 같이 차량이 현재 과속 주행 상태인 경우 주행 영상(510)의 지면 영역(503)을 '경고'의 의미를 가진 '빨간색'으로 채워 표현할 수 있으며, 가로 스트라이프 형태의 패턴(도 5의 사선 해칭 부분)을 차량의 주행 속도에 맞춰 빠르게 움직이며 속도감을 느낄 수 있도록 표현할 수 있다. 이때, 제어부(113)는 주행 영상의 지면 영역(503)에 특정 칼라를 적용함에 있어 차량의 현재 속도에 대응하는 빈도로 칼라 점멸을 적용하는 것 또한 가능하다. 또한, 제어부(113)는 도 6에 도시한 바와 같이 차량이 현재 주의를 요하는 어린이보호구역이나 노인보호구역에 진입한 경우 주행 영상(610)의 지면 영역(603)을 '주의'의 의미를 가진 '노란색'으로 채워 표현할 수 있다. 그리고, 제어부(113)는 도 7에 도시한 바와 같이 차량이 현재 제한 속도 이하로 주행하는 일반 주행 상태인 경우 주행 영상(710)의 지면 영역(703)에 칼라는 적용하지 않고 회색의 가로 스트라이프 패턴만을 주행 속도에 맞춰 움직이는 효과로 표현할 수 있다. 한편, 제어부(113)는 현재 차량이 GPS 음영 구간에 진입한 경우 마찬가지로 칼라를 적용하지 않고 회색의 가로 스트라이프 패턴을 고정한 상태로 주행 영상만을 보여줌으로써 GPS 신호가 원활하지 않음을 표현할 수 있다.

상기한 실시예에서는 지평선을 기준으로 지평선 이하의 지면 영역 전체에 차량 주행 상태에 대응되는 디스플레이 요소를 부가하는 것으로 설명하고 있으나, 이에 한정되는 것은 아니며 주행 영상에서 주행 상태의 표현에 적합한 다른 영역을 특정하여 본 발명의 실시가 가능함은 물론이다.

예를 들어, 제어부(113)는 도 8에 도시한 바와 같이 주행 영상(810)에서 인식된 차선(805)을 기준으로 차선(805)과 차선(805) 간의 영역, 즉 실제 도로 영역에 해당되는 부분(803)에 차량 주행 상태에 대응되는 디스플레이 요소(칼라와 패턴 중 적어도 하나)를 부가하여 알림, 주의, 경고 등의 주행 상태를 표현할 수 있다. 다시 말해, 제어부(113)는 주행 영상(810)의 전체 화면이 아닌 일부 영역인 도로 영역 부분(803)에 주행 상태(예컨대, 일반 주행 상태, 과속 주행 상태, 주의구간 진입 상태, GPS 음영구간 진입 상태 등)를 나타내는 디스플레이 요소를 표현할 수 있다.

따라서, 본 발명에서는 설정 경로의 유무와 관계 없이 주행 상태에 대응되는 디스플레이 요소를 주행 영상의 지면 영역에 표현함으로써 주행 상태에 대한 경고나 주의 등의 알림을 효과적으로 안내할 수 있다.

다음, 주행 영상에 회전 지점의 접근을 표현하는 기술에 대해 설명하기로 한다.

도 9은 본 발명의 일 실시예에 있어서, 방면 정보 알림 방법을 도시한 순서도이다. 일 실시예에 따른 방면 정보 알림 방법은 도 1을 통해 설명한 시스템의 구성요소인 감지부(112) 및 제어부(113)에 의해 수행될 수 있다.

단계(910)에서 감지부(112)는 내비게이션 상에 경로가 설정된 경우 차량의 현재 위치를 기준으로 경로에 포함된 회전 지점을 감지할 수 있다. 다시 말해, 감지부(112)는 정해진 경로로의 주행 중에 일정 거리 전방에 위치하는 회전 지점을 감지할 수 있다.

단계(920)에서 제어부(113)는 정해진 경로에서 전방에 회전 지점이 감지되면 주행 영상의 회전 지점 위치에 방면 정보를 나타내는 디스플레이 요소를 노출할 수 있다. 예를 들어, 제어부(113)는 도 10에 도시한 바와 같이 주행 영상(1010)을 통해 전방의 회전 지점(A)에서 우회전 안내가 필요한 경우 회전 지점(A)에서의 회전 방향(1007)과 회전 지점(A)까지의 남은 거리(1009)를 나타내는 디스플레이 요소를 주행 영상(1010)의 회전 지점(A) 부근에 겹쳐서 표현할 수 있다.

단계(930)에서 제어부(113)는 방면 정보를 나타내는 디스플레이 요소를 차량의 주행에 맞춰 가변하여 주행 영상에 회전 지점으로의 접근을 표현할 수 있다. 예를 들어, 제어부(113)는 도 11에 도시한 바와 같이 주행 영상(1110) 상의 방면 정보, 즉 회전 지점에서의 회전 방향(1107)과 회전 지점까지의 남은 거리(1109)를 남은 거리와 반비례하는 크기로 점차 확대하여 표현함으로써 회전 지점으로의 접근을 안내할 수 있다. 이때, 주행 영상(1110) 상에 표현된 방면 정보는 회전 지점을 통과하는 시점에 주행 영상(1110)에서 사라지도록 구현될 수 있다.

따라서, 본 발명에서는 경로에 포함된 회전 지점에 일정 거리 이내로 접근할 때 회전 지점에 대한 방면 정보를 주행 영상에 겹쳐서 표현할 수 있으며, 이어 차량의 주행에 맞춰 회전 지점까지의 남은 거리에 따라 방면 정보를 역비례로 확대하여 방면 정보가 차량 운전자 시점으로 점차적으로 다가왔다 사라지는 형태로 표현함으로써 회전 지점으로의 점진적인 접근을 사실적으로 표현할 수 있다.

본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 시스템을 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 또한, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다.

이와 같이, 본 발명의 실시예에 따르면, 경로 설정의 여부와 관계 없이 증강 현실을 이용하여 주행과 관련된 알림을 표현함으로써 증강 현실을 이용한 내비게이션의 의도와 특징을 살려 알림 정보를 효과적으로 표현할 수 있다. 또한, 본 발명의 실시예에 따르면, 증강 현실 상의 실제 도로와 매칭된 방식으로 주행과 관련된 알림 정보를 표현함으로써 이질감을 최소화 시키고 더욱 자연스러운 시각 효과를 제공할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

100: 내비게이션 시스템
111: 인식부
112: 감지부
113: 제어부

Claims

차량의 주행 영상을 촬영하기 위한 카메라;
상기 주행 영상에서 지면에 해당되는 영역인 지면 영역을 인식하는 인식부; 및
상기 주행 영상을 디스플레이에 표시함에 있어 상기 주행 영상의 상기 지면 영역에 증강 현실 디스플레이 요소를 부가하여 상기 증강 현실 디스플레이 요소를 통해 주행과 관련된 알림 출력을 제어하는 제어부
를 포함하고,
상기 인식부는,
상기 차량의 현재 주행 속도와 상기 차량이 현재 주행 중인 도로 속성에 기초하여 현재 주행 위치에서의 주행 상태를 인식하고,
상기 제어부는,
상기 증강 현실 디스플레이 요소를 상기 인식된 주행 상태 별로 구분하여 상기 지면 영역에 출력하고,
상기 주행 상태는 상기 현재 주행 속도에 따라 일반 주행 상태와 과속 주행 상태 중 적어도 하나로 구분되고 상기 도로 속성에 따라 스쿨존과 실버존 중 적어도 하나를 포함하는 주의 구간과 지하 구간 및 터널 구간 중 적어도 하나로 구분되는 것
을 특징으로 하는 증강 현실 알림 제공 시스템.
제1항에 있어서,
상기 인식부는,
상기 주행 영상에서 지평선을 검출한 후 상기 지평선을 기준으로 상기 지면 영역을 인식하는 것
을 특징으로 하는 증강 현실 알림 제공 시스템.
제1항에 있어서,
상기 인식부는,
상기 주행 영상에서 차선을 검출한 후 상기 차선의 소실점(vanishing point)을 기준으로 상기 지면 영역을 인식하는 것
을 특징으로 하는 증강 현실 알림 제공 시스템.
제1항에 있어서,
상기 증강 현실 디스플레이 요소는 상기 지면 영역에 적용 가능한 칼라 및 패턴 중 적어도 하나를 포함하는 것
을 특징으로 하는 증강 현실 알림 제공 시스템.
제1항에 있어서,
상기 증강 현실 디스플레이 요소는 상기 주행 영상에 대한 투명도를 유지하는 것
을 특징으로 하는 증강 현실 알림 제공 시스템.
삭제
제1항에 있어서,
상기 인식부는,
상기 차량의 현재 주행 속도와 상기 차량이 주행 중인 도로의 제한 속도를 비교하여 과속 여부를 인식하고,
상기 제어부는,
상기 현재 주행 속도가 상기 제한 속도를 초과한 과속 주행 상태인 경우 상기 지면 영역을 빨간 칼라로 표현하는 것
을 특징으로 하는 증강 현실 알림 제공 시스템.
제1항에 있어서,
상기 인식부는,
상기 차량의 현재 위치를 기준으로 상기 차량이 주행 중인 도로의 속성을 인식하고,
상기 제어부는,
상기 차량이 주의 구간으로 지정된 구역에 진입한 경우 상기 지면 영역을 노란 칼라로 표현하는 것
을 특징으로 하는 증강 현실 알림 제공 시스템.
제1항에 있어서,
상기 제어부는,
상기 지면 영역에 상기 증강 현실 디스플레이 요소로서 패턴을 부가하고 상기 패턴이 차량의 주행 속도에 대응하여 상기 차량의 주행 방향으로 이동하는 효과를 표현하는 것
을 특징으로 하는 증강 현실 알림 제공 시스템.
제9항에 있어서,
상기 제어부는,
상기 차량이 음영 구간을 주행하는 동안 상기 패턴이 고정된 상태를 유지하는 것
을 특징으로 하는 증강 현실 알림 제공 시스템.
제1항에 있어서,
일정 거리 전방에 위치하는 회전 지점을 감지하는 감지부
를 더 포함하고,
상기 제어부는,
상기 주행 영상에서 상기 회전 지점의 위치에 방면 정보를 노출하는 것
을 특징으로 하는 증강 현실 알림 제공 시스템.
제11항에 있어서,
상기 제어부는,
상기 회전 지점의 위치에 상기 회전 지점에서의 회전 방향과 상기 회전 지점까지의 남은 거리를 표현하는 것
을 특징으로 하는 증강 현실 알림 제공 시스템.
제11항에 있어서,
상기 제어부는,
상기 방면 정보가 상기 회전 지점까지의 남은 거리에 따라 역비례로 확대되었다가 상기 회전 지점을 통과하는 시점에 사라지는 효과를 표현하는 것
을 특징으로 하는 증강 현실 알림 제공 시스템.
컴퓨터로 구현되는 증강 현실 알림 제공 방법에 있어서,
카메라를 통해 차량의 주행 영상을 촬영하는 단계;
상기 주행 영상에서 지면에 해당되는 영역인 지면 영역을 인식하는 단계; 및
상기 주행 영상을 디스플레이에 표시함에 있어 상기 주행 영상의 상기 지면 영역에 증강 현실 디스플레이 요소를 부가하여 상기 증강 현실 디스플레이 요소를 통해 주행과 관련된 알림을 표현하는 단계
를 포함하고,
상기 인식하는 단계는,
차량의 현재 주행 속도와 상기 차량이 현재 주행 중인 도로 속성에 기초하여 현재 주행 위치에서의 주행 상태를 인식하고,
상기 표현하는 단계는,
상기 증강 현실 디스플레이 요소를 상기 인식된 주행 상태 별로 구분하여 상기 지면 영역에 출력하고,
상기 주행 상태는 상기 현재 주행 속도에 따라 일반 주행 상태와 과속 주행 상태 중 적어도 하나로 구분되고 상기 도로 속성에 따라 스쿨존과 실버존 중 적어도 하나를 포함하는 주의 구간과 지하 구간 및 터널 구간 중 적어도 하나로 구분되는 것
을 특징으로 하는 증강 현실 알림 제공 방법.
제14항에 있어서,
상기 인식하는 단계는,
상기 주행 영상에서 지평선을 검출한 후 상기 지평선을 기준으로 상기 지면 영역을 인식하는 것
을 특징으로 하는 증강 현실 알림 제공 방법.
제14항에 있어서,
상기 증강 현실 디스플레이 요소는 상기 지면 영역에 적용 가능한 칼라 및 패턴 중 적어도 하나를 포함하는 것
을 특징으로 하는 증강 현실 알림 제공 방법.
삭제
제14항에 있어서,
일정 거리 전방에 위치하는 회전 지점을 감지하는 단계
를 더 포함하고,
상기 표현하는 단계는,
상기 주행 영상에서 상기 회전 지점의 위치에 방면 정보를 노출하는 것
을 특징으로 하는 증강 현실 알림 제공 방법.
제18항에 있어서,
상기 표현하는 단계는,
상기 회전 지점의 위치에 상기 회전 지점에서의 회전 방향과 상기 회전 지점까지의 남은 거리를 포함하는 방면 정보를 표현하되,
상기 방면 정보가 상기 회전 지점까지의 남은 거리에 따라 역비례로 확대되었다가 상기 회전 지점을 통과하는 시점에 사라지는 효과를 표현하는 것
을 특징으로 하는 증강 현실 알림 제공 방법.
컴퓨터 시스템이 통제 알림 제공을 제어하는 명령(instruction)을 포함하는 컴퓨터 판독가능 매체로서,
상기 명령은,
카메라를 통해 차량의 주행 영상을 촬영하는 단계;
상기의 주행 영상에서 지면에 해당되는 영역인 지면 영역을 인식하는 단계; 및
상기 주행 영상을 디스플레이에 표시함에 있어 상기 주행 영상의 상기 지면 영역에 증강 현실 디스플레이 요소를 부가하여 상기 증강 현실 디스플레이 요소를 통해 주행과 관련된 알림을 표현하는 단계
를 포함하는 방법에 의하여 상기 컴퓨터 시스템을 제어하고,
상기 인식하는 단계는,
차량의 현재 주행 속도와 상기 차량이 현재 주행 중인 도로 속성에 기초하여 현재 주행 위치에서의 주행 상태를 인식하고,
상기 표현하는 단계는,
상기 증강 현실 디스플레이 요소를 상기 인식된 주행 상태 별로 구분하여 상기 지면 영역에 출력하고,
상기 주행 상태는 상기 현재 주행 속도에 따라 일반 주행 상태와 과속 주행 상태 중 적어도 하나로 구분되고 상기 도로 속성에 따라 스쿨존과 실버존 중 적어도 하나를 포함하는 주의 구간과 지하 구간 및 터널 구간 중 적어도 하나로 구분되는 것
을 특징으로 하는, 컴퓨터 판독가능 저장 매체.