KR20160065724A - 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 - Google Patents

전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
KR20160065724A
KR20160065724A KR1020150036151A KR20150036151A KR20160065724A KR 20160065724 A KR20160065724 A KR 20160065724A KR 1020150036151 A KR1020150036151 A KR 1020150036151A KR 20150036151 A KR20150036151 A KR 20150036151A KR 20160065724 A KR20160065724 A KR 20160065724A
Authority
KR
South Korea
Prior art keywords
guiding
point
vehicle
augmented reality
guiding point
Prior art date
Application number
KR1020150036151A
Other languages
English (en)
Other versions
KR102406491B1 (ko
Inventor
조호형
고석필
Original Assignee
팅크웨어(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 팅크웨어(주) filed Critical 팅크웨어(주)
Priority to US14/954,333 priority Critical patent/US9625270B2/en
Priority to CN201510868227.2A priority patent/CN105654030B/zh
Priority to CN201910496468.7A priority patent/CN110263688B/zh
Priority to CN201910496805.2A priority patent/CN110260877B/zh
Publication of KR20160065724A publication Critical patent/KR20160065724A/ko
Priority to US15/470,436 priority patent/US10145703B2/en
Application granted granted Critical
Publication of KR102406491B1 publication Critical patent/KR102406491B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3446—Details of route searching algorithms, e.g. Dijkstra, A*, arc-flags, using precalculated routes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3632—Guidance using simplified or iconic instructions, e.g. using arrows
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

전자 장치의 제어 방법이 개시된다. 본 제어 방법은, 운행 중인 차량의 위치를 결정하는 단계, 결정된 차량 위치를 기준으로 소정 거리 전방에 위치한 안내 지점의 정보를 지도 데이터를 이용하여 검출하는 단계, 안내 지점의 정보를 이용하여 안내 지점을 나타내는 객체를 생성하는 단계 및 생성된 객체를 증강 현실을 통해 출력하는 단계를 포함한다.

Description

전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체{ELECTRONIC APPARATUS, CONTROL METHOD OF ELECTRONIC APPARATUS, COMPUTER PROGRAM AND COMPUTER READABLE RECORDING MEDIUM}
본 발명은 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체에 관한 것으로, 보다 상세하게는 증강 현실 상에서 사용자에게 운전 관련 안내를 수행하는 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
차량의 주행 시 가장 중요한 것은 안전 주행 및 교통 사고의 예방이며, 이를 위해 차량의 자세 제어, 차량 구성장치들의 기능 제어 등을 수행하는 다양한 보조장치 및 안전 벨트, 에어백 등의 안전장치가 차량에 장착되어 있다.
뿐만 아니라, 최근에는 블랙박스 등과 같이 차량에 위치하여 차량의 주행 영상 및 각종 센서들로부터 전송되는 데이터를 저장함으로써, 차량이 사고 발생시 차량의 사고 원인을 규명하는 장치들도 차량에 구비되는 추세이다. 스마트폰, 태블릿과 같은 휴대용 단말기들도 블랙박스 또는 네비게이션 어플리케이션 등이 탑재 가능하여 이와 같은 차량용 장치로 활용되고 있는 실정이다.
그러나, 현재 이와 같은 차량용 장치들에서의 주행 영상 활용도는 낮은 실정이다. 보다 구체적으로 현재 차량에 장착된 카메라와 같은 비젼 센서를 통해 차량의 주행 영상을 획득하더라도 차량의 전자 장치는 이를 단순히 표시, 전송하거나, 차선 이탈 여부 등과 같은 간단한 주변 알림 정보만을 생성하는데 그치고 있다.
또한, 현재 새로이 대두되는 차량의 전자 장치로서 HUD(Head Up Display)나, 증강 현실 인터페이스도 제안되고 있으나 여기에서도 차량의 주행 영상의 활용도는 단순 디스플레이 또는 간단한 알림 정보 생성에 그치고 있다.
본 발명의 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은 운행 중인 차량이 안내 지점으로부터 소정 거리 이내에 접근하면, 안내 지점을 나타내는 객체를 생성하여 증강 현실을 통해 출력하는 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체를 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법은, 운행 중인 차량의 위치를 결정하는 단계, 상기 결정된 차량 위치를 기준으로 소정 거리 전방에 위치한 안내 지점의 정보를 지도 데이터를 이용하여 검출하는 단계, 상기 안내 지점의 정보를 이용하여 상기 안내 지점을 나타내는 객체를 생성하는 단계 및 상기 생성된 객체를 증강 현실을 통해 출력하는 단계를 포함한다.
그리고, 상기 출력하는 단계는, 카메라에 대한 캘리브레이션(Calibration)을 수행하여 카메라 파라미터를 산출하는 단계, 상기 카메라 파라미터를 기초로 상기 카메라의 촬영 영상에 대한 가상 3D(3-Dimensional) 공간을 생성하는 단계 및 상기 가상 3D 공간에 상기 생성된 객체를 매핑하는 단계를 포함할 수 있다.
또한, 상기 차량의 위치와 상기 안내 지점의 위치 차이 정보를 산출하는 단계 및 상기 위치 차이 정보를 이용하여 상기 가상 3D 공간에서 상기 생성된 객체의 위치를 결정하는 단계를 더 포함할 수 있다.
그리고, 상기 객체는, 현실 세계에 대응되는 증강 현실에서 상기 안내 지점의 위치를 나타내는 제1 객체를 포함할 수 있다.
또한, 상기 제1 객체의 표출 위치는, 상기 차량과 상기 안내 지점의 거리 차이에 따라 유동적으로 변경될 수 있다.
그리고, 상기 차량이 상기 안내 지점을 통과하면, 상기 통과된 안내 지점을 나타내는 객체는 상기 증강 현실에서 사라질 수 있다.
또한, 상기 객체는, 상기 안내 지점을 안내하는 제2 객체를 더 포함할 수 있다.
그리고, 상기 출력하는 단계는, 상기 차량의 운행 중 상기 안내 지점이 기 설정된 거리 내로 진입하면 활성화될 수 있다.
또한, 상기 안내 지점이, 안내 시작 지점 및 안내 종료 지점을 포함하는 안내 구간으로 구현되는 경우, 상기 생성하는 단계는, 상기 안내 시작 지점 및 상기 안내 종료 지점의 정보를 이용하여 상기 안내 구간을 안내하는 객체를 생성하고, 상기 출력하는 단계는, 상기 차량이 상기 안내 구간에 위치하는 동안, 상기 생성된 객체를 증강 현실을 통해 출력할 수 있다.
한편, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전자 장치는, 화면을 표시하는 디스플레이부, 운행 중인 차량의 위치를 기준으로 소정 거리 전방에 위치한 안내 지점의 정보를 지도 데이터를 이용하여 검출하는 검출부, 상기 안내 지점의 정보를 이용하여 상기 안내 지점을 나타내는 객체를 생성하는 객체 생서부 및 상기 생성된 객체를 증강 현실을 통해 표시하도록 상기 디스플레이부를 제어하는 제어부를 포함한다.
그리고, 카메라에 대한 캘리브레이션(Calibration)을 수행하여 카메라 파라미터를 산출하는 캘리브레이션부, 상기 카메라 파라미터를 기초로 상기 카메라의 촬영 영상에 대한 가상 3D(3-Dimensional) 공간을 생성하는 3D 공간 생성부 및 상기 생성된 가상 3D 공간에 생성된 객체를 매핑하는 매핑부를 더 포함할 수 있다.
또한, 상기 제어부는, 상기 차량의 위치와 상기 안내 지점의 위치 차이 정보를 산출하고, 상기 위치 차이 정보를 이용하여 상기 가상 3D 공간에서 상기 생성된 객체의 위치를 결정할 수 있다.
그리고, 상기 객체는, 현실 세계에 대응되는 증강 현실에서 상기 안내 지점의 위치를 나타내는 제1 객체를 포함할 수 있다.
또한, 상기 제1 객체의 표출 위치는, 상기 차량과 상기 안내 지점의 거리 차이에 따라 유동적으로 변경될 수 있다.
그리고, 상기 차량이 상기 안내 지점을 통과하면, 상기 통과된 안내 지점을 나타내는 객체는 상기 증강 현실에서 사라질 수 있다.
또한, 상기 안내 지점을 안내하는 제2 객체를 더 포함할 수 있다.
그리고, 상기 증강 현실에서 상기 객체의 표출은, 상기 차량의 운행 중 상기 안내 지점이 기 설정된 거리 내로 진입하면 활성화될 수 있다.
또한, 상기 안내 지점이, 안내 시작 지점 및 안내 종료 지점을 포함하는 안내 구간으로 구현되는 경우, 상기 객체 생성부는, 상기 안내 시작 지점 및 상기 안내 종료 지점의 정보를 이용하여 상기 안내 구간을 안내하는 객체를 생성하고, 상기 제어부는, 상기 차량이 상기 안내 구간에 위치하는 동안, 상기 생성된 객체를 증강 현실을 통해 표시하도록 상기 디스플레이부를 제어할 수 있다.
한편, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 기록 매체에 저장된 컴퓨터 프로그램은 전자 장치와 결합되어, 운행 중인 차량의 위치를 결정하는 단계, 상기 결정된 차량 위치를 기준으로 소정 거리 전방에 위치한 안내 지점의 정보를 지도 데이터를 이용하여 검출하는 단계, 상기 안내 지점의 정보를 이용하여 상기 안내 지점을 나타내는 객체를 생성하는 단계 및 상기 생성된 객체를 증강 현실을 통해 출력하는 단계를 실행시킬 수 있다.
한편, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법을 실행하기 위한 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 기록 매체에 있어서, 상기 제어 방법은, 운행 중인 차량의 위치를 결정하는 단계, 상기 결정된 차량 위치를 기준으로 소정 거리 전방에 위치한 안내 지점의 정보를 지도 데이터를 이용하여 검출하는 단계, 상기 안내 지점의 정보를 이용하여 상기 안내 지점을 나타내는 객체를 생성하는 단계 및 상기 생성된 객체를 증강 현실을 통해 출력하는 단계를 포함한다.
상술한 본 발명의 다양한 실시 예에 따르면, 증강 현실 화면에 객체의 표출 위치를 차량과 안내 지점 사이의 거리 차이를 반영하여 입체적으로 표현함으로써, 운전자에게 차량과 안내 지점 사이의 거리 차이를 보다 효과적으로 전달할 수 있다.
또한, 상술한 본 발명의 다양한 실시 예에 따르면, 증강 현실 화면에 객체의 표출 위치를 차량과 안내 지점 사이의 거리 차이를 반영하여 유동적으로 변경시킴으로써, 운전자에게 보다 직관적인 방법으로 안내를 수행할 수 있다.
또한, 상술한 본 발명의 다양한 실시 예에 따르면, 속도 위반 단속 지점, 구간 단속 구간, 미끄럼 주의 구간 등에서 지점 위치 및 안내 정보를 증강 현실 기법으로 다이나믹하게 표출함으로써, 운전자에게 효과적인 안내와 흥미를 유발시킴과 동시에 차량에 대한 운전자의 안전 운전 및 편의성을 도모할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치를 나타내는 블록도 이다.
도 2는 본 발명의 일 실시 예에 따른 증강 현실 제공부를 구체적으로 나타내는 블록도 이다.
도 3은 본 발명의 일 실시 예에 따른 전자 장치와 연결된 시스템 네트워크를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법을 개략적으로 나타내는 흐름도 이다.
도 5는 본 발명의 일 실시 예에 따른 증강 현실에서 안내 지점을 나타내는 객체를 매핑하는 방법을 구체적으로 나타내는 흐름도 이다.
도 6은 본 발명의 일 실시 예에 따른
도 7은 본 발명의 일 실시 예에 따른 전자 장치의 증강 현실 화면 표시 방법을 구체적으로 나타내는 흐름도 이다.
도 8은 본 발명의 일 실시 예에 따른 과속 단속 지점을 표시하는 증강 현실 화면을 나타내는 도면이다.
도 9는 본 발명의 일 실시 예에 따른 분기 지점, 중간 지점을 표시하는 증강 현실 화면을 나타내는 도면이다.
도 10은 본 발명의 일 실시 예에 따른 과속 단속 지점을 표시하는 증강 현실 화면을 나타내는 도면이다.
도 11은 본 발명의 일 실시 예에 따른 도로 교통 표지판을 표시하는 증강 현실 화면을 나타내는 도면이다.
도 12는 본 발명의 일 실시 예에 따른 공사 구간, 안개 주의 구간을 표시하는 증강 현실 화면을 나타내는 도면이다.
도 13은 본 발명의 일 실시 예에 따른 사고 다발 주의 구간, 추락 주의 구간, 낙석 주의 구간을 표시하는 증강 현실 화면을 나타내는 도면이다.
도 14는 본 발명의 일 실시 예에 따른 급커브 주의 구간, 미끄럼 주의 구간, 야생 동물 주의 구간을 표시하는 증강 현실 화면을 나타내는 도면이다.
도 15는 본 발명의 일 실시 예에 따른 철길 건널목 지점을 표시하는 증강 현실 화면을 나타내는 도면이다.
도 16은 본 발명의 일 실시 예에 따른 카메라와 전자 장치가 분리형이 경우 구현 형태를 나타내는 도면이다.
도 17은 본 발명의 일 실시 예에 따른 카메라와 전자 장치가 일체형인 경우 구현 형태를 나타내는 도면이다.
도 18은 본 발명의 일 실시 예에 따른 HUD(Head-Up Display) 및 전자 장치를 이용한 구현 형태를 나타내는 도면이다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
또한, 본 발명의 원리, 관점 및 실시 예들 뿐만 아니라 특정 실시 예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.
프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.
또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.
본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시 예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치를 나타내는 블록도 이다. 도 1을 참조하면, 전자 장치(100)는 저장부(110), 입력부(120), 출력부(130), 검출부(140), 증강 현실 제공부(160), 제어부(170), 통신부(180), 센싱부(190), 전원부(195)의 전부 또는 일부를 포함한다.
여기서, 전자 장치(100)는 운행 상태에 있는 차량의 운전자에게 운전 관련 안내를 제공할 수 있는 스마트 폰, 태블릿 컴퓨터, 노트북 컴퓨터, PDA(personal digital assistant), PMP(portable multimedia player), 스마트 글래스, 프로젝트 글래스, 내비게이션(navigation), 블랙 박스(Black-box) 등과 같은 다양한 장치로 구현될 수 있고, 차량에 구비될 수 있다.
여기서, 차량의 운행 상태는, 차량의 정차 상태, 차량의 주행 상태, 차량의 주차 상태 등과 같이 차량이 운전자에 의하여 운전되고 있는 다양한 상태를 포함할 수 있다.
운전 관련 안내는 경로 안내, 차선 이탈 안내, 전방 차량 출발 안내, 신호등 변경 안내, 전방 차량 추돌 방지 안내, 차로 변경 안내, 차로 안내, 차량의 연비, 순간 가속도, 교통 정보, 현재 자차의 주행 속도, 전방의 특정 지점까지의 거리, 전방 특정 지점까지의 도달 시간 등과 같이 차량 운전자의 운전을 보조하기 위한 다양한 안내를 포함할 수 있다.
여기서, 경로 안내는, 운행 중인 차량의 전방을 촬영한 영상에 사용자의 위치, 방향 등과 같은 각종 정보를 결합하여 경로 안내를 수행하는 증강 현실 경로 안내, 및 2D(2-Dimensional) 또는 3D(3-Dimensional)의 지도 데이터에 사용자의 위치, 방향 등과 같은 각종 정보를 결합하여 경로 안내를 수행하는 2D(2-Dimensional) 또는 3D(3-Dimensional) 경로 안내를 포함할 수 있다. 여기서, 경로 안내는, 사용자가 차량에 탑승하여 운전하는 경우 뿐만 아니라, 사용자가 걷거나 뛰어서 이동하는 경우의 경로 안내도 포함하는 개념으로 해석될 수 있다.
또한, 차선 이탈 안내는, 주행 중인 차량이 차선을 이탈하였는지 여부를 안내하는 것일 수 있다.
또한, 전방 차량 출발 안내는, 정차 중인 차량의 전방에 위치한 차량의 출발 여부를 안내하는 것일 수 있다.
또한, 신호등 변경 안내는, 정차 중인 차량의 전방에 위치한 신호등의 변경 여부를 안내하는 것일 수 있다. 일 예로, 정지 신호를 나타내는 빨간등이 켜진 상태에서 출발 신호를 나타내는 파란등으로 변경되면, 이를 안내하는 것 일 수 있다.
또한, 전방 차량 추돌 방지 안내는 정차 또는 주행 중인 차량의 전방에 위치한 차량과의 거리가 일정 거리 이내가 되면 전방 차량과 추돌을 방지하기 위해 이를 안내하는 것일 수 있다.
또한, 차로 변경 안내는 목적지까지의 경로 안내를 위하여 차량이 위치한 차로에서 다른 차로로 변경을 안내하는 것일 수 있다.
또한, 차로 안내는 차량이 현재 위치한 차로를 안내하는 것일 수 있다.
이러한, 다양한 안내의 제공을 가능하게 하는 차량의 전방 영상과 같은 운전 관련 영상은 차량에 거치된 카메라에서 촬영될 수 있다. 여기서 카메라는 차량에 거치된 전자 장치(100)와 일체로 형성되어 차량의 전방을 촬영하는 카메라일 수 있다. 이 경우, 카메라는 스마트 폰, 내비게이션, 또는 블랙 박스와 일체로 형성될 수 있고, 전자 장치(100)는 일체로 형성된 카메라에서 촬영된 영상을 입력받을 수 있다.
다른 예로, 카메라는 전자 장치(100)와 별개로 차량에 거치되어 차량의 전방을 촬영하는 카메라일 수 있다. 이 경우, 카메라는 차량의 전방을 향하여 거치된 별도의 블랙 박스일 수 있고, 전자 장치(100)는 별도로 거치된 블랙박스와 유/무선 통신을 통하여 촬영 영상을 입력받거나, 블랙 박스의 촬영 영상을 저장하는 저장 매체가 전자 장치(100)에 삽입되면, 전자 장치(100)는 촬영 영상을 입력받을 수 있다.
이하에서는, 상술한 내용을 기초로 본 발명의 일 실시 예에 따른 전자 장치(100)에 대해서 보다 구체적으로 설명하기로 한다.
저장부(110)는 전자 장치(100)의 동작에 필요한 다양한 데이터 및 어플리케이션을 저장하는 기능을 한다. 특히, 저장부(110)는 전자 장치(100)의 동작에 필요한 데이터, 예를 들어, OS, 경로 탐색 어플리케이션, 지도 데이터 등을 저장할 수 있다. 또한, 저장부(110)는 전자 장치(100)의 동작에 의하여 생성된 데이터, 예를 들어, 탐색된 경로 데이터, 수신한 영상 등을 저장할 수 있다.
여기서 저장부(110)는 RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USIM(Universal Subscriber Identity Module)등과 같은 내장된 형태의 저장소자는 물론, USB 메모리 등과 같은 착탈가능한 형태의 저장소자로 구현될 수도 있다.
입력부(120)는 전자 장치(100)의 외부로부터의 물리적 입력을 특정한 전기 신호로 변환하는 기능을 한다. 여기서, 입력부(120)는 사용자 입력부(121)와 마이크부(123)의 전부 또는 일부를 포함할 수 있다.
사용자 입력부(121)는 터치, 푸쉬동작 등과 같은 사용자 입력을 수신할 수 있다. 여기서 사용자 입력부(120)는 다양한 버튼의 형태, 터치 입력을 수신하는 터치 센서, 접근하는 모션을 수신하는 근접 센서 중 적어도 하나를 이용하여 구현될 수 있다.
마이크부(123)는 사용자의 음성 및 차량의 내외부에서 발생한 음향을 수신할 수 있다.
출력부(130)는 전자 장치(100)의 데이터를 출력하는 장치이다. 여기서, 출력부(130)는 디스플레이부(131)와 오디오 출력부(133)의 전부 또는 일부를 포함할 수 있다.
디스플레이부(131)는 전자 장치(100)이 시각적으로 인식될 수 있는 데이터를 출력하는 장치이다. 디스플레이부(131)는 전자 장치(100)의 하우징 전면(前面)에 마련된 디스플레이부로 구현될 수 있다. 또한, 디스플레이부(131)는 전자 장치(100)와 일체로 형성되어 시각적 인식 데이터를 출력할 수 있고, HUD(Head Up Display)와 같이 전자 장치(100)와 별개로 설치되어 시각적 인식 데이터를 출력할 수도 있다.
오디오 출력부(133)는 전자 장치(100)가 청각적으로 인식될 수 있는 데이터를 출력하는 장치이다. 오디오 출력부(133)는 전자 장치(100)의 사용자에게 알려야 할 데이터를 소리를 표현하는 스피커로 구현될 수 있다.
통신부(180)는 전자 장치(100)가 다른 디바이스와 통신하기 위하여 마련될 수 있다. 통신부(180)는, 위치 데이터부(181)과, 무선 인터넷부(183)과, 방송 송수신부(185), 이동 통신부(186), 근거리 통신부(187), 유선 통신부(189)의 전부 또는 일부를 포함할 수 있다.
위치 데이터부(181)는 GNSS(Global Navigation Satellite System)를 통하여 위치 데이터를 획득하는 장치이다. GNSS는 인공위성으로부터 수신한 전파신호를 이용하여 수신 단말기의 위치를 산출할 수 있는 항법 시스템을 의미한다. GNSS의 구체적인 예로는, 그 운영 주체에 따라서 GPS(Global Positioning System), Galileo, GLONASS(Global Orbiting Navigational Satellite System), COMPASS, IRNSS(Indian Regional Navigational Satellite System), QZSS(Quasi-Zenith Satellite System) 등 일 수 있다. 본 발명의 일 실시예에 따른 전자 장치(100)의 위치 데이터부(181)는, 전자 장치(100)가 사용되는 지역에서 서비스하는 GNSS 신호를 수신하여 위치 데이터를 획득할 수 있다.
무선 인터넷부(183)는 무선 인터넷에 접속하여 데이터를 획득하거나 송신하는 장치이다. 무선 인터넷부(183)를 통하여 접속할 수 있는 무선 인터넷은, WLAN(Wireless LAN), Wibro(Wireless broadband), Wimax(World interoperability for microwave access), HSDPA(High Speed Downlink Packet Access) 등 일 수 있다.
방송 송수신부(185)는 각종 방송 시스템을 통하여 방송 신호를 송수신하는 장치이다. 방송 송수신부(185)를 통하여 송수신할 수 있는 방송 시스템은, DMBT(Digital Multimedia Broadcasting Terrestrial), DMBS(Digital Multimedia Broadcasting Satellite), MediaFLO(Media Forward Link Only), DVBH(Digital Video Broadcast Handheld), ISDBT(Integrated Services Digital Broadcast Terrestrial) 등일 수 있다. 방송 송수신부(185)를 통하여 송수신되는 방송 신호에는 교통 데이터, 생활 데이터 등을 포함할 수 있다.
이동 통신부(186)는 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신 망에 접속하여 통신할 수 있다.
근거리 통신부(187)는 근거리 통신을 위한 장치이다. 근거리 통신부(187)는, 전술한 바와 같이, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, Infrared Data Association), UWB(Ultra WidBand), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity) 등을 통하여 통신할 수 있다.
유선 통신부(189)는 전자 장치(100)를 다른 디바이스와 유선으로 연결할 수 있는 인터페이스 장치이다. 유선 통신부(119)는, USB Port를 통하여 통신할 수 있는 USB 모듈일 수 있다.
이러한, 통신부(180)는 위치 데이터부(181)와, 무선 인터넷부(183)와, 방송 송수신부(185), 이동 통신부(186), 근거리 통신부(187), 유선 통신부(189) 중 적어도 하나를 이용하여 다른 디바이스와 통신할 수 있다.
일 예로, 전자 장치(100)가 카메라 기능을 포함하지 않는 경우, 블랙 박스 등과 같은 차량용 카메라에서 촬영된 영상을 근거리 통신부(187), 유선 통신부(189) 중 적어도 하나를 이용하여 수신할 수 있다.
다른 예로, 복수의 디바이스와 통신하는 경우에, 어느 하나는 근거리 통신부(187)로 통신하고, 다른 하나는 유선 통신부(119)를 통하여 통신하는 경우도 가능하다.
센싱부(190)는 전자 장치(100)의 현재 상태를 감지할 수 있는 장치이다. 센싱부(190)는 모션 센싱부(191)와, 광 센싱부(193)의 전부 또는 일부를 포함할 수 있다.
모션 센싱부(191)는 전자 장치(100)의 3차원 공간 상에서의 운동을 감지할 수 있다. 모션 센싱부(191)은, 3축 지자기 센서 및 3축 가속도 센서를 포함할 수 있다. 모션 센싱부(191)을 통하여 획득한 운동 데이터를 위치 데이터부(181)를 통하여 획득한 위치 데이터와 결합하여, 전자 장치(100)를 부착한 차량의 보다 정확한 궤적을 산출할 수 있다.
광 센싱부(193)는 전자 장치(100)의 주변 조도(illuminance)를 측정하는 장치이다. 광 센싱부(193)를 통하여 획득한 조도데이터를 이용하여, 디스플레이부(195)의 밝기를 주변 밝기에 대응되도록 변화시킬 수 있다.
전원부(195)는 전자 장치(100)의 동작 또는 전자 장치(100)와 연결된 다른 디바이스의 동작을 위하여 필요한 전원을 공급하는 장치이다. 전원부(195)는, 전자 장치(100)에 내장된 배터리 또는 차량 등의 외부전원에서 전원을 공급받는 장치일 수 있다. 또한, 전원부(195)는, 전원을 공급받는 형태에 따라서 유선 통신 모듈(119)로 구현되거나, 무선으로 공급받는 장치로 구현될 수도 있다.
검출부(140)는 운행 중인 차량의 위치를 기준으로 소정 거리 전방에 위치한 안내 지점의 정보를 지도 데이터를 이용하여 검출할 수 있다. 구체적으로, 검출부(140)는 위치 데이터부(181)에서 획득된 차량의 위치 정보를 지도 데이터에 적용하여 차량의 위치를 기준으로 소정 거리 전방에 위치한 안내 지점의 정보를 검출할 수 있다.
여기서, 지도 데이터는 전자 장치(100)내의 저장부(110)로부터 획득되거나, 전자 장치(100)와 별도의 외부 지도 데이터베이스(DB)에서 획득되거나, 또는 다른 전자 장치로부터 지도 데이터를 획득될 수 있다. 이러한, 지도 데이터는 현재 위치 및 주변 지역의 지도를 나타내기 위한 데이터로, 다수 영역 내 도로를 나타내기 위한 복수 개의 링크 및 상기 복수 개의 링크에 각각 대한 속성 정보, 안내 지점의 정보 등을 포함할 수 있다. 링크에 대한 속성 정보는, 상기 링크가 양방향 링크인지 또는 단방향 링크인지 여부를 나타내는 정보, 상기 링크의 차선 수 정보, 상기 링크에 대응되는 도로의 종별 정보(ex. 고속도로, 도시고속화도로, 국도, 지방도, 일반도 등) 등을 포함할 수 있다. 안내 지점의 정보는, 안내 지점의 위치 정보, 안내 지점의 안내 코드 정보(ex. 제한 속도 안내, 과속 방지턱 안내 등을 안내하는 정보) 등을 포함할 수 있다.
여기서, 안내 지점은 과속 단속 지점, 과속 방지턱 지점, 철길 건널목 지점, 구간 단속 지점, 합류 도로 지점, 분기 지점 등을 포함할 수 있다. 또한, 안내 지점이 안내 시작 지점 및 안내 종료 지점을 포함하는 안내 구간으로 구현되는 경우, 구간 단속 구간 시작 및 종료 지점, 어린이 보호 구역 시작 및 종료 지점, 노인 보호 구역 시작 및 종료 지점, 공사 구간 시작 및 종료 지점, 안개 주의 구역 시작 및 종료 지점, 사고 다발 지역 시작 및 종료 지점, 낙석 주의 구간 시작 및 종료 지점, 급커브 구간 시작 및 종료 지점, 미끄럼 주의 구간 시작 및 종료 지점, 야생 동물 주의 구간 시작 및 종료 지점, 높이 제한 구간 시작 및 종료 지점 등을 포함할 수 있다.
한편, 본 발명의 일 실시 예에 따른 전자 장치(100)는 증강 현실 뷰 모드를 제공하는 증강 현실 제공부(160)를 포함할 수 있다. 여기서, 증강 현실이란, 사용자가 실제로 보고 있는 현실 세계를 담고 있는 화면에 부가 정보(예를 들면, 관심 지점(Point Of Interest: POI)을 나타내는 그래픽 요소, 목적지까지의 경로를 나타내는 그래픽 요소 등)를 시각적으로 중첩하여 제공하는 방법일 수 있다. 이에 대해서는 도 2를 참조하여 구체적으로 설명하기로 한다.
도 2는 본 발명의 일 실시 예에 따른 증강 현실 제공부(160)를 구체적으로 나타내는 블록도 이다. 도 2를 참조하면, 증강 현실 제공부(160)는 캘리브레이션부(161), 3D 공간 생성부(162), 객체 생성부(163), 매핑부(164)의 전부 또는 일부를 포함할 수 있다.
캘리브레이션부(161)는 카메라에서 촬영된 촬영 영상으로부터 카메라에 해당되는 카메라 파라미터를 추정하기 위한 캘리브레이션(Calibration)을 수행할 수 있다. 여기서, 카메라 파라미터는 실사 공간이 사진에 맺히는 관계를 나타내는 정보인 카메라 행렬을 구성하는 파라미터로, 카메라 외부 파라미터(extrinsic parameters), 카메라 내부 파라미터(intrinsic parameters)를 포함할 수 있다.
3D 공간 생성부(162)는 카메라에서 촬영된 촬영 영상을 기초로 가상 3D 공간을 생성할 수 있다. 구체적으로, 3D 공간 생성부(162)는 캘리브레이션부(161)가 추정한 카메라 파라미터를 2D의 촬영 영상에 적용하여 가상 3D 공간을 생성할 수 있다.
객체 생성부(163)는 증강 현실 상에서 안내를 위한 객체, 예를 들어, 경로 안내 객체, 차로 변경 안내 객체, 차선 이탈 안내 객체 등을 생성할 수 있다. 특히, 객체 생성부(163)는 차량의 위치를 기준으로 소정 거리 전방에 위치한 안내 지점을 나타내는 객체를 생성할 수 있다. 여기서, 객체는 3차원 객체, 이미지 또는 아트라인 등으로 구현될 수 있다.
매핑부(164)는 3D 공간 생성부(162)에서 생성된 가상 3D 공간에 객체 생성부(163)에서 생성된 객체를 매핑할 수 있다. 구체적으로, 매핑부(164)는 객체 생성부(163)에서 생성된 객체의 가상 3D 공간에서의 위치를 결정하고, 결정된 위치에 객체의 매핑을 수행할 수 있다.
한편, 제어부(170)는 전자 장치(100)의 전반적인 동작을 제어한다. 구체적으로 제어부(170)는 저장부(110), 입력부(120), 출력부(130), 검출부(140), 증강 현실 제공부(160), 통신부(180), 센싱부(190)의 전부 또는 일부를 제어할 수 있다.
특히, 운행 중인 차량이 안내 지점으로부터 소정 거리 이내에 접근하면, 제어부(170)는 안내 지점을 나타내는 객체를 생성하도록 객체 생성부(163)를 제어하고, 생성된 객체를 증강 현실을 통해 표시하도록 디스플레이부(131)를 제어할 수 있다.
구체적으로, 제어부(170)는 위치 데이터부(181)에서 획득된 차량의 위치 정보와 검출부(140)에서 획득된 안내 지점의 위치 정보를 이용하여 양자의 위치 차이 정보를 산출할 수 있고, 산출된 위치 차이 정보를 기초로 운행 중인 차량이 안내 지점으로부터 소정 거리 이내에 접근하였는지 여부를 판단할 수 있다.
만약, 운행 중인 차량이 안내 지점으로부터 소정 거리 이내에 접근하면, 제어부(170)는 산출된 위치 차이 정보를 이용하여 3D 공간 생성부(162)에서 생성된 가상 3D 공간에서 상기 안내 지점의 위치를 결정할 수 있다. 일 예로, 현실 세계에 대응되는 3차원 공간에서의 X(위도), Y(경도), Z(고도) 좌표 값을 기준으로, 위치 데이터부(181)에서 획득된 차량의 위치 정보가 (10,20,30)이고, 안내 지점의 위치 정보가 (20,30,40)인 경우, 제어부(170)는 위치 정보의 차이인 위치 차이 정보(10,10,10)를 산출할 수 있다. 그리고, 제어부(170)는 산출된 위치 차이 정보를 이용하여 3D 공간 생성부(162)에서 생성된 가상 3D 공간에서 상기 안내 지점의 위치를 결정할 수 있다.
또한, 운행 중인 차량이 안내 지점으로부터 소정 거리 이내에 접근하면, 제어부(170)는 안내 지점을 나타내는 안내 객체를 생성하도록 객체 생성부(163)를 제어할 수 있다. 구체적으로, 제어부(170)는 현실 세계에 대응되는 증강 현실에서 안내 지점의 위치를 나타내는 제1 객체를 생성하도록 객체 생성부(163)를 제어할 수 있다. 또한, 제어부(170)는 검출부(140)에서 획득된 안내 코드 정보를 이용하여 안내 지점을 안내하는 제2 객체를 생성하도록 객체 생성부(163)를 제어할 수 있다. 일 예로, 안내 지점이 과속 단속 지점인 경우, 제2 객체는 과속 단속 지점의 제한 속도를 안내하는 텍스트 형태의 객체 및 과속 단속 지점의 단속 방법을 안내하는 카메라 이미지 형태의 객체를 포함할 수 있다.
한편, 제어부(170)는 가상 3D 공간에서 결정된 안내 지점의 위치를 기초로 객체 생성부(163)에서 생성된 안내 객체를 매핑시키도록 매핑부(164)를 제어할 수 있다.
그리고, 제어부(170)는 매핑부(164)의 매핑에 따라 안내 객체가 매핑된 가상 3D 공간을 카메라 행렬을 이용하여 2D 이미지로 변환하여 2D의 증강 현실 영상을 생성하고, 생성된 증강 현실 영상을 디스플레이부(131)를 통하여 표시하도록 제어할 수 있다.
이러한, 본 발명의 일 실시 예에 따르면, 증강 현실 화면에 객체의 표출 위치를 차량과 안내 지점 사이의 거리 차이를 반영하여 입체적으로 표현함으로써, 운전자에게 차량과 안내 지점 사이의 거리 차이를 보다 효과적으로 전달할 수 있다.
한편, 현실 세계에 대응되는 증강 현실에서 안내 지점의 위치를 나타내는 제1 객체의 표출 위치는 차량과 안내 지점의 거리 차이에 따라 유동적으로 변경될 수 있다. 예를 들어, 차량의 주행에 따라 차량과 안내 지점의 거리가 가까워지면, 제어부(170)는 차량과 안내 지점의 거리 차이에 따라 제1 객체의 위치를 유동적으로 변경하여 매핑하도록 매핑부(164)를 제어할 수 있다. 즉, 차량의 주행에 따라 차량과 안내 지점의 거리가 가까워지면, 제1 객체는 증강 현실 화면에서 차량으로부터 점점 더 가까이에 표출될 수 있다.
또한, 차량이 안내 지점을 통과하면, 통과된 안내 지점을 나타내는 객체는 증강 현실 화면에서 사라질 수 있다. 즉, 차량의 주행에 따라 차량이 안내 지점을 통과하면, 통과된 안내 지점의 위치를 나타내는 제1 객체 및 통과된 안내 지점을 안내하는 제2 객체는 증강 현실 화면에서 사라질 수 있다.
이러한, 본 발명의 일 실시 예에 따르면, 증강 현실 화면에 객체의 표출 위치를 차량과 안내 지점 사이의 거리 차이를 반영하여 유동적으로 변경시킴으로써, 운전자에게 보다 직관적인 방법으로 안내를 수행할 수 있다.
한편, 상술한 증강 현실 화면에서 안내 객체의 표출 동작은, 차량의 운행 중 안내 지점이 기 설정된 거리 내로 진입하면 활성화될 수 있다.
또한, 상술한 안내 지점은 과속 단속 지점 등과 같이 단일 지점에 대한 안내만이 필요한 형태로 구현될 수도 있고, 또는 안내 시작 지점 및 안내 종료 지점을 포함하는 안내 구간의 형태로 구현될 수도 있다. 이러한, 안내 구간의 형태로 구현되는 경우, 제어부(170)는 안내 시작 지점 및 안내 종료 지점의 정보를 이용하여 안내 구간을 안내하는 객체를 생성하도록 객체 생성부(163)를 제어하고, 차량이 안내 구간에 위치하는 동안, 생성된 객체를 증강 현실을 통해 출력하도록 제어할 수 있다. 예를 들어, 구간 단속 구간의 경우, 주행 중인 차량이 구간 단속 시작 지점으로부터 소정 거리 이내에 접근하면, 제어부(170)는 구간 단속 시작 지점의 위치를 나타내는 제1 객체를 증강 현실을 통하여 출력하고, 주행 중인 차량이 구간 단속 종료 지점으로부터 소정 거리 이내에 접근하면, 구간 단속 종료 지점의 위치를 나타내는 제1 객체를 증강 현실을 통하여 출력하며, 차량이 안내 구간에 위치하는 동안 안내 구간을 안내하는 제2 객체를 증강 현실을 통하여 출력하도록 제어하고, 주행 중인 차량이 구간 단속 종료 지점을 통과하면, 상기 제1, 제2 객체는 증강 현실을 통하여 출력하지 않도록 제어할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 전자 장치와 연결된 시스템 네트워크를 설명하기 위한 도면이다. 도 3을 참조하면, 본 발명의 일 실시 예에 따른 전자 장치(100)는 내비게이션, 블랙 박스, 스마트 폰 또는 기타 차량용 증강 현실 인터페이스 제공 장치 등과 같은 차량에 구비되는 각종 장치로 구현될 수 있으며, 다양한 통신망 및 다른 전자 디바이스(61 내지 64)와 접속할 수 있다.
또한, 전자 장치(100)는 인공위성(20)으로부터 수신한 전파신호에 따라 GPS모듈을 연동하여 현재의 위치 및 현재 시간대를 산출할 수 있다.
각각의 인공위성(20)은 주파수 대역이 상이한 L밴드 주파수를 송신할 수 있다. 전자 장치(100)는, 각각의 인공위성(20)에서 송신된 L밴드 주파수가 전자 장치(100)에 도달하는데 까지 소요된 시간에 기초하여 현재 위치를 산출할 수 있다.
한편, 전자 장치(100)는, 통신부(180)을 통하여 제어국(40, ACR), 기지국(50, RAS) 등을 통하여 네트워크(30)에 무선으로 접속할 수 있다. 네트워크(30)에 전자 장치(100)가 접속하면, 네트워크(30)에 접속한 다른 전자 디바이스(61, 62)와도 간접적으로 접속하여 데이터를 교환할 수 있다.
한편, 전자 장치(100)는, 통신 기능을 가진 다른 디바이스(63)를 통하여 간접적으로 네트워크(30)에 접속할 수도 있다. 예를 들어, 네트워크(30)에 접속할 수 있는 모듈이 전자 장치(100)에 구비되지 않은 경우에, 근거리 통신 모듈 등을 통하여 통신 기능을 가진 다른 디바이스(63)와 통신할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법을 개략적으로 나타내는 흐름도 이다. 도 4를 참조하면, 전자 장치(100)는 운행 중인 차량의 위치를 결정할 수 있다(S101). 구체적으로, 전자 장치(100)의 위치 데이터부(181)는 GPS(Global Positioning System)/GNSS(Global Navigation Satellite System)를 통하여 위치 데이터를 획득할 수 있다.
그리고, 전자 장치(100)는 결정된 차량 위치를 기준으로 소정 거리 전방에 위치한 안내 지점의 정보를 지도 데이터를 이용하여 검출할 수 있다(S102). 구체적으로, 전자 장치(100)의 검출부(140)는 위치 데이터부(181)에서 획득된 차량의 위치 정보를 지도 데이터에 적용하여 차량의 위치를 기준으로 소정 거리 전방에 위치한 안내 지점의 정보를 검출할 수 있다. 여기서, 안내 지점의 정보는, 안내 지점의 위치 정보, 안내 지점의 안내 코드 정보(ex. 제한 속도 안내, 과속 방지턱 안내 등을 안내하는 정보) 등을 포함할 수 있다.
그리고, 전자 장치(100)는 안내 지점의 정보를 이용하여 안내 지점을 나타내는 객체를 생성할 수 있다(S103). 구체적으로, 전자 장치(100)의 객체 생성부(163)는 현실 세계에 대응되는 증강 현실에서 안내 지점의 위치를 나타내는 제1 객체 및 안내 지점을 안내하는 제2 객체 중 적어도 하나를 생성할 수 있다. 여기서, 객체는 3차원 객체, 이미지 또는 아트라인 등으로 구현될 수 있다.
그리고, 전자 장치(100)는 생성된 객체를 증강 현실을 통해 표시할 수 있다(S104). 이 경우, 전자 장치(100)의 제어부(170)는 차량과 안내 지점의 위치 차이 정보를 산출하고, 산출된 위치 차이 정보를 이용하여 가상 3D 공간에서 상기 생성된 객체가 매핑될 위치를 결정함으로써 생성된 객체를 증강 현실을 통해 출력할 수 있다. 이러한 증강 현실 화면의 출력에 대해서는 도 5 내지 6을 참조하여 구체적으로 설명하기로 한다.
도 5는 본 발명의 일 실시 예에 따른 증강 현실에서 안내 지점을 나타내는 객체를 매핑하는 방법을 구체적으로 나타내는 흐름도 이다. 도 6은 본 발명의 일 실시 예에 따른 2D 촬영 이미지와 가상 3D 공간 사이의 변환 관계를 나타내는 도면이다.
도 5 내지 6을 참조하면, 전자 장치(100)는 카메라에 대한 캘리브레이션(Calibration)을 수행하여 카메라 파라미터를 산출할 수 있다(S201). 구체적으로, 전자 장치(100)의 캘리브레이션부(161)는 카메라에서 촬영된 촬영 영상으로부터 카메라에 해당되는 카메라 파라미터를 추정하기 위한 캘리브레이션(Calibration)을 수행할 수 있다. 여기서, 카메라 파라미터는 실사 공간이 사진에 맺히는 관계를 나타내는 정보인 카메라 행렬을 구성하는 파라미터일 수 있고, 도 6(a)와 같이, 카메라 외부 파라미터(extrinsic parameters)(601), 카메라 내부 파라미터(intrinsic parameters)(602)를 포함할 수 있다. 여기서, 카메라 내부 파라미터(602)의 fx, fy는 초점거리(focal length), cx, cy는 주점(principal point), skew_c = tanα는 비대칭계수(skew coefficient)일 수 있다. 또한, 카메라 외부 파라미터(601)는 월드 좌표계(world coordinate system)(605) 상의 3D 점의 좌표 (X,Y,Z)를 카메라 좌표계(Camera Coordinate System)(604)상의 3D 점의 좌표 (Xc, Yc, Zc)로 변환시키기 위한 회전/이동변환 행렬일 수 있다. 이러한, 카메라 외부 파라미터는 카메라 고유의 파라미터가 아니기 때문에 카메라를 어떤 위치에 어떤 방향으로 설치했는지에 따라 달라지고 또한 월드 좌표계를 어떻게 정의했느냐에 따라서 달라질 수 있다.
그리고, 전자 장치(100)는 카메라 파라미터를 기초로 카메라의 촬영 영상에 대한 가상 3D(3-Dimensional) 공간을 생성할 수 있다(S202). 구체적으로, 전자 장치(100)의 3D 공간 생성부(162)는 캘리브레이션부(161)가 추정한 카메라 파라미터를 2D의 촬영 영상에 적용하여 가상 3D 공간을 생성할 수 있다. 즉, 도 6(b)를 참조하면, 카메라 촬영 영상은 월드 좌표계(605)의 3차원 공간상의 점들을 영상 좌표계(603)의 2차원 이미지 평면에 투사(perspective projection)함으로써 얻어진다. 따라서, 전자 장치(100)의 3D 공간 생성부(162)는 카메라 파라미터를 기초로 상술한 동작의 역과정을 수행하여 카메라의 촬영 영상에 대한 월드 좌표계(605)의 가상 3D(3-Dimensional) 공간을 생성할 수 있다.
그리고, 전자 장치(100)는 차량의 위치와 안내 지점의 위치 차이 정보를 산출할 수 있다(S201). 구체적으로, 전자 장치(100)의 제어부(170)는 위치 데이터부(181)에서 획득된 차량의 위치 정보와 검출부(140)에서 획득된 안내 지점의 위치 정보를 이용하여 양자의 위치 차이 정보를 산출할 수 있다. 일 예로, 제어부(170)는 위치 데이터부(181)에서 획득된 차량의 위치 정보가 (10,20,30)이고, 안내 지점의 위치 정보가 (20,30,40)인 경우, 위치 차이 정보(10,10,10)를 산출할 수 있다.
그리고, 전자 장치(100)는 위치 차이 정보를 이용하여 가상 3D 공간에서 안내 지점의 위치를 결정할 수 있다(S204). 구체적으로, 안내 지점의 위치와 차량의 위치의 차이인 위치 차이 정보가 산출되면, 월드 좌표계(605)의 가상 3D(3-Dimensional) 공간에서 위치 차이 정보의 좌표를 산출하여 가상 3D 공간에서 안내 지점의 위치를 결정할 수 있다.
그리고, 전자 장치(100)는 가상 3D 공간에서의 안내 지점의 위치를 기초로 가상 3D 공간에 생성된 객체를 매핑할 수 있다(S205).
그리고, 전자 장치(100)는 객체가 매핑된 가상 3D 공간을 2D 이미지로 변환하여 증강 현실 영상을 생성할 수 있다(S206). 구체적으로, 전자 장치(100)의 제어부(170)는 매핑부(164)의 매핑에 따라 안내 객체가 매핑된 가상 3D 공간을 카메라 행렬을 이용하여 2D 이미지로 변환하여 2D의 증강 현실 영상을 생성할 수 있다.
그리고, 전자 장치(100)는 생성된 증강 현실 영상을 표시할 수 있다(S207).
도 7은 본 발명의 일 실시 예에 따른 전자 장치의 증강 현실 화면 표시 방법을 구체적으로 나타내는 흐름도 이다. 도 7을 참조하면, 전자 장치(100)는 운행 중인 차량의 위치를 결정할 수 있다(S301).
그리고, 전자 장치(100)는 결정된 차량 위치를 기준으로 소정 거리 전방에 위치한 안내 지점의 정보를 지도 데이터를 이용하여 검출할 수 있다(S302).
그리고, 전자 장치(100)는 안내 지점의 위치 정보를 이용하여 현실 세계에 대응되는 증강 현실에서 안내 지점의 위치를 나타내는 제1 객체를 생성할 수 있다(S303).
그리고, 전자 장치(100)는 안내 지점의 안내 코드 정보를 이용하여 안내 지점을 안내하는 제2 객체를 생성할 수 있다(S304).
그리고, 전자 장치(100)는 생성된 객체를 증강 현실을 통해 표시할 수 있다(S305).
그리고, 전자 장치(100)는 차량이 안내 지점을 통과하면, 통과된 안내 지점을 나타내는 객체를 증강 현실 화면에서 제거할 수 있다(S306).
이하에서는, 도 8 내지 도 15를 참조하여, 본 발명의 다양한 실시 예에 따른 증강 현실 화면에 대해서 구체적으로 설명하기로 한다.
도 8은 본 발명의 일 실시 예에 따른 과속 단속 지점을 표시하는 증강 현실 화면을 나타내는 도면이다. 도 8을 참조하면, 전자 장치(100)는 현실 세계에 대응되는 증강 현실에서 과속 단속 지점의 위치를 나타내는 제1 객체(820), 과속 단속 지점의 제한 속도를 안내하는 텍스트를 포함하는 제2 객체(810)를 증강 현실을 통하여 표시할 수 있다.
특히, 도 8을 참조하면, 제1 객체(820)의 표출 위치는 차량과 안내 지점의 거리 차이에 따라 유동적으로 변경될 수 있다. 즉, 차량의 주행에 따라 차량과 안내 지점의 거리가 가까워지면, 제1 객체(820)는 증강 현실 화면에서 차량으로부터 점점 더 가까이에 표출될 수 있다.
또한, 차량의 주행에 따라 차량과 안내 지점이 매우 근접하게 되면 제1 객체, 제2 객체의 투명도는 조절되어, 도 8(c)와 같이, 투명하게 표출될 수 있다.
한편, 도 8에는 도시되지 않았으나, 차량이 안내 지점을 통과하면, 통과된 안내 지점을 나타내는 제1, 제2 객체는 증강 현실 화면에서 사라질 수 있다.
도 9는 본 발명의 일 실시 예에 따른 분기 지점, 중간 지점을 표시하는 증강 현실 화면을 나타내는 도면이다. 도 9(a)를 참조하면, 전자 장치(100)는 현실 세계에 대응되는 증강 현실에서 차량의 주행 경로에 위치한 분기 지점의 위치를 나타내는 제1 객체(920), 분기 지점의 방향을 안내하는 텍스트를 포함하는 제2 객체(910)를 증강 현실을 통하여 표시할 수 있다. 또한, 도 9(b)를 참조하면, 전자 장치(100)는 현실 세계에 대응되는 증강 현실에서 차량의 주행 경로에 위치한 중간 지점의 위치를 나타내는 제1 객체(940), 중간 지점을 안내하는 텍스트를 포함하는 제2 객체(930)를 증강 현실을 통하여 표시할 수 있다.
도 10은 본 발명의 일 실시 예에 따른 과속 단속 지점을 표시하는 증강 현실 화면을 나타내는 도면이다. 도 10을 참조하면, 전자 장치(100)는 현실 세계에 대응되는 증강 현실에서 과속 단속 지점의 위치를 나타내는 제1 객체(1020), 과속 단속 지점의 제한 속도를 안내하는 텍스트를 포함하는 제2 객체(1010) 및 과속 단속 지점의 단속 방법을 안내하는 이미지를 포함하는 제3 객체(1031,1032,1033)를 증강 현실을 통하여 표시할 수 있다.
보다 구체적으로, 과속 단속 지점의 단속 방법이 고정식 카메라인 경우 도 10(a)의 1031과 같은 객체를, 과속 단속 지점의 단속 방법이 박스형 카메라인 경우 도 10(b)의 1032와 같은 객체를, 과속 단속 지점의 단속 방법이 이동식 카메라인 경우 도 10(c)의 1033과 같은 객체를 증강 현실을 통하여 표시할 수 있다.
도 11은 본 발명의 일 실시 예에 따른 도로 교통 표지판을 표시하는 증강 현실 화면을 나타내는 도면이다. 도 11을 참조하면, 전자 장치(100)는 현실 세계에 대응되는 증강 현실에서 운전자 주의를 요청하는 도로 교통 표지판 객체(1101)(예를 들어, 도 11(b)와 같은, 사고 다발 구간을 나타내는 표지판, 미끄러운 도로를 나타내는 표지판, 철길 건널목 표지판, 강변 도로 표지판 등)를 증강 현실을 통하여 표시할 수 있다.
이 경우, 전자 장치(100)의 제어부(170)는 도로 교통 표지판 객체(1101)가 차량의 주행 도로가 아닌 도로의 영역에 표출되도록 제어할 수 있다.
도 12는 본 발명의 일 실시 예에 따른 공사 구간, 안개 주의 구간을 표시하는 증강 현실 화면을 나타내는 도면이다. 도 12(a)를 참조하면, 전자 장치(100)는 공사 구간을 안내하는 이미지를 포함하는 객체(1201)를 증강 현실을 통하여 표시할 수 있다. 또는, 도 12(b)를 참조하면, 전자 장치(100)는 안개 주의 구간을 안내하는 이미지를 포함하는 객체(1202)를 증강 현실을 통하여 표시할 수 있다.
이러한, 안내 구간을 안내하는 객체(1201,1202)는 차량이 안내 구간에 위치하는 동안에만 증강 현실을 통해 표시될 수 있다.
또한, 도 12에서는 도시되지 않았으나, 본 발명의 일 실시 예에 따르면, 차량이 안내 구간의 안내 시작 지점 및 안내 종료 지점에 근접하는 경우, 안내 시작 지점의 위치를 나타내는 객체 및 안내 종료 지점의 위치를 나타내는 객체를 증강 현실을 통하여 표시할 수 있다.
도 13은 본 발명의 일 실시 예에 따른 사고 다발 주의 구간, 추락 주의 구간, 낙석 주의 구간을 표시하는 증강 현실 화면을 나타내는 도면이다. 도 13(a)를 참조하면, 전자 장치(100)는 사고 다발 주의 구간을 안내하는 이미지를 포함하는 객체(1301)를 증강 현실을 통하여 표시할 수 있다. 또는, 도 13(b)를 참조하면, 전자 장치(100)는 추락 주의 구간을 안내하는 이미지를 포함하는 객체(1302)를 증강 현실을 통하여 표시할 수 있다. 또는, 도 13(c)를 참조하면, 전자 장치(100)는 낙석 주의 구간을 안내하는 이미지를 포함하는 객체(1303)를 증강 현실을 통하여 표시할 수 있다.
도 14는 본 발명의 일 실시 예에 따른 급커브 주의 구간, 미끄럼 주의 구간, 야생 동물 주의 구간을 표시하는 증강 현실 화면을 나타내는 도면이다. 도 14(a)를 참조하면, 전자 장치(100)는 급커브 주의 구간을 안내하는 이미지를 포함하는 객체(1401)를 증강 현실을 통하여 표시할 수 있다. 또는, 도 14(b)를 참조하면, 전자 장치(100)는 미끄럼 주의 구간을 안내하는 이미지를 포함하는 객체(1402)를 증강 현실을 통하여 표시할 수 있다. 또는, 도 14(c)를 참조하면, 전자 장치(100)는 야생 동물 주의 구간을 안내하는 이미지를 포함하는 객체(1403)를 증강 현실을 통하여 표시할 수 있다.
도 15는 본 발명의 일 실시 예에 따른 철길 건널목 지점을 표시하는 증강 현실 화면을 나타내는 도면이다. 도 15를 참조하면, 전자 장치(100)는 철길 건널목 지점을 안내하는 이미지를 포함하는 객체(1501)를 증강 현실을 통하여 표시할 수 있다.
이러한, 본 발명의 다양한 실시 예에 따르면, 증강 현실 화면에 객체의 표출 위치를 차량과 안내 지점 사이의 거리 차이를 반영하여 입체적으로 표현함으로써, 운전자에게 차량과 안내 지점 사이의 거리 차이를 보다 효과적으로 전달할 수 있다.
또한, 증강 현실 화면에 객체의 표출 위치를 차량과 안내 지점 사이의 거리 차이를 반영하여 유동적으로 변경시킴으로써, 운전자에게 보다 직관적인 방법으로 안내를 수행할 수 있다.
또한, 속도 위반 단속 지점, 구간 단속 구간, 미끄럼 주의 구간 등에서 지점 위치 및 안내 정보를 증강 현실 기법으로 다이나믹하게 표출함으로써, 운전자에게 효과적인 안내와 흥미를 유발시킴과 동시에 차량에 대한 운전자의 안전 운전 및 편의성을 도모할 수 있다.
도 16은 본 발명의 일 실시 예에 따른 내비게이션 장치가 촬영부를 구비하지 않는 경우 구현 형태를 나타내는 도면이다. 도 16을 참조하면, 차량용 내비게이션 장치(100)와 별도로 마련된 차량용 블랙박스(200)가 유선/무선 통신 방식을 이용하여 본 발명의 일 실시 예에 따른 시스템을 구성할 수 있다.
차량용 내비게이션(100)은 내비게이션 하우징(191)의 전면에 마련된 디스플레이부(131)와, 내비게이션 조작키(121)와, 내비게이션 마이크(123)를 포함할 수 있다.
차량용 블랙박스(200)는 블랙박스 카메라(222)와, 블랙박스 마이크(224)와, 부착부(281)를 포함할 수 있다.
도 17은 본 발명의 일 실시 예에 따른 내비게이션 장치가 촬영부를 구비하는 경우 구현 형태를 나타내는 도면이다. 도 17을 참조하면, 내비게이션 장치(100)가 촬영부(150)를 포함하는 경우, 사용자는 내비게이션 장치(100)의 촬영부(150)가 차량의 전방을 촬영하고, 내비게이션 장치(100)의 디스플레이 부분이 사용자 인식가능하도록 내비게이션 장치(100)를 거치시킬 수 있다. 이에 따라, 본 발명의 일 실시 예에 따른 시스템을 구현할 수 있다.
도 18은 본 발명의 일 실시 예에 따른 HUD(Head-Up Display)를 이용한 구현 형태를 나타내는 도면이다. 도 18을 참조하면, HUD는 다른 디바이스들과의 유/무선 통신을 통하여 증강 현실 안내 화면을 헤드업 디스플레이 상에서 표시할 수 있다.
일 예로, 증강 현실은 차량 앞유리를 이용한 HUD 또는 별도의 영상 출력 장치를 이용한 영상 오버레이 등을 통해 제공될 수 있으며, 증강 현실 제공부(160)는 이와 같이 현실 영상 또는 유리에 오버레이되는 인터페이스 이미지 등을 생성할 수 있다. 이를 통해 증강 현실 네비게이션 또는 차량 인포테인먼트 시스템 등이 구현될 수 있다.
한편, 상술한 본 발명의 다양한 실시 예들에 따른 제어 방법은 프로그램으로 구현되어 서버 또는 기기들에 제공될 수 있다. 이에 따라, 각 장치들은 프로그램이 저장된 서버 또는 기기에 접속하여, 상기 프로그램을 다운로드할 수 있다.
또한, 상술한 본 발명의 다양한 실시 예들에 따른 제어 방법은 프로그램으로 구현되어 다양한 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다. 비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 전자 장치 110 : 저장부
120 : 입력부 130 : 출력부
140 : 검출부 160 : 증강 현실 제공부 170 : 제어부 180 : 통신부 190 : 센싱부 195 : 전원부

Claims (20)

  1. 전자 장치의 제어 방법에 있어서,
    운행 중인 차량의 위치를 결정하는 단계;
    상기 결정된 차량 위치를 기준으로 소정 거리 전방에 위치한 안내 지점의 정보를 지도 데이터를 이용하여 검출하는 단계;
    상기 안내 지점의 정보를 이용하여 상기 안내 지점을 나타내는 객체를 생성하는 단계; 및
    상기 생성된 객체를 증강 현실을 통해 출력하는 단계;를 포함하는 제어 방법.
  2. 제1항에 있어서,
    상기 출력하는 단계는,
    카메라에 대한 캘리브레이션(Calibration)을 수행하여 카메라 파라미터를 산출하는 단계;
    상기 카메라 파라미터를 기초로 상기 카메라의 촬영 영상에 대한 가상 3D(3-Dimensional) 공간을 생성하는 단계; 및
    상기 가상 3D 공간에 상기 생성된 객체를 매핑하는 단계;를 포함하는 것을 특징으로 하는 제어 방법.
  3. 제2항에 있어서,
    상기 차량의 위치와 상기 안내 지점의 위치 차이 정보를 산출하는 단계; 및
    상기 위치 차이 정보를 이용하여 상기 가상 3D 공간에서 상기 생성된 객체의 위치를 결정하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  4. 제3항에 있어서,
    상기 객체는,
    현실 세계에 대응되는 증강 현실에서 상기 안내 지점의 위치를 나타내는 제1 객체를 포함하는 것을 특징으로 하는 제어 방법.
  5. 제4항에 있어서,
    상기 제1 객체의 표출 위치는,
    상기 차량과 상기 안내 지점의 거리 차이에 따라 유동적으로 변경되는 것을 특징으로 하는 제어 방법.
  6. 제1항에 있어서,
    상기 차량이 상기 안내 지점을 통과하면, 상기 통과된 안내 지점을 나타내는 객체는 상기 증강 현실에서 사라지는 것을 특징으로 하는 제어 방법.
  7. 제4항에 있어서,
    상기 객체는,
    상기 안내 지점을 안내하는 제2 객체를 더 포함하는 것을 특징으로 하는 제어 방법.
  8. 제1항에 있어서,
    상기 출력하는 단계는,
    상기 차량의 운행 중 상기 안내 지점이 기 설정된 거리 내로 진입하면 활성화되는 것을 특징으로 하는 제어 방법.
  9. 제1항에 있어서,
    상기 안내 지점이, 안내 시작 지점 및 안내 종료 지점을 포함하는 안내 구간으로 구현되는 경우,
    상기 생성하는 단계는,
    상기 안내 시작 지점 및 상기 안내 종료 지점의 정보를 이용하여 상기 안내 구간을 안내하는 객체를 생성하고,
    상기 출력하는 단계는,
    상기 차량이 상기 안내 구간에 위치하는 동안, 상기 생성된 객체를 증강 현실을 통해 출력하는 것을 특징으로 하는 제어 방법.
  10. 전자 장치에 있어서,
    화면을 표시하는 디스플레이부;
    운행 중인 차량의 위치를 기준으로 소정 거리 전방에 위치한 안내 지점의 정보를 지도 데이터를 이용하여 검출하는 검출부;
    상기 안내 지점의 정보를 이용하여 상기 안내 지점을 나타내는 객체를 생성하는 객체 생서부; 및
    상기 생성된 객체를 증강 현실을 통해 표시하도록 상기 디스플레이부를 제어하는 제어부;를 포함하는 전자 장치.
  11. 제10항에 있어서,
    카메라에 대한 캘리브레이션(Calibration)을 수행하여 카메라 파라미터를 산출하는 캘리브레이션부;
    상기 카메라 파라미터를 기초로 상기 카메라의 촬영 영상에 대한 가상 3D(3-Dimensional) 공간을 생성하는 3D 공간 생성부; 및
    상기 생성된 가상 3D 공간에 생성된 객체를 매핑하는 매핑부;를 더 포함하는 것을 특징으로 하는 전자 장치.
  12. 제11항에 있어서,
    상기 제어부는,
    상기 차량의 위치와 상기 안내 지점의 위치 차이 정보를 산출하고, 상기 위치 차이 정보를 이용하여 상기 가상 3D 공간에서 상기 생성된 객체의 위치를 결정하는 것을 특징으로 하는 전자 장치.
  13. 제12항에 있어서,
    상기 객체는,
    현실 세계에 대응되는 증강 현실에서 상기 안내 지점의 위치를 나타내는 제1 객체를 포함하는 것을 특징으로 하는 전자 장치.
  14. 제13항에 있어서,
    상기 제1 객체의 표출 위치는,
    상기 차량과 상기 안내 지점의 거리 차이에 따라 유동적으로 변경되는 것을 특징으로 하는 전자 장치.
  15. 제10항에 있어서,
    상기 차량이 상기 안내 지점을 통과하면, 상기 통과된 안내 지점을 나타내는 객체는 상기 증강 현실에서 사라지는 것을 특징으로 하는 전자 장치.
  16. 제13항에 있어서,
    상기 안내 지점을 안내하는 제2 객체를 더 포함하는 것을 특징으로 하는 전자 장치.
  17. 제10항에 있어서,
    상기 증강 현실에서 상기 객체의 표출은,
    상기 차량의 운행 중 상기 안내 지점이 기 설정된 거리 내로 진입하면 활성화되는 것을 특징으로 하는 전자 장치.
  18. 제10항에 있어서,
    상기 안내 지점이, 안내 시작 지점 및 안내 종료 지점을 포함하는 안내 구간으로 구현되는 경우,
    상기 객체 생성부는,
    상기 안내 시작 지점 및 상기 안내 종료 지점의 정보를 이용하여 상기 안내 구간을 안내하는 객체를 생성하고,
    상기 제어부는,
    상기 차량이 상기 안내 구간에 위치하는 동안, 상기 생성된 객체를 증강 현실을 통해 표시하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 전자 장치.
  19. 전자 장치와 결합되어,
    운행 중인 차량의 위치를 결정하는 단계;
    상기 결정된 차량 위치를 기준으로 소정 거리 전방에 위치한 안내 지점의 정보를 지도 데이터를 이용하여 검출하는 단계;
    상기 안내 지점의 정보를 이용하여 상기 안내 지점을 나타내는 객체를 생성하는 단계; 및
    상기 생성된 객체를 증강 현실을 통해 출력하는 단계;를 실행시키는 기록 매체에 저장된 컴퓨터 프로그램.
  20. 전자 장치의 제어 방법을 실행하기 위한 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 기록 매체에 있어서,
    상기 제어 방법은,
    운행 중인 차량의 위치를 결정하는 단계;
    상기 결정된 차량 위치를 기준으로 소정 거리 전방에 위치한 안내 지점의 정보를 지도 데이터를 이용하여 검출하는 단계;
    상기 안내 지점의 정보를 이용하여 상기 안내 지점을 나타내는 객체를 생성하는 단계; 및
    상기 생성된 객체를 증강 현실을 통해 출력하는 단계;를 포함하는 컴퓨터 판독 가능한 기록 매체.
KR1020150036151A 2014-12-01 2015-03-16 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 KR102406491B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US14/954,333 US9625270B2 (en) 2014-12-01 2015-11-30 Electronic apparatus, control method thereof, computer program, and computer-readable recording medium
CN201510868227.2A CN105654030B (zh) 2014-12-01 2015-12-01 电子装置、电子装置的控制方法、计算机程序及计算机可读记录介质
CN201910496468.7A CN110263688B (zh) 2014-12-01 2015-12-01 驾驶相关引导提供方法及装置、计算机可读记录介质
CN201910496805.2A CN110260877B (zh) 2014-12-01 2015-12-01 驾驶相关引导提供方法及装置、计算机可读记录介质
US15/470,436 US10145703B2 (en) 2014-12-01 2017-03-27 Electronic apparatus, control method thereof, computer program, and computer-readable recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20140170050 2014-12-01
KR1020140170050 2014-12-01

Publications (2)

Publication Number Publication Date
KR20160065724A true KR20160065724A (ko) 2016-06-09
KR102406491B1 KR102406491B1 (ko) 2022-06-10

Family

ID=56138967

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150036151A KR102406491B1 (ko) 2014-12-01 2015-03-16 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체

Country Status (2)

Country Link
KR (1) KR102406491B1 (ko)
CN (3) CN105654030B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113063418A (zh) * 2020-01-02 2021-07-02 三星电子株式会社 用于显示3d增强现实导航信息的方法和装置
WO2022075514A1 (ko) * 2020-10-08 2022-04-14 네이버랩스 주식회사 헤드업 디스플레이의 제어 방법 및 시스템

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017216775A1 (de) * 2017-09-21 2019-03-21 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Steuerung einer Anzeige einer Augmented-Reality-Head-Up-Display-Vorrichtung für ein Kraftfahrzeug
CN109029488A (zh) * 2018-06-29 2018-12-18 百度在线网络技术（北京）有限公司 导航电子地图生成方法、设备及存储介质
CN110473415A (zh) * 2019-08-26 2019-11-19 安徽因特维可信息科技股份有限公司 基于v2i的信号灯预警系统
CN110672112B (zh) * 2019-09-29 2021-11-12 阿波罗智联(北京)科技有限公司 引导线切换方法、装置、设备和介质
CN112163466B (zh) * 2020-09-11 2024-03-15 杭州鸿泉物联网技术股份有限公司 一种基于uwb的限高高度确定方法、装置和系统
CN112325893A (zh) * 2020-10-27 2021-02-05 李亚军 电子地图系统、电子地图生成方法、导航方法及导航设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10187029A (ja) * 1996-12-24 1998-07-14 Sumitomo Electric Ind Ltd ３次元ｃｇ地図表示装置及び車載ナビゲーション装置
US20110052042A1 (en) * 2009-08-26 2011-03-03 Ben Tzvi Jacob Projecting location based elements over a heads up display
KR20130027367A (ko) * 2011-09-07 2013-03-15 동국대학교 산학협력단 내비게이션 장치 및 경로 표시 방법
KR20130053665A (ko) * 2011-11-15 2013-05-24 현대자동차주식회사 네비게이션 시스템 및 그의 현시방법
KR101271235B1 (ko) * 2011-12-12 2013-06-10 자동차부품연구원 주행정보 제공장치 및 제공방법
JP2014029280A (ja) * 2012-07-31 2014-02-13 Aisin Aw Co Ltd 道路形状案内システム、方法およびプログラム
KR20140134331A (ko) * 2012-03-26 2014-11-21 미쓰비시덴키 가부시키가이샤 카메라 캘리브레이션 방법, 카메라 캘리브레이션 프로그램을 기록한 컴퓨터 판독가능한 기록매체 및 카메라 캘리브레이션 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007094045A (ja) * 2005-09-29 2007-04-12 Matsushita Electric Ind Co Ltd ナビゲーション装置、ナビゲート方法および車両
CN101033978B (zh) * 2007-01-30 2010-10-13 珠海市智汽电子科技有限公司 智能汽车辅助导航和自动兼辅助驾驶系统
JP4480755B2 (ja) * 2007-12-04 2010-06-16 カルソニックカンセイ株式会社 車両用ヘッドアップディスプレイ装置
JP5376223B2 (ja) * 2009-05-18 2013-12-25 アイシン精機株式会社 運転支援装置
DE102011115739A1 (de) * 2011-10-11 2013-04-11 Daimler Ag Verfahren zur Integration von virtuellen Objekten in Fahrzeuganzeigen

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10187029A (ja) * 1996-12-24 1998-07-14 Sumitomo Electric Ind Ltd ３次元ｃｇ地図表示装置及び車載ナビゲーション装置
US20110052042A1 (en) * 2009-08-26 2011-03-03 Ben Tzvi Jacob Projecting location based elements over a heads up display
KR20130027367A (ko) * 2011-09-07 2013-03-15 동국대학교 산학협력단 내비게이션 장치 및 경로 표시 방법
KR20130053665A (ko) * 2011-11-15 2013-05-24 현대자동차주식회사 네비게이션 시스템 및 그의 현시방법
KR101271235B1 (ko) * 2011-12-12 2013-06-10 자동차부품연구원 주행정보 제공장치 및 제공방법
KR20140134331A (ko) * 2012-03-26 2014-11-21 미쓰비시덴키 가부시키가이샤 카메라 캘리브레이션 방법, 카메라 캘리브레이션 프로그램을 기록한 컴퓨터 판독가능한 기록매체 및 카메라 캘리브레이션 장치
JP2014029280A (ja) * 2012-07-31 2014-02-13 Aisin Aw Co Ltd 道路形状案内システム、方法およびプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113063418A (zh) * 2020-01-02 2021-07-02 三星电子株式会社 用于显示3d增强现实导航信息的方法和装置
US11709069B2 (en) * 2020-01-02 2023-07-25 Samsung Electronics Co., Ltd. Method and device for displaying 3D augmented reality navigation information
CN113063418B (zh) * 2020-01-02 2024-05-24 三星电子株式会社 用于显示3d增强现实导航信息的方法和装置
WO2022075514A1 (ko) * 2020-10-08 2022-04-14 네이버랩스 주식회사 헤드업 디스플레이의 제어 방법 및 시스템
KR20220046799A (ko) * 2020-10-08 2022-04-15 네이버랩스 주식회사 헤드업 디스플레이의 제어 방법 및 시스템

Also Published As

Publication number Publication date
CN110260877B (zh) 2023-07-21
CN110263688B (zh) 2024-05-31
CN105654030A (zh) 2016-06-08
CN105654030B (zh) 2019-07-05
CN110260877A (zh) 2019-09-20
KR102406491B1 (ko) 2022-06-10
CN110263688A (zh) 2019-09-20

Similar Documents

Publication Publication Date Title
US10145703B2 (en) Electronic apparatus, control method thereof, computer program, and computer-readable recording medium
US20230048230A1 (en) Method for displaying lane information and apparatus for executing the method
KR102406491B1 (ko) 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
CN108680173B (zh) 电子装置、电子装置的控制方法及计算机可读记录介质
KR102255432B1 (ko) 전자 장치 및 그의 제어 방법
US10719990B2 (en) Electronic apparatus, control method thereof, computer program, and computer-readable recording medium
KR102383425B1 (ko) 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
KR102123844B1 (ko) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
KR102233391B1 (ko) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
KR102480000B1 (ko) 전자 장치, 전자 장치의 경로 안내 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
KR20220142424A (ko) 커브 안내 방법, 커브 안내 장치, 전자 장치 및 컴퓨터 판독 가능한 기록 매체에 저장된 프로그램
KR102406490B1 (ko) 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
KR102406489B1 (ko) 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
KR20200070101A (ko) 차선 표시 방법 및 이를 수행하는 전자 기기
KR102276082B1 (ko) 내비게이션 장치, 블랙 박스 및 그들의 제어 방법
KR102299501B1 (ko) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
KR102371620B1 (ko) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
KR20170029286A (ko) 항공 영상 처리 장치, 항공 영상 처리 방법, 항공 영상 처리를 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체, 항공 지도를 이용하여 경로 안내를 수행하는 내비게이션 장치 및 서버

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)