KR20170128684A - 증강현실 기술을 이용하여 차량의 주행 정보를 제공하기 위한 전자 장치 - Google Patents

증강현실 기술을 이용하여 차량의 주행 정보를 제공하기 위한 전자 장치 Download PDF

Info

Publication number
KR20170128684A
KR20170128684A KR1020160058390A KR20160058390A KR20170128684A KR 20170128684 A KR20170128684 A KR 20170128684A KR 1020160058390 A KR1020160058390 A KR 1020160058390A KR 20160058390 A KR20160058390 A KR 20160058390A KR 20170128684 A KR20170128684 A KR 20170128684A
Authority
KR
South Korea
Prior art keywords
vehicle
information
lane
message
traveling
Prior art date
Application number
KR1020160058390A
Other languages
English (en)
Inventor
이정우
강정규
김경호
박병준
윤창락
황윤숙
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160058390A priority Critical patent/KR20170128684A/ko
Publication of KR20170128684A publication Critical patent/KR20170128684A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G06K9/00798—
    • G06K9/00825—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0063—Manual parameter input, manual setting means, manual initialising or calibrating means
    • B60W2050/0064—Manual parameter input, manual setting means, manual initialising or calibrating means using a remote, e.g. cordless, transmitter or receiver unit, e.g. remote keypad or mobile phone

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

제1 자동차에 구비되는 전자 장치는 제2 자동차의 예상 주행 경로를 산출하기 위해, 상기 제2 자동차의 주행 예상 정보 및 제2 자동차의 식별 정보를 포함하는 메시지를 제2 자동차로부터 수신하기 위한 통신부, 제1 자동차의 외부 영역을 촬영하여 생성되는 이미지 정보를 획득하고, 제2 자동차의 식별 정보에 기초하여 이미지 정보로부터 제2 자동차에 대응하는 이미지 및 주행 차로를 인식함으로써 인식 결과 데이터를 생성하기 위한 차선 및 자동차 인식부, 인식 결과 데이터, 및 제1 및 제2 자동차들 각각의 위치 정보에 기초하여 제2 자동차가 제1 자동차로부터 기준 거리 내에 있는 것으로 판단되면, 주행 예상 정보 및 도로 속성 정보에 기초하여, 제2 자동차의 주행 차로를 기반으로 상기 예상 주행 경로를 산출함으로써, 산출 데이터를 생성하기 위한 주행 경로 산출부, 및 산출 데이터에 기초하여 제2 자동차의 주행 차로를 기반으로 하는 산출된 예상 주행 경로를 증강 현실 정보로서 출력하기 위한 증강 현실 정보 제공부를 포함한다.

Description

증강현실 기술을 이용하여 차량의 주행 정보를 제공하기 위한 전자 장치{ELECTRONICAL DEVICE FOR DRIVING INFORMATION USING AUGMENTED REALITY TECHNIQUE}
본 발명은 전자 장치에 관한 것으로, 좀 더 구체적으로는 증강현실 기술에 기반하여 동작하는 전자 장치에 관한 것이다.
이미지 정보를 제공하기 위한 전자 장치는 디스플레이(Display) 장치, 스마트 폰(Smart phone), 컴퓨터(Computer), 및 웨어러블(Wearable) 장치 등이 있다. 이러한 전자 장치들은 동영상, 사진, 애니메이션(Animation), 및 증강현실 이미지 등을 시각적으로 제공할 수 있다.
증강현실 이미지는 증강 현실 기술에 기초하여 생성된 데이터일 수 있다. 증강현실 기술은 시각으로 보이는 현실 이미지에 가상의 이미지를 겹쳐서 하나의 이미지로 보여주는 기술이다. 증강현실 기술을 구현하기 위해서, 지리 및 위치 정보를 송수신하기 위한 GPS(Global Positioning System), 중력 센서, 자이로스코프 센서, 및 위치 정보 시스템이 요구될 수 있다. 증강현실 기술은 원격 의료 분야, 방송 분야, 건축 설계 분야, 게임 분야, 및 교육 분야에서 사용될 수 있다.
본 발명의 목적은 자동차들 사이에서 주행 정보를 송수신하고, 수신된 주행 정보를 증강현실 이미지로 제공하는 전자 장치를 제공하는 데에 있다.
본 발명의 실시 예에 따른 제1 자동차에 구비되는 전자 장치는 제2 자동차의 예상 주행 경로를 산출하기 위해, 상기 제2 자동차의 주행 예상 정보 및 제2 자동차의 식별 정보를 포함하는 메시지를 제2 자동차로부터 수신하기 위한 통신부, 제1 자동차의 외부 영역을 촬영하여 생성되는 이미지 정보를 획득하고, 제2 자동차의 식별 정보에 기초하여 이미지 정보로부터 제2 자동차에 대응하는 이미지 및 주행 차로를 인식함으로써 인식 결과 데이터를 생성하기 위한 차선 및 자동차 인식부, 인식 결과 데이터, 및 제1 및 제2 자동차들 각각의 위치 정보에 기초하여 제2 자동차가 제1 자동차로부터 기준 거리 내에 있는 것으로 판단되면, 주행 예상 정보 및 도로 속성 정보에 기초하여, 제2 자동차의 주행 차로를 기반으로 상기 예상 주행 경로를 산출함으로써, 산출 데이터를 생성하기 위한 주행 경로 산출부, 및 산출 데이터에 기초하여 제2 자동차의 주행 차로를 기반으로 하는 산출된 예상 주행 경로를 증강 현실 정보로서 출력하기 위한 증강 현실 정보 제공부를 포함한다.
본 발명의 실시 예에 따르면, 전방에 존재하는 자동차의 예상 주행 방향을 자동차의 운전자에게 제공함으로써, 교통 사고의 발생률이 감소될 수 있다.
도 1은 자동차들의 주행을 보여주기 위한 도면이다.
도 2는 도 1의 자동차들 각각에 포함된 전자 장치를 보여주기 위한 블록도이다.
도 3은 도 2의 전자 장치에 의해 송수신되는 메시지에 포함된 정보들을 보여주기 위한 도면이다.
도 4는 도 2의 전자 장치에서 메시지를 생성하는 방법을 보여주기 위한 순서도이다.
도 5는 도 2의 전자 장치로부터 메시지의 수신 및 증강현실 정보를 생성하는 방법을 보여주기 위한 순서도이다.
도 6은 도 2의 전자 장치의 예상 주행 경로를 분석하는 방법을 보여주기 위한 순서도이다.
이하, 도면들을 참조하여 본 발명의 실시 예들을 보다 상세하게 설명하기로 한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구성 요소들의 크기는 본 발명의 명확성을 기하기 위하여 실제보다 확대하여 도시한 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 또한, 층, 막, 영역, 판 등의 부분이 다른 부분 "위에" 있다고 할 경우, 이는 다른 부분 "바로 위에" 있는 경우뿐만 아니라 그 중간에 또 다른 부분이 있는 경우도 포함한다. 반대로 층, 막, 영역, 판 등의 부분이 다른 부분 "아래에" 있다고 할 경우, 이는 다른 부분 "바로 아래에" 있는 경우뿐만 아니라 그 중간에 또 다른 부분이 있는 경우도 포함한다.
도 1은 자동차들의 주행을 보여주기 위한 도면이다. 도 1을 참조하면 도로에는 제1 자동차(10), 제2 자동차(20), 및 제3 자동차(30)가 주행하고 있다. 예로서, 도로는 삼 차로로 구성된다. 제1 자동차(10)는 일 차로(L1)에서 주행하고, 제2 자동차(20)는 이 차로(L2)에서 주행할 수 있다. 제3 자동차(30)는 삼 차로(L3)에서 주행할 수 있다.
제1 자동차(10), 제2 자동차(20), 및 제3 자동차(30) 각각은 주행 정보를 송수신하기 위한 전자 장치를 포함할 수 있다. 예로서, 제1 자동차(10)는 이 차로(L2)로 변경하여 주행할 예정인 것으로 가정한다. 제1 자동차(10)는 주행 예상 정보, 및 차량에 대한 식별 정보를 포함하는 메시지를 제2 자동차(20), 및 제3 자동차(30)로 전송할 수 있다.
제2 자동차(20), 및 제3 자동차(30)는 수신된 메시지 및 뒤에서 설명될 이미지 정보를 기반으로, 제1 자동차(10)가 기준 영역 이내에서 주행하는지에 대해서 판단할 수 있다. 예로서, 제2 자동차(20)는 제1 자동차(10)와 인접한 차로에서 주행하고 있다. 이러한 예에서, 제2 자동차(20)는 제1 자동차(10)로부터 수신한 주행 예상 정보, 현재 주행 중인 도로에 대한 맵(map) 정보, 이미지 정보로부터 인식한 제1 자동차(10)에 대한 인식 결과 등에 기초하여 제1 자동차(10)의 예상 주행 경로를 산출할 수 있다. 그리고 제1 자동차(10)로부터 수신한 메시지가 있으면, 제2 자동차(20)는 증강 현실 시스템을 통해 메시지의 내용 및 제1 자동차(10)의 예상 주행 경로를 증강 현실 정보로 생성할 수 있다. 예로서, 증강 현실 정보는 제2 자동차(20)가 HUD(Head Up Display) 장치를 포함하는 경우, 제2 자동차(20)는 윈드쉴드 글라스(windshield glass) 상에 예상 주행 경로 및 메시지를 표시할 수 있다.
본 발명의 실시 예에 따른 제1 자동차(10), 제2 자동차(20), 및 제3 자동차(30) 각각에 포함된 전자 장치에 의해 메시지를 생성하는 방법 및 증강현실 정보를 생성하는 방법은 도 2 내지 도 5를 참조하여 자세히 설명된다.
도 2는 도 1의 자동차들 각각에 포함된 전자 장치를 보여주기 위한 블록도이다. 도 2를 참조하면, 주행 정보 송수신 장치(100)는 자동차의 주행 예상 정보를 송수신하기 위한 전자 장치일 수 있다. 도 1 및 도 2를 참조하면, 주행 정보 송수신 장치(100)는 제1 자동차(10), 제2 자동차(20), 및 제3 자동차(30) 각각에 구비될 수 있다.
본 발명을 설명하기 위해, 제1 자동차(10) 및 제2 자동차(20) 각각이 주행 정보 송수신 장치(100)를 포함하고, 서로 메시지를 송수신한다고 가정한다. 예시적으로, 제1 자동차(10)의 주행 정보 송수신 장치(100)에서 메시지가 전송되고, 제2 자동차(20)의 주행 정보 송수신 장치(100)에서 메시지가 수신될 수 있다. 이는 본 발명을 설명하기 위한 일 예일 뿐, 메시지는 제1 자동차(10) 및 제2 자동차(20) 양 방향으로 송수신될 수 있다.
주행 정보 송수신 장치(100)는 메시지 생성부(110), 통신부(120), 메시지 수신부(130), 차선 및 자동차 인식부(140), 및 정보 생성부(150)를 포함할 수 있다.
스토리지(112)를 제외한 메시지 생성부(110), 메시지 수신부(130), 차선 및 자동차 인식부(140), 및 증강현실 정보 생성부(150)는 하드웨어(hardware) 형태, 소프트웨어(software) 형태, 또는 하이브리드(hybrid) 형태로 구현될 수 있다.
하드웨어 형태에서, 스토리지(112)를 제외한 메시지 생성부(110), 메시지 수신부(130), 차선 및 자동차 인식부(140), 및 정보 생성부(150) 각각은 뒤에서 설명될 동작들을 수행하기 위해 하나 이상의 디지털 및/또는 아날로그 회로들을 포함할 수 있다. 소프트웨어 형태에서, 스토리지(112)를 제외한 메시지 생성부(110), 메시지 수신부(130), 차선 및 자동차 인식부(140), 및 정보 생성부(150) 각각은 뒤에서 설명될 동작들을 수행하도록 구성되는 하나 이상의 명령어 코드(instruction code)들을 포함할 수 있다. 명령어 코드는 하나 이상의 프로세서들에 의해 명령어 집합(instruction set)으로 컴파일 또는 번역(compile or interpret)되고 처리될 수 있다.
메시지 생성부(110)는 주행 예상 정보 인식부(111) 및 스토리지(112)를 포함할 수 있다. 제1 자동차(10)의 주행 예상 정보 인식부(111)는 제1 자동차(10)의 예상 주행 경로를 산출할 수 있다. 그리고, 제1 자동차(10)의 주행 예상 정보 인식부(111)는 산출된 예상 주행 경로를 기반으로 주행 예상 정보를 생성할 수 있다. 주행 예상 정보는 제1 자동차(10)가 이동하고자 하는 경로 및 안내에 관한 정보를 포함할 수 있다.
몇몇 실시 예로서, 제1 자동차(10)의 예상 주행 경로는 제1 자동차(10)의 운전자로부터 입력을 통해 제공될 수 있다. 제1 자동차(10)의 주행 예상 정보 인식부(111)는 제1 자동차(10)의 운전자의 음성을 인식하기 위한 음성 인식 센서(sensor)를 포함할 수 있다. 제1 자동차(10)의 운전자가 이동하고자 하는 목적지에 관한 정보를 키보드 입력이나 음성과 같은 사용자 인터페이스를 통한 입력으로 제공하면, 제1 자동차(10)의 주행 예상 정보 인식부(111)는 수신된 키보드 입력 정보 또는 음성으로부터 예상 주행 경로를 인식할 수 있다.
제1 자동차(10)의 주행 예상 정보 인식부(111)는 제1 자동차(10)의 운전자의 키보드 입력 정보 또는 음성을 인식함으로써, 제1 자동차(10)의 목적지까지의 경로 정보 및 주행 예상 정보를 생성할 수 있다. 주행 예상 정보는 현재 제1 자동차(10)가 주행하고 있는 전방 도로의 경로 정보를 포함할 수 있다. 그 외에도, 제1 자동차(10)의 주행 예상 정보 인식부(111)는 제1 자동차(10)의 속도, 핸들의 위치, 브레이크와 엑셀레이터의 조작 상태 등과 같은 다양한 정보들을 인식할 수 있다. 제1 자동차(10)의 주행 예상 정보 인식부(111)는 인식된 정보들에 기초하여 제1 자동차(10)의 주행 예상 정보를 생성할 수 있다.
스토리지(112)는 자동차를 식별하기 위한 식별 정보들을 포함할 수 있다. 예로서, 스토리지(112)는 자동차의 번호 정보, 색깔 정보, 종류 정보, 및 자동차의 이미지 정보 중 적어도 하나를 포함할 수 있다.
스토리지(112)는 불휘발성 메모리(nonvolatile memory)일 수 있다. 불휘발성 메모리는 ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Electrically Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), 플래시 메모리, PRAM(Phase-change RAM), MRAM(Magnetic RAM), RRAM(Resistive RAM), 및 FRAM(Ferroelectric RAM) 중 적어도 하나를 포함할 수 있다.
메시지 생성부(110)는 주행 예상 정보 및 식별 정보들에 기초하여 메시지를 생성할 수 있다. 메시지는 제1 자동차(10) 및 제2 자동차(20) 사이에서 정보를 송수신하기 위한 데이터 또는 알림일 수 있다. 몇몇 실시 예로서, 메시지 생성부(110)는 주행 예상 정보가 수신될 때마다, 메시지를 생성할 수 있다. 또는, 메시지 생성부(110)는 주기적으로 메시지를 생성할 수 있다. 제1 자동차(10)의 메시지 생성부(110)는 생성된 메시지를 통신부(120)로 출력할 수 있다.
제1 자동차(10)의 통신부(120)는 메시지를 외부로 출력할 수 있다. 통신부(120)는 무선 통신을 이용하여 메시지를 외부로 출력할 수 있다. 몇몇 실시 예로서, 통신부(120)는 WAVE(Wireless Access Vehicle Environment) 통신 기술을 채용할 수 있다. WAVE 통신 기술은 차량과 차량 사이의 통신(Vehicle to Vehicle 통신, V2V 통신)을 제공할 수 있다. 출력된 메시지는 주변 자동차(예로서, 제2 자동차(20))로 전송될 수 있다.
예로서, 제2 자동차(20)의 통신부(120)는 제1 자동차(10)로부터 출력된 메시지를 수신할 수 있다. 수신된 메시지는 메시지 수신부(130)로 전달될 수 있다.
메시지 수신부(130)는 메시지 분석부(131) 및 주행 경로 산출부(132)를 포함할 수 있다. 제2 자동차(20)의 메시지 분석부(131)는 제1 자동차(10)로부터 수신된 메시지를 통신부(120)로부터 수신할 수 있다. 메시지 분석부(131)는 수신된 메시지를 분석할 수 있다. 제2 자동차(20)의 메시지 분석부(131)는 메시지에 포함된 제1 자동차(10)의 식별 정보를 차선 및 자동차 인식부(140)로 전달할 수 있다. 제1 자동차(10)의 식별 정보는 제2 자동차(20)의 차선 및 자동차 인식부(140)에서 이미지 정보와 함께 제1 자동차(10)를 인식하기 위한 비교 데이터로 사용될 수 있다. 제2 자동차(20)의 차선 및 자동차 인식부(140)는 비교 결과로서 인식 결과 데이터를 생성할 수 있다. 메시지 수신부(130)는 차선 및 자동차 인식부(140)로부터 인식 결과 데이터를 수신할 수 있다. 인식 결과 데이터는 차선에 대한 차선 인식 결과를 포함할 수 있다.
인식 결과 데이터는 주행 경로 산출부(132)로 전달될 수 있다. 제2 자동차(20)의 주행 경로 산출부(132)는 인식 결과 데이터에 기초하여 제1 자동차(10)가 기준 범위 내에 존재하는가를 판단할 수 있다. 기준 범위는 차선 인식 결과를 기반으로 제2 자동차(20)와 동일한 차로, 좌측 차로 또는 우측 차로를 기준으로 정해질 수 있다. 예로서, 제1 자동차(10)가 제2 자동차(20)와 동일한 차로, 좌측 차로 또는 우측 차로에서 주행 중이면, 제2 자동차(20)는 제1 자동차(10)가 기준 범위 내에 존재하는 것으로 판단할 수 있다.
제1 자동차(10)가 제2 자동차(20)의 기준 범위 내에 있으면, 제2 자동차는 인식 결과, 주행 예상 정보, 및 맵(map) 정보에 기초하여 제1 자동차(10)의 차로 기반 예상 주행 경로를 산출할 수 있다. 차로 기반 예상 주행 경로는 제1 자동차(10)의 현재 주행 중인 차로의 위치 및 예상 이동 차로의 위치에 기초하여 산출될 수 있다.
예로서, 주행 경로 산출부(132)는 내비게이션(navigation)으로부터 맵(map) 정보 및 GPS 정보를 수신할 수 있다. 제2 자동차(20)의 주행 경로 산출부(132)는 맵 정보 및 GPS 정보를 기반으로 제2 자동차(20)의 현재 위치, 제1 자동차(10)의 현재 위치, 을 획득할 수 있다. 그리고 맵(map) 정보로부터 획득한 도로 속성 정보, , GPS 정보, 차선 및 자동차 인식부(140)로부터 수신한 인식 결과 데이터, 및 제1 자동차(10)로부터 수신한 주행 예상 정보를 기반으로, 주행 경로 산출부(132)는 제1 자동차(10)의 예상 주행 경로를 산출할 수 있다. 도로 속성 정보는 현재 주행중인 도로에 대한 현 위치 도로 및 전방 교차로의 속성에 대한 정보를 포함할 수 있다. 주행 경로 산출부(132)는 산출 결과에 기초하여 산출 결과 데이터를 생성할 수 있다. 주행 경로 산출부(132)는 산출 결과 데이터를 증강현실 정보 생성부(151)로 출력할 수 있다.
차선 및 자동차 인식부(140)는 외부로부터 이미지 정보를 수집할 수 있다. 이미지 정보는 카메라를 통해 촬영될 수 있다. 카메라는 차량용 블랙박스(Black Box) 카메라, 및 자동차용 사고기록장치(Event Data Recorder, EDR) 중 적어도 하나로 구현될 수 있다. 이미지 정보는 카메라가 부착된 자동차의 외부에 존재하는 주행 차선 및 자동차들에 대한 이미지를 포함할 수 있다. 차선 및 자동차 인식부(140)는 수집된 이미지 정보에서 주행 차선 및 자동차들의 이미지들을 인식할 수 있다.
제2 자동차(20)의 차선 및 자동차 인식부(140)는 메시지 수신부(130)로부터 제1 자동차(10)의 식별 정보를 수신할 수 있다. 제2 자동차(20)의 차선 및 자동차 인식부(140)는 제1 자동차(10)의 식별 정보에 기초하여, 자동차들의 이미지들 중 제1 자동차(10)를 인식할 수 있다. 제2 자동차(20)의 차선 및 자동차 인식부(140)는 자동차들의 이미지들 중 제1 자동차(10)의 이미지를 인식하면, 인식 결과 데이터를 생성할 수 있다. 차선 및 자동차 인식부(140)는 인식 결과 데이터를 메시지 수신부(130)로 전송할 수 있다.
또한, 제2 자동차(20)의 차선 및 자동차 인식부(140)는 전방의 차로에 대한 차선을 인식할 수 있다. 인식된 차선 정보를 기반으로, 차로의 개수, 제2 자동차(20)의 현재 주행 주행 중인 차로의 위치, 제1 자동차(!0)의 현재 주행 중인 차로의 위치, 제2 자동차(20)가 몇 차로에서 주행 중인지, 제1 자동차(10) 및 제2 자동차(20) 사이의 거리, 및 제1 자동차(10)의 위치 좌표 중 적어도 하나를 인식할 수 있다. 이러한 인식 결과들은 인식 결과 데이터에 포함된다.
정보 생성부(150)는 증강현실 정보 생성부(151) 및 증강현실 정보 제공부(152)를 포함할 수 있다. 증강현실 정보 생성부(151)는 메시지 수신부(130)로부터 산출 결과 데이터를 수신할 수 있다. 증강현실 정보 생성부(151)는 산출 결과 데이터에 기초하여 증강현실 정보를 생성할 수 있다. 몇몇 실시 예로서, 제2 자동차(20)를 위한 증강현실 정보는 제1 자동차(10)의 디스플레이 장치 상에 표시될 위치 좌표 정보, 제1 자동차(10)의 위치에 표시할 이미지 정보, 제1 자동차(10)의 예상되는 이동 방향정보 중 적어도 하나를 포함할 수 있다.
증강현실 정보 제공부(152)는 증강현실 정보 생성부(151) 에 의해 생성된 증강현실 정보를 외부로 제공할 수 있다. 몇몇 실시 에로서, 증강현실 정보 제공부(152)는 주행 정보 송수신 장치(100)와 연결된 디스플레이(display) 장치로 증강현실 정보를 제공할 수 있다. 디스플레이 장치는 내비게이션, HUD 장치, 개인용 정보 단말기(Personal Digital Assistant, PDA), 스마트 폰(Smart Phone), 및 웨어러블 (Wearable) 장치 중 적어도 하나로 구현될 수 있다.
도 1 및 도 2를 참조하면, 제1 자동차(10) 및 제2 자동차(20) 각각은 주행 정보 송수신 장치(100)를 통해 주행 정보를 포함하는 메시지를 송수신할 수 있다. 제1 자동차(10) 및 제2 자동차(20) 각각의 주행 정보 송수신 장치(100)는 주행 정보를 포함한 메시지에 기초하여, 서로의 주행 예상 정보를 증강현실 정보로 생성할 수 있다.
도 3은 도 2의 전자 장치에 의해 송수신되는 메시지에 포함된 정보들을 보여주기 위한 도면이다. 도 3을 참조하면, 메시지는 전송 시간 정보, 자동차 인식 데이터, 자동차 인식 이미지, 경로 정보, 긴급 여부, 및 의사 메시지를 포함할 수 있다. 메시지는 도 2에 도시된 주행 정보 송수신 장치(100)에서 송수신될 수 있다.
전송 시간은 주행 정보 송수신 장치(100)로부터 메시지가 송수신된 시간을 의미할 수 있다. 전송 시간은 년도, 월, 일, 시간, 분, 및 초에 대한 정보들 중 적어도 하나를 포함할 수 있다. 자동차 인식 데이터는 메시지를 전송하는 자동차의 번호, 색깔 및 종류에 대한 정보를 포함할 수 있다. 자동차 인식 이미지는 메시지를 전송하는 자동차의 실제 이미지 정보를 포함할 수 있다.
경로 정보는 주행 예상 정보 인식부(111)에서 인식된 운전자의 음성 또는 자동차의 모듈의 제어에 의해 생성될 수 있다. 긴급 여부 및 의사 메시지에 대한 정보는 필요에 따라 포함될 수 있다. 메시지의 긴급 여부는 높음, 중간 또는 낮음으로 구분될 수 있다. 그리고, 의사 메시지는 운전자의 주행 의사 정보를 포함할 수 있다. 주행 의사 정보는 운전자로부터 음성과 같은 방법으로 입력된 정보일 수 있다. 자동차 인식 데이터, 및 자동차 이미지 데이터는 스토리지(112)에 저장되어있는 정보일 수 있다.
도 4는 도 2의 전자 장치에서 메시지를 생성하는 방법을 보여주기 위한 순서도이다. 예로서, 도 4는 제1 자동차(10)의 주행 정보 송수신 장치(100)에서 제2 자동차(20)의 주행 정보 송수신 장치(100)로 전송되는 메시지를 생성하는 방법을 보여준다.
도 2 및 도 4를 참조하면, 주행 정보 송수신 장치(100)는 주행 예상 정보를 산출할 수 있다(S110). 예로서, 주행 정보 송수신 장치(100)는 운전자의 음성 또는 자동차의 모듈의 제어를 인식함으로써, 자동차의 주행 예상 정보를 산출할 수 있다.
그리고 주행 정보 송수신 장치(100)는 자동차 관련 정보를 수집할 수 있다(S120). 주행 정보 송수신 장치(100)는 내부 데이터 베이스에 저장된 자동차의 번호 정보, 색깔 정보, 종류 정보, 및 자동차의 이미지 정보 중 적어도 하나를 수집할 수 있다.
주행 정보 송수신 장치(100)는 메시지를 생성하고 송신할 수 있다(S130). 예로서, 주행 정보 송수신 장치(100)는 자동차의 주행 예상 정보 및 자동차 관련 정보를 기반으로 메시지를 생성하고 외부로 송신할 수 있다.
도 5는 도 2의 전자 장치로부터 메시지를 수신하고 증강현실 정보를 생성하는 방법을 보여주기 위한 순서도이다. 예로서, 도 5는 제2 자동차(20)의 주행 정보 송수신 장치(100)에서 제1 자동차(10)의 주행 정보 송수신 장치(100)로부터 메시지를 수신하고, 증강현실 정보를 생성하는 방법을 보여준다.
도 2 및 도 5를 참조하면, 주행 정보 송수신 장치(100)는 외부로부터 메시지를 수신하고 분석할 수 있다(S210). 예로서, 주행 정보 송수신 장치(100)에서 차선 및 자동차 인식부(140)로부터 수신된 이미지 정보 및 제1 자동차(10)로부터 수신한 메시지에 포함된 자동차 관련 정보를 비교할 수 있다(S220). 자동차 관련 정보는 자동차의 식별 정보일 수 있다. 예로서, 주행 정보 송수신 장치(100)는 이미지 정보에 포함된 자동차들의 이미지들과 자동차 관련 정보를 비교할 수 있다.
주행 정보 송수신 장치(100)는 S210 동작에서 수신된 메시지가 기준 영역 내에 존재하는 자동차로부터 수신된 메시지인지 판단할 수 있다(S230). 주행 정보 송수신 장치(100)는 차선 및 자동차 인식부(140)로부터 수신된 자동차들의 이미지들과 제1 자동차(10)로부터 수신한 메시지에 포함된 자동차 관련 정보를 비교할 수 있다. 그리고, 자동차 관련 정보와 일치하는 자동차의 이미지가 기준 영역 내에 있으면, 차로 기반 예상 주행 경로를 산출할 수 있다(S240). 주행 정보 송수신 장치(100)의 차로 기반 예상 주행 경로 산출 방법은 도 2를 참조하여 설명되었으므로, 자세한 설명은 생략된다.
주행 정보 송수신 장치(100)는 증강현실 정보를 생성 및 출력할 수 있다(S250). 주행 정보 송수신 장치(100)는 산출 결과 데이터에 기초하여 증강현실 정보를 생성하고, 생성된 산출 결괴 데이터를 출력할 수 있다.
도 6은 도 2의 전자 장치의 차로 기반 예상 주행 경로를 산출하는 방법을 보여주기 위한 순서도이다. 도 2 및 도 6을 참조하면, 주행 정보 송수신 장치(100)는 수신된 메시지 및 맵(map) 정보로부터 획득한 현재 주행중인 도로에 대한 현 위치 도로 및 전방 교차로의 속성 정보에 기초하여 기준 영역 내에 존재하는 자동차의 예상 주행 경로를 산출할 수 있다(S310).
주행 정보 송수신 장치(100)는 수신된 메시지의 주행 안내 정보가 직진 정보를 포함하는지 판단할 수 있다(S315). 주행 안내 정보가 직진 정보를 포함하고 있으면, 주행 정보 송수신 장치(100)는 현재 주행 중인 도로가 직진 차로인지 판단할 수 있다(S320). 현재 주행 중인 도로가 직진 차로이면, 주행 정보 송수신 장치(100)는 증강현실 정보를 생성하지 않는다(S325). 예로서, 메시지를 전송한 자동차의 예상 주행 경로는 직진 주행이고, 주행중인 도로도 직진 차로이다. 따라서, 주행 정보 송수신 장치(100)는 메시지를 전송한 자동차의 예상 주행 경로에 대한 정보를 제공하지 않을 수 있다.
주행 안내 정보가 직진 정보를 포함하지 않으면, 주행 정보 송수신 장치(100)는 우회전 정보를 포함하는지 판단할 수 있다(S330). 주행 안내 정보가 우회전 정보를 포함하고 있으면, 주행 정보 송수신 장치(100)는 현재 주행 중인 도로가 우회전 차로인지 판단할 수 있다(S335). 현재 주행 중인 도로가 우회전 차로이면, 주행 정보 송수신 장치(100)는 증강현실 정보를 생성하지 않는다(S325).
반면, 현재 주행 중인 도로가 우회전 차로이지 않으면, 주행 정보 송수신 장치(100)는 메시지를 전송한 자동차가 동일한 주행 차로 또는 왼쪽 차로에서 주행 중인지 판단할 수 있다(S340). 메시지를 전송한 자동차가 동일한 주행 차로 또는 왼쪽 차로에서 주행 중이면, 주행 정보 송수신 장치(100)는 오른쪽으로 이동 표시 정보를 생성할 수 있다(S345). 예로서, 주행 정보 송수신 장치(100)는 메시지를 전송한 자동차가 오른쪽 차로로 이동할 것을 예측할 수 있다. 따라서, 주행 정보 송수신 장치(100)는 오른쪽 차로로 이동하는 자동차의 이미지 정보를 포함하는 증강현실 정보를 생성할 수 있다. 반면, 메시지를 전송한 자동차가 동일한 주행 차로 또는 왼쪽 차로에서 주행 중이지 않으면, 주행 정보 송수신 장치(100)는 증강현실 정보를 생성하지 않는다(S325).
반면, 주행 안내 정보가 우회전 정보를 포함하지 않으면, 주행 정보 송수신 장치(100)는 현재 주행 중인 도로가 좌회전 차로인지 판단할 수 있다(S350.). 현재 주행 중인 도로가 좌회전 차로이면, 주행 정보 송수신 장치(100)는 증강현실 정보를 생성하지 않는다(S325). 현재 주행 중인 도로가 좌회전 차로가 아니면, 주행 정보 송수신 장치(100)는 메시지를 전송한 자동차가 동일한 주행 차로 또는 오른쪽 차로에서 주행 중인지 판단할 수 있다(S355).
메시지를 전송한 자동차가 동일한 주행 차로 또는 오른쪽 차로에서 주행 중이면, 주행 정보 송수신 장치(100)는 왼쪽으로 이동 표시 정보를 생성할 수 있다(S360). 주행 정보 송수신 장치(100)는 메시지를 전송한 자동차가 왼쪽 차로로 이동할 것을 예측할 수 있다. 따라서, 주행 정보 송수신 장치(100)는 왼쪽 차로로 이동하는 자동차의 이미지 정보를 포함하는 증강현실 정보를 생성할 수 있다. 반면, 메시지를 전송한 자동차가 동일한 주행 차로 또는 오른쪽 차로에서 주행 중이지 않으면, 주행 정보 송수신 장치(100)는 증강현실 정보를 생성하지 않는다(S325).
현재 주행 중인 도로가 직진 차로가 아니면, 주행 정보 송수신 장치(100)는 현재 주행 중인 도로가 우회전 차로인지 판단할 수 있다(S365). 현재 주행 중인 도로가 우회전 차로이면, 주행 정보 송수신 장치(100)는 메시지를 전송한 자동차가 동일한 주행 차로 또는 오른쪽 차로에서 주행 중인지 판단할 수 있다(S370). 메시지를 전송한 자동차가 동일한 주행 차로 또는 오른쪽 차로에서 주행 중이면, 주행 정보 송수신 장치(100)는 왼쪽으로 이동 표시 정보를 생성할 수 있다(S375). 반면, 메시지를 전송한 자동차가 동일한 주행 차로 또는 오른쪽 차로에서 주행 중이지 않으면, 주행 정보 송수신 장치(100)는 증강현실 정보를 생성하지 않는다(S325).
현재 주행 중인 차로가 우회전 차로이지 않으면, 주행 정보 송수신 장치(100)는 메시지를 전송한 자동차가 동일한 주행 차로 또는 왼쪽 차로에서 주행 중인지 판단할 수 있다(S380). 메시지를 전송한 자동차가 동일한 주행 차로 또는 왼쪽 차로에서 주행 중이면, 주행 정보 송수신 장치(100)는 오른쪽으로 이동 표시 정보를 생성할 수 있다(S385). 반면, 메시지를 전송한 자동차가 동일한 주행 차로 또는 왼쪽 차로에서 주행 중이지 않으면, 주행 정보 송수신 장치(100)는 증강현실 정보를 생성하지 않는다(S325).
이상에서와 같이 도면과 명세서에서 최적 실시 예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100: 주행정보 송수신 장치 132: 주행 경로 산출부
110: 메시지 생성부 140: 차선 및 자동차 인식부
111: 주행 예상 정보 인식부 150: 정보 생성부
112: 스토리지 151: 증강현실 정보 생성부
130: 메시지 생성부 152: 증강현실 정보 제공부
131: 메시지 분석부

Claims (1)

  1. 제1 자동차에 구비되는 전자 장치에 있어서,
    제2 자동차의 예상 주행 경로를 산출하기 위해, 상기 제2 자동차의 주행 예상 정보 및 상기 제2 자동차의 식별 정보를 포함하는 메시지를 상기 제2 자동차로부터 수신하기 위한 통신부;
    상기 제1 자동차의 외부 영역을 촬영하여 생성되는 이미지 정보를 획득하고, 상기 제2 자동차의 상기 식별 정보에 기초하여 상기 이미지 정보로부터 상기 제2 자동차에 대응하는 이미지 및 주행 차로를 인식함으로써 인식 결과 데이터를 생성하기 위한 차선 및 자동차 인식부;
    상기 인식 결과 데이터, 및 상기 제1 및 제2 자동차들 각각의 위치 정보에 기초하여 상기 제2 자동차가 상기 제1 자동차로부터 기준 거리 내에 있는 것으로 판단되면, 상기 주행 예상 정보, 및 도로 속성 정보에 기초하여, 상기 제2 자동차의 상기 주행 차로를 기반으로 상기 예상 주행 경로를 산출함으로써, 산출 데이터를 생성하기 위한 주행 경로 산출부; 및
    상기 산출 데이터에 기초하여 상기 제2 자동차의 상기 주행 차로를 기반으로 하는 상기 산출된 예상 주행 경로를 증강 현실 정보로서 출력하기 위한 증강 현실 정보 제공부를 포함하는 전자 장치.
KR1020160058390A 2016-05-12 2016-05-12 증강현실 기술을 이용하여 차량의 주행 정보를 제공하기 위한 전자 장치 KR20170128684A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160058390A KR20170128684A (ko) 2016-05-12 2016-05-12 증강현실 기술을 이용하여 차량의 주행 정보를 제공하기 위한 전자 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160058390A KR20170128684A (ko) 2016-05-12 2016-05-12 증강현실 기술을 이용하여 차량의 주행 정보를 제공하기 위한 전자 장치

Publications (1)

Publication Number Publication Date
KR20170128684A true KR20170128684A (ko) 2017-11-23

Family

ID=60809588

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160058390A KR20170128684A (ko) 2016-05-12 2016-05-12 증강현실 기술을 이용하여 차량의 주행 정보를 제공하기 위한 전자 장치

Country Status (1)

Country Link
KR (1) KR20170128684A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190120644A1 (en) * 2017-09-19 2019-04-25 Continental Automotive Systems, Inc. Vehicle safety system and method for providing a recommended path
WO2020159247A1 (ko) * 2019-01-31 2020-08-06 엘지전자 주식회사 영상 출력 장치
US11433917B2 (en) 2018-12-28 2022-09-06 Continental Autonomous Mobility US, LLC System and method of human interface for recommended path

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190120644A1 (en) * 2017-09-19 2019-04-25 Continental Automotive Systems, Inc. Vehicle safety system and method for providing a recommended path
US11193780B2 (en) * 2017-09-19 2021-12-07 Continental Automotive Systems, Inc. Vehicle safety system and method for providing a recommended path
US11433917B2 (en) 2018-12-28 2022-09-06 Continental Autonomous Mobility US, LLC System and method of human interface for recommended path
WO2020159247A1 (ko) * 2019-01-31 2020-08-06 엘지전자 주식회사 영상 출력 장치
US11790613B2 (en) 2019-01-31 2023-10-17 Lg Electronics Inc. Image output device

Similar Documents

Publication Publication Date Title
RU2719101C2 (ru) Способ и транспортное средство для оказания содействия водителям при смене полос движения на проезжей части дороги
CN109791565B (zh) Adas视野和视觉补充v2x
CN109141464B (zh) 导航变道提示方法和装置
US10816984B2 (en) Automatic data labelling for autonomous driving vehicles
CN107402017B (zh) 使用道路车道线质量的路线生成
EP3227873B1 (en) Method and apparatus for providing point of interest information
CN107346137B (zh) 车辆的基于网络的存储器和用于优化车辆路线规划的基础设施数据
US11915115B2 (en) Lane selection using machine learning
EP3627110B1 (en) Method for planning trajectory of vehicle
WO2016087552A1 (en) Method and apparatus for providing point of interest information
US10495480B1 (en) Automated travel lane recommendation
CN104870289A (zh) 用于为机动车提供运行策略的方法
JP2019109707A (ja) 表示制御装置、表示制御方法および車両
US20200118433A1 (en) Drive assistance system
US20210327269A1 (en) Utilization of reflectivity to determine changes to traffic infrastructure elements
CN112710322A (zh) 规划导航路线的方法、装置、计算机设备和介质
KR20170128684A (ko) 증강현실 기술을 이용하여 차량의 주행 정보를 제공하기 위한 전자 장치
CN111721315A (zh) 一种信息处理方法、装置、车辆以及显示设备
CN113454555A (zh) 用于驾驶策略的轨迹预测
US11694544B2 (en) Traffic safety control method and vehicle-mounted device
JP2019053394A (ja) 自動運転支援装置及びコンピュータプログラム
WO2023185255A1 (zh) 碰撞预警方法、车载终端及存储介质
JP2008262481A (ja) 車両制御装置
JP2020140602A (ja) 地図データ更新システム、走行プローブ情報収集装置、走行プローブ情報提供装置および走行プローブ情報収集方法
JP7159851B2 (ja) 運転支援装置、車両、情報提供装置、運転支援システム、及び運転支援方法