KR20220096242A - 자율주행 차량 기반의 증강현실 콘텐츠 제공 시스템 및 그 증강현실 콘텐츠 제공 방법과 이를 위한 컴퓨터 프로그램 - Google Patents

자율주행 차량 기반의 증강현실 콘텐츠 제공 시스템 및 그 증강현실 콘텐츠 제공 방법과 이를 위한 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20220096242A
KR20220096242A KR1020200188505A KR20200188505A KR20220096242A KR 20220096242 A KR20220096242 A KR 20220096242A KR 1020200188505 A KR1020200188505 A KR 1020200188505A KR 20200188505 A KR20200188505 A KR 20200188505A KR 20220096242 A KR20220096242 A KR 20220096242A
Authority
KR
South Korea
Prior art keywords
augmented reality
reality content
moving means
information
user
Prior art date
Application number
KR1020200188505A
Other languages
English (en)
Inventor
이경범
Original Assignee
(주)모아지오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)모아지오 filed Critical (주)모아지오
Priority to KR1020200188505A priority Critical patent/KR20220096242A/ko
Publication of KR20220096242A publication Critical patent/KR20220096242A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4524—Management of client data or end-user data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Social Psychology (AREA)
  • Tourism & Hospitality (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 자율주행 차량 기반의 증강현실 콘텐츠 제공 시스템 및 그 증강현실 콘텐츠 제공방법과 이를 위한 컴퓨터 프로그램에 관한 것이다. 본 발명에 따른 자율주행 차량 기반의 증강현실 콘텐츠 제공 시스템은 증강현실 콘텐츠의 표시가 가능한 투명 디스플레이 장치와, 상기 투명 디스플레이 장치의 외부를 촬상하는 촬상부를 포함하고, 상기 촬상부에 의해 촬상된 영상에 대한 정보를 전송하는 이동수단과; 상기 촬상된 영상에 대한 정보를 상기 이동수단으로부터 수신하고, 상기 촬상된 영상에 대응하는 증강현실 콘텐츠를 상기 이동수단으로 전송하는 서버 장치를 포함하는 것을 특징으로를 포함하는 것을 특징으로 한다. 이에 의하여, 이동수단이 위치한 장소에 대응하는 콘텐츠를 실시간으로 사용자에게 제공할 수 있으며, 콘텐츠에 대한 사용자의 행위를 인식하여 사용자의 행위에 대응하는 시나리오별 콘텐츠를 제공함으로써 인터랙티브한 콘텐츠의 제공이 가능하다.

Description

자율주행 차량 기반의 증강현실 콘텐츠 제공 시스템 및 그 증강현실 콘텐츠 제공 방법과 이를 위한 컴퓨터 프로그램 { AUGMENT REALITY CONTENT PROVIDING SYSTEM AND AUGMENT REALITY CONTENT PROVIDING METHOD THEREOF BASED ON AUTONOMOUS VEHICLE AND COMPUTER PROGRAM FOR THE SAME }
본 발명은 자율주행 차량 기반의 증강현실 콘텐츠 제공 시스템 및 그 증강현실 콘텐츠 제공 방법과 이를 위한 컴퓨터 프로그램에 관한 것이다. 보다 상세하게는, 이동수단에 탑승한 사용자에게 이동수단 주변의 환경에 맞는 증강현실 콘텐츠를 제공하는 자율주행 차량 기반의 증강현실 콘텐츠 제공 시스템 및 그 증강현실 콘텐츠 제공 방법과 이를 위한 컴퓨터 프로그램에 관한 것이다.
자율주행 기술의 발달로 자동차는 단순한 이동수단이 아닌 휴식 및 업무공간이자 문화생활을 위한 공간으로 점차 인식이 변모하고 있다. 이러한 변화에 따라 자동차 등의 이동수단에서 주행 특성과 사용자의 요구사항을 반영한 다양한 종류의 콘텐츠가 제작되고 있다.
그런데 이러한 콘텐츠는 이를 시청하는 사용자의 의사와는 무관하게 반복적으로 실행되는 경우가 대부분이며, 이동수단이 위치하는 장소에 대해 사용자가 원하는 정보의 전달이 어려운 문제가 있다.
한국공개특허 제10-2017-0018930호
따라서 본 발명은 이동수단이 위치한 장소에 대응하는 콘텐츠를 실시간으로 사용자에게 제공할 수 있는 자율주행 차량 기반의 증강현실 콘텐츠 제공 시스템 및 그 증강현실 콘텐츠 제공 방법과 이를 위한 컴퓨터 프로그램을 제공하는 것을 목적으로 한다.
그리고 본 발명은 콘텐츠에 대한 사용자의 행위를 인식하여 사용자의 행위에 대응하는 시나리오별 콘텐츠를 제공함으로써 인터랙티브한 콘텐츠의 제공이 가능한 자율주행 차량 기반의 증강현실 콘텐츠 제공 시스템 및 그 콘텐츠 제공 방법과 이를 위한 컴퓨터 프로그램을 제공하는 것을 목적으로 한다.
상기 목적은, 증강현실 콘텐츠의 표시가 가능한 투명 디스플레이 장치와, 상기 투명 디스플레이 장치의 외부를 촬상하는 촬상부를 포함하고, 상기 촬상부에 의해 촬상된 영상에 대한 정보를 전송하는 이동수단과; 상기 촬상된 영상에 대한 정보를 상기 이동수단으로부터 수신하고, 상기 촬상된 영상에 대응하는 증강현실 콘텐츠를 상기 이동수단으로 전송하는 서버 장치를 포함하는 것을 특징으로 하는 자율주행 차량 기반의 증강현실 콘텐츠 제공 시스템에 의해 달성된다.
상기 이동수단은, 상기 이동수단에 탑승한 사용자의 움직임을 감지하는 센서부를 포함하고, 상기 센서부에 의해 감지된 정보에 기초하여 사용자의 행위를 인식하고, 상기 인식된 사용자의 행위에 대응하는 시나리오별 콘텐츠를 수신하여 상기 투명 디스플레이 장치에 표시할 수 있다.
상기 이동수단은 상기 감지된 사용자의 시선 정보와, 상기 이동수단의 트래킹 정보에 기초하여 상기 디스플레이 장치에 표시되는 상기 증강현실 콘텐츠를 정합하는 것이 바람직하다.
상기 이동수단은, 상기 사용자의 수와, 상기 사용자의 위치와, 상기 사용자의 움직임을 포함하는 내부 정보와, 상기 이동수단의 위치와, 상기 이동수단 주변 정보와, 날씨 정보를 포함하는 외부 정보를 상기 서버 장치로 전송하고, 상기 서버 장치는, 상기 수신된 외부 정보에 기초하여 시나리오를 생성하고, 상기 생성된 시나리오에 대응하는 증강현실 콘텐츠를 상기 이동수단으로 전송할 수 있다.
상기 이동수단은, 상기 증강현실 콘텐츠의 유형에 따라 상기 디스플레이 장치에 포함된 패널의 투과도를 조절하는 것이 바람직하다.
한편, 이동수단이 투명 디스플레이 장치의 외부를 촬상하는 단계; 상기 이동수단이 상기 촬상된 영상에 대한 정보를 서버로 전송하는 단계; 상기 서버가 상기 촬상된 영상에 대한 정보를 수신하는 단계; 상기 서버가 상기 촬상된 영상에 대응하는 증강현실 콘텐츠를 상기 이동수단으로 전송하는 단계를 포함하는 것을 특징으로 하는 자율주행 차량 기반의 증강현실 콘텐츠 제공 시스템의 증강현실 콘텐츠 제공 방법에 의해서도 상기 목적은 달성된다.
상기 이동수단이 센서부에 의해 감지된 정보에 기초하여 사용자의 행위를 인식하는 단계; 및 상기 인식된 사용자의 행위에 대응하는 시나리오별 콘텐츠를 서버 장치로부터 수신하여 상기 투명 디스플레이 장치에 표시하는 단계를 더 포함할 수 있다.
상기 이동수단이 상기 감지된 사용자의 시선 정보와, 상기 이동수단의 트래킹 정보에 기초하여 상기 디스플레이 장치에 표시되는 상기 증강현실 콘텐츠를 정합하는 단계를 더 포함할 수 있다.
상기 이동수단이 상기 사용자의 수와, 상기 사용자의 위치와, 상기 사용자의 움직임을 포함하는 내부 정보와, 상기 이동수단의 위치와, 상기 이동수단의 주변 정보와, 날씨 정보를 포함하는 외부 정보를 상기 서버 장치로 전송하는 단계; 및 상기 서버 장치가 상기 수신된 외부 정보에 기초하여 시나리오를 생성하고, 상기 생성된 시나리오에 대응하는 증강현실 콘텐츠를 상기 이동수단으로 전송하는 단계를 포함할 수 있다.
상기 이동수단이 상기 증강현실 콘텐츠의 유형에 따라 상기 디스플레이 장치에 포함된 패널의 투과도를 조절하는 단계를 더 포함할 수 있다.
본 발명에 따른 자율주행 차량 기반의 증강현실 콘텐츠 제공 시스템 및 그 증강현실 콘텐츠 제공 방법과 이를 위한 컴퓨터 프로그램에 의하면, 이동수단이 위치한 장소에 대응하는 콘텐츠를 실시간으로 사용자에게 제공할 수 있다.
또한, 본 발명에 따른 자율주행 차량 기반의 증강현실 콘텐츠 제공 시스템 및 그 증강현실 콘텐츠 제공 방법과 이를 위한 컴퓨터 프로그램에 의하면, 콘텐츠에 대한 사용자의 행위를 인식하여 사용자의 행위에 대응하는 시나리오별 콘텐츠를 제공함으로써 인터랙티브한 콘텐츠의 제공이 가능하다.
도 1은 본 발명의 일실시예에 따른 자율주행 차량 기반의 증강현실 콘텐츠 제공시스템의 구성을 도시한 블록도이며,
도 2는 본 발명의 일실시예에 따른 이동수단의 구성을 도시한 블록도이며,
도 3은 본 발명의 일실시예에 따른 이동수단의 구성을 도시한 평면도이며,
도 4는 본 발명의 일실시예에 따른 서버 장치의 구성을 도시한 블록도이며,
도 5는 본 발명의 일실시예에 따른 증강현실 콘텐츠를 도시한 도면이며,
도 6은 본 발명의 일실시예에 따른 자율주행 차량 기반의 증강현실 콘텐츠 제공시스템의 콘텐츠 제공방법을 도시한 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들에 따른 증강현실 콘텐츠 제공 시스템 및 그 증강현실 콘텐츠 제공방법과 이를 위한 컴퓨터 프로그램에 대해 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 증강현실 콘텐츠 제공시스템의 구성을 도시한 블록도이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 증강현실 콘텐츠 제공시스템은 이동수단(10)과, 서버 장치(20)를 포함한다.
이동수단(10)은 증강현실 콘텐츠의 표시가 가능한 투명 디스플레이 장치(11)와, 투명 디스플레이 장치(11)의 외부를 촬상하는 촬상부(12)를 포함하며, 촬상부(12)에 의해 촬상된 영상에 대한 정보를 서버 장치(20)로 전송한다. 본 발명에 따른 이동수단(10)은 특정한 장소에서 사용자가 탑승하는 셔틀버스를 포함할 수 있으며, 자율주행이 가능한 이동수단인 것이 바람직하다.
서버 장치(20)는 이동수단(10)의 촬상부(12)에 의해 촬상된 영상에 대한 정보를 이동수단(10)으로부터 수신하고, 촬상부(12)에 의해 촬상된 영상에 대응하는 증강현실 콘텐츠를 이동수단(10)으로 전송한다.
이로써, 본 발명에 따른 증강현실 콘텐츠 제공 시스템에 의하면, 이동수단(10)이 촬상부(12)에 의해 촬상된 영상에 의해 현재 위치하고 있는 장소에 대응하는 증강현실 콘텐츠를 서버 장치(20)로부터 수신하여 투명 디스플레이 장치(11)에 표시함으로써, 이동수단(10)이 탑승한 사용자에게 현재 위치하고 있는 장소에 대한 다양한 정보를 전송할 수 있다.
여기서, 서버 장치(20)로부터 수신되는 증강현실 콘텐츠는 촬상된 영상에 포함된 건물 등과 같은 객체의 기본적인 정보 뿐만 아니라 객체에 대응하는 디지털 광고 정보, 엔터테인먼트 및 실감형 콘텐츠를 포함할 수 있다.
본 명세서에서 이동수단(10)과 서버 장치(20) 상호 간의 통신 방법은 유선 및/또는 무선 네트워크를 통하여 객체와 객체가 네트워킹 할 수 있는 모든 통신 방법을 포함할 수 있으며, 유선 통신, 무선 통신, 3G, 4G, 5G 혹은 그 이외의 방법으로 제한되지 않는다.
예를 들어, 이동수단(10)과 서버 장치(20) 사이의 유선 및/또는 무선 네트워크는 LAN(Local Area Network), MAN(Metropolitan Area Network), GSM(Global System for Mobile Network), EDGE(Enhanced Data GSM Environment), HSDPA(High Speed Downlink Packet Access), W-CDMA(Wideband Code Division Multiple Access), CDMA(Code Division Multiple Access), TDMA(Time Division Multiple Access), 블루투스(Bluetooth), 지그비(Zigbee), 와이-파이(Wi-Fi), VoIP(Voice over Internet Protocol), LTE Advanced, IEEE802.16m, WirelessMAN-Advanced, HSPA+, 3GPP Long Term Evolution(LTE), Mobile WiMAX (IEEE 802.16e), UMB (formerly EV-DO Rev. C), Flash-OFDM, iBurst and MBWA (IEEE 802.20) systems, HIPERMAN, Beam-Division Multiple Access (BDMA), Wi-MAX(World Interoperability for Microwave Access) 및 초음파 활용 통신으로 이루어진 군으로부터 선택되는 하나 이상의 통신 방법에 의한 통신 네트워크를 지칭할 수 있으나, 이에 한정되는 것은 아니다.
도 2는 본 발명의 일실시예에 따른 이동수단의 구성을 도시한 블록도이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 이동수단(10)은 투명 디스플레이 장치(11)와, 촬상부(12)와, 센서부(13)와, 제1통신부(14)와, 제1제어부(15)를 포함한다.
투명 디스플레이 장치(10)는 증강현실 콘텐츠의 표시가 가능하며, 이동수단(10)의 각 측면에 설치된다. 본 발명에 따른 투명 디스플레이 장치(10)는 제1제어부(15)의 제어에 의해 증강현실 콘텐츠의 유형에 따라 패널의 투과도가 조절되는 것이 바람직하다.
즉, 촬상부(12)에 의해 촬상된 영상에 포함된 객체에 대한 정보가 콘텐츠에 표시되는 경우 투명 디스플레이 장치(11) 패널의 투과도를 높이고, 표시되어야 할 정보가 없는 경우 패널의 투과도를 낮출 수 있다.
촬상부(12)는 투명 디스플레이 장치(11)의 외부를 촬상한다. 이를 위해 본 발명에 따른 촬상부(12)는 투명 디스플레이 장치(11)의 수와 동일한 수만큼, 예를 들어 이동수단(10)의 각 측면에 설치되는 것이 바람직하다.
센서부(13)는 이동수단(10)에 탑승한 사용자의 움직임을 감지하고, 제1제어부(15)는 센서부(13)에 의해 감지된 움직임에 대응하는 객체의 영상을 투명 디스플레이 장치(11)에 표시한다.
여기서, 본 발명에 따른 센서부(13)는 사용자의 제스처와, 투명 디스플레이 장치(11)의 터치와, 음성을 감지하는 다양한 종류의 센서 및 동작과 시선을 촬상하는 카메라, 마이크 등으로 구현될 수 있으며, 제1제어부(15)는 센서부(13)에 의해 감지된 정보에 기초하여 사용자의 행위를 인식하고, 인식된 사용자의 행위에 대응하는 시나리오별 콘텐츠를 서버 장치(20)로부터 수신하여 투명 디스플레이 장치(11)에 표시한다.
한편, 본 발명에 따른 센서부(13)는 이동수단(10)에 탑승한 사용자가 착용하는 헤드마운트 디스플레이(미도시)로 구현되어 사용자의 트래킹(Tracking) 을 감지하는 것도 가능하다.
본 발명에 따른 이동수단(10)은 센서부(13)에 의해 감지된 이동수단(10) 내의 사용자 수와, 사용자 위치와, 사용자의 동작에 기초하여 내부 상황을 인지하고, 이동수단(10)의 위치와, 이동수단(10)의 주행 정보와, 이동수단(10)의 주변 정보와, 날씨 정보에 기초하여 외부 상황을 인지한다.
이를 통해 이동수단(10)은 사용자의 유형을 단일 사용자와, 다수 사용자와, 군집 사용자의 제1유형 중 어느 하나로 구분하거나, 근접 사용자와, 비근접 사용자와, 군집 사용자의 제2유형 중 어느 하나로 구분할 수 있다. 여기서, 이동수단(10)은 센서부(13)와 사용자 간의 거리가 1M보다 작은 경우 근접 사용자로, 그렇지 않은 경우 비근접 사용자로 구분할 수 있으며, 이러한 기준은 이동수단(10)의 내부 공간의 크기에 따라 가변적일 수 있다.
또한 이동수단(10)은 이동수단(10)의 위치에 따라 도심 주행, 비도심 주행, 정지 상태 중 어느 하나로 이동수단의 외부 상황을 인지한다.
이렇게 인식된 이동수단(10)의 내부 상황 및 외부 상황에 대한 정보를 이동수단(10)이 서버 장치(20)로 전송하면, 서버 장치(20)는 수신된 이동수단(10)의 내부 상황 및 외부 상황에 기초하여 인터랙션의 대상과, 인터랙션 장치와, 인터랙션 방법을 결정하고, 이에 대응하는 서비스 분류와, 관심 정보 분류에 기초하여 이동수단(10)으로 전송될 증강현실 콘텐츠를 결정한다.
여기서, 서비스 분류는 객체에 대한 정보와, 객체에 대응하는 디지털 광고, 엔터테인먼트, 실감형 콘텐츠를 포함할 수 있고, 관심 정보는 사용자의 유형과 시선 정보에 따라 사용자가 관심을 가지는 것으로 판단되는 객체를 포함할 수 있다.
이때, 이동수단(10)은 감지된 사용자의 시선 정보와, 이동수단(10)의 트래킹 정보에 기초하여 투명 디스플레이 장치(11)에 표시되는 증강현실 콘텐츠를 촬상부(12)에 의해 촬상된 영상과 정합하여 표시하는 것이 바람직하다.
이를 통해 본 발명에 따른 증강현실 콘텐츠 제공 시스템은 시나리오별 증강현실 콘텐츠의 제공이 가능하고, 인터랙티브한 콘텐츠를 제공함으로써 사용자와의 양방향 통신이 가능하다.
도 3은 본 발명의 일실시예에 따른 이동수단의 구성을 도시한 평면도이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 이동수단의 투명 디스플레이 장치(11)는 전면/후면에 각 한 대씩 설치되고, 벽면에는 2대 또는 3대의 디스플레이 장치가 설치될 수 있다.
그리고 본 발명에 따른 센서부(13)에 포함되는 동작 및 시선 감지 카메라(13-1)는 4면의 투명 디스플레이 장치(11) 상단 중앙에 각각 설치되어 하나의 카메라가 복수의 사용자를 기설정된 거리에서 동시에 감지할 수 있도록 화각을 설정할 수 있다.
한편, 센서부(13)에 포함되는 움직임 감지 센서(13-2)는 ToF 센서로서, 투명 디스플레이 장치(11) 하단에 설치될 수 있다.
그리고 음성인식을 위한 마이크(13-3)는 투명 디스플레이 장치(11) 하단에 설치될 수 있다.
여기서, 비근접 거리는 사용자의 시선 감지 및 동작 인식 기반의 인터랙션을 제공하고, 근접 거리는 사용자의 제스처와, 터치와, 음성과, 시선을 감지하여 이에 기반한 인터랙션을 제공할 수 있다.
도 4는 본 발명의 일실시예에 따른 서버 장치(20)의 구성을 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 서버 장치(20)는 제2통신부(21)와, 데이터베이스(22)와, 콘텐츠 저장부(23)와, 제2제어부(24)를 포함한다.
제2통신부(21)는 제2제어부(24)의 제어에 의해 이동수단(10)으로부터 촬상된 영상에 대한 정보를 수신하고, 이동수단(10)으로 증강현실 콘텐츠를 전송한다.
데이터베이스(22)는 이동수단(10)으로부터 수신된 이동수단(10)의 내부 상황 및 외부 상황에 대한 정보를 저장한다. 또한, 본 발명에 따른 데이터베이스(22)는 이동수단(10)이 위치한 장소의 3차원 지도 데이터와 장소에 대응하는 증강현실 콘텐츠의 식별정보를 매핑하여 저장하는 것도 가능하다. 이로써, 이동수단의 위치에 대응하는 콘텐츠를 검색하여 신속하게 전송할 수 있다.
콘텐츠 저장부(23)는 제2제어부(24)의 제어에 의해 증강현실 콘텐츠를 이동수단(10)으로 전송한다. 본 발명에 따른 콘텐츠 저장부(23)는 서버 장치(20)와 연결된 또다른 외부 서버 장치(미도시)로 구현되는 것도 가능하다.
도 5는 본 발명의 일실시예에 따른 증강현실 콘텐츠를 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명에 따른 증강현실 콘텐츠는 이동수단(10)의 촬상부(12)에 의해 촬상된 영상에 포함된 건물 등의 객체에 대응하는 다양한 정보와, 이동수단(10)의 내부 및 외부 정보가 표시될 수 있다.
도 6은 본 발명의 일실시예에 따른 자율주행 차량 기반의 증강현실 콘텐츠 제공 시스템의 증강현실 콘텐츠 제공방법을 도시한 흐름도이다.
먼저, 증강현실 콘텐츠 제공 시스템은 이동수단(10)이 촬상부(12)에 의해 투명 디스플레이 장치(11)의 외부를 촬상한다(S10).
그리고 이동수단(10)이 단계 S10에서 촬상된 영상에 대한 정보를 서버 장치(20)로 전송한다(S20).
다음으로 서버 장치(20)가 촬상된 영상에 대한 정보를 수신한다(S30).
그리하여 서버 장치(20)가 촬상된 영상에 대응하는 증강현실 콘텐츠를 이동수단(10)으로 전송한다(S40).
여기서 이동수단(10)이 센서부(13)에 의해 감지된 정보에 기초하여 사용자의 행위를 인식하고, 인식된 사용자의 행위에 대응하는 시나리오별 콘텐츠를 서버 장치(20)로부터 수신하여 투명 디스플레이 장치(11)에 표시할 수 있으며, 이때 이동수단(10)이 감지된 사용자의 시선 정보와, 이동수단(10)의 트래킹 정보에 기초하여 투명 디스플레이 장치(11)에 표시되는 증강현실 콘텐츠를 정합하는 단계를 더 포함할 수 있다. 이로써, 사용자의 행위에 따른 인터랙티브한 콘텐츠의 제공이 가능하다.
한편, 본 발명의 또다른 실시예에 따른 증강현실 콘텐츠 제공 방법에 의하면, 이동수단(10)이 사용자의 수와, 사용자의 위치와, 사용자의 움직임을 포함하는 내부 정보와, 이동수단(10)의 위치와, 이동수단(10)의 주변 정보와, 날씨 정보를 포함하는 외부 정보를 서버 장치(20)로 전송하는 단계와, 서버 장치(20)가 수신된 외부 정보에 기초하여 시나리오를 생성하고, 생성된 시나리오에 대응하는 증강현실 콘텐츠를 이동수단(10)으로 전송하는 단계를 포함할 수 있다. 이로써, 이동수단 내부와 외부의 실시간 상황을 인지하고 이에 적합한 콘텐츠의 제공이 가능하다.
이상에서 설명한 실시예들에 따른 고객 서비스 제공시스템의 고객 서비스 제공방법에 의한 동작은, 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들에 따른 고객 서비스 제공시스템의 고객 서비스 제공 방법에 의한 동작을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서 설명한 것은 본 발명에 따른 자율주행 차량 기반의 증강현실 콘텐츠 제공 시스템의 콘텐츠 제공 방법을 실시하기 위한 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고, 이하 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양하게 변경하여 실시가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.
10 : 이동수단 11 : 투명 디스플레이 장치
12 : 촬상부 13 : 센서부
14 : 제1통신부 15 : 제1제어부
20 : 서버 장치 21 : 제2통신부
22 : 데이터베이스 23 : 콘텐츠 저장부
24 : 제2제어부

Claims (11)

  1. 증강현실 콘텐츠의 표시가 가능한 투명 디스플레이 장치와, 상기 투명 디스플레이 장치의 외부를 촬상하는 촬상부를 포함하고, 상기 촬상부에 의해 촬상된 영상에 대한 정보를 전송하는 이동수단과;
    상기 촬상된 영상에 대한 정보를 상기 이동수단으로부터 수신하고, 상기 촬상된 영상에 대응하는 증강현실 콘텐츠를 상기 이동수단으로 전송하는 서버 장치를 포함하는 것을 특징으로 하는 자율주행 차량 기반의 증강현실 콘텐츠 제공 시스템.
  2. 제1항에 있어서,
    상기 이동수단은,
    상기 이동수단에 탑승한 사용자의 움직임을 감지하는 센서부를 포함하고,
    상기 센서부에 의해 감지된 정보에 기초하여 사용자의 행위를 인식하고, 상기 인식된 사용자의 행위에 대응하는 시나리오별 콘텐츠를 수신하여 상기 투명 디스플레이 장치에 표시하는 것을 특징으로 하는 자율주행 차량 기반의 증강현실 콘텐츠 제공 시스템.
  3. 제2항에 있어서,
    상기 이동수단은 상기 감지된 사용자의 시선 정보와, 상기 이동수단의 트래킹 정보에 기초하여 상기 디스플레이 장치에 표시되는 상기 증강현실 콘텐츠를 정합하는 것을 특징으로 하는 자율주행 차량 기반의 증강현실 콘텐츠 제공 시스템.
  4. 제2항에 있어서,
    상기 이동수단은,
    상기 사용자의 수와, 상기 사용자의 위치와, 상기 사용자의 움직임을 포함하는 내부 정보와, 상기 이동수단의 위치와, 상기 이동수단 주변 정보와, 날씨 정보를 포함하는 외부 정보를 상기 서버 장치로 전송하고,
    상기 서버 장치는,
    상기 수신된 외부 정보에 기초하여 시나리오를 생성하고, 상기 생성된 시나리오에 대응하는 증강현실 콘텐츠를 상기 이동수단으로 전송하는 것을 특징으로 하는 자율주행 차량 기반의 증강현실 콘텐츠 제공 시스템.
  5. 제1항에 있어서,
    상기 이동수단은,
    상기 증강현실 콘텐츠의 유형에 따라 상기 디스플레이 장치에 포함된 패널의 투과도를 조절 가능한 것을 특징으로 하는 자율주행 차량 기반의 증강현실 콘텐츠 제공 시스템.
  6. 이동수단이 투명 디스플레이 장치의 외부를 촬상하는 단계;
    상기 이동수단이 상기 촬상된 영상에 대한 정보를 서버로 전송하는 단계;
    상기 서버가 상기 촬상된 영상에 대한 정보를 수신하는 단계;
    상기 서버가 상기 촬상된 영상에 대응하는 증강현실 콘텐츠를 상기 이동수단으로 전송하는 단계를 포함하는 것을 특징으로 하는 자율주행 차량 기반의 증강현실 콘텐츠 제공 시스템의 증강현실 콘텐츠 제공 방법.
  7. 제6항에 있어서,
    상기 이동수단이 센서부에 의해 감지된 정보에 기초하여 사용자의 행위를 인식하는 단계; 및
    상기 인식된 사용자의 행위에 대응하는 시나리오별 콘텐츠를 서버 장치로부터 수신하여 상기 투명 디스플레이 장치에 표시하는 단계를 더 포함하는 것을 특징으로 하는 자율주행 차량 기반의 증강현실 콘텐츠 제공 시스템의 증강현실 콘텐츠 제공 방법.
  8. 제7항에 있어서,
    상기 이동수단이 상기 감지된 사용자의 시선 정보와, 상기 이동수단의 트래킹 정보에 기초하여 상기 디스플레이 장치에 표시되는 상기 증강현실 콘텐츠를 정합하는 단계를 더 포함하는 것을 특징으로 하는 자율주행 차량 기반의 증강현실 콘텐츠 제공 시스템의 증강현실 콘텐츠 제공 방법.
  9. 제7항에 있어서,
    상기 이동수단이 상기 사용자의 수와, 상기 사용자의 위치와, 상기 사용자의 움직임을 포함하는 내부 정보와, 상기 이동수단의 위치와, 상기 이동수단의 주변 정보와, 날씨 정보를 포함하는 외부 정보를 상기 서버 장치로 전송하는 단계; 및
    상기 서버 장치가 상기 수신된 외부 정보에 기초하여 시나리오를 생성하고, 상기 생성된 시나리오에 대응하는 증강현실 콘텐츠를 상기 이동수단으로 전송하는 단계를 포함하는 것을 특징으로 하는 자율주행 차량 기반의 증강현실 콘텐츠 제공 시스템의 증강현실 콘텐츠 제공 방법.
  10. 제6항에 있어서,
    상기 이동수단이 상기 증강현실 콘텐츠의 유형에 따라 상기 디스플레이 장치에 포함된 패널의 투과도를 조절하는 단계를 더 포함하는 것을 특징으로 하는 증강현실 콘텐츠 제공 시스템의 자율주행 차량 기반의 증강현실 콘텐츠 제공 방법.
  11. 하드웨어와 결합되어, 제6항 내지 제10항 중 어느 한 항에 따른 증강현실 콘텐츠 제공 방법을 실행하도록 컴퓨터로 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
KR1020200188505A 2020-12-30 2020-12-30 자율주행 차량 기반의 증강현실 콘텐츠 제공 시스템 및 그 증강현실 콘텐츠 제공 방법과 이를 위한 컴퓨터 프로그램 KR20220096242A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200188505A KR20220096242A (ko) 2020-12-30 2020-12-30 자율주행 차량 기반의 증강현실 콘텐츠 제공 시스템 및 그 증강현실 콘텐츠 제공 방법과 이를 위한 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200188505A KR20220096242A (ko) 2020-12-30 2020-12-30 자율주행 차량 기반의 증강현실 콘텐츠 제공 시스템 및 그 증강현실 콘텐츠 제공 방법과 이를 위한 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
KR20220096242A true KR20220096242A (ko) 2022-07-07

Family

ID=82398800

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200188505A KR20220096242A (ko) 2020-12-30 2020-12-30 자율주행 차량 기반의 증강현실 콘텐츠 제공 시스템 및 그 증강현실 콘텐츠 제공 방법과 이를 위한 컴퓨터 프로그램

Country Status (1)

Country Link
KR (1) KR20220096242A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170018930A (ko) 2014-06-14 2017-02-20 매직 립, 인코포레이티드 가상 및 증강 현실을 생성하기 위한 방법들 및 시스템들

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170018930A (ko) 2014-06-14 2017-02-20 매직 립, 인코포레이티드 가상 및 증강 현실을 생성하기 위한 방법들 및 시스템들

Similar Documents

Publication Publication Date Title
US10891799B2 (en) Augmented reality processing method, object recognition method, and related device
CN108933915B (zh) 视频会议装置与视频会议管理方法
TWI533162B (zh) 用於擴充實境啓用裝置之使用者介面
US10602046B2 (en) Mobile device and control method
TWI615776B (zh) 移動物件的虛擬訊息建立方法、搜尋方法與應用系統
US20120105447A1 (en) Augmented reality-based device control apparatus and method using local wireless communication
EP3188034A1 (en) Display terminal-based data processing method
WO2014180291A1 (zh) 一种用于基于运动特征信息生成运动特征码的方法和设备
US20150109446A1 (en) Vehicle monitoring device, vehicle monitoring system, terminal device, and vehicle monitoring method
KR20220144890A (ko) 다중 사용자 환경에서 손 제스처를 사용하여 디바이스를 제어하기 위한 방법 및 시스템
WO2019105237A1 (zh) 图像处理方法、计算机设备和计算机可读存储介质
EP3748533B1 (en) Method, apparatus, and storage medium for obtaining object information
EP4318186A1 (en) Multi-screen interaction method and apparatus, and terminal device and vehicle
TWI489326B (zh) 操作區的決定方法與系統
US20220163334A1 (en) Method for providing navigation service using mobile terminal, and mobile terminal
CN109495616B (zh) 一种拍照方法及终端设备
WO2017095524A1 (en) Powering unpowered objects for tracking, augmented reality, and other experiences
US9262689B1 (en) Optimizing pre-processing times for faster response
US11842496B2 (en) Real-time multi-view detection of objects in multi-camera environments
KR102181084B1 (ko) 실감 콘텐츠 제공 장치 및 그 방법
KR20220096242A (ko) 자율주행 차량 기반의 증강현실 콘텐츠 제공 시스템 및 그 증강현실 콘텐츠 제공 방법과 이를 위한 컴퓨터 프로그램
US20180321757A1 (en) Remote control device, method for driving remote control device, image display device, method for driving image display device, and computer-readable recording medium
US20140240273A1 (en) Apparatus and method for interacting with a user
US9761009B2 (en) Motion tracking device control systems and methods
CN114092366A (zh) 图像处理方法、移动终端及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right