KR20170141473A - 증강 현실 서비스 제공 방법 및 장치 - Google Patents

증강 현실 서비스 제공 방법 및 장치 Download PDF

Info

Publication number
KR20170141473A
KR20170141473A KR1020160074578A KR20160074578A KR20170141473A KR 20170141473 A KR20170141473 A KR 20170141473A KR 1020160074578 A KR1020160074578 A KR 1020160074578A KR 20160074578 A KR20160074578 A KR 20160074578A KR 20170141473 A KR20170141473 A KR 20170141473A
Authority
KR
South Korea
Prior art keywords
information
content
electronic device
filtering
related information
Prior art date
Application number
KR1020160074578A
Other languages
English (en)
Other versions
KR102479360B1 (ko
Inventor
이주형
권기석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160074578A priority Critical patent/KR102479360B1/ko
Priority to PCT/KR2017/006068 priority patent/WO2017217713A1/en
Priority to EP17813537.2A priority patent/EP3427233B1/en
Priority to US15/624,675 priority patent/US10368212B2/en
Publication of KR20170141473A publication Critical patent/KR20170141473A/ko
Application granted granted Critical
Publication of KR102479360B1 publication Critical patent/KR102479360B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/18—Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals
    • H04W4/185—Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals by embedding added-value information into content, e.g. geo-tagging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation
    • G06F16/9574—Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation
    • G06F16/9577—Optimising the visualization of content, e.g. distillation of HTML documents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • H04L29/06034—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/04—Protocols specially adapted for terminals or networks with limited capabilities; specially adapted for terminal portability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/18—Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/12—Use of DVI or HDMI protocol in interfaces along the display data pipeline
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/303—Terminal profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5681—Pre-fetching or pre-delivering data based on network characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/027—Services making use of location information using location based information parameters using movement velocity, acceleration information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 개시는 4G 시스템 이후 보다 높은 데이터 전송률을 지원하기 위한 5G 통신 시스템을 IoT 기술과 융합하는 통신 기법 및 그 시스템에 관한 것이다. 본 개시는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스 (예를 들어, 스마트 홈, 스마트 빌딩, 스마트 시티, 스마트 카 혹은 커넥티드 카, 헬스 케어, 디지털 교육, 소매업, 보안 및 안전 관련 서비스 등)에 적용될 수 있다.
본 발명은 전자 장치의 증강 현실 서비스 제공 방법에 관한 것으로, 오브젝트에 대한 컨텐츠 관련 정보를 수신하는 단계; 필터링 정보 및 상기 컨텐츠 관련 정보에 기반하여, 상기 오브젝트와 관련한 복수의 컨텐츠 중 적어도 하나의 컨텐츠를 요청하는 단계; 및 상기 요청에 의해 수신한 적어도 하나의 컨텐츠를 가상 영역에 출력하는 단계를 포함할 수 있다. 다만, 상기 실시 예에 한정되지 않으며 다른 실시 예가 가능하다.

Description

증강 현실 서비스 제공 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING AUGMENTED REALITY SERVICE}
본 발명은 증강 현실 서비스를 제공하는 기술에 관한 것으로, 구체적으로 오브젝트 관련 컨텐츠를 선택적으로 제공하는 방법 및 장치에 관한 것이다.
4G 통신 시스템 상용화 이후 증가 추세에 있는 무선 데이터 트래픽 수요를 충족시키기 위해, 개선된 5G 통신 시스템 또는 pre-5G 통신 시스템을 개발하기 위한 노력이 이루어지고 있다. 이러한 이유로, 5G 통신 시스템 또는 pre-5G 통신 시스템은 4G 네트워크 이후 (Beyond 4G Network) 통신 시스템 또는 LTE 시스템 이후 (Post LTE) 이후의 시스템이라 불리어지고 있다. 높은 데이터 전송률을 달성하기 위해, 5G 통신 시스템은 초고주파(mmWave) 대역 (예를 들어, 60기가(60GHz) 대역과 같은)에서의 구현이 고려되고 있다. 초고주파 대역에서의 전파의 경로손실 완화 및 전파의 전달 거리를 증가시키기 위해, 5G 통신 시스템에서는 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO), 전차원 다중입출력(Full Dimensional MIMO: FD-MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 및 대규모 안테나 (large scale antenna) 기술들이 논의되고 있다. 또한 시스템의 네트워크 개선을 위해, 5G 통신 시스템에서는 진화된 소형 셀, 개선된 소형 셀 (advanced small cell), 클라우드 무선 액세스 네트워크 (cloud radio access network: cloud RAN), 초고밀도 네트워크 (ultra-dense network), 기기 간 통신 (Device to Device communication: D2D), 무선 백홀 (wireless backhaul), 이동 네트워크 (moving network), 협력 통신 (cooperative communication), CoMP (Coordinated Multi-Points), 및 수신 간섭제거 (interference cancellation) 등의 기술 개발이 이루어지고 있다. 이 밖에도, 5G 시스템에서는 진보된 코딩 변조(Advanced Coding Modulation: ACM) 방식인 FQAM (Hybrid FSK and QAM Modulation) 및 SWSC (Sliding Window Superposition Coding)과, 진보된 접속 기술인 FBMC(Filter Bank Multi Carrier), NOMA(non orthogonal multiple access), 및SCMA(sparse code multiple access) 등이 개발되고 있다.
한편, 인터넷은 인간이 정보를 생성하고 소비하는 인간 중심의 연결 망에서, 사물 등 분산된 구성 요소들 간에 정보를 주고 받아 처리하는 IoT(Internet of Things, 사물인터넷) 망으로 진화하고 있다. 클라우드 서버 등과의 연결을 통한 빅데이터(Big data) 처리 기술 등이 IoT 기술에 결합된 IoE (Internet of Everything) 기술도 대두되고 있다. IoT를 구현하기 위해서, 센싱 기술, 유무선 통신 및 네트워크 인프라, 서비스 인터페이스 기술, 및 보안 기술과 같은 기술 요소 들이 요구되어, 최근에는 사물간의 연결을 위한 센서 네트워크(sensor network), 사물 통신(Machine to Machine, M2M), MTC(Machine Type Communication)등의 기술이 연구되고 있다. IoT 환경에서는 연결된 사물들에서 생성된 데이터를 수집, 분석하여 인간의 삶에 새로운 가치를 창출하는 지능형 IT(Internet Technology) 서비스가 제공될 수 있다. IoT는 기존의 IT(information technology)기술과 다양한 산업 간의 융합 및 복합을 통하여 스마트홈, 스마트 빌딩, 스마트 시티, 스마트 카 혹은 커넥티드 카, 스마트 그리드, 헬스 케어, 스마트 가전, 첨단의료서비스 등의 분야에 응용될 수 있다.
이에, 5G 통신 시스템을 IoT 망에 적용하기 위한 다양한 시도들이 이루어지고 있다. 예를 들어, 센서 네트워크(sensor network), 사물 통신(Machine to Machine, M2M), MTC(Machine Type Communication)등의 기술이 5G 통신 기술인 빔 포밍, MIMO, 및 어레이 안테나 등의 기법에 의해 구현되고 있는 것이다. 앞서 설명한 빅데이터 처리 기술로써 클라우드 무선 액세스 네트워크(cloud RAN)가 적용되는 것도 5G 기술과 IoT 기술 융합의 일 예라고 할 수 있을 것이다.
증강 현실(Augmented Reality, AR) 서비스란, 현실 (Real-world elements)의 이미지와 가상의 이미지를 결합한 것으로, 실시간으로 인터렉션(interaction)이 가능하며 3차원 공간을 갖는 서비스를 의미한다.
현재 AR 서비스는 센서 기반 AR(Sensor based AR), 영상 기반 AR(Vision based AR), 하이브리드 AR(Hybrid AR)의 세가지 측면으로 연구가 진행 되고 있다.
첫째로, 센서 기반 AR은 GPS, 자이로 센서, 가속도 센서 등을 직접 활용하여, 현재 위치를 추정하고, 이를 통해 현재 위치 기반 AR 서비스를 제공하는 방식이다. 센서를 직접 활용하는 만큼 개발 및 구현이 용이하지만, 실내 사용이 어려우며 오차가 발생할 수 있다.
둘째로, 영상 기반 AR은 컴퓨터의 영상 인식을 활용하여 AR 서비스를 제공하는 방식이다. AR 장치(예: 단말) 등으로부터 촬영된 장면을 분석 및 인식함으로써, 현재 AR 장치에게 적절한 AR 컨텐츠를 제공한다. 비교적 정확도가 높지만 개발 난이도가 높으며, 영상 인식 컴퓨팅 파워와 지연이 추가로 발생하는 단점이 있다.
마지막으로 하이브리드 AR은 이 두 가지 방식의 장점을 결합하는 방식이다. 즉 영상 정보와 센서 정보를 함께 활용하는 것인데, 매크로한 추적(tracking)은 센서를 활용하여 추정하고, 보다 정밀한 추정을 위해서는 영상 인식을 통해 보완한다. 최근에 각광 받으며 많은 연구가 진행 되고 있으며, 개발 난이도는 높은 편이다.
한편, AR 서비스를 구현하기 위해서는, AR 장치와 서버간의 적절한 상호 작용으로 서버에서 AR 장치로 AR 컨텐츠가 제공되어야 한다.
본 발명의 다양한 실시 예들은, AR 서비스 제공을 위해 서버에서 AR 장치로 전송되는 AR 컨텐츠의 지연을 개선하는 것을 그 목적으로 한다.
본 발명의 한 실시 예에 따른 전자 장치의 증강 현실 서비스 제공 방법은, 오브젝트에 대한 컨텐츠 관련 정보를 수신하는 단계; 필터링 정보 및 상기 컨텐츠 관련 정보에 기반하여, 상기 오브젝트와 관련한 복수의 컨텐츠 중 적어도 하나의 컨텐츠를 요청하는 단계; 및 상기 요청에 의해 수신한 적어도 하나의 컨텐츠를 가상 영역에 출력하는 단계를 포함한다.
본 발명의 한 실시 예에 따른 서버의 증강 현실 서비스 제공 방법은, 오브젝트에 대한 컨텐츠 관련 정보의 요청에 응답하여 상기 컨텐츠 관련 정보를 전자 장치로 전송하는 단계; 및 상기 컨텐츠 관련 정보에 포함된 복수의 컨텐츠 중 적어도 하나의 컨텐츠에 대한 요청에 응답하여 상기 적어도 하나의 컨텐츠를 상기 전자 장치로 전송하는 단계를 포함하고, 상기 적어도 하나의 컨텐츠는, 필터링 정보 및 상기 컨텐츠 관련 정보에 기반하여 선택되는 것을 특징으로 한다.
본 발명의 한 실시 예에 따른 증강 현실 서비스를 제공하는 전자 장치는, 디스플레이; 통신부; 및 상기 디스플레이 및 상기 통신부와 전기적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 오브젝트에 대한 컨텐츠 관련 정보를 상기 통신부를 통해 수신하고, 필터링 정보 및 상기 컨텐츠 관련 정보에 기반하여, 상기 오브젝트와 관련한 복수의 컨텐츠 중 적어도 하나의 컨텐츠를 상기 통신부를 통해 요청하며, 상기 요청에 의해 수신한 적어도 하나의 컨텐츠를 상기 디스플레이를 통해 가상 영역에 출력하도록 제어하는 것을 특징으로 한다.
본 발명의 한 실시 예에 따른 증강 현실 서비스를 제공하는 서버는, 통신부; 및 상기 통신부와 전기적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 오브젝트에 대한 컨텐츠 관련 정보의 요청에 응답하여 상기 컨텐츠 관련 정보를 상기 통신부를 통해 전자 장치로 전송하고, 상기 컨텐츠 관련 정보에 포함된 복수의 컨텐츠 중 적어도 하나의 컨텐츠에 대한 요청에 응답하여 상기 적어도 하나의 컨텐츠를 상기 통신부를 통해 상기 전자 장치로 전송하도록 제어하며, 상기 적어도 하나의 컨텐츠는, 필터링 정보 및 상기 컨텐츠 관련 정보에 기반하여 선택되는 것을 특징으로 한다.
본 기술에 의하면, AR 장치를 통해 AR 컨텐츠를 스트리밍으로 제공함에 있어 사용자의 시선과 조작 객체가 일치됨으로써 인터렉션이 향상될 수 있다.
도 1은 본 발명의 실시 예에 따른 전자 장치와 서버의 연결을 도시하는 도면이다.
도 2는 본 발명의 실시 예에 따른 전자 장치의 개략적인 구성을 나타내는 블록도이다.
도 3은 본 발명의 실시 예에 따른 서버의 개략적인 구성을 나타내는 블록도이다.
도 4는 전자 장치 및 서버의 AR 서비스 구조를 나타내는 도면이다.
도 5는 AR 서비스를 설명하기 위한 도면이다.
도 6은 본 발명의 실시 예에 따른 AR 서비스 시 오브젝트 프리페칭(prefetching) 동작을 수행하는 방법을 나타내는 순서도이다.
도 7a는 본 발명의 실시 예에 따른 오브젝트 프리페칭의 한 예시를 설명하기 위한 도면이다.
도 7b는 본 발명의 실시 예에 따른 오브젝트 프리페칭의 다른 예시를 설명하기 위한 도면이다.
도 8은 본 발명의 실시 예에 따른 AR 서비스 시 저지연(low latency) 컨텐츠 제공 방법의 컨셉을 설명하기 위한 도면이다.
도 9는 본 발명의 실시 예에 따른 AR 서비스에서 오브젝트와 이의 관련 컨텐츠 정보를 설명하기 위한 도면이다.
도 10은 본 발명의 실시 예에 따른 저지연 컨텐츠 제공 방법을 나타내는 순서도이다.
도 11은 본 발명의 실시 예에 따른 저지연 컨텐츠 제공을 위한 전자 장치 및 서버 간 동작을 나타내는 도면이다.
도 12는 본 발명의 실시 예에 따른 저지연 컨텐츠 제공 방법을 설명하기 위한 흐름도이다.
도 13은 본 발명의 실시 예에 따른 오브젝트 프리페칭 동작 시 저지연 컨텐츠 제공 방법을 설명하기 위한 흐름도이다.
도 14a는 본 발명의 실시 예에 따른 AR 서비스가 적용되는 한 예시를 설명하는 도면이다.
도 14b는 본 발명의 실시 예에 따른 AR 서비스가 적용되는 다른 예시를 설명하는 도면이다.
도 15a 내지 도 15d는 본 발명의 실시 예에 따른 AR 서비스가 적용되는 다양한 예시를 보여주는 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다. 이 때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다.
본 발명의 전자 장치에 의해 구현되는 증강 현실(Augmented Reality, AR)은 다양한 서비스를 제공할 수 있다. 전자 장치에 의한 증강 현실 서비스 제공 시, 현실 오브젝트와 가상 오브젝트는 다양한 상관관계를 가질 수 있다. 한 실시 예에 따른 가상 오브젝트는 현실 오브젝트와 같은 공간에서 현실 오브젝트와 동일한 물리법칙을 적용 받으며 하나의 현실 오브젝트처럼 존재 할 수 있다. 예를 들면, 증강 현실에서 방안에 침대와 그 앞에 배치된 가상의 TV가 있으면, 사용자의 위치에 따라 사용자가 보는 침대의 부분이 달라지듯이, 가상의 TV도 사용자의 위치에 따라 실제 TV가 있는 것처럼 스케일 등이 렌더링될 수 있다. 또한, 가상 오브젝트는 현실 오브젝트와 오버랩되어 표시될 수 있다. 또한, 가상 오브젝트는 현실 오브젝트와 오버랩되지 않도록 조절되어 표시될 수 있다.
도 1은 본 발명의 실시 예에 따른 전자 장치와 서버의 연결을 도시하는 블록도이다.
본 발명의 실시 예에 따른 전자 장치(100)와 서버(200)는 데이터를 송수신할 수 있다.
본 발명의 다양한 실시 예에 따른 전자 장치(100) 및 서버(200)는 각각, 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 또는 스마트 와치(smartwatch))중 적어도 하나를 포함할 수 있다.
또한, 전자 장치(100) 및 서버(200)는 각각, 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들자면, 전자 장치는 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(game consoles), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
또한, 전자 장치(100) 및 서버(200)는 각각, 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치 및 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛, 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller’s machine) 또는 상점의 POS(point of sales) 중 적어도 하나를 포함할 수 있다.
또한, 전자 장치(100) 및 서버(200)는 각각, 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 본 발명의 다양한 실시 예에 따른 전자 장치(100)는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 또한, 전자 장치(100)는 플렉서블 장치일 수 있다. 또한, 전자 장치(100)가 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.
전자 장치(100)는 외부 영상을 획득하고 상기 외부 영상에서 현실 오브젝트를 인식 및 추적할 수 있다. 서버(200)는 현실 오브젝트에 대응하는 가상 오브젝트 정보 및 가상 오브젝트 관련 정보를 저장하고 있을 수 있다. 전자 장치(100)는 현실 오브젝트에 관한 정보를 전송하여 서버(200)로부터 가상 오브젝트를 수신할 수 있다. 현실 오브젝트에 대응하는 가상 오브젝트는 복수 개일 수 있다.
본 명세서에서는, 현실 오브젝트를 오브젝트로 지칭하고, 현실 오브젝트에 대응하는 가상 오브젝트를 컨텐츠로 지칭하기로 한다. 그리고, 가상 오브젝트 관련 정보(예컨대, 가상 오브젝트의 타입, 크기, 재생 시간 정보)는 컨텐츠 관련 정보로 지칭하기로 한다.
본 발명의 한 실시 예에 따른면, 전자 장치(100)는 우선 오브젝트에 대한 컨텐츠 관련 정보를 서버(200)에 요청하고, 상기 컨텐츠 관련 정보 및 필터링 정보에 기반하여 필터링한 적어도 하나의 컨텐츠를 서버(200)에 요청할 수 있다. 이렇게 함으로써 과도한 컨텐츠 전송에 의한 전송 지연을 개선할 수 있다.
또한, 본 발명의 한 실시 예에 따르면, 전자 장치(100)는 사용자의 위치, 이동 속도 및 채널 상태에 따라 오브젝트에 대한 컨텐츠를 미리 수신할 수 있다. 이를 오브젝트 프리페칭 동작이라고 정의하도록 한다. 예컨대, 전자 장치(100)는 채널 상태에 기반하여 프리페칭 영역을 결정할 수 있다. 전자 장치(100)는 프리페칭 영역 내 오브젝트에 대해서 프리페칭 동작을 수행할 수 있다.
도 2는 본 발명의 실시 예에 따른 전자 장치(100)의 개략적인 구성을 나타내는 블록도이다.
본 발명의 다양한 실시 예에 따른 전자 장치(100)는 통신부(110), 디스플레이(120), 카메라 모듈(130), 센서(140), 저장부(150) 및 프로세서(160)를 포함할 수 있다. 본 구성요소가 필수적인 구성요소는 아니며, 추가적인 모듈이 추가되거나 상기 모듈이 생략될 수 있다. 예컨대, 프로세서(160)를 제외한 구성 요소 들은 전자 장치(100)와는 구분되는 모듈로써 전자 장치(100)와 연동하여 동작할 수도 있다. 본 발명의 한 실시 예에 따른 전자 장치(100)는 오디오 모듈, 입력 장치 등을 추가로 포함할 수 있다.
본 발명의 실시 예에 따른 통신부(110)는 외부 장치(예: 서버(200), 또 다른 전자 장치 등)와 통신을 수행할 수 있다. 통신부(110)는 무선 통신 또는 유선 통신을 통해서 네트워크에 연결되어 외부 장치와 통신할 수 있다. 예를 들면, 무선 통신은 LTE(Long Term Evolution), CDMA(Code Division Multiple Access), GSM(Global System for Mobile Communications) 등 적어도 하나를 이용하는 셀룰러 통신을 포함할 수 있다. 또한 무선 통신은 근접 거리 통신인 WiFi(Wireless Fidelity), 블루투스 등을 포함할 수 있다. 추가적인 예를 들면, 유선 통신은 USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), 전력선 통신 등을 포함할 수 있다.
본 발명의 실시 예에 따른 디스플레이(120)는 화면을 표시할 수 있다. 예를 들면, 디스플레이(120)는 액정 디스플레이(LCD), 발광 다이오드 디스플레이(LED), 유기 발광 다이오드 디스플레이(OLED), 전자 종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이(120)는 AR 서비스를 제공하기 위해, 현실 영역에 현실 오브젝트(본 명세서의 오브젝트)를 출력하고 가상 영역에 가상 오브젝트(본 명세서의 컨텐츠)를 표시할 수 있다.
본 발명의 다양한 실시 예에 따른 카메라 모듈(130)은 정지 영상 및 동영상을 촬영할 수 있는 장치일 수 있다. 예를 들면, 카메라 모듈(130)은 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, 3D Depth 센서 등을 포함할 수 있다. 예컨대, 카메라 모듈(130)은 4MP 카메라, 외부 영상의 3D 깊이(depth) 정보의 획득기능, 시선 추적(eye tracker) 기능, 양안 초점 조절(adjustable optics) 기능, 움직임 추적 감지 기능 중 적어도 하나의 기능을 지원할 수 있다. 이때, 전자 장치(100)의 일 측에 실장된 센서(예: EOG(Electrical Oculography) 센서 등)를 통해 사용자의 시선을 추적할 수 있다. 추가적인 예를 들면 카메라 모듈(130)에 마이크로 카메라를 더 포함할 수 있다. 전자 장치(100)의 일 측에 실장된 초점 조절부를 통해 렌즈의 거리 및 디스플레이(120)의 위치가 조정될 수 있다. 또한, 카메라 모듈(130)은 Google®Tango Camera에서 지원하는 기능을 포함할 수 있다.
본 발명의 다양한 실시 예에 따른 센서(140)는 AR 서비스를 제공하기 위한 GPS, 자이로 센서, 가속도 센서 등을 포함할 수 있다. 센서(140)를 통해 위치 정보 및 이동 속도 정보와 같은 사용자의 이동성 정보를 획득할 수 있다.
본 발명의 다양한 실시 예에 따른 저장부(150)는 프로그램 명령 및 데이터를 저장할 수 있다.
본 발명의 다양한 실시 예에 따른 프로세서(160)는 통신부(110), 디스플레이(120), 카메라 모듈(130), 센서(140) 및 저장부(150)와 전기적으로 연결되어 각 유닛을 제어할 수 있다. 프로세서(160)는 카메라 모듈(130) 및 센서(140)를 통해 외부 영상을 인식할 수 있고, 외부 영상 내의 오브젝트를 인식 및 추적할 수 있다.
한 실시 예에 따르면 프로세서(160)는 우선 인식된 오브젝트에 대한 컨텐츠 관련 정보를 통신부(110)를 통해 서버(200)에 요청할 수 있다. 그리고, 필터링 정보 및 수신한 컨텐츠 관련 정보에 기반하여 필터링한 적어도 하나의 컨텐츠를 통신부(110)를 통해 서버(200)에 요청할 수 있다.
한편, 다른 예시로써, 상기 컨텐츠 필터링 동작은 서버(200)에서 수행될 수도 있다. 이 경우, 프로세서(160)는 인식된 오브젝트 정보 및 필터링 정보를 서버(200)로 제공하여 최종 필터링된 적어도 하나의 컨텐츠를 통신부(110)를 통해 수신할 수도 있다.
프로세서(160)는 서버(200)로부터 수신한 컨텐츠를 디스플레이(120)를 통해 가상 영역에 출력할 수 있다. 또한, 프로세서(160)는 컨텐츠가 음성 데이터를 포함하는 경우 오디오 출력부(미도시)를 통해 출력할 수 있다. 이외에도, 컨텐츠가 다양한 타입의 데이터를 포함하는 경우, 프로세서(160)는 해당 데이터를 출력하는 출력부를 통해 제공할 수 있다.
상기 컨텐츠 관련 정보는 오브젝트에 대응하는 복수의 컨텐츠에 대한 정보로, 컨텐츠 식별자, 복수의 컨텐츠 각각에 대한 타입 정보, 크기 정보 또는 재생 시간 정보 중 적어도 하나를 포함할 수 있다.
상기 필터링 정보는 컨텐츠를 필터링하는 데에 고려되는 적어도 하나의 정보로, 예컨대 전자 장치 능력 정보, 채널 상태 정보, 사용자 이동성 관련 정보 또는 우선 순위 정보 중 적어도 하나를 포함할 수 있다.
상기 전자 장치의 능력 정보는 AR 서비스와 관련한 전자 장치의 능력을 나타내는 정보로서, AR서비스 지원 정보 및 지원하는 컨텐츠 타입 정보 중 적어도 하나를 포함할 수 있다. 컨텐츠 타입은 이미지, 홀로그램, 영상 및 텍스트 등을 포함할 수 있다.
상기 채널 상태 정보는 서버(200)와의 네트워크 연결 상태를 나타내는 정보로서, 예컨대, RSRP, RSRQ, Avg TCP Throughput 중 적어도 하나를 포함할 수 있다. 예컨대, 프로세서(160)는 채널 상태 정보를 측정할 수 있다.
상기 사용자 이동성 정보는 사용자 위치, 이동 속도 및 이동 방향 정보를 포함할 수 있다. 사용자 이동성 정보는 프로세서(160)가 센서(140, 예컨대 GPS, 자이로 센서, 가속도 센서 중 적어도 하나)를 이용하여 획득할 수 있다.
상기 우선 순위 정보는 컨텐츠에 대한 부여된 우선 순위 정보로서, 미리 설정에 의해 부여되거나 사용자의 입력에 의해 부여될 수 있다.
한편, 본 발명의 한 실시 예에 따르면, 프로세서(160)는 채널 상태 정보 및 사용자 이동성 관련 정보에 기반하여 오브젝트 프리페칭 동작을 수행할 수 있다. 예컨대, 사용자의 위치와 이동 속도에 기반하여, 프로세서(160)는 채널 상태에 따라 프리페칭 영역을 결정할 수 있다. 채널 상태가 좋으면 프리페칭 영역이 넓어지고 채널 상태가 좋지 않으면 프리페칭 영역이 좁아질 수 있다. 프로세서(160)는 프리페칭 영역 내 오브젝트에 대해서 프리페칭 동작을 수행할 수 있다. 또한, 프로세서(160)는 프리페칭 영역을 복수개의 부분으로 구분하여 각 부분별 우선 순위에 기반하여 프리페칭 동작을 수행할 수 있다. 예컨대, 우선 순위가 높은 부분에 위치한 오브젝트에 대해서는 보다 많은 개수의 컨텐츠, 크기가 상대적으로 큰 컨텐츠, 크기가 상대적으로 큰 타입의 컨텐츠를 미리 수신할 수 있다.
본 발명의 실시 예에 따른 전자 장치(100)의 동작은 아래에서 상세하게 설명하기로 한다.
도 3은 본 발명의 실시 예에 따른 서버(200)의 개략적인 구성을 나타내는 블록도이다.
본 발명의 다양한 실시 예에 따른 서버(200)는 통신부(210), 저장부(220) 및 프로세서(230)를 포함할 수 있다. 본 구성요소가 필수적인 구성요소는 아니며, 추가적인 모듈이 추가되거나 상기 모듈이 생략될 수 있다.
본 발명의 다양한 실시 예에 따른 통신부(210)는 외부 장치(예: 전자 장치(100), 또 다른 전자 장치 등)와 통신을 수행할 수 있다. 통신부(210)는 무선 통신 또는 유선 통신을 통해서 네트워크에 연결되어 외부 장치와 통신할 수 있다. 예를 들면, 무선 통신은 LTE(Long Term Evolution), CDMA(Code Division Multiple Access), GSM(Global System for Mobile Communications) 등 적어도 하나를 이용하는 셀룰러 통신을 포함할 수 있다. 또한 무선 통신은 근접 거리 통신인 WiFi(Wireless Fidelity), 블루투스 등을 포함할 수 있다. 추가적인 예를 들면, 유선 통신은 USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), 전력선 통신 등을 포함할 수 있다.
본 발명의 다양한 실시 예에 따른 저장부(220)는 프로그램 명령 및 데이터를 저장할 수 있다. 저장부(220)는 AR 서비스 관련 정보를 저장할 수 있다. 저장부(220)는 복수의 오브젝트 각각에 대응하는 복수의 컨텐츠 및 컨텐츠 관련 정보를 데이터베이스로 저장할 수 있다.
본 발명의 다양한 실시 예에 따른 프로세서(230)는 통신부(210) 및 저장부(220)와 전기적으로 연결되어 각 유닛을 제어할 수 있다.
한 실시 예에 따르면 프로세서(230)는 전자 장치(100)로부터 우선 인식된 오브젝트에 대한 컨텐츠 관련 정보 요청을 수신하면, 저장부(220)에 저장된 데이터베이스에서 상기 오브젝트에 대한 컨텐츠 관련 정보를 선택하여 통신부(210)를 통해 전달할 수 있다. 그리고, 전자 장치(100)에서 필터링 정보 및 수신한 컨텐츠 관련 정보에 기반하여 필터링한 적어도 하나의 컨텐츠가 요청되면, 요청된 해당 컨텐츠를 통신부(210)를 통해 전자 장치(100)로 전송할 수 있다.
한편, 다른 예시로써, 상기 컨텐츠 필터링 동작이 서버(200)에서 수행될 수도 있다. 이 경우, 프로세서(230)는 인식된 오브젝트 정보 및 필터링 정보를 전자 장치(100)로부터 수신하여 이에 기반하여 컨텐츠를 필터링할 수 있다. 그리고, 필터링된 컨텐츠를 통신부(210)를 통해 전자 장치(100) 전송할 수 있다.
도 4는 전자 장치(예: 100) 및 서버(예: 200)의 AR 서비스 구조를 나타내는 도면이다.
도 4를 참조하면, AR 서비스는, 컨텐츠 데이터베이스, 오브젝트 인식(Detection) 및 추적(Tracking), 컨텐츠 렌더링(Rendering) 및 인터렉션(Interaction) 등으로 구성될 수 있다. 예컨대, AR 서비스 관련 컨텐츠 데이터 베이스는 서버에 저장되어 있을 수 있다. 오브젝트 인식 및 추적, 컨텐츠 렌더링은 전자 장치 또는 서버에 의해 수행될 수 있다. 사용자 및 서버와의 인터렉션은 전자 장치에 의해 수행될 수 있다.
AR 컨텐츠는 텍스트(Text), 이미지(image), 영상(movie), 홀로그램(Hologram)등 다양한 형태를 포함할 수 있다. 영상(vision) 기반 및 (Sensor) 기반 동작을 통해 인식 및 추적 작업이 수행될 수 있다. 또한, 컨텐츠를 포함하는 가상의 오브젝트가 렌더링되면, 이를 현실 세계 영상과 혼합하여 보여줄 수 있다.
도 5는 AR 서비스를 설명하기 위한 도면이다. 도 5는 앞서 도 4에서 설명한 전자 장치 및 서버에서 구현되는 AR 서비스의 동작을 순서대로 설명하기 위한 도면이다.
505 에서 현실 세계 영상에서 적어도 하나의 오브젝트가 인식될 수 있고, 510 에서 인식된 오브젝트에 대한 추적 작업을 수행할 수 있다. 515와 같이 오브젝트 관련 컨텐츠 정보를 포함하는 데이터베이스가 저장되어 있을 수 있는데, 520에서 상기 데이터베이스에서 상기 인식된 오브젝트에 대응하는 적어도 하나의 컨텐츠를 선택할 수 있다. 그리고, 535에서 수신한 적어도 하나의 컨텐츠를 렌더링하고, 540에서 현실 세계 영상과 혼합하여 출력할 수 있다. 그리고, 525에서 사용자의 입력을 수신하면 535에서 인터렉션 동작을 제공할 수 있고, 이러한 인터렉션 동작은 540과 같이 다시 렌더링 동작에 반영될 수 있다.
이와 같이 각각의 동작들은 상기 그림과 같이 상호 작용하여 AR 서비스를 수행하게 되는데, 현재까지 대부분 AR 연구는 오브젝트 인식 및 추적, 그리고 컨텐츠 렌더링에 초점이 맞춰져 왔다. 하지만 최근 들어 실제 AR 서비스 상용화를 이룸에 있어, 컨텐츠를 전송하는 측면에서 전송 지연 발생함으로써 실시간성에 문제가 야기되고 있다. 즉, 컨텐츠는 텍스트(Text), 음성(voice), 이미지(image), 비디오(video), 홀로그램(Hologram) 등 다양한 타입이 공존할 수 있으며, 다양한 타입의 컨텐츠를 저지연으로 사용자에게 전달하는 것이 AR 서비스 실현에 있어 매우 중요한 이슈로 떠올랐다.
예를 들어, 서울역에 위치한 사용자가 서울역 관련 컨텐츠를 요청한 뒤 시청 방향으로 이동하고 있다. 이때, 네트워크 연결의 채널 상태가 안좋거나 혹은 컨텐츠 재생 시간이 너무 긴 관계로, 사용자가 이미 시청으로 이동한 뒤에도 서울역 관련 컨텐츠가 제공되는 문제가 발생할 수 있다.
따라서, AR 서비스는 사용자가 이동 중에 해당 지점에 필요한 정보를 빠르게 소비할 수 있도록 하는 것이 중요하며 이를 위해 본 발명에서는 다양한 실시 예를 제안한다.
도 6은 본 발명의 한 실시 예에 따른 AR 서비스 시 오브젝트 프리페칭(prefetching) 동작을 수행하는 방법을 나타내는 순서도이다. 본 실시 예에 따르면 사용자의 이동성을 고려하여 오브젝트 관련 컨텐츠를 미리 서버로부터 수신할 수 있다. 도 6의 오브젝트 프리페칭 동작은 오브젝트를 인식 및 추적하는 전자 장치(예: 100)에 의해 수행될 수 있다.
도 6을 참조하면, 605 단계에서 전자 장치는, 오브젝트 프리페칭 동작을 수행할 것인 것 여부를 판단하기 위하여, 서버와의 무선 네트워크 연결의 채널 상태 정보를 소정 기준 값과 비교할 수 있다. 610 단계에서 상기 채널 상태 정보가 상기 소정 기준 값보다 크다고 판단되면, 전자 장치는 615 단계에서 오브젝트 프리페칭 동작을 트리거링할 수 있다.
오브젝트 프리페칭 동작이 트리거링되면, 전자 장치는 620 단계에서 채널 상태 정보 및 사용자 이동성 정보에 기반하여 오브젝트 프리페칭 정보를 결정할 수 있다. 상기 오브젝트 프리페칭 정보는 프리페칭 영역 정보 및 우선 순위 관련 정보를 포함할 수 있다.
상기 프리페칭 영역 정보는 사용자 위치, 사용자 이동 속도 및 이동 방향을 기반으로 하되, 채널 상태가 좋은 경우 넓은 영역이 포함될 수 있고, 채널 상태가 안좋은 경우 보다 좁은 영역이 포함될 수 있다. 예컨대, 도 7a를 참조하면, 프리페칭 영역은 사용자의 위치 및 이동 방향을 중심으로 반경 및 각도로 정의될 수 있는데, 채널 상태가 제 1 기준 값 이상인 경우, 제 2 기준 값 이상인 경우, 혹은 제 3 기준 값 이상인 경우에 따라 프리페칭 영역이 다르게 결정될 수 있다. 한편, 프리페칭 영역은 상기 사용자 이동성 정보에 기반하여 복수의 부분으로 구분될 수 있다.
상기 우선 순위 관련 정보는 프리페칭 영역의 복수의 부분에 대한 우선 순위 정보를 포함할 수 있다. 이러한 우선 순위는, 사용자의 이동 방향, 이동 속도 등을 고려하여 설정될 수 있다. 예컨대, 도 7b를 참조하면, 프리페칭 영역이 복수의 부분으로 구분되는데, 이동 방향을 기준으로 각도에 따라 우선 순위가 설정될 수 있다 (음영부분의 우선 순위가 높음). 이때, 우선 순위에 기반하여, 해당 부분에 포함된 오브젝트에 상응하는 컨텐츠의 타입, 크기, 개수 등이 조정될 수 있다. 예컨대, 우선 순위가 높은 영역에 포함된 오브젝트에 대해서는 보다 많은 컨텐츠가 전송될 수 있다. 또는, 우선 순위가 높은 영역에 포함된 오브젝트에 대해서는 보다 큰 크기의 컨텐츠가 전송될 수 있다. 또는, 우선 순위가 높은 영역에 포함된 오브젝트에 대해서는 비디오나 홀로그램 등 큰 크기를 차지하는 타입의 컨텐츠가 전송될 수 있다.
625 단계에서 전자 장치는 상기 결정된 오브젝트 프리페칭 정보에 기반하여, 프리페칭 영역 내 오브젝트에 상응하는 컨텐츠를 수신할 수 있다.
전자 장치는 수신한 컨텐츠를 저장하고 있다가, 해당 컨텐츠를 출력할 시점이 되면, 오브젝트와 혼합하여 증강 현실에 출력할 수 있다.
도 8은 본 발명의 한 실시 예에 따른 AR 서비스 시 저지연(low latency) 컨텐츠 제공 방법의 컨셉을 설명하기 위한 도면이다.
본 실시 예에 따르면 전자 장치(예: 100)가 인식된 오브젝트에 대응하는 컨텐츠를 서버(200)로부터 수신함에 있어, 필터링을 통해 선택된 컨텐츠만 전송하게 함으로써 전송 지연을 개선할 수 있다.
예컨대, 800과 같이 서버는 하나의 오브젝트에 대응하는 복수의 컨텐츠, 예컨대, 적어도 하나의 텍스트, 홀로그램, 비디오, 이미지 등을 저장하고 있을 수 있다. 오브젝트에 대응하는 모든 컨텐츠를 전자 장치로 전달하는 것은 전송 지연을 유발할 수 있다.
따라서, 본 발명의 실시 예에 따르면, 오브젝트에 대응하는 복수의 컨텐츠(800)를 필터링(810)하여 전자 장치(820)로 전송하는 것을 특징으로 한다. 필텅링을 위해 고려되는 정보는, 예컨대 전자 장치의 능력 정보, 채널 상태 정보, 컨텐츠 재생 시간 정보, 사용자 이동성 정보 또는 컨텐츠 우선 순위 정보 중 적어도 하나를 포함할 수 있다.
상기 전자 장치의 능력 정보는 AR 서비스와 관련한 전자 장치의 능력을 나타내는 정보로서, AR서비스 지원 정보 및 지원하는 컨텐츠 타입 정보 중 적어도 하나를 포함할 수 있다. 컨텐츠 타입은 이미지, 홀로그램, 영상 및 텍스트 등을 포함할 수 있다.
상기 채널 상태 정보는 서버와의 네트워크 연결 상태를 나타내는 정보로서, 예컨대, RSRP, RSRQ, Avg TCP Throughput 중 적어도 하나를 포함할 수 있다. 예컨대, 채널 상태 정보에 따라, 전달될 수 있는 컨텐츠의 타입 또는 크기에 제한이 있을 수 있다.
상기 사용자 이동성 정보는 사용자 위치, 이동 속도 및 이동 방향 정보를 포함할 수 있다. 예컨대, 사용자 이동성 정보에 기반하여, 컨텐츠 재생이 완료되어야 하는 임계 시점이 계산될 수 있다. 그리고, 상기 임계 시점 내에서 재생 완료 가능한 컨텐츠가 선택될 수 있다.
상기 우선 순위 정보는 컨텐츠에 대한 부여된 우선 순위 정보로서, 미리 설정에 의해 부여되거나 사용자의 입력에 의해 부여될 수 있다.
한편, 이와 같은 필터링 동작은 서버에 의해 수행될 수도 있고, 전자 장치에 의해 수행될 수 도 있다. 서버에 의해 수행되는 경우에는 필터링을 위한 정보가 서버로 전달되어, 서버에 의해 필터링된 컨텐츠가 최종적으로 전자 장치로 전달될 수 있다. 전자 장치에 의해 수행되는 경우에는 오브젝트에 대응하는 컨텐츠 목록 및 관련 정보가 전자 장치로 전달되고, 전자 장치가 필터링을 수행한 결과 선택된 컨텐츠를 서버에 요청하면, 서버에서 해당 컨텐츠가 전자 장치로 전달될 수 있다.
도 9는 본 발명의 실시 예에 따른 AR 서비스에서 오브젝트와 이의 관련 컨텐츠 정보를 설명하기 위한 도면이다.
900을 참조하면, 예컨대, 서버는 위치에 상응하는 복수의 오브젝트 정보를 저장하고 있을 수 있다. 서버는 각각의 오브젝트에 대응하는 적어도 하나의 컨텐츠를 저장하고 있을 수 있다. 예컨대, 하나의 오브젝트(910)에 대응하는 복수의 컨텐츠(915, 920, 925)가 저장되어 있을 수 있다. 서버는 오브젝트에 대응하는 컨텐츠 관련 정보(930)를 생성/저장하고 있을 수 있다. 오브젝트에 대응하는 컨텐츠 관련 정보(930)는, 오브젝트 식별자 정보, 컨텐츠 식별자 정보, 컨텐츠 타입 정보, 컨텐츠 크기 정보 또는 컨텐츠 재생 시간 정보 중 적어도 하나를 포함할 수 있다. 예컨대, 서버는 전자 장치의 요청에 따라 상기 컨텐츠 관련 정보(930)를 전자 장치로 전송할 수 있다.
도 10은 본 발명의 실시 예에 따른 저지연 컨텐츠 제공 방법을 나타내는 순서도이다. 아래에서는 전자 장치(예: 100)에 의해 컨텐츠 필터링이 수행되는 것을 예로써 설명하겠지만, 본 발명의 다양한 실시 예는 이에 한정되는 것은 아니고, 서버에 의해서도 컨텐츠 필터링이 수행될 수 있음은 당업자라면 잘 이해할 수 있을 것이다.
1005 단계에서, 전자 장치는 선택된 오브젝트에 대한 컨텐츠 관련 정보를 획득할 수 있다.
1010 단계에서, 전자 장치는 컨텐츠 관련 정보에 기반하여, 전자 장치의 능력에 의해 지원 가능한 컨텐츠를 필터링할 수 있다. 예컨대, 전자 장치가 홀로그램 표시 기능을 지원하지 않는 경우, 홀로그램 타입의 컨텐츠는 선택에서 배제될 수 있다.
1015 단계에서, 전자 장치는 컨텐츠 관련 정보에 기반하여, 채널 상태에 의해 지원 가능한 컨텐츠를 필터링할 수 있다. 전자 장치는 컨텐츠의 크기, 재생 시간 등을 고려하여, 현재 채널 상태에서 지원 가능한 컨텐츠를 필터링할 수 있다. 예컨대, 전자 장치는 컨텐츠의 크기를 컨텐츠의 재생 시간으로 나눈 값이 현재 채널의 데이터 전송 속도(Data rate)보다 작은 컨텐츠만을 필터링할 수 있다. 상기 데이터 전송 속도는, 예컨대 사용자의 이동 속도가 소정 값보다 빠른 경우에는 짧은 단위 시간 동안의 평균 데이터 전송 속도가 활용될 수 있고, 사용자의 이동 속도가 소정 값보다 느린 경우에는 보다 긴 단위 시간 동안의 평균 데이터 전송 속도가 활용될 수 있다. 채널 상태를 나타내는 파라미터로서, 상기 데이터 전송 속도가 아닌 RSRQ 등의 값을 활용할 수도 있다.
1020 단계에서, 전자 장치는 컨텐츠 관련 정보에 기반하여, 임계 시점 내 재생 완료 가능한 컨텐츠를 필터링할 수 있다. 예컨대, 전자 장치는 사용자 이동성 정보에 기반하여 컨텐츠가 재생 완료되어야 하는 임계 시점을 도출해낼 수 있다. 전자 장치는 컨텐츠의 재생 시간 정보에 기반하여 해당 컨텐츠가 임계 시점 내 재생 완료 가능한지 여부를 판단할 수 있다.
1025 단계에서, 전자 장치는 컨텐츠 관련 정보에 기반하여, 컨텐츠 우선 순위에 따라 컨텐츠를 선택할 수 있다. 예컨대, 컨텐츠 우선 순위는 사용자의 입력 또는 설정에 의해 정해질 수 있다. 또는 컨텐츠 관련 정보가 컨텐츠 우선 순위 정보를 포함할 수도 있다.
한편, 1010 단계 내지 1025 단계에 따른 컨텐츠 필터링 동작은 모두 필수적인 것은 아니고, 본 발명의 다양한 실시 예에 따른 컨텐츠 필터링 동작은 1010 단계 내지 1025 단계 중 적어도 하나의 필터링 동작을 포함할 수 있다.
서버는 오브젝트에 대응하는 컨텐츠들 중 이와 같이 필터링된 컨텐츠만 제공함으로써, 컨텐츠 제공 지연을 개선할 수 있다.
도 11은 본 발명의 실시 예에 따른 저지연 컨텐츠 제공을 위한 전자 장치 및 서버 간 동작을 나타내는 도면이다. 본 실시 예에서는 서버로부터 컨텐츠 관련 정보를 수신하여 전자 장치가 컨텐츠 필터링 동작을 수행하는 것을 예로써 설명하였으나, 본 발명의 다양한 실시 예는 이에 한정되는 것이 아니고, 서버에 의해 컨텐츠 필터링이 동작이 수행되는 예시까지 포함할 수 있음을 당업자라면 잘 이해할 수 있을 것이다.
도 11을 참조하면, 1105 단계에서 전자 장치(100)는 오브젝트 감지 및 추적을 수행할 수 있다.
1110 단계에서 전자 장치(100)는 복수의 오브젝트가 감지되는 경우 소정의 룰에 따라 하나의 오브젝트를 선택할 수 있다. 예컨대, 전자 장치(100)는 현재 감지된 시야 각 내에서 복수의 오브젝트가 인식되는 경우, 사용자의 시선 좌표 및 응시 시간에 기반하여 하나의 오브젝트를 선택할 수 있다. 예컨대, 카메라 또는 기타 센서를 이용하여 사용자의 눈동자 좌표를 인식하고, 상기 좌표에서 소정 시간 이상 머문 경우, 해당 좌표에 상응하는 오브젝트를 선택할 수 있다.
1115 단계에서 전자 장치(100)는 서버(200)로부터 선택된 오브젝트에 대한 컨텐츠 관련 정보를 수신할 수 있다. 예컨대, 전자 장치(100)는 현재 위치에서 인식된 오브젝트 각각에 대한 태그 정보를 표시할 수 있고, 어느 하나의 오브젝트의 태그 정보에 대한 입력(클릭 또는 수초간 응시 감지)이 감지되면, 해당 오브젝트에 대한 컨텐츠 관련 정보를 서버(200)로부터 획득할 수 있다.
1120 단계에서 전자 장치(100)는 필터링 정보 및 수신한 컨텐츠 관련 정보에 기반하여 컨텐츠 필터링 및 선택을 수행할 수 있다. 1120 단계에서의 동작은 앞서 설명한 도 10의 1010 단계 내지 1025 단계 중 적어도 하나의 동작을 포함할 수 있다.
1140 단계에서 전자 장치(100)는 필터링 및 선택된 컨텐츠를 서버(200)에 요청하여 수신할 수 있다.
한편, 전자 장치(100)는 오브젝트 프리페칭 동작을 수행함에 있어 컨텐츠 필터링 동작을 수행함으로써 컨텐츠 전송 지연을 개선할 수 있다.
예컨대, 1125 단계에서 전자 장치(100)는 채널 상태 정보에 기반하여 프리페칭을 수행할지 여부를 판단할 수 있고, 프리페칭을 수행하는 것으로 판단된 경우, 채널 상태 정보 및 사용자 이동성 관련 정보에 기반하여 오브젝트 프리페칭 동작을 수행할 수 있다. 구체적인 오브젝트 프리페칭 동작은 앞서 도 6에서 설명한 바 있다.
1130 단계에서 전자 장치(100)는 프리페칭 동작을 수행하기로 선택된 오브젝트에 대한 컨텐츠 관련 정보를 서버(200)로부터 수신할 수 있다.
1135 단계에서 전자 장치(100)는 필터링 정보 및 수신한 컨텐츠 관련 정보에 기반하여 컨텐츠 필터링 및 선택을 수행할 수 있다. 1135 단계에서의 동작은 앞서 설명한 도 10의 1010 단계 내지 1025 단계 중 적어도 하나의 동작을 포함할 수 있다.
1140 단계에서 전자 장치(100)는 필터링 및 선택된 컨텐츠를 서버(200)에 요청하여 수신할 수 있다. 이러한 동작을 통해, 오브젝트 프리페칭 동작을 수행함에 있어 컨텐츠 전송 지연을 개선할 수 있다.
도 12는 본 발명의 실시 예에 따른 저지연 컨텐츠 제공 방법을 설명하기 위한 흐름도이다.
전자 장치(100)는 해당 위치에서 감지되는 오브젝트들 중 적어도 하나의 오브젝트를 선택할 수 있다. 선택된 오브젝트에 대한 컨텐츠를 획득하기 위하여, 1205 단계에서 전자 장치(100)는 서버(200)에 선택된 오브젝트의 컨텐츠 관련 정보를 요청할 수 있다. 1210 단계에서 전자 장치(100)는 요청한 컨텐츠 관련 정보를 서버(200)로부터 수신할 수 있다.
1210 단계에서 전자 장치(100)는 필터링 정보 및 상기 수신한 컨텐츠 관련 정보에 기반하여 컨텐츠 필터링 및 선택을 수행할 수 있다. 1210 단계에서의 동작은 앞서 설명한 도 10의 1010 단계 내지 1025 단계 중 적어도 하나의 동작을 포함할 수 있다.
1220 단계에서 전자 장치(100)는 필터링 및 선택된 컨텐츠를 서버(200)에 요청할 수 있고, 1225 단계에서 상기 요청한 컨텐츠를 서버(200)로부터 수신할 수 있다. 이때, 서버에서 컨텐츠를 렌더링하여 오브젝트와 병합하여 단말로 전송할 수도 있고, 단말이 서버로부터 수신한 컨텐츠를 렌더링하여 오브젝트와 병합하여 표시할 수도 있다.
도 13은 본 발명의 실시 예에 따른 오브젝트 프리페칭 동작 시 저지연 컨텐츠 제공 방법을 설명하기 위한 흐름도이다.
1305 단계에서 전자 장치(100)는 채널 상태 정보에 기반하여 프리페칭을 수행할지 여부를 판단할 수 있다. 예컨대, 채널 상태 정보가 소정 기준 값보다 크다고 판단되면, 전자 장치(100)는 오브젝트 프리페칭 동작을 트리거링할 수 있다.
1310 단계에서 전자 장치(100)는 채널 상태 정보 및 사용자 이동성 정보에 기반하여 프리페칭을 위한 오브젝트를 선택할 수 있다. 한편, 오브젝트 프리페칭과 관련한 구체적인 동작은 앞서 설명한 도 6의 동작을 포함할 수 있다.
프리페칭을 위한 오브젝트가 선택되면, 1315 단계에서 전자 장치(100)는 서버(200)로 선택된 오브젝트의 컨텐츠 관련 정보를 요청할 수 있다. 1320 단계에서 전자 장치(100)는 요청한 컨텐츠 관련 정보를 수신할 수 있다.
1325 단계에서 전자 장치(100)는 필터링 정보 및 상기 수신한 컨텐츠 관련 정보에 기반하여 컨텐츠 필터링 및 선택을 수행할 수 있다. 1325 단계에서의 동작은 앞서 설명한 도 10의 1010 단계 내지 1025 단계 중 적어도 하나의 동작을 포함할 수 있다.
1330 단계에서 전자 장치(100)는 필터링 및 선택된 컨텐츠를 서버(200)에 요청할 수 있고, 1335 단계에서 상기 요청한 컨텐츠를 서버(200)로부터 수신할 수 있다. 이때, 서버에서 컨텐츠를 렌더링하여 오브젝트와 병합하여 단말로 전송할 수도 있고, 단말이 서버로부터 수신한 컨텐츠를 렌더링하여 오브젝트와 병합하여 표시할 수도 있다.
도 14a는 본 발명의 실시 예에 따른 AR 서비스 제공 시 오브젝트 프리페칭 동작이 적용되는 한 예시를 설명하는 도면이다.
예컨대, 자동차는 AR서비스를 제공하는 전자 장치(1400)를 포함할 수 있다. 전자 장치(1400)는 운전 중에 채널 상태에 기반하여 오브젝트 프리페칭 트리거링을 결정할 수 있다. 프리페칭 동작을 수행할 것으로 결정한 경우, 전자 장치(1400)는 사용자의 이동성 정보 및 채널 상태에 기반하여 프리페칭 영역(1405)을 결정할 수 있다. 따라서, 전자 장치(1400)는 인식되는 복수의 오브젝트들(1410, 1415, 1420) 중에서 상기 프리페칭 영역(1405) 내에 속하는 오브젝트(1415)를 선택할 수 있다. 그리고, 선택된 오브젝트(1415)에 관련된 컨텐츠를 미리 수신할 수 있다. 이때, 관련된 컨텐츠를 수신함에 있어, 앞서 설명한 필터링 동작을 통해 컨텐츠 전송 지연을 개선할 수 있다.
도 14b는 본 발명의 실시 예에 따른 AR 서비스 제공 시 오브젝트 프리페칭 동작이 적용되는 다른 예시를 설명하는 도면이다.
예컨대, 자동차는 AR서비스를 제공하는 전자 장치를 포함할 수 있고, 전자 장치는 네비게이션 서비스(1450)를 AR서비스로 제공할 수 있다. 예컨대, 네비게이션 서비스(1450)는 현재 위치에서 목적지까지의 경로를 제공할 수 있는데, 본 발명의 실시 예에 따르면, 전자 장치는 사용자에 의해 선택된 경로(1455)와 관련된 오브젝트에 대하여 프리페칭 동작을 수행할 수 있다. 이때, 경로에 위치한 모든 오브젝트에 대하여 프리페칭 동작을 수행할 수 있는데, 관련된 컨텐츠를 수신함에 있어, 앞서 설명한 필터링 동작을 통해 컨텐츠 전송 지연을 개선할 수 있다.
도 15a 내지 도 15d는 본 발명의 실시 예에 따른 AR 서비스가 적용되는 다양한 예시를 보여주는 도면이다. 도 15a 내지 도 15d는, 전자 장치(예: 100)를 통해 AR 서비스 기반 어플리케이션을 실행하는 다양한 예시를 보여주고 있다.
예컨대, 도 15a는 전자 장치를 통해 주변 관광지 정보 알림 서비스를 제공하는 예시를 나타낸다. 전자 장치는 카메라 모듈을 통해 외부 영상을 인식하고, 외부 영상 내의 관광지 오브젝트를 인식 및 추적할 수 있다. 그리고, 본 발명의 실시 예에 따라, 선택된 오브젝트에 대한 컨텐츠를 필터링하여 수신한 뒤 표시할 수 있다. 따라서, 주변 관광지와 이에 대한 정보가 사용자에게 제공될 수 있다.
예컨대, 도 15b는 전자 장치를 통해 자동 운전 관련 서비스를 제공하는 예시를 나타낸다. 전자 장치는 자동차 주행 중 외부 영상을 인식하고, 외부 영상 내의 오브젝트를 인식 및 추적할 수 있다. 그리고, 본 발명의 실시 예에 따라, 선택된 오브젝트에 대한 컨텐츠를 필터링하여 수신한 뒤 표시할 수 있다. 따라서, 운전자는 주행 중 주변 상황에 대한 정보를 화면을 통해 확인할 수 있다.
예컨대, 도 15c는 전자 장치를 통해 영화 정보 알림 서비스를 제공하는 예시를 나타낸다. 전자 장치는 카메라 모듈을 통해 외부 이미지(예컨대, 영화 포스터)룰 인식하고, 외부 이미지 내의 오브젝트 (예컨대, 주인공 사진)를 인식할 수 있다. 그리고, 본 발명의 실시 예에 따라, 선택된 오브젝트에 대한 컨텐츠를 필터링하여 수신한 뒤 표시할 수 있다. 상기 컨텐츠는, 해당 영화와 관련된 정보를 포함할 수 있다.
예컨대, 도 15d는 전자 장치를 통해 식당 정보 알림 서비스를 제공하는 예시를 나타낸다. 전자 장치는 카메라 모듈을 통해 외부 영상을 인식하고, 외부 영상 내의 식당 오브젝트를 인식할 수 있다. 그리고, 본 발명의 실시 예에 따라, 선택된 오브젝트에 대한 컨텐츠를 필터링하여 수신한 뒤 표시할 수 있다. 따라서, 주변 식당과 이에 대한 정보가 사용자에게 제공될 수 있다.
본 명세서와 도면에 개시된 본 개시의 실시 예들은 본 개시의 기술 내용을 쉽게 설명하고 본 개시의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 개시의 범위를 한정하고자 하는 것은 아니다. 따라서 본 개시의 범위는 여기에 개시된 실시 예들 이외에도 본 개시의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (16)

  1. 전자 장치의 증강 현실 서비스 제공 방법에 있어서,
    오브젝트에 대한 컨텐츠 관련 정보를 수신하는 단계;
    필터링 정보 및 상기 컨텐츠 관련 정보에 기반하여, 상기 오브젝트와 관련한 복수의 컨텐츠 중 적어도 하나의 컨텐츠를 요청하는 단계; 및
    상기 요청에 의해 수신한 적어도 하나의 컨텐츠를 가상 영역에 출력하는 단계를 포함하는 전자 장치의 증강 현실 서비스 제공 방법.
  2. 제 1 항에 있어서,
    상기 컨텐츠 관련 정보는, 상기 오브젝트와 관련한 복수의 컨텐츠 각각에 대한 타입 정보, 크기 정보 또는 재생 시간 정보 중 적어도 하나를 포함하고,
    상기 필터링 정보는, 전자 장치 능력 정보, 채널 상태 정보, 사용자 이동성 관련 정보 또는 우선 순위 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 전자 장치의 증강 현실 서비스 제공 방법.
  3. 제 2 항에 있어서,
    상기 필터링 정보 및 상기 컨텐츠 관련 정보에 기반하여, 상기 오브젝트와 관련한 복수의 컨텐츠 중 적어도 하나의 컨텐츠를 요청하는 단계는,
    상기 전자 장치 능력 정보에 기반하여 지원 가능한 컨텐츠를 필터링하는 단계;
    상기 채널 상태 정보에 기반하여 지원 가능한 컨텐츠를 필터링하는 단계;
    상기 사용자 이동성 관련 정보 및 상기 재생 시간 정보에 기반하여, 임계 시점 내 재생 완료 가능한 컨텐츠를 필터링하는 단계; 또는
    상기 우선 순위 정보에 기반하여 컨텐츠를 필터링하는 단계 중 적어도 하나를 포함하는 것을 특징으로 하는 전자 장치의 증강 현실 서비스 제공 방법.
  4. 제 1 항에 있어서,
    채널 상태 정보에 기반하여 오브젝트 프리페칭 동작을 트리거링하는 단계를 더 포함하는 것을 특징으로 하는 전자 장치의 증강 현실 서비스 제공 방법.
  5. 제 4 항에 있어서,
    상기 오브젝트 프리페칭 동작이 트리거링되면, 적어도 하나의 오브젝트를 인식하는 단계; 및
    상기 적어도 하나의 오브젝트 중, 사용자 이동성 정보 및 상기 채널 상태 정보에 기반하여 결정되는 영역 내에 위치한 상기 오브젝트를 선택하는 단계를 더 포함하는 것을 특징으로 하는 전자 장치의 증강 현실 서비스 제공 방법.
  6. 제 5 항에 있어서,
    상기 사용자 이동성 정보 및 상기 채널 상태 정보에 기반하여 결정되는 영역은 복수 개의 부분을 포함하고,
    상기 필터링 정보 및 상기 컨텐츠 관련 정보에 기반하여, 상기 오브젝트와 관련한 복수의 컨텐츠 중 적어도 하나의 컨텐츠를 요청하는 단계는,
    각 부분에 대한 우선 순위에 기반하여, 각 부분 내에 위치한 오브젝트와 관련한 복수의 컨텐츠 중 적어도 하나의 컨텐츠를 요청하는 단계를 포함하는 것을 특징으로 하는 전자 장치의 증강 현실 서비스 제공 방법.
  7. 서버의 증강 현실 서비스 제공 방법에 있어서,
    오브젝트에 대한 컨텐츠 관련 정보의 요청에 응답하여 상기 컨텐츠 관련 정보를 전자 장치로 전송하는 단계; 및
    상기 컨텐츠 관련 정보에 포함된 복수의 컨텐츠 중 적어도 하나의 컨텐츠에 대한 요청에 응답하여 상기 적어도 하나의 컨텐츠를 상기 전자 장치로 전송하는 단계를 포함하고,
    상기 적어도 하나의 컨텐츠는, 필터링 정보 및 상기 컨텐츠 관련 정보에 기반하여 선택되는 것을 특징으로 하는 서버의 증강 현실 서비스 제공 방법.
  8. 제 7 항에 있어서,
    상기 컨텐츠 관련 정보는, 상기 오브젝트와 관련한 복수의 컨텐츠 각각에 대한 타입 정보, 크기 정보 또는 재생 시간 정보 중 적어도 하나를 포함하고,
    상기 필터링 정보는, 전자 장치 능력 정보, 채널 상태 정보, 사용자 이동성 관련 정보 또는 우선 순위 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 서버의 증강 현실 서비스 제공 방법.
  9. 증강 현실 서비스를 제공하는 전자 장치에 있어서,
    디스플레이;
    통신부; 및
    상기 디스플레이 및 상기 통신부와 전기적으로 연결된 프로세서를 포함하고,
    상기 프로세서는,
    오브젝트에 대한 컨텐츠 관련 정보를 상기 통신부를 통해 수신하고,
    필터링 정보 및 상기 컨텐츠 관련 정보에 기반하여, 상기 오브젝트와 관련한 복수의 컨텐츠 중 적어도 하나의 컨텐츠를 상기 통신부를 통해 요청하며,
    상기 요청에 의해 수신한 적어도 하나의 컨텐츠를 상기 디스플레이를 통해 가상 영역에 출력하도록 제어하는 전자 장치.
  10. 제 9 항에 있어서,
    상기 컨텐츠 관련 정보는, 상기 오브젝트와 관련한 복수의 컨텐츠 각각에 대한 타입 정보, 크기 정보 또는 재생 시간 정보 중 적어도 하나를 포함하고,
    상기 필터링 정보는, 전자 장치 능력 정보, 채널 상태 정보, 사용자 이동성 관련 정보 또는 우선 순위 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 전자 장치.
  11. 제 9 항에 있어서,
    상기 프로세서는, 상기 복수의 컨텐츠 중 상기 적어도 하나의 컨텐츠를 선택하기 위하여,
    상기 전자 장치 능력 정보에 기반하여 지원 가능한 컨텐츠를 필터링하는 동작;
    상기 채널 상태 정보에 기반하여 지원 가능한 컨텐츠를 필터링하는 동작;
    상기 사용자 이동성 관련 정보 및 상기 재생 시간 정보에 기반하여, 임계 시점 내 재생 완료 가능한 컨텐츠를 필터링하는 동작; 또는
    상기 우선 순위 정보에 기반하여 컨텐츠를 필터링하는 동작; 중 적어도 하나를 수행하는 것을 특징으로 하는 전자 장치.
  12. 제 9 항에 있어서,
    상기 프로세서는,
    채널 상태 정보에 기반하여 오브젝트 프리페칭 동작을 트리거링하는 것을 특징으로 하는 전자 장치의 증강 현실 서비스 제공 방법.
  13. 제 12 항에 있어서,
    상기 프로세서는,
    상기 오브젝트 프리페칭 동작이 트리거링되면, 적어도 하나의 오브젝트를 인식하고,
    상기 적어도 하나의 오브젝트 중, 사용자 이동성 정보 및 상기 채널 상태 정보에 기반하여 결정되는 영역 내에 위치한 상기 오브젝트를 선택하는 것을 특징으로 하는 전자 장치의 증강 현실 서비스 제공 방법.
  14. 제 13 항에 있어서,
    상기 사용자 이동성 정보 및 상기 채널 상태 정보에 기반하여 결정되는 영역은 복수 개의 부분을 포함하고,
    상기 프로세서는,
    각 부분에 대한 우선 순위에 기반하여, 각 부분 내에 위치한 오브젝트와 관련한 복수의 컨텐츠 중 적어도 하나의 컨텐츠를 요청하도록 상기 통신부를 제어하는 것을 특징으로 하는 전자 장치.
  15. 증강 현실 서비스를 제공하는 서버에 있어서,
    통신부; 및
    상기 통신부와 전기적으로 연결된 프로세서를 포함하고,
    상기 프로세서는,
    오브젝트에 대한 컨텐츠 관련 정보의 요청에 응답하여 상기 컨텐츠 관련 정보를 상기 통신부를 통해 전자 장치로 전송하고,
    상기 컨텐츠 관련 정보에 포함된 복수의 컨텐츠 중 적어도 하나의 컨텐츠에 대한 요청에 응답하여 상기 적어도 하나의 컨텐츠를 상기 통신부를 통해 상기 전자 장치로 전송하도록 제어하며,
    상기 적어도 하나의 컨텐츠는, 필터링 정보 및 상기 컨텐츠 관련 정보에 기반하여 선택되는 것을 특징으로 하는 서버.
  16. 제 15 항에 있어서,
    상기 컨텐츠 관련 정보는, 상기 오브젝트와 관련한 복수의 컨텐츠 각각에 대한 타입 정보, 크기 정보 또는 재생 시간 정보 중 적어도 하나를 포함하고,
    상기 필터링 정보는, 전자 장치 능력 정보, 채널 상태 정보, 사용자 이동성 관련 정보 또는 우선 순위 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 서버.
KR1020160074578A 2016-06-15 2016-06-15 증강 현실 서비스 제공 방법 및 장치 KR102479360B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020160074578A KR102479360B1 (ko) 2016-06-15 2016-06-15 증강 현실 서비스 제공 방법 및 장치
PCT/KR2017/006068 WO2017217713A1 (en) 2016-06-15 2017-06-12 Method and apparatus for providing augmented reality services
EP17813537.2A EP3427233B1 (en) 2016-06-15 2017-06-12 Method and apparatus for providing augmented reality services
US15/624,675 US10368212B2 (en) 2016-06-15 2017-06-15 Method and apparatus for providing augmented reality services

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160074578A KR102479360B1 (ko) 2016-06-15 2016-06-15 증강 현실 서비스 제공 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20170141473A true KR20170141473A (ko) 2017-12-26
KR102479360B1 KR102479360B1 (ko) 2022-12-20

Family

ID=60660517

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160074578A KR102479360B1 (ko) 2016-06-15 2016-06-15 증강 현실 서비스 제공 방법 및 장치

Country Status (4)

Country Link
US (1) US10368212B2 (ko)
EP (1) EP3427233B1 (ko)
KR (1) KR102479360B1 (ko)
WO (1) WO2017217713A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190125680A (ko) * 2018-04-30 2019-11-07 (주)테슬라시스템 드론 동영상에 증강현실 정보를 삽입하는 방법
KR20190125686A (ko) * 2018-04-30 2019-11-07 (주)테슬라시스템 드론 동영상에 증강현실 정보의 삽입시에 사용되는 메타 파일 구조
WO2021188275A1 (en) * 2020-03-19 2021-09-23 Snap Inc. Context-based image state selection
WO2021188269A1 (en) * 2020-03-17 2021-09-23 Snap Inc. Geospatial image surfacing and selection

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11470017B2 (en) * 2019-07-30 2022-10-11 At&T Intellectual Property I, L.P. Immersive reality component management via a reduced competition core network component
US10958758B1 (en) 2019-11-22 2021-03-23 International Business Machines Corporation Using data analytics for consumer-focused autonomous data delivery in telecommunications networks
CN111476886B (zh) * 2020-04-06 2020-12-04 王锐 智慧建筑楼宇三维模型渲染方法及楼宇云服务器
CN112819967B (zh) * 2021-01-14 2024-07-30 京东方科技集团股份有限公司 一种显示方法、装置及系统、存储介质、显示器
WO2023228565A1 (ja) * 2022-05-24 2023-11-30 株式会社Ｎｔｔドコモ 表示制御装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110029444A (ko) * 2009-09-15 2011-03-23 삼성전자주식회사 장면 간의 링크를 이용한 멀티미디어 컨텐츠 재생 방법 및 장치
KR20140071086A (ko) * 2012-12-03 2014-06-11 삼성전자주식회사 증강 현실 컨텐츠 운용 방법 및 이를 지원하는 단말기와 시스템

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6118456A (en) 1998-04-02 2000-09-12 Adaptive Media Technologies Method and apparatus capable of prioritizing and streaming objects within a 3-D virtual environment
KR20120049757A (ko) * 2010-11-09 2012-05-17 엘지전자 주식회사 증강현실정보 표시 방법 및 이를 이용하는 이동 단말기
EP2646901A4 (en) 2010-11-30 2014-09-24 Nokia Corp METHOD AND APPARATUS FOR PREDICTING AND PRE-EXTRACTING LOCATION INFORMATION
KR20120087287A (ko) * 2010-12-28 2012-08-07 주식회사 팬택 증강현실 히스토리 정보를 이용하여 소셜 네트워킹 서비스를 제공하는 단말기, 서버 및 이를 이용한 증강현실 제공 시스템
US8442500B2 (en) * 2011-06-21 2013-05-14 Qualcomm Incorporated Relevant content delivery
JP5821526B2 (ja) * 2011-10-27 2015-11-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US8803916B1 (en) * 2012-05-03 2014-08-12 Sprint Communications Company L.P. Methods and systems for an augmented reality service delivery platform
US10885104B2 (en) * 2014-02-27 2021-01-05 Dropbox, Inc. Systems and methods for selecting content items to store and present locally on a user device
US9860612B2 (en) * 2014-04-10 2018-01-02 Wowza Media Systems, LLC Manifest generation and segment packetization
GB201407586D0 (en) 2014-04-30 2014-06-11 Harrison Neil Portable processing apparatus, media distribution system and method
US9807592B2 (en) * 2014-11-13 2017-10-31 Intel Corporation Context-aware resource management for video streaming services

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110029444A (ko) * 2009-09-15 2011-03-23 삼성전자주식회사 장면 간의 링크를 이용한 멀티미디어 컨텐츠 재생 방법 및 장치
KR20140071086A (ko) * 2012-12-03 2014-06-11 삼성전자주식회사 증강 현실 컨텐츠 운용 방법 및 이를 지원하는 단말기와 시스템

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190125680A (ko) * 2018-04-30 2019-11-07 (주)테슬라시스템 드론 동영상에 증강현실 정보를 삽입하는 방법
KR20190125686A (ko) * 2018-04-30 2019-11-07 (주)테슬라시스템 드론 동영상에 증강현실 정보의 삽입시에 사용되는 메타 파일 구조
WO2021188269A1 (en) * 2020-03-17 2021-09-23 Snap Inc. Geospatial image surfacing and selection
US11176751B2 (en) 2020-03-17 2021-11-16 Snap Inc. Geospatial image surfacing and selection
US11663793B2 (en) 2020-03-17 2023-05-30 Snap Inc. Geospatial image surfacing and selection
US11948262B2 (en) 2020-03-17 2024-04-02 Snap Inc. Geospatial image surfacing and selection
WO2021188275A1 (en) * 2020-03-19 2021-09-23 Snap Inc. Context-based image state selection
US11686940B2 (en) 2020-03-19 2023-06-27 Snap Inc. Context-based image state selection

Also Published As

Publication number Publication date
EP3427233A4 (en) 2019-01-16
WO2017217713A1 (en) 2017-12-21
KR102479360B1 (ko) 2022-12-20
EP3427233A1 (en) 2019-01-16
US20170366951A1 (en) 2017-12-21
EP3427233B1 (en) 2020-12-02
US10368212B2 (en) 2019-07-30

Similar Documents

Publication Publication Date Title
US10368212B2 (en) Method and apparatus for providing augmented reality services
US11050810B2 (en) Method and apparatus for transmitting and receiving image data for virtual-reality streaming service
US11287875B2 (en) Screen control method and device for virtual reality service
US20160203643A1 (en) Exhibition guide apparatus, exhibition media display apparatus, mobile terminal and method for guiding exhibition
KR20140124634A (ko) 이동 단말기 및 그것의 제어 방법
KR20150020918A (ko) 디스플레이 장치 및 그것의 제어 방법
KR20190047443A (ko) 인공지능 디바이스
KR20150008733A (ko) 안경형 휴대기기 및 그의 정보 투사면 탐색방법
CN112262361A (zh) 用于对混合现实内容进行基于注视的控制的方法和系统
US20200286276A1 (en) Electronic device and method for displaying and generating panoramic image
KR20150085400A (ko) 안경형 단말기 및 안경형 단말기와 사이니지를 포함하는 시스템
KR20180002255A (ko) 글래스 타입의 이동 단말기
KR20180024654A (ko) 이동 단말기 및 이동 단말기의 동작 방법을 수행하는 프로그램이 기록된 기록 매체
KR20180024265A (ko) 이동 단말기 및 그의 동작 방법
KR20160011419A (ko) 이동 단말기, 이동 단말기의 제어방법, 그리고, 제어시스템과 그 제어방법
KR20180095324A (ko) 글래스 타입의 이동 단말기
KR20180111224A (ko) 단말기 및 그 제어 방법
KR20150085401A (ko) 안경형 단말기 및 안경형 단말기와 사이니지를 포함하는 시스템
KR20170027135A (ko) 이동단말기 및 그 제어방법
KR20150123644A (ko) 이동단말기 및 그 제어방법
KR102284769B1 (ko) 3d 컨텐츠를 제공하는 서버 및 그 동작 방법
KR102114466B1 (ko) 영상 컨텐츠 내 관심 영역 정보를 이용한 영상 디스플레이 방법 및 장치
KR20170040039A (ko) 이동단말기 및 그 제어방법
KR20150015801A (ko) 이동 단말기 및 이의 제어방법
KR20150032056A (ko) 안경형 단말기 및 그 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant