KR20190101927A - Xr 디바이스 및 그 제어 방법 - Google Patents
Xr 디바이스 및 그 제어 방법 Download PDFInfo
- Publication number
- KR20190101927A KR20190101927A KR1020190098869A KR20190098869A KR20190101927A KR 20190101927 A KR20190101927 A KR 20190101927A KR 1020190098869 A KR1020190098869 A KR 1020190098869A KR 20190098869 A KR20190098869 A KR 20190098869A KR 20190101927 A KR20190101927 A KR 20190101927A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- personal
- user
- public
- present
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/131—Protocols for games, networked simulations or virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0282—Rating or review of business operators or products
Abstract
본 발명은 XR 디바이스 및 그 제어 방법에 관한 것으로서, 보다 구체적으로는 5G 통신 기술 분야, 로봇 기술 분야, 자율 주행 기술 분야 및 AI (Artificial Intelligence) 기술 분야에도 모두 적용 가능하다.
본 발명의 다양한 실시예들에 따른 XR디바이스 제어 방법은 공용 DB(Database)에 접속하는 단계, 상기 공용 DB의 키 정보에 기초하여 개인 DB를 생성하는 단계, 상기 공용DB는 공용AR(Artificial Intelligence)정보를 포함하고, 상기 개인DB는 개인AR정보 및 화이트리스트를 포함하고, 상기 공용AR정보 또는 상기 개인AR정보를 획득하는 단계를 포함한다.
본 발명의 다양한 실시예들에 따른 XR 디바이스는 메모리, XR 디바이스의 주변을 촬영하는 카메라, 상기 메모리에 기초하여 상기 카메라에 의해 촬영된 데이터를 디스플레이하는 디스플레이 모듈, 상기 메모리, 상기 카메라 및 상기 디스플레이 모듈과 연결된 컨트롤러; 를 포함하고, 상기 컨트롤러는, 공용 DB(Database)에 접속하고, 상기 공용 DB의 키 정보에 기초하여 개인 DB를 생성하고, 상기 공용DB는 공용AR(Artificial Intelligence)정보를 포함하고, 상기 개인DB는 개인AR정보 및 화이트리스트를 포함하고, 상기 공용AR정보 또는 상기 개인AR정보를 획득한다.
본 발명의 다양한 실시예들에 따른 XR디바이스 제어 방법은 공용 DB(Database)에 접속하는 단계, 상기 공용 DB의 키 정보에 기초하여 개인 DB를 생성하는 단계, 상기 공용DB는 공용AR(Artificial Intelligence)정보를 포함하고, 상기 개인DB는 개인AR정보 및 화이트리스트를 포함하고, 상기 공용AR정보 또는 상기 개인AR정보를 획득하는 단계를 포함한다.
본 발명의 다양한 실시예들에 따른 XR 디바이스는 메모리, XR 디바이스의 주변을 촬영하는 카메라, 상기 메모리에 기초하여 상기 카메라에 의해 촬영된 데이터를 디스플레이하는 디스플레이 모듈, 상기 메모리, 상기 카메라 및 상기 디스플레이 모듈과 연결된 컨트롤러; 를 포함하고, 상기 컨트롤러는, 공용 DB(Database)에 접속하고, 상기 공용 DB의 키 정보에 기초하여 개인 DB를 생성하고, 상기 공용DB는 공용AR(Artificial Intelligence)정보를 포함하고, 상기 개인DB는 개인AR정보 및 화이트리스트를 포함하고, 상기 공용AR정보 또는 상기 개인AR정보를 획득한다.
Description
본 발명은 XR 디바이스 및 그 제어 방법에 관한 것으로서, 보다 구체적으로는 5G 통신 기술 분야, 로봇 기술 분야, 자율 주행 기술 분야 및 AI (Artificial Intelligence) 기술 분야에도 모두 적용 가능하다.
VR (Virtual Reality) 기술은 현실 세계의 객체나 배경 등을 CG (Computer Graphic) 영상으로만 제공하고, AR (Augmented Reality) 기술은 실제 사물 영상 위에 가상으로 만들어진 CG 영상을 함께 제공하며, MR (Mixed) 기술은 현실 세계에 가상 객체들을 섞고 결합시켜서 제공하는 컴퓨터 그래픽 기술이다. 전술한 VR, AR, MR 등을 모두 간단히 XR (extended reality) 기술로 지칭하기도 한다.
최근에는 AR기술을 적용하여 가상 객체를 다양하게 제공할 수 있다. 따라서, 다양한 가상 객체를 효율적으로 획득하는 방법이 요구된다.
하지만AR 기술의 용도에 따라 가상 객체를 제공하기 위한 효율적인 획득 방법 및 인증 방법이 거의 없다.
현재 AR관련 어플리케이션은 실제 카메라 화면 속에 AR객체를 보여주기 위해서 공통 서버 내 데이터베이스를 두고 있다. 사용자에 구분 없이 동일한 화면만 제시할 수 있는 문제점이 있다.
본 발명의 일실시예의 목적은, AR 활용 시 데이터베이스(DB, Database)를 분리하여 사용하는데 있다.
본 발명의 일실시예의 목적은, AR 활용 시 데이터베이스에 접근하는 사용자에 대한 인증 방법의 보안성을 증가시키고, 인증 방법의 복잡도를 감소시키는데 있다.
본 발명의 일실시예의 목적은, 복수의 사용자가 다양한 데이터베이스에 저장된 AR정보를 획득하여 가상 객체를 활용하는데 있다.
전술한 목적만으로 제한되는 것은 아니며, 본 명세서 전체 내용에 기초하여 당업자가 유추할 수 있는 다른 목적으로 본 발명의 권리범위가 확장될 수 있다.
본 발명의 다양한 실시예들에 따른 XR디바이스 제어 방법은 공용 DB(Database)에 접속하는 단계, 상기 공용 DB의 키 정보에 기초하여 개인 DB를 생성하는 단계, 상기 공용DB는 공용AR(Artificial Intelligence)정보를 포함하고, 상기 개인DB는 개인AR정보 및 화이트리스트를 포함하고, 상기 공용AR정보 또는 상기 개인AR정보를 획득하는 단계를 포함한다.
본 발명의 다양한 실시예들에 따른 XR 디바이스는 메모리, XR 디바이스의 주변을 촬영하는 카메라, 상기 메모리에 기초하여 상기 카메라에 의해 촬영된 데이터를 디스플레이하는 디스플레이 모듈, 상기 메모리, 상기 카메라 및 상기 디스플레이 모듈과 연결된 컨트롤러; 를 포함하고, 상기 컨트롤러는, 공용 DB(Database)에 접속하고, 상기 공용 DB의 키 정보에 기초하여 개인 DB를 생성하고, 상기 공용DB는 공용AR(Artificial Intelligence)정보를 포함하고, 상기 개인DB는 개인AR정보 및 화이트리스트를 포함하고, 상기 공용AR정보 또는 상기 개인AR정보를 획득한다.
본 발명의 다양한 실시예들에 따른 XR디바이스 제어 방법 및 XR 디바이스는 AR 활용 시 데이터베이스(DB, Database)를 분리하여 사용할 수 있고, 데이터베이스를 AR용도에 맞게 효율적으로 사용할 수 있는 효과가 있다.
본 발명의 다양한 실시예들에 따른 XR디바이스 제어 방법 및 XR 디바이스는AR 활용 시 데이터베이스에 접근하는 사용자에 대한 인증 방법의 보안성을 증가시키고, 인증 방법의 복잡도를 감소시키는 효과가 있다.
본 발명의 다양한 실시예들에 따른 XR디바이스 제어 방법 및 XR 디바이스는 복수의 사용자가 다양한 데이터베이스에 저장된 AR정보를 획득하여 가상 객체를 활용할 수 있는 효과가 있다.
도 1은 3GPP 기반 시스템에서 물리 신호/채널들의 매핑되는 자원 격자를 예시한 것이다.
도 2는 3GPP 신호 전송/수신 방법의 일예를 나타낸 도면이다.
도 3은 SSB 구조를 예시한다.
도 4는 임의 접속 과정의 일례를 예시한다.
도 5는 상향링크 그랜트에 따른 UL 전송의 일례를 나타낸다.
도 6은 물리 채널 프로세싱(physical channel processing)의 개념도의 일례를 나타낸다.
도 7은 하이브리드 빔포밍(hybrid beamforming)을 위한 전송단 및 수신단의 블록도의 일례를 나타낸 도이다.
도 8 (a)는 협대역 동작의 일례를 나타낸 도이며, 도 8 (b)는 RF 리튜닝(retuning)을 가지는 MTC 채널 반복의 일례를 나타낸 도이다.
도 9는 본 명세서에서 제안하는 방법들이 적용될 수 있는 무선 통신 시스템의 블록 구성도를 예시한다.
도 10은 본 발명의 일 실시 예에 따른 AI 장치(1000)를 나타낸다.
도 11은 본 발명의 일 실시 예에 따른 AI 서버(1120)를 나타낸다.
도 12는 본 발명의 일 실시 예에 따른 AI 시스템을 나타낸다.
도 13은 본 발명의 실시예들에 의한 XR 디바이스의 블록도를 도시한 도면이다.
도 14는 도 13에 도시된 메모리를 보다 구체적으로 도시한 블록도이다.
도 15는 포인트 클라우트 데이터 처리 시스템을 나타낸다.
도 16은 러닝 프로세서를 포함하는 XR 디바이스(1600)를 나타낸다.
도 17은 도 16에 도시된 본 발명의 XR 디바이스(1600)가 XR 서비스를 제공하는 과정을 나타낸다.
도 18은 XR 디바이스와 로봇의 외관을 도시하고 있다.
도 19는 XR 기술이 탑재된 디바이스를 이용하여, 로봇을 제어하는 과정을 도시한 플로우 차트이다.
도 20은 자율 주행 서비스를 제공하는 차량을 나타낸다.
도 21은 자율 주행 서비스 중 AR/VR 서비스를 제공하는 과정을 나타낸다.
도 22는 본 발명의 일실시예에 의한 XR 디바이스를 HMD 타입으로 구현한 경우를 도시하고 있다.
도 23은 본 발명의 일실시예에 의한 XR 디바이스를 AR 글래스 타입으로 구현한 경우를 도시하고 있다.
도24는 본 발명의 실시예들에 따른 XR 디바이스가 데이터베이스(Database, DB)에 접근하는 과정을 나타낸다.
도25는 본 발명의 실시예들에 따른 XR디바이스가 화이트리스트를 추가 및 제어하는 방법을 나타낸다.
도26은 본 발명의 실시예들에 따른 XR디바이스가 블랙리스트를 추가 및 제어하는 방법을 나타낸다.
도27은 본 발명의 실시예들에 따른 XR디바이스가 공용DB를 이용하는 방법을 나타낸다.
도28은 공용DB모드에 대한 AR정보의 디스플레이를 나타낸다.
도29는 본 발명의 실시예들에 따른 XR디바이스가 개인DB를 이용하는 방법을 나타낸다.
도30은 개인DB모드에 대한 AR정보의 디스플레이를 나타낸다
도31은 본 발명의 실시예들에 따른 XR디바이스가 공용DB 및 개인DB를 이용하는 방법을 나타낸다
도32는 공용DB 및 개인DB 모드에 대한 AR정보의 디스플레이를 나타낸다
도33은 본 발명의 실시예들에 따른 XR디바이스가 다른 사용자의 DB를 활용하는 방법을 나타낸다.
도34는 친구AR모드에 대한 AR정보의 디스플레이를 나타낸다.
도35는 본 발명의 실시예들에 따른 XR디바이스가 복수의 다른 사용자의 DB를 활용하는 방법을 나타낸다.
도36은 복수의 친구의 개인DB에 기초하여 AR정보를 디스플레이하는 예시를 나타낸다.
도37은 XR디바이스 간의 확장성을 나타낸다.
도38은 본 발명의 실시예들에 따른 XR디바이스를 사용하여 AR룸을 구현하는 예시를 나타낸다.
도39는 본 발명의 실시예들에 따른 XR디바이스를 사용하여 커플 AR룸을 구현하는 예시를 나타낸다.
도40은 본 발명의 실시예들에 따른 XR디바이스를 사용하여 추억AR을 구현하는 예시를 나타낸다.
도41은 본 발명의 실시예들에 따른 XR디바이스를 사용하여 광고 필터링을 구현하는 예시를 나타낸다.
도42는 본 발명의 실시예들에 따른 XR디바이스를 사용하여 AR블로거를 구현하는 예시를 나타낸다.
도43은 본 발명의 실시예들에 따른 XR디바이스를 사용하여 AR홍보를 구현하는 예시를 나타낸다.
도44는 본 발명의 실시예들에 따른 AR홍보를 나타낸다.
도45는 본 발명의 실시예들에 따른 XR 디바이스를 사용하여 지차체 홍보를 구현하는 예시를 나타낸다.
도46은 본 발명의 실시예들에 따른 STAMP홍보를 나타낸다.
도47은 본 발명의 실시예들에 따른 XR디바이스를 사용하여 방 인테리어를 구현하는 예시이다.
도48은 본 발명의 실시예들에 따른 인테리어의 예시를 나타낸다.
도49는 본 발명의 실시예들에 따른 XR디바이스의 제어 방법을 나타낸다.
도 2는 3GPP 신호 전송/수신 방법의 일예를 나타낸 도면이다.
도 3은 SSB 구조를 예시한다.
도 4는 임의 접속 과정의 일례를 예시한다.
도 5는 상향링크 그랜트에 따른 UL 전송의 일례를 나타낸다.
도 6은 물리 채널 프로세싱(physical channel processing)의 개념도의 일례를 나타낸다.
도 7은 하이브리드 빔포밍(hybrid beamforming)을 위한 전송단 및 수신단의 블록도의 일례를 나타낸 도이다.
도 8 (a)는 협대역 동작의 일례를 나타낸 도이며, 도 8 (b)는 RF 리튜닝(retuning)을 가지는 MTC 채널 반복의 일례를 나타낸 도이다.
도 9는 본 명세서에서 제안하는 방법들이 적용될 수 있는 무선 통신 시스템의 블록 구성도를 예시한다.
도 10은 본 발명의 일 실시 예에 따른 AI 장치(1000)를 나타낸다.
도 11은 본 발명의 일 실시 예에 따른 AI 서버(1120)를 나타낸다.
도 12는 본 발명의 일 실시 예에 따른 AI 시스템을 나타낸다.
도 13은 본 발명의 실시예들에 의한 XR 디바이스의 블록도를 도시한 도면이다.
도 14는 도 13에 도시된 메모리를 보다 구체적으로 도시한 블록도이다.
도 15는 포인트 클라우트 데이터 처리 시스템을 나타낸다.
도 16은 러닝 프로세서를 포함하는 XR 디바이스(1600)를 나타낸다.
도 17은 도 16에 도시된 본 발명의 XR 디바이스(1600)가 XR 서비스를 제공하는 과정을 나타낸다.
도 18은 XR 디바이스와 로봇의 외관을 도시하고 있다.
도 19는 XR 기술이 탑재된 디바이스를 이용하여, 로봇을 제어하는 과정을 도시한 플로우 차트이다.
도 20은 자율 주행 서비스를 제공하는 차량을 나타낸다.
도 21은 자율 주행 서비스 중 AR/VR 서비스를 제공하는 과정을 나타낸다.
도 22는 본 발명의 일실시예에 의한 XR 디바이스를 HMD 타입으로 구현한 경우를 도시하고 있다.
도 23은 본 발명의 일실시예에 의한 XR 디바이스를 AR 글래스 타입으로 구현한 경우를 도시하고 있다.
도24는 본 발명의 실시예들에 따른 XR 디바이스가 데이터베이스(Database, DB)에 접근하는 과정을 나타낸다.
도25는 본 발명의 실시예들에 따른 XR디바이스가 화이트리스트를 추가 및 제어하는 방법을 나타낸다.
도26은 본 발명의 실시예들에 따른 XR디바이스가 블랙리스트를 추가 및 제어하는 방법을 나타낸다.
도27은 본 발명의 실시예들에 따른 XR디바이스가 공용DB를 이용하는 방법을 나타낸다.
도28은 공용DB모드에 대한 AR정보의 디스플레이를 나타낸다.
도29는 본 발명의 실시예들에 따른 XR디바이스가 개인DB를 이용하는 방법을 나타낸다.
도30은 개인DB모드에 대한 AR정보의 디스플레이를 나타낸다
도31은 본 발명의 실시예들에 따른 XR디바이스가 공용DB 및 개인DB를 이용하는 방법을 나타낸다
도32는 공용DB 및 개인DB 모드에 대한 AR정보의 디스플레이를 나타낸다
도33은 본 발명의 실시예들에 따른 XR디바이스가 다른 사용자의 DB를 활용하는 방법을 나타낸다.
도34는 친구AR모드에 대한 AR정보의 디스플레이를 나타낸다.
도35는 본 발명의 실시예들에 따른 XR디바이스가 복수의 다른 사용자의 DB를 활용하는 방법을 나타낸다.
도36은 복수의 친구의 개인DB에 기초하여 AR정보를 디스플레이하는 예시를 나타낸다.
도37은 XR디바이스 간의 확장성을 나타낸다.
도38은 본 발명의 실시예들에 따른 XR디바이스를 사용하여 AR룸을 구현하는 예시를 나타낸다.
도39는 본 발명의 실시예들에 따른 XR디바이스를 사용하여 커플 AR룸을 구현하는 예시를 나타낸다.
도40은 본 발명의 실시예들에 따른 XR디바이스를 사용하여 추억AR을 구현하는 예시를 나타낸다.
도41은 본 발명의 실시예들에 따른 XR디바이스를 사용하여 광고 필터링을 구현하는 예시를 나타낸다.
도42는 본 발명의 실시예들에 따른 XR디바이스를 사용하여 AR블로거를 구현하는 예시를 나타낸다.
도43은 본 발명의 실시예들에 따른 XR디바이스를 사용하여 AR홍보를 구현하는 예시를 나타낸다.
도44는 본 발명의 실시예들에 따른 AR홍보를 나타낸다.
도45는 본 발명의 실시예들에 따른 XR 디바이스를 사용하여 지차체 홍보를 구현하는 예시를 나타낸다.
도46은 본 발명의 실시예들에 따른 STAMP홍보를 나타낸다.
도47은 본 발명의 실시예들에 따른 XR디바이스를 사용하여 방 인테리어를 구현하는 예시이다.
도48은 본 발명의 실시예들에 따른 인테리어의 예시를 나타낸다.
도49는 본 발명의 실시예들에 따른 XR디바이스의 제어 방법을 나타낸다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명의 하기의 실시예들은 본 발명을 구체화하기 위한 것일 뿐 본 발명의 권리 범위를 제한하거나 한정하는 것이 아님은 물론이다. 본 발명의 상세한 설명 및 실시예들로부터 본 발명이 속하는 기술 분야의 전문가가 용이하게 유추할 수 있는 것은 본 발명의 권리 범위에 속하는 것으로 해석된다.
상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 안되며, 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
Introduction
이하에서, 하향링크(downlink, DL)는 기지국(base station, BS)에서 사용자 기기(user equipment, UE)로의 통신을 의미하며, 상향링크(uplink, UL)는 UE에서 BS로의 통신을 의미한다. 하향링크에서 전송기(transmitter)는 BS의 일부이고, 수신기(receiver)는 UE의 일부일 수 있다. 상향링크에서 전송기는 UE의 일부이고, 수신기는 BS의 일부일 수 있다. 본 명세에서 UE는 제 1 통신 장치, BS는 제 2 통신 장치로 표현될 수도 있다. BS는 고정국(fixed station), Node B, eNB(evolved-NodeB), gNB(Next Generation NodeB), BTS(base transceiver system), 접속 포인트(access point, AP), 네트워크 혹은 5G (5th generation) 네트워크 노드, AI (Artificial Intelligence) 시스템, RSU(road side unit), 로봇, AR/VR(Augmented Reality/Virtual Reality) 시스템 등의 용어에 의해 대체될 수 있다. 또한, UE는 단말(terminal), MS(Mobile Station), UT(User Terminal), MSS(Mobile Subscriber Station), SS(Subscriber Station), AMS(Advanced Mobile Station), WT(Wireless terminal), MTC(Machine-Type Communication) 장치, M2M(Machine-to-Machine) 장치, D2D(Device-to-Device) 장치, 차량(vehicle), 로봇(robot), AI 장치 (또는 모듈), AR/VR 장치 (또는 모듈) 등의 용어로 대체될 수 있다.
이하의 기술은 CDMA(Code Division Multiple Access), FDMA(Frequency Division Multiple Access), TDMA(Time Division Multiple Access), OFDMA(Orthogonal Frequency Division Multiple Access), SC-FDMA(Single Carrier FDMA) 등과 같은 다양한 무선 접속 시스템에 사용될 수 있다.
설명의 편의를 위해, 본 명세는 3GPP 통신 시스템(예, LTE-A, NR)을 기반으로 설명하지만 본 발명이 이에 제한되는 것은 아니다. 참고로, 3GPP(3rd Generation Partnership Project) LTE(Long Term Evolution)은 E-UTRA를 사용하는 E-UMTS(Evolved UMTS)의 일부이고 LTE-A(Advanced)/LTE-A pro는 3GPP LTE의 진화된 버전이다. 3GPP NR(New Radio or New Radio Access Technology)는 3GPP LTE/LTE-A/LTE-A pro의 진화된 버전이다.
본 명세(disclosure)에서, 노드(node)라 함은 UE와 통신하여 무선 신호를 전송/수신할 수 있는 고정된 포인트(point)을 말한다. 다양한 형태의 BS들이 그 명칭에 관계없이 노드로서 이용될 수 있다. 예를 들어, BS, NB, eNB, 피코-셀 eNB(PeNB), 홈 eNB(HeNB), 릴레이(relay), 리피터(repeater) 등이 노드가 될 수 있다. 일 노드에는 최소 하나의 안테나가 설치된다. 상기 안테나는 물리 안테나를 의미할 수도 있으며, 안테나 포트, 가상 안테나, 또는 안테나 그룹을 의미할 수도 있다. 노드는 포인트(point)라고 불리기도 한다.
본 명세에서 셀(cell)이라 함은 하나 이상의 노드가 통신 서비스를 제공하는 일정 지리적 영역 혹은 무선 자원을 의미할 수 있다. 지리적 영역의 "셀"은 노드가 반송파를 이용하여 서비스를 제공할 수 있는 커버리지(coverage)라고 이해될 수 있으며, 무선 자원의 "셀"은 상기 반송파에 의해 설정(configure)되는 주파수 크기인 대역폭(bandwidth, BW)와 연관된다. 노드가 유효한 신호를 전송할 수 있는 범위인 하향링크 커버리지와 UE로부터 유효한 신호를 수신할 수 있는 범위인 상향링크 커버리지는 해당 신호를 나르는 반송파에 의해 의존하므로 노드의 커버리지는 상기 노드가 사용하는 무선 자원의 "셀"의 커버리지와 연관되기도 한다. 따라서 "셀"이라는 용어는 때로는 노드에 의한 서비스의 커버리지를, 때로는 무선 자원을, 때로는 상기 무선 자원을 이용한 신호가 유효한 세기로 도달할 수 있는 범위를 의미하는 데 사용될 수 있다.
본 명세에서 특정 셀과 통신한다고 함은 상기 특정 셀에 통신 서비스를 제공하는 BS 혹은 노드와 통신하는 것을 의미할 수 있다. 또한, 특정 셀의 하향링크/상향링크 신호는 상기 특정 셀에 통신 서비스를 제공하는 BS 혹은 노드로부터의/로의 하향링크/상향링크 신호를 의미한다. UE에게 상향링크/하향링크 통신 서비스를 제공하는 셀을 특히 서빙 셀(serving cell)이라고 한다. 또한, 특정 셀의 채널 상태/품질은 상기 특정 셀에 통신 서비스를 제공하는 BS 혹은 노드와 UE 사이에 형성된 채널 혹은 통신 링크의 채널 상태/품질을 의미한다.
한편, 무선 자원과 연관된 "셀"은 하향링크 자원(DL resources)와 상향링크 자원(UL resources)의 조합, 즉, DL 컴포넌트 반송파(component carrier, CC) 와 UL CC의 조합으로 정의될 수 있다. 셀은 DL 자원 단독, 또는 DL 자원과 UL 자원의 조합으로 설정될(configured) 수도 있다. 반송파 집성(carrier aggregation)이 지원되는 경우, DL 자원(또는, DL CC)의 반송파 주파수(carrier frequency)와 UL 자원(또는, UL CC)의 반송파 주파수(carrier frequency) 사이의 링키지(linkage)는 해당 셀을 통해 전송되는 시스템 정보(system information)에 의해 지시될 수 있다. 여기서, 반송파 주파수는 각 셀 혹은 CC의 중심 주파수(center frequency)와 같을 수도 혹은 다를 수도 있다. 이하에서는 1차 주파수(primary frequency) 상에서 동작하는 셀을 1차 셀(primary cell, Pcell) 혹은 PCC로 지칭하고, 2차 주파수(Secondary frequency) 상에서 동작하는 셀을 2차 셀(secondary cell, Scell) 혹은 SCC로 칭한다. Scell이라 함은 UE가 BS와 RRC(Radio Resource Control) 연결 수립(connection establishment) 과정을 수행하여 상기 UE와 상기 BS 간에 RRC 연결이 수립된 상태, 즉, 상기 UE가 RRC_CONNECTED 상태가 된 후에 설정될 수 있다. 여기서 RRC 연결은 UE의 RRC와 BS의 RRC가 서로 RRC 메시지를 주고 받을 수 있는 통로를 의미할 수 있다. Scell은 UE에게 추가적인 무선 자원을 제공하기 위해 설정될 수 있다. UE의 성능(capabilities)에 따라, Scell이 Pcell과 함께, 상기 UE를 위한 서빙 셀의 모음(set)을 형성할 수 있다. RRC_CONNECTED 상태에 있지만 반송파 집성이 설정되지 않았거나 반송파 집성을 지원하지 않는 UE의 경우, Pcell로만 설정된 서빙 셀이 단 하나 존재한다.
셀은 고유의 무선 접속 기술을 지원한다. 예를 들어, LTE 셀 상에서는 LTE 무선 접속 기술(radio access technology, RAT)에 따른 전송/수신이 수행되며, 5G 셀 상에서는 5G RAT에 따른 전송/수신이 수행된다.
반송파 집성 기술은 광대역 지원을 위해 목표 대역폭(bandwidth)보다 작은 시스템 대역폭을 가지는 복수의 반송파들을 집성하여 사용하는 기술을 말한다. 반송파 집성은 각각이 시스템 대역폭(채널 대역폭이라고도 함)을 형성하는 복수의 반송파 주파수들을 사용하여 하향링크 혹은 상향링크 통신을 수행한다는 점에서, 복수의 직교하는 부반송파들로 분할된 기본 주파수 대역을 하나의 반송파 주파수에 실어 하향링크 혹은 상향링크 통신을 수행하는 OFDMA 기술과 구분된다. 예를 들어, OFDMA 혹은 직교 주파수 분할 다중화(orthogonal frequency division multiplexing, OFDM)의 경우에는 일정 시스템 대역폭을 갖는 하나의 주파수 대역이 일정 부반송파 간격을 갖는 복수의 부반송파들로 분할되고, 정보/데이터가 상기 복수의 부반송파들 내에서 매핑되며, 상기 정보/데이터가 맵핑된 상기 주파수 대역은 주파수 상향 변환(upconversion)을 거쳐 상기 주파수 대역의 반송파 주파수로 전송된다. 무선 반송파 집성의 경우에는 각각이 자신의 시스템 대역폭 및 반송파 주파수를 갖는 주파수 대역들이 동시에 통신에 사용될 수 있으며, 반송파 집성에 사용되는 각 주파수 대역은 일정 부반송파 간격을 갖는 복수의 부반송파들로 분할될 수 있다.
3GPP 기반 통신 표준은 물리 계층(physical layer)의 상위 계층(upper layer)(예, 매제 접속 제어(medium access control, MAC) 계층, 무선 링크 제어(radio link control, RLC) 계층, 패킷 데이터 수렴 프로토콜(protocol data convergence protocol, PDCP) 계층, 무선 자원 제어(radio resource control, RRC) 계층, 서비스 데이터 적응 프로토콜(service data adaptation protocol, SDAP), 비-접속 층(non-access stratum, NAS) 계층)로부터 기원한 정보를 나르는 자원 요소(resource element)들에 대응하는 하향링크 물리 채널들과, 물리 계층에 의해 사용되나 상위 계층으로부터 기원하는 정보를 나르지 않는 자원 요소들에 대응하는 하향링크 물리 신호들을 정의한다. 예를 들어, 물리 하향링크 공유 채널(physical downlink shared channel, PDSCH), 물리 브로드캐스트 채널(physical broadcast channel, PBCH), 물리 멀티캐스트 채널(physical multicast channel, PMCH), 물리 제어 포맷 지시자 채널(physical control format indicator channel, PCFICH), 물리 하향링크 제어 채널(physical downlink control channel, PDCCH)이 하향링크 물리 채널들로서 정의되어 있으며, 참조 신호와 동기 신호가 하향링크 물리 신호들로서 정의되어 있다. 파일럿(pilot)이라고도 지칭되는 참조 신호(reference signal, RS)는 BS와 UE가 서로 알고 있는 기정의된 특별한 파형의 신호를 의미하는데, 예를 들어, 셀 특정적 RS(cell specific RS), UE-특정적 RS(UE-specific RS, UE-RS), 포지셔닝 RS(positioning RS, PRS), 채널 상태 정보 RS(channel state information RS, CSI-RS), 복조 참조 신호(demodulation reference signal, DMRS)가 하향링크 참조 신호들로서 정의된다. 한편, 3GPP 기반 통신 표준은 상위 계층으로부터 기원한 정보를 나르는 자원 요소들에 대응하는 상향링크 물리 채널들과, 물리 계층에 의해 사용되나 상위 계층으로부터 기원하는 정보를 나르지 않는 자원 요소들에 대응하는 상향링크 물리 신호들을 정의하고 있다. 예를 들어, 물리 상향링크 공유 채널(physical uplink shared channel, PUSCH), 물리 상향링크 제어 채널(physical uplink control channel, PUCCH), 물리 임의 접속 채널(physical random access channel, PRACH)가 상향링크 물리 채널로서 정의되며, 상향링크 제어/데이터 신호를 위한 복조 참조 신호(demodulation reference signal, DMRS)와 상향링크 채널 측정에 사용되는 사운딩 참조 신호(sounding reference signal, SRS)가 정의된다.
본 명세에서 물리 공유 채널(예, PUSCH, PDSCH)은 물리 계층(physical layer)의 상위 계층(upper layer)(예, 매제 접속 제어(medium access control, MAC) 계층, 무선 링크 제어(radio link control, RLC) 계층, 패킷 데이터 수렴 프로토콜(protocol data convergence protocol, PDCP) 계층, 무선 자원 제어(radio resource control, RRC) 계층, 서비스 데이터 적응 프로토콜(service data adaptation protocol, SDAP), 비-접속 층(non-access stratum, NAS) 계층)로부터 기원한 정보를 나르는 데 사용된다.
본 명세에서 참조 신호(reference signal, RS)는 BS와 UE가 서로 알고 있는 기정의된 특별한 파형의 신호를 의미한다. 3GPP 기반 통신 시스템에서는, 예를 들어, 셀 공통 RS인 셀 특정적 RS(cell specific RS), 특정 UE를 위한 물리 채널의 복조를 위한 UE-특정적 RS(UE-specific RS, UE-RS), 하향링크 채널 상태를 측정/추정하기 위한 채널 상태 정보 RS(channel state information RS, CSI-RS), 물리 채널의 복조를 위한 복조 참조 신호(demodulation reference signal, DMRS)가 하향링크 RS들로서 정의되며, 상향링크 제어/데이터 신호의 복조를 위한 DMRS와 상향링크 채널 상태 측정/추정에 사용되는 사운딩 참조 신호(sounding reference signal, SRS)가 상향링크 RS들로서 정의된다.
본 명세에서 수송 블록(transport block)은 물리 계층을 위한 페이로드(payload)이다. 예를 들어, 상위 계층 혹은 매체 접속 제어(medium access control, MAC) 계층으로부터 물리 계층에 주어진 데이터가 기본적으로 수송 블록으로 지칭된다. AR/VR 모듈을 포함하는 장치(AR/VR 장치)인 UE UE는 AR/VR 데이터를 포함하는 수송 블록을 PUSCH를 통해 무선 통신 네트워크(예, 5G 네트워크)로 전송할 수 있다. 혹은 UE는 5G 네트워크로부터의 AR/VR 데이터를 포함하는 수송 블록 혹은 상기 UE가 전송한 AR/VR 데이터와 관련된 응답을 포함하는 수송 블록을 상기 무선 통신 네트워크로부터 수신할 수 있다.
본 명세에서 HARQ(Hybrid Automatic Repeat and reQuest)는 오류 제어 방법의 일종이다. 하향링크를 통해 전송되는 HARQ-ACK(HARQ acknowledgement)은 상향링크 데이터에 대한 오류 제어를 위해 사용되며, 상향링크를 통해 전송되는 HARQ-ACK은 하향링크 데이터에 대한 오류 제어를 위해 사용된다. HARQ 동작을 수행하는 전송단은 데이터(예, 수송 블록, 코드워드)를 전송한 후 긍정 확인(ACK; acknowledgement)를 기다린다. HARQ 동작을 수행하는 수신단은 데이터를 제대로 받은 경우만 긍정 확인(ACK)을 보내며, 수신 데이터에 오류가 생긴 경우 부정 확인(negative ACK, NACK)을 보낸다. 전송단이 ACK을 수신한 경우에는 (새로운) 데이터를 전송할 수 있고, NACK을 수신한 경우에는 데이터를 재전송할 수 있다.
본 명세에서 채널 상태 정보(channel state information, CSI)는 UE와 안테나 포트 사이에 형성되는 무선 채널(혹은 링크라고도 함)의 품질을 나타낼 수 있는 정보를 통칭한다. CSI는 채널 품질 지시자(channel quality indicator, CQI), 프리코딩 행렬 지시자 (precoding matrix indicator, PMI), CSI-RS 자원 지시자(CSI-RS resource indicator, CRI), SSB 자원 지시자(SSB resource indicator, SSBRI), 레이어 지시자(layer indicator, LI), 랭크 지시자(rank indicator, RI) 또는 참조 신호 수신 품질(reference signal received power, RSRP) 중 적어도 하나를 포함할 수 있다.
본 명세에서 주파수 분할 다중화(frequency division multiplexing, FDM)라 함은 신호/채널/사용자들을 서로 다른 주파수 자원에서 전송/수신하는 것을 의미할 수 있으며, 시간 분할 다중화(time division multiplexing, TDM)이라 함은 신호/채널/사용자들을 서로 다른 시간 자원에서 전송/수신하는 것을 의미할 수 있다.
본 명세에서 주파수 분할 듀플렉스(frequency division duplex, FDD)는 상향링크 반송파에서 상향링크 통신이 수행되고 상기 상향링크용 반송파에 링크된 하향링크용 반송파에서 하향링크 통신이 수행되는 통신 방식을 말하며, 시간 분할 듀플렉스(time division duplex, TDD)라 함은 상향링크 통신과 하향링크 통신이 동일 반송파에서 시간을 나누어 수행되는 통신 방식을 말한다. 한편, 본 명세에서 반-듀플렉스란 통신 장치가 한 시점에 일 주파수 상에서 상향링크 아니면 상향링크로만 동작하고, 다른 시점에는 다른 주파수 상에서 하향링크 아니면 상향링크로 동작하는 것을 말한다. 예를 들어, 통신 장치가 반-듀플렉스로 동작하는 경우, 상향링크 주파수와 하향링크 주파수를 사용하여 통신하되 상기 통신 장치는 상향링크 주파수와 하향링크 주파수를 동시에 사용하지 못하며, 시간을 나눠서 일정 시간 동안에는 상향링크 주파수를 통해 상향링크 전송을 수행하고 다른 일정 시간 동안에는 하향링크 주파수로 리튜닝하여 하향링크 수신을 수행한다.
도 1은 3GPP 기반 시스템에서 물리 신호/채널들의 매핑되는 자원 격자를 예시한 것이다.
도 1을 참고하면, 각 부반송파 간격 설정 및 반송파에 대해, 
개 부반송파들 및 
OFDM 심볼들의 자원 격자가 정의되며, 여기서 
는 BS로부터의 RRC 시그널링에 의해 지시된다. μ는 부반송파 간격 △f = 2μ*15 [kHz]를 나타내며, 5G 시스템에서 μ∈{0, 1, 2, 3, 4}이다.
본 명세에서 사용된 배경기술, 용어, 약어 등에 관해서는 본 발명 이전에 공개된 표준 문서에 기재된 사항을 참조할 수 있다. 예를 들어, 다음 문서를 참조할 수 있다.
3GPP LTE
- 3GPP TS 36.211: Physical channels and modulation
- 3GPP TS 36.212: Multiplexing and channel coding
- 3GPP TS 36.213: Physical layer procedures
- 3GPP TS 36.214: Physical layer; Measurements
- 3GPP TS 36.300: Overall description
- 3GPP TS 36.304: User Equipment (UE) procedures in idle mode
- 3GPP TS 36.314: Layer 2 - Measurements
- 3GPP TS 36.321: Medium Access Control (MAC) protocol
- 3GPP TS 36.322: Radio Link Control (RLC) protocol
- 3GPP TS 36.323: Packet Data Convergence Protocol (PDCP)
- 3GPP TS 36.331: Radio Resource Control (RRC) protocol
- 3GPP TS 23.303: Proximity-based services (Prose); Stage 2
- 3GPP TS 23.285: Architecture enhancements for V2X services
- 3GPP TS 23.401: General Packet Radio Service (GPRS) enhancements for Evolved Universal Terrestrial Radio Access Network (E-UTRAN) access
- 3GPP TS 23.402: Architecture enhancements for non-3GPP accesses
- 3GPP TS 23.286: Application layer support for V2X services; Functional architecture and information flows
- 3GPP TS 24.301: Non-Access-Stratum (NAS) protocol for Evolved Packet System (EPS); Stage 3
- 3GPP TS 24.302: Access to the 3GPP Evolved Packet Core (EPC) via non-3GPP access networks; Stage 3
- 3GPP TS 24.334: Proximity-services (ProSe) User Equipment (UE) to ProSe function protocol aspects; Stage 3
- 3GPP TS 24.386: User Equipment (UE) to V2X control function; protocol aspects; Stage 3
3GPP NR (e.g. 5G)
- 3GPP TS 38.211: Physical channels and modulation
- 3GPP TS 38.212: Multiplexing and channel coding
- 3GPP TS 38.213: Physical layer procedures for control
- 3GPP TS 38.214: Physical layer procedures for data
- 3GPP TS 38.215: Physical layer measurements
- 3GPP TS 38.300: NR and NG-RAN Overall Description
- 3GPP TS 38.304: User Equipment (UE) procedures in idle mode and in RRC inactive state
- 3GPP TS 38.321: Medium Access Control (MAC) protocol
- 3GPP TS 38.322: Radio Link Control (RLC) protocol
- 3GPP TS 38.323: Packet Data Convergence Protocol (PDCP)
- 3GPP TS 38.331: Radio Resource Control (RRC) protocol
- 3GPP TS 37.324: Service Data Adaptation Protocol (SDAP)
- 3GPP TS 37.340: Multi-connectivity; Overall description
- 3GPP TS 23.287: Application layer support for V2X services; Functional architecture and information flows
- 3GPP TS 23.501: System Architecture for the 5G System
- 3GPP TS 23.502: Procedures for the 5G System
- 3GPP TS 23.503: Policy and Charging Control Framework for the 5G System; Stage 2
- 3GPP TS 24.501: Non-Access-Stratum (NAS) protocol for 5G System (5GS); Stage 3
- 3GPP TS 24.502: Access to the 3GPP 5G Core Network (5GCN) via non-3GPP access networks
- 3GPP TS 24.526: User Equipment (UE) policies for 5G System (5GS); Stage 3
도 2는 3GPP 신호 전송/수신 방법의 일례를 나타낸 도이다.
도 2를 참고하면, UE는 전원이 켜지거나 새로이 셀에 진입한 경우 BS와 동기를 맞추는 등의 초기 셀 탐색(initial cell search) 작업을 수행한다(S201). 이를 위해, UE는 BS로부터 1차 동기 채널(primary synchronization channel, P-SCH) 및 2차 동기 채널(secondary synchronization channel, S-SCH)을 수신하여 BS와 동기를 맞추고, 셀 ID 등의 정보를 획득할 수 있다. LTE 시스템과 NR 시스템에서 P-SCH와 S-SCH는 각각 1차 동기 신호(primary synchronization signal, PSS)와 2차 동기 신호(secondary synchronization signal, SSS)로 불린다. 상기 초기 셀 탐색 절차는 이하에서 더 상세히 설명된다.
초기 셀 탐색 후, UE는 BS로부터 물리 브로드캐스트 채널(physical broadcast channel, PBCH)를 수신하여 셀 내 브로드캐스트 정보를 획득할 수 있다. 한편, UE는 초기 셀 탐색 단계에서 하향링크 참조 신호(downlink reference Signal, DL RS)를 수신하여 하향링크 채널 상태를 확인할 수 있다.
초기 셀 탐색을 마친 UE는 PDCCH 및 상기 PDCCH에 실린 정보에 따라 PDSCH를 수신함으로써 좀더 구체적인 시스템 정보를 획득할 수 있다(S202).
한편, BS에 최초로 접속하거나 신호 전송을 위한 무선 자원이 없는 경우 UE는 BS에 대해 임의 접속 과정(random access procedure)을 수행할 수 있다(단계 S203 내지 단계 S206). 이를 위해, UE는 PRACH를 통해 특정 시퀀스를 프리앰블로서 전송하고(S203 및 S205), PDCCH 및 대응하는 PDSCH를 통해 프리앰블에 대한 임의 접속 응답(random access response, RAR) 메시지를 수신할 수 있다(S204 및 S206). 경쟁 기반 임의 접속 과정의 경우, 추가적으로 충돌 해결 과정(contention resolution procedure)를 수행할 수 있다. 상기 임의 접속 과정은 이하에서 더 상세히 설명된다.
상술한 바와 같은 과정을 수행한 UE는 이후 일반적인 상향링크/하향링크 신호 전송 과정으로서 PDCCH/PDSCH 수신(S207) 및 PUSCH/PUCCH 전송(S208)을 수행할 수 있다. 특히 UE는 PDCCH를 통하여 DCI를 수신한다.
UE는 해당 탐색 공간 설정(configuration)들에 따라 서빙 셀 상의 하나 이상의 제어 요소 세트(control element set, CORESET)들에 설정된 모니터링 기회(occasion)들에서 PDCCH 후보(candidate)들의 세트를 모니터링한다. UE가 모니터할 PDCCH 후보들의 세트는 탐색 공간 세트들의 관점에서 정의되며, 탐색 공간 세트는 공통 탐색 공간 세트 또는 UE-특정 탐색 공간 세트일 수 있다. CORESET은 1~3개 OFDM 심볼들의 시간 지속기간을 갖는 (물리) 자원 블록들의 세트로 구성된다. 네트워크는 UE가 복수의 CORESET들을 갖도록 설정할 수 있다. UE는 하나 이상의 탐색 공간 세트들 내 PDCCH 후보들을 모니터링한다. 여기서 모니터링이라 함은 탐색 공간 내 PDCCH 후보(들)에 대한 디코딩을 시도하는 것을 의미한다. UE가 탐색 공간 내 PDCCH 후보들 중 하나에 대한 디코딩에 성공하면, 상기 UE는 해당 PDCCH 후보에서 PDCCH를 검출했다고 판단하고, 상기 검출된 PDCCH 내 DCI를 기반으로 PDSCH 수신 혹은 PUSCH 전송을 수행한다.
PDCCH는 PDSCH 상의 DL 전송들 및 PUSCH 상의 UL 전송들을 스케줄링하는 데 사용될 수 있다. 여기서 PDCCH 상의 DCI는 하향링크 공유 채널과 관련된, 변조(modulation) 및 코딩 포맷과 자원 할당(resource allocation) 정보를 적어도 포함하는 하향링크 배정(assignment)(즉, DL 그랜트), 또는 상향링크 공유 채널과 관련된, 변조 및 코딩 포맷과 자원 할당 정보를 포함하는 상향링크 그랜트(UL grant)를 포함한다.
초기 접속 (Initial Access, IA) 과정
SSB(Synchronization Signal Block) 전송 및 관련 동작
도 3은 SSB 구조를 예시한다. UE는 SSB에 기반하여 셀 탐색(search), 시스템 정보 획득, 초기 접속을 위한 빔 정렬, DL 측정 등을 수행할 수 있다. SSB라는 용어는 SS/PBCH(Synchronization Signal/Physical Broadcast channel) 블록이라는 용어와 혼용된다.
도 3을 참조하면, SSB는 PSS, SSS와 PBCH로 구성된다. SSB는 4개의 연속된 OFDM 심볼들에 구성되며, OFDM 심볼별로 PSS, PBCH, SSS/PBCH 또는 PBCH가 전송된다. PBCH는 폴라(Polar) 코드를 기반으로 인코딩/디코딩되고, QPSK(Quadrature Phase Shift Keying)에 따라 변조(modulation)/복조(demodulation)된다. OFDM 심볼 내 PBCH는 PBCH의 복소 변조 값이 매핑되는 데이터 자원 요소(resource element, RE)들과 상기 PBCH를 위한 복조 참조 신호(demodulation reference signal, DMRS)가 매핑되는 DMRS RE들로 구성된다. OFDM 심볼의 자원 블록별로 3개의 DMRS RE가 존재하며, DMRS RE 사이에는 3개의 데이터 RE가 존재한다.
셀 탐색(search)
셀 탐색은 UE가 셀의 시간/주파수 동기를 획득하고, 상기 셀의 셀 ID(Identifier)(예, Physical layer Cell ID, PCI)를 검출하는 과정을 의미한다. PSS는 셀 ID 그룹 내에서 셀 ID를 검출하는데 사용되고, SSS는 셀 ID 그룹을 검출하는데 사용된다. PBCH는 SSB (시간) 인덱스 검출 및 하프-프레임 검출에 사용된다.
5G 시스템에서는 336개의 셀 ID 그룹이 존재하고, 셀 ID 그룹 별로 3개의 셀 ID가 존재한다. 총 1008개의 셀 ID가 존재한다. 셀의 셀 ID가 속한 셀 ID 그룹에 관한 정보는 상기 셀의 SSS를 통해 제공/획득되며, 상기 셀 ID 내 336개 셀들 중 상기 셀 ID에 관한 정보는 PSS를 통해 제공/획득된다
SSB는 SSB 주기(periodicity)에 맞춰 주기적으로 전송된다. 초기 셀 탐색 시에 UE가 가정하는 SSB 기본 주기는 20ms로 정의된다. 셀 접속 후, SSB 주기는 네트워크(예, BS)에 의해 {5ms, 10ms, 20ms, 40ms, 80ms, 160ms} 중 하나로 설정될 수 있다. SSB 주기의 시작 부분에 SSB 버스트(burst) 세트가 구성된다. SSB 버스트 세트는 5ms 시간 윈도우(즉, 하프-프레임)로 구성되며, SSB는 SS 버스트 세트 내에서 최대 L번 전송될 수 있다. SSB의 최대 전송 횟수 L은 반송파의 주파수 대역에 따라 다음과 같이 주어질 수 있다.
- For frequency range up to 3 GHz, L = 4
- For frequency range from 3GHz to 6 GHz, L = 8
- For frequency range from 6 GHz to 52.6 GHz, L = 64
하프-프레임 내 SSB들의 가능한(possible) 시간 위치들은 부반송파 간격에 의해 결정되고, SSB들이 전송되는 하프-프레임들의 주기(periodicity)는 네트워크에 의해 설정된다. SSB 후보의 시간 위치는 SSB 버스트 세트(즉, 하프-프레임) 내에서 시간 순서에 따라 0 ~ L-1로 인덱싱된다(SSB 인덱스). 하프-프레임 동안, 다른 SSB들이 (셀의 커버리지 영역을 스팬하는, 다른 빔들을 사용하여) 다른 공간(spatial) 방향들로 전송될 수 있다. 따라서, 5G 시스템에서 SSBI는 BS Tx 빔 방향과 연관될 수 있다.
UE는 SSB를 검출함으로써 DL 동기를 획득할 수 있다. UE는 검출된 SSB (시간) 인덱스(SSB index, SSBI)에 기반하여 SSB 버스트 세트의 구조를 식별할 수 있고, 이에 따라 심볼/슬롯/하프-프레임 경계를 검출할 수 있다. 검출된 SSB가 속하는 프레임/하프-프레임의 번호는 시스템 프레임 번호(system frame number, SFN) 정보와 하프-프레임 지시 정보를 이용하여 식별될 수 있다.
구체적으로, UE는 PBCH로부터 상기 PBCH가 속한 프레임에 대한 10 비트의 SFN을 획득할 수 있다. 다음으로, UE는 1 비트의 하프-프레임 지시 정보를 획득할 수 있다. 예를 들어, UE가 하프-프레임 지시 비트가 0으로 세팅된 PBCH를 검출한 경우에는 상기 PBCH가 속한 SSB가 프레임 내 첫 번째 하프-프레임에 속한다고 판단할 수 있고, 하프-프레임 지시 비트가 1로 세팅된 PBCH를 검출한 경우에는 상기 PBCH가 속한 SSB가 프레임 내 두 번째 하프-프레임에 속한다고 판단할 수 있다. 마지막으로, UE는 DMRS 시퀀스와 PBCH가 나르는 PBCH 페이로드에 기반하여 상기 PBCH가 속한 SSB의 SSBI를 획득할 수 있다.
시스템 정보 (system information; SI) 획득
SI는 마스터 정보 블록(master information block, MIB)와 복수의 시스템 정보 블록(system information block, SIB)들로 나눠진다. MIB 외의 SI는 RMSI(Remaining Minimum System Information)으로 지칭될 수 있다. 자세한 사항은 다음을 참조할 수 있다.
- MIB는 SIB1(SystemInformationBlock1)을 나르는 PDSCH를 스케줄링하는 PDCCH의 모니터링을 위한 정보/파라미터를 포함하며 SSB의 PBCH를 통해 BS에 의해 전송된다. 예를 들어, UE는 MIB에 기반하여 Type0-PDCCH 공통 탐색 공간(common search space)을 위한 CORESET(Control Resource Set)이 존재하는지 확인할 수 있다. Type0-PDCCH 공통 탐색 공간은 PDCCH 탐색 공간의 일종이며, SI 메시지를 스케줄링하는 PDCCH를 전송하는 데 사용된다. Type0-PDCCH 공통 탐색 공간이 존재하는 경우, UE는 MIB 내의 정보(예, pdcch-ConfigSIB1)에 기반하여 (i) CORESET을 구성하는 복수의 인접(contiguous) 자원 블록들 및 하나 이상의 연속된(consecutive) 심볼들과 (ii) PDCCH 기회(occasion)(예, PDCCH 수신을 위한 시간 도메인 위치)를 결정할 수 있다.
- SIB1은 나머지 SIB들(이하, SIBx, x는 2 이상의 정수)의 가용성(availability) 및 스케줄링(예, 전송 주기, SI-윈도우 크기)과 관련된 정보를 포함한다. 예를 들어, SIB1은 SIBx가 주기적으로 브로드캐스트되는지 on-demand 방식에 의해 UE의 요청에 의해 제공되는지 여부를 알려줄 수 있다. SIBx가 on-demand 방식에 의해 제공되는 경우, SIB1은 UE가 SI 요청을 수행하는 데 필요한 정보를 포함할 수 있다. SIB1을 스케줄링 하는 PDCCH는 Type0-PDCCH 공통 탐색 공간을 통해 전송되며, SIB1은 상기 PDCCH에 의해 지시되는 PDSCH를 통해 전송된다.
- SIBx는 SI 메시지에 포함되며 PDSCH를 통해 전송된다. 각각의 SI 메시지는 주기적으로 발생하는 시간 윈도우(즉, SI-윈도우) 내에서 전송된다.
임의 접속(Random Access) 과정
임의 접속 과정은 다양한 용도로 사용된다. 예를 들어, 임의 접속 과정은 네트워크 초기 접속, 핸드오버, UE-트리거드(triggered) UL 데이터 전송에 사용될 수 있다. UE는 임의 접속 과정을 통해 UL 동기와 UL 전송 자원을 획득할 수 있다. 임의 접속 과정은 경쟁 기반(contention-based) 임의 접속 과정과 경쟁 프리(contention free) 임의 접속 과정으로 구분된다.
도 4는 임의 접속 과정의 일례를 예시한다. 특히 도 4는 경쟁 기반 임의 접속 과정을 예시한다.
먼저, UE가 UL에서 임의 접속 과정의 Msg1로서 임의 접속 프리앰블을 PRACH를 통해 전송할 수 있다. 본 명세에서 임의 접속 과정과 임의 접속 프리앰블은 각각(respectively) RACH 과정과 RACH 프리앰블로도 칭해진다.
다수의 프리앰블 포맷들이 하나 또는 그 이상의 RACH OFDM 심볼들 및 서로 다른 순환 프리픽스(cyclic prefix, CP) (및/또는 가드 시간(guard time))에 의해 정의된다. 셀을 위한 RACH 설정(configuration)이 상기 셀의 시스템 정보에 포함되어 UE에게 제공된다. 상기 RACH 설정은 PRACH의 부반송파 간격, 이용 가능한 프리앰블들, 프리앰블 포맷 등에 관한 정보를 포함한다. 상기 RACH 설정은 SSB들과 RACH (시간-주파수) 자원들 간의 연관 정보, 즉, SSB 인덱스(SSB index, SSBI)들과 RACH (시간-주파수) 자원들 간의 연관 정보를 포함한다. SSBI들은 BS의 Tx 빔들과 각각(respectively) 연관된다. UE는 검출한 혹은 선택한 SSB와 연관된 RACH 시간-주파수 자원에서 RACH 프리앰블을 전송한다. BS는 RACH 프리앰블이 검출된 시간-주파수 자원을 기반으로 해당 UE가 선호하는 BS Tx 빔을 알 수 있다.
RACH 자원 연관을 위한 SSB의 임계값이 네트워크에 의해 설정될 수 있으며, SSB 기반으로 측정된 RSRP가 상기 임계값을 충족하는 SSB를 기반으로 RACH 프리앰블의 전송(즉, PRACH 전송) 또는 재전송이 수행된다. 예를 들어, UE는 임계값을 충족하는 SSB(들) 중 하나를 선택하고, 선택된 SSB에 연관된 RACH 자원을 기반으로 RACH 프리앰블을 전송 또는 재전송할 수 있다.
BS가 UE로부터 RACH 프리앰블을 수신하면, BS는 RAR 메시지(Msg2)를 상기 UE에게 전송한다. RAR을 나르는 PDSCH를 스케줄링하는 PDCCH는 임의 접속(random access, RA) 무선 네트워크 임시 식별자(radio network temporary identifier, RNTI)(RA-RNTI)로 CRC 마스킹되어 전송된다. RA-RNTI로 마스킹된 PDCCH를 검출한 UE는 상기 PDCCH가 나르는 DCI가 스케줄링하는 PDSCH로부터 RAR을 수신할 수 있다. UE는 자신이 전송한 프리앰블, 즉, Msg1에 대한 RAR 정보가 상기 RAR 내에 있는지 확인한다. 자신이 전송한 Msg1에 대한 임의 접속 정보가 존재하는지 여부는 상기 UE가 전송한 프리앰블에 대한 RACH 프리앰블 ID가 존재하는지 여부에 의해 판단될 수 있다. Msg1에 대한 응답이 없으면, UE는 전력 램핑(power ramping)을 수행하면서 RACH 프리앰블을 소정의 횟수 이내에서 재전송할 수 있다. UE는 가장 최근의 경로 손실 및 전력 램핑 카운터를 기반으로 프리앰블의 재전송에 대한 PRACH 전송 전력을 계산한다.
UE가 PDSCH 상에서 자신에 대한 RAR 정보를 수신하면, 상기 UE는 UL 동기화를 위한 타이밍 어드밴스(timing advance) 정보, 초기 UL 그랜트, UE 임시(temporary) 셀 RNTI(cell RNTI, C-RNTI)를 알 수 있다. 상기 타이밍 어드밴스 정보는 상향링크 신호 전송 타이밍을 제어하는 데 사용된다. UE에 의한 PUSCH/PUCCH 전송이 네트워크 단에서 서브프레임 타이밍과 더 잘 정렬(align)되도록 하기 위해, 네트워크(예, BS)는 PUSCH/PUCCH/SRS 수신 및 서브프레임 간 시간 차이를 측정하고 이를 기반으로 타이밍 어드밴스 정보를 보낼 수 있다. 상기 UE는 RAR 정보를 기반으로 PUSCH 상에서 UL 전송을 RACH 과정의 Msg3로서 전송할 수 있다. Msg3은 RRC 연결 요청 및 UE 식별자를 포함할 수 있다. Msg3에 대한 응답으로서, 네트워크는 Msg4를 전송할 수 있으며, 이는 DL 상에서의 경쟁 해결 메시지로 취급될 수 있다. Msg4를 수신함으로써, UE는 RRC 연결된 상태에 진입할 수 있다.
한편, 경쟁-프리 RACH 과정은 UE가 다른 셀 혹은 BS로 핸드오버 하는 과정에서 사용되거나, BS의 명령에 의해 요청되는 경우에 수행될 수 있다. 경쟁-프리 RACH 과정의 기본적인 과정은 경쟁 기반 RACH 과정과 유사하다. 다만, UE가 복수의 RACH 프리앰블들 중 사용할 프리앰블을 임의로 선택하는 경쟁 기반 RACH 과정과 달리, 경쟁-프리 RACH 과정의 경우에는 UE가 사용할 프리앰블(이하 전용 RACH 프리앰블)이 BS에 의해 상기 UE에게 할당된다. 전용 RACH 프리앰블에 대한 정보는 RRC 메시지(예, 핸드오버 명령)에 포함되거나 PDCCH 오더(order)를 통해 UE에게 제공될 수 있다. RACH 과정이 개시되면 UE는 전용 RACH 프리앰블을 BS에게 전송한다. 상기 UE가 상기 BS로부터 RACH 과정을 수신하면 상기 RACH 과정은 완료(complete)된다.
DL 및 UL 전송/수신 동작
DL 전송/수신 동작
하향링크 그랜트(downlink grant)( (assignment)이라고도 함)는 (1) 동적 그랜트(dynamic)와 (2) 설정된 그랜트(configured grant)로 구분될 수 있다. 동적 그랜트(dynamic grant)는 자원의 활용을 최대화하기 위한 것으로 BS에 의한 동적 스케줄링 기반의 데이터 전송/수신 방법을 의미한다.
BS는 DCI를 통해 하향링크 전송을 스케줄링한다. UE는 BS로부터 하향링크 스케줄링을 위한(즉, PDSCH의 스케줄링 정보를 포함하는) DCI(이하, DL 그랜트 DCI)를 PDCCH 상에서 수신한다. 하향링크 스케줄링을 위한 DCI에는, 예를 들어, 다음과 같은 정보가 포함될 수 있다: 대역폭 파트 지시자(bandwidth part indicator), 주파수 도메인 자원 배정(frequency domain resource assignment), 시간 도메인 자원 배정(time domain resource assignment), 변조 및 코딩 방식(modulation and coding scheme, MCS).
UE는 DCI 내 MCS 필드를 기반으로 PDSCH에 대한 변조 차수(modulation order), 목표 코드 레이트(target code rate), 수송 블록 크기(transport block size, TBS)를 결정할 수 있다. UE는 주파수 도메인 자원 할당 정보 및 시간 도메인 자원 할당 정보에 따른 시간-주파수 자원에서 PDSCH를 수신할 수 있다.
DL 설정된 그랜트는 준-지속적 스케줄링(semi-persistent scheduling, SPS)라고도 한다. UE는 BS로부터 DL 데이터의 전송을 위한 자원 설정(resource configuration)을 포함하는 RRC 메시지를 수신할 수 있다. DL SPS의 경우에는 실제 DL 설정된 그랜트가 PDCCH에 의해 제공되며 상기 PDCCH에 의해 활성화 혹은 활성해제(deactivate)된다. DL SPS가 설정되는 경우, BS로부터의 RRC 시그널링을 통해 적어도 다음 파라미터들이 UE에게 제공된다: 활성화, 활성해제 및 재전송을 위한 설정된 스케줄링 RNTI(configured scheduling RNTI, CS-RNTI); 및 주기. DL SPS의 실제 DL 그랜트(예, 주파수 자원 할당)는 CS-RNTI에 어드레스된 PDCCH 내 DCI에 의해 UE에게 제공된다. UE는 CS-RNTI에 어드레스된 PDCCH 내 DCI의 특정 필드들이 스케줄링 활성화를 위한 특정 값으로 세팅되어 있으면, 상기 CS-RNTI와 연관된 SPS를 활성화한다. 상기 CS-RNTI에 어드레스된 PDCCH 내 DCI는 실제 주파수 자원 할당 정보, MCS 인덱스 값 등을 포함한다. UE는 SPS를 기반으로 PDSCH를 통한 하향링크 데이터를 수신할 수 있다.
UL 전송/수신 동작
상향링크 그랜트(uplink grant)는 (1) PUSCH는 UL 그랜트 DCI에 의해 동적으로 PUSCH를 스케줄링하는 동적 그랜트(dynamic grant)와 (2) RRC 시그널링에 의해 준-정적으로(semi-statically) PUSCH를 스케줄링하는 설정된 그랜트(configured grant)로 구분될 수 있다.
도 5는 상향링크 그랜트에 따른 UL 전송의 일례를 나타낸다. 특히, 도 5 (a)는 동적 그랜트를 기반으로 한 UL 전송 과정을 예시하고, 도 5 (b)는 설정된 그랜트를 기반으로 한 UL 전송 과정을 예시한다.
UL 동적 그랜트(dynamic grant)의 경우, BS는 상향링크 스케줄링 정보를 포함하는 DCI를 UE에게 전송한다. 상기 UE는 BS로부터 상향링크 스케줄링을 위한(즉, PUSCH의 스케줄링 정보를 포함하는) DCI(이하, UL 그랜트 DCI)를 PDCCH 상에서 수신한다. 상향링크 스케줄링을 위한 DCI에는, 예를 들어, 다음과 같은 정보가 포함될 수 있다: 대역폭 파트 지시자(Bandwidth part indicator), 주파수 도메인 자원 배정(frequency domain resource assignment), 시간 도메인 자원 배정(time domain resource assignment), MCS. BS에 의한 상향링크 무선 자원의 효율적인 할당을 위해서, UE는 자신이 전송하고자 하는 상향링크 데이터에 관한 정보를 BS으로 전달하고, 상기 BS는 이에 기반하여 상기 UE에게 상향링크 자원을 할당할 수 있다. 이 경우, UE가 BS로 전달하는 상향링크 데이터에 정보를 버퍼 상태 보고(buffer status report, BSR)라고 하며, BSR은 UE 자신의 버퍼에 저장되어 있는 상향링크 데이터의 양과 관련이 있다.
도 5 (a)를 참고하면, UE가 BSR의 전송에 이용 가능한 상향링크 무선 자원을 가지고 있지 않을 때, UL 전송 과정을 예시한다. UL 데이터 전송에 이용 가능한 UL 그랜트가 없는 UE는 PUSCH를 통해 BSR을 전송할 수도 없으므로, PUCCH를 통한 스케줄링 요청 전송을 시작으로 상향링크 데이터를 위한 자원을 요청해야 하며, 이 경우 5단계의 상향링크 자원 할당 과정이 사용된다.
도 5 (a)를 참고하면, BSR를 전송하기 위한 PUSCH 자원이 없는 경우, UE는 PUSCH 자원을 할당받기 위해 먼저 스케줄링 요청(scheduling request, SR)을 BS에 전송한다. SR은 버퍼 상태 보고 이벤트(reporting event)가 발생되었으나 UE에게 이용 가능한 PUSCH 자원이 없는 경우, UE가 상향링크 전송을 위한 PUSCH 자원을 BS에게 요청하기 위해 이용된다. SR을 위한 유효한(valid) PUCCH 자원이 있으면 UE는 PUCCH를 통해 SR을 전송하고, 유효한 PUCCH 자원이 없으면 전술한 (경쟁 기반) RACH 과정을 개시한다. UE가 BS로부터 UL 그랜트 DCI를 통해 UL 그랜트를 수신하면, 상기 UL 그랜트에 의해 할당된 PUSCH 자원을 통해 BSR을 BS로 전송한다. BS는 BSR을 기반으로 UE가 상향링크로 전송할 데이터의 양을 확인하고 UL 그랜트 DCI를 통해 UL 그랜트를 UE에 전송한다. 상기 UL 그랜트 DCI를 포함하는 PDCCH를 검출한 UE는 상기 UL 그랜트 DCI 내 UL 그랜트를 기반으로 PUSCH를 통해 실제 상향링크 데이터를 BS로 전송한다.
설정된 그랜트의 경우, 도 5 (b)를 참고하면, UE는 BS로부터 UL 데이터의 전송을 위한 자원 설정(resource configuration)을 포함하는 RRC 메시지를 수신한다. NR 시스템에서는 2가지 타입의 UL 설정된 그랜트가 있다: 타입 1 및 타입 2. UL 설정된 그랜트 타입 1의 경우에는 실제 UL 그랜트(예, 시간 자원, 주파수 자원)가 RRC 시그널링에 의해 제공되며, UL 설정된 그랜트 타입 2의 경우에는 실제 UL 그랜트가 PDCCH에 의해 제공되며 상기 PDCCH에 의해 활성화 혹은 활성해제(deactivate)된다. 설정된 그랜트 타입 1이 설정되는 경우, BS로부터의 RRC 시그널링을 통해 적어도 다음 파라미터들이 UE에게 제공된다: 재전송을 위한 CS-RNTI; 설정된 그랜트 타입 1의 주기(periodicity); 슬롯 내 PUSCH를 위한 시작 심볼 인덱스 S 및 심볼 개수 L에 관한 정보; 시간 도메인에서 SFN=0에 대한 자원의 오프셋을 나타내는 시간 도메인 오프셋; 변조 차수, 타겟 코드 레이트 및 수송 블록 크기를 나타내는 MCS 인덱스. 설정된 그랜트 타입 2가 설정되는 경우, BS로부터의 RRC 시그널링을 통해 적어도 다음 파라미터들이 UE에게 제공된다: 활성화, 활성해제 및 재전송을 위한 CS-RNTI; 설정된 그랜트 타입 2의 주기. 설정된 그랜트 타입 2의 실제 UL 그랜트는 CS-RNTI에 어드레스된 PDCCH 내 DCI에 의해 UE에게 제공된다. UE는 CS-RNTI에 어드레스된 PDCCH 내 DCI의 특정 필드들이 스케줄링 활성화를 위한 특정 값으로 세팅되어 있으면, 상기 CS-RNTI와 연관된 설정된 그랜트 타입 2를 활성화한다. 스케줄링 활성화를 위한 특정 값으로 세팅된 PDCCH 내 DCI는 실제 자원 할당 정보, MCS 인덱스 값 등을 포함한다. UE는 타입 1 혹은 타입 2에 따른 설정된 그랜트을 기반으로 PUSCH를 통한 상향링크 전송을 수행할 수 있다.
도 6은 물리 채널 프로세싱(physical channel processing)의 개념도의 일례를 나타낸다.
도 6에 도시된 블록들 각각은 전송 장치의 물리 계층 블록 내 각 모듈에서 수행될 수 있다. 보다 구체적으로, 도 6에서의 신호 처리는 본 명세에서 기재하는 UE의 프로세서에서 UL 전송을 위해 수행될 수 있다. 도 6에서 트랜스폼 프리코딩을 제외하는 한편 SC-FDMA 신호 생성 대신 CP-OFDM 신호 생성을 포함하는 신호 처리는 본 명세서에서 기재하는 BS의 프로세서에서 DL 전송을 위해 수행될 수 있다. 도 H5를 참조하면, 상향링크 물리 채널 프로세싱은 스크램블링(scrambling), 변조 매핑(modulation mapping), 레이어 매핑(layer mapping), 트랜스폼 프리코딩(transform precoding), 프리코딩(precoding), 자원 요소 매핑(resource element mapping), SC-FDMA 신호 생성 (SC-FDMA signal generation)의 과정을 거쳐 수행될 수 있다. 위의 각 과정은 전송 장치의 각 모듈에서 별도로 또는 함께 수행될 수 있다. 상기 트랜스폼 프리코딩은 파형(waveform)의 피크-to-평균 전력 비율(peak-to-average power ratio, PAPR)을 감소시키는 특별한 방식으로 UL 데이터를 스프레드하는 것이며, 이산 푸리에 변환(discrete Fourier transform, DFT)의 일종이다. DFT 스프레딩을 수행하는 트랜스폼 프리코딩과 함께 CP를 사용하는 OFDM을 DFT-s-OFDM이라 하고, DFT 스프레딩없이 CP를 사용하는 OFDM을 CP-OFDM이라 한다. DFT-s-OFDM에 의해 SC-FDMA 신호가 생성된다. NR 시스템에서 UL에 대해 가능화(enable)되면 트랜스폼 프리코딩이 선택적으로(optionally) 적용될 수 있다. 즉, NR 시스템은 UL 파형을 위해 2가지 옵션을 지원하며, 그 중 하나는 CP-OFDM이고, 다른 하나는 DFT-s-OFDM이다. UE가 CP-OFDM을 UL 전송 파형으로 사용해야 하는지 아니면 DFT-s-OFDM을 UL 전송 파형으로 사용해야 하는지는 RRC 파라미터들을 통해 BS로부터 UE에게 제공된다. 도 H5는 DFT-s-OFDM을 위한 상향링크 물리 채널 프로세싱 개념도이며, CP-OFDM의 경우에는 도 H5의 프로세스들 중 트랜스폼 프리코딩이 생략된다. DL 전송, CP-OFDM이 DL 파형 전송을 위해 사용된다.
위의 각 과정에 대해 보다 구체적으로 살펴보면, 전송 장치는 하나의 코드워드에 대해, 코드워드 내 부호화된 비트(coded bits)를 스크램블링 모듈에 의해 스크램블링한 후 물리 채널을 통해 전송할 수 있다. 여기서 코드워드는 수송 블록을 인코딩하여 얻어진다. 스크램블된 비트는 변조 매핑 모듈에 의해 복소 값 변조 심볼로 변조된다. 상기 변조 매핑 모듈은 상기 스크램블된 비트들을 기결정된 변조 방식에 따라 변조하여 신호 성상(signal constellation) 상의 위치를 표현하는 복소 값 변조 심볼로 배치할 수 있다. pi/2-BPSK(pi/2-Binary Phase Shift Keying), m-PSK(m-Phase Shift Keying) 또는 m-QAM(m-Quadrature Amplitude Modulation) 등이 상기 부호화된 데이터의 변조에 이용될 수 있다. 상기 복소 값 변조 심볼은 레이어 매핑 모듈에 의해 하나 이상의 전송 레이어로 맵핑될 수 있다. 각 레이어 상의 복소 값 변조 심볼은 안테나 포트 상에서의 전송을 위해 프리코딩 모듈에 의해 프리코딩될 수 있다. UL 전송을 위해 트랜스폼 프리코딩이 가능화된 경우, 프리코딩 모듈은 도 H5에 도시된 바와 같이 복소 값 변조 심볼들에 대한 트랜스폼 프리코딩(transform precoding)을 수행한 이후에 프리코딩을 수행할 수 있다. 상기 프리코딩 모듈은 상기 복소 값 변조 심볼들을 다중 전송 안테나에 따른 MIMO 방식으로 처리하여 안테나 특정 심볼들을 출력하고, 상기 안테나 특정 심볼들을 해당 자원 요소 매핑 모듈로 분배할 수 있다. 프리코딩 모듈의 출력 z는 레이어 매핑 모듈의 출력 y를 N×M의 프리코딩 행렬 W와 곱해 얻을 수 있다. 여기서, N은 안테나 포트의 개수, M은 레이어의 개수이다. 자원 요소 매핑 모듈은 각 안테나 포트에 대한 복조 값 변조 심볼들을 전송을 위해 할당된 자원 블록 내에 있는 적절한 자원 요소에 맵핑한다. 자원 요소 매핑 모듈은 복소 값 변조 심볼들을 적절한 부반송파들에 매핑하고, 사용자에 따라 다중화할 수 있다. SC-FDMA 신호 생성 모듈(DL 전송의 경우 혹은 UL 전송을 위해 트랜스폼 프리코딩이 불능화(disable)된 경우에는 CP-OFDM 신호 생성 모듈)은 복소 값 변조 심볼을 특정 변조 방식 예컨대, OFDM 방식으로 변조하여 복소 값 시간 도메인(complex-valued time domain) OFDM 심볼 신호를 생성할 수 있다. 상기 신호 생성 모듈은 안테나 특정 심볼에 대해 IFFT(Inverse Fast Fourier Transform)를 수행할 수 있으며, IFFT가 수행된 시간 도메인 심볼에는 CP가 삽입될 수 있다. OFDM 심볼은 디지털-아날로그(digital-to-analog) 변환, 주파수 상향변환(upconversion) 등을 거쳐, 각 전송 안테나를 통해 수신 장치로 전송된다. 상기 신호 생성 모듈은 IFFT 모듈 및 CP 삽입기, DAC(Digital-to-Analog Converter), 주파수 상향 변환기(frequency uplink converter) 등을 포함할 수 있다.
수신 장치의 신호 처리 과정은 전송 장치의 신호 처리 과정의 역으로 구성될 수 있다. 구체적인 사항은 위의 내용과 도 6을 참고하기로 한다.
다음으로, PUCCH에 대해 살펴본다.
PUCCH는 UCI의 전송에 사용된다. UCI에는 상향링크 전송 자원을 요청하는 스케줄링 요청(scheduling request, SR), DL RS를 기반으로 UE 측정된 하향링크 채널 상태를 나타내는 채널 상태 정보(channel state information, CSI), 및/또는 하향링크 데이터가 UE에 의해 성공적으로 수신되었는지 여부를 나타내는 HARQ-ACK가 있다.
PUCCH는 다수의 포맷(format)들을 지원하며, PUCCH 포맷들은 심볼 지속기간(symbol duration), 페이로드 크기(payload size), 그리고 다중화(multiplexing) 여부 등에 의해 분류될 수 있다. 아래 표 1은 PUCCH 포맷들을 예시한 것이다.
PUCCH 자원들은 BS에 의해 RRC 시그널링을 통해 UE에게 설정된다. PUCCH 자원을 할당하는 일 예로, BS는 UE에게 복수의 PUCCH 자원 세트를 설정하고, UE는 UCI (페이로드) 크기(예, UCI 비트 수)의 범위에 따라 특정 범위에 대응되는 특정 PUCCH 자원 세트를 선택할 수 있다. 예를 들어, UE는 UCI 비트 수
에 따라 다음 중 하나의 PUCCH 자원 세트를 선택할 수 있다.
- PUCCH 자원 세트 #0, if UCI 비트 수 ≤ 2
- PUCCH 자원 세트 #1, if 2< UCI 비트 수 ≤ 
...
- PUCCH 자원 세트 #(K-1), if NK-2 < UCI 비트 수 ≤ 
여기서, K는 PUCCH 자원 세트를 개수를 나타내고(K>1), Ni는 PUCCH 자원 세트 #i가 지원하는 최대 UCI 비트 수이다. 예를 들어, PUCCH 자원 세트 #1은 PUCCH 포맷 0~1의 자원으로 구성될 수 있고, 그 외의 PUCCH 자원 세트는 PUCCH 포맷 2~4의 자원으로 구성될 수 있다.
이후, BS는 UE에게 PDCCH를 통해 DCI를 전송하며, DCI 내의 ARI(ACK/NACK Resource Indicator)를 통해 특정 PUCCH 자원 세트 내 PUCCH 자원들 중에서 UCI 전송에 사용할 PUCCH 자원을 지시할 수 있다. ARI는 HARQ-ACK 전송을 위한 PUCCH 자원을 지시하는 데 사용되며, PRI(PUCCH Resource Indicator)로 지칭될 수도 있다.
eMBB (enhanced Mobile Broadband communication)
NR 시스템의 경우, 전송/수신 안테나가 크게 증가하는 거대(massive) 다중 입력 다중 출력(multiple input multiple output, MIMO) 환경이 고려되고 있다. 한편, 6GHz 이상의 대역을 사용하는 NR 시스템은 급격한 전파 감쇄 특성을 보상하기 위해 신호 전송을 전방향이 아닌 특정 방향으로 에너지를 모아서 전송하는 빔포밍 기법이 고려된다. 이에 따라, 하드웨어 구현의 복잡도를 줄이고, 다수의 안테나들을 이용한 성능 증가, 자원 할당의 유연성, 주파수별 빔 제어의 용이를 위해, 빔 형성 가중치 벡터(weight vector)/프리코딩 벡터(precoding vector)를 적용하는 위치에 따라 아날로그 빔포밍(analog beamforming) 기법과 디지털 빔포밍(digital beamforming) 기법이 결합된 하이브리드(hybrid) 형태의 빔포밍 기법이 요구된다.
하이브리드 빔포밍(Hybrid Beamforming)
도 7은 하이브리드 빔포밍(hybrid beamforming)을 위한 전송단 및 수신단의 블록도의 일례를 나타낸 도이다.
하이브리드 빔포밍에 의하면, BS나 UE에서 많은 수의 안테나에 적절한 위상차를 이용하여 동일한 신호를 전송함으로써 특정한 방향에서만 에너지가 높아지게 함으로써 좁은 빔이 형성될 수 있다.
빔 관리(Beam Management, BM)
BM 과정은 하향링크(downlink, DL) 및 상향링크(uplink, UL) 전송/수신에 사용될 수 있는 BS(혹은 전송 및 수신 포인트(transmission and reception point, TRP)) 및/또는 UE 빔들의 세트(set)를 획득하고 유지하기 위한 과정들로서, 아래와 같은 과정 및 용어를 포함할 수 있다.
- 빔 측정(beam measurement): BS 또는 UE가 수신된 빔포밍 신호의 특성을 측정하는 동작.
- 빔 결정(beam determination): BS 또는 UE가 자신의 전송 빔(Tx beam) / 수신 빔(Rx beam)을 선택하는 동작.
- 빔 스위핑(beam sweeping): 미리 결정된 방식으로 일정 시간 인터벌 동안 전송 및/또는 수신 빔을 이용하여 공간 도메인을 커버하는 동작.
- 빔 보고(beam report): UE가 빔 측정에 기반하여 빔포밍된 신호의 정보를 보고하는 동작.
BM 과정은 (1) SSB 또는 CSI-RS를 이용하는 DL BM 과정과, (2) SRS(sounding reference signal)을 이용하는 UL BM 과정으로 구분될 수 있다. 또한, 각 BM 과정은 Tx 빔을 결정하기 위한 Tx 빔 스위핑과 Rx 빔을 결정하기 위한 Rx 빔 스위핑을 포함할 수 있다. 이하에서는 SSB를 이용한 DL BM 과정에 대해 주로 설명된다.
SSB를 이용한 DL BM 과정은 (1) BS에 의한 빔포밍된 SSB 전송과, (2) UE에 의한 빔 보고(beam reporting)를 포함할 수 있다. SSB는 Tx 빔 스위핑과 Rx 빔 스위핑 모두에 사용될 수 있다. SSB를 이용한 Rx 빔 스위핑은 UE가 Rx 빔을 변경하면서 SSB의 수신을 시도함으로써 수행될 수 있다.
SSB를 이용한 빔 보고(beam report)에 대한 설정은 RRC_CONNECTED에서 채널 상태 정보(channel state information, CSI)/빔 설정 시에 수행된다.
- UE는 BM을 위해 사용되는 SSB 자원 세트에 대한 정보를 BS로부터 수신한다. SSB 자원 세트는 하나 이상의 SSB 인덱스(SSBI)들로 설정될 수 있다. 각 SSB 자원 세트에 대한 SSBI는 0부터 최대 63까지 정의될 수 있다.
- UE는 SSB 자원 세트에 대한 정보에 기초하여 SSB 자원들 상의 신호들을 상기 BS로부터 수신한다.
- SSB 자원 지시자(SSB resource indicator, SSBRI) 및 RSRP에 대한 보고를 수행할 것이 BS에 의해 UE에게 설정된 경우, 상기 UE는 최선(best) SSBRI 및 이에 대응하는 RSRP를 BS에게 보고한다.
BS는 UE로부터의 빔 보고를 바탕으로 상기 UE로의 DL 전송에 사용할 BS Tx 빔을 결정할 수 있다.
빔 실패 복구(beam failure recovery, BFR) 과정
빔포밍된 시스템에서, RLF(Radio Link Failure)는 UE의 회전(rotation), 이동(movement) 또는 빔포밍 블로키지(blockage)로 인해 자주 발생할 수 있다. 따라서, 잦은 RLF가 발생하는 것을 방지하기 위해 BFR이 NR에서 지원된다.
빔 실패 검출을 위해, BS는 UE에게 빔 실패 검출 참조 신호들을 설정하고, 상기 UE는 상기 UE의 물리 계층으로부터의 빔 실패 지시(indication)들의 횟수가 BS의 RRC 시그널링에 의해 설정된 기간(period) 내에 RRC 시그널링에 의해 설정된 임계치(threshold)에 이르면(reach), 빔 실패를 선언(declare)한다.
빔 실패가 검출된 후, 상기 UE는 PCell 상의 RACH 과정을 개시(initiate)함으로써 빔 실패 복구를 트리거하고; 적절한(suitable) 빔을 선택하여 빔 실패 복구를 수행한다(BS가 어떤(certain) 빔들에 대해 전용 RACH 자원들을 제공한 경우, 상기 UE는 이들을 우선적으로 사용하여 BFR을 위한 RACH 과정을 수행한다). 상기 RACH 과정의 완료(completion) 시, 빔 실패 복구가 완료된 것으로 간주된다.
URLLC (Ultra-Reliable and Low Latency Communication)
NR에서 정의하는 URLLC 전송은 (1) 상대적으로 낮은 트래픽 크기, (2) 상대적으로 낮은 도착 레이트(low arrival rate), (3) 극도의 낮은 레이턴시 요구사항(requirement)(예, 0.5, 1ms), (4) 상대적으로 짧은 전송 지속기간(duration)(예, 2 OFDM symbols), (5) 긴급한 서비스/메시지 등에 대한 전송을 의미할 수 있다.
프리엠션 지시(Pre-emption indication)
eMBB와 URLLC 서비스들은 비-중첩(non-overlapping) 시간/주파수 자원들 상에서 스케줄링될 수 있지만, 진행 중인(ongoing) eMBB 트래픽이 스케줄링된 자원들에서 URLLC 전송이 발생할 수도 있다. PDSCH를 수신하는 UE로 하여금 다른 UE에 의한 URLLC 전송에 의해 상기 PDSCH가 부분적으로 펑처링(puncturing)되었음을 알 수 있도록 하기 위해, 프리엠션 지시(preemption indication)가 사용될 수 있다. 상기 프리엠션 지시(preemption indication)는 중단된 전송 지시(interrupted transmission indication)으로 지칭될 수도 있다.
프리엠션 지시와 관련하여, UE는 BS로부터의 RRC 시그널링을 통해 하향링크 프리엠션 RRC 정보(예, DownlinkPreemption IE)를 수신한다.
상기 UE는 하향링크 프리엠션 RRC 정보에 기초하여 DCI 포맷 2_1을 상기 BS로부터 수신한다. 예를 들어, 상기 UE는 상기 하향링크 프리엠션 RRC 정보에 의해 설정된 int-RNTI를 이용하여, 프리엠션 지시 관련 DCI인 DCI 포맷 2_1을 운반(convey)하는 PDCCH의 검출을 시도한다.
UE가 하향링크 프리엠션 RRC 정보에 의해 설정된 서빙 셀(들)에 대한 DCI 포맷 2_1을 검출하면, 상기 UE는 상기 DCI 포맷 2_1이 속한 모니터링 기간의 바로 앞(last) 모니터링 기간의 자원 블록(resource block, RB)들의 세트 및 심볼들의 세트 중 상기 DCI 포맷 2_1에 의해 지시되는 RB들 및 심볼들 내에는 상기 UE로의 아무런 전송도 없다고 가정할 수 있다. 예를 들어, 도 J2를 참조하면, UE는 프리엠션에 의해 지시된 시간-주파수 자원 내 신호는 자신에게 스케줄링된 DL 전송이 아니라고 보고 나머지 자원 영역에서 수신된 신호들을 기반으로 데이터를 디코딩한다.
mMTC (massive MTC)
mMTC(massive Machine Type Communication)은 많은 수의 UE와 동시에 통신하는 초연결 서비스를 지원하기 위한 5G의 시나리오 중 하나이다. 이 환경에서, UE는 굉장히 낮은 전송 속도와 이동성을 가지고 간헐적으로 통신하게 된다. 따라서, mMTC는 UE를 얼마나 낮은 비용으로 오랫동안 구동할 수 있는지를 주요 목표로 하고 있다. 이와 관련하여, 3GPP에서 다루고 있는 MTC와 NB-IoT에 대해 살펴본다.
이하에서는 물리 채널의 전송 시간 인터벌(transmission time interval)이 서브프레임인 경우를 예로 하여 설명된다. 예를 들어, 일 물리 채널의 전송 시작에서 다음 물리 채널의 전송 시작까지의 최소 시간 인터벌이 1개 서브프레임인 경우를 예로 하여 설명된다. 그러나, 이하의 설명에서 서브프레임은 슬롯, 미니-슬롯, 혹은 다수(multiple) 슬롯들로 대체될 수 있다.
MTC (Machine Type Communication)
MTC(Machine Type Communication)은 M2M (Machine-to-Machine) 또는 IoT (Internet-of-Things) 등에 적용될 수 있는 많은 처리량(throughput)을 요구하지 않는 어플리케이션으로서, 3GPP(3rd Generation Partnership Project)에서 IoT 서비스의 요구 사항을 충족시키기 위해 채택된 통신 기술을 말한다.
이하에서 기술되는 내용은 주로 eMTC와 관련된 특징들이나, 특별한 언급이 없는 한 MTC, eMTC, 5G(또는 NR)에 적용될 MTC에도 동일하게 적용될 수 있다. 후술하는 MTC라는 용어는 eMTC (enhanced MTC), LTE-M1/M2, BL (Bandwidth reduced low complexity) / CE(coverage enhanced), non-BL UE(in enhanced coverage), NR MTC, enhanced BL / CE 등과 같이 다른 용어로 지칭될 수 있다.
MTC 일반적 특징
(1) MTC는 특정 시스템 대역폭(또는 채널 대역폭) 내에서만 동작한다.
MTC는 기존(legacy) LTE 시스템 혹은 NR 시스템의 시스템 대역 내 자원 블록(resource block, RB)들 중 특정 개수의 RB들을 사용할 수도 있다. MTC가 동작하는 주파수 대역폭은 NR의 주파수 범위(frequency range) 및 부반송파 간격(subcarrier spacing)을 고려하여 정의될 수 있다. 이하, MTC가 동작하는 특정 시스템 혹은 주파수 대역폭을 MTC 협대역(narrowband, NB) 혹은 MTC 서브밴드라고 칭한다. NR에서 MTC는 적어도 하나의 대역폭 파트(bandwidth part, BWP)에서 동작하거나 또는 BWP의 특정 대역에서 동작할 수도 있다.
MTC는 1.08MHz보다 훨씬 더 큰 대역폭(예: 10MHz)을 가진 셀에 의해 지원될 수 있으나, MTC에 의해 송/수신되는 물리 채널 및 신호는 항상 1.08MHz 또는 6개 (LTE) RB들로 제한된다. 예를 들어, LTE 시스템에서 협대역은 주파수 도메인에서 6개의 비-중첩하는(non-overlapping) 연속적인(consecutive) 물리 자원 블록으로 정의된다.
MTC에서 하향링크와 상향링크의 일부 채널은 협대역 내로 제한되어 할당될 수 있으며, 한 시간 유닛에서 하나의 채널이 복수의 협대역을 점유하지는 않는다. 도 8 (a)는 협대역 동작의 일례를 나타낸 도이며, 도 8 (b)는 RF 리튜닝(retuning)을 가지는 MTC 채널 반복의 일례를 나타낸 도이다.
MTC의 협대역은 BS에 의해 전송되는 시스템 정보 또는 DCI(downlink control information)를 통해 UE에게 설정될 수 있다.
(2) MTC는 기존 LTE 또는 NR의 전체 시스템 대역폭에 걸쳐서 분산되어야 하는 (기존 LTE 또는 NR에서 정의되는) 채널을 사용하지 않는다. 일례로, 기존 LTE의 PDCCH는 시스템 대역폭 전체에 분산되어 전송되므로, MTC 에서는 기존 PDCCH가 사용되지 않는다. 대신 MTC에서는 새로운 제어 채널인 MPDCCH(MTC PDCCH)가 사용된다. MPDCCH는 주파수 도메인에서 최대 6개 RB들 내에서 전송/수신된다. MPDCCH는 시간 도메인에서는 서브프레임 내 OFDM 심볼들 중 BS로부터의 RRC 파라미터에 의해 지시된 시작 OFDM 심볼 인덱스를 갖는 OFDM 심볼부터 시작하여 하나 이상의 OFDM 심볼들을 이용하여 전송될 수 있다.
(3) MTC의 경우, PBCH, PRACH, MPDCCH, PDSCH, PUCCH, PUSCH가 반복적으로 전송될 수 있다. 이와 같은 MTC 반복 전송은 지하실과 같은 열악한 환경에서와 같이 신호 품질 또는 전력이 매우 열악한 경우에도 MTC 채널이 디코딩될 수 있어 셀 반경 증가 및 신호 침투 효과를 가져올 수 있다.
MTC 동작 모드 및 레벨
MTC는 커버리지 향상(coverage enhancement, CE)을 위해 2개의 동작 모드(operation mode)(CE Mode A, CE Mode B)와 4개의 서로 다른 CE 레벨들이 사용되며, 아래 표 2와 같을 수 있다.
MTC 동작 모드는 BS에 의해 결정되며, CE 레벨은 MTC UE에 의해 결정된다.
MTC 보호 기간 (guard period)
MTC에 사용되는 협대역의 위치는 특정 시간 유닛(예, 서브프레임 또는 슬롯)마다 다를 수 있다. MTC UE는 시간 유닛들에 따라 다른 주파수로 튜닝할 수 있다. 주파수 리튜닝에는 일정 시간이 필요하며, 이 일정 시간이 MTC의 가드 기간(guard period)으로 사용될 수 있다. 상기 가드 기간 동안에는 전송 및 수신이 발생하지 않는다.
MTC 신호 전송/수신 방법
MTC에서의 신호 전송/수신 과정은 MTC에 특유한 사항을 제외하면 도 2의 과정과 유사하다. 도 2의 S201에서 설명된 과정이 MTC에서도 수행될 수 있다. 상기 MTC의 초기 셀 탐색 동작에 이용되는 PSS / SSS는 기존 LTE의 PSS / SSS일 수 있다.
PSS/SSS를 이용하여 BS와 동기화한 후, MTC UE는 BS로부터 PBCH 신호를 수신하여 셀 내 브로드캐스트 정보를 획득할 수 있다. PBCH를 통해 전송되는 브로드캐스트 정보는 MIB이다. MTC의 경우, 기존 LTE의 MIB 내 비트들 중 유보 비트(reserved bit)들이 새로운 SIB1-BR(system information block for bandwidth reduced device)에 대한 스케줄링 정보를 전송하기 위해 사용된다. SIB1-BR에 대한 상기 스케줄링 정보는 상기 SIB1-BR을 나르는 PDSCH를 위한 반복 횟수에 관한 정보 및 수송 블록 크기(transport block size, TBS)에 관한 정보를 포함할 수 있다. SIB-BR을 나르는 PDSCH에 대한 주파수 자원 할당은 협대역 내 6개 연속 RB들의 세트일 수 있다. SIB-BR은 상기 SIB-BR과 연관된 제어 채널(예, PDCCH, MPDDCH) 없이 직접 PDSCH 상에서 전송된다.
초기 셀 탐색을 마친 MTC UE는 MPDCCH와 상기 MPDCCH 정보에 따른 PDSCH를 수신하여 조금 더 구체적인 시스템 정보를 획득할 수 있다(S202).
이후, MTC UE는 BS에 접속을 완료하기 위해 RACH 과정을 수행할 수 있다(S203 ~ S206). MTC UE의 RACH 과정과 관련된 기본적인 설정(configuration)은 SIB2에 의해 전송될 수 있다. 또한, SIB2는 페이징과 관련된 파라미터들을 포함한다. 3GPP 시스템에서 페이징 기회(Paging Occasion, PO)는 UE가 페이징의 수신을 시도할 수 있는 시간 유닛을 의미한다. 페이징이라 함은 네트워크가 상기 UE에게 전송할 데이터가 있음을 알리는 것을 의미한다. MTC UE는 페이징용으로 설정된 협대역(PNB) 상에서 자신의 PO에 해당하는 시간 유닛 내 P-RNTI를 기반으로 MPDCCH의 수신을 시도한다. P-RNTI를 기반으로 MPDCCH의 디코딩에 성공한 UE는 상기 MPDCCH에 의해 스케줄링된 PDSCH를 수신하여, 자신에 대한 페이징 메시지를 확인할 수 있다. 자신에 대한 페이징 메시지가 있으면 RACH 과정을 수행하여 네트워크로의 접속을 수행한다.
MTC에서 RACH 과정에서 전송되는 신호 및/또는 메시지들(Msg1, Msg2, Msg3, Msg4)는 반복적으로 전송될 수 있으며, 이러한 반복 패턴은 CE 레벨에 따라 다르게 설정된다.
임의 접속을 위해 서로 다른 CE 레벨들에 대한 PRACH 자원들이 BS에 의해 시그널링된다. 최대 4개까지의 CE 레벨들에 대해 각각(respectively) 서로 다른 PRACH 자원들이 MTC UE로 시그널링될 수 있다. MTC UE는 하향링크 RS(예, CRS, CSI-RS, TRS 등)을 이용하여 RSRP를 추정하고, 측정 결과에 기초하여 BS에 의해 시그널링된 CE 레벨들 중 하나를 결정한다. 상기 UE는 상기 결정된 CE 레벨을 기반으로, 임의 접속에 대한 서로 다른 PRACH 자원 예, PRACH를 위한 주파수, 시간, 프리앰블 자원)들 중 하나를 선택하여, PRACH 전송을 수행한다. BS는 UE가 PRACH 전송에 사용한 PRACH 자원을 기반으로 상기 UE의 CE 레벨을 알 수 있다. 상기 BS는 UE가 PRACH 전송을 통해 알린 CE 레벨을 기반으로 상기 UE를 위한 CE 모드를 결정할 수 있다. 상기 BS는 상기 UE를 위한 CE 모드에 따라 DCI를 상기 UE에게 전송할 수 있다.
PRACH에 대한 RAR 및 경쟁 해결 메시지(contention resolution message)들에 대한 탐색 공간들은 또한 시스템 정보를 통해 BS에 의해 시그널링된다.
상술한 바와 같은 과정을 수행한 MTC UE는 이후 일반적인 상향링크/하향링크 신호 전송 과정으로서 MPDCCH 신호 및/또는 PDSCH 신호의 수신(S207) 및 물리 상향링크 공유 채널(PUSCH) 신호 및/또는 물리 상향링크 제어 채널(PUCCH) 신호의 전송(S208)을 수행할 수 있다. MTC UE는 PUCCH 혹은 PUSCH를 통해 BS에게 UCI를 전송할 수 있다.
MTC UE에 대한 RRC 연결이 수립(establish)되면, MTC UE는 상향링크 및 하향링크 데이터 할당을 획득하기 위해 설정된 탐색 공간(search space)에서 MPDCCH를 모니터링하여 MDCCH의 수신을 시도한다.
기존(legacy) LTE에서 PDSCH는 PDCCH를 사용하여 스케줄링된다. 구체적으로, PDCCH는 서브프레임(subframe, SF)에서 처음 N개의 OFDM 심볼들에서 전송될 수 있고(N=1~3), 상기 PDCCH에 의해 스케줄링되는 PDSCH는 동일한 서브프레임에서 전송된다.
기존 LTE에서와 달리 MTC의 경우, MPDCCH와 상기 MDCCH에 의해 스케줄링되는 PDSCH가 서로 다른 서브프레임에서 전송/수신된다. 예를 들어, 서브프레임 #n에서 마지막 반복을 가지는 MPDCCH는 서브프레임 #n+2에서 시작하는 PDSCH를 스케줄링한다. MPDCCH는 한 번만 전송되거나 반복하여 전송될 수 있다. MPDCCH의 최대 반복 횟수는 BS로부터의 RRC 시그널링에 의해 UE에게 설정된다. MPDCCH에 의해 전송되는 DCI는 언제 PDSCH 전송이 시작되는지를 MTC UE가 알 수 있도록 하기 위해 상기 MPDCCH가 얼마나 반복되는지에 대한 정보를 제공한다. 예를 들어, 서브프레임 #n부터 전송이 시작된 MPDCCH 내 DCI가 상기 MPDCCH가 10번 반복된다는 정보를 포함하는 경우, 상기 MPDCCH가 전송되는 마지막 서브프레임은 서브프레임 #n+9이고, PDSCH의 전송은 서브프레임 #n+11에서 시작할 수 있다. MPDCCH에 의해 전송되는 DCI는 상기 DCI가 스케줄링하는 물리 데이터 채널(예, PUSCH, PDSCH)의 반복 횟수에 관한 정보를 포함할 수 있다. UE는 DCI가 스케줄링하는 물리 데이터 채널에 대한 반복 횟수 정보에 따라, 시간 도메인에서 상기 물리 데이터 채널을 반복하여 전송/수신할 수 있다. PDSCH는 상기 PDSCH를 스케줄링하는 MPDCCH가 있는 협대역과는 같은 혹은 다른 협대역에 스케줄링될 수 있다. MPDCCH와 해당 PDSCH가 다른 협대역에 위치하는 경우, MTC UE는 PDSCH를 디코딩하기 전에 상기 PDSCH가 있는 협대역으로 주파수를 리튜닝할 필요가 있다. 상향링크 스케줄링의 경우, 레거시 LTE와 동일한 타이밍을 따를 수 있다. 예를 들어, 서브프레임 #n에서 마지막 전송이 있는 MPDCCH는 서브프레임 #n+4에서 시작하는 PUSCH 전송을 스케줄링할 수 있다. 물리 채널에 반복 전송이 적용되는 경우, RF 리튜닝에 의해 서로 다른 MTC 서브밴드들 사이에서 주파수 호핑이 지원된다. 예를 들어, 32개의 서브프레임들에서 PDSCH가 반복 전송되는 경우, 처음 16개의 서브프레임들에서 PDSCH는 제1 MTC 서브밴드에서 전송되고, 나머지 16개의 서브프레임들에서 PDSCH는 제2 MTC 서브밴드에서 전송될 수 있다. MTC는 반-듀플렉스 모드로 동작할 수 있다.
NB-IoT (Narrowband-Internet of Things)
NB-IoT는 무선 통신 시스템(예, LTE 시스템, NR 시스템 등)의 1개 자원 블록(resource block, RB)에 해당하는 시스템 대역폭(system BW)을 통해 낮은 복잡도(complexity), 낮은 전력 소비(power consumption), 주파수 자원의 효율적 사용을 지원하기 위한 시스템을 의미할 수 있다. NB-IoT는 반-듀플렉스 모드로 동작할 수 있다. NB-IoT는 주로 기계 타입 통신(machine-type communication, MTC) 등과 같은 장치(device)(또는 UE)를 셀룰러 시스템(cellular system)에서 지원하여 IoT(즉, 사물 인터넷)를 구현하기 위한 통신 방식으로 이용될 수도 있다.
NB-IoT의 경우, 각 UE는 1개 자원 블록(resource block, RB)를 1개 반송파(carrier)로 인식하므로, 본 명세에서 NB-IoT와 관련되어 언급되는 RB 및 반송파는 서로 동일한 의미로 해석될 수도 있다.
이하, 본 명세서에서의 NB-IoT와 관련된 프레임 구조, 물리 채널, 다중 반송파 동작(multi carrier operation), 일반적인 신호 전송/수신 등은 기존의 LTE 시스템의 경우를 고려하여 설명되지만, 차세대 시스템(예, NR 시스템 등)의 경우에도 적용될 수 있음은 물론이다. 또한, 본 명세서에서의 NB-IoT와 관련된 내용은 유사한 기술적 목적(예: 저-전력, 저-비용, 커버리지 향상 등)을 지향하는 MTC에 적용될 수도 있다.
NB-IoT의 프레임 구조 및 물리 자원
NB-IoT 프레임 구조는 부반송파 간격(subcarrier spacing)에 따라 다르게 설정될 수 있다. 예를 들어, 15kHz 부반송파 간격에 대한 NB-IoT 프레임 구조는 기존(legacy) 시스템(예, LTE 시스템)의 프레임 구조와 동일하게 설정될 수 있다. 예를 들어, 10ms NB-IoT 프레임은 1ms NB-IoT 서브프레임 10개를 포함하며, 1ms NB-IoT 서브프레임은 0.5ms NB-IoT 슬롯 2개를 포함할 수 있다. 또한, 각각의 0.5ms NB-IoT은 7개의 OFDM 심볼들을 포함할 수 있다. 다른 예로, 3.75kHz 부반송파 간격을 갖는 BWP 혹은 셀/반송파의 경우, 10ms NB-IoT 프레임은 2ms NB-IoT 서브프레임 5개를 포함하며, 2ms NB-IoT 서브프레임은 7개의 OFDM 심볼들과 하나의 보호 기간(guard period, GP)을 포함할 수 있다. 또한, 상기 2ms NB-IoT 서브프레임은 NB-IoT 슬롯 또는 NB-IoT 자원 유닛(resource unit, RU) 등에 의해 표현될 수도 있다. NB-IoT 프레임 구조는 15kHz 및 3.75kHz에 한정되는 것은 아니며, 다른 부반송파 간격(예, 30kHz 등)에 대한 NB-IoT도 시간/주파수 단위를 달리하여 고려될 수 있음은 물론이다.
NB-IoT 하향링크의 물리 자원은 시스템 대역폭이 특정 개수의 RB(예, 1개의 RB 즉, 180kHz)로 한정되는 것을 제외하고는, 다른 무선 통신 시스템(예, LTE 시스템, NR 시스템 등)의 물리 자원을 참고하여 설정될 수 있다. 일례로, 상술한 바와 같이 NB-IoT 하향링크가 15kHz 부반송파 간격만을 지원하는 경우, NB-IoT 하향링크의 물리 자원은 상술한 도 1에 예시된 자원 격자를 주파수 도메인 상의 1개 RB로 제한한 자원 영역으로 설정될 수 있다.
NB-IoT 상향링크의 물리 자원의 경우에도 하향링크의 경우와 같이 시스템 대역폭은 1개의 RB로 제한되어 구성될 수 있다. NB-IoT에서, 상향링크 대역의 부반송파 수 
및 슬롯 기간 
은 아래의 표 3과 같이 주어질 수 있다. LTE 시스템의 NB-IoT의 경우, 한 개 슬롯의 슬롯 기간 
은 시간 도메인에서 7개 SC-FDMA 심볼들로 정의된다.
NB-IoT에서는 NB-IoT용 PUSCH(이하, NPUSCH)의 자원 요소들로의 매핑을 위해 자원 유닛(resource unit, RU)들이 사용된다. RU는 시간 도메인 상에서 
개의 SC-FDMA 심볼들로 구성되고, 주파수 도메인 상에서 
개의 연속적인(consecutive) 부반송파들로 구성될 수 있다. 일례로, 
및 
는 FDD용 프레임 구조를 가진 셀/반송파에 대해서는 아래의 표 4에 의해 주어지며, TDD용 프레임 구조인 프레임 구조를 가진 셀/반송파에 대해서는 표 5에 의해 주어질 수 있다.
NB-IoT의 물리 채널
NB-IoT 하향링크에는 15kHz의 부반송파 간격에 기반하여 OFDMA 방식이 적용될 수 있다. 이를 통해, 부반송파 간 직교성(orthogonality)을 제공하여 다른 시스템(예, LTE 시스템, NR 시스템)과의 공존(co-existence)이 효율적으로 지원될 수 있다. NB-IoT 시스템의 하향링크 물리 채널/신호는 기존의 시스템과의 구분을 위하여 ‘N(Narrowband)’이 추가된 형태로 표현될 수 있다. 예를 들어, 하향링크 물리 채널은 NPBCH, NPDCCH, NPDSCH) 등으로 지칭되며, 하향링크 물리 신호는 NPSS, NSSS, NRS(Narrowband Reference Signal), NPRS(Narrowband Positioning Reference Signal), NWUS(Narrowband Wake Up Signal) 등으로 지칭될 수 있다. NB-IoT 시스템의 하향링크 채널인 NPBCH, NPDCCH, NPDSCH 등의 경우, 커버리지 향상을 위하여 반복 전송(repetition transmission)이 수행될 수 있다. 또한, NB-IoT는 새롭게 정의된 DCI 포맷을 사용하며, 일례로 NB-IoT를 위한 DCI 포맷은 DCI 포맷 N0, DCI 포맷 N1, DCI 포맷 N2 등으로 정의될 수 있다.
NB-IoT 상향링크에는 15kHz 또는 3.75kHz의 부반송파 간격에 기반하여 SC-FDMA 방식이 적용될 수 있다. 하향링크 부분에서 언급한 것과 같이, NB-IoT 시스템의 물리 채널은 기존의 시스템과의 구분을 위하여 ‘N(Narrowband)’이 추가된 형태로 표현될 수 있다. 예를 들어, 상향링크 물리 채널은 NPRACH 및 NPUSCH 등으로 표현되고, 상향링크 물리 신호는 NDMRS 등으로 표현될 수 있다. NPUSCH는 NPUSCH 포맷 1과 NPUSCH 포맷 2 등으로 구분될 수 있다. 일례로, NPUSCH 포맷 1은 상향링크 공유 채널(uplink shared channel, UL-SCH) 전송(또는 운반)을 위해 이용되며, NPUSCH 포맷 2는 HARQ ACK 시그널링 등과 같은 UCI 전송을 위해 이용될 수 있다. NB-IoT 시스템의 상향링크 채널인 NPRACH 등의 경우, 커버리지 향상을 위하여 반복 전송이 수행될 수 있다. 이 경우, 반복 전송은 주파수 호핑이 적용되어 수행될 수도 있다.
NB-IoT의 다중 반송파 동작
NB-IoT는 다중 반송파 모드로 동작할 수 있다. 다중 반송파 동작은 NB-IoT에서 BS 및/또는 UE가 상호 간에 채널 및/또는 신호를 전송/수신함에 있어서 용도가 서로 다르게 설정된(즉, 타입이 다른) 다수의 반송파들이 이용되는 것을 의미할 수 있다.
NB-IoT의 다중 반송파 모드에서, 반송파는 앵커 타입의 반송파(anchor type carrier)(즉, 앵커 반송파(anchor carrier), 앵커 PRB) 및 비-앵커 타입의 반송파(non-anchor type carrier)(즉, 비-앵커 반송파(non-anchor carrier), 비-앵커 PRB)로 구분될 수 있다.
앵커 반송파는 BS 관점에서 초기 접속(initial access)을 위해 NPSS, NSSS, NPBCH, 및 시스템 정보 블록(N-SIB)를 위한 NPDSCH 등을 전송하는 반송파를 의미할 수 있다. 즉, NB-IoT에서 초기 접속을 위한 반송파는 앵커 반송파로 지칭되고, 그 외의 것(들)은 비-앵커 반송파로 지칭될 수 있다.
NB-IoT 신호 전송/수신 과정
NB-IoT에서의 신호 전송/수신 과정은 NB-IoT에 특유한 사항을 제외하면 도 2의 과정과 유사하다. 도 2를 참조하면, 전원이 꺼진 상태에서 다시 전원이 켜지거나, 새로이 셀에 진입한 NB-IoT UE는 초기 셀 탐색(Initial cell search) 작업을 수행할 수 있다(S201). 이를 위해 NB-IoT UE는 BS로부터 NPSS 및 NSSS를 수신하여 BS와의 동기화를 수행하고, 셀 ID(cell identity) 등의 정보를 획득할 수 있다. 또한, NB-IoT UE는 BS로부터 NPBCH를 수신하여 셀 내 브로드캐스트 정보를 획득할 수 있다.
초기 셀 탐색을 마친 NB-IoT UE는 NPDCCH 및 이에 대응되는 NPDSCH를 수신하여 좀더 구체적인 시스템 정보를 획득할 수 있다(S202). 다시 말해, BS는 초기 셀 탐색을 마친 NB-IoT UE에게 NPDCCH 및 이에 대응되는 NPDSCH를 전송하여 좀더 구체적인 시스템 정보를 전달할 수 있다.
이후, NB-IoT UE는 BS에 접속을 완료하기 위해 RACH 과정을 수행할 수 있다(S203 ~ S206). 구체적으로, NB-IoT UE는 NPRACH를 통해 프리앰블을 BS으로 전송할 수 있으며(S203), 상술한 바와 같이 NPRACH는 커버리지 향상 등을 위하여 주파수 호핑 등에 기반하여 반복 전송되도록 설정될 수 있다. 다시 말해, BS는 NB-IoT UE로부터 NPRACH를 통해 프리앰블을 (반복적으로) 수신할 수 있다. 이후, NB-IoT UE는 NPDCCH 및 이에 대응하는 NPDSCH를 통해 프리앰블에 대한 RAR을 BS로부터 수신할 수 있다(S204). 다시 말해, BS는 NPDCCH 및 이에 대응하는 NPDSCH를 통해 프리앰블에 대한 RAR를 NB-IoT UE로 전송할 수 있다. 이후, NB-IoT UE는 RAR 내의 스케줄링 정보를 이용하여 NPUSCH를 BS으로 전송하고(S205), NPDCCH 및 이에 대응하는 NPDSCH를 수신하여 충돌 해결 과정(Contention Resolution Procedure)를 수행할 수 있다(S206).
상술한 바와 같은 과정을 수행한 NB-IoT UE는 이후 일반적인 상향/하향링크 신호 전송 과정으로서 NPDCCH/NPDSCH 수신(S207) 및 NPUSCH 전송(S208)을 수행할 수 있다. 다시 말해, 상술한 과정들을 수행한 후, BS는 NB-IoT UE로 일반적인 신호 전송/수신 과정으로서 NPDCCH/NPDSCH 전송 및 NPUSCH 수신을 수행할 수 있다.
NB-IoT의 경우, 앞서 언급한 바와 같이 NPBCH, NPDCCH, NPDSCH 등은 커버리지 향상 등을 위하여 반복 전송될 수 있다. 또한, NB-IoT의 경우 NPUSCH를 통해 UL-SCH(즉, 일반적인 상향링크 데이터) 및 UCI전달될 수 있다. 이 때, UL-SCH 및 UCI는 각각 다른 NPUSCH 포맷(예, NPUSCH 포맷 1, NPUSCH 포맷 2 등)을 통해 전송되도록 설정될 수도 있다.
NB-IoT에서 UCI는 일반적으로 NPUSCH를 통해 전송될 수 있다. 또한, 네트워크(예: BS)의 요청/지시에 따라 UE는 NPUSCH를 통해 UCI를 주기적(periodic), 비주기적(aperiodic), 또는 반-지속적(semi-persistent)으로 전송할 수 있다.
무선 통신 장치
도 9는 본 명세서에서 제안하는 방법들이 적용될 수 있는 무선 통신 시스템의 블록 구성도를 예시한다.
도 9를 참조하면, 무선 통신 시스템은 제 1 통신 장치(910) 및/또는 제 2 통신 장치(920)을 포함한다. ‘A 및/또는 B’는 ‘A 또는 B 중 적어도 하나를 포함한다’와 동일한 의미로 해석될 수 있다. 제 1 통신 장치가 BS를 나타내고, 제 2 통신 장치가 UE를 나타낼 수 있다(또는 제 1 통신 장치가 UE를 나타내고, 제 2 통신 장치가 BS를 나타낼 수 있다).
제 1 통신 장치와 제 2 통신 장치는 프로세서(processor, 911,921), 메모리(memory, 914,924), 하나 이상의 Tx/Rx RF 모듈(radio frequency module, 915,925), Tx 프로세서(912,922), Rx 프로세서(913,923), 안테나(916,926)를 포함한다. Tx/Rx 모듈은 트랜시버라고도 한다. 프로세서는 앞서 살핀 기능, 과정 및/또는 방법을 구현한다. 보다 구체적으로, DL(제 1 통신 장치에서 제 2 통신 장치로의 통신)에서, 코어 네트워크로부터의 상위 계층 패킷은 프로세서(911)에 제공된다. 프로세서는 레이어 2(즉, L2) 계층의 기능을 구현한다. DL에서, 프로세서는 논리 채널과 전송 채널 간의 다중화(multiplexing), 무선 자원 할당을 제 2 통신 장치(920)에 제공하며, 제 2 통신 장치로의 시그널링을 담당한다. 전송(TX) 프로세서(912)는 L1 계층(즉, 물리 계층)에 대한 다양한 신호 처리 기능을 구현한다. 상기 신호 처리 기능은 제 2 통신 장치에서 FEC(forward error correction)을 용이하게 하고, 코딩 및 인터리빙(coding and interleaving)을 포함한다. 인코딩 및 인터리밍을 거친 신호는 스크램블링(scrambling) 및 변조(modulation)을 거쳐 복소 값(complex valued) 변조 심볼들로 변조된다. 변조에는 채널에 따라 BPSK, QPSK, 16QAM, 64QAM, 246QAM 등이 사용될 수 있다. 복소 값 변조 심볼들(이하, 변조 심볼들)은 병렬 스트림으로 분할되고, 각각의 스트림은 OFDM 부반송파에 매핑되고, 시간 및/또는 주파수 도메인에서 참조 신호와 다중화(multiplexing)되며, IFFT를 사용하여 함께 결합되어 시간 도메인 OFDM 심볼 스트림을 운반하는 물리적 채널을 생성한다. OFDM 심볼 스트림은 다중 공간 스트림을 생성하기 위해 공간적으로 프리코딩된다. 각각의 공간 스트림은 개별 Tx/Rx 모듈(또는 트랜시버, 915)를 통해 상이한 안테나(916)에 제공될 수 있다. 각각의 Tx/Rx 모듈은 전송을 위해 각각의 공간 스트림을 RF 반송파로 주파수 상향변환(upconvert)할 수 있다. 제 2 통신 장치에서, 각각의 Tx/Rx 모듈(또는 트랜시버, 925)는 각 Tx/Rx 모듈의 각 안테나(926)을 통해 RF 반송파의 신호를 수신한다. 각각의 Tx/Rx 모듈은 상기 RF 반송파의 신호를 기저대역(baseband) 신호로 복원하여, 수신(RX) 프로세서(923)에 제공한다. RX 프로세서는 L1(즉, 물리 계층)의 다양한 신호 프로세싱 기능을 구현한다. RX 프로세서는 제 2 통신 장치로 향하는 임의의 공간 스트림을 복구하기 위해 정보에 공간 프로세싱을 수행할 수 있다. 만약 다수의 공간 스트림들이 제 2 통신 장치로 향하는 경우, 다수의 RX 프로세서들에 의해 단일 OFDMA 심볼 스트림으로 결합될 수 있다. RX 프로세서는 고속 푸리에 변환 (FFT)을 사용하여 시간 도메인 신호인 OFDM 심볼 스트림을 주파수 도메인 신호로 변환한다. 주파수 도메인 신호는 OFDM 신호의 각각의 부반송파에 대한 개별적인 OFDM 심볼 스트림을 포함한다. 각각의 부반송파 상의 변조 심볼들 및 참조 신호는 제 1 통신 장치에 의해 전송된 가장 가능성 있는 신호 성상(constellation) 포인트들을 결정함으로써 복원되고 복조된다. 이러한 연 판정(soft decision)들은 채널 추정 값들에 기초할 수 있다. 연판정들은 물리 채널 상에서 제 1 통신 장치에 의해 원래 전송된 데이터 및 제어 신호를 복원하기 위해 디코딩 및 디인터리빙되다. 해당 데이터 및 제어 신호는 프로세서(921)에 제공된다.
UL(제 2 통신 장치에서 제 1 통신 장치로의 통신)은 제 2 통신 장치(920)에서 수신기 기능과 관련하여 기술된 것과 유사한 방식으로 제 1 통신 장치(910)에서 처리된다. 각각의 Tx/Rx 모듈(925)는 각각의 안테나(926)을 통해 신호를 수신한다. 각각의 Tx/Rx 모듈은 RF 반송파 및 정보를 RX 프로세서(923)에 제공한다. 프로세서 (921)는 프로그램 코드 및 데이터를 저장하는 메모리 (924)와 관련될 수 있다. 메모리는 컴퓨터 판독 가능 매체로서 지칭될 수 있다.
<인공 지능(AI: Artificial Intelligence)>
인공 지능은 인공적인 지능 또는 이를 만들 수 있는 방법론을 연구하는 분야를 의미하며, 머신 러닝(기계 학습, Machine Learning)은 인공 지능 분야에서 다루는 다양한 문제를 정의하고 그것을 해결하는 방법론을 연구하는 분야를 의미한다. 머신 러닝은 어떠한 작업에 대하여 꾸준한 경험을 통해 그 작업에 대한 성능을 높이는 알고리즘으로 정의하기도 한다.
인공 신경망(ANN: Artificial Neural Network)은 머신 러닝에서 사용되는 모델로써, 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)들로 구성되는, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 인공 신경망은 다른 레이어의 뉴런들 사이의 연결 패턴, 모델 파라미터를 갱신하는 학습 과정, 출력값을 생성하는 활성화 함수(Activation Function)에 의해 정의될 수 있다.
인공 신경망은 입력층(Input Layer), 출력층(Output Layer), 그리고 선택적으로 하나 이상의 은닉층(Hidden Layer)를 포함할 수 있다. 각 층은 하나 이상의 뉴런을 포함하고, 인공 신경망은 뉴런과 뉴런을 연결하는 시냅스를 포함할 수 있다. 인공 신경망에서 각 뉴런은 시냅스를 통해 입력되는 입력 신호들, 가중치, 편향에 대한 활성 함수의 함숫값을 출력할 수 있다.
모델 파라미터는 학습을 통해 결정되는 파라미터를 의미하며, 시냅스 연결의 가중치와 뉴런의 편향 등이 포함된다. 그리고, 하이퍼파라미터는 머신 러닝 알고리즘에서 학습 전에 설정되어야 하는 파라미터를 의미하며, 학습률(Learning Rate), 반복 횟수, 미니 배치 크기, 초기화 함수 등이 포함된다.
인공 신경망의 학습의 목적은 손실 함수를 최소화하는 모델 파라미터를 결정하는 것으로 볼 수 있다. 손실 함수는 인공 신경망의 학습 과정에서 최적의 모델 파라미터를 결정하기 위한 지표로 이용될 수 있다.
머신 러닝은 학습 방식에 따라 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning)으로 분류할 수 있다.
지도 학습은 학습 데이터에 대한 레이블(label)이 주어진 상태에서 인공 신경망을 학습시키는 방법을 의미하며, 레이블이란 학습 데이터가 인공 신경망에 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과 값)을 의미할 수 있다. 비지도 학습은 학습 데이터에 대한 레이블이 주어지지 않는 상태에서 인공 신경망을 학습시키는 방법을 의미할 수 있다. 강화 학습은 어떤 환경 안에서 정의된 에이전트가 각 상태에서 누적 보상을 최대화하는 행동 혹은 행동 순서를 선택하도록 학습시키는 학습 방법을 의미할 수 있다.
인공 신경망 중에서 복수의 은닉층을 포함하는 심층 신경망(DNN: Deep Neural Network)으로 구현되는 머신 러닝을 딥 러닝(심층 학습, Deep Learning)이라 부르기도 하며, 딥 러닝은 머신 러닝의 일부이다. 이하에서, 머신 러닝은 딥 러닝을 포함하는 의미로 사용된다.
<로봇(Robot)>
로봇은 스스로 보유한 능력에 의해 주어진 일을 자동으로 처리하거나 작동하는 기계를 의미할 수 있다. 특히, 환경을 인식하고 스스로 판단하여 동작을 수행하는 기능을 갖는 로봇을 지능형 로봇이라 칭할 수 있다.
로봇은 사용 목적이나 분야에 따라 산업용, 의료용, 가정용, 군사용 등으로 분류할 수 있다.
로봇은 액츄에이터 또는 모터를 포함하는 구동부를 구비하여 로봇 관절을 움직이는 등의 다양한 물리적 동작을 수행할 수 있다. 또한, 이동 가능한 로봇은 구동부에 휠, 브레이크, 프로펠러 등이 포함되어, 구동부를 통해 지상에서 주행하거나 공중에서 비행할 수 있다.
<자율 주행(Self-Driving)>
자율 주행은 스스로 주행하는 기술을 의미하며, 자율 주행 차량은 사용자의 조작 없이 또는 사용자의 최소한의 조작으로 주행하는 차량(Vehicle)을 의미한다.
예컨대, 자율 주행에는 주행중인 차선을 유지하는 기술, 어댑티브 크루즈 컨트롤과 같이 속도를 자동으로 조절하는 기술, 정해진 경로를 따라 자동으로 주행하는 기술, 목적지가 설정되면 자동으로 경로를 설정하여 주행하는 기술 등이 모두 포함될 수 있다.
차량은 내연 기관만을 구비하는 차량, 내연 기관과 전기 모터를 함께 구비하는 하이브리드 차량, 그리고 전기 모터만을 구비하는 전기 차량을 모두 포괄하며, 자동차뿐만 아니라 기차, 오토바이 등을 포함할 수 있다.
이때, 자율 주행 차량은 자율 주행 기능을 가진 로봇으로 볼 수 있다.
<확장 현실(XR: eXtended Reality)>
확장 현실은 가상 현실(VR: Virtual Reality), 증강 현실(AR: Augmented Reality), 혼합 현실(MR: Mixed Reality)을 총칭한다. VR 기술은 현실 세계의 객체나 배경 등을 CG 영상으로만 제공하고, AR 기술은 실제 사물 영상 위에 가상으로 만들어진 CG 영상을 함께 제공하며, MR 기술은 현실 세계에 가상 객체들을 섞고 결합시켜서 제공하는 컴퓨터 그래픽 기술이다.
MR 기술은 현실 객체와 가상 객체를 함께 보여준다는 점에서 AR 기술과 유사하다. 그러나, AR 기술에서는 가상 객체가 현실 객체를 보완하는 형태로 사용되는 반면, MR 기술에서는 가상 객체와 현실 객체가 동등한 성격으로 사용된다는 점에서 차이점이 있다.
XR 기술은 HMD(Head-Mount Display), HUD(Head-Up Display), 휴대폰, 태블릿 PC, 랩탑, 데스크탑, TV, 디지털 사이니지 등에 적용될 수 있고, XR 기술이 적용된 장치를 XR 장치(XR Device)라 칭할 수 있다.
도 10은 본 발명의 일 실시 예에 따른 AI 장치(1000)를 나타낸다.
도 10에 도시된 AI 장치(1000)는 TV, 프로젝터, 휴대폰, 스마트폰, 데스크탑 컴퓨터, 노트북, 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC, 웨어러블 장치, 셋톱박스(STB), DMB 수신기, 라디오, 세탁기, 냉장고, 데스크탑 컴퓨터, 디지털 사이니지, 로봇, 차량 등과 같은, 고정형 기기 또는 이동 가능한 기기 등으로 구현될 수 있다.
도 10을 참조하면, AI 장치(1000)는 통신부(1010), 입력부(1020), 러닝 프로세서(1030), 센싱부(1040), 출력부(1050), 메모리(1070) 및 프로세서(1080) 등을 포함할 수 있다.
통신부(1010)는 유무선 통신 기술을 이용하여 다른 AI 장치나 AI 서버 등의 외부 장치들과 데이터를 송수신할 수 있다. 예컨대, 통신부(1010)는 외부 장치들과 센서 정보, 사용자 입력, 학습 모델, 제어 신호 등을 송수신할 수 있다.
이때, 통신부(1010)가 이용하는 통신 기술에는 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), LTE(Long Term Evolution), WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), ZigBee, NFC(Near Field Communication) 등이 있다. 특히, 이전 도 1 내지 도 9에서 전술한 5G 기술이 적용될 수도 있다.
입력부(1020)는 다양한 종류의 데이터를 획득할 수 있다. 이때, 입력부(1020)는 영상 신호 입력을 위한 카메라, 오디오 신호를 수신하기 위한 마이크로폰, 사용자로부터 정보를 입력 받기 위한 사용자 입력부 등을 포함할 수 있다. 여기서, 카메라나 마이크로폰을 센서로 취급하여, 카메라나 마이크로폰으로부터 획득한 신호를 센싱 데이터 또는 센서 정보라고 할 수도 있다.
입력부(1020)는 모델 학습을 위한 학습 데이터 및 학습 모델을 이용하여 출력을 획득할 때 사용될 입력 데이터 등을 획득할 수 있다. 입력부(1020)는 가공되지 않은 입력 데이터를 획득할 수도 있으며, 이 경우 프로세서(1080) 또는 러닝 프로세서(1030)는 입력 데이터에 대하여 전처리로써 입력 특징점(input feature)을 추출할 수 있다.
러닝 프로세서(1030)는 학습 데이터를 이용하여 인공 신경망으로 구성된 모델을 학습시킬 수 있다. 여기서, 학습된 인공 신경망을 학습 모델이라 칭할 수 있다. 학습 모델은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다.
이때, 러닝 프로세서(1030)는 AI 서버의 러닝 프로세서와 함께 AI 프로세싱을 수행할 수 있다.
이때, 러닝 프로세서(1030)는 AI 장치(1000)에 통합되거나 구현된 메모리를 포함할 수 있다. 또는, 러닝 프로세서(1030)는 메모리(1070), AI 장치(1000)에 직접 결합된 외부 메모리 또는 외부 장치에서 유지되는 메모리를 사용하여 구현될 수도 있다.
센싱부(1040)는 다양한 센서들을 이용하여 AI 장치(1000) 내부 정보, AI 장치(1000)의 주변 환경 정보 및 사용자 정보 중 적어도 하나를 획득할 수 있다.
이때, 센싱부(1040)에 포함되는 센서에는 근접 센서, 조도 센서, 가속도 센서, 자기 센서, 자이로 센서, 관성 센서, RGB 센서, IR 센서, 지문 인식 센서, 초음파 센서, 광 센서, 마이크로폰, 라이다, 레이더 등이 있다.
출력부(1050)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시킬 수 있다.
이때, 출력부(1050)에는 시각 정보를 출력하는 디스플레이부, 청각 정보를 출력하는 스피커, 촉각 정보를 출력하는 햅틱 모듈 등이 포함될 수 있다.
메모리(1070)는 AI 장치(1000)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 예컨대, 메모리(1070)는 입력부(1020)에서 획득한 입력 데이터, 학습 데이터, 학습 모델, 학습 히스토리 등을 저장할 수 있다.
프로세서(1080)는 데이터 분석 알고리즘 또는 머신 러닝 알고리즘을 사용하여 결정되거나 생성된 정보에 기초하여, AI 장치(1000)의 적어도 하나의 실행 가능한 동작을 결정할 수 있다. 그리고, 프로세서(1080)는 AI 장치(1000)의 구성 요소들을 제어하여 결정된 동작을 수행할 수 있다.
이를 위해, 프로세서(1080)는 러닝 프로세서(1030) 또는 메모리(1070)의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 상기 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 AI 장치(1000)의 구성 요소들을 제어할 수 있다.
이때, 프로세서(1080)는 결정된 동작을 수행하기 위하여 외부 장치의 연계가 필요한 경우, 해당 외부 장치를 제어하기 위한 제어 신호를 생성하고, 생성한 제어 신호를 해당 외부 장치에 전송할 수 있다.
프로세서(1080)는 사용자 입력에 대하여 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 사용자의 요구 사항을 결정할 수 있다.
이때, 프로세서(1080)는 음성 입력을 문자열로 변환하기 위한 STT(Speech To Text) 엔진 또는 자연어의 의도 정보를 획득하기 위한 자연어 처리(NLP: Natural Language Processing) 엔진 중에서 적어도 하나 이상을 이용하여, 사용자 입력에 상응하는 의도 정보를 획득할 수 있다.
이때, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 적어도 일부가 머신 러닝 알고리즘에 따라 학습된 인공 신경망으로 구성될 수 있다. 그리고, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 러닝 프로세서(1030)에 의해 학습된 것이나, AI 서버의 러닝 프로세서에 의해 학습된 것이거나, 또는 이들의 분산 처리에 의해 학습된 것일 수 있다. 참고로, AI 서버의 구체적인 구성요소들은 이하 도 11에 상세히 도시되어 있다.
프로세서(1080)는 AI 장치(1000)의 동작 내용이나 동작에 대한 사용자의 피드백 등을 포함하는 이력 정보를 수집하여 메모리(1070) 또는 러닝 프로세서(1030)에 저장하거나, AI 서버 등의 외부 장치에 전송할 수 있다. 수집된 이력 정보는 학습 모델을 갱신하는데 이용될 수 있다.
프로세서(1080)는 메모리(1070)에 저장된 응용 프로그램을 구동하기 위하여, AI 장치(1000)의 구성 요소들 중 적어도 일부를 제어할 수 있다. 나아가, 프로세서(1080)는 상기 응용 프로그램의 구동을 위하여, AI 장치(1000)에 포함된 구성 요소들 중 둘 이상을 서로 조합하여 동작시킬 수 있다.
도 11은 본 발명의 일 실시 예에 따른 AI 서버(1120)를 나타낸다.
도 11을 참조하면, AI 서버(1120)는 머신 러닝 알고리즘을 이용하여 인공 신경망을 학습시키거나 학습된 인공 신경망을 이용하는 장치를 의미할 수 있다. 여기서, AI 서버(1120)는 복수의 서버들로 구성되어 분산 처리를 수행할 수도 있고, 5G 네트워크로 정의될 수 있다. 이때, AI 서버(1120)는 AI 장치(1100)의 일부의 구성으로 포함되어, AI 프로세싱 중 적어도 일부를 함께 수행할 수도 있다.
AI 서버(1120)는 통신부(1121), 메모리(1123), 러닝 프로세서(1124) 및 프로세서(1126) 등을 포함할 수 있다.
통신부(1121)는 AI 장치(1100) 등의 외부 장치와 데이터를 송수신할 수 있다.
메모리(1123)는 모델 저장부(1124)를 포함할 수 있다. 모델 저장부(1124)는 러닝 프로세서(1124)을 통하여 학습 중인 또는 학습된 모델(또는 인공 신경망, 1125)을 저장할 수 있다.
러닝 프로세서(1124)는 학습 데이터를 이용하여 인공 신경망(1125)을 학습시킬 수 있다. 학습 모델은 인공 신경망의 AI 서버(1120)에 탑재된 상태에서 이용되거나, AI 장치(1100) 등의 외부 장치에 탑재되어 이용될 수도 있다.
학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어(instruction)는 메모리(1123)에 저장될 수 있다.
프로세서(1126)는 학습 모델을 이용하여 새로운 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수 있다.
도 12는 본 발명의 일 실시 예에 따른 AI 시스템을 나타낸다.
도 12를 참조하면, AI 시스템은 AI 서버(1260), 로봇(1210), 자율 주행 차량(1220), XR 장치(1230), 스마트폰(1240) 또는 가전(1250) 중에서 적어도 하나 이상이 클라우드 네트워크(1210)와 연결된다. 여기서, AI 기술이 적용된 로봇(1210), 자율 주행 차량(1220), XR 장치(1230), 스마트폰(1240) 또는 가전(1250) 등을 AI 장치라 칭할 수 있다.
클라우드 네트워크(1210)는 클라우드 컴퓨팅 인프라의 일부를 구성하거나 클라우드 컴퓨팅 인프라 안에 존재하는 네트워크를 의미할 수 있다. 여기서, 클라우드 네트워크(1210)는 3G 네트워크, 4G 또는 LTE(Long Term Evolution) 네트워크 또는 5G 네트워크 등을 이용하여 구성될 수 있다.
즉, AI 시스템을 구성하는 각 장치들(1210 내지 1260)은 클라우드 네트워크(1210)를 통해 서로 연결될 수 있다. 특히, 각 장치들(1210 내지 1260)은 기지국을 통해서 서로 통신할 수도 있지만, 기지국을 통하지 않고 직접 서로 통신할 수도 있다.
AI 서버(1260)는 AI 프로세싱을 수행하는 서버와 빅 데이터에 대한 연산을 수행하는 서버를 포함할 수 있다.
AI 서버(1260)는 AI 시스템을 구성하는 AI 장치들인 로봇(1210), 자율 주행 차량(1220), XR 장치(1230), 스마트폰(1240) 또는 가전(1250) 중에서 적어도 하나 이상과 클라우드 네트워크(1210)을 통하여 연결되고, 연결된 AI 장치들(1210 내지 1250)의 AI 프로세싱을 적어도 일부를 도울 수 있다.
이때, AI 서버(1260)는 AI 장치(1210 내지 1250)를 대신하여 머신 러닝 알고리즘에 따라 인공 신경망을 학습시킬 수 있고, 학습 모델을 직접 저장하거나 AI 장치(1210 내지 1250)에 전송할 수 있다.
이때, AI 서버(1260)는 AI 장치(1210 내지 1250)로부터 입력 데이터를 수신하고, 학습 모델을 이용하여 수신한 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성하여 AI 장치(1210 내지 1250)로 전송할 수 있다.
또는, AI 장치(1210 내지 1250)는 직접 학습 모델을 이용하여 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수도 있다.
이하에서는, 상술한 기술이 적용되는 AI 장치(1210 내지 1250)의 다양한 실시 예들을 설명한다. 여기서, 도 12에 도시된 AI 장치(1210 내지 1250)는 도 10에 도시된 AI 장치(1000)의 구체적인 실시 예로 볼 수 있다.
<AI+XR>
XR 장치(1230)는 AI 기술이 적용되어, HMD(Head-Mount Display), 차량에 구비된 HUD(Head-Up Display), 텔레비전, 휴대폰, 스마트 폰, 컴퓨터, 웨어러블 디바이스, 가전 기기, 디지털 사이니지, 차량, 고정형 로봇이나 이동형 로봇 등으로 구현될 수도 있다.
XR 장치(1230)는 다양한 센서들을 통해 또는 외부 장치로부터 획득한 3차원 포인트 클라우드 데이터 또는 이미지 데이터를 분석하여 3차원 포인트들에 대한 위치 데이터 및 속성 데이터를 생성함으로써 주변 공간 또는 현실 객체에 대한 정보를 획득하고, 출력할 XR 객체를 렌더링하여 출력할 수 있다. 예컨대, XR 장치(1230)는 인식된 물체에 대한 추가 정보를 포함하는 XR 객체를 해당 인식된 물체에 대응시켜 출력할 수 있다.
XR 장치(1230)는 적어도 하나 이상의 인공 신경망으로 구성된 학습 모델을 이용하여 상기한 동작들을 수행할 수 있다. 예컨대, XR 장치(1230)는 학습 모델을 이용하여 3차원 포인트 클라우드 데이터 또는 이미지 데이터에서 현실 객체를 인식할 수 있고, 인식한 현실 객체에 상응하는 정보를 제공할 수 있다. 여기서, 학습 모델은 XR 장치(1230)에서 직접 학습되거나, AI 서버(1260) 등의 외부 장치에서 학습된 것일 수 있다.
이때, XR 장치(1230)는 직접 학습 모델을 이용하여 결과를 생성하여 동작을 수행할 수도 있지만, AI 서버(1260) 등의 외부 장치에 센서 정보를 전송하고 그에 따라 생성된 결과를 수신하여 동작을 수행할 수도 있다.
<AI+로봇+XR>
로봇(1210)은 AI 기술 및 XR 기술이 적용되어, 안내 로봇, 운반 로봇, 청소 로봇, 웨어러블 로봇, 엔터테인먼트 로봇, 펫 로봇, 무인 비행 로봇, 드론 등으로 구현될 수 있다.
XR 기술이 적용된 로봇(1210)은 XR 영상 내에서의 제어/상호작용의 대상이 되는 로봇을 의미할 수 있다. 이 경우, 로봇(1210)은 XR 장치(1230)와 구분되며 서로 연동될 수 있다.
XR 영상 내에서의 제어/상호작용의 대상이 되는 로봇(1210)은 카메라를 포함하는 센서들로부터 센서 정보를 획득하면, 로봇(1210) 또는 XR 장치(1230)는 센서 정보에 기초한 XR 영상을 생성하고, XR 장치(1230)는 생성된 XR 영상을 출력할 수 있다. 그리고, 이러한 로봇(1210)은 XR 장치(1230)를 통해 입력되는 제어 신호 또는 사용자의 상호작용에 기초하여 동작할 수 있다.
예컨대, 사용자는 XR 장치(1230) 등의 외부 장치를 통해 원격으로 연동된 로봇(1210)의 시점에 상응하는 XR 영상을 확인할 수 있고, 상호작용을 통하여 로봇(1210)의 자율 주행 경로를 조정하거나, 동작 또는 주행을 제어하거나, 주변 객체의 정보를 확인할 수 있다.
<AI+자율주행+XR>
자율 주행 차량(1220)은 AI 기술 및 XR 기술이 적용되어, 이동형 로봇, 차량, 무인 비행체 등으로 구현될 수 있다.
XR 기술이 적용된 자율 주행 차량(1220)은 XR 영상을 제공하는 수단을 구비한 자율 주행 차량이나, XR 영상 내에서의 제어/상호작용의 대상이 되는 자율 주행 차량 등을 의미할 수 있다. 특히, XR 영상 내에서의 제어/상호작용의 대상이 되는 자율 주행 차량(1220)은 XR 장치(1230)와 구분되며 서로 연동될 수 있다.
XR 영상을 제공하는 수단을 구비한 자율 주행 차량(1220)은 카메라를 포함하는 센서들로부터 센서 정보를 획득하고, 획득한 센서 정보에 기초하여 생성된 XR 영상을 출력할 수 있다. 예컨대, 자율 주행 차량(1220)은 HUD를 구비하여 XR 영상을 출력함으로써, 탑승자에게 현실 객체 또는 화면 속의 객체에 대응되는 XR 객체를 제공할 수 있다.
이때, XR 객체가 HUD에 출력되는 경우에는 XR 객체의 적어도 일부가 탑승자의 시선이 향하는 실제 객체에 오버랩되도록 출력될 수 있다. 반면, XR 객체가 자율 주행 차량(100b)의 내부에 구비되는 디스플레이에 출력되는 경우에는 XR 객체의 적어도 일부가 화면 속의 객체에 오버랩되도록 출력될 수 있다. 예컨대, 자율 주행 차량(1220)은 차로, 타 차량, 신호등, 교통 표지판, 이륜차, 보행자, 건물 등과 같은 객체와 대응되는 XR 객체들을 출력할 수 있다.
XR 영상 내에서의 제어/상호작용의 대상이 되는 자율 주행 차량(1220)은 카메라를 포함하는 센서들로부터 센서 정보를 획득하면, 자율 주행 차량(1220) 또는 XR 장치(1230)는 센서 정보에 기초한 XR 영상을 생성하고, XR 장치(1230)는 생성된 XR 영상을 출력할 수 있다. 그리고, 이러한 자율 주행 차량(1220)은 XR 장치(1230) 등의 외부 장치를 통해 입력되는 제어 신호 또는 사용자의 상호작용에 기초하여 동작할 수 있다.
본 발명에 의한 VR (Virtual Reality) 기술, AR (Augmented Reality) 기술, MR (Mixed Reality) 기술은, 다양한 디바이스에 적용 가능하며, 보다 구체적으로 예를 들면 HMD (Head-Mount Display), 차량(vehicle)에 부착된 HUD (Head-Up Display), 휴대폰, 태블릿 PC, 랩탑, 데스크탑, TV, 사이니지 등에 적용된다. 또한, 플렉서블, 롤러블 디스플레이를 장착한 디바이스에도 적용 가능하다.
나아가 전술한 VR 기술, AR 기술, MR 기술은 컴퓨터 그래픽을 기반으로 구현되며 사용자의 시야에 펼쳐지는 영상에서 CG(Computer Graphic) 영상이 차지하는 비율에 따라 구분될 수도 있다.
즉, VR 기술은, 현실 세계의 객체나 배경 등을 CG 영상으로만 제공하는 디스플레이 기술이다. 반면, AR 기술은, 실제 사물 영상 위에 가상으로 만들어진 CG 영상을 함께 보여 주는 기술을 의미한다.
나아가, MR 기술은, 현실세계에 가상 객체들을 섞고 결합시켜서 보여준다는 점에서 전술한 AR 기술과 유사하다. 그러나, AR 기술에서는 현실 객체와 CG 영상으로 만들어진 가상 객체의 구별이 뚜렷하고, 현실 객체를 보완하는 형태로 가상 객체를 사용하는 반면, MR 기술에서는 가상 객체가 현실 객체와 동등한 성격으로 간주된다는 점에서 AR 기술과는 구별이 된다. 보다 구체적으로 예를 들면, 전술한 MR 기술이 적용된 것이 홀로그램 서비스 이다.
다만, 최근에는 VR, AR, MR 기술을 명확히 구별하기 보다는 XR (extended Reality) 기술로 부르기도 한다. 따라서, 본 발명의 실시예들은 VR, AR, MR, XR 기술 모두에 적용 가능하다.
한편, VR, AR, MR, XR 기술에 적용되는 하드웨어(HW) 관련 요소 기술로서, 예를 들어 유/무선 통신 기술, 입력 인터페이스 기술, 출력 인터페이스 기술 및 컴퓨팅 장치 기술 등이 존재한다. 또한, 소프트웨어(SW) 관련 요소 기술로서, 예를 들어 추적 및 정합 기술, 음성 인식 기술, 상호 작용 및 사용자 인터페이스 기술, 위치기반 서비스 기술, 검색 기술, AI (Artificial Intelligence) 기술 등이 존재한다.
특히, 본 발명의 실시예들은, 전술한 HW/SW 관련 요소 기술 등을 이용하여, 다른 디바이스와의 통신 문제, 효율적인 메모리 사용 문제, 불편한 UX/UI로 인한 데이터 처리 속도가 낮아지는 문제, 영상 문제, 음향 문제, 멀미 현상 또는 기타 문제 중 적어도 하나를 해결하고자 한다.
도 13은 본 발명의 실시예들에 의한 XR 디바이스의 블록도를 도시한 도면이다. XR 디바이스는 카메라(1310), 디스플레이(1320), 센서(1330), 프로세서(1340), 메모리(1350) 및 통신 모듈(1360) 등을 포함한다. 물론, 당업자의 필요에 따라 일부 모듈을 삭제, 변경, 추가하는 것도 본 발명의 권리범위에 속한다.
통신 모듈(1360)은 외부 장치 또는 서버와 유선/무선으로 통신을 수행하며, 근거리 무선 통신으로 예를 들어 Wi-Fi, 블루투스 등이 사용될 수 있고, 원거리 무선 통신으로 예를 들어 3GPP 통신 규격이 사용될 수 있다. LTE는 3GPP TS 36.xxx Release 8 이후의 기술을 의미한다. 세부적으로, 3GPP TS 36.xxx Release 10 이후의 LTE 기술은 LTE-A로 지칭되고, 3GPP TS 36.xxx Release 13 이후의 LTE 기술은 LTE-A pro로 지칭된다. 3GPP 5G (5th generation) 기술은 TS 36.xxx Release 15 이후의 기술 및 TS 38.XXX Release 15 이후의 기술을 의미하며, 이 중 TS 38.xxx Release 15 이후의 기술은 3GPP NR로 지칭되고, TS 36.xxx Release 15 이후의 기술은 enhanced LTE로 지칭될 수 있다. "xxx"는 표준 문서 세부 번호를 의미한다. LTE/NR은 3GPP 시스템으로 통칭될 수 있다.
카메라(1310)는 XR 디바이스(1300) 주변 환경을 촬영하여 전기적 신호로 변환할 수 있다. 카메라(1310)에서 촬영되어 전기적 신호로 변환된 이미지는 메모리(1350)에 저장된 후 프로세서(1340)를 통해 디스플레이(1320)에서 디스플레이 될 수 있다. 또한, 상기 이미지는 상기 메모리(1350)에 저장 없이, 바로 프로세서(1340)를 이용하여 디스플레이(1320)를 통해 디스플레이 될 수 있다. 또한, 카메라(110)는 화각을 가질 수 있다. 이 때, 화각은 예를 들어 카메라(1310) 주변에 위치하는 리얼 오브젝트를 디텍트할 수 있는 영역을 의미한다. 카메라(1310)는 화각내에 위치하는 리얼 오브젝트만을 디텍트할 수 있다. 리얼 오브젝트가 카메라(1310)의 화각 내에 위치하는 경우, XR 디바이스(1300)는 리얼 오브젝트에 대응하는 증강 현실 오브젝트를 디스플레이 할 수 있다. 또한, 카메라(1310)는 카메라(1310)와 리얼 오브젝트의 각도를 디텍트할 수 있다.
센서(1330)는 적어도 하나의 센서를 포함할 수 있으며, 예를 들어, 중력(gravity) 센서, 지자기 센서, 모션 센서, 자이로 센서, 가속도 센서, 기울임(inclination) 센서, 밝기 센서, 고도 센서, 후각 센서, 온도 센서, 뎁스 센서, 압력 센서, 벤딩 센서, 오디오 센서, 비디오 센서, GPS(Global Positioning System) 센서, 터치 센서 등의 센싱 수단을 포함한다. 나아가, 디스플레이(1320)는 고정형일 수도 있으나, 높은 플렉시빌러티(flexibility)를 갖도록 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode), ELD(Electro Luminescent Display), M-LED(Micro LED)로 구현 가능하다. 이 때, 상기 센서(1330)는 전술한 LCD, OLED, ELD, M-LED (마이크로 LED) 등으로 구현된 디스플레이(1320)의 휘어짐, 벤딩(Bending) 정도를 디텍트 하도록 설계한다.
그리고, 메모리(1350)는 카메라(1310)에 의해 촬영된 이미지를 저장하는 기능을 가지고 있을 뿐만 아니라, 외부 장치 또는 서버와 유선/무선으로 통신을 수행한 결과값의 전부 또는 일부를 저장하는 기능을 가지고 있다. 특히, 통신 데이터 트래픽이 증가하는 추세(예를 들어, 5G 통신 환경에서)를 고려할 때, 효율적인 메모리 관리가 요구된다. 이와 관련하여, 이하 도 14에서 상세히 후술하도록 하겠다.
도 14는 도 13에 도시된 메모리(1350)를 보다 구체적으로 도시한 블록도이다. 이하, 도 14를 참조하여, 본 발명의 일실시예에 따라 램 및 플래쉬 메모리 간의 스왑 아웃(swap out) 과정을 설명하도록 하겠다.
제어부(1430)는 램(1410) 내의 AR/VR 관련 페이지 데이터들을 플래시 메모리(1420)로 스왑 아웃할 때에, 스왑 아웃할 AR/VR 관련 페이지 데이터들 중에서 서로 내용이 동일한 둘 이상의 AR/VR 관련 페이지 데이터들에 대해서는 오직 하나만을 플래시 메모리(1420)로 스왑 아웃할 수 있다.
즉, 제어부(1430)는 상기 스왑 아웃할 AR/VR 관련 페이지 데이터들의 내용을 각각 구별하는 구별값(예를 들어, 해쉬 함수)들을 계산하고, 상기 계산된 구별값들 중 서로 동일한 구별값을 가지는 둘 이상의 AR/VR 페이지 데이터들의 내용이 서로 동일한 것으로 판단할 수 있다. 따라서, 불필요한 AR/VR 관련 페이지 데이터들이 플래쉬 메모리(1420)에 저장되어, 상기 플래쉬 메모리(1420) 뿐만 아니라 이를 포함하는 AR/VR 디바이스의 수명이 단축되는 문제점을 해결할 수가 있다.
상기 제어부(1430)의 동작은 소프트웨어 형태로 구현할 수도 있고, 또는 하드웨어 형태로 구현하는 것도 본 발명의 권리범위에 속한다. 나아가, 보다 구체적으로 도 14에 도시된 메모리 등은, HMD (Head-Mount Display), 차량(vehicle), 휴대폰, 태블릿 PC, 랩탑, 데스크탑, TV, 사이니지 등에 포함되어, 스왑 기능을 수행한다.
한편, 본 발명의 실시예들에 따른 디바이스는3차원 포인트 클라우드 데이터를 처리하여VR, AR, MR, XR 및 자율 주행 서비스 등 다양한 서비스를 사용자에게 제공할 수 있다.
3차원 포인트 클라우드 데이터를 수집하는 센서는 예를 들어, LiDAR (light detection and ranging), RGB-D(Red Green Blue Depth), 3D 레이저 스캐너(Laser Scanner) 등이 될 수 있으며, 상기 센서는 HMD (Head-Mount Display), 차량(vehicle), 휴대폰, 태블릿 PC, 랩탑, 데스크탑, TV, 사이니지 등의 내부 또는 외부에 장착 가능하다.
도 15는 포인트 클라우트 데이터 처리 시스템을 나타낸다.
도 15에 도시된 포인트 클라우드 처리 시스템(1500)은 포인트 클라우드 데이터를 획득하여 인코딩 처리하여 전송하는 전송 디바이스 및 비디오 데이터를 수신하여 디코딩 처리하여 포인트 클라우드 데이터를 획득하는 수신 디바이스를 포함한다. 도 15에 도시된 바와 같이 본 발명의 실시예들에 따른 포인트 클라우드 데이터는 포인트 클라우드 데이터의 캡처, 합성 또는 생성 과정 등을 통하여 획득될 수 있다(S1510). 획득 과정에서 포인트들에 대한 3D 위치(x, y, z)/속성 (color, reflectance, transparency 등) 데이터 (예를 들어, PLY(Polygon File format or the Stanford Triangle format) 파일 등)이 생성될 수 있다. 여러 개의 프레임을 갖는 비디오의 경우 하나 이상의 파일들이 획득될 수 있다. 캡처 과정에서 포인트 클라우드 데이터 관련 메타데이터 (예를 들어 캡처와 관련된 메타데이터 등)가 생성될 수 있다. 본 발명의 실시예들에 따른 전송 디바이스 또는 인코더는Video-based Point Cloud Compression (V-PCC) 또는 Geometry-based Point Cloud Compression (G-PCC) 방식을 이용하여 포인트 클라우드 데이터를 인코딩하여 하나 또는 그 이상의 비디오 스트림들을 출력할 수 있다(S1520). V-PCC는 HEVC, VVC 등의 2D 비디오 코덱 (video codec)을 기반으로 포인트 클라우드 데이터를 압축하는 방법이고, G-PCC는 포인트 클라우드 데이터를 지오메트리 (geometry) 및 어트리뷰트(attribute) 두 가지 스트림으로 나누어 인코딩하는 방법이다. 지오메트리 스트림은 포인트들의 위치 정보를 재구성하고 인코딩하여 생성될 수 있으머, 어트리뷰트 스트림은 각 포인트와 연관된 속성 정보 (예를 들면 색상 등)를 재구성하고 인코딩하여 생성될 수 있다. V-PCC의 경우, 2D 비디오와 호환 가능하나, V-PCC 처리된 데이터를 복구하는데 G-PCC 대비 더 많은 데이터(예를 들면, 지오메트리 비디오, 어트리뷰트(attribute) 비디오, 어큐판시(occupancy) 맵 비디오 및 부가 정보(auxiliary information))가 필요하여 서비스 제공 시 더 긴 지연시간이 발생할 수 있다. 출력된 하나 또는 그 이상의 비트 스트림들은 관련 메타데이터와 함께 파일 등의 형태 (예를 들면 ISOBMFF 등의 파일 포맷 등)로 인캡슐레이션되어 네트워크 또는 디지털 저장매체를 통해 전송될 수 있다(S1530).
본 발명의 실시예들에 따른 디바이스 또는 프로세서는 수신한 비디오 데이터를 디캡슐레이션 처리하여 하나 또는 그 이상의 비트 스트림들을 및 관련 메타 데이터를 획득하고, 획득한 비트 스트림들을 V-PCC 또는 G-PCC 방식으로 디코딩하여 3차원의 포인트 클라우드 데이터를 복원할 수 있다(S1540). 렌더러는 디코딩된 포인트 클라우드 데이터를 렌더링하고 디스플레이부를 통해 사용자에게 VR/AR/MR/ 서비스에 맞는 콘텐트를 제공할 수 있다(S1550).
도 15에 도시된 바와 같이, 본 발명의 실시예들에 따른 디바이스 또는 프로세서는 렌더링/디스플레이 과정에서 획득한 다양한 피드백 정보들을 송신 디바이스로 전달하거나, 디코딩 과정에 전달하는 피드백 프로세스를 수행할 수 있다(S1560). 본 발명의 실시예들에 따른 피드백 정보는 헤드 오리엔테이션(Head Orientation) 정보, 사용자가 현재 보고 있는 영역을 나타내는 뷰포트(Viewport) 정보 등을 포함할 수 있다. 피드백 프로세스를 통해 사용자와 서비스 (또는 콘텐트) 프로바이더 간의 상호작용이 이루어지므로, 본 발명의 실시예들에 따른 디바이스는 보다 높은 사용자 편의가 고려된 다양한 서비스들을 제공할 수 있을 뿐만 아니라, 전술한 V-PCC 또는 G-PCC 방식을 이용하여 보다 빠른 데이터 처리 속도를 제공하거나 선명한 비디오 구성이 가능한 기술적 효과가 있다.
도 16은 러닝 프로세서를 포함하는 XR 디바이스(1600)를 나타낸다. 이전 도 13과 대비하여, 러닝 프로세서(1670)만 추가되었으므로, 다른 구성요소들은 도 13을 참조하여 해석 가능하므로 중복되는 설명은 생략한다.
도 16에 도시된 XR 디바이스(160)는 학습모델을 탑재할 수 있다. 학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어(instruction)는 메모리(1650)에 저장될 수 있다.
본 발명의 실시예들에 따른 러닝 프로세서(1670)는 프로세서(1640)와 통신 가능하도록 연결될 수 있으며, 훈련 데이터를 이용하여 인공 신경망으로 구성된 모델을 반복적으로 학습시킬 수 있다. 인공신경망은 생물학적 뉴런의 동작원리와 뉴런간의 연결 관계를 모델링한 것으로 노드(node) 또는 처리 요소(processing element)라고 하는 다수의 뉴런들이 레이어(layer) 구조의 형태로 연결된 정보처리 시스템이다. 인공 신경망은 기계 학습에서 사용되는 모델로써, 기계학습과 인지과학에서 생물학의 신경망(동물의 중추신경계 중 특히 뇌)에서 영감을 얻은 통계학적 학습 알고리즘이다. 기계 학습은 머신 러닝(Machine Learning)과 혼용되어 사용될 수 있다. 머신 러닝은 인공지능(Artificial Intelligence, AI)의 한 분야로, 컴퓨터에 명시적인 프로그램 없이 배울 수 있는 능력을 부여하는 기술이다. 머신 러닝은 경험적 데이터를 기반으로 학습을 하고 예측을 수행하고 스스로의 성능을 향상시키는 시스템과 이를 위한 알고리즘을 연구하고 구축하는 기술이다. 따라서 본 발명의 실시예들에 따른 러닝 프로세서(1670)는 인공 신경망을 반복 학습시킴으로서, 인공 신경망의 최적화된 모델 파라미터들을 결정하여 새로운 입력 데이터에 대하여 결과 값을 추론할 수 있다. 따라서 러닝 프로세서(1670)는 사용자의 디바이스 사용 히스토리 정보를 기반으로 사용자의 디바이스 사용 패턴을 분석할 수 있다. 또한, 러닝 프로세서(1670)는 데이터 마이닝, 데이터 분석, 지능형 의사 결정, 및 기계 학습 알고리즘 및 기술을 위해 이용될 정보를 수신, 분류, 저장 및 출력하도록 구성될 수 있다.
본 발명의 실시예들에 따른 프로세서(1640)는 러닝 프로세서(1670)에서 분석되거나 생성된 데이터를 기반으로 디바이스의 적어도 하나의 실행 가능한 동작을 결정 또는 예측할 수 있다. 또한 프로세서(1640)는 러닝 프로세서(1670)의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 XR 디바이스(1600)를 제어할 수 있다. 본 발명의 실시예들에 따른 프로세서(1640)는 지능적 에뮬레이션(즉, 지식 기반 시스템, 추론 시스템 및 지식 획득 시스템)을 구현하는 다양한 기능을 수행 할 수 있다. 이는 적응 시스템, 기계 학습 시스템, 인공 신경망 등을 포함하는, 다양한 유형의 시스템(예컨대, 퍼지 논리 시스템)에 적용될 수 있다. 즉, 프로세서(1640)는 러닝 프로세서(1670)에서 사용자의 디바이스 사용 패턴을 분석한 데이터를 기반으로 추후 사용자 디바이스 사용 패턴을 예측하여 XR 디바이스(1600)는 사용자에게 보다 적합한 XR 서비스를 제공할 수 있도록 제어할 수 있다. 여기서의, XR 서비스는 AR 서비스, VR 서비스, MR 서비스 중 적어도 하나 이상을 포함한다.
도 17은 도 16에 도시된 본 발명의 XR 디바이스(1600)가 XR 서비스를 제공하는 과정을 나타낸다.
본 발명의 실시예들에 따른 프로세서(1670)는 사용자의 디바이스 사용 히스토리 정보를 메모리(1650)에 저장할 수 있다(S1710). 디바이스 사용 히스토리 정보는 사용자에게 제공된 콘텐트 이름, 카테고리, 내용 등의 정보, 디바이스가 사용된 시간 정보, 사용자가 디바이스를 사용한 장소 정보, 시간 정보, 디바이스에 설치된 어플리케이션 사용 정보 등을 포함할 수 있다.
본 발명의 실시예들에 따른 러닝 프로세서(1670)는 디바이스 사용 히스토리 정보를 분석하여 사용자의 디바이스 사용 패턴 정보를 획득할 수 있다(S1720). 예를 들어 XR 디바이스(1600)가 사용자에게 특정 콘텐트 A를 제공한 경우, 러닝 프로세서(1670)는 콘텐트 A에 대한 구체적인 정보 (예를 들면, 콘텐트 A를 주로 사용하는 사용자들의 관한 나이 정보, 콘텐트 A의 내용 정보, 콘텐트 A와 유사한 콘텐트 정보 등), 해당 단말기를 사용하는 사용자가 특정 콘텐트 A를 소비한 시간, 장소, 횟수 등의 정보를 총 종합하여, 사용자가 콘텐트 A를 해당 디바이스에서 사용하는 패턴 정보를 학습할 수 있다.
본 발명의 실시예들에 따른 프로세서(1640)는 러닝 프로세서(16470)에서 학습한 정보를 기반으로 생성된 사용자 디바이스 패턴 정보를 획득하고, 디바이스 사용 패턴 예측 정보를 생성할 수 있다(S1730). 또한 프로세서(1640)는 예를 들어, 사용자가 디바이스(1640)를 사용하지 않는 경우 사용자가 디바이스(1640)를 자주 사용했던 장소에 있다고 판단되거나, 사용자가 디바이스(1640)를 주로 사용하는 시간에 가까운 경우, 프로세서(1640)는 디바이스(1600)가 동작하도록 지시할 수 있다. 이 경우, 본 발명의 실시예들에 따른 디바이스는 사용자 패턴 예측 정보에 기반하여 AR 콘텐트를 제공할 수 있다(S1740).
또한 사용자가 디바이스(1600)를 사용하는 경우, 프로세서(1640)는 현재 사용자에게 제공되고 있는 콘텐트의 정보를 파악하고, 해당 콘텐트와 관련된 사용자의 디바이스 사용 패턴 예측 정보(예를 들면 사용자가 다른 관련 콘텐트를 요청하거나 현재 콘텐트와 관련된 추가 데이터를 요청하는 경우 등)를 생성할 수 있다. 또한 프로세서(1640)는 디바이스(1600)의 동작을 지시하여 사용자 패턴 예측 정보에 기반하여 AR 콘텐트를 제공할 수 있다(S1740). 본 발명의 실시예들에 따른 AR 콘텐트는 광고, 네비게이션 정보, 위험 정보 등을 포함할 수 있다.
도 18은 XR 디바이스와 로봇의 외관을 도시하고 있다.
본 발명의 일실시예에 의한 XR 기술이 탑재된 디바이스(18000)의 구성 모듈에 대해서는 이전 도면들에서 상세히 설명한 바 중복되는 설명은 생략한다.
도 18에 도시된 로봇(1810)의 외관은 예시에 불과하며, 다양한 외관으로 본 발명의 로봇을 구현할 수 있다. 예를 들어, 도 18에 도시된 로봇(1810)은, 드론, 청소기, 요리 로봇, 웨어러블 로봇 등이 될 수 있으며, 특히, 각각의 구성요소는 로봇의 형상에 따라 상하좌우 전후 등에서 다른 위치에 배치될 수 있다.
로봇은 외부의 물체를 식별하기 위한 다양한 센서들을 로봇(1810)의 외부에 다수 배치할 수 있다. 또한 로봇은 사용자에게 소정의 정보를 제공하기 위해 인터페이스부(1811)를 로봇(1810)의 상부 또는 후면(1812)에 배치하였다.
로봇의 이동과 주변의 사물을 감지하여 로봇을 제어하기 위해 로봇제어모듈(1850)이 로봇(1810) 내부에 탑재된다. 로봇제어모듈(1850)은 소프트웨어 모듈 또는 이를 하드웨어로 구현한 칩 등으로 구현 가능하다. 로봇제어모듈(1850)은 세부적으로 딥러닝부(1851), 센싱정보처리부(1852), 이동경로생성부(1853), 통신 모듈(1854) 등을 더 포함할 수 있다.
센싱정보처리부(1852)는 로봇(1810)에 배치된 다양한 종류의 센서들(라이다 센서, 적외선 센서, 초음파 센서, 뎁스 센서, 이미지 센서, 마이크 등)이 센싱한 정보를 취합 및 처리한다.
딥러닝부(1851)는 센싱정보처리부(1852)가 처리한 정보 또는 로봇(1810)이 이동 과정에서 누적 저장한 정보 등을 입력하여 로봇(1810)이 외부 상황을 판단하거나, 정보를 처리하거나, 이동 경로를 생성하는데 필요한 결과물을 출력할 수 있다.
이동경로생성부(1853)는 딥러닝부(1851)가 산출한 데이터 또는 센싱정보처리부(1852)에서 처리한 데이터를 이용하여 로봇의 이동 경로를 산출할 수 있다.
다만, XR 기술이 탑재된 디바이스(1800) 및 로봇(1810)은 모두 통신 모듈을 가지고 있으므로, Wi-Fi, 블루투스 등의 근거리 무선 통신이나 5G 원거리 무선 통신 등을 통하여, 데이터를 송수신 하는 것이 가능하다. XR 기술이 탑재된 디바이스(1800)를 이용하여, 로봇(1810)을 제어하는 기술에 대해서는, 이하 도 19에서 후술하도록 한다.
도 19는 XR 기술이 탑재된 디바이스를 이용하여, 로봇을 제어하는 과정을 도시한 플로우 차트이다.
우선, XR 기술이 탑재된 디바이스 및 로봇은 5G 네트워크로 통신 연결된다(S1901). 물론, 다른 근거리, 원거리 통신 기술을 통해 서로 데이터를 송수신하는 것도 본 발명의 권리범위에 속한다.
로봇은 내외부에 설치된 적어도 하나의 카메라를 이용하여 로봇 주변의 이미지 또는 영상을 캡쳐하고(S1902), 캡쳐된 이미지/영상을 XR 디바이스로 전송한다(S1903). XR 디바이스는 캡쳐된 이미지/영상을 디스플레이 하고(S1904), 로봇을 제어하기 위한 커맨드를 로봇에 전송한다(S1905). 상기 커맨드는 XR 디바이스의 유저에 의해 수동으로 입력될 수도 있고, 또는 AI (Artificial Intelligent) 기술을 통해 자동으로 생성되는 것도 본 발명의 권리범위에 속한다.
로봇은 상기 S405 단계에서 수신한 커맨드에 따라 해당 기능을 실행하고(S1906), 결과값을 XR 디바이스에 전송한다(S1907). 상기 결과값은, 통상의 데이터 처리 성공/실패 여부에 대한 인디케이터, 현재 촬영된 이미지/영상 또는 XR 디바이스를 고려한 특정 데이터가 될 수도 있다. 상기 특정 데이터라 함은, 예를 들어 XR 디바이스의 상태에 따라 변경되도록 설계한다. 만약, XR 디바이스의 디스플레이가 off 상태인 경우, XR 디바이스의 디스플레이를 ON 시키는 커맨드를 S1907 단계에 포함시킨다. 따라서, 로봇 주변에 위급한 상황 발생시, 원격에 있는 XR 디바이스의 디스플레이가 꺼져 있어도, 알림 메시지가 전달될 수 있는 기술적 효과가 있다.
그리고, 상기 S1907 단계에서 수신한 결과값에 따라, AR/VR 관련 컨텐츠가 디스플레이 된다(S1908).
추가적으로 본 발명의 다른 일실시예에 의하면, 로봇에 부착된 GPS 모듈을 이용하여, XR 디바이스에서 로봇의 위치 정보를 디스플레이 하는 것도 가능하다.
도 13에서 설명한 XR 디바이스(1300)는 자율 주행 서비스를 제공하는 차량과 유/무선 통신이 가능하도록 연결되거나, 자율 주행 서비스를 제공하는 차량에 탑재될 수 있다. 따라서 자율 주행 서비스를 제공하는 차량에서도 AR/VR를 포함한 다양한 서비스를 제공할 수 있다.
도 20은 자율 주행 서비스를 제공하는 차량을 나타낸다.
본 발명의 실시예들에 따른 차량(2010)은 도로나 선로 위를 주행하는 수송 수단으로 자동차, 기차, 오토바이를 포함할 수 있다. 본 발명의 실시예들에 따른 차량(2010)은 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량등을 모두 포함할 수 있다.
본 발명의 실시예들에 따른 차량(2010)은 차량의 동작을 제어하기 위해 다음의 구성요소들을 포함할 수 있다: 사용자 인터페이스 장치, 오브젝트 검출 장치, 통신 장치, 운전 조작 장치, 메인 ECU, 구동 제어 장치, 자율 주행 장치(260), 센싱부 및 위치 데이터 생성 장치;
오브젝트 검출 장치, 통신 장치, 운전 조작 장치, 메인 ECU, 구동 제어 장치, 자율 주행 장치, 센싱부 및 위치 데이터 생성 장치는 각각 전기적 신호를 생성하고, 상호간에 전기적 신호를 교환하는 전자 장치로 구현될 수 있다.
사용자 인터페이스 장치는 사용자 입력을 수신하고, 사용자에게 차량(2010)에서 생성된 정보를 UI(User Interface) 또는 UX(User Experience)의 형식으로 제공할 수 있다. 사용자 인터페이스 장치는 입/출력 장치 및 사용자 모니터링 장치를 포함할 수 있다. 오브젝트 검출 장치는 차량(2010) 외부의 오브젝트의 존재유무를 검출하고, 오브젝트에 대한 정보를 생성할 수 있다. 상기 오브젝트 검출 장치는, 예를 들어 카메라, 라이다, 적외선 센서 및 초음파 센서 중 적어도 하나를 포함할 수 있다. 카메라는 영상을 기반으로 차량(2010) 외부의 오브젝트 정보를 생성할 수 있다. 카메라는 하나 또는 그 이상의 렌즈들, 하나 또는 그 이상의 이미지 센서들 및 오브젝트 정보를 생성하기 위한 하나 또는 그 이상의 프로세서들을 포함할 수 있다. 카메라는 다양한 영상 처리 알고리즘을 이용하여, 오브젝트의 위치 정보, 오브젝트와의 거리 정보 또는 오브젝트와의 상대 속도 정보를 획득할 수 있다. 또한 카메라는 차량 외부를 촬영하기 위해 차량에서 FOV(field of view) 확보가 가능한 위치에 장착될 수 있으며, AR/VR을 기반으로 한 서비스를 제공하기 위해 사용될 수 있다. 라이다는 레이저 광을 이용하여, 차량(K600) 외부의 오브젝트에 대한 정보를 생성할 수 있다. 라이다는 광 송신부, 광 수신부 및 광 송신부 및 광 수신부와 전기적으로 연결되어 수신되는 신호를 처리하고, 처리된 신호에 기초하여 오브젝트에 대한 데이터를 생성하는 적어도 하나의 프로세서를 포함할 수 있다.
통신 장치는 차량(2010) 외부에 위치하는 디바이스(예를 들면, 인프라(예를 들면, 서버, 방송국), 타 차량, 단말기등) 와 신호를 교환할 수 있다. 운전 조작 장치는 운전을 위한 사용자 입력을 수신하는 장치이다. 메뉴얼 모드인 경우, 차량(2010)은 운전 조작 장치에 의해 제공되는 신호에 기초하여 운행될 수 있다. 운전 조작 장치는, 조향 입력 장치(예를 들면, 스티어링 휠), 가속 입력 장치(예를 들면, 가속 페달) 및 브레이크 입력 장치(예를 들면, 브레이크 페달)를 포함할 수 있다.
센싱부는 차량(2010)의 상태를 센싱할 수 있으며 상태 정보를 생성할 수 있다. 위치 데이터 생성 장치는 차량(2010)의 위치 데이터를 생성할 수 있다. 위치 데이터 생성 장치는, GPS(Global Positioning System) 및 DGPS(Differential Global Positioning System) 중 적어도 어느 하나를 포함할 수 있다. 위치 데이터 생성 장치는, GPS 및 DGPS 중 적어도 어느 하나에서 생성되는 신호에 기초하여차량(K600)의 위치 데이터를 생성할 수 있다. 메인 ECU는 차량(2010)내에 구비되는 적어도 하나의 전자 장치의 전반적인 동작을 제어할 수 있으며, 구동 제어 장치는 차량(2010)내 차량 구동 장치를 전기적으로 제어할 수 있다.
자율 주행 장치는 오브젝트 검출 장치, 센싱부, 위치 데이터 생성장치 등으로부터 획득된 데이터에 기초하여, 자율 주행 서비스를 위한 경로를 생성할 수 있다. 자율 주행 장치는, 생성된 경로를 따라 주행하기 위한 드라이빙 플랜을 생성하고 드라이빙 플랜에 따른 차량의 움직임을 제어하기 위한 신호를 생성할 수 있다. 자율 주행 장치에서 생성된 신호는 구동 제어 장치에 전송되므로 구동 제어 장치는 차량(2010)의 내 차량 구동 장치를 제어할 수 있다.
도 20에 도시된 바와 같이 자율 주행 서비스를 제공하는 차량(2010)은 XR 디바이스(2000)와 유/무선 통신이 가능하도록 연결된다. 도 20에 도시된 XR 디바이스(2000)는 프로세서(2001) 및 메모리(2002)를 포함할 수 있다. 또한 도면에 도시되지 않았으나, 도 20의 XR 디바이스(2000)는 도 13에서 설명한 XR 디바이스(1300)의 구성요소를 더 포함할 수 있다.
도 20의 XR 디바이스(2000)가 차량(2010)과 유/무선 통신이 가능하도록 연결된 경우, 도 20의 XR 디바이스(2000)는 자율 주행 서비스와 함께 제공할 수 있는 AR/VR 서비스 관련 콘텐트 데이터를 수신/처리하여 차량(2010)에 전송할 수 있다. 또한 도 20의 XR 디바이스(2000)가 차량(2010)에 탑재된 경우, 도 20의 XR 디바이스(2000)는 사용자 인터페이스 장치를 통해 입력된 사용자 입력 신호에 따라 AR/VR 서비스 관련 콘텐트 데이터를 수신/처리하여 사용자에게 제공할 수 있다. 이 경우, 프로세서(2001)는 오브젝트 검출 장치, 센싱부, 위치 데이터 생성장치, 자율 주행 장치 등으로부터 획득된 데이터에 기초하여, AR/VR 서비스 관련 콘텐트 데이터를 수신/처리할 수 있다. 본 발명의 실시예들에 따른 AR/VR 서비스 관련 콘텐트 데이터는 운전 정보, 자율 주행 서비스를 위한 경로 정보, 운전 조작 정보, 차량 상태 정보, 오브젝트 정보 등 자율 주행 서비스와 관련된 정보뿐 만 아니라 자율 주행 서비스와 관련 없는 엔터테인먼트 콘텐트, 날씨 정보 등을 포함할 수 있다.
도 21은 자율 주행 서비스 중 AR/VR 서비스를 제공하는 과정을 나타낸다.
본 발명의 실시예들에 따른 차량 또는 사용자 인터페이스 장치는 사용자 입력 신호를 수신할 수 있다(S2110). 본 발명의 실시예들에 따른 사용자 입력 신호는 자율 주행 서비스를 지시하는 신호를 포함할 수 있다. 본 발명의 실시에들에 따른 자율 주행 서비스는 완전 자율 주행 서비스 및 일반 자율 주행 서비스를 포함할 수 있다. 완전 자율 주행 서비스는 도착지까지 사용자의 수동 주행 없이 완전히 자율 주행으로만 차량이 구동되는 서비스를 의미하며, 일반 자율 주행 서비스는 도착지까지 사용자의 수동 주행과 자율 주행이 복합되어 차량이 구동되는 서비스를 의미한다.
본 발명의 실시예들에 따른 사용자 입력 신호가 완전 자율 주행 서비스에 대응하는지 여부를 판단할 수 있다(S2120). 판단 결과 사용자 입력 신호가 완전 자율 주행 서비스에 대응하는 경우, 본 발명의 실시예들에 따른 차량은 완전 자율 주행 서비스를 제공할 수 있다(S2130). 완전 자율 주행 서비스의 경우 사용자 조작이 필요없으므로, 본 발명의 실시예들에 따른 차량은 차량의 창문, 사이드 미러, HMD, 스마트 폰 등을 통해 사용자에게 VR 서비스와 관련된 콘텐트를 제공할 수 있다(S2130). 본 발명의 실시예들에 따른 VR 서비스와 관련된 콘텐트는 완전 자율 주행과 연관된 콘텐트(예를 들면 네비게이션 정보, 운행 정보, 외부 오브젝트 정보 등)이 될 수도 있고, 사용자의 선택에 따라 완전 자율 주행과 관련이 없는 콘텐트 (예를 들면 날씨 정보, 거리 이미지, 자연 이미지, 화상 전화 이미지 등)이 될 수 있다.
판단 결과 사용자 입력 신호가 완전 자율 주행 서비스에 대응하지 않는 경우, 본 발명의 실시예들에 따른 차량은 일반 자율 주행 서비스를 제공할 수 있다(S2140). 일반 자율 주행 서비스의 경우, 사용자의 수동 주행을 위하여 사용자의 시야가 확보되어야 하므로, 본 발명의 실시예들에 따른 차량은 차량의 창문, 사이드 미러, HMD, 스마트 폰 등을 통해 사용자에게 AR 서비스와 관련된 콘텐트를 제공할 수 있다(S2140).
본 발명의 실시예들에 따른 AR 서비스와 관련된 콘텐트는 완전 자율 주행과 연관된 콘텐트(예를 들면 네비게이션 정보, 운행 정보, 외부 오브젝트 정보 등)이 될 수도 있고, 사용자의 선택에 따라 완전 자율 주행과 관련이 없는 콘텐트 (예를 들면 날씨 정보, 거리 이미지, 자연 이미지, 화상 전화 이미지 등)이 될 수 있다.
도 22는 본 발명의 일실시예에 의한 XR 디바이스를 HMD 타입으로 구현한 경우를 도시하고 있다. 전술한 다양한 실시예들은 도 22에 도시된 HMD 타입으로 구현할 수도 있다.
도 22에 도시된 HMD 타입의 XR 디바이스(100a)는, 커뮤니케이션 유닛(110), 컨트롤 유닛(120), 메모리 유닛(130), I/O 유닛(140a), 센서 유닛(140b), 그리고 파워 공급 유닛(140c) 등을 포함한다. 특히, XR 디바이스(10a)내 커뮤니케이션 유닛(110)은 모바일 터미날(100b)과 유무선 통신이 이루어 진다.
그리고, 도 23은 본 발명의 일실시예에 의한 XR 디바이스를 AR 글래스 타입으로 구현한 경우를 도시하고 있다. 전술한 다양한 실시예들은 도 44에 도시된 AR 글래스 타입으로 구현할 수도 있다.
도 23에 도시된 바와 같이, AR 글래스는 프레임, 제어부(200) 및 광학 디스플레이부(300)를 포함할 수 있다.
프레임은 도 23에 도시된 바와 같이, 사용자(10)의 신체 중 안면에 착용되는 안경 형태를 가질 수 있으나, 이에 반드시 한정되는 것은 아니고, 사용자(10)의 안면에 밀착되어 착용되는 고글 등의 형태를 가질 수도 있다.
이와 같은 프레임은 전면 프레임(110)과 제1, 2 측면 프레임을 포함할 수 있다.
전면 프레임(110)은 적어도 하나의 개구부를 구비하고, 제1 수평 방향(x)으로 연장될 수 있으며, 제1, 2 측면 프레임은 전면 프레임(110)과 교차하는 제2 수평 방향(y)으로 연장되어 서로 나란하게 연장될 수 있다.
제어부(200)는 사용자(10)에게 보여질 이미지 또는 이미지가 연속되는 영상을 생성할 수 있다. 이와 같은 제어부(200)에는 이미지를 발생시키는 이미지 소스와 이미지 소스에서 발생된 빛을 확산 및 수렴하는 복수의 렌즈 등을 포함할 수 있다. 이와 같이 제어부(200)에서 생성되는 이미지는 제어부(200)와 광학 디스플레이부(300) 사이에 위치하는 가이드 렌즈(P200)을 통해 광학 디스플레이부(300)로 출사될 수 있다.
이와 같은 제어부(200)는 제1, 2 측면 프레임 중 어느 하나의 측면 프레임에 고정될 수 있다. 일례로, 제어부(200)는 어느 하나의 측면 프레임 내측 또는 외측에 고정되거나, 어느 하나의 측면 프레임의 내부에 내장되어 일체로 형성될 수 있다.
광학 디스플레이부(300)는 제어부(200)에서 생성된 이미지가 사용자(10)에게 보여지도록 하는 역할을 수행할 수 있으며, 이미지가 사용자(10)에게 보여지도록 하면서, 개구부를 통하여 외부 환경을 볼 수 있도록 하기 위하여, 반투명 재질로 형성될 수 있다.
이와 같은 광학 디스플레이부(300)는 전면 프레임(110)에 포함된 개구부에 삽입되어 고정되거나, 개부구의 배면[즉 개구부와 사용자(10) 사이]에 위치하여, 전면 프레임(110)에 고정되어 구비될 수 있다. 본 발명에서는 일례로, 광학 디스플레이부(300)가 개구부의 배면에 위치하여, 전면 프레임(110)에 고정된 경우를 일예로 도시하였다.
이와 같은 XR 디바이스는 도 23에 도시된 바와 같이, 제어부(200)에서 이미지에 대한 이미지를 광학 디스플레이부(300)의 입사 영역(S1)으로 입사시키면, 이미지광이 광학 디스플레이부(300)를 통하여, 광학 디스플레이부(300)의 출사 영역(S2)으로 출사되어, 제어부(200)에서 생성된 이미지를 사용자(10)에게 보여지도록 할 수 있다.
이에 따라, 사용자(10)는 프레임(100)의 개구부를 통하여 외부 환경을 보면서 동시에 제어부(200)에서 생성된 이미지를 함께 볼 수 있다.
전술한 바와 같이, 본원 발명은 5G 통신 기술 분야, 로봇 기술 분야, 자율 주행 기술 분야 및 AI 기술 분야 모두에 적용 가능하지만, 이하 도면들에서는 XR 디바이스, 디지털 사이니지 및 TV 등의 멀티미디어 디바이스에 적용 가능한 본원 발명을 중점적으로 설명하도록 하겠다. 다만, 이전 도 1 내지 도 23을 참조하여, 후술할 도면들을 당업자가 결합하여 다른 실시예를 구현하는 것도 본 발명의 권리범위에 속한다.
특히, 후술할 도면들에서 설명할 멀티미디어 디바이스는 디스플레이 기능이 있는 디바이스면 충분하므로, XR 디바이스에 한정되지 않고, 이전 도 1 내지 도 9에서 설명한 UE (User Equipment)에 해당하여 5G 에 따른 통신을 추가적으로 수행하는 것도 가능하다.
도24는 본 발명의 실시예들에 따른 XR 디바이스가 데이터베이스(Database, DB)에 접근하는 과정을 나타낸다.
본 발명의 실시예들에 따른 XR 디바이스는 다음과 같은 방법을 사용하여 데이터베이스에 접근 또는 데이터베이스를 생성할 수 있다.
방법S24000관련하여, XR 디바이스(24010)는 사용자에 의해 이용될 수 있다. 본 명세서에서 XR 디바이스는 모바일 디바이스를 의미할 수 있다. XR 디바이스(24010)는 사용자로부터 어플레케이션 또는 서비스 실행 요청을 수신한다. XR 디바이스(24010)는 사용자로부터 ID 또는 패스워드를 수신하여 로그인을 수행한다.
방법S24001 관련하여, XR 디바이스(24010)는 공용DB(24020)에 접근한다. 본 명세서에서 공용DB(24020)는 모든 사용자가 접근할 수 있는 데이터베이스를 의미한다. 공용DB는 AR정보를 포함한다. 다시 말해, 복수의 XR 디바이스 및 복수의 사용자가 있는 경우, 각 사용자가 XR 디바이스를 통해 공용DB에 접근할 수 있다. 본 명세서에서 공용DBf에 포함된 AR정보는 공용AR정보로 지칭될 수 있다.
방법S24002관련하여, XR 디바이스(24010)는 퍼블릭 키(Public key)를 공용DB(24020)으로부터 수신힌다. XR 디바이스(24010)는 공용DB(24020)으로부터 XR 디바이스(24010)에 대한 SIM의 키를 요청 받는다. 이때, XR 디바이스(24010)가 공용DB(24020)에 최초로 접근한 경우, 공용DB(24020)는 퍼블릭 키 및/또는 프라이빗 키를 생성한다. XR 디바이스(24010)는 공용DB(24020)로부터 생성된 퍼블릭 키를 수신한다.
방법S24003및 S24004관련하여, XR 디바이스(24010)는 퍼블릭 키를 사용하여 XR 디바이스(24010)의 SIM에 대한 Efar 키를 암호화한다. XR 디바이스(24010)는 고유의 Efar 키를 가진다. XR 디바이스(24010)는 공용DB(24020)의 퍼블릭 키에 기초하여 XR 디바이스(24010)의 고유의 키를 암호화한다.
본 명세서에서 Efar 키는 XR 디바이스(24010)에 대한 고유 정보를 의미한다. 본 발명의 실시예들에 따라서 XR 디바이스(24010)가 모바일 디바이스 및/또는 AR 글래스 등일 수 있다.
XR 디바이스(24010)가 모바일 디바이스인 경우, Efar 키는 모바일 디바이스에 포함된 심칩을 식별하는 고유 정보일 수 있다. XR 디바이스(24010)가 AR글래스인 경우, Efar 키는 AR글래스를 식별하는 고유 정보일 수 있다. 본 명세서에서 Efar 키는 식별 정보, 제1정보 등으로 지칭될 수 있다.
방법S24005관련하여, XR 디바이스(24010)는 암호화된 키를 공용DB(24020)에 전송한다. 공용DB(24020)는 프라이빗 키로 수신한 암호화된 키를 복호한다.
방법S24006관련하여, XR 디바이스(24010)는 복호환된 키를 사용하여 개인DB(24030)를 생성한다. 본 명세서에서 개인DB(24030)는 고유의 키를 가진 특정 XR 디바이스만 접근할 수 있는 데이터베이스를 의미한다. 개인DB(24030)는 AR정보를 포함한다. 개인DB(24030)는 마커리스 정보를 포함하는 AR정보, 화이트리스트, 및/또는 블랙리스트를 포함한다. 본 발명의 실시예들에 따른 화이트리스트 및 블랙리스트는 이하에서 구체적으로 설명한다. 본 명세서에서 개인DB에 포함된 AR정보는 개인AR정보로 지칭될 수 있다.
방법S24007관련하여, XR 디바이스(24010)는 사용자에게 AR모드가 생성되었음을 알린다. XR 디바이스(24010)는 디스플레이 정보 또는 음성 정보 등에 기초하여 사용자에게 AR모드가 생성되었음을 알릴 수 있다.
(5G 결합)
또한, 본 발명의 실시예들에 따른 XR 디바이스(24010)는 공용DB(24020) 및 개인DB(24030)를 도1 내지 도 9 등에서 상술한 3GPP NR (e.g. 5G) 기반 시스템에 기반하여 구축할 수 있다.
도25는 본 발명의 실시예들에 따른 XR디바이스가 화이트리스트를 추가 및 제어하는 방법을 나타낸다.
본 발명의 실시예들에 따른 제1 XR 디바이스(25000) 및 제2 XR디바이스(25001)가 공용DB(25002) 및 개인DB(25003)를 사용하여 화이트리스트를 생성 또는 제어하는 과정을 설명한다.
제1 XR디바이스(25000)는 제1사용자, 예를 들어 사용자 AAA가 사용하는 디바이스를 말한다. 제2XR디바이스(25001)는 제2사용자, 예를 들어 사용자 BBB가 사용하는 디바이스를 말한다.
방법S25000관련하여, 제1 XR디바이스(25000)는 제1사용자로부터 최초 어플리케이션 또는 서비스 실행 요청을 수신하고, ID 및/또는 패스워드를 수신하여 로그인을 수행한다. ID 및 패스워드는 제1 사용자에 대한 정보이다. 제1사용자(AAA)는 제1 XR디바이스를 사용하여 제2사용자(BBB)의 개인DB(25003)에 접근할 수 있다.
공용DB(25002)는 모든 사용자가 접근할 수 있는 공용 데이터베이스를 의미한다.
개인DB(25003)는 특정 개인에 대한 데이터베이스를 의미한다. 개인DB(25003)에 대한 사용자 외에 다른 사용자가 개인DB에 접근하기 위해서는 인증과정, 예를 들어 화이트리스트 등의 처리가 필요하다. 본 실시예에서 개인DB(25003)은 제2사용자(BBB)의 데이터베이스로 설명한다.
제1 XR디바이스(25000)는 제1사용자로부터 제2사용자의 DB접근 요청을 수신한다. 제1 XR디바이스(25000)는 제1사용자(AAA)에게 제2사용자(BBB)에 대한 접근 수행을 확인한다.
방법S25001관련하여, 제1사용자의 접근 확인 후, 제1 XR디바이스는 개인 키 및/또는 제2사용자(BBB)의 로그인 ID를 공용DB에 전송한다. 제1 XR디바이스(25000)는 제1사용자의 개인 키 및/또는 제1사용자가 접근하고 싶은 개인DB의 사용자인 제2사용자의 ID를 공용DB(25002)에 전달한다.
방법S25002관련하여, 제1 XR디바이스는 공용DB에 제2사용자(BBB)의 DB키를 요청한다. 본 명세서에서 공용DB는 마커리스 정보 값을 포함하는 AR정보 및/또는 개인 DB리스트를 포함한다. 공용DB의 AR정보는 공통으로 모든 사용자가 접근 가능한 정보이다. 공용DB의 개인DB리스트는 개인DB의 로그인ID 및 매칭되는 Efar 키 리스트를 포함한다.
AR정보의 마커리스 정보는 AR 정보의 특정 타입 및/또는 특정 종류에 해당하는 정보를 의미한다. AR정보는 마커 정보 및/또는 마커리스 정보를 포함할 수 있다.
개인DB리스트는 사용자를 위한 개인DB의 로그인 ID정보를 포함하고, 개인DB의 사용자에 매칭되는 Efar키를 포함한 리스트를 의미한다.
방법S25003관련하여, 제1 XR디바이스(25000)는 제2사용자(BBB)의 DB키를 수신한다.
방법S25004관련하여, 제1 XR디바이스(25000)는 제2사용자(BBB)의 개인DB에 제1사용자(AAA)를 위한 화이트리스트 추가를 요청한다.
방법S25005관련하여, 제2 XR디바이스(25001)는 제1사용자의 제2사용자에 대한 접근 요청을 확인한다.
방법S25006관련하여, 제2 XR디바이스(25001)가 제1사용자의 요청을 확인한다. 이때 제2 XR디바이스가 요청을 확인하면, 제1사용자(AAA)를 화이트리스트에 추가하는 동작이 수행된다. 제2 XR디바이스가 요청을 취소하면 제1 XR디바이스는 제2사용자의 개인DB(25003)에 접근하지 못할 수 있다. 본 발명의 실시예들에 따라 제2 XR디바이스가 요청을 취소하면 제1 XR디바이스는 1회성에 한하여 제2사용자의 개인DB(25003)에 접근할 수 있다. 이때 1사용자는 화이트리스트에 추가되지 못 한다.
방법S25007관련하여, 제2 XR디바이스(25001)가 제1사용자의 접근 요청을 승인하면, 화이트리스트에 제1사용자를 추가한다는 정보를 제2사용자(BBB)의 개인DB(25003)에 전송한다.
방법 S25008관련하여, 제2 XR디바이스(25001)는 개인DB에 포함된 화이트리스트에 제1사용자(AAA) 및/또는 키를 추가한다.
방법 S25009관련하여, 제2 XR디바이스(25001)는 화이트리스트 업데이트 완료를 응답받는다.
제1사용자(AAA)가 제2사용자(BBB)의 개인DB(25003)의 화이트리스트에 추가되면, 제1사용자는 제2사용자의 개인DB에 자유롭게 접근할 수 있다. 제1사용자는 제2사용자의 개인DB에 포함된 AR정보를 자유롭게 이용할 수 있다.
도26은 본 발명의 실시예들에 따른 XR디바이스가 블랙리스트를 추가 및 제어하는 방법을 나타낸다.
본 발명의 실시예들에 따른 제1 XR 디바이스(26000) 및 제2 XR디바이스(26001)가 공용DB(26002) 및 개인DB(26003)를 사용하여 블랙리스트를 생성 또는 제어하는 과정을 설명한다.
제1 XR디바이스(26000)는 제1사용자, 예를 들어 사용자 AAA가 사용하는 디바이스를 말한다. 제2XR디바이스(26001)는 제2사용자, 예를 들어 사용자 BBB가 사용하는 디바이스를 말한다.
방법S26000은 방법 S25000에 대응된다. 방법S26001은 방법 S25001에 대응된다. 방법S26002은 방법 S25002에 대응된다. 방법S26003은 방법 S25003에 대응된다. 방법S26004은 방법 S25004에 대응된다. 방법S26005은 방법 S25005에 대응된다.
방법 S26006관련하여, 제2 XR디바이스(26001)은 제1사용자의 접근 요청을 거절할 수 있다. 제2 XR디바이스(26001)은 제2사용자에게 제1사용자를 블랙리스트에 추가할지를 알린다.
방법 S26007관련하여, 제2 XR디바이스(26001)은 제1사용자를 블랙리스트에 추가한다는 승인을 제2사용자(BBB)의 개인DB(26003)에 전송한다.
방법 S26008관련하여, 제2 XR디바이스(26001)은 개인DB(26003)의 블랙리스트에 제1사용자(AAA)를 추가한다. 제1사용자(AAA) 및 키가 블랙리스트에 추가된다.
방법 S26009관련하여, 제2 XR디바이스(26001)은 개인DB(26003)으로부터 블랙리스트 추가 응답을 수신한다.
제1 XR디바이스(26000)가 제2사용자의 개인DB(26003)에 접근 요청 시, 서버는 자동으로 블랙리스트에 해당하는 제1사용자의 요청을 거절한다. 제2 XR디바이스(26001)은 블랙리스트에 해당하는 제1사용자의 접근 요청을 사용자에게 팝업 등과 같은 방식으로 알리지 않는다.
도27은 본 발명의 실시예들에 따른 XR디바이스가 공용DB를 이용하는 방법을 나타낸다.
본 발명의 실시예들에 따른 XR디바이스(27000)는 공용DB, 개인DB, 공용 및 개인 DB, 친구 DB 등을 포함하는 여러 가지 모드를 제공할 수 있다.
공용DB모드(27001)는 공용DB만을 사용하여 공용DB에 포함된 AR정보를 활용할 수 있는 모드를 의미한다. 공용DB모드(27001)는 다음과 같은 방법으로 수행된다.
방법S27000관련하여, XR디바이스(27000)는 사용자로부터 최초 어플리케이션 또는 서비스 실행 명령을 수신한다. XR디바이스(27000)는 사용자로부터 ID 및/또는 패스워드를 수신하여 로그인을 수행한다.
방법S27001관련하여, XR디바이스(27000)는 사용자로부터 공용DB모드 선택 신호를 수신한다.
방법S27002관련하여, XR디바이스(27000)는 사용자로부터 공용DB모드 선택 신호를 수신하고, DB정보 요청을 공용DB(27002)에 전송한다.
방법S27003관련하여, XR디바이스(27000)는 공용DB(27002)에 AR정보를 요청한다.
방법S27004관련하여, XR디바이스(27000)는 공용DB(27002)로부터 AR정보를 수신한다.
방법S27005관련하여, XR디바이스(27000)는 공용DB(27002)로부터 AR정보, 화이트리스트, 및/또는 블랙리스트 등을 수신한다.
방법S27006관련하여, XR디바이스(27000)는 공용DB(27002)의 AR정보에 기초하여 AR정보를 디스플레이한다. 본 발명의 실시예들에 따라 AR정보는 XR디바이스(27000)의 스크린 상에 디스플레이된다. XR디바이스(27000)가 모바일 디바이스인 경우 디스플레이 영역 상에 AR정보가 디스플레이될 수 있다. XR디바이스(27000)가 멀티미디어 디바이스인 경우 디스플레이 영역 상에 AR정보가 디스플레이될 수 있다. A디바이스(27000)가AR글래스인 경우 디스플레이 영역에 AR정보가 디스플레이될 수 있다. 구체적인 디스플레이 방법은 이하에서 설명한다.
도28은 공용DB모드에 대한 AR정보의 디스플레이를 나타낸다.
본 발명의 실시예들에 따른 디스플레이(28000)는 공용DB의 AR정보에 기초하여 표시될 수 있다. 디스플레이(28000)는 AR정보가 표시되는 예시를 표현한 것이다.
본 발명의 실시예들에 따른 XR디바이스의 위치 또는 시점에 따라서, 제1시점의 XR디바이스(28001)가 디스플레이하는 영역(28001-1) 및 제2시점의 XR디바이스(28002)가 디스플레이하는 영역(28002-1)이 있을 수 있다.
본 발명의 실시예들에 따른 디스플레이(28000)는 공용DB의 AR정보만을 포함한다. 공용DB의 AR정보는 모든 사용자에게 공통적으로 필요한 정보일 수 있다. 예를 들어, 공용DB의 AR정보는 날씨정보(28003) 및/또는 장소 정보(28004)를 포함할 수 있다. 본 명세서에서 DB에 저장된 AR정보는 AR정보에 관련된 디스플레이를 표현하기 위한 정보 등을 의미할 수 있다. 예를 들어, 용DB의 AR정보는 날씨 정보 및 장소 정보를 포함할 수 있다. 날씨정보(28003) 및/또는 장소 정보(28004)는 AR정보에 기초하여 이미지 또는 기호 등으로 디스플레이될 수 있다. 본 명세서에서 날씨정보(28003) 및/또는 장소 정보(28004)는 AR객체로 지칭될 수 있다.
날씨정보(28003)는 XR디바이스(28001, 28002)가 향하는 영역에 하늘이 있는 경우 하늘에 있다. XR디바이스는 하늘에 관련된 정보인 날씨 정보를 AR정보에 기초하여 디스플레이한다. 날씨와 같은 정보는 모든 사용자에게 공통적으로 필요한 정보이다. 예를 들어, 날씨가 맑은지, 흐린지, 비가 오는지 등을 이미지 또는 기호 등을 사용하여 표시될 수 있다.
장소 정보(28004)는 XR디바이스(28001, 28002)가 향하는 영역에 특정 장소나 건물이 있는 경우 특정 장소나 건물에 나타날 수 있다. XR디바이스는 특정 장소 또는 건물에 관련된 정보를 AR정보에 기초하여 디스플레이한다. 예를 들어, XR디바이스의 디스플레이 영역 상에 식당이 있으면, 식당이 맛집인 경우 맛집 표시를 이미지 또는 기호 등에 기초하여 디스플레이할 수 있다.
도29는 본 발명의 실시예들에 따른 XR디바이스가 개인DB를 이용하는 방법을 나타낸다.
본 발명의 실시예들에 따른 XR디바이스(29000)는 공용DB, 개인DB, 공용 및 개인 DB, 친구 DB 등을 포함하는 여러 가지 모드를 제공할 수 있다.
개인DB모드(29001)는 개인DB만을 사용하여 개인DB에 포함된 AR정보를 활용할 수 있는 모드를 의미한다. 개인DB모드(29001)는 다음과 같은 방법으로 수행된다.
방법S29000관련하여, XR디바이스(29000)는 사용자로부터 최초 어플리케이션 또는 서비스 실행 명령을 수신한다. XR디바이스(29000)는 사용자로부터 ID 및/또는 패스워드를 수신하여 로그인을 수행한다.
방법S29001관련하여, XR디바이스(29000)는 사용자로부터 입력 신호를 수신하여, 개인DB모드를 선택하는지를 사용자에게 알린다.
방법S29002관련하여, XR디바이스(29000)는 사용자로부터 개인DB모드 선택 신호를 수신하고, DB정보 요청을 공용DB(29002)에 전송한다.
방법S29003관련하여, XR디바이스(29000)는 공용DB(29002)에 개인DB키정보를 요청한다. 공용DB(29002)는 모든 사용자가 획득 가능한 AR정보 및 개인DB리스트를 포함한다. 개인DB리스트는 개인DB의 로그인ID 및 이에 매칭되는 Efar키 리스트를 포함한다.
방법S29004관련하여, XR디바이스(29000)는 공용DB(29002)로부터 개인DB키정보를 수신한다.
방법S29005관련하여, XR디바이스(29000)는 개인DB(29003)에 개인DB정보를 요청한다. 개인DB(29003)은 모든 사용자가 아닌 개인DB를 위한 사용자가 접속 가능한 데이터베이스를 의미한다. 개인DB(29003)는 AR정보, 화이트리스트 및/또는 블랙리스트를 포함한다. AR정보는 마커리스 정보를 포함한다.
방법S29006관련하여, XR디바이스(29000)는 개인DB(29003)에 개인DB정보인 AR정보, 화이트리스트, 및/또는 블랙리스트를 요청한다.
방법S29007관련하여, XR디바이스(29000)는 개인DB(29003)으로부터 개인DB정보를 수신한다. 본 발명의 실시예들에 따라 XR디바이스(29000)가 개인DB(29003)를 통해서 개인DB정보를 수신하거나, 개인DB(29003)가 공용DB(29002)에 개인DB정보를 전송하고, XR디바이스(29000)가 공용DB(29002)를 통해서 DB정보를 함께 수신할 수 있다.
방법S29008관련하여, 개인DB(29003)는 공용DB(29002)에 개인DB정보를 전송한다. 개인DB정보는 AR정보, 화이트리스트, 및/또는 블랙리스트 등을 포함한다.
방법S29009관련하여, XR디바이스(29000)는 공용DB(29002)로부터 DB정보를 수신한다.
방법S29010관련하여, XR디바이스(29000)는 개인DB(29003)의 정보를 이용하여 AR정보를 디스플레이한다. 본 발명의 실시예들에 따라 AR정보는 XR디바이스(29000)의 스크린 상에 디스플레이된다. XR디바이스(29000)가 모바일 디바이스인 경우 디스플레이 영역 상에 AR정보가 디스플레이될 수 있다. XR디바이스(29000)가 멀티미디어 디바이스인 경우 디스플레이 영역 상에 AR정보가 디스플레이될 수 있다. XR디바이스(29000)가AR글래스인 경우 디스플레이 영역에 AR정보가 디스플레이될 수 있다. 구체적인 디스플레이 방법은 이하에서 설명한다.
도30은 개인DB모드에 대한 AR정보의 디스플레이를 나타낸다
본 발명의 실시예들에 따른 디스플레이(30000)는 개인DB의 AR정보에 기초하여 표시될 수 있다. 디스플레이(30000)는 AR정보가 표시되는 예시를 표현한 것이다.
본 발명의 실시예들에 따른 XR디바이스의 위치 또는 시점에 따라서, 제1시점의 XR디바이스(30001)가 디스플레이하는 영역(30001-1) 및 제2시점의 XR디바이스(30002)가 디스플레이하는 영역(30002-1)이 있을 수 있다.
본 발명의 실시예들에 따른 디스플레이(30000)는 개인DB의 AR정보(30003)만을 포함한다. 개인DB의 AR정보는 특정 사용자를 위한 정보일 수 있다. 예를 들어, 개인DB의 AR정보는 개인 사용자를 위한 AR정보 또는 개인 사용자와 관련된 정보를 표시하는 AR정보일 수 있다. XR디바이스를 사용하여 같은 장소를 보더라도, 다른 사용자들은 개인AR정보를 볼 수 없다.
개인DB의 AR정보(30003)는 개인 사용자만 볼 수 있는 정보이다. 예를 들어, XR디바이스의 디스플레이 영역 상에 특정 건물이 있고, 특정 건물이 개인 사용자와 관련된 건물인 경우 특정 건물에 개인 사용자에게만 보이는 AR정보가 이미지 또는 기호 등을 사용하여 디스플레이될 수 있다. 또한, 특정 건물 또는 특정 장소가 개인 사용자가 관심이 있는 대상이거나 개인 사용자에게 알림을 줘야하는 경우, AR정보가 이미지 또는 기호 등을 통해 디스플레이될 수 있다.
복수의 사용자들 또는 복수의 XR디바이스가 같은 영역을 디스플레이하더라도, 개인 사용자마다 서로 다른 AR정보가 표시될 수 있다. 이때 다른 사용자들을 공용DB에 저장된 AR정보만 볼 수 있다.
도31은 본 발명의 실시예들에 따른 XR디바이스가 공용DB 및 개인DB를 이용하는 방법을 나타낸다
본 발명의 실시예들에 따른 XR디바이스(31000)는 공용DB, 개인DB, 공용 및 개인 DB, 친구 DB 등을 포함하는 여러 가지 모드를 제공할 수 있다.
공용DB 및 개인DB모드(31001)는 공용DB(31002) 및 개인DB(31003)에 포함된 AR 정보를 활용할 수 있는 모드를 의미한다. 공용DB 및 개인DB모드(31001)는 다음과 같은 방법으로 수행된다.
방법S31000관련하여, XR디바이스(31000)는 사용자로부터 최초 어플리케이션 또는 서비스 실행 명령을 수신한다. XR디바이스(31000)는 사용자로부터 ID 및/또는 패스워드를 수신하여 로그인을 수행한다.
방법S31001관련하여, XR디바이스(31000)는 사용자로부터 공용DB 및 개인DB모드 선택 신호를 수신한다.
방법S31002관련하여, XR디바이스(31000)는 사용자로부터 공용DB 및 개인DB모드 선택 신호를 수신하고, DB정보 요청을 공용DB(31002)에 전송한다.
방법S31003관련하여, XR디바이스(31000)는 공용DB(31002)에 공용DB정보 요청을 전송하고, 개인DB키 정보를 요청한다. 공용DB(31002)는 마커리스 정보를 포함하는 AR정보를 포함한다. AR정보는 모든 사용자가 공용으로 사용할 수 있고 접근 가능하다. 공용DB(31002)는 개인DB리스트를 포함한다. 개인DB리스트는 개인DB의 로그인ID및 매칭되는 Efar키 리스트를 포함한다.
방법S31004관련하여, XR디바이스(31000)는 공용DB(31002)로부터 공용DB정보 및 개인DB 키 정보를 수신한다.
방법S31005관련하여, XR디바이스(31000)는 개인DB(31003)에 개인DB정보를 요청한다. 공용DB(310002)에 저장된 개인DB키가 이용될 수 있다. 개인DB(29003)은 모든 사용자가 아닌 개인DB를 위한 사용자가 접속 가능한 데이터베이스를 의미한다. 개인DB(31003)는 AR정보, 화이트리스트 및/또는 블랙리스트를 포함한다. AR정보는 마커리스 정보를 포함한다.
방법S31006관련하여, XR디바이스(31000)는 개인DB(31003)에 개인DB정보인 AR정보, 화이트리스트, 및/또는 블랙리스트를 요청한다.
방법S31007관련하여, XR디바이스(31000)는 개인DB(31003)으로부터 개인DB정보를 수신한다. 본 발명의 실시예들에 따라 XR디바이스(31000)가 개인DB(31003)를 통해서 개인DB정보를 수신하거나, 개인DB(31003)가 공용DB(31002)에 개인DB정보를 전송하고, XR디바이스(31000)가 공용DB(31002)를 통해서 DB정보를 함께 수신할 수 있다.
방법S31008관련하여, 개인DB(31003)는 공용DB(31002)에 개인DB정보를 전송한다. 개인DB정보는 AR정보, 화이트리스트, 및/또는 블랙리스트 등을 포함한다.
방법S31009관련하여, XR디바이스(31000)는 공용DB(31002)로부터 DB정보를 수신한다.
방법S31010관련하여, XR디바이스(31000)는 개인DB(31003)의 정보를 이용하여 AR정보를 디스플레이한다. 본 발명의 실시예들에 따라 AR정보는 XR디바이스(31000)의 스크린 상에 디스플레이된다. XR디바이스(31000)가 모바일 디바이스인 경우 디스플레이 영역 상에 AR정보가 디스플레이될 수 있다. XR디바이스(31000)가 멀티미디어 디바이스인 경우 디스플레이 영역 상에 AR정보가 디스플레이될 수 있다. XR디바이스(31000)가AR글래스인 경우 디스플레이 영역에 AR정보가 디스플레이될 수 있다. 구체적인 디스플레이 방법은 이하에서 설명한다.
도32는 공용DB 및 개인DB 모드에 대한 AR정보의 디스플레이를 나타낸다
본 발명의 실시예들에 따른 디스플레이(32000)는 공용DB 및 개인DB의 AR정보에 기초하여 표시될 수 있다. 디스플레이(32000)는 AR정보가 표시되는 예시를 표현한 것이다.
본 발명의 실시예들에 따른 XR디바이스의 위치 또는 시점에 따라서, 제1시점의 XR디바이스(32001)가 디스플레이하는 영역(32001-1) 및 제2시점의 XR디바이스(32002)가 디스플레이하는 영역(32002-1)이 있을 수 있다.
본 발명의 실시예들에 따른 디스플레이(32000)는 개인DB의 AR정보(32003)와 함께 공용DB의 AR정보(32004, 32004-1)를 함께 포함한다.
개인DB의 AR정보(32003)는 개인 사용자마다 개인 사용자의 DB에 포함된 AR정보에 기초하여 이미지 또는 기호 등에 기초하여 표시된다.
공용DB의 AR정보(32004)는 모든 사용자에게 공통적으로 필요한 날씨 정보일 수 있다.
공용DB의 AR정보(32004-1)는 모든 사용자에게 공통적으로 필요한 건물 또는 장소에 관련된 정보일 수 있다. 예를 들어, 모든 사용자가 공통적으로 관심있는 맛집 정보일 수 있다.
XR디바이스(32001)는 공용DB의 AR정보 및 개인DB의 AR정보를 모두 사용함으로써, 특정 사용자를 위한 AR정보뿐만 아니라 공통적으로 필요한 AR정보를 함께 제공할 수 있다.
도33은 본 발명의 실시예들에 따른 XR디바이스가 다른 사용자의 DB를 활용하는 방법을 나타낸다.
본 발명의 실시예들에 따른 XR디바이스(33000)의 제1사용자가 제1사용자와 다른 제2사용자의 DB를 활용하는 방법을 설명한다. 본 명세서에서 제2사용자는 다른 사용자 또는 타 유저 등으로 지칭될 수 있다.
이하에서, XR디바이스(33000)의 사용자를 제1사용자라고 지칭한다.
XR디바이스(33000)는 공용DB, 개인DB, 공용 및 개인 DB, 친구 DB 등을 포함하는 여러 가지 모드를 제공할 수 있다.
친구AR모드(33001)는 제1사용자가 다른 사용자의 AR정보를 이용할 수 있는 모드를 의미한다. 친구AR모드(33001)는 다음과 같은 방법으로 수행된다.
방법S33000관련하여, XR디바이스(33000)는 사용자로부터 최초 어플리케이션 또는 서비스 실행 명령을 수신한다. XR디바이스(33000)는 사용자로부터 ID 및/또는 패스워드를 수신하여 로그인을 수행한다.
방법S33001관련하여, XR디바이스(33000)는 친구AR모드(33001)를 위한 친구 리스트를 디스플레이한다. 예를 들어, 사용자(AAA), 사용자(BBB), 사용자(CCC) 등과 같이 친구 리스트가 디스플레이될 수 있다. XR디바이스(33000)는 친구 리스트 중 사용자를 선택하여, 선택된 사용자의 화이트 리스트를 확인할 수 있다.
방법S33002관련하여, XR디바이스(33000)는 사용자(CCC)를 선택한다. 사용자(CCC)를 제2사용자 또는 친구라고 지칭한다.
방법S33003관련하여, XR디바이스(33000)는 제1사용자가 제2사용자를 선택한다는 신호를 수신하면, XR디바이스(33000)는 공용DB(33002)에 DB정보를 요청한다. 이때 XR디바이스(33000)는 공용DB(33002)에 XR디바이스(33000)에 대한 키 및/또는 제2사용자에 대한 로그인 ID를 전송한다.
방법S33004관련하여, XR디바이스(33000)는 공용DB(33002)에 공용DB정보를 요청하고, 친구ID를 통해 친구DB를 요청한다. 공용DB(33002)는 마커리스 정보를 포함하는 AR정보를 포함한다. 공용DB(33002)는 공용으로 모든 사용자가 접근 가능한 데이터베이스이다. 공용DB(33002)는 개인DB리스트를 포함한다. 개인DB리스트는 개인DB의 로그인ID 및 매칭되는 Efar키 리스트를 포함한다.
방법S33005관련하여, XR디바이스(33000)는 공용DB(33002)로부터 공용DB정보 및 친구DB접근 키를 수신한다.
방법S33006관련하여, XR디바이스(33000)는 공용DB(33002)를 통해 친구(CCC)의 개인DB(33003)에 친구DB정보를 요청한다. 공용DB(33002)에 저장된 친구DB접근 키가 사용될 수 있다. 친구(CCC)의 개인DB(33003)는 사용자(CCC)를 위한 AR정보를 포함한다. 친구(CCC)의 개인DB(33003)는 마커리스 정보를 갖는 AR정보, 화이트리스트, 및/또는 블랙리스트를 포함한다.
방법S33007관련하여, XR디바이스(33000)는 친구(CCC)의 개인DB(33003)에 사용자(CCC)의 DB정보를 요청한다. XR디바이스(33000)의 제1사용자가 친구(CCC)의 개인DB에 있는 AR정보를 이용하기 위해서는 친구(CCC)의 개인DB의 화이트리스트에 제1사용자가 있어야 한다.
방법S33008관련하여, 친구(CCC)의 개인DB(33003)는 제1사용자에 대한 키 값이 화이트리스트에 포함되어 있는지를 확인한다. 제1사용자가 화이트리스트에 있으면, 제1사용자가 사용자(CCC)의 친구임을 의미한다. 친구(CCC)의 개인DB(33003)는 제1사용자에게 사용자(CCC)의 AR정보를 전송할 수 있다.
방법S33009관련하여, 친구(CCC)의 개인DB(33003)는 사용자(CCC)의 DB정보를 제1사용자에 전달하기 위해 AR정보 또는 DB정보에 접근한다.
방법S33010관련하여, 친구(CCC)의 개인DB(33003)는 사용자(CCC)의 DB정보를 제1사용자에 전달하기 위해, 공용DB(33002)에 전송한다.
방법S33011관련하여, XR디바이스(33000)는 공용DB(33002)로부터 친구DB정보를 수신한다.
방법S33011관련하여, XR디바이스(33000)는 친구DB정보에 포한된 AR정보를 디스플레이한다. 본 발명의 실시예들에 따라 AR정보는 XR디바이스(33000)의 스크린 상에 디스플레이된다. XR디바이스(33000)가 모바일 디바이스인 경우 디스플레이 영역 상에 AR정보가 디스플레이될 수 있다. XR디바이스(33000)가 멀티미디어 디바이스인 경우 디스플레이 영역 상에 AR정보가 디스플레이될 수 있다. XR디바이스(33000)가AR글래스인 경우 디스플레이 영역에 AR정보가 디스플레이될 수 있다. 구체적인 디스플레이 방법은 이하에서 설명한다.
도34는 친구AR모드에 대한 AR정보의 디스플레이를 나타낸다.
본 발명의 실시예들에 따른 디스플레이(34000)는 친구AR모드에 기초하여, 공용DB 및 개인DB, 친구DB의 AR정보에 기초하여 표시될 수 있다. 디스플레이(34000)는 AR정보가 표시되는 예시를 표현한 것이다.
본 발명의 실시예들에 따른 XR디바이스의 위치 또는 시점에 따라서, 제1시점의 XR디바이스(34001)가 디스플레이하는 영역(34001-1) 및 제2시점의 XR디바이스(34002)가 디스플레이하는 영역(34002-1)이 있을 수 있다.
본 발명의 실시예들에 따른 디스플레이(34000)는 개인DB의 AR정보(34003), 공용DB의 AR정보(34004, 34004-1), 및/또는 친구DB의 AR정보(34005)를 포함한다.
개인DB의 AR정보(32003)는 개인 사용자마다 개인 사용자의 DB에 포함된 AR정보에 기초하여 이미지 또는 기호 등에 기초하여 표시된다.
공용DB의 AR정보(32004)는 모든 사용자에게 공통적으로 필요한 날씨 정보일 수 있다.
공용DB의 AR정보(32004-1)는 모든 사용자에게 공통적으로 필요한 건물 또는 장소에 관련된 정보일 수 있다. 예를 들어, 모든 사용자가 공통적으로 관심있는 맛집 정보일 수 있다.
친구DB의 AR정보(34005)는 친구와 관련된 정보일 수 있다. 예를 들어, 친구가 관심 있어하는 장소, 친구가 개인적으로 표식해둔 정보일 수 있다.
XR디바이스(34001)는 공용DB의 AR정보, 개인DB의 AR정보, 친구DB의 AR정보를 모두 사용함으로써, 특정 사용자를 위한 AR정보뿐만 아니라 공통적으로 필요한 AR정보 및 친구의 AR정보를 함께 제공할 수 있다.
도35는 본 발명의 실시예들에 따른 XR디바이스가 복수의 다른 사용자의 DB를 활용하는 방법을 나타낸다.
본 발명의 실시예들에 따른 XR디바이스(35000)는 복수의 친구DB를 활용할 수 있다.
이하에서, XR디바이스(35000)의 사용자를 제1사용자라고 지칭한다.
XR디바이스(35000)는 공용DB, 개인DB, 공용 및 개인 DB, 친구 DB 등을 포함하는 여러 가지 모드를 제공할 수 있다.
친구AR모드(35001)는 제1사용자가 다른 사용자의 AR정보를 이용할 수 있는 모드를 의미한다. 여기서 다른 사용자는 복수의 친구들을 의미할 수 있다. 친구AR모드(35001)는 다음과 같은 방법으로 수행된다.
방법S35000관련하여, XR디바이스(35000)는 사용자로부터 최초 어플리케이션 또는 서비스 실행 명령을 수신한다. XR디바이스(35000)는 사용자로부터 ID 및/또는 패스워드를 수신하여 로그인을 수행한다.
방법S35001관련하여, XR디바이스(35000)는 친구 리스트를 디스플레이한다. 친구 리스트는 다수의 친구들을 나타낸다. 예를 들어, 친구AAA, 친구BBB, 친구CCC 등이 있을 수 있다. 즉, 친구 리스트 상의 각 친구의 화이트리스트를 확인하여 친구AR모드를 수행할 수 있다.
방법S35002관련하여, XR디바이스(35000)는 제1사용자로부터 친구 리스트에 대한 선택 신호를 수신한다. 여기서 친구 리스트에 포함된 복수의 친구가 선택될 수 있다.
방법S35003관련하여, XR디바이스(35000)는 제1사용자로부터 친구AAA, 친구BBB, 친구CCC의 DB를 요청하는 신호를 수신하고, 공용DB(35002)에 DB정보를 요청한다. 이때 XR디바이스(35000)는 공용DB(35002)에 제1사용자의 키 및/또는 친구들의 로그인 ID를 전달한다.
방법S35004관련하여, XR디바이스(35000)는 공용DB(35002)에 공용DB정보를 요청하고, 친구들ID를 통해 친구DB정보를 요청한다. 공용DB(35002)는 마커리스 정보를 포함하는 AR정보를 포함한다. 공용DB(35002)는 공용으로 모든 사용자가 접근 가능한 데이터베이스이다. 공용DB(35002)는 개인DB리스트를 포함한다. 개인DB리스트는 개인DB의 로그인ID 및 매칭되는 Efar키 리스트를 포함한다.
방법S35005관련하여, 공용DB(35002)로부터 공용DB정보 및/또는 친구DB접근 키를 수신한다.
방법S35006관련하여, XR디바이스(35000)는 공용DB(35002)를 통해 친구들의 개인DB들(35003)에 친구DB정보를 요청한다. 공용DB(35002)에 저장된 친구DB접근 키가 사용될 수 있다. 친구들의 개인DB들(35003)은 친구AAA, 친구BBB, 친구CCC의 DB를 의미할 수 있다. 각 친구의 DB는 마커리스 정보 값을 갖는 AR정보를 포함하고, 화이트리스트 및 블랙리스트를 포함한다.
방법S35007관련하여, XR디바이스(35000)는 각 친구DB정보를 요청한다.
방법S35008관련하여, XR디바이스(35000)는 각 친구 개인DB(35003)의 화이트리스트에 제1사용자의 키가 존재하는지를 확인한다. 즉, 화이트리스트를 통해서 제1사용자가 각 친구의 개인DB에 접근할 수 있는지를 확인한다.
방법S35009관련하여, 각 친구DB의 화이트리스트에 제1사용자가 존재하는 경우, 각 친구DB(35003)는 각 AR정보를 제공한다. XR디바이스(35000)는 친구AR정보를 수신하거나 공용DB(35002)를 통해 친구AR정보를 수신할 수 있다.
방법S35010관련하여, 각 친구 개인DB(35003)는 공용DB(35002)에 각 친구의 AR정보 또는 각 친구의 DB정보를 전달한다.
방법S35011관련하여, XR디바이스(35000)는 공용DB(35002)로부터 친구DB정보를 수신한다. 친구DB정보는 공용DB정보 또는 각 친구의 개인DB정보 등을 포함할 수 있다.
방법S35012관련하여, XR디바이스(35000)는 친구DB에 포함된 AR정보를 디스플레이한다. 본 발명의 실시예들에 따라 AR정보는 XR디바이스(35000)의 스크린 상에 디스플레이된다. XR디바이스(35000)가 모바일 디바이스인 경우 디스플레이 영역 상에 AR정보가 디스플레이될 수 있다. XR디바이스(35000)가 멀티미디어 디바이스인 경우 디스플레이 영역 상에 AR정보가 디스플레이될 수 있다. XR디바이스(35000)가AR글래스인 경우 디스플레이 영역에 AR정보가 디스플레이될 수 있다. 구체적인 디스플레이 방법은 이하에서 설명한다.
도36은 복수의 친구의 개인DB에 기초하여 AR정보를 디스플레이하는 예시를 나타낸다.
본 발명의 실시예들에 따른 디스플레이(36000)는 친구AR모드에 기초하여, 공용DB 및 개인DB, 친구DB의 AR정보에 기초하여 표시될 수 있다. 디스플레이(36000)는 AR정보가 표시되는 예시를 표현한 것이다. 특히, 친구AR모드를 통해 복수의 친구DB를 사용하는 디스플레이를 나타낸다.
본 발명의 실시예들에 따른 XR디바이스의 위치 또는 시점에 따라서, 제1시점의 XR디바이스(36001)가 디스플레이하는 영역(36001-1) 및 제2시점의 XR디바이스(36002)가 디스플레이하는 영역(36002-1)이 있을 수 있다.
본 발명의 실시예들에 따른 디스플레이(36000)는 개인DB의AR정보(36003), 공용DB의AR정보(36004) 및/또는 친구들DB의 AR정보(36005)를 포함한다.
개인DB의AR정보(36003)는 XR디바이스의 사용자 자신의 DB에 저장된 개인AR정보를 말한다. 사용자와 관련된 대상을 이미지 또는 기호 등을 사용하여 나타낼 수 있다.
공용DB의AR정보(36004)는 모든 사용자가 접근 가능한 AR정보를 말한다. 모든 사용자가 공통적으로 관심 가기거나 공통적으로 필요한 정보를 이미지 또는 기호 등을 사용하여 나타낼 수 있다. 예를 들어, 모든 사용자에게 공통적으로 필요한 날씨 정보, 맛집 정보 등이 있을 수 있다.
친구들DB의 AR정보(36005)는 각 친구의DB에 저장된 AR정보를 의미한다. 사용자는 화이트리스트에 기초하여 친구들의 AR정보를 함께 확인할 수 있다. 예를 들어, 친구AAA의DB의 AR정보는 친구AAA에 관련된 대상을 이미지 또는 기호 등을 사용하여 디스플레이될 수 있다. 친구BBB의DB의 AR정보는 친구BBB에 관련된 대상을 이미지 또는 기호 등을 사용하여 디스플레이될 수 있다. 친구CCC의 DB의 AR정보는 친구CCC에 관련된 대상을 이미지 또는 기호 등을 사용하여 디스플레이될 수 있다.
본 발명의 실시예들에 따른 디스플레이(36000)는 개인DB의 AR정보(34003), 공용DB의 AR정보(36004), 및/또는 친구들DB의 AR정보(36005)를 포함한다.
도37은 XR디바이스 간의 확장성을 나타낸다.
본 발명의 실시예들에 따른 XR디바이스는 디바이스 간의 높은 확장성을 제공한다. 제1 XR디바이스(37001)은 사용자가 기존에 사용하던 디바이스이고, 제2 XR디바이스(37002)는 사용자가 새롭게 사용하고자 하는 디바이스를 나타낸다.
심 카드(37003)는 제1 XR디바이스(37001)에 포함된 카드이다. 심 카드(37003)는 XR디바이스의 DB접근 및 처리 동작을 지원한다. 심 카드(37003)는 도13에서 상술한 XR디바이스의 구성도 상에서 메모리(1350), 프로세서(1340), 또는 이와 연결된 제어부, 어플리케이션부 또는 제어칩일 수 있다.
심 카드(37003)는 XR디바이스가 모바일 디바이스인 경우 SIM 카드일 수 있고, XR디바이스가 멀티미디어 디바이스인 경우 멀티미디어 디바이스의 제어칩, 제어부, 또는 어플리케이션부일 수 있고, XR디바이스가 AR글래스인 경우, AR글래스의 제어침, 제어부, 어플리케이션부, 임베디드된 어플리케이션, 또는 임베디드된 정보부 등일 수 있다.
제1 XR디바이스(37001)에 포함된 심 카드(37003)를 제2 XR디바이스(37002)로 삽입하면, 특별한 세팅 없이 공용DB 및 개인DB에 바로 접근이 가능하다.
심 카드(37003)만 교체되면, 새로운 디바이스를 사용하더라도 기존 개인DB를 그대로 사용할 수 있다. 기존 디바이스에서 사용하던 개인DB를 위해서 특별한 세팅이나 데이터 백업이 필요 없다. 만약 디바이스만 이용하는 경우 디바이스 변경 시 디바이스 상에서 높은 보안성이 요구되는 정보인 키 또는 DB정보를 옮기기 곤란하다.
도38은 본 발명의 실시예들에 따른 XR디바이스를 사용하여 AR룸을 구현하는 예시를 나타낸다.
실제 방 모습(3800)은 본 발명의 실시예들에 따른 XR디바이스를 통해 보는 방의 모습이다. AR모드를 사용하지 않는 경우, 실제 방 모습(3800)과 같이 나타낼 수 있다.
AR 룸(38001)은 본 발명의 실시예들에 따른 XR디바이스를 통해AR모드를 사용하는 경우의 방 모습이다. 예를 들어, AR룸의 벽에 AR정보에 기초한 포스터 아이템(38002)가 표시될 수 있고, AR룸의 한 영역에 AR정보에 기초한 피규어 아이템(38003)이 표시될 수 있다.
본 발명의 실시예들에 따른 XR디바이스는 AR모드를 사용하여 나만의 AR룸을 구현할 수 있다. 사용자 본인의 방에 사용자 본인만 볼 수 있는 아이템으로 방을 꾸밀 수 있다. 이때 아이템은 사용자 개인DB의 AR정보에 기초하여 표시될 수 있다. 따라서, 사용자가 다른 사용자에게 공개하고 싶지 않은 사생활 영역에 해당하는 취미 생활을 AR룸을 통해 구현할 수 있다. 사용자의 방에 대한 360도 카메라로 촬영한 데이터가 있으면, 사용자가 어디서든지 자신의 AR룸을 확인할 수 있다. 또한, 사용자는 XR디바이스를 통해 AR정보에 대한 아이템을 자신의 AR룸에 추가할 수 있다.
사용자는 동일한 취미 생활을 갖는 동호회 사람들을 화이트리스트에 추가하여, 동호회 친구들과 취미 생활을 같이 즐길 수 있다.
도39는 본 발명의 실시예들에 따른 XR디바이스를 사용하여 커플 AR룸을 구현하는 예시를 나타낸다.
실제 방 모습(39000)은 본 발명의 실시예들에 따른 XR 디바이스를 통해 보는 방의 모습니다. AR모드를 사용하지 않는 경우, 실제 방 모습(39000)과 같이 나타날 수 있다.
커플 AR룸은 실제 방 모습(39000)을 기초로 하여 AR정보를 사용하여 디스플레이될 수 있다. XR디바이스를 사용하는 커플이 있는 경우, 커플에 해당하는 사용자는 공용 DB 및/또는 개인DB에서 AR정보를 획득하여 커플AR룸을 꾸밀 수 있다.
예를 들어, AR정보의 디스플레이 아이템(39001)은 커플 중 여자가 생성한 침대 AR객체 및 화장대AR객체를 나타낸다. AR정보의 디스플레이 아이템(39002)은 커플 중 남자가 생성한 컴퓨터 및 탁자 AR 객체를 나타낸다.
XR디바이스는 커플의 DB에 저장된 AR정보를 획득하여, AR정보에 대한 객체를 실제 방 모습 상에 디스플레이할 수 있다.
본 발명의 실시예들에 따른 XR디바이스의 커플AR룸을 통하여, 부부 또는 커플들이 서로 원하는 가구를 한 개의 DB, 즉, 최초 커플AR 룸 생성자에 저장하여 계속 동기화된 화면을 서로 볼 수 있다. 또한, 커플들의 개인DB는 커플 접근 권한을 추가해서 커플만 볼 수 있게 설정할 수 있다.
도40은 본 발명의 실시예들에 따른 XR디바이스를 사용하여 추억AR을 구현하는 예시를 나타낸다.
실제 배경(40000)은 본 발명의 실시예들에 따른 XR디바이스를 통해 AR정보 없이 바라보는 모습이다. 실제 배경(40000) 또는 실제 배경 속의 장소 또는 대상과 관련된 AR정보가 DB에 있는 경우, XR디바이스는 AR정보를 이용하여 AR객체를 디스플레이할 수 있다.
예를 들어, AR객체(40001)는 이전에 실제 배경(40000)에 방문했던 장소가 나오는 경우, 방문시에 촬영했던 화면을 AR객체로 나타내는 디스플레이 아이템이다.
본 발명의 실시예들에 따른 XR디바이스의 추억AR을 통하여, 커플 또는 부부가 데이트했던 장소를 사람들이 다시 방문했을 때, 사진 찍었던 장소에서 사진 찍었던 자세 그대로를 실제 배경 상에서 AR객체로 표시할 수 있다. XR디바이스는 동일한 장소에서 재활영한 후에 다시 AR객체 정보로 DB에 저장하여 서로 겹쳐보이게 연출할 수 있다. 또한, 개인DB에 커플 접근 권한을 추가해서 커플만 AR정보를 볼 수 있게 설정하여 사용할 수 있다.
도41은 본 발명의 실시예들에 따른 XR디바이스를 사용하여 광고 필터링을 구현하는 예시를 나타낸다.
실제 배경(41000)은 본 발명의 실시예들에 따른 XR디바이스를 통해 AR정보 없이 바라보는 모습이다. 실제 배경(40000) 또는 실제 배경 속의 장소 또는 대상과 관련된 AR정보가 DB에 있는 경우, XR디바이스는 AR정보를 이용하여 AR객체를 디스플레이할 수 있다.
예를 들어, 공용DB의 AR정보(41001)가 XR디바이스를 통해 실제 배경(41000) 상에서 디스플레이될 수 있다. 공용DB는 모든 사용자가 공통적으로 접근할 수 있는 AR정보를 포함하고, 예를 들어 맛집 정보가 있을 수 있다. DB의 AR정보(41001)는 개인DB의 AR정보에 기초하여 필터링될 수 있다.
예를 들어, 개인 또는 친구의 DB의 AR정보(41002)는 맛집 정보를 포함할 수 있다. XR디바이스는 개인 또는 친구의 DB의 AR정보(41002) 및 공용DB의 AR정보(41001)를 비교하여, 실제로 맛집에 해당하는지 아니면 광고인지를 표시할 수 있다. 구체적으로, 친구의DB의 AR정보도 맛집인지 여부를 포함하면, 좋아요와 같은 이미지를 표시할 수 있다. 반대로, 친구의 DB의 AR정보가 맛집이 아님을 포함하면, 싫어요와 같은 이미지를 표시할 수 있다.
본 발명의 실시예들에 따른 XR디바이스의 광고 필터링을 통하여, 공용DB에 저장된 맛집들은 광고를 위해 맛집 표시가 있는 경우가 많은 점을 대비할 수 있다. 공용DB상에 맛집으로 표시된 AR정보에 추가로, 공용DB의 정보가 광고이거나 맛집이 실제 맛이 없는 경우 AR정보로 표시하고, 사용자 또는 친구들끼리 서로 공유할 수 있다. 따라서, 공용DB 및 개인DB(친구 DB포함)의 AR정보에 기초하여, 친구들끼리만 진짜 맛집(신뢰도 있는 정보)과 가짜 맛집(신뢰도 낮은 광고 정보)을 구별할 수 있다.
도42는 본 발명의 실시예들에 따른 XR디바이스를 사용하여 AR블로거를 구현하는 예시를 나타낸다.
본 발명의 실시예들에 따른 XR디바이스(42000)는 AR블로거 랭킹을 제공할 수 있다. 예를 들어, 사용자AAA의 DB, 사용자BBB의 DB, 사용자CCC의 DB에 대한 리스트가 순위로 표시될 수 있다. 그리고 본 발명의 실시예들에 따라 유료 또는 무료로 다른 사람의 AR정보를 접근 및 획득할 수 있다.
방법S42001관련하여, XR디바이스(42000)가 랭킹 1위의 사용자AAA의 DB에 접근을 요청할 수 있다. XR디바이스(42000)는 사용자로부터 유로 결재를 받을 수 있다.
방법S42002관련하여, XR디바이스(42000)가 유료 결재를 수락하면 사용자AAA의 XR디바이스(42001)는 수수료를 받을 수 있다.
방법S42003관련하여, 사용자AAA의 XR디바이스(42001)는 화이트리스트에 접근 요청한 사용자를 추가한다.
방법S42004관련하여, 사용자AAA의 XR디바이스(42001)는 접근 요청을 자동으로 승인한다. 여기에서 서버 공급자는 중간과정에서 수수료를 취득할 수도 있다.
방법S42005관련하여, XR디바이스(42000)는 랭킹 1위의 사용자AAA의 DB를 자유롭게 접근하여 사용자AAA의 AR정보를 이용할 수 있다.
본 발명의 실시예들에 따른 XR디바이스의 AR블로거를 통하여, 전문적으로 AR DB를 운영하는 사람들(또는 블로거)을 순위에 기초하여 보여줄 수 있다. 예를 들어, 화이트리스트 상에 추가된 인원 순으로 랭킹을 측정할 수 있다. 블로거의 AR DB에 접근 시 AR DB의 운영자가 지정한 금액을 지불하면 자동으로 신청자를 화이트리스트에 등록할 수 있다. 이후, 블로거의 개인DB에 접근할 수 있다. 또한, AR DB 서버 공급자 또는 서비스 프로바이더는 중간 과정에서 수수료를 취하는 비즈니스 모델을 이용할 수 있다.
도43은 본 발명의 실시예들에 따른 XR디바이스를 사용하여 AR홍보를 구현하는 예시를 나타낸다.
본 발명의 실시예들에 따른 XR 디바이스(43000)는 AR홍보를 구현할 수 있다. 예를 들어, XR 디바이스(43000)는 기업DB리스트를 디스플레이할 수 있다. LG전자, XX자동차, YY전자와 같은 기업 리스트가 디스플레이될 수 있다.
방법S43001관련하여, XR 디바이스(43000)는 사용자의 선택 신호에 대응하여 LG전자DB에 접근을 요청할 수 있다.
방법S43002관련하여, XR 디바이스(43000)는 LG전자의 이벤트에 참여를 요청하고, LG전자DB의 화이트리스트에 사용자를 등록 신청할 수 있다.
공용DB(43001)는 모든 사용자가 공통적으로 접근할 수 있는 AR정보를 포함한다.
기업DB(43002)는 특정 기업과 관련된 AR정보를 포함한다. 공용DB(43001)와 달리, 기업DB의 화이트리스트에 등록된 사용자만 접근이 가능하다. 기업DB(43002)는 개인DB와 유사할 수 있으며, 기업마다 AR정보를 갖는 DB를 구축할 수 있다.
본 발명의 실시예들에 따른 XR디바이스의 AR홍보를 통하여, 기업들이 자체 제작한 특정 어플리케이션을 사용하는 것이 아닌, 공통적인 하나의 어플리케이션을 통한 AR홍보를 실현할 수 있다. 예를 들어, 기업이 특정 AR DB를 만들어 본인 기업의 특정 대리점, 본사, 지사 앞에서 XR디바이스를 보면, 이벤트와 같은 미션이 발생하고, 각 미션을 XR디바이스가 처리하면 소정의 상품을 사용자에게 제공할 수 있다.
도44는 본 발명의 실시예들에 따른 AR홍보를 나타낸다.
지도(44000)는 본 발명의 실시예들에 따른 XR디바이스에 의해 표시될 수 있다. 지도(44000)는 AR홍보를 위한 미션 장소를 포함할 수 있다.
디스플레이(44001)는 AR홍보를 위한 미션 장소를 XR 디바이스를 통해 보는 모습이다.
AR객체(44002)가 XR디바이스에 의해 기업DB로부터 획득된 AR정보에 의해서 디스플레이될 수 있다.
미션(44003)은 AR객체(44002)에 대한 미션이다. 기업은 홍보 정보를 이벤트 형식으로 미션(44003)과 같이 사용자에게 제공할 수 있다. 미션을 처리한 사용자에게 소정의 상품이 제공될 수 있다.
본 발명의 실시예들에 따른 XR디바이스의 AR홍보를 통하여, 지도 상에 이벤트 미션을 표시하여 XR디바이스의 사용자에게 알려줄 수 있다. 미션을 사용자가 모두 처리하면 소정의 상품을 사용자에게 지급하는 홍보 서비스를 제공할 수 있다. 예를 들어, LG전자의 V50 모바일 디바이스와 관련된 모든 이벤트 미션을 완료하면, V50 모바일 디바이스에 대한 듀얼 스크린을 사용자에게 무상으로 지급할 수 있다.
도45는 본 발명의 실시예들에 따른 XR 디바이스를 사용하여 지차체 홍보를 구현하는 예시를 나타낸다.
본 발명의 실시예들에 따른 XR 디바이스(45000)는 지차체 홍보를 구현할 수 있다. 예를 들어, XR 디바이스(45000)는 지자체DB리스트를 디스플레이할 수 있다. 여주시, 서천군, 강릉시 등과 같은 지자체 리스트가 디스플레이될 수 있다.
방법S45001관련하여, XR 디바이스(43500)는 사용자의 선택 신호에 대응하여 여주시 DB에 접근을 요청할 수 있다.
방법S45002관련하여, XR 디바이스(45000)는 여주시의 STAMP이벤트에 참여를 요청하고, 여주시DB의 화이트리스트에 사용자를 등록 신청할 수 있다.
공용DB(45001)는 모든 사용자가 공통적으로 접근할 수 있는 AR정보를 포함한다.
기업DB(45002)는 특정 지자체와 관련된 AR정보를 포함한다. 공용DB(45001)와 달리, 지자체DB의 화이트리스트에 등록된 사용자만 접근이 가능하다. 지자체 여주시 DB(45002)는 개인DB와 유사할 수 있으며, 지자체마다 AR정보를 갖는 DB를 구축할 수 있다.
본 발명의 실시예들에 따른 XR디바이스의 지차체 STAMP이벤트 홍보를 통하여, 기업들이 자체 제작한 특정 어플리케이션을 사용하는 것이 아닌, 공통적인 하나의 어플리케이션을 통한 지자체 스템프 홍보를 실현할 수 있다.
예를 들어, 많은 지자체들이 STAMP를 통한 미션을 제공하고, 미션을 완료하면 응시자에게 소정의 선물을 지원하고 있다. 이러한 홍보 서비스를 하나의 공통 어플리케이션을 사용하여 각 지자체 별로 AR DB를 구축하고 STAMP미션을 수행할 수 있다.
지자체가 특정 AR DB를 만들어서 본인 지자체의 특정 관광지 또는 문화재 앞에서 XR디바이스로 AR정보를 보면 관광지 또는 문화재의 설명이 AR정보에 의해 디스플레이될 수 있다. AR로 디스플레이되는 설명을 끝까지 확인하면 STAMP가 자동으로 사용자에게 찍힐 수 있다.
도46은 본 발명의 실시예들에 따른 STAMP홍보를 나타낸다.
지도(46000)는 본 발명의 실시예들에 따른 XR디바이스에 의해 표시될 수 있다. 지도(46000)는 지자체의 STAMP 미션을 위한 장소를 포함할 수 있다. 예를 들어, STAMP가 발급 가능한 장소가 표시된다.
디스플레이(46001)는 AR홍보를 위한 미션 장소를 XR 디바이스를 통해 보는 모습이다.
AR객체(46002)가 XR디바이스에 의해 지자체DB로부터 획득된 AR정보에 의해서 디스플레이될 수 있다.
미션(46003)은 AR객체(46002)에 대한 미션이다. 지자체는 홍보 정보를 STAMP 미션 형식으로 미션(46003)과 같이 사용자에게 제공할 수 있다. 미션을 처리한 사용자에게 STAMP를 자동으로 찍어준다.
본 발명의 실시예들에 따른 XR디바이스의 STAMP 미션을 통하여, 지도상에 STAMP가 발급 가능한 장소를 보여줄 수 있고, 해당 장소에서 AR정보 및 AR 객체를 이용하여 사용자에게 관련 설명을 제공할 수 있다. 설명을 끝가지 확인한 사용자에게 STAMP를 발행할 수 있다. 예를 들어, 여주시 STAMP가 가능한 장소를 지도 상에 표시하고, 해당 장소에서 장소 관련 AR객체를 확인하면 여주시 AR DB에 저장된 영상 또는 설명이 디스플레이된다.
도47은 본 발명의 실시예들에 따른 XR디바이스를 사용하여 방 인테리어를 구현하는 예시이다.
본 발명의 실시예들에 따른 XR디바이스(47000)는 AR정보를 사용하여 방 인테리어 모드를 지원할 수 있다. XR디바이스(47000)는 방 사진을 서버에 업로드한다. XR디바이스(47000)는 기업DB에 접근 요청할 수 있다.
방법S47001관련하여, XR디바이스(47000)는 인테리어 전문가 랭킹 리스트를 디스플레이할 수 있다. 인테리어 전문가 랭킹 리스트는 인테리어 전문가의 화이트리스트의 인원 수를 기준으로 나열될 수 있다. 예를 들어, AAA인테리어, BBB인테리어, CCC인테리어 등의 리스트가 나타날 수 있다. XR디바이스(47000)는 복수의 인테리어 전문가를 선택할 수 있다.
방법S47002관련하여, XR디바이스(47000)는 AAA, BBB, CCC를 화이트리스트에 추가하고 각 전문가에게 알림을 전송한다. XR디바이스(47000)는 개인 DB(47001)에 방 사진을 업로드한다.
방법S47003관련하여, XR디바이스(47000)는 인테리어 전문가인 AAA, BBB, CCC에게 알림을 전송한다. 인테리어 전문가인 AAA, BBB, CCC의 디바이스(47002)는 인테리어 요청이 왔음을 알린다.
공용DB(47003)은 모든 사용자가 접근할 수 있는 AR정보를 포함한다.
개인DB(47001)은 개인 사용자가 업로드한 방 사진을 포함한다. 개인DB(47001)의 화이트리스트에 사용자가 원하는 인테리어 전문가를 등록하고, 각 인테리어 전문가에게 개인DB(47001)에 접속해서 인테리어 자문을 구할 수 있다.
본 발명의 실시예들에 따른 XR디바이스의 인테리어 모드를 통하여, 사용자 본인의 방을 360도 카메라로 촬영하여 개인DB에 업로드할 수 있다. 승인된 전문가가 사용자의 개인DB에 접속해서 사용자의 방에 AR객체를 이용한 AR가구를 배치할 수 있다. 사용자의 방을 여러 전문가가 여러가지 AR가구를 사용하여 인테리어할 수 있다. 사용자의 개인 방은 사적인 공간이므로 개인DB에만 업로드하여 제한적으로 제공될 수 있다. 개인DB에 사용자가 승인한 전문가만 접근하도록 개인DB의 화이트리스트가 설정될 수 있다. 전문가가 배치한 가구를 사용자가 구매 시 일정 금액을 전문가에게 전달할 수 있다. 서비스 공급자는 가구 기업들이 올린 AR가구가 판매되면 일정 금액을 수수료로 받을 수 있다.
도48은 본 발명의 실시예들에 따른 인테리어의 예시를 나타낸다.
방 사진(48000)은 사용자가 촬영한 사진이고 XR디바이스에 의해 개인DB에 업로드될 수 있다.
AR객체(48001)은 인테리어 전문가가 배치한 가구 또는 인테리어 장식품이다. 예를 들어, 인테리어 전문가 CCC가 방 사진(48000) 상에 AR가구를 배치할 수 있다.
인테리어 된 사진(48002)은 복수 개로 존재할 수 있다. 다수의 인테리어 전문가마다 인테리어한 방 사진(48002)을 사용자에게 제공할 수 있다. 예를 들어, 인테리어 전문가 AAA, BBB, CCC 등이 AR객체로 인테리어한 사진을 확인할 수 잇다.
XR디바이스는 사용자로 하여금 AR객체를 통해 AR객체에 해당하는 가구를 구매할 수 있도록 서비스를 제공한다. 사용자가 AR가구를 구매하면 인테리어 전문가에게 소정의 수수료가 전달되고, 서비스 제공업자에게 소정의 수수료가 전달된다.
본 발명의 실시예들에 따른 XR디바이스의 인테리어 모드를 통하여, 인테리어 전문가가 인테리어한 방의 AR을 사용자 개인의 DB에 재업로드하여 확인할 수 있다. 개인의DB에 업로드된 인테리어 결과 사진을 보고 가구를 직접 구매할 수 있다. AR가구의 정보는 가구 판매점에서 DB에 업로드할 수 잇다. 인테리어 전문가가 추천한 가구를 사용자가 구매한 경우 일정 금액을 전문가에게 전달할 수 있다. 예들 들어 가구 가격의 1퍼센트를 전문가에게 할당할 수 있다. 서비스 공급업체는 일정 수수료를 가구업체로부터 전달받을 수 있다. 예를 들어, 가구 가격의 1퍼센트로 결정될 수 있다.
도49는 본 발명의 실시예들에 따른 XR디바이스의 제어 방법을 나타낸다.
본 발명의 실시예들에 따른 XR디바이스의 제어 방법은 공용 DB(Database)에 접속하는 단계(S49001), 공용 DB의 키 정보에 기초하여 개인 DB를 생성하는 단계(S49002), 및/또는 공용 AR정보 또는 개인AR정보를 획득하는 단계(S49003)를 포함한다. 구체적으로, 각 단계는 도24에서 상술한 본 발명의 실시예들에 따른 XR 디바이스가 데이터베이스(Database, DB)에 접근하는 과정에 대응될 수 있다.
본 발명의 실시예들에 따른 XR디바이스의 제어 방법으로 인하여, 개인DB를 생성할 수 있다. 특히, 개인DB에 저장된 개인AR정보는 개인 사용자에 관련된 보안이 필요한 정보일 수 있다. 따라서, 개인DB를 별도로 분리하여 관리함으로써 보안이 높은 AR기술을 제공할 수 있다.
또한, 개인DB는 XR디바이스의 다양한 종류에 따라 보안성 및 확장성을 모두 만족시킬 수 있다. 본 발명의 실시예들에 따른 XR디바이스가 모바일 디바이스인 경우 USIM의 필드(field)를 사용하여 개인DB의 보완성을 유지할 수 있다. 본 발명의 실시예들에 따른 XR디바이스가 AR글래스인 경우 AR글래스의 식별 정보를 통해 개인DB의 보완성을 유지할 수 있다.
또한, XR디바이스를 변경해야 하는 경우 USIM 필드 또는 식별정보만 변경함으로써 개인DB의 확장성을 유지할 수 있다.
본 발명의 실시예들에 따른 XR디바이스의 제어 방법은 공용DB 및 개인DB를 분리하여 개인 사용자만 볼 수 있는 AR화면을 구현할 수 있다. 이때 본 발명의 실시예들에 따른 인증 방법, 즉 화이트리스트를 이용한 방법을 사용하여 다른 사용자, 친구, 지인에게 AR화면을 공유할 수 있다.
본 발명의 실시예들에 따른 XR디바이스의 제어 방법은 상술한 바와 같이 공용DB 및 개인DB 각각에 포함된 AR정보를 사용하여 다양하게 UI/UX를 제공할 수 있다.
또한, 본 발명의 실시예들에 따른 XR디바이스의 제어 방법은 지자체 홍보 및 기업 홍보에 사용될 수 있다. 기업 또는 지자체가 어플리케이션을 별도로 제작할 필요 없이 이벤트를 통한 AR홍보를 구현할 수 있다. AR홍보 어플리케이션을 통해 기업 및 지자체 참여가 많아지면 그만큼 사용자가 늘어 수익을 창출할 수 있다.
본 명세서에서 “/”및 “,”는 “및/또는”으로 해석할 수 있다. 예를 들어, “A/B”의 표현은 “A및/또는 B”를 의미할 수 있다. 나아가, “A, B”는 “A및/또는 B”를 의미할 수 있다. 더 나아가, “A/B/C”는 “A, B 및/또는 C 중 적어도 하나의”를 의미할 수 있다.
나아가 본 명세서에서 “또는”은 “및/또는”으로 해석할 수도 있다. 예를 들어 “A또는 B”는 1)A만 나타내는 경우, 2)B만 나타내는 경우 및/또는 3)A 그리고 B를 나타내는 경우를 의미할 수 있다. 다시 말하면, 본 명세서에서 “또는”은 “부가적으로 또는 대안적으로(additionally or alternativelty)”를 의미할 수 있다.
본 발명의 실시예들에 따른 XR 디바이스 또는 XR 디바이스의 제어 방법 및/또는 그 내부에 존재하는 모듈들/블록들은 상술한 바에 대응하는 기능을 수행할 수 있다.
상술한 본 발명의 실시예들에 따른 XR 디바이스의 구성요소들은 각각 별도의 하드웨어(예를 들면 칩, 하드웨어 회로, 통신 가능한 디바이스 등)으로 구성될 수도 있고 하나의 하드웨어로 구성될 수도 있다. 또한 본 발명의 실시예들에 따른 XR 컨텐츠 제공 디바이스의 구성요소들 중 적어도 하나 이상은 프로그램을 실행 할 수 있는 하나 또는 그 이상의 프로세서들로 구성될 수 있다.
또한, 명세서는 각각의 첨부된 도면을 참조하여 설명되었지만, 첨부 된 도면에 도시된 실시 예들을 서로 병합함으로써 새로운 실시예를 설계하는 것도 가능하다. 또한, 전술한 실시예를 실행하기 위한 프로그램이 기록된 컴퓨터에 의해 판독 가능한 기록매체가 당업자의 필요에 따라 설계되는 경우, 이는 본 명세서에서 청구하고자 하는 권리범위 및 그 등가물의 범위에 속한다.
즉, 본 명세서에서는 첨부된 도면을 참조하여 설명하였으나, 이는 실시예일뿐 특정 실시예에 한정되지 아니하며, 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 변형실시가 가능한 다양한 내용도 청구범위에 따른 권리범위에 속한다. 또한, 그러한 변형 실시들이 본 발명의 기술 사상으로부터 개별적으로 이해되어서는 안 된다.
본 발명의 실시예들에 따른 XR 디바이스 또는 XR 디바이스의 제어 방법을 수행하기 위한 실행 가능한 인스트럭션들은 하나 또는 그 이상의 프로세서들에 의해 실행되기 위해 구성된 일시적이지 않은 CRM 또는 다른 컴퓨터 프로그램 제품들에 저장될 수 있거나, 하나 또는 그 이상의 프로세서들에 의해 실행되기 위해 구성된 일시적인 CRM 또는 다른 컴퓨터 프로그램 제품들에 저장될 수 있다. 또한 본 발명의 실시예들에 따른 메모리는 휘발성 메모리(예를 들면 RAM 등)뿐 만 아니라 비휘발성 메모리, 플래쉬 메모리, PROM등을 전부 포함하는 개념으로 사용될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.
그리고, 당해 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양 발명의 설명은 보충적으로 적용될 수가 있다.
본 발명의 사상이나 범위를 벗어나지 않고 본 발명에서 다양한 변경 및 변형이 가능함은 당업자에게 이해된다. 따라서, 본 발명은 첨부된 청구항 및 그 동등 범위 내에서 제공되는 본 발명의 변경 및 변형을 포함하는 것으로 의도된다.
본 명세서에서 장치 및 방법 발명이 모두 언급되고, 장치 및 방법 발명 모두의 설명은 서로 보완하여 적용될 수 있다.
100: XR 디바이스
110: 카메라
120: 디스플레이
130: 센서
140: 프로세서
150: 메모리
160: 통신 모듈
110: 카메라
120: 디스플레이
130: 센서
140: 프로세서
150: 메모리
160: 통신 모듈
Claims (20)
- 공용 DB(Database)에 접속하는 단계;
상기 공용 DB의 키 정보에 기초하여 개인 DB를 생성하는 단계,
상기 공용DB는 공용AR(Artificial Intelligence)정보를 포함하고,
상기 개인DB는 개인AR정보 및 화이트리스트를 포함함;
상기 공용AR정보 또는 상기 개인AR정보를 획득하는 단계; 를 포함하는,
XR디바이스 제어 방법.
- 제1항에 있어서, 상기 방법은
제1사용자의 상기 개인 DB에 대한 접근 요청을 확인하는 단계; 및
상기 개인 DB의 상기 화이트리스트에 상기 1사용자에 대한 키 값을 추가하는 단계; 를 더 포함하는,
XR디바이스 제어 방법.
- 제1항에 있어서,
상기 공용DB의 상기 공용AR정보는 사용자들에 의해 접속 가능한 정보이고,
AR모드에 대한 제1사용자의 신호에 대응하여, 상기 공용DB의 상기 공용AR정보가 획득되는,
XR디바이스 제어 방법.
- 제3항에 있어서, 상기 방법은
상기 공용DB의 상기 공용AR정보에 기초하여 AR객체를 디스플레이하는,
XR디바이스 제어 방법.
- 제1항에 있어서, 상기 방법은
AR모드에 대한 제1사용자의 신호에 대응하여, 상기 공용DB로부터 상기 개인DB에 대한 키를 수신하고,
상기 수신된 키에 기초하여 상기 개인DB의 상기 개인AR정보를 획득하는,
XR디바이스 제어 방법.
- 제5항에 있어서, 상기 방법은
상기 개인DB의 상기 개인AR정보에 기초하여 AR객체를 디스플레이하고,
상기 개인DB의 상기 개인AR정보는 상기 제1사용자만 접속 가능한,
XR디바이스 제어 방법.
- 제1항에 있어서, 상기 방법은
AR모드에 대한 제1사용자의 신호에 대응하여, 상기 공용DB로부터 제2사용자의 개인DB에 대한 키를 수신하고,
상기 수신된 키에 기초하여 상기 제2사용자의 개인DB에 접속하고,
상기 제2사용자의 상기 개인DB의 화이트리스트에 상기 제1사용자의 키가 존재하는지를 확인하는,
XR디바이스 제어 방법.
- 제7항에 있어서, 상기 방법은
상기 제1사용자의 개인DB의 개인AR정보에 기초하여 제1 AR객체를 디스플레이하고,
상기 제2사용자의 상기 개인DB의 개인AR정보에 기초하여 제2 AR객체를 디스플레이하고,
상기 공용DB의 상기 공용AR정보에 기초하여 제3 AR객체를 디스플레이하는,
XR디바이스 제어 방법.
- 제1항에 있어서, 상기 방법은
AR모드에 대한 제1사용자의 신호에 대응하여, 상기 공용DB로부터 적어도 둘 이상의 사용자들 각각의 개인DB에 대한 접근 키를 수신하고,
상기 수신된 키에 기초하여 상기 적어도 둘 이상의 사용자들 각각의 개인DB에 접속하고,
상기 적어도 둘 이상의 사용자들 각각의 개인DB의 화이트리스트에 상기 제1사용자의 키가 존재하는지를 확인하는,
XR디바이스 제어 방법.
- 제9항에 있어서, 상기 방법은
상기 제1사용자의 개인DB의 개인AR정보에 기초하여 제1 AR객체를 디스플레이하고,
상기 적어도 둘 이상의 사용자들 각각의 개인DB의 개인AR정보에 기초하여 제2AR객체들을 디스플레이하고,
상기 공용DB의 상기 공용AR정보에 기초하여 제3 AR객체를 디스플레이하는,
XR디바이스 제어 방법.
- 메모리;
XR 디바이스의 주변을 촬영하는 카메라;
상기 메모리에 기초하여 상기 카메라에 의해 촬영된 데이터를 디스플레이하는 디스플레이 모듈; 및
상기 메모리, 상기 카메라 및 상기 디스플레이 모듈과 연결된 컨트롤러; 를 포함하고,
상기 컨트롤러는,
공용 DB(Database)에 접속하고,
상기 공용 DB의 키 정보에 기초하여 개인 DB를 생성하고,
상기 공용DB는 공용AR(Artificial Intelligence)정보를 포함하고,
상기 개인DB는 개인AR정보 및 화이트리스트를 포함하고,
상기 공용AR정보 또는 상기 개인AR정보를 획득하는,
XR 디바이스.
- 제11항에 있어서, 상기 컨트롤러는
제1사용자의 상기 개인 DB에 대한 접근 요청을 확인하고,
상기 개인 DB의 상기 화이트리스트에 상기 1사용자에 대한 키 값을 추가하는,
XR 디바이스.
- 제11항에 있어서,
상기 공용DB의 상기 공용AR정보는 사용자들에 의해 접속 가능한 정보이고,
AR모드에 대한 제1사용자의 신호에 대응하여, 상기 공용DB의 상기 공용AR정보가 획득되는,
XR 디바이스.
- 제13항에 있어서, 상기 컨트롤러는
상기 공용DB의 상기 공용AR정보에 기초하여 AR객체를 디스플레이하는,
XR 디바이스.
- 제12항에 있어서, 상기 컨트롤러는
AR모드에 대한 제1사용자의 신호에 대응하여, 상기 공용DB로부터 상기 개인DB에 대한 키를 수신하고,
상기 수신된 키에 기초하여 상기 개인DB의 상기 개인AR정보를 획득하는,
XR 디바이스.
- 제15항에 있어서, 상기 컨트롤러는
상기 개인DB의 상기 개인AR정보에 기초하여 AR객체를 디스플레이하고,
상기 개인DB의 상기 개인AR정보는 상기 제1사용자만 접속 가능한,
XR 디바이스.
- 제11항에 있어서, 상기 컨트롤러는
AR모드에 대한 제1사용자의 신호에 대응하여, 상기 공용DB로부터 제2사용자의 개인DB에 대한 키를 수신하고,
상기 수신된 키에 기초하여 상기 제2사용자의 개인DB에 접속하고,
상기 제2사용자의 상기 개인DB의 화이트리스트에 상기 제1사용자의 키가 존재하는지를 확인하는,
XR 디바이스.
- 제17항에 있어서, 상기 컨트롤러는
상기 제1사용자의 개인DB의 개인AR정보에 기초하여 제1 AR객체를 디스플레이하고,
상기 제2사용자의 상기 개인DB의 개인AR정보에 기초하여 제2 AR객체를 디스플레이하고,
상기 공용DB의 상기 공용AR정보에 기초하여 제3 AR객체를 디스플레이하는,
XR 디바이스.
- 제11항에 있어서, 상기 컨트롤러는
AR모드에 대한 제1사용자의 신호에 대응하여, 상기 공용DB로부터 적어도 둘 이상의 사용자들 각각의 개인DB에 대한 접근 키를 수신하고,
상기 수신된 키에 기초하여 상기 적어도 둘 이상의 사용자들 각각의 개인DB에 접속하고,
상기 적어도 둘 이상의 사용자들 각각의 개인DB의 화이트리스트에 상기 제1사용자의 키가 존재하는지를 확인하는,
XR 디바이스.
- 제19항에 있어서, 상기 컨트롤러는
상기 제1사용자의 개인DB의 개인AR정보에 기초하여 제1 AR객체를 디스플레이하고,
상기 적어도 둘 이상의 사용자들 각각의 개인DB의 개인AR정보에 기초하여 제2AR객체들을 디스플레이하고,
상기 공용DB의 상기 공용AR정보에 기초하여 제3 AR객체를 디스플레이하는,
XR 디바이스.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190098869A KR20190101927A (ko) | 2019-08-13 | 2019-08-13 | Xr 디바이스 및 그 제어 방법 |
| US16/547,095 US11366917B2 (en) | 2019-08-13 | 2019-08-21 | XR device and method for controlling the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190098869A KR20190101927A (ko) | 2019-08-13 | 2019-08-13 | Xr 디바이스 및 그 제어 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20190101927A true KR20190101927A (ko) | 2019-09-02 |
Family
ID=67951237
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190098869A KR20190101927A (ko) | 2019-08-13 | 2019-08-13 | Xr 디바이스 및 그 제어 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11366917B2 (ko) |
| KR (1) | KR20190101927A (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102641886B1 (ko) * | 2023-03-03 | 2024-02-27 | 신경희 | 3d 조형물을 활용한 증강현실 연동 시스템 및 방법 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110011692A (zh) * | 2017-12-29 | 2019-07-12 | 株式会社Ntt都科摩 | 一种扩频通信方法、用户设备和基站 |
| CN114503587A (zh) * | 2019-10-07 | 2022-05-13 | Lg电子株式会社 | 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法 |
| US11544921B1 (en) * | 2019-11-22 | 2023-01-03 | Snap Inc. | Augmented reality items based on scan |
| US11599717B2 (en) | 2020-03-20 | 2023-03-07 | Capital One Services, Llc | Separately collecting and storing form contents |
| US20220369255A1 (en) * | 2021-05-11 | 2022-11-17 | Qualcomm Incorporated | Timing offset selection in non-terrestrial network |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090292677A1 (en) * | 2008-02-15 | 2009-11-26 | Wordstream, Inc. | Integrated web analytics and actionable workbench tools for search engine optimization and marketing |
| GB2560585A (en) * | 2017-03-17 | 2018-09-19 | Digi Me Ltd | Data processing apparatus and methods |
| US10931767B2 (en) * | 2018-07-23 | 2021-02-23 | International Business Machines Corporation | Prioritizing social media posts and recommending related actions |
| US20210019301A1 (en) * | 2019-07-18 | 2021-01-21 | EMC IP Holding Company LLC | Data integrity and consensuses with blockchain |
-
2019
- 2019-08-13 KR KR1020190098869A patent/KR20190101927A/ko active Search and Examination
- 2019-08-21 US US16/547,095 patent/US11366917B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102641886B1 (ko) * | 2023-03-03 | 2024-02-27 | 신경희 | 3d 조형물을 활용한 증강현실 연동 시스템 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11366917B2 (en) | 2022-06-21 |
| US20190377894A1 (en) | 2019-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102628102B1 (ko) | Xr 디바이스 및 그 제어 방법 | |
| KR102619607B1 (ko) | Xr 디바이스 및 그 제어 방법 | |
| KR102592653B1 (ko) | Ar 모드 및 vr 모드를 제공하는 xr 디바이스 및 그 제어 방법 | |
| KR102622882B1 (ko) | Xr 컨텐츠 제공 방법 및 xr 디바이스 | |
| KR20190104928A (ko) | Xr 디바이스 및 xr 디바이스 제어 방법 | |
| KR102614496B1 (ko) | Xr 디바이스 및 그 제어 방법 | |
| KR102625456B1 (ko) | Ar 모드 및 vr 모드를 제공하는 xr 디바이스 및 그 제어 방법 | |
| KR20190104945A (ko) | Xr 디바이스 및 그 제어 방법 | |
| KR102625457B1 (ko) | Xr 디바이스 및 그 제어 방법 | |
| KR20210023397A (ko) | 멀티미디어 디바이스 및 그 제어 방법 | |
| KR102640673B1 (ko) | 멀티미디어 디바이스 및 그 제어 방법 | |
| KR102622883B1 (ko) | Xr 디바이스 및 그 제어 방법 | |
| KR20210053554A (ko) | 멀티미디어 디바이스 및 그 제어 방법 | |
| US11366917B2 (en) | XR device and method for controlling the same | |
| US20190385375A1 (en) | Xr device and method for controlling the same | |
| KR102625458B1 (ko) | Xr 컨텐츠 제공 방법 및 xr 컨텐츠 제공 디바이스 | |
| KR102616496B1 (ko) | Xr 디바이스 및 그 제어 방법 | |
| KR20190098925A (ko) | Xr 디바이스 및 그 제어 방법 | |
| KR102637416B1 (ko) | Xr 디바이스 및 그 제어 방법 | |
| KR20190095183A (ko) | Xr 디바이스 및 그 제어 방법 | |
| KR20190106850A (ko) | Xr 컨텐츠 제공 방법 및 xr 컨텐츠 제공 디바이스 | |
| KR20190106851A (ko) | Xr 컨텐츠 제공 방법 및 xr 컨텐츠 제공 디바이스 | |
| KR20190095184A (ko) | 멀티미디어 디바이스 및 그 제어 방법 | |
| KR20200069242A (ko) | Xr 컨텐트 제공 방법 및 xr 디바이스 | |
| KR20190104946A (ko) | Xr 디바이스 및 그 제어 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |