KR20230128915A - Method of transmitting UI display information based on smart contract - Google Patents
Method of transmitting UI display information based on smart contract Download PDFInfo
- Publication number
- KR20230128915A KR20230128915A KR1020220026429A KR20220026429A KR20230128915A KR 20230128915 A KR20230128915 A KR 20230128915A KR 1020220026429 A KR1020220026429 A KR 1020220026429A KR 20220026429 A KR20220026429 A KR 20220026429A KR 20230128915 A KR20230128915 A KR 20230128915A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- information
- content
- local server
- client
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 230000008859 change Effects 0.000 claims abstract description 16
- 230000005540 biological transmission Effects 0.000 claims description 19
- 238000000926 separation method Methods 0.000 claims description 4
- 230000002093 peripheral effect Effects 0.000 description 24
- 230000006870 function Effects 0.000 description 18
- 230000003993 interaction Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 10
- 238000013507 mapping Methods 0.000 description 7
- 230000001360 synchronised effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000010287 polarization Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000001145 finger joint Anatomy 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000007257 malfunction Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008450 motivation Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000036461 convulsion Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43079—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on multiple devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
- G06F3/1438—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using more than one graphics controller
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/101—Collaborative creation, e.g. joint development of products or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
- H04N21/2223—Secondary servers, e.g. proxy server, cable television Head-end being a public access point, e.g. for downloading to or uploading from clients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25866—Management of end-user data
- H04N21/25875—Management of end-user data involving end-user authentication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
- H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/485—End-user interface for client configuration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8166—Monomedia components thereof involving executable data, e.g. software
- H04N21/8173—End-user applications, e.g. Web browser, game
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q2220/00—Business processing using cryptography
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Entrepreneurship & Innovation (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Information Transfer Between Computers (AREA)
Abstract
본 발명은 스마트 컨트랙트 기반으로 UI 화면 정보를 전송하는 방법에 관한 것으로서, UI 앱 서버, NFT 컨텐츠 서버, 및 로컬 서버가 특정 기간 동안 유효한 스마트 컨트랙트를 체결한 경우, 상기 로컬 서버에 설치된 UI 배치 제어부를 이용하여 상기 로컬 서버에서 실행된 UI 앱에서 제공하는 UI를 복수의 UI 엘리먼트로 분리하는 단계, 상기 UI 배치 제어부가 상기 주변 클라이언트들과 상기 복수의 UI 엘리먼트 그룹을 각각 매핑하여 UI 배치정보를 생성하는 단계, 및 상기 UI 배치 제어부는 상기 UI 배치정보를 이용하여 상기 주변 클라이언트들 각각에 대응하는 적어도 하나 이상의 UI 엘리먼트 그룹을 상기 주변 클라이언트들로 전송하거나, 상기 주변 클라이언트들 각각에 대응하는 적어도 하나 이상의 UI 엘리먼트 그룹을 비디오스트림으로 전송하는 것을 특징으로 하며, NFT 컨텐츠 사용자에게 NFT 컨텐츠 포워딩 권한 및 UI 변경 권한을 제공하여, 컨텐츠 사용자가 신규 UI를 제공할 수 있는 권한을 부여하고, 해당 NFT 컨텐츠의 액세스 권한을 제3 사용자에게 포워딩함으로써 다양한 UX를 반영한 컨텐츠 서비스 제공이 가능하다.The present invention relates to a method for transmitting UI screen information based on a smart contract, and when a UI app server, an NFT content server, and a local server enter into a valid smart contract for a specific period of time, a UI deployment control unit installed in the local server Separating the UI provided by the UI app executed on the local server into a plurality of UI elements using the UI app, wherein the UI arrangement control unit maps the neighboring clients and the plurality of UI element groups to generate UI arrangement information. and wherein the UI arrangement control unit transmits at least one UI element group corresponding to each of the neighboring clients to the neighboring clients by using the UI arrangement information, or at least one UI element corresponding to each of the neighboring clients. Characterized in that the element group is transmitted as a video stream, and by providing the NFT content forwarding right and UI change right to the NFT content user, the content user is given the right to provide a new UI, and the right to access the corresponding NFT content By forwarding to a third user, it is possible to provide content services reflecting various UX.
Description
본 발명은 스마트 컨트랙트 기반으로 UI 화면 정보를 전송하는 방법에 관한 것으로서, 더욱 상세하게는 NFT 컨텐츠 사용자에게 NFT 컨텐츠 포워딩 권한 및 UI 변경 권한을 제공하여, NFT 컨텐츠 사용자가 신규 UI를 제공할 수 있는 권한을 부여하고, 해당 NFT 컨텐츠의 액세스 권한을 제3 사용자에게 포워딩 및 양도함으로써 다양한 UX를 반영한 컨텐츠 서비스 제공이 가능한 UI 화면 정보를 전송하는 방법에 관한 것이다.The present invention relates to a method for transmitting UI screen information based on a smart contract, and more particularly, by providing NFT content forwarding rights and UI change rights to NFT content users, allowing NFT content users to provide new UIs. It relates to a method of transmitting UI screen information capable of providing content services reflecting various UX by granting and forwarding and transferring access rights of corresponding NFT contents to a third user.
종래에 UI 화면 정보를 2개 이상의 디스플레이 장치에서 공유하는 기술은 하나의 화면을 다른 화면에 미러링하거나 화면을 복수의 영역으로 분할하여 각각의 분할영역에 다른 내용을 디스플레이하는 것이 일반적이었다.In the related art, technology for sharing UI screen information between two or more display devices has been common in mirroring one screen to another screen or dividing the screen into a plurality of regions and displaying different content in each divided region.
특히 미러링 기술은 여러 디스플레이 장치에 동일한 화면이 출력되어, 불필요하게 출력되는 장치가 있게 되어 효율적이지 못하다. 또한, 화면을 복수의 영역을 분할하여 사용하는 경우 하나의 장치내 디스플레이를 분할하여 사용하므로, UI 화면 정보를 여러 디스플레이 장치에 분산하여 사용하지 못하는 비효율성의 문제가 있다.In particular, the mirroring technology is not efficient because the same screen is output to several display devices, and there is an unnecessary output device. In addition, when a screen is divided into a plurality of regions and used, there is a problem of inefficiency in that UI screen information cannot be distributed and used in multiple display devices because the display in one device is divided and used.
또한, IoT 장치를 스마트 기기에서 제어하거나, IoT 장치의 상태정보를 확인하기 위해서는 IoT 장치에 접속할 수 있는 별도의 애플리케이션을 설치해야 하는 번거로움이 있으며, IoT 장치가 늘어남에 따라 설치되는 애플리케이션 설치가 계속 늘어나는 문제가 있다.In addition, in order to control the IoT device from a smart device or check the status information of the IoT device, there is the inconvenience of installing a separate application that can connect to the IoT device, and as the number of IoT devices increases, the installation of the installed application continues. There is a growing problem.
선행기술 1(한국 공개 특허 KR 10-20818-0081133)은 신속한 스크린 분할 방법에 관한 선행기술로서, 터치 감응 표면에 작용하는 손가락 관절 터치 제스처를 검출하는 경우, 상기 손가락 관절 터치 제스처에 응답하여 상기 디스플레이의 디스플레이 UI를 적어도 2개의 디스플레이 영역으로 분할하는 것이 특징이다.Prior art 1 (Korean Patent Publication No. KR 10-20818-0081133) is a prior art related to a method for quickly dividing a screen, and when a finger joint touch gesture acting on a touch sensitive surface is detected, the display is responsive to the finger joint touch gesture. It is characterized by dividing the display UI of at least two display areas.
선행기술 1을 살펴보면, 화면 분할을 손쉽게 하는 방법을 개시하고 있을 뿐, 분할된 화면을 주변 기기들과 효율적으로 협력하여 디스플레이할 수 있을지에 대한 구성이 개시되어 있지 않다.Referring to Prior Art 1, only a method for facilitating screen division is disclosed, but a configuration for displaying the divided screen in cooperation with peripheral devices is not disclosed.
선행기술 2는(한국 공개 특허 KR10-2010-0081383)는 터치 스크린 분할 방법에 관한 것으로 터치 스크린 상에 두 개의 위치를 입력받아 터치 스크린의 분할 영역 레이아웃을 형성하고, 형성된 분할 영역 각각에 별도의 디스플레이를 할당하는 것이 특징이다. 선행기술 2 역시 하나의 장치에서 화면 분할을 하는 방법을 개시하고 있어, 분할된 화면을 복수의 기기에서 협력하여 디스플레이하고자 하는 동기가 나타나 있지 않다.Prior Art 2 (Korean Patent Publication KR10-2010-0081383) relates to a method for dividing a touch screen, receives two positions on a touch screen, forms a layout for a divided area of the touch screen, and displays a separate display in each of the formed divided areas. It is characterized by the allocation of . Prior art 2 also discloses a method of dividing a screen in one device, so there is no motivation to cooperatively display the divided screen in a plurality of devices.
선행기술 3은(미국 공개 특허 US20190373058-A1)은 다수의 기기간의 사용자 인터랙션 정보를 리모트 서버로 전송하여 사용자 인터랙션 정보를 동기화는 것이 특징이다. 선행기술 3은 분할된 화면을 복수의 기기에서 협력하여 디스플레이하고자 하는 동기가 나타나 있지 않다.Prior art 3 (US Patent Publication US20190373058-A1) is characterized by synchronizing user interaction information by transmitting user interaction information between a plurality of devices to a remote server. In Prior Art 3, there is no motivation to cooperatively display a divided screen in a plurality of devices.
또한, 종래에는 여러 디스플레이 장치 간에 UI 화면을 공유하는 경우 해당 UI 화면을 디스플레이하는 애플리케이션이 디스플레이 장치에 모두 설치되어 실행되어야 가능한 문제가 있었다. 나아가, 디스플레이 장치간 OS가 상이한 경우에는 UI 화면 공유가 어려워 UI 정보를 여러 기기간에 공유하는데 어려움이 있었다. In addition, in the related art, when a UI screen is shared between multiple display devices, there is a possible problem when all applications displaying the corresponding UI screen are installed and executed on the display device. Furthermore, when OSs are different between display devices, it is difficult to share UI screens, making it difficult to share UI information among multiple devices.
따라서, 본 발명이 해결하고자 하는 첫 번째 과제는 NFT 컨텐츠 사용자에게 NFT 컨텐츠 포워딩 권한 및 UI 변경 권한을 제공하여, NFT 컨텐츠 사용자가 신규 UI를 제공할 수 있는 권한을 부여하고, 해당 NFT 컨텐츠의 액세스 권한을 제3 사용자에게 포워딩함으로써 다양한 UX를 반영한 컨텐츠 서비스 제공이 가능한 스마트 컨트랙트 기반으로 UI 화면 정보를 전송하는 방법을 제공하는 것이다.Therefore, the first problem to be solved by the present invention is to provide NFT content forwarding rights and UI change rights to NFT content users, grant NFT content users rights to provide new UI, and access rights to the corresponding NFT content. is forwarded to a third user to provide a method of transmitting UI screen information based on a smart contract capable of providing content services reflecting various UX.
본 발명이 해결하고자 하는 두 번째 과제는 UI 배치 정보에 포함된 UI 엘리먼트 그룹을 비디오스트리밍 방법으로 전송함으로써 OS와 독립적으로 UI 화면정보를 전송할 수 있는 스마트 컨트랙트 기반으로 UI 화면 정보를 전송하는 로컬 서버를 제공하는 것이다.The second problem to be solved by the present invention is a local server that transmits UI screen information based on a smart contract that can transmit UI screen information independently of the OS by transmitting a group of UI elements included in UI layout information in a video streaming method. is to provide
또한, 상기된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.In addition, it is to provide a computer-readable recording medium on which a program for executing the method described above is recorded on a computer.
본 발명은 상기 첫 번째 과제를 달성하기 위하여, 스마트 컨트랙트 기반으로 UI 화면 정보를 전송하는 방법에 있어서, UI 앱공급자, NFT 컨텐츠 공급자, 및 사용자가 특정 기간 동안 유효한 스마트 컨트랙트를 체결한 경우, 상기 사용자의 로컬 서버에서 실행된 UI 앱에서 제공하는 UI를 복수의 UI 엘리먼트 그룹으로 OS 레벨에서 분리하는 단계; 상기 주변 클라이언트들과 상기 복수의 UI 엘리먼트 그룹을 각각 매핑하여 UI 배치정보를 생성하는 단계; 및 상기 UI 배치정보를 이용하여 상기 주변 클라이언트들 각각에 대응하는 적어도 하나 이상의 UI 엘리먼트 그룹을 상기 주변 클라이언트들로 전송하거나, 상기 주변 클라이언트들 각각에 대응하는 적어도 하나 이상의 UI 엘리먼트 그룹을 비디오스트림으로 전송하는 것을 특징으로 하는 스마트 컨트랙트 기반으로 UI 화면 정보를 전송하는 방법을 제공한다.In order to achieve the first object, the present invention is a method for transmitting UI screen information based on a smart contract, when a UI app provider, an NFT content provider, and a user enter into a valid smart contract for a specific period of time, the user Separating the UI provided by the UI app executed on the local server into a plurality of UI element groups at the OS level; generating UI arrangement information by mapping the neighboring clients and the plurality of UI element groups, respectively; and transmitting at least one or more UI element groups corresponding to each of the neighboring clients to the neighboring clients by using the UI arrangement information, or transmitting at least one or more UI element groups corresponding to each of the neighboring clients through a video stream. It provides a method of transmitting UI screen information based on a smart contract, characterized in that.
본 발명의 일 실시 예에 의하면, 상기 주변 클라이언트들 중 어느 하나의 클라이언트에게 상기 UI 앱의 UI를 UI 엘리먼트 그룹으로 분리할 수 있는 권한을 허가(authorization) 또는 위임 (delegation)하는 단계를 더 포함할 수 있다.According to an embodiment of the present invention, the step of authorizing or delegating the right to separate the UI of the UI app into UI element groups to any one of the peripheral clients may be further included. can
또한, 상기 UI 앱이 2개 이상 선택되어 설치된 경우, 상기 주변 클라이언트들에게 서로 다른 애플리케이션의 UI 엘리먼트 그룹을 매핑하여 UI 배치정보로 저장하는 것이 바람직하다.In addition, when two or more UI apps are selected and installed, it is preferable to map UI element groups of different applications to the surrounding clients and store them as UI arrangement information.
본 발명의 다른 실시 예에 의하면, 상기 로컬 서버와 상기 주변 클라이언트들이 홈네트워크로 연결된 경우, 상기 UI 배치정보를 클라우드 서버로 전송할 수 있다.According to another embodiment of the present invention, when the local server and the neighboring clients are connected through a home network, the UI arrangement information may be transmitted to a cloud server.
본 발명은 상기 두 번째 과제를 달성하기 위하여, UI 앱 서버, NFT 컨텐츠 서버, 및 로컬 서버가 특정 기간 동안 유효한 스마트 컨트랙트를 체결한 경우, 상기 로컬 서버에서 실행된 UI 앱에서 제공하는 UI를 복수의 UI 엘리먼트 그룹으로 분리하는 OS 레벨에서 UI 엘리먼트 분리부; 상기 주변 클라이언트들과 상기 복수의 UI 엘리먼트 그룹을 각각 매핑하여 UI 배치정보를 생성하는 UI 배치정보 생성부; 및 상기 UI 배치정보를 이용하여 상기 주변 클라이언트들 각각에 대응하는 적어도 하나 이상의 UI 엘리먼트 그룹을 상기 주변 클라이언트들로 전송하거나, 상기 주변 클라이언트들 각각에 대응하는 적어도 하나 이상의 UI 엘리먼트 그룹을 비디오스트림으로 전송하는 UI 엘리먼트 전송부를 포함하는 것을 특징으로 하는 스마트 컨트랙트 기반으로 UI 화면 정보를 전송하는 로컬 서버를 제공한다.In order to achieve the second object of the present invention, when the UI app server, the NFT content server, and the local server enter into a valid smart contract for a specific period of time, the UI provided by the UI app executed on the local server is provided by a plurality of a UI element separation unit at the OS level that separates UI elements into groups; a UI arrangement information generation unit configured to generate UI arrangement information by mapping the neighboring clients and the plurality of UI element groups; and transmitting at least one or more UI element groups corresponding to each of the neighboring clients to the neighboring clients by using the UI arrangement information, or transmitting at least one or more UI element groups corresponding to each of the neighboring clients through a video stream. It provides a local server that transmits UI screen information based on a smart contract, characterized in that it includes a UI element transmission unit that does.
상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기사용자의 로컬 서버가 스마트 컨트랙트 기반으로 UI 화면 정보를 전송하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다. In order to solve the above other technical problem, the present invention provides a computer-readable recording medium in which a program for executing a method of transmitting UI screen information based on a smart contract by the user's local server on a computer is recorded.
본 발명에 따르면, NFT 컨텐츠 사용자에게 NFT 컨텐츠 포워딩 권한 및 UI 변경 권한을 제공하여, 컨텐츠 사용자가 신규 UI를 제공할 수 있는 권한을 부여하고, 해당 NFT 컨텐츠의 액세스 권한을 제3 사용자에게 포워딩 또는 양도함으로써 다양한 UX를 반영한 컨텐츠 서비스 제공이 가능하다.According to the present invention, by providing the NFT content forwarding right and the UI change right to the NFT content user, the content user is given the right to provide a new UI, and the NFT content access right is forwarded or transferred to a third user. By doing so, it is possible to provide content services reflecting various UX.
또한, 본 발명에 따르면, UI 배치 정보에 포함된 UI 엘리먼트 그룹을 비디오스트리밍 방법으로 전송함으로써 OS와 독립적으로 UI 화면정보를 전송할 수 있다. In addition, according to the present invention, UI screen information can be transmitted independently of the OS by transmitting the UI element group included in the UI arrangement information using a video streaming method.
나아가, 본 발명에 따르면, 컨텐츠 애플리케이션의 UI 화면정보 송수신을 UI 엘리먼트 그룹 단위로 전송함으로써, 복수의 기기에 UI 엘리먼트 그룹을 다양하게 조합하여 제공할 수 있다.Furthermore, according to the present invention, UI element groups can be provided in various combinations to a plurality of devices by transmitting UI screen information transmission and reception of content applications in units of UI element groups.
또한, IoT(Internet of Things) 장치를 제어할 수 있는 애플리케이션의 UI를 주변 클라이언트에 로컬 서버가 비디오스트리밍 방법으로 전송함으로써, IoT 애플리케이션이 설치되지 않은 사용자의 기기에서도 모니터링하거나 기기 제어가 가능하게 된다.In addition, since the local server transmits the UI of an application capable of controlling IoT (Internet of Things) devices to nearby clients through a video streaming method, it is possible to monitor or control the device even on a user's device that does not have an IoT application installed.
도 1은 로컬 서버(100), 주변 클라이언트(200), 클라우드 서버(300), 및 컨텐츠 제공서버(400)로 구성된 네트워크에서 로컬 서버가 주변 클라이언트들로 UI 화면 정보를 전송하는 개념도이다.
도 2는 본 발명의 일 실시예에 따른 로컬 서버(100)가 원본 컨텐츠의 UI를 UI 트리 정보를 이용하여 UI 엘리먼트 그룹으로 분리하고, 주변 클라이언트들(21, 22)로 UI 엘리먼트 그룹을 전송하는 개념을 도시한 것이다.
도 3은 본 발명의 바람직한 일 실시예에 따른 로컬 서버와 클라이언트의 구성도이다.
도 4는 본 발명의 일 실시예에 따른 로컬 서버가 주변 클라이언트들로 UI 화면 정보를 전송하는 방법을 도시한 흐름도이다.
도 5는 본 발명의 다른 실시예에 따른 로컬 서버가 주변 클라이언트들로 UI 화면 정보를 전송하는 방법을 도시한 흐름도이다.
도 6은 본 발명의 또 다른 실시예에 따른 로컬 서버가 주변 클라이언트들로 UI 화면 정보를 전송하는 방법을 도시한 흐름도이다.
도 7은 본 발명의 실시예에 따른 로컬 서버가 주변 클라이언트들로 UI 화면 정보를 전송시 릴레이 방법으로 UI 엘리먼트 그룹을 전송하는 개념을 도시한 것이다.
도 8은 본 발명의 실시예에 따른 로컬 서버가 도 7에 도시된 UI 트리정보를 분할하여 클라이언트로 전송하는 방법을 도시한 흐름도이다.
도 9는 본 발명의 실시예에 따른 클라이언트가 컨텐츠 앱의 UI를 편집하는 방법의 흐름을 도시한 것이다.
도 10은 본 발명의 다른 실시예에 따른 로컬 서버가 클라이언트로 IoT 상태정보를 전송하는 방법의 흐름을 도시한 것이다.
도 11은 본 발명의 또 다른 실시예에 따른 로컬 서버가 클라이언트로 IoT 상태정보를 전송하는 방법의 흐름을 도시한 것이다.
도 12는 본 발명의 또 다른 실시예에 따른 로컬 서버가 미인증 클라이언트로 IoT 상태정보를 전송하는 방법의 흐름을 도시한 것이다.
도 13은 본 발명의 또 다른 실시예에 따른 로컬 서버가 NFT 컨텐츠와 UI 앱 을 수신하여 UI 화면 정보를 전송하는 방법의 흐름을 도시한 것이다.1 is a conceptual diagram in which a local server transmits UI screen information to neighboring clients in a network composed of a local server 100, a neighboring client 200, a cloud server 300, and a content providing server 400.
FIG. 2 is a diagram illustrating a process in which the local server 100 divides the UI of the original content into UI element groups using UI tree information and transmits the UI element groups to neighboring clients 21 and 22 according to an embodiment of the present invention. It illustrates the concept.
3 is a configuration diagram of a local server and a client according to a preferred embodiment of the present invention.
4 is a flowchart illustrating a method of transmitting UI screen information from a local server to neighboring clients according to an embodiment of the present invention.
5 is a flowchart illustrating a method of transmitting UI screen information from a local server to neighboring clients according to another embodiment of the present invention.
6 is a flowchart illustrating a method for a local server to transmit UI screen information to neighboring clients according to another embodiment of the present invention.
7 illustrates a concept of transmitting a UI element group in a relay method when a local server transmits UI screen information to neighboring clients according to an embodiment of the present invention.
8 is a flowchart illustrating a method of dividing the UI tree information shown in FIG. 7 by a local server according to an embodiment of the present invention and transmitting the same to a client.
9 illustrates a flow of a method of editing a UI of a content app by a client according to an embodiment of the present invention.
10 illustrates a flow of a method for a local server to transmit IoT state information to a client according to another embodiment of the present invention.
11 illustrates a flow of a method for a local server to transmit IoT state information to a client according to another embodiment of the present invention.
12 illustrates a flow of a method for transmitting IoT status information from a local server to an unauthenticated client according to another embodiment of the present invention.
13 illustrates a flow of a method in which a local server receives NFT content and a UI app and transmits UI screen information according to another embodiment of the present invention.
본 발명에 관한 구체적인 내용의 설명에 앞서 이해의 편의를 위해 본 발명이 해결하고자 하는 과제의 해결 방안의 개요 혹은 기술적 사상의 핵심을 우선 제시한다.Prior to the detailed description of the present invention, for convenience of understanding, an outline of a solution to the problem to be solved by the present invention or the core of the technical idea is first presented.
본 발명에서는 통신 네트워크로 연결된 디스플레이 장치간에 자유로운 UI 화면정보를 전달하기 위해 사용자 디스플레이 장치의 화면 크기 또는 해상도를 고려하여 컨텐츠 애플리케이션의 서비스 확장성을 극대화한다.In the present invention, in order to transfer free UI screen information between display devices connected through a communication network, service scalability of content applications is maximized by considering the screen size or resolution of a user display device.
사용자가 등록한 복수의 디스플레이 장치 또는 여러 사용자가 등록한 디스플레이 장치들이 포함된 사용자 그룹의 장치간의 사용자 경험(User Experience)을 향상시키기 위한 효율적 양방향(interactive) 데이터 전송 방법을 제시한다.An efficient interactive data transmission method for improving user experience between a plurality of display devices registered by a user or devices of a user group including display devices registered by multiple users is proposed.
통신네트워크로 연결된 디스플레이 장치 간에는 영상, 오디오, 이미지, 터치, 키보드, 음성 데이터를 공유할 수 있거나 미러링 및 포워딩 가능하다. 이 때 디스플레이 장치에서 실행되는 컨텐츠 애플리케이션의 컨텐츠 UI는 UI 엘리먼트 그룹으로 구성되어 있는데, 하나 이상의 개별 UI 엘리먼트 그룹 단위로 주변 디스플레이 장치에 전송할 수 있는 기능을 제공하고 UI 엘리먼트 관리 권한 기능을 제공함으로써 다양한 UI 변경 및 조합이 가능하도록 한다.Video, audio, image, touch, keyboard, and voice data may be shared or mirrored and forwarded between display devices connected through a communication network. At this time, the content UI of the content application executed on the display device is composed of UI element groups. It provides a function to transmit to a peripheral display device in units of one or more individual UI element groups and provides a UI element management authority function, thereby providing various UI elements. Changes and combinations are possible.
컨텐츠 UI의 분리 및 배치 권한을 가진 로컬 서버에서 UI를 구성하는 UI 엘리먼트 그룹의 비디오스트림을 주변 디스플레이 장치로 전송할 수 있다. 다른 방법으로서, UI 엘리먼트 그룹 정보만을 주변 디스플레이 장치에 전송하면, 각 주변 디스플레이 장치는 스스로 비디오 스트림을 생성하고, 이후 각 주변 디스플레이 장치는 사용자의 인터랙션 정보를 로컬 서버에 전송한다. 로컬 서버는 각 주변 디스플레이 장치로부터 전송받은 사용자 인터랙션 정보를 컨텐츠 애플리케이션에 입력할 수 있다. 이 때 주변 디스플레이 장치에 본 발명을 위해 설치된 사용자 앱은 서버로부터 수신한 UI 엘리먼트 그룹정보를 이용하여 디스플레이를 가상화하여 다수의 사용자 기기에게 UI 정보를 전송할 수 있다. 따라서 로컬 서버에서 OS 레벨에서 지원하는 기능을 UI 분리 기능 (UI 가상화), UI 배치정보 저장 및 UI 엘리먼트 그룹 전송 기능으로 최소화하여 구성할 수 있고, 이후 본 발명에 필요한 가상 디스플레이 구성 및 비디오스트리밍을 이용한 UI 전송 기능은 사용자 기기에 설치되는 사용자 앱에서 수행되도록 구성할 수 있다.A video stream of a UI element group constituting the UI may be transmitted to a peripheral display device in a local server having the right to separate and arrange the content UI. Alternatively, if only UI element group information is transmitted to the peripheral display devices, each peripheral display device generates a video stream by itself, and then each peripheral display device transmits user interaction information to a local server. The local server may input user interaction information transmitted from each peripheral display device into a content application. At this time, the user app installed for the present invention on the peripheral display device may transmit UI information to a plurality of user devices by virtualizing the display using the UI element group information received from the server. Therefore, the function supported by the OS level in the local server can be configured by minimizing the UI separation function (UI virtualization), UI arrangement information storage, and UI element group transmission function, and then using the virtual display configuration and video streaming required for the present invention. The UI transmission function can be configured to be performed in the user app installed on the user device.
또한, 로컬 서버는 클라우드 서버로부터 수신한 컨텐츠 애플리케이션의 UI 배치 정보를 반영하여 각 주변 디스플레이 장치에 전송할 UI 엘리먼트 그룹 정보를 업데이트할 수 있다. 로컬서버가 UI 엘리먼트 그룹 정보를 비디오스트림으로 변환하여 각 주변 클라이엔트 장치에게 전송하는 경우, 데이터 통신 관점에서 비디오를 수신하는 기기의 OS에 독립적으로 전송 가능한 이점이 있다.Also, the local server may update UI element group information to be transmitted to each peripheral display device by reflecting the UI arrangement information of the content application received from the cloud server. When the local server converts the UI element group information into a video stream and transmits it to each neighboring client device, there is an advantage that the video can be transmitted independently of the OS of the device receiving the video from the data communication point of view.
또한 사용자가 주변 클라이언트 및 IoT(Internet of Things) 장치를 용이하게 모니터링 또는 제어할 수 있는 방법을 제시한다. In addition, a method for users to easily monitor or control peripheral clients and IoT (Internet of Things) devices is presented.
특히 로컬 서버가 IoT(Internet of Things) 장치를 제어할 수 있는 IoT 애플리케이션의 UI를 주변 클라이언트에 비디오스트리밍 방법으로 전송함으로써, IoT 애플리케이션이 설치되지 않은 사용자의 기기에서도 IoT 기기의 상태 정보를 모니터링하거나, 사용자의 인터렉션 정보를 사용자 기기에서 로컬서버로 전송함으로써 IoT 기기의 제어가 가능하게 된다.In particular, the local server transmits the UI of the IoT application that can control IoT (Internet of Things) devices to nearby clients through video streaming, so that the status information of the IoT device can be monitored even on a user's device without the IoT application installed, Control of the IoT device is possible by transmitting the user's interaction information from the user device to the local server.
또한, 다양한 사용자 경험 환경을 변경할 수 있는 컨텐츠 권한 관리 및 컨텐츠 포워딩 방법을 제시한다. 사용자의 디지털 컨텐츠를 액세스할 수 있는 사용자 그룹을 대상으로 컨텐츠의 UI를 변경할 수 있는 UI 변경 권한, 신규 UI를 제공하는 어플리케이션 제공할 있는 권한 및 컨텐츠 액세스 권한 양도 기능을 제공하는 플랫폼 환경을 제공할 수 있다.In addition, we present a content rights management and content forwarding method that can change various user experience environments. It is possible to provide a platform environment that provides the right to change the UI to change the UI of the content, the right to provide an application that provides a new UI, and the ability to transfer the right to access content to a group of users who can access the user's digital content. there is.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시예를 상세히 설명한다. 그러나 이들 실시예는 본 발명을 보다 구체적으로 설명하기 위한 것으로, 본 발명의 범위가 이에 의하여 제한되지 않는다는 것은 당업계의 통상의 지식을 가진 자에게 자명할 것이다. Hereinafter, a preferred embodiment in which a person skilled in the art can easily practice the present invention will be described in detail with reference to the accompanying drawings. However, these examples are intended to explain the present invention in more detail, and it will be apparent to those skilled in the art that the scope of the present invention is not limited thereto.
본 발명이 해결하고자 하는 과제의 해결 방안을 명확하게 하기 위한 발명의 구성을 본 발명의 바람직한 실시예에 근거하여 첨부 도면을 참조하여 상세히 설명하되, 도면의 구성요소들에 참조번호를 부여함에 있어서 동일 구성요소에 대해서는 비록 다른 도면상에 있더라도 동일 참조번호를 부여하였으며 당해 도면에 대한 설명시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다. 아울러 본 발명의 바람직한 실시예에 대한 동작 원리를 상세하게 설명함에 있어 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명 그리고 그 이외의 제반 사항이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.The configuration of the present invention for clarifying the solution to the problem to be solved by the present invention will be described in detail with reference to the accompanying drawings based on a preferred embodiment of the present invention, but the same reference numerals are assigned to the components of the drawings. For components, even if they are on other drawings, the same reference numerals have been assigned, and it is made clear in advance that components of other drawings can be cited if necessary in the description of the drawings. In addition, in the detailed description of the operating principle of the preferred embodiment of the present invention, if it is determined that the detailed description of known functions or configurations related to the present invention and other matters may unnecessarily obscure the gist of the present invention, A detailed description thereof is omitted.
도 1은 로컬 서버(100), 주변 클라이언트(200), 클라우드 서버(300), 및 컨텐츠 제공서버(400)로 구성된 네트워크에서 로컬 서버가 주변 클라이언트들로 UI 화면 정보를 전송하는 개념도이다.1 is a conceptual diagram in which a local server transmits UI screen information to neighboring clients in a network composed of a local server 100, a neighboring client 200, a cloud server 300, and a content providing server 400.
로컬 서버(100)가 사용자가 선택한 컨텐츠 어플리케이션 (CA)의 화면 정보를 주변 클라이언트(200) 기기에 제공하기 위해서는 컨텐츠 어플리케이션이 컨텐츠 제공서버(400)에게 컨텐츠 요청할 수 있다. 이때 로컬 서버(100)에 설치된 컨텐츠 어플리케이션이 직접 컨텐츠 제공서버(400)에 접속하여 해당 컨텐츠를 요청하거나, 클라우드 서버(300)를 거쳐서 컨텐츠를 요청할 수 있다. 이 때 로컬 서버(100)에 컨텐츠 제공서버(400)의 컨텐츠를 제공받는데 필요한 컨텐츠 애플리케이션이 설치되지 않은 경우, 컨텐츠 제공서버(400)에 요청하여 컨텐츠 애플리케이션을 전송받아 설치할 수 있다.In order for the local server 100 to provide screen information of the content application (CA) selected by the user to the peripheral client 200 device, the content application may request content from the content providing server 400 . At this time, the content application installed on the local server 100 may directly access the content providing server 400 and request corresponding content or may request content via the cloud server 300 . At this time, if a content application required to receive the content of the content providing server 400 is not installed in the local server 100, a content application may be received and installed by requesting the content providing server 400.
도 1을 참조하면, 주변 클라이언트(200)는 스마트 디스플레이(21), 스마트폰(22, 23), 스마트 전구(25), 또는 스마트 카메라(26) 등의 다양한 사용자 기기를 포함한다. 스마트 전구(25) 또는 스마트 카메라(26)는 IoT 기기 그룹이다.Referring to FIG. 1 , a nearby client 200 includes various user devices such as a smart display 21 , smart phones 22 and 23 , a smart light bulb 25 , and a smart camera 26 . A smart light bulb 25 or a smart camera 26 is a group of IoT devices.
주변 클라이언트(200)는 로컬 서버(100)에 사용자 기기 정보를 등록할 수 있다. The peripheral client 200 may register user device information with the local server 100 .
주변 클라이언트(200) 중 어느 하나의 클라이언트는 로컬 서버(100)로 사용자 기기 정보를 등록요청하고, 상기 로컬 서버(100)는 클라우드 서버(300)로 사용자 기기 정보 전송하여 저장할 수 있다.Any one of the peripheral clients 200 may request registration of user device information to the local server 100, and the local server 100 may transmit and store the user device information to the cloud server 300.
즉, 셋톱박스또는 허브(hub)와 같은 주변 클라이언트(200) 기기들을 로컬 서버(100)에 사용자 기기 그룹으로 등록하고, 해당 사용자 기기 정보를 클라우드 서버(300)에 전송하여 재저장할 수 있다. 상기 사용자 기기 그룹 정보는 SSID(Service Set Identifier), MAC 어드레스, 또는 UUID(Universally Unique Identifier) 등이 사용될 수 있으며, 앱 실행 후 종료때까지의 세션 또는 앱이 설치된 후 삭제될 까지의 설치기간에 따라 다르게 설정되는 것이 바람직하다. 상기 사용자 기기 그룹 정보에는 디스플레이 크기 및 해상도 정보를 더 포함할 수 있다. That is, peripheral client 200 devices such as set-top boxes or hubs may be registered as user device groups in the local server 100, and the corresponding user device information may be transmitted to the cloud server 300 and stored again. SSID (Service Set Identifier), MAC address, or UUID (Universally Unique Identifier) may be used as the user device group information. It is preferable to set differently. The user device group information may further include display size and resolution information.
주변 클라이언트(200)와 로컬 서버(100)의 연결은 블루투스(Bluetooth), 비가청 사운드(ultrasound) 또는 지그비(Zigbee)와 같은 근거리 통신을 이용하여, 최초 통신 연결 및 인증을 수행할 수 있다. 이후 인증된 기기간의 UI 화면 정보 전송은 Wi-Fi 로 연결된 홈네트워크를 이용하여 가능하다.The connection between the peripheral client 200 and the local server 100 may be performed through an initial communication connection and authentication using short-range communication such as Bluetooth, ultrasound, or Zigbee. Afterwards, the transmission of UI screen information between authenticated devices is possible using a home network connected via Wi-Fi.
또한 데이터 통신을 위한 주변 클라이언트(200)와 로컬 서버(100)로서의 Wi-Fi 라우터의 연결은, 최초 Wi-Fi 라우터와 연결된 스마트폰이나 셋톱박스가 Wi-Fi 연결정보를 다른 스마트기기나 IoT 기기에 전송함으로써, Wi-Fi 통신망에 새로운 사용자 기기를 추가할 수 있다. Wi-Fi 라우터가 로컬 서버(100)의 역할을 수행할 경우 셋톱박스는 주변 클라이언트(200)의 역할을 수행하게 된다.In addition, the connection of the Wi-Fi router as the peripheral client 200 and the local server 100 for data communication is the first time the smartphone or set-top box connected to the Wi-Fi router transmits Wi-Fi connection information to other smart devices or IoT devices By transmitting to, it is possible to add a new user device to the Wi-Fi communication network. When the Wi-Fi router serves as the local server 100, the set-top box serves as the neighboring client 200.
로컬 서버(100)가 주변 클라이언트들(200)에 UI 화면정보를 각각 전송하면, 분리된 컨텐츠 애플리케이션의 UI가 여러 클라이언트들에서 나누어져 볼 수 있게 된다.When the local server 100 transmits UI screen information to each of the peripheral clients 200, the UI of the separated content application can be divided and viewed by several clients.
로컬 서버(100)는 컨텐츠 제공서버(400)의 컨텐츠를 수신하여 주변 클라이언트들(200)로 전송한다. 이 때 컨텐츠의 UI 화면정보는 로컬 서버(100)에 설치된 UI 배치 제어부(도 3 105 참조)에 의해 클라이언트별로 분리되어 매칭되어 전송될 수 있다. The local server 100 receives the content of the content providing server 400 and transmits it to neighboring clients 200 . At this time, the UI screen information of the content may be separated, matched, and transmitted for each client by the UI arrangement controller (see FIG. 3 105) installed in the local server 100.
특히 본 발명의 일 실시예에 따르면, 로컬 서버(100)에 설치된 UI 배치 제어부(105)는 상기 컨텐츠를 사용하는 애플리케이션의 앱 소스코드를 수정하여 컨텐츠의 UI 화면정보를 분리하는 것이 아니라 OS(operating system) 레벨에서 수신된 UI 화면 정보를 구성하는 UI 트리 정보를 UI 엘리먼트 그룹으로 분리하고, 렌더링하는 기능을 탑재함으로써 UI 화면정보를 분리하여 다수의 사용자의 기기에 전송할 수 있다. 로컬 서버(100)에 설치된 컨텐츠 애플리케이션이 컨텐츠 제공서버(400)로부터 수신하고, 로컬 서버는 OS 레벨에 필요한 최소한 기능을 제공하는 마이크로커널(microkernel)의 형태로 구현되어 컨텐츠의 단일 UI 정보를 복수의 UI 엘리먼트 그룹으로 분리한다. 또한 로컬 서버 또는 로컬 서버에 설치된, UI 편집 제어부의 일부의 기능을 포함하는, 응용 애플리케이션은 상기 복수의 UI 엘리먼트 그룹들을 주변 클라이언트 기기들에게 매핑하여 비디오스트리밍 방법으로 전송한다. 따라서 주변 클라이언트(200)들은 상기 로컬 서버에 설치된 컨텐츠 애플리케이션의 설치없이 UI 비디오스트림을 수신할 수 있다. 또한 로컬 서버 또는 로컬 서버에 설치된 응용 애플리케이션에서 주변 클라이언트(200)에게 매핑된 UI 엘리먼트 그룹을 비디오스트림으로 변환없이 클라이언트 기기들에게 전송할 수 있다. 이러한 경우, 클라이언트에 설치된 본 발명을 위한 사용자 어플리케이션은 UI 엘리먼트 그룹을 비디오스트림으로 변환하여 UI 화면 정보를 클라이언트 기기에 제공하게 된다.In particular, according to one embodiment of the present invention, the UI arrangement control unit 105 installed in the local server 100 modifies the app source code of the application using the content to separate the UI screen information of the content, but the OS (operating By separating the UI tree information constituting the UI screen information received at the system) level into UI element groups and rendering, the UI screen information can be separated and transmitted to multiple users' devices. The content application installed on the local server 100 receives from the content providing server 400, and the local server is implemented in the form of a microkernel that provides the minimum necessary functions at the OS level to provide single UI information of the content to a plurality of Separate into groups of UI elements. In addition, a local server or an application that includes some functions of a UI editing control unit installed in the local server maps the plurality of UI element groups to peripheral client devices and transmits them in a video streaming method. Accordingly, the peripheral clients 200 can receive the UI video stream without installing the content application installed on the local server. In addition, a UI element group mapped to the peripheral client 200 in a local server or an application installed on the local server can be transmitted to client devices without conversion into a video stream. In this case, the user application for the present invention installed in the client converts the UI element group into a video stream and provides UI screen information to the client device.
본 발명에서는 로컬 서버가 주변 클라이언트들(200)에 UI를 용이하게 분배하여 전송하기 위해서는 OS 레벨에서 컨텐츠에 UI 트리 정보를 분리하여 가상화할 수 있는 권한 또는 기능이 필요하다. 로컬 서버(100) 또는 로컬서버에 설치된 별도의 응용 애플리케이션은 가상화된 상기 UI 트리 정보를 이용하여 주변 클라이언트들(200)과 컨텐츠 UI 화면정보를 구성하는 UI 엘리먼트 그룹을 매핑하는 UI-배치정보를 생성할 수 있다. In the present invention, in order for the local server to easily distribute and transmit the UI to the peripheral clients 200, an authority or function capable of separating UI tree information from content at the OS level and virtualizing it is required. The local server 100 or a separate application installed on the local server uses the virtualized UI tree information to generate UI-arrangement information that maps the surrounding clients 200 and UI element groups constituting content UI screen information. can do.
예를 들어 영화 컨텐츠의 영상은 스마트 디스플레이(21)로, 채팅창은 제1 스마트폰(22)으로, 영화의 자막은 제2 스마트폰(23)으로 매핑되어 각 기기로 전송될 수 있다. For example, an image of movie content is mapped to the smart display 21, a chat window is mapped to the first smartphone 22, and subtitles of the movie are mapped to the second smartphone 23 and transmitted to each device.
따라서 본 발명의 기능은 로컬 서버에 해당되는 사용자 기기의 OS에서 컨텐츠 애플리케이션의 단일 UI 화면정보를 분리 가능한 UI 엘리먼트 그룹별로 분리한다. 이후에 로컬 서버 또는 로컬 서버에 설치된 응용 애플리케이션에서 클라이언트 기기에 해당되는 또 다른 사용자 기기들과상기 UI 엘리먼트 그룹들을 매핑하여 사용자 기기 그룹의 UI 배치정보를 생성할 수 있다. 상기 UI 배치정보는 클라우드 서버(300)에 백업되고, 백업된 UI 배치정보는 사용자별 기기 그룹의 연관된 정보로 저장될 수 있다. 사용자의 다른 클라이언트를 사용자 기기 그룹에 추가할 경우 추가된 클라이언트에 매핑될 UI 엘리먼트는 UI 배치정보를 업데이트하여 매핑할 수 있다.Therefore, the function of the present invention separates single UI screen information of a content application into separable UI element groups in the OS of a user device corresponding to a local server. Thereafter, the UI arrangement information of the user device group may be generated by mapping the UI element groups with other user devices corresponding to client devices in the local server or an application installed on the local server. The UI arrangement information is backed up in the cloud server 300, and the backed up UI arrangement information may be stored as related information of a device group for each user. When another client of the user is added to the user device group, UI elements to be mapped to the added client may be mapped by updating UI arrangement information.
상기 사용자별 기기 그룹에 다른 사용자의 클라이언트를 초대하여 포함하게 된 경우, 상기 다른 사용자의 클라이언트도 상기 UI 배치정보에 반영되어 업데이트될 수 있다. 초대된 사용자의 클라이언트에게 클라우드 서버(300)에 저장된 UI 배치정보가 공유 또는 복사되고, 추가 및 변경이 필요한 클라이언트만을 UI 배치정보에 반영하여 상기 UI 배치정보를 업데이트하거나 사용자가 선택 가능한 별도의 UI 배치정보로 저장할 수 있다.When a client of another user is invited and included in the device group for each user, the client of the other user may also be reflected in the UI arrangement information and updated. The UI arrangement information stored in the cloud server 300 is shared or copied to the invited user's client, and only the clients that need to be added or changed are reflected in the UI arrangement information to update the UI arrangement information or a separate UI arrangement that can be selected by the user. information can be stored.
클라우드 서버(300)에 저장된 사용자 기기 그룹 정보 및 이와 연관된 UI 배치정보는 로컬 서버(100)가 고장난 경우나, 로컬 서버의 물리적변경이 필요한 경우 사용될 수 있다. 또한 클라우드 서버(300)에 저장된 사용자의 기존 UI 배치정보를 복사 또는 수정하여 손쉽게 로컬 서버(100) 및 주변 클라이언트들의 UI 배치 정보를 수정할 수 있다. 이 때 인증에 성공한 클라이언트들이 Wi-Fi 네트워크 정보를 주변 클라이언트 및 로컬 서버에 전송함으로써 로컬 네트워크 세팅을 단순화할 수 있다. User device group information and related UI arrangement information stored in the cloud server 300 may be used when the local server 100 is out of order or when a physical change of the local server is required. In addition, it is possible to easily modify the UI arrangement information of the local server 100 and surrounding clients by copying or modifying the user's existing UI arrangement information stored in the cloud server 300 . At this time, clients who have successfully authenticated can simplify local network settings by transmitting Wi-Fi network information to nearby clients and local servers.
사용자별 기기 그룹에 등록된 스마트 라이트(25)나 스마트 카메라(26)의 경우에는 일반적으로 컨텐츠 어플리케이션을 통해 사용자가 기기의 상태를 모니터링하거나 제거하게 된다. UI 엘리먼트 그룹의 일 례로서, 컨텐츠 영상이 어두운 경우 스마트 라이트의 밝게 조절하는 제어신호를 상기 UI 배치정보에 포함할 수 있고, 영화모드일 경우 스마트 라이트의 조명을 어둡게 하는 제어신호를 포함할 수 있다.In the case of a smart light 25 or a smart camera 26 registered in a device group for each user, a user generally monitors or removes a device state through a content application. As an example of a UI element group, a control signal for adjusting the brightness of a smart light when the content image is dark may be included in the UI arrangement information, and a control signal for dimming the light of the smart light may be included in the movie mode. .
일반적으로 주변 클라이언트들(200) 중 스마트 라이트(25)나 스마트 카메라(26)는 별도의 디스플레이가 없으므로 사용자의 스마트폰(22,23)이나 스마트 디스플레이(21)로 필요한 애플리케이션(앱)을 다운로드하여 설치하여 설정하거나, 제조사의 홈페이지를 접속하여 스마트 라이트(25)나 스마트 카메라(26)의 설정이 필요하다. In general, since the smart light 25 or the smart camera 26 among the peripheral clients 200 does not have a separate display, a user's smartphone 22, 23 or smart display 21 downloads a necessary application (app). It is necessary to install and set, or access the manufacturer's website to set the smart light 25 or smart camera 26.
이 때에 스마트 라이트(25)나 스마트 카메라(26)에 필요한 제조사별 앱을 설치해야 하고, 해당 앱은 사용자 계정과 연동되는 스마트 기기에 설치될 수 있다. 또한 스마트 라이트(25)나 스마트 카메라(26)를 제어하기 위해 서로 다른 사용자마다 동일한 작업을 수행해야 하는 불편함이 발생한다.At this time, it is necessary to install an app for each manufacturer required for the smart light 25 or the smart camera 26, and the corresponding app may be installed in a smart device linked to a user account. In addition, inconvenience arises in that the same operation must be performed for each different user to control the smart light 25 or the smart camera 26 .
본 발명에서는 로컬 서버에만 필요한 컨텐츠 앱을 설치한 후, 최초 UI 배치정보를 구성한 사용자가 다른 사용자를 사용자별 기기 그룹에 초대하는 경우, 필요한 IoT 기기의 컨텐츠(조명상태, 카메라 정보, IoT 기기 정보) 정보를 로컬 서버로부터 IoT 모니터링 및 제어를 위한 UI 정보를 전송받을 수 있다. 이러한 경우 신규 사용자는 다양한 IoT 기기의 어플리케이션 설치없이 본 발명의 UI-애플리케이션 설치만으로 필요한 UI 화면을 비디오스트림으로 전송받을 수 있으므로, 사용자 클라이언트 장치의 OS(Android, iOS, Window, Linux 등)와 무관하게 비디오스트림을 수신하고 제어할 수 있다.In the present invention, after installing the content app required only for the local server, when the user who configured the initial UI arrangement information invites other users to the device group for each user, the necessary IoT device content (lighting status, camera information, IoT device information) UI information for IoT monitoring and control can be transmitted from the local server. In this case, the new user can receive the necessary UI screen as a video stream only by installing the UI-application of the present invention without installing applications of various IoT devices, regardless of the OS (Android, iOS, Window, Linux, etc.) of the user client device. It can receive and control video streams.
IoT 기기(25, 26)는 상태변화 정보를 홈네트워크로 연결된 로컬 서버(100)에 전송하거나 인터넷망으로 연결된 클라우드 서버(300)로 전송 가능하다. IoT 앱이 클라우드 서버(300)에 설치된 경우, 클라우드 서버(300)는 IoT 상태 정보 접근이 허용된 사용자에게 인터넷망을 통해 사용자에게 제공할 IoT 기기의 상태 정보를 본 발명을 통해 제공할 수 있다. 이러한 경우에는 로컬서버 및 클라우드에 설치된 IoT 앱의 컨텍스트 상태값(context status)이 업데이트되는 경우, 두 IoT 앱이 자동으로 동기화된다. The IoT devices 25 and 26 may transmit state change information to the local server 100 connected to the home network or to the cloud server 300 connected to the Internet network. When the IoT app is installed in the cloud server 300, the cloud server 300 may provide status information of the IoT device to be provided to the user through the Internet network to a user permitted to access the IoT status information through the present invention. In this case, when the context status of IoT apps installed on the local server and the cloud is updated, the two IoT apps are automatically synchronized.
다른 실시 예로서, 스마트 라이트(25)나 스마트 카메라(26)와 같은 IoT 기기 모니터링 및 제어에 필요한 IoT 앱을 로컬 서버(100)에 설치할 수도 있다.As another embodiment, an IoT app required for monitoring and controlling an IoT device such as a smart light 25 or a smart camera 26 may be installed in the local server 100 .
로컬 서버(100)는 컨텐츠에 포함된 UI 트리 정보를 이용하여 UI 엘리먼트 그룹을 주변 클라이언트(200) 별로 할당하여 매핑하는 것이 바람직하다. It is preferable that the local server 100 allocates and maps UI element groups for each neighboring client 200 using UI tree information included in the content.
로컬 서버(100)는 UI 배치정보와 주변 클라이언트들(200)의 디스플레이 크기와 해상도를 고려하여 필요한 UI 화면정보를 구성하고, 주변 클라이언트들(200)에 매핑된 UI 엘리먼트 그룹을 비디오스트림이나 이미지로 변경하여 사용자 기기로 전송한다. The local server 100 configures necessary UI screen information in consideration of the UI arrangement information and the display size and resolution of the neighboring clients 200, and converts the UI element group mapped to the neighboring clients 200 into video streams or images. It is changed and transmitted to the user's device.
상기 IoT 기기의 제어를 위해 필요한 UI 배치정보는 상기 사용자별 기기 그룹에 초대된 다른 사용자 기기에게 공유될 수 있다. UI arrangement information necessary for controlling the IoT device may be shared with other user devices invited to the device group for each user.
초대된 사용자 기기는 사용자 기기 그룹에 포함된 동일한 IoT 기기 모니터링 및 UI 제어 정보를 비디오스트림이나 이미지 정보로 전송받을 수 있다. 이때, 사용자 기기들이 사용하는 OS 시스템이 다른 경우에도 UI 제어정보를 비디오 스트림이나 이미지 정보로 전송받으므로, OS 시스템에 무관하게 데이터 전송이 가능한 장점이 있다.The invited user device may receive the same IoT device monitoring and UI control information included in the user device group as video stream or image information. In this case, since the UI control information is transmitted as video stream or image information even when the OS systems used by the user devices are different, there is an advantage in that data can be transmitted regardless of the OS system.
도 2는 본 발명의 일 실시예에 따른 로컬 서버(100)가 원본 컨텐츠의 UI를 UI 트리 정보를 이용하여 UI 엘리먼트 그룹으로 분리하고, 주변 클라이언트들(21, 22)로 UI 엘리먼트 그룹을 비디오스트리밍 방법으로 전송하는 개념을 도시한 것이다.2 shows that the local server 100 according to an embodiment of the present invention separates the UI of the original content into UI element groups using UI tree information, and video streams the UI element groups to neighboring clients 21 and 22. It illustrates the concept of transmission in a method.
도 2를 참조하면, 원본 컨텐츠가 컨텐츠 제공서버(400)에서 로컬서버(100)로 전송되어 주변 클라이언트(21, 22)로 전송되고 있다. 로컬 서버(100)는 원본 컨텐츠에 포함된 UI 트리 정보를 이용하여 UI 엘리먼트 그룹의 구성 및 배치 위치를 수정할 수 있다. Referring to FIG. 2 , original content is transmitted from the content providing server 400 to the local server 100 and is transmitted to the peripheral clients 21 and 22 . The local server 100 may modify the composition and arrangement of UI element groups using UI tree information included in the original content.
로컬 서버(100)는 원본 컨텐츠를 제1 UI 엘리먼트 그룹과 제2 엘리먼트 그룹으로 분할하여 각각을 스마트 디스플레이(21) 및 스마트 폰(22)에 매핑한 후, 픽셀 스트리밍으로 전송할 수 있다. 이 때 스마트 디스플레이에 전송되는 데이터는 원본 컨텐츠에 포함된 동영상으로서 로컬서버에서 디코딩되어 비디오 스트림으로 스마트 디스플레이에 전송되고, 제 2 UI 엘리먼트는 인코딩된 픽셀 스트리밍으로 스마트 폰에 전송되면, 스마트 폰에서 수신한 픽셀 스트림을 디코딩하는 경우이다. 이 때 스마트 디스플레이에서 재생되는 비디오스트림은 스마트 폰에서 사용자의 인터랙션에 따라 스마트 디스플레이의 비디오스트림의 재생 및 정지가 결정된다. 그러나 두 기기의 비디오 스트림의 재생 시간 동기화가 필요한 경우, 스마트 폰에서 비디오스트림이 디코딩되는 시간을 기준으로 스마트 디스플레이의 비디오스트림의 디코딩 시간을 동기화되어야 한다.The local server 100 divides the original content into a first UI element group and a second element group, maps each of them to the smart display 21 and the smart phone 22, and transmits them through pixel streaming. At this time, the data transmitted to the smart display is a video included in the original content, which is decoded by the local server and transmitted to the smart display as a video stream, and when the second UI element is transmitted to the smart phone as encoded pixel streaming, the smart phone receives This is the case of decoding one pixel stream. At this time, playback or stop of the video stream played on the smart display is determined according to the user's interaction on the smart phone. However, if synchronization of playback times of video streams of two devices is required, decoding times of video streams of smart displays should be synchronized based on decoding times of video streams in smart phones.
로컬 서버(100)에는 도 3에 도시된 바와 같이 UI 배치 제어부(105)를 포함하고, 스마트 디스플레이(21) 및 스마트 폰(22)에 UI 엘리먼트 디스플레이부(320) 내지 UI 편집부(350)를 포함하고, 두 개 이상의 컨텐츠 애플리케이션에서 제공하는 UI 엘리먼트 그룹정보로 UI 배치정보 생성 및 저장을 통해 다양한 컨텐츠 애플리케이션의 UI 화면으로 구성된 엘리먼트 그룹을 확장된 UI 기능을 제공할 수 있다.As shown in FIG. 3, the local server 100 includes a UI arrangement control unit 105, and the smart display 21 and the smart phone 22 include a UI element display unit 320 to a UI editing unit 350. And, by generating and storing UI arrangement information with UI element group information provided by two or more content applications, an element group composed of UI screens of various content applications can provide extended UI functions.
도 3은 본 발명의 바람직한 일 실시예에 따른 로컬 서버와 클라이언트의 구성도이다.3 is a configuration diagram of a local server and a client according to a preferred embodiment of the present invention.
도 3을 참조하면, 본 실시예에 따른 로컬 서버(100)는 수신부(110), UI 배치 제어부(105) 및 전송부(190)로 구성된다. UI 배치 제어부(105)는 컨텐츠 앱 실행부(120), UI 엘리먼트 분리부(130), UI 배치정보 생성부(140), 디스플레이 요청부(150), UI 엘리먼트 전송부(160), 가상디스플레이 생성부(170), UI 제어정보 변환부(180)로 구성된다. 로컬 서버(100)에 설치되는 UI 애플리케이션은 UI 배치 제어부(105) 구성의 전부 또는 일부를 포함하여 구성된다. 로컬 서버(100)와 클라이언트 A,B(21, 22)는 사용자 기기로 표현될 수 있다.Referring to FIG. 3 , the local server 100 according to the present embodiment includes a receiving unit 110 , a UI layout control unit 105 and a transmission unit 190 . The UI arrangement control unit 105 includes a content app execution unit 120, a UI element separation unit 130, a UI arrangement information generation unit 140, a display request unit 150, a UI element transmission unit 160, and a virtual display creation unit. It consists of a unit 170 and a UI control information conversion unit 180. The UI application installed on the local server 100 includes all or part of the UI layout control unit 105. The local server 100 and clients A and B 21 and 22 may be expressed as user devices.
한편, 클라이언트 A, B(21,22)는 앱 선택부(300, 301), 전송부(310, 311), UI 엘리먼트 디스플레이부(320, 321), 가상디스플레이 생성부(330, 331), UI 제어정보 입력부(340, 341), UI 편집부(350, 351), 및 수신부(360, 361)로 구성된다.Meanwhile, the clients A and B (21 and 22) include an app selector (300, 301), a transmitter (310, 311), a UI element display unit (320, 321), a virtual display generator (330, 331), a UI It consists of control information input units 340 and 341, UI editing units 350 and 351, and receivers 360 and 361.
로컬 서버(100)는 클라이언트 A와 B(21, 22)로 UI 화면정보를 비디오 스트리밍으로 전송하거나 UI 엘리먼트 그룹을 전송하고, 클라이언트로부터 사용자 인터랙션에 의한 UI 제어정보를 수신하여 컨텐츠 앱의 제어신호를 생성한다.The local server 100 transmits UI screen information to clients A and B (21, 22) through video streaming or transmits a UI element group, receives UI control information by user interaction from the client, and transmits a control signal of the content app. generate
클라이언트 B(22)는 UI 배치정보를 변경하고자 하는 컨텐츠 앱을 선택하여 로컬 서버(100)로 전송하고, 변경된 UI 배치정보에 따른 UI 화면정보를 디스플레이한다.Client B 22 selects a content app whose UI arrangement information is to be changed, transmits the selected content app to the local server 100, and displays UI screen information according to the changed UI arrangement information.
클라이언트 A(21)는 클라이언트 B(22)의 UI 배치정보 변경을 위해 추가된 클라이언트로서, 컨텐츠 앱의 UI 엘리먼트 그룹을 로컬 서버(100)로부터 수신하여 디스플레이한다.Client A 21 is a client added to change UI arrangement information of client B 22, and receives and displays a UI element group of a content app from the local server 100.
이하, 로컬 서버(100)의 구성을 상세히 살펴보기로 한다.Hereinafter, the configuration of the local server 100 will be described in detail.
수신부(110)는 클라이언트 B(22)로부터 UI 배치정보를 변경하고자 하는 컨텐츠 앱의 선택여부를 수신한다. 이때, 클라이언트 B(22)가 선택할 수 있는 컨텐츠 앱의 개수는 2개 이상이어도 가능하다.The reception unit 110 receives, from the client B 22, whether a content app to change UI arrangement information is selected. In this case, the number of content apps that the client B 22 can select may be two or more.
UI 배치 제어부(105)는 컨텐츠 앱의 UI 화면정보를 UI 엘리먼트 그룹으로 분리하고, 분리된 UI 엘리먼트 그룹을 클라이언트별로 매핑하여, UI 배치정보를 생성한다.The UI arrangement controller 105 divides UI screen information of a content app into UI element groups, maps the separated UI element groups for each client, and generates UI arrangement information.
컨텐츠 앱 실행부(120)는 클라이언트 B(22)가 선택한 컨텐츠 앱을 실행한다. 컨텐츠 앱의 실행은 로컬 서버(100)에서 픽셀 스트리밍으로 UI 정보를 전송받는 경우에는 클라이언트 A, B(21,22)에서는 컨텐츠 앱의 실행이 불필요하다.The content app execution unit 120 executes the content app selected by the client B 22 . When UI information is transmitted from the local server 100 through pixel streaming, it is unnecessary to run the content app on the clients A and B (21, 22).
컨텐츠 앱 실행부(120)는 IoT 앱 실행부, NFT 컨텐츠와 결합되는 UI 앱 실행부로 대체될 수 있다.The content app execution unit 120 may be replaced with an IoT app execution unit and a UI app execution unit combined with NFT content.
UI 엘리먼트 분리부(130)는 컨텐츠 앱 실행부(120)에서 실행된 컨텐츠 앱에서 제공하는 UI를 복수의 UI 엘리먼트 그룹으로 분리한다.The UI element separator 130 separates the UI provided by the content app executed by the content app execution unit 120 into a plurality of UI element groups.
UI 배치정보 생성부(140)는 주변 클라이언트들과 상기 복수의 UI 엘리먼트 그룹을 각각 매핑하여 UI 배치정보를 생성한다.The UI arrangement information generating unit 140 generates UI arrangement information by mapping neighboring clients and the plurality of UI element groups, respectively.
UI 배치정보 생성부(140)는 로컬 서버(100)를 기준으로 주변 클라이언트와의 물리적 거리 또는 위치한 방향에 의해 UI 배치정보가 결정될 수 있다. 예를 들어, 로컬 서버(100)로부터 상대적으로 먼 클라이언트에 디스플레이 크기가 큰 UI 엘리먼트 그룹을 배치하고, 상대적으로 가까운 클라이언트에 문자입력 디스플레이와 같은 디스플레이 크기가 작은 UI 엘리먼트 그룹을 배치를 자동으로 결정할 수 있다.The UI arrangement information generating unit 140 may determine the UI arrangement information based on the local server 100 based on a physical distance or direction of a neighboring client. For example, it is possible to automatically determine the placement of a UI element group having a large display size on a client relatively distant from the local server 100 and a UI element group having a small display size, such as a text input display, on a relatively nearby client. there is.
디스플레이 요청부(150)는 클라이언트 A(21) 또는 클라이언트 B(22)에게 UI 엘리먼트 디스플레이를 요청한다. 로컬 서버(100)가 클라이언트 A(21)로 UI 엘리먼트 디스플레이 요청시 푸시 메시지를 통해 UI 엘리먼트 디스플레이부(320)를 실행하도록 할 수 있다. 디스플레이 요청부(150)는 클라이언트가 UI 엘리먼트 그룹을 수신하게 되면, 수신된 UI 엘리먼트 그룹을 디스플레이할 수 있도록 클라이언트에서 준비할 수 있도록 한다.The display requesting unit 150 requests a UI element display from client A 21 or client B 22 . When the local server 100 requests the client A 21 to display a UI element, the UI element display unit 320 may be executed through a push message. When the client receives the UI element group, the display request unit 150 allows the client to prepare to display the received UI element group.
UI 엘리먼트 전송부(160)는 상기 UI 배치정보를 이용하여 상기 주변 클라이언트들 각각에 대응하는 적어도 하나 이상의 UI 엘리먼트 그룹을 상기 주변 클라이언트들로 전송하거나, 상기 주변 클라이언트들 각각에 대응하는 적어도 하나 이상의 UI 엘리먼트 그룹을 비디오스트림으로 전송한다.The UI element transmission unit 160 transmits at least one UI element group corresponding to each of the neighboring clients to the neighboring clients by using the UI arrangement information, or at least one UI element corresponding to each of the neighboring clients. Transmits a group of elements in a video stream.
로컬 서버(100)가 UI 엘리먼트 그룹을 비디오스트림으로 전송하는 경우 클라이언트 A(21)와 클라이언트 B(22)는 상기 컨텐츠 애플리케이션이 설치되어 실행될 필요가 없다.When the local server 100 transmits the UI element group as a video stream, the client A 21 and the client B 22 do not need to install and execute the content application.
가상디스플레이 생성부(170)는 UI 배치정보 생성부(140)가 생성한 UI 배치정보를 이용하여 가상 디스플레이 정보를 생성한다.The virtual display generator 170 generates virtual display information using the UI arrangement information generated by the UI arrangement information generator 140 .
UI 제어정보 변환부(180)는 클라이언트 A, B(21, 22)로부터 UI 제어정보를 수신하면, 수신된 UI 제어정보를 컨텐츠 앱의 제어신호로 변환한다.When receiving UI control information from clients A and B (21, 22), the UI control information conversion unit 180 converts the received UI control information into a control signal of a content app.
전송부(190)는 디스플레이 요청부(150)의 디스플레이 요청이나 UI 엘리먼트 전송부(160)의 UI 엘리먼트 그룹 전송 등을 수행한다.The transmission unit 190 performs a display request from the display request unit 150 or a UI element group transmission from the UI element transmission unit 160.
이하 클라이언트 A, B(21,22)의 구성을 상세히 살펴보기로 한다. Hereinafter, configurations of the clients A and B 21 and 22 will be described in detail.
클라이언트 A(21)와 클라이언트 B(22)의 구성은 동일하므로, 클라이언트 A(21)를 중심으로 설명하기로 한다.Since the configurations of client A 21 and client B 22 are the same, description will be given centering on client A 21 .
앱 선택부(300)는 UI 화면정보를 변형할 컨텐츠 앱을 선택한다. 이때, 상기 선택의 결과 컨텐츠 앱이 실행되어야 할 필요는 없다.The app selector 300 selects a content app to transform UI screen information. In this case, it is not necessary for the content app to be executed as a result of the selection.
전송부(310)는 앱 선택부(300)가 어떠한 컨텐츠 앱을 선택하였는지 사용자 인터랙션 정보를 로컬 서버(100)로 전송하고, UI 제어정보 입력부(341)가 입력받은 UI 제어정보를 로컬 서버(100)로 전송한다.The transmitter 310 transmits user interaction information indicating which content app the app selector 300 has selected to the local server 100, and transmits the UI control information received by the UI control information input unit 341 to the local server 100. ) is sent to
UI 엘리먼트 디스플레이부(320)는 로컬 서버(100)의 디스플레이 요청부(150)의 요청에 의해 클라이언트 A(21)에서 실행된다. UI 엘리먼트 디스플레이부(320)가 클라이언트 A(21)에서 실행되고 있는 상태에서 UI 엘리먼트 그룹을 수신하거나 UI 엘리먼트 비디오 스트리밍을 수신하는 것이 바람직하다.The UI element display unit 320 is executed in the client A 21 at the request of the display request unit 150 of the local server 100 . It is preferable to receive a UI element group or UI element video streaming while the UI element display unit 320 is being executed in the client A 21 .
가상디스플레이 생성부(330)는 로컬 서버(100)로부터 수신한 UI 엘리먼트 그룹을 렌더링하여 그래픽 버퍼에 저장한다.The virtual display generator 330 renders the UI element group received from the local server 100 and stores it in a graphic buffer.
UI 제어정보 입력부(340)는 UI 제어정보를 터치스크린, 키보드, 음성, 그림 등을 통해 입력받는다. 그림 및 음성 등 상대적으로 데이터 사이즈가 큰 경우에는 별도의 저장 서버에 원본 데이터를 전송하고, 저장공간의 정보를 웹 URL 로 변경하여 전송할 수 있다.The UI control information input unit 340 receives UI control information through a touch screen, keyboard, voice, picture, and the like. If the data size is relatively large, such as picture and voice, the original data can be transmitted to a separate storage server, and the information in the storage space can be changed to a web URL and transmitted.
UI 편집부(350, 351)는 컨텐츠 앱의 UI 엘리먼트 그룹을 적어도 하나 이상 선택하고, 상기 선택된 UI 엘리먼트 그룹을 디스플레이할 클라이언트를 선택하여 UI 배치정보를 변경할 수 있다.The UI editors 350 and 351 may change UI arrangement information by selecting at least one UI element group of the content app and selecting a client to display the selected UI element group.
수신부(360)는 로컬 서버(100)로부터 적어도 하나 이상의 UI 엘리먼트 그룹을 직접 수신하거나 적어도 하나 이상의 UI 엘리먼트 그룹을 비디오스트림으로 수신한다.The receiving unit 360 directly receives at least one UI element group from the local server 100 or receives at least one UI element group as a video stream.
도 4는 본 발명의 일 실시예에 따른 로컬 서버가 주변 클라이언트들로 UI 화면 정보를 전송하는 방법을 도시한 흐름도이다.4 is a flowchart illustrating a method of transmitting UI screen information from a local server to neighboring clients according to an embodiment of the present invention.
도 4를 참조하면, 본 실시예에 따른 UI 화면 정보를 전송하는 방법은 도 3에 도시된 로컬 서버와 클라이언트에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 3에 도시된 로컬 서버와 클라이언트에 관하여 이상에서 기술된 내용은 본 실시예에 따른 UI 화면 정보를 전송하는 방법에도 적용된다. Referring to FIG. 4 , the method for transmitting UI screen information according to the present embodiment is composed of steps sequentially processed by the local server and client shown in FIG. 3 . Therefore, even if the contents are omitted below, the contents described above regarding the local server and the client shown in FIG. 3 are also applied to the method of transmitting UI screen information according to the present embodiment.
도 4를 참조하면, 클라이언트 A(21), 클라이언트 B(22), 및 로컬 서버(100)는 홈 네트워크로 연결되어 있고, HTTP 기반 웹 API (REST 서비스 또는 RPC(remote procedure calls) 메커니즘), TCP/IP 프로토콜 이용하여 상호 호출 가능하다. 구체적인 예로 컨텐츠 앱의 동기화는 REST API를, 기기간의 비디오스트리밍은 RPC 를, 기기간 사용자 인터랙션에 따른 제어정보 전달에는 TCP/IP 프로토콜을 적용할 수 있다.Referring to FIG. 4, client A 21, client B 22, and local server 100 are connected through a home network, and HTTP-based web API (REST service or RPC (remote procedure calls) mechanism), TCP Mutual calls are possible using the /IP protocol. As a specific example, REST API can be used for synchronization of content apps, RPC can be used for video streaming between devices, and TCP/IP protocol can be applied for transfer of control information according to user interaction between devices.
400 단계에서 로컬 서버(100)는 클라이언트 B(22)로부터 사용자의 컨텐츠 앱의 선택에 따른 UI 제어정보를 수신한다.In step 400, the local server 100 receives UI control information according to the user's selection of a content app from the client B 22.
클라이언트 B(22)는 수신한 비디오스트림에 대해 사용자가 반응한 키보드 입력 및 터치스크린 입력정보를 앱 선택부(301)를 통해 사용자 UI 제어 정보를 로컬서버에 전달하면, 로컬서버는 상기 UI 제어 정보를 컨텐츠 애플리케이션에게 전달한다. 본 발명에서는 하나의 컨텐츠 애플리케이션을 중심으로 설명하나 앱 선택부는 복수의 컨텐츠 애플리케이션을 선택할 수 있다. 이 경우 로컬 서버(100)의 UI 배치 제어부(105)는 복수의 컨텐츠 애플리케이션 UI의 UI 엘리먼트 그룹별로 클라이언트를 매칭하여 UI를 분리할 수 있다. 컨텐츠 애플리케이션이란, 원본 컨텐츠를 디스플레이하는데 사용되는 애플리케이션으로서, 예를 들어, 유튜브(YouTube) 또는 트위치(Twitch)같은 동영상 애플리케이션이 될 수 있다.When client B 22 transmits user UI control information to the local server through the app selection unit 301 for keyboard input and touch screen input information in response to the user's response to the received video stream, the local server sends the UI control information to the local server. to the content application. In the present invention, a single content application is mainly described, but the app selector may select a plurality of content applications. In this case, the UI arrangement control unit 105 of the local server 100 may separate UIs by matching clients to each UI element group of a plurality of content application UIs. A content application is an application used to display original content, and may be, for example, a video application such as YouTube or Twitch.
한편, 컨텐츠 애플리케이션이 클라이언트 B(22)에 설치되어 있지 않은 경우에도 로컬 서버(100)로부터 UI 엘리먼트 그룹을 비디오스트리밍으로 수신하거나 UI 엘리먼트 그룹 정보를 수신한 후, 클라이언트에서 렌더링하여 디스플레이할 수 있다.Meanwhile, even when the content application is not installed in the client B 22 , after receiving the UI element group through video streaming or receiving the UI element group information from the local server 100 , the client may render and display it.
410 단계에서 로컬 서버(100)는 400 단계에서 선택된 컨텐츠 앱을 실행한다.In step 410, the local server 100 executes the content app selected in step 400.
420 단계에서 로컬 서버(100)는 실행된 컨텐츠 앱의 UI를 복수의 UI 엘리먼트 그룹으로 분리한다. 로컬 서버(100)에 설치된 UI 배치 제어부(105)를 이용하여 로컬 서버(100)에서 실행된 컨텐츠 애플리케이션에서 제공하는 UI를 복수의 UI 엘리먼트로 분리할 수 있다. 여기에서 컨텐츠 앱의 단일 UI를 복수의 UI 엘리먼트 그룹으로 분리 및 UI 배치정보 생성 및 수정 기능은 해당 권리를 보유한 사용자의 특정 기기만 가능하게 권한을 부여함으로써 시스템의 보안 기능을 강화할 수 있다.In step 420, the local server 100 separates the UI of the executed content app into a plurality of UI element groups. A UI provided by a content application executed on the local server 100 may be separated into a plurality of UI elements using the UI arrangement control unit 105 installed in the local server 100 . Here, the security function of the system can be strengthened by dividing the single UI of the content app into a plurality of UI element groups and granting permission to create and modify UI arrangement information only for a specific device of a user with the corresponding right.
430 단계에서 로컬 서버(100)는 주변 클라이언트들(21, 22)과 복수의 UI 엘리먼트 그룹을 각각 매핑하여 UI 배치정보를 생성한다.In step 430, the local server 100 generates UI arrangement information by mapping the neighboring clients 21 and 22 and a plurality of UI element groups, respectively.
클라이언트 B(22)가 400 단계에서 컨텐츠 앱을 선택시 주변 클라이언트들 중에서 어떤 클라이언트와 어떤 UI 엘리먼트 그룹을 매핑하여 디스플레이를 할 것인지 선택하는 것이 바람직하다. When client B 22 selects a content app in step 400, it is preferable to select which client and which UI element group to map and display among surrounding clients.
440 단계에서 로컬 서버(100)는 클라이언트 A(21)로 UI 엘리먼트 그룹의 디스플레이를 요청한다. In step 440, the local server 100 requests the client A 21 to display the UI element group.
440 단계에서의 디스플레이 요청은 440 단계 이전에 요청이 되어도 무관하다. 로컬 서버(100)가 클라이언트 A(21)로 UI 엘리먼트 그룹 디스플레이 요청시 본 발명의 사용자 앱으로 푸시 메시지를 전달하여 디스플레이부(320)를 실행하도록 할 수 있다. The display request in step 440 is irrelevant even if it is requested before step 440 . When the local server 100 requests the UI element group display from the client A 21 , the display unit 320 may be executed by delivering a push message to the user app of the present invention.
450 단계에서 UI 엘리먼트 그룹 디스플레이를 요청받은 클라이언트 A(21)의 사용자 앱은 UI 엘리먼트 그룹 디스플레이부(320)를 실행한다.In step 450, the user app of the client A 21 requested to display the UI element group executes the UI element group display unit 320.
UI 엘리먼트 그룹 디스플레이부(320)를 실행하게 되면, 472 단계에서 로컬 서버(100)로부터 수신되는 비디오 스트리밍을 수신하여 디스플레이할 수 있게 된다.When the UI element group display unit 320 is executed, in step 472, video streaming received from the local server 100 can be received and displayed.
460 단계에서 로컬 서버(100)는 430 단계에서 생성된 UI 배치정보를 이용하여 가상 디스플레이 정보를 생성한다. 가상 디스플레이 정보란, UI 엘리먼트 그룹정보를 그래픽 버퍼에서 렌더링을 수행하기 위해 저장되는 정보를 의미한다. 따라서 그래픽 버퍼에서 가상디스플레이 정보를 이용하여 UI 배치 정보를 반영하여 비디오스트림을 각 기기에 전송할 수 있다.In step 460, the local server 100 generates virtual display information using the UI arrangement information generated in step 430. Virtual display information refers to information stored to perform rendering of UI element group information in a graphic buffer. Therefore, the video stream can be transmitted to each device by reflecting the UI arrangement information using the virtual display information in the graphic buffer.
471 단계와 472 단계에서 로컬 서버(100)는 상기 UI 배치정보를 이용하여 클라이언트 A(21)와 클라이언트 B(22) 각각에 대응하는 적어도 하나 이상의 UI 엘리먼트 그룹을 비디오스트림으로 전송한다. 로컬 서버(100)가 UI 엘리먼트 그룹을 비디오스트림으로 전송하기 때문에 클라이언트 A(21)와 클라이언트 B(22)는 상기 컨텐츠 애플리케이션이 설치되어 실행될 필요가 없다.In steps 471 and 472, the local server 100 transmits at least one UI element group corresponding to each of client A 21 and client B 22 through the video stream by using the UI arrangement information. Since the local server 100 transmits the UI element group as a video stream, the client A 21 and the client B 22 do not need to install and execute the content application.
481 단계와 482 단계에서 로컬 서버(100)는 클라이언트 A(21)와 클라이언트 B(22)로부터 UI 제어정보를 수신한다.In steps 481 and 482, the local server 100 receives UI control information from client A 21 and client B 22.
490 단계에서 로컬 서버(100)는 수신된 UI 제어정보를 컨텐츠 앱의 제어신호로 변환한다.In step 490, the local server 100 converts the received UI control information into a control signal of the content app.
사용자가 UI 제어정보를 클라이언트 A(21)와 클라이언트 B(22)의 터치스크린, 키보드, 음성 등을 통해 입력하면, 상기 UI 제어정보는 TCP/IP 프로토 또는 웹 API 통해 로컬서버로 전송될 수 있다.When the user inputs UI control information through the touch screen, keyboard, voice, etc. of client A 21 and client B 22, the UI control information can be transmitted to the local server through TCP/IP protocol or web API. .
로컬 서버(100)가 클라이언트 A(21)와 클라이언트 B(22)로부터 수신한 UI 제어정보는 로컬 서버(100)가 갖고 있는 각 클라이언트의 디스플레이 크기 및 해상도 정보를 고려하여 컨텐츠 앱의 제어신호로 변환할 수 있다. 또한 클라이언트 기기에 설치된 사용자 앱에서 수신한 비디오스트림과 함께 별도의 UI를 제공하여 사용자 제어정보를 로컬 서버에 전송할 수 있다. 이러한 경우에는 클라이언트 기기에서 사용자 제어신호를 변환하여 로컬 서버로 전송하여야 한다.The UI control information received by the local server 100 from clients A 21 and B 22 is converted into a control signal of a content app in consideration of display size and resolution information of each client possessed by the local server 100. can do. In addition, by providing a separate UI along with the video stream received from the user app installed on the client device, user control information can be transmitted to the local server. In this case, the client device must convert the user control signal and transmit it to the local server.
예를 들어, 로컬 서버(100)가 클라이언트 A(21)의 디스플레이 상에서 사용자가 입력한 좌표값을 수신한 경우, 수신된 좌표값이 컨텐츠 앱 UI의 어떠한 구성요소에 대응하는지 디스플레이 크기 및 해상도 정보를 고려한 판단이 필요하다. 상기 판단은 클라이언트 A(21)에서 이루어질 수도 있고, 로컬 서버(100)에서 이루어질 수도 있다. 로컬 서버(100)는 클라이언트 A(21)의 디스플레이 상에서 사용자가 입력한 좌표값을 수신하더라도 클라이언트 A(21)의 화면 크기와 해상도 정보를 갖고 있으므로, 컨텐츠 앱의 어느 부분 좌표값인지 변환할 수 있다.For example, when the local server 100 receives a coordinate value input by a user on the display of client A 21, it provides display size and resolution information about which component of the content app UI the received coordinate value corresponds to. Consideration is required. The determination may be made in the client A 21 or in the local server 100 . Even if the local server 100 receives the coordinate value input by the user on the display of client A 21, since it has information on the screen size and resolution of client A 21, it can convert the coordinate value to which part of the content app. .
또한, UI 제어정보는 컨텐츠 제어정보와 UI 배치 편집 정보를 포함할 수 있으며, 컨텐츠 제어와 UI 배치 편집은 다음과 같은 방법으로 이루어진다.In addition, UI control information may include content control information and UI arrangement editing information, and content control and UI arrangement editing are performed in the following manner.
일 례로서, 로컬 서버(100)와 클라이언트(21, 22)에 동일한 컨텐츠 앱이 설치되어 있는 경우, 클라이언트(21, 22)에서 선택된 UI 배치 및 편집 결과의 컨텍스트 상태값(또는 컨텐츠 앱의 파라미터 설정값)을 로컬 서버(100)로 전송할 수 있다.As an example, when the same content app is installed in the local server 100 and the clients 21 and 22, the context state value of the UI arrangement and editing result selected in the clients 21 and 22 (or parameter setting of the content app) value) may be transmitted to the local server 100.
로컬 서버(100)는 컨텍스트 상태값 수집을 위해 필요한 클라이언트(21, 22)의 함수를 호출할 수 있는 권한을 가지고 수행한다.The local server 100 has authority to call functions of the clients 21 and 22 necessary for context state value collection.
이 경우, 로컬 서버(100)에서 UI 배치 편집을 위한 디스플레이 데이터를 클라이언트(21, 22)로 전송하는 것은 불필요하고, 클라이언트(21, 22)에서 화면 정보를 생성하고 UI 편집 제공이 완료되면 컨텍스트 상태값을 변경하여 로컬 서버(100)의 컨텐츠 앱에 제공하는 것이 바람직하다.In this case, it is unnecessary for the local server 100 to transmit display data for UI layout editing to the clients 21 and 22, and when the clients 21 and 22 generate screen information and provide UI editing, the context state It is preferable to change the value and provide it to the content app of the local server 100 .
다른 예로서, 로컬 서버(100)에만 컨텐츠 앱이 설치된 경우는 UI 배치 편집에 필요한 정보를 로컬 서버(100)에서 클라이언트(21, 22)로 비디오스트림으로 제공하는 것이 바람직하다. 로컬 서버(100)가 전송한 UI 배치 화면을 클라이언트(21, 22)에서 수신하고, 클라이언트(21, 22)에서의 사용자의 터치 스크린 반응 결과를 로컬 서버(100)로 전송하면, 로컬 서버(100)는 터치 스크린 반응 결과를 사용자 인터랙션 정보를 컨텐츠 앱에 전달한다. 이후, 컨텐츠 앱의 단일 UI의 정보가 업데이트 되면, 로컬서버는 업데이트된 컨텐츠 앱의 UI 정보를 UI 배치 정보를 반영하여 비디오스트림으로 전송한다. 이러한 과정을 반복하여 사용자는 UI 배치 편집 작업을 수행할 수 있다. As another example, when a content app is installed only on the local server 100, it is preferable to provide information necessary for UI arrangement editing from the local server 100 to the clients 21 and 22 as a video stream. When the UI arrangement screen transmitted by the local server 100 is received by the clients 21 and 22 and the user's touch screen reaction result from the clients 21 and 22 is transmitted to the local server 100, the local server 100 ) transmits the touch screen response result and user interaction information to the content app. Then, when the information of the single UI of the content app is updated, the local server transmits the updated UI information of the content app to the video stream by reflecting the UI arrangement information. By repeating this process, the user can perform UI arrangement editing.
또한 클라이언트(21, 22)의 OS 와 무관하게 비디오 스트림 전송이 가능하므로, 클라이언트(21, 22)에서는 터치 스크린 또는 터치패드의 반응정보로 사용자의 제어 의도 분석하고 해당 결과를 로컬 서버(100)로 전송할 수 있다.In addition, since the video stream can be transmitted regardless of the OS of the clients 21 and 22, the clients 21 and 22 analyze the user's control intention with the response information of the touch screen or touch pad and send the result to the local server 100. can transmit
도 5는 본 발명의 다른 실시예에 따른 로컬 서버가 주변 클라이언트들로 UI 화면 정보를 전송하는 방법을 도시한 흐름도이다.5 is a flowchart illustrating a method of transmitting UI screen information from a local server to neighboring clients according to another embodiment of the present invention.
도 5를 참조하면, 본 실시예에 따른 UI 화면 정보를 전송하는 방법은 도 3에 도시된 로컬 서버와 클라이언트에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 3에 도시된 로컬 서버와 클라이언트에 관하여 이상에서 기술된 내용은 본 실시예에 따른 UI 화면 정보를 전송하는 방법에도 적용된다. Referring to FIG. 5 , the method for transmitting UI screen information according to the present embodiment is composed of steps sequentially processed by the local server and client shown in FIG. 3 . Therefore, even if the contents are omitted below, the contents described above regarding the local server and the client shown in FIG. 3 are also applied to the method of transmitting UI screen information according to the present embodiment.
도 5에 도시된 로컬 서버(100)가 주변 클라이언트들(21, 22)로 UI 화면 정보를 전송하는 방법과 도 4에 도시된 방법의 차이는 클라이언트 A(21)가 로컬 서버(100)로부터 UI 엘리먼트 그룹을 수신하는 것이다. The difference between the method in which the local server 100 shown in FIG. 5 transmits UI screen information to the neighboring clients 21 and 22 and the method shown in FIG. 4 is that client A 21 transmits the UI from the local server 100. To receive a group of elements.
클라이언트 A(21)와 클라이언트 B(22)는 로컬 서버(100)와 홈네트워크로 연결되어 있고, HTTP 기반 웹 API(REST 서비스 또는 RPC 메커니즘)로 상호 호출 가능하다. Client A 21 and client B 22 are connected to the local server 100 through a home network and can call each other through an HTTP-based web API (REST service or RPC mechanism).
400 단계 내지 460 단계는 도 4에 도시된 바와 같다. Steps 400 to 460 are as shown in FIG. 4 .
471 단계에서 로컬 서버(100)는 상기 UI 배치정보를 이용하여 클라이언트 B(22)에 대응하는 적어도 하나 이상의 UI 엘리먼트 그룹을 비디오스트림으로 전송한다. In step 471, the local server 100 transmits at least one UI element group corresponding to the client B 22 through the video stream by using the UI arrangement information.
한편, 473 단계에서 로컬 서버(100)는 상기 UI 배치정보를 이용하여 클라이언트 A(21)에 대응하는 적어도 하나 이상의 UI 엘리먼트 그룹을 전송한다.Meanwhile, in step 473, the local server 100 transmits at least one UI element group corresponding to the client A 21 using the UI arrangement information.
475 단계에서는 로컬 서버(100)가 UI 엘리먼트 그룹을 전송하기 때문에 가상 디스플레이 생성부(330)가 UI 엘리먼트 그룹을 이용하여 가상 디스플레이 정보를 생성한다.In step 475, since the local server 100 transmits the UI element group, the virtual display generating unit 330 generates virtual display information using the UI element group.
한편, 클라이언트 A(21)는 수신한 UI 엘리먼트 그룹을 이용하여 가상 디스플레이 정보를 생성하기 때문에, 클라이언트 A(21)는 또 다른 클라이언트에게 픽셀 스트리밍을 수행하는 서브 로컬 서버의 기능을 가질 수 있다. 클라이언트가 서브 로컬 서버의 기능을 갖는 예는 도 7에서 상세히 설명하기로 한다.Meanwhile, since client A 21 generates virtual display information using the received UI element group, client A 21 may have a function of a sub-local server that performs pixel streaming to another client. An example in which a client has a function of a sub local server will be described in detail with reference to FIG. 7 .
481 단계와 482 단계에서 로컬 서버(100)는 클라이언트 A(21)와 클라이언트 B(22)로부터 UI 제어정보를 수신한다.In steps 481 and 482, the local server 100 receives UI control information from client A 21 and client B 22.
490 단계에서 로컬 서버(100)는 수신된 UI 제어정보를 컨텐츠 앱의 제어신호로 변환한다. 로컬 서버(100)에서는 수신된 UI 제어정보의 사용자 인터랙션을 분석하여, 로컬 서버(100)에서 실행 중인 컨텐츠 앱에 사용자 인터랙션을 제어신호로 변환하여 입력한다. In step 490, the local server 100 converts the received UI control information into a control signal of the content app. The local server 100 analyzes the user interaction of the received UI control information, converts the user interaction into a control signal, and inputs the control signal to the content app running on the local server 100 .
도 6은 본 발명의 또 다른 실시예에 따른 로컬 서버가 주변 클라이언트들로 UI 화면 정보를 전송하는 방법을 도시한 흐름도이다.6 is a flowchart illustrating a method for a local server to transmit UI screen information to neighboring clients according to another embodiment of the present invention.
도 6에 도시된 로컬 서버(100)가 주변 클라이언트들(200)로 UI 화면 정보를 전송하는 방법과 도 5에 도시된 방법의 차이는 로컬 서버(100)로부터 클라이언트 A(21)와 클라이언트 B(22) 모두 UI 엘리먼트 그룹을 수신하는 것이다.The difference between the method in which the local server 100 shown in FIG. 6 transmits UI screen information to the neighboring clients 200 and the method shown in FIG. 5 is that client A 21 and client B ( 22) All are to receive UI element groups.
클라이언트 A(21)와 클라이인트 B(22) 모두 UI 엘리먼트 그룹을 수신하여 가상 디스플레이 정보를 생성하기 때문에, 클라이언트(21, 22)는 또 다른 클라이언트에게 픽셀 스트리밍을 수행하는 서브 로컬 서버의 기능을 가질 수 있다Since both client A 21 and client B 22 receive UI element groups and generate virtual display information, clients 21 and 22 have the function of a sub-local server that performs pixel streaming to another client. can
400 단계 내지 440 단계는 도 4에 도시된 바와 같다. Steps 400 to 440 are as shown in FIG. 4 .
도 6에 도시된 441 단계에서는 440 단계에서와 마찬가지로 로컬 서버(100)가 클라이언트 B(22)로 UI 엘리먼트 그룹 디스플레이를 요청한다. In step 441 shown in FIG. 6, as in step 440, the local server 100 requests the client B 22 to display the UI element group.
450 단계와 451 단계에서 UI 엘리먼트 그룹 디스플레이를 요청받은 클라이언트 A(21)와 클라이언트 B(22)는 UI 엘리먼트 디스플레이부(320, 321)를 각각 실행한다.In steps 450 and 451, client A 21 and client B 22, which have received a UI element group display request, execute the UI element display units 320 and 321, respectively.
460 단계에서 로컬 서버(100)는 430 단계에서 생성된 UI 배치정보를 이용하여 가상 디스플레이 정보를 생성한다. In step 460, the local server 100 generates virtual display information using the UI arrangement information generated in step 430.
한편, 클라이언트(21, 22)가 각각 UI 엘리먼트 디스플레이부(320, 321)를 실행하게 되면, 473 단계와 474 단계에서 로컬 서버(100)로부터 UI 엘리먼트 그룹을 수신할 수 있게 된다.Meanwhile, when the clients 21 and 22 execute the UI element display units 320 and 321, respectively, the UI element group can be received from the local server 100 in steps 473 and 474.
460 단계에서 로컬 서버(100)가 가상 디스플레이 정보를 생성하는 것과 마찬가지로 475 단계와 476 단계에서 클라이언트 A(21)와 클라이언트 B(22)는 로컬 서버(100)로부터 수신한 UI 엘리먼트 그룹을 이용하여 가상 디스플레이 정보를 생성한다. 이러한 경우, 클라이언트 A/B는 생성된 가상 디스플레이 정보를 이용하여 제1의 UI 엘리먼트는 자기자신에게 비디오스트림으로 전송하고, 제2의 UI 엘리먼트는 또 다른 사용자 기기에서 비디오스트림으로 전송할 수 있다.Just as the local server 100 generates virtual display information in step 460, in steps 475 and 476, client A 21 and client B 22 use the UI element group received from the local server 100 to create virtual display information. Generate display information. In this case, the client A/B may transmit the first UI element as a video stream to itself using the generated virtual display information, and transmit the second UI element as a video stream from another user device.
481 단계와 482 단계에서 로컬 서버(100)는 클라이언트 A(21)와 클라이언트 B(22)로부터 UI 제어정보를 수신한다.In steps 481 and 482, the local server 100 receives UI control information from client A 21 and client B 22.
490 단계에서 로컬 서버(100)는 수신된 UI 제어정보를 컨텐츠 앱의 제어신호로 변환한다.In step 490, the local server 100 converts the received UI control information into a control signal of the content app.
한편, 로컬 서버(100)의 동작에 오류가 발생한 경우, 복원력 있는 시스템 (resilient system)을 구축하기 위해 클라이언트 A(21) 또는 클라이언트 B(22)를 로컬 서버(100)와 동일한 권한을 갖는 로컬 서버 후보로 정의할 수 있다. Meanwhile, when an error occurs in the operation of the local server 100, client A 21 or client B 22 is a local server having the same authority as the local server 100 in order to build a resilient system. can be defined as a candidate.
로컬 서버(100)가 동작하는 상황에서는 로컬 서버 후보로 정의된 클라이언트에 로컬서버의 UI 배치정보 생성부(140)가 웹 RPC(Remote Procedure Call) 또는 REST 서비스 방법으로 동기화되고, 로컬 서버에 설치된 컨텐츠 앱이 클라이언트에도 설치되어야 하며, 웹 API 방법으로 로컬 서버(100)와 클라이어트의 컨텐츠 앱이 동기화되어야 한다.In a situation where the local server 100 is operating, the UI arrangement information generator 140 of the local server is synchronized with the client defined as a local server candidate by web RPC (Remote Procedure Call) or REST service method, and the contents installed on the local server The app must also be installed on the client, and the local server 100 and the client's content app must be synchronized using a web API method.
로컬 서버(100)의 동작에 오류가 발생한 경우, 로컬 서버 권한을 가진 로컬 서버 후보 클라이언트는 동기화된 구성요소들의 정보를 이용하여 로컬 서버 역할을 수행할 수 있다. When an error occurs in the operation of the local server 100, a local server candidate client having local server authority may perform the role of a local server by using information of synchronized components.
한편, 로컬 서버(100)의 OS 시스템과 클라이언트의 OS가 다른 경우에는 OS 별 트랜스포트 레이어(Transport layer)를 이용하여 매핑된 UI 엘리먼트 그룹 정보를 클라이언트 기기의 본 발명을 위한 사용자 앱에 전달하고, 이후 UI 엘리먼트 그룹을 이용, 클라이언트 기기에서 가상디스플레이 생성 및 비디오스트리밍을 수행할 수 있다.On the other hand, if the OS system of the local server 100 and the OS of the client are different, the mapped UI element group information is transmitted to the user app for the present invention of the client device using a transport layer for each OS, Afterwards, virtual display creation and video streaming can be performed on the client device using the UI element group.
도 7은 본 발명의 실시예에 따른 로컬 서버가 주변 클라이언트들로 UI 화면 정보를 전송시 릴레이 방법으로 UI 엘리먼트 그룹을 전송하는 개념을 도시한 것이다.7 illustrates a concept of transmitting a UI element group in a relay method when a local server transmits UI screen information to neighboring clients according to an embodiment of the present invention.
도 7을 참조하면, 로컬 서버는 원본 컨텐츠에 포함된 UI 트리 정보를 추출하고, 단일 UI 가상화를 한 후, UI 트리 정보를 구성하는 UI 엘리먼트 그룹들을 그룹 1과 그룹 2로 분리한다.Referring to FIG. 7 , the local server extracts UI tree information included in the original content, performs a single UI virtualization, and separates UI element groups constituting the UI tree information into group 1 and group 2.
그룹 1로 분리된 UI 엘리먼트 그룹들은 제1 그래픽 버퍼의 픽셀 데이터로 저장되고, 그룹 2로 분리된 UI 엘리먼트 그룹들은 픽셀 데이터로 변환없이 저장된다. 이때 로컬 서버는 그룹 1과 그룹 2로 분리된 UI 엘리먼트 그룹들중 제1 UI 엘리먼트 그룹은 렌더링하여 전송되고, 제 2 UI 엘리먼트 그룹은 렌더링없이 클라이언트 A 기기에 전송하면, 클라이언트 A 기기는 수신한 제2 UI 엘리먼트 그룹을 클라이언트들들(B, C) 기기에 포워딩한다. 클라이언트들(B, C) 에서는 제2 UI 엘리먼트 그룹을 스스로 렌더링하여 UI 화면을 제공함으로써 기기간의 UI 화면 정보를 포워딩하여 제공할 수 있다.UI element groups separated into group 1 are stored as pixel data of the first graphic buffer, and UI element groups separated into group 2 are stored without being converted into pixel data. At this time, the local server renders and transmits the first UI element group among the UI element groups separated into group 1 and group 2, and transmits the second UI element group to the client A device without rendering. 2 Forwards a group of UI elements to the clients (B, C) device. The clients B and C can forward and provide UI screen information between devices by rendering the second UI element group themselves and providing a UI screen.
또한, 그룹 2의 클라이언트들(B, C)은 UI 제어정보를 생성하여 클라이언트 A로 전송하고, 클라이언트 A는 자신의 UI 제어정보와 클라이언트 B, C로부터 수신한 제어정보를 로컬 서버로 전송할 수 있다. 여기에서 UI 엘리먼트 정보에 로컬서버와 포워딩 클라이언트를 구별한 정보가 포함된 경우, 클라이언트 B, C의 UI 제어정보를 클라이언트 A를 거치지 않고, 로컬서버로 직접 전송되도록 본 발명의 사용자 앱을 구성할 수 있다. In addition, the clients B and C of group 2 generate UI control information and transmit it to client A, and client A can transmit its own UI control information and control information received from clients B and C to the local server. . Here, if the UI element information includes information distinguishing the local server and the forwarding client, the user app of the present invention can be configured so that the UI control information of clients B and C is directly transmitted to the local server without going through client A. there is.
도 8은 본 발명의 실시예에 따른 로컬 서버가 도 7에 도시된 UI 트리정보를 분할하여 클라이언트로 전송하는 방법을 도시한 흐름도이다.8 is a flowchart illustrating a method of dividing the UI tree information shown in FIG. 7 by a local server according to an embodiment of the present invention and transmitting the same to a client.
도 8을 참조하면, 본 실시예에 따른 UI 트리정보를 분할하여 클라이언트로 전송하는 방법은 도 3에 도시된 로컬 서버와 클라이언트에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 3에 도시된 로컬 서버와 클라이언트에 관하여 이상에서 기술된 내용은 본 실시예에 따른 UI 화면 정보를 전송하는 방법에도 적용된다. Referring to FIG. 8 , the method of dividing UI tree information and transmitting the divided UI tree information to the client according to the present embodiment is composed of steps sequentially processed by the local server and the client shown in FIG. 3 . Therefore, even if the contents are omitted below, the contents described above regarding the local server and the client shown in FIG. 3 are also applied to the method of transmitting UI screen information according to the present embodiment.
800 단계에서 로컬 서버(100)는 컨텐츠에 포함된 UI 트리 정보를 클라이언트의 개수를 고려하여 분할한다. In step 800, the local server 100 divides the UI tree information included in the content in consideration of the number of clients.
810 단계에서 로컬 서버(100)는 단일 UI 트리를 가상화한다. 가상화의 의미는 컨텐츠 어플리케이션에서 사용자 기기에 UI 화면 정보를 단일 UI 트리로 관리하는 것을, OS 레벨에서 단일 UI 트리를 UI 엘리먼트 그룹으로 분리된 UI 그룹으로 관리하는 것을 의미한다. 따라서 가상화의 주요 기능은 다수의 사용자 기기에 전송할 분리된 UI 화면 정보를 UI 그룹 정보로 관리하는 것으로서, 다수의 UI 그룹으로 분리되어 다수의 기기에 전송된 UI 화면 정보에 대해 사용자 인터렉션 정보를 수집하여 단일 UI 트리로 관리되는 컨텐츠 어플리케이션에 전송함으로써 UI 트리 가상화에 따른 오동작을 방지하는 것이다. In step 810, the local server 100 virtualizes a single UI tree. Virtualization means managing UI screen information in a user device as a single UI tree in a content application, and managing a single UI tree as a UI group separated into UI element groups at the OS level. Therefore, the main function of virtualization is to manage separated UI screen information to be transmitted to multiple user devices as UI group information. It is to prevent malfunction due to UI tree virtualization by transmitting to a content application managed as a single UI tree.
따라서 오동작 방지를 위해서 분리된 UI 엘리먼트 그룹의 주요 변수값의 업데이트 주기의 동기화가 필요하고, 일반적으로 사용자 인터렉션 정보의 업데이트는 일정 업데이트 주기내에서 UI 엘리먼트 그룹의 주요 기능의 변수값이 변경된 경우, 컨텐츠 어플리케이션에 사용자 인터렉션 정보를 제공한다.Therefore, in order to prevent malfunction, it is necessary to synchronize the update cycle of the main variable values of the separated UI element groups. Provides user interaction information to applications.
820 단계에서 로컬 서버(100)는 클라이언트 A(21)로부터 화면 해상도를 수신한다. In step 820, the local server 100 receives the screen resolution from the client A 21.
830 단계에서 로컬 서버(100)는 수신된 화면 해상도와 동일한 해상도를 갖는 그래픽 버퍼(예를 들면, 가상 디스플레이)를 생성한다. In step 830, the local server 100 creates a graphic buffer (eg, virtual display) having the same resolution as the received screen resolution.
840 단계에서 로컬 서버(100)는 800 단계에서 분할된 UI 트리정보를 클라이언트에 대응하는 그래픽 버퍼에 렌더링한다.In step 840, the local server 100 renders the divided UI tree information in step 800 to a graphic buffer corresponding to the client.
850 단계에서 로컬 서버(100)는 그래픽 버퍼에 저장된 픽셀 데이터를 인코딩하여 대응하는 클라이언트로 송신한다.In step 850, the local server 100 encodes the pixel data stored in the graphic buffer and transmits it to the corresponding client.
860 단계에서 클라이언트 A(21)는 수신한 픽셀 데이터를 비디오스트림으로 디코딩하여 렌더링한다.In step 860, client A 21 decodes and renders the received pixel data into a video stream.
도 9는 본 발명의 실시예에 따른 클라이언트가 컨텐츠 앱의 UI를 편집하는 방법의 흐름을 도시한 것이다.9 illustrates a flow of a method of editing a UI of a content app by a client according to an embodiment of the present invention.
도 9를 참조하면, 본 실시예에 따른 클라이언트가 컨텐츠 앱의 UI를 편집하는 방법은 도 3에 도시된 로컬 서버와 클라이언트에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 3에 도시된 로컬 서버와 클라이언트에 관하여 이상에서 기술된 내용은 본 실시예에 따른 UI 화면 정보를 전송하는 방법에도 적용된다. Referring to FIG. 9 , a method of editing a UI of a content app by a client according to the present embodiment is composed of steps sequentially processed by the local server and the client shown in FIG. 3 . Therefore, even if the contents are omitted below, the contents described above regarding the local server and the client shown in FIG. 3 are also applied to the method of transmitting UI screen information according to the present embodiment.
900 단계에서 클라이언트 A(21)는 컨텐츠 앱을 선택여부를 로컬 서버(100)로 전송한다.In step 900, client A 21 transmits to the local server 100 whether to select a content app.
910 단계에서 로컬 서버(100)는 선택된 컨텐츠 앱을 실행한다. 만일 선택된 컨텐츠 앱이 없는 경우, 클라우드 서버(300)를 통해 다운받아 실행할 수 있다.In step 910, the local server 100 executes the selected content app. If there is no selected content app, it can be downloaded and executed through the cloud server 300 .
920 단계에서 클라이언트 A(21)는 로컬 서버(100)로부터 컨텐츠 앱의 UI를 비디오 스트리밍하여 수신한다.In step 920, the client A 21 receives the video streaming of the UI of the content app from the local server 100.
930 단계에서 클라이언트 A(21)는 수신된 컨텐츠 앱 UI를 디스플레이한다.In step 930, the client A 21 displays the received content app UI.
940 단계에서 클라이언트 A(21)는 컨텐츠 앱의 UI 설정모드를 실행한다.In step 940, the client A 21 executes the UI setting mode of the content app.
950 단계에서 클라이언트 A(21)는 컨텐츠 앱의 UI 엘리먼트 그룹을 적어도 하나 이상 선택하고, 상기 선택된 UI 엘리먼트 그룹을 디스플레이할 클라이언트를 선택한다.In step 950, the client A 21 selects at least one UI element group of the content app and selects a client to display the selected UI element group.
960 단계에서 클라이언트 A(21)는 선택된 UI 엘리먼트 그룹과 상기 선택된 UI 엘리먼트 그룹이 디스플레이를 위해 매칭된 클라이언트 정보가 포함된 UI 배치정보를 로컬 서버(100)로 전송한다.In step 960, the client A 21 transmits to the local server 100 UI arrangement information including the selected UI element group and client information matched with the selected UI element group for display.
970 단계에서 로컬 서버(100)는 상기 UI 배치정보를 참조하여 UI 엘리먼트 그룹이 디스플레이되는 것으로 매칭된 클라이언트로 상기 UI 엘리먼트 그룹을 전송한다.In step 970, the local server 100 refers to the UI arrangement information and transmits the UI element group to the client matched to display the UI element group.
도 10은 본 발명의 다른 실시예에 따른 로컬 서버가 OS 레벨에서 클라이언트 기기에게 IoT 상태정보를 전송하는 방법의 흐름을 도시한 것이다.10 illustrates a flow of a method in which a local server transmits IoT status information to a client device at an OS level according to another embodiment of the present invention.
도 10을 참조하면, 본 실시예에 따른 클라이언트로 IoT 상태정보를 전송하는 방법은 도 3에 도시된 로컬 서버와 클라이언트에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 3에 도시된 로컬 서버와 클라이언트에 관하여 이상에서 기술된 내용은 본 실시예에 따른 IoT 상태정보를 전송하는 방법에도 적용된다. Referring to FIG. 10 , the method for transmitting IoT state information to a client according to the present embodiment is composed of steps sequentially processed by a local server and a client shown in FIG. 3 . Therefore, even if the contents are omitted below, the contents described above with respect to the local server and the client shown in FIG. 3 are also applied to the method of transmitting IoT status information according to the present embodiment.
1000 단계에서 로컬 서버(100)는 클라이언트 A(21)로부터 사용자가 IoT IoT 상태정보 수신하기 위해 선택한 IoT 어플리케이션의 정보를 수신한다. 클라이언트 A(21)에는 선택가능한 IoT 애플리케이션이 리스팅되고, 사용자가 어느 하나의 IoT 애플리케이션을 선택하면, 로컬 서버(100)는 어떤 IoT 애플리케이션이 선택되었는지를 사용자 UI 제어 정보로 수신하게 된다.In step 1000, the local server 100 receives information on an IoT application selected by the user to receive IoT status information from client A 21. Selectable IoT applications are listed in the client A 21, and when the user selects one IoT application, the local server 100 receives the selected IoT application as user UI control information.
1010 단계에서 로컬 서버(100)는 선택된 IoT 애플리케이션을 실행한다. 1000 단계에서 선택된 IoT 애플리케이션이 설치되어 있지 않은 경우 IoT 기기의 클라우드 서버(300)를 통해 IoT 애플리케이션를 다운받을 수 있다.In step 1010, the local server 100 executes the selected IoT application. If the IoT application selected in step 1000 is not installed, the IoT application may be downloaded through the cloud server 300 of the IoT device.
1020 단계에서 로컬 서버(100)는 실행된 IoT 애플리케이션의 UI를 복수의 UI 엘리먼트 그룹으로 분리한다.In step 1020, the local server 100 separates the UI of the executed IoT application into a plurality of UI element groups.
1030 단계에서 로컬 서버(100)는 상기 분리된 복수의 UI 엘리먼트 그룹을 이용하여 UI 배치정보를 생성한다.In step 1030, the local server 100 generates UI arrangement information using the plurality of separated UI element groups.
1040 단계에서 로컬 서버(100)는 상기 생성된 UI 배치정보를 이용하여 가상디스플레이 정보를 생성한다.In step 1040, the local server 100 generates virtual display information using the generated UI arrangement information.
1050 단계에서 로컬 서버(100)는 상기 가상 디스플레이 정보를 클라이언트 A(21)로 비디오 스트리밍으로 송신하거나 클라이언트 기기에 매핑된 UI 엘리먼트 그룹을 송신할 수 있다.In step 1050, the local server 100 may transmit the virtual display information to the client A 21 through video streaming or transmit a UI element group mapped to the client device.
1060 단계에서 로컬 서버(100)는 상기 클라이언트 A(21)의 사용자 앱으로 부터 UI 제어정보를 수신한다.In step 1060, the local server 100 receives UI control information from the user app of the client A 21.
1070 단계에서 로컬 서버(100)는 상기 수신한 UI 제어정보를 IoT 애플리케이션의 제어신호로 변환한다.In step 1070, the local server 100 converts the received UI control information into a control signal of an IoT application.
1071 단계에서 로컬 서버(100)는 클라우드 또는 홈 네트워크를 통해서 IoT 제어신호를 IoT 장치(25)로 전송한다. 사용자 기기가 IoT 기기의 허브 (hub)의 역할을 수행하는 경우에는 지그비/와이파이(Zigbee/Wi-Fi)를 이용하는 홈네트워크를 통해 IoT 장치(25)를 제어할 수 있다.In step 1071, the local server 100 transmits an IoT control signal to the IoT device 25 through the cloud or home network. When the user device serves as a hub of the IoT device, the IoT device 25 may be controlled through a home network using Zigbee/Wi-Fi.
한편, 로컬 서버(100)에 설치된 IoT 앱이 IoT 제어신호를 IoT 클라우드 서버로 전송하는 경우에는, IoT 클라우드 서버는 IoT 장치(25)에 고유하게 매핑된 IP Address 정보를 참조하여 TCP/IP 통신방법으로 IoT 허브를 통해 IoT 장치에 IoT 제어신호를 전달한다.On the other hand, when the IoT app installed on the local server 100 transmits the IoT control signal to the IoT cloud server, the IoT cloud server refers to the IP address information uniquely mapped to the IoT device 25 to perform a TCP/IP communication method. It transmits the IoT control signal to the IoT device through the IoT hub.
1072 단계에서 로컬 서버(100)의 IoT 앱은 IoT 장치(25)로부터 또는 IoT 클라우드 서버를 통해 IoT 상태정보를 수신한다.In step 1072, the IoT app of the local server 100 receives IoT status information from the IoT device 25 or through the IoT cloud server.
1073 단계에서 로컬 서버(100)는 클라이언트 A(21)의 사용자 앱에게 상기 IoT 상태정보를 비디오스트림이나 UI 엘러먼트 그룹 정보로 전송한다.In step 1073, the local server 100 transmits the IoT state information to the user app of the client A 21 as a video stream or UI element group information.
도 11은 본 발명의 또 다른 실시예에 따른 클라우드 서버가 클라이언트기기에게 IoT 상태정보를 전송하는 방법의 흐름을 도시한 것이다.11 illustrates a flow of a method in which a cloud server transmits IoT state information to a client device according to another embodiment of the present invention.
도 11을 참조하면, 본 실시예에 따른 클라이언트로 IoT 상태정보를 전송하는 방법은 도 3에 도시된 로컬 서버와 클라이언트의 사용자 에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 3에 도시된 로컬 서버와 클라이언트의 사용자 앱에 관하여 이상에서 기술된 내용은 본 실시예에 따른 IoT 상태정보를 전송하는 방법에도 적용된다. Referring to FIG. 11, the method of transmitting IoT status information to a client according to this embodiment is composed of steps sequentially processed by the user of the local server and client shown in FIG. Therefore, even if the content is omitted below, the content described above with respect to the user app of the local server and client shown in FIG. 3 is also applied to the method of transmitting IoT status information according to this embodiment.
도 11은 홈 네트워크 외부에 있는 클라이언트 A(21)가 클라우드 서버(300)를 통해 IoT 상태정보를 수신하는 것이 도 10과의 차이점이다.11 is different from FIG. 10 in that the client A 21 outside the home network receives the IoT state information through the cloud server 300.
도 11에서는 IoT 장치의 원격제어를 위해 클라우드 서버(300) 및 로컬 서버(100)의 UI 가상화 정보, UI 배치정보 및 이에 매핑된 사용자 기기정보 등이 웹 API(Web API)를 통해 동기화되는 것이 바람직하다.In FIG. 11, it is preferable that UI virtualization information, UI arrangement information, and user device information mapped thereto of the cloud server 300 and the local server 100 are synchronized through a web API (Web API) for remote control of the IoT device. do.
1100 단계에서 클라우드 서버(300)는 클라이언트 A(21)로부터 사용자가 IoT 애플리케이션 선택하는 사용자 제어정보를 수신한다.In step 1100, the cloud server 300 receives user control information for the user to select an IoT application from the client A 21.
1110 단계에 클라우드 서버(300)는사용자 기기 그룹정보에서 클라이언트 A(21) 기기가 등록된 사용자 기기인지 여부를 판단한다.In step 1110, the cloud server 300 determines whether the client A 21 device is a registered user device in the user device group information.
1120 단계에서 클라우드 서버(300)가 판단한 결과 클라이언트 A(21)가 등록된 사용자 기기인 경우, 로컬 서버는(100)는 클라우드 서버(300) 로 부터 클라이언트 A(21)기기의 사용자가 선택한 IoT 애플리케이션 정보를 수신한다.As a result of the determination of the cloud server 300 in step 1120, if the client A 21 is a registered user device, the local server 100 is an IoT application selected by the user of the client A 21 device from the cloud server 300. Receive information.
1130 단계에서 로컬 서버(100)는 상기 선택된 IoT 애플리케이션을 실행한다.In step 1130, the local server 100 executes the selected IoT application.
1140 단계에서 로컬 서버(100)는 실행된 IoT 애플리케이션의 UI를 OS 레벨에서 복수의 UI 엘리먼트 그룹으로 분리한다.In step 1140, the local server 100 separates the UI of the executed IoT application into a plurality of UI element groups at the OS level.
1150 단계에서 로컬 서버(100)는 상기 분리된 복수의 UI 엘리먼트 그룹을 이용하여 UI 배치정보를 생성한다. 또한 로컬 서버의 업데이트된 UI 배치정보를 클라우드 서버로 전송하여, 두 기기의 UI 배치정보를 동기화한다.In step 1150, the local server 100 generates UI arrangement information using the plurality of separated UI element groups. In addition, the updated UI arrangement information of the local server is transmitted to the cloud server to synchronize the UI arrangement information of the two devices.
1160 단계에서 클라우드 서버(300)는 로컬 서버의 IoT 앱과 동기화된 클라우드 서버의 IoT 앱의 UI를 상기 생성된 UI 배치정보를 이용하여 가상디스플레이 정보를 생성한다.In step 1160, the cloud server 300 generates virtual display information for the UI of the IoT app of the cloud server synchronized with the IoT app of the local server using the generated UI arrangement information.
1170 단계에서 클라우드 서버(300)는 상기 가상 디스플레이 정보를 이용하여 매핑된 IoT 앱의 UI 화면을 클라이언트 A(21) 기기로 비디오 스트리밍으로 전송하거나 매핑된 UI 엘리먼트 그룹 정보를 전송한다. In step 1170, the cloud server 300 transmits the mapped UI screen of the IoT app to the client A 21 device through video streaming using the virtual display information or transmits mapped UI element group information.
1180 단계에서 클라이언트 A(21)가 클라우드 서버(300)로 UI 제어정보를 송신하고, 클라우드 서버에 설치된 IoT 앱에 상기 UI 제어정보를 전송하면, IoT 기기의 클라우드 서버에 의해 로컬 서버의 IoT 앱의 컨텍스트 상태 정보 (context status)가 업데이트 된다.In step 1180, when the client A 21 transmits UI control information to the cloud server 300 and transmits the UI control information to the IoT app installed in the cloud server, the cloud server of the IoT device controls the IoT app of the local server. Context status information is updated.
따라서 로컬 서버(100)의 IoT 앱은 상기 수신한 UI 제어정보를 IoT 기기로 전송한다.Therefore, the IoT app of the local server 100 transmits the received UI control information to the IoT device.
1191 단계에서 로컬 서버(100)의 IoT 앱은 인터넷 웹으로 IoT 클라우드 서버로 전송하거나, 상기 로컬 서버가 IoT 허브 역할을 수행하는 경우에는 상기 로컬서버가 홈 네트워크를 통해서 IoT 제어신호를 IoT 장치로 직접 전송한다.In step 1191, the IoT app of the local server 100 transmits to the IoT cloud server through the Internet web, or when the local server serves as an IoT hub, the local server directly transmits the IoT control signal to the IoT device through the home network. send.
1192 단계에서 로컬 서버(100)의 IoT 앱은 IoT 앱의 클라우드 및 IoT 허브를 거쳐서 IoT 기기의 상태 정보를 수신하거나, 상기 로컬 서버가 IoT 허브 역할을 수행하는 경우에는 홈 네트워크를 통해서 IoT 기기로부터 직접 상태정보를 수신한다.In step 1192, the IoT app of the local server 100 receives status information of the IoT device via the cloud and IoT hub of the IoT app, or directly from the IoT device through the home network when the local server serves as an IoT hub. Receive status information.
1193 단계에서 로컬 서버(100)의 IoT 앱의 컨텍스트 상태정보가 변경된 경우에는 IoT 앱은 변경된 상태 정보를 IoT 기기의 클라우드에 제공하거나, 상기 로컬서버가 IoT 허브 역할을 수행하는 경우에는 클라우드 서버 (300)의 IoT 앱에 전송한다.In step 1193, if the context state information of the IoT app of the local server 100 is changed, the IoT app provides the changed state information to the cloud of the IoT device, or if the local server serves as an IoT hub, the cloud server (300 ) to the IoT app.
IoT 기기 제어를 위한 허브는 Zigbee, Bluetooth, Wi-Fi 네트워크를 이용하여, 홈 네트워크상의 IoT 기기를 제어한다. The hub for IoT device control uses Zigbee, Bluetooth, and Wi-Fi networks to control IoT devices on the home network.
도 12는 본 발명의 또 다른 실시예에 따른 로컬 서버가 미인증 클라이언트로 IoT 상태정보를 전송하는 방법의 흐름을 도시한 것이다.12 illustrates a flow of a method for transmitting IoT status information from a local server to an unauthenticated client according to another embodiment of the present invention.
도 12에 도시된 로컬 서버가 미인증 클라이언트로 IoT 상태정보를 전송하는 방법은 도 10과 도 11과 달리 미인증 클라이언트(30)가 로컬 서버(100)로 IoT 상태정보를 전송해줄 것을 요청하는 것이 차이점이다.Unlike FIGS. 10 and 11, the local server shown in FIG. 12 requests the local server 100 to transmit the IoT status information, unlike FIGS. 10 and 11. It's the difference.
1200 단계에서 로컬 서버(100)는 클라이언트 기기와의 거리에 따른 IoT 상태정보 제공범위를 설정한다.In step 1200, the local server 100 sets the IoT status information provision range according to the distance to the client device.
로컬 서버(100)은 미인증 클라이언트(30)의 위치에 따라 IoT 상태정보를 차별화하여 제공할 수 있다. 미인증 클라이언트(30)가 로컬 서버(100)와 물리적으로 가까운 위치에 있는 경우와 원거리에서 홈네트워크 또는 인터넷를 통해 IoT 상태정보를 요청하는 경우가 있으며, 로컬 서버(100)와 미인증 클라이언트(30)간의 물리적 거리에 따른 IoT 상태정보를 차별화하여 제공할 수 있다. The local server 100 may differentiate and provide IoT state information according to the location of the unauthenticated client 30 . There are cases where the unauthenticated client 30 is physically close to the local server 100 and requests IoT status information from a distance through a home network or the Internet, and the local server 100 and the unauthenticated client 30 It is possible to differentiate and provide IoT state information according to the physical distance between the devices.
이 때, 미인증 클라이언트(30)의 위치가 로컬 서버(100)와 물리적으로 일정거리 내에 존재하는 경우, 보다 많은 IoT 상태정보를 제공하도록 설정할 수 있다.At this time, when the location of the unauthenticated client 30 physically exists within a certain distance from the local server 100, it can be set to provide more IoT status information.
또한 로컬 서버(100)가 설치된 장소의 내부 또는 외부에서 요청하는지 따라, IoT 장치(25)의 상태정보 제공을 차별화하여 제공할 수 있다. In addition, depending on whether a request is made from inside or outside the place where the local server 100 is installed, the provision of state information of the IoT device 25 may be differentiated and provided.
1210 단계에서 로컬 서버(100)는 미인증 클라이언트(30)의 사용자 앱으로 부터 IoT 상태정보 전송요청을 수신한다.In step 1210, the local server 100 receives an IoT status information transmission request from the user app of the unauthenticated client 30.
1220 단계에서 로컬 서버(100)는 1210 단계에서 수신한 IoT 상태정보 전송요청에 기초하여 미인증 클라이언트(30)와의 거리를 계산한다.In step 1220, the local server 100 calculates the distance to the unauthenticated client 30 based on the IoT status information transmission request received in step 1210.
로컬 서버(100)와 미인증 클라이언트(30)의 정확한 거리계산을 위해, 로컬 서버(100)의 무선 통신 모듈(Bluetooth, Wi-Fi, ultra wide band 등)의 안테나가 일정 이격거리(reference distance)를 갖는 멀티 안테나로 구현된 경우, 페어링된 안테나의 일부는 수평편파 (horizontal polarization)를 수신하고, 다른 일부 안테나는 수직편파 (vertical polarization)를 수신하도록 구현할 수 있다. In order to accurately calculate the distance between the local server 100 and the unauthenticated client 30, the antenna of the wireless communication module (Bluetooth, Wi-Fi, ultra wide band, etc.) of the local server 100 is a certain distance (reference distance) When implemented as a multi-antenna having , some of the paired antennas may receive horizontal polarization, and some other antennas may receive vertical polarization.
이러한 경우, 미인증 클라이언트(30)로부터 무선 통신 신호를 페어링된 수직편파/수평편파 멀티안테나에서 수신하고, 수신 신호의 입사각 차이에 따른 신호 수신 도달 시간 차이로, 미인증 클라이언트(30)의 정확한 위치 계산이 가능하다. In this case, the wireless communication signal from the unauthenticated client 30 is received through the paired vertical polarization/horizontal polarization multi-antenna, and the exact location of the unauthenticated client 30 is determined by the signal reception arrival time difference according to the incident angle difference of the received signal. calculation is possible
따라서 로컬 서버(100)와 미인증 클라이언트(30) 사이의 거리를 계산하여, 로컬 서버(100)에서 미인증 클라이언트(30) 사용자 앱에게 제공할 IoT 상태정보를 결정할 수 있다.Therefore, by calculating the distance between the local server 100 and the unauthenticated client 30, IoT state information to be provided to the unauthenticated client 30 user app in the local server 100 can be determined.
1230 단계에서 로컬 서버(100)는 IoT 장치(25)에게 IoT 상태정보 전송요청을 송신한다.In step 1230, the local server 100 transmits an IoT status information transmission request to the IoT device 25.
1240 단계에서 로컬 서버(100)는 IoT 장치(25)로 부터 IoT 상태정보를 수신한다.In step 1240, the local server 100 receives IoT status information from the IoT device 25.
1250 단계에서 로컬 서버(100)는 1220 단계에서 계산된 거리에 따라 미인증 클라이언트(30)로 송신할 IoT 상태정보와 UI 배치정보를 결정한다.In step 1250, the local server 100 determines IoT status information and UI arrangement information to be transmitted to the unauthenticated client 30 according to the distance calculated in step 1220.
1260 단계에서 로컬 서버(100)는 상기 UI 배치정보를 이용하여 가상 디스플레이 정보를 생성한다.In step 1260, the local server 100 generates virtual display information using the UI arrangement information.
1270 단계에서 로컬 서버(100)는 비디오 스트리밍으로 IoT 상태정보를 미인증 클라이언트 기기의 사용자 앱에 송신한다. 이 때 IoT 상태정보는 로컬 서버(100)에서 미인증 클라이언트(30)로 비디오스트림으로 전송되어 화면에 표시된다.따라서 다수의 IoT 장치의 IoT 상태정보를 수신하기 위해 필요한 IoT 애플리케이션의 설치가 미인증 클라이언트(30)에서는 필요하지 않게 된다.In step 1270, the local server 100 transmits IoT status information to the user app of the unauthenticated client device through video streaming. At this time, the IoT status information is transmitted as a video stream from the local server 100 to the unauthenticated client 30 and displayed on the screen. Therefore, the installation of IoT applications required to receive the IoT status information of multiple IoT devices is not authenticated. In the client 30, it becomes unnecessary.
도 13은 본 발명의 또 다른 실시예에 따른 로컬 서버가 NFT 컨텐츠와 UI 앱을 수신하여 UI 화면 정보를 전송하는 방법의 흐름을 도시한 것이다.13 illustrates a flow of a method in which a local server transmits UI screen information by receiving NFT content and a UI app according to another embodiment of the present invention.
도 13을 참조하면, 본 실시예에 따른 UI 화면 정보를 전송하는 방법은 도 3에 도시된 로컬 서버와 클라이언트에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 3에 도시된 로컬 서버와 클라이언트에 관하여 이상에서 기술된 내용은 본 실시예에 따른 UI 화면 정보를 전송하는 방법에도 적용된다. Referring to FIG. 13 , the method for transmitting UI screen information according to the present embodiment is composed of steps sequentially processed by the local server and client shown in FIG. 3 . Therefore, even if the contents are omitted below, the contents described above regarding the local server and the client shown in FIG. 3 are also applied to the method of transmitting UI screen information according to the present embodiment.
도 13에서는 NFT 컨텐츠 서버(500)의 NFT 컨텐츠 및 UI 앱 서버(600)의 UI 앱을 로컬 서버(20)로 전송하여 로컬 서버(20) 또는 클라이언트 A(21)가 일정 기간동안 UI 앱에 NFT 컨텐츠를 포함하여 사용할 수 있는 방법이 도시된 것이다.In FIG. 13, the NFT content of the NFT content server 500 and the UI app of the UI app server 600 are transmitted to the local server 20, so that the local server 20 or client A 21 provides the NFT to the UI app for a certain period of time. A usable method including content is illustrated.
1300 단계에서 사용자는 NFT 컨텐츠 제공자(500)와 UI 앱 제공자(600)와 상호간에 스마트 컨트랙트를 체결한다.In step 1300, the user enters into a smart contract with the NFT content provider 500 and the UI app provider 600.
디지털 자산은 블럭체인 기반의 스마트 계약으로 관리되며 있으며, 디지털 자산의 토큰은 크게 대체가능토큰(fungible token:FT)과 대체불가토큰(non-fungible token: NFT)으로 구분된다. 이더리움(Ethereum) 토큰에는 대체가능토큰으로 ERC-20이, 대체불가토큰은 ERC-721 토큰이 정의되어 있다. 또한 ERC-1155는 ERC-20, ERC-721 토큰을 하나의 스마트 계약으로 관리할 수 있는 토큰이다.Digital assets are managed by blockchain-based smart contracts, and tokens of digital assets are largely divided into fungible tokens (FT) and non-fungible tokens (NFT). ERC-20 is defined as a fungible token in Ethereum tokens, and ERC-721 tokens are defined as non-fungible tokens. Also, ERC-1155 is a token that can manage ERC-20 and ERC-721 tokens as a single smart contract.
따라서, 본 발명에서는 NFT 컨텐츠 제공자/서버(500)와 UI 앱 제공자/ 서버(600) 및 사용자가 ERC-1155 기반으로 NFT 컨텐츠와 UI 앱의 소유/사용에 관한 스마트 컨트랙트를 체결하는 것이 바람직하다. Therefore, in the present invention, it is preferable that the NFT content provider/server 500, the UI app provider/server 600, and the user enter into a smart contract related to the ownership/use of NFT content and UI apps based on ERC-1155.
UI 앱 제공자/서버(600), NFT 컨텐츠 제공자/서버(500), 및 사용자/로컬 서버(20)가 특정 기간 동안 유효한 스마트 컨트랙트를 체결한 경우, 로컬 서버(20)로 NFT 컨텐츠와 UI 앱이 전송될 수 있다. 따라서, 로컬 서버(20)에서는 일정기간 동안의 NFT 컨텐츠 접근 권한 허가받게 되고, 유일한 사용자로서 접근 허용된다. 이 때 스마트 컨트랙트에는 사용자 기기 그룹에 포함되는 인증 사용자 기기의 수를 제한하여 본 발명에 따른 사용자 기기간의 UI 화면 전송에 따른 다수의 사용자 기기에 전송되는 NFT 컨텐츠의 화면 전송을 제한하는 조건을 포함할 수 있다.When the UI app provider/server 600, the NFT content provider/server 500, and the user/local server 20 enter into a valid smart contract for a specific period of time, the NFT content and the UI app are delivered to the local server 20. can be transmitted Therefore, in the local server 20, NFT content access rights are granted for a certain period of time, and access is allowed as the only user. At this time, the smart contract may include a condition for limiting the number of authenticated user devices included in the user device group and limiting the screen transmission of NFT contents transmitted to multiple user devices according to the UI screen transmission between user devices according to the present invention. can
1310 단계에서 클라이언트 A(21)는 사용하고자 하는 NFT 컨텐츠와 UI 앱을 선택하여 로컬 서버(100)로 전송한다.In step 1310, client A 21 selects the NFT content and UI app to be used and transmits them to the local server 100.
이 때, 스마트 컨트랙트 내용을 바탕으로, UI 앱 서버(600)에 저장된 선택 가능한 다수의 UI 앱들을 대체가능토큰으로 매핑하여 로컬 서버(20)에 제공할 수 있고, 로컬 서버(20)는 OS 레벨에서 UI 앱의 단일 UI를 UI 엘리멘트 그룹 단위로 분리하여, 사용자의 클라이언트 기기들과 매핑하여 UI 배치정보를 생성하여, 클라이언트 A(21)와 매핑된 하나의 UI 엘리먼트 그룹을 보낼 수 있다.At this time, based on the contents of the smart contract, a plurality of selectable UI apps stored in the UI app server 600 can be mapped to replaceable tokens and provided to the local server 20, and the local server 20 can be provided at the OS level In , a single UI of a UI app is separated into UI element groups, and UI arrangement information is generated by mapping with the user's client devices, and one UI element group mapped with client A 21 can be sent.
클라이언트 A(21)에서는 UI 앱 서버(600)에 저장된 선택 가능한 다수의 UI 앱들 중 하나를 선택하여 NFT 컨텐츠와 결합하여 디스플레이 할 수 있다.The client A 21 may select one of a plurality of selectable UI apps stored in the UI app server 600 and display it in combination with NFT content.
1320 단계에서 로컬 서버(100)는 UI 앱 서버(600)와 NFT 컨텐츠 서버(500) 간의 스마트 컨트랙트 체결여부 확인 후, UI 앱 서버(600)로부터 클라이언트 A(21)가 선택한 UI 앱을 수신한다.In step 1320, the local server 100 checks whether a smart contract has been concluded between the UI app server 600 and the NFT content server 500, and then receives the UI app selected by the client A 21 from the UI app server 600.
1321 단계에서 로컬 서버(100)는 UI 앱 서버(600)와 NFT 컨텐츠 서버(500) 간의 스마트 컨트랙트 체결여부 확인 후, NFT 컨텐츠 서버(500)로부터 NFT 컨텐츠를 수신한다.In step 1321, the local server 100 receives NFT content from the NFT content server 500 after confirming whether a smart contract has been concluded between the UI app server 600 and the NFT content server 500.
1330 단계에서 로컬 서버(100)는 선택된 UI 앱을 실행한다.In step 1330, the local server 100 executes the selected UI app.
1340 단계에서 로컬 서버(100)는 실행된 UI 앱의 UI를 OS 레벨에서 복수의 UI 엘리먼트 그룹으로 분리한다.In step 1340, the local server 100 separates the UI of the executed UI app into a plurality of UI element groups at the OS level.
1350 단계에서 로컬 서버(100)는 상기 분리된 각각의 UI 엘리먼트 그룹 과 사용자의 클라이언트 기기들에게 매핑하여 UI 배치정보를 생성한다.In step 1350, the local server 100 generates UI arrangement information by mapping each of the separated UI element groups to the user's client devices.
로컬 서버(100)와 주변 클라이언트들이 홈네트워크로 연결된 경우, UI 배치 제어부(105)가 상기 생성된 UI 배치정보를 클라우드 서버(300)로 전송하는 것이 바람직하다. When the local server 100 and neighboring clients are connected through a home network, it is preferable that the UI arrangement control unit 105 transmits the generated UI arrangement information to the cloud server 300 .
1360 단계에서 로컬 서버(100)는 상기 생성된 UI 배치정보를 이용하여 가상디스플레이 정보를 생성한다.In step 1360, the local server 100 generates virtual display information using the generated UI arrangement information.
1370 단계에서 로컬 서버(100)는 클라이언트 A(21)로 UI 엘리먼트 그룹을 전송한다. 클라이언트 A(21)로 UI 엘리먼트 그룹을 전송하는 대신 1370 단계에서 클라이언트 A(21)에 대응하는 적어도 하나 이상의 UI 엘리먼트 그룹을 비디오스트림으로 전송할 수 있다. In step 1370, the local server 100 transmits the UI element group to the client A 21. Instead of transmitting the UI element group to the client A 21 , at least one UI element group corresponding to the client A 21 may be transmitted as a video stream in step 1370 .
1371 단계에서 클라이언트 A(21)는 로컬 서버(100)로부터 수신한 UI 엘리먼트 그룹을 이용하여 가상 디스플레이 정보를 생성한다.In step 1371, the client A 21 generates virtual display information using the UI element group received from the local server 100.
1380 단계에서 로컬 서버(100)는 클라이언트 A(21)로부터 UI 제어정보를 수신한다.In step 1380, the local server 100 receives UI control information from the client A 21.
1381 단계에서 로컬 서버(100)는 상기 UI 제어정보를 UI 앱의 제어신호로 변환한다. 로컬 서버(100)는 UI 앱의 제어신호를 반영하여 상기 UI 엘리먼트 그룹 또는 비디오스트림을 업데이트하여 재전송할 수 있다.In step 1381, the local server 100 converts the UI control information into a control signal of the UI app. The local server 100 may update and retransmit the UI element group or video stream by reflecting the control signal of the UI App.
1390 단계에서 로컬 서버(100)는 UI 앱과 NFT 컨텐츠를 사용할 수 있는 권한을 클라이언트 A(21)에게 위임할 수 있다.In step 1390, the local server 100 may delegate the right to use the UI app and the NFT content to the client A 21.
1300 단계에서 체결한 NFT 컨텐츠 서버(500)와 UI 앱 서버(600) 상호간의 스마트 컨트랙트가 유효한 기간 동안에, NFT 컨텐츠를 다른 클라이언트로 양도할 상황이 발생할 수 있다. 이 때, 사용 권한을 다른 클라이언트에게 위임(delegation)하면, 스마트 컨트랙트는 업데이트되고, 새로운 클라이언트에서 UI 어플리케이션이 실행 가능하도록 도 13의 각 단계가 실행된다. During the period in which the smart contract between the NFT content server 500 and the UI app server 600 concluded in step 1300 is valid, a situation in which NFT content is transferred to another client may occur. At this time, if the right to use is delegated to another client, the smart contract is updated, and each step in FIG. 13 is executed so that the UI application can be executed in the new client.
상기 사용권한이 클라이언트 A(21)에게 위임된 경우, UI 앱 서버(600)와 NFT 컨텐츠 서버(500) 간의 스마트 컨트랙트가 로컬 서버(100) 대신 클라이언트 A(21)를 포함하여 업데이트되고, UI 배치 제어부(105)가 클라이언트 A(21)에서 실행될 수 있다.When the right to use is delegated to client A (21), the smart contract between the UI app server (600) and the NFT content server (500) is updated to include client A (21) instead of the local server (100), and the UI is placed. The control unit 105 may be executed in the client A (21).
클라우드 서버(300)에서 사용자의 NFT 컨텐츠로의 액세스 권한, UI 앱을 이용한 UI 제공 권한, UI 배치정보 수정 권한, 사용 권한 위임 등의 정보를 관리할 수 있다. NFT 컨텐츠 사용자는 상기 모든 권한을 위임받고, 일정기간 동안 NFT 컨텐츠를 사용할 수 있고, 다른 사용자에게 권한을 위임하여 NFT 컨텐츠를 유통시킬 수 있다. The cloud server 300 may manage information such as the user's right to access NFT contents, the right to provide a UI using a UI app, the right to modify UI arrangement information, and the delegated use right. Users of NFT content are delegated all of the above rights, can use NFT content for a certain period of time, and distribute NFT content by delegating authority to other users.
또한, 상기 NFT 컨텐츠 사용자는 일정기간 동안 자신이 원하는 스타일로 UI를 변경하여 자신의 디스플레이 장치에서 NFT 컨텐츠를 스트리밍하여 사용할 수 있다. 이후, 스마트 컨트랙트의 내용을 바탕으로 일정기간이 경과하면 컨텐츠 사용자를 제외한 모든 사용자의 사용 권한이 리셋되도록 구성될 수 있다. In addition, the NFT content user can change the UI to a desired style for a certain period of time and stream the NFT content on his or her display device. After that, based on the contents of the smart contract, when a certain period of time elapses, the usage rights of all users except for the content user can be configured to be reset.
본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Embodiments of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the medium may be those specially designed and configured for the present invention or those known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler. The hardware devices described above may be configured to act as one or more software modules to perform the operations of the present invention, and vice versa.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. As described above, the present invention has been described by specific details such as specific components and limited embodiments and drawings, but these are provided to help a more general understanding of the present invention, and the present invention is not limited to the above embodiments. , Those skilled in the art in the field to which the present invention belongs can make various modifications and variations from these descriptions.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the described embodiments, and it will be said that not only the claims to be described later, but also all modifications equivalent or equivalent to these claims belong to the scope of the present invention. .
Claims (14)
상기 사용자의 제1 기기가 상기 복수의 UI 엘리먼트 그룹들 중, 하나의 UI 엘리먼트 그룹을 상기 사용자의 제2 기기에 매칭하여 UI 배치정보를 생성하는 단계; 및
상기 사용자의 제1 기기가 상기 UI 배치정보를 이용하여 상기 사용자의 제2 기기로 상기 매칭된 하나의 UI 엘리먼트 그룹을 전송하거나, 상기 매칭된 하나의 UI 엘리먼트 그룹을 비디오 스트림으로 변환하여 UI 정보를 전송하는 단계를 포함하는 스마트 컨트랙트 정보를 이용하여 사용자 기기에서 UI 정보를 전송하는 방법.
Separating a plurality of UIs of a content app of the content app provider into a plurality of UI element groups at the OS level by the user's first device when a smart contract is valid between the NFT content provider, the content app provider, or the user;
generating, by the user's first device, UI arrangement information by matching one UI element group among the plurality of UI element groups to the user's second device; and
The user's first device transmits the matched UI element group to the user's second device using the UI arrangement information, or converts the matched UI element group into a video stream to obtain UI information. A method of transmitting UI information from a user device using smart contract information comprising transmitting.
상기 사용자의 제1 기기가 다른 사용자 또는 상기 사용자의 다른 기기에게 상기 컨텐츠 앱의 복수의 UI를 복수의 엘리먼트 그룹들로 분리할 수 있는 권한을 허가(authorization) 또는 위임(delegation)하는 단계를 더 포함하는 스마트 컨트랙트 정보를 이용하여 사용자 기기에서 UI 정보를 전송하는 방법.
According to claim 1,
Authorizing or delegating, by the user's first device, permission to separate the plurality of UIs of the content app into a plurality of element groups to another user or another device of the user. A method of transmitting UI information from a user device using smart contract information
상기 사용자의 제1 기기가 상기 컨텐츠 앱의 상기 복수의 UI를 복수의 UI 엘리먼트 그룹들로 분리할 수 있는 권한을 상기 다른 사용자 또는 상기 다른 사용자의 기기에게 허가 또는 위임한 경우, 상기 사용자의 제1 기기가 상기 다른 사용자와 상기 다른 사용자의 기기의 권한 변경 정보를 클라우드 서버에 전송하는 단계를 더 포함하는 스마트 컨트랙트 정보를 이용하여 사용자 기기에서 UI 정보를 전송하는 방법.
According to claim 2,
When the user's first device grants or delegates the authority to separate the plurality of UIs of the content app into a plurality of UI element groups to the other user or the other user's device, the user's first device A method of transmitting UI information from a user device using smart contract information, further comprising transmitting, by a device, permission change information of the other user and the device of the other user to a cloud server.
상기 컨텐츠 앱이 복수의 컨텐츠 앱으로 구성된 경우,
상기 UI 배치정보에 있어서,
상기 사용자의 제1 기기가 상기 복수의 컨텐츠 앱의 각각의 컨텐츠 앱의 복수의 UI를 복수의 UI 엘리먼트 그룹들로 분리한 후, 상기 하나의 UI 엘리먼트 그룹을 선택하는 것을 특징으로 하는 스마트 컨트랙트 정보를 이용하여 사용자 기기에서 UI 정보를 전송하는 방법.
According to claim 1,
When the content app is composed of a plurality of content apps,
In the UI arrangement information,
The user's first device divides the plurality of UIs of each content app of the plurality of content apps into a plurality of UI element groups, and then selects the one UI element group. How to transmit UI information from a user device using
상기 UI 정보를 전송하는 단계에 있어서,
상기 스마트 컨트랙트의 유효 기간 내에서 상기 UI 화면 전송이 가능한 것을 특징으로 하는 스마트 컨트랙트 정보를 이용하여 사용자 기기에서 UI 정보를 전송하는 방법.
According to claim 1,
In the step of transmitting the UI information,
A method for transmitting UI information from a user device using smart contract information, characterized in that the UI screen transmission is possible within the validity period of the smart contract.
상기 생성된 UI 배치정보에 있어서,
상기 NFT 컨텐츠 공급자의 NFT는 상기 사용자의 하나의 기기에만 전송할 수 있도록 상기 UI 배치정보를 생성하는 것을 특징으로 하는 스마트 컨트랙트 정보를 이용하여 사용자 기기에서 UI 정보를 전송하는 방법.
According to claim 1,
In the generated UI arrangement information,
The method of transmitting UI information from a user device using smart contract information, characterized in that the NFT of the NFT content provider generates the UI arrangement information so that it can be transmitted only to one device of the user.
상기 UI 배치정보에 있어서,
상기 사용자의 제2 기기에 매칭된 상기 하나의 UI 엘리먼트 그룹이 상기 사용자의 제3 기기로 매칭된 경우,
상기 UI 정보를 전송하는 단계에 있어서,
상기 사용자의 제1 기기가 상기 사용자의 제2 기기에게 상기 매칭된 하나의 UI 엘리먼트 그룹을 전송하는 것을 특징으로 하는 스마트 컨트랙트 정보를 이용하여 사용자 기기에서 UI 정보를 전송하는 방법.
According to claim 1,
In the UI arrangement information,
When the one UI element group matched to the user's second device is matched to the user's third device,
In the step of transmitting the UI information,
The method of transmitting UI information from a user device using smart contract information, characterized in that the user's first device transmits the matched one UI element group to the user's second device.
상기 사용자의 제1 기기의 UI 애플리케이션이 상기 복수의 UI 엘리먼트 그룹들 중 하나의 UI 엘리먼트 그룹을 상기 사용자의 제2 기기에 매칭하여 UI 배치정보를 생성하는 단계; 및
상기 UI 애플리케이션이 상기 UI 배치정보를 이용하여 상기 사용자의 제2 기기에게 상기 매칭된 하나의 UI 엘리먼트 그룹을 전송하거나, 상기 매칭된 하나의 UI 엘리먼트 그룹을 비디오스트림으로 변환하여 UI 화면 정보를 전송하는 단계를 포함하는 스마트 컨트랙트 정보를 이용하여 사용자 기기의 UI 애플리케이션에서 UI 정보를 전송하는 방법.
If a smart contract is valid between the NFT content provider, content app provider, or user, the UIs of the content app of the content app provider installed on the user's first device are separated into a plurality of UI element groups,
generating, by the UI application of the user's first device, UI arrangement information by matching one UI element group among the plurality of UI element groups to the user's second device; and
The UI application transmits the matched one UI element group to the user's second device using the UI arrangement information, or converts the matched one UI element group into a video stream and transmits UI screen information. A method of transmitting UI information from a UI application of a user device using smart contract information comprising the steps of:
상기 UI 어플리케이션이 다른 사용자 또는 상기 사용자의 다른 기기에게 상기 UI 앱의 UI를 복수의 UI 엘리먼트 그룹들로 분리하는 권한을 허가(authorization) 또는 위임(delegation)하는 단계를 더 포함하는 스마트 컨트랙트 정보를 이용하여 사용자 기기의 UI 애플리케이션에서 UI 정보를 전송하는 방법.
According to claim 8,
The UI application uses smart contract information, further comprising authorizing or delegating the right to separate the UI of the UI app into a plurality of UI element groups to another user or another device of the user. How to send UI information from a UI application on a user device.
상기 UI 엘리먼트 분리 권한이 상기 다른 사용자 또는 상기 사용자의 다른 기기에게 허가 또는 위임된 경우, 상기 다른 사용자 및 상기 사용자의 다른 기기의 권한 변경 정보를 클라우드 서버에 전송하는 기능을 더 포함하는 스마트 컨트랙트 정보를 이용하여 사용자 기기의 UI 애플리케이션에서 UI 정보를 전송하는 방법.
According to claim 9,
When the UI element separation authority is granted or delegated to the other user or another device of the user, smart contract information further comprising a function of transmitting permission change information of the other user and the user's other device to the cloud server A method for transmitting UI information from a UI application of a user device using a method.
상기 컨텐츠 앱의 UI가 복수의 컨텐츠 앱으로 구성되어 있는 경우,
상기 복수의 컨텐츠 앱의 각각의 컨텐츠 앱의 UI를 복수의 UI 엘리먼트 그룹들로 분리시킨 후, 선택된 하나의 UI 엘리먼트 그룹을 이용하여 상기 컨텐츠 앱의 UI이 생성되는 것을 특징으로 하는 스마트 컨트랙트 정보를 이용하여 사용자 기기의 UI 애플리케이션에서 UI 정보를 전송하는 방법.
According to claim 8,
When the UI of the content app is composed of a plurality of content apps,
After separating the UI of each content app of the plurality of content apps into a plurality of UI element groups, the UI of the content app is created using the selected UI element group using smart contract information. How to send UI information from a UI application on a user device.
상기 UI 배치정보를 생성하는 단계에 있어서,
상기 NFT 공급자의 NFT는 상기 사용자의 하나의 기기에만 전송할 수 있도록 UI 배치정보를 생성하는 것을 특징으로 하는 스마트 컨트랙트 정보를 이용하여 사용자 기기의 UI 애플리케이션에서 UI 정보를 전송하는 방법.
According to claim 8,
In the step of generating the UI arrangement information,
The method of transmitting UI information in a UI application of a user device using smart contract information, characterized in that the NFT of the NFT provider generates UI arrangement information so that it can be transmitted only to one device of the user.
상기 UI 배치정보에 있어서,
상기 사용자의 제2 기기가 상기 매칭된 하나의 UI 엘리먼트 그룹이 상기 사용자의 제3 기기로 매칭된 경우,
상기 UI 화면 정보를 전송하는 단계에 있어서,
상기 사용자의 제1 기기가 상기 사용자의 제2 기기에게 상기 매칭된 하나의 UI 엘리먼트 그룹을 전송하는 것을 특징으로 하는 스마트 컨트랙트 정보를 이용하여 사용자 기기의 UI 애플리케이션에서 UI 화면 정보를 전송하는 방법.
According to claim 8,
In the UI arrangement information,
When the user's second device matches the matched one UI element group to the user's third device,
In the step of transmitting the UI screen information,
The method of transmitting UI screen information in a UI application of a user device using smart contract information, characterized in that the user's first device transmits the matched one UI element group to the user's second device.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220026429A KR20230128915A (en) | 2022-02-28 | 2022-02-28 | Method of transmitting UI display information based on smart contract |
PCT/KR2023/002796 WO2023163568A1 (en) | 2022-02-28 | 2023-02-28 | Method of transmitting ui display information based on smart contract |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220026429A KR20230128915A (en) | 2022-02-28 | 2022-02-28 | Method of transmitting UI display information based on smart contract |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20230128915A true KR20230128915A (en) | 2023-09-05 |
Family
ID=87766492
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220026429A KR20230128915A (en) | 2022-02-28 | 2022-02-28 | Method of transmitting UI display information based on smart contract |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR20230128915A (en) |
WO (1) | WO2023163568A1 (en) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102254786B1 (en) * | 2014-11-19 | 2021-05-25 | 주식회사 알티캐스트 | System and method for providing cloud based user interfaces |
KR102273144B1 (en) * | 2015-01-26 | 2021-07-05 | 에스케이플래닛 주식회사 | System for cloud streaming service, method of image cloud streaming service using division of the change area and apparatus for the same |
KR102026586B1 (en) * | 2019-04-30 | 2019-11-26 | 펑타이그레이터차이나 유한회사 | Segmented video wireless display system and method thereof |
KR102304053B1 (en) * | 2019-06-19 | 2021-09-17 | 주식회사 비엘디 | Vertically Arranged Folder-type Dual Monitor |
US11245946B2 (en) * | 2020-01-21 | 2022-02-08 | Dish Network L.L.C. | Systems and methods for adapting content items to secured endpoint media device data |
-
2022
- 2022-02-28 KR KR1020220026429A patent/KR20230128915A/en unknown
-
2023
- 2023-02-28 WO PCT/KR2023/002796 patent/WO2023163568A1/en unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023163568A1 (en) | 2023-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20100248698A1 (en) | Mobile terminal device inlcuding mobile cloud platform | |
KR20210030073A (en) | Method and apparatus for edge computing service | |
WO2016197862A1 (en) | Data transmission method and apparatus, and intelligent television system | |
EP2957090B1 (en) | Specifying link layer information in a url | |
CN108055575B (en) | Network video sharing system based on simulated screen projection for community | |
KR101735102B1 (en) | Method and appatus for providing application service in mobile communication system | |
CN115033190A (en) | Location-based device availability | |
US9706249B2 (en) | Extended, home, and mobile content delivery networks | |
WO2016202200A1 (en) | Data verification method and apparatus, and smart television system | |
JP2016527595A (en) | Synchronizing device association data between computing devices | |
KR102387867B1 (en) | Method and apparatus for transmitting and receiving data in communication system | |
US11956281B2 (en) | Method and apparatus for edge application server discovery or instantiation by application provider to run media streaming and services on 5G networks | |
JP2023529553A (en) | Methods, devices, and computer programs for live streaming of user-generated content over media streaming networks | |
KR102327912B1 (en) | Method for connecting to a remote pc using a digital device | |
CN110178353A (en) | Method for processing business, Cloud Server and terminal device | |
KR20140049449A (en) | Control apparatus of application mobility in home network | |
KR20230128915A (en) | Method of transmitting UI display information based on smart contract | |
KR20230128916A (en) | Method of transceiving UI displays between user devices | |
KR20230128913A (en) | Method of transmitting UI display information to peripheral clients by a local server | |
KR20230128914A (en) | Method of transmitting IoT status information by a local server | |
US20220060774A1 (en) | Seamless dvrs | |
US11496791B2 (en) | Devices, systems and processes for facilitating seamless use of tuners across multiple devices within a local area network | |
KR102492793B1 (en) | System for providing virtual desktop service and method for the same | |
US11736761B2 (en) | Methods for media streaming content preparation for an application provider in 5G networks | |
CN115669000A (en) | Method and apparatus for instant content preparation in 5G networks |