KR20220111489A - User device and control method thereof - Google Patents

User device and control method thereof Download PDF

Info

Publication number
KR20220111489A
KR20220111489A KR1020210014800A KR20210014800A KR20220111489A KR 20220111489 A KR20220111489 A KR 20220111489A KR 1020210014800 A KR1020210014800 A KR 1020210014800A KR 20210014800 A KR20210014800 A KR 20210014800A KR 20220111489 A KR20220111489 A KR 20220111489A
Authority
KR
South Korea
Prior art keywords
user
user terminal
information
terminal device
display device
Prior art date
Application number
KR1020210014800A
Other languages
Korean (ko)
Inventor
이준호
허종오
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210014800A priority Critical patent/KR20220111489A/en
Priority to PCT/KR2021/019935 priority patent/WO2022169101A1/en
Publication of KR20220111489A publication Critical patent/KR20220111489A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Disclosed are a user terminal device and a control method thereof. The user terminal device comprises: a communication interface device; a user interface device; and a processor which controls the user interface device so that a UI for controlling a display device is displayed, and controls the communication interface device so that a user control command, when input through the UI, is transmitted to the display device, wherein when connection information including an internet address providing the UI is acquired, the processor connects to a web page corresponding to the internet address through a web browser to display the UI on the user interface device. The present invention provides a user terminal device and a control method thereof, which implement a display device control environment with improved user convenience.

Description

사용자 단말장치 및 이의 제어 방법{USER DEVICE AND CONTROL METHOD THEREOF}User terminal device and its control method {USER DEVICE AND CONTROL METHOD THEREOF}

본 개시는 사용자 단말장치 및 이의 제어 방법에 관한 것으로, 보다 상세하게는 디스플레이 장치를 제어하기 위한 UI를 표시하는 사용자 단말장치 및 이의 제어 방법에 관한 것이다.The present disclosure relates to a user terminal device and a control method thereof, and more particularly, to a user terminal device displaying a UI for controlling a display device and a control method thereof.

일반적으로 TV와 같은 디스플레이 장치는 리모컨과 같은 원격 제어 장치를 통해 사용자 명령을 입력받았으나, 근래에는 별도의 원격 제어 장치를 통해 TV를 제어하는 불편함을 해결하기 위해 사용자가 휴대하는 스마트폰과 같은 모바일 기기를 통해 원격 제어 앱을 다운로드하여 TV를 제어하는 기술이 개발되고 있다.In general, a display device such as a TV receives a user command through a remote control device such as a remote control, but in recent years, in order to solve the inconvenience of controlling the TV through a separate remote control device, a mobile A technology is being developed to control the TV by downloading a remote control app through the device.

다만, 모바일 기기에서 앱을 사용하기 위해서는 별도로 앱을 설치하고 TV와의 연결을 위한 계정 등록 등 연동을 위해 정보를 입력하는 과정이 필요하여 사용자의 편의성이 떨어지는 문제가 존재하였다.However, in order to use the app on a mobile device, it is necessary to separately install the app and input information for linkage such as account registration for connection to the TV, which reduces the user's convenience.

본 개시는 상술한 문제점을 해결하기 위한 것으로, 본 개시의 목적은 별도의 앱 설치 없이 사용자 단말장치의 웹브라우저를 통해 디스플레이 장치를 제어하기 위한 UI를 제공함으로써 사용자의 편의성이 향상된 디스플레이 장치 제어 환경을 구현하는 사용자 단말장치 및 이의 제어 방법을 제공함에 있다.The present disclosure is to solve the above problems, and an object of the present disclosure is to provide a display device control environment with improved user convenience by providing a UI for controlling a display device through a web browser of a user terminal device without installing a separate app. An object of the present invention is to provide a user terminal device and a method for controlling the same.

이상과 같은 목적을 달성하기 위해 본 개시의 일 실시예에 따른 디스플레이 장치와 통신 가능한 사용자 단말장치는, 통신 인터페이스 장치, 사용자 인터페이스 장치 및 상기 디스플레이 장치를 제어하기 위한 UI가 표시되도록 상기 사용자 인터페이스 장치를 제어하고, 상기 UI를 통해 사용자 제어 명령이 입력되면 상기 입력된 사용자 제어 명령을 상기 디스플레이 장치로 전송하도록 상기 통신 인터페이스 장치를 제어하는 프로세서를 포함하고, 상기 프로세서는, 상기 UI를 제공하는 인터넷 주소를 포함하는 접속 정보를 획득하면, 웹 브라우저를 통해 상기 인터넷 주소에 대응되는 웹 페이지에 접속하여 상기 사용자 인터페이스 장치 상에 상기 UI를 표시한다.In order to achieve the above object, a user terminal device capable of communicating with a display device according to an embodiment of the present disclosure includes a communication interface device, a user interface device, and the user interface device such that a UI for controlling the display device is displayed. and a processor that controls the communication interface device to transmit the input user control command to the display device when a user control command is input through the UI, wherein the processor includes an Internet address providing the UI When the access information including the information is obtained, a web page corresponding to the Internet address is accessed through a web browser and the UI is displayed on the user interface device.

이 경우, 상기 접속 정보는 인증 정보를 포함하고, 상기 프로세서는, 상기 인터넷 주소 및 상기 인증 정보를 이용하여 상기 UI를 제공하는 웹 페이지에 접속할 수 있다.In this case, the access information may include authentication information, and the processor may access a web page providing the UI using the Internet address and the authentication information.

한편, 상기 사용자 단말장치는 촬상 장치를 더 포함하고, 접속 정보를 포함하는 QR 정보가 상기 촬상 장치를 통해 촬상되면, 상기 촬상된 QR 정보를 이용하여 상기 접속 정보를 획득할 수 있다.Meanwhile, the user terminal device may further include an imaging device, and when QR information including connection information is captured through the imaging device, the connection information may be acquired using the captured QR information.

한편, 상기 프로세서는, 상기 입력된 사용자 제어 명령을 상기 인증 정보를 이용하여 암호화하고, 암호화된 사용자 제어 명령을 상기 디스플레이 장치로 전송할 수 있다.Meanwhile, the processor may encrypt the input user control command using the authentication information and transmit the encrypted user control command to the display device.

한편, 상기 사용자 제어 명령은 상기 UI 상의 좌표 값 정보를 포함할 수 있다.Meanwhile, the user control command may include coordinate value information on the UI.

한편, 상기 UI는 키보드 UI 및 마우스 제어 UI 중 적어도 하나를 포함할 수 있다.Meanwhile, the UI may include at least one of a keyboard UI and a mouse control UI.

한편, 본 개시의 일 실시예에 따른 디스플레이 장치를 제어하기 위한 사용자 단말장치의 제어 방법은, 사용자 인터페이스 장치를 통해 상기 디스플레이 장치를 제어하기 위한 UI를 표시하는 단계 및 상기 UI를 통해 사용자 제어 명령이 입력되면 상기 입력된 사용자 제어 명령을 상기 디스플레이 장치로 전송하는 단계를 포함하고, 상기 UI를 표시하는 단계는, 상기 UI를 제공하는 인터넷 주소를 포함하는 접속 정보를 획득하면, 웹 브라우저를 통해 상기 인터넷 주소에 대응되는 웹 페이지에 접속하여 상기 사용자 인터페이스 장치 상에 상기 UI를 표시한다.Meanwhile, the method of controlling a user terminal device for controlling a display device according to an embodiment of the present disclosure includes displaying a UI for controlling the display device through a user interface device, and receiving a user control command through the UI. and transmitting the inputted user control command to the display device when inputted, wherein the displaying of the UI includes: when access information including an Internet address providing the UI is obtained, the Internet through a web browser The UI is displayed on the user interface device by accessing a web page corresponding to the address.

이 경우, 상기 접속 정보는 인증 정보를 포함하고, 상기 UI를 표시하는 단계는, 상기 인터넷 주소 및 상기 인증 정보를 이용하여 상기 UI를 제공하는 웹 페이지에 접속하는 단계를 포함할 수 있다.In this case, the access information includes authentication information, and the displaying of the UI may include accessing a web page providing the UI using the Internet address and the authentication information.

한편, 상기 제어 방법은 접속 정보를 포함하는 QR 정보를 촬상 장치를 통해 촬상하는 단계 및 상기 촬상된 QR 정보를 이용하여 상기 접속 정보를 획득하는 단계를 더 포함할 수 있다.Meanwhile, the control method may further include imaging the QR information including the connection information through an imaging device and obtaining the connection information by using the captured QR information.

한편, 상기 전송하는 단계는, 상기 입력된 사용자 제어 명령을 상기 인증 정보를 이용하여 암호화하는 단계를 더 포함하고, 암호화된 사용자 제어 명령을 상기 디스플레이 장치로 전송할 수 있다.Meanwhile, the transmitting may further include encrypting the input user control command using the authentication information, and transmitting the encrypted user control command to the display device.

한편, 상기 사용자 제어 명령은 상기 UI 상의 좌표 값 정보를 포함할 수 있다.Meanwhile, the user control command may include coordinate value information on the UI.

한편, 상기 UI는 키보드 UI 및 마우스 제어 UI 중 적어도 하나를 포함할 수 있다.Meanwhile, the UI may include at least one of a keyboard UI and a mouse control UI.

도 1은 본 개시의 일 실시예에 따른 디스플레이 장치 제어 시스템을 개략적으로 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시예에 따른 사용자 단말장치를 설명하기 위한 블록도이다.
도 3은 본 개시의 일 실시예에 따른 사용자 단말장치의 세부 구성을 설명하기 위한 블록도이다.
도 4는 본 개시의 일 실시예에 따른 디스플레이 장치의 구성을 설명하기 위한 블록도이다.
도 5는 본 개시의 일 실시예에 따른 사용자 단말장치 및 디스플레이 장치의 동작을 설명하기 위한 시퀀스도이다.
도 6은 본 개시의 일 실시예에 따른 사용자 단말장치가 디스플레이 장치로부터 접속 정보를 획득하는 동작을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시예에 따른 사용자 단말장치에 표시되는 디스플레이 장치를 제어하기 위한 UI를 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시예에 따른 사용자 단말장치와 디스플레이 장치 사이에 송수신되는 정보의 보호와 관련된 동작을 설명하기 위한 시퀀스도이다.
도 9는 본 개시의 일 실시예에 따른 사용자 단말장치의 제어 방법을 설명하기 위한 흐름도이다.1 is a diagram schematically illustrating a display device control system according to an embodiment of the present disclosure.
2 is a block diagram illustrating a user terminal device according to an embodiment of the present disclosure.
3 is a block diagram illustrating a detailed configuration of a user terminal device according to an embodiment of the present disclosure.
4 is a block diagram illustrating a configuration of a display device according to an embodiment of the present disclosure.
5 is a sequence diagram illustrating operations of a user terminal device and a display device according to an embodiment of the present disclosure.
6 is a diagram for describing an operation in which a user terminal device acquires access information from a display device according to an embodiment of the present disclosure.
7 is a diagram for explaining a UI for controlling a display device displayed on a user terminal device according to an embodiment of the present disclosure.
8 is a sequence diagram illustrating an operation related to protection of information transmitted/received between a user terminal device and a display device according to an embodiment of the present disclosure.
9 is a flowchart illustrating a method of controlling a user terminal device according to an embodiment of the present disclosure.

이하에서 설명되는 실시 예는 본 개시의 이해를 돕기 위하여 예시적으로 나타낸 것이며, 본 개시는 여기서 설명되는 실시 예들과 다르게, 다양하게 변형되어 실시될 수 있음이 이해되어야 할 것이다. 다만, 이하에서 본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성요소에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명 및 구체적인 도시를 생략한다. 또한, 첨부된 도면은 개시의 이해를 돕기 위하여 실제 축척대로 도시된 것이 아니라 일부 구성요소의 치수가 과장되게 도시될 수 있다.It should be understood that the embodiments described below are illustratively shown to help the understanding of the present disclosure, and the present disclosure may be implemented with various modifications, unlike the embodiments described herein. However, in the following description of the present disclosure, if it is determined that a detailed description of a related known function or component may unnecessarily obscure the subject matter of the present disclosure, the detailed description and specific illustration thereof will be omitted. In addition, the accompanying drawings are not drawn to scale in order to help understanding of the disclosure, but dimensions of some components may be exaggerated.

본 명세서 및 청구범위에서 사용되는 용어는 본 개시의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다. The terms used in this specification and claims have been chosen in consideration of the function of the present disclosure. However, these terms may vary depending on the intention, legal or technical interpretation of a person skilled in the art, and the emergence of new technology. Also, some terms are arbitrarily selected by the applicant. These terms may be interpreted in the meaning defined in the present specification, and if there is no specific term definition, it may be interpreted based on the general content of the present specification and common technical knowledge in the art.

본 개시의 설명에 있어서 각 단계의 순서는 선행 단계가 논리적 및 시간적으로 반드시 후행 단계에 앞서서 수행되어야 하는 경우가 아니라면 각 단계의 순서는 비제한적으로 이해되어야 한다. 즉, 위와 같은 예외적인 경우를 제외하고는 후행 단계로 설명된 과정이 선행단계로 설명된 과정보다 앞서서 수행되더라도 개시의 본질에는 영향이 없으며 권리범위 역시 단계의 순서에 관계없이 정의되어야 한다. In the description of the present disclosure, the order of each step should be understood as non-limiting unless the preceding step must be logically and temporally performed before the subsequent step. That is, except for the above exceptional cases, even if the process described as the subsequent step is performed before the process described as the preceding step, the essence of the disclosure is not affected, and the scope of rights should also be defined regardless of the order of the steps.

본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.In the present specification, expressions such as “have,” “may have,” “include,” or “may include” indicate the presence of a corresponding characteristic (eg, a numerical value, function, operation, or component such as a part). and does not exclude the presence of additional features.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 수 있다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Terms such as first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The above terms may be used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present disclosure, a first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

그리고, 본 명세서에서는 본 개시의 각 실시 예의 설명에 필요한 구성요소를 설명한 것이므로, 반드시 이에 한정되는 것은 아니다. 따라서, 일부 구성요소는 변경 또는 생략될 수도 있으며, 다른 구성요소가 추가될 수도 있다. 또한, 서로 다른 독립적인 장치에 분산되어 배치될 수도 있다.In addition, since the present specification describes components necessary for the description of each embodiment of the present disclosure, the present disclosure is not necessarily limited thereto. Accordingly, some components may be changed or omitted, and other components may be added. In addition, they may be distributed and arranged in different independent devices.

나아가, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 개시의 실시 예를 상세하게 설명하지만, 본 개시가 실시 예들에 의해 제한되거나 한정되는 것은 아니다.Furthermore, embodiments of the present disclosure will be described in detail below with reference to the accompanying drawings and the contents described in the accompanying drawings, but the present disclosure is not limited or limited by the embodiments.

이하 첨부된 도면들을 참고하여 본 개시를 상세하게 설명한다.Hereinafter, the present disclosure will be described in detail with reference to the accompanying drawings.

도 1은 본 개시의 일 실시예에 따른 디스플레이 장치 제어 시스템을 개략적으로 설명하기 위한 도면이다.1 is a diagram schematically illustrating a display device control system according to an embodiment of the present disclosure.

도 1을 참고하면, 디스플레이 장치 제어 시스템(1000)은 사용자 단말장치(100), 디스플레이 장치(200) 및 원격 제어 장치(300)를 포함할 수 있다.Referring to FIG. 1 , a display device control system 1000 may include a user terminal device 100 , a display device 200 , and a remote control device 300 .

사용자 단말장치(100)는 사용자에게 정보를 제공하거나 사용자 명령을 입력 받는 등 다양한 기능을 수행할 수 있는 장치이며, 스마트폰, 태블릿, 웨어러블 장치, PC 등 다양한 전자 장치일 수 있다. The user terminal device 100 is a device capable of performing various functions, such as providing information to a user or receiving a user command, and may be a variety of electronic devices such as a smartphone, a tablet, a wearable device, and a PC.

사용자 단말장치(100)는 사용자가 보다 간편한 방식으로 사용자 명령을 입력할 수 있는 UI를 제공할 수 있다. 예를 들어, 사용자 단말장치(100)는 디스플레이를 통해 키보드와 같은 입력 UI를 표시하고, 표시된 UI에 대한 터치 입력을 수신하는 터치 패널을 포함하도록 구현될 수 있다.The user terminal device 100 may provide a UI through which the user can input a user command in a more convenient manner. For example, the user terminal device 100 may be implemented to include a touch panel that displays an input UI such as a keyboard through a display and receives a touch input for the displayed UI.

디스플레이 장치(200)는 사용자에게 시각적 컨텐츠 및 사용자 인터페이스를 제공하기 위한 디스플레이를 포함하는 장치로서 TV, 스마트 TV, 인터넷 TV, 웹 TV, IPTV(Internet Protocol Television), 디지털 사이니지(Digital Signage), PC, 태블릿 등 다양한 타입의 장치로 구현될 수 있다. The display device 200 is a device including a display for providing a user with visual content and a user interface, and includes a TV, a smart TV, an Internet TV, a web TV, an IPTV (Internet Protocol Television), a digital signage, and a PC. , tablet, etc. may be implemented in various types of devices.

일반적으로 디스플레이 장치(200)는 리모컨과 같은 원격 제어 장치(300)를 통해 사용자 제어 명령을 입력 받을 수 있다. 다만, 원격 제어 장치(300)는 한정된 공간에 배열된 버튼을 통해 전원 제어, 볼륨 조절, 채널 변경 등 간단한 제어 명령만을 입력할 수 있는 인터페이스를 제공하여, 디스플레이 장치(200)로 많은 양의 사용자 명령을 전송하기에는 적합하지 않은 문제가 있었다. 이 경우, 키보드나 마우스와 같은 외부 제어 장치를 연결하여 보다 용이하게 디스플레이 장치(200)를 제어할 수 있으나, 이 또한 외부 장치의 연결 작업이 요구되므로 사용자의 불편함이 존재하였다.In general, the display device 200 may receive a user control command through a remote control device 300 such as a remote control. However, the remote control device 300 provides an interface through which only simple control commands such as power control, volume control, and channel change can be input through buttons arranged in a limited space, so that a large amount of user commands are sent to the display device 200 . There was a problem that was not suitable for sending the . In this case, the display apparatus 200 can be more easily controlled by connecting an external control device such as a keyboard or a mouse, but this also requires the connection of an external device, which causes inconvenience to the user.

이에, 본 개시는 사용자에게 보다 익숙한 사용자 단말장치(100)의 UI를 통해 디스플레이 장치(200)를 제어할 수 있는 환경을 제공함으로써 사용자의 편의성을 향상시킬 수 있는 방법을 제공한다.Accordingly, the present disclosure provides a method for improving user convenience by providing an environment in which the user can control the display apparatus 200 through the UI of the user terminal apparatus 100 more familiar to the user.

본 개시의 일 실시예에 따르면, 사용자는 사용자 단말장치(100)와 디스플레이 장치(200) 간의 통신을 개시하기 위해, 원격 제어 장치(300)를 이용하여 디스플레이 장치(200)로 접속 정보 요청 신호를 전송할 수 있다. 디스플레이 장치(200)는 접속 정보 요청 신호를 수신하면 디스플레이에 접속 정보(일 예로, 웹페이지 URL 정보 또는 이를 포함하는 QR 정보)를 표시할 수 있다. 사용자는 디스플레이 장치(200)로부터 제공된 접속 정보를 사용자 단말장치(100)에 입력함으로써 사용자 단말장치(100)와 디스플레이 장치(200)를 연결할 수 있고, 사용자 단말장치(100)는 디스플레이 장치(200)로부터 디스플레이 장치(200)를 제어하기 위한 UI 정보(일 예로, 웹브라우저를 통해 UI를 표시하는 웹페이지를 실행할 수 있는 자바스크립트 코드)를 제공 받아 UI를 표시할 수 있다. 사용자가 UI를 통해 사용자 제어 명령을 입력하면 사용자 단말장치(100)는 입력된 사용자 제어 명령을 디스플레이 장치(200)로 전송하여 디스플레이 장치(200)를 제어할 수 있다.According to an embodiment of the present disclosure, a user sends a connection information request signal to the display apparatus 200 using the remote control apparatus 300 to initiate communication between the user terminal apparatus 100 and the display apparatus 200 . can be transmitted When the display apparatus 200 receives the access information request signal, it may display access information (eg, web page URL information or QR information including the same) on the display. The user may connect the user terminal device 100 and the display device 200 by inputting the access information provided from the display device 200 into the user terminal device 100 , and the user terminal device 100 is the display device 200 . UI information for controlling the display device 200 (eg, JavaScript code capable of executing a web page displaying the UI through a web browser) may be provided from the UI to display the UI. When the user inputs a user control command through the UI, the user terminal device 100 may transmit the input user control command to the display device 200 to control the display device 200 .

사용자 단말장치(100)의 디스플레이 장치(200)의 제어 동작과 관련한 상세한 설명은 이후 도면을 참고하여 후술하기로 한다.A detailed description related to the control operation of the display apparatus 200 of the user terminal apparatus 100 will be described later with reference to the accompanying drawings.

도 2는 본 개시의 일 실시예에 따른 사용자 단말장치를 설명하기 위한 블록도이다.2 is a block diagram illustrating a user terminal device according to an embodiment of the present disclosure.

도 2를 참고하면, 사용자 단말장치(100)는 통신 인터페이스 장치(110), 사용자 인터페이스 장치(120) 및 프로세서(130)를 포함할 수 있다.Referring to FIG. 2 , the user terminal device 100 may include a communication interface device 110 , a user interface device 120 , and a processor 130 .

통신 인터페이스 장치(110)는 근거리 통신망(LAN: Local Area Network), 인터넷 네트워크, 이동 통신 네트워크를 통해 외부 장치와 통신을 수행할 수 있음은 물론, BT(Bluetooth), BLE(Bluetooth Low Energy), WI-FI(Wireless Fidelity), WI-FI Direct(Wireless Fidelity Direct), Zigbee, NFC 등과 같은 다양한 통신 방식 등을 통해 외부 장치와 통신을 수행할 수 있다. 이를 위해, 통신 인터페이스 장치(110)는 네트워크 통신을 수행하기 위한 다양한 통신 모듈을 포함할 수 있다. 예를 들어, 통신 인터페이스 장치(110)는 블루투스 칩, 와이파이 칩, 무선 통신 칩 등을 포함할 수 있다.The communication interface device 110 can communicate with an external device through a local area network (LAN), an Internet network, and a mobile communication network, as well as BT (Bluetooth), BLE (Bluetooth Low Energy), WI - It is possible to communicate with an external device through various communication methods such as FI (Wireless Fidelity), WI-FI Direct (Wireless Fidelity Direct), Zigbee, NFC, etc. To this end, the communication interface device 110 may include various communication modules for performing network communication. For example, the communication interface device 110 may include a Bluetooth chip, a Wi-Fi chip, a wireless communication chip, and the like.

사용자 인터페이스 장치(120)는 UI를 제공함으로써 다양한 사용자 명령을 입력 받을 수 있다. 예를 들어, 사용자 인터페이스 장치(120)는 디스플레이(160)를 통해 UI를 시각적으로 제공하고 UI에 대한 사용자 입력을 수신할 수 있다. 이를 위해, 사용자 인터페이스 장치(120)는 디스플레이(160)를 통해 표시된 UI에 대한 터치 입력을 수신하는 터치 패널을 포함하는 터치 스크린으로 구현될 수 있다.The user interface device 120 may receive various user commands by providing a UI. For example, the user interface device 120 may visually provide a UI through the display 160 and receive a user input for the UI. To this end, the user interface device 120 may be implemented as a touch screen including a touch panel that receives a touch input for the UI displayed through the display 160 .

한편, 사용자 인터페이스 장치(120)는 웹브라우저(121)를 이용하여 사용자에게 UI를 제공하고, 사용자 제어 명령을 입력 받을 수 있다. 이와 관련한 상세한 설명은 후술하기로 한다.Meanwhile, the user interface device 120 may provide a UI to the user using the web browser 121 and receive a user control command. A detailed description related thereto will be provided later.

프로세서(130)는 통신 인터페이스 장치(110) 및 사용자 인터페이스 장치(120)와 전기적으로 연결되며, 사용자 단말장치(100)의 전반적인 동작을 제어할 수 있다.The processor 130 is electrically connected to the communication interface device 110 and the user interface device 120 , and can control the overall operation of the user terminal device 100 .

본 개시의 일 실시 예에 따라, 프로세서(130)는 디지털 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서, AI(Artificial Intelligence) 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(130)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다. 프로세서(130)는 메모리(140)에 저장된 컴퓨터 실행가능 명령어(computer executable instructions)를 실행함으로써 다양한 기능을 수행할 수 있다.According to an embodiment of the present disclosure, the processor 130 may be implemented as a digital signal processor (DSP), a microprocessor, or a time controller (TCON) for processing a digital signal. Without limitation, a central processing unit (CPU), a micro controller unit (MCU), a micro processing unit (MPU), a controller, an application processor (AP), or a communication processor ( Communication processor (CP)), ARM processor, AI (Artificial Intelligence) processor may include one or more of, or may be defined by a corresponding term In addition, the processor 130 is a SoC (System on Chip) in which a processing algorithm is embedded. ), may be implemented in large scale integration (LSI), or implemented in the form of a field programmable gate array (FPGA) The processor 130 executes computer executable instructions stored in the memory 140 . By doing so, various functions can be performed.

일 예로, 프로세서(130)는 디스플레이 장치(200)를 제어하기 위한 UI가 표시되도록 사용자 인터페이스 장치(120)를 제어하고, UI를 통해 사용자 제어 명령이 입력되면 입력된 사용자 제어 명령을 디스플레이 장치(200)로 전송하도록 통신 인터페이스 장치(110)를 제어할 수 있다.For example, the processor 130 controls the user interface device 120 so that a UI for controlling the display device 200 is displayed, and when a user control command is input through the UI, the input user control command is displayed on the display device 200 . ) to control the communication interface device 110 to transmit.

도 3은 본 개시의 일 실시예에 따른 사용자 단말장치의 세부 구성을 설명하기 위한 블록도이다.3 is a block diagram illustrating a detailed configuration of a user terminal device according to an embodiment of the present disclosure.

도 3을 참고하면, 사용자 단말장치(100)는 통신 인터페이스 장치(110), 사용자 인터페이스 장치(120), 프로세서(130), 메모리(140), 촬상 장치(150), 디스플레이(160), 스피커(170) 및 마이크(180)를 포함할 수 있다. 도 3에 도시된 구성 중 도 2에 도시된 구성과 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다.Referring to FIG. 3 , the user terminal device 100 includes a communication interface device 110 , a user interface device 120 , a processor 130 , a memory 140 , an imaging device 150 , a display 160 , and a speaker ( 170 ) and a microphone 180 . A detailed description of the portion overlapping with the configuration shown in FIG. 2 among the configuration shown in FIG. 3 will be omitted.

메모리(140)는 사용자 단말장치(100)의 구성요소의 전반적인 동작을 제어하기 위한 운영체제(Operating System: OS) 및 사용자 단말장치(100)의 구성요소와 관련된 명령 또는 데이터를 저장할 수 있다.The memory 140 may store an operating system (OS) for controlling the overall operation of the components of the user terminal device 100 and commands or data related to the components of the user terminal device 100 .

촬상 장치(150)는 빛의 세기를 전기적 신호로 변환하여 촬상된 이미지에 대한 데이터를 획득할 수 있다. 본 개시의 일 실시예에 따르면, 프로세서(130)는 촬상 장치(150)를 통해 디스플레이 장치(200)에 표시된 QR 정보를 촬상하여 접속 정보를 획득할 수 있다. 이와 관련한 상세한 설명은 후술하기로 한다.The imaging device 150 may acquire data about a captured image by converting the intensity of light into an electrical signal. According to an embodiment of the present disclosure, the processor 130 may acquire the connection information by imaging the QR information displayed on the display device 200 through the imaging device 150 . A detailed description related thereto will be provided later.

디스플레이(160)는 UI를 시각적인 형태로 표시할 수 있다. 디스플레이(160)는 LCD(Liquid Crystal Display Panel), LED(light emitting diode), OLED(Organic Light Emitting Diodes), LCoS(Liquid Crystal on Silicon), DLP(Digital Light Processing) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 또한, 디스플레이(160)는 터치 패널과 결합되어 터치 스크린으로 구현될 수도 있다.The display 160 may display the UI in a visual form. The display 160 is implemented with various types of displays, such as liquid crystal display panel (LCD), light emitting diode (LED), organic light emitting diodes (OLED), liquid crystal on silicon (LCoS), digital light processing (DLP), etc. can be In addition, the display 160 may be implemented as a touch screen in combination with a touch panel.

스피커(170)는 다양한 오디오를 출력할 수 있으며, 마이크(180)는 사용자 음성을 수신할 수 있다. 이 경우, 사용자 인터페이스 장치(120)는 마이크(180)로 수신한 사용자 음성을 통해 사용자 명령을 입력 받을 수도 있다.The speaker 170 may output various audio, and the microphone 180 may receive a user's voice. In this case, the user interface device 120 may receive a user command through a user voice received through the microphone 180 .

도 4는 본 개시의 일 실시예에 따른 디스플레이 장치의 구성을 설명하기 위한 블록도이다.4 is a block diagram illustrating a configuration of a display device according to an embodiment of the present disclosure.

도 4를 참고하면, 디스플레이 장치(200)는 통신 인터페이스 장치(210), 디스플레이(220) 및 프로세서(230)를 포함할 수 있다.Referring to FIG. 4 , the display device 200 may include a communication interface device 210 , a display 220 , and a processor 230 .

통신 인터페이스 장치(210)는 사용자 단말장치(100)와 데이터를 송수신할 수 있다. 일 예로, 통신 인터페이스 장치(210)는 디스플레이 장치(200)에서 실행되는 웹서버(211)로 구현될 수 있으며, 사용자 단말장치(100)가 디스플레이 장치(200)의 웹서버(211)에 접속하여 데이터를 송수신하는 방식으로 통신을 수행할 수 있다.The communication interface device 210 may transmit/receive data to and from the user terminal device 100 . For example, the communication interface device 210 may be implemented as a web server 211 executed on the display device 200 , and the user terminal device 100 accesses the web server 211 of the display device 200 to Communication can be performed by transmitting and receiving data.

디스플레이(220)는 다양한 컨텐츠 및 사용자 인터페이스를 표시할 수 있으며, 사용자로부터 접속 정보 요청을 받으면 사용자 단말장치(100)가 웹서버(211)에 접속하기 위한 접속 정보를 시각적인 형태로 표시할 수 있다.The display 220 may display various contents and user interfaces, and upon receiving a request for access information from the user, the user terminal device 100 may display access information for accessing the web server 211 in a visual form. .

프로세서(230)는 디스플레이 장치(200)의 각 구성을 제어할 수 있다. 예를 들어, 프로세서(230)는 사용자 단말장치(100)와 데이터를 송수신하도록 통신 인터페이스 장치(210)를 제어하거나, 사용자 단말장치(100)가 웹서버(211)에 접속하기 위한 접속 정보를 표시하도록 디스플레이(220)를 제어할 수 있다.The processor 230 may control each configuration of the display apparatus 200 . For example, the processor 230 controls the communication interface device 210 to transmit and receive data to and from the user terminal device 100 , or displays access information for the user terminal device 100 to access the web server 211 . The display 220 may be controlled to do so.

한편, 프로세서(230)는 사용자 단말장치(100)로부터 웹서버 접속 요청이 수신되면 수신된 요청에 포함된 접속 정보를 검증하거나, 사용자 단말장치(100)로부터 암호화된 상태로 수신한 사용자 제어 명령을 복호화할 수 있다. 이와 관련한 상세한 설명은 도 8에서 후술하기로 한다.On the other hand, when a web server access request is received from the user terminal device 100 , the processor 230 verifies the access information included in the received request or receives the user control command in an encrypted state from the user terminal device 100 . can be decrypted. A detailed description related thereto will be described later with reference to FIG. 8 .

도 5는 본 개시의 일 실시예에 따른 사용자 단말장치 및 디스플레이 장치의 동작을 설명하기 위한 시퀀스도이며, 도 6은 사용자 단말장치가 디스플레이 장치로부터 접속 정보를 획득하는 동작을 설명하기 위한 도면이다.FIG. 5 is a sequence diagram illustrating operations of a user terminal device and a display device according to an embodiment of the present disclosure, and FIG. 6 is a diagram illustrating an operation in which the user terminal device acquires access information from the display device.

도 5를 참고하면, 디스플레이 장치(200)는 사용자 단말장치(100)가 웹서버(211)에 접속하기 위한 접속 정보를 표시(S510)할 수 있다. 도 6을 참고하면, 디스플레이 장치(200)는 디스플레이(220)를 통해 접속 정보를 표시할 수 있다. 접속 정보는 UI를 제공하는 인터넷 주소와 접속 정보를 검증하기 위한 접속 코드를 포함하는 QR 정보(610) 및 사용자 제어 명령을 암호화하기 위한 정보를 포함하는 인증 정보(620)를 포함할 수 있다. Referring to FIG. 5 , the display apparatus 200 may display access information for the user terminal apparatus 100 to access the web server 211 ( S510 ). Referring to FIG. 6 , the display apparatus 200 may display access information through the display 220 . The access information may include QR information 610 including an Internet address providing a UI and an access code for verifying access information, and authentication information 620 including information for encrypting a user control command.

이 단계에서는 사용자 단말장치(100)와 디스플레이 장치(200)의 통신이 연결되지 않은 상태이므로, 사용자는 원격 제어 장치(300) 또는 디스플레이 장치(200)에 구비된 입력 장치를 통해 접속 정보를 요청할 수 있다.In this step, since communication between the user terminal device 100 and the display device 200 is not connected, the user can request access information through the remote control device 300 or the input device provided in the display device 200 . have.

도 6을 참고하면, 인증 정보(620)는 무작위로 생성되어 나열된 일련의 텍스트 형태로 제공되는 인증 코드를 포함할 수 있다. 사용자는 디스플레이 장치(200)에 표시된 QR 정보(610)에 포함된 인터넷 주소를 사용자 단말장치(100)에 입력하고, 추가적으로 인증 정보(620)를 사용자 단말장치(100)에 입력함으로써 UI를 제공하는 웹 페이지에 접속할 수 있다. Referring to FIG. 6 , authentication information 620 may include an authentication code that is randomly generated and provided in the form of a series of listed text. The user provides a UI by inputting the Internet address included in the QR information 610 displayed on the display device 200 into the user terminal device 100, and additionally inputting authentication information 620 into the user terminal device 100 You can access the web page.

한편, 사용자 단말장치(100)는 인증 정보를 이용하여, 입력된 사용자 제어 명령을 암호화할 수 있다. 이와 관련한 상세한 설명은 도 8에서 후술하기로 한다.Meanwhile, the user terminal device 100 may encrypt the input user control command by using the authentication information. A detailed description related thereto will be described later with reference to FIG. 8 .

사용자 단말장치(100)는 사용자 인터페이스 장치(110)를 통해 접속 정보가 입력되면(S520), 디스플레이 장치(200)로 웹서버 접속을 요청(S530)할 수 있다. When access information is input through the user interface device 110 ( S520 ), the user terminal device 100 may request a web server access to the display device 200 ( S530 ).

이 경우, 도 6을 참고하면, 사용자가 사용자 단말장치(100)에 포함된 촬상 장치(150)를 통해 디스플레이 장치(200)에 표시된 QR 정보를 촬상함으로써 사용자 단말장치(100)는 접속 정보를 획득할 수 있다. 다만 이에 한정되지 않으며, 사용자가 디스플레이 장치(200)에 표시된 URL(Uniform Resource Locator) 정보를 직접 사용자 단말장치(100)에 입력하는 경우(일 예로, 사용자 단말장치(100)의 웹브라우저 주소창에 URL 정보를 입력), 사용자의 입력을 통하여 접속 정보를 획득할 수도 잇다.In this case, referring to FIG. 6 , the user terminal device 100 acquires access information by capturing QR information displayed on the display device 200 through the imaging device 150 included in the user terminal device 100 . can do. However, the present invention is not limited thereto, and when the user directly inputs URL (Uniform Resource Locator) information displayed on the display device 200 into the user terminal device 100 (eg, the URL in the web browser address bar of the user terminal device 100 ) information), access information may be obtained through user input.

디스플레이 장치(200)는 사용자 단말장치(100)의 요청에 따라 사용자 단말장치(100)로 UI 정보를 전송(S540)할 수 있다. 여기에서 UI 정보는 사용자 단말장치(100)의 웹브라우저에서 실행되어 디스플레이 장치(200)를 제어하기 위한 UI를 제공할 수 있는 자바스크립트(JavaScript) 코드를 포함할 수 있다.The display apparatus 200 may transmit UI information to the user terminal apparatus 100 according to a request of the user terminal apparatus 100 ( S540 ). Here, the UI information may include a JavaScript code that is executed in a web browser of the user terminal device 100 to provide a UI for controlling the display device 200 .

사용자 단말장치(100)는 디스플레이 장치(200)로부터 수신한 UI 정보에 기초하여 웹브라우저를 통해 디스플레이 장치를 제어하기 위한 UI를 표시(S550)할 수 있다. 예를 들어, 사용자 단말장치(100)는 디스플레이 장치(200)의 웹서버(211)로부터 수신한 자바스크립트 코드를 사용자 단말장치(100)의 웹브라우저 상에서 실행하여 웹브라우저를 통해 디스플레이 장치를 제어하기 위한 UI를 표시할 수 있다. The user terminal device 100 may display a UI for controlling the display device through a web browser based on the UI information received from the display device 200 ( S550 ). For example, the user terminal device 100 executes the JavaScript code received from the web server 211 of the display device 200 on the web browser of the user terminal device 100 to control the display device through the web browser. UI can be displayed for

도 7은 사용자 단말장치(100)에서 웹브라우저를 통해 표시되는 UI(710)의 일 예를 도시하고 있다. UI(710)는 키보드 각각의 키에 대응되는 값을 입력 받을 수 있는 키보드 UI(711) 및 마우스 커서를 이동시키기 위한 제어 명령을 입력 받는 마우스 제어 UI(712)를 포함할 수 있다. 7 illustrates an example of a UI 710 displayed through a web browser in the user terminal device 100 . The UI 710 may include a keyboard UI 711 that can receive a value corresponding to each key of the keyboard and a mouse control UI 712 that receives a control command for moving the mouse cursor.

사용자 단말장치(100)는 UI(710)를 통해 입력 받은 사용자 제어 명령을 디스플레이 장치(200)로 전송(S560)할 수 있다. 이 경우, 전송되는 사용자 제어 명령은 UI(710) 상에서 입력된 좌표 값 정보를 포함할 수 있다. 예를 들어, 사용자 제어 명령은 키보드 UI(711)를 통해 입력된 각각의 키에 대응되는 좌표 값 정보, 또는 마우스 제어 UI(712) 상에서 인식되는 터치 모션에 대응되는 좌표 이동 값을 포함할 수 있다.The user terminal device 100 may transmit a user control command input through the UI 710 to the display device 200 (S560). In this case, the transmitted user control command may include coordinate value information input on the UI 710 . For example, the user control command may include coordinate value information corresponding to each key input through the keyboard UI 711 , or a coordinate movement value corresponding to a touch motion recognized on the mouse control UI 712 . .

사용자 단말장치(100)는 키보드 UI(711)를 통해 입력된 사용자 제어 명령을 통해 디스플레이 장치(200) 상에 텍스트를 입력하기 위한 UI(일 예로, 검색 UI(721))에 문자를 입력하거나, 마우스 제어 UI(712)를 통해 디스플레이 장치(200)의 마우스 인디케이터 UI(722)의 이동을 제어할 수 있다.The user terminal device 100 enters a character in a UI (eg, a search UI 721) for inputting text on the display device 200 through a user control command input through the keyboard UI 711, or Movement of the mouse indicator UI 722 of the display apparatus 200 may be controlled through the mouse control UI 712 .

이에 따라, 사용자에게 익숙한 사용자 단말장치(100)의 UI를 통해 디스플레이 장치(200)를 제어할 수 있는 환경을 제공함으로써 사용자의 편의성을 향상시킬 수 있다.Accordingly, the user's convenience can be improved by providing an environment in which the user can control the display apparatus 200 through the UI of the user terminal apparatus 100 familiar to the user.

도 8은 본 개시의 일 실시예에 따른 사용자 단말장치와 디스플레이 장치 사이에 송수신되는 정보를 보호하기 위한 동작을 설명하기 위한 시퀀스도이다.8 is a sequence diagram illustrating an operation for protecting information transmitted/received between a user terminal device and a display device according to an embodiment of the present disclosure.

도 8을 참고하면, 디스플레이 장치(200)는 인증 정보를 포함하는 접속 정보를 표시(S810)할 수 있으며, 사용자 단말장치(100)는 사용자로부터 인증 정보를 포함하는 접속 정보를 입력 받을 수 있다(S820). 예를 들어, 도 6을 참고하면, 디스플레이 장치(200)는 인터넷 주소와 접속 정보를 검증하기 위한 접속 코드를 포함하는 QR 정보(610) 및 사용자 제어 명령을 암호화하기 위한 정보를 포함하는 인증 정보(620)를 디스플레이(220)를 통해 표시할 수 있다.Referring to FIG. 8 , the display device 200 may display access information including authentication information ( S810 ), and the user terminal device 100 may receive access information including authentication information from the user ( S820). For example, referring to FIG. 6 , the display device 200 includes QR information 610 including an access code for verifying an Internet address and access information, and authentication information including information for encrypting a user control command ( 620 may be displayed through the display 220 .

사용자 단말장치(100)는 인터넷 주소와 접속 코드를 포함하는 요청 신호를 디스플레이 장치(200)에 전송하여 웹서버 접속을 요청(S830)할 수 있으며, 디스플레이 장치(200)는 사용자 단말장치(100)로부터 수신한 접속 정보를 검증(S840)할 수 있다. The user terminal device 100 may transmit a request signal including an Internet address and an access code to the display device 200 to request access to the web server (S830), and the display device 200 may include the user terminal device 100. It is possible to verify the access information received from (S840).

구체적으로, 디스플레이 장치(200)의 프로세서(230)는 사용자 단말장치(100)로부터 수신한 접속 코드와 디스플레이(220)를 통해 제공된 접속 정보에 포함된 접속 코드가 일치하는지 확인하고, 일치하는 경우 사용자 단말장치(100)로 UI 정보를 전송(S850)할 수 있다. 반면, 일치하지 않는 경우 사용자 단말장치(100)에 에러 메시지로 응답할 수 있다. Specifically, the processor 230 of the display device 200 checks whether the access code received from the user terminal device 100 and the access code included in the access information provided through the display 220 match, and if they match, the user UI information may be transmitted to the terminal device 100 ( S850 ). On the other hand, if they do not match, it may respond to the user terminal device 100 with an error message.

이에 따라, 디스플레이 장치(200)가 시야에 존재하는 근거리 사용자에 한하여 디스플레이 장치(200) 제어를 위한 UI를 제공하여 사용자 제어 명령을 수신함으로써 사용자의 정보가 보호되는 안전한 환경을 제공할 수 있다.Accordingly, it is possible to provide a safe environment in which the user's information is protected by receiving a user control command by providing a UI for controlling the display apparatus 200 only to a short-distance user present in the field of view of the display apparatus 200 .

사용자 단말장치(100)는 디스플레이 장치(200)로부터 수신한 UI 정보에 기초하여 웹브라우저를 통해 디스플레이 장치를 제어하기 위한 UI를 표시(S860)하고, 표시된 UI를 통해 사용자 제어 명령을 입력 받을 수 있다.The user terminal device 100 may display a UI for controlling the display device through a web browser based on the UI information received from the display device 200 (S860), and receive a user control command through the displayed UI. .

사용자 단말장치(100)는 입력된 사용자 제어 명령을 인증 정보를 이용하여 암호화(S870)할 수 있다. 구체적으로, 프로세서(130)는 디스플레이 장치(200)로부터 수신한 UI 정보에 포함된 자바스크립트 코드를 이용하여 인증 정보를 기반으로 암호화 키를 생성하고, UI를 통해 입력된 사용자 제어 명령을 암호화 키를 이용하여 암호화할 수 있다.The user terminal device 100 may encrypt the input user control command using authentication information ( S870 ). Specifically, the processor 130 generates an encryption key based on authentication information by using a JavaScript code included in the UI information received from the display device 200, and uses the user control command input through the UI to receive the encryption key. can be used for encryption.

사용자 단말장치(100)는 암호화된 사용자 제어 명령을 디스플레이 장치(200)로 전송(S880)할 수 있다. 디스플레이 장치(200)의 프로세서(230)는 사용자 단말장치(100)에 제공한 인증 정보와 동일한 인증 정보를 기반으로 동일한 암호화 키를 생성하고, 사용자 단말장치(100)로부터 수신한 암호화된 사용자 제어 명령을 암호화 키를 이용하여 복호화(S890)할 수 있다.The user terminal device 100 may transmit the encrypted user control command to the display device 200 (S880). The processor 230 of the display device 200 generates the same encryption key based on the same authentication information as the authentication information provided to the user terminal device 100 , and an encrypted user control command received from the user terminal device 100 . can be decrypted using the encryption key (S890).

이에 따라, 사용자 단말장치(100)와 디스플레이 장치(200) 사이에 송수신되는 정보를 제3자로부터 보호할 수 있다.Accordingly, information transmitted/received between the user terminal device 100 and the display device 200 may be protected from a third party.

한편, 마우스 제어 UI(712)를 통해 입력된 좌표 값에 대한 처리 속도를 높이기 위해 프로세서(130)는 인증 정보에 기초하여 암호화를 위한 솔트(salt) 값을 생성하고, 좌표 값을 솔트 값과 XOR 연산하여 획득한 값을 포함하는 사용자 제어 명령을 디스플레이 장치(200)로 전송할 수 있다. 이에 따라, 암호화 과정을 단순화하여 사용자 제어 명령을 디스플레이 장치(200)로 신속하게 전송함과 동시에 제3자에 의해 사용자 제어 명령에 포함된 좌표 값이 변조되는 것을 방지할 수 있다.Meanwhile, in order to increase the processing speed of the coordinate value input through the mouse control UI 712 , the processor 130 generates a salt value for encryption based on the authentication information, and XORs the coordinate value with the salt value. A user control command including a value obtained by calculation may be transmitted to the display apparatus 200 . Accordingly, by simplifying the encryption process, it is possible to quickly transmit the user control command to the display apparatus 200 and at the same time prevent the coordinate values included in the user control command from being tampered with by a third party.

도 9는 본 개시의 일 실시예에 따른 사용자 단말장치의 제어 방법을 설명하기 위한 흐름도이다.9 is a flowchart illustrating a method of controlling a user terminal device according to an embodiment of the present disclosure.

도 9를 참고하면, 사용자 단말장치(100)는 UI를 제공하는 인터넷 주소를 포함하는 접속 정보를 획득(S910)하고, 사용자 인터페이스 장치(120)를 통해 디스플레이 장치(200)를 제어하기 위한 UI를 표시(S920)하고, UI를 통해 사용자 제어 명령이 입력되면 입력된 사용자 제어 명령을 디스플레이 장치(200)로 전송(S930)할 수 있다.Referring to FIG. 9 , the user terminal device 100 obtains access information including an Internet address providing a UI ( S910 ), and displays a UI for controlling the display device 200 through the user interface device 120 . Display ( S920 ), and when a user control command is input through the UI, the input user control command may be transmitted to the display apparatus 200 ( S930 ).

먼저, 사용자 단말장치(100)는 UI를 제공하는 인터넷 주소를 포함하는 접속 정보를 획득(S910)할 수 있다. First, the user terminal device 100 may obtain access information including an Internet address providing a UI (S910).

사용자 단말장치(100)는 디스플레이 장치(200)로부터 접속 정보를 획득할 수 있다. 본 개시의 일 실시예에 따르면, 디스플레이 장치(200)는 접속 정보를 포함하는 QR(Quick Response code) 정보를 디스플레이(220) 상에 표시할 수 있다. 사용자는 사용자 단말장치(100)의 촬상 장치(150)를 이용하여 디스플레이 장치(200)에 표시된 QR 정보를 촬상할 수 있으며, 사용자 단말장치(100)는 촬상된 QR 정보를 이용하여 접속 정보를 획득할 수 있다. The user terminal device 100 may obtain access information from the display device 200 . According to an embodiment of the present disclosure, the display apparatus 200 may display QR (Quick Response code) information including access information on the display 220 . The user may image the QR information displayed on the display device 200 using the imaging device 150 of the user terminal device 100, and the user terminal device 100 obtains access information using the captured QR information. can do.

그리고, 사용자 단말장치(100)는 사용자 인터페이스 장치(120)를 통해 디스플레이 장치(200)를 제어하기 위한 UI를 표시(S920)할 수 있다.In addition, the user terminal device 100 may display a UI for controlling the display device 200 through the user interface device 120 ( S920 ).

이 경우, 사용자 단말장치(100)는 UI를 제공하는 인터넷 주소를 포함하는 접속 정보를 획득하면, 웹 브라우저를 통해 인터넷 주소에 대응되는 웹 페이지에 접속하여 사용자 인터페이스 장치(120) 상에 UI를 표시할 수 있다.In this case, when the user terminal device 100 obtains access information including an internet address providing a UI, it accesses a web page corresponding to the internet address through a web browser and displays the UI on the user interface device 120 . can do.

한편, 접속 정보는 인증 정보를 포함할 수 있고, 사용자 단말장치(100)는 획득된 인터넷 주소 및 인증 정보를 이용하여 UI를 제공하는 웹 페이지에 접속할 수 있다.Meanwhile, the access information may include authentication information, and the user terminal device 100 may access a web page providing a UI using the obtained Internet address and authentication information.

그리고, 사용자 단말장치(100)는 UI를 통해 사용자 제어 명령이 입력되면 입력된 사용자 제어 명령을 디스플레이 장치(200)로 전송(S930)할 수 있다.In addition, when a user control command is input through the UI, the user terminal device 100 may transmit the input user control command to the display device 200 ( S930 ).

디스플레이 장치(200)로 전송되는 사용자 제어 명령은 UI 상의 좌표 값 정보를 포함할 수 있다. 예를 들어, 사용자 단말장치(100)를 통해 제공되는 UI는 키보드 UI 또는 마우스 제어 UI를 포함할 수 있으며, 키보드 UI를 통해 입력된 각각의 키에 대응되는 좌표 값 정보, 또는 마우스 제어 UI 를 통해 입력된 좌표 값 정보를 포함하는 사용자 제어 명령을 전송하여 디스플레이 장치(200)의 키보드 입력 또는 마우스 인디케이터의 이동을 제어할 수 있다.The user control command transmitted to the display apparatus 200 may include coordinate value information on the UI. For example, the UI provided through the user terminal device 100 may include a keyboard UI or a mouse control UI, coordinate value information corresponding to each key input through the keyboard UI, or through a mouse control UI By transmitting a user control command including input coordinate value information, a keyboard input of the display apparatus 200 or movement of a mouse indicator may be controlled.

이에 따라, 사용자에게 익숙한 사용자 단말장치(100)의 UI를 통해 디스플레이 장치(200)를 제어할 수 있는 환경을 제공함으로써 사용자의 편의성을 향상시킬 수 있다.Accordingly, the user's convenience can be improved by providing an environment in which the user can control the display apparatus 200 through the UI of the user terminal apparatus 100 familiar to the user.

한편, 사용자 단말장치(100)는 입력된 사용자 제어 명령을 인증 정보를 이용하여 암호화할 수 있으며, 암호화된 사용자 제어 명령을 디스플레이 장치(200)로 전송할 수 있다. 디스플레이 장치(200)는 사용자 단말장치(100)로 제공된 인증 정보와 동일한 인증 정보를 이용하여 암호화된 사용자 제어 명령을 복호화할 수 있다. 이에 따라, 사용자 단말장치(100)와 디스플레이 장치(200) 사이에 송수신되는 정보를 제3자로부터 보호할 수 있다. Meanwhile, the user terminal device 100 may encrypt the input user control command using authentication information, and may transmit the encrypted user control command to the display device 200 . The display apparatus 200 may decrypt the encrypted user control command using the same authentication information as the authentication information provided to the user terminal device 100 . Accordingly, information transmitted/received between the user terminal device 100 and the display device 200 may be protected from a third party.

이상에서는 본 개시의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.In the above, preferred embodiments of the present disclosure have been illustrated and described, but the present disclosure is not limited to the specific embodiments described above, and is commonly used in the technical field to which the disclosure pertains without departing from the gist of the present disclosure as claimed in the claims. Various modifications may be made by those having the knowledge of

1000: 디스플레이 장치 제어 시스템 100: 사용자 단말장치
200: 디스플레이 장치 300: 원격 제어 장치1000: display device control system 100: user terminal device
200: display device 300: remote control device

Claims (12)

디스플레이 장치와 통신 가능한 사용자 단말장치에 있어서,
통신 인터페이스 장치;
사용자 인터페이스 장치; 및
상기 디스플레이 장치를 제어하기 위한 UI가 표시되도록 상기 사용자 인터페이스 장치를 제어하고, 상기 UI를 통해 사용자 제어 명령이 입력되면 상기 입력된 사용자 제어 명령을 상기 디스플레이 장치로 전송하도록 상기 통신 인터페이스 장치를 제어하는 프로세서;를 포함하고,
상기 프로세서는,
상기 UI를 제공하는 인터넷 주소를 포함하는 접속 정보를 획득하면, 웹 브라우저를 통해 상기 인터넷 주소에 대응되는 웹 페이지에 접속하여 상기 사용자 인터페이스 장치 상에 상기 UI를 표시하는, 사용자 단말장치.A user terminal device capable of communicating with a display device, comprising:
communication interface device;
user interface device; and
A processor that controls the user interface device to display a UI for controlling the display device, and controls the communication interface device to transmit the input user control command to the display device when a user control command is input through the UI including;
The processor is
When access information including an Internet address providing the UI is obtained, the UI is displayed on the user interface device by accessing a web page corresponding to the Internet address through a web browser. 제1항에 있어서,
상기 접속 정보는 인증 정보를 포함하고,
상기 프로세서는,
상기 인터넷 주소 및 상기 인증 정보를 이용하여 상기 UI를 제공하는 웹 페이지에 접속하는, 사용자 단말장치.According to claim 1,
The access information includes authentication information,
The processor is
A user terminal device for accessing a web page providing the UI by using the Internet address and the authentication information. 제1항에 있어서,
촬상 장치;를 더 포함하고,
접속 정보를 포함하는 QR 정보가 상기 촬상 장치를 통해 촬상되면, 상기 촬상된 QR 정보를 이용하여 상기 접속 정보를 획득하는, 사용자 단말장치. According to claim 1,
It further includes an imaging device;
When QR information including connection information is captured by the imaging device, the user terminal device obtains the connection information by using the captured QR information. 제2항에 있어서,
상기 프로세서는,
상기 입력된 사용자 제어 명령을 상기 인증 정보를 이용하여 암호화하고, 암호화된 사용자 제어 명령을 상기 디스플레이 장치로 전송하는, 사용자 단말장치.3. The method of claim 2,
The processor is
A user terminal device for encrypting the input user control command using the authentication information and transmitting the encrypted user control command to the display device. 제1항에 있어서,
상기 사용자 제어 명령은 상기 UI 상의 좌표 값 정보를 포함하는, 사용자 단말장치.According to claim 1,
The user control command includes coordinate value information on the UI, a user terminal device. 제1항에 있어서,
상기 UI는 키보드 UI 및 마우스 제어 UI 중 적어도 하나를 포함하는, 사용자 단말장치.According to claim 1,
The UI includes at least one of a keyboard UI and a mouse control UI, a user terminal device. 디스플레이 장치를 제어하기 위한 사용자 단말장치의 제어 방법에 있어서,
사용자 인터페이스 장치를 통해 상기 디스플레이 장치를 제어하기 위한 UI를 표시하는 단계; 및
상기 UI를 통해 사용자 제어 명령이 입력되면 상기 입력된 사용자 제어 명령을 상기 디스플레이 장치로 전송하는 단계;를 포함하고,
상기 UI를 표시하는 단계는,
상기 UI를 제공하는 인터넷 주소를 포함하는 접속 정보를 획득하면, 웹 브라우저를 통해 상기 인터넷 주소에 대응되는 웹 페이지에 접속하여 상기 사용자 인터페이스 장치 상에 상기 UI를 표시하는, 제어 방법. A method of controlling a user terminal device for controlling a display device, the method comprising:
displaying a UI for controlling the display device through a user interface device; and
Including; when a user control command is input through the UI, transmitting the input user control command to the display device;
The step of displaying the UI includes:
When access information including an Internet address providing the UI is obtained, accessing a web page corresponding to the Internet address through a web browser and displaying the UI on the user interface device. 제7항에 있어서,
상기 접속 정보는 인증 정보를 포함하고,
상기 UI를 표시하는 단계는,
상기 인터넷 주소 및 상기 인증 정보를 이용하여 상기 UI를 제공하는 웹 페이지에 접속하는 단계;를 포함하는, 제어 방법.8. The method of claim 7,
The access information includes authentication information,
The step of displaying the UI includes:
Accessing a web page providing the UI by using the Internet address and the authentication information; including, a control method. 제7항에 있어서,
접속 정보를 포함하는 QR 정보를 촬상 장치를 통해 촬상하는 단계; 및
상기 촬상된 QR 정보를 이용하여 상기 접속 정보를 획득하는 단계;를 더 포함하는, 제어 방법.8. The method of claim 7,
photographing QR information including connection information through an imaging device; and
Obtaining the connection information by using the captured QR information; further comprising, the control method. 제8항에 있어서,
상기 전송하는 단계는,
상기 입력된 사용자 제어 명령을 상기 인증 정보를 이용하여 암호화하는 단계;를 더 포함하고, 암호화된 사용자 제어 명령을 상기 디스플레이 장치로 전송하는, 제어 방법.9. The method of claim 8,
The transmitting step is
The method further comprising: encrypting the input user control command using the authentication information; and transmitting the encrypted user control command to the display device. 제7항에 있어서,
상기 사용자 제어 명령은 상기 UI 상의 좌표 값 정보를 포함하는, 제어 방법.8. The method of claim 7,
The user control command includes coordinate value information on the UI, a control method. 제7항에 있어서,
상기 UI는 키보드 UI 및 마우스 제어 UI 중 적어도 하나를 포함하는, 제어 방법.8. The method of claim 7,
The UI includes at least one of a keyboard UI and a mouse control UI.
KR1020210014800A 2021-02-02 2021-02-02 User device and control method thereof KR20220111489A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210014800A KR20220111489A (en) 2021-02-02 2021-02-02 User device and control method thereof
PCT/KR2021/019935 WO2022169101A1 (en) 2021-02-02 2021-12-27 User device and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210014800A KR20220111489A (en) 2021-02-02 2021-02-02 User device and control method thereof

Publications (1)

Publication Number Publication Date
KR20220111489A true KR20220111489A (en) 2022-08-09

Family

ID=82742226

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210014800A KR20220111489A (en) 2021-02-02 2021-02-02 User device and control method thereof

Country Status (2)

Country Link
KR (1) KR20220111489A (en)
WO (1) WO2022169101A1 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101560748B1 (en) * 2014-07-15 2015-10-15 유원석 Apparatus for remote controlling with smart phone and method for operating the same
US9646101B1 (en) * 2015-11-17 2017-05-09 Ebay Inc. Presentation of information on multiple devices
KR102587726B1 (en) * 2016-12-28 2023-10-12 삼성전자주식회사 Method for Connecting an External Device and the Electronic Device supporting the same
KR20180081390A (en) * 2017-01-06 2018-07-16 삼성전자주식회사 Image display device and operating method for the same
KR20200129297A (en) * 2019-05-08 2020-11-18 삼성전자주식회사 An Electronic apparatus, An User terminal and Method for controlling the electronic apparatus and the user terminal there

Also Published As

Publication number Publication date
WO2022169101A1 (en) 2022-08-11

Similar Documents

Publication Publication Date Title
US10412061B2 (en) Method and system for encrypted communications
KR102285850B1 (en) User terminal apparatus, communication system and control method thereof
US10880736B2 (en) Method and apparatus for transmitting and receiving encrypted message between terminals
EP3269107B1 (en) Multiscreen secure content access
US10979413B2 (en) Authentication and pairing of devices using a machine readable code
US20130262687A1 (en) Connecting a mobile device as a remote control
CN104954126B (en) Sensitive operation verification method, device and system
US9948729B1 (en) Browsing session transfer using QR codes
CN109672523A (en) Information ciphering method, device, equipment and readable storage medium storing program for executing based on filter
US20160242107A1 (en) Apparatus and method for accessing electronic device having hot spot function
US10250692B2 (en) Voice user interface for pairing between devices
KR20130006950A (en) Method for sharing contents using temporary keys and electric device
KR20140133047A (en) Method and apparatus for drm service in an electronic device
US9807062B2 (en) Method and apparatus for selectively providing protection of screen information data
KR102348078B1 (en) User terminal device, electronic device, system comprising the same and control method thereof
US20190166499A1 (en) Service providing system, service communicating system, service providing method and recording medium
US10809915B2 (en) Automatic credential input to a user interface of a remote mobile app
EP3382985B1 (en) Secure provision of inputs to a display transmitter device
KR20220111489A (en) User device and control method thereof
KR101672800B1 (en) Method and System for Providing Network Service
CN113301432B (en) Display device, terminal device and communication connection method
CN117411651A (en) Display device, server and service credential writing method
JP2017085348A (en) Encryption communication system, terminal program, and wired relay device
KR20210073112A (en) Method for controlling user terminal and user account management server
KR20140124484A (en) Method and apparatus for drm service in an electronic device