WO2024101606A1 - 전자 장치 및 이의 제어 방법 - Google Patents

전자 장치 및 이의 제어 방법 Download PDF

Info

Publication number
WO2024101606A1
WO2024101606A1 PCT/KR2023/012104 KR2023012104W WO2024101606A1 WO 2024101606 A1 WO2024101606 A1 WO 2024101606A1 KR 2023012104 W KR2023012104 W KR 2023012104W WO 2024101606 A1 WO2024101606 A1 WO 2024101606A1
Authority
WO
WIPO (PCT)
Prior art keywords
external device
electronic device
size
display
distance
Prior art date
Application number
PCT/KR2023/012104
Other languages
English (en)
French (fr)
Inventor
황미선
유혜린
조형래
추희영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US18/378,353 priority Critical patent/US20240152250A1/en
Publication of WO2024101606A1 publication Critical patent/WO2024101606A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Definitions

  • This disclosure relates to an electronic device and a control method thereof, and more specifically, to an electronic device and a control method thereof that provide UI elements displayed on the electronic device in an optimized size and shape.
  • Electronic devices provide various UIs.
  • the electronic device displays a highlight on one of a plurality of UI elements included in the UI to guide the user to the UI element he or she wants to select.
  • an electronic device includes a communication interface for communicating with an external device; display; a memory storing at least one instruction; and a processor connected to the communication interface, the display, and the memory, wherein the processor executes the at least one instruction while displaying a UI including a plurality of UI elements by the display.
  • the communication interface is controlled to transmit a request signal for requesting a position measurement signal to the external device.
  • the communication interface is controlled based on the position measurement signal.
  • Obtain information about the location of an external device identify a first UI element where a highlight is located among the plurality of UI elements based on the control signal, and identify the first UI element displayed based on the information about the location of the external device. 1 Control the display to adjust and display at least one of the size and shape of the UI element.
  • the processor By executing the at least one instruction, the processor identifies the size of text included in the first UI element based on the distance between the external device and the electronic device, and executes the at least one instruction based on the size of the identified text.
  • the display can be controlled to adjust the size of the displayed first UI element.
  • the processor identifies the size of the text included in the first UI element as the first size, If the distance between the external device and the electronic device is determined to be a second distance greater than the first distance, the size of the text included in the first UI element may be identified as a second size larger than the first size. .
  • the processor receives visual acuity information about the user from the external device through the communication interface by executing the at least one instruction, based on the visual acuity information about the user and the distance between the external device and the electronic device.
  • the size of the text included in the first UI element can be identified.
  • the processor by executing the at least one instruction, predicts vision information for the user based on the size of the text displayed on the display and the distance between the user of the electronic device and the external device, and displays the predicted vision information.
  • the size of text included in the first UI element may be identified based on vision information about the user and the distance between the external device and the electronic device.
  • the processor determines that the external device is located on the left side of the electronic device by executing the at least one instruction, the processor controls the display to rotate the first UI element to the left and display the external device. If it is determined that is located on the right side of the electronic device, the display can be controlled to display the first UI element by rotating it to the right.
  • the processor displays the image for the content on a first layer and configures the display to display the UI on a second layer. Controls at least one of the size and shape of the first UI element displayed on the second layer based on information about the location of the external device while maintaining the image for the content displayed on the first layer.
  • the display can be controlled to adjust.
  • the control signal may be a control signal for moving a highlight displayed on one UI element among the plurality of UI elements.
  • the processor acquires information about the location of the external device in real time based on the position measurement signal by executing the at least one instruction, and displays the displayed first UI based on the information about the location of the external device.
  • the display can be controlled to adjust and display at least one of the size and shape of the element in real time.
  • a control method of an electronic device includes, when a control signal is received from an external device while displaying a UI including a plurality of UI elements, a request signal for requesting a position measurement signal is sent to the external device. Transferring to; When a position measurement signal is received from the external device, obtaining information about the location of the external device based on the position measurement signal; and identifying a first UI element in which a highlight is located among the plurality of UI elements based on the control signal, and at least one of the size and shape of the displayed first UI element based on information about the location of the external device. It includes a step of adjusting and displaying.
  • the displaying step may include identifying the size of text included in the first UI element based on the distance between the external device and the electronic device; and adjusting and displaying the size of the first UI element based on the size of the identified text.
  • the identifying step if the distance between the external device and the electronic device is determined to be a first distance, the size of the text included in the first UI element is identified as the first size, and the external device and the electronic device are identified as the first size. If the distance between them is determined to be a second distance greater than the first distance, the size of the text included in the first UI element may be identified as a second size larger than the first size.
  • the control method includes receiving visual acuity information about a user using the external device from the external device, and the identifying step includes visual acuity information about the user and a connection between the external device and the electronic device.
  • the size of the text included in the first UI element can be identified based on the distance.
  • the control method includes predicting visual acuity information for the user based on the size of text displayed on the display and the distance between the electronic device and the user when controlling the electronic device using the external device;
  • the identifying step may identify the size of text included in the first UI element based on the predicted vision information for the user and the distance between the external device and the electronic device.
  • the first UI element is rotated to the left and displayed, and if it is determined that the external device is located on the right side of the electronic device, the display step is performed. , the first UI element can be displayed by rotating it to the right.
  • an electronic device includes: a memory storing at least one instruction; and by executing the at least one instruction, when a control signal is received from the external device while displaying a UI including a plurality of UI elements by the display, a request signal for requesting a position measurement signal is sent to the external device.
  • a position measurement signal is received from the external device, information on the location of the external device is obtained based on the position measurement signal, and a highlight of the plurality of UI elements is located based on the control signal.
  • a processor that identifies one UI element and controls the display to adjust and display at least one of the size and shape of the displayed first UI element based on information about the location of the external device.
  • the processor By executing the at least one instruction, the processor identifies the size of text included in the first UI element based on the distance between the external device and the electronic device, and executes the at least one instruction based on the size of the identified text.
  • the display can be controlled to adjust the size of the displayed first UI element.
  • the processor identifies the size of the text included in the first UI element as the first size, If the distance between the external device and the electronic device is determined to be a second distance greater than the first distance, the size of the text included in the first UI element may be identified as a second size larger than the first size. .
  • the processor receives visual acuity information about the user from the external device through the communication interface by executing the at least one instruction, based on the visual acuity information about the user and the distance between the external device and the electronic device.
  • the size of the text included in the first UI element can be identified.
  • the processor by executing the at least one instruction, predicts vision information for the user based on the size of the text displayed on the display and the distance between the user of the electronic device and the external device, and displays the predicted vision information.
  • the size of text included in the first UI element may be identified based on vision information about the user and the distance between the external device and the electronic device.
  • FIG. 1 is a diagram illustrating a display system including an electronic device and an external device according to an embodiment of the present disclosure
  • FIG. 2 is a block diagram showing the configuration of an electronic device according to an embodiment of the present disclosure
  • Figure 3 is a block diagram showing a configuration for adjusting a highlighted UI element according to an embodiment of the present disclosure
  • FIG. 4 is a sequence diagram illustrating a system control method for adjusting highlighted UI elements according to the location of an external device, according to an embodiment of the present disclosure
  • FIG. 5 is a diagram illustrating a method for adjusting the size of a highlighted UI element according to the distance between an electronic device and an external device, according to an embodiment of the present disclosure
  • 6A and 6B are diagrams for explaining a method for adjusting the shape of a highlighted UI element according to the direction in which an external device is located, according to an embodiment of the present disclosure
  • FIGS. 7A and 7B are diagrams for explaining a UI including highlighted UI elements according to various embodiments of the present disclosure.
  • FIG. 8 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure.
  • expressions such as “have,” “may have,” “includes,” or “may include” refer to the existence of the corresponding feature (e.g., a numerical value, function, operation, or component such as a part). , and does not rule out the existence of additional features.
  • expressions such as “A or B,” “at least one of A or/and B,” or “one or more of A or/and B” may include all possible combinations of the items listed together.
  • “A or B,” “at least one of A and B,” or “at least one of A or B” may (1) include only A, (2) include only B, or (3) A and It can refer to all cases that include all B.
  • first,” “second,” “first,” or “second,” used in this document can modify various components regardless of order and/or importance, and refer to one component. It is only used to distinguish from other components and does not limit the components.
  • a first user device and a second user device may represent different user devices regardless of order or importance.
  • a first component may be renamed a second component without departing from the scope of rights described in this document, and similarly, the second component may also be renamed to the first component.
  • module used in this document are terms to refer to components that perform at least one function or operation, and these components are hardware. Alternatively, it may be implemented as software or a combination of hardware and software. In addition, a plurality of "modules”, “units”, “parts”, “engines”, etc. are integrated into at least one module or chip, except in cases where each needs to be implemented with individual specific hardware. It can be implemented with a processor.
  • a component e.g., a first component is “(operatively or communicatively) coupled with/to” another component (e.g., a second component).
  • another component e.g., a second component.
  • any component may be directly connected to the other component or may be connected through another component (e.g., a third component).
  • a component e.g., a first component
  • another component e.g., a second component
  • no other component e.g., a third component
  • the expression “configured to” depends on the situation, for example, “suitable for,” “having the capacity to.” ,” can be used interchangeably with “designed to,” “adapted to,” “made to,” or “capable of.”
  • the term “configured (or set to)” may not necessarily mean “specifically designed to” in hardware.
  • the expression “a device configured to” may mean that the device is “capable of” working with other devices or components.
  • the phrase “processor configured (or set) to perform A, B, and C” refers to a processor dedicated to performing the operations (e.g., an embedded processor), or by executing one or more software programs stored on a memory device.
  • FIG. 1 is a diagram illustrating a display system including an electronic device and an external device, according to an embodiment of the present disclosure.
  • system 10 may include an electronic device 100 and an external device 200 .
  • the electronic device 100 may be implemented as a smart TV, but this is only an example and may be implemented as a device such as a set-top box, a projector, etc.
  • the external device 200 is a device for controlling the electronic device 100 and may be implemented as a remote control, but this is only an example and may be implemented as a portable terminal such as a smart phone or tablet PC.
  • the electronic device 100 can display content.
  • the electronic device 100 may display a UI including a plurality of UI elements on content.
  • the external device 200 may receive user commands to control the electronic device 100. When a user command is input, the external device 200 may transmit a control signal corresponding to the user command to the electronic device 100.
  • the electronic device 100 may transmit a request signal requesting a position measurement signal to identify the current location of the external device 200 to the external device 200 in response to the control signal.
  • the external device 200 may transmit a position measurement signal in response to the request signal, and the electronic device 100 may obtain information about the location of the external device 200 based on the received position measurement signal.
  • the information about the location of the external device 200 includes information about the distance between the electronic device 100 and the external device 200, and the direction in which the external device 200 is located relative to the electronic device 100. It may include information about
  • the electronic device 100 can identify the UI element where the highlight (or focus) is located among a plurality of UI elements included in the UI based on the signal transmitted by the external device 200, and the location of the external device 200. Based on the information about, at least one of the size and shape of the UI element where the highlight is located can be adjusted and displayed.
  • FIG. 2 is a block diagram showing the configuration of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 includes a display 110, a speaker 120, and a communication interface 130. ), an input/output interface 140, a user input unit 150, a memory 160, and a processor 170.
  • the configuration of the electronic device 100 shown in FIG. 1 is only an example, and of course, some configurations may be added or deleted depending on the type of the electronic device 100.
  • the display 110 can output various information.
  • the display 110 can output content provided from various sources.
  • the display 110 can output broadcast content received from the outside, game content received through a game server, and external devices (e.g., set-top boxes) connected through the input/output interface 140. Or broadcast content or game content received from a game console, etc.) can be output.
  • the display 110 can output various UIs.
  • the UI may include multiple UI elements (or items).
  • the UI may be a UI for changing the settings of the electronic device 100, a UI for selecting other content that the user wants to view, etc., but is not limited thereto.
  • the display 110 may generate a first layer including an image for content and a second layer including a UI. Accordingly, when displaying a UI on an image for content, the display 110 may output a second layer including the UI on a first layer including an image for the content. In particular, when the size or shape of the highlighted UI element included in the UI changes, the display 110 maintains the image of the content included in the first layer and displays the highlighted UI included in the second layer. You can change the size or shape of UI elements.
  • the display 110 may be implemented as a Liquid Crystal Display Panel (LCD), Organic Light Emitting Diodes (OLED), etc., and in some cases, the display 110 may also be implemented as a flexible display, transparent display, etc. .
  • the display 110 according to one or more embodiments is not limited to a specific type.
  • the speaker 120 can output various voice messages and audio.
  • the speaker 120 can output audio of various contents.
  • the speaker 120 may be provided inside the electronic device 100, but this is only an example, and may be provided outside the electronic device 100 and electrically connected to the electronic device 100.
  • the communication interface 130 includes at least one circuit and can communicate with various types of external devices or servers.
  • the communication interface 130 includes an IR module, BLE (Bluetooth Low Energy) module, Wi-Fi communication module, UWB (Ultra Wide Band) module, cellular communication module, 3G (3rd generation) mobile communication module, and 4G (4th generation) mobile communication module. , 4th generation LTE (Long Term Evolution) communication module, and 5G (5th generation) mobile communication module.
  • the communication interface 130 A control signal may be received from the external device 200.
  • the communication interface 130 may transmit a request signal requesting a position measurement signal to the external device 200 and may receive a position measurement signal from the external device 200.
  • the communication interface 130 may receive a control signal from the external device 200.
  • the processor 170 may obtain information about the location of the external device 200 based on the received control signal.
  • the input/output interface 140 is configured to input and output at least one of audio and video signals.
  • the input/output interface 140 may be HDMI (High Definition Multimedia Interface), but this is only an example, and may include MHL (Mobile High-Definition Link), USB (Universal Serial Bus), DP (Display Port), It may be any one of Thunderbolt, VGA (Video Graphics Array) port, RGB port, D-SUB (D-subminiature), and DVI (Digital Visual Interface).
  • the input/output interface 140 may include a port that inputs and outputs only audio signals and a port that inputs and outputs only video signals as separate ports, or may be implemented as a single port that inputs and outputs both audio signals and video signals.
  • the electronic device 100 may receive broadcast content or game content from an external content providing device (eg, set-top box, game console, etc.) through the input/output interface 140.
  • an external content providing device eg, set-top box, game console, etc.
  • the user input unit 150 includes a circuit, and the processor 170 can receive user commands for controlling the operation of the electronic device 100 through the user input unit 150.
  • the user input unit 150 may be comprised of a touch screen, buttons, keyboard, and mouse.
  • the user input unit 150 may include a microphone capable of receiving the user's voice. At this time, when the user input unit 150 is implemented as a microphone, a microphone may be provided inside the electronic device 100.
  • the memory 160 may store an operating system (OS) for controlling the overall operation of the components of the electronic device 100 and instructions or data related to the components of the electronic device 100.
  • the memory 160 includes a signal processing engine 310, a position calculation engine 320, and a display, as shown in FIG. 3, to provide UI elements with optimal size and shape according to the location of the external device. It may include an engine 330 and a user movement learning engine 340.
  • a module for providing UI elements with optimal size and shape according to the location of the external device stored in the non-volatile memory transfers data for performing various operations to the volatile memory. It can be loaded.
  • loading refers to an operation of loading and storing data stored in non-volatile memory in volatile memory so that the processor 170 can access it.
  • the memory 160 may store visual acuity information about the user learned by the user movement learning engine 340.
  • the memory 160 may be implemented as non-volatile memory (ex: hard disk, solid state drive (SSD), flash memory), volatile memory (which may also include memory within the processor 180), etc.
  • the processor 170 may control the electronic device 100 according to at least one instruction stored in the memory 160.
  • the processor 170 may be comprised of one or more processors.
  • one or more processors include a CPU (Central Processing Unit), GPU (Graphics Processing Unit), APU (Accelerated Processing Unit), MIC (Many Integrated Core), DSP (Digital Signal Processor), NPU (Neural Processing Unit), and hardware accelerator. Alternatively, it may include one or more of machine learning accelerators.
  • One or more processors may control one or any combination of other components of the electronic device 100 and may perform operations related to communication or data processing.
  • One or more processors may execute one or more programs or instructions stored in the memory 160. For example, one or more processors may perform a method according to an embodiment of the present disclosure by executing one or more instructions stored in the memory 160.
  • the plurality of operations may be performed by one processor or by a plurality of processors.
  • the first operation, the second operation, and the third operation may all be performed by the first processor.
  • the first operation and the second operation may be performed by a first processor (e.g., a general-purpose processor) and the third operation may be performed by a second processor (e.g., an artificial intelligence-specific processor).
  • the one or more processors may be implemented as a single core processor including one core, or as one or more multi-core processors including a plurality of cores (e.g., homogeneous multi-core or heterogeneous multi-core). It can also be implemented as a processor.
  • processors are implemented as multi-core processors, each of the plurality of cores included in the multi-core processor may include processor internal memory such as cache memory and on-chip memory, and may be operated by the plurality of cores.
  • a shared common cache may be included in multi-core processors.
  • each of the plurality of cores (or some of the plurality of cores) included in the multi-core processor may independently read and execute program instructions for implementing the method according to an embodiment of the present disclosure, and all of the plurality of cores may (or part of it) may be linked to read and perform program instructions for implementing the method according to an embodiment of the present disclosure.
  • the plurality of operations may be performed by one core among a plurality of cores included in a multi-core processor, or may be performed by a plurality of cores.
  • the first operation, the second operation, and the third operation are all included in the multi-core processor. It may be performed by a core, and the first operation and the second operation may be performed by the first core included in the multi-core processor, and the third operation may be performed by the second core included in the multi-core processor.
  • the processor 170 may be a system-on-chip (SoC) in which one or more processors and other electronic components are integrated, a single-core processor, a multi-core processor, or a core included in a single-core processor or multi-core processor. It may mean that the core may be implemented as a CPU, GPU, APU, MIC, DSP, NPU, hardware accelerator, or machine learning accelerator, but the embodiments are not limited thereto.
  • SoC system-on-chip
  • the processor 170 uses a communication interface to transmit a request signal for requesting a position measurement signal to the external device. 130) is controlled.
  • the processor 170 obtains information about the location of the external device based on the position measurement signal.
  • the processor 170 identifies the first UI element where the highlight is located among the plurality of UI elements based on the control signal.
  • the processor 170 controls the display 110 to adjust and display at least one of the size and shape of the first UI element based on information about the location of the external device.
  • the processor 170 may identify the size of text included in the first UI element based on the distance between the external device and the electronic device. Additionally, the processor 170 may control the display 110 to adjust and display the size of the first UI element based on the size of the identified text.
  • the processor 170 identifies the size of the text included in the first UI element as the first size, and the external device 200 If the distance between the and the electronic device 100 is determined to be a second distance greater than the first distance, the processor 170 may identify the size of the text included in the first UI element as a second size larger than the first size. there is.
  • the processor 170 may receive visual acuity information about the user using the external device 200 from the external device 200 through the communication interface 130. Additionally, the processor 170 may identify the size of the text included in the first UI element based on vision information about the user and the distance between the external device 200 and the electronic device 100.
  • the processor 170 controls the electronic device 100 using the external device 200
  • the processor 170 controls the user based on the size of the text displayed on the display 110 and the distance between the electronic device 100 and the user. Vision information can be predicted.
  • the processor 170 may identify the size of the text included in the first UI element based on the predicted visual acuity information about the user and the distance between the external device 200 and the electronic device 100.
  • the processor 170 may control the display 110 to display the first UI element by rotating it to the left. Alternatively, if it is determined that the external device 200 is located on the right side of the electronic device 100, the processor 170 may control the display 110 to display the first UI element by rotating it to the right.
  • the processor 170 may control the display 110 to display the image for the content on the first layer and display the UI on the second layer. And, while maintaining the image of the content displayed on the first layer, the processor 170 determines at least one of the size and shape of the first UI element displayed on the second layer based on information about the location of the external device 200.
  • the display 110 can be controlled to adjust and display one.
  • the control signal according to an embodiment of the present disclosure may be a control signal for moving a highlight displayed on one of a plurality of UI elements, but is not limited thereto.
  • the processor 170 may acquire information about the location of the external device 200 in real time based on the position measurement signal, and the size of the first UI element based on the information about the location of the external device 200.
  • the display 110 can be controlled to adjust and display at least one of the shapes and shapes in real time.
  • Figure 3 is a block diagram illustrating a configuration for adjusting a highlighted UI element according to an embodiment of the present disclosure.
  • the configuration for adjusting highlighted UI elements according to the user's location includes a signal processing engine 310, a position measurement engine 320, a display engine 330, and a user movement learning engine 340. ) may include.
  • the signal processing engine 310 may analyze the signal received from the external device 200.
  • the signal processing engine 310 may recognize information about an event corresponding to the control signal based on the control signal received from the external device 200. For example, when a control signal for moving the highlight to the right is received from the external device 200, the signal processing engine 310 may process the control signal to recognize information about the event for moving the highlight to the right. Additionally, the signal processing engine 310 may recognize a position measurement signal received from the external device 200. When the position measurement signal is recognized, the signal processing engine 310 may output information included in the position measurement signal to the position measurement engine 320.
  • the location measurement engine 320 may calculate the location of the external device 200 based on information included in the location measurement signal. For example, when the external device 200 includes a plurality of IR transmitters, the position measurement engine 320 is based on the time when the request signal is transmitted and the time when the position measurement signal transmitted from the plurality of IR transmitters is received. Thus, information about the distance between the external device 200 and the electronic device 100 can be obtained. Additionally, the position measurement engine 320 may obtain information about the direction in which the external device 200 is located from the electronic device 100 based on the time difference between position measurement signals transmitted from a plurality of IR transmitters. there is.
  • obtaining information about the location of the external device 200 through a plurality of IR transmitters is only one embodiment, and the external device 200 can be obtained based on the signal received through the communication module in various ways. 200), you can obtain information about its location.
  • the display engine 330 may process and display the UI included in the display 110 based on a signal received from the external device 200.
  • the display engine 330 may identify the UI element where the highlight is located among a plurality of UI elements included in the UI based on the control signal. For example, when a control signal to move the highlight to the right is received, the display engine 330 identifies the UI element located to the right of the UI element where the highlight is located before the control signal is received as the UI element where the highlight is located. can do.
  • the display engine 330 may change at least one of the size and shape of the UI element where the highlight is located based on information about the location of the external device 200 obtained by the position measurement engine 320.
  • the display engine 330 identifies the size of the text included in the UI element where the highlight is located based on the distance between the external device 200 and the electronic device 100, and the highlight is located based on the size of the identified text.
  • the size of UI elements can be adjusted and displayed. In particular, if the distance between the external device 200 and the electronic device 100 is determined to be the first distance, the display engine 330 may identify the size of the text included in the UI element where the highlight is located as the first size. there is.
  • the display engine 330 adjusts the size of the text included in the UI element where the highlight is located to be larger than the first size. It can be identified by its large second size. That is, the display engine 330 increases the size of text included in the UI element as the distance between the external device 200 and the electronic device 100 increases, so the size of the UI element can also increase.
  • the display engine 330 may identify the size of the text included in the UI element where the highlight is located based on the user's vision information and the distance between the external device 200 and the electronic device 100. At this time, vision information about the user may be transmitted from the external device 200 or predicted through the user movement learning engine 340.
  • the display engine 330 displays the UI element where the highlight is located by rotating it to the left, and the external device 200 is positioned on the left side of the electronic device 100. If it is determined that it is located on the right side of 100, the display engine 330 may display the UI element where the highlight is located by rotating it to the right.
  • the user movement learning engine 340 can predict vision information about the user by learning the user's movement. For example, when the user movement learning engine 340 controls the electronic device 100 using the external device 200, the position measurement signal received from the camera included in the electronic device 100 or the external device 200 Based on this, the distance between the electronic device 100 and the user can be measured. That is, when controlling the electronic device 100 using the external device 200, the user movement learning engine 340 can measure whether the user is approaching the electronic device 100. When controlling the electronic device 100 using the external device 200, the user movement learning engine 340 determines the size of the text displayed on the display 110 and the user's movement (i.e., between the electronic device 100 and the user).
  • Vision information about the user can be predicted based on the distance. For example, if the size of the displayed text is 10 and the distance between the user (external device 200) and the electronic device 100 is 3 m, the user movement learning engine 340 may predict the user's visual acuity to be 1.0. , if the size of the displayed text is 10 and the distance between the user (external device 200) and the electronic device 100 is 2 m, the user movement learning engine 340 may predict the user's visual acuity to be 0.5.
  • FIG. 4 is a sequence diagram illustrating a system control method for adjusting a highlighted UI element according to the location of an external device, according to an embodiment of the present disclosure.
  • the electronic device 100 can display a UI (S410).
  • the UI may be implemented as various UIs, such as a UI for changing the settings of the electronic device 100, a UI for changing the settings of the currently displayed content, and a UI for selecting other content.
  • the UI may include a plurality of UI elements, and a highlight for the user to select may be located in one of the plurality of UI elements.
  • the external device 200 may receive a control command (S420).
  • the control command may be a control command for manipulating highlights displayed on the UI, but this is only an example and may be another control command.
  • the control command may be a command that controls displaying the UI on the content.
  • the external device 200 may transmit a control signal generated according to the control command to the electronic device 100 (S430).
  • the electronic device 100 may transmit a signal requesting a position measurement signal (S440).
  • the external device 200 may transmit a position measurement signal to the electronic device 100 in response to the request signal (S450). Meanwhile, if the received control signal is not a control signal for changing the current screen (e.g., mute command, etc.), the electronic device 100 may not transmit a signal requesting a position measurement signal to the external device 200. there is.
  • steps S440 and S450 may be omitted. If steps S440 and S450 are omitted, the electronic device 100 may obtain information about the external device 200 based on the control signal.
  • the electronic device 100 may obtain information about the location of the external device 200 based on the location measurement signal (S460). At this time, the electronic device 100 can obtain information about the distance between the electronic device 100 and the external device 200 and information about the direction in which the external device 200 is located relative to the electronic device 100. there is.
  • the electronic device 100 may identify the first UI element where the highlight is located among the plurality of UI elements based on the control signal (S470). That is, the electronic device 100 may identify the first UI element where the highlight is located among a plurality of UI elements according to the control command included in the control signal. For example, when the control signal includes a control command to move the highlight in the first direction, the electronic device 100 moves the first UI element located in the first direction from the UI element where the highlight is located before the control signal is received. It can be identified by the UI element where the highlight is located.
  • the electronic device 100 may adjust and display at least one of the size and shape of the first UI element based on information about the location of the external device 200 (S480).
  • FIG. 5 is a diagram illustrating a method for adjusting the size of a highlighted UI element according to the distance between an electronic device and an external device, according to an embodiment of the present disclosure.
  • the electronic device 100 may display the UI 510 on the content image. Then, when it is determined that the distance between the electronic device 100 and the external device 200 is the first distance D1 based on the position measurement signal, the electronic device 100 displays the text corresponding to the first distance D1.
  • the first size may be identified, the size of the first UI element 520 may be adjusted to include text of the first size, and the first UI element 520 may be displayed on the UI 510 . If it is determined that the distance between the electronic device 100 and the external device 200 is the second distance D2, which is longer than the first distance D1, based on the position measurement signal, the electronic device 100 sets the second distance D2.
  • the second size is larger than the first size of the text corresponding to
  • the electronic device 100 may increase the size of the text included in the first UI element where the highlight is located as the distance between the electronic device 100 and the external device 200 increases, thereby increasing the size of the text included in the first UI element where the highlight is located.
  • the size of UI elements can also be increased.
  • the electronic device 100 linearly increases the size of the first UI element (or text included in the first UI element) according to the distance between the electronic device 100 and the external device 200.
  • the size of the first UI element may be gradually increased according to the distance between the electronic device 100 and the external device 200.
  • the electronic device 100 adjusts the size of the first UI element to include text of a preset size, and , when the distance between the electronic device 100 and the external device 200 is greater than or equal to the first distance (D1) and less than the second distance (D2), the electronic device 100 generates a first text to include text of the first size.
  • the size of the UI element is adjusted, and when the distance between the electronic device 100 and the external device 200 is greater than or equal to the second distance (D2) and less than the third distance (D3), the electronic device 100 is adjusted to the second size.
  • the size of the first UI element is adjusted to include the text, and when the distance between the electronic device 100 and the external device 200 is greater than or equal to the third distance D3, the electronic device 100 is adjusted to the third size.
  • the size of the first UI element can be adjusted to include text.
  • the electronic device 100 may identify the size of text included in the UI element based on information about the user's vision as well as simply the distance between the electronic device 100 and the external device 200. For example, when the distance between the electronic device 100 and the external device 200 is D1 or the visual acuity of the first user is 1.0, the electronic device 100 creates the first UI element to include text of the first size. You can adjust the size. However, when the distance between the electronic device 100 and the external device 200 is D1 or the visual acuity of the second user is 0.5, the electronic device 100 adjusts the text to include text of a second size larger than the first size. 1 You can adjust the size of UI elements. At this time, information about the user's vision may be received from the external device 200, but this is only an example, and of course, it can be predicted by the user movement learning engine 340.
  • the electronic device 100 may adjust the size of at least one of the symbols, icons, and thumbnail images included in the UI element where the highlight is located based on the distance between the electronic device 100 and the external device 200.
  • FIGS. 6A and 6B are diagrams for explaining a method for adjusting the shape of a highlighted UI element according to the direction in which an external device is located, according to an embodiment of the present disclosure.
  • the electronic device 100 displays the UI (as shown in FIG. 6A)
  • the first UI element 620 where the highlight included in 610) is located, can be displayed by rotating it to the left. That is, the electronic device 100 may display the first UI element 620 by adjusting its shape to provide an image effect such that the first UI element 620 is rotated to the left.
  • the electronic device 100 displays the UI (as shown in FIG. 6B).
  • the first UI element 630 where the highlight included in 610) is located, can be displayed by rotating it to the right. That is, the electronic device 100 may display the first UI element 630 by adjusting its shape to provide an image effect such that the first UI element 630 is rotated to the left.
  • the user can provide a perspective effect to the first UI elements 620 and 630.
  • the electronic device 100 acquires information about the location of the external device 200 in real time based on the position measurement signal received in real time after the control signal is received, and information about the location of the external device 200 Based on this, at least one of the size and shape of the first UI element may be adjusted and displayed in real time, but this is only an example, and when a control signal is received, the electronic device 100 Obtains information about the location of the external device 200 based on a position measurement signal following the control signal, and determines at least one of the size and shape of the first UI element based on the information about the location of the external device 200. It can be displayed by adjusting it. And, until the next control signal is received, the electronic device 100 may maintain the size and shape of the first UI element based on information about the existing location of the external device 200 so that the external device 200 can move. .
  • the size of the first UI element where the highlight is located may increase. As such, at least some of the other UI elements may not be displayed due to an increase in the size of the first UI element. In this case, the user may experience the inconvenience of not being able to check parts of other UI elements that are obscured by the first UI element.
  • the electronic device 100 may semitransparently display the first UI element 720 that overlaps another UI element included in the UI 710, as shown in FIG. 7A.
  • the electronic device 100 displays at least some UI elements 750-1, 750-2 in addition to the first UI element 740 where the highlight included in the UI 730 is located. ) can be displayed by changing at least one of the size and position.
  • FIG. 8 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 may display a UI including a plurality of UI elements (S810).
  • the electronic device 100 may receive a control signal from the external device 200 (S820). At this time, the control signal may be a control signal for moving the highlight displayed on one of the plurality of UI elements.
  • the electronic device 100 may transmit a request signal to request a position measurement signal (S830).
  • the electronic device 100 may receive a position measurement signal from the external device 200 (S840).
  • the electronic device 100 may obtain information about the location of the external device 200 based on the location measurement signal (S850).
  • the electronic device 100 may identify the first UI element where the highlight is located among the plurality of UI elements based on the control signal (S860).
  • the electronic device 100 may adjust and display at least one of the size and shape of the first UI element based on information about the location of the external device 200 (S870).
  • the electronic device 100 may identify the size of the text included in the first UI element where the highlight is located based on the distance between the external device 200 and the electronic device 100. Additionally, the electronic device 100 may display the first UI element by adjusting its size based on the size of the identified text. For example, if the distance between the external device 200 and the electronic device 100 is determined to be the first distance, the electronic device 100 may identify the size of the text included in the first UI element as the first size. As another example, if the distance between the external device 200 and the electronic device 100 is determined to be a second distance that is longer than the first distance, the electronic device 100 adjusts the size of the text included in the first UI element to the first size. It can be identified by its second, larger size.
  • the electronic device 100 may receive vision information about the user using the external device 200 from the external device 200. Additionally, the electronic device 100 may identify the size of the text included in the first UI element based on vision information about the user and the distance between the external device 200 and the electronic device 100.
  • the electronic device 100 may control the user based on the size of the text displayed on the display 110 and the distance between the electronic device 200 and the user. Vision information can be predicted. Additionally, the electronic device 100 may identify the size of the text included in the first UI element based on the predicted visual acuity information about the user and the distance between the external device 200 and the electronic device 100.
  • the electronic device 100 may display the first UI element by rotating it to the left. Alternatively, if it is determined that the external device 200 is located on the right side of the electronic device 100, the electronic device 100 may display the first UI element by rotating it to the right.
  • the image for the content may be displayed on a first layer, and the UI may be displayed on a second layer.
  • the electronic device 100 selects the size and shape of the first UI element displayed on the second layer based on information about the location of the external device 200. At least one can be adjusted and displayed.
  • the electronic device 100 obtains information about the location of the external device 200 in real time based on the position measurement signal, and based on the information about the location of the external device, at least one of the size and shape of the first UI element One can be adjusted and displayed in real time.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or through an application store (e.g. Play StoreTM) or on two user devices (e.g. It can be distributed (e.g. downloaded or uploaded) directly between smartphones) or online.
  • a machine-readable storage medium e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play StoreTM
  • two user devices e.g. It can be distributed (e.g. downloaded or uploaded) directly between smartphones) or online.
  • at least a portion of the computer program product e.g., a downloadable app
  • a machine-readable storage medium such as the memory of a manufacturer's server, an application store's server, or a relay server. It can be temporarily stored or created temporarily.
  • Methods according to various embodiments of the present disclosure may be implemented as software including instructions stored in a machine-readable storage media that can be read by a machine (e.g., a computer).
  • the device stores information stored from the storage medium.
  • a device capable of calling a command and operating according to the called command may include an electronic device according to the disclosed embodiments.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory storage medium' only means that it is a tangible device and does not contain signals (e.g. electromagnetic waves). This term refers to cases where data is semi-permanently stored in a storage medium and temporary storage media. It does not distinguish between cases where it is stored as .
  • a 'non-transitory storage medium' may include a buffer where data is temporarily stored.
  • the processor may perform the function corresponding to the instruction directly or using other components under the control of the processor.
  • Instructions may contain code generated or executed by a compiler or interpreter.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치 및 이의 제어 방법이 제공된다. 본 전자 장치는 외부 장치와 통신을 수행하는 통신 인터페이스, 디스플레이, 적어도 하나의 인스트럭션을 저장하는 메모리 및 통신 인터페이스, 디스플레이 및 메모리와 연결된 프로세서를 포함한다. 프로세서는, 적어도 하나의 인스트럭션을 실행함으로써, 디스플레이에 의해 복수의 UI 엘리먼트를 포함하는 UI를 표시하는 동안 외부 장치로 제어 신호가 수신되면, 프로세서는 위치 측정 신호를 요청하기 위한 요청 신호를 외부 장치로 전송하도록 상기 통신 인터페이스를 제어한다. 외부 장치로부터 위치 측정 신호가 수신되면, 프로세서는 위치 측정 신호에 기초하여 외부 장치의 위치에 대한 정보를 획득한다. 프로세서는 제어 신호에 기초하여 복수의 UI 엘리먼트 중 하이라이트가 위치하는 제1 UI 엘리먼트를 식별한다. 프로세서는 외부 장치의 위치에 대한 정보에 기초하여 표시되는 제1 UI 엘리먼트의 크기 및 형태 중 적어도 하나를 조절하여 표시하도록 디스플레이를 제어한다.

Description

전자 장치 및 이의 제어 방법
본 개시는 전자 장치 및 이의 제어 방법에 관한 것으로, 더욱 상세하게는 전자 장치에 표시되는 UI 엘리먼트를 최적화된 크기 및 형태로 제공하는 전자 장치 및 이의 제어 방법에 관한 것이다.
전자 장치(예로, 스마트 TV 등)는 다양한 UI를 제공하고 있다. 특히, 전자 장치는 UI에 포함된 복수의 UI 엘리먼트 중 하나에 하이라이트를 표시하여 사용자가 선택하고자 하는 UI 엘리먼트를 안내하고 있다.
다만, 관련 분야에서, 사용자가 전자 장치와 멀리 떨어진 경우, UI에 포함된 복수의 UI 엘리먼트 중 하이라이트가 표시된 UI 엘리먼트에 대한 시인성이 떨어져 하이라이트가 표시된 UI 엘리먼트를 확인하기 위하여, 자세를 고치거나 전자 장치로 가까이 이동해야 하는 번거로움이 존재한다.
본 개시의 일 실시예에 따른, 전자 장치는, 외부 장치와 통신을 수행하기 위한 통신 인터페이스; 디스플레이; 적어도 하나의 인스트럭션을 저장하는 메모리; 및 상기 통신 인터페이스, 상기 디스플레이 및 상기 메모리와 연결되는 프로세서;를 포함하며, 상기 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함으로써, 상기 디스플레이에 의해 복수의 UI 엘리먼트를 포함하는 UI를 표시하는 동안 상기 외부 장치로 제어 신호가 수신되면, 위치 측정 신호를 요청하기 위한 요청 신호를 상기 외부 장치로 전송하도록 상기 통신 인터페이스를 제어하며, 상기 외부 장치로부터 위치 측정 신호가 수신되면, 상기 위치 측정 신호에 기초하여 상기 외부 장치의 위치에 대한 정보를 획득하며, 상기 제어 신호에 기초하여 상기 복수의 UI 엘리먼트 중 하이라이트가 위치하는 제1 UI 엘리먼트를 식별하며, 상기 외부 장치의 위치에 대한 정보에 기초하여 상기 표시되는 제1 UI 엘리먼트의 크기 및 형태 중 적어도 하나를 조절하여 표시하도록 상기 디스플레이를 제어한다.
상기 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함으로써, 상기 외부 장치와 상기 전자 장치 사이의 거리에 기초하여 상기 제1 UI 엘리먼트에 포함된 텍스트의 크기를 식별하며, 상기 식별된 텍스트의 크기에 기초하여 상기 표시되는 제1 UI 엘리먼트의 크기를 조절하여 표시하도록 상기 디스플레이를 제어할 수 있다.
상기 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함으로써, 상기 외부 장치와 상기 전자 장치 사이의 거리가 제1 거리로 판단되면, 상기 제1 UI 엘리먼트에 포함된 텍스트의 크기를 제1 크기로 식별하며, 상기 외부 장치와 상기 전자 장치 사이의 거리가 상기 제1 거리보다 먼 제2 거리로 판단되면, 상기 제1 UI 엘리먼트에 포함된 텍스트의 크기를 상기 제1 크기보다 큰 제2 크기로 식별할 수 있다.
상기 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함으로써, 상기 통신 인터페이스를 통해 상기 외부 장치로부터 사용자에 대한 시력 정보를 수신하며, 상기 사용자에 대한 시력 정보 및 상기 외부 장치와 상기 전자 장치 사이의 거리에 기초하여 상기 제1 UI 엘리먼트에 포함된 텍스트의 크기를 식별할 수 있다.
상기 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함으로써, 상기 디스플레이 상에 표시된 텍스트의 크기와 상기 전자 장치 및 상기 외부 장치의 사용자 사이의 거리에 기초하여 상기 사용자에 대한 시력 정보를 예측하고, 상기 예측된 사용자에 대한 시력 정보 및 상기 외부 장치와 상기 전자 장치 사이의 거리에 기초하여 상기 제1 UI 엘리먼트에 포함된 텍스트의 크기를 식별할 수 있다.
상기 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함으로써, 상기 외부 장치가 상기 전자 장치의 좌측에 위치하는 것으로 판단되면, 상기 제1 UI 엘리먼트를 왼쪽으로 회전시켜 표시하도록 상기 디스플레이를 제어하며, 상기 외부 장치가 상기 전자 장치의 우측에 위치하는 것으로 판단되면, 상기 제1 UI 엘리먼트를 오른쪽으로 회전시켜 표시하도록 상기 디스플레이를 제어할 수 있다.
상기 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함으로써, 컨텐츠에 대한 영상 상에 상기 UI가 표시된 경우, 제1 레이어에 상기 컨텐츠에 대한 영상을 표시하며, 제2 레이어에 상기 UI를 표시하도록 상기 디스플레이를 제어하며, 상기 제1 레이어 상에 표시된 상기 컨텐츠에 대한 영상을 유지하는 동안 상기 외부 장치의 위치에 대한 정보에 기초하여 상기 제2 레이어 상에 표시된 상기 제1 UI 엘리먼트의 크기 및 형태 중 적어도 하나를 조절하도록 상기 디스플레이를 제어할 수 있다.
상기 제어 신호는, 상기 복수의 UI 엘리먼트 중 하나의 UI 엘리먼트에 표시된 하이라이트를 이동시키기 위한 제어 신호일 수 있다.
상기 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함으로써, 상기 위치 측정 신호에 기초하여 실시간으로 상기 외부 장치의 위치에 대한 정보를 획득하며, 상기 외부 장치의 위치에 대한 정보에 기초하여 상기 표시된 제1 UI 엘리먼트의 크기 및 형태 중 적어도 하나를 실시간으로 조절하여 표시하도록 상기 디스플레이를 제어할 수 있다.
본 개시의 일 실시예에 따른, 전자 장치의 제어 방법은, 복수의 UI 엘리먼트를 포함하는 UI를 표시하는 동안 외부 장치로 제어 신호가 수신되면, 위치 측정 신호를 요청하기 위한 요청 신호를 상기 외부 장치로 전송하는 단계; 상기 외부 장치로부터 위치 측정 신호가 수신되면, 상기 위치 측정 신호에 기초하여 상기 외부 장치의 위치에 대한 정보를 획득하는 단계; 및 상기 제어 신호에 기초하여 상기 복수의 UI 엘리먼트 중 하이라이트가 위치하는 제1 UI 엘리먼트를 식별하며, 상기 외부 장치의 위치에 대한 정보에 기초하여 상기 표시되는 제1 UI 엘리먼트의 크기 및 형태 중 적어도 하나를 조절하여 표시하는 단계;를 포함한다.
상기 표시하는 단계는, 상기 외부 장치와 상기 전자 장치 사이의 거리에 기초하여 상기 제1 UI 엘리먼트에 포함된 텍스트의 크기를 식별하는 단계; 및 상기 식별된 텍스트의 크기에 기초하여 상기 제1 UI 엘리먼트의 크기를 조절하여 표시하는 단계;를 포함할 수 있다.
상기 식별하는 단계는, 상기 외부 장치와 상기 전자 장치 사이의 거리가 제1 거리로 판단되면, 상기 제1 UI 엘리먼트에 포함된 텍스트의 크기를 제1 크기로 식별하며, 상기 외부 장치와 상기 전자 장치 사이의 거리가 상기 제1 거리보다 먼 제2 거리로 판단되면, 상기 제1 UI 엘리먼트에 포함된 텍스트의 크기를 상기 제1 크기보다 큰 제2 크기로 식별할 수 있다.
상기 제어 방법은, 상기 외부 장치로부터 상기 외부 장치를 사용하는 사용자에 대한 시력 정보를 수신하는 단계;를 포함하며, 상기 식별하는 단계는, 상기 사용자에 대한 시력 정보 및 상기 외부 장치와 상기 전자 장치 사이의 거리에 기초하여 상기 제1 UI 엘리먼트에 포함된 텍스트의 크기를 식별할 수 있다.
상기 제어 방법은, 상기 외부 장치를 이용하여 상기 전자 장치를 제어할 때 상기 디스플레이 상에 표시된 텍스트의 크기와 상기 전자 장치 및 상기 사용자 사이의 거리에 기초하여 상기 사용자에 대한 시력 정보를 예측하는 단계;를 포함하며, 상기 식별하는 단계는, 상기 예측된 사용자에 대한 시력 정보 및 상기 외부 장치와 상기 전자 장치 사이의 거리에 기초하여 상기 제1 UI 엘리먼트에 포함된 텍스트의 크기를 식별할 수 있다.
상기 표시하는 단계는, 상기 외부 장치가 상기 전자 장치의 좌측에 위치하는 것으로 판단되면, 상기 제1 UI 엘리먼트를 왼쪽으로 회전시켜 표시하며, 상기 외부 장치가 상기 전자 장치의 우측에 위치하는 것으로 판단되면, 상기 제1 UI 엘리먼트를 오른쪽으로 회전시켜 표시할 수 있다.
본 개시의 일 실시예에 따른, 전자 장치는, 적어도 하나의 인스트럭션을 저장하는 메모리; 및 상기 적어도 하나의 인스트럭션을 실행함으로써, 상기 디스플레이에 의해 복수의 UI 엘리먼트를 포함하는 UI를 표시하는 동안 상기 외부 장치로 제어 신호가 수신되면, 위치 측정 신호를 요청하기 위한 요청 신호를 상기 외부 장치로 제공하며, 상기 외부 장치로부터 위치 측정 신호가 수신되면, 상기 위치 측정 신호에 기초하여 상기 외부 장치의 위치에 대한 정보를 획득하며, 상기 제어 신호에 기초하여 상기 복수의 UI 엘리먼트 중 하이라이트가 위치하는 제1 UI 엘리먼트를 식별하며, 상기 외부 장치의 위치에 대한 정보에 기초하여 상기 표시되는 제1 UI 엘리먼트의 크기 및 형태 중 적어도 하나를 조절하여 표시하도록 디스플레이를 제어하는 프로세서;를 포함한다.
상기 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함으로써, 상기 외부 장치와 상기 전자 장치 사이의 거리에 기초하여 상기 제1 UI 엘리먼트에 포함된 텍스트의 크기를 식별하며, 상기 식별된 텍스트의 크기에 기초하여 상기 표시되는 제1 UI 엘리먼트의 크기를 조절하여 표시하도록 상기 디스플레이를 제어할 수 있다.
상기 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함으로써, 상기 외부 장치와 상기 전자 장치 사이의 거리가 제1 거리로 판단되면, 상기 제1 UI 엘리먼트에 포함된 텍스트의 크기를 제1 크기로 식별하며, 상기 외부 장치와 상기 전자 장치 사이의 거리가 상기 제1 거리보다 먼 제2 거리로 판단되면, 상기 제1 UI 엘리먼트에 포함된 텍스트의 크기를 상기 제1 크기보다 큰 제2 크기로 식별할 수 있다.
상기 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함으로써, 상기 통신 인터페이스를 통해 상기 외부 장치로부터 사용자에 대한 시력 정보를 수신하며, 상기 사용자에 대한 시력 정보 및 상기 외부 장치와 상기 전자 장치 사이의 거리에 기초하여 상기 제1 UI 엘리먼트에 포함된 텍스트의 크기를 식별할 수 있다.
상기 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함으로써, 상기 디스플레이 상에 표시된 텍스트의 크기와 상기 전자 장치 및 상기 외부 장치의 사용자 사이의 거리에 기초하여 상기 사용자에 대한 시력 정보를 예측하고, 상기 예측된 사용자에 대한 시력 정보 및 상기 외부 장치와 상기 전자 장치 사이의 거리에 기초하여 상기 제1 UI 엘리먼트에 포함된 텍스트의 크기를 식별할 수 있다.
본 발명의 실시예의 상기 및 기타 측면, 특징 및 이점은 첨부된 도면과 함께 취해진 다음의 설명으로부터 더욱 명백해질 것이다
도 1은 본 개시의 일 실시예에 따른, 전자 장치와 외부 장치를 포함하는 디스플레이 시스템을 도시한 도면,
도 2는 본 개시의 일 실시예에 따른, 전자 장치의 구성을 나타내는 블록도,
도 3은 본 개시의 일 실시예에 따른, 하이라이트가 표시된 UI 엘리먼트를 조절하기 위한 구성을 도시한 블록도,
도 4는 본 개시의 일 실시예에 따른, 외부 장치의 위치에 따라 하이라이트가 표시된 UI 엘리먼트를 조절하기 위한 시스템의 제어 방법을 설명하기 위한 시퀀스도,
도 5는 본 개시의 일 실시예에 따른, 전자 장치와 외부 장치 사이의 거리에 따라 하이라이트가 표시된 UI 엘리먼트의 크기를 조절하기 위한 방법을 설명하기 위한 도면,
도 6a 및 도 6b는 본 개시의 일 실시예에 따른, 외부 장치가 위치하는 방향에 따라 하이라이트가 표시된 UI 엘리먼트의 형상을 조절하기 위한 방법을 설명하기 위한 도면,
도 7a 및 도 7b는 본 개시의 다양한 실시예에 따른, 하이라이트가 표시된 UI 엘리먼트를 포함하는 UI를 설명하기 위한 도면, 그리고,
도 8은 본 개시의 일 실시예에 따른, 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하, 본 개시의 다양한 실시 예가 기재된다. 그러나, 이는 본 개시의 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 실시 예들의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) A만을 포함, (2) B만을 포함, 또는 (3) A 및 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제 1," "제 2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제 1 사용자 기기와 제 2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 바꾸어 명명될 수 있다.
본 문서에서 사용된 "모듈", "유닛", "부(part)", "엔진" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)", "엔진" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 프로세서로 구현될 수 있다.
어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시예들을 배제하도록 해석될 수 없다
이하에서는 도면을 참조하여 본 개시에 대해 더욱 상세히 설명하도록 한다. 다만, 본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
이하에서는 도면을 참조하여 본 개시에 대해 더욱 상세히 설명하도록 한다.
도 1은 본 개시의 일 실시예에 따른, 전자 장치와 외부 장치를 포함하는 디스플레이 시스템을 도시한 도면이다. 도 1에 도시된 바와 같이, 시스템(10)은 전자 장치(100) 및 외부 장치(200)를 포함할 수 있다. 이때, 전자 장치(100)는 스마트 TV로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 셋탑박스, 프로젝터 등과 같은 장치로 구현될 수 있다. 또한, 외부 장치(200)는 전자 장치(100)를 제어하기 위한 장치로서, 리모컨으로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 스마트 폰, 태블릿 PC 등과 같은 휴대 단말로 구현될 수 있다.
전자 장치(100)는 컨텐츠를 표시할 수 있다. 특히, 전자 장치(100)는 컨텐츠 상에 복수의 UI 엘리먼트를 포함하는 UI를 표시할 수 있다.
외부 장치(200)는 전자 장치(100)를 제어하기 위한 사용자 명령을 입력받을 수 있다. 사용자 명령이 입력되면, 외부 장치(200)는 전자 장치(100)로 사용자 명령에 대응되는 제어 신호를 전송할 수 있다.
전자 장치(100)는 제어 신호에 응답하여 현재 외부 장치(200)의 위치를 식별하기 위한 위치 측정 신호를 요청하는 요청 신호를 외부 장치(200)로 전송할 수 있다.
외부 장치(200)는 요청 신호에 응답하여 위치 측정 신호를 전송할 수 있으며, 전자 장치(100)는 수신된 위치 측정 신호에 기초하여 외부 장치(200)의 위치에 대한 정보를 획득할 수 있다. 이때, 외부 장치(200)의 위치에 대한 정보는, 전자 장치(100)와 외부 장치(200) 사이의 거리에 대한 정보, 전자 장치(100)를 기준으로 외부 장치(200)가 위치하는 방향에 대한 정보 등을 포함할 수 있다.
전자 장치(100)는 외부 장치(200)가 전송한 신호에 기초하여 UI에 포함된 복수의 UI 엘리먼트 중 하이라이트(또는 포커스)가 위치하는 UI 엘리먼트를 식별할 수 있으며, 외부 장치(200)의 위치에 대한 정보에 기초하여 하이라이트가 위치하는 UI 엘리먼트의 크기 및 형상 중 적어도 하나를 조절하여 표시할 수 있다.
이에 의해, 외부 장치(200)를 조작하는 사용자의 위치에 따라 최적의 크기 및 형상을 가지는 UI 엘리먼트를 제공함으로써, 시인성이 향상되는 효과를 가질 수 있다. 도 2는 본 개시의 일 실시예에 따른, 전자 장치의 구성을 나타내는 블록도이다.도 2에 도시된 바와 같이, 전자 장치(100)는 디스플레이(110), 스피커(120), 통신 인터페이스(130), 입출력 인터페이스(140), 사용자 입력부(150), 메모리(160) 및 프로세서(170)를 포함할 수 있다. 도 1에 도시된 전자 장치(100)의 구성은 일 실시예에 불과할 뿐, 전자 장치(100)의 유형에 따라 일부 구성이 추가되거나 삭제될 수 있음은 물론이다.
디스플레이(110)는 다양한 정보를 출력할 수 있다. 특히, 디스플레이(110)는 다양한 소스로부터 제공되는 컨텐츠를 출력할 수 있다. 예를 들어, 디스플레이(110)는 외부로부터 수신된 방송 컨텐츠를 출력할 수 있으며, 게임 서버를 통해 수신되는 게임 컨텐츠를 출력할 수 있으며, 입출력 인터페이스(140)를 통해 연결된 외부 장치(예로, 셋탑박스 또는 게임기 등)로부터 수신되는 방송 컨텐츠 또는 게임 컨텐츠를 출력할 수 있다.
또한, 디스플레이(110)는 다양한 UI를 출력할 수 있다. 이때, UI는 복수의 UI 엘리먼트(또는 아이템)을 포함할 수 있다. 특히, UI는 전자 장치(100)의 설정을 변경하기 위한 UI, 사용자가 시청하고자 하는 다른 컨텐츠를 선택하기 위한 UI 등일 수 있으나, 이에 한정되지 않는다.
또한, 디스플레이(110)는 컨텐츠에 대한 영상을 포함하는 제1 레이어를 생성하고, UI를 포함하는 제2 레이어를 생성할 수 있다. 따라서, 컨텐츠에 대한 영상 상에 UI를 표시하는 경우, 디스플레이(110)는 컨텐츠에 대한 영상을 포함하는 제1 레이어 상에 UI를 포함하는 제2 레이어를 출력할 수 있다. 특히, UI에 포함된 하이라이트가 표시된 UI 엘리먼트의 크기 또는 형상이 변경되는 경우, 디스플레이(110)는 제1 레이어에 포함되노 컨텐츠에 대한 영상을 유지하고 제2 레이어 상에 포함된 UI 중 하이라이트가 표시된 UI 엘리먼트의 크기 또는 형상을 변경시킬 수 있다.
한편, 디스플레이(110)는 LCD(Liquid Crystal Display Panel), OLED(Organic Light Emitting Diodes) 등으로 구현될 수 있으며, 또한 디스플레이(110)는 경우에 따라 플렉서블 디스플레이, 투명 디스플레이 등으로 구현되는 것도 가능하다. 다만, 하나 이상의 실시예에 따른 디스플레이(110)가 특정한 종류에 한정되는 것은 아니다.
스피커(120)는 다양한 음성 메시지 및 오디오를 출력할 수 있다. 특히, 스피커(120)는 다양한 컨텐츠의 오디오를 출력할 수 있다. 이때, 스피커(120)는 전자 장치(100) 내부에 구비될 수 있으나, 이는 일 실시예에 불과할 뿐, 전자 장치(100) 외부에 구비되어 전자 장치(100)와 전기적으로 연결될 수 있다.
통신 인터페이스(130)는 적어도 하나의 회로를 포함하며 다양한 유형의 외부 기기나 서버와 통신을 수행할 수 있다. 통신 인터페이스(130)는 IR 모듈, BLE(Bluetooth Low Energy) 모듈, 와이파이 통신 모듈, UWB(Ultra Wide Band) 모듈, 셀룰러 통신모듈, 3G(3세대) 이동통신 모듈, 4G(4세대) 이동통신 모듈, 4세대 LTE(Long Term Evolution) 통신 모듈, 5G(5세대) 이동통신 모듈 중 적어도 하나를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 전자 장치(100)가 통신 인터페이스(130) 중 제1 통신 모듈(예로, IR 모듈)로 외부 장치(200)와 통신을 수행할 경우, 통신 인터페이스(130)는 외부 장치(200)로부터 제어 신호를 수신할 수 있다. 통신 인터페이스(130)는 외부 장치(200)로 위치 측정 신호를 요청하는 요청 신호를 전송할 수 있으며, 외부 장치(200)로부터 위치 측정 신호를 수신할 수 있다.
본 개시의 다른 실시예에 따르면, 전자 장치(100)가 통신 인터페이스(130) 중 제2 통신 모듈(예로, BLE 모듈, UWB 모듈, BT 모듈) 등으로 외부 장치(200)와 통신을 수행할 경우, 통신 인터페이스(130)는 외부 장치(200)로부터 제어 신호를 수신할 수 있다. 이때, 프로세서(170)는 수신된 제어 신호에 기초하여 외부 장치(200)의 위치에 대한 정보를 획득할 수 있다.
입출력 인터페이스(140)는 오디오 및 영상 신호 중 적어도 하나를 입출력 하기 위한 구성이다. 일 예로, 입출력 인터페이스(140)는 HDMI(High Definition Multimedia Interface) 일 수 있으나, 이는 일 실시 예에 불과할 뿐, MHL (Mobile High-Definition Link), USB (Universal Serial Bus), DP(Display Port), 썬더볼트(Thunderbolt), VGA(Video Graphics Array)포트, RGB 포트, D-SUB(D-subminiature), DVI(Digital Visual Interface) 중 어느 하나의 인터페이스일 수 있다. 구현 예에 따라, 입출력 인터페이스(140)는 오디오 신호만을 입출력하는 포트와 영상 신호만을 입출력하는 포트를 별개의 포트로 포함하거나, 오디오 신호 및 영상 신호를 모두 입출력하는 하나의 포트로 구현될 수 있다.
특히, 전자 장치(100)는 입출력 인터페이스(140)를 통해 외부 컨텐츠 제공 장치(예로, 셋탑 박스, 게임기 등)로부터 방송 컨텐츠 또는 게임 컨텐츠를 수신할 수 있다.
사용자 입력부(150)는 회로를 포함하며, 프로세서(170)는 사용자 입력부(150)를 통해 전자 장치(100)의 동작을 제어하기 위한 사용자 명령을 수신할 수 있다. 구체적으로, 사용자 입력부(150)는 터치 스크린, 버튼, 키보드 및 마우스 등과 같은 구성으로 이루어 질 수 있다.
또한, 사용자 입력부(150)는 사용자 음성을 수신할 수 있는 마이크를 포함할 수 있다. 이때, 사용자 입력부(150)가 마이크로 구현된 경우, 전자 장치(100) 내부에 마이크가 구비될 수 있다.
메모리(160)는 전자 장치(100)의 구성요소들의 전반적인 동작을 제어하기 위한 운영체제(OS: Operating System) 및 전자 장치(100)의 구성요소와 관련된 인스트럭션 또는 데이터를 저장할 수 있다. 특히, 메모리(160)는 외부 장치의 위치에 따라 최적의 크기 및 형상을 가지는 UI 엘리먼트를 제공하기 위하여, 도 3에 도시된 바와 같이, 신호 처리 엔진(310), 위치 계산 엔진(320), 디스플레이 엔진(330) 및 사용자 이동 학습 엔진(340)을 포함할 수 있다. 특히, 전자 장치(100)가 실행되면, 비휘발성 메모리에 저장되어 있는 외부 장치의 위치에 따라 최적의 크기 및 형상을 가지는 UI 엘리먼트를 제공하기 위한 모듈이 각종 동작을 수행하기 위한 데이터를 휘발성 메모리로 로딩(loading)할 수 있다. 여기서, 로딩이란 프로세서(170)가 엑세스할 수 있도록 비휘발성 메모리에 저장된 데이터를 휘발성 메모리에 불러들여 저장하는 동작을 의미한다.
또한, 메모리(160)는 사용자 이동 학습 엔진(340)에 의해 학습된 사용자에 대한 시력 정보를 저장할 수 있다.
메모리(160)는 비휘발성 메모리(ex: 하드 디스크, SSD(Solid state drive), 플래시 메모리), 휘발성 메모리(프로세서(180) 내의 메모리도 포함할 수 있음.) 등으로 구현될 수 있다.
프로세서(170)는 메모리(160)에 저장된 적어도 하나의 인스트럭션에 따라 전자 장치(100)를 제어할 수 있다. 특히, 프로세서(170)는 하나 이상의 프로세서로 구성될 수 있다. 이때, 하나 이상의 프로세서는 CPU (Central Processing Unit), GPU (Graphics Processing Unit), APU (Accelerated Processing Unit), MIC (Many Integrated Core), DSP (Digital Signal Processor), NPU (Neural Processing Unit), 하드웨어 가속기 또는 머신 러닝 가속기 중 하나 이상을 포함할 수 있다. 하나 이상의 프로세서는 전자 장치(100)의 다른 구성요소 중 하나 또는 임의의 조합을 제어할 수 있으며, 통신에 관한 동작 또는 데이터 처리를 수행할 수 있다. 하나 이상의 프로세서는 메모리(160)에 저장된 하나 이상의 프로그램 또는 명령어(instruction)을 실행할 수 있다. 예를 들어, 하나 이상의 프로세서는 메모리(160)에 저장된 하나 이상의 명령어를 실행함으로써, 본 개시의 일 실시 예에 따른 방법을 수행할 수 있다.
본 개시의 일 실시예에 따른 방법이 복수의 동작을 포함하는 경우, 복수의 동작은 하나의 프로세서에 의해 수행될 수도 있고, 복수의 프로세서에 의해 수행될 수도 있다. 예를 들어, 일 실시예에 따른 방법에 의해 제 1 동작, 제 2 동작, 제 3 동작이 수행될 때, 제 1 동작, 제 2 동작, 및 제 3 동작 모두 제 1 프로세서에 의해 수행될 수도 있고, 제 1 동작 및 제 2 동작은 제 1 프로세서(예를 들어, 범용 프로세서)에 의해 수행되고 제 3 동작은 제 2 프로세서(예를 들어, 인공지능 전용 프로세서)에 의해 수행될 수도 있다.
하나 이상의 프로세서는 하나의 코어를 포함하는 단일 코어 프로세서(single core processor)로 구현될 수도 있고, 복수의 코어(예를 들어, 동종 멀티 코어 또는 이종 멀티 코어)를 포함하는 하나 이상의 멀티 코어 프로세서(multicore processor)로 구현될 수도 있다. 하나 이상의 프로세서가 멀티 코어 프로세서로 구현되는 경우, 멀티 코어 프로세서에 포함된 복수의 코어 각각은 캐시 메모리, 온 칩(On-chip) 메모리와 같은 프로세서 내부 메모리를 포함할 수 있으며, 복수의 코어에 의해 공유되는 공통 캐시가 멀티 코어 프로세서에 포함될 수 있다. 또한, 멀티 코어 프로세서에 포함된 복수의 코어 각각(또는 복수의 코어 중 일부)은 독립적으로 본 개시의 일 실시예에 따른 방법을 구현하기 위한 프로그램 명령을 판독하여 수행할 수도 있고, 복수의 코어 전체(또는 일부)가 연계되어 본 개시의 일 실시예에 따른 방법을 구현하기 위한 프로그램 명령을 판독하여 수행할 수도 있다.
본 개시의 일 실시예에 따른 방법이 복수의 동작을 포함하는 경우, 복수의 동작은 멀티 코어 프로세서에 포함된 복수의 코어 중 하나의 코어에 의해 수행될 수도 있고, 복수의 코어에 의해 수행될 수도 있다. 예를 들어, 일 실시예에 따른 방법에 의해 제 1 동작, 제 2 동작, 및 제 3 동작이 수행될 때, 제 1 동작, 제2 동작, 및 제3 동작 모두 멀티 코어 프로세서에 포함된 제 1 코어에 의해 수행될 수도 있고, 제 1 동작 및 제 2 동작은 멀티 코어 프로세서에 포함된 제 1 코어에 의해 수행되고 제 3 동작은 멀티 코어 프로세서에 포함된 제 2 코어에 의해 수행될 수도 있다.
본 개시의 실시예들에서, 프로세서(170)는 하나 이상의 프로세서 및 기타 전자 부품들이 집적된 시스템 온 칩(SoC), 단일 코어 프로세서, 멀티 코어 프로세서, 또는 단일 코어 프로세서 또는 멀티 코어 프로세서에 포함된 코어를 의미할 수 있으며, 여기서 코어는 CPU, GPU, APU, MIC, DSP, NPU, 하드웨어 가속기 또는 기계 학습 가속기 등으로 구현될 수 있으나, 실시예들이 이에 한정되는 것은 아니다.
특히, 복수의 UI 엘리먼트를 포함하는 UI를 표시하는 동안 외부 장치(200)로 제어 신호가 수신되면, 프로세서(170)는 위치 측정 신호를 요청하기 위한 요청 신호를 상기 외부 장치로 전송하도록 통신 인터페이스(130)를 제어한다. 외부 장치(200)로부터 위치 측정 신호가 수신되면, 프로세서(170)는 위치 측정 신호에 기초하여 외부 장치의 위치에 대한 정보를 획득한다. 프로세서(170)는 제어 신호에 기초하여 복수의 UI 엘리먼트 중 하이라이트가 위치하는 제1 UI 엘리먼트를 식별한다. 프로세서(170)는 외부 장치의 위치에 대한 정보에 기초하여 제1 UI 엘리먼트의 크기 및 형태 중 적어도 하나를 조절하여 표시하도록 디스플레이(110)를 제어한다.
특히, 프로세서(170)는 외부 장치와 상기 전자 장치 사이의 거리에 기초하여 제1 UI 엘리먼트에 포함된 텍스트의 크기를 식별할 수 있다. 그리고, 프로세서(170)는 식별된 텍스트의 크기에 기초하여 제1 UI 엘리먼트의 크기를 조절하여 표시하도록 디스플레이(110)를 제어할 수 있다.
외부 장치(200)와 전자 장치(100) 사이의 거리가 제1 거리로 판단되면, 프로세서(170)는 제1 UI 엘리먼트에 포함된 텍스트의 크기를 제1 크기로 식별하며, 외부 장치(200)와 전자 장치(100) 사이의 거리가 제1 거리보다 먼 제2 거리로 판단되면, 프로세서(170)는 제1 UI 엘리먼트에 포함된 텍스트의 크기를 제1 크기보다 큰 제2 크기로 식별할 수 있다.
또한, 프로세서(170)는 통신 인터페이스(130)를 통해 외부 장치(200)로부터 외부 장치(200)를 사용하는 사용자에 대한 시력 정보를 수신할 수 있다. 그리고, 프로세서(170)는 사용자에 대한 시력 정보 및 외부 장치(200)와 전자 장치(100) 사이의 거리에 기초하여 제1 UI 엘리먼트에 포함된 텍스트의 크기를 식별할 수 있다.
뿐만 아니라, 프로세서(170)는 외부 장치(200)를 이용하여 전자 장치(100)를 제어할 때 디스플레이(110) 상에 표시된 텍스트의 크기와 전자 장치(100) 및 사용자 사이의 거리에 기초하여 사용자에 대한 시력 정보를 예측할 수 있다. 그리고, 프로세서(170)는 예측된 사용자에 대한 시력 정보 및 외부 장치(200)와 전자 장치 (100) 사이의 거리에 기초하여 제1 UI 엘리먼트에 포함된 텍스트의 크기를 식별할 수 있다.
또한, 외부 장치(200)가 전자 장치(100)의 좌측에 위치하는 것으로 판단되면, 프로세서(170)는 제1 UI 엘리먼트를 왼쪽으로 회전시켜 표시하도록 디스플레이(110)를 제어할 수 있다. 또는, 외부 장치(200)가 전자 장치(100)의 우측에 위치하는 것으로 판단되면, 프로세서(170)는 제1 UI 엘리먼트를 오른쪽으로 회전시켜 표시하도록 디스플레이(110)를 제어할 수 있다.
또한, 컨텐츠에 대한 영상 상에 UI가 표시된 경우, 프로세서(170)는 제1 레이어에 컨텐츠에 대한 영상을 표시하며, 제2 레이어에 UI를 표시하도록 디스플레이(110)를 제어하할 수 있다. 그리고, 프로세서(170)는 제1 레이어 상에 표시된 컨텐츠에 대한 영상을 유지하는 동안 외부 장치(200)의 위치에 대한 정보에 기초하여 제2 레이어 상에 표시된 제1 UI 엘리먼트의 크기 및 형태 중 적어도 하나를 조절하여 표시하도록 디스플레이(110)를 제어할 수 있다.
본 개시의 일 실시예에 따른 제어 신호는 복수의 UI 엘리먼트 중 하나에 표시된 하이라이트를 이동시키기 위한 제어 신호일 수 있으나, 이에 한정되는 것은 아니다.
또한, 프로세서(170)는 위치 측정 신호에 기초하여 실시간으로 외부 장치(200)의 위치에 대한 정보를 획득할 수 있으며, 외부 장치(200)의 위치에 대한 정보에 기초하여 제1 UI 엘리먼트의 크기 및 형태 중 적어도 하나를 실시간으로 조절하여 표시하도록 디스플레이(110)를 제어할 수 있다.
도 3은 본 개시의 일 실시예에 따른, 하이라이트가 표시된 UI 엘리먼트를 조절하기 위한 구성을 도시한 블록도이다. 도 3에 도시된 바와 같이, 사용자의 위치에 따라 하이라이트가 표시된 UI 엘리먼트를 조절하기 위한 구성은 신호 처리 엔진(310), 위치 측정 엔진(320), 디스플레이 엔진(330) 및 사용자 이동 학습 엔진(340)을 포함할 수 있다.
신호 처리 엔진(310)은 외부 장치(200)로부터 수신된 신호를 분석할 수 있다. 신호 처리 엔진(310)은 외부 장치(200)로부터 수신된 제어 신호에 기초하여 제어 신호에 대응되는 이벤트에 대한 정보를 인식할 수 있다. 예로, 외부 장치(200)로부터 하이라이트를 오른쪽으로 이동하는 제어 신호가 수신되면, 신호 처리 엔진(310)은 제어 신호를 처리하여 하이라이트를 오른쪽으로 이동하는 이벤트에 대한 정보를 인식할 수 있다. 또한, 신호 처리 엔진(310)은 외부 장치(200)로부터 수신된 위치 측정 신호를 인식할 수 있다. 위치 측정 신호가 인식되면, 신호 처리 엔진(310)은 위치 측정 신호에 포함된 정보를 위치 측정 엔진(320)으로 출력할 수 있다.
위치 측정 엔진(320)은 위치 측정 신호에 포함된 정보에 기초하여 외부 장치(200)의 위치를 계산할 수 있다. 예를 들어, 외부 장치(200)가 복수의 IR 발신부를 포함하는 경우, 위치 측정 엔진(320)은 요청 신호를 전송한 시간과 복수의 IR 발신부로부터 전송된 위치 측정 신호가 수신된 시간에 기초하여 외부 장치(200)와 전자 장치(100) 사이의 거리에 대한 정보를 획득할 수 있다. 또한, 위치 측정 엔진(320)은 복수의 IR 발신부로부터 전송된 위치 측정 신호들 사이의 시간 차에 기초하여 전자 장치(100)로부터 외부 장치(200)가 위치하는 방향에 대한 정보를 획득할 수 있다. 그러나, 상술한 바와 같이, 복수의 IR 발신부를 통해 외부 장치(200)의 위치에 대한 정보를 획득하는 것은 일 실시예에 불과할 뿐, 다양한 방법으로 통신 모듈을 통해 수신된 신호에 기초하여 외부 장치(200)의 위치에 대한 정보를 획득할 수 있다.
디스플레이 엔진(330)은 외부 장치(200)로부터 수신된 신호에 기초하여 디스플레이(110)에 포함된 UI를 처리하여 표시할 수 있다.
디스플레이 엔진(330)은 제어 신호에 기초하여 UI에 포함된 복수의 UI 엘리먼트 중 하이라이트가 위치하는 UI 엘리먼트를 식별할 수 있다. 예를 들어, 하이라이트를 오른쪽으로 이동하는 제어 신호가 수신되면, 디스플레이 엔진(330)은 제어 신호가 수신되기 전 하이라이트가 위치하는 UI 엘리먼트의 우측에 위치하는 UI 엘리먼트를 하이라이트가 위치하는 UI 엘리먼트로 식별할 수 있다.
또한, 디스플레이 엔진(330)은 위치 측정 엔진(320)에 의해 획득된 외부 장치(200)의 위치에 대한 정보에 기초하여 하이라이트가 위치하는 UI 엘리먼트의 크기 및 형상 중 적어도 하나를 변경할 수 있다. 디스플레이 엔진(330)은 외부 장치(200)와 전자 장치(100) 사이의 거리에 기초하여 하이라이트가 위치하는 UI 엘리먼트에 포함된 텍스트의 크기를 식별하며, 식별된 텍스트의 크기에 기초하여 하이라이트가 위치하는 UI 엘리먼트의 크기를 조절하여 표시할 수 있다. 특히, 외부 장치(200)와 전자 장치(100) 사이의 거리가 제1 거리로 판단되면, 디스플레이 엔진(330)은 하이라이트가 위치하는 UI 엘리먼트에 포함된 텍스트의 크기를 제1 크기로 식별할 수 있다. 외부 장치(200)와 전자 장치(100) 사이의 거리가 제1 거리보다 먼 제2 거리로 판단되면, 디스플레이 엔진(330)은 하이라이트가 위치하는 UI 엘리먼트에 포함된 텍스트의 크기를 제1 크기보다 큰 제2 크기로 식별할 수 있다. 즉, 디스플레이 엔진(330)은 외부 장치(200)와 전자 장치(100) 사이의 거리가 멀수록 UI 엘리먼트에 포함된 텍스트의 크기를 증가시키므로, UI 엘리먼트의 크기 역시 증가시킬 수 있다.
뿐만 아니라, 디스플레이 엔진(330)은 사용자에 대한 시력 정보 및 외부 장치(200)와 전자 장치(100) 사이의 거리에 기초하여 하이라이트가 위치하는 UI 엘리먼트에 포함된 텍스트의 크기를 식별할 수 있다. 이때, 사용자에 대한 시력 정보는 외부 장치(200)로부터 전송되거나 사용자 이동 학습 엔진(340)을 통해 예측될 수 있다.
또한, 외부 장치(200)가 전자 장치(100)의 좌측에 위치하는 것으로 판단되면, 디스플레이 엔진(330)은 하이라이트가 위치하는 UI 엘리먼트를 왼쪽으로 회전시켜 표시하며, 외부 장치(200)가 전자 장치(100)의 우측에 위치하는 것으로 판단되면, 디스플레이 엔진(330)은 하이라이트가 위치하는 UI 엘리먼트를 오른쪽으로 회전시켜 표시할 수 있다.
사용자 이동 학습 엔진(340)은 외부 장치(200)로부터 제어 신호가 수신될 때, 사용자의 움직임을 학습하여 사용자에 대한 시력 정보를 예측할 수 있다. 예를 들어, 사용자 이동 학습 엔진(340)은 외부 장치(200)를 이용하여 전자 장치(100)를 제어할 때 전자 장치(100)에 포함된 카메라 또는 외부 장치(200)로부터 수신되는 위치 측정 신호에 기초하여 전자 장치(100)와 사용자 사이의 거리를 측정할 수 있다. 즉, 사용자 이동 학습 엔진(340)은 외부 장치(200)를 이용하여 전자 장치(100)를 제어할 때, 사용자가 전자 장치(100)로 다가오는지 여부를 측정할 수 있다. 사용자 이동 학습 엔진(340)은 외부 장치(200)를 이용하여 전자 장치(100)를 제어할 때 디스플레이(110) 상에 표시된 텍스트의 크기와 사용자의 움직임(즉, 전자 장치(100) 및 사용자 사이의 거리)에 기초하여 사용자에 대한 시력 정보를 예측할 수 있다. 예로, 디스플레이 표시된 텍스트의 크기가 10이고, 사용자(외부 장치(200))와 전자 장치(100) 사이의 거리가 3m인 경우, 사용자 이동 학습 엔진(340)은 사용자의 시력을 1.0으로 예측할 수 있으며, 디스플레이 표시된 텍스트의 크기가 10이고, 사용자(외부 장치(200))와 전자 장치(100) 사이의 거리가 2m인 경우, 사용자 이동 학습 엔진(340)은 사용자의 시력을 0.5로 예측할 수 있다.
도 4는 본 개시의 일 실시예에 따른, 외부 장치의 위치에 따라 하이라이트가 표시된 UI 엘리먼트를 조절하기 위한 시스템의 제어 방법을 설명하기 위한 시퀀스도이다.
우선, 전자 장치(100)는 UI를 디스플레이할 수 있다(S410). 이때, UI는 전자 장치(100)의 설정을 변경하기 위한 UI, 현재 표시되는 컨텐츠의 설정을 변경하기 위한 UI, 다른 컨텐츠를 선택하기 위한 UI 등과 같은 다양한 UI로 구현될 수 있다. 또한, UI는 복수의 UI 엘리먼트를 포함할 수 있으며, 복수의 UI 엘리먼트 중 하나에 사용자가 선택하기 위한 하이라이트가 위치할 수 있다.
외부 장치(200)는 제어 명령을 입력받을 수 있다(S420). 이때, 제어 명령은 UI에 표시된 하이라이트를 조작하기 위한 제어 명령일 수 있으나, 이는 일 실시예에 불과할 뿐, 다른 제어 명령일 수 있다. 예로, 전자 장치(100)가 UI를 디스플레이하지 않고 컨텐츠만 표시하는 경우, 제어 명령은 컨텐츠 상에 UI를 표시하도록 제어하는 명령일 수 있다.
외부 장치(200)는 제어 명령에 따라 생성된 제어 신호를 전자 장치(100)로 전송할 수 있다(S430).
제어 신호가 수신되면, 전자 장치(100)는 위치 측정 신호를 요청하는 신호를 전송할 수 있다(S440). 외부 장치(200)는 요청 신호에 응답하여 위치 측정 신호를 전자 장치(100)로 전송할 수 있다(S450). 한편, 수신된 제어 신호가 현재 화면을 변경하기 위한 제어 신호가 아닌 경우(예로, 음소거 명령 등), 전자 장치(100)는 위치 측정 신호를 요청하는 신호를 외부 장치(200)로 전송하지 않을 수 있다.
또한, 전자 장치(100)의 통신 모듈 중 제어 신호를 통해 위치 측정이 가능한 통신 모듈이 존재하는 경우, S440 단계 및 S450 단계는 생략될 수 있다. S440 단계 및 S450 단계가 생략된 경우, 전자 장치(100)는 제어 신호에 기초하여 외부 장치(200)에 대한 정보를 획득할 수 있다.
전자 장치(100)는 위치 측정 신호에 기초하여 외부 장치(200)의 위치에 대한 정보를 획득할 수 있다(S460). 이때, 전자 장치(100)는 전자 장치(100)와 외부 장치(200) 사이의 거리에 대한 정보 및 전자 장치(100)를 기준으로 외부 장치(200)가 위치하는 방향에 대한 정보를 획득할 수 있다.
전자 장치(100)는 제어 신호에 기초하여 복수의 UI 엘리먼트 중 하이라이트가 위치하는 제1 UI 엘리먼트를 식별할 수 있다(S470). 즉, 전자 장치(100)는 제어 신호에 포함된 제어 명령에 따라 복수의 UI 엘리먼트 중 하이라이트가 위치하는 제1 UI 엘리먼트를 식별할 수 있다. 예로, 제어 신호에 하이라이트를 제1 방향으로 이동하라는 제어 명령이 포함된 경우, 전자 장치(100)는 제어 신호가 수신되기 전 하이라이트가 위치하는 UI 엘리먼트로부터 제1 방향에 위치하는 제1 UI 엘리먼트를 하이라이트가 위치하는 UI 엘리먼트로 식별할 수 있다.
전자 장치(100)는 외부 장치(200)의 위치에 대한 정보에 기초하여 제1 UI 엘리먼트의 크기 및 형태 중 적어도 하나를 조절하여 표시할 수 있다(S480).
이에 대해서는 도 5 내지 도 7b를 참조하여 상세히 설명하기로 한다.
도 5는 본 개시의 일 실시예에 따른, 전자 장치와 외부 장치 사이의 거리에 따라 하이라이트가 표시된 UI 엘리먼트의 크기를 조절하기 위한 방법을 설명하기 위한 도면이다.
전자 장치(100)는 도 5의 상단에 도시된 바와 같이, 컨텐츠 영상 상에 UI(510)를 표시할 수 있다. 그리고, 위치 측정 신호에 기초하여 전자 장치(100)와 외부 장치(200) 사이의 거리가 제1 거리(D1)라고 판단되면, 전자 장치(100)는 제1 거리(D1)에 대응되는 텍스트의 제1 크기를 식별하고, 제1 크기의 텍스트를 포함하도록 제1 UI 엘리먼트(520)의 크기를 조절하여 UI(510) 상에 표시할 수 있다. 위치 측정 신호에 기초하여 전자 장치(100)와 외부 장치(200) 사이의 거리가 제1 거리(D1)보다 먼 제2 거리(D2)라고 판단되면, 전자 장치(100)는 제2 거리(D2)에 대응되는 텍스트의 제2 크기(이때, 제2 크기는 제1 크기보다 큼)를 식별하고, 제2 크기의 텍스트를 포함하도록 제1 UI 엘리먼트(530)의 크기를 조절하여 UI(510) 상에 표시할 수 있다. 위치 측정 신호에 기초하여 전자 장치(100)와 외부 장치(200) 사이의 거리가 제1 거리(D1) 및 제2 거리(D2)보다 먼 제3 거리(D3)라고 판단되면, 전자 장치(100)는 제3 거리(D3)에 대응되는 텍스트의 제3 크기(이때, 제3 크기는 제1 크기 및 제2 크기보다 큼)를 식별하고, 제3 크기의 텍스트를 포함하도록 제1 UI 엘리먼트(540)의 크기를 조절하여 UI(510) 상에 표시할 수 있다.
즉, 전자 장치(100)는 전자 장치(100)와 외부 장치(200) 사이의 거리가 멀어질수록 하이라이트가 위치하는 제1 UI 엘리먼트에 포함된 텍스트의 크기를 증가시킬 수 있으며, 이에 의해 제1 UI 엘리먼트의 크기 역시 증가시킬 수 있다.
일 실시예로, 전자 장치(100)는 전자 장치(100)와 외부 장치(200)의 사이의 거리에 따라 선형적으로 제1 UI 엘리먼트(또는 제1 UI 엘리먼트 내에 포함된 텍스트)의 크기를 증가시킬 수 있으나, 이는 일 실시예에 불과할 뿐, 전자 장치(100)와 외부 장치(200) 사이의 거리에 따라 단계적으로 제1 UI 엘리먼트의 크기를 증가시킬 수 있다. 예로, 전자 장치(100)와 외부 장치(200)의 사이의 거리가 제1 거리(D1) 미만인 경우, 전자 장치(100)는 기설정된 크기의 텍스트를 포함하도록 제1 UI 엘리먼트의 크기를 조절하며, 전자 장치(100)와 외부 장치(200)의 사이의 거리가 제1 거리(D1) 이상 제2 거리 미만(D2)인 경우, 전자 장치(100)는 제1 크기의 텍스트를 포함하도록 제1 UI 엘리먼트의 크기를 조절하며, 전자 장치(100)와 외부 장치(200)의 사이의 거리가 제2 거리(D2) 이상 제3 거리 미만(D3)인 경우, 전자 장치(100)는 제2 크기의 텍스트를 포함하도록 제1 UI 엘리먼트의 크기를 조절하며, 전자 장치(100)와 외부 장치(200)의 사이의 거리가 제3 거리(D3) 이상인 경우, 전자 장치(100)는 제3 크기의 텍스트를 포함하도록 제1 UI 엘리먼트의 크기를 조절할 수 있다.
또한, 전자 장치(100)는 단순히 전자 장치(100)와 외부 장치(200)의 사이의 거리뿐만 아니라 사용자의 시력에 대한 정보에 기초하여 UI 엘리먼트에 포함된 텍스트의 크기를 식별할 수 있다. 예를 들어, 전자 장치(100)와 외부 장치(200)의 사이의 거리가 D1이나 제1 사용자의 시력이 1.0인 경우, 전자 장치(100)는 제1 크기의 텍스트를 포함하도록 제1 UI 엘리먼트의 크기를 조절할 수 있다. 그러나, 전자 장치(100)와 외부 장치(200)의 사이의 거리가 D1이나 제2 사용자의 시력이 0.5인 경우, 전자 장치(100)는 제1 크기보다 큰 제2 크기의 텍스트를 포함하도록 제1 UI 엘리먼트의 크기를 조절할 수 있다. 이때, 사용자의 시력에 대한 정보는 외부 장치(200)로부터 수신될 수 있으나, 이는 일 실시예에 불과할 뿐, 사용자 이동 학습 엔진(340)에 의해 예측될 수 있음은 물론이다.
한편, 상술한 실시예에서는 UI 엘리먼트 내에 텍스트가 포함되는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, UI 엘리먼트 내에 기호, 아이콘, 썸네일 이미지 등이 포함될 수 있음은 물론이다. 따라서, 전자 장치(100)는 전자 장치(100)와 외부 장치(200) 사이의 거리에 기초하여 하이라이트가 위치하는 UI 엘리먼트에 포함된 기호, 아이콘, 썸네일 이미지 중 적어도 하나의 크기를 조절할 수 있다.
도 6a 및 도 6b는 본 개시의 일 실시예에 따른, 외부 장치가 위치하는 방향에 따라 하이라이트가 표시된 UI 엘리먼트의 형상을 조절하기 위한 방법을 설명하기 위한 도면이다.
도 6a에 도시된 바와 같이, 위치 측정 신호에 기초하여 외부 장치(200)가 전자 장치(100)의 좌측에 위치하는 것으로 판단되면, 전자 장치(100)는 도 6a에 도시된 바와 같이, UI(610) 내에 포함된 하이라이트가 위치하는 제1 UI 엘리먼트(620)를 좌측으로 회전시켜 표시할 수 있다. 즉, 전자 장치(100)는 제1 UI 엘리먼트(620)가 좌측으로 회전한 것과 같은 이미지 효과를 제공하기 위하여 제1 UI 엘리먼트(620)의 형상을 조절하여 표시할 수 있다.
도 6b에 도시된 바와 같이, 위치 측정 신호에 기초하여 외부 장치(200)가 전자 장치(100)의 우측에 위치하는 것으로 판단되면, 전자 장치(100)는 도 6b에 도시된 바와 같이, UI(610) 내에 포함된 하이라이트가 위치하는 제1 UI 엘리먼트(630)를 우측으로 회전시켜 표시할 수 있다. 즉, 전자 장치(100)는 제1 UI 엘리먼트(630)가 좌측으로 회전한 것과 같은 이미지 효과를 제공하기 위하여 제1 UI 엘리먼트(630)의 형상을 조절하여 표시할 수 있다.
이와 같이, 제1 UI 엘리먼트(620,630)가 좌측 또는 우측으로 회전한 것과 같은 이미지 효과를 제공함으로써, 사용자는 제1 UI 엘리먼트(620,630)에 원근감 효과를 제공할 수 있다.
한편, 전자 장치(100)는 제어 신호가 수신된 이후 실시간으로 수신되는 위치 측정 신호에 기초하여 실시간으로 외부 장치(200)의 위치에 대한 정보를 획득하며, 외부 장치(200)의 위치에 대한 정보에 기초하여 제1 UI 엘리먼트의 크기 및 형태 중 적어도 하나를 실시간으로 조절하여 표시할 수 있으나, 이는 일 실시예에 불과할 뿐, 전자 장치(100)는 제어 신호가 수신되는 경우, 전자 장치(100)는 제어 신호에 이은 위치 측정 신호에 기초하여 외부 장치(200)의 위치에 대한 정보를 획득하며, 외부 장치(200)의 위치에 대한 정보에 기초하여 제1 UI 엘리먼트의 크기 및 형태 중 적어도 하나를 조절하여 표시할 수 있다. 그리고, 다음 제어 신호가 수신되기 전까지 전자 장치(100)는 외부 장치(200)가 이동하도록 기존의 외부 장치(200)의 위치에 대한 정보에 기초하여 제1 UI 엘리먼트의 크기 및 형태를 유지할 수 있다.
한편, 전자 장치(100)와 외부 장치(200) 사이의 거리가 멀어질수록 하이라이트가 위치하는 제1 UI 엘리먼트의 크기가 증가될 수 있다. 이와 같이 제1 UI 엘리먼트의 크기 증가로 인해 다른 UI 엘리먼트의 적어도 일부가 표시되지 않을 수 있다. 이 경우, 사용자는 제1 UI 엘리먼트에 의해 가려진 다른 UI 엘리먼트의 일부를 확인할 수 없는 불편함이 존재할 수 있다.
본 개시의 일 실시예로, 전자 장치(100)는 도 7a에 도시된 바와 같이, UI(710) 내에 포함된 다른 UI 엘리먼트와 중첩된 제1 UI 엘리먼트(720)를 반투명하게 표시할 수 있다. 또 다른 실시예로, 전자 장치(100)는 도 7b에 도시된 바와 같이, UI(730)에 포함된 하이라이트가 위치하는 제1 UI 엘리먼트(740) 이외에 적어도 일부의 UI 엘리먼트(750-1,750-2)의 크기 및 위치 중 적어도 하나를 변경시켜 표시할 수 있다.
도 8은 본 개시의 일 실시예에 따른, 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
전자 장치(100)는 복수의 UI 엘리먼트를 포함하는 UI를 표시할 수 있다(S810).
전자 장치(100)는 외부 장치(200)로부터 제어 신호를 수신할 수 있다(S820). 이때, 제어 신호는 복수의 UI 엘리먼트 중 하나에 표시된 하이라이트를 이동시키기 위한 제어 신호일 수 있다.
전자 장치(100)는 위치 측정 신호를 요청하기 위한 요청 신호를 전송할 수 있다(S830).
전자 장치(100)는 외부 장치(200)로부터 위치 측정 신호를 수신할 수 있다(S840).
전자 장치(100)는 위치 측정 신호에 기초하여 외부 장치(200)의 위치에 대한 정보를 획득할 수 있다(S850).
전자 장치(100)는 제어 신호에 기초하여 복수의 UI 엘리먼트 중 하이라이트가 위치하는 제1 UI 엘리먼트를 식별할 수 있다(S860).
전자 장치(100)는 외부 장치(200)의 위치에 대한 정보에 기초하여 제1 UI 엘리먼트의 크기 및 형태 중 적어도 하나를 조절하여 표시할 수 잇다(S870).
전자 장치(100)는 외부 장치(200)와 전자 장치(100) 사이의 거리에 기초하여 하이라이트가 위치하는 제1 UI 엘리먼트에 포함된 텍스트의 크기를 식별할 수 있다. 그리고, 전자 장치(100)는 식별된 텍스트의 크기에 기초하여 제1 UI 엘리먼트의 크기를 조절하여 표시할 수 있다. 예로, 외부 장치(200)와 전자 장치(100) 사이의 거리가 제1 거리로 판단되면, 전자 장치(100)는 제1 UI 엘리먼트에 포함된 텍스트의 크기를 제1 크기로 식별할 수 있다. 다른 예로, 외부 장치(200)와 전자 장치(100) 사이의 거리가 제1 거리보다 먼 제2 거리로 판단되면, 전자 장치(100)는 제1 UI 엘리먼트에 포함된 텍스트의 크기를 제1 크기보다 큰 제2 크기로 식별할 수 있다.
또한, 전자 장치(100)는 외부 장치(200)로부터 외부 장치(200)를 사용하는 사용자에 대한 시력 정보를 수신할 수 있다. 그리고, 전자 장치(100)는 사용자에 대한 시력 정보 및 외부 장치(200)와 전자 장치(100) 사이의 거리에 기초하여 제1 UI 엘리먼트에 포함된 텍스트의 크기를 식별할 수 있다.
또는 전자 장치(100)는 외부 장치(200)를 이용하여 전자 장치(100)를 제어할 때 디스플레이(110) 상에 표시된 텍스트의 크기와 전자 장치(200) 및 사용자 사이의 거리에 기초하여 사용자에 대한 시력 정보를 예측할 수 있다. 그리고, 전자 장치(100)는 예측된 사용자에 대한 시력 정보 및 외부 장치(200)와 전자 장치(100) 사이의 거리에 기초하여 제1 UI 엘리먼트에 포함된 텍스트의 크기를 식별할 수 있다.
또한, 외부 장치(200)가 전자 장치(100)의 좌측에 위치하는 것으로 판단되면, 전자 장치(100)는 제1 UI 엘리먼트를 왼쪽으로 회전시켜 표시할 수 있다. 또는, 외부 장치(200)가 전자 장치(100)의 우측에 위치하는 것으로 판단되면, 전자 장치(100)는 제1 UI 엘리먼트를 오른쪽으로 회전시켜 표시할 수 있다.
또한, 컨텐츠에 대한 영상 상에 상기 UI가 표시된 경우, 제1 레이어에 상기 컨텐츠에 대한 영상가 표시되며, 제2 레이어에 상기 UI가 표시될 수 있다. 이때, 전자 장치(100)는 제1 레이어 상에 표시된 컨텐츠에 대한 영상을 유지하는 동안 외부 장치(200)의 위치에 대한 정보에 기초하여 제2 레이어 상에 표시된 제1 UI 엘리먼트의 크기 및 형태 중 적어도 하나를 조절하여 표시할 수 있다.
또한, 전자 장치(100)는 위치 측정 신호에 기초하여 실시간으로 외부 장치(200)의 위치에 대한 정보를 획득하며, 외부 장치의 위치에 대한 정보에 기초하여 제1 UI 엘리먼트의 크기 및 형태 중 적어도 하나를 실시간으로 조절하여 표시할 수 있다.
또한, 본 개시의 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
본 개시의 다양한 실시 예에 따른 방법은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치를 포함할 수 있다.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접 또는 상기 프로세서의 제어 하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    외부 장치와 통신을 수행하기 위한 통신 인터페이스;
    디스플레이;
    적어도 하나의 인스트럭션을 저장하는 메모리; 및
    상기 통신 인터페이스, 상기 디스플레이 및 상기 메모리와 연결되는 프로세서;를 포함하며,
    상기 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함으로써,
    상기 디스플레이에 의해 복수의 UI 엘리먼트를 포함하는 UI를 표시하는 동안 상기 외부 장치로 제어 신호가 수신되면, 위치 측정 신호를 요청하기 위한 요청 신호를 상기 외부 장치로 전송하도록 상기 통신 인터페이스를 제어하며,
    상기 외부 장치로부터 위치 측정 신호가 수신되면, 상기 위치 측정 신호에 기초하여 상기 외부 장치의 위치에 대한 정보를 획득하며,
    상기 제어 신호에 기초하여 상기 복수의 UI 엘리먼트 중 하이라이트가 위치하는 제1 UI 엘리먼트를 식별하며,
    상기 외부 장치의 위치에 대한 정보에 기초하여 상기 표시되는 제1 UI 엘리먼트의 크기 및 형태 중 적어도 하나를 조절하여 표시하도록 상기 디스플레이를 제어하는 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함으로써,
    상기 외부 장치와 상기 전자 장치 사이의 거리에 기초하여 상기 제1 UI 엘리먼트에 포함된 텍스트의 크기를 식별하며,
    상기 식별된 텍스트의 크기에 기초하여 상기 표시되는 제1 UI 엘리먼트의 크기를 조절하여 표시하도록 상기 디스플레이를 제어하는 전자 장치.
  3. 제2항에 있어서,
    상기 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함으로써,
    상기 외부 장치와 상기 전자 장치 사이의 거리가 제1 거리로 판단되면, 상기 제1 UI 엘리먼트에 포함된 텍스트의 크기를 제1 크기로 식별하며,
    상기 외부 장치와 상기 전자 장치 사이의 거리가 상기 제1 거리보다 먼 제2 거리로 판단되면, 상기 제1 UI 엘리먼트에 포함된 텍스트의 크기를 상기 제1 크기보다 큰 제2 크기로 식별하는 전자 장치.
  4. 제2항에 있어서,
    상기 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함으로써,
    상기 통신 인터페이스를 통해 상기 외부 장치로부터 사용자에 대한 시력 정보를 수신하며,
    상기 사용자에 대한 시력 정보 및 상기 외부 장치와 상기 전자 장치 사이의 거리에 기초하여 상기 제1 UI 엘리먼트에 포함된 텍스트의 크기를 식별하는 전자 장치.
  5. 제4항에 있어서,
    상기 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함으로써,
    상기 디스플레이 상에 표시된 텍스트의 크기와 상기 전자 장치 및 상기 외부 장치의 사용자 사이의 거리에 기초하여 상기 사용자에 대한 시력 정보를 예측하고,
    상기 예측된 사용자에 대한 시력 정보 및 상기 외부 장치와 상기 전자 장치 사이의 거리에 기초하여 상기 제1 UI 엘리먼트에 포함된 텍스트의 크기를 식별하는 전자 장치.
  6. 제1항에 있어서,
    상기 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함으로써,
    상기 외부 장치가 상기 전자 장치의 좌측에 위치하는 것으로 판단되면, 상기 제1 UI 엘리먼트를 왼쪽으로 회전시켜 표시하도록 상기 디스플레이를 제어하며,
    상기 외부 장치가 상기 전자 장치의 우측에 위치하는 것으로 판단되면, 상기 제1 UI 엘리먼트를 오른쪽으로 회전시켜 표시하도록 상기 디스플레이를 제어하는 전자 장치.
  7. 제1항에 있어서,
    상기 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함으로써,
    컨텐츠에 대한 영상 상에 상기 UI가 표시된 경우, 제1 레이어에 상기 컨텐츠에 대한 영상을 표시하며, 제2 레이어에 상기 UI를 표시하도록 상기 디스플레이를 제어하며,
    상기 제1 레이어 상에 표시된 상기 컨텐츠에 대한 영상을 유지하는 동안 상기 외부 장치의 위치에 대한 정보에 기초하여 상기 제2 레이어 상에 표시된 상기 제1 UI 엘리먼트의 크기 및 형태 중 적어도 하나를 조절하도록 상기 디스플레이를 제어하는 전자 장치.
  8. 제1항에 있어서,
    상기 제어 신호는,
    상기 복수의 UI 엘리먼트 중 하나의 UI 엘리먼트에 표시된 하이라이트를 이동시키기 위한 제어 신호인 전자 장치.
  9. 제1항에 있어서,
    상기 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함으로써,
    상기 위치 측정 신호에 기초하여 실시간으로 상기 외부 장치의 위치에 대한 정보를 획득하며,
    상기 외부 장치의 위치에 대한 정보에 기초하여 상기 표시된 제1 UI 엘리먼트의 크기 및 형태 중 적어도 하나를 실시간으로 조절하여 표시하도록 상기 디스플레이를 제어하는 전자 장치.
  10. 전자 장치의 제어 방법에 있어서,
    복수의 UI 엘리먼트를 포함하는 UI를 표시하는 동안 외부 장치로 제어 신호가 수신되면, 위치 측정 신호를 요청하기 위한 요청 신호를 상기 외부 장치로 전송하는 단계;
    상기 외부 장치로부터 위치 측정 신호가 수신되면, 상기 위치 측정 신호에 기초하여 상기 외부 장치의 위치에 대한 정보를 획득하는 단계; 및
    상기 제어 신호에 기초하여 상기 복수의 UI 엘리먼트 중 하이라이트가 위치하는 제1 UI 엘리먼트를 식별하며, 상기 외부 장치의 위치에 대한 정보에 기초하여 상기 표시되는 제1 UI 엘리먼트의 크기 및 형태 중 적어도 하나를 조절하여 표시하는 단계;를 포함하는 제어 방법.
  11. 제10항에 있어서,
    상기 표시하는 단계는,
    상기 외부 장치와 상기 전자 장치 사이의 거리에 기초하여 상기 제1 UI 엘리먼트에 포함된 텍스트의 크기를 식별하는 단계; 및
    상기 식별된 텍스트의 크기에 기초하여 상기 제1 UI 엘리먼트의 크기를 조절하여 표시하는 단계;를 포함하는 제어 방법.
  12. 제11항에 있어서,
    상기 식별하는 단계는,
    상기 외부 장치와 상기 전자 장치 사이의 거리가 제1 거리로 판단되면, 상기 제1 UI 엘리먼트에 포함된 텍스트의 크기를 제1 크기로 식별하며,
    상기 외부 장치와 상기 전자 장치 사이의 거리가 상기 제1 거리보다 먼 제2 거리로 판단되면, 상기 제1 UI 엘리먼트에 포함된 텍스트의 크기를 상기 제1 크기보다 큰 제2 크기로 식별하는 제어 방법.
  13. 제11항에 있어서,
    상기 제어 방법은,
    상기 외부 장치로부터 상기 외부 장치를 사용하는 사용자에 대한 시력 정보를 수신하는 단계;를 포함하며,
    상기 식별하는 단계는,
    상기 사용자에 대한 시력 정보 및 상기 외부 장치와 상기 전자 장치 사이의 거리에 기초하여 상기 제1 UI 엘리먼트에 포함된 텍스트의 크기를 식별하는 제어 방법.
  14. 제11항에 있어서,
    상기 제어 방법은,
    상기 외부 장치를 이용하여 상기 전자 장치를 제어할 때 상기 디스플레이 상에 표시된 텍스트의 크기와 상기 전자 장치 및 상기 사용자 사이의 거리에 기초하여 상기 사용자에 대한 시력 정보를 예측하는 단계;를 포함하며,
    상기 식별하는 단계는,
    상기 예측된 사용자에 대한 시력 정보 및 상기 외부 장치와 상기 전자 장치 사이의 거리에 기초하여 상기 제1 UI 엘리먼트에 포함된 텍스트의 크기를 식별하는 제어 방법.
  15. 제10항에 있어서,
    상기 표시하는 단계는,
    상기 외부 장치가 상기 전자 장치의 좌측에 위치하는 것으로 판단되면, 상기 제1 UI 엘리먼트를 왼쪽으로 회전시켜 표시하며,
    상기 외부 장치가 상기 전자 장치의 우측에 위치하는 것으로 판단되면, 상기 제1 UI 엘리먼트를 오른쪽으로 회전시켜 표시하는 제어 방법.
PCT/KR2023/012104 2022-11-09 2023-08-16 전자 장치 및 이의 제어 방법 WO2024101606A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/378,353 US20240152250A1 (en) 2022-11-09 2023-10-10 Electronic apparatus and controlling method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220149016A KR20240067701A (ko) 2022-11-09 2022-11-09 전자 장치 및 이의 제어 방법
KR10-2022-0149016 2022-11-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/378,353 Continuation US20240152250A1 (en) 2022-11-09 2023-10-10 Electronic apparatus and controlling method thereof

Publications (1)

Publication Number Publication Date
WO2024101606A1 true WO2024101606A1 (ko) 2024-05-16

Family

ID=91033181

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/012104 WO2024101606A1 (ko) 2022-11-09 2023-08-16 전자 장치 및 이의 제어 방법

Country Status (2)

Country Link
KR (1) KR20240067701A (ko)
WO (1) WO2024101606A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140091289A (ko) * 2013-01-11 2014-07-21 엘지전자 주식회사 휴대 단말기 및 그 제어 방법
KR20150022303A (ko) * 2013-08-22 2015-03-04 에스케이플래닛 주식회사 위치 기반 아이콘 디스플레이 서비스를 제공하는 사용자 장치, 서비스 장치, 그 서비스 제공 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR20170022074A (ko) * 2015-08-19 2017-03-02 삼성전자주식회사 Ui 제공 방법 및 이를 적용한 디스플레이 장치
KR101803407B1 (ko) * 2016-10-19 2017-11-30 주식회사 픽셀 디스플레이 디스플레이를 제어하기 위한 사용자 장치 및 컴퓨터 판독 가능 저장 매체에 저장된 프로그램
KR20190069870A (ko) * 2017-12-12 2019-06-20 삼성전자주식회사 디스플레이장치, 그 제어방법 및 기록매체

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140091289A (ko) * 2013-01-11 2014-07-21 엘지전자 주식회사 휴대 단말기 및 그 제어 방법
KR20150022303A (ko) * 2013-08-22 2015-03-04 에스케이플래닛 주식회사 위치 기반 아이콘 디스플레이 서비스를 제공하는 사용자 장치, 서비스 장치, 그 서비스 제공 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR20170022074A (ko) * 2015-08-19 2017-03-02 삼성전자주식회사 Ui 제공 방법 및 이를 적용한 디스플레이 장치
KR101803407B1 (ko) * 2016-10-19 2017-11-30 주식회사 픽셀 디스플레이 디스플레이를 제어하기 위한 사용자 장치 및 컴퓨터 판독 가능 저장 매체에 저장된 프로그램
KR20190069870A (ko) * 2017-12-12 2019-06-20 삼성전자주식회사 디스플레이장치, 그 제어방법 및 기록매체

Also Published As

Publication number Publication date
KR20240067701A (ko) 2024-05-17

Similar Documents

Publication Publication Date Title
WO2016060480A1 (en) Electronic device and method for spoken interaction thereof
WO2014107006A1 (en) Display apparatus and control method thereof
WO2019226027A1 (en) Display device including scan driver for driving display panel in which empty area enclosed by display area is formed
WO2015046837A1 (ko) 컨텐츠 공유 장치 및 방법
WO2014142557A1 (en) Electronic device and method for processing image
WO2019098696A1 (en) Display device and method for controlling independently by a group of pixels
WO2020184935A1 (en) Electronic apparatus and method for controlling thereof
WO2019164248A1 (en) Method for adaptively controlling low power display mode and electronic device thereof
WO2020159185A1 (en) Electronic device and control method thereof
WO2022108192A1 (ko) 전자 장치 및 전자 장치의 멀티윈도우 제어방법
WO2022030890A1 (ko) 다중 윈도우 이미지 캡쳐 방법 및 이를 위한 전자 장치
WO2024101606A1 (ko) 전자 장치 및 이의 제어 방법
WO2015072816A1 (ko) 디스플레이 장치 및 제어 방법
WO2017119735A1 (en) Display device and operation method thereof
WO2021054511A1 (ko) 전자 장치 및 그 제어 방법
WO2022086272A1 (ko) 사용자 인터페이스를 제공하는 전자 장치 및 그 방법
WO2020159111A1 (ko) 엣지 컴퓨팅 환경에서 데이터를 전처리하는 전자 장치 및 그 제어 방법
WO2019177437A1 (ko) 화면 제어 방법 및 이를 지원하는 전자 장치
WO2024090772A1 (ko) 디스플레이 장치 및 그 제어 방법
WO2024053841A1 (ko) 오동작을 방지하기 위한 원격 제어 장치, 전자 장치 및 그 제어 방법들
WO2024143948A1 (ko) 영상 미러링 시스템 및 방법
WO2024106733A1 (ko) 멀티 뷰 화면에서 외부 디바이스를 제어하는 전자 장치 및 그 제어 방법
WO2024117469A1 (ko) 스트리밍을 지원하는 전자 장치 및 그 제어 방법
WO2024117547A1 (ko) 복수의 외부 장치에 대한 온보딩을 수행하는 전자 장치 및 이의 제어 방법
WO2022055161A1 (ko) 전자 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23888873

Country of ref document: EP

Kind code of ref document: A1