WO2024085368A1 - 전자 장치 및 그 동작 방법 - Google Patents

전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
WO2024085368A1
WO2024085368A1 PCT/KR2023/010598 KR2023010598W WO2024085368A1 WO 2024085368 A1 WO2024085368 A1 WO 2024085368A1 KR 2023010598 W KR2023010598 W KR 2023010598W WO 2024085368 A1 WO2024085368 A1 WO 2024085368A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
electronic device
control device
output
identification signal
Prior art date
Application number
PCT/KR2023/010598
Other languages
English (en)
French (fr)
Inventor
이기성
성기범
윤상기
장용석
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020230009258A external-priority patent/KR20240054138A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2024085368A1 publication Critical patent/WO2024085368A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Definitions

  • Various disclosed embodiments relate to an electronic device and a method of operating the same, and more specifically, to an electronic device that provides highly visible content to a user and a method of operating the same.
  • Electronic devices can output various contents.
  • an electronic device can output game content such as metaverse content.
  • a user can use game content using a control device 150 such as a remote control.
  • each of a plurality of users can enjoy game content by controlling each individual content displayed on the screen of the electronic device using a separate control device.
  • electronic devices require technology to output content in consideration of the locations of multiple users and/or the virtual space of each metaverse content.
  • An electronic device may include a display, a memory that stores one or more instructions, and one or more processors that execute one or more instructions stored in the memory.
  • the one or more processors may acquire a plurality of contents including first content and second content by executing the one or more instructions.
  • the one or more processors may identify a positional relationship between a first control device that controls the first content and a second control device that controls the second content by executing the one or more instructions.
  • the one or more processors execute the one or more instructions to display a first partial screen for outputting the first content and a second screen for outputting the second content through the display to correspond to the positional relationship.
  • the plurality of contents can be output by arranging partial screens.
  • FIG. 1 is a diagram illustrating an electronic device outputting multiple contents based on the positional relationship between a plurality of control devices, according to an embodiment.
  • Figure 2 is a block diagram of an electronic device according to an embodiment.
  • FIG. 3 is a block diagram of an electronic device and a control device according to an embodiment.
  • FIG. 4 is a diagram illustrating an electronic device rearranging partial screens to correspond to a change in the positional relationship between control devices, according to an embodiment.
  • FIG. 5 is a diagram illustrating how an electronic device adjusts a partial screen according to the degree of use of the control device, according to an embodiment.
  • FIG. 6 is a diagram illustrating an electronic device outputting a plurality of contents, according to an embodiment.
  • FIG. 7 is a diagram illustrating how an electronic device adjusts the position of a partial screen according to the position of a control device, according to an embodiment.
  • Figure 8 is a block diagram of an electronic device according to an embodiment.
  • Figure 9 is a block diagram of a server according to an embodiment.
  • FIG. 10 is a diagram illustrating an electronic device outputting individual content and integrated content, according to an embodiment.
  • FIG. 11 is a flowchart illustrating a method of operating an electronic device according to an embodiment.
  • Figure 12 is a flowchart showing a method of operating an electronic device according to an embodiment.
  • FIG. 13 is a flowchart illustrating a method by which an electronic device identifies the location of a control device, according to an embodiment.
  • FIG. 14 is a flowchart illustrating a case where an electronic device requests a control device to output an identification signal when an event occurs, according to an embodiment.
  • FIG. 15 is a flowchart illustrating a case where a control device outputs an identification signal based on a user input, according to an embodiment.
  • FIG. 16 is a flowchart illustrating how an electronic device outputs content received from a server in various ways, according to an embodiment.
  • FIG. 17 is a flowchart illustrating an electronic device outputting an interface screen regarding whether to output integrated content, according to an embodiment.
  • a server that provides content to an electronic device may include a communication unit, a memory that stores one or more instructions, and one or more processors that execute one or more instructions stored in the memory.
  • the one or more processors may transmit a plurality of contents including first content and second content to the electronic device through the communication unit by executing the one or more instructions.
  • the one or more processors execute the one or more instructions to generate integrated content corresponding to the distance between the virtual space of the first content and the virtual space of the second content being less than or equal to a threshold, and the integrated content can be transmitted to the electronic device.
  • a method of operating an electronic device may include acquiring a plurality of contents including first content and second content.
  • a method of operating an electronic device may include outputting the first content through a first partial screen and outputting the second content through a second partial screen.
  • a method of operating an electronic device may include identifying a positional relationship between a first control device that controls the first content and a second control device that controls the second content.
  • a method of operating an electronic device may include outputting the plurality of contents by arranging the first partial screen and the second partial screen to correspond to the positional relationship.
  • the recording medium according to the embodiment is a computer-readable recording medium on which a program capable of performing by a computer a method of operating an electronic device including the step of acquiring a plurality of contents including first content and second content is recorded. You can.
  • the recording medium may perform a method of operating an electronic device, including outputting the first content through a first partial screen and outputting the second content through a second partial screen, by a computer. It may be a computer-readable recording medium on which a program is recorded.
  • the recording medium performs a method of operating an electronic device by a computer, including identifying a positional relationship between a first control device controlling the first content and a second control device controlling the second content. It may be a computer-readable recording medium on which a capable program is recorded.
  • the recording medium may perform a method of operating an electronic device by a computer, including outputting the plurality of contents by arranging the first partial screen and the second partial screen to correspond to the positional relationship. It may be a computer-readable recording medium on which a program is recorded.
  • the expression “at least one of a, b, or c” refers to “a”, “b”, “c”, “a and b”, “a and c”, “b and c”, “a, b and c”, or variations thereof.
  • Some embodiments of the present disclosure may be represented by functional block configurations and various processing steps. Some or all of these functional blocks may be implemented in various numbers of hardware and/or software configurations that perform specific functions.
  • the functional blocks of the present disclosure may be implemented by one or more microprocessors, or may be implemented by circuit configurations for certain functions.
  • functional blocks of the present disclosure may be implemented in various programming or scripting languages.
  • Functional blocks may be implemented as algorithms running on one or more processors.
  • the present disclosure may employ conventional technologies for electronic environment setup, signal processing, and/or data processing. Terms such as “mechanism,” “element,” “means,” and “configuration” may be used broadly and are not limited to mechanical and physical configurations.
  • connection lines or connection members between components shown in the drawings merely exemplify functional connections and/or physical or circuit connections. In an actual device, connections between components may be represented by various replaceable or additional functional connections, physical connections, or circuit connections.
  • ... unit and “module” used in the specification refer to a unit that processes at least one function or operation, which may be implemented as hardware or software, or as a combination of hardware and software. .
  • the term “user” in the specification refers to a person who uses an electronic device and may include a consumer, evaluator, viewer, administrator, or installer.
  • FIG. 1 is a diagram illustrating the electronic device 100 outputting multiple contents based on the positional relationship between a plurality of control devices 150, according to an embodiment.
  • the electronic device 100 may be an image display device capable of outputting images. According to one example, the electronic device 100 may be implemented as various types of electronic devices including a display. The electronic device 100 may be fixed or mobile.
  • the electronic device 100 may include a desktop, a smart phone, a tablet personal computer, a mobile phone, a video phone, an e-book reader, or a laptop PC.
  • personal computer netbook computer, digital camera, PDA (Personal Digital Assistants), PMP (Portable Multimedia Player), camcorder, navigation, wearable device, smart watch, home network system, It may include at least one of a security system and a medical device.
  • the electronic device 100 may be implemented not only as a flat display device, but also as a curved display device, which is a screen with a curvature, or a flexible display device whose curvature can be adjusted.
  • the output resolution of the electronic device 100 may have various resolutions, such as High Definition (HD), Full HD, Ultra HD, or a resolution clearer than Ultra HD.
  • the electronic device 100 can output various types of content provided by content providers.
  • Content may include video such as still images and moving pictures, audio, subtitles, and other additional information.
  • Content providers are terrestrial broadcasting stations, cable broadcasting stations, satellite broadcasting stations, IPTV (Internet Protocol Television) service providers, OTT (Over the Top) service providers, or server operators that provide various types of content to consumers. It may mean, etc.
  • the content provider may include a game content provider that provides game content.
  • game content may include metaverse content.
  • Metaverse can refer to a three-dimensional space platform that allows social, economic, educational, cultural, and scientific and technological activities similar to actual reality through an avatar.
  • Metaverse content may be content representing the virtual space provided by the Metaverse platform.
  • the electronic device 100 may receive and output various contents generated by a content provider through an external device (not shown).
  • external devices may be implemented as various types of source devices such as PCs, set-top boxes, Blu-ray disc players, mobile phones, game consoles, home theaters, audio players, USB, etc.
  • the electronic device 100 may receive and output metaverse content from a game console among external devices.
  • the game console may receive game content from a game server through a network and transmit it to the electronic device 100.
  • the electronic device 100 may be a smart TV.
  • Smart TV may refer to a digital TV equipped with an operating system (OS) and an Internet access function. Smart TV may also be called Internet TV, connected TV, or hybrid TV.
  • OS operating system
  • hybrid TV hybrid TV
  • the electronic device 100 may stream and output content generated by an OTT service provider or game content generated by a game content provider using an operating system mounted therein.
  • the electronic device 100 may execute various types of applications.
  • the electronic device 100 may have various types of apps (applications) installed by default.
  • the electronic device 100 may access the Internet, search for the app requested by the user, and install it under the user's control.
  • the electronic device 100 can run an app to provide various services.
  • the electronic device 100 may run a game app that provides metaverse content, receive game content from a server, and output it.
  • the server may be a game server that provides metaverse content.
  • the electronic device 100 may be controlled by the control device 150.
  • the control device 150 may be a device used to control the electronic device 100, such as a remote controller.
  • a user may use the control device 150 to control metaverse content received from a game console or a server.
  • the description will be based on the case where the electronic device 100 directly receives metaverse content from the server. However, it is not limited to this, and what will be described below can be equally applied to the case where the electronic device 100 receives metaverse content from a server through a game console.
  • Metaverse content features avatars that users can manipulate.
  • a user may control an avatar appearing in metaverse content using the control device 150.
  • the user can use the control device 150 to have the avatar interact with other avatars, explore the surroundings, or perform actions appropriate for various situations.
  • not one, but multiple users may wish to use metaverse content using one electronic device 100.
  • control devices 150 capable of transmitting a control signal to the electronic device 100, and each of the plurality of users wants to use the metaverse content using the control device 150, the user must use the electronic device 100 ), you can enter the number of players playing the game.
  • the electronic device 100 may transmit the number of users, that is, the number of players, to a server providing metaverse content through executing an app.
  • the server may transmit a plurality of contents corresponding to the number of players to the electronic device 100.
  • the electronic device 100 may receive metaverse content in which an avatar appears in a number corresponding to the number of players, and output it through the electronic device 100.
  • Figure 1 illustrates a case where two users use metaverse content using one electronic device 100, according to an embodiment.
  • the electronic device 100 may receive control signals from a plurality of control devices 150.
  • the plurality of control devices 150 may include a first control device 150-1 and a second control device 150-2.
  • the electronic device 100 may obtain a plurality of metaverse contents from a server that provides game contents.
  • the plurality of metaverse contents may include first content and second content.
  • the first content and the second content may be content controlled by the first control device 150-1 and the second control device 150-2, respectively.
  • the electronic device 100 may output a plurality of metaverse contents in multi-view through a partial screen.
  • the electronic device 100 may output content in a single view mode or a multi view mode.
  • the single view mode may refer to a mode in which the electronic device 100 displays one content on one single screen.
  • the multi-view mode may refer to a mode in which the electronic device 100 divides the screen into a plurality of areas and displays different content in each divided area. In multi-view mode, each divided screen may be referred to as a sub-screen or partial screen.
  • the number of partial screens provided in the multi-view mode may vary depending on the number of users, that is, the number of players. For example, if there are two, three, or four or more players, the number of partial screens provided in the multi-view mode may also be two, three, or four or more.
  • the electronic device 100 may output different content through the first partial screen 110 and the second partial screen 120.
  • the electronic device 100 may output first content through the first partial screen 110 and second content through the second partial screen 120 in multi-view mode.
  • the electronic device 100 When the electronic device 100 outputs a plurality of contents through a plurality of partial screens, if the location where the content is output does not match the user's location, the user may feel uncomfortable.
  • the location of the control device 150 and the location of the partial screen on which the content controlled by the control device 150 is output are different from each other. You can respond.
  • the electronic device 100 may identify the positional relationship between the first control device 150-1 that controls the first content and the second control device 150-2 that controls the second content.
  • the electronic device 100 may transmit an identification signal output request signal to the plurality of control devices 150.
  • the identification signal output request signal is a signal requesting the control device 150 to output an identification signal, and may include an identification signal and information requesting output of the identification signal.
  • the identification signal is a signal output by the control device 150 and may be used to identify the control device 150.
  • control device 150 may include LEDs.
  • the LED included in the control device 150 may be an IR LED (infrared LED).
  • the control device 150 may emit infrared rays to the electronic device 100 using an LED as a transmitter.
  • the electronic device 100 may identify the control device 150 by using the color of infrared light and/or the on/off pattern of infrared light emitted from the LED provided in the control device 150 as an identification signal. .
  • the blinking cycle or time interval of the LED can be determined depending on the pattern of infrared rays.
  • the electronic device 100 may transmit an identification signal output request signal requesting each of the plurality of control devices 150 to output different identification signals. In an embodiment, the electronic device 100 may transmit a first identification signal output request signal to the first control device 150-1 to request output of the first identification signal. In an embodiment, the electronic device 100 may transmit a second identification signal output request signal requesting output of the second identification signal to the second control device 150-2.
  • the first control device 150-1 may receive a first identification signal output request signal from the electronic device 100 and output the first identification signal accordingly.
  • the second control device 150-2 may receive a second identification signal output request signal from the electronic device 100 and output the second identification signal accordingly.
  • the first identification signal and the second identification signal may be signals that are different from each other in at least one of an LED color and an LED blinking time interval.
  • the LED blinking time interval may vary depending on the blinking pattern of the LED infrared lamp.
  • the electronic device 100 may include an image acquisition unit.
  • the image acquisition unit may include a camera 109.
  • one or more cameras 109 may be placed at various locations, such as the top, bottom, or side of the front of the electronic device 100.
  • the electronic device 100 uses the camera 109 to control the first control device 150-1 and the second control device 150-2, and the first control device 150-1 and the second control device 150-2. Images can be obtained by filming multiple users using the device 150-2.
  • the electronic device 100 outputs images from the control device 150 and multiple users, at least one of the first control device 150-1 and the second control device 150-2. LED signals can be identified. In an embodiment, the electronic device 100 may identify at least one of the color of LED light and/or the LED blinking time interval in the image.
  • the electronic device 100 may identify an LED signal identified in the image as an identification signal. In an embodiment, the electronic device 100 controls the color or blinking time interval of the LED light included in the image with the identification signal included in the identification signal output request signal transmitted to each of the plurality of control devices 150. Device 150 may be identified.
  • the electronic device 100 may identify the first identification signal from the image and identify that the control device 150 transmitting the first identification signal is the first control device 150-1. In an embodiment, the electronic device 100 may identify the second identification signal from the image and identify that the control device 150 transmitting the second identification signal is the second control device 150-2.
  • the electronic device 100 may identify the positional relationship between the first control device 150-1 and the second control device 150-2 based on the first and second identification signals. .
  • the electronic device 100 displays a first partial screen 110 that outputs first content and a second partial screen 120 that outputs second content to correspond to the positional relationship between the plurality of control devices 150. ) can be placed.
  • the electronic device 100 arranges the first partial screen 110 on the left side of the screen, based on the direction in which the electronic device 100 is viewed, and the second partial screen 120 on the right side of the screen. ) can be seen being placed. Accordingly, the electronic device 100 causes the first content controlled by the first control device 150-1 to be output from the left side of the screen, and the second content controlled by the second control device 150-2 on the screen. It can be output on the right. Accordingly, multiple users can use content displayed at a screen location corresponding to their own positional relationship, allowing them to become more naturally immersed in the game.
  • location relationships between multiple users may change.
  • the positional relationship between multiple users may change, such as when one of the multiple users is on the left of another user and then moves to the right of the other user.
  • the electronic device 100 acquires images by continuously photographing the first control device 150-1, the second control device 150-2, and multiple users using the camera 109, and obtains images from the images.
  • the positional relationship of the plurality of control devices 150 may be identified based on the positions of the identified first and second identification signals.
  • the electronic device 100 changes the positions of the first control device 150-1 and the second control device 150-2 based on the changes in the positions of the first and second identification signals. can be identified.
  • the electronic device 100 outputs first content to correspond to the changed positional relationship in response to a change in the positional relationship between the first control device 150-1 and the second control device 150-2.
  • the positions of the first partial screen 110 and the second partial screen 120 that outputs the second content may also be rearranged.
  • the electronic device 100 may identify the degree of use of the plurality of control devices 150.
  • the degree of use of the plurality of control devices 150 may indicate the amount or frequency of use of the control device 150 by the user.
  • the electronic device 100 may identify the degree of use of the plurality of control devices 150 using various methods.
  • the electronic device 100 may identify the degree of use of the control device 150 based on the frequency with which control signals for content control are input from each of the plurality of control devices 150.
  • the electronic device 100 may identify the degree of use of the control device 150 based on a sensing signal for movement of the control device 150 received from each of the plurality of control devices 150.
  • the electronic device 100 may identify the degree of use of the control device 150 based on the degree of change in at least one of the avatar and background included in the content.
  • the electronic device 100 captures the screen at regular time intervals, identifies content displayed on the screen, and controls the control device 150 based on whether the avatar and/or background screen included in the content are identical. The degree of use can be identified.
  • the electronic device 100 may identify the degree of use of the plurality of control devices 150 based on the distance between the user and the control device 150, which is detected from images obtained by photographing the plurality of control devices 150. It may be possible. In an embodiment, the electronic device 100 may identify a human figure in an image using image detection technology. Additionally, the electronic device 100 can identify the location of the identification signal in the image. In an embodiment, the electronic device 100 determines that the control device 150 is not used when the distance between the human shape and the identification signal is more than a certain threshold based on the positional relationship between the human shape identified in the image and the identification signal. It can be identified as
  • the above-described method is an embodiment, and the method by which the electronic device 100 identifies the degree of use of the control device 150 may be implemented in various other forms.
  • the electronic device 100 may adjust at least one of the size and position of at least one of the first partial screen 110 and the second partial screen 120 according to the degree of use of the plurality of control devices 150. You can.
  • the electronic device 100 may adjust the size of the partial screen on which content controlled by the control device 150 is output to be smaller than the original size for the control device 150 whose usage level is lower than the standard value. there is.
  • the electronic device 100 sets the location of the partial screen on which the content controlled by the control device 150 is output to a location further outside the screen than the original location. The position can be adjusted.
  • the electronic device 100 controls the remainder whose usage level is not lower than the reference value, corresponding to adjusting the size and/or position of the portion of the screen where the content controlled by the control device 150 with a low usage level is output.
  • the size of the partial screen on which content controlled by the device 150 is output can be adjusted to be larger than the original and/or the position of the partial screen can be adjusted to move toward the center of the screen.
  • the electronic device 100 displays the first content and the second content as the first partial screen 110 and the second partial screen 120, respectively, based on receiving the first content and the second content from the server. ) can be output through.
  • the electronic device 100 may not receive the first content and the second content as separate individual contents from the server, but may receive one integrated content in which the first content and the second content are integrated. .
  • integrated content may mean content that includes multiple avatars appearing in multiple contents.
  • integrated content in which first content and second content are integrated may be virtual metaverse content that includes both the first avatar appearing in the first content and the second avatar appearing in the second content.
  • content featuring one avatar that can be controlled by one control device 150, such as first content and second content may be referred to as individual content in order to distinguish it from integrated content.
  • the server may generate integrated content corresponding to the fact that the distance between the virtual space of the first content and the virtual space of the second content is less than or equal to a threshold, and transmit the integrated content to the electronic device 100 .
  • the electronic device 100 outputs the integrated content through a screen in which the first partial screen 110 and the second partial screen 120 are integrated, based on receiving a single integrated content from the server. can do.
  • the electronic device 100 may increase the size of the integrated screen to the maximum output size on the screen and output integrated content through the integrated screen.
  • the electronic device 100 may receive an integrated content transmission inquiry signal from the server before receiving a single integrated content from the server.
  • the electronic device 100 may output an interface screen indicating whether to output integrated content based on receiving an integrated content transmission inquiry signal from the server. In an embodiment, the electronic device 100 may receive an integrated content output request signal from the user corresponding to the output of the interface screen. In an embodiment, the electronic device 100 may transmit an integrated content transmission request signal to a server based on receiving an integrated content output request signal.
  • the server may transmit integrated content to the electronic device 100 based on receiving an integrated content transmission request signal from the electronic device 100.
  • the electronic device 100 maintains the positional relationship of the plurality of control devices 150 and the plurality of contents in an environment where a plurality of users use metaverse content using a plurality of control devices 150.
  • the positional relationship of the partial screen where is output can be made to correspond. Accordingly, the user can use metaverse content output through a screen corresponding to the user's location, allowing the user to enjoy the content more naturally and conveniently.
  • the electronic device 100 adjusts the size and/or position of the partial screen on which content is output depending on the degree of use of the plurality of control devices 150, thereby allowing the user who actually uses the control device 150 You can enjoy content on a larger screen.
  • the electronic device 100 receives integrated content rather than individual content according to the environment in the virtual space from the server, and outputs the integrated content through a combined screen combining partial screens, so that multiple users can use the virtual space. It can provide an experience similar to playing games together on the platform.
  • Figure 2 is a block diagram of an electronic device 100 according to an embodiment.
  • the electronic device 100 may include a processor 101, a memory 103, and a display 105.
  • the memory 103 may store at least one instruction.
  • the memory 103 may store at least one program that the processor 101 executes. Additionally, the memory 103 may store data input to or output from the electronic device 100.
  • the memory 103 is a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory, etc.), and RAM.
  • RAM Random Access Memory
  • SRAM Static Random Access Memory
  • ROM Read-Only Memory
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • PROM Programmable Read-Only Memory
  • magnetic memory magnetic disk , and may include at least one type of storage medium among optical disks.
  • one or more instructions for obtaining multiple contents including first content and second content may be stored in the memory 103.
  • memory 103 may store one or more instructions for receiving multiple contents from a server.
  • one or more instructions for outputting each of the plurality of contents in a multi-view mode through a partial screen may be stored in the memory 103 based on receiving the plurality of contents from the server.
  • one or more instructions for identifying the positional relationship between the plurality of control devices 150 may be stored in the memory 103.
  • the plurality of control devices 150 may include a first control device 150-1 and a second control device 150-2.
  • the memory 103 includes a first partial screen 110 that outputs first content and a second partial screen 120 that outputs second content to correspond to the positional relationship between the plurality of control devices 150.
  • One or more instructions for placing may be stored.
  • one or more instructions for transmitting an identification signal output request signal to a plurality of control devices 150 may be stored in the memory 103.
  • the memory 103 may store one or more instructions for transmitting an identification signal output request signal to the plurality of control devices 150 at each preset period, at each random period, and/or whenever an event occurs. You can.
  • the occurrence of an event may include a case where the degree of movement of the user's body identified from images captured by the plurality of control devices 150 and the user is greater than a threshold.
  • the identification signal may include at least one of information about the LED color and information about the LED blinking time interval.
  • the identifier of each control device 150 and the identification signal transmitted to each control device 150 may be mapped and stored in the memory 103 .
  • the memory 103 includes the identifier of the first control device 150-1 and information about the LED color and/or LED blinking time interval of the first identification signal transmitted to the first control device 150-1. It may be mapped and stored.
  • the memory 103 includes the identifier of the second control device 150-2 and information about the LED color and/or LED blinking time interval of the second identification signal transmitted to the second control device 150-2. It may be mapped and stored.
  • the memory 103 transmits a first identification signal output request signal requesting output of the first identification signal to the first control device 150-1, and transmits a first identification signal output request signal to the second control device 150-2.
  • One or more instructions for transmitting a second identification signal output request signal requesting output of an identification signal may be stored.
  • one or more instructions for acquiring images for a plurality of control devices 150 may be stored in the memory 103.
  • the memory 103 contains the first identification signal output by the first control device 150-1 and the first identification signal output by the second control device 150-2 from the images of the plurality of control devices 150.
  • One or more instructions for identifying the second identification signal may be stored.
  • one or more instructions for matching an identification signal obtained from an image with an identifier of the control device 150 may be stored in the memory 103.
  • the memory 103 provides the location of the identification signal identified in the image based on the fact that the identification signal identified in the image and the identification signal mapped and stored with the identifier of the first control device 150-1 are the same. 1
  • One or more instructions for identifying the location of the control device 150-1 may be stored.
  • one or more instructions for identifying a change in the positional relationship between the first control device 150-1 and the second control device 150-2 may be stored in the memory 103.
  • the memory 103 includes a first partial screen 110 and a second partial screen 120 to correspond to the changed positional relationship between the first control device 150-1 and the second control device 150-2.
  • One or more instructions for rearranging the position of may be stored.
  • one or more instructions for identifying the degree of use of the plurality of control devices 150 may be stored in the memory 103.
  • the memory 103 identifies the frequency with which control signals for content control are input from each of the plurality of control devices 150, and uses the plurality of control devices 150 based on the frequency with which the control signals are input.
  • One or more instructions for identifying the degree may be stored.
  • the memory 103 identifies a sensing signal for the movement of the control device 150 received from each of the plurality of control devices 150, and generates a plurality of signals based on the sensing signal for the movement of the control device 150.
  • One or more instructions for identifying the degree of use of the control device 150 may be stored.
  • the memory 103 identifies the degree of change in at least one of the avatar and the background included in the content, and identifies the degree of use of the plurality of control devices 150 based on the degree of change in at least one of the avatar and the background.
  • One or more instructions for doing so may be stored.
  • the memory 103 identifies the distance between the user and the control device 150, which is detected from images obtained by photographing a plurality of control devices 150, and based on the distance between the user and the control device 150.
  • one or more instructions for identifying the degree of use of the plurality of control devices 150 may be stored.
  • the memory 103 is configured to adjust at least one of the size and position of at least one of the first partial screen 110 and the second partial screen 120 according to the degree of use of the plurality of control devices 150.
  • One or more instructions may be stored.
  • the memory 103 may store one or more instructions for outputting the integrated content through one screen based on receiving one integrated content in which the first content and the second content are integrated from the server. there is.
  • one or more instructions for generating and outputting an interface screen regarding whether to output integrated content may be stored in the memory 103 based on receiving an integrated content transmission inquiry signal from the server.
  • one or more instructions for transmitting an integrated content transmission request signal to the server may be stored in the memory 103 based on an integrated content output request signal input corresponding to the output of the interface screen.
  • the processor 101 may control the overall operation of the electronic device 100 and signal flow between internal components of the electronic device 100, and may perform functions of processing data.
  • the processor 101 may control the electronic device 100 to function by executing one or more instructions stored in the memory 103.
  • processor 101 may include single core, dual core, triple core, quad core, and multiple cores thereof.
  • processor 101 there may be one or more processors 101.
  • processor 101 may include a plurality of processors.
  • the processor 101 may be implemented as a main processor and a sub processor.
  • the processor 101 may include at least one of a Central Processing Unit (CPU), a Graphics Processing Unit (GPU), and a Video Processing Unit (VPU).
  • the processor 101 may be implemented in the form of a System On Chip (SoC) that integrates at least one of a CPU, GPU, and VPU.
  • SoC System On Chip
  • the processor 101 may further include a Neural Processing Unit (NPU).
  • NPU Neural Processing Unit
  • one or more processors 101 may acquire a plurality of contents including first content and second content by executing one or more instructions.
  • one or more processors 101 may receive multiple pieces of content from a server by executing one or more instructions.
  • one or more processors 101 may execute one or more instructions to output each of the plurality of contents in a multi-view mode through a partial screen based on receiving the plurality of contents from the server.
  • one or more processors 101 may identify a positional relationship between a plurality of control devices 150 by executing one or more instructions.
  • one or more processors 101 execute one or more instructions to display the first partial screen 110 that outputs the first content and the second content to correspond to the positional relationship between the plurality of control devices 150.
  • the second partial screen 120 to be output can be arranged.
  • one or more processors 101 may transmit an identification signal output request signal to a plurality of control devices 150 by executing one or more instructions.
  • the identification signal output request signal may include information requesting output of an identification signal and a unique identification signal.
  • the identification signal may include at least one of information about the LED color and information about the LED blinking time interval.
  • one or more processors 101 execute one or more instructions, thereby sending an identification signal output request signal to the plurality of control devices 150 at each preset period, at each random period, and/or whenever an event occurs. can be transmitted.
  • the processor 101 may identify as an event occurrence a case in which the degree of movement of the user's body in the left and right directions is greater than a threshold value from images captured of the plurality of control devices 150 and the user.
  • one or more processors 101 may identify the first identification signal and/or the second identification signal from information about the LED color and/or the LED blinking time interval by executing one or more instructions.
  • one or more processors 101 execute one or more instructions, thereby generating an identifier of the control device 150 stored in the memory 103, an identification signal stored in mapping with the identifier of the control device 150, and an image. By comparing the identification signals obtained from , the location of the identification signal identified in the image can be identified as the location of the control device 150.
  • the one or more processors 101 identify the location of the first control device 150-1 from the first identification signal identified in the image by executing one or more instructions, and execute the second control device from the second identification signal.
  • the location of the device 150-2 can be identified.
  • one or more processors 101 transmit a first identification signal output request signal requesting output of the first identification signal to the first control device 150-1 by executing one or more instructions, and transmit a second identification signal output request signal to the first control device 150-1.
  • a second identification signal output request signal requesting output of the second identification signal may be transmitted to the control device 150-2.
  • one or more processors 101 may acquire images for a plurality of control devices 150 by executing one or more instructions.
  • one or more processors 101 execute one or more instructions to obtain a first identification signal and a second control signal output from the first control device 150-1 from the images of the plurality of control devices 150.
  • the second identification signal output by the device 150-2 can be identified.
  • one or more processors 101 may identify a change in positional relationship between the first control device 150-1 and the second control device 150-2 by executing one or more instructions.
  • one or more processors 101 execute one or more instructions to display the first partial screen 110 to correspond to the changed positional relationship between the first control device 150-1 and the second control device 150-2. ) and the second partial screen 120 can be rearranged.
  • one or more processors 101 may identify the degree of use of a plurality of control devices 150 by executing one or more instructions.
  • one or more processors 101 execute one or more instructions to identify the frequency with which control signals for content control are input from each of the plurality of control devices 150 and, based on the frequency with which control signals are input, The degree of use of the plurality of control devices 150 can be identified.
  • one or more processors 101 execute one or more instructions to identify a sensing signal for movement of the control device 150, received from each of the plurality of control devices 150, and determine the movement of the control device 150.
  • the degree of use of the plurality of control devices 150 can be identified based on the sensing signal.
  • one or more processors 101 execute one or more instructions to identify the degree of change in at least one of the avatar and the background included in the content, and perform a plurality of controls based on the degree of change in at least one of the avatar and the background.
  • the degree of use of the device 150 can be identified.
  • one or more processors 101 execute one or more instructions to identify the distance between the user and the control device 150, which is detected from images obtained by photographing the plurality of control devices 150, and identify the user and the control device 150.
  • the degree of use of a plurality of control devices 150 can be identified based on the distance between the control devices 150.
  • one or more processors 101 execute one or more instructions to display at least one of the first partial screen 110 and the second partial screen 120 according to the degree of use of the plurality of control devices 150. At least one of size and position can be adjusted.
  • the one or more processors 101 output the integrated content through one screen based on receiving one integrated content in which the first content and the second content are integrated from the server by executing one or more instructions. can do.
  • one or more processors 101 may generate and output an interface screen regarding whether to output integrated content based on receiving an integrated content transmission inquiry signal from the server by executing one or more instructions.
  • one or more processors 101 may transmit an integrated content transmission request signal to the server based on an integrated content output request signal input corresponding to the output of the interface screen by executing one or more instructions.
  • the display 105 may display content provided by content providers on the screen.
  • the display 105 can output on the screen a broadcast program received in real time, or a program of a VOD service received by streaming or downloading, etc. on the screen.
  • the display 105 may output metaverse content received from a server providing metaverse content.
  • the display 105 may output content in a single view mode or a multi-view mode.
  • the display 105 may divide the screen into a plurality of partial screens and display different content on each of the divided partial screens to provide content in a multi-view mode.
  • the display 105 may output first content on the first partial screen 110 and output second content on the second partial screen 120.
  • the display 105 displays the first partial screen 110 and the second partial screen 120 at positions corresponding to the positional relationship of the first control device 150-1 and the second control device 150-2. ) can be arranged to output the first content and the second content through the first partial screen 110 and the second partial screen 120.
  • the display 105 may output an interface screen indicating whether to output integrated content.
  • the display 105 may display an interface screen indicating whether to output integrated content by overlaying it on a plurality of contents on a partial area of the screen.
  • the interface screen for whether to output the integrated content may include text, symbols, or shapes asking whether the user wants to output the integrated content.
  • the display 105 can be used as an input device such as a user interface in addition to an output device.
  • the display 105 may be a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, 3 It may include at least one of a 3D display and an electrophoretic display. And, depending on the implementation type of the display 105, two or more displays 105 may be included.
  • Figure 3 is a block diagram of the electronic device 100 and the control device 150 according to an embodiment.
  • the electronic device 100 and the control device 150 may be connected using a communication network 130.
  • the electronic device 100 of FIG. 3 may include components included in the electronic device 100 of FIG. 2 . Hereinafter, duplicate descriptions will be omitted.
  • the electronic device 100 of FIG. 3 may further include an image acquisition unit 108 and a communication unit 107 in addition to the processor 101, memory 103, and display 105.
  • the image acquisition unit 108 may include a camera 109.
  • the camera 109 is provided on the front of the electronic device 100 and can acquire an image of the front of the electronic device 100.
  • the communication unit 107 may communicate with at least one control device 150 and/or an external game server providing metaverse content through a wired or wireless communication network.
  • the communication unit 107 may connect the electronic device 100 to the control device 150 or other peripheral devices, external devices, servers, mobile terminals, etc. through control of the processor 101.
  • the communication unit 107 may include at least one communication module capable of performing wireless communication.
  • the communication unit 107 may include at least one of a wireless LAN module, a Bluetooth module, and a wired Ethernet depending on the performance and structure of the electronic device 100.
  • the communication unit 107 may include at least one short-range communication module that performs communication according to communication standards such as Bluetooth, Wi-Fi, BLE (Bluetooth Low Energy), NFC/RFID, Wifi Direct, UWB, or ZIGBEE. You can.
  • communication standards such as Bluetooth, Wi-Fi, BLE (Bluetooth Low Energy), NFC/RFID, Wifi Direct, UWB, or ZIGBEE. You can.
  • the communication unit 107 may further include a long-distance communication module that communicates with a server to support long-distance communication according to long-distance communication standards.
  • the communication unit 107 may include a long-distance communication module that performs communication through a network for Internet communication.
  • the communication unit 107 may include a long-distance communication module that performs communication through a communication network that complies with communication standards such as 3G, 4G, and/or 5G.
  • the communication unit 107 may communicate with the control device 150 using infrared (IR) communication, RF communication, Wi-Fi communication, or BLE communication.
  • the communication unit 107 may receive a control signal from the control device 150 through communication with the control device 150.
  • the communication unit 107 when the communication unit 107 transmits and receives signals to and from the control device 150 using infrared communication, the communication unit 107 may include an IR receiving module on the front of the electronic device 100.
  • the IR receiving module may include components having optical characteristics similar to the wavelength of the IR signal transmitted from the LED transmitter included in the communication unit 155 of the control device 150.
  • the control device 150 may be implemented as various types of devices used to control the electronic device 100.
  • the control device 150 may be implemented as a terminal capable of receiving various types of user input, such as touch, press, touch gesture, voice, or motion.
  • the control device 150 is a portable computer such as a laptop, netbook, or tablet PC, a portable terminal such as a smart phone or PDA, a remote control, a keyboard, a mouse, a joypad, or a terminal in which two or more of these devices are integrated. It may include, but is not limited to, etc.
  • control device 150 may include a processor 151, a memory 153, a communication unit 155, an input unit 157, and a sensing unit 158.
  • the memory 153 may store at least one instruction.
  • the memory 153 may store at least one program that the processor 151 executes. Predefined operation rules or programs may be stored in the memory 153. Additionally, the memory 153 may store data input to or output from the control device 150.
  • memory 153 may store key code instructions.
  • the key code command may include a key scan code value defined by matching the data and command input from the input unit 157.
  • the memory 153 may include key code commands corresponding to each of a plurality of keys included in the input unit 157.
  • the memory 153 is a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory, etc.), and RAM.
  • RAM Random Access Memory
  • SRAM Static Random Access Memory
  • ROM Read-Only Memory
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • PROM Programmable Read-Only Memory
  • magnetic memory magnetic disk , and may include at least one type of storage medium among optical disks.
  • the input unit 157 may receive a user input for controlling the control device 150.
  • the input unit 157 may be implemented in various forms.
  • the input unit 157 may include a plurality of keys.
  • the key may be in various forms, such as a physical button that receives a user's push operation, a jog & shuttle, a key pad, etc.
  • the user can control various functions of the electronic device 100 using a plurality of keys provided on the control device 150.
  • the keypad may include buttons, a touchpad, etc.
  • the touch pad can be implemented in various forms, such as a contact capacitive type, a pressure-type resistive type, an infrared detection type, a surface ultrasonic conduction type, an integral tension measurement type, a piezo effect type, etc.
  • the input unit 157 may include a keyboard, dome switch, jog wheel, jog switch, etc.
  • the input unit 157 may further include a microphone capable of receiving the user's voice.
  • the sensing unit 158 may include a sensor capable of recognizing the motion of the control device 150.
  • the control device 150 may sense the direction and/or movement of the control device 150 using a sensor included in the sensing unit 158.
  • the sensing unit 158 may include a geomagnetic sensor and/or a gyroscope sensor.
  • the geomagnetic sensor can detect the direction of geomagnetism with respect to the control device 150.
  • the gyroscope sensor can detect the angular velocity, which is the rotational speed of the control device 150.
  • Gyroscope sensors can also be called angular velocity sensors.
  • the gyroscope sensor can calculate the direction of the control device 150 by converting the Coriolis Force generated when the control device 150 rotates into an electrical signal.
  • the sensing unit 158 can check the location of the device relative to the magnetic north pole by using at least one of a geomagnetic sensor and a gyroscope sensor. Additionally, the sensing unit 158 can sense the relative direction or movement of the control device 150 using these sensors. In an embodiment, the sensing unit 158 may obtain a sensing signal indicating the direction and/or movement of the control device 150. The sensing signal may be transmitted to the electronic device 100 through the communication unit 155.
  • the communication unit 155 may include at least one communication module.
  • the communication unit 155 may connect the control device 150 to the electronic device 100 under control of the processor 151 using a wired or wireless communication network.
  • the communication unit 155 may transmit a signal corresponding to a user input through the input unit 157 to the electronic device 100.
  • the signal corresponding to the user input may be a control signal including a key code command corresponding to the key selected by the user.
  • the control signal corresponding to the user input may be implemented as a Bluetooth type, IR signal type, RF signal type, Wi-Fi type, etc., depending on the type of communication module included in the communication unit 155.
  • the communication unit 155 may transmit a control signal to the electronic device 100 using BLE communication and/or infrared communication.
  • the electronic device 100 and the control device 150 may perform pairing.
  • the control device 150 receives a key input from the user through the input unit 157, it can generate a control signal including a key code command corresponding to the input key as a BLE signal.
  • the control device 150 may transmit a BLE signal to the electronic device 100 through the communication network 130.
  • the control device 150 may generate a control signal including a key code command as an IR signal. You can.
  • the control device 150 may generate an infrared signal having a unique frequency assigned to the key code command of the input key.
  • the communication unit 155 may include an LED transmitter.
  • the LED transmitter is provided on the top of the control device 150 and can transmit light of a specific wavelength to the electronic device 100.
  • the LED transmitter may include an IR LED.
  • IR LED can transmit control signals generated from IR signals.
  • the IR signal may be an infrared signal of a specific wavelength with a unique frequency assigned to the key code command of the entered key.
  • the LED transmitter included in the communication unit 155 when the LED transmitter included in the communication unit 155 receives an identification signal output request signal from the electronic device 100, it may output an identification signal corresponding thereto.
  • the LED transmitter included in the communication unit 155 may output an identification signal requested from the electronic device 100. In an embodiment, the LED transmitter included in the communication unit 155 may output an identification signal having the LED color and LED blinking time interval requested by the electronic device 100.
  • the LED transmitter included in the communication unit 155 may not turn off after outputting the identification signal but may continue to output the identification signal while remaining on. Alternatively, the LED transmitter included in the communication unit 155 may be turned off to save power after first outputting the identification signal. Thereafter, the LED transmitter included in the communication unit 155 may be turned on again at regular intervals or at random intervals to output an identification signal.
  • the LED transmitter included in the communication unit 155 outputs an identification signal accordingly when the user uses the control device 150 to input a specific key that notifies the electronic device 100 of a change in location between multiple users. You may.
  • the communication unit 155 may transmit a sensing signal for the movement of the control device 150 sensed by the sensing unit 158 to the electronic device 100 through the communication network 130.
  • the communication network 130 includes Bluetooth (bluetooth), BLE (bluetooth low energy (not shown), NFC (near field communication (not shown)), IR (Infrared) communication, RF (Radio Frequency) communication, and Wi-Fi (Wi-Fi).
  • -Fi may include one or more networks among wired Ethernet.
  • the processor 151 controls the overall operation of the control device 150.
  • the processor 151 may control the control device 150 to function by executing one or more instructions stored in the memory 153.
  • the processor 151 may be, for example, a Micro Controller Unit (MCU).
  • MCU Micro Controller Unit
  • the processor 151 when the processor 151 receives a key input from the user through the input unit 157, the processor 151 may generate a control signal including a key code command corresponding to the input key.
  • the processor 151 may control the communication unit 155 to output an identification signal through an LED transmitter included in the communication unit 155.
  • the processor 151 may control the communication unit 155 to output an identification signal correspondingly.
  • the processor 151 may control the LED transmitter included in the communication unit 155 to output an identification signal according to the LED color and LED blinking cycle of the identification signal requested by the electronic device 100.
  • the processor 151 may control the LED transmitter included in the communication unit 155 to continuously turn on to output the identification signal.
  • the processor 151 after receiving the identification signal output request signal for the first time from the electronic device 100, the processor 151 performs the processing at regular intervals or at random intervals even without receiving the identification signal output request signal again from the electronic device 100.
  • Each LED transmitter included in the communication unit 155 can be controlled to output an identification signal.
  • the users may use the control device 150 to notify the electronic device 100 of the location changes among the multiple users. For example, a user may input a specific key included in the control device 150 to notify the electronic device 100 of a change in location between multiple users.
  • the processor 151 determines that the specific key input is a request for outputting an identification signal, and accordingly, the LED transmitter included in the communication unit 155 sends an identification signal. can be controlled to output.
  • FIG. 4 is a diagram illustrating the electronic device 100 rearranging partial screens to correspond to a change in the positional relationship between the control devices 150, according to an embodiment.
  • the electronic device 100 may be controlled by a plurality of control devices 150.
  • the plurality of control devices 150 may include a first control device 150-1 and a second control device 150-2.
  • the first control device 150-1 may be used to control first content
  • the second control device 150-2 may be used to control second content.
  • the electronic device 100 may simultaneously output a plurality of contents controlled by the plurality of control devices 150, corresponding to a situation where the electronic device 100 is controlled by the plurality of control devices 150.
  • the electronic device 100 displays a plurality of contents in a multi-view mode by outputting the first content through the first partial screen 110 and the second content through the second partial screen 120. Can be printed simultaneously.
  • the electronic device 100 may identify a positional relationship between the plurality of control devices 150, corresponding to a situation where it is controlled by the plurality of control devices 150.
  • the electronic device 100 outputs a first identification signal requesting output of the first identification signal to the first control device 150-1 in order to identify the positional relationship between the plurality of control devices 150.
  • a request signal can be transmitted.
  • the first control device 150-1 may receive a first identification signal output request signal from the electronic device 100 and output the first identification signal accordingly.
  • the electronic device 100 may transmit a second identification signal output request signal to the second control device 150-2, requesting output of the second identification signal.
  • the second control device 150-2 may receive a second identification signal output request signal from the electronic device 100 and output the second identification signal accordingly.
  • the first identification signal and the second identification signal may be signals that are different from each other in at least one of an LED color and an LED blinking time interval.
  • the electronic device 100 may use the camera 109 to identify identification signals output from the plurality of control devices 150.
  • the camera 109 may be placed on the top of the front of the electronic device 100, and obtain an image of the front by photographing a subject located on the front of the electronic device 100.
  • this is just one embodiment, and the position where the camera 109 is placed or the number of cameras placed may be changed in various ways.
  • the camera 109 photographs the first control device 150-1 and the second control device 150-2, ) can be obtained.
  • the camera 109 continues to use the first control device 150-1 and the first control device 150-1 while outputting game content, corresponding to a situation in which the electronic device 100 is controlled by a plurality of control devices 150. 2 An image of the control device 150-2 can be acquired.
  • the electronic device 100 detects the first control device 150-1 and the second control device 150-2 from images of the first control device 150-1 and the second control device 150-2. 2) The identification signals transmitted by each can be identified.
  • the electronic device 100 compares the identification signal identified in the image with the identification signal for each control device 150 previously stored in the memory 103, and determines which control device 150 transmits the identification signal. It is possible to identify whether it is the control device 150. For example, the electronic device 100 displays the LED color and LED blinking time interval of the identification signal identified in the image, and the LED of the identification signal included in the first identification signal output request signal transmitted to the first control device 150-1. If the color and LED blink time interval are the same, it is possible to identify that the identification signal in the image is an identification signal from the first control device 150-1 and to identify the location of the first control device 150-1.
  • the electronic device 100 performs the first control based on the first identification signal output by the first control device 150-1 and the second identification signal output by the second control device 150-2.
  • the positional relationship between the device 150-1 and the second control device 150-2 can be identified.
  • the positional relationship between the first control device 150-1 and the second control device 150-2 may include a positional relationship between the plurality of control devices 150 in the left and right directions.
  • the electronic device 100 may output multiple contents such that the positional relationship between the first control device 150-1 and the second control device 150-2 and the positional relationship between partial screens correspond to each other. there is.
  • the first control device 150-1 and the second control device 150-2 are located on the left and right sides, respectively. Able to know.
  • the electronic device 100 arranges the first partial screen 110, which outputs the first content, to the left and the second partial screen 120, which outputs the second content, to the right, so that the first partial screen 110 displays the first content.
  • First content and second content can be output through the screen 110 and the second partial screen 120.
  • the electronic device 100 may identify a change in positional relationship between the plurality of control devices 150.
  • the electronic device 100 uses the camera 109 to identify changes in positional relationships between the plurality of control devices 150, the first control device 150-1 and the second control device 150. You can continue to acquire images for -2).
  • the plurality of control devices 150 may continuously transmit identification signals.
  • the plurality of control devices 150 may transmit an identification signal each time a request is made to output an identification signal from the electronic device 100.
  • the electronic device 100 may periodically transmit an identification signal output request signal to the control device 150.
  • the electronic device 100 may transmit an identification signal output request signal requesting output of an identification signal to the control device 150 at regular intervals, at random intervals, or whenever an event occurs.
  • the electronic device 100 controls game content using the first control device 150-1 and the second control device 150-2 from the image acquired using the camera 109. Users can be detected.
  • the electronic device 100 may perform object detection.
  • the electronic device 100 may detect an object from an image using image processing technology or artificial intelligence technology.
  • the electronic device 100 uses a deep neural network (DNN) including two or more hidden layers to recognize an object from an image, classify what the object is, and determine the location of the object. By identifying, object detection can be performed.
  • DNN deep neural network
  • the electronic device 100 may detect a person from an image by performing object detection. In an embodiment, the electronic device 100 may track a change in the position of a person detected in an image and detect it as an event if the change in the person's position is greater than a threshold.
  • the electronic device 100 when an event is detected, the electronic device 100 requests the first control device 150-1 and the second control device 150-2 to output a first identification signal output request signal and a second identification signal output request signal. Signals can be transmitted.
  • the first control device 150-1 and the second control device 150-2 each time they receive a first identification signal output request signal and a second identification signal output request signal from the electronic device 100. , Correspondingly, a first identification signal and a second identification signal may be output.
  • the electronic device 100 performs the first control based on the first identification signal output by the first control device 150-1 and the second identification signal output by the second control device 150-2. A change in positional relationship between the device 150-1 and the second control device 150-2 can be identified.
  • the electronic device 100 analyzes images captured by the first control device 150-1 and the second control device 150-2 in real time, and the first control device 150-1 outputs the images. Based on the first identification signal and the second identification signal output by the second control device 150-2, the positions of the first control device 150-1 and the second control device 150-2 are changed in the left and right directions. You can identify whether it has been changed.
  • the electronic device 100 determines that the positions of the first control device 150-1 and the second control device 150-2 have changed in the left and right directions, the electronic device 100 controls the first control device 150-1 and the second control device 150-2. Based on the changed positional relationship of the second control device 150-2, the first partial screen 110 and the second partial screen 120 may be rearranged to output multiple contents.
  • the electronic device 100 displays a first partial screen 110 that outputs first content in response to a change in the positions of the first control device 150-1 and the second control device 150-2. and a first partial screen such that the left-right relationship between the second partial screen 120 that outputs the second content is the same as the changed left-right relationship between the first control device 150-1 and the second control device 150-2.
  • the positions of 110 and the second partial screen 120 can be changed in the left and right directions.
  • the electronic device 100 outputs content through a partial screen placed at a changed location, so that the positions between the content and the control device 150 correspond to each other.
  • FIG. 5 is a diagram explaining how the electronic device 100 adjusts a partial screen depending on the degree of use of the control device 150, according to an embodiment.
  • the electronic device 100 may simultaneously output multiple contents controlled by a plurality of control devices 150, corresponding to a situation where the electronic device 100 is controlled by a plurality of control devices 150. .
  • the electronic device 100 displays a plurality of contents in a multi-view mode by outputting the first content through the first partial screen 110 and the second content through the second partial screen 120. Can be printed simultaneously.
  • the left diagram of FIG. 5 shows a case where the electronic device 100 outputs the first partial screen 110 and the second partial screen 120 in the same size.
  • the electronic device 100 may identify the degree of use of the plurality of control devices 150, corresponding to a situation where the electronic device 100 is controlled by the plurality of control devices 150.
  • the degree of use of the plurality of control devices 150 may indicate whether or not the user uses the control device 150, the amount or frequency of use of the control device 150, etc. by the user.
  • the electronic device 100 may identify the degree of use of the plurality of control devices 150 using various methods.
  • the electronic device 100 may identify the degree of use of the control device 150 based on the frequency with which control signals for content control are input from each of the plurality of control devices 150.
  • the electronic device 100 may identify the degree of use of the control device 150 based on a sensing signal indicating movement of the control device 150 received from each of the plurality of control devices 150.
  • the plurality of control devices 150 may include a sensor that senses the movement of the control device 150.
  • the control device 150 may transmit a sensing signal indicating the movement of the control device 150 to the electronic device 100 periodically or whenever it senses the movement of the control device 150.
  • the electronic device 100 identifies the degree of movement of the plurality of control devices 150 based on the sensing signals received from the plurality of control devices 150, and uses the control device 150 based on that. The degree can be identified. When the frequency of receiving a sensing signal from the control device 150 is low or the sensing signal indicates that the degree of movement of the control device 150 is low, the electronic device 100 determines the degree of use of the control device 150 based on this. It can be judged to be low.
  • the electronic device 100 may identify the degree of use of the control device 150 based on content output on the screen.
  • the electronic device 100 may identify the degree of use of the control device 150 based on the degree of change in at least one of the avatar and background included in the content. For example, when one of multiple users no longer uses game content, there is a high possibility that the content controlled by that user will not change in the avatar and/or background screen for more than a predetermined period of time.
  • the electronic device 100 may periodically capture content output on the screen using an internal camera.
  • the electronic device 100 may identify whether content has changed by comparing a previously captured screen and a currently captured screen.
  • the electronic device 100 may identify a plurality of contents in a captured screen and compare each content with content included in a previously captured screen.
  • the electronic device 100 may identify the degree of use of the control device 150 for controlling each content based on whether the avatar and/or background screen included in the content are identical.
  • the electronic device 100 may determine that the user is not using the control device 150 when there is no change or the degree of change in the motion or movement of the avatar included in the content and/or the background included in the content is below a standard value.
  • the electronic device 100 may identify the degree of use of the plurality of control devices 150 based on the distance between the user and the control device 150, which is detected from images obtained by photographing the plurality of control devices 150. It may be possible. In an embodiment, the electronic device 100 may acquire images of a plurality of control devices 150 and a plurality of users using the camera 109 provided in the electronic device 100. In an embodiment, the electronic device 100 may identify the positional relationship between the control device 150 and the user based on images of the plurality of control devices 150 and the plurality of users. In an embodiment, the electronic device 100 may identify a human figure in an image using image detection technology. Additionally, the electronic device 100 can identify the location of the identification signal in the image.
  • the electronic device 100 controls the user when the human shape and the identification signal overlap each other or are separated by a distance less than a threshold based on the positional relationship between the human shape and the identification signal identified in the image. It may be determined that the device 150 is used. The electronic device 100 may identify that the control device 150 is not in use when the distance between the human figure and the identification signal is greater than a certain threshold.
  • the above-mentioned method is an embodiment, and the method by which the electronic device 100 identifies the degree of use of the control device 150 may be implemented in various other forms.
  • the electronic device 100 may identify the degree of use of the control device 150 and adjust the screen on which content controlled by the control device 150 is output based on this.
  • the electronic device 100 reduces the size of the screen on which the content is displayed and/or outputs the portion on which the content is output. You can output by moving the screen position to the outside of the screen.
  • FIG. 5 illustrates that, in an embodiment, the electronic device 100 identifies the usage level of the first control device 150-1 and the second control device 150-2 and adjusts the partial screen accordingly.
  • the electronic device 100 determines that the usage level of the second control device 150-2 is below the threshold, the electronic device 100 displays the first partial screen, as shown in the right drawing of FIG. 5.
  • the size of the screen 110 and the second partial screen 120 can be changed and output. That is, for the second content controlled by the second control device 150-2 whose usage level is less than or equal to the threshold, the electronic device 100 changes the size of the second partial screen 120 on which the second content is displayed to the original screen size. By reducing the size to a smaller size and positioning the second partial screen 120 on the outside, the second content can be output smaller than the original through the second partial screen 120 whose size and position have been changed.
  • the electronic device 100 may also change the size of the first partial screen 110 corresponding to a change in the size of the second partial screen 120.
  • the electronic device 100 changes the first partial screen 110 to a size larger than the original size, corresponding to the size of the second partial screen 120 being reduced, so that the first content is displayed more than the original size. It can be printed large.
  • the electronic device 100 moves the position of the first partial screen 110 toward the center of the screen in response to the position of the second partial screen 120 moving to the outside of the screen, so that the first content is displayed on the screen. It can be output from the center.
  • the electronic device 100 may identify the degree of use of the plurality of control devices 150 and adjust at least one of the size and position of the partial screen based on the degree of use. Accordingly, the electronic device 100 outputs a screen corresponding to the user's frequency of use by providing content of different sizes to users who do not use the control device 150 or use it infrequently and to users who do not use the control device 150 among multiple users. can do.
  • the electronic device 100 adjusts the size or position of the partial screen according to the degree of use of the control device 150, but the present disclosure is not limited thereto, and the electronic device 100 In various situations, the size of the partial screen where a plurality of contents are displayed can be adjusted to different sizes.
  • the plurality of control devices 150 may be divided into a main control device and a sub control device.
  • the electronic device 100 sets the partial screen on which content controlled by the main control device is output to be larger than the partial screen on which content controlled by the sub-control device is output, so that the content controlled by the main control device is displayed on the sub-control device. It can be output in a larger size than the content controlled by the control device.
  • the electronic device 100 arranges the partial screen on which content controlled by the main control device is output at the center of the screen, and arranges the partial screen on which content controlled by the sub-control device is output at the edge of the screen, Content controlled by the control device can be output more centrally than content controlled by the sub-control device.
  • which control device among the plurality of control devices 150 is the main control device and which control device is the sub-control device may be preset by default.
  • the user may use the setting function of the electronic device 100 or the control device 150 to set a specific control device as the main control device and set another control device as a sub-control device, or change the settings. .
  • FIG. 6 is a diagram illustrating the electronic device 100 outputting a plurality of contents, according to an embodiment.
  • the electronic device 100 may be controlled by a plurality of control devices 150.
  • the electronic device 100 may generate partial screens as many as the number of players and output a plurality of contents through a plurality of partial screens.
  • the electronic device 100 may determine the location of the partial screen based on the positional relationship of the control device 150.
  • the electronic device 100 may output content controlled by each control device 150 through a partial screen disposed at a determined location.
  • Reference numeral 601 illustrates a case in which the electronic device 100 outputs two contents controlled by two control devices 150 in the embodiment.
  • the electronic device 100 may output first content and second content controlled by the first control device 150-1 and the second control device 150-2 through a multi-view mode.
  • the electronic device 100 displays a first partial screen that outputs the first content and the second content based on the positional relationship between the first control device 150-1 and the second control device 150-2.
  • the positions of 110 and the second partial screen 120 may be determined.
  • the electronic device 100 arranges the first partial screen 110 and the second partial screen 120 at the determined location, and through the first partial screen 110 and the second partial screen 120, First content and second content can be output, respectively.
  • reference numeral 603 indicates a case where the electronic device 100 outputs three contents controlled by three control devices 150.
  • the electronic device 100 displays first content and second content controlled by the first control device 150-1, the second control device 150-2, and the third control device 150-3.
  • third content can be output through multi-view mode.
  • the electronic device 100 displays first content based on the positional relationship of the first control device 150-1, the second control device 150-2, and the third control device 150-3. , the positions of the first partial screen 110, the second partial screen 120, and the third partial screen 530 that output the second content and third content can be determined.
  • the electronic device 100 displays a first part screen 110 and a third part in the left and right directions of the top of the screen, respectively, based on the direction in which the electronic device 100 is viewed.
  • the screen 131 may be placed, and the second partial screen 120 may be placed in the center below the first partial screen 110 and the third partial screen 131.
  • the electronic device 100 arranges the first partial screen 110 and the third partial screen 530 on the left and right sides of the bottom of the screen, respectively, and the first partial screen 110 and the third partial screen 530
  • the second partial screen 120 may be placed at the upper center of the partial screen 530.
  • the electronic device 100 may arrange three partial screens in a row from left to right.
  • the electronic device 100 may arrange the first partial screen 110, the second partial screen 120, and the third partial screen 131 on the left, center, and right sides, respectively.
  • the electronic device 100 displays first content, second content, and third content through the first partial screen 110, the second partial screen 120, and the third partial screen 530, respectively. can be output.
  • reference numeral 605 indicates a case where the electronic device 100 outputs four contents controlled by four control devices 150.
  • the electronic device 100 is divided into a first control device 150-1, a second control device 150-2, a third control device 150-3, and a fourth control device 150-4. Controlled first content, second content, third content, and fourth content can be output through multi-view mode.
  • the electronic device 100 includes a first control device 150-1, a second control device 150-2, a third control device 150-3, and a fourth control device 150-4. Based on the positional relationship, the first partial screen 110, the second partial screen 120, and the third partial screen 131 output the first content, the second content, the third content, and the fourth content, And the position of the fourth partial screen 140 can be determined.
  • the electronic device 100 arranges the first partial screen 110 and the third partial screen 131 on the upper left and right sides of the screen, respectively, and the lower left and right sides of the screen, respectively.
  • the second partial screen 120 and the fourth partial screen 140 can be placed on the right, respectively.
  • the electronic device 100 arranges the first partial screen 110 and the third partial screen 131 on the left and right sides of the bottom of the screen, respectively, and the first partial screen 110 and the third partial screen 131 on the left and right sides of the top of the screen, respectively.
  • the second partial screen 120 and the fourth partial screen 140 may be arranged.
  • the electronic device 100 may arrange four partial screens in a row from left to right.
  • the electronic device 100 may arrange the first partial screen 110, the second partial screen 120, the third partial screen 131, and the fourth partial screen 140 side by side from left to right.
  • the electronic device 100 arranges the first partial screen 110 to the fourth partial screen 140 at the determined position, and through the first partial screen 110 to the fourth partial screen 140, The first to fourth contents can be output respectively.
  • the electronic device 100 when the electronic device 100 outputs a plurality of contents controlled by the plurality of control devices 150, the content is output at a location corresponding to the positional relationship of the control devices 150.
  • Multiple contents can be output by arranging partial screens.
  • multiple users each control content using one electronic device 100, they can control the content while viewing the content output at a location corresponding to the user's location on the screen of the electronic device 100, so that the user can control the content. Controlled content can be identified more intuitively and easily.
  • FIG. 7 is a diagram illustrating how the electronic device 100 adjusts the position of a partial screen according to the position of the control device 150, according to an embodiment.
  • FIG. 7 illustrates a case where the electronic device 100 outputs three contents controlled by three control devices 150, in an embodiment.
  • the electronic device 100 displays first content based on the positional relationship of the first control device 150-1, the second control device 150-2, and the third control device 150-3. , the positions of the first partial screen 110, the second partial screen 120, and the third partial screen 131 that output the second content and the third content are determined, and the partial screens are placed at the determined positions. 1 content to third content can be output.
  • the electronic device 100 arranges a third partial screen 131 and a first partial screen 110 on the left and right sides of the upper screen, respectively, and a second partial screen 120 at the center of the lower part of the screen. can be placed.
  • the electronic device 100 may identify that there is empty space on both sides of the second partial screen 120 among the entire screen. In an embodiment, the electronic device 100 may identify that the position of the second partial screen 120 can be moved left or right.
  • the electronic device 100 may identify a change in the position of the control device 150 from images of a plurality of control devices 150 obtained using the camera 109. In an embodiment, the electronic device 100 may identify a change in the position of the second control device 150-2 corresponding to the second partial screen 120 that can be moved to both sides among the plurality of control devices 150. .
  • the electronic device 100 when the second control device 150-2 moves a distance greater than a threshold to the left or right, the electronic device 100 also moves the position of the second partial screen 120 to the left or right correspondingly.
  • the second content can be output at the moved location.
  • Figure 8 is a block diagram of an electronic device 100 according to an embodiment.
  • the electronic device 100 of FIG. 8 may be an example of the electronic device 100 of FIGS. 2 and/or 3 .
  • descriptions that overlap with those described in FIGS. 2 and 3 will be omitted.
  • the electronic device 100 includes a processor 101, a memory 103, a display 105, and a communication unit 107, as well as a tuner unit 810, a detection unit 830, and an input/output unit 840. ), a video processing unit 850, an audio processing unit 860, an audio output unit 870, and a user input unit 880 may be further included.
  • the tuner unit 810 amplifies, mixes, resonates, etc. broadcast content received by wire or wirelessly, and selects only the frequency of the channel desired to be received by the electronic device 100 among many radio wave components. You can select it by tuning. Content received through the tuner unit 810 is decoded and separated into audio, video, and/or additional information. Separated audio, video and/or additional information may be stored in the memory 103 under the control of the processor 101.
  • the communication unit 107 may connect the electronic device 100 to a peripheral device, external device, server, mobile terminal, etc. under the control of the processor 101.
  • the communication unit 107 may include at least one communication module capable of performing wireless communication.
  • the communication unit 107 may include at least one of a wireless LAN module 821, a Bluetooth module 822, and a wired Ethernet 823 depending on the performance and structure of the electronic device 100.
  • the Bluetooth module 822 can receive a Bluetooth signal transmitted from a peripheral device according to the Bluetooth communication standard.
  • the Bluetooth module 822 can be a BLE (Bluetooth Low Energy) communication module and can receive BLE signals.
  • the Bluetooth module 822 may continuously or temporarily scan the BLE signal to detect whether the BLE signal is being received.
  • the wireless LAN module 821 can transmit and receive Wi-Fi signals with surrounding devices according to Wi-Fi communication standards.
  • the detection unit 830 detects the user's voice, the user's image, or the user's interaction, and may include a microphone 831, a camera 109, and a light receiver 833.
  • the microphone 831 can receive an audio signal including the user's utterance or noise, and can convert the received audio signal into an electrical signal and output it to the processor 101.
  • the camera 109 includes a sensor (not shown) and a lens (not shown), and can photograph and capture images on the screen and transmit them to the processor 101.
  • the camera 109 may capture a plurality of control devices 150 and a plurality of users located in front of the camera 109, corresponding to the user using content with the plurality of control devices 150. In an embodiment, the camera 109 may capture identification signals transmitted by the plurality of control devices 150.
  • the optical receiver 833 can receive optical signals (including control signals).
  • the light receiver 833 may receive an optical signal corresponding to a user input (eg, touch, press, touch gesture, voice, or motion) from the control device 150, such as a remote control or a mobile phone.
  • a user input eg, touch, press, touch gesture, voice, or motion
  • the input/output unit 840 receives video (e.g., dynamic image signals, still image signals, etc.) and audio (e.g., voice signals, music signals, etc.) from an external server, etc. under the control of the processor 101. and additional information can be received.
  • video e.g., dynamic image signals, still image signals, etc.
  • audio e.g., voice signals, music signals, etc.
  • the input/output unit 840 is one of an HDMI port (High-Definition Multimedia Interface port, 841), a component jack (842), a PC port (PC port, 843), and a USB port (USB port, 844). may include.
  • the input/output unit 840 may include a combination of an HDMI port 841, a component jack 842, a PC port 843, and a USB port 844.
  • the video processing unit 850 processes image data to be displayed by the display 105 and performs various image processing operations such as decoding, rendering, scaling, noise filtering, frame rate conversion, and resolution conversion on the image data. You can.
  • the display 105 may output on the screen content received from a broadcasting station or from an external device such as an external server or external storage medium, or provided by various apps, such as an OTT service provider or a metaverse content provider.
  • Content is a media signal and may include video signals, images, text signals, etc.
  • the display 105 may output metaverse content received from a server. In an embodiment, the display 105 may output multiple contents controlled by a plurality of control devices 150 in a multi-view mode. In an embodiment, the display 105 may display multiple contents by arranging partial screens that output multiple contents to correspond to the positional relationships between the plurality of control devices 150 .
  • the display 105 may output an interface screen indicating whether to output one integrated content in which multiple contents are integrated from the server. In an embodiment, the display 105 may output the integrated content in a single view mode corresponding to receiving the integrated content from the server.
  • the audio processing unit 860 performs processing on audio data.
  • the audio processing unit 860 may perform various processing such as decoding, amplification, noise filtering, etc. on audio data.
  • the audio output unit 870 outputs audio included in content received through the tuner unit 810 under the control of the processor 101, audio input through the communication unit 820 or the input/output unit 840, and memory ( 103) can be output.
  • the audio output unit 870 may include at least one of a speaker 871, headphones 872, or S/PDIF (Sony/Philips Digital Interface: output terminal) 873.
  • the user input unit 880 may receive user input for controlling the electronic device 100.
  • the user input unit 880 includes a touch panel that detects the user's touch, a button that receives the user's push operation, a wheel that receives the user's rotation operation, a keyboard, and a dome switch, and voice recognition. It may include, but is not limited to, various types of user input devices including a microphone for detecting motion, a motion detection sensor for detecting motion, etc.
  • the user input unit 890 may receive a control signal received from the control device 150.
  • Figure 9 is a block diagram of the server 900 according to an embodiment.
  • server 900 may be a server that provides game content.
  • the server 900 may include a processor 901, a memory 903, and a communication unit 905.
  • memory 903 may store at least one instruction.
  • the memory 903 may store at least one program that the processor 901 executes. Additionally, the memory 903 may store data input to or output from the server 900. Additionally, the memory 903 may include a database in which various game contents are stored.
  • the communication unit 905 may perform communication with the electronic device 100 through a wired or wireless communication network.
  • the communication unit 905 can connect the server 900 to the electronic device 100, other peripheral devices or external devices, another server, a mobile terminal, etc. under the control of the processor 901.
  • the communication unit 107 may include a long-distance communication module to support long-distance communication according to long-distance communication standards.
  • the communication unit 905 may include a long-distance communication module that performs communication through a network for Internet communication.
  • the communication unit 905 may include a long-distance communication module that performs communication through a communication network that complies with communication standards such as 3G, 4G, and/or 5G.
  • the processor 901 may control the overall operation of the server 900 and signal flow between internal components of the server 900, and may perform functions of processing data. In an embodiment, the processor 901 may control the server 900 to function by executing one or more instructions stored in the memory 903.
  • the processor 901 may provide content to the electronic device 100 according to a request from the electronic device 100. In an embodiment, the processor 901 may provide a plurality of contents to one electronic device 100 according to a request from the electronic device 100. In an embodiment, the processor 901 may generate different individual contents controlled by different control devices 150 and transmit them to the electronic device 100 through the communication unit 905.
  • the processor 901 may identify the relevance of the individual contents when providing a plurality of individual contents to a single electronic device 100. In an embodiment, the processor 901 may identify associations between a plurality of pieces of content based on the distance in virtual space of the individual pieces of content. For example, the processor 901 may consider whether the virtual space of the first content and the virtual space of the second content are close.
  • the processor 901 may generate integrated content when the distance between the virtual space of the first content and the virtual space of the second content is less than or equal to a threshold.
  • the fact that the distance between the virtual space of the first content and the virtual space of the second content is less than the threshold means the distance between the first avatar appearing in the first content and the second avatar appearing in the second content in the virtual space. may include those that are below the threshold.
  • the processor 901 determines whether the distance between the first avatar and the second avatar in virtual space is less than or equal to a threshold, and if the distance between the first avatar and the second avatar in virtual space is less than or equal to the threshold, separate
  • the individual content being transmitted that is, the first content and the second content, can be integrated to create one integrated content.
  • the integrated content may be content that includes both a first avatar appearing in the first content and a second avatar appearing in the second content.
  • integrated content may be content that has a different view from individual content. That is, unlike individual content, first content, includes only the first avatar, and second content includes only the second avatar, integrated content includes both the first avatar and the second avatar, so the integrated content includes only the first avatar. It may be content in the same form as that created from the perspective of a virtual third person who can view the first avatar and the second avatar together, rather than from the perspective of the second avatar.
  • the processor 901 may inquire with the electronic device 100 whether to transmit the integrated content before generating the integrated content. You can. In an embodiment, the processor 901 may transmit an integrated content transmission inquiry signal to the electronic device 100 through the communication unit 905.
  • the electronic device 100 may output an interface screen on whether to output integrated content through the display 105 based on receiving an integrated content transmission inquiry signal from the server 900.
  • the interface screen for whether to output integrated content may be a type of pop-up screen.
  • the user may view the interface screen displayed on the display 105 and input an integrated content output request signal requesting integrated content output through the user input unit 880.
  • the electronic device 100 may transmit an integrated content transmission request signal to the server 900 based on the integrated content output request signal being input.
  • the server 900 may integrate the first content and the second content, which are individual contents, to generate integrated content. In an embodiment, the server 900 may transmit integrated content to the electronic device 100.
  • the electronic device 100 outputs the first content and the second content through separate partial screens, and when integrated content is received from the server 900, the first partial screen and the second partial screen are integrated.
  • Integrated content can be output through the screen.
  • the electronic device 100 when the electronic device 100 outputs two contents through two partial screens and receives integrated content in which the two contents are integrated from the server 900, the first partial screen and the second partial screen are combined.
  • Integrated content can be output through a screen of any size.
  • the electronic device 100 increases the screen size to the largest size possible and displays the screen. You can also output one integrated content through .
  • the server 900 may convert individual content into integrated content based on the distance of the avatar in virtual space. Multiple users can view multiple avatars together through integrated content and control their own avatars, allowing them to feel immersed as if multiple users were together in the same virtual space.
  • the server 900 while transmitting integrated content, when the distance between the first avatar and the second avatar in the virtual space exceeds the threshold, the server 900 transmits the first content including the first avatar and the second avatar, respectively, and Second content can be created and transmitted to the electronic device 100.
  • the electronic device 100 displays the first content and the second content instead of outputting the integrated content through the integrated screen.
  • 2 Content can be output through separate partial screens.
  • FIG. 10 is a diagram illustrating the electronic device 100 outputting individual content and integrated content, according to an embodiment.
  • the left diagram of FIG. 10 shows a case where the electronic device 100 outputs two individual contents controlled by two control devices 150 in multi-view mode.
  • the electronic device 100 receives first content and second content from the server 900, and displays the first content and second content as first partial screen 110 and second partial screen 120, respectively. It can be printed through .
  • the first content may include a first avatar 1011
  • the second content may include a second avatar 1021.
  • the server 900 may determine whether the distance between the first avatar 1011 and the second avatar 1021 in the virtual space is less than or equal to a threshold. For example, the server 900 determines that when both the first avatar 1011 and the second avatar 1021 are in the same conference room in virtual space, the distance between the first avatar 1011 and the second avatar 1021 is less than the threshold. You can judge. In an embodiment, the server 900 may integrate two individual contents to create one integrated content.
  • integrated content is content that includes both the first avatar 1011 and the second avatar 1021, and may be content in which the first avatar 1011 and the second avatar 1021 are displayed together.
  • integrated content may be content that has a view of a plurality of avatars together from the perspective of a virtual third party.
  • the server 900 may transmit integrated content to the electronic device 100.
  • the electronic device 100 may generate the integrated screen 1010 in response to receiving integrated content from the server 900.
  • the electronic device 100 may generate the integrated screen 1010 by integrating the first partial screen 110 and the second partial screen 120 that respectively output the first content and the second content.
  • the size of the combined screen 1010 may be the combined size of the first partial screen 110 and the second partial screen 120.
  • the size of the combined screen 1010 may be larger than the combined size of the first partial screen 110 and the second partial screen 120.
  • the electronic device 100 increases the size of the integrated screen 1010 to the largest size possible and displays the integrated screen 1010. ), you can output integrated content in a large size.
  • the electronic device 100 may generate integrated screens in various sizes and output integrated content through the integrated screen.
  • FIG. 11 is a flowchart illustrating a method of operating the electronic device 100 according to an embodiment.
  • the electronic device 100 may acquire multiple contents including first content and second content (step 1110).
  • the electronic device 100 may identify the positional relationship between the first control device 150-1 that controls the first content and the second control device 150-2 that controls the second content ( Step 1120).
  • the electronic device 100 acquires images of the first control device 150-1 and the second control device 150-2, and from the images, the first control device 150-1 The first identification signal output by and the second identification signal output by the second control device 150-2 can be identified.
  • the electronic device 100 may identify the positional relationship between the first control device 150-1 and the second control device 150-2 based on the positions of the first and second identification signals. You can.
  • the electronic device 100 may output first content through the first partial screen 110 and output second content through the second partial screen 120.
  • the electronic device 100 may output a plurality of contents by arranging the first partial screen 110 and the second partial screen 120 based on the positional relationship between the plurality of control devices 150 (step 1130).
  • the electronic device 100 arranges the first partial screen 110 and the second partial screen 120 to correspond to the positional relationship between the control devices 150, and displays the first partial screen 110 through the first partial screen 110.
  • 1 content can be output, and second content can be output through the second partial screen 120.
  • FIG. 12 is a flowchart illustrating a method of operating the electronic device 100 according to an embodiment.
  • the electronic device 100 may identify whether there is a change in the positional relationship between the control devices 150 (step 1210).
  • the electronic device 100 uses the first identification output from the first control device 150-1 from images captured of the first control device 150-1 and the second control device 150-2. Identify the signal and the second identification signal output by the second control device 150-2, and based on the first identification signal and the second identification signal, the first control device 150-1 and the second control device ( 150-2) It is possible to determine whether the positional relationship between the two has changed.
  • the electronic device 100 when it is determined that there is a change in the positional relationship between the control devices 150, the electronic device 100 arranges the first partial screen 110 and the second partial screen 120 in accordance with the change in positional relationship. can be changed (step 1020).
  • the electronic device 100 may output first content and second content through the first partial screen 110 and the second partial screen 120 whose arrangement has been changed, respectively.
  • FIG. 13 is a flowchart illustrating a method by which the electronic device 100 identifies the location of the control device 150, according to an embodiment.
  • the electronic device 100 may request the control device 150 to output an identification signal (step 1310).
  • the electronic device 100 when the electronic device 100 outputs multiple contents controlled by the multiple control device 150, it may request the control device 150 to output an identification signal.
  • the electronic device 100 may transmit an identification signal output request signal to the control device 150.
  • the identification signal may be a signal used to identify the control device 150.
  • the electronic device 100 when the electronic device 100 outputs multiple contents controlled by the multiple control device 150, the electronic device 100 performs control only once for the first time, or at regular intervals, or at random intervals, or whenever an event occurs.
  • An identification signal output may be requested from the device 150.
  • the electronic device 100 may request output of an identification signal from each of the plurality of control devices 150. In an embodiment, the electronic device 100 may request each of the plurality of control devices 150 to output different identification signals. In embodiments, the different identification signals may be signals that differ in at least one of the LED color and the LED blinking time interval.
  • control device 150 may receive an identification signal output request signal from the electronic device 100 and output the identification signal accordingly (step 1320).
  • the electronic device 100 may obtain an identification signal output by the control device 150 (1330).
  • the electronic device 100 may acquire an image of the control device 150 using the camera 109 and identify an identification signal output by the control device 150 from the image. In an embodiment, when the plurality of control devices 150 each transmit different identification signals, the electronic device 100 selects the signals output by the plurality of control devices 150 from the images of the plurality of control devices 150. Identification signals can be identified.
  • the electronic device 100 may identify the location of the control device 150 (step 1340).
  • the electronic device 100 may identify the location of the control device 150 using an identification signal transmitted by the control device 150. In an embodiment, the electronic device 100 may identify the positional relationship between the plurality of control devices 150 based on identification signals transmitted by each of the plurality of control devices 150.
  • FIG. 14 is a flowchart illustrating a case where the electronic device 100 requests the control device 150 to output an identification signal when an event occurs, according to an embodiment.
  • the electronic device 100 may detect user movement.
  • the electronic device 100 may identify multiple users from images captured by multiple control devices 150 and multiple users.
  • the electronic device 100 may detect the movement of a user identified in the image.
  • the electronic device 100 may identify that the user's movement is greater than a threshold (step 1410). In an embodiment, when the electronic device 100 identifies that the user's movement is greater than a threshold in the left and right directions, it may detect this as an event occurrence.
  • the electronic device 100 may request the control device 150 to output an identification signal (step 1420).
  • control device 150 when the control device 150 receives a request to output an identification signal from the electronic device 100, it may output an identification signal correspondingly (step 1430).
  • the electronic device 100 may obtain an identification signal output by the control device 150 (step 1430) and identify the location of the control device 150 based on the identification signal (step 1450).
  • the electronic device 100 may re-confirm the location of the control device 150 by causing the control device 150 to output an identification signal when the user moves in the left or right direction more than a threshold value. In an embodiment, the electronic device 100 determines whether there is a change in the positional relationship between the plurality of control devices 150 or whether the user does not use the control device 150 based on the identification signal output again by the control device 150. You can judge whether or not.
  • FIG. 15 is a flowchart illustrating a case where the control device 150 outputs an identification signal based on a user input, according to an embodiment.
  • control device 150 may output an identification signal even when it is not requested to output an identification signal from the electronic device 100.
  • the control device 150 may continuously output an identification signal through the LED transmitter.
  • the control device 150 may turn off the LED transmitter when not outputting an identification signal, and then turn on the LED transmitter at regular intervals so that the LED transmitter periodically outputs an identification signal.
  • control device 150 may output an identification signal according to the user's request.
  • FIG. 15 illustrates a case where the control device 150 outputs an identification signal at the user's request, according to an embodiment.
  • the control device 150 may receive user input (step 1510).
  • the control device 150 may receive a user input to output an identification signal.
  • a user may want to notify another user that their location has changed. That is, the user may transmit a user input to output an identification signal using the control device 150 to notify that the positional relationship between the control devices 150 has changed.
  • the user may transmit a user input to output an identification signal by selecting one of a plurality of keys provided on the control device 150.
  • control device 150 may output an identification signal in response to receiving a user input (step 1520).
  • the electronic device 100 may obtain an identification signal (step 1530) and identify the location of the control device based on the identification signal (step 1540).
  • the user can output an identification signal through the control device 150 to inform the electronic device 100 of a change in location between users and cause the screen location to change accordingly.
  • FIG. 16 is a flowchart showing how the electronic device 100 outputs content received from the server 900 in various ways, according to an embodiment.
  • the server 900 may receive a request for content in which an avatar appears from the electronic device 100 and generate metaverse content for a virtual space correspondingly. In an embodiment, the server 900 may generate a plurality of individual contents in response to a request from the electronic device 100 for multiple contents in which each of the plurality of avatars appears. A plurality of individual contents may each be controlled by a plurality of control devices 150. The plurality of individual contents may include first content and second content.
  • the server 900 may generate first content and second content (step 1610) and transmit them to the electronic device 100 (step 1620).
  • the electronic device 100 may receive individual content, first content and second content, from the server 900 and output them through partial screens, respectively.
  • the electronic device 100 may identify a positional relationship between a plurality of control devices 150. In an embodiment, the electronic device 100 may output content by arranging the first partial screen 110 and the second partial screen 120 to correspond to the positional relationship between the control devices 150 (step 1630).
  • the server 900 may determine whether the distance between the virtual space of the first content and the virtual space of the second content is less than or equal to a threshold (step 1640).
  • the server 900 may determine whether the distance in virtual space between the first avatar appearing in the first content and the second avatar appearing in the second content is less than or equal to a threshold.
  • the server 900 when the server 900 determines that the distance between the virtual space of the first content and the virtual space of the second content is less than or equal to a threshold, the server 900 integrates the first content and the second content to generate one integrated content. You can (step 1650).
  • the server 900 may transmit integrated content to the electronic device 100 (step 1660).
  • the electronic device 100 may output the integrated content corresponding to receiving the integrated content from the server 900 (step 1670).
  • the electronic device 100 may output integrated content through a screen combining the first partial screen 110 and the second partial screen 120.
  • the electronic device 100 when the individual content output by the electronic device 100 is only the first content and the second content, the electronic device 100 outputs the integrated content through a screen of the largest size possible, that is, through the entire screen. You may.
  • the electronic device 100 displays the first partial screen 110 and Integrated content may be output through the integrated screen incorporating the second partial screen 120, and third content may be output through the third partial screen 131.
  • the electronic device 100 may variously modify the size or position of the partial screen that outputs individual content, the size or position of the integrated screen that outputs integrated content, etc.
  • FIG. 17 is a flowchart illustrating the electronic device 100 outputting an interface screen regarding whether to output integrated content, according to an embodiment.
  • the server 900 determines that the distance between the virtual space of the first content and the virtual space of the second content is less than or equal to a threshold.
  • the server 900 may generate an integrated content transmission inquiry signal (step 1710).
  • the server 900 determines that the distance between the virtual space of the first content and the virtual space of the second content is less than or equal to the threshold, whether to transmit the integrated content before generating one integrated content. You can first inquire with the electronic device 100.
  • the server 900 may transmit an integrated content transmission inquiry signal to the electronic device 100 (step 1720).
  • the electronic device 100 may output an interface screen indicating whether to output integrated content in response to receiving an integrated content transmission inquiry signal from the server 900 (step 1730).
  • the electronic device 100 may output an interface screen indicating whether to output integrated content together with multiple contents.
  • the electronic device 100 may display an interface screen indicating whether to output integrated content by overlaying it on a plurality of individual contents on a partial area of the screen of the electronic device 100.
  • the interface screen for whether to output the integrated content may include text, symbols, or shapes asking whether the user wants to output the integrated content. Additionally, the interface screen for whether to output integrated content may include a button for selecting either 'yes' or 'no'. However, this is just one embodiment, and the content of text, symbols, type or size of shapes, output location, transparency, and/or shape included in the interface screen regarding whether to output integrated content may be modified into various forms.
  • the electronic device 100 may receive an integrated content output request signal from the user (step 1740).
  • the user may input an integrated content output request signal requesting to output integrated content through the user input unit 880.
  • the user views an interface screen regarding whether to output integrated content output through the electronic device 100 and selects the 'Yes' button included in the interface screen using the control device 150, thereby signaling a request for output of integrated content. You can enter .
  • the electronic device 100 when the electronic device 100 receives an integrated content output request signal from a user, it may generate an integrated content transmission request signal (step 1750) and transmit it to the server 900 (step 1760).
  • server 900 when the server 900 receives an integrated content transmission request signal from the electronic device 100, it may generate integrated content correspondingly (step 1770). In embodiments, server 900 may merge individual content to create integrated content with a third-party perspective.
  • the server 900 may transmit integrated content to the electronic device 100 (step 1780).
  • the electronic device 100 may output the integrated content corresponding to receiving the integrated content from the server 900 (step 1790).
  • Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and non-volatile media, removable and non-removable media. Additionally, computer-readable media may include both computer storage media and communication media.
  • Computer storage media includes both volatile and non-volatile, removable and non-removable media implemented in any method or technology for storage of information such as computer-readable instructions, data structures, program modules or other data.
  • Communication media typically includes computer-readable instructions, data structures, program modules, or other data in a modulated data signal, such as a carrier wave, or other transmission mechanism, and includes any information delivery medium.
  • the electronic device and its operating method include obtaining a plurality of contents including first content and second content and outputting the first content through the first partial screen 110. and outputting the second content through a second partial screen 120, wherein the outputting step includes a first control device 150-1 that controls the first content and the second content. Identifying the positional relationship between the controlling second control devices 150-2 and outputting the plurality of contents by arranging the first partial screen 110 and the second partial screen 120 to correspond to the positional relationship. It may be implemented as a computer program product including a computer-readable recording medium/storage medium on which a program for implementing a method of operating an electronic device, including the step of:
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory storage medium' only means that it is a tangible device and does not contain signals (e.g. electromagnetic waves). This term refers to cases where data is semi-permanently stored in a storage medium and temporary storage media. It does not distinguish between cases where it is stored as .
  • a 'non-transitory storage medium' may include a buffer where data is temporarily stored.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • a computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or through an application store or between two user devices (e.g. smartphones). It may be distributed in person or online (e.g., downloaded or uploaded). In the case of online distribution, at least a portion of the computer program product (e.g., a downloadable app) is stored on a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server. It can be temporarily stored or created temporarily.
  • a machine-readable storage medium such as the memory of a manufacturer's server, an application store's server, or a relay server. It can be temporarily stored or created temporarily.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

디스플레이, 하나 이상의 인스트럭션을 저장하는 메모리 및 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 하나 이상의 프로세서를 포함하고, 하나 이상의 프로세서는 하나 이상의 인스트럭션을 실행함으로써, 제1 콘텐츠 및 제2 콘텐츠를 포함하는 복수 콘텐츠를 획득하고, 제1 콘텐츠를 제어하는 제1 제어 장치 및 제2 콘텐츠를 제어하는 제2 제어 장치 간 위치 관계를 식별하고, 디스플레이를 통해, 위치 관계에 대응하도록, 제1 콘텐츠를 출력하는 제1 부분 화면 및 제2 콘텐츠를 출력하는 제2 부분 화면을 배치하여 복수 콘텐츠를 출력하는, 전자 장치가 개시된다.

Description

전자 장치 및 그 동작 방법
개시된 다양한 실시 예들은 전자 장치 및 그 동작 방법에 관한 것으로, 보다 구체적으로 사용자에게 시인성 높은 콘텐츠를 제공하는 전자 장치 및 그 동작 방법에 관한 것이다.
전자 장치는 다양한 콘텐츠를 출력할 수 있다. 예컨대, 전자 장치는 메타버스 콘텐츠 등과 같은 게임 콘텐츠를 출력할 수 있다. 사용자는 리모컨 등의 제어 장치(150)를 이용하여 게임 콘텐츠를 이용할 수 있다.
복수의 사용자가 함께 전자 장치를 이용하여 게임 콘텐츠를 즐길 수도 있다. 예컨대, 복수의 사용자 각각은 별개의 제어 장치를 이용하여 전자 장치의 화면을 통해 출력되는 개별 콘텐츠 각각을 제어하여 게임 콘텐츠를 즐길 수 있다. 사용자 시인성을 높이기 위해, 전자 장치는 복수 사용자의 위치 및/또는 각 메타버스 콘텐츠의 가상 공간 등을 고려하여 콘텐츠를 출력하는 기술이 요구된다.
실시 예에 따른 전자 장치는 디스플레이, 하나 이상의 인스트럭션을 저장하는 메모리, 및 상기 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 하나 이상의 프로세서를 포함할 수 있다.
실시 예에서, 상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 제1 콘텐츠 및 제2 콘텐츠를 포함하는 복수 콘텐츠를 획득할 수 있다.
실시 예에서, 상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 제1 콘텐츠를 제어하는 제1 제어 장치 및 상기 제2 콘텐츠를 제어하는 제2 제어 장치 간 위치 관계를 식별할 수 있다.
실시 예에서, 상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 디스플레이를 통해, 상기 위치 관계에 대응하도록, 상기 제1 콘텐츠를 출력하는 제1 부분 화면 및 상기 제2 콘텐츠를 출력하는 제2 부분 화면을 배치하여 상기 복수 콘텐츠를 출력할 수 있다.
도 1은 실시 예에 따라, 전자 장치가 복수개의 제어 장치 간 위치 관계에 기반하여 복수 콘텐츠를 출력하는 것을 도시한 도면이다.
도 2는 실시 예에 따른 전자 장치의 블록도이다.
도 3은 실시 예에 따른 전자 장치 및 제어 장치의 블록도이다.
도 4는 실시 예에 따라, 전자 장치가 제어 장치 간 위치 관계 변화에 대응하도록 부분 화면을 재 배치하는 것을 나타내는 도면이다.
도 5는 실시 예에 따라, 전자 장치가 제어 장치의 사용 정도에 따라 부분 화면을 조절하는 것을 설명하는 도면이다.
도 6은 실시 예에 따라, 전자 장치가 복수개의 콘텐츠를 출력하는 것을 나타내는 도면이다.
도 7은 실시 예에 따라, 제어 장치의 위치에 따라 전자 장치가 부분 화면의 위치를 조절하는 것을 나타내는 도면이다.
도 8은 실시 예에 따른 전자 장치의 블록도이다.
도 9는 실시 예에 따른 서버의 블록도이다.
도 10은 실시 예에 따라, 전자 장치가 개별 콘텐츠 및 통합 콘텐츠를 각각 출력하는 것을 나타내는 도면이다.
도 11은 실시 예에 따른 전자 장치의 동작 방법을 도시한 순서도이다.
도 12는 실시 예에 따른 전자 장치의 동작 방법을 도시한 순서도이다.
도 13은 실시 예에 따라, 전자 장치가 제어 장치의 위치를 식별하는 방법을 도시한 순서도이다.
도 14는 실시 예에 따라, 전자 장치가 이벤트가 발생함에 따라 제어 장치로 식별 신호 출력을 요청하는 경우를 도시한 순서도이다.
도 15는 실시 예에 따라, 사용자 입력에 기반하여 제어 장치가 식별 신호를 출력하는 경우를 도시한 순서도이다.
도 16은 실시 예에 따라, 전자 장치가 서버로부터 수신한 콘텐츠를 다양한 방법으로 출력하는 것을 도시한 순서도이다.
도 17은 실시 예에 따라, 전자 장치가 통합 콘텐츠 출력 여부에 대한 인터페이스 화면을 출력하는 것을 도시한 순서도이다.
실시 예에 따른, 전자 장치로 콘텐츠를 제공하는 서버는, 통신부, 하나 이상의 인스트럭션을 저장하는 메모리 및 상기 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 하나 이상의 프로세서를 포함할 수 있다.
실시 예에서, 상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 통신부를 통해, 제1 콘텐츠 및 제2 콘텐츠를 포함하는 복수 콘텐츠를 상기 전자 장치로 전송할 수 있다.
실시 예에서, 상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 제1 콘텐츠의 가상 공간 및 상기 제2 콘텐츠의 가상 공간 사이의 거리가 임계치 이하인 것에 상응하여 통합 콘텐츠를 생성하고, 상기 통합 콘텐츠를 상기 전자 장치로 전송할 수 있다.
실시 예에 따른 전자 장치의 동작 방법은 제1 콘텐츠 및 제2 콘텐츠를 포함하는 복수 콘텐츠를 획득하는 단계를 포함할 수 있다.
실시 예에서, 전자 장치의 동작 방법은 상기 제1 콘텐츠를 제1 부분 화면을 통해 출력하고, 상기 제2 콘텐츠를 제2 부분 화면을 통해 출력하는 단계를 포함할 수 있다.
실시 예에서, 전자 장치의 동작 방법은 상기 제1 콘텐츠를 제어하는 제1 제어 장치 및 상기 제2 콘텐츠를 제어하는 제2 제어 장치 간 위치 관계를 식별하는 단계를 포함할 수 있다.
실시 예에서, 전자 장치의 동작 방법은 상기 위치 관계에 대응하도록 상기 제1 부분 화면 및 상기 제2 부분 화면을 배치하여 상기 복수 콘텐츠를 출력하는 단계를 포함할 수 있다.
실시 예에 따른 기록 매체는 제1 콘텐츠 및 제2 콘텐츠를 포함하는 복수 콘텐츠를 획득하는 단계를 포함하는 전자 장치의 동작 방법을 컴퓨터에 의해 수행할 수 있는 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체일 수 있다.
실시 예에서, 기록 매체는 상기 제1 콘텐츠를 제1 부분 화면을 통해 출력하고, 상기 제2 콘텐츠를 제2 부분 화면을 통해 출력하는 단계를 포함하는 전자 장치의 동작 방법을 컴퓨터에 의해 수행할 수 있는 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체일 수 있다.
실시 예에서, 기록 매체는 상기 제1 콘텐츠를 제어하는 제1 제어 장치 및 상기 제2 콘텐츠를 제어하는 제2 제어 장치 간 위치 관계를 식별하는 단계를 포함하는 전자 장치의 동작 방법을 컴퓨터에 의해 수행할 수 있는 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체일 수 있다.
실시 예에서, 기록 매체는 상기 위치 관계에 대응하도록 상기 제1 부분 화면 및 상기 제2 부분 화면을 배치하여 상기 복수 콘텐츠를 출력하는 단계를 포함하는 전자 장치의 동작 방법을 컴퓨터에 의해 수행할 수 있는 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체일 수 있다.
본 개시에서, "a, b 또는 c 중 적어도 하나" 표현은 " a", " b", " c", "a 및 b", "a 및 c", "b 및 c", "a, b 및 c 모두", 혹은 그 변형들을 지칭할 수 있다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시 예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 개시에서 사용되는 용어는, 본 개시에서 언급되는 기능을 고려하여 현재 사용되는 일반적인 용어로 기재되었으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 다양한 다른 용어를 의미할 수 있다. 따라서 본 개시에서 사용되는 용어는 용어의 명칭만으로 해석되어서는 안되며, 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 해석되어야 한다.
또한, 본 개시에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것이며, 본 개시를 한정하려는 의도로 사용되는 것이 아니다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
본 명세서, 특히, 특허 청구 범위에서 사용된 "상기" 및 이와 유사한 지시어는 단수 및 복수 모두를 지시하는 것일 수 있다. 또한, 본 개시에 따른 방법을 설명하는 단계들의 순서를 명백하게 지정하는 기재가 없다면, 기재된 단계들은 적당한 순서로 행해질 수 있다. 기재된 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다.
본 명세서에서 다양한 곳에 등장하는 "일부 실시 예에서" 또는 "일 실시 예에서" 등의 어구는 반드시 모두 동일한 실시 예를 가리키는 것은 아니다.
본 개시의 일부 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. "매커니즘", "요소", "수단" 및 "구성"등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
또한, 명세서에서 "사용자" 라는 용어는 전자 장치를 이용하는 사람을 의미하며, 소비자, 평가자, 시청자, 관리자 또는 설치 기사를 포함할 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 실시 예에 따라, 전자 장치(100)가 복수개의 제어 장치(150) 간 위치 관계에 기반하여 복수 콘텐츠를 출력하는 것을 도시한 도면이다.
도 1을 참조하면, 전자 장치(100)는 영상을 출력할 수 있는 영상 표시 장치일 수 있다. 일 예에 따라 전자 장치(100)는 디스플레이를 포함하는 다양한 형태의 전자 장치로 구현될 수 있다. 전자 장치(100)는 고정형 또는 이동형일 수 있다.
실시 예에서, 전자 장치(100)는 데스크톱, 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상 전화기, 전자 북 리더기(e-book reader), 랩톱 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 디지털 카메라, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 캠코더, 네비게이션, 웨어러블 장치(wearable device), 스마트 와치(smart watch), 홈 네트워크 시스템, 보안 시스템, 의료 장치 중 적어도 하나를 포함할 수 있다.
전자 장치(100)는 평면(flat) 디스플레이 장치뿐 아니라, 곡률을 가지는 화면인 곡면(curved) 디스플레이 장치 또는 곡률을 조정 가능한 가변형(flexible) 디스플레이 장치로 구현될 수 있다. 전자 장치(100)의 출력 해상도는 예를 들어, HD(High Definition), Full HD, Ultra HD, 또는 Ultra HD 보다 더 선명한 해상도 등과 같이 다양한 해상도를 가질 수 있다.
전자 장치(100)는 콘텐츠 프로바이더들(contents providers)이 제공하는 다양한 형태의 콘텐츠를 출력할 수 있다. 콘텐츠는 정지 영상, 동영상 등의 비디오, 오디오, 자막, 기타 부가 정보 등을 포함할 수 있다. 콘텐츠 프로바이더는 소비자에게 각종 콘텐츠를 제공하는 지상파 방송국이나 케이블 방송국, 위성 방송국, 또는 IPTV (Internet Protocol Television) 서비스 제공자나 OTT (Over the Top) 서비스 제공자, 또는, 다양한 종류의 콘텐츠를 제공하는 서버 운영자 등을 의미할 수 있다.
실시 예에서, 콘텐츠 프로바이더는 게임 콘텐츠를 제공하는 게임 콘텐츠 제공자를 포함할 수 있다. 실시 예에서, 게임 콘텐츠는 메타버스(Metaverse) 콘텐츠를 포함할 수 있다. 메타버스는 아바타(avatar)를 통해 실제 현실과 같은 사회, 경제, 교육, 문화, 과학 기술 활동을 할 수 있는 3차원 공간 플랫폼을 의미할 수 있다. 메타버스 콘텐츠는 메타버스 플랫폼이 제공하는 가상 공간을 나타내는 콘텐츠일 수 있다.
실시 예에서, 전자 장치(100)는 외부 기기(미도시)를 통해 콘텐츠 프로바이더에 의해 생성된 다양한 콘텐츠를 수신하여 출력할 수 있다. 예컨대, 외부 기기는 PC, 셋톱 박스, 블루레이 디스크 플레이어, 휴대폰, 게임 콘솔, 홈 씨어터, 오디오 플레이어, USB 등과 같이 다양한 형태의 소스 장치로 구현될 수 있다.
실시 예에서, 전자 장치(100)는 외부 기기 중 게임 콘솔로부터 메타버스 콘텐츠를 수신하여 출력할 수 있다. 게임 콘솔은 네트워크를 통해 게임 서버로부터 게임 콘텐츠를 수신하여 이를 전자 장치(100)로 전송할 수 있다.
실시 예에서, 전자 장치(100)는 스마트 TV(smart TV)일 수 있다. 스마트 TV는 운영 체제(Operating System, OS) 및 인터넷 접속 기능이 탑재된 디지털 TV를 의미할 수 있다. 스마트 TV는 인터넷 TV, 커넥티드 TV(connected TV), 또는 하이브리드 TV(hybrid TV)로도 호칭될 수 있다.
실시 예에서, 전자 장치(100)는 내부에 탑재된 운영 체제를 이용하여 OTT 서비스 제공자에 의해 생성된 콘텐츠나, 또는 게임 콘텐츠 제공자에 의해 생성된 게임 콘텐츠 등을 스트리밍하여 출력할 수 있다.
실시 예에서, 전자 장치(100)는 다양한 형태의 어플리케이션들을 실행시킬 수 있다. 전자 장치(100)에는 디폴트로 다양한 종류의 앱(어플리케이션, application)이 설치되어 있을 수 있다. 또는, 전자 장치(100)는 사용자의 제어에 따라, 인터넷에 접속하여 사용자가 요청한 앱을 검색하여, 이를 설치할 수 있다.
전자 장치(100)는 앱을 실행시켜 다양한 서비스를 제공할 수 있다. 실시 예에서, 전자 장치(100)는 메타버스 콘텐츠를 제공하는 게임 앱을 실행시켜 서버로부터 게임 콘텐츠를 수신하여 이를 출력할 수 있다. 여기서, 서버는 메타버스 콘텐츠를 제공하는 게임 서버일 수 있다.
전자 장치(100)는 제어 장치(150)에 의해 제어될 수 있다. 제어 장치(150)는 리모컨(remote controller)과 같이 전자 장치(100)를 제어하는 데 이용되는 기기일 수 있다.
실시 예에서, 사용자는 제어 장치(150)를 이용하여 게임 콘솔로부터 수신하거나 또는 서버로부터 수신한 메타버스 콘텐츠를 제어할 수 있다.
이하, 설명의 편의를 위해, 전자 장치(100)가 서버로부터 메타버스 콘텐츠를 직접 수신하는 경우를 기준으로 설명하기로 한다. 그러나, 이에 한정되는 것은 아니고, 이하 설명할 내용은 전자 장치(100)가 게임 콘솔을 통해 서버로부터 메타버스 콘텐츠를 수신하는 경우에도 동일하게 적용될 수 있다.
메타버스 콘텐츠에는 사용자가 조작할 수 있는 아바타가 등장한다. 실시 예에서, 사용자는 제어 장치(150)를 이용하여 메타버스 콘텐츠에 등장하는 아바타를 제어할 수 있다. 사용자는 제어 장치(150)를 이용하여 아바타가 다른 아바타와 상호 작용을 하게 하거나, 주변을 탐색하게 하거나, 다양한 상황에 맞는 동작을 수행하도록 할 수 있다.
경우에 따라, 한 명이 아닌, 복수 사용자가 하나의 전자 장치(100)를 이용하여 메타버스 콘텐츠를 이용하고자 할 수 있다. 예컨대, 전자 장치(100)에 제어 신호를 전송할 수 있는 제어 장치(150)가 복수 개이고, 복수 사용자 각각이 제어 장치(150)를 이용하여 메타버스 콘텐츠를 이용하고자 하는 경우, 사용자는 전자 장치(100)에 게임을 하는 플레이어의 수가 복수 명임을 입력할 수 있다.
실시 예에서, 전자 장치(100)는 앱 실행을 통해 메타버스 콘텐츠를 제공하는 서버에 사용자 수, 즉, 플레이어 수를 전송할 수 있다.
실시 예에서, 서버는 플레이어 수에 대응하는 복수개의 콘텐츠를 전자 장치(100)로 전송할 수 있다.
실시 예에서, 전자 장치(100)는 아바타가 등장하는 메타버스 콘텐츠를 플레이어 수에 대응하는 개수만큼 수신하고, 이를 전자 장치(100)를 통해 출력할 수 있다.
도 1은, 실시 예에 따라, 두 명의 사용자가 하나의 전자 장치(100)를 이용하여 메타버스 콘텐츠를 이용하는 경우를 도시한다,
도 1을 참조하면, 실시 예에서, 전자 장치(100)는 복수개의 제어 장치(150)로부터 제어 신호를 수신할 수 있다. 실시 예에서, 복수개의 제어 장치(150)는 제1 제어 장치(150-1) 및 제2 제어 장치(150-2)를 포함할 수 있다.
실시 예에서, 전자 장치(100)는 게임 콘텐츠를 제공하는 서버로부터 복수개의 메타버스 콘텐츠를 획득할 수 있다. 실시 예에서, 복수개의 메타버스 콘텐츠는 제1 콘텐츠 및 제2 콘텐츠를 포함할 수 있다. 실시 예에서, 제1 콘텐츠 및 제2 콘텐츠는 각각 제1 제어 장치(150-1) 및 제2 제어 장치(150-2)에 의해 제어되는 콘텐츠일 수 있다.
실시 예에서, 전자 장치(100)는 복수개의 메타버스 콘텐츠를 부분 화면을 통해 멀티뷰(multi-view)로 출력할 수 있다.
실시 예에서, 전자 장치(100)는 컨텐츠를 싱글 뷰 모드(single view mode)로 출력하거나 또는 멀티 뷰 모드(multi view mode)로 출력할 수 있다. 싱글 뷰 모드는 전자 장치(100)가 하나의 싱글 화면에 하나의 컨텐츠를 표시하는 모드를 의미할 수 있다. 멀티 뷰 모드는 전자 장치(100)가 화면을 복수개의 영역으로 분할하고, 분할된 각 영역에서 서로 다른 컨텐츠를 표시하는 모드를 의미할 수 있다. 멀티 뷰 모드에서 각 분할된 화면은 서브 화면 내지 부분 화면으로 언급될 수 있다.
멀티 뷰 모드에서 제공되는 복수의 부분 화면은 사용자 수, 즉, 플레이어 수에 따라 다양한 개수로 결정될 수 있다. 예컨대, 플레이어가 두 명, 세 명, 또는 네 명 이상인 경우, 멀티 뷰 모드에서 제공되는 부분 화면의 개수 또한 두 개, 세 개, 또는 네 개 이상이 될 수 있다.
도 1에서는 예시적으로 두 개의 부분 화면이 구성된 것을 표시하였다. 도 1을 참조하면, 멀티 뷰 모드에서, 전자 장치(100)는 제1 부분 화면(110) 및 제2 부분 화면(120)을 통해 각각 서로 다른 콘텐츠를 출력할 수 있다. 예컨대, 전자 장치(100)는 멀티 뷰 모드에서 제1 콘텐츠를 제1 부분 화면(110)을 통해서, 제2 콘텐츠를 제2 부분 화면(120)을 통해서 출력할 수 있다.
전자 장치(100)가 복수개의 부분 화면을 통해 복수개의 콘텐츠를 출력할 때, 콘텐츠가 출력되는 위치와 사용자 위치가 맞지 않는 경우, 사용자는 불편함을 느낄 수 있다.
이에, 실시 예에서, 전자 장치(100)는 멀티 뷰 모드로 복수개의 부분 화면을 출력할 때 제어 장치(150)의 위치와 제어 장치(150)로 제어되는 콘텐츠가 출력되는 부분 화면의 위치가 서로 대응하도록 할 수 있다.
실시 예에서, 전자 장치(100)는 제1 콘텐츠를 제어하는 제1 제어 장치(150-1) 및 제2 콘텐츠를 제어하는 제2 제어 장치(150-2) 간 위치 관계를 식별할 수 있다.
이를 위해, 실시 예에서, 전자 장치(100)는 복수개의 제어 장치(150)로 식별 신호 출력 요청 신호를 전송할 수 있다. 실시 예에서, 식별 신호 출력 요청 신호는, 제어 장치(150)에 식별 신호를 출력할 것을 요청하는 신호로, 식별 신호 및 식별 신호의 출력을 요청하는 정보를 포함할 수 있다.
실시 예에서, 식별 신호는 제어 장치(150)가 출력하는 신호로, 제어 장치(150)를 식별하는 데 이용될 수 있다.
실시 예에서, 제어 장치(150)는 LED를 포함할 수 있다. 제어 장치(150)에 포함된 LED는 IR LED (적외선 LED)일 수 있다. 실시 예에서, 제어 장치(150)는 LED를 송신부로 이용하여 전자 장치(100)에 적외선을 발사할 수 있다. 실시 예에서, 전자 장치(100)는 제어 장치(150)에 구비된 LED로부터 발사된 적외선의 색상 및/또는 적외선의 온/오프 패턴을 식별 신호로 이용하여 제어 장치(150)를 식별할 수 있다. 적외선의 패턴에 따라 LED가 깜박이는 주기 내지 시간 간격이 결정될 수 있다.
실시 예에서, 전자 장치(100)는 복수개의 제어 장치(150) 각각에 서로 다른 식별 신호를 출력할 것을 요청하는 식별 신호 출력 요청 신호를 전송할 수 있다. 실시 예에서, 전자 장치(100)는 제1 제어 장치(150-1)에 제1 식별 신호의 출력을 요청하는 제1 식별 신호 출력 요청 신호를 전송할 수 있다. 실시 예에서, 전자 장치(100)는 제2 제어 장치(150-2)에 제2 식별 신호의 출력을 요청하는 제2 식별 신호 출력 요청 신호를 전송할 수 있다.
실시 예에서, 제1 제어 장치(150-1)는 전자 장치(100)로부터 제1 식별 신호 출력 요청 신호를 수신하고, 그에 따라 제1 식별 신호를 출력할 수 있다. 실시 예에서, 제2 제어 장치(150-2)는 전자 장치(100)로부터 제2 식별 신호 출력 요청 신호를 수신하고, 그에 따라 제2 식별 신호를 출력할 수 있다.
실시 예에서, 제1 식별 신호 및 제2 식별 신호는 LED 색상 및 LED 깜박임 시간 간격 중 적어도 하나가 서로 다른 신호일 수 있다. LED 깜박임 시간 간격은 LED 적외선 램프가 깜박이는 패턴에 따라 달라질 수 있다.
실시 예에서, 전자 장치(100)는 이미지 획득부를 포함할 수 있다. 실시 예에서, 이미지 획득부는 카메라(109)를 포함할 수 있다. 실시 예에서, 카메라(109)는 전자 장치(100)의 전면의 상단, 하단, 측면 등과 같이 다양한 위치에, 하나 또는 복수 개 배치될 수 있다.
실시 예에서, 전자 장치(100)는 카메라(109)를 이용하여 제1 제어 장치(150-1) 및 제2 제어 장치(150-2), 제1 제어 장치(150-1) 및 제2 제어 장치(150-2)를 이용하는 복수 사용자를 촬영하여 영상을 획득할 수 있다.
실시 예에서, 전자 장치(100)는 제어 장치(150)와 복수 사용자를 촬영하여 획득한 영상으로부터, 제1 제어 장치(150-1) 및 제2 제어 장치(150-2) 중 적어도 하나가 출력하는 LED 신호를 식별할 수 있다. 실시 예에서, 전자 장치(100)는 영상에서 LED 빛의 색상 및/또는 LED 깜박임 시간 간격 중 적어도 하나를 식별할 수 있다.
실시 예에서, 전자 장치(100)는 영상에서 식별한 LED 신호를 식별 신호로 식별할 수 있다. 실시 예에서, 전자 장치(100)는 영상에 포함된 LED 빛의 색상이나 깜박임 시간 간격을, 복수개의 제어 장치(150) 각각에 전송한 식별 신호 출력 요청 신호에 포함된 식별 신호와 비교하여, 제어 장치(150)를 식별할 수 있다.
실시 예에서, 전자 장치(100)는 영상으로부터 제1 식별 신호를 식별하고, 제1 식별 신호를 전송하는 제어 장치(150)가 제1 제어 장치(150-1)임을 식별할 수 있다. 실시 예에서, 전자 장치(100)는 영상으로부터 제2 식별 신호를 식별하고, 제2 식별 신호를 전송하는 제어 장치(150)가 제2 제어 장치(150-2)임을 식별할 수 있다.
실시 예에서, 전자 장치(100)는 제1 식별 신호 및 제2 식별 신호에 기반하여, 제1 제어 장치(150-1) 및 제2 제어 장치(150-2) 간 위치 관계를 식별할 수 있다.
실시 예에서, 전자 장치(100)는 복수개의 제어 장치(150) 간 위치 관계에 대응하도록, 제1 콘텐츠를 출력하는 제1 부분 화면(110) 및 제2 콘텐츠를 출력하는 제2 부분 화면(120)을 배치할 수 있다.
도 1을 참조하면, 전자 장치(100)는 전자 장치(100)를 바라보는 방향을 기준으로, 화면의 좌측에 제1 부분 화면(110)을 배치하고, 화면의 우측에 제2 부분 화면(120)을 배치한 것을 알 수 있다. 따라서, 전자 장치(100)는 제1 제어 장치(150-1)로 제어되는 제1 콘텐츠가 화면의 좌측에서 출력되도록 하고, 제2 제어 장치(150-2)로 제어되는 제2 콘텐츠가 화면의 우측에서 출력되도록 할 수 있다. 이에, 복수 사용자들은 자신의 위치 관계에 대응하는 화면 위치에서 출력되는 콘텐츠를 이용하게 되므로, 보다 자연스럽게 게임에 몰입할 수 있게 된다.
실시 예에서, 복수 사용자 간의 위치 관계는 변경될 수 있다. 예컨대, 복수 사용자 중 한 명이 다른 사용자의 좌측에 있다가, 다른 사용자의 우측으로 이동하는 경우와 같이 복수 사용자 간의 위치 관계가 변경될 수 있다.
실시 예에서, 전자 장치(100)는 카메라(109)를 이용하여 제1 제어 장치(150-1) 및 제2 제어 장치(150-2), 복수 사용자를 계속 촬영하여 영상을 획득하고, 영상에서 식별된 제1 식별 신호 및 제2 식별 신호의 위치에 기반하여 복수개의 제어 장치(150)의 위치 관계를 식별할 수 있다.
실시 예에서, 전자 장치(100)는 제1 식별 신호 및 제2 식별 신호의 위치가 변경된 것에 기반하여, 제1 제어 장치(150-1) 및 제2 제어 장치(150-2)의 위치가 변경된 것을 식별할 수 있다.
실시 예에서, 전자 장치(100)는 제1 제어 장치(150-1) 및 제2 제어 장치(150-2) 간 위치 관계가 변경된 것에 상응하여, 변경된 위치 관계에 대응하도록 제1 콘텐츠를 출력하는 제1 부분 화면(110) 및 제2 콘텐츠를 출력하는 제2 부분 화면(120)의 위치 또한 재 배치할 수 있다.
실시 예에서, 전자 장치(100)는 복수개의 제어 장치(150)의 사용 정도를 식별할 수 있다. 실시 예에서, 복수개의 제어 장치(150)의 사용 정도는, 사용자가 제어 장치(150)를 사용한 사용량 내지 사용 빈도를 나타낼 수 있다.
실시 예에서, 전자 장치(100)는 다양한 방법을 이용하여 복수개의 제어 장치(150)의 사용 정도를 식별할 수 있다.
예컨대, 전자 장치(100)는 복수개의 제어 장치(150) 각각으로부터 콘텐츠 제어를 위한 제어 신호가 입력되는 빈도에 기반하여, 제어 장치(150) 사용 정도를 식별할 수 있다.
예컨대, 전자 장치(100)는 복수개의 제어 장치(150) 각각으로부터 수신한, 제어 장치(150) 움직임에 대한 센싱 신호에 기반하여 제어 장치(150) 사용 정도를 식별할 수 있다.
예컨대, 전자 장치(100)는 콘텐츠에 포함된 아바타 및 배경 중 적어도 하나의 변화 정도에 기반하여, 제어 장치(150) 사용 정도를 식별할 수 있다. 실시 예에서, 전자 장치(100)는 일정 시간 간격으로 화면을 캡쳐하여, 화면에 출력되는 콘텐츠를 식별하고, 콘텐츠에 포함된 아바타 및/또는 배경 화면의 동일성 여부에 기초하여, 제어 장치(150) 사용 정도를 식별할 수 있다.
예컨대, 전자 장치(100)는 복수개의 제어 장치(150)를 촬영하여 획득한 영상으로부터 검출된, 사용자 및 제어 장치(150) 간 거리에 기반하여 복수개의 제어 장치(150)의 사용 정도를 식별할 수도 있다. 실시 예에서, 전자 장치(100)는 이미지 디텍션 기술을 이용하여, 영상에서 사람 형체를 식별할 수 있다. 또한, 전자 장치(100)는 영상에서 식별 신호 위치를 식별할 수 있다. 실시 예에서, 전자 장치(100)는 영상에서 식별된 사람 형체와 식별 신호와의 위치 관계에 기반하여, 사람 형체와 식별 신호 간 거리가 일정 임계치 이상 떨어진 경우, 제어 장치(150)가 사용되지 않는 것으로 식별할 수 있다.
다만, 전술한 것은, 실시 예로, 전자 장치(100)가 제어 장치(150) 사용 정도를 식별하는 방법은 이 외에도 다양한 형태로 구현될 수 있다.
실시 예에서, 전자 장치(100)는 복수개의 제어 장치(150)의 사용 정도에 따라, 제1 부분 화면(110) 및 제2 부분 화면(120) 중 적어도 하나의 크기 및 위치 중 적어도 하나를 조절할 수 있다.
실시 예에서, 전자 장치(100)는 사용 정도가 기준치보다 낮은 제어 장치(150)에 대해서는, 그 제어 장치(150)로 제어되는 콘텐츠가 출력되는 부분 화면의 크기를 원래의 크기보다 더 작게 조절할 수 있다.
실시 예에서, 전자 장치(100)는 사용 정도가 기준치보다 낮은 제어 장치(150)에 대해서는, 그 제어 장치(150)로 제어되는 콘텐츠가 출력되는 부분 화면의 위치를 원래 위치보다 더 화면의 바깥쪽에 위치하도록 조절할 수 있다.
실시 예에서, 전자 장치(100)는 사용 정도가 낮은 제어 장치(150)로 제어되는 콘텐츠가 출력되는 부분 화면의 크기 및/또는 위치를 조절한 것에 상응하여, 사용 정도가 기준치보다 낮지 않은 나머지 제어 장치(150)로 제어되는 콘텐츠가 출력되는 부분 화면의 크기를 원래보다 더 크게, 및/또는 부분 화면의 위치가 화면의 중앙쪽으로 이동하도록 조절할 수 있다.
실시 예에서, 전자 장치(100)는 서버로부터 제1 콘텐츠 및 제2 콘텐츠를 각각 수신한 것에 기반하여, 제1 콘텐츠 및 제2 콘텐츠를 각각 제1 부분 화면(110) 및 제2 부분 화면(120)을 통해 출력할 수 있다.
실시 예에서, 전자 장치(100)는 서버로부터 제1 콘텐츠 및 제2 콘텐츠를 각각 별개의 개별 콘텐츠로 수신하는 것이 아니라, 제1 콘텐츠와 제2 콘텐츠가 통합된 하나의 통합 콘텐츠를 수신할 수도 있다.
실시 예에서, 통합 콘텐츠는 복수 콘텐츠에 등장하는 복수 아바타가 함께 포함된 콘텐츠를 의미할 수 있다. 예컨대, 제1 콘텐츠와 제2 콘텐츠가 통합된 통합 콘텐츠는 통합 콘텐츠는 제1 콘텐츠에 등장하는 제1 아바타와 제2 콘텐츠에 등장하는 제2 아바타가 모두 포함된 가상의 메타버스 콘텐츠일 수 있다. 여기서, 제1 콘텐츠, 제2 콘텐츠와 같이 하나의 제어 장치(150)로 제어 할 수 있는 하나의 아바타가 등장하는 콘텐츠는, 통합 콘텐츠와 구별되도록 하기 위해, 개별 콘텐츠로 호칭될 수 있다.
실시 예에서, 서버는, 제1 콘텐츠의 가상 공간 및 제2 콘텐츠의 가상 공간 사이의 거리가 임계치 이하인 것에 상응하여 통합 콘텐츠를 생성하고, 통합 콘텐츠를 전자 장치(100)로 전송할 수 있다.
실시 예에서, 전자 장치(100)는 서버로부터 통합된 하나의 통합 콘텐츠를 수신하는 것에 기반하여, 제1 부분 화면(110) 및 제2 부분 화면(120)이 통합된 화면을 통해 통합 콘텐츠를 출력할 수 있다. 또는, 전자 장치(100)는 화면에서 출력 가능한 최대 사이즈로 통합된 화면의 크기를 늘리고, 통합된 화면을 통해 통합 콘텐츠를 출력할 수도 있다.
실시 예에서, 전자 장치(100)는 서버로부터 통합된 하나의 통합 콘텐츠를 수신하기 전에, 서버로부터 통합 콘텐츠 전송 문의 신호를 수신할 수도 있다.
실시 예에서, 전자 장치(100)는 서버로부터 통합 콘텐츠 전송 문의 신호를 수신한 것에 기반하여, 통합 콘텐츠 출력 여부에 대한 인터페이스 화면을 출력할 수 있다. 실시 예에서, 전자 장치(100)는 인터페이스 화면의 출력에 상응하여 사용자로부터 통합 콘텐츠 출력 요청 신호를 입력 받을 수 있다. 실시 예에서, 전자 장치(100)는 통합 콘텐츠 출력 요청 신호를 입력 받은 것에 기반하여, 서버에 통합 콘텐츠 전송 요청 신호를 전송할 수 있다.
실시 예에서, 서버는 전자 장치(100)로부터 통합 콘텐츠 전송 요청 신호를 수신한 것에 기반하여, 전자 장치(100)로 통합 콘텐츠를 전송할 수 있다.
이와 같이, 실시 예에 의하면, 전자 장치(100)는 복수의 사용자가 복수의 제어 장치(150)를 이용하여 메타버스 콘텐츠를 이용하는 환경에서, 복수의 제어 장치(150)의 위치 관계와 복수의 콘텐츠가 출력되는 부분 화면의 위치 관계가 대응하도록 할 수 있다. 따라서, 사용자는 사용자의 위치에 대응하는 화면을 통해 출력된 메타버스 콘텐츠를 이용할 수 있게 되므로 보다 자연스럽고 편리하게 콘텐츠를 즐길 수 있다.
또한, 실시 예에 의하면, 전자 장치(100)는 복수의 제어 장치(150)의 사용 정도에 따라 콘텐츠가 출력되는 부분 화면의 크기 및/또는 위치를 조절함으로써, 실제 제어 장치(150)를 이용하는 사용자가 더 큰 화면을 통해 콘텐츠를 즐기도록 할 수 있다.
또한, 실시 예에 의하면, 전자 장치(100)는 서버로부터 가상 공간 상의 환경에 따라 개별 콘텐츠가 아닌 통합 콘텐츠를 수신하고, 부분 화면이 합쳐진 통합 화면을 통해 통합 콘텐츠를 출력함으로써, 복수 사용자가 가상 공간 상에서 함께 게임을 즐길 수 있는 것과 같은 경험을 제공 수 있다.
도 2는 실시 예에 따른 전자 장치(100)의 블록도이다.
도 2를 참조하면, 전자 장치(100)는 프로세서(101), 메모리(103) 및 디스플레이(105)를 포함할 수 있다.
실시 예에 따른 메모리(103)는, 적어도 하나의 인스트럭션을 저장할 수 있다. 메모리(103)는 프로세서(101)가 실행하는 적어도 하나의 프로그램을 저장하고 있을 수 있다. 또한 메모리(103)는 전자 장치(100)로 입력되거나 전자 장치(100)로부터 출력되는 데이터를 저장할 수 있다.
메모리(103)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
실시 예에서, 메모리(103)에는 제1 콘텐츠 및 제2 콘텐츠를 포함하는 복수 콘텐츠를 획득하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.
실시 예에서, 메모리(103)에는 서버로부터 복수 콘텐츠를 수신하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.
실시 예에서, 메모리(103)에는 서버로부터 복수 콘텐츠를 수신하는 것에 기반하여, 복수 콘텐츠 각각을 부분 화면을 통해 멀티 뷰 모드로 출력하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.
실시 예에서, 메모리(103)에는 복수개의 제어 장치(150) 간 위치 관계를 식별하기 위한 하나 이상의 인스트럭션이 저장될 수 있다. 실시 예에서, 복수개의 제어 장치(150)는 제1 제어 장치(150-1) 및 제2 제어 장치(150-2)를 포함할 수 있다.
실시 예에서, 메모리(103)에는 복수개의 제어 장치(150) 간 위치 관계에 대응하도록, 제1 콘텐츠를 출력하는 제1 부분 화면(110) 및 제2 콘텐츠를 출력하는 제2 부분 화면(120)을 배치하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.
실시 예에서, 메모리(103)에는 복수개의 제어 장치(150)로 식별 신호 출력 요청 신호를 전송하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.
실시 예에서, 메모리(103)에는 기 설정된 주기마다, 랜덤한 주기마다, 및/또는 이벤트가 발생할 때마다 복수개의 제어 장치(150)로 식별 신호 출력 요청 신호를 전송하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.
실시 예에서, 이벤트가 발생하는 것은 복수개의 제어 장치(150) 및 사용자를 촬영한 영상으로부터 식별된 사용자 형체의 움직임 정도가 임계치 이상 큰 경우를 포함할 수 있다.
실시 예에서, 식별 신호는 LED 색상에 대한 정보 및 LED 깜빡임 시간 간격에 대한 정보 중 적어도 하나를 포함할 수 있다. 실시 예에서, 메모리(103)에는 각 제어 장치(150)의 식별자 각 제어 장치(150)로 전송된 식별 신호가 매핑되어 저장되어 있을 수 있다. 예컨대, 메모리(103)에는 제1 제어 장치(150-1)의 식별자 및 제1 제어 장치(150-1)로 전송된 제1 식별 신호의 LED 색상 및/또는 LED 깜빡임 시간 간격에 대한 정보가 함께 매핑되어 저장되어 있을 수 있다. 또한, 메모리(103)에는 제2 제어 장치(150-2)의 식별자 및 제2 제어 장치(150-2)로 전송된 제2 식별 신호의 LED 색상 및/또는 LED 깜빡임 시간 간격에 대한 정보가 함께 매핑되어 저장되어 있을 수 있다.
실시 예에서, 메모리(103)에는 제1 제어 장치(150-1)로 제1 식별 신호의 출력을 요청하는 제1 식별 신호 출력 요청 신호를 전송하고, 제2 제어 장치(150-2)로 제2 식별 신호의 출력을 요청하는 제2 식별 신호 출력 요청 신호를 전송하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.
실시 예에서, 메모리(103)에는 복수개의 제어 장치(150)에 대한 영상을 획득하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.
실시 예에서, 메모리(103)에는 복수개의 제어 장치(150)에 대한 영상으로부터, 제1 제어 장치(150-1)가 출력하는 제1 식별 신호 및 제2 제어 장치(150-2)가 출력하는 제2 식별 신호를 식별하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.
실시 예에서, 메모리(103)에는 영상으로부터 획득한 식별 신호를 제어 장치(150)의 식별자와 매칭하기 위한 하나 이상의 인스트럭션이 저장될 수 있다. 예컨대, 메모리(103)에는 영상에서 식별된 식별 신호와, 제1 제어 장치(150-1)의 식별자와 매핑되어 저장되어 있는 식별 신호가 동일한 것에 기반하여, 영상에서 식별된 식별 신호의 위치를 제1 제어 장치(150-1)의 위치로 식별하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.
실시 예에서, 메모리(103)에는 제1 제어 장치(150-1) 및 제2 제어 장치(150-2) 간 위치 관계 변화를 식별하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.
실시 예에서, 메모리(103)에는 제1 제어 장치(150-1) 및 제2 제어 장치(150-2) 간 변화된 위치 관계에 대응하도록 제1 부분 화면(110) 및 제2 부분 화면(120)의 위치를 재 배치하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.
실시 예에서, 메모리(103)에는 복수개의 제어 장치(150)의 사용 정도를 식별하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.
실시 예에서, 메모리(103)에는 복수개의 제어 장치(150) 각각으로부터 콘텐츠 제어를 위한 제어 신호가 입력되는 빈도를 식별하고, 제어 신호가 입력되는 빈도에 기반하여 복수개의 제어 장치(150)의 사용 정도를 식별하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.
실시 예에서, 메모리(103)에는 복수개의 제어 장치(150) 각각으로부터 수신한, 제어 장치(150) 움직임에 대한 센싱 신호를 식별하고, 제어 장치(150) 움직임에 대한 센싱 신호에 기반하여 복수개의 제어 장치(150)의 사용 정도를 식별하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.
실시 예에서, 메모리(103)에는 콘텐츠에 포함된 아바타 및 배경 중 적어도 하나의 변화 정도를 식별하고, 아바타 및 배경 중 적어도 하나의 변화 정도에 기반하여 복수개의 제어 장치(150)의 사용 정도를 식별하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.
실시 예에서, 메모리(103)에는 복수개의 제어 장치(150)를 촬영하여 획득한 영상로부터 검출된, 사용자 및 제어 장치(150) 간 거리를 식별하고, 사용자 및 제어 장치(150) 간 거리에 기반하여 복수개의 제어 장치(150)의 사용 정도를 식별하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.
실시 예에서, 메모리(103)에는 복수개의 제어 장치(150)의 사용 정도에 따라, 제1 부분 화면(110) 및 제2 부분 화면(120) 중 적어도 하나의 크기 및 위치 중 적어도 하나를 조절하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.
실시 예에서, 메모리(103)에는 서버로부터 제1 콘텐츠 및 제2 콘텐츠가 통합된 하나의 통합 콘텐츠를 수신하는 것에 기반하여, 통합 콘텐츠를 하나의 화면을 통해 출력하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.
실시 예에서, 메모리(103)에는 서버로부터 통합 콘텐츠 전송 문의 신호를 수신한 것에 기반하여, 통합 콘텐츠 출력 여부에 대한 인터페이스 화면을 생성 및 출력하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.
실시 예에서, 메모리(103)에는 인터페이스 화면의 출력에 상응하여 입력된 통합 콘텐츠 출력 요청 신호에 기반하여, 서버에 통합 콘텐츠 전송 요청 신호를 전송하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.
실시 예에 따른 프로세서(101)는 전자 장치(100)의 전반적인 동작 및 전자 장치(100)의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행할 수 있다.
실시 예에서, 프로세서(101)는 메모리(103)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 전자 장치(100)가 기능하도록 제어할 수 있다.
실시 예에서, 프로세서(101)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다.
실시 예에서, 프로세서(101)는 하나이거나 또는 복수 개일 수 있다. 예컨대, 프로세서(101)는 복수의 프로세서들을 포함할 수 있다. 이 경우, 프로세서(101)는 메인 프로세서(main processor) 및 서브 프로세서(sub processor)로 구현될 수 있다.
또한, 프로세서(101)는 CPU(Cetral Processing Unit), GPU (Graphic Processing Unit) 및 VPU(Video Processing Unit) 중 적어도 하나를 포함할 수 있다. 또는, 실시 예에서, 프로세서(101)는 CPU, GPU 및 VPU 중 적어도 하나를 통합한 SoC(System On Chip) 형태로 구현될 수 있다. 또는, 실시 예에서, 프로세서(101)는 NPU(Neural Processing Unit)를 더 포함할 수 있다.
실시 예에서, 하나 이상의 프로세서(101)는 하나 이상의 인스트럭션을 실행함으로써, 제1 콘텐츠 및 제2 콘텐츠를 포함하는 복수 콘텐츠를 획득할 수 있다.
실시 예에서, 하나 이상의 프로세서(101)는 하나 이상의 인스트럭션을 실행함으로써, 서버로부터 복수 콘텐츠를 수신할 수 있다.
실시 예에서, 하나 이상의 프로세서(101)는 하나 이상의 인스트럭션을 실행함으로써, 서버로부터 복수 콘텐츠를 수신하는 것에 기반하여, 복수 콘텐츠 각각을 부분 화면을 통해 멀티 뷰 모드로 출력할 수 있다.
실시 예에서, 하나 이상의 프로세서(101)는 하나 이상의 인스트럭션을 실행함으로써, 복수개의 제어 장치(150) 간 위치 관계를 식별할 수 있다.
실시 예에서, 하나 이상의 프로세서(101)는 하나 이상의 인스트럭션을 실행함으로써, 복수개의 제어 장치(150) 간 위치 관계에 대응하도록, 제1 콘텐츠를 출력하는 제1 부분 화면(110) 및 제2 콘텐츠를 출력하는 제2 부분 화면(120)을 배치할 수 있다.
실시 예에서, 하나 이상의 프로세서(101)는 하나 이상의 인스트럭션을 실행함으로써, 복수개의 제어 장치(150)로 식별 신호 출력 요청 신호를 전송할 수 있다.
실시 예에서, 식별 신호 출력 요청 신호는, 식별 신호 및 고유 식별 신호의 출력을 요청하는 정보를 포함할 수 있다. 실시 예에서, 식별 신호는 LED 색상에 대한 정보 및 LED 깜빡임 시간 간격에 대한 정보 중 적어도 하나를 포함할 수 있다.
실시 예에서, 하나 이상의 프로세서(101)는 하나 이상의 인스트럭션을 실행함으로써, 기 설정된 주기마다, 랜덤한 주기마다, 및/또는 이벤트가 발생할 때마다, 복수개의 제어 장치(150)로 식별 신호 출력 요청 신호를 전송할 수 있다.
실시 예에서, 프로세서(101)는 복수개의 제어 장치(150) 및 사용자를 촬영한 영상으로부터, 사용자 형체의 좌 우 방향으로의 움직임 정도가 임계치 이상 큰 경우를 이벤트 발생으로 식별할 수 있다.
실시 예에서, 하나 이상의 프로세서(101)는 하나 이상의 인스트럭션을 실행함으로써, LED 색상 및/또는 LED 깜빡임 시간 간격에 대한 정보로부터 제1 식별 신호 및/또는 제2 식별 신호를 식별할 수 있다.
실시 예에서, 하나 이상의 프로세서(101)는 하나 이상의 인스트럭션을 실행함으로써, 메모리(103)에 저장된 제어 장치(150)의 식별자 및 제어 장치(150)의 식별자와 매핑되어 저장되어 있는 식별 신호와, 영상으로부터 획득한 식별 신호를 비교하여, 영상에서 식별된 식별 신호의 위치를 제어 장치(150)의 위치로 식별할 수 있다.
실시 예에서, 하나 이상의 프로세서(101)는 하나 이상의 인스트럭션을 실행함으로써, 영상에서 식별된 제1 식별 신호로부터 제1 제어 장치(150-1)의 위치를 식별하고, 제2 식별 신호로부터 제2 제어 장치(150-2)의 위치를 식별할 수 있다.
실시 예에서, 하나 이상의 프로세서(101)는 하나 이상의 인스트럭션을 실행함으로써, 제1 제어 장치(150-1)로 제1 식별 신호의 출력을 요청하는 제1 식별 신호 출력 요청 신호를 전송하고, 제2 제어 장치(150-2)로 제2 식별 신호의 출력을 요청하는 제2 식별 신호 출력 요청 신호를 전송할 수 있다.
실시 예에서, 하나 이상의 프로세서(101)는 하나 이상의 인스트럭션을 실행함으로써, 복수개의 제어 장치(150)에 대한 영상을 획득할 수 있다.
실시 예에서, 하나 이상의 프로세서(101)는 하나 이상의 인스트럭션을 실행함으로써, 복수개의 제어 장치(150)에 대한 영상으로부터, 제1 제어 장치(150-1)가 출력하는 제1 식별 신호 및 제2 제어 장치(150-2)가 출력하는 제2 식별 신호를 식별할 수 있다.
실시 예에서, 하나 이상의 프로세서(101)는 하나 이상의 인스트럭션을 실행함으로써, 제1 제어 장치(150-1) 및 제2 제어 장치(150-2) 간 위치 관계 변화를 식별할 수 있다.
실시 예에서, 하나 이상의 프로세서(101)는 하나 이상의 인스트럭션을 실행함으로써, 제1 제어 장치(150-1) 및 제2 제어 장치(150-2) 간 변화된 위치 관계에 대응하도록 제1 부분 화면(110) 및 제2 부분 화면(120)을 재 배치할 수 있다.
실시 예에서, 하나 이상의 프로세서(101)는 하나 이상의 인스트럭션을 실행함으로써, 복수개의 제어 장치(150)의 사용 정도를 식별할 수 있다.
실시 예에서, 하나 이상의 프로세서(101)는 하나 이상의 인스트럭션을 실행함으로써, 복수개의 제어 장치(150) 각각으로부터 콘텐츠 제어를 위한 제어 신호가 입력되는 빈도를 식별하고, 제어 신호가 입력되는 빈도에 기반하여 복수개의 제어 장치(150)의 사용 정도를 식별할 수 있다.
실시 예에서, 하나 이상의 프로세서(101)는 하나 이상의 인스트럭션을 실행함으로써, 복수개의 제어 장치(150) 각각으로부터 수신한, 제어 장치(150) 움직임에 대한 센싱 신호를 식별하고, 제어 장치(150) 움직임에 대한 센싱 신호에 기반하여 복수개의 제어 장치(150)의 사용 정도를 식별할 수 있다.
실시 예에서, 하나 이상의 프로세서(101)는 하나 이상의 인스트럭션을 실행함으로써, 콘텐츠에 포함된 아바타 및 배경 중 적어도 하나의 변화 정도를 식별하고, 아바타 및 배경 중 적어도 하나의 변화 정도에 기반하여 복수개의 제어 장치(150)의 사용 정도를 식별할 수 있다.
실시 예에서, 하나 이상의 프로세서(101)는 하나 이상의 인스트럭션을 실행함으로써, 복수개의 제어 장치(150)를 촬영하여 획득한 영상로부터 검출된, 사용자 및 제어 장치(150) 간 거리를 식별하고, 사용자 및 제어 장치(150) 간 거리에 기반하여 복수개의 제어 장치(150)의 사용 정도를 식별할 수 있다.
실시 예에서, 하나 이상의 프로세서(101)는 하나 이상의 인스트럭션을 실행함으로써, 복수개의 제어 장치(150)의 사용 정도에 따라, 제1 부분 화면(110) 및 제2 부분 화면(120) 중 적어도 하나의 크기 및 위치 중 적어도 하나를 조절할 수 있다.
실시 예에서, 하나 이상의 프로세서(101)는 하나 이상의 인스트럭션을 실행함으로써, 서버로부터 제1 콘텐츠 및 제2 콘텐츠가 통합된 하나의 통합 콘텐츠를 수신하는 것에 기반하여, 통합 콘텐츠를 하나의 화면을 통해 출력할 수 있다.
실시 예에서, 하나 이상의 프로세서(101)는 하나 이상의 인스트럭션을 실행함으로써, 서버로부터 통합 콘텐츠 전송 문의 신호를 수신한 것에 기반하여, 통합 콘텐츠 출력 여부에 대한 인터페이스 화면을 생성하여 이를 출력할 수 있다.
실시 예에서, 하나 이상의 프로세서(101)는 하나 이상의 인스트럭션을 실행함으로써, 인터페이스 화면의 출력에 상응하여 입력된 통합 콘텐츠 출력 요청 신호에 기반하여, 서버에 통합 콘텐츠 전송 요청 신호를 전송할 수 있다.
실시 예에 따른 디스플레이(105)는 컨텐츠 프로바이더들이 제공하는 컨텐츠를 화면에 표시할 수 있다. 디스플레이(105)는 실시간으로 수신되는 방송 프로그램을 화면에 출력하거나 또는 스트리밍이나 다운로드를 하여 수신된 VOD 서비스의 프로그램 등을 화면에 출력할 수 있다.
실시 예에서, 디스플레이(105)는 메타버스 콘텐츠를 제공하는 서버로부터 수신된 메타버스 콘텐츠를 출력할 수 있다.
실시 예에서, 디스플레이(105)는 싱글 뷰 모드 또는 멀티 뷰 모드로 컨텐츠를 출력할 수 있다. 디스플레이(105)는 화면을 복수개의 부분 화면으로 분할하고, 분할된 부분 화면에 각각 서로 다른 컨텐츠를 표시하여 컨텐츠를 멀티 뷰 모드로 제공할 수 있다. 디스플레이(105)는 제1 부분 화면(110)에 제1 콘텐츠를 출력하고, 제2 부분 화면(120)에 제2 컨텐츠를 출력할 수 있다.
실시 예에서, 디스플레이(105)는 제1 제어 장치(150-1) 및 제2 제어 장치(150-2)의 위치 관계에 대응하는 위치에 제1 부분 화면(110) 및 제2 부분 화면(120)을 배치하여, 제1 부분 화면(110) 및 제2 부분 화면(120)을 통해 제1 콘텐츠 및 제2 콘텐츠를 출력할 수 있다.
실시 예에서, 디스플레이(105)는 통합 콘텐츠 출력 여부에 대한 인터페이스 화면을 출력할 수 있다. 실시 예에서, 디스플레이(105)는 통합 콘텐츠 출력 여부에 대한 인터페이스 화면을, 화면의 일 부분 영역 상에, 복수 콘텐츠 위에 오버레이하여 디스플레이할 수 있다. 통합 콘텐츠 출력 여부에 대한 인터페이스 화면은, 통합 콘텐츠를 출력하기를 원하는지를 묻는 텍스트 내지는 기호나 도형 등을 포함할 수 있다.
디스플레이(105)가 터치 스크린으로 구현되는 경우, 디스플레이(105)는 출력 장치 이외에 사용자 인터페이스와 같은 입력 장치로 사용될 수 있다. 예를 들어, 디스플레이(105)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기 영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고, 디스플레이(105)의 구현 형태에 따라, 디스플레이(105)는 둘 이상 포함될 수 있다.
도 3은 실시 예에 따른 전자 장치(100) 및 제어 장치(150)의 블록도이다.
도 3을 참조하면, 전자 장치(100)와 제어 장치(150)는 통신망(130)을 이용하여 연결될 수 있다.
도 3의 전자 장치(100)는 도 2의 전자 장치(100)에 포함된 구성 요소를 포함할 수 있다. 이하, 중복된 설명은 생략한다.
도 3의 전자 장치(100)는 프로세서(101), 메모리(103), 및 디스플레이(105) 외에, 이미지 획득부(108) 및 통신부(107)를 더 포함할 수 있다.
실시 예에 따른 이미지 획득부(108)는 카메라(109)를 포함할 수 있다. 실시 예에서, 카메라(109)는 전자 장치(100)의 전면에 구비되어, 전자 장치(100)의 전면에 대한 영상을 획득할 수 있다.
실시 예에 따른 통신부(107)는 적어도 하나의 제어 장치(150) 및/또는 메타버스 콘텐츠를 제공하는 외부의 게임 서버 등과 유선 또는 무선 통신 네트워크를 통하여 통신을 수행할 수 있다.
실시 예에서, 통신부(107)는 프로세서(101)의 제어에 의해 전자 장치(100)를 제어 장치(150), 또는 기타, 주변 기기나 외부 기기, 서버, 이동 단말기 등과 연결할 수 있다.
통신부(107)는 무선 통신을 수행할 수 있는 적어도 하나의 통신 모듈을 포함할 수 있다. 통신부(107)는 전자 장치(100)의 성능 및 구조에 대응하여 무선랜 모듈, 블루투스 모듈, 유선 이더넷(Ethernet) 중 적어도 하나를 포함할 수 있다.
통신부(107)는 블루투스, 와이파이, BLE(Bluetooth Low Energy), NFC/RFID, 와이파이 다이렉트(Wifi Direct), UWB, 또는 ZIGBEE 등의 통신 규격에 따른 통신을 수행하는 적어도 하나의 근거리 통신 모듈을 포함할 수 있다.
또한, 통신부(107)는 원거리 통신 규격에 따라서 원거리 통신을 지원하기 위한 서버와 통신을 수행하는 원거리 통신 모듈을 더 포함할 수 있다. 구체적으로, 통신부(107)는 인터넷 통신을 위한 네트워크를 통하여 통신을 수행하는 원거리 통신 모듈을 포함할 수 있다. 예컨대, 통신부(107)는 3G, 4G, 및/또는 5G 등의 통신 규격에 따르는 통신 네트워크를 통하여 통신을 수행하는 원거리 통신 모듈을 포함할 수 있다.
실시 예에서, 통신부(107)는 적외선(infrared, IR) 통신, RF 통신, 와이 파이 통신, 또는 BLE 통신 등을 이용하여 제어 장치(150)와 통신을 수행할 수 있다. 통신부(107)는 제어 장치(150)와의 통신을 통해 제어 장치(150)로부터 제어 신호를 수신할 수 있다.
실시 예에서, 통신부(107)가 적외선 통신을 이용하여 제어 장치(150)와 신호를 송수신하는 경우, 통신부(107)는 전자 장치(100)의 전면에 IR 수신 모듈을 포함할 수 있다. IR 수신 모듈은 제어 장치(150)의 통신부(155)에 포함된 LED 송신부에서 송출된 IR 신호의 파장과 비슷한 광특성을 갖는 부품을 포함할 수 있다.
실시 예에 따른 제어 장치(150)는 전자 장치(100)를 제어하는 데 이용되는 다양한 형태의 기기로 구현될 수 있다. 제어 장치(150)는 다양한 형태의 사용자 입력, 예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션 등을 수신할 수 있는 단말기로 구현될 수 있다. 예컨대, 제어 장치(150)는 노트북, 넷북, 태블릿 PC 등의 휴대용 컴퓨터, 스마트 폰 또는 PDA와 같은 휴대용 단말기, 리모컨, 키보드, 마우스, 조이 패드, 또는 이들 중 두 개 이상의 기기가 통합된 형태의 단말기 등을 포함할 수 있으나 이에 한정되는 것은 아니다.
실시 예에서, 제어 장치(150)는 프로세서(151), 메모리(153), 통신부(155), 입력부(157), 및 센싱부(158)를 포함할 수 있다.
실시 예에 따른 메모리(153)는, 적어도 하나의 인스트럭션을 저장할 수 있다. 메모리(153)는 프로세서(151)가 실행하는 적어도 하나의 프로그램을 저장하고 있을 수 있다. 메모리(153)에는 기 정의된 동작 규칙이나 프로그램이 저장될 수 있다. 또한 메모리(153)는 제어 장치(150)로 입력되거나 제어 장치(150)로부터 출력되는 데이터를 저장할 수 있다.
실시 예에서, 메모리(153)는 키 코드 명령어를 저장할 수 있다. 키 코드 명령어는 입력부(157)로부터 입력되는 데이터 및 명령에 매칭되어 정의된 키 스캔 코드 값을 포함할 수 있다. 메모리(153)는 입력부(157)에 포함된 복수개의 키 각각에 대응하는 키 코드 명령어를 포함할 수 있다.
메모리(153)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
실시 예에 따른 입력부(157)는 제어 장치(150)를 제어하기 위한 사용자 입력을 수신할 수 있다. 입력부(157)는 다양한 형태로 구현될 수 있다. 예컨대, 입력부(157)는 복수개의 키를 포함할 수 있다. 키는 사용자의 푸쉬(push) 조작을 수신하는 물리적 버튼이나, 조그 셔틀(Jog & shuttle), 키 패드 등과 같이 다양한 형태일 수 있다. 사용자는 제어 장치(150)에 구비된 복수개의 키를 이용하여 전자 장치(100)의 각종 기능을 제어할 수 있다. 키 패드는 버튼이나 터치 패드(touchpad) 등을 포함할 수 있다. 터치 패드는 접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등과 같이 다양한 형태로 구현될 수 있다.
입력부(157)는 키보드(key board), 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등을 포함할 수도 있다. 입력부(157)는 사용자의 음성 수신이 가능한 마이크를 더 포함할 수 있다.
실시 예에 따른 센싱부(158)는 제어 장치(150)의 모션 인식이 가능한 센서를 포함할 수 있다. 실시 예에서, 제어 장치(150)는 센싱부(158)에 포함된 센서를 이용하여 제어 장치(150)의 방향 및/또는 움직임을 감지할 수 있다.
실시 예에서, 센싱부(158)는 지자기 센서 및/또는 자이로스코프 센서를 포함할 수 있다. 지자기 센서는 제어 장치(150)에 대한 지자기의 방향을 검출할 수 있다. 자이로스코프 센서는 제어 장치(150)의 회전 속도인 각속도를 검출할 수 있다. 자이로스코프 센서는 각속도 센서로도 불릴 수 있다. 자이로스코프 센서는 제어 장치(150)가 회전할 때 생기는 코리올리 힘(Coriolis Force)을 전기적 신호로 변환하여 제어 장치(150)의 방향을 계산할 수 있다.
센싱부(158)는 지자기 센서와 자이로스코프 센서 중 적어도 하나를 이용함으로써 자북극에 대한 상대적인 기기 위치를 확인할 수 있다. 또한, 센싱부(158)는 이들 센서를 사용해 제어 장치(150)의 상대적인 방향이나 움직임을 감지할 수 있다. 실시 예에서, 센싱부(158)는 제어 장치(150)의 방향 및/또는 움직임을 나타내는 센싱 신호를 획득할 수 있다. 센싱 신호는 통신부(155)를 통해 전자 장치(100)로 전송될 수 있다.
실시 예에 따른 통신부(155)는 적어도 하나의 통신 모듈을 포함할 수 있다. 통신부(155)는 유선 또는 무선 통신망을 이용하여, 프로세서(151)의 제어에 의해 제어 장치(150)를 전자 장치(100)와 연결할 수 있다.
통신부(155)는 입력부(157)를 통한 사용자 입력에 대응하는 신호를 전자 장치(100)로 전송할 수 있다. 사용자 입력에 대응하는 신호는, 사용자가 선택한 키에 대응하는 키 코드 명령어를 포함하는 제어 신호일 수 있다. 사용자 입력에 대응하는 제어 신호는 통신부(155)에 포함된 통신 모듈의 종류에 따라 블루투스 타입, IR 신호 타입, RF 신호 타입, 와이파이 타입 등으로 구현될 수 있다.
실시 예에서, 통신부(155)는 BLE 통신 및/또는 적외선 통신을 이용하여 전자 장치(100)로 제어 신호를 전송할 수 있다.
실시 예에서, 전자 장치(100)와 제어 장치(150)가 BLE 통신을 수행하여 신호를 송수신하는 경우, 전자 장치(100)와 제어 장치(150)는 페어링(pairing)을 수행할 수 있다. 제어 장치(150)는 입력부(157)를 통해 사용자로부터 키 입력을 받으면, 입력된 키에 대응하는 키 코드 명령어를 포함하는 제어 신호를 BLE 신호로 생성할 수 있다. 제어 장치(150)는 통신망(130)을 통하여 BLE 신호를 전자 장치(100)로 전송할 수 있다.
실시 예에서, 전자 장치(100)와 제어 장치(150)가 IR(적외선) 통신을 수행하여 신호를 송수신하는 경우, 제어 장치(150)는 키 코드 명령어를 포함하는 제어 신호를 IR 신호로 생성할 수 있다. 예컨대, 제어 장치(150)는 입력된 키의 키 코드 명령어에 할당된 고유 주파수를 갖는 적외선 신호를 생성할 수 있다.
실시 예에서, 통신부(155)는 LED 송신부를 포함할 수 있다. LED 송신부는 제어 장치(150)의 상단 등에 구비되어, 특정 파장의 빛을 전자 장치(100)로 전송할 수 있다. LED 송신부는 IR LED를 포함할 수 있다. IR LED는 IR 신호로 생성된 제어 신호를 송출할 수 있다. 실시 예에서, IR 신호는 입력된 키의 키 코드 명령어에 할당된 고유 주파수를 갖는 특정 파장의 적외선 신호일 수 있다.
실시 예에서, 통신부(155)에 포함된 LED 송신부는 전자 장치(100)로부터 식별 신호 출력 요청 신호를 수신하면, 그에 상응하여 식별 신호를 출력할 수 있다.
실시 예에서, 통신부(155)에 포함된 LED 송신부는 전자 장치(100)로부터 요청 받은 식별 신호를 출력할 수 있다. 실시 예에서, 통신부(155)에 포함된 LED 송신부는 전자 장치(100)가 요청한 LED 색상 및 LED 깜박임 시간 간격을 갖는 식별 신호를 출력할 수 있다.
실시 예에서, 통신부(155)에 포함된 LED 송신부는 식별 신호를 출력한 이후에 오프(off)되지 않고 계속 켜진 상태로 식별 신호를 계속하여 출력할 수 있다. 또는, 통신부(155)에 포함된 LED 송신부는 식별 신호를 최초로 출력한 이후, 전력 절감을 위해 오프(off)될 수 있다. 이후, 통신부(155)에 포함된 LED 송신부는 일정한 주기마다, 또는 랜덤한 주기마다 다시 온(on) 되어 식별 신호를 출력할 수도 있다.
실시 예에서, 통신부(155)에 포함된 LED 송신부는 사용자가 제어 장치(150)를 이용하여 복수 사용자 간의 위치 변경을 전자 장치(100)에 알리는 특정 키를 입력하는 경우, 그에 따라 식별 신호를 출력할 수도 있다.
실시 예에서, 통신부(155)는 센싱부(158)가 센싱한 제어 장치(150)의 움직임에 대한 센싱 신호를 통신망(130)을 통해 전자 장치(100)로 전송할 수 있다.
실시 예에서, 통신망(130)은 블루투스(bluetooth), BLE(bluetooth low energy, 미도시), NFC(near field communication, 미도시), IR(Infrared) 통신, RF(Radio Frequency) 통신, 와이파이(Wi-Fi) 통신, 유선 이더넷(Ethernet) 중 하나 이상의 네트워크를 포함할 수 있다.
실시 예에 따른 프로세서(151)는 제어 장치(150)의 전반적인 동작을 제어한다. 프로세서(151)는 메모리(153)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 제어 장치(150)가 기능하도록 제어할 수 있다.
실시 예에서, 프로세서(151)는 예컨대 MCU(Micro Controller Unit)일 수 있다.
실시 예에서, 프로세서(151)는 사용자로부터 입력부(157)를 통해 키 입력을 받으면, 입력된 키에 대응하는 키 코드 명령어를 포함하는 제어 신호를 생성할 수 있다.
실시 예에서, 프로세서(151)는 통신부(155)를 제어하여, 통신부(155)에 포함된 LED 송신부를 통해 식별 신호가 출력되도록 제어할 수 있다.
실시 예에서, 프로세서(151)는 전자 장치(100)로부터 식별 신호 출력 요청 신호를 수신하면, 그에 상응하여 통신부(155)가 식별 신호를 출력하도록 제어할 수 있다.
실시 예에서, 프로세서(151)는 전자 장치(100)가 요청한 식별 신호의 LED 색상 및 LED 깜박임 주기에 따라 통신부(155)에 포함된 LED 송신부가 식별 신호를 출력하도록 제어할 수 있다.
실시 예에서, 프로세서(151)는 전자 장치(100)로부터 최초로 식별 신호 출력 요청 신호를 수신한 이후에는 통신부(155)에 포함된 LED 송신부가 계속하여 켜져서 식별 신호를 출력하도록 제어할 수 있다.
실시 예에서, 프로세서(151)는 전자 장치(100)로부터 최초로 식별 신호 출력 요청 신호를 수신한 이후, 다시 전자 장치(100)로부터 식별 신호 출력 요청 신호를 수신하지 않아도 일정한 주기마다, 또는 랜덤한 주기마다 통신부(155)에 포함된 LED 송신부가 식별 신호를 출력하도록 제어할 수 있다.
경우에 따라, 복수 사용자의 위치가 변경되는 경우, 사용자는 제어 장치(150)를 이용하여 복수 사용자 간의 위치 변경을 전자 장치(100)에 알릴 수 있다. 예컨대, 사용자는 복수 사용자 간 위치 변경을 전자 장치(100)에 알리기 위해 제어 장치(150)에 포함된 특정 키를 입력할 수 있다.
실시 예에서, 프로세서(151)는 사용자가 입력부(157)를 이용하여 특정 키를 입력하면, 특정 키 입력을 식별 신호 출력 요청으로 판단하고, 그에 따라 통신부(155)에 포함된 LED 송신부가 식별 신호를 출력하도록 제어할 수 있다.
도 4는 실시 예에 따라, 전자 장치(100)가 제어 장치(150) 간 위치 관계 변화에 대응하도록 부분 화면을 재 배치하는 것을 나타내는 도면이다.
도 4를 참조하면, 실시 예에서, 전자 장치(100)는 복수개의 제어 장치(150)로 제어될 수 있다. 실시 예에서, 복수개의 제어 장치(150)는 제1 제어 장치(150-1) 및 제2 제어 장치(150-2)를 포함할 수 있다. 실시 예에서, 제1 제어 장치(150-1)는 제1 콘텐츠를 제어하는 데 이용되고, 제2 제어 장치(150-2)는 제2 콘텐츠를 제어하는 데 이용될 수 있다.
실시 예에서, 전자 장치(100)는 복수개의 제어 장치(150)로 제어되는 상황인 것에 상응하여, 복수개의 제어 장치(150)로 제어되는 복수 콘텐츠를 동시에 출력할 수 있다. 실시 예에서, 전자 장치(100)는 제1 콘텐츠를 제1 부분 화면(110)을 통해 출력하고, 제2 콘텐츠를 제2 부분 화면(120)을 통해 출력함으로써, 멀티 뷰 모드로 복수의 콘텐츠를 동시에 출력할 수 있다.
실시 예에서, 전자 장치(100)는 복수개의 제어 장치(150)로 제어되는 상황인 것에 상응하여, 복수개의 제어 장치(150) 간 위치 관계를 식별할 수 있다.
실시 예에서, 전자 장치(100)는 복수개의 제어 장치(150) 간 위치 관계를 식별하기 위해, 제1 제어 장치(150-1)로, 제1 식별 신호의 출력을 요청하는 제1 식별 신호 출력 요청 신호를 전송할 수 있다. 실시 예에서, 제1 제어 장치(150-1)는 전자 장치(100)로부터 제1 식별 신호 출력 요청 신호를 수신하고, 그에 따라 제1 식별 신호를 출력할 수 있다.
실시 예에서, 전자 장치(100)는 제2 제어 장치(150-2)로 제2 식별 신호의 출력을 요청하는 제2 식별 신호 출력 요청 신호를 전송할 수 있다. 실시 예에서, 제2 제어 장치(150-2)는 전자 장치(100)로부터 제2 식별 신호 출력 요청 신호를 수신하고, 그에 따라 제2 식별 신호를 출력할 수 있다.
실시 예에서, 제1 식별 신호 및 제2 식별 신호는 LED 색상 및 LED 깜박임 시간 간격 중 적어도 하나가 서로 다른 신호일 수 있다.
실시 예에서, 전자 장치(100)는 복수개의 제어 장치(150)가 출력되는 식별 신호를 식별하기 위해 카메라(109)를 이용할 수 있다. 실시 예에서, 카메라(109)는 전자 장치(100)의 전면 상단 등에 배치되어 전자 장치(100)의 전면에 위치한 피사체를 촬영하여 전면에 대한 영상을 획득할 수 있다. 다만, 이는 하나의 실시 예로, 카메라(109)가 배치되는 위치나 배치되는 카메라의 개수는 다양하게 변형될 수 있다.
실시 예에서, 카메라(109)는 제1 제어 장치(150-1) 및 제2 제어 장치(150-2)를 촬영하여, 제1 제어 장치(150-1) 및 제2 제어 장치(150-2)에 대한 영상을 획득할 수 있다.
실시 예에서, 카메라(109)는 전자 장치(100)가 복수개의 제어 장치(150)로 제어되는 상황인 것에 상응하여, 게임 콘텐츠를 출력하는 동안 계속하여 제1 제어 장치(150-1) 및 제2 제어 장치(150-2)에 대한 영상을 획득할 수 있다.
실시 예에서, 전자 장치(100)는 제1 제어 장치(150-1) 및 제2 제어 장치(150-2)에 대한 영상으로부터 제1 제어 장치(150-1) 및 제2 제어 장치(150-2)가 각각 송출하는 식별 신호를 식별할 수 있다.
실시 예에서, 전자 장치(100)는 영상에서 식별된 식별 신호를 메모리(103)에 기 저장되어 있는 제어 장치(150) 별 식별 신호와 비교하여, 식별 신호를 송출하는 제어 장치(150)가 어떤 제어 장치(150)인지를 식별할 수 있다. 예컨대, 전자 장치(100)는 영상에서 식별된 식별 신호의 LED 색상 및 LED 깜박임 시간 간격과, 제1 제어 장치(150-1)에 전송한 제1 식별 신호 출력 요청 신호에 포함된 식별 신호의 LED 색상 및 LED 깜박임 시간 간격이 동일하면, 영상에서의 식별 신호가 제1 제어 장치(150-1)로부터의 식별 신호임을 식별하고, 제1 제어 장치(150-1)의 위치를 식별할 수 있다.
실시 예에서, 전자 장치(100)는 제1 제어 장치(150-1)가 출력하는 제1 식별 신호 및 제2 제어 장치(150-2)가 출력하는 제2 식별 신호에 기반하여, 제1 제어 장치(150-1) 및 제2 제어 장치(150-2) 간 위치 관계를 식별할 수 있다. 예컨대, 제1 제어 장치(150-1) 및 제2 제어 장치(150-2) 간 위치 관계는 복수개의 제어 장치(150)들 간의 좌우 방향에서의 위치 관계를 포함할 수 있다.
실시 예에서, 전자 장치(100)는 제1 제어 장치(150-1) 및 제2 제어 장치(150-2) 간 위치 관계와, 부분 화면 간의 위치 관계가 서로 대응하도록 하여 복수 콘텐츠를 출력할 수 있다.
도 4의 좌측 도면을 참조하면, 전자 장치(100)를 바라보는 방향을 기준으로, 제1 제어 장치(150-1)와 제2 제어 장치(150-2)가 각각 좌측 및 우측에 위치하고 있는 것을 알 수 있다. 전자 장치(100)는 제1 콘텐츠를 출력하는 제1 부분 화면(110)이 좌측 방향에 배치되도록 하고 제2 콘텐츠를 출력하는 제2 부분 화면(120)이 우측 방향에 배치되도록 하여, 제1 부분 화면(110) 및 제2 부분 화면(120)을 통해 제1 콘텐츠 및 제2 콘텐츠를 출력할 수 있다.
실시 예에서, 전자 장치(100)는 복수개의 제어 장치(150) 간 위치 관계 변화를 식별할 수 있다. 실시 예에서, 전자 장치(100)는 복수개의 제어 장치(150) 간 위치 관계 변화를 식별하기 위해, 카메라(109)를 이용하여, 제1 제어 장치(150-1) 및 제2 제어 장치(150-2)에 대한 영상을 계속하여 획득할 수 있다.
실시 예에서, 복수개의 제어 장치(150)는 계속하여 식별 신호를 송출할 수 있다.
또는, 복수개의 제어 장치(150)는 전자 장치(100)로부터 식별 신호 출력을 요청 받을 때마다 식별 신호를 송출할 수도 있다.
실시 예에서, 전자 장치(100)는 제어 장치(150)로 식별 신호 출력 요청 신호를 주기적으로 전송할 수 있다. 전자 장치(100)는 일정한 주기마다, 또는 랜덤한 주기마다, 또는 이벤트가 발생할 때 마다, 제어 장치(150)로 식별 신호의 출력을 요청하는 식별 신호 출력 요청 신호를 전송할 수 있다.
실시 예에서, 전자 장치(100)는 카메라(109)를 이용하여 획득한 영상으로부터, 제1 제어 장치(150-1) 및 제2 제어 장치(150-2)를 이용하여 게임 콘텐츠를 제어하는 복수 사용자를 검출할 수 있다. 실시 예에서, 전자 장치(100)는 오브젝트 디텍션(object detection)을 수행할 수 있다. 실시 예에서, 전자 장치(100)는 이미지 처리 기술을 이용하거나, 또는 인공 지능 기술을 이용하여 영상으로부터 오브젝트를 검출할 수 있다. 예컨대, 전자 장치(100)는 두 개 이상의 히든 레이어들을 포함하는 딥 뉴럴 네트워크(DNN)를 이용하여 이미지로부터 오브젝트를 인식하고, 오브젝트가 무엇인지를 분류(classification)하고, 오브젝트의 위치(localization)를 식별함으로써, 오브젝트 디텍션을 수행할 수 있다.
실시 예에서, 전자 장치(100)는 오브젝트 디텍션을 수행하여 영상으로부터 사람을 검출할 수 있다. 실시 예에서, 전자 장치(100)는 영상에서 검출된 사람의 위치 변화를 추적하고, 사람의 위치 변화가 임계치 이상인 경우, 이를 이벤트로 감지할 수 있다.
실시 예에서, 전자 장치(100)는 이벤트가 감지된 경우, 제1 제어 장치(150-1) 및 제2 제어 장치(150-2)로 제1 식별 신호 출력 요청 신호 및 제2 식별 신호 출력 요청 신호를 전송할 수 있다.
실시 예에서, 제1 제어 장치(150-1) 및 제2 제어 장치(150-2)는 전자 장치(100)로부터 제1 식별 신호 출력 요청 신호 및 제2 식별 신호 출력 요청 신호를 수신할 때 마다, 그에 상응하여, 제1 식별 신호 및 제2 식별 신호를 출력할 수 있다.
실시 예에서, 전자 장치(100)는 제1 제어 장치(150-1)가 출력하는 제1 식별 신호 및 제2 제어 장치(150-2)가 출력하는 제2 식별 신호에 기반하여, 제1 제어 장치(150-1) 및 제2 제어 장치(150-2) 간 위치 관계 변화를 식별할 수 있다.
실시 예에서, 전자 장치(100)는 제1 제어 장치(150-1) 및 제2 제어 장치(150-2)를 촬영한 영상을 실시간으로 분석하여, 제1 제어 장치(150-1)가 출력하는 제1 식별 신호 및 제2 제어 장치(150-2)가 출력하는 제2 식별 신호를 기반으로, 제1 제어 장치(150-1) 및 제2 제어 장치(150-2)의 위치가 좌우 방향으로 변경되었는지 여부를 식별할 수 있다.
실시 예에서, 전자 장치(100)는 제1 제어 장치(150-1) 및 제2 제어 장치(150-2)의 위치가 좌우 방향으로 변경되었다고 판단되면, 제1 제어 장치(150-1) 및 제2 제어 장치(150-2)의 변경된 위치 관계에 기반하여 제1 부분 화면(110) 및 제2 부분 화면(120)을 재 배치하여 복수 콘텐츠를 출력할 수 있다.
도 4의 우측 도면을 참조하면, 제1 제어 장치(150-1)를 이용하는 사용자와 제2 제어 장치(150-2)를 이용하는 사용자의 위치가 서로 변경되어, 제1 제어 장치(150-1) 및 제2 제어 장치(150-2)의 위치가 변경된 것을 알 수 있다.
실시 예에서, 전자 장치(100)는 제1 제어 장치(150-1) 및 제2 제어 장치(150-2)의 위치가 변경된 것에 상응하여, 제1 콘텐츠를 출력하는 제1 부분 화면(110) 및 제2 콘텐츠를 출력하는 제2 부분 화면(120) 간의 좌우 관계가, 제1 제어 장치(150-1) 및 제2 제어 장치(150-2) 간의 변경된 좌우 관계와 동일하도록, 제1 부분 화면(110)과 제2 부분 화면(120)의 위치를 좌우 방향으로 변경할 수 있다. 실시 예에서, 전자 장치(100)는 변경된 위치에 배치된 부분 화면을 통해 콘텐츠를 출력함으로써, 콘텐츠와 제어 장치(150) 간 위치가 서로 대응하도록 할 수 있다.
도 5는 실시 예에 따라, 전자 장치(100)가 제어 장치(150)의 사용 정도에 따라 부분 화면을 조절하는 것을 설명하는 도면이다.
도 5를 참조하면, 실시 예에서, 전자 장치(100)는 복수개의 제어 장치(150)로 제어되는 상황인 것에 상응하여, 복수개의 제어 장치(150)로 제어되는 복수 콘텐츠를 동시에 출력할 수 있다. 실시 예에서, 전자 장치(100)는 제1 콘텐츠를 제1 부분 화면(110)을 통해 출력하고, 제2 콘텐츠를 제2 부분 화면(120)을 통해 출력함으로써, 멀티 뷰 모드로 복수의 콘텐츠를 동시에 출력할 수 있다.
도 5의 왼쪽 도면은 전자 장치(100)가 제1 부분 화면(110) 및 제2 부분 화면(120)을 동일한 크기로 출력하는 경우를 도시한다.
실시 예에서, 전자 장치(100)는 복수개의 제어 장치(150)로 제어되는 상황인 것에 상응하여, 복수개의 제어 장치(150)들의 사용 정도를 식별할 수 있다. 실시 예에서, 복수개의 제어 장치(150)의 사용 정도는, 사용자의 제어 장치(150) 사용 유무, 사용자가 제어 장치(150)를 사용한 사용량 내지 사용 빈도 등을 나타낼 수 있다.
실시 예에서, 전자 장치(100)는 다양한 방법을 이용하여 복수개의 제어 장치(150)의 사용 정도를 식별할 수 있다.
예컨대, 전자 장치(100)는 복수개의 제어 장치(150) 각각으로부터 콘텐츠 제어를 위한 제어 신호가 입력되는 빈도에 기반하여, 제어 장치(150)의 사용 정도를 식별할 수 있다.
예컨대, 전자 장치(100)는 복수개의 제어 장치(150) 각각으로부터 수신한, 제어 장치(150) 움직임을 나타내는 센싱 신호에 기반하여 제어 장치(150)의 사용 정도를 식별할 수 있다.
실시 예에서, 복수개의 제어 장치(150)에는 제어 장치(150)의 움직임을 센싱하는 센서가 포함되어 있을 수 있다. 실시 예에서, 제어 장치(150)는 주기적으로 또는 제어 장치(150)의 움직임을 센싱할 때마다, 전자 장치(100)로 제어 장치(150)의 움직임을 나타내는 센싱 신호를 전송할 수 있다.
실시 예에서, 전자 장치(100)는 복수개의 제어 장치(150)로부터 수신한 센싱 신호에 기반하여, 복수개의 제어 장치(150)의 움직임 정도를 식별하고, 그에 기반하여, 제어 장치(150) 사용 정도를 식별할 수 있다. 전자 장치(100)는 제어 장치(150)로부터 센싱 신호 수신 빈도가 낮거나, 또는 센싱 신호가 제어 장치(150)의 움직임 정도가 낮다는 것을 나타내는 경우, 이에 기반하여 제어 장치(150) 사용 정도가 낮다고 판단할 수 있다.
예컨대, 전자 장치(100)는 화면에 출력된 콘텐츠를 기반으로 제어 장치(150) 사용 정도를 식별할 수도 있다. 전자 장치(100)는 콘텐츠에 포함된 아바타 및 배경 중 적어도 하나의 변화 정도에 기반하여, 제어 장치(150) 사용 정도를 식별할 수 있다. 예컨대, 복수 사용자 중 한 명이 더 이상 게임 콘텐츠를 이용하지 않는 경우, 그 사용자가 제어하던 콘텐츠는 소정 시간 이상, 아바타 및/또는 배경 화면에 변화가 없을 가능성이 크다.
실시 예에서, 전자 장치(100)는 내부 카메라를 이용하여 주기적으로 화면을 통해 출력되는 콘텐츠를 캡쳐할 수 있다. 전자 장치(100)는 이전에 캡쳐된 화면과 현재 캡쳐된 화면을 비교하여 콘텐츠의 변화 여부를 식별할 수 있다. 전자 장치(100)는 캡쳐된 화면에서 복수개의 콘텐츠를 식별하고, 각 콘텐츠 별로, 이전에 캡쳐된 화면에 포함된 콘텐츠와 비교할 수 있다. 실시 예에서, 전자 장치(100)는 콘텐츠에 포함된 아바타 및/또는 배경 화면의 동일성 여부에 기초하여, 각 콘텐츠를 제어하는 제어 장치(150)의 사용 정도를 식별할 수 있다. 전자 장치(100)는 콘텐츠에 포함된 아바타의 동작이나 움직임 및/또는 콘텐츠에 포함된 배경에 변화가 없거나 변화 정도가 기준치 이하인 경우, 사용자가 제어 장치(150)를 이용하지 않는다고 판단할 수 있다.
예컨대, 전자 장치(100)는 복수개의 제어 장치(150)를 촬영하여 획득한 영상으로부터 검출된, 사용자 및 제어 장치(150) 간 거리에 기반하여 복수개의 제어 장치(150)의 사용 정도를 식별할 수도 있다. 실시 예에서, 전자 장치(100)는 전자 장치(100)에 구비된 카메라(109)를 이용하여 복수개의 제어 장치(150) 및 복수 사용자에 대한 영상을 획득할 수 있다. 실시 예에서, 전자 장치(100)는 복수개의 제어 장치(150) 및 복수 사용자에 대한 영상을 기반으로, 제어 장치(150)와 사용자 간의 위치 관계를 식별할 수 있다. 실시 예에서, 전자 장치(100)는 이미지 디텍션 기술을 이용하여, 영상에서 사람 형체를 식별할 수 있다. 또한, 전자 장치(100)는 영상에서 식별 신호 위치를 식별할 수 있다.
실시 예에서, 전자 장치(100)는 영상에서 식별된 사람 형체와 식별 신호와의 위치 관계에 기반하여, 사람 형체와 식별 신호가 서로 오버랩되어 있거나, 임계치 이하의 거리만큼 떨어져 있는 경우, 사용자가 제어 장치(150)를 이용한다고 판단할 수 있다. 전자 장치(100)는 사람 형체와 식별 신호 간 거리가 일정 임계치 이상 떨어진 경우, 제어 장치(150)가 사용되지 않는 것으로 식별할 수 있다.
다만, 전술한 것은, 실시 예로, 전자 장치(100)가 제어 장치(150) 사용 정도를 식별하는 방법은 이 외에도 다양한 형태로 구현될 수 있다.
실시 예에서, 전자 장치(100)는 제어 장치(150) 사용 정도를 식별하고, 이에 기반하여 제어 장치(150)로 제어되는 콘텐츠가 출력되는 화면을 조절할 수 있다.
실시 예에서, 전자 장치(100)는 사용 정도가 임계치 이하인 제어 장치(150)로 제어되는 콘텐츠에 대해서는 그 콘텐츠가 출력되는 부분 화면의 크기를 축소하여 출력하거나, 및/또는 그 콘텐츠가 출력되는 부분 화면의 위치를 화면의 바깥쪽으로 이동하여 출력할 수 있다.
도 5는, 실시 예에서, 전자 장치(100)가 제1 제어 장치(150-1) 및 제2 제어 장치(150-2)의 사용 정도를 식별하고 그에 따라 부분 화면을 조절하는 것을 도시한다. 실시 예에서, 전자 장치(100)가 제2 제어 장치(150-2)의 사용 정도가 임계치 이하라고 판단한 경우, 전자 장치(100)는 도 5의 오른쪽 도면에 도시된 바와 같이, 제1 부분 화면(110) 및 제2 부분 화면(120)의 크기를 다르게 하여 출력할 수 있다. 즉, 전자 장치(100)는 사용 정도가 임계치 이하인 제2 제어 장치(150-2)로 제어되는 제2 콘텐츠에 대해서, 제2 콘텐츠가 출력되는 제2 부분 화면(120)의 크기를 원래 화면 크기보다 더 작은 사이즈로 축소하고, 제2 부분 화면(120)이 바깥쪽에 위치하도록 하여, 크기 및 위치가 변경된 제2 부분 화면(120)을 통해 제 2 콘텐츠를 원래보다 작게 출력할 수 있다.
실시 예에서, 전자 장치(100)는 제2 부분 화면(120)의 크기가 변경된 것에 상응하여 제1 부분 화면(110)의 크기 또한 변경할 수 있다. 실시 예에서, 전자 장치(100)는 제2 부분 화면(120)의 크기가 축소된 것에 상응하여, 제1 부분 화면(110)을 원래 크기보다 더 큰 사이즈로 변경하여 제1 콘텐츠를 원래보다 더 크게 출력할 수 있다. 또한, 전자 장치(100)는 제2 부분 화면(120)의 위치가 화면 바깥쪽으로 이동한 것에 상응하여, 제1 부분 화면(110)의 위치를 화면의 중앙쪽으로 이동하도록 하여 제1 콘텐츠가 화면의 중앙쪽에서 출력되도록 할 수 있다.
이와 같이, 실시 예에 의하면, 전자 장치(100)는 복수개의 제어 장치(150)들의 사용 정도를 식별하고, 사용 정도에 기반하여 부분 화면의 크기 및 위치 중 적어도 하나를 조절할 수 있다. 따라서, 전자 장치(100)는 복수 사용자 중에 제어 장치(150)를 사용하지 않거나 사용 빈도가 낮은 사용자와, 그렇지 않은 사용자에게 서로 다른 크기의 콘텐츠를 제공함으로써, 사용자의 사용 빈도에 대응하는 화면을 출력할 수 있다.
도 5는 일 예로, 전자 장치(100)가 제어 장치(150)의 사용 정도에 따라 부분 화면의 크기나 위치를 조절하는 것을 설명하였으나, 본 개시가 이에 한정되는 것은 아니며, 전자 장치(100)는 다양한 상황에서, 복수개의 콘텐츠가 출력되는 부분 화면의 크기를 서로 다른 크기로 조절할 수 있다.
예컨대, 복수개의 제어 장치(150)는 메인 제어 장치와 서브 제어 장치로 나뉠 수 있다. 실시 예에서, 전자 장치(100)는 메인 제어 장치로 제어되는 콘텐츠가 출력되는 부분 화면을 서브 제어 장치로 제어되는 콘텐츠가 출력되는 부분 화면보다 더 크게 설정함으로써, 메인 제어 장치로 제어되는 콘텐츠가 서브 제어 장치로 제어되는 콘텐츠보다 더 큰 사이즈로 출력되도록 할 수 있다.
실시 예에서, 전자 장치(100)는 메인 제어 장치로 제어되는 콘텐츠가 출력되는 부분 화면을 화면 중앙에 배치하고, 서브 제어 장치로 제어되는 콘텐츠가 출력되는 부분 화면을 화면 가장 자리에 배치하여, 메인 제어 장치로 제어되는 콘텐츠가 서브 제어 장치로 제어되는 콘텐츠보다 더 가운데에서 출력되도록 할 수 있다.
실시 예에서, 복수개의 제어 장치(150) 중에 어떤 제어 장치가 메인 제어 장치이고, 어떤 제어 장치가 서브 제어 장치인지는 디폴트로 미리 설정되어 있을 수 있다. 또는, 사용자는 전자 장치(100)나 제어 장치(150)의 설정 기능을 이용하여, 특정 제어 장치를 메인 제어 장치로 설정하고, 다른 제어 장치를 서브 제어 장치로 설정하거나, 또는 설정을 변경할 수도 있다.
도 6은 실시 예에 따라, 전자 장치(100)가 복수개의 콘텐츠를 출력하는 것을 나타내는 도면이다.
도 6을 참조하면, 실시 예에서, 전자 장치(100)는 복수개의 제어 장치(150)로 제어될 수 있다. 실시 예에서, 전자 장치(100)는 플레이어 수만큼 부분 화면을 생성하고, 복수개의 부분 화면을 통해 복수개의 콘텐츠를 각각 출력할 수 있다. 실시 예에서, 전자 장치(100)는 제어 장치(150)의 위치 관계에 기반하여 부분 화면의 위치를 결정할 수 있다. 전자 장치(100)는 결정된 위치에 배치된 부분 화면을 통해 각각의 제어 장치(150)로 제어되는 콘텐츠를 출력할 수 있다.
도면 부호 601은, 실시 예에서, 전자 장치(100)가 두 개의 제어 장치(150)로 제어되는 두 개의 콘텐츠를 출력하는 경우를 도시한다. 실시 예에서, 전자 장치(100)는 제1 제어 장치(150-1) 및 제2 제어 장치(150-2)로 제어되는 제1 콘텐츠 및 제2 콘텐츠를 멀티 뷰 모드를 통해 출력할 수 있다. 실시 예에서, 전자 장치(100)는 제1 제어 장치(150-1) 및 제2 제어 장치(150-2)의 위치 관계에 기반하여, 제1 콘텐츠 및 제2 콘텐츠를 출력하는 제1 부분 화면(110) 및 제2 부분 화면(120)의 위치를 결정할 수 있다. 실시 예에서, 전자 장치(100)는 결정된 위치에 제1 부분 화면(110) 및 제2 부분 화면(120)을 배치하고, 제1 부분 화면(110) 및 제2 부분 화면(120)을 통해, 각각 제1 콘텐츠 및 제2 콘텐츠를 출력할 수 있다.
도면 부호 603은, 실시 예에서, 전자 장치(100)가 세 개의 제어 장치(150)로 제어되는 세 개의 콘텐츠를 출력하는 경우를 도시한다. 실시 예에서, 전자 장치(100)는 제1 제어 장치(150-1), 제2 제어 장치(150-2), 및 제3 제어 장치(150-3)로 제어되는 제1 콘텐츠, 제2 콘텐츠, 및 제3 콘텐츠를 멀티 뷰 모드를 통해 출력할 수 있다. 실시 예에서, 전자 장치(100)는 제1 제어 장치(150-1), 제2 제어 장치(150-2), 및 제3 제어 장치(150-3)의 위치 관계에 기반하여, 제1 콘텐츠, 제2 콘텐츠, 및 제3 콘텐츠를 출력하는 제1 부분 화면(110), 제2 부분 화면(120) 및 제3 부분 화면(530)의 위치를 결정할 수 있다.
예컨대, 도면 부호 603에 도시된 바와 같이, 전자 장치(100)는 전자 장치(100)를 바라보는 방향을 기준으로, 화면 위쪽의 좌, 우 방향에 각각 제1 부분 화면(110) 및 제3 부분 화면(131)을 배치하고, 제1 부분 화면(110) 및 제3 부분 화면(131)의 아래쪽의 중앙에 제2 부분 화면(120)을 배치할 수 있다. 다만, 이는 하나의 실시 예로, 전자 장치(100)는 화면 아래쪽의 좌, 우에 각각 제1 부분 화면(110) 및 제3 부분 화면(530)을 배치하고, 제1 부분 화면(110) 및 제3 부분 화면(530)의 위쪽 중앙에 제2 부분 화면(120)을 배치할 수도 있다. 또는, 전자 장치(100)는 좌측에서 우측 방향으로 일렬로 세 개의 부분 화면을 배치할 수도 있다. 예컨대, 전자 장치(100)는 좌측, 중앙, 우측에 각각 제1 부분 화면(110), 제2 부분 화면(120) 및 제3 부분 화면(131)을 배치할 수도 있다.
실시 예에서, 전자 장치(100)는 제1 부분 화면(110), 제2 부분 화면(120), 및 제3 부분 화면(530)을 통해, 각각 제1 콘텐츠, 제2 콘텐츠, 및 제3 콘텐츠를 출력할 수 있다.
도면 부호 605는, 실시 예에서, 전자 장치(100)가 네 개의 제어 장치(150)로 제어되는 네 개의 콘텐츠를 출력하는 경우를 도시한다. 실시 예에서, 전자 장치(100)는 제1 제어 장치(150-1), 제2 제어 장치(150-2), 제3 제어 장치(150-3) 및 제4 제어 장치(150-4)로 제어되는 제1 콘텐츠, 제2 콘텐츠, 제3 콘텐츠, 및 제4 콘텐츠를 멀티 뷰 모드를 통해 출력할 수 있다. 실시 예에서, 전자 장치(100)는 제1 제어 장치(150-1), 제2 제어 장치(150-2), 제3 제어 장치(150-3), 및 제4 제어 장치(150-4)의 위치 관계에 기반하여, 제1 콘텐츠, 제2 콘텐츠, 제3 콘텐츠, 및 제4 콘텐츠를 출력하는 제1 부분 화면(110), 제2 부분 화면(120), 제3 부분 화면(131), 및 제4 부분 화면(140)의 위치를 결정할 수 있다.
예컨대, 도면 부호 605에 도시된 바와 같이, 전자 장치(100)는 화면의 위쪽의 좌, 우에 각각 제1 부분 화면(110) 및 제3 부분 화면(131)을 배치하고, 화면의 아래쪽의 좌, 우에 각각 제2 부분 화면(120) 및 제4 부분 화면(140)을 배치할 수 있다. 다만, 이는 하나의 실시 예로, 전자 장치(100)는 화면의 아래쪽의 좌, 우에 각각 제1 부분 화면(110) 및 제3 부분 화면(131)을 배치하고, 화면의 위쪽의 좌, 우에 각각 제2 부분 화면(120) 및 제4 부분 화면(140)을 배치할 수도 있다.
또는, 전자 장치(100)는 좌측에서 우측 방향으로 일렬로 네 개의 부분 화면을 배치할 수도 있다. 전자 장치(100)는 좌측부터 우측 방향으로 제1 부분 화면(110), 제2 부분 화면(120), 제3 부분 화면(131) 및 제4 부분 화면(140)을 나란히 배치할 수도 있다.
실시 예에서, 전자 장치(100)는 결정된 위치에 제1 부분 화면(110) 내지 제4 부분 화면(140)을 배치하고, 제1 부분 화면(110) 내지 제4 부분 화면(140)을 통해, 제1 콘텐츠 내지 제4 콘텐츠를 각각 출력할 수 있다.
이와 같이, 실시 예에 의하면, 전자 장치(100)는 복수의 제어 장치(150)로 제어되는 복수의 콘텐츠를 출력하는 경우에, 제어 장치(150)의 위치 관계에 대응하는 위치에 콘텐츠가 출력되도록 부분 화면을 배치하여 복수 콘텐츠를 출력할 수 있다. 복수 사용자는 하나의 전자 장치(100)를 이용하여 각각 콘텐츠를 제어하는 경우, 전자 장치(100)의 화면 중 사용자의 위치에 대응하는 위치에서 출력되는 콘텐츠를 보면서 콘텐츠를 제어할 수 있으므로, 자신이 제어하는 콘텐츠를 보다 직관적이고 쉽게 식별할 수 있다.
도 7은 실시 예에 따라, 제어 장치(150)의 위치에 따라 전자 장치(100)가 부분 화면의 위치를 조절하는 것을 나타내는 도면이다.
도 7은, 실시 예에서, 전자 장치(100)가 세 개의 제어 장치(150)로 제어되는 세 개의 콘텐츠를 출력하는 경우를 도시한다. 실시 예에서, 전자 장치(100)는 제1 제어 장치(150-1), 제2 제어 장치(150-2), 및 제3 제어 장치(150-3)의 위치 관계에 기반하여, 제1 콘텐츠, 제2 콘텐츠, 및 제3 콘텐츠를 출력하는 제1 부분 화면(110), 제2 부분 화면(120) 및 제3 부분 화면(131)의 위치를 결정하고, 결정된 위치에 부분 화면을 배치하여 제1 콘텐츠 내지 제3 콘텐츠를 출력할 수 있다.
실시 예에서, 전자 장치(100)는 화면 위쪽의 좌, 우 방향에 각각 제3 부분 화면(131) 및 제1 부분 화면(110)을 배치하고, 화면 아래쪽의 중앙에 제2 부분 화면(120)을 배치할 수 있다.
실시 예에서, 전자 장치(100)는 전체 화면 중에, 제2 부분 화면(120)의 양쪽으로 빈 공간이 있음을 식별할 수 있다. 실시 예에서, 전자 장치(100)는 제2 부분 화면(120)의 위치를 좌 또는 우로 이동할 수 있음을 식별할 수 있다.
실시 예에서, 전자 장치(100)는 카메라(109)를 이용하여 획득한 복수개의 제어 장치(150)에 대한 영상으로부터 제어 장치(150)의 위치 변화를 식별할 수 있다. 실시 예에서, 전자 장치(100)는 복수개의 제어 장치(150) 중 양쪽으로 이동이 가능한 제2 부분 화면(120)에 대응하는 제2 제어 장치(150-2)의 위치 변화를 식별할 수 있다.
실시 예에서, 전자 장치(100)는 제2 제어 장치(150-2)가 좌 또는 우로 임계치 이상의 거리를 이동하는 경우, 그에 상응하여, 제2 부분 화면(120)의 위치 또한 좌 또는 우로 이동하여 이동된 위치에서 제2 콘텐츠가 출력되도록 할 수 있다.
도 8은 실시 예에 따른 전자 장치(100)의 블록도이다.
도 8의 전자 장치(100)는 도 2 및/또는 도 3의 전자 장치(100)의 일 예일 수 있다. 이하, 도 2 및 도 3에서 설명한 내용과 중복되는 설명은 생략한다.
도 8을 참조하면, 전자 장치(100)는 프로세서(101), 메모리(103), 디스플레이(105), 통신부(107) 외에 튜너부(810), 감지부(830), 입/출력부(840), 비디오 처리부(850), 오디오 처리부(860), 오디오 출력부(870) 및 사용자 입력부(880)를 더 포함할 수 있다.
튜너부(810)는 유선 또는 무선으로 수신되는 방송 콘텐츠 등을 증폭(amplification), 혼합(mixing), 공진(resonance)등을 통하여 많은 전파 성분 중에서 전자 장치(100)에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다. 튜너부(810)를 통해 수신된 콘텐츠는 디코딩되어 오디오, 비디오 및/또는 부가 정보로 분리된다. 분리된 오디오, 비디오 및/또는 부가 정보는 프로세서(101)의 제어에 의해 메모리(103)에 저장될 수 있다.
실시 예에서, 통신부(107)는 프로세서(101)의 제어에 의해 전자 장치(100)를 주변 기기나 외부 장치, 서버, 이동 단말기 등과 연결할 수 있다. 통신부(107)는 무선 통신을 수행할 수 있는 적어도 하나의 통신 모듈을 포함할 수 있다. 통신부(107)는 전자 장치(100)의 성능 및 구조에 대응하여 무선랜 모듈(821), 블루투스 모듈(822), 유선 이더넷(Ethernet)(823) 중 적어도 하나를 포함할 수 있다.
블루투스 모듈(822)은 블루투스 통신 규격에 따라서 주변 기기로부터 전송된 블루투스 신호를 수신할 수 있다. 블루투스 모듈(822)은 BLE(Bluetooth Low Energy) 통신 모듈이 될 수 있으며, BLE 신호를 수신할 수 있다. 블루투스 모듈(822)은 BLE 신호가 수신되는지 여부를 감지하기 위해서 상시적으로 또는 일시적으로 BLE 신호를 스캔할 수 있다. 무선랜 모듈(821)은 와이파이(Wi-Fi) 통신 규격에 따라서 주변 기기와 와이파이 신호를 송수신할 수 있다.
감지부(830)는 사용자의 음성, 사용자의 이미지, 또는 사용자의 인터랙션을 감지하며, 마이크(831), 카메라(109), 광 수신부(833)를 포함할 수 있다. 마이크(831)는 사용자의 발화(utterance)된 음성이나 노이즈를 포함하는 오디오 신호를 수신할 수 있고 수신된 오디오 신호를 전기 신호로 변환하여 프로세서(101)로 출력할 수 있다.
카메라(109)는 센서(미도시) 및 렌즈(미도시)를 포함하고, 화면에 맺힌 이미지를 촬영하여 캡쳐하고 이를 프로세서(101)로 전송할 수 있다.
실시 예에서, 카메라(109)는 사용자가 복수의 제어 장치(150)로 콘텐츠를 이용하는 것에 상응하여, 카메라(109) 전면에 위치한 복수개의 제어 장치(150) 및 복수 사용자를 촬영할 수 있다. 실시 예에서, 카메라(109)는 복수개의 제어 장치(150)가 송출하는 식별 신호를 촬영할 수 있다.
광 수신부(833)는, 광 신호(제어 신호를 포함)를 수신할 수 있다. 광 수신부(833)는 리모컨이나 핸드폰 등과 같은 제어 장치(150)로부터 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광 신호를 수신할 수 있다.
입/출력부(840)는 프로세서(101)의 제어에 의해 외부 서버 등으로부터 비디오(예를 들어, 동적 이미지 신호나 정지 이미지 신호 등), 오디오(예를 들어, 음성 신호나, 음악 신호 등) 및 부가 정보 등을 수신할 수 있다.
입/출력부(840)는 HDMI 포트(High-Definition Multimedia Interface port, 841), 컴포넌트 잭(component jack, 842), PC 포트(PC port, 843), 및 USB 포트(USB port, 844) 중 하나를 포함할 수 있다. 입/출력부(840)는 HDMI 포트(841), 컴포넌트 잭(842), PC 포트(843), 및 USB 포트(844)의 조합을 포함할 수 있다.
비디오 처리부(850)는, 디스플레이(105)에 의해 표시될 이미지 데이터를 처리하며, 이미지 데이터에 대한 디코딩, 렌더링, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 및 해상도 변환 등과 같은 다양한 이미지 처리 동작을 수행할 수 있다.
디스플레이(105)는 방송국으로부터 수신하거나 외부 서버, 또는 외부 저장 매체 등의 외부 기기로부터 수신하거나, 또는 다양한 앱, 예컨대, OTT 서비스 제공자나 메타버스 콘텐츠 제공자가 제공하는 콘텐츠를 화면에 출력할 수 있다. 콘텐츠는 미디어 신호로, 비디오 신호, 이미지, 텍스트 신호 등을 포함할 수 있다.
실시 예에서, 디스플레이(105)는 서버로부터 수신한 메타버스 콘텐츠를 출력할 수 있다. 실시 예에서, 디스플레이(105)는 복수개의 제어 장치(150)로 제어되는 복수 콘텐츠를 멀티 뷰 모드로 출력할 수 있다. 실시 예에서, 디스플레이(105)는 복수개의 제어 장치(150) 간 위치 관계에 대응하도록 복수 콘텐츠를 출력하는 부분 화면을 배치하여, 복수 콘텐츠를 출력할 수 있다.
실시 예에서, 디스플레이(105)는 서버로부터 복수 콘텐츠가 통합된 하나의 통합 콘텐츠를 출력할지 여부에 대한 인터페이스 화면을 출력할 수 있다. 실시 예에서, 디스플레이(105)는 서버로부터 통합 콘텐츠를 수신한 것에 상응하여 통합 콘텐츠를 싱글 뷰 모드로 출력할 수 있다.
오디오 처리부(860)는 오디오 데이터에 대한 처리를 수행한다. 오디오 처리부(860)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
오디오 출력부(870)는 프로세서(101)의 제어에 의해 튜너부(810)를 통해 수신된 콘텐츠에 포함된 오디오, 통신부(820) 또는 입/출력부(840)를 통해 입력되는 오디오, 메모리(103)에 저장된 오디오를 출력할 수 있다. 오디오 출력부(870)는 스피커(871), 헤드폰(872) 또는 S/PDIF(Sony/Philips Digital Interface: 출력 단자)(873) 중 적어도 하나를 포함할 수 있다.
사용자 입력부(880)는 전자 장치(100)를 제어하기 위한 사용자 입력을 수신할 수 있다. 사용자 입력부(880)는 사용자의 터치를 감지하는 터치 패널, 사용자의 푸시 조작을 수신하는 버튼, 사용자의 회전 조작을 수신하는 휠, 키보드(key board), 및 돔 스위치 (dome switch), 음성 인식을 위한 마이크, 모션을 센싱하는 모션 감지 센서 등을 포함하는 다양한 형태의 사용자 입력 디바이스를 포함할 수 있으나 이에 제한되지 않는다. 실시 예에서, 제어 장치(150)로 전자 장치(100)를 제어하는 경우, 사용자 입력부(890)는 제어 장치(150)로부터 수신되는 제어 신호를 수신할 수 있다.
도 9는 실시 예에 따른 서버(900)의 블록도이다.
실시 예에서, 서버(900)는 게임 콘텐츠를 제공하는 서버일 수 있다.
도 9를 참조하면, 서버(900)는 프로세서(901), 메모리(903) 및 통신부(905)를 포함할 수 있다.
실시 예에서, 메모리(903)는, 적어도 하나의 인스트럭션을 저장할 수 있다. 메모리(903)는 프로세서(901)가 실행하는 적어도 하나의 프로그램을 저장하고 있을 수 있다. 또한 메모리(903)는 서버(900)로 입력되거나 서버(900)로부터 출력되는 데이터를 저장할 수 있다. 또한, 메모리(903)는 다양한 게임 콘텐츠가 저장된 데이터베이스를 포함할 수 있다.
실시 예에 따른 통신부(905)는 전자 장치(100)와 유선 또는 무선 통신 네트워크를 통하여 통신을 수행할 수 있다. 통신부(905)는 프로세서(901)의 제어에 의해 서버(900)를 전자 장치(100), 기타, 주변 기기나 외부 기기, 또 다른 서버, 이동 단말기 등과 연결할 수 있다. 통신부(107)는 원거리 통신 규격에 따라서 원거리 통신을 지원하기 위한 원거리 통신 모듈을 포함할 수 있다. 구체적으로, 통신부(905)는 인터넷 통신을 위한 네트워크를 통하여 통신을 수행하는 원거리 통신 모듈을 포함할 수 있다. 통신부(905)는 3G, 4G, 및/또는 5G 등의 통신 규격에 따르는 통신 네트워크를 통하여 통신을 수행하는 원거리 통신 모듈을 포함할 수 있다.
실시 예에서, 프로세서(901)는 서버(900)의 전반적인 동작 및 서버(900)의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행할 수 있다. 실시 예에서, 프로세서(901)는 메모리(903)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 서버(900)가 기능하도록 제어할 수 있다.
실시 예에서, 프로세서(901)는 전자 장치(100)의 요청에 따라 전자 장치(100)로 콘텐츠를 제공할 수 있다. 실시 예에서, 프로세서(901)는 전자 장치(100)의 요청에 따라, 하나의 전자 장치(100)로, 복수개의 콘텐츠를 제공할 수 있다. 실시 예에서, 프로세서(901)는 서로 다른 제어 장치(150)로 제어되는 서로 다른 개별 콘텐츠를 각각 생성하고, 이를 통신부(905)를 통해 전자 장치(100)로 전송할 수 있다.
실시 예에서, 프로세서(901)는 단일 전자 장치(100)로 복수개의 개별 콘텐츠를 제공함에 있어, 개별 콘텐츠의 연관성을 식별할 수 있다. 실시 예에서, 프로세서(901)는 개별 콘텐츠의 가상 공간 상의 거리에 기반하여 복수개의 콘텐츠 간의 연관성을 식별할 수 있다. 예컨대, 프로세서(901)는 제1 콘텐츠의 가상 공간 및 제2 콘텐츠의 가상 공간이 가까운지 여부를 고려할 수 있다.
실시 예에서, 프로세서(901)는 제1 콘텐츠의 가상 공간 및 제2 콘텐츠의 가상 공간 사이의 거리가 임계치 이하인 경우, 통합 콘텐츠를 생성할 수 있다. 실시 예에서, 제1 콘텐츠의 가상 공간 및 제2 콘텐츠의 가상 공간 사이의 거리가 임계치 이하라는 것은 제1 콘텐츠에 등장하는 제1 아바타와 제2 콘텐츠에 등장하는 제2 아바타의 가상 공간 상에서의 거리가 임계치 이하인 것을 포함할 수 있다.
실시 예에서, 프로세서(901)는 가상 공간 상에서의 제1 아바타와 제2 아바타 간의 거리가 임계치 이하인지 여부를 판단하고, 제1 아바타와 제2 아바타의 가상 공간 상에서의 거리가 임계치 이하인 경우, 별개로 전송하던 개별 콘텐츠, 즉, 제1 콘텐츠 및 제2 콘텐츠를 통합하여, 하나의 통합 콘텐츠를 생성할 수 있다.
실시 예에서, 통합 콘텐츠는 제1 콘텐츠에 등장하는 제1 아바타와 제2 콘텐츠에 등장하는 제2 아바타가 모두 포함된 콘텐츠일 수 있다.
실시 예에서, 통합 콘텐츠는 개별 콘텐츠와는 뷰(view)가 다른 콘텐츠일 수 있다. 즉, 개별 콘텐츠인 제1 콘텐츠에는 제1 아바타만 포함되고, 제2 콘텐츠에는 제2 아바타만 포함되는 것과 달리, 통합 콘텐츠에는 제1 아바타와 제2 아바타가 모두 포함되므로, 통합 콘텐츠는 제1 아바타 관점, 또는 제2 아바타 관점이 아닌, 제1 아바타와 제2 아바타를 함께 볼 수 있는 가상의 제3자의 관점에서 생성된 것과 같은 형태의 콘텐츠일 수 있다.
실시 예에서, 프로세서(901)는 제1 콘텐츠의 가상 공간 및 제2 콘텐츠의 가상 공간 사이의 거리가 임계치 이하인 경우, 통합 콘텐츠를 생성하기 전에, 통합 콘텐츠 전송 여부를 전자 장치(100)에게 문의할 수 있다. 실시 예에서, 프로세서(901)는 통신부(905)를 통해 전자 장치(100)로 통합 콘텐츠 전송 문의 신호를 전송할 수 있다.
실시 예에서, 전자 장치(100)는 서버(900)로부터 통합 콘텐츠 전송 문의 신호를 수신한 것에 기반하여, 디스플레이(105)를 통해, 통합 콘텐츠 출력 여부에 대한 인터페이스 화면을 출력할 수 있다. 통합 콘텐츠 출력 여부에 대한 인터페이스 화면은 일종의 팝업 화면일 수 있다. 사용자는 디스플레이(105)에 출력된 인터페이스 화면을 보고 사용자 입력부(880)를 통해 통합 콘텐츠 출력을 요청하는 통합 콘텐츠 출력 요청 신호를 입력할 수 있다. 실시 예에서, 전자 장치(100)는 통합 콘텐츠 출력 요청 신호가 입력된 것에 기반하여, 서버(900)에 통합 콘텐츠 전송 요청 신호를 전송할 수 있다.
실시 예에서, 서버(900)는 전자 장치(100)로부터 통합 콘텐츠 전송 요청 신호를 수신하는 경우, 개별 콘텐츠인 제1 콘텐츠 및 제2 콘텐츠를 통합하여, 통합 콘텐츠를 생성할 수 있다. 실시 예에서, 서버(900)는 통합 콘텐츠를 전자 장치(100)로 전송할 수 있다.
실시 예에서, 전자 장치(100)는 제1 콘텐츠 및 제2 콘텐츠를 별개의 부분 화면을 통해 출력하다가, 서버(900)로부터 통합 콘텐츠를 수신하는 경우, 제1 부분 화면 및 제2 부분 화면이 통합된 화면을 통해 통합 콘텐츠를 출력할 수 있다. 예컨대, 전자 장치(100)가 두 개의 부분 화면을 통해 두 개의 콘텐츠를 출력하다가, 서버(900)로부터 두 개의 콘텐츠가 통합된 통합 콘텐츠를 수신하는 경우, 제1 부분 화면 및 제2 부분 화면이 합쳐진 크기의 화면을 통해 통합 콘텐츠를 출력할 수 있다. 또는, 실시 예에서, 전자 장치(100)는 두 개의 부분 화면을 통해 두 개의 콘텐츠를 출력하다가 두 개의 콘텐츠가 통합된 하나의 통합 콘텐츠를 수신하는 경우, 화면 사이즈를 최대한 큰 사이즈로 늘리고, 그 화면을 통해 하나의 통합 콘텐츠를 출력할 수도 있다.
이와 같이, 실시 예에 의하면, 서버(900)는 아바타의 가상 공간 상에서의 거리에 기반하여 개별 콘텐츠를 통합 콘텐츠로 변환할 수 있다. 복수 사용자는 통합 콘텐츠를 통해 복수 아바타들을 함께 보면서 각자의 아바타를 제어함으로써, 동일한 가상 공간 상에서 복수 사용자들이 함께 있는 것과 같은 몰입감을 느낄 수 있다.
실시 예에서, 서버(900)는 통합 콘텐츠를 전송하다가, 제1 아바타와 제2 아바타의 가상 공간 상에서의 거리가 임계치를 넘는 경우, 다시 제1 아바타 및 제2 아바타가 각각 포함된 제1 콘텐츠 및 제2 콘텐츠를 생성하고, 이를 전자 장치(100)로 전송할 수 있다.
실시 예에서, 전자 장치(100)는 서버(900)로부터 통합 콘텐츠 대신 개별 콘텐츠인 제1 콘텐츠 및 제2 콘텐츠가 다시 수신되는 경우, 통합 콘텐츠를 통합 화면을 통해 출력하는 대신, 제1 콘텐츠 및 제2 콘텐츠를 별개의 부분 화면을 통해 각각 출력할 수 있다.
도 10은 실시 예에 따라, 전자 장치(100)가 개별 콘텐츠 및 통합 콘텐츠를 각각 출력하는 것을 나타내는 도면이다.
도 10의 좌측 도면은, 전자 장치(100)가 두 개의 제어 장치(150)로 제어되는 두 개의 개별 콘텐츠를 멀티 뷰 모드로 출력하는 경우를 도시한다. 실시 예에서, 전자 장치(100)는 서버(900)로부터 제1 콘텐츠 및 제2 콘텐츠를 수신하고, 제1 콘텐츠 및 제2 콘텐츠를 각각 제1 부분 화면(110) 및 제2 부분 화면(120)을 통해 출력할 수 있다.
실시 예에서, 제1 콘텐츠는 제1 아바타(1011)를 포함하고, 제2 콘텐츠는 제2 아바타(1021)를 포함할 수 있다.
실시 예에서, 서버(900)는 가상 공간 상에서의 제1 아바타(1011)와 제2 아바타(1021) 사이의 거리가 임계치 이하인지 여부를 판단할 수 있다. 예컨대, 서버(900)는 제1 아바타(1011)와 제2 아바타(1021)가 모두 가상 공간 상의 동일 회의실에 있는 경우, 제1 아바타(1011)와 제2 아바타(1021) 간의 거리가 임계치 이하라고 판단할 수 있다. 실시 예에서, 서버(900)는 두 개의 개별 콘텐츠를 통합하여, 하나의 통합 콘텐츠를 생성할 수 있다.
실시 예에서, 통합 콘텐츠는 제1 아바타(1011)와 제2 아바타(1021)를 모두 포함하는 콘텐츠로, 제1 아바타(1011)와 제2 아바타(1021)가 함께 보이는 콘텐츠일 수 있다. 실시 예에서, 통합 콘텐츠는 가상의 제3자의 관점에서 복수개의 아바타를 함께 바라보는 시점(view)을 갖는 콘텐츠일 수 있다.
실시 예에서, 서버(900)는 통합 콘텐츠를 전자 장치(100)로 전송할 수 있다. 실시 예에서, 전자 장치(100)는 서버(900)로부터 통합 콘텐츠를 수신한 것에 상응하여 통합 화면(1010)을 생성할 수 있다. 실시 예에서, 전자 장치(100)는 제1 콘텐츠 및 제2 콘텐츠를 각각 출력하던 제1 부분 화면(110) 및 제2 부분 화면(120)을 통합하여 통합 화면(1010)을 생성할 수 있다.
실시 예에서, 통합 화면(1010)의 크기는 제1 부분 화면(110) 및 제2 부분 화면(120)을 합친 크기일 수 있다. 또는, 통합 화면(1010)의 크기는 제1 부분 화면(110) 및 제2 부분 화면(120)을 합친 크기보다 더 큰 크기일 수 있다. 예컨대, 도 10의 우측에 도시된 바와 같이, 전자 장치(100)가 통합 콘텐츠 하나만을 출력하는 경우, 전자 장치(100)는 통합 화면(1010)의 크기를 최대한 큰 사이즈로 늘리고, 통합 화면(1010)을 통해 큰 사이즈로 통합 콘텐츠를 출력할 수 있다.
다만, 이는 하나의 실시 예로, 전자 장치(100)는 다양한 사이즈로 통합 화면을 생성하고, 통합 화면을 통해 통합 콘텐츠를 출력할 수 있다.
도 11은 실시 예에 따른 전자 장치(100)의 동작 방법을 도시한 순서도이다.
도 11을 참조하면, 실시 예에서, 전자 장치(100)는 제1 콘텐츠 및 제2 콘텐츠를 포함하는 복수 콘텐츠를 획득할 수 있다(단계 1110).
실시 예에서, 전자 장치(100)는 제1 콘텐츠를 제어하는 제1 제어 장치(150-1) 및 제2 콘텐츠를 제어하는 제2 제어 장치(150-2) 간 위치 관계를 식별할 수 있다(단계 1120).
실시 예에서, 전자 장치(100)는 제1 제어 장치(150-1) 및 제2 제어 장치(150-2)를 촬영한 영상을 획득하고, 그 영상으로부터, 제1 제어 장치(150-1)가 출력하는 제1 식별 신호 및 제2 제어 장치(150-2)가 출력하는 제2 식별 신호를 식별할 수 있다.
실시 예에서, 전자 장치(100)는 제1 식별 신호 및 제2 식별 신호의 위치에 기반하여, 제1 제어 장치(150-1) 및 제2 제어 장치(150-2) 간 위치 관계를 식별할 수 있다.
실시 예에서, 전자 장치(100)는 제1 부분 화면(110)을 통해 제1 콘텐츠를 출력하고, 제2 부분 화면(120)을 통해 제2 콘텐츠를 출력할 수 있다.
실시 예에서, 전자 장치(100)는 복수 제어 장치(150) 간 위치 관계에 기반하여, 제1 부분 화면(110) 및 제2 부분 화면(120)을 배치하여 복수 콘텐츠를 출력할 수 있다(단계 1130).
실시 예에서, 전자 장치(100)는 제어 장치(150) 간 위치 관계에 대응하도록 제1 부분 화면(110) 및 제2 부분 화면(120)을 배치하고, 제1 부분 화면(110)을 통해 제1 콘텐츠를 출력하고, 제2 부분 화면(120)을 통해 제2 콘텐츠를 출력할 수 있다.
도 12는 실시 예에 따른 전자 장치(100)의 동작 방법을 도시한 순서도이다.
도 12를 참조하면, 실시 예에 따른 전자 장치(100)는 제어 장치(150) 간 위치 관계에 변화가 있는지를 식별할 수 있다(단계 1210).
실시 예에서, 전자 장치(100)는 제1 제어 장치(150-1) 및 제2 제어 장치(150-2)를 촬영한 영상으로부터, 제1 제어 장치(150-1)가 출력하는 제1 식별 신호 및 제2 제어 장치(150-2)가 출력하는 제2 식별 신호를 식별하고, 제1 식별 신호 및 제2 식별 신호에 기반하여, 제1 제어 장치(150-1) 및 제2 제어 장치(150-2) 간 위치 관계 변화 여부를 판단할 수 있다.
실시 예에서, 전자 장치(100)는 제어 장치(150) 간 위치 관계에 변화가 있다고 판단된 경우, 위치 관계 변화에 상응하여, 제1 부분 화면(110) 및 제2 부분 화면(120)의 배치를 변경할 수 있다(단계 1020).
실시 예에서, 전자 장치(100)는 배치가 변경된 제1 부분 화면(110) 및 제2 부분 화면(120)을 통해 각각 제1 콘텐츠 및 제2 콘텐츠를 출력할 수 있다.
도 13은 실시 예에 따라, 전자 장치(100)가 제어 장치(150)의 위치를 식별하는 방법을 도시한 순서도이다.
도 13을 참조하면, 실시 예에 따른 전자 장치(100)는 제어 장치(150)로 식별 신호 출력을 요청할 수 있다(단계 1310).
실시 예에서, 전자 장치(100)는 복수 제어 장치(150)로 제어되는 복수 콘텐츠를 출력하는 경우, 제어 장치(150)로 식별 신호 출력을 요청할 수 있다. 예컨대, 전자 장치(100)는 제어 장치(150)로 식별 신호 출력 요청 신호를 전송할 수 있다. 실시 예에서, 식별 신호는 제어 장치(150) 식별에 이용되는 신호일 수 있다.
실시 예에서, 전자 장치(100)는 복수 제어 장치(150)로 제어되는 복수 콘텐츠를 출력하는 경우, 최초 한 번만, 또는, 일정한 주기마다, 또는 랜덤한 주기마다, 또는 이벤트가 발생할 때 마다, 제어 장치(150)로 식별 신호 출력을 요청할 수 있다.
실시 예에서, 전자 장치(100)는 복수개의 제어 장치(150) 각각에 식별 신호 출력을 요청할 수 있다. 실시 예에서, 전자 장치(100)는 복수개의 제어 장치(150) 각각에 서로 다른 식별 신호를 출력할 것을 요청할 수 있다. 실시 예에서, 서로 다른 식별 신호는 LED 색상 및 LED 깜박임 시간 간격 중 적어도 하나가 서로 다른 신호일 수 있다.
실시 예에서, 제어 장치(150)는 전자 장치(100)로부터 식별 신호 출력 요청 신호를 수신하고, 그에 따라 식별 신호를 출력할 수 있다(단계 1320).
실시 예에서, 전자 장치(100)는 제어 장치(150)가 출력하는 식별 신호를 획득할 수 있다(1330).
실시 예에서, 전자 장치(100)는 카메라(109)를 이용하여 제어 장치(150)에 대한 영상을 획득하고, 영상으로부터, 제어 장치(150)가 출력하는 식별 신호를 식별할 수 있다. 실시 예에서, 복수개의 제어 장치(150)가 각각 서로 다른 식별 신호를 송출하는 경우, 전자 장치(100)는 복수개의 제어 장치(150)에 대한 영상으로부터 복수개의 제어 장치(150)가 각각 출력한 식별 신호를 식별할 수 있다.
실시 예에서, 전자 장치(100)는 제어 장치(150)의 위치를 식별할 수 있다(단계 1340).
실시 예에서, 전자 장치(100)는 제어 장치(150)가 송출한 식별 신호를 이용하여 제어 장치(150)의 위치를 식별할 수 있다. 실시 예에서, 전자 장치(100)는 복수개의 제어 장치(150)가 각각 송출한 식별 신호에 기반하여, 복수개의 제어 장치(150) 간의 위치 관계를 식별할 수 있다.
도 14는 실시 예에 따라, 전자 장치(100)가 이벤트가 발생함에 따라 제어 장치(150)로 식별 신호 출력을 요청하는 경우를 도시한 순서도이다.
도 14를 참조하면, 실시 예에서, 전자 장치(100)는 사용자 움직임을 감지할 수 있다. 실시 예에서, 전자 장치(100)는 복수 제어 장치(150) 및 복수 사용자를 촬영한 영상으로부터 복수 사용자를 식별할 수 있다. 실시 예에서, 전자 장치(100)는 영상에서 식별된 사용자의 움직임을 감지할 수 있다.
실시 예에서, 전자 장치(100)는 사용자 움직임이 임계치 이상임을 식별할 수 있다(단계 1410). 실시 예에서, 전자 장치(100)는 사용자 움직임이 좌우 방향으로 임계치 이상임을 식별한 경우, 이를 이벤트 발생으로 감지할 수 있다.
실시 예에서, 전자 장치(100)는 사용자 움직임이 임계치 이상인 경우, 제어 장치(150)로 식별 신호 출력을 요청할 수 있다(단계 1420).
실시 예에서, 제어 장치(150)는 전자 장치(100)로부터 식별 신호 출력을 요청 받으면, 이에 상응하여 식별 신호를 출력할 수 있다(단계 1430).
실시 예에서, 전자 장치(100)는 제어 장치(150)가 출력하는 식별 신호를 획득하고(1430), 식별 신호에 기반하여 제어 장치(150)의 위치를 식별할 수 있다(단계 1450).
실시 예에서, 전자 장치(100)는 사용자가 좌우 방향으로 임계치 이상 움직이는 경우, 제어 장치(150)가 식별 신호를 출력하도록 함으로써, 제어 장치(150)의 위치를 다시 확인할 수 있다. 실시 예에서, 전자 장치(100)는 제어 장치(150)가 다시 출력한 식별 신호에 기반하여 복수 제어 장치(150) 간 위치 관계에 변화가 있는지, 또는 사용자가 제어 장치(150)를 사용하지 않는지 여부 등을 판단할 수 있다.
도 15는 실시 예에 따라, 사용자 입력에 기반하여 제어 장치(150)가 식별 신호를 출력하는 경우를 도시한 순서도이다.
실시 예에서, 제어 장치(150)는 전자 장치(100)로부터 식별 신호 출력을 요청 받지 않는 경우에도 식별 신호를 출력할 수 있다. 예컨대, 제어 장치(150)는 LED 송신부를 통해 계속하여 식별 신호를 출력할 수 있다. 또는, 제어 장치(150)는 식별 신호를 출력하지 않을 때는 LED 송신부를 껐다가, 일정한 주기마다 LED 송신부를 켜서 LED 송신부가 주기적으로 식별 신호를 출력하도록 할 수 있다.
또는, 제어 장치(150)는 사용자의 요청에 따라서, 식별 신호를 출력할 수도 있다.
도 15는, 실시 예에 따라, 제어 장치(150)가 사용자의 요청에 따라 식별 신호를 출력하는 경우를 도시한다.
도 15를 참조하면, 제어 장치(150)는 사용자 입력을 수신할 수 있다(단계 1510). 실시 예에서, 제어 장치(150)는 식별 신호를 출력하라는 사용자 입력을 수신할 수 있다. 예컨대, 사용자는 다른 사용자와 위치가 변경되었음을 알리고자 할 수 있다. 즉, 사용자는 제어 장치(150)간에 위치 관계가 변했음을 알리기 위해, 제어 장치(150)를 이용하여 식별 신호를 출력하라는 사용자 입력을 전송할 수 있다.
실시 예에서, 사용자는 제어 장치(150)에 구비된 복수개의 키 중 하나를 선택함으로써, 식별 신호를 출력하라는 사용자 입력을 전송할 수 있다.
실시 예에서, 제어 장치(150)는 사용자 입력을 수신한 것에 상응하여, 식별 신호를 출력할 수 있다(단계 1520).
실시 예에서, 전자 장치(100)는 식별 신호를 획득하고(단계 1530), 식별 신호에 기반하여 제어 장치의 위치를 식별할 수 있다(단계 1540).
이와 같이, 실시 예에 의하면, 사용자는 제어 장치(150)를 통해 식별 신호가 출력되도록 함으로써, 전자 장치(100)에게 사용자 간 위치 변경을 알려주고, 그에 따라 화면 위치가 변경되도록 할 수 있다.
도 16은 실시 예에 따라, 전자 장치(100)가 서버(900)로부터 수신한 콘텐츠를 다양한 방법으로 출력하는 것을 도시한 순서도이다.
실시 예에서, 서버(900)는 전자 장치(100)로부터 아바타가 등장하는 콘텐츠를 요청 받고, 그에 상응하여 가상 공간에 대한 메타버스 콘텐츠를 생성할 수 있다. 실시 예에서, 서버(900)는 전자 장치(100)로부터 복수 아바타 각각이 등장하는 복수 콘텐츠를 요청 받은 것에 상응하여, 복수개의 개별 콘텐츠를 생성할 수 있다. 복수개의 개별 콘텐츠는 복수개의 제어 장치(150)에 의해 각각 제어될 수 있다. 복수개의 개별 콘텐츠는 제1 콘텐츠 및 제2 콘텐츠를 포함할 수 있다.
도 16을 참조하면, 실시 예에서, 서버(900)는 제1 콘텐츠 및 제2 콘텐츠를 생성하고(단계 1610), 이를 전자 장치(100)로 전송할 수 있다(단계 1620).
실시 예에서, 전자 장치(100)는 서버(900)로부터 개별 콘텐츠인, 제1 콘텐츠 및 제2 콘텐츠를 수신하고, 이를 각각 부분 화면을 통해 출력할 수 있다.
실시 예에서, 전자 장치(100)는 복수개의 제어 장치(150) 간 위치 관계를 식별할 수 있다. 실시 예에서, 전자 장치(100)는 제어 장치(150) 간 위치 관계에 대응하도록 제1 부분 화면(110) 및 제2 부분 화면(120)을 배치하여 콘텐츠를 출력할 수 있다(단계 1630).
실시 예에서, 서버(900)는 제1 콘텐츠의 가상 공간 및 제2 콘텐츠의 가상 공간 사이의 거리가 임계치 이하인지 여부를 판단할 수 있다(단계 1640).
실시 예에서, 서버(900)는 제1 콘텐츠에 등장하는 제1 아바타와 제2 콘텐츠에 등장하는 제2 아바타 간의 가상 공간 상에서의 거리가 임계치 이하인지 여부를 판단할 수 있다.
실시 예에서, 서버(900)는 제1 콘텐츠의 가상 공간 및 제2 콘텐츠의 가상 공간 사이의 거리가 임계치 이하라고 판단되는 경우, 제1 콘텐츠 및 제2 콘텐츠를 통합하여, 하나의 통합 콘텐츠를 생성할 수 있다(단계 1650).
실시 예에서, 서버(900)는 통합 콘텐츠를 전자 장치(100)로 전송할 수 있다(단계 1660).
실시 예에서, 전자 장치(100)는 서버(900)로부터 통합 콘텐츠를 수신한 것에 상응하여, 통합 콘텐츠를 출력할 수 있다(단계 1670).
실시 예에서, 전자 장치(100)는 제1 부분 화면(110) 및 제2 부분 화면(120)을 통합한 화면을 통해 통합 콘텐츠를 출력할 수 있다.
실시 예에서, 전자 장치(100)가 출력하는 개별 콘텐츠가 제1 콘텐츠 및 제2 콘텐츠만인 경우, 전자 장치(100)는 최대한 큰 사이즈의 화면을 통해, 즉, 화면 전체를 통해 통합 콘텐츠를 출력할 수도 있다.
실시 예에서, 전자 장치(100)가 출력하는 개별 콘텐츠가 제1 콘텐츠 및 제2 콘텐츠 외에 또 다른 개별 콘텐츠인 제3 콘텐츠도 포함하는 경우, 전자 장치(100)는 제1 부분 화면(110) 및 제2 부분 화면(120)을 통합한 통합 화면을 통해 통합 콘텐츠를 출력하고, 제3 부분 화면(131)을 통해 제3 콘텐츠를 출력할 수도 있다.
다만, 이는 하나의 실시 예로, 전자 장치(100)는 개별 콘텐츠를 출력하는 부분 화면의 크기나 위치, 통합 콘텐츠를 출력하는 통합 화면의 크기나 위치 등을 다양하게 변형할 수 있다.
도 17은 실시 예에 따라, 전자 장치(100)가 통합 콘텐츠 출력 여부에 대한 인터페이스 화면을 출력하는 것을 도시한 순서도이다.
실시 예에서, 서버(900)는 제1 콘텐츠의 가상 공간 및 제2 콘텐츠의 가상 공간 사이의 거리가 임계치 이하라고 판단한 경우를 가정한다.
실시 예에서, 서버(900)는 통합 콘텐츠 전송 문의 신호를 생성할 수 있다(단계 1710).
즉, 실시 예에서, 서버(900)는 제1 콘텐츠의 가상 공간 및 제2 콘텐츠의 가상 공간 사이의 거리가 임계치 이하라고 판단되는 경우, 하나의 통합 콘텐츠를 생성하기 전에, 통합 콘텐츠를 전송할지 여부를 전자 장치(100)에게 먼저 문의할 수 있다.
실시 예에서, 서버(900)는 전자 장치(100)로 통합 콘텐츠 전송 문의 신호를 전송할 수 있다(단계 1720).
실시 예에서, 전자 장치(100)는 서버(900)로부터 통합 콘텐츠 전송 문의 신호를 수신한 것에 상응하여, 통합 콘텐츠 출력 여부에 대한 인터페이스 화면을 출력할 수 있다(단계 1730).
실시 예에서, 전자 장치(100)는 통합 콘텐츠 출력 여부에 대한 인터페이스 화면을 복수 콘텐츠와 함께 출력할 수 있다. 예컨대, 전자 장치(100)는 통합 콘텐츠 출력 여부에 대한 인터페이스 화면을, 전자 장치(100)의 화면의 일 부분 영역 상에, 복수개의 개별 콘텐츠 위에 오버레이하여 디스플레이할 수 있다.
통합 콘텐츠 출력 여부에 대한 인터페이스 화면은, 통합 콘텐츠를 출력하기를 원하는지를 묻는 텍스트 내지는 기호나 도형 등을 포함할 수 있다. 또한, 통합 콘텐츠 출력 여부에 대한 인터페이스 화면은 '예' 또는 '아니오' 중 하나를 선택할 수 있는 버튼을 포함할 수 있다. 다만, 이는 하나의 실시 예로, 통합 콘텐츠 출력 여부에 대한 인터페이스 화면에 포함된 텍스트의 내용이나 기호, 도형의 종류나 크기, 출력 위치, 투명도, 및/또는 형태는 다양한 형태로 변형될 수 있다.
실시 예에서, 전자 장치(100)는 사용자로부터 통합 콘텐츠 출력 요청 신호를 입력 받을 수 있다(단계 1740).
사용자는 사용자 입력부(880)를 통해 통합 콘텐츠를 출력해 줄 것을 요청하는 통합 콘텐츠 출력 요청 신호를 입력할 수 있다. 예컨대, 사용자는 전자 장치(100)를 통해 출력된 통합 콘텐츠 출력 여부에 대한 인터페이스 화면을 보고, 제어 장치(150)를 이용하여 인터페이스 화면에 포함된 '예' 버튼을 선택함으로써, 통합 콘텐츠 출력 요청 신호를 입력할 수 있다.
실시 예에서, 전자 장치(100)는 사용자로부터 통합 콘텐츠 출력 요청 신호를 입력 받는 경우, 통합 콘텐츠 전송 요청 신호를 생성하고(단계 1750), 이를 서버(900)로 전송할 수 있다(단계 1760).
실시 예에서, 서버(900)는 전자 장치(100)로부터 통합 콘텐츠 전송 요청 신호를 수신하는 경우, 그에 상응하여 통합 콘텐츠를 생성할 수 있다(단계 1770). 실시 예에서, 서버(900)는 개별 콘텐츠를 병합하여 제3자 관점을 갖는 통합 콘텐츠를 생성할 수 있다.
실시 예에서, 서버(900)는 통합 콘텐츠를 전자 장치(100)로 전송할 수 있다(단계 1780).
실시 예에서, 전자 장치(100)는 서버(900)로부터 통합 콘텐츠를 수신한 것에 상응하여, 통합 콘텐츠를 출력할 수 있다(단계 1790).
일부 실시 예에 따른 전자 장치의 동작 방법 및 장치는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비 휘발성 매체, 분리형 및 비 분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비 휘발성, 분리형 및 비 분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
또한, 전술한 본 개시의 실시 예에 따른 전자 장치 및 그 동작 방법은 제1 콘텐츠 및 제2 콘텐츠를 포함하는 복수 콘텐츠를 획득하는 단계 및 상기 제1 콘텐츠를 제1 부분 화면(110)을 통해 출력하고, 상기 제2 콘텐츠를 제2 부분 화면(120)을 통해 출력하는 단계를 포함하고, 상기 출력하는 단계는 상기 제1 콘텐츠를 제어하는 제1 제어 장치(150-1) 및 상기 제2 콘텐츠를 제어하는 제2 제어 장치(150-2) 간 위치 관계를 식별하는 단계 및 상기 위치 관계에 대응하도록 상기 제1 부분 화면(110) 및 상기 제2 부분 화면(120)을 배치하여 상기 복수 콘텐츠를 출력하는 단계를 포함하는, 전자 장치의 동작 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체/저장 매체를 포함하는 컴퓨터 프로그램 제품으로 구현될 수 있다.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

Claims (15)

  1. 전자 장치(100)에 있어서,
    디스플레이(105);
    하나 이상의 인스트럭션을 저장하는 메모리(103); 및
    상기 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 하나 이상의 프로세서(101)를 포함하고,
    상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    제1 콘텐츠 및 제2 콘텐츠를 포함하는 복수 콘텐츠를 획득하고,
    상기 제1 콘텐츠를 제어하는 제1 제어 장치 및 상기 제2 콘텐츠를 제어하는 제2 제어 장치 간 위치 관계를 식별하고,
    상기 디스플레이를 통해, 상기 위치 관계에 대응하도록, 상기 제1 콘텐츠를 출력하는 제1 부분 화면 및 상기 제2 콘텐츠를 출력하는 제2 부분 화면을 배치하여 상기 복수 콘텐츠를 출력하는, 전자 장치.
  2. 제1 항에 있어서, 이미지 획득부(108)를 더 포함하고,
    상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 이미지 획득부를 통해 상기 제1 제어 장치 및 상기 제2 제어 장치를 촬영한 영상을 획득하고,
    상기 영상으로부터, 상기 제1 제어 장치가 출력하는 제1 식별 신호 및 상기 제2 제어 장치가 출력하는 제2 식별 신호를 식별하고,
    상기 제1 식별 신호 및 상기 제2 식별 신호에 기반하여, 상기 제1 제어 장치 및 상기 제2 제어 장치 간 위치 관계를 식별하는, 전자 장치.
  3. 제2 항에 있어서, 상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 제1 제어 장치로 상기 제1 식별 신호의 출력을 요청하는 제1 식별 신호 출력 요청 신호를 전송하고,
    상기 제2 제어 장치로 상기 제2 식별 신호의 출력을 요청하는 제2 식별 신호 출력 요청 신호를 전송하는, 전자 장치.
  4. 제2 항 또는 제3 항에 있어서, 상기 제1 식별 신호 및 상기 제2 식별 신호는 LED 색상 및 LED 깜빡임 시간 간격 중 적어도 하나가 서로 다른 신호인, 전자 장치.
  5. 제1 항 내지 제4 항 중 어느 한 항에 있어서, 상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 제1 제어 장치 및 상기 제2 제어 장치 간 위치 관계 변화를 식별하고,
    상기 변화된 위치 관계에 대응하도록 상기 제1 부분 화면 및 상기 제2 부분 화면을 재 배치하여 상기 복수 콘텐츠를 출력하는, 전자 장치.
  6. 제1 항 내지 제5 항 중 어느 한 항에 있어서, 상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 제1 제어 장치 및 상기 제2 제어 장치를 포함하는 복수 제어 장치의 사용 정도를 식별하고,
    상기 복수 제어 장치의 사용 정도에 따라, 상기 제1 부분 화면 및 상기 제2 부분 화면 중 적어도 하나의 크기 및 위치 중 적어도 하나를 조절하는, 전자 장치.
  7. 제6 항에 있어서, 상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 복수 제어 장치 각각으로부터 콘텐츠 제어를 위한 제어 신호가 입력되는 빈도,
    상기 복수 제어 장치 각각으로부터 수신한, 제어 장치 움직임에 대한 센싱 신호,
    콘텐츠에 포함된 아바타 및 배경 중 적어도 하나의 변화 정도, 및
    상기 복수 제어 장치를 촬영하여 획득한 영상로부터 검출된, 사용자 및 제어 장치 간 거리,
    중 적어도 하나에 기반하여 상기 복수 제어 장치의 사용 정도를 식별하는, 전자 장치.
  8. 제1 항 내지 제7 항 중 어느 한 항에 있어서, 통신부(107)를 더 포함하고,
    상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 통신부를 통해 서버로부터 상기 복수 콘텐츠를 수신하고,
    상기 서버로부터 상기 제1 콘텐츠 및 상기 제2 콘텐츠가 통합된 하나의 통합 콘텐츠를 수신하는 것에 기반하여, 상기 통합 콘텐츠를 하나의 화면을 통해 출력하는, 전자 장치.
  9. 제8 항에 있어서, 상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 서버로부터 통합 콘텐츠 전송 문의 신호를 수신하고,
    상기 통합 콘텐츠 전송 문의 신호를 수신한 것에 기반하여, 상기 디스플레이를 통해, 통합 콘텐츠 출력 여부에 대한 인터페이스 화면을 출력하고,
    상기 인터페이스 화면의 출력에 상응하여 입력된 통합 콘텐츠 출력 요청 신호에 기반하여, 상기 서버에 통합 콘텐츠 전송 요청 신호를 전송하는, 전자 장치.
  10. 전자 장치(100)로 콘텐츠를 제공하는 서버(900)에 있어서,
    통신부(905);
    하나 이상의 인스트럭션을 저장하는 메모리(903); 및
    상기 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 하나 이상의 프로세서(901)를 포함하고,
    상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 통신부를 통해, 제1 콘텐츠 및 제2 콘텐츠를 포함하는 복수 콘텐츠를 상기 전자 장치로 전송하고,
    상기 제1 콘텐츠의 가상 공간 및 상기 제2 콘텐츠의 가상 공간 사이의 거리가 임계치 이하인 것에 상응하여 통합 콘텐츠를 생성하고, 상기 통합 콘텐츠를 상기 전자 장치로 전송하는, 서버.
  11. 전자 장치의 동작 방법에 있어서,
    제1 콘텐츠 및 제2 콘텐츠를 포함하는 복수 콘텐츠를 획득하는 단계; 및
    상기 제1 콘텐츠를 제1 부분 화면을 통해 출력하고, 상기 제2 콘텐츠를 제2 부분 화면을 통해 출력하는 단계를 포함하고,
    상기 출력하는 단계는
    상기 제1 콘텐츠를 제어하는 제1 제어 장치 및 상기 제2 콘텐츠를 제어하는 제2 제어 장치 간 위치 관계를 식별하는 단계; 및
    상기 위치 관계에 대응하도록 상기 제1 부분 화면 및 상기 제2 부분 화면을 배치하여 상기 복수 콘텐츠를 출력하는 단계를 포함하는, 전자 장치의 동작 방법.
  12. 제11 항에 있어서, 상기 위치 관계를 식별하는 단계는
    상기 제1 제어 장치 및 상기 제2 제어 장치를 촬영하여 획득한 영상으로부터, 상기 제1 제어 장치가 출력하는 제1 식별 신호 및 상기 제2 제어 장치가 출력하는 제2 식별 신호를 식별하는 단계; 및
    상기 제1 식별 신호 및 상기 제2 식별 신호에 기반하여, 상기 제1 제어 장치 및 상기 제2 제어 장치 간 위치 관계를 식별하는 단계를 포함하는, 전자 장치의 동작 방법.
  13. 제12 항에 있어서, 상기 제1 제어 장치로 상기 제1 식별 신호의 출력을 요청하는 제1 식별 신호 출력 요청 신호를 전송하는 단계; 및
    상기 제2 제어 장치로 상기 제2 식별 신호의 출력을 요청하는 제2 식별 신호 출력 요청 신호를 전송하는 단계를 더 포함하는, 전자 장치의 동작 방법.
  14. 제12 항 또는 제13 항에 있어서, 상기 제1 식별 신호 및 상기 제2 식별 신호는 LED 색상 및 LED 깜빡임 시간 간격 중 적어도 하나가 서로 다른 신호인, 전자 장치의 동작 방법.
  15. 제11 항 내지 제14 항 중 어느 한 항에 있어서, 상기 제1 제어 장치 및 상기 제2 제어 장치 간 위치 관계 변화를 식별하는 단계; 및
    상기 변화된 위치 관계에 대응하도록 상기 제1 부분 화면 및 상기 제2 부분 화면을 재 배치하여 상기 복수 콘텐츠를 출력하는 단계를 더 포함하는, 전자 장치의 동작 방법.
PCT/KR2023/010598 2022-10-18 2023-07-21 전자 장치 및 그 동작 방법 WO2024085368A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0134469 2022-10-18
KR20220134469 2022-10-18
KR1020230009258A KR20240054138A (ko) 2022-10-18 2023-01-25 전자 장치 및 그 동작 방법
KR10-2023-0009258 2023-01-25

Publications (1)

Publication Number Publication Date
WO2024085368A1 true WO2024085368A1 (ko) 2024-04-25

Family

ID=90737646

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/010598 WO2024085368A1 (ko) 2022-10-18 2023-07-21 전자 장치 및 그 동작 방법

Country Status (1)

Country Link
WO (1) WO2024085368A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012507068A (ja) * 2008-10-27 2012-03-22 株式会社ソニー・コンピュータエンタテインメント 視覚情報を通信するためのコントロールデバイス
JP2012161348A (ja) * 2011-02-03 2012-08-30 Nintendo Co Ltd ゲームシステム、ゲーム装置、ゲームプログラム、およびゲーム処理方法
KR20130074034A (ko) * 2011-12-26 2013-07-04 엘지전자 주식회사 전자기기 및 그 제어방법
KR20150024385A (ko) * 2012-06-04 2015-03-06 소니 컴퓨터 엔터테인먼트 인코포레이티드 다중-이미지 대화형 게임 디바이스
JP2017148100A (ja) * 2016-02-22 2017-08-31 任天堂株式会社 情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012507068A (ja) * 2008-10-27 2012-03-22 株式会社ソニー・コンピュータエンタテインメント 視覚情報を通信するためのコントロールデバイス
JP2012161348A (ja) * 2011-02-03 2012-08-30 Nintendo Co Ltd ゲームシステム、ゲーム装置、ゲームプログラム、およびゲーム処理方法
KR20130074034A (ko) * 2011-12-26 2013-07-04 엘지전자 주식회사 전자기기 및 그 제어방법
KR20150024385A (ko) * 2012-06-04 2015-03-06 소니 컴퓨터 엔터테인먼트 인코포레이티드 다중-이미지 대화형 게임 디바이스
JP2017148100A (ja) * 2016-02-22 2017-08-31 任天堂株式会社 情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム

Similar Documents

Publication Publication Date Title
WO2017003007A1 (ko) 영상표시장치 및 이동 단말기
WO2016017945A1 (en) Mobile device and method of pairing the same with electronic device
WO2017039223A1 (en) Display apparatus and control method thereof
WO2021101260A1 (en) Display device, mobile device, and screen mirroring method of display device
WO2016104952A1 (en) Display apparatus and display method
WO2016144044A1 (en) Remote controller and method for controlling screen of display apparatus
WO2013154319A1 (en) Management server and method for controlling device, user terminal apparatus and method for controlling device, and user terminal apparatus and control method thereof
WO2016093510A1 (en) Display apparatus and display method
WO2017111321A1 (ko) 영상표시장치
WO2016171403A1 (en) Electronic device and method
WO2016076570A1 (en) Display apparatus and display method
WO2016035984A1 (en) Electronic device and method for operating the same
WO2017146438A1 (en) Display apparatus and method of setting operating channel of the same
WO2018088667A1 (en) Display device
WO2018190517A1 (en) Electronic apparatus and method for displaying contents thereof
WO2019125036A1 (en) Image processing method and display apparatus therefor
WO2018048098A1 (en) Portable camera and controlling method therefor
WO2022050785A1 (ko) 디스플레이 기기 및 그의 동작 방법
WO2020017936A1 (ko) 전자 장치 및 이미지의 전송 상태에 기반하여 이미지를 보정하는 방법
WO2017119571A1 (ko) 디지털 디바이스 및 그를 이용한 컬러 제어 시스템 및 방법
WO2021137629A1 (en) Display device, mobile device, video calling method performed by the display device, and video calling method performed by the mobile device
WO2021137630A1 (en) Display apparatus and method of controlling the same
WO2021070976A1 (ko) 소스 기기 및 무선 시스템
WO2020045858A1 (en) Electronic apparatus and method of controlling the same
WO2016125966A1 (ko) 영상 투사 장치 및 그의 동작 방법