WO2024039053A1 - 복수의 기기로 프레임을 전송하는 전자 장치 및 이의 제어 방법 - Google Patents

복수의 기기로 프레임을 전송하는 전자 장치 및 이의 제어 방법 Download PDF

Info

Publication number
WO2024039053A1
WO2024039053A1 PCT/KR2023/009043 KR2023009043W WO2024039053A1 WO 2024039053 A1 WO2024039053 A1 WO 2024039053A1 KR 2023009043 W KR2023009043 W KR 2023009043W WO 2024039053 A1 WO2024039053 A1 WO 2024039053A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
information
game
user
received
Prior art date
Application number
PCT/KR2023/009043
Other languages
English (en)
French (fr)
Inventor
손지형
사후왈라안쿠르
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220110213A external-priority patent/KR20240025418A/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of WO2024039053A1 publication Critical patent/WO2024039053A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/822—Strategy games; Role-playing games
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/837—Shooting of targets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering

Definitions

  • the present disclosure relates to an electronic device that transmits a frame to a plurality of devices and a control method thereof, and more specifically, to an electronic device that transmits a frame generated based on data received from each of a plurality of devices and a control method thereof. will be.
  • Cloud games which are mainly used for real-time rendering services, allow users to play games with other users in real time.
  • Most cloud games refer to games in which a server that receives user input completes calculation processing and then streams data about the game screen corresponding to the user input in real time to the user device.
  • Cloud games may include online games in which multiple players participate in a three-dimensional virtual space, such as first-person perspective multiplayer FPS (First Person Shooting) games and MMORPG games (Massive Multiplayer online role-playing games). You can.
  • An electronic device includes a communication interface, a memory storing background environment data corresponding to each of at least one game, first identification information received from the first device, and If the first device and the second device belong to the same group based on the second identification information received from the second device, the first device corresponding to the first identification information and the second identification information among the stored background data It may include one or more processors (hereinafter referred to as processors) that acquire background data.
  • the processor sends a first output frame corresponding to the first device, obtained from the first background data based on the first location information and first viewpoint information in the background received from the first device, to the first device. It can be sent to .
  • the processor sends a second output frame corresponding to the second device, obtained from the first background data based on the second location information and second viewpoint information in the background received from the second device, to the second device. It can be sent to .
  • the one or more processors update the first output frame based on first input information received from the first device, and update the second output frame based on second input information received from the second device. may be updated, and the updated first output frame may be transmitted to the first device and the updated second output frame may be transmitted to the second device through the communication interface.
  • the one or more processors compare pixel data corresponding to the first output frame and pixel data updated based on the first input information for each pixel to generate a first primary including pixels with the same pixel value. ) Rendering first secondary frames including pixels with different frame and pixel values, respectively, and comparing pixel data corresponding to the second output frame and pixel data updated based on the second input information for each pixel.
  • a second primary frame including pixels with the same pixel value and a second secondary frame including pixels with different pixel values can be rendered, respectively.
  • first primary frame and the second primary frame are rendered based on the first background data
  • first secondary frame and the second secondary frame are based on the first input information and the second input. Can be rendered based on information.
  • the one or more processors may transmit each of the first primary frame and the first secondary frame to the first device, and transmit each of the second primary frame and the second secondary frame to the second device. You can.
  • the one or more processors transmit the updated first output frame obtained based on the first primary frame and the first secondary frame to the first device, and transmit the updated first output frame to the first device, and 2
  • the updated second output frame obtained based on the secondary frame may be transmitted to the second device.
  • the one or more processors with respect to the first group and the second group identified according to whether the games of the plurality of devices belong to the same group, each of the first group and the second group among the stored background data.
  • a main processor for identifying corresponding background data a first subprocessor for rendering output frames corresponding to a plurality of devices belonging to the first group based on background data corresponding to the first group, and corresponding to the second group. It may include a second subprocessor that renders output frames corresponding to a plurality of devices belonging to the second group based on the background data.
  • the one or more processors if the connection to the same server of the first device and the second device is identified based on the first identification information and the second identification information, the first device and the second device are connected to the same server. It can be identified as belonging to a group.
  • the at least one game may be a multiplayer cloud game that shares the same game environment.
  • the method includes receiving identification information of a game being played, location information in the background provided by the game, and viewpoint information from a first device and a second device, respectively. May include steps.
  • the control method includes, if the first device and the second device belong to the same group based on the first identification information of the game received from the first device and the second identification information of the game received from the second device, It may include obtaining first background data corresponding to the first identification information and the second identification information among background data corresponding to each of at least one game stored in the memory.
  • the control method includes sending a first output frame corresponding to the first device, obtained from the first background data based on first location information and first viewpoint information in the background received from the first device, to the first device.
  • the control method includes sending a second output frame corresponding to the second device, obtained from the first background data based on second location information and second viewpoint information in the background received from the second device, to the second device. It may include transmitting to a device.
  • control method updates the first output frame based on first input information received from the first device, and updates the second output frame based on second input information received from the second device. It may further include an updating step, and the transmitting step may include transmitting the updated first output frame to the first device and transmitting the updated second output frame to the second device.
  • control method compares pixel data corresponding to the first output frame and pixel data updated based on the first input information for each pixel to determine a first primary including pixels with the same pixel value.
  • Each of the first secondary frames including pixels with different frame and pixel values is rendered, and pixel data corresponding to the second output frame and pixel data updated based on the second input information are compared for each pixel.
  • a second primary frame including pixels with the same pixel value and a second secondary frame including pixels with different pixel values may be rendered, respectively.
  • first primary frame and the second primary frame are rendered based on the first background data
  • first secondary frame and the second secondary frame are based on the first input information and the second input. Can be rendered based on information.
  • the transmitting step may include transmitting each of the first primary frame and the first secondary frame to the first device and transmitting each of the second primary frame and the second secondary frame to the second device. there is.
  • the transmitting step includes transmitting the updated first output frame obtained based on the first primary frame and the first secondary frame to the first device, and transmitting the updated first output frame to the first device, and transmitting the updated first output frame obtained based on the first primary frame and the first secondary frame to the first device.
  • the updated second output frame obtained based on the secondary frame may be transmitted to the second device.
  • control method includes, for the first group and the second group identified based on whether games running on a plurality of devices belong to the same group, the first group and the second group among the background data stored in the memory. Identifying background data corresponding to each group, rendering output frames corresponding to a plurality of devices belonging to the first group based on the background data corresponding to the first group, and It may include rendering output frames corresponding to a plurality of devices belonging to the second group based on background data.
  • the step of identifying whether the group belongs to the same group includes, when access to the same server of the first device and the second device is identified based on the first identification information and the second identification information, the first device And the second device may be identified as belonging to the same group.
  • the at least one game may be a multiplayer cloud game that shares the same game environment.
  • the operation is performed by a first device and a second device. 2 It may include receiving identification information of the game running from the device, location information in the background environment provided by the game, and viewpoint information, respectively. The operation is performed when the first device and the second device belong to the same group based on the first identification information of the game received from the first device and the second identification information of the game received from the second device. It may include obtaining first background data corresponding to the first identification information and the second identification information among background data corresponding to each of at least one game stored in the memory.
  • the operation is to send a first output frame corresponding to the first device, obtained from the first background data based on first location information and first viewpoint information in the background received from the first device, to the first device. It may include transmitting to a device.
  • the operation is to send a second output frame corresponding to the second device, obtained from the first background data based on the second location information and second viewpoint information in the background received from the second device, to the second device. It may include transmitting to a device.
  • FIG. 1 is a diagram schematically illustrating a control method of an electronic device according to an embodiment.
  • Figure 2 is a block diagram showing the configuration of an electronic device according to an embodiment.
  • Figure 3 is a flowchart explaining a control method of an electronic device according to an embodiment.
  • FIG. 4 is a diagram illustrating a method of identifying a plurality of user devices as the same playing group, according to an embodiment.
  • FIGS. 5A and 5B are diagrams for explaining a method of rendering an output frame based on background environment data according to an embodiment.
  • Figure 6 is a diagram for explaining a method of updating an output frame according to an embodiment.
  • Figure 7 is a diagram for explaining a method of rendering an output frame according to an embodiment.
  • FIGS. 8A and 8B are diagrams for explaining a method of transmitting a frame to a user device according to an embodiment.
  • Figure 9 is a block diagram showing the detailed configuration of an electronic device according to an embodiment.
  • expressions such as “have,” “may have,” “includes,” or “may include” refer to the presence of the corresponding feature (e.g., a numerical value, function, operation, or component such as a part). , and does not rule out the existence of additional features.
  • a or/and B should be understood as referring to either “A” or “B” or “A and B”.
  • expressions such as “first,” “second,” “first,” or “second,” can modify various components regardless of order and/or importance, and can refer to one component. It is only used to distinguish from other components and does not limit the components.
  • a component e.g., a first component
  • another component e.g., a second component
  • connection to it should be understood that a certain component can be connected directly to another component or connected through another component (e.g., a third component).
  • a “module” or “unit” performs at least one function or operation, and may be implemented as hardware or software, or as a combination of hardware and software. Additionally, a plurality of “modules” or a plurality of “units” are integrated into at least one module and implemented by at least one processor (not shown), except for “modules” or “units” that need to be implemented with specific hardware. It can be.
  • FIG. 1 is a diagram schematically illustrating a control method of an electronic device according to an embodiment.
  • a plurality of user input information received from a plurality of user devices 21, 22,..., 23 belonging to the same playing group (or the same group)
  • the electronic device 10 which has received the information and user command information, based on the user input information received from the game space where the above-described playing group plays (e.g., a virtual space on the game where the game is played) and the user device
  • the game screen can be rendered and the rendered game screen can be provided to the user device.
  • a user device inputs a signal for the user to play a game, such as a smartphone, tablet personal computer, wearable device, and game console, and inputs the input signal. It can be implemented with various types of electronic devices that can display game screens corresponding to signals.
  • the GPU Graphics Processing Unit included in the electronic device 10 can render only one game screen at a time, making it difficult to render the game screen to multiple users simultaneously. To do this, rendering must be performed on servers (11, 12,...,13) corresponding to each of a plurality of users.
  • each of the servers 11, 12,..., 13 corresponding to the user device renders the background screen, respectively. It will be performed. In other words, a problem arises in that an additional rendering process proportional to the number of each user device is required to provide the same background screen.
  • rendering of the background screen is performed using data on the background environment and user attribute information received from the user device to prevent repetitive rendering of overlapping screens. do.
  • Figure 2 is a block diagram showing the configuration of an electronic device according to an embodiment.
  • the electronic device 100 may include a communication interface 110, a memory 120, and a processor 130.
  • the electronic device 100 may be implemented as various types of devices capable of providing content, such as a server, for example, a content provision server, or a PC.
  • the electronic device 100 may be the system itself in which the cloud computing environment is built.
  • the electronic device 100 may be implemented as various types of servers, such as a cloud server or an embedded server.
  • the electronic device 100 may be implemented with a plurality of servers.
  • the present invention is not limited to this, and according to one embodiment, the electronic device 100 may be implemented as a user device. Accordingly, it is possible to transmit and receive data by performing communication between user devices without performing communication through a separate server. However, for convenience of explanation, the following description will be limited to an example in which the electronic device 100 is implemented as a server.
  • the communication interface 110 receives various types of content as input.
  • the communication interface 110 includes AP-based Wi-Fi (Wireless LAN network), Bluetooth, Zigbee, wired/wireless LAN (Local Area Network), WAN (Wide Area Network), and Ethernet ( Ethernet), IEEE 1394, HDMI (High-Definition Multimedia Interface), USB (Universal Serial Bus), MHL (Mobile High-Definition Link), AES/EBU (Audio Engineering Society/ European Broadcasting Union), Optical, Streaming or downloading signals from external devices (e.g., source devices), external storage media (e.g., USB memory), external servers (e.g., web hard drives), etc. through communication methods such as Coaxial. You can receive input.
  • external devices e.g., source devices
  • external storage media e.g., USB memory
  • external servers e.g., web hard drives
  • the communication interface 110 may use the same communication module (eg, Wi-Fi) to communicate with an external device such as a remote control device and an external server.
  • an external device such as a remote control device and an external server.
  • communication interface 110 may use different communication modules to communicate with external servers and external devices, such as remote control devices.
  • the communication interface 110 may use at least one of an Ethernet module or Wi-Fi to communicate with an external server, and may use a Bluetooth module to communicate with an external device such as a remote control device.
  • this is only an example, and the communication interface 110 may use at least one communication module among various communication modules when communicating with a plurality of external devices or external servers.
  • the memory 120 may store data necessary for various embodiments.
  • the memory 120 may be implemented as a memory embedded in the electronic device 100 or as a memory detachable from the electronic device 100 depending on the data storage purpose. For example, in the case of data for driving the electronic device 100, it is stored in the memory embedded in the electronic device 100, and in the case of data for the expansion function of the electronic device 100, it is detachable from the electronic device 100. It can be stored in available memory.
  • volatile memory e.g., dynamic RAM (DRAM), static RAM (SRAM), or synchronous dynamic RAM (SDRAM), etc.
  • non-volatile memory Examples: one time programmable ROM (OTPROM), programmable ROM (PROM), erasable and programmable ROM (EPROM), electrically erasable and programmable ROM (EEPROM), mask ROM, flash ROM, flash memory (e.g. NAND flash or NOR flash, etc.) ), a hard drive, or a solid state drive (SSD).
  • OTPROM one time programmable ROM
  • PROM programmable ROM
  • EPROM erasable and programmable ROM
  • EEPROM electrically erasable and programmable ROM
  • mask ROM mask ROM
  • flash ROM e.g. NAND flash or NOR flash, etc.
  • hard drive e.g. NAND flash or NOR flash, etc.
  • SSD solid state drive
  • a memory card for example, a compact flash (CF) ), SD (secure digital), Micro-SD (micro secure digital), Mini-SD (mini secure digital), xD (extreme digital), MMC (multi-media card), etc.
  • SD secure digital
  • Micro-SD micro secure digital
  • Mini-SD mini secure digital
  • xD extreme digital
  • MMC multi-media card
  • background environment data (or background data) corresponding to each of at least one game may be stored in the memory 120.
  • background environment data corresponding to each of at least one map within at least one game may be stored in the memory 120.
  • the background environment data is image data for the background screen of the game the user is playing or the virtual space in which the user is playing.
  • the background environment data may be 3D (Dimension) image data.
  • the background environment data may include image data for the entire map of the game the user is playing. Meanwhile, background environmental data will be described in detail through FIGS. 5A and 5B.
  • processors 130 are electrically connected to the communication interface 110 and control the overall operation of the electronic device 100.
  • the processor 130 may be comprised of one or multiple processors. Specifically, the processor 130 may perform the operation of the electronic device 100 according to various embodiments of the present disclosure by executing at least one instruction stored in the memory 120.
  • the processor 130 includes a digital signal processor (DSP), a microprocessor, a graphics processing unit (GPU), an artificial intelligence (AI) processor, and a neural processor (NPU) that process digital image signals.
  • DSP digital signal processor
  • GPU graphics processing unit
  • AI artificial intelligence
  • NPU neural processor
  • Processing Unit TCON (Time controller).
  • CPU central processing unit
  • MCU Micro Controller Unit
  • MPU micro processing unit
  • controller It may include one or more of a (controller), an application processor (AP), a communication processor (CP), or an ARM processor, or may be defined by the corresponding term.
  • the processor 140 may be implemented as a System on Chip (SoC) with a built-in processing algorithm, large scale integration (LSI), or in the form of an application specific integrated circuit (ASIC) or a Field Programmable Gate Array (FPGA).
  • SoC System on Chip
  • LSI large scale integration
  • ASIC application specific integrated circuit
  • FPGA Field Programmable Gate Array
  • the processor 130 may be implemented as a digital signal processor (DSP), a microprocessor, or a time controller (TCON).
  • DSP digital signal processor
  • MCU micro controller unit
  • MPU micro processing unit
  • AP application processor
  • CP communication processor
  • ARM processor ARM processor It may include one or more of the following, or may be defined by the corresponding term.
  • the processor 130 may be implemented as a System on Chip (SoC) with a built-in processing algorithm, a large scale integration (LSI), or an FPGA (FPGA). It can also be implemented in the form of a Field Programmable gate array.
  • SoC System on Chip
  • LSI large scale integration
  • FPGA field Programmable gate array
  • the processor 130 may receive user attribute information from the user device through the communication interface 110.
  • the user attribute information is information about at least one of the form, location, viewpoint, state, or movement of the character corresponding to the user (or player), for example, identification information of the game running on the user device, provided by the game. It may include at least one of information about the user's location within the background environment or information about the user's viewpoint. However, it is not limited to this, and of course, user command information may also be included.
  • At least one game may be a multiplayer cloud game sharing the same game environment.
  • the game is a three-dimensional (3D) game in which multiple players participate in a three-dimensional virtual space, such as a first-person perspective multiplayer FPS (First Person Shooting) game or MMORPG (Massive Multiplayer online role-playing game). 3 Dimension) It could be a game.
  • the identification information of the user's game may include the type of game running (or being run) on the user device, information about the type of map within the game being executed, or the IP address of the server to which the user device will be assigned. (Internet Protocol address) may include at least one piece of information. For example, when multiple user devices running the same game (or the same map within the same game) have the same IP address of the server to be assigned, the processor 130 identifies each game received from the multiple user devices. Depending on the information, multiple user devices can be identified as playing the same game.
  • information about the user's location within the background environment provided in the game is information about the relative position of the character corresponding to the user within the background environment
  • information about the user's viewpoint (view-point) is information about the user's line of sight within the background environment. This is information about angles.
  • the processor 130 receives identification information of a game running through the first user device from a first user device among a plurality of user devices that communicate with the electronic device 100, such as a server, and the first user device. Location information in the background environment of the corresponding user (or character in the game corresponding to the user) and viewpoint information of the first user may be received, respectively. According to one example, the processor 130 generates identification information of a game running from the second user device through the second user device, location information in the background environment of the user corresponding to the second user device, and viewpoint information of the second user. can be received respectively.
  • the processor 130 may identify whether the first user device and the second user device belong to the same playing group.
  • the same playing group may be, for example, a group in which interaction exists between a plurality of users playing the same game or the same map within the same game.
  • the same playing group may be a group with the same assigned server IP address.
  • the processor 130 determines the server to which the first user device will be assigned based on the first identification information of the game received from the first user device and the second identification information of the game received from the second user device. If the IP address information and the IP address information of the server to which the second user device will be allocated are the same, the first user device and the second user device can be identified as the same playing group.
  • the processor 130 determines that the IP address information of the server to which the first user device and the second user device will be assigned are the same, and the type of map that the first user device and the second user device are running is the same. Once identified, the first user device and the second user device may be identified as the same playing group. However, it is not limited to this, and if the type of map being executed by the first user device and the second user device is the same, and the first user device and the second user device are identified as being in communication, the first and second user devices are connected to each other. Of course, they can be identified as the same playing group.
  • the processor 130 may identify background environment data corresponding to a plurality of user devices belonging to the same playing group. According to one example, when the first user device and the second user device are identified as belonging to the same playing group, the processor 130 corresponds to the first identification information and the second identification information among the background environment data stored in the memory 120. The first background environmental data may be identified.
  • the processor 130 may identify first background environment data corresponding to the game that the first user device and the second user device are playing based on the first identification information and the second identification information.
  • the processor 130 may identify first background environment data corresponding to a specific map in the game that the first user device and the second user device are playing based on the first identification information and the second identification information. there is.
  • the processor 130 may render an output frame based on user location information and viewpoint information received from the user device.
  • the processor 130 selects the first user from the first background environment data based on the first location information in the background environment and the first viewpoint information of the user received from the first user device through the communication interface 110. Rendering a first output frame corresponding to the device, and rendering a first output frame corresponding to the second user device from the first background environment data based on the second location information in the background environment received from the second user device and the second viewpoint information of the user. 2 Output frames can be rendered.
  • rendering the output frame means rendering the output frame based on pixel data for the output frame obtained based on background environment data. This will be explained in detail through FIGS. 3 and 5 to 7.
  • the processor 130 may transmit the rendered output frame to the user device through the communication interface 110. According to one example, processor 130 may transmit a first output frame to a first user device and transmit a second output frame to a second user device.
  • Figure 3 is a flowchart explaining a control method of an electronic device according to an embodiment.
  • control method may receive identification information of the game being played, location information in the background environment, and user viewpoint information from the first user device and the second user device (S310).
  • the processor 130 may, through the communication interface 110, provide information about the type of game the first user device is running, map information within the game being played, or IP address information about the server to which the first user device will be assigned. You can receive at least one.
  • the processor 130 may receive location information in the background environment of the first user corresponding to the first user device and information on the user's viewpoint.
  • the processor 130 provides at least one of game type information of the second user device, map information in the game being executed, or IP address information for the server to which the first user device will be assigned through the communication interface 110. You can receive it.
  • the processor 130 may receive location information in the background environment of the second user and viewpoint information of the second user.
  • the control method may identify whether the first user device and the second user device belong to the same playing group (S320).
  • the processor 130 may identify whether the running game (or map) is the same based on identification information (game type information and in-game map information) of the first user device and the second user device. there is.
  • the processor 130 determines that the first and second user devices belong to the same playing group. It can also be identified.
  • the processor 130 connects a plurality of user devices identified as belonging to the same playing group to one server included in the electronic device 100. Can be assigned. For example, when a first server is assigned among a plurality of servers included in the electronic device 100, the processor 130 included in the first server is identified as belonging to the same playing group through the communication interface 110. Output frames can be transmitted to multiple user devices.
  • the first processor included in the first server among the plurality of servers determines whether the first user device and the second user device belong to the same playing group.
  • the second processor included in the second server among the plurality of servers may render an output frame to be transmitted to each user device.
  • the control method may be performed when the first user device and the second user device are identified as belonging to the same playing group (Y), and the first user device and the second user device are identified as belonging to the same playing group (Y).
  • 1 Background environmental data can be identified (S330).
  • the processor 130 may process the identification information received from the first user device and the second user device through the communication interface 110. Based on this, type information of the game played by the first and second user devices can be identified, and background environment data corresponding to the identified game type information can be identified based on the information stored in the memory 120.
  • the processor 130 may select a map within a game that the first and second user devices are playing based on identification information received from the first user device and the second user device through the communication interface 110.
  • Type information can be identified, and background environment data corresponding to the type information of the identified map can be identified based on the information stored in the memory 120.
  • control method may render a first output frame from first background environment data based on first location information in the background environment and first viewpoint information of the user (S340).
  • the processor 130 corresponds to a first location in the background environment (background environment corresponding to the first background environment data) of the first user (or a character in the game environment corresponding to the first user). coordinate information can be obtained.
  • the processor 130 may determine a pixel corresponding to a position within a threshold range (or threshold pixel range) from the first position in the background environment among the first background environment data based on the obtained coordinate information. Background environmental data can be identified.
  • the processor 130 may update background environment data corresponding to the identified pixel range based on the first user's viewpoint information and identify the updated background environment data.
  • the processor 130 identifies the critical pixel range by considering the location information and viewpoint information in the background environment of the first user, and background environment data for the pixel corresponding to the position within the identified critical pixel range. can also be identified.
  • the processor 130 identifies updated background environment data for pixels corresponding to positions within the identified pixel range as pixel data corresponding to the first output frame, and based on this, generates the first output frame. can be rendered.
  • control method may render a second output frame from the first background environment data based on the second location information in the background environment and the user's second viewpoint information (S350).
  • processor 130 corresponds to a second location in the background environment (background environment corresponding to the first background environment data) of the second user (or a character in the game environment corresponding to the second user). coordinate information can be obtained.
  • the processor 130 may determine a pixel corresponding to a position within a threshold range (or threshold pixel range) from a second position in the background environment among the first background environment data based on the obtained coordinate information. Background environmental data can be identified. Subsequently, the processor 130 may update background environment data corresponding to the identified pixel range based on the second user's viewpoint information and identify the updated background environment data. However, it is not limited to this, and the processor 130 identifies the critical pixel range by considering the location information and viewpoint information in the background environment of the second user, and provides background environment data for the pixel corresponding to the location within the identified pixel range. It can also be identified.
  • the processor 130 identifies updated background environment data for a pixel corresponding to a position within the identified pixel range as pixel data corresponding to the second output frame, and based on this, generates the second output frame. can be rendered.
  • control method may transmit the first output frame to the first user device and the second output frame to the second user device (S360).
  • the processor 130 may transmit the rendered first and second output frames to each of the first user device and the second user device through the communication interface 110.
  • the electronic device 100 may perform rendering based on background environment data and user attribute information for the game (or a specific map within the game). Accordingly, the rendering cost decreases and the GPU cost also decreases.
  • FIG. 4 is a diagram illustrating a method of identifying a plurality of user devices as the same playing group, according to an embodiment.
  • the processor 130 based on the first identification information of the game received from the first user device 410 and the second identification information of the game received from the second user device 420. Thus, it can be identified whether the first user device 410 and the second user device 420 belong to the same playing group.
  • the processor 130 may use the IP address information for the server to which the first user device 410 is assigned received from the first user device 410 and the second user device received from the second user device 420. It is possible to identify whether the IP address information for the server to which the device 420 is assigned is the same.
  • the processor 130 determines whether the first user device 410 and the second user device 420 are connected to the same server 400 based on the received first and second identification information. If identified, the first user device 410 and the second user device 420 may be identified as belonging to the same playing group. Or, according to one example, the processor 130 may use the IP address information for the server to which the first user device 410 received from the first user device 410 and the IP address information received from the second user device 420 If the IP address information for the server to which the two user devices 420 are assigned is identified as being the same, the first user device 410 and the second user device 420 may be identified as belonging to the same playing group.
  • FIGS. 5A and 5B are diagrams for explaining a method of rendering an output frame based on background environment data according to an embodiment.
  • the processor 130 may obtain background environment data corresponding to each of at least one game based on information stored in the memory 120.
  • the background environment data is image data for a common background screen of a game played by the user, and according to one example, the background environment data may be 3D (Dimension) image data.
  • the background environment data may include image data for the entire map 510 of the game the user is playing.
  • the background environment data may be image data for the entire specific map 510 that the user is playing.
  • the processor 130 when the game the user is running (or a specific map within the game being played) is identified based on the identification information received from the user device, the processor 130 responds to the identified game (or map).
  • Background environment data can be identified, and an output frame 520 corresponding to the user device can be rendered from the background environment data based on the user's viewpoint information and location information in the background environment received from the user device.
  • the processor 130 when the processor 130 identifies the first user as running the game based on the first identification information received from the first user device, the processor 130 determines the first user based on the information stored in the memory 120. Background environment data 510 for a running game can be obtained. Thereafter, according to one example, the processor 130 generates a first output frame 520 based on the first location information and first viewpoint information of the first user received from the first user device through the communication interface 110. Can be rendered.
  • the processor 130 obtains relative coordinate information of the user in the game based on the first location information of the first user obtained from the first user device, , Based on the obtained coordinate information, background environment data 511 corresponding to a pixel corresponding to a position within a threshold range (or threshold pixel range) from the first position in the background environment can be identified among the first background environment data. . Afterwards, the processor 130 updates some of the background environment data 511 based on the obtained viewpoint information of the first user, renders some of the updated background environment data, and obtains a first output frame 520. can do.
  • the processor 130 when the processor 130 identifies the second user as running the same game as the first user based on the second identification information received from the second user device, the processor 130 stores the information stored in the memory 120. Based on this, the first background environment data 510 for the game being played by the second user may be obtained. Thereafter, according to one example, the processor 130 may render a second output frame based on the second location information and the second viewpoint information of the second user received from the second user device through the communication interface 110. there is. In this case, the processor 130 may obtain the second output frame in the same manner as the method of obtaining the first output frame.
  • the processor 130 can render frames to be transmitted to the first and second user devices using data about the background environment of the game being played. Accordingly, the rendering cost is reduced compared to the case where multiple processors each render a frame.
  • Figure 6 is a diagram for explaining a method of updating an output frame according to an embodiment.
  • the processor 130 may update the output frame based on user attribute information received from the user device.
  • updating the output frame means that pixel data corresponding to the obtained output frame is updated based on user attribute information, and the output frame is updated based on the updated pixel data.
  • user attribute information is information about at least one of the form, location, viewpoint, status, or movement of a character corresponding to a user (or player), for example, identification information of a game running on the user device, provided by the game. It may include at least one of information about the user's location within the background environment or information about the user's viewpoint. However, it is not limited to this, and of course, user command information may also be included.
  • the processor 130 updates the first output frame based on first user command information (or first input information) received from the first user device and the second output frame received from the second user device.
  • the second output frame may be updated based on user command information (or second input information).
  • user command information is information about user input for manipulating at least one of the movement, state, position, or shape of a character corresponding to the user.
  • it may include user input information input while the user is playing the game.
  • the processor 130 may update the first output frame based on user input information received from the first user device, for example, character skill information corresponding to the first user.
  • the processor 130 may obtain an updated output frame by updating pixel data corresponding to the output frame based on user input information or user command information and obtaining an output frame corresponding to the updated pixel data. there is.
  • the processor 130 may transmit the updated output frame 620 to the user device through the communication interface 110. According to one example, the processor 130 may transmit the updated first output frame to the first user device and the updated second output frame to the second user device, respectively.
  • the processor 130 compares the pixel data values of the output frame and the updated output frame to render a frame containing pixels with the same pixel value and a frame containing pixels with different pixel values, respectively. You can. This will be explained in detail with reference to Figure 7.
  • Figure 7 is a diagram for explaining a method of rendering an output frame according to an embodiment.
  • the processor 130 may render an output frame based on pixel data corresponding to the obtained output frame.
  • the processor 130 compares the pixel data corresponding to the first output frame and the pixel data updated based on the first user command information for each pixel to create a first primary (including pixels with the same pixel value).
  • a primary frame 710 and a first secondary frame 720 including pixels with different pixel values may be respectively rendered.
  • the processor 130 writes the first primary frame 710 and the first secondary frame 720 to the memory 120 at different frequencies, and reads the first frame 710 and the first secondary frame 720 at the same frequency.
  • a primary frame 710 and a first secondary frame 720 may be rendered. Even when using a low-performance GPU, high-resolution image frames can be output.
  • the processor 130 combines the rendered first primary frame 720 and the first secondary frame 720 to obtain a first output frame 730, and sends it to the communication interface 110. It can be transmitted to the first user device through .
  • the processor 130 may combine the first primary frame 710 and the first secondary frame 720 using alpha blending.
  • the processor 130 may obtain the first output frame 730 based on the alpha blending image (or alpha map) corresponding to the first primary frame 710 and the first secondary frame 720. there is.
  • the alpha value of the first pixel position of the first primary frame 710 is set to 255
  • the alpha value of the second pixel position of the first secondary frame 720 is set to 0 to create the first primary frame 710.
  • Images included in the frame 710 and the first secondary frame 720 may be mixed.
  • the processor 130 may perform the 1 Images included in the primary frame 710 and the first secondary frame 720 can be mixed.
  • the processor 130 transmits the rendered first primary frame 720 and the first secondary frame 720 to the first user device, respectively, and the first user device combines them to produce a first output. You can also acquire frames. This will be explained in detail through FIGS. 8A and 8B.
  • the processor 130 compares the pixel data corresponding to the second output frame and the updated pixel data based on the second user command information for each pixel to determine a second primary including pixels with the same pixel value.
  • Second secondary frames including pixels with different frame and pixel values may be respectively rendered.
  • the processor 130 may combine the rendered second primary frame and the second secondary frame to obtain a second output frame and transmit it to the second user device through the communication interface 110. there is.
  • the processor 130 may transmit the rendered second primary frame and the second secondary frame respectively to the second user device, and the second user device may combine them to obtain a second output frame. . This will be explained in detail through FIGS. 8A and 8B.
  • the first primary frame and the second primary frame may be respectively rendered based on the first background environment data.
  • the first secondary frame and the second secondary frame may be rendered based on first user command information and second user command information, respectively.
  • the primary frame corresponding to a pixel with the same pixel value among the output frame and the updated output frame is a pixel whose pixel value does not change and is generally a part that includes an image of the background environment. Accordingly, the processor 130 can obtain a pixel value corresponding to the primary frame based on the acquired background environment data, thereby enabling efficient rendering.
  • the secondary frame is a frame corresponding to a pixel whose frame is changed based on a user input or user command. Since the processor 130 only needs to render a relatively small range of pixels compared to the primary frame, efficient rendering is possible. This becomes possible.
  • FIGS. 8A and 8B are diagrams for explaining a method of transmitting a frame to a user device according to an embodiment.
  • the control method may compare pixel data corresponding to the first output frame and pixel data updated based on the first user command information for each pixel (S810). Subsequently, according to an embodiment, the control method acquires information about a first primary frame including pixels with the same pixel value and a first secondary frame with different pixel values, and determines the first primary frame based on the obtained information.
  • the frame and the first secondary frame can each be rendered (S820).
  • the control method may compare pixel data corresponding to the second output frame and pixel data updated based on the second user command information for each pixel (S830). Subsequently, according to an embodiment, the control method acquires information about a second primary frame including pixels with the same pixel value and a second secondary frame with different pixel values, and determines the second primary frame based on the obtained information.
  • the frame and the second secondary frame can be rendered (S840).
  • control method may transmit each of the first primary frame and the first secondary frame to the first user device (S850).
  • control method may transmit each of the second primary frame and the second secondary frame to the second user device (S860).
  • the processor 130 can transmit a primary frame and a secondary frame corresponding to the obtained output frame respectively to the user device, and the user device can obtain an output frame by combining the received primary frame and secondary frame. There will be. However, it is not limited to this, and the processor 130 may transmit the output frame obtained by combining the primary frame and the secondary frame to the user device as shown in FIG. 8B below.
  • the control method may obtain a first output frame by combining the first primary frame and the first secondary frame (S870).
  • the processor 130 adds the obtained pixel value of the first pixel of the first primary frame and the first pixel of the first secondary frame corresponding to the position of the first pixel of the first primary frame, A combined first output frame may be obtained.
  • the control method may transmit the first output frame to the first user device (S880).
  • the control method may obtain an updated second output frame by combining the second primary frame and the second secondary frame (S890).
  • the processor 130 adds the pixel value of the first pixel of the obtained second primary frame and the first pixel of the second secondary frame corresponding to the position of the above-described first pixel to create a combined second An output frame can be obtained.
  • the control method may transmit the obtained second output frame to the second user device (S895).
  • the electronic device 100 when the electronic device 100 is implemented as a user device, the electronic device 100, which is a user device, obtains information about the output frame corresponding to another user device through the above-described process, and It can also be transmitted to another user device through the communication interface 110.
  • the processor 130 when the electronic device 100 is implemented as a first user device, the processor 130 obtains a first primary frame and a first secondary frame to obtain a first output frame, respectively, and combines them. Thus, the first output frame can be obtained. The processor 130 can output the obtained first output frame through a display (not shown).
  • the processor 130 when the electronic device 100 is implemented as a first user device, the processor 130 obtains a second primary frame and a second secondary frame, respectively, and combines them to obtain a second output frame. can do. Subsequently, according to one example, the processor may transmit the obtained second output frame to the second user device through the communication interface 110.
  • the electronic device 100 may transmit each of the second primary frame and the second secondary frame to the second user device through the communication interface 110.
  • the processor 120 of the second user device can obtain a second output frame by combining the received second primary frame and the second secondary frame.
  • the electronic device 100 may include a processor that identifies a plurality of playing groups and a processor that renders output frames.
  • the one or more processors 130 identify the first playing group and the second playing group based on whether the games running on the plurality of devices belong to the same playing group, and store the background environment in the memory.
  • a main processor that identifies background environment data corresponding to each of the first playing group and the second playing group among the data, and a main processor corresponding to a plurality of user devices belonging to the first playing group based on the background environment data corresponding to the first playing group. It may include a first subprocessor for rendering output frames and a second subprocessor for rendering output frames corresponding to a plurality of user devices belonging to the second playing group based on background environment data corresponding to the second playing group. .
  • the first playing group and the second playing group may be groups with different IP addresses of servers assigned to the users.
  • the first playing group and the second playing group may be groups that play different types of games or different types of maps.
  • Figure 9 is a block diagram showing the detailed configuration of an electronic device according to an embodiment.
  • the electronic device 100' includes a communication interface 110, a memory 120, a processor 130, a user interface 140, a microphone 150, a speaker 160, a display 170, and a camera. It may include (180) and sensor (190). Among the configurations shown in FIG. 9, detailed descriptions of configurations that overlap with those shown in FIG. 2 will be omitted.
  • the user interface 140 may be implemented with devices such as buttons, touch pads, mice, and keyboards, or may be implemented with a touch screen, remote control transceiver, etc. that can also perform the above-described display function and manipulation input function.
  • the remote control transceiver may receive a remote control signal from an external remote control device or transmit a remote control signal through at least one communication method among infrared communication, Bluetooth communication, or Wi-Fi.
  • the microphone 150 may refer to a module that acquires sound and converts it into an electrical signal, and may be a condenser microphone, ribbon microphone, moving coil microphone, piezoelectric element microphone, carbon microphone, or MEMS (Micro Electro Mechanical System) microphone. Additionally, it can be implemented in omni-directional, bi-directional, uni-directional, sub-cardioid, super-cardioid, and hyper-cardioid ways.
  • the electronic device 100 performs an operation corresponding to a user voice signal received through the microphone 180.
  • the electronic device 100 may control the display 140 based on a user voice signal received through the microphone 180. For example, when a user voice signal for displaying content A is received, the electronic device 100 may control the display 140 to display content A.
  • the electronic device 100 may control an external display device connected to the electronic device 100 based on a user voice signal received through the microphone 180. Specifically, the electronic device 100 may generate a control signal to control the external display device so that an operation corresponding to the user's voice signal is performed on the external display device, and transmit the generated control signal to the external display device.
  • the electronic device 100 may store a remote control application for controlling an external display device. Additionally, the electronic device 100 may transmit the generated control signal to an external display device using at least one communication method among Bluetooth, Wi-Fi, or infrared. For example, when a user voice signal for displaying content A is received, the electronic device 100 may transmit a control signal for controlling display of content A on the external display device to the external display device.
  • the electronic device 100 may refer to various terminal devices that can install a remote control application, such as a smartphone or AI speaker.
  • the electronic device 100' may use a remote control device to control an external display device connected to the electronic device 100' based on the user's voice signal received through the microphone 150. Specifically, the electronic device 100' may transmit a control signal for controlling the external display device to the remote control device so that an operation corresponding to the user's voice signal is performed on the external display device. Additionally, the remote control device may transmit the control signal received from the electronic device 100' to an external display device. For example, when a user voice signal for displaying content A is received, the electronic device 100' transmits a control signal for controlling display of content A on an external display device to the remote control device, and the remote control device The received control signal can be transmitted to an external display device.
  • the speaker 160 includes a tweeter for reproducing high-pitched sounds, a midrange for reproducing mid-range sounds, a woofer for reproducing low-pitched sounds, a subwoofer for reproducing extremely low-pitched sounds, an enclosure for controlling resonance, and an input to the speaker. It may be composed of a crossover network that divides the electrical signal frequencies into bands.
  • the speaker 160 may output an acoustic signal to the outside of the electronic device 100'.
  • the speaker 160 can output multimedia playback, recording playback, various notification sounds, voice messages, etc.
  • the electronic device 100' may include an audio output device such as the speaker 160, or may include an output device such as an audio output terminal.
  • the speaker 160 can provide acquired information, information processed and produced based on the acquired information, response results to the user's voice, or operation results, etc. in voice form.
  • the display 170 may be implemented as a display including a self-emitting device or a display including a non-emitting device and a backlight.
  • a display including a self-emitting device or a display including a non-emitting device and a backlight.
  • LCD Liquid Crystal Display
  • OLED Organic Light Emitting Diodes
  • LED Light Emitting Diodes
  • micro LED micro LED
  • Mini LED Micro LED
  • PDP Plasma Display Panel
  • QD Quantum dot
  • QLED Quantum dot light-emitting diodes
  • the display 170 may also include a driving circuit and a backlight unit that may be implemented in the form of a-si TFT, low temperature poly silicon (LTPS) TFT, or organic TFT (OTFT).
  • LTPS low temperature poly silicon
  • OFT organic TFT
  • the display 170 is implemented as a touch screen combined with a touch sensor, a flexible display, a rollable display, a 3D display, a display in which a plurality of display modules are physically connected, etc. It can be.
  • the processor 120 may control the display 170 to output the output image obtained according to the various embodiments described above.
  • the output image may be a high-resolution image of 4K or 8K or higher.
  • the electronic device 100' may include a display 170. Specifically, the electronic device 100' can directly display the acquired image or content on the display 170.
  • the electronic device 100' may not include the display 170.
  • the electronic device 100' can be connected to an external display device and can transmit images or content stored in the electronic device 100' to the external display device.
  • the electronic device 100' may transmit an image or content to an external display device along with a control signal for controlling the display of the image or content on the external display device.
  • the external display device may be connected to the electronic device 100' through a communication interface 110 or an input/output interface (not shown).
  • the electronic device 100' may not include a display like a set top box (STB).
  • the electronic device 100' may include only a small display capable of displaying only simple information such as text information.
  • the electronic device 100' may transmit images or content to an external display device wired or wirelessly through the communication interface 110, or may transmit the image or content to an external display device through an input/output interface (not shown).
  • input/output interfaces include HDMI (High Definition Multimedia Interface), MHL (Mobile High-Definition Link), USB (Universal Serial Bus), DP (Display Port), Thunderbolt, and VGA (Video Graphics Array). ) port, RGB port, D-SUB (D-subminiature), or DVI (Digital Visual Interface).
  • the input/output interface can input and output at least one of audio and video signals.
  • the input/output interface may include a port that inputs and outputs only audio signals and a port that inputs and outputs only video signals as separate ports, or may be implemented as a single port that inputs and outputs both audio signals and video signals. .
  • the electronic device 100' may transmit at least one of audio and video signals to an external device (eg, an external display device or an external speaker) through an input/output interface (not shown).
  • an output port included in the input/output interface may be connected to an external device, and the electronic device 100' may transmit at least one of an audio and video signal to the external device through the output port.
  • the camera 180 may acquire an image by photographing an area within a certain field of view (FoV).
  • the camera 180 may include a lens that focuses visible light and other optical signals reflected by an object and received into an image sensor, and an image sensor that can detect visible light and other optical signals.
  • the image sensor may include a 2D pixel array divided into a plurality of pixels.
  • At least one sensor 190 may include a plurality of sensors of various types.
  • the sensor 190 may measure a physical quantity or detect the operating state of the electronic device 100' and convert the measured or sensed information into an electrical signal.
  • the sensor 190 may include a camera, and the camera may include a lens that focuses visible light and other optical signals reflected by an object and received onto an image sensor, and an image sensor that can detect visible light and other optical signals.
  • the image sensor may include a 2D pixel array divided into a plurality of pixels, and the camera according to one example may be implemented as a depth camera.
  • the sensor 190 may include a distance sensor such as a LIDAR (Light Detection And Ranging) sensor and a TOF (Time of Flight) sensor.
  • LIDAR Light Detection And Ranging
  • TOF Time of Flight
  • At least one sensor 190 may include a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor (e.g., an RGB (red, green, blue) sensor), It may include at least one of a biometric sensor, a temperature/humidity sensor, an illumination sensor, or a UV (ultra violet) sensor.
  • a gesture sensor e.g., a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor (e.g., an RGB (red, green, blue) sensor), It may include at least one of a biometric sensor, a temperature/humidity sensor, an illumination sensor, or a UV (ultra violet) sensor.
  • the methods according to various embodiments of the present disclosure described above may be implemented in the form of applications that can be installed on existing electronic devices.
  • the methods according to various embodiments of the present disclosure described above may be performed using a deep learning-based learned neural network (or deep learned neural network), that is, a learning network model.
  • the methods according to various embodiments of the present disclosure described above may be implemented only by upgrading software or hardware for an existing electronic device.
  • the various embodiments of the present disclosure described above can also be performed through an embedded server provided in an electronic device or an external server of the electronic device.
  • the various embodiments described above may be implemented as software including instructions stored in a machine-readable storage media (e.g., a computer).
  • the device is a device capable of calling instructions stored from a storage medium and operating according to the called instructions, and may include a display device (eg, display device A) according to the disclosed embodiments.
  • the processor may perform the function corresponding to the instruction directly or using other components under the control of the processor.
  • Instructions may contain code generated or executed by a compiler or interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium does not contain signals and is tangible, and does not distinguish whether the data is stored semi-permanently or temporarily in the storage medium.
  • the methods according to various embodiments described above may be provided and included in a computer program product.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • the computer program product may be distributed on a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or online through an application store (e.g. Play StoreTM).
  • an application store e.g. Play StoreTM
  • at least a portion of the computer program product may be at least temporarily stored or created temporarily in a storage medium such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • each component e.g., module or program
  • each component may be composed of a single or multiple entities, and some of the sub-components described above may be omitted, or other sub-components may be omitted. Additional components may be included in various embodiments. Alternatively or additionally, some components (e.g., modules or programs) may be integrated into a single entity and perform the same or similar functions performed by each corresponding component prior to integration. According to various embodiments, operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or at least some operations may be executed in a different order, omitted, or other operations may be added. You can.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치가 개시된다. 전자 장치는, 통신 인터페이스, 적어도 하나의 게임 각각에 대응되는 배경 데이터(Background environment data)가 저장된 메모리 및 제1 기기로부터 수신된 제1 식별 정보 및 제2 기기로부터 수신된 제2 식별 정보에 기초하여 상기 제1 기기 및 상기 제2 기기가 동일 그룹에 속하면, 상기 저장된 배경 데이터 중 상기 제1 식별 정보 및 상기 제2 식별 정보에 대응되는 제1 배경 데이터를 획득하고, 상기 제1 기기로부터 수신된 상기 배경 내 제1 위치 정보 및 사용자의 제1 시점 정보에 기초하여 상기 제1 배경 데이터로부터 획득된, 상기 제1 기기에 대응되는 제1 출력 프레임을 상기 제1 기기로 전송하고, 상기 제2 기기로부터 수신된 상기 배경 내 제2 위치 정보 및 상기 사용자의 제2 시점 정보에 기초하여 상기 제1 배경 데이터로부터 획득된, 상기 제2 기기에 대응되는 제2 출력 프레임을 상기 제2 기기로 전송하는 하나 이상의 프로세서를 포함한다.

Description

복수의 기기로 프레임을 전송하는 전자 장치 및 이의 제어 방법
본 개시는 복수의 기기로 프레임을 전송하는 전자 장치 및 그 제어 방법에 관한 것으로, 더욱 상세하게는 복수의 기기 각각으로부터 수신된 데이터에 기초하여 생성된 프레임을 전송하는 전자 장치 및 그 제어 방법에 대한 것이다.
전자 기술의 발달에 따라 전자 장치, 특히 서버 기반의 실시간 렌더링 (rendering) 서비스가 보급되고 있다. 실시간 렌더링 서비스가 주로 이용되는 클라우드 게임(Cloud Game)을 통해 사용자들은 실시간으로 다른 사용자들과의 게임을 플레잉(Playing)할 수 있다. 대부분의 클라우드 게임은 사용자 입력을 받은 서버가 연산 처리를 완료하고, 사용자 입력에 대응되는 게임 화면에 대한 데이터를 사용자 디바이스로 실시간 스트리밍(Streaming)하는 게임을 말한다. 클라우드 게임은 예를 들어 1인칭 시점의 멀티 플레이어 FPS(First Person Shooting) 게임 및 MMORPG 게임(Massive Multiplayer online role-playing game) 등의 삼차원의 가상 공간 상에 다수의 플레이어가 참여하는 온라인 게임을 포함할 수 있다.
화면을 렌더링하는 GPU(Graphics Processing Unit)의 경우 실시간으로 하나의 프레임만을 렌더링할 수 있기 때문에, 클라우드 게임의 경우 복수의 사용자에게 실시간으로 게임 화면을 스트리밍하기 위하여는 사용자 디바이스 각각에 대응되는 렌더링 서버가 필요하다.
한편, 동일한 플레잉 그룹에 속하는 사용자들은 동일한 맵을 플레잉하는 경우가 일반적이며, 이 경우 동일한 배경 화면을 제공하기 위하여 각 사용자 디바이스의 개수에 비례하는 만큼의 추가적인 렌더링 과정이 필요하게 되는 문제가 발생한다.
이상과 같은 목적을 달성하기 위한 일 실시 예에 따른 전자 장치는,통신 인터페이스, 적어도 하나의 게임 각각에 대응되는 배경 데이터(Background environment data)가 저장된 메모리 및 제1 기기로부터 수신된 제1 식별 정보 및 제2 기기로부터 수신된 제2 식별 정보에 기초하여 상기 제1 기기 및 상기 제2 기기가 동일 그룹에 속하면, 상기 저장된 배경 데이터 중 상기 제1 식별 정보 및 상기 제2 식별 정보에 대응되는 제1 배경 데이터를 획득하는 하나 이상의 프로세서(이하, 프로세서)를 포함할 수 있다. 프로세서는, 상기 제1 기기로부터 수신된 상기 배경 내 제1 위치 정보 및 제1 시점 정보에 기초하여 상기 제1 배경 데이터로부터 획득된, 상기 제1 기기에 대응되는 제1 출력 프레임을 상기 제1 기기로 전송할 수 있다. 프로세서는, 상기 제2 기기로부터 수신된 상기 배경 내 제2 위치 정보 및 제2 시점 정보에 기초하여 상기 제1 배경 데이터로부터 획득된, 상기 제2 기기에 대응되는 제2 출력 프레임을 상기 제2 기기로 전송할 수 있다.
여기서, 상기 하나 이상의 프로세서는, 상기 제1 기기로부터 수신된 제1 입력 정보에 기초하여 상기 제1 출력 프레임을 업데이트하고, 상기 제2 기기로부터 수신된 제2 입력 정보에 기초하여 상기 제2 출력 프레임을 업데이트하고, 상기 통신 인터페이스를 통해 상기 업데이트된 제1 출력 프레임을 상기 제1 기기로 전송하고 상기 업데이트된 제2 출력 프레임을 상기 제2 기기로 전송할 수 있다.
여기서, 상기 하나 이상의 프로세서는, 상기 제1 출력 프레임에 대응되는 픽셀 데이터 및 상기 제1 입력 정보에 기초하여 업데이트된 픽셀 데이터를 픽셀 별로 비교하여 픽셀 값이 동일한 픽셀을 포함하는 제1 프라이머리(primary) 프레임 및 픽셀 값이 상이한 픽셀을 포함하는 제1 세컨더리(secondary) 프레임을 각각 렌더링하고, 상기 제2 출력 프레임에 대응되는 픽셀 데이터 및 상기 제2 입력 정보에 기초하여 업데이트된 픽셀 데이터를 픽셀 별로 비교하여 픽셀 값이 동일한 픽셀을 포함하는 제2 프라이머리 프레임 및 픽셀 값이 상이한 픽셀을 포함하는 제2 세컨더리 프레임을 각각 렌더링할 수 있다.
여기서, 상기 제1 프라이머리 프레임 및 제2 프라이머리 프레임은, 상기 제1 배경 데이터에 기초하여 렌더링되고, 상기 제1 세컨더리 프레임 및 상기 제2 세컨더리 프레임은, 상기 제1 입력 정보 및 상기 제2 입력 정보에 기초하여 렌더링될 수 있다.
한편, 상기 하나 이상의 프로세서는, 상기 제1 프라이머리 프레임 및 상기 제1 세컨더리 프레임 각각을 상기 제1 기기로 전송하고, 상기 제2 프라이머리 프레임 및 상기 제2 세컨더리 프레임 각각을 상기 제2 기기로 전송할 수 있다.
한편, 상기 하나 이상의 프로세서는, 상기 제1 프라이머리 프레임 및 상기 제1 세컨더리 프레임에 기초하여 획득된 상기 업데이트된 제1 출력 프레임을 상기 제1 기기로 전송하고, 상기 제2 프라이머리 프레임 및 상기 제2 세컨더리 프레임에 기초하여 획득된 상기 업데이트된 제2 출력 프레임을 상기 제2 기기로 전송할 수 있다.
여기서, 상기 하나 이상의 프로세서는, 복수의 기기의 게임이 동일한 그룹에 속하는지 여부에 따라 식별되는 제1 그룹 및 제2 그룹에 대하여, 상기 저장된 배경 데이터 중 상기 제1 그룹 및 상기 제2 그룹 각각에 대응되는 배경 데이터를 식별하는 메인 프로세서, 상기 제1 그룹에 대응되는 배경 데이터에 기초하여 상기 제1 그룹에 속하는 복수의 기기에 대응되는 출력 프레임을 렌더링하는 제1 서브 프로세서 및 상기 제2 그룹에 대응되는 배경 데이터에 기초하여 상기 제2 그룹에 속하는 복수의 기기에 대응되는 출력 프레임을 렌더링하는 제2 서브 프로세서를 포함할 수 있다.
여기서, 상기 하나 이상의 프로세서는, 상기 제1 식별 정보 및 상기 제2 식별 정보에 기초하여 상기 제1 기기 및 상기 제2 기기의 동일 서버 접속이 식별되면, 상기 제1 기기 및 상기 제2 기기가 동일한 그룹에 속하는 것으로 식별할 수 있다.
여기서, 상기 적어도 하나의 게임은, 동일한 게임 환경을 공유하는 멀티 플레이어 클라우드 게임일 수 있다.
한편, 이상과 같은 목적을 달성하기 위한 전자 장치의 제어 방법에 있어서, 제1 기기 및 제2 기기로부터 실행 중인 게임의 식별 정보, 상기 게임에서 제공되는 배경 내의 위치 정보, 및 시점 정보를 각각 수신하는 단계를 포함할 수 있다. 제어 방법은, 상기 제1 기기로부터 수신된 게임의 제1 식별 정보 및 상기 제2 기기로부터 수신된 게임의 제2 식별 정보에 기초하여 상기 제1 기기 및 상기 제2 기기가 동일 그룹에 속하면, 메모리에 저장된 적어도 하나의 게임 각각에 대응되는 배경 데이터 중 상기 제1 식별 정보 및 상기 제2 식별 정보에 대응되는 제1 배경 데이터를 획득하는 단계를 포함할 수 있다. 제어 방법은, 상기 제1 기기로부터 수신된 상기 배경 내의 제1 위치 정보 및 제1 시점 정보에 기초하여 상기 제1 배경 데이터로부터 획득한, 상기 제1 기기에 대응되는 제1 출력 프레임을 상기 제1 기기로 전송하는 단계를 포함할 수 있다. 제어 방법은, 상기 제2 기기로부터 수신된 상기 배경 내의 제2 위치 정보 및 제2 시점 정보에 기초하여 상기 제1 배경 데이터로부터 획득한, 상기 제2 기기에 대응되는 제2 출력 프레임을 상기 제2 기기로 전송하는 단계를 포함할 수 있다.
여기서, 상기 제어 방법은, 상기 제1 기기로부터 수신된 제1 입력 정보에 기초하여 상기 제1 출력 프레임을 업데이트하고, 상기 제2 기기로부터 수신된 제2 입력 정보에 기초하여 상기 제2 출력 프레임을 업데이트하는 단계를 더 포함할 수 있고, 상기 전송하는 단계는, 상기 업데이트된 제1 출력 프레임을 상기 제1 기기로 전송하고 상기 업데이트된 제2 출력 프레임을 상기 제2 기기로 전송할 수 있다.
여기서, 상기 제어 방법은, 상기 제1 출력 프레임에 대응되는 픽셀 데이터 및 상기 제1 입력 정보에 기초하여 업데이트된 픽셀 데이터를 픽셀 별로 비교하여 픽셀 값이 동일한 픽셀을 포함하는 제1 프라이머리(primary) 프레임 및 픽셀 값이 상이한 픽셀을 포함하는 제1 세컨더리(secondary) 프레임을 각각 렌더링하고, 상기 제2 출력 프레임에 대응되는 픽셀 데이터 및 상기 제2 입력 정보에 기초하여 업데이트된 픽셀 데이터를 픽셀 별로 비교하여 픽셀 값이 동일한 픽셀을 포함하는 제2 프라이머리 프레임 및 픽셀 값이 상이한 픽셀을 포함하는 제2 세컨더리 프레임을 각각 렌더링할 수 있다.
한편, 상기 제1 프라이머리 프레임 및 제2 프라이머리 프레임은, 상기 제1 배경 데이터에 기초하여 렌더링되고, 상기 제1 세컨더리 프레임 및 상기 제2 세컨더리 프레임은, 상기 제1 입력 정보 및 상기 제2 입력 정보에 기초하여 렌더링될 수 있다.
여기서, 상기 전송하는 단계는, 상기 제1 프라이머리 프레임 및 상기 제1 세컨더리 프레임 각각을 상기 제1 기기로 전송하고 상기 제2 프라이머리 프레임 및 상기 제2 세컨더리 프레임 각각을 상기 제2 기기로 전송할 수 있다.
여기서, 상기 전송하는 단계는, 상기 제1 프라이머리 프레임 및 상기 제1 세컨더리 프레임에 기초하여 획득된 상기 업데이트된 제1 출력 프레임을 상기 제1 기기로 전송하고, 상기 제2 프라이머리 프레임 및 상기 제2 세컨더리 프레임에 기초하여 획득된 상기 업데이트된 제2 출력 프레임을 상기 제2 기기로 전송할 수 있다.
한편, 상기 제어 방법은, 복수의 디바이스에서 실행 중인 게임이 동일한 그룹에 속하는지 여부에 기초하여 식별되는 제1 그룹 및 제2 그룹에 대하여, 상기 메모리에 저장된 배경 데이터 중 상기 제1 그룹 및 제2 그룹 각각에 대응되는 배경 데이터를 식별하는 단계, 상기 제1 그룹에 대응되는 배경 데이터에 기초하여 상기 제1 그룹에 속하는 복수의 기기에 대응되는 출력 프레임을 렌더링하는 단계 및 상기 제2 그룹에 대응되는 배경 데이터에 기초하여 상기 제2 그룹에 속하는 복수의 기기에 대응되는 출력 프레임을 렌더링하는 단계를 포함할 수 있다.
여기서, 상기 동일한 그룹에 속하는지 여부를 식별하는 단계는, 상기 제1 식별 정보 및 상기 제2 식별 정보에 기초하여 상기 제1 기기 및 상기 제2 기기의 동일 서버 접속이 식별되면, 상기 제1 기기 및 상기 제2 기기가 동일한 그룹에 속하는 것으로 식별할 수 있다.
또한, 상기 적어도 하나의 게임은, 동일한 게임 환경을 공유하는 멀티 플레이어 클라우드 게임일 수 있다.
이상과 같은 목적을 달성하기 위한 전자 장치의 프로세서에 의해 실행되는 경우 상기 전자 장치가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독가능 기록매체에 있어서, 상기 동작은, 제1 기기 및 제2 기기로부터 실행 중인 게임의 식별 정보, 상기 게임에서 제공되는 배경 환경 내의 위치 정보 및 시점 정보를 각각 수신하는 단계를 포함할 수 있다. 상기 동작은, 상기 제1 기기로부터 수신된 게임의 제1 식별 정보 및 상기 제2 기기로부터 수신된 게임의 제2 식별 정보에 기초하여 상기 제1 기기 및 상기 제2 기기가 동일한 그룹에 속하면, 메모리에 저장된 적어도 하나의 게임 각각에 대응되는 배경 데이터 중 상기 제1 식별 정보 및 상기 제2 식별 정보에 대응되는 제1 배경 데이터를 획득하는 단계를 포함할 수 있다. 상기 동작은, 상기 제1 기기로부터 수신된 상기 배경 내의 제1 위치 정보 및 제1 시점 정보에 기초하여 상기 제1 배경 데이터로부터 획득한, 상기 제1 기기에 대응되는 제1 출력 프레임을 상기 제1 기기로 전송하는 단계를 포함할 수 있다. 상기 동작은, 상기 제2 기기로부터 수신된 상기 배경 내의 제2 위치 정보 및 제2 시점 정보에 기초하여 상기 제1 배경 데이터로부터 획득한, 상기 제2 기기에 대응되는 제2 출력 프레임을 상기 제2 기기로 전송하는 단계를 포함할 수 있다.
도 1은 일 실시 예에 따른 전자 장치의 제어 방법을 개략적으로 설명하기 위한 도면이다.
도 2는 일 실시 예에 따른 전자 장치의 구성을 나타내는 블록도이다.
도 3은 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 4는 일 실시 예에 따른 복수의 사용자 디바이스를 동일한 플레잉 그룹으로 식별하는 방법을 설명하기 위한 도면이다.
도 5a 및 도 5b는 일 실시 예에 따른 배경 환경 데이터에 기초하여 출력 프레임을 렌더링하는 방법을 설명하기 위한 도면이다.
도 6은 일 실시 예에 따른 출력 프레임을 업데이트하는 방법을 설명하기 위한 도면이다.
도 7은 일 실시 예에 따른 출력 프레임을 렌더링하는 방법을 설명하기 위한 도면이다.
도 8a 및 8b는 일 실시 예에 따른 프레임을 사용자 디바이스로 전송하는 방법을 설명하기 위한 도면이다.
도 9는 일 실시 예에 따른 전자 장치의 세부 구성을 나타내는 블록도이다.
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
도 1은 일 실시 예에 따른 전자 장치의 제어 방법을 개략적으로 설명하기 위한 도면이다.
도 1에 따르면, 일 실시 예에 따라 동일한 플레잉 그룹(또는, 동일한 그룹)에 속하는 복수의 사용자 디바이스(21,22,…, 23)로부터 수신된 복수의 사용자 입력 정보(예를 들어, 플레이어의 시점 정보 및 사용자 커맨드 정보)를 수신한 전자 장치(10)는 상술한 플레잉 그룹이 플레잉하는 게임 공간(예를 들어, 게임을 수행하는 게임 상의 가상 공간) 및 사용자 디바이스로부터 수신된 사용자 입력 정보에 기초하여 게임 화면을 렌더링하고, 렌더링된 게임 화면을 사용자 디바이스로 제공할 수 있다. 일 예에 따라, 사용자 디바이스는 스마트폰(smartphone), 태블릿 PC(tablet Personal Computer), 웨어러블 장치(wearable device) 및 게임 콘솔(console) 등과 같이 사용자가 게임을 플레잉하기 위한 신호를 입력하고, 입력된 신호에 대응되는 게임 화면을 디스플레이할 수 있는 다양한 타입의 전자 장치로 구현될 수 있다.
전자 장치(10)가 서버로 구현되는 경우, 전자 장치(10)에 포함된 GPU(Graphics Processing Unit)는 한 번에 하나의 게임 화면만을 렌더링할 수 있기 때문에 복수의 사용자에게 동시에 게임 화면을 렌더링하기 위하여는 복수의 사용자 각각에 대응되는 서버(11, 12,…,13)에서 렌더링을 각각 수행하여야 한다.
한편, 동일한 플레잉 그룹에 속하는 사용자들은 동일한 맵을 플레잉하는 경우가 일반적이며, 복수의 사용자는 동일한 배경 화면(또는, 가상 배경 공간) 내에서 플레잉하게 된다. 복수의 사용자에게 동시에 게임 화면을 제공하기 위하여 사용자 디바이스 각각에 대응되는 서버를 통해 렌더링을 수행하는 경우, 사용자 디바이스에 대응되는 서버(11, 12,…,13) 각각은 배경 화면에 대한 렌더링을 각각 수행하게 된다. 즉, 동일한 배경 화면을 제공하기 위하여 각 사용자 디바이스의 개수에 비례하는 만큼의 추가적인 렌더링 과정이 필요하게 되는 문제가 발생한다.
이에 따라, 이하에서는 배경 환경에 관한 데이터 및 사용자 디바이스로부터 수신된 사용자 속성 정보를 이용하여 배경 화면에 대한 렌더링을 수행하여, 중복되는 화면에 대한 렌더링이 반복 수행되지 않도록 하는 다양한 실시 예에 대해서 설명하도록 한다.
도 2는 일 실시 예에 따른 전자 장치의 구성을 나타내는 블록도이다.
도 2에 따르면, 전자 장치(100)는 통신 인터페이스(110), 메모리(120) 및 프로세서(130)를 포함할 수 있다.
전자 장치(100)는 서버, 예를 들어, 컨텐츠 제공 서버, PC 등 컨텐츠를 제공할 수 있는 다양한 타입의 장치로 구현될 수 있다. 또는 전자 장치(100)는 클라우딩 컴퓨팅 환경이 구축된 시스템 자체일 수도 있다. 또는, 일 실시 예에 따라, 전자 장치(100)는 클라우드 서버, 임베디드 서버 등 다양한 형태의 서버로 구현 가능하다. 일 실시 예에 따라, 전자 장치(100)는 복수 개의 서버로 구현될 수도 있다.
다만, 이에 한정되는 것은 아니며 일 실시 예에 따라 전자 장치(100)는 사용자 디바이스로 구현될 수도 있다. 이에 따라, 별도의 서버를 통해 통신을 수행하지 않고 사용자 디바이스 간 통신을 수행하여 데이터를 송수신할 수도 있다. 다만 이하는 설명의 편의를 위해 전자 장치(100)가 서버로 구현되는 실시 예로 한정하여 설명하도록 한다.
통신 인터페이스(110)는 다양한 타입의 컨텐츠를 입력받는다. 예를 들어 통신 인터페이스(110)는 AP 기반의 Wi-Fi( Wireless LAN 네트워크), 블루투스(Bluetooth), 지그비(Zigbee), 유/무선 LAN(Local Area Network), WAN(Wide Area Network), 이더넷(Ethernet), IEEE 1394, HDMI(High-Definition Multimedia Interface), USB(Universal Serial Bus), MHL(Mobile High-Definition Link), AES/EBU(Audio Engineering Society/ European Broadcasting Union), 옵티컬(Optical), 코액셜(Coaxial 등과 같은 통신 방식을 통해 외부 장치(예를 들어, 소스 장치), 외부 저장 매체(예를 들어, USB 메모리), 외부 서버(예를 들어 웹 하드) 등으로부터 스트리밍 또는 다운로드 방식으로 신호를 입력받을 수 있다.
일 예에 따라 통신 인터페이스(110)는 원격 제어 장치와 같은 외부 장치 및 외부 서버와 통신하기 위해 동일한 통신 모듈(예를 들어, Wi-Fi)을 이용할 수 있다.
다른 예에 따라 통신 인터페이스(110)는 원격 제어 장치와 같은 외부 장치 및 외부 서버와 통신하기 위해 상이한 통신 모듈을 이용할 수 있다. 예를 들어, 통신 인터페이스(110)는 외부 서버와 통신하기 위해 이더넷 모듈 또는 Wi-Fi 중 적어도 하나를 이용할 수 있고, 원격 제어 장치와 같은 외부 장치와 통신하기 위해 블루투스 모듈을 이용할 수도 있다. 다만 이는 일 실시 예에 불과하며 통신 인터페이스(110)는 복수의 외부 장치 또는 외부 서버와 통신하는 경우 다양한 통신 모듈 중 적어도 하나의 통신 모듈을 이용할 수 있다.
메모리(120)는 다양한 실시 예를 위해 필요한 데이터를 저장할 수 있다. 메모리(120)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 전자 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현될 수 있다. 또한, 전자 장치(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
일 실시 예에 따라, 메모리(120)에는 적어도 하나의 게임 각각에 대응되는 배경 환경 데이터(Background environment data, 또는 배경 데이터)가 저장될 수 있다. 또는, 일 실시 예에 따라 메모리(120)에는 적어도 하나의 게임 내 적어도 하나의 맵(map) 각각에 대응되는 배경 환경 데이터가 저장될 수 있다. 여기서, 배경 환경 데이터는 사용자가 플레잉하는 게임의 배경 화면 또는 플레잉하는 가상 공간에 대한 이미지 데이터이며, 일 예에 따라 배경 환경 데이터는 3D(Dimension) 이미지 데이터일 수 있다. 일 예에 따라, 배경 환경 데이터는 사용자가 플레잉하는 게임상의 전체 맵에 대한 이미지 데이터를 포함할 수 있다. 한편, 배경 환경 데이터에 대하여는 도 5a 및 5b를 통해 자세히 설명하도록 한다.
하나 이상의 프로세서(130)(이하, 프로세서)는 통신 인터페이스(110)와 전기적으로 연결되어 전자 장치(100)의 전반적인 동작을 제어한다. 프로세서(130)는 하나 또는 복수의 프로세서로 구성될 수 있다. 구체적으로, 프로세서(130)는 메모리(120)에 저장된 적어도 하나의 인스트럭션을 실행함으로써, 본 개시의 다양한 실시 예에 따른 전자 장치(100)의 동작을 수행할 수 있다.
일 실시 예에 따라 프로세서(130)는 디지털 영상 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), GPU(Graphics Processing Unit), AI(Artificial Intelligence) 프로세서, NPU (Neural Processing Unit), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(140)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, ASIC(application specific integrated circuit), FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
일 실시 예에 따라 프로세서(130)는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(130)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
일 실시 예에 따라, 프로세서(130)는 통신 인터페이스(110)를 통해 사용자 디바이스로부터 사용자 속성 정보를 수신할 수 있다. 여기서, 사용자 속성 정보는 사용자(또는, 플레이어)에 대응되는 캐릭터의 형태, 위치, 시점, 상태 또는 움직임 중 적어도 하나에 대한 정보이며, 예를 들어 사용자 디바이스에서 실행되는 게임의 식별 정보, 게임에서 제공되는 배경 환경 내 사용자의 위치에 대한 정보 또는 사용자의 시점에 대한 정보 중 적어도 하나를 포함할 수 있다. 다만, 이에 한정되는 것은 아니며, 사용자의 커맨드 정보도 포함될 수 있음은 물론이다.
한편, 일 예에 따라, 적어도 하나의 게임은 동일한 게임 환경을 공유하는 멀티 플레이어 클라우드 게임일 수 있다. 또는, 일 예에 따라 게임은 1인칭 시점의 멀티 플레이어 FPS(First Person Shooting) 게임, MMORPG 게임(Massive Multiplayer online role-playing game) 등의 삼차원의 가상 공간 상에 다수의 플레이어가 참여하는 3차원(3 Dimension) 게임일 수 있다.
일 예에 따라, 사용자가 게임의 식별 정보는 사용자 디바이스에서 실행되는(또는, 실행 중인) 게임의 타입, 실행되는 게임 내 맵(Map)의 타입에 대한 정보 또는 사용자 디바이스가 할당될 서버의 IP 주소(Internet Protocol address) 정보 중 적어도 하나를 포함할 수 있다. 예를 들어, 동일한 게임(또는, 동일한 게임 내 동일한 맵)을 실행중인 복수의 사용자 디바이스가 할당될 서버의 IP 주소가 동일한 경우, 프로세서(130)는 복수의 사용자 디바이스로부터 수신된 각각의 게임의 식별 정보에 따라 복수의 사용자 디바이스가 동일한 게임을 플레잉하는 것으로 식별할 수 있다.
한편, 게임에서 제공되는 배경 환경 내 사용자의 위치에 대한 정보는 배경 환경 내 사용자에 대응되는 캐릭터의 상대적 위치에 대한 정보이며, 사용자의 시점(view-point)에 대한 정보는 배경 환경 내 사용자의 시선 각도에 대한 정보이다.
일 예에 따라, 프로세서(130)는 서버와 같은 전자 장치(100)와 통신을 수행하는 복수의 사용자 디바이스 중 제1 사용자 디바이스로부터 제1 사용자 디바이스를 통해 실행중인 게임의 식별 정보, 제1 사용자 디바이스에 대응되는 사용자(또는, 사용자에 대응되는 게임 상의 캐릭터)의 배경 환경 내의 위치 정보, 및 제1 사용자의 시점 정보를 각각 수신할 수 있다. 일 예에 따라, 프로세서(130)는 제2 사용자 디바이스로부터 제2 사용자 디바이스를 통해 실행중인 게임의 식별 정보, 제2 사용자 디바이스에 대응되는 사용자의 배경 환경 내의 위치 정보, 및 제2 사용자의 시점 정보를 각각 수신할 수 있다.
일 실시 예에 따라, 프로세서(130)는 제1 사용자 디바이스 및 제2 사용자 디바이스가 동일한 플레잉 그룹(Playing Group)에 속하는지 여부를 식별할 수 있다. 여기서, 동일한 플레잉 그룹은 예를 들어 동일한 게임 또는 동일한 게임 내 동일한 맵을 플레잉하는 복수의 사용자 간 인터렉션(interaction)이 존재하는 그룹일 수 있다. 또는, 예를 들어 동일한 플레잉 그룹은 할당된 서버의 IP 주소가 동일한 그룹일 수 있다. 일 예에 따라, 프로세서(130)는 제1 사용자 디바이스로부터 수신된 게임의 제1 식별 정보 및 제2 사용자 디바이스로부터 수신된 게임의 제2 식별 정보에 기초하여, 제1 사용자 디바이스가 할당될 서버의 IP 주소 정보 와 제2 사용자 디바이스가 할당될 서버의 IP 주소 정보가 동일한 경우, 제1 사용자 디바이스 및 제2 사용자 디바이스를 동일한 플레잉 그룹으로 식별할 수 있다.
또는, 일 예에 따라 프로세서(130)는 제1 사용자 디바이스 및 제2 사용자 디바이스가 할당될 서버의 IP 주소 정보가 동일하고, 제1 사용자 디바이스 및 제2 사용자 디바이스가 실행 중인 맵의 타입이 동일한 것으로 식별되면, 제1 사용자 디바이스 및 제2 사용자 디바이스를 동일한 플레잉 그룹으로 식별할 수도 있다. 다만, 이에 한정되는 것은 아니며 제1 사용자 디바이스 및 제2 사용자 디바이스가 실행 중인 맵의 타입이 동일하며, 제1 사용자 디바이스 및 제2 사용자 디바이스가 통신중인 것으로 식별되면, 제1 및 제2 사용자 디바이스를 동일한 플레잉 그룹으로 식별할 수도 있음은 물론이다.
일 실시 예에 따라, 프로세서(130)는 동일한 플레잉 그룹에 속하는 복수의 사용자 디바이스에 대응되는 배경 환경 데이터를 식별할 수 있다. 일 예에 따라, 프로세서(130)는 제1 사용자 디바이스 및 제2 사용자 디바이스가 동일한 플레잉 그룹에 속하는 것으로 식별되면, 메모리(120)에 저장된 배경 환경 데이터 중 제1 식별 정보 및 제2 식별 정보에 대응되는 제1 배경 환경 데이터를 식별할 수 있다.
일 예에 따라, 프로세서(130)는 제1 식별 정보 및 제2 식별 정보에 기초하여 제1 사용자 디바이스 및 제2 사용자 디바이스가 플레잉 중인 게임에 대응되는 제1 배경 환경 데이터를 식별할 수 있다. 또는, 프로세서(130)는 제1 식별 정보 및 제2 식별 정보에 기초하여 제1 사용자 디바이스 및 제2 사용자 디바이스가 플레잉 중인 게임 내 특정 맵(Map)에 대응되는 제1 배경 환경 데이터를 식별할 수도 있다.
일 실시 예에 따라, 프로세서(130)는 사용자 디바이스로부터 수신된 사용자 위치 정보 및 시점 정보에 기초하여 출력 프레임을 렌더링(Rendering)할 수 있다. 일 예에 따라, 프로세서(130)는 통신 인터페이스(110)를 통해 제1 사용자 디바이스로부터 수신된 배경 환경 내의 제1 위치 정보 및 사용자의 제1 시점 정보에 기초하여 제1 배경 환경 데이터로부터 제1 사용자 디바이스에 대응되는 제1 출력 프레임을 렌더링하고, 제2 사용자 디바이스로부터 수신된 배경 환경 내의 제2 위치 정보 및 사용자의 제2 시점 정보에 기초하여 제1 배경 환경 데이터로부터 제2 사용자 디바이스에 대응되는 제2 출력 프레임을 렌더링할 수 있다. 여기서, 출력 프레임을 렌더링한다는 것은 배경 환경 데이터에 기초하여 획득된 출력 프레임에 대한 픽셀 데이터에 기초하여 출력 프레임을 렌더링한다는 의미이다. 이에 대하여는 도 3, 도 5 내지 도 7을 통해 자세히 설명하도록 한다.
일 실시 예에 따라, 프로세서(130)는 통신 인터페이스(110)를 통해 렌더링된 출력 프레임을 사용자 디바이스로 전송할 수 있다. 일 예에 따라, 프로세서(130)는 제1 출력 프레임을 제1 사용자 디바이스로 전송하고 제2 출력 프레임을 제2 사용자 디바이스로 전송할 수 있다.
도 3은 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 3에 따르면, 일 실시 예에 따라 제어 방법은 제1 사용자 디바이스 및 제2 사용자 디바이스로부터 실행 중인 게임의 식별 정보, 배경 환경 내의 위치 정보 및 사용자의 시점 정보를 수신할 수 있다(S310).
일 예에 따라, 프로세서(130)는 통신 인터페이스(110)를 통해 제1 사용자 디바이스가 실행 중인 게임의 타입 정보, 실행 중인 게임 내 맵 정보 또는 제1 사용자 디바이스가 할당될 서버에 대한 IP 주소 정보 중 적어도 하나를 수신할 수 있다. 또는, 프로세서(130)는 제1 사용자 디바이스에 대응되는 제1 사용자의 배경 환경 내 위치 정보 및 사용자의 시점 정보를 수신할 수 있다. 일 예에 따라, 프로세서(130)는 통신 인터페이스(110)를 통해 제2 사용자 디바이스의 게임 타입 정보, 실행 중인 게임 내 맵 정보 또는 제1 사용자 디바이스가 할당될 서버에 대한 IP 주소 정보 중 적어도 하나를 수신할 수 있다. 또는, 프로세서(130)는 제2 사용자의 배경 환경 내 위치 정보 및 제2 사용자의 시점 정보를 수신할 수 있다.
일 실시 예에 따라, 제어 방법은 제1 사용자 디바이스 및 제2 사용자 디바이스가 동일한 플레잉 그룹에 속하는지 식별할 수 있다(S320). 일 예에 따라, 프로세서(130)는 제1 사용자 디바이스 및 제2 사용자 디바이스의 식별 정보(게임의 타입 정보 및 게임 내 맵 정보)에 기초하여 실행 중인 게임(또는, 맵)이 동일한지 식별할 수 있다. 또는, 일 예에 따라 프로세서(130)는 수신된 제1 사용자 디바이스 및 제2 사용자 디바이스 각각이 할당될 서버에 대한 IP 주소 정보가 동일한 경우, 제1 및 제2 사용자 디바이스가 동일한 플레잉 그룹에 속하는 것으로 식별할 수도 있다.
한편, 일 예에 따라 전자 장치(100)가 복수의 서버로 구현된 경우, 프로세서(130)는 동일한 플레잉 그룹에 속하는 것으로 식별된 복수의 사용자 디바이스를 전자 장치(100) 내 포함된 하나의 서버로 할당할 수 있다. 예를 들어, 전자 장치(100)에 포함된 복수의 서버 중 제1 서버가 할당된 경우, 제1 서버에 포함된 프로세서(130)는 통신 인터페이스(110)를 통해 동일한 플레잉 그룹에 속하는 것으로 식별된 복수의 사용자 디바이스에 출력 프레임을 전송할 수 있다.
한편, 일 예에 따라 전자 장치(100)가 복수의 서버로 구현된 경우, 복수의 서버 중 제1 서버에 포함된 제1 프로세서는 제1 사용자 디바이스 및 제2 사용자 디바이스가 동일한 플레잉 그룹에 속하는지 여부를 식별하고 복수의 서버 중 제2 서버에 포함된 제2 프로세서는 사용자 디바이스 각각으로 전송할 출력 프레임을 렌더링할 수 있다.
일 실시 예에 따라, 제어 방법은 제1 사용자 디바이스 및 제2 사용자 디바이스가 동일한 플레잉 그룹에 속하는 것으로 식별되면(Y), 복수의 배경 환경 데이터 중 제1 식별 정보 및 제2 식별 정보에 대응되는 제1 배경 환경 데이터 식별할 수 있다(S330). 일 예에 따라, 제1 사용자 디바이스 및 제2 사용자 디바이스가 동일한 플레잉 그룹에 속하는 것으로 식별되면, 프로세서(130)는 통신 인터페이스(110)를 통해 제1 사용자 디바이스 및 제2 사용자 디바이스로부터 수신된 식별 정보에 기초하여 제1 및 제2 사용자 디바이스가 플레잉하는 게임의 타입 정보를 식별하고, 메모리(120)에 저장된 정보에 기초하여 식별된 게임 타입 정보에 대응되는 배경 환경 데이터를 식별 할 수 있다.
또는, 일 예에 따라, 프로세서(130)는 통신 인터페이스(110)를 통해 제1 사용자 디바이스 및 제2 사용자 디바이스로부터 수신된 식별 정보에 기초하여 제1 및 제2 사용자 디바이스가 플레잉하는 게임 내 맵의 타입 정보를 식별하고, 메모리(120)에 저장된 정보에 기초하여 식별된 맵의 타입 정보에 대응되는 배경 환경 데이터를 식별 할 수 있다.
일 실시 예에 따라, 제어 방법은 배경 환경 내의 제1 위치 정보 및 사용자의 제1 시점 정보에 기초하여 제1 배경 환경 데이터로부터 제1 출력 프레임을 렌더링할 수 있다(S340).
일 예에 따라, 프로세서(130)는 제1 사용자(또는, 제1 사용자에 대응되는 게임 환경 내에서의 캐릭터)의 배경 환경(제1 배경 환경 데이터에 대응되는 배경 환경) 내 제1 위치에 대응되는 좌표 정보를 획득할 수 있다.
이 후, 일 예에 따라, 프로세서(130)는 획득된 좌표 정보에 기초하여 제1 배경 환경 데이터 중에서 배경 환경 내 제1 위치로부터 임계 범위(또는, 임계 픽셀 범위) 내의 위치에 대응되는 픽셀에 대한 배경 환경 데이터를 식별할 수 있다.
이 후, 일 예에 따라, 프로세서(130)는 식별된 픽셀 범위에 대응되는 배경 환경 데이터를 제1 사용자의 시점 정보에 기초하여 업데이트하고, 업데이트된 배경 환경 데이터를 식별할 수 있다. 다만, 이에 한정되는 것은 아니며 프로세서(130)는 제1 사용자의 배경 환경 내 위치 정보 및 시점 정보를 고려하여 임계 픽셀 범위를 식별하고, 식별된 임계 픽셀 범위 내의 위치에 대응되는 픽셀에 대한 배경 환경 데이터를 식별할 수도 있다.
이 후, 일 예에 따라 프로세서(130)는 식별된 픽셀 범위 내의 위치에 대응되는 픽셀에 대한 업데이트된 배경 환경 데이터를 제1 출력 프레임에 대응되는 픽셀 데이터로 식별하고, 이에 기초하여 제1 출력 프레임을 렌더링할 수 있다.
일 실시 예에 따라, 제어 방법은 배경 환경 내의 제2 위치 정보 및 사용자의 제2 시점 정보에 기초하여 제1 배경 환경 데이터로부터 제2 출력 프레임을 렌더링할 수 있다(S350).
일 예에 따라, 프로세서(130)는 제2 사용자(또는, 제2 사용자에 대응되는 게임 환경 내에서의 캐릭터)의 배경 환경(제1 배경 환경 데이터에 대응되는 배경 환경) 내 제2 위치에 대응되는 좌표 정보를 획득할 수 있다.
이 후, 일 예에 따라, 프로세서(130)는 획득된 좌표 정보에 기초하여 제1 배경 환경 데이터 중에서 배경 환경 내 제2 위치로부터 임계 범위(또는, 임계 픽셀 범위) 내의 위치에 대응되는 픽셀에 대한 배경 환경 데이터를 식별할 수 있다. 이어서, 프로세서(130)는 식별된 픽셀 범위에 대응되는 배경 환경 데이터를 제2 사용자의 시점 정보에 기초하여 업데이트하고, 업데이트된 배경 환경 데이터를 식별할 수 있다. 다만, 이에 한정되는 것은 아니며 프로세서(130)는 제2 사용자의 배경 환경 내 위치 정보 및 시점 정보를 고려하여 임계 픽셀 범위를 식별하고, 식별된 픽셀 범위 내의 위치에 대응되는 픽셀에 대한 배경 환경 데이터를 식별할 수도 있다.
이 후, 일 예에 따라 프로세서(130)는 식별된 픽셀 범위 내의 위치에 대응되는 픽셀에 대한 업데이트된 배경 환경 데이터를 제2 출력 프레임에 대응되는 픽셀 데이터로 식별하고, 이에 기초하여 제2 출력 프레임을 렌더링할 수 있다.
일 실시 예에 따라, 제어 방법은 제1 출력 프레임을 제1 사용자 디바이스로 전송하고 제2 출력 프레임을 제2 사용자 디바이스로 전송할 수 있다(S360). 일 예에 따라, 프로세서(130)는 렌더링된 제1 출력 프레임 및 제2 출력 프레임을 통신 인터페이스(110)를 통해 제1 사용자 디바이스 및 제2 사용자 디바이스 각각으로 전송할 수 있다.
이에 따르면, 전자 장치(100)는 게임(또는, 게임 내 특정 맵)에 대한 배경 환경 데이터 및 사용자 속성 정보에 기초하여 렌더링을 수행할 수 있다. 이에 따라, 렌더링 비용(Rendering cost)이 감소하며 GPU 비용 또한 감소하게 된다.
도 4는 일 실시 예에 따른 복수의 사용자 디바이스를 동일한 플레잉 그룹으로 식별하는 방법을 설명하기 위한 도면이다.
도 4에 따르면, 일 실시 예에 따라 프로세서(130)는 제1 사용자 디바이스(410)로부터 수신된 게임의 제1 식별 정보 및 제2 사용자 디바이스(420)로부터 수신된 게임의 제2 식별 정보에 기초하여 제1 사용자 디바이스(410) 및 제2 사용자 디바이스(420)가 동일한 플레잉 그룹에 속하는지 식별할 수 있다.
일 예에 따라, 프로세서(130)는 제1 사용자 디바이스(410)로부터 수신된 제1 사용자 디바이스(410)가 할당된 서버에 대한 IP 주소 정보 및 제2 사용자 디바이스(420)로부터 수신된 제2 사용자 디바이스(420)가 할당된 서버에 대한 IP 주소 정보가 동일한지 여부를 식별할 수 있다.
이 후, 일 예에 따라 프로세서(130)는 수신된 제1 식별 정보 및 제2 식별 정보에 기초하여 제1 사용자 디바이스(410) 및 제2 사용자 디바이스(420)가 동일한 서버(400)에 접속된 것으로 식별되면, 제1 사용자 디바이스(410) 및 제2 사용자 디바이스(420)가 동일한 플레잉 그룹에 속하는 것으로 식별할 수 있다. 또는, 일 예에 따라, 프로세서(130)는 제1 사용자 디바이스(410)로부터 수신된 제1 사용자 디바이스(410)가 할당된 서버에 대한 IP 주소 정보 및 제2 사용자 디바이스(420)로부터 수신된 제2 사용자 디바이스(420)가 할당된 서버에 대한 IP 주소 정보가 동일한 것으로 식별되면, 제1 사용자 디바이스(410) 및 제2 사용자 디바이스(420)가 동일한 플레잉 그룹에 속하는 것으로 식별할 수 있다.
도 5a 및 도 5b는 일 실시 예에 따른 배경 환경 데이터에 기초하여 출력 프레임을 렌더링하는 방법을 설명하기 위한 도면이다.
도 5a 및 도 5b에 따르면, 일 실시 예에 따라 프로세서(130)는 메모리(120)에 저장된 정보에 기초하여 적어도 하나의 게임 각각에 대응되는 배경 환경 데이터(Background environment data)를 획득할 수 있다. 여기서, 배경 환경 데이터는 사용자가 플레잉하는 게임의 공통 배경 화면에 대한 이미지 데이터이며, 일 예에 따라 배경 환경 데이터는 3D(Dimension) 이미지 데이터일 수 있다.
일 예에 따라, 배경 환경 데이터는 사용자가 플레잉하는 게임상의 전체 맵(510)에 대한 이미지 데이터를 포함할 수 있다. 예를 들어, 사용자가 특정 게임의 특정 맵(510)을 플레잉하고 있는 경우, 배경 환경 데이터는 사용자가 플레잉하는 특정 맵(510) 전체에 대한 이미지 데이터일 수 있다.
일 실시 예에 따라, 프로세서(130)는 사용자 디바이스로부터 수신된 식별 정보에 기초하여 사용자가 실행중인 게임(또는, 실행중인 게임 내 특정 맵)이 식별되면, 식별된 게임(또는, 맵)에 대응되는 배경 환경 데이터를 식별할 수 있고, 사용자 디바이스로부터 수신된 배경 환경 내의 위치 정보 및 사용자의 시점 정보에 기초하여 배경 환경 데이터로부터 사용자 디바이스에 대응되는 출력 프레임(520)을 렌더링할 수 있다.
일 예에 따라, 프로세서(130)는 제1 사용자 디바이스로부터 수신된 제1 식별 정보에 기초하여 제1 사용자가 게임을 실행중인 것으로 식별되면, 메모리(120)에 저장된 정보에 기초하여 제1 사용자가 실행중인 게임에 대한 배경 환경 데이터(510)를 획득할 수 있다. 이 후, 일 예에 따라 프로세서(130)는 통신 인터페이스(110)를 통해 제1 사용자 디바이스로부터 수신된 제1 사용자의 제1 위치 정보 및 제1 시점 정보에 기초하여 제1 출력 프레임(520)를 렌더링할 수 있다.
예를 들어, 제1 사용자가 게임 상에서 특정 위치에 위치하는 경우, 프로세서(130)는 제1 사용자 디바이스로부터 획득된 제1 사용자의 제1 위치 정보에 기초하여 사용자의 게임 상의 상대적인 좌표 정보를 획득하고, 획득된 좌표 정보에 기초하여 제1 배경 환경 데이터 중에서 배경 환경 내 제1 위치로부터 임계 범위(또는, 임계 픽셀 범위) 내의 위치에 대응되는 픽셀에 대응되는 배경 환경 데이터(511)를 식별할 수 있다. 이 후, 프로세서(130)는 획득된 제1 사용자의 시점 정보에 기초하여 배경 환경 데이터 중 일부(511)를 업데이트하고, 업데이트된 배경 환경 데이터 중 일부를 렌더링하여 제1 출력 프레임(520)를 획득할 수 있다.
한편, 일 예에 따라, 프로세서(130)는 제2 사용자 디바이스로부터 수신된 제2 식별 정보에 기초하여 제2 사용자가 제1 사용자와 동일한 게임을 실행중인 것으로 식별되면, 메모리(120)에 저장된 정보에 기초하여 제2 사용자가 실행중인 게임에 대한 제1 배경 환경 데이터(510)를 획득할 수 있다. 이 후, 일 예에 따라 프로세서(130)는 통신 인터페이스(110)를 통해 제2 사용자 디바이스로부터 수신된 제2 사용자의 제2 위치 정보 및 제2 시점 정보에 기초하여 제2 출력 프레임을 렌더링할 수 있다. 이 경우, 프로세서(130)는 제1 출력 프레임을 획득하는 방법과 동일한 방법으로 제2 출력 프레임을 획득할 수 있다.
이에 따르면, 프로세서(130)는 제1 사용자 및 제2 사용자가 동일한 플레잉 그룹에 속하는 경우, 플레잉하는 게임의 배경 환경에 대한 데이터를 이용하여 제1 및 제2 사용자 디바이스로 전송할 프레임을 렌더링할 수 있게 되며, 이에 따라 복수의 프로세서가 각각 프레임을 렌더링하는 경우에 비해 렌더링 비용(Rendering Cost)가 감소하게 된다.
도 6은 일 실시 예에 따른 출력 프레임을 업데이트하는 방법을 설명하기 위한 도면이다.
도 6에 따르면, 일 실시 예에 따라 프로세서(130)는 사용자 디바이스로부터 수신된 사용자 속성 정보에 기초하여 출력 프레임을 업데이트할 수 있다. 여기서, 출력 프레임이 업데이트된다는 것은 획득된 출력 프레임에 대응되는 픽셀 데이터가 사용자 속성 정보에 기초하여 업데이트되고, 업데이트된 픽셀 데이터에 기초하여 출력 프레임이 업데이트된다는 것을 의미한다.
한편, 사용자 속성 정보는 사용자(또는, 플레이어)에 대응되는 캐릭터의 형태, 위치, 시점, 상태 또는 움직임 중 적어도 하나에 대한 정보이며, 예를 들어 사용자 디바이스에서 실행되는 게임의 식별 정보, 게임에서 제공되는 배경 환경 내 사용자의 위치에 대한 정보 또는 사용자의 시점에 대한 정보 중 적어도 하나를 포함할 수 있다. 다만, 이에 한정되는 것은 아니며, 사용자의 커맨드 정보도 포함될 수 있음은 물론이다.
일 예에 따라, 프로세서(130)는 제1 사용자 디바이스로부터 수신된 제1 사용자 커맨드 정보(또는, 제1 입력 정보)에 기초하여 제1 출력 프레임을 업데이트하고, 제2 사용자 디바이스로부터 수신된 제2 사용자 커맨드 정보(또는, 제2 입력 정보)에 기초하여 제2 출력 프레임을 업데이트할 수 있다.
여기서, 사용자 커맨드 정보(또는, 입력 정보)는 사용자에 대응되는 캐릭터의 움직임, 상태, 위치 또는 형태 중 적어도 하나를 조작하기 위한 사용자 입력에 대한 정보이다. 다만, 이에 한정되는 것은 아니며 일 예에 따라 사용자가 게임을 플레잉하는 동안 입력되는 사용자 입력 정보를 포함할 수도 있다. 예를 들어, 프로세서(130)는 제1 사용자 디바이스로부터 수신된 사용자 입력 정보, 예를 들어 제1 사용자에 대응되는 캐릭터 스킬 정보에 기초하여 제1 출력 프레임을 업데이트할 수도 있다.
예를 들어, 프로세서(130)는 출력 프레임에 대응되는 픽셀 데이터를 사용자 입력 정보 또는 사용자 커맨드 정보에 기초하여 업데이트하고, 업데이트된 픽셀 데이터에 대응되는 출력 프레임을 획득함으로서 업데이트된 출력 프레임을 획득할 수 있다.
이 후, 일 실시 예에 따라, 프로세서(130)는 통신 인터페이스(110)를 통해 업데이트된 출력 프레임(620)을 사용자 디바이스로 전송할 수 있다. 일 예에 따라, 프로세서(130)는 업데이트된 제1 출력 프레임을 제1 사용자 디바이스로 전송하고 업데이트된 제2 출력 프레임을 제2 사용자 디바이스로 각각 전송할 수 있다.
한편, 일 실시 예에 따라 프로세서(130)는 출력 프레임 및 업데이트된 출력 프레임의 픽셀 데이터 값을 비교하여, 픽셀 값이 동일한 픽셀을 포함하는 프레임과 픽셀 값이 상이한 픽셀을 포함하는 프레임을 각각 렌더링할 수 있다. 이에 대하여는 도 7을 통해 자세히 설명하도록 한다.
도 7은 일 실시 예에 따른 출력 프레임을 렌더링하는 방법을 설명하기 위한 도면이다.
도 7에 따르면, 일 실시 예에 따라 프로세서(130)는 획득된 출력 프레임에 대응되는 픽셀 데이터에 기초하여 출력 프레임을 렌더링할 수 있다. 일 예에 따라, 프로세서(130)는 제1 출력 프레임에 대응되는 픽셀 데이터 및 제1 사용자 커맨드 정보에 기초하여 업데이트된 픽셀 데이터를 픽셀 별로 비교하여 픽셀 값이 동일한 픽셀을 포함하는 제1 프라이머리(primary) 프레임(710) 및 픽셀 값이 상이한 픽셀을 포함하는 제1 세컨더리(secondary) 프레임(720)을 각각 렌더링할 수 있다. 일 예에 따라 프로세서(130)는 제1 프라이머리(primary) 프레임(710) 및 제1 세컨더리(secondary) 프레임(720)을 상이한 주파수로 메모리(120)에 라이트하고, 동일한 주파수로 리딩하여 제1 프라이머리(primary) 프레임(710) 및 제1 세컨더리(secondary) 프레임(720)를 렌더링할 수 있다. 낮은 성능의 GPU를 이용하더라도 고해상도 이미지 프레임을 출력할 수 있게 된다.
이 후, 일 예에 따라 프로세서(130)는 렌더링된 제1 프라이머리 프레임(720) 및 제1 세컨더리 프레임(720)을 결합하여 제1 출력 프레임(730)을 획득하고, 이를 통신 인터페이스(110)를 통해 제1 사용자 디바이스로 전송할 수 있다. 일 예로, 프로세서(130)는 알파 블렌딩을 이용하여 제1 프라이머리 프레임(710) 및 제1 세컨더리 프레임(720)을 결합할 수 있다. 예를 들어, 프로세서(130)는 제1 프라이머리 프레임(710) 및 제1 세컨더리 프레임(720)에 대응되는 알파 블렌딩 이미지(또는 알파 맵)에 기초하여 제1 출력 프레임(730)을 획득할 수 있다. 예를 들어, 제1 프라이머리 프레임(710)의 제1 픽셀 위치의 알파 값을 255로 설정하고, 제1 세컨더리 프레임(720)의 제2 픽셀 위치에 알파 값이 0으로 설정하여 제1 프라이머리 프레임(710) 및 제1 세컨더리 프레임(720)에 포함된 이미지를 믹싱할 수 있다. 다른 예로, 프로세서(130)는 제1 프라이머리 프레임(710)의 제1 픽셀 위치에 대응되는 픽셀 좌표 정보 및 제2 세컨더리 프레임(720)의 제1 픽셀 위치에 대응되는 픽셀 좌표 정보에 기초하여 제1 프라이머리 프레임(710) 및 제1 세컨더리 프레임(720)에 포함된 이미지를 믹싱할 수 있다.
또는, 일 예에 따라 프로세서(130)는 렌더링된 제1 프라이머리 프레임(720) 및 제1 세컨더리 프레임(720)을 각각 제1 사용자 디바이스로 전송하고, 제1 사용자 디바이스가 이를 결합하여 제1 출력 프레임을 획득할 수도 있다. 이는 도 8a 및 8b를 통해 자세히 설명하도록 한다.
한편, 일 예에 따라 프로세서(130)는 제2 출력 프레임에 대응되는 픽셀 데이터 및 제2 사용자 커맨드 정보에 기초하여 업데이트된 픽셀 데이터를 픽셀 별로 비교하여 픽셀 값이 동일한 픽셀을 포함하는 제2 프라이머리 프레임 및 픽셀 값이 상이한 픽셀을 포함하는 제2 세컨더리 프레임을 각각 렌더링할 수 있다.
이 후, 일 예에 따라 프로세서(130)는 렌더링된 제2 프라이머리 프레임 및 제2 세컨더리 프레임을 결합하여 제2 출력 프레임을 획득하고, 이를 통신 인터페이스(110)를 통해 제2 사용자 디바이스로 전송할 수 있다. 또는, 일 예에 따라 프로세서(130)는 렌더링된 제2 프라이머리 프레임 및 제2 세컨더리 프레임을 각각 제2 사용자 디바이스로 전송하고, 제2 사용자 디바이스가 이를 결합하여 제2 출력 프레임을 획득할 수도 있다. 이는 도 8a 및 8b를 통해 자세히 설명하도록 한다.
한편, 일 실시 예에 따라 제1 프라이머리 프레임 및 제2 프라이머리 프레임은 제1 배경 환경 데이터에 기초하여 각각 렌더링될 수 있다. 일 실시 예에 따라, 제1 세컨더리 프레임 및 제2 세컨더리 프레임은 제1 사용자 커맨드 정보 및 제2 사용자 커맨드 정보에 기초하여 각각 렌더링될 수 있다.
출력 프레임 및 업데이트된 출력 프레임 중 픽셀 값이 동일한 픽셀에 대응되는 프라이머리 프레임은 픽셀 값의 변경이 없는 픽셀으로서, 일반적으로 배경 환경에 대한 이미지를 포함하는 부분이다. 이에 따라, 프로세서(130)는 획득된 배경 환경 데이터에 기초하여 프라이머리 프레임에 대응되는 픽셀 값을 획득할 수 있으며, 이에 따라 효율적인 렌더링이 가능하게 된다.
한편, 세컨더리 프레임은 사용자 입력 또는 사용자 커맨드에 기초하여 프레임이 변경되는 픽셀에 대응되는 프레임으로서, 프로세서(130)는 프라이머리 프레임에 비하여 상대적으로 적은 범위의 픽셀에 대한 렌더링만 진행하면 되므로, 효율적인 렌더링이 가능하게 된다.
도 8a 및 8b는 일 실시 예에 따른 프레임을 사용자 디바이스로 전송하는 방법을 설명하기 위한 도면이다.
먼저, 도 8a에 따르면, 일 실시 예에 따라 제어 방법은 제1 출력 프레임에 대응되는 픽셀 데이터 및 제1 사용자 커맨드 정보에 기초하여 업데이트된 픽셀 데이터를 픽셀 별로 비교할 수 있다(S810). 이어서, 일 실시 예에 따라 제어 방법은 픽셀 값이 동일한 픽셀을 포함하는 제1 프라이머리 프레임 및 픽셀 값이 상이한 제1 세컨더리 프레임에 대한 정보를 각각 획득하고, 획득된 정보에 기초하여 제1 프라이머리 프레임 및 제1 세컨더리 프레임을 각각 렌더링할 수 있다(S820).
이어서, 일 실시 예에 따라 제어 방법은 제2 출력 프레임에 대응되는 픽셀 데이터 및 제2 사용자 커맨드 정보에 기초하여 업데이트된 픽셀 데이터를 픽셀 별로 비교할 수 있다(S830). 이어서, 일 실시 예에 따라 제어 방법은 픽셀 값이 동일한 픽셀을 포함하는 제2 프라이머리 프레임 및 픽셀 값이 상이한 제2 세컨더리 프레임에 대한 정보를 각각 획득하고, 획득된 정보에 기초하여 제2 프라이머리 프레임 및 제2 세컨더리 프레임을 렌더링할 수 있다(S840).
이어서, 일 실시 예에 따라 제어 방법은 제1 프라이머리 프레임 및 제1 세컨더리 프레임 각각을 제1 사용자 디바이스로 전송할 수 있다(S850). 이어서, 일 실시 예에 따라 제어 방법은 제2 프라이머리 프레임 및 제2 세컨더리 프레임 각각을 제2 사용자 디바이스로 전송할 수 있다(S860).
이에 따르면, 프로세서(130)는 획득된 출력 프레임에 대응되는 프라이머리 프레임 및 세컨더리 프레임을 각각 사용자 디바이스로 전송할 수 있고, 사용자 디바이스는 수신된 프라이머리 프레임 및 세컨더리 프레임을 결합하여 출력 프레임을 획득할 수 있게 된다. 다만, 이에 한정되는 것은 아니며 하기의 도 8b와 같이 프로세서(130)가 프라이머리 프레임 및 세컨더리 프레임을 결합하여 획득된 출력 프레임을 사용자 디바이스로 전송할 수도 있다.
도 8b에 따르면, 일 실시 예에 따라 S840 단계에서 제어 방법은 제1 프라이머리 프레임 및 제1 세컨더리 프레임을 결합하여 제1 출력 프레임을 획득할 수 있다(S870). 일 예에 따라, 프로세서(130)는 획득된 제1 프라이머리 프레임의 제1 픽셀 및 제1 프라이머리 프레임의 제1 픽셀의 위치에 대응되는 제1 세컨더리 프레임의 제1 픽셀의 픽셀 값을 더하여, 결합된 제1 출력 프레임을 획득할 수 있다. 이 후, 일 실시 예에 따라 제어 방법은 제1 출력 프레임을 제1 사용자 디바이스로 전송할 수 있다(S880).
일 실시 예에 따라 제어 방법은 제2 프라이머리 프레임 및 제2 세컨더리 프레임을 결합하여 업데이트된 제2 출력 프레임을 획득할 수 있다(S890). 일 예에 따라, 프로세서(130)는 획득된 제2 프라이머리 프레임의 제1 픽셀 및 상술한 제1 픽셀의 위치에 대응되는 제2 세컨더리 프레임의 제1 픽셀의 픽셀 값을 더하여, 결합된 제2 출력 프레임을 획득할 수 있다. 이어서, 일 실시 예에 따라 제어 방법은 획득된 제2 출력 프레임을 제2 사용자 디바이스로 전송할 수 있다(S895).
한편, 일 실시 예에 따라 전자 장치(100)가 사용자 디바이스로 구현되는 경우, 사용자 디바이스인 전자 장치(100)는 상술한 과정을 통해 타 사용자 디바이스에 대응되는 출력 프레임에 대한 정보를 획득하고, 이를 통신 인터페이스(110)를 통해 타 사용자 디바이스로 전송할 수도 있다.
일 예에 따라, 전자 장치(100)가 제1 사용자 디바이스로 구현되는 경우, 프로세서(130)는 제1 출력 프레임을 획득하기 위한 제1 프라이머리 프레임 및 제1 세컨더리 프레임을 각각 획득하고, 이를 결합하여 제1 출력 프레임을 획득할 수 있다. 프로세서(130)는 획득된 제1 출력 프레임을 디스플레이(미도시)를 통해 출력할 수 있게 된다.
또는, 일 예에 따라 전자 장치(100)가 제1 사용자 디바이스로 구현되는 경우, 프로세서(130)는 제2 프라이머리 프레임 및 제2 세컨더리 프레임을 각각 획득하고, 이를 결합하여 제2 출력 프레임을 획득할 수 있다. 이어서, 일 예에 따라 프로세서는 획득된 제2 출력 프레임을 통신 인터페이스(110)를 통해 제2 사용자 디바이스로 전송할 수도 있다.
또는, 일 예에 따라 전자 장치(100)는 제2 프라이머리 프레임 및 제2 세컨더리 프레임 각각을 통신 인터페이스(110)를 통해 제2 사용자 디바이스로 전송할 수도 있다. 이 경우, 제2 사용자 디바이스의 프로세서(120)는 수신된 제2 프라이머리 프레임 및 제2 세컨더리 프레임을 결합하여 제2 출력 프레임을 획득할 수 있게 된다.
도 2로 돌아와서, 일 실시 예에 따라 전자 장치(100)의 프로세서가 복수 개인 경우, 전자 장치(100)는 복수의 플레잉 그룹을 식별하는 프로세서 및 출력 프레임을 렌더링하는 프로세서를 각각 구비할 수 있다.
일 실시 예에 따라, 하나 이상의 프로세서(130)는, 복수의 디바이스에서 실행 중인 게임이 동일한 플레잉 그룹에 속하는지 여부에 기초하여 제1 플레잉 그룹 및 제2 플레잉 그룹을 식별하고, 메모리에 저장된 배경 환경 데이터 중 제1 플레잉 그룹 및 제2 플레잉 그룹 각각에 대응되는 배경 환경 데이터를 식별하는 메인 프로세서, 제1 플레잉 그룹에 대응되는 배경 환경 데이터에 기초하여 제1 플레잉 그룹에 속하는 복수의 사용자 디바이스에 대응되는 출력 프레임을 렌더링하는 제1 서브 프로세서 및 제2 플레잉 그룹에 대응되는 배경 환경 데이터에 기초하여 제2 플레잉 그룹에 속하는 복수의 사용자 디바이스에 대응되는 출력 프레임을 렌더링하는 제2 서브 프로세서를 포함할 수 있다.
이 경우, 일 예에 따라, 제1 플레잉 그룹과 제2 플레잉 그룹은 사용자에 할당된 서버의 IP 주소가 상이한 그룹일 수 있다. 또는, 일 예에 따라 제1 플레잉 그룹과 제2 플레잉 그룹은 상이한 타입의 게임을 플레잉하거나 상이한 타입의 맵을 플레잉하는 그룹일 수 있다.
도 9는 일 실시 예에 따른 전자 장치의 세부 구성을 나타내는 블록도이다.
도 9에 따르면, 전자 장치(100')는 통신 인터페이스(110), 메모리(120), 프로세서(130), 사용자 인터페이스(140), 마이크(150), 스피커(160), 디스플레이(170), 카메라(180) 및 센서(190)를 포함할 수 있다. 도 9에 도시된 구성 중 도 2에 도시된 구성과 중복되는 구성에 대해서는 자세한 설명을 생략하도록 한다.
사용자 인터페이스(140)는 버튼, 터치 패드, 마우스 및 키보드와 같은 장치로 구현되거나, 상술한 디스플레이 기능 및 조작 입력 기능도 함께 수행 가능한 터치 스크린, 리모콘 송수신부 등으로 구현될 수 있다. 리모콘 송수신부는 적외선 통신, 블루투스 통신 또는 Wi-Fi 중 적어도 하나의 통신 방식을 통해 외부 원격 제어 장치로부터 리모콘 신호를 수신하거나, 리모콘 신호를 송신할 수 있다.
마이크(150)는 소리를 획득하여 전기 신호로 변환하는 모듈을 의미할 수 있으며, 콘덴서 마이크, 리본 마이크, 무빙코일 마이크, 압전소자 마이크, 카본 마이크, MEMS(Micro Electro Mechanical System) 마이크일 수 있다. 또한, 무지향성, 양지향성, 단일지향성, 서브 카디오이드(Sub Cardioid), 슈퍼 카디오이드(Super Cardioid), 하이퍼 카디오이드(Hyper Cardioid)의 방식으로 구현될 수 있다.
전자 장치(100)가 마이크(180)를 통해 수신된 사용자 음성 신호에 대응되는 동작을 수행하는 다양한 실시 예가 있을 수 있다.
일 예로, 전자 장치(100)는 마이크(180)를 통해 수신된 사용자 음성 신호에 기초하여 디스플레이(140)를 제어할 수 있다. 예를 들어, A 컨텐츠를 표시하기 위한 사용자 음성 신호가 수신되면, 전자 장치(100)는 A컨텐츠를 표시하도록 디스플레이(140)를 제어할 수 있다.
다른 예로, 전자 장치(100)는 마이크(180)를 통해 수신된 사용자 음성 신호에 기초하여 전자 장치(100)와 연결된 외부 디스플레이 장치를 제어할 수 있다. 구체적으로, 전자 장치(100)는 사용자 음성 신호에 대응되는 동작이 외부 디스플레이 장치에서 수행되도록 외부 디스플레이 장치를 제어하기 위한 제어 신호를 생성하고, 생성된 제어 신호를 외부 디스플레이 장치에 전송할 수 있다. 여기서, 전자 장치(100)는 외부 디스플레이 장치를 제어하기 위한 원격 제어 어플리케이션을 저장할 수 있다. 그리고, 전자 장치(100)는 생성된 제어 신호를 블루투스, Wi-Fi 또는 적외선 중 적어도 하나의 통신 방법을 이용하여 외부 디스플레이 장치에 전송할 수 있다. 예를 들어, A 컨텐츠를 표시하기 위한 사용자 음성 신호가 수신되면, 전자 장치(100)는 A 컨텐츠가 외부 디스플레이 장치에서 표시되도록 제어하기 위한 제어 신호를 외부 디스플레이 장치에 전송할 수 있다. 여기서, 전자 장치(100)는 스마트폰, AI 스피커 등 원격 제어 어플리케이션을 설치할 수 있는 다양한 단말 장치를 의미할 수 있다.
또 다른 예로, 전자 장치(100')는 마이크(150)를 통해 수신된 사용자 음성 신호에 기초하여 전자 장치(100')와 연결된 외부 디스플레이 장치를 제어하기 위하여 원격 제어 장치를 이용할 수 있다. 구체적으로, 전자 장치(100')는 사용자 음성 신호에 대응되는 동작이 외부 디스플레이 장치에서 수행되도록 외부 디스플레이 장치를 제어하기 위한 제어 신호를 원격 제어 장치에 전송할 수 있다. 그리고, 원격 제어 장치는 전자 장치(100')로부터 수신된 제어 신호를 외부 디스플레이 장치에 전송할 수 있다. 예를 들어, A 컨텐츠를 표시하기 위한 사용자 음성 신호가 수신되면, 전자 장치(100')는 A 컨텐츠가 외부 디스플레이 장치에서 표시되도록 제어하기 위한 제어 신호를 원격 제어 장치에 전송하고, 원격 제어 장치는 수신된 제어 신호를 외부 디스플레이 장치에 전송할 수 있다.
스피커(160)는, 고음역대 소리 재생을 위한 트위터, 중음역대 소리 재생을 위한 미드레인지, 저음역대 소리 재생을 위한 우퍼, 극저음역대 소리 재생을 위한 서브우퍼, 공진을 제어하기 위한 인클로저, 스피커에 입력되는 전기 신호 주파수를 대역 별로 나누는 크로스오버 네트워크 등으로 이루어질 수 있다.
스피커(160)는, 음향 신호를 전자 장치(100')의 외부로 출력할 수 있다. 스피커(160)는 멀티미디어 재생, 녹음 재생, 각종 알림음, 음성 메시지 등을 출력할 수 있다. 전자 장치(100')는 스피커(160)와 같은 오디오 출력 장치를 포함할 수 있으나, 오디오 출력 단자와 같은 출력 장치를 포함할 수 있다. 특히, 스피커(160)는 획득한 정보, 획득한 정보에 기초하여 가공·생산한 정보, 사용자 음성에 대한 응답 결과 또는 동작 결과 등을 음성 형태로 제공할 수 있다.
디스플레이(170)는 자발광 소자를 포함하는 디스플레이 또는, 비자발광 소자 및 백라이트를 포함하는 디스플레이로 구현될 수 있다. 예를 들어, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, LED(Light Emitting Diodes), 마이크로 LED(micro LED), Mini LED, PDP(Plasma Display Panel), QD(Quantum dot) 디스플레이, QLED(Quantum dot light-emitting diodes) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(170) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(170)는 터치 센서와 결합된 터치 스크린, 플렉시블 디스플레이(flexible display), 롤러블 디스플레이(rollable display), 3차원 디스플레이(3D display), 복수의 디스플레이 모듈이 물리적으로 연결된 디스플레이 등으로 구현될 수 있다. 프로세서(120)는 상술한 다양한 실시 예에 따라 획득된 출력 영상을 출력하도록 디스플레이(170)를 제어할 수 있다. 여기서, 출력 영상은, 4K 또는 8K 이상의 고해상도 영상일 수 있다.
일 실시 예에 따라, 전자 장치(100')는 디스플레이(170)를 포함할 수 있다. 구체적으로, 전자 장치(100')는 획득된 이미지 또는 컨텐츠를 디스플레이(170)에 직접 표시할 수 있다.
한편, 다른 실시 예에 따라, 전자 장치(100')는 디스플레이(170)를 포함하지 않을 수 있다. 전자 장치(100')는 외부 디스플레이 장치와 연결될 수 있으며, 전자 장치(100')에 저장된 이미지 또는 컨텐츠를 외부 디스플레이 장치에 전송할 수 있다. 구체적으로, 전자 장치(100')는 외부 디스플레이 장치에서 이미지 또는 컨텐츠가 표시되도록 제어하기 위한 제어 신호와 함께 이미지 또는 컨텐츠를 외부 디스플레이 장치에 전송할 수 있다.
여기서, 외부 디스플레이 장치는 전자 장치(100')와 통신 인터페이스(110) 또는 입출력 인터페이스(미도시)를 통해 연결될 수 있다. 예를 들어, 전자 장치(100')는 STB(Set Top Box)와 같이 디스플레이를 포함하지 않을 수 있다. 또한, 전자 장치(100')는 텍스트 정보 등의 간단한 정보만을 표시할 수 있는 소형 디스플레이만을 포함할 수 있다. 여기서, 전자 장치(100')는 이미지 또는 컨텐츠를 통신 인터페이스(110)를 통해 유선 또는 무선으로 외부 디스플레이 장치에 전송하거나 입출력 인터페이스(미도시)를 통해 외부 디스플레이 장치에 전송할 수 있다.
한편, 입출력 인터페이스(미도시)는 HDMI(High Definition Multimedia Interface), MHL (Mobile High-Definition Link), USB (Universal Serial Bus), DP(Display Port), 썬더볼트(Thunderbolt), VGA(Video Graphics Array)포트, RGB 포트, D-SUB(D-subminiature), DVI(Digital Visual Interface) 중 어느 하나의 인터페이스일 수 있다. 입출력 인터페이스(미도시)는 오디오 및 비디오 신호 중 적어도 하나를 입출력 할 수 있다. 구현 예에 따라, 입출력 인터페이스(미도시)는 오디오 신호만을 입출력하는 포트와 비디오 신호만을 입출력하는 포트를 별개의 포트로 포함하거나, 오디오 신호 및 비디오 신호를 모두 입출력하는 하나의 포트로 구현될 수 있다. 한편, 전자 장치(100')는 입출력 인터페이스(미도시)를 통해 오디오 및 비디오 신호 중 적어도 하나를 외부 장치(예를 들어, 외부 디스플레이 장치 또는 외부 스피커)에 전송할 수 있다. 구체적으로, 입출력 인터페이스(미도시)에 포함된 출력 포트가 외부 장치와 연결될 수 있으며, 전자 장치(100')는 오디오 및 비디오 신호 중 적어도 하나를 출력 포트를 통해 외부 장치에 전송할 수 있다.
카메라(180)는 일정한 화각(Field of View; FoV) 내에 영역에 대한 촬영을 수행하여 영상을 획득할 수 있다. 카메라(180)는 오브젝트에 의해 반사되어 수신되는 가시광 기타 광학 신호를 이미지 센서로 포커싱하는 렌즈 및 가시광 기타 광학 신호를 감지할 수 있는 이미지 센서를 포함할 수 있다. 여기서, 이미지 센서는 복수의 픽셀로 구분되는 2D의 픽셀 어레이를 포함할 수 있다.
적어도 하나의 센서(190, 이하 센서)는 다양한 타입의 복수의 센서를 포함할 수 있다. 센서(190)는 물리량을 계측하거나 전자 장치(100')의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서(190)는 카메라를 포함할 수 있으며, 카메라는 오브젝트에 의해 반사되어 수신되는 가시광 기타 광학 신호를 이미지 센서로 포커싱하는 렌즈 및 가시광 기타 광학 신호를 감지할 수 있는 이미지 센서를 포함할 수 있다. 여기서, 이미지 센서는 복수의 픽셀로 구분되는 2D의 픽셀 어레이를 포함할 수 있으며, 일 예에 따른 카메라는 뎁스 카메라로 구현될 수 있다. 또한, 센서(190)는 라이더(LIDAR, Light Detection And Ranging) 센서 및 TOF(Time of flight) 센서와 같은 거리 센서를 포함할 수 있다.
그 밖에 적어도 하나의 센서(190)는 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러(color) 센서(예: RGB(red, green, blue) 센서), 생체 센서, 온/습도 센서, 조도 센서 또는 UV(ultra violet) 센서 중의 적어도 하나를 포함할 수도 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다. 또는 상술한 본 개시의 다양한 실시 예들에 따른 방법들은 딥 러닝 기반의 학습된 신경망(또는 심층 학습된 신경망) 즉, 학습 네트워크 모델을 이용하여 수행될 수 있다. 또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다. 또한, 상술한 본 개시의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버, 또는 전자 장치의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 디스플레이 장치(예: 디스플레이 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    통신 인터페이스;
    적어도 하나의 게임 각각에 대응되는 배경 데이터(Background environment data)가 저장된 메모리; 및
    제1 기기로부터 수신된 제1 식별 정보 및 제2 기기로부터 수신된 제2 식별 정보에 기초하여 상기 제1 기기 및 상기 제2 기기가 동일 그룹에 속하면, 상기 저장된 배경 데이터 중 상기 제1 식별 정보 및 상기 제2 식별 정보에 대응되는 제1 배경 데이터를 획득하고,
    상기 제1 기기로부터 수신된 상기 배경 내 제1 위치 정보 및 제1 시점 정보에 기초하여 상기 제1 배경 데이터로부터 획득된, 상기 제1 기기에 대응되는 제1 출력 프레임을 상기 제1 기기로 전송하고,
    상기 제2 기기로부터 수신된 상기 배경 내 제2 위치 정보 및 제2 시점 정보에 기초하여 상기 제1 배경 데이터로부터 획득된, 상기 제2 기기에 대응되는 제2 출력 프레임을 상기 제2 기기로 전송하는 하나 이상의 프로세서;를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 제1 기기로부터 수신된 제1 입력 정보에 기초하여 상기 제1 출력 프레임을 업데이트하고, 상기 제2 기기로부터 수신된 제2 입력 정보에 기초하여 상기 제2 출력 프레임을 업데이트하고,
    상기 통신 인터페이스를 통해 상기 업데이트된 제1 출력 프레임을 상기 제1 기기로 전송하고 상기 업데이트된 제2 출력 프레임을 상기 제2 기기로 전송하는, 전자 장치.
  3. 제2항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 제1 출력 프레임에 대응되는 픽셀 데이터 및 상기 제1 입력 정보에 기초하여 업데이트된 픽셀 데이터를 픽셀 별로 비교하여 픽셀 값이 동일한 픽셀을 포함하는 제1 프라이머리(primary) 프레임 및 픽셀 값이 상이한 픽셀을 포함하는 제1 세컨더리(secondary) 프레임을 각각 렌더링하고,
    상기 제2 출력 프레임에 대응되는 픽셀 데이터 및 상기 제2 입력 정보에 기초하여 업데이트된 픽셀 데이터를 픽셀 별로 비교하여 픽셀 값이 동일한 픽셀을 포함하는 제2 프라이머리 프레임 및 픽셀 값이 상이한 픽셀을 포함하는 제2 세컨더리 프레임을 각각 렌더링하는, 전자 장치.
  4. 제3항에 있어서,
    상기 제1 프라이머리 프레임 및 제2 프라이머리 프레임은,
    상기 제1 배경 데이터에 기초하여 렌더링되고,
    상기 제1 세컨더리 프레임 및 상기 제2 세컨더리 프레임은,
    상기 제1 입력 정보 및 상기 제2 입력 정보에 기초하여 렌더링되는, 전자 장치.
  5. 제3항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 제1 프라이머리 프레임 및 상기 제1 세컨더리 프레임 각각을 상기 제1 기기로 전송하고,
    상기 제2 프라이머리 프레임 및 상기 제2 세컨더리 프레임 각각을 상기 제2 기기로 전송하는, 전자 장치.
  6. 제3항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 제1 프라이머리 프레임 및 상기 제1 세컨더리 프레임에 기초하여 획득된 상기 업데이트된 제1 출력 프레임을 상기 제1 기기로 전송하고,
    상기 제2 프라이머리 프레임 및 상기 제2 세컨더리 프레임에 기초하여 획득된 상기 업데이트된 제2 출력 프레임을 상기 제2 기기로 전송하는, 전자 장치.
  7. 제1항에 있어서,
    상기 하나 이상의 프로세서는,
    복수의 기기의 게임이 동일한 그룹에 속하는지 여부에 따라 식별되는 제1 그룹 및 제2 그룹에 대하여, 상기 저장된 배경 데이터 중 상기 제1 그룹 및 상기 제2 그룹 각각에 대응되는 배경 데이터를 식별하는 메인 프로세서;
    상기 제1 그룹에 대응되는 배경 데이터에 기초하여 상기 제1 그룹에 속하는 복수의 기기에 대응되는 출력 프레임을 렌더링하는 제1 서브 프로세서; 및
    상기 제2 그룹에 대응되는 배경 데이터에 기초하여 상기 제2 그룹에 속하는 복수의 기기에 대응되는 출력 프레임을 렌더링하는 제2 서브 프로세서;를 포함하는 전자 장치.
  8. 제1항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 제1 식별 정보 및 상기 제2 식별 정보에 기초하여 상기 제1 기기 및 상기 제2 기기의 동일 서버 접속이 식별되면,
    상기 제1 기기 및 상기 제2 기기가 동일한 그룹에 속하는 것으로 식별하는, 전자 장치.
  9. 제1항에 있어서,
    상기 적어도 하나의 게임은,
    동일한 게임 환경을 공유하는 멀티 플레이어 클라우드 게임인, 전자 장치.
  10. 복수의 기기로 프레임을 전송하는 전자 장치의 제어 방법에 있어서,
    제1 기기 및 제2 기기로부터 실행 중인 게임의 식별 정보, 상기 게임에서 제공되는 배경 내의 위치 정보, 및 시점 정보를 각각 수신하는 단계;
    상기 제1 기기로부터 수신된 게임의 제1 식별 정보 및 상기 제2 기기로부터 수신된 게임의 제2 식별 정보에 기초하여 상기 제1 기기 및 상기 제2 기기가 동일 그룹에 속하면, 메모리에 저장된 적어도 하나의 게임 각각에 대응되는 배경 데이터 중 상기 제1 식별 정보 및 상기 제2 식별 정보에 대응되는 제1 배경 데이터를 획득하는 단계;
    상기 제1 기기로부터 수신된 상기 배경 내의 제1 위치 정보 및 제1 시점 정보에 기초하여 상기 제1 배경 데이터로부터 획득한, 상기 제1 기기에 대응되는 제1 출력 프레임을 상기 제1 기기로 전송하는 단계; 및
    상기 제2 기기로부터 수신된 상기 배경 내의 제2 위치 정보 및 제2 시점 정보에 기초하여 상기 제1 배경 데이터로부터 획득한, 상기 제2 기기에 대응되는 제2 출력 프레임을 상기 제2 기기로 전송하는 단계;를 포함하는, 제어 방법.
  11. 제10항에 있어서,
    상기 제어 방법은,
    상기 제1 기기로부터 수신된 제1 입력 정보에 기초하여 상기 제1 출력 프레임을 업데이트하고, 상기 제2 기기로부터 수신된 제2 입력 정보에 기초하여 상기 제2 출력 프레임을 업데이트하는 단계;를 더 포함하고,
    상기 전송하는 단계는,
    상기 업데이트된 제1 출력 프레임을 상기 제1 기기로 전송하고 상기 업데이트된 제2 출력 프레임을 상기 제2 기기로 전송하는, 제어 방법.
  12. 제11항에 있어서,
    상기 제어 방법은,
    상기 제1 출력 프레임에 대응되는 픽셀 데이터 및 상기 제1 입력 정보에 기초하여 업데이트된 픽셀 데이터를 픽셀 별로 비교하여 픽셀 값이 동일한 픽셀을 포함하는 제1 프라이머리(primary) 프레임 및 픽셀 값이 상이한 픽셀을 포함하는 제1 세컨더리(secondary) 프레임을 각각 렌더링하고,
    상기 제2 출력 프레임에 대응되는 픽셀 데이터 및 상기 제2 입력 정보에 기초하여 업데이트된 픽셀 데이터를 픽셀 별로 비교하여 픽셀 값이 동일한 픽셀을 포함하는 제2 프라이머리 프레임 및 픽셀 값이 상이한 픽셀을 포함하는 제2 세컨더리 프레임을 각각 렌더링하는, 제어 방법.
  13. 제12항에 있어서,
    상기 제1 프라이머리 프레임 및 제2 프라이머리 프레임은,
    상기 제1 배경 데이터에 기초하여 렌더링되고,
    상기 제1 세컨더리 프레임 및 상기 제2 세컨더리 프레임은,
    상기 제1 입력 정보 및 상기 제2 입력 정보에 기초하여 렌더링되는, 제어 방법.
  14. 제12항에 있어서,
    상기 전송하는 단계는,
    상기 제1 프라이머리 프레임 및 상기 제1 세컨더리 프레임 각각을 상기 제1 기기로 전송하고 상기 제2 프라이머리 프레임 및 상기 제2 세컨더리 프레임 각각을 상기 제2 기기로 전송하는, 제어 방법.
  15. 복수의 기기로 프레임을 전송하는 전자 장치의 프로세서에 의해 실행되는 경우 상기 전자 장치가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독가능 기록매체에 있어서, 상기 동작은,
    제1 기기 및 제2 기기로부터 실행 중인 게임의 식별 정보, 상기 게임에서 제공되는 배경 환경 내의 위치 정보 및 시점 정보를 각각 수신하는 단계;
    상기 제1 기기로부터 수신된 게임의 제1 식별 정보 및 상기 제2 기기로부터 수신된 게임의 제2 식별 정보에 기초하여 상기 제1 기기 및 상기 제2 기기가 동일한 그룹에 속하면, 메모리에 저장된 적어도 하나의 게임 각각에 대응되는 배경 데이터 중 상기 제1 식별 정보 및 상기 제2 식별 정보에 대응되는 제1 배경 데이터를 획득하는 단계;
    상기 제1 기기로부터 수신된 상기 배경 내의 제1 위치 정보 및 제1 시점 정보에 기초하여 상기 제1 배경 데이터로부터 획득한, 상기 제1 기기에 대응되는 제1 출력 프레임을 상기 제1 기기로 전송하는 단계; 및
    상기 제2 기기로부터 수신된 상기 배경 내의 제2 위치 정보 및 제2 시점 정보에 기초하여 상기 제1 배경 데이터로부터 획득한, 상기 제2 기기에 대응되는 제2 출력 프레임을 상기 제2 기기로 전송하는 단계;를 포함하는, 컴퓨터 판독 가능 기록 매체.
PCT/KR2023/009043 2022-08-18 2023-06-28 복수의 기기로 프레임을 전송하는 전자 장치 및 이의 제어 방법 WO2024039053A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20220103646 2022-08-18
KR10-2022-0103646 2022-08-18
KR10-2022-0110213 2022-08-31
KR1020220110213A KR20240025418A (ko) 2022-08-18 2022-08-31 복수의 기기로 프레임을 전송하는 전자 장치 및 이의 제어 방법

Publications (1)

Publication Number Publication Date
WO2024039053A1 true WO2024039053A1 (ko) 2024-02-22

Family

ID=89942069

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/009043 WO2024039053A1 (ko) 2022-08-18 2023-06-28 복수의 기기로 프레임을 전송하는 전자 장치 및 이의 제어 방법

Country Status (1)

Country Link
WO (1) WO2024039053A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130082821A (ko) * 2011-12-20 2013-07-22 주식회사 엔씨소프트 클라우드 컴퓨팅 온라인게임 제공장치 및 그 제공방법
KR20200135866A (ko) * 2018-04-02 2020-12-03 구글 엘엘씨 대화형 클라우드 게임용 방법, 디바이스 및 시스템
JP2022066238A (ja) * 2017-04-03 2022-04-28 ソニー・インタラクティブエンタテインメント エルエルシー 分散型ゲームエンジンを使用するシステム及び方法
KR20220062095A (ko) * 2020-06-03 2022-05-13 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 랙 검출 방법 및 장치, 디바이스, 판독 가능형 저장 매체
KR20220079201A (ko) * 2020-12-04 2022-06-13 주식회사 넥슨코리아 게임 내에서 제공되는 광고를 운영하는 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130082821A (ko) * 2011-12-20 2013-07-22 주식회사 엔씨소프트 클라우드 컴퓨팅 온라인게임 제공장치 및 그 제공방법
JP2022066238A (ja) * 2017-04-03 2022-04-28 ソニー・インタラクティブエンタテインメント エルエルシー 分散型ゲームエンジンを使用するシステム及び方法
KR20200135866A (ko) * 2018-04-02 2020-12-03 구글 엘엘씨 대화형 클라우드 게임용 방법, 디바이스 및 시스템
KR20220062095A (ko) * 2020-06-03 2022-05-13 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 랙 검출 방법 및 장치, 디바이스, 판독 가능형 저장 매체
KR20220079201A (ko) * 2020-12-04 2022-06-13 주식회사 넥슨코리아 게임 내에서 제공되는 광고를 운영하는 방법 및 장치

Similar Documents

Publication Publication Date Title
WO2014182112A1 (en) Display apparatus and control method thereof
WO2018070803A1 (en) Method and apparatus for session control support for field of view virtual reality streaming
WO2021132812A1 (en) Display apparatus and control method thereof
WO2013032045A1 (en) Position-setup for gesture-based game system
WO2019135550A1 (en) Electronic device for controlling image display based on scroll input and method thereof
WO2019107719A1 (ko) 360 비디오에서 화자의 음성을 시각적으로 표시하기 위한 장치 및 방법
WO2024039053A1 (ko) 복수의 기기로 프레임을 전송하는 전자 장치 및 이의 제어 방법
WO2018110956A1 (en) Display apparatus presenting status of external electronic apparatus and controlling method thereof
WO2023128656A1 (ko) 디스플레이 장치 및 그 제어 방법
WO2020091182A1 (ko) 증강 현실을 이용한 영상 데이터를 제공하는 전자 장치 및 그 제어 방법
WO2021054511A1 (ko) 전자 장치 및 그 제어 방법
WO2022114516A1 (ko) 전자 장치 및 이의 제어 방법
WO2021118267A1 (ko) 전자 장치 및 그 제어 방법
KR20240025418A (ko) 복수의 기기로 프레임을 전송하는 전자 장치 및 이의 제어 방법
WO2023182667A1 (ko) 디스플레이 장치 및 그 제어 방법
WO2018174500A1 (ko) 현실 음향을 반영한 증강 현실 3차원 음향 구현 시스템 및 프로그램
WO2024111905A1 (ko) 전자 장치 및 이의 제어 방법
WO2024071660A1 (ko) 특정 공간을 주행하는 로봇 및 이의 제어 방법
WO2024010217A1 (ko) 특정 서비스를 수행하는 로봇 및 그 제어 방법
WO2024106790A1 (ko) 전자 장치 및 이의 제어 방법
WO2024101679A1 (ko) 전자 장치 및 이의 제어 방법
WO2024117548A1 (ko) 청소기 및 그 제어 방법
WO2024128512A1 (ko) 화면을 투사하는 동안 외부 객체를 식별하기 위한 전자 장치 및 그 방법
WO2023068471A1 (ko) 디스플레이 장치 및 그 제어 방법
WO2024080606A1 (ko) 전자 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23855024

Country of ref document: EP

Kind code of ref document: A1