WO2024071590A1 - 디스플레이 장치 및 그 동작 방법 - Google Patents

디스플레이 장치 및 그 동작 방법 Download PDF

Info

Publication number
WO2024071590A1
WO2024071590A1 PCT/KR2023/009130 KR2023009130W WO2024071590A1 WO 2024071590 A1 WO2024071590 A1 WO 2024071590A1 KR 2023009130 W KR2023009130 W KR 2023009130W WO 2024071590 A1 WO2024071590 A1 WO 2024071590A1
Authority
WO
WIPO (PCT)
Prior art keywords
display device
image
information
user
avatar
Prior art date
Application number
PCT/KR2023/009130
Other languages
English (en)
French (fr)
Inventor
이재황
김명재
서유진
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220169110A external-priority patent/KR20240045045A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2024071590A1 publication Critical patent/WO2024071590A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Definitions

  • Various embodiments relate to a display device capable of displaying a user image as an avatar image in a non-face-to-face group service and a method of operating the same.
  • non-face-to-face services have been increasing in line with the untact era
  • non-face-to-face group services that allow multiple users to participate remotely are increasing.
  • home fitness services that guide people to exercise in their personal space are being actively launched.
  • the method was to watch and follow the trainer's various guided exercise videos, or to conduct group fitness using a video conference system.
  • the user's video captured through the camera may be shared with other users, which may cause problems in protecting personal privacy.
  • users may not want their appearance (e.g., face, exercise clothes, etc.) shared with other users.
  • a display device may include a communication unit, a memory storing one or more display instructions, and at least one processor executing the one or more instructions.
  • the at least one processor may obtain a first user image captured by the first user by executing the one or more instructions.
  • the at least one processor may control the communication unit to transmit capability information of the display device to a server by executing the one or more instructions.
  • the at least one processor may receive information about a group service configuration method determined based on the capability information from the server by executing the one or more instructions.
  • the at least one processor may acquire the first avatar image and a second avatar image corresponding to another display device user based on the received information by executing the one or more instructions.
  • the at least one processor may control the display to display a group image including the first avatar image and the second avatar image by executing the one or more instructions.
  • a method of operating a display device may include acquiring a first user image that captures a first user.
  • a method of operating a display device may include transmitting capability information of the display device to a server.
  • a method of operating a display device may include receiving information about a configuration method of a group service determined based on the capability information from the server.
  • a method of operating a display device may include obtaining the first avatar image and a second avatar image corresponding to another display device user based on the received information.
  • a method of operating a display device may include displaying a group image including the first avatar image and the second avatar image.
  • FIG. 1 is a diagram illustrating a group service provision system according to an embodiment.
  • Figure 2 is a flowchart showing a method by which a server determines a group service configuration method according to an embodiment.
  • Figure 3 is a flowchart showing a method by which a display device determines a service configuration method according to an embodiment.
  • FIG. 4 is a flowchart showing a method of operating a plurality of display devices when a group service configuration method according to an embodiment is determined on a device basis.
  • FIG. 5 is a diagram illustrating operations of a plurality of display devices when the configuration of a group service according to an embodiment is device-based.
  • Figure 6 is a diagram illustrating an example of a user interface screen for setting avatar information according to an embodiment.
  • FIG. 7 is a flowchart showing a method of operating a plurality of display devices when a group service configuration method according to an embodiment is determined on a device basis.
  • FIG. 8 is a diagram illustrating operations of a plurality of display devices when the configuration of a group service according to an embodiment is device-based.
  • FIG. 9 is a flowchart illustrating a method of operating a plurality of display devices and a server when a group service configuration method according to an embodiment is determined to be server-based.
  • Figure 10 is a flowchart showing a method of operating a plurality of display devices and a server when a group service configuration method according to an embodiment is determined to be server-based.
  • Figure 11 is a block diagram showing the configuration of a display device according to an embodiment.
  • Figure 12 is a block diagram showing the configuration of a display device according to an embodiment.
  • Figure 13 is a block diagram showing the configuration of a server according to an embodiment.
  • the term “user” refers to a person who controls a system, function, or operation, and may include a developer, administrator, or installer.
  • 'image' or 'picture' may refer to a still image, a moving image composed of a plurality of consecutive still images (or frames), or a video.
  • FIG. 1 is a diagram illustrating a group service provision system according to an embodiment.
  • a group service providing system may include a server 200 and a plurality of display devices 101, 102, and 103.
  • a plurality of display devices 101, 102, and 103 may be devices connected to a group service.
  • a group service according to one embodiment may be a service that provides group activities in which multiple users can participate together non-face-to-face.
  • a plurality of display devices 101, 102, and 103 connected to the group service may share user images with each other.
  • Each of the plurality of display devices 101, 102, and 103 may display one group image including user images of the plurality of display devices 101, 102, and 103.
  • Each of the plurality of display devices 101, 102, and 103 may be a device for displaying an image by processing an image signal, and may be a device including a display.
  • Each of the plurality of display devices 101, 102, and 103 includes a TV, a smart monitor, a mobile phone, a smartphone, a tablet PC, a digital camera, a camcorder, a laptop computer, a desktop, E-book terminals, digital broadcasting terminals, PDAs (Personal Digital Assistants), PMPs (Portable Multimedia Players), navigation, MP3 players, DVD (Digital Video Disk) players, wearable devices, video walls, It can be implemented in various forms such as digital signage, digital information display (DID), projector display, refrigerator, washing machine, etc. Additionally, each of the plurality of display devices 101, 102, and 103 may be a fixed electronic device disposed in a fixed location or a portable electronic device, and may be a digital broadcast receiver capable of receiving digital broadcasting. However, it is not limited to this.
  • the group service is a service that provides group fitness
  • the plurality of display devices 101, 102, and 103 each capture a user's exercise image and display the exercise images of the plurality of users into one. It can be provided as a group video. Accordingly, users of a plurality of display devices can perform home fitness non-face-to-face while sharing not only their own exercise videos but also other users' exercise videos.
  • the user's exercise video may not include a video of the actual user, but may include an avatar video of the avatar moving, created based on the video of the actual user.
  • the exercise videos of a plurality of users included in the group fitness screen are displayed as actual images of the users, there may be cases where some users do not want to show their faces, exercise clothes, etc. to other users. Therefore, individual privacy can be protected by displaying the user's exercise video displayed on the group fitness screen as an avatar image.
  • the avatar image may be an image that moves like an actual user based on a captured image of the user.
  • the server 200 or a plurality of display devices 101, 102, and 103 according to an embodiment detects an object (e.g., a user) in an image taken of a user, obtains tracking information of the detected object, and , Based on tracking information, an avatar image can be created.
  • an object e.g., a user
  • the server 200 may determine whether to configure the group service based on the server or device based on the capacity information of the plurality of display devices 101, 102, and 103. there is. For example, the server 200 determines whether the operation of generating an avatar image will be performed on the server 200 (server-based service configuration) or on each of the display devices 101, 102, and 103 (device-based service configuration). configuration) can be determined.
  • each of the plurality of display devices 101, 102, and 103 may transmit an image of a user (user image) or information about the user image to the server 200.
  • the server 200 may generate an avatar image corresponding to the user image based on the user image or information about the user image received from each of the plurality of display devices 101, 102, and 103. .
  • the server 200 may generate one group image including avatar images corresponding to users of a plurality of display devices and transmit it to the plurality of display devices 101, 102, and 103.
  • the plurality of display devices 101, 102, and 103 may display one group image including avatar images corresponding to a plurality of users received from the server 200.
  • each of the plurality of display devices 101, 102, and 103 displays the user image from each of the plurality of display devices 101, 102, and 103 without going through the server 200. Based on this, an avatar image corresponding to the user image can be generated. Additionally, each of the plurality of display devices 101, 102, and 103 may transmit the generated avatar image to other display devices. Each of the plurality of display devices 101, 102, and 103 may generate and display one group image including an avatar image generated by the display device and an avatar image received from other display devices. However, it is not limited to this.
  • a method in which a display device according to an embodiment acquires one group image including an avatar image of a display device user and an avatar image of another display device user will be described in detail with reference to the drawings below.
  • Figure 2 is a flowchart showing a method by which a server determines a group service configuration method according to an embodiment.
  • the display device 100 according to the embodiment of FIG. 2 may be one of the plurality of display devices 101, 102, and 103 of FIG. 1.
  • the display device 100 may obtain device capability information (S210).
  • device capacity information includes type information about at least one processor included in the display device 100, capacity information, information about the number of cores, performance information, and type of memory included in the display device 100. It may include at least one of information, capacity information, and performance information.
  • the display device 100 may previously store device capability information.
  • the display device 100 may transmit the previously stored device capability information to the server 200 (S220).
  • the server 200 may receive device capability information from the display device 100 and determine a group service configuration method based on the received device capability information (S230).
  • the server 200 may store policy information (service decision policy information) for determining a service configuration method.
  • Service decision policy information includes device specifications (e.g., processor type information, capacity information, information on the number of cores, performance information, memory) required to perform operations included in group services such as creating an avatar on the device. It may include standards for type information, capacity information, performance information, etc.). However, it is not limited to this.
  • service decision policy information may change depending on the number of concurrent users connected to the server or network conditions. Additionally, as the functions provided by the group service change, service decision policy information may also change. However, it is not limited to this.
  • the server 200 may determine whether to configure the group service based on device or server based on device capability information and service decision policy information.
  • the server 200 may determine the configuration method of the group service by also considering the capacity information of other display devices connected to the group service. For example, the device specifications of some display devices connected to the group service meet the standards required to perform operations included in the group service, such as creating an avatar on the device, but the device specifications of the remaining display devices do not meet the above standards. If not satisfied, the server 200 may determine the configuration method of the group service based on the server to suit low-specification display devices. However, it is not limited to this.
  • the server 200 may transmit information about the determined service configuration method to the display device 100 (S240).
  • the display device 100 and the server 200 may perform operations according to the determined service configuration method (S250, S260).
  • the display device 100 when the configuration of a group service is device-based, the display device 100 according to one embodiment generates a first avatar image for a user image captured by a user, and uses the generated first avatar image to be used by another user. It can be transmitted to a display device. Additionally, the display device 100 may receive a second avatar image for a user of another display device from another display device. The display device 100 may generate and display a group image including a first avatar image and a second avatar image.
  • the display device 100 when the configuration of the group service is server-based, transmits the user image or information about the user image captured to the server 200, and the server 200 may generate a first avatar image based on the user image or information about the user image. Additionally, the server 200 may receive a user image of another display device user or information about the user image from another display device and generate a second avatar image. The server 200 may generate a group image including a first avatar image and a second avatar image and transmit it to display devices. Display devices can display group images received from the server 200.
  • Figure 3 is a flowchart showing a method by which a display device determines a service configuration method according to an embodiment.
  • the display device 100 according to the embodiment of FIG. 3 may be one of the plurality of display devices 101, 102, and 103 of FIG. 1.
  • the display device 100 may obtain device capability information (S310).
  • device capacity information includes type information about at least one processor included in the display device 100, capacity information, information about the number of cores, performance information, and type of memory included in the display device 100. It may include at least one of information, capacity information, and performance information.
  • the display device 100 may previously store device capability information.
  • the display device 100 may receive service policy information from the server 200 (S320).
  • the server 200 may store service decision policy information for determining a service configuration method.
  • Service decision policy information includes device specifications (e.g., processor type information, capacity information, information on the number of cores, performance information, memory) required to perform operations included in group services such as creating an avatar on the device. It may include standards for type information, capacity information, performance information, etc.). However, it is not limited to this.
  • service decision policy information may change depending on the number of concurrent users connected to the server or network conditions. Additionally, as the functions provided by the group service change, service decision policy information may also change. However, it is not limited to this.
  • the server 200 may transmit the service policy information to the display device 100.
  • the server 200 may transmit the service policy information to the display device 100.
  • it is not limited to this.
  • the display device 100 may determine a service configuration method based on device capability information and service decision policy information (S330).
  • the display device 100 can determine whether the configuration of the group service will be device-based or server-based, and can transmit information about the determined service configuration method to the server 200 (S340).
  • the display device 100 and the server 200 may perform operations according to the determined service configuration method (S350, S360).
  • the display device 100 when the configuration of the group service is device-based, the display device 100 according to one embodiment generates a first avatar image for the user image captured, and uses the generated first avatar image to be used by another user. It can be transmitted to a display device. Additionally, a second avatar image for a user of another display device may be received from another display device. The display device 100 may generate and display a group image including a first avatar image and a second avatar image.
  • the display device 100 when the configuration of the group service is server-based, transmits the user image or information about the user image captured to the server 200, and the server 200 may generate a first avatar image based on the user image or information about the user image. Additionally, the server 200 may receive a user image of another display device user or information about the user image from another display device and generate a second avatar image. The server 200 may generate a group image including a first avatar image and a second avatar image and transmit it to display devices. Display devices can display group images received from the server 200.
  • FIG. 4 is a flowchart showing a method of operating a plurality of display devices when a group service configuration method according to an embodiment is determined on a device basis.
  • a plurality of display devices may include a first display device 101 and a second display device 102.
  • a plurality of display devices may be devices connected to each other through a group service.
  • the first display device 101 may use a camera to obtain a first user image that captures a user of the first display device (the first user) (S410).
  • the camera may be a camera mounted on the first display device 101 or a camera connected to the first display device 101 through wired or wireless communication.
  • the first display device 101 may detect an object (e.g., the first user) from the first user image and obtain tracking information (first tracking information) for the first user. (S420).
  • an object e.g., the first user
  • tracking information first tracking information
  • the first display device 101 may detect the first user by analyzing the first user image using an object detection module.
  • the object detection module may include appropriate logic, circuitry, interface, and/or code to detect a specific object included in an image captured by a camera.
  • the object detection module may detect the first user by analyzing the first user image using at least one of a machine learning, neural network, or deep learning algorithm as a rule-based or artificial intelligence algorithm.
  • the first display device 101 may obtain first tracking information using a tracking module.
  • the tracking module may include appropriate logic, circuits, interfaces, and/or code that can track the movement of a specific object included in an image captured by a camera.
  • the tracking module is a rule-based or artificial intelligence algorithm and may use at least one of machine learning, neural network, or deep learning algorithms to obtain movement information of the first user from the first user image.
  • the tracking module may estimate the pose of the first user, identify a specific body part (e.g., face, hand, etc.) of the first user based on the estimated pose, and Movement can be detected in more detail.
  • a specific body part e.g., face, hand, etc.
  • the object detection module and tracking module described above are only examples, and the first display device 101 according to one embodiment detects the first user in the first user image in various ways and provides first tracking information. It can be obtained.
  • the first display device 101 may generate a first avatar image corresponding to the first user image (S430).
  • the first display device 101 may generate a first avatar image based on the avatar information set by the user and the first tracking information obtained in step S420.
  • the first avatar image may be an image that moves to correspond to the first user in the first user image.
  • the first display device 101 may transmit the first avatar image to the second display device 102 (S440).
  • the second display device 102 may acquire a second user image captured by a user of the second display device (second user) using a camera (S420).
  • the camera may be a camera mounted on the second display device 102 or a camera connected to the second display device 102 through wired or wireless communication.
  • the second display device 102 may detect an object (e.g., a second user) from the second user image and obtain tracking information (second tracking information) for the second user (S425). .
  • an object e.g., a second user
  • second tracking information second tracking information
  • the second display device 102 may detect the second user by analyzing the first user's image using an object detection module. Additionally, the second display device 102 may obtain second tracking information using a tracking module.
  • the object detection module and tracking module were explained in detail in step S420, detailed descriptions will be omitted.
  • the object detection module and tracking module are only examples, and the second display device 102 according to one embodiment may detect the second user in the second user image and obtain second tracking information in various ways. You can.
  • the second display device 102 may generate a second avatar image corresponding to the second user image (S435).
  • the second display device 102 may generate a second avatar image based on the avatar information set by the second user and the tracking information obtained in step S425. At this time, the second avatar image may be an image that moves to correspond to the second user in the second user image.
  • the second display device 102 may transmit the second avatar image to the first display device 101 (S445).
  • the first display device 101 may generate and display a group image including the generated first avatar image and the second avatar image received from the second display device 102 (S450).
  • the first display device 101 divides one screen into a plurality of areas including a first area and a second area, displays the first avatar image in the first area, and displays the first avatar image in the second area. A second avatar image may be displayed. At this time, the size of the first area may be larger than the sizes of other areas. Additionally, the first area may be located at the center of the screen. Alternatively, the first display device 101 may generate a group image by combining the first avatar image and the second avatar image with a background screen set by the first user. However, it is not limited to this.
  • the second display device 102 may generate and display a group image including the generated second avatar image and the first avatar image received from the first display device 101 (S460) ).
  • the second display device 102 divides one screen into a plurality of areas including a first area and a second area, displays a second avatar image in the first area, and displays a second avatar image in the second area.
  • the first avatar image may be displayed.
  • the size of the first area may be larger than the sizes of other areas.
  • the first area may be located at the center of the screen.
  • the second display device 102 may generate a group image by combining the first avatar image and the second avatar image with a background screen set by the second user. However, it is not limited to this.
  • FIG. 5 is a diagram illustrating operations of a plurality of display devices when the configuration of a group service according to an embodiment is device-based.
  • a plurality of display devices may include a first display device 101, a second display device 102, and a third display device 103. However, it is not limited to this.
  • the first display device 101, the second display device 120, and the third display device 103 may be devices connected through a group service provided by the server 200.
  • the first display device 101, the second display device 102, and the third display device 103 may be connected as a group based on their respective identification information and can share user images with each other.
  • the first to third display devices 101, 102, and 103 transmit each user information to the server 200, and the server 200 transmits the first to third display devices 101 and 102. , 103) Based on each user information, authentication may be performed for the first to third display devices 101, 102, and 103. Accordingly, the first to third display devices 101, 102, and 103 can log in to the group fitness service.
  • the server 200 performs an operation of generating an avatar image based on the capability information of each of the first to third display devices 101, 102, and 103. It may be decided to perform each of the fields 101, 102, and 103. Since this was explained in detail in FIG. 2, detailed description will be omitted.
  • Each of the first to third display devices 101, 102, and 103 may acquire an image of a user.
  • the first display device 101 may acquire a first user image 511 that captures the first user.
  • the first display device 101 may detect the first user in the first user image 511, obtain tracking information of the first user, and generate the first avatar image 521.
  • the first avatar image 521 is an image that moves in the same manner as the first user of the first user image 511 and may be generated based on avatar information set by the user.
  • the method of setting avatar information will be described in detail with reference to FIG. 6.
  • Figure 6 is a diagram illustrating an example of a user interface screen for setting avatar information according to an embodiment.
  • the first display device 101 can display a user interface screen (avatar setting screen) that can set avatar information.
  • a user interface screen avatar setting screen
  • the first display device 101 may include a menu screen 610 for setting a basic character for an avatar.
  • the first display device 101 may display a list 620 including a plurality of characters with different genders, races, ages, etc.
  • the first display device 101 may display the selected character 630 and display a menu screen 615 for setting items related to the selected character. there is.
  • the first display device 101 may display a list 640 including items that can decorate the selected character.
  • the first display device 101 may apply the selected at least one item to the selected character 630 and display it.
  • the first display device 101 may store the final character as first avatar information for the first user based on the user input of selecting the save button 650 included in the menu screen 615.
  • the user interface screen for setting avatar information shown in FIG. 6 is only an example, and the first display device 101 according to one embodiment can set the first avatar information in various ways.
  • the second display device 102 may obtain a second user image 512 that captures a second user.
  • the second display device 102 may detect the second user in the second user image 512 and obtain tracking information of the second user.
  • the second display device 102 may generate a second avatar image 522 based on the acquired tracking information of the second user.
  • the second avatar image 522 may be generated based on avatar information set by the user, and may be an image that moves in the same manner as the second user detected in the second user image 512.
  • the third display device 103 may acquire a third user image 513 that captures a third user.
  • the third display device 103 may detect a third user in the third user image 513 and obtain tracking information of the third user.
  • the third display device 103 may generate a third avatar image 523 based on the acquired tracking information of the third user.
  • the third avatar image 523 may be generated based on avatar information set by the user, and may be an image that moves in the same manner as the third user detected in the third user image 513.
  • Each of the first to third display devices 101, 102, and 103 may transmit the generated avatar image to other display devices.
  • Each of the first to third display devices 101, 102, and 103 requests identification information about other display devices connected to the server 200 through a group service, and receives identification information about the other display devices from the server 200. Information can be received.
  • Each of the first to third display devices 101, 102, and 103 may transmit the generated avatar image to other display devices based on the received identification information about the other display devices.
  • the first display device 101 transmits the first avatar image 521 to the second and third display devices 102 and 103, and transmits the second avatar image (521) from the second display device 102. 522), and a third avatar image 523 can be received from the third display device 103.
  • the second display device 102 transmits the second avatar image 522 to the first and third display devices 101 and 103, and transmits the first avatar image 521 from the first display device 101. and can receive the third avatar image 523 from the third display device 103.
  • the third display device 103 transmits the third avatar image 523 to the first and second display devices 101 and 102, and transmits the first avatar image 521 from the first display device 101. , and the second avatar image 522 can be received from the second display device 102.
  • the first display device 101 may generate and display a first group image 531 including a first avatar image 521, a second avatar image 522, and a third avatar image 523.
  • the first group image 531 is divided into three areas, with the second avatar image 522 in the first area, the first avatar image 521 in the second area, and the third avatar image 523 in the third area. ) may be displayed. At this time, the size and position of the areas where the first to third avatar images 521, 522, and 523 are displayed may be set based on user input.
  • the second display device 102 may generate and display a second group image 532 including the first avatar image 521, the second avatar image 522, and the third avatar image 523.
  • the second group image 532 is divided into three areas, with the first avatar image 521 in the first area, the second avatar image 522 in the second area, and the third avatar image 523 in the third area. ) may be displayed. At this time, the size and position of the areas where the first to third avatar images 521, 522, and 523 are displayed may be set based on user input.
  • the third display device 103 may generate a third group image 533 including the first avatar image 521, the second avatar image 522, and the third avatar image 523.
  • the third group image 533 is divided into three areas, with the first avatar image 521 in the first area, the third avatar image 523 in the second area, and the second avatar image 522 in the third area. ) may be displayed. At this time, the size and position of the areas where the first to third avatar images 521, 522, and 523 are displayed may be set based on user input.
  • FIG. 7 is a flowchart illustrating a method of operating a plurality of display devices when a group service configuration method according to an embodiment is determined on a device basis.
  • a plurality of display devices may include a first display device 101 and a second display device 102.
  • a plurality of display devices may be connected to each other through a group service.
  • the first display device 101 may acquire a first user image captured by a camera using a camera (S710).
  • the camera may be a camera mounted on the first display device 101 or a camera connected to the first display device 101 through wired or wireless communication.
  • the first display device 101 may detect the first user from the first user image and obtain tracking information (first tracking information) for the first user (S720).
  • step 420 (S420) of FIG. 4 Since the method of obtaining tracking information for the first user has been described in detail in step 420 (S420) of FIG. 4, the same description will be omitted.
  • the first display device 101 may transmit the first tracking information to the second display device 102 (S730).
  • the second display device 102 may acquire a second user image captured by a user of the second display device (second user) using a camera (S715).
  • the camera may be a camera mounted on the second display device 102 or a camera connected to the second display device 102 through wired or wireless communication.
  • the second display device 102 may detect the second user from the second user image and obtain tracking information (second tracking information) for the second user (S725).
  • step 425 (S425) of FIG. 4 Since the method of obtaining tracking information for the user has been described in detail in step 425 (S425) of FIG. 4, the same description will be omitted.
  • the second display device 102 may transmit the second tracking information to the first display device 101 (S735).
  • the first display device 101 may generate a first avatar image based on first tracking information and a second avatar image based on second tracking information (S740 ).
  • the first display device 101 may generate a first avatar image corresponding to the first user image based on first avatar information and first tracking information set by the first user. Additionally, the first display device 101 may obtain second avatar information and generate a second avatar image corresponding to the second user image based on the second avatar information and the second tracking information. At this time, the second avatar information may be obtained by receiving avatar information set by the second user or obtained by setting the first user. However, it is not limited to this.
  • the first display device 101 may generate and display a first group image including a first avatar image and a second avatar image (S750).
  • the first display device 101 may generate a first group image by combining the first avatar image and the second avatar image into a virtual background screen.
  • a first group image by combining the first avatar image and the second avatar image into a virtual background screen.
  • the second display device 102 may generate a first avatar image based on first tracking information and may generate a second avatar image based on second tracking information. (S745).
  • the second display device 102 may obtain first avatar information and generate a first avatar image corresponding to the first user image based on the first avatar information and first tracking information.
  • the first avatar information may be obtained by receiving avatar information set by the first user or obtained by setting the second user.
  • the second display device 102 may generate a second avatar image corresponding to the second user image based on the second avatar information and second tracking information set by the second user.
  • the second display device 102 may generate and display a second group image including the first avatar image and the second avatar image (S755).
  • the second display device 102 may generate a second group image by combining the first avatar image and the second avatar image into a virtual background screen.
  • the second display device 102 may generate a second group image by combining the first avatar image and the second avatar image into a virtual background screen.
  • FIG. 8 is a diagram illustrating operations of a plurality of display devices when the configuration of a group service according to an embodiment is device-based.
  • a plurality of display devices may include a first display device 101, a second display device 102, and a third display device 103. However, it is not limited to this.
  • the first display device 101, the second display device 120, and the third display device 103 may be devices connected through a group service provided by the server 200.
  • the first display device 101, the second display device 120, and the third display device 103 may be connected as a group based on their respective identification information and may be able to share user images with each other.
  • the first to third display devices 101, 102, and 103 transmit each user information to the server 200, and the server 200 transmits the first to third display devices 101 and 102. , 103) Based on each user information, authentication may be performed for the first to third display devices 101, 102, and 103. Accordingly, the first to third display devices 101, 102, and 103 can log in to the group fitness service.
  • the server 200 performs an operation of generating an avatar image based on the capability information of each of the first to third display devices 101, 102, and 103. It may be decided to perform each of the fields 101, 102, and 103. Since this was explained in detail in FIG. 2, detailed description will be omitted.
  • Each of the first to third display devices 101, 102, and 103 may acquire an image of a user.
  • the first display device 101 may acquire a first user image 811 that captures the first user.
  • the first display device 101 may detect the first user in the first user image 811 and obtain tracking information (first tracking information, 821) for the first user.
  • the second display device 102 may acquire a second user image 812.
  • the second display device 102 may detect the second user from the second user image and obtain tracking information (second tracking information, 822) about the second user.
  • the third display device 103 may acquire a third user image 813.
  • the third display device 103 may detect a third user from the third user image and obtain tracking information (third tracking information, 823) about the third user.
  • the second display device 102 may transmit second tracking information 822 to the second display device 102.
  • the external electronic device may be a personal electronic device of the second user, and the device specifications of the external electronic device may satisfy the criteria for obtaining second tracking information from the second user image 812.
  • the external electronic device may detect the second user in the second user image and obtain second tracking information 822 for the second user.
  • the external electronic device may transmit second tracking information 822 to the second display device 102.
  • Each of the first to third display devices 101, 102, and 103 may transmit tracking information to other display devices.
  • Each of the first to third display devices 101, 102, and 103 requests identification information about other display devices connected to the server 200 through a group service, and receives identification information about the other display devices from the server 200. Information can be received.
  • Each of the first to third display devices 101, 102, and 103 may transmit tracking information to other display devices based on the received identification information about the other display devices.
  • the first display device 101 transmits first tracking information 821 to the second and third display devices 102 and 103, and receives second tracking information (821) from the second display device 102. 822), and third tracking information 823 can be received from the third display device 103.
  • the second display device 102 transmits the second tracking information 822 to the first and third display devices 101 and 103, and receives the first tracking information 821 from the first display device 101.
  • Third tracking information 823 can be received from the third display device 103.
  • the third display device 103 transmits third tracking information 823 to the first and second display devices 101 and 102, and receives first tracking information 821 from the first display device 101. Can receive second tracking information 822 from the second display device 102.
  • the first display device 101 generates a first avatar image based on the first tracking information 821 and the first avatar information, and generates a second avatar image based on the second tracking information 822 and the second avatar information.
  • An avatar image can be generated, and a third avatar image can be generated based on the third tracking information 823 and the third avatar information.
  • the first avatar information may be set by the first user, and the second avatar information and third avatar information may be set by the first user or received from the second and third display devices 102 and 103. You can. However, it is not limited to this.
  • the first display device 101 may generate and display a first group image 831 by combining the first to third avatar images into a virtual background screen.
  • the second display device 102 generates a first avatar image based on the first tracking information 821 and the first avatar information, and generates a second avatar image based on the second tracking information 822 and the second avatar information.
  • An avatar image can be generated, and a third avatar image can be generated based on the third tracking information 823 and the third avatar information.
  • the second avatar information may be set by the second user, and the first avatar information and third avatar information may be set by the second user or received from the first and third display devices 101 and 103. You can. However, it is not limited to this.
  • the second display device 102 may generate and display a second group image 832 by combining the first to third avatar images into a virtual background screen.
  • the second display device 102 may be interlocked with the second display device 102.
  • the first to third tracking information (821, 822, 823) can be transmitted to an external electronic device.
  • the external electronic device may generate first to third avatar images based on the first to third tracking information 821, 822, and 823.
  • the external electronic device may generate a second group image 832 by combining the first to third avatar images into a virtual background screen.
  • the external electronic device may transmit the first to third avatar images or the second group image 832 to the second display device 102.
  • the third display device 103 generates a first avatar image based on the first tracking information 821 and the first avatar information, and generates a second avatar image based on the second tracking information 822 and the second avatar information.
  • An avatar image can be generated, and a third avatar image can be generated based on the third tracking information 823 and the third avatar information.
  • the third avatar information may be set by the third user, and the first avatar information and the second avatar information may be set by the third user or received from the first and second display devices 101 and 102. You can. However, it is not limited to this.
  • the third display device 103 may generate and display a third group image 833 by combining the first to third avatar images into a virtual background screen.
  • FIG. 9 is a flowchart illustrating a method of operating a plurality of display devices and a server when a group service configuration method according to an embodiment is determined to be server-based.
  • a plurality of display devices may include a first display device 101 and a second display device 102, and the first display device 101 and the second display device 102 may be used as a group service. These may be devices connected to each other.
  • the first display device 101 may obtain a first user image captured by a camera using a camera (S910).
  • the camera may be a camera mounted on the first display device 101 or a camera connected to the first display device 101 through wired or wireless communication.
  • the first display device 101 may transmit the first user image to the server 200 (S920).
  • the second display device 102 may acquire a second user image captured by a camera using a camera (S915).
  • the camera may be a camera mounted on the second display device 102 or a camera connected to the second display device 102 through wired or wireless communication.
  • the second display device 102 may transmit the second user image to the server 200 (S925).
  • the server 200 may detect the first user from the first user image and obtain first tracking information about the first user. Additionally, the server 200 may detect the second user from the second user image and obtain second tracking information about the second user (S940).
  • the server 200 may detect the first user by analyzing the first user's image using an object detection module.
  • the object detection module may include appropriate logic, circuitry, interface, and/or code to detect a specific object included in an image captured by a camera.
  • the object detection module may detect the first user by analyzing the first user image using at least one of a machine learning, neural network, or deep learning algorithm as a rule-based or artificial intelligence algorithm.
  • the server 200 may obtain first tracking information using a tracking module.
  • the tracking module may include appropriate logic, circuitry, interface, and/or code that can track the movement of a specific object included in an image captured by a camera.
  • the tracking module is a rule-based or artificial intelligence algorithm and may use at least one of machine learning, neural network, or deep learning algorithms to obtain movement information of the first user from the first user image.
  • the tracking module may estimate the pose of the first user, identify a specific body part (e.g., face, hand, etc.) of the first user based on the estimated pose, and Movement can be detected in more detail.
  • a specific body part e.g., face, hand, etc.
  • the server 200 can detect the second user by analyzing the second user image using an object detection module and obtain movement information of the second user from the second user image using the tracking module. there is.
  • the first display device 101 may transmit the first avatar information set by the first user to the server 200 (S950), and the second display device 102 may transmit the second avatar information set by the second user.
  • Information can be transmitted to the server 200 (S955).
  • the server 200 may generate a first avatar image based on the first tracking information and the first avatar information, and generate a second avatar image based on the second tracking information and the second avatar information (S960) ).
  • the first avatar image may be an image that moves to correspond to the first user in the first user image
  • the second avatar image may be an image that moves to correspond to the second user in the second user image.
  • the server 200 may generate a group image including a first avatar image and a second avatar image (S970). For example, the server 200 may create a group image by combining the first avatar image and the second avatar image into a virtual background screen.
  • the server 200 may generate a first group image and a second group image in which the sizes and positions of the first avatar image and the second avatar image are different from each other.
  • the first avatar image may be displayed larger than the second avatar image
  • the second avatar image may be displayed larger than the first avatar image.
  • the server 200 may transmit the group image to the first display device 101 and the second display device 102 (S980, S985).
  • the server 200 may transmit the first group image to the first display device 101 and the second group image to the second display device 102.
  • the first display device 101 and the second display device 102 can display the group image received from the server 200 (S990, S995).
  • the first display device 101 may display a first group image
  • the second display device 102 may display a second group image.
  • Figure 10 is a flowchart showing a method of operating a plurality of display devices and a server when a group service configuration method according to an embodiment is determined to be server-based.
  • a plurality of display devices may include a first display device 101 and a second display device 102, and the first display device 101 and the second display device 102 may be used as a group service. These may be devices connected to each other.
  • the first display device 101 may obtain a first user image captured by a camera using a camera (S1010).
  • the first display device 101 may detect the first user from the first user image and obtain first tracking information of the detected first user (S1020).
  • the first display device 101 may detect the first user by analyzing the first user image using an object detection module.
  • the object detection module may include appropriate logic, circuitry, interface, and/or code to detect a specific object included in an image captured by a camera.
  • the object detection module may detect the first user by analyzing the first user image using at least one of a machine learning, neural network, or deep learning algorithm as a rule-based or artificial intelligence algorithm.
  • the first display device 101 may obtain first tracking information using a tracking module.
  • the tracking module may include appropriate logic, circuitry, interface, and/or code that can track the movement of a specific object included in an image captured by a camera.
  • the tracking module is a rule-based or artificial intelligence algorithm and may use at least one of machine learning, neural network, or deep learning algorithms to obtain movement information of the first user from the first user image.
  • the tracking module may estimate the pose of the first user, identify a specific body part (e.g., face, hand, etc.) of the first user based on the estimated pose, and Movement can be detected in more detail.
  • a specific body part e.g., face, hand, etc.
  • the object detection module and tracking module described above are only examples, and the first display device 101 according to one embodiment detects the first user in the first user image in various ways and provides first tracking information. It can be obtained.
  • the first display device 101 may transmit first tracking information to the server 200 (S1030).
  • the first display device 101 may transmit the first avatar information set by the first user to the server 200 (S1050).
  • the second display device 102 may acquire a second user image captured by a camera using a camera (S1015).
  • the second display device 102 may detect the second user from the second user image and obtain second tracking information about the second user (S1025).
  • the second display device 102 may obtain second tracking information about the second user using the object detection module and tracking module described in step S1020.
  • the second display device 102 may transmit the second tracking information to the server 200 (S1035).
  • the second display device 102 may transmit second avatar information set by the second user to the server 200 (S1055).
  • the server 200 generates a first avatar image based on first tracking information and first avatar information, and generates a second avatar image based on second tracking information and second avatar information. You can do it (S1060).
  • the first avatar image may be an image that moves to correspond to the first user in the first user image
  • the second avatar image may be an image that moves to correspond to the second user in the second user image.
  • the server 200 may generate a group image including a first avatar image and a second avatar image (S1070). For example, the server 200 may create a group image by combining the first avatar image and the second avatar image into a virtual background screen.
  • the server 200 may generate a first group image and a second group image in which the sizes and positions of the first avatar image and the second avatar image are different from each other.
  • the first avatar image may be displayed larger than the second avatar image
  • the second avatar image may be displayed larger than the first avatar image.
  • the server 200 may transmit the group image to the first display device 101 and the second display device 102 (S1080, S1085).
  • the server 200 may transmit the first group image to the first display device 101 and the second group image to the second display device 102.
  • the first display device 101 and the second display device 102 can display the group image received from the server 200 (S1090, S1095).
  • the first display device 101 may display a first group image
  • the second display device 102 may display a second group image.
  • Figure 11 is a block diagram showing the configuration of a display device according to an embodiment.
  • the display device 100 according to the embodiment of FIG. 11 may be one of the plurality of display devices 101, 102, and 103 of FIGS. 1 to 10.
  • the display device 100 may include a camera 110, a processor 120, a memory 130, a display 140, and a communication unit 150.
  • the camera 110 may acquire image frames such as still images or moving images.
  • the camera 110 may capture an image of the outside of the display device 100 and may capture a user of the display device 100.
  • the image captured through the camera 110 may be processed through the processor 120 or a separate image processor.
  • the camera 110 may be built into or mounted as a component of the display device 100.
  • the camera 110 is a separate component from the display device 100 and may be connected to the display device 100 through a wired or wireless communication method through an input/output interface or communication unit 150.
  • it is not limited to this.
  • the processor 120 controls the overall operation of the display device 100 and signal flow between internal components of the display device 100, and performs the function of processing data.
  • the processor 120 may include single core, dual core, triple core, quad core, and multiple cores thereof. Additionally, the processor 120 may include a plurality of processors. For example, the processor 120 may be implemented as a main processor (not shown) and a sub processor (not shown).
  • the processor 120 may include at least one of a Central Processing Unit (CPU), a Graphics Processing Unit (GPU), and a Video Processing Unit (VPU). Alternatively, depending on the embodiment, it may be implemented in the form of a SoC (System On Chip) integrating at least one of CPU, GPU, and VPU. Alternatively, the processor 120 may further include a Neural Processing Unit (NPU).
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • VPU Video Processing Unit
  • SoC System On Chip
  • NPU Neural Processing Unit
  • the memory 130 may store various data, programs, or applications for driving and controlling the display device 100.
  • a program stored in memory 130 may include one or more instructions.
  • a program (one or more instructions) or application stored in the memory 130 may be executed by the processor 120.
  • the processor 120 executes one or more instructions stored in the memory 130, obtains device capability information of the display device 100, and transmits it to the server 200. You can control it.
  • Device capacity information includes type information, capacity information, information about the number of cores, performance information, and memory included in the display device 100 for at least one processor included in the display device 100. It may include at least one of type information, capacity information, and performance information.
  • the processor 120 may receive information about the configuration method of the group service from the server 200. Alternatively, the processor 120 may determine a group service configuration method based on device capability information and service decision policy information received from the server 200.
  • the processor 120 may detect the user from a user image captured of the user and obtain tracking information.
  • the processor 120 may detect the user by analyzing the user image using an object detection module.
  • the object detection module may include appropriate logic, circuitry, interface, and/or code to detect a specific object included in an image captured by a camera.
  • the object detection module is a rule-based or artificial intelligence algorithm that can detect the user by analyzing the user's image using at least one of machine learning, neural network, or deep learning algorithms.
  • the processor 120 may obtain tracking information using a tracking module.
  • the tracking module may include appropriate logic, circuitry, interface, and/or code that can track the movement of a specific object included in an image captured by a camera.
  • the tracking module is a rule-based or artificial intelligence algorithm that can obtain user's movement information from the user's image using at least one of machine learning, neural network, or deep learning algorithms.
  • the tracking module may estimate the user's pose, identify specific body parts of the user (e.g., face, hands, etc.) based on the estimated pose, and further perform movements for the identified specific body parts. It can be detected in detail. However, it is not limited to this.
  • the processor 120 may obtain tracking information using a neural network trained to obtain tracking information from a user image.
  • a neural network trained to obtain tracking information from a user image may be obtained.
  • the neural network may be a network in which various standards or conditions for obtaining tracking information from user images are learned based on various training data.
  • 'training' refers to the method of analyzing the input data when various collected data are input to the neural network network, and the method of obtaining tracking information from the user's image based on the input data. It can mean training a neural network so that the network can discover or learn on its own. Accordingly, the trained neural network can obtain tracking information from the user image.
  • the learned neural network may be stored in advance in the display device 100 and may be periodically updated through communication with an external server.
  • the processor 120 may generate an avatar image corresponding to a user image.
  • the processor 120 may generate an avatar image based on avatar information and tracking information set by the user.
  • the avatar image may be an image that moves to correspond to the user in the user image.
  • the processor 120 may control the communication unit 150 to transmit the avatar image to another display device. Additionally, the processor 120 may receive another avatar image for another user or information for generating another avatar image (for example, tracking information of another user) from another display device through the communication unit 150.
  • the processor 120 may generate a group image by combining an avatar image with another user's avatar image (another avatar image).
  • the processor 120 may control the communication unit 150 to transmit the user image or tracking information detected from the user image to the server 200. there is.
  • the processor 120 may receive a group image including avatar images of a plurality of users from the server 200, and may control the received group image to be displayed on the display 140.
  • the display 140 may generate a driving signal by converting an image signal, a data signal, an OSD signal, a control signal, etc. processed by the processor 120, and display an image according to the driving signal.
  • the display 140 may be implemented as a PDP, LCD, OLED, flexible display, etc., and may also be implemented as a 3D display. Additionally, the display 140 can be configured as a touch screen and used as an input device in addition to an output device.
  • the display 140 may display a user interface screen for setting avatar information. Additionally, the display 140 may display a group image including a plurality of avatar images for a plurality of users. For example, the display 140 may divide one screen into a plurality of areas and individually display different avatar images in each of the divided areas.
  • the group image according to one embodiment may include an image in the form of a composite of a plurality of avatar images on a virtual background screen.
  • the group image may include an image in the form of a composite of a plurality of avatar images on a virtual background screen.
  • it is not limited to this.
  • the communication unit 150 may transmit and receive data or signals with an external device or server.
  • the communication unit 150 may include a Wi-Fi module, a Bluetooth module, an infrared communication module, a wireless communication module, a LAN module, an Ethernet module, a wired communication module, etc.
  • each communication module may be implemented in the form of at least one hardware chip.
  • the Wi-Fi module and Bluetooth module communicate using Wi-Fi and Bluetooth methods, respectively.
  • various connection information such as SSID and session key are first transmitted and received, and various information can be transmitted and received after establishing a communication connection using this.
  • Wireless communication modules include zigbee, 3G (3rd Generation), 3GPP (3rd Generation Partnership Project), LTE (Long Term Evolution), LTE-A (LTE Advanced), 4G (4th Generation), 5G (5th Generation), etc. It may include at least one communication chip that performs communication according to various wireless communication standards.
  • the communication unit 150 may transmit device capability information to the server 200 and receive information about a group service configuration method from the server 200.
  • the communication unit 150 can transmit a user image taken of a user or tracking information obtained from a user image to the server 200, and send a group image including avatar images of a plurality of users from the server 200. You can receive it.
  • the communication unit 150 may receive identification information about other display devices connected to the group service from the server 200.
  • the communication unit 150 may transmit tracking information or an avatar image obtained from a user's image to another display device, and may receive tracking information about another user or an avatar image of another user from another display device. However, it is not limited to this.
  • Figure 12 is a block diagram showing the configuration of a display device according to an embodiment.
  • the display device 1200 of FIG. 12 may be another embodiment of the display device 100 of FIG. 11.
  • the display device 1200 includes a tuner unit 1240, a processor 1210, a display 1220, a communication unit 1250, a detection unit 1230, and an input/output unit ( 1270), a video processing unit 1280, an audio processing unit 1285, an audio output unit 1260, a memory 1290, and a power supply unit 1295.
  • the camera unit 1232, processor 1210, display 1220, communication unit 1250, and memory 1290 included in the detection unit 1230 of FIG. 12 are the camera 110 and camera 110 of FIG. 11, respectively. , Since it is a configuration corresponding to the processor 120, display 140, communication unit 150, and memory 130, the same description will be omitted.
  • the tuner unit 1240 amplifies, mixes, resonates, etc. broadcast signals received by wire or wirelessly to determine which of the many radio wave components the display device 1200 wants to receive. You can select only the frequency of the channel by tuning it. Broadcast signals include audio, video, and additional information (eg, Electronic Program Guide (EPG)).
  • EPG Electronic Program Guide
  • the tuner unit 1240 can receive broadcast signals from various sources, such as terrestrial broadcasting, cable broadcasting, satellite broadcasting, and Internet broadcasting.
  • the tuner unit 1240 may receive broadcast signals from sources such as analog broadcasting or digital broadcasting.
  • the detection unit 1230 detects the user's voice, the user's image, or the user's interaction, and may include a microphone 1231, a camera unit 1232, and a light receiver 1233.
  • the microphone 1231 receives the user's uttered voice.
  • the microphone 1231 may convert the received voice into an electrical signal and output it to the processor 1210.
  • the user voice may include, for example, a voice corresponding to a menu or function of the display device 1200.
  • the camera unit 1232 may receive images (eg, consecutive frames) corresponding to the user's motion, including gestures, within the camera recognition range.
  • the processor 1210 can use the received motion recognition result to select a menu displayed on the display device 1200 or perform control corresponding to the motion recognition result.
  • the light receiver 1233 receives optical signals (including control signals) received from an external control device through a light window (not shown) of the bezel of the display 1220.
  • the light receiver 1233 may receive an optical signal corresponding to a user input (eg, touch, press, touch gesture, voice, or motion) from the control device.
  • a control signal may be extracted from the received optical signal under the control of the processor 1210.
  • the input/output unit 1270 provides video (e.g., video, etc.), audio (e.g., voice, music, etc.), and additional information (e.g., EPG, etc.) from the outside of the display device 1200. receives.
  • Input/output interfaces include HDMI (High-Definition Multimedia Interface), MHL (Mobile High-Definition Link), USB (Universal Serial Bus), DP (Display Port), Thunderbolt, VGA (Video Graphics Array) port, and RGB port. , D-SUB (D-subminiature), DVI (Digital Visual Interface), component jack, or PC port.
  • the processor 1210 controls the overall operation of the display device 1200 and signal flow between internal components of the display device 1200, and performs the function of processing data.
  • the processor 1210 stores signals or data input from the outside of the display device 1200, or uses RAM as a storage area corresponding to various tasks performed on the display device 1200. It may include a ROM and a processor storing a control program for control.
  • the video processing unit 1280 performs processing on video data received by the display device 1200.
  • the video processing unit 1280 can perform various image processing such as decoding, scaling, noise filtering, frame rate conversion, and resolution conversion on video data.
  • the display 1220 may generate a driving signal by converting an image signal, a data signal, an OSD signal, a control signal, etc. processed by the processor 1210, and display an image according to the driving signal.
  • the audio processing unit 1285 performs processing on audio data.
  • the audio processing unit 1285 may perform various processing such as decoding, amplification, noise filtering, etc. on audio data. Meanwhile, the audio processing unit 1285 may be equipped with a plurality of audio processing modules to process audio corresponding to a plurality of contents.
  • the audio output unit 1260 outputs audio included in the broadcast signal received through the tuner unit 1240 under the control of the processor 1210.
  • the audio output unit 1260 may output audio (eg, voice, sound) input through the communication unit 1250 or the input/output unit 1870. Additionally, the audio output unit 1260 may output audio stored in the memory 1290 under the control of the processor 1810.
  • the audio output unit 1260 may include at least one of a speaker, a headphone output terminal, or a Sony/Philips Digital Interface (S/PDIF) output terminal.
  • S/PDIF Sony/Philips Digital Interface
  • the power unit 1295 supplies power input from an external power source to the components inside the display device 1200 under the control of the processor 1210. Additionally, the power unit 1295 may supply power output from one or more batteries (not shown) located inside the display device 1200 to internal components under the control of the processor 1210.
  • the memory 1290 may store various data, programs, or applications for driving and controlling the display device 1200 under the control of the processor 1210.
  • the memory 1290 includes a broadcast reception module (not shown), a channel control module, a volume control module, a communication control module, a voice recognition module, a motion recognition module, an optical reception module, a display control module, an audio control module, an external input control module, and a power supply. It may include a control module, a power control module of an external device connected wirelessly (eg, Bluetooth), a voice database (DB), or a motion database (DB).
  • Not shown modules and database of the memory 990 include broadcast reception control function, channel control function, volume control function, communication control function, voice recognition function, motion recognition function, and light reception control function in the display device 1800.
  • the processor 1810 can perform each function using these software stored in the memory 1290.
  • FIGS. 11 and 12 are block diagrams for one embodiment.
  • Each component of the block diagram may be integrated, added, or omitted depending on the specifications of the display devices 100 and 1200 that are actually implemented. That is, as needed, two or more components may be combined into one component, or one component may be subdivided into two or more components.
  • the functions performed by each block are for explaining the embodiments, and the specific operations or devices do not limit the scope of the present invention.
  • Figure 13 is a block diagram showing the configuration of a server according to an embodiment.
  • the server 200 may include a communication unit 210, a processor 220, and a memory 230.
  • the communication unit 210 may transmit and receive data or signals with a plurality of display devices.
  • the communication unit 210 may include a Wi-Fi module, a Bluetooth module, an infrared communication module, a wireless communication module, a LAN module, an Ethernet module, a wired communication module, etc.
  • each communication module may be implemented in the form of at least one hardware chip.
  • the Wi-Fi module and Bluetooth module communicate using Wi-Fi and Bluetooth methods, respectively.
  • various connection information such as SSID and session key are first transmitted and received, and various information can be transmitted and received after establishing a communication connection using this.
  • Wireless communication modules include zigbee, 3G (3rd Generation), 3GPP (3rd Generation Partnership Project), LTE (Long Term Evolution), LTE-A (LTE Advanced), 4G (4th Generation), 5G (5th Generation), etc. It may include at least one communication chip that performs communication according to various wireless communication standards.
  • the communication unit 210 may receive device capability information from a plurality of display devices connected through a group service. Additionally, the communication unit 210 may transmit information about the group service configuration method determined based on the received device capability information to a plurality of display devices.
  • the communication unit 210 may receive a user image or tracking information obtained from a user image from a plurality of display devices.
  • the communication unit 210 may transmit a group image including avatar images for a plurality of users created based on the user image or tracking information to a plurality of display devices.
  • the processor 220 controls the overall operation of the server 200 and signal flow between internal components of the server 200, and performs the function of processing data.
  • Processor 220 may include single core, dual core, triple core, quad core, and multiple cores thereof. Additionally, the processor 220 may include a plurality of processors. For example, the processor 220 may be implemented as a main processor (not shown) and a sub processor (not shown).
  • the processor 220 may include at least one of a Central Processing Unit (CPU), a Graphics Processing Unit (GPU), and a Video Processing Unit (VPU). Alternatively, depending on the embodiment, it may be implemented in the form of a SoC (System On Chip) integrating at least one of CPU, GPU, and VPU. Alternatively, the processor 220 may further include a Neural Processing Unit (NPU).
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • VPU Video Processing Unit
  • SoC System On Chip
  • NPU Neural Processing Unit
  • the memory 230 may store various data, programs, or applications for driving and controlling the server 200.
  • a program stored in memory 230 may include one or more instructions.
  • a program (one or more instructions) or application stored in the memory 230 may be executed by the processor 220.
  • the processor 220 may execute one or more instructions stored in the memory 230 to determine a group service configuration method based on device capability information and service decision policy information received from the display device. there is.
  • Device capacity information includes type information, capacity information, information about the number of cores, performance information, type information about memory included in the display device, capacity information, May include at least one of performance information.
  • the server 200 may store service decision policy information for determining a service configuration method.
  • Service decision policy information includes device specifications (e.g., processor type information, capacity information, information on the number of cores, performance information, memory) required to perform operations included in group services such as creating an avatar on the device. It may include standards for type information, capacity information, performance information, etc.). However, it is not limited to this.
  • Service decision policy information may change depending on the number of concurrent users connected to the server or network conditions, etc. Additionally, as the functions provided by the group service change, service decision policy information may also change. However, it is not limited to this.
  • the processor 220 may compare device capability information and service decision policy information to determine whether to configure the group service based on a device or a server.
  • the processor 220 may detect the user in the user image received from the display device and obtain tracking information.
  • the processor 220 may detect the user by analyzing the user image using an object detection module.
  • the object detection module may include appropriate logic, circuitry, interface, and/or code to detect a specific object included in an image captured by a camera.
  • the object detection module is a rule-based or artificial intelligence algorithm that can detect the user by analyzing the user's image using at least one of machine learning, neural network, or deep learning algorithms.
  • the processor 220 may obtain tracking information using a tracking module.
  • the tracking module may include appropriate logic, circuits, interfaces, and/or code that can track the movement of a specific object included in an image captured by a camera.
  • the tracking module is a rule-based or artificial intelligence algorithm that can obtain user's movement information from the user's image using at least one of machine learning, neural network, or deep learning algorithms.
  • the tracking module may estimate the user's pose, identify specific body parts of the user (e.g., face, hands, etc.) based on the estimated pose, and further perform movements for the identified specific body parts. It can be detected in detail. However, it is not limited to this.
  • the processor 220 may generate an avatar image based on tracking information and avatar information received from the display device.
  • the avatar image may be an image that moves to correspond to the user in the user image.
  • the processor 220 may control the communication unit 210 to generate a group image by combining avatar images of a plurality of users and transmit the group image to a plurality of display devices.
  • a display device may include a communication unit, a memory storing one or more display instructions, and at least one processor executing the one or more instructions.
  • the at least one processor may obtain a first user image captured by the first user by executing the one or more instructions.
  • the at least one processor may control the communication unit to transmit capability information of the display device to a server by executing the one or more instructions.
  • the at least one processor may receive information about a group service configuration method determined based on the capability information from the server by executing the one or more instructions.
  • the at least one processor may acquire the first avatar image and a second avatar image corresponding to another display device user based on the received information by executing the one or more instructions.
  • the at least one processor may control the display to display a group image including the first avatar image and the second avatar image by executing the one or more instructions.
  • Capability information of the display device includes at least one of type information, capacity information, information about the number of cores, performance information, type information about the memory, capacity information, and performance information about the at least one processor included in the display device. It can contain one.
  • the configuration method of the group service is a device-based configuration method in which the display device generates a first avatar image corresponding to the first user image, and the server is connected to the first avatar image and the group service. It may be decided on one of the server-based configuration methods for generating a second avatar image corresponding to the device user.
  • the at least one processor By executing the one or more instructions, the at least one processor detects the first user in the first user image based on the device-based configuration method of the group service, and executes the first user image. Based on the user's tracking information, the first avatar image can be generated.
  • the at least one processor may control the communication unit to receive at least one of the second avatar image and information about the second avatar image from the other display device by executing the one or more instructions.
  • the at least one processor may generate the second avatar image based on receiving information about the second avatar image by executing the one or more instructions.
  • the at least one processor may execute the one or more instructions to synthesize the first avatar image, the second avatar image, and the virtual background image to generate the group image.
  • the at least one processor may control the communication unit to request device information about the other display device from the server and receive device information about the other display device from the server by executing the one or more instructions. .
  • the at least one processor executes the one or more instructions to transmit at least one of the first avatar image or information about the first avatar image to the other display device based on device information about the other display device.
  • the communication unit can be controlled.
  • the at least one processor executes the one or more instructions, based on which the configuration method of the group service is determined to be the server-based configuration method, and the first user image and the first user detected from the first user video
  • the communication unit can be controlled to transmit at least one of the information about to the server.
  • the at least one processor may receive the group image including the first avatar image and the second avatar image from the server by executing the one or more instructions.
  • the at least one processor may receive an input for setting avatar information corresponding to the first avatar image by executing the one or more instructions.
  • the first avatar image may be an avatar image generated based on the set avatar information.
  • the display device may further include a camera that captures the first user and obtains an image of the first user.
  • a method of operating a display device may include acquiring a first user image that captures a first user.
  • a method of operating a display device may include transmitting capability information of the display device to a server.
  • a method of operating a display device may include receiving information about a configuration method of a group service determined based on the capability information from the server.
  • a method of operating a display device may include obtaining the first avatar image and a second avatar image corresponding to another display device user based on the received information.
  • a method of operating a display device may include displaying a group image including the first avatar image and the second avatar image.
  • the step of acquiring the first avatar image and the second avatar image includes detecting the first user from the first user image based on the configuration method of the group service being determined as the device-based configuration method, It may include generating the first avatar image based on the tracking information of the first user.
  • Obtaining the first avatar image and the second avatar image may include receiving at least one of the second avatar image and information about the second avatar image from the other display device.
  • Obtaining the first avatar image and the second avatar image may include generating the second avatar image based on receiving information about the second avatar image.
  • the method of operating a display device may further include generating the group image by synthesizing the first avatar image, the second avatar image, and the virtual background image.
  • a method of operating a display device includes requesting device information about the other display device from the server based on the group service configuration method being determined as the device-based configuration method, and receiving device information from the server. The method may further include receiving device information about the other display device.
  • a method of operating a display device includes transmitting at least one of the first avatar image or information about the first avatar image to the other display device based on device information about the other display device. More may be included.
  • the step of acquiring the first avatar image and the second avatar image includes the first user image and the second avatar image detected from the first user image, based on the configuration method of the group service being determined as the server-based configuration method. 1 It may include transmitting at least one piece of information about the user to the server.
  • Obtaining the first avatar image and the second avatar image may include receiving the group image including the first avatar image and the second avatar image from the server.
  • a method of operating a display device may include receiving an input for selecting avatar information corresponding to the first avatar image.
  • the first avatar image may be an avatar image generated based on the set avatar information.
  • a display device and a method of operating the same configure a group service variably according to device capability information of the display device, so that various devices can use the group service. Accordingly, by allowing group services to be used through a server even if the specifications of the device are not high, the range of services that can be provided can be expanded.
  • the display device and its operating method can optimize the configuration method of the group service by configuring the group service variably according to network conditions.
  • the display device and its operating method can protect the privacy of individual users by displaying a group image converted from a user image to an avatar image when using a group service.
  • a method of operating a display device may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, etc., singly or in combination.
  • Program instructions recorded on the medium may be specially designed and constructed for the present invention or may be known and usable by those skilled in the art of computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks.
  • Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc.
  • At least one of the methods of operating a display device according to the disclosed embodiments may be included and provided in a computer program product.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • a computer program product may include a S/W program and a computer-readable storage medium in which the S/W program is stored.
  • a computer program product may include a product in the form of a S/W program (e.g., a downloadable app) distributed electronically by the manufacturer of an electronic device or through an electronic marketplace (e.g., Google Play Store, App Store). there is.
  • a storage medium may be a manufacturer's server, an electronic market server, or a relay server's storage medium that temporarily stores the SW program.
  • a computer program product in a system comprised of a server and a client device, may include a storage medium of a server or a storage medium of a client device.
  • the computer program product may include a storage medium of the third device.
  • the computer program product may include the S/W program itself, which is transmitted from a server to a client device or a third device, or from a third device to a client device.
  • one of the server, the client device, and the third device may execute the computer program product to perform the method according to the disclosed embodiments.
  • two or more of a server, a client device, and a third device may execute the computer program product and perform the methods according to the disclosed embodiments in a distributed manner.
  • a server eg, a cloud server or an artificial intelligence server, etc.
  • a server may execute a computer program product stored on the server and control a client device connected to the server to perform the method according to the disclosed embodiments.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Databases & Information Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

일 실시예에 따른 디스플레이 장치는, 통신부, 디스플레이, 하나 이상의 인스트럭션들을 저장하는 메모리, 및 하나 이상의 인스트럭션들을 실행하는 적어도 하나의 프로세서를 포함하고, 적어도 하나의 프로세서는, 하나 이상의 인스트럭션들을 실행함으로써, 제1 사용자를 촬영한 제1 사용자 영상을 획득하고, 디스플레이 장치의 캐패빌리티(capability) 정보를 서버로 전송하도록 통신부를 제어하고, 서버로부터, 캐패빌리티 정보에 기초하여 결정된 그룹 서비스의 구성 방식에 대한 정보를 수신하고, 수신한 정보에 기초하여, 제1 아바타 영상 및 다른 디스플레이 장치 사용자에 대응하는 제2 아바타 영상을 획득하고, 제1 아바타 영상 및 제2 아바타 영상을 포함하는 그룹 영상을 디스플레이하도록 디스플레이를 제어할 수 있다.

Description

디스플레이 장치 및 그 동작 방법
다양한 실시예들은 비대면 그룹 서비스에서, 사용자 영상을 아바타 영상으로 표시할 수 있는 디스플레이 장치 및 그 동작 방법에 관한 것이다.
최근 언택트 시대에 맞춰 비대면 서비스가 증가하고 있으며, 복수의 사용자들이 원격으로 함께 참여할 수 있는 비대면 그룹 서비스가 증가하고 있다. 특히, 건강에 대한 관심이 높아지면서 개인 공간에서 운동을 할 수 있도록 가이드 하는 홈 피트니스 서비스가 활발하게 출시되고 있다.
기존의 홈 피트니스 서비스의 경우, 트레이너의 다양한 가이드 운동 영상을 보면서 이를 따라하는 방식이거나, 화상 회의 시스템을 이용하여, 그룹 피트니스를 진행하는 방식이었다.
화상 회의 시스템을 이용하여, 그룹 피트니스를 하는 경우, 카메라를 통해 촬영된 사용자의 영상이 다른 사용자와 공유될 수 있어, 개인의 프라이버시 보호에 문제가 발생할 수 있다. 특히, 모르는 사람과 함께 운동하는 경우, 사용자는 자신의 모습(예를 들어, 얼굴이나 운동복 등)이 다른 사용자에게 공유되는 것이 싫을 수 있다.
따라서, 사용자 개인의 프라이버시를 보호하면서도 복수의 사용자들이 함께 참여하는 비대면 그룹 서비스를 제공할 수 있는 방법이 필요하다.
일 실시예에 따른 디스플레이 장치는 통신부, 디스플레이 하나 이상의 인스트럭션들을 저장하는 메모리 및 상기 하나 이상의 인스트럭션들을 실행하는 적어도 하나의 프로세서를 포함할 수 있다.
상기 적어도 하나의 프로세서는, 상기 하나 이상의 인스트럭션들을 실행함으로써, 제1 사용자를 촬영한 제1 사용자 영상을 획득할 수 있다.
상기 적어도 하나의 프로세서는, 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 디스플레이 장치의 캐패빌리티(capability) 정보를 서버로 전송하도록 상기 통신부를 제어할 수 있다.
상기 적어도 하나의 프로세서는, 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 서버로부터, 상기 캐패빌리티 정보에 기초하여 결정된 그룹 서비스의 구성 방식에 대한 정보를 수신할 수 있다.
상기 적어도 하나의 프로세서는, 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 수신한 정보에 기초하여, 상기 제1 아바타 영상 및 다른 디스플레이 장치 사용자에 대응하는 제2 아바타 영상을 획득할 수 있다.
상기 적어도 하나의 프로세서는, 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 제1 아바타 영상 및 제2 아바타 영상을 포함하는 그룹 영상을 디스플레이하도록 상기 디스플레이를 제어할 수 있다.
일 실시예에 따른 디스플레이 장치의 동작 방법은 제1 사용자를 촬영한 제1 사용자 영상을 획득하는 단계를 포함할 수 있다.
일 실시예에 따른 디스플레이 장치의 동작 방법은 상기 디스플레이 장치의 캐패빌리티(capability) 정보를 서버로 전송하는 단계를 포함할 수 있다.
일 실시예에 따른 디스플레이 장치의 동작 방법은 상기 서버로부터, 상기 캐패빌리티 정보에 기초하여 결정된 그룹 서비스의 구성 방식에 대한 정보를 수신하는 단계를 포함할 수 있다.
일 실시예에 따른 디스플레이 장치의 동작 방법은 상기 수신한 정보에 기초하여, 상기 제1 아바타 영상 및 다른 디스플레이 장치 사용자에 대응하는 제2 아바타 영상을 획득하는 단계를 포함할 수 있다.
일 실시예에 따른 디스플레이 장치의 동작 방법은 상기 제1 아바타 영상 및 제2 아바타 영상을 포함하는 그룹 영상을 디스플레이하는 단계를 포함할 수 있다.
도 1은 일 실시예에 따른 그룹 서비스 제공 시스템을 나타내는 도면이다.
도 2는 일 실시예에 따른 서버가 그룹 서비스의 구성 방식을 결정하는 방법을 나타내는 흐름도이다.
도 3은 일 실시예에 따른 디스플레이 장치가 서비스 구성 방식을 결정하는 방법을 나타내는 흐름도이다.
도 4는 일 실시예에 따른 그룹 서비스 구성 방식이 디바이스 기반으로 결정된 경우, 복수의 디스플레이 장치들의 동작 방법을 나타내는 흐름도이다.
도 5는 일 실시예에 따른 그룹 서비스의 구성을 디바이스 기반으로 하는 경우에, 복수의 디스플레이 장치들의 동작들을 나타내는 도면이다.
도 6은 일 실시예에 따른 아바타 정보를 설정하기 위한 사용자 인터페이스 화면의 일 예를 나타내는 도면이다.
도 7은 일 실시예에 따른 그룹 서비스 구성 방식이 디바이스 기반으로 결정된 경우, 복수의 디스플레이 장치들의 동작 방법을 나타내는 흐름도이다.
도 8은 일 실시예에 따른 그룹 서비스의 구성을 디바이스 기반으로 하는 경우에, 복수의 디스플레이 장치들의 동작들을 나타내는 도면이다.
도 9는 일 실시예에 따른 그룹 서비스 구성 방식이 서버 기반으로 결정된 경우, 복수의 디스플레이 장치들과 서버의 동작 방법을 나타내는 흐름도이다.
도 10은 일 실시예에 따른 그룹 서비스 구성 방식이 서버 기반으로 결정된 경우, 복수의 디스플레이 장치들과 서버의 동작 방법을 나타내는 흐름도이다.
도 11는 일 실시예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.
도 12는 일 실시예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.
도 13은 일 실시예에 따른 서버의 구성을 나타내는 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서의 실시예에서 "사용자"라는 용어는 시스템, 기능 또는 동작을 제어하는 사람을 의미하며, 개발자, 관리자 또는 설치 기사를 포함할 수 있다.
또한, 본 명세서의 실시예에서, '영상(image)' 또는 '픽처'는 정지영상, 복수의 연속된 정지영상(또는 프레임)으로 구성된 동영상, 또는 비디오를 나타낼 수 있다.
도 1은 일 실시예에 따른 그룹 서비스 제공 시스템을 나타내는 도면이다.
도 1을 참조하면, 일 실시예에 따른 그룹 서비스 제공 시스템은 서버(200) 및 복수의 디스플레이 장치들(101, 102, 103)을 포함할 수 있다. 일 실시예에 따른 복수의 디스플레이 장치들(101, 102, 103)은 그룹 서비스에 연결된 장치들일 수 있다. 일 실시예에 따른 그룹 서비스는 복수의 사용자들이 비대면으로 함께 참여할 수 있는 그룹 활동을 제공하는 서비스일 수 있다.
그룹 서비스에 연결된 복수의 디스플레이 장치들(101, 102, 103)은 사용자 영상을 서로 공유할 수 있다. 복수의 디스플레이 장치들(101, 102, 103) 각각은 복수의 디스플레이 장치들(101, 102, 103)의 사용자 영상들을 포함하는 하나의 그룹 영상을 표시할 수 있다.
일 실시예에 따른 복수의 디스플레이 장치들(101, 102, 103) 각각은 영상 신호를 처리하여 영상을 표시하기 위한 장치일 수 있으며, 디스플레이를 포함하는 장치일 수 있다.
일 실시예에 따른 복수의 디스플레이 장치들(101, 102, 103) 각각은 디스플레이를 포함하는 TV, 스마트 모니터, 휴대폰, 스마트폰, 태블릿 PC, 디지털 카메라, 캠코더, 노트북 컴퓨터(laptop computer), 데스크탑, 전자책 단말기, 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 내비게이션, MP3 플레이어, DVD(Digital Video Disk) 플레이어, 착용형 장치(wearable device), 비디오 월(Video wall), 디지털 사이니지(Digital Signage), DID(Digital Information Display), 프로젝터 디스플레이, 냉장고, 세탁기 등과 같은 다양한 형태로 구현될 수 있다. 또한, 복수의 디스플레이 장치들(101, 102, 103) 각각은 고정된 위치에 배치되는 고정형 전자 장치 또는 휴대 가능한 형태를 갖는 이동형 전자 장치일 수 있으며, 디지털 방송 수신이 가능한 디지털 방송 수신기일 수 있다. 다만, 이에 한정되는 것은 아니다.
도 1에 도시된 바와 같이, 그룹 서비스가 그룹 피트니스를 제공하는 서비스인 경우, 복수의 디스플레이 장치들(101, 102, 103)은 각각 사용자의 운동 영상을 촬영하고, 복수의 사용자들의 운동 영상들을 하나의 그룹 영상으로 제공할 수 있다. 이에 따라, 복수의 디스플레이 장치 사용자들은 자신의 운동 영상뿐 아니라, 다른 사용자들의 운동 영상들을 함께 공유하면서 비대면으로 홈 피트니스를 수행할 수 있다.
이때, 사용자의 운동 영상은 실제 사용자를 촬영한 영상을 포함하지 않고, 실제 사용자를 촬영한 영상에 기초하여 생성된 아바타가 움직이는 아바타 영상을 포함할 수 있다.
그룹 피트니스 화면에 포함되는 복수의 사용자들의 운동 영상들을 사용자를 실제 촬영한 영상으로 표시하는 경우, 어떤 사용자는 자신의 얼굴, 운동복 등을 다른 사용자에게 보여주기 싫은 경우가 발생할 수 있다. 따라서, 그룹 피트니스 화면에 표시되는 사용자의 운동 영상을 아바타 영상으로 표시함으로써, 개인의 프라이버시를 보호할 수 있다.
일 실시예에 따른 아바타 영상은 사용자를 촬영한 영상을 기반으로 실제 사용자처럼 움직이는 영상일 수 있다. 일 실시예에 따른 서버(200) 또는 복수의 디스플레이 장치들(101, 102, 103)은 사용자를 촬영한 영상에서 오브젝트(예를 들어, 사용자)를 검출하고, 검출된 오브젝트의 트랙킹 정보를 획득하고, 트랙킹 정보에 기초하여, 아바타 영상을 생성할 수 있다.
한편, 일 실시예에 따른 서버(200)는 복수의 디스플레이 장치들(101, 102, 103)의 캐패빌리티 정보에 기초하여, 그룹 서비스의 구성을 서버 기반으로 할 지, 디바이스 기반으로 할 지를 결정할 수 있다. 예를 들어, 서버(200)는 아바타 영상을 생성하는 동작을 서버(200)에서 수행할 지(서버 기반 서비스 구성), 디스플레이 장치들(101, 102, 103) 각각에서 수행할 지(디바이스 기반 서비스 구성)를 결정할 수 있다.
서버 기반으로 서비스를 구성하는 것으로 결정된 경우, 복수의 디스플레이 장치들(101, 102, 103) 각각은 서버(200)로 사용자를 촬영한 영상(사용자 영상) 또는 사용자 영상에 대한 정보를 전송할 수 있다.
일 실시예에 따른 서버(200)는 복수의 디스플레이 장치들(101, 102, 103) 각각으로부터 수신한 사용자 영상 또는 사용자 영상에 대한 정보에 기초하여, 사용자 영상에 대응하는 아바타 영상을 생성할 수 있다. 서버(200)는 복수의 디스플레이 장치 사용자들에 대응하는 아바타 영상들을 포함하는 하나의 그룹 영상을 생성하여, 복수의 디스플레이 장치들(101, 102, 103)로 전송할 수 있다.
복수의 디스플레이 장치들(101, 102, 103)은 서버(200)로부터 수신한 복수의 사용자들에 대응하는 아바타 영상들을 포함하는 하나의 그룹 영상을 표시할 수 있다.
또는 디바이스 기반으로 서비스를 구성하는 것으로 결정된 경우, 복수의 디스플레이 장치들(101, 102, 103) 각각은 서버(200)를 통하지 않고, 복수의 디스플레이 장치들(101, 102, 103) 각각에서 사용자 영상에 기초하여, 사용자 영상에 대응하는 아바타 영상을 생성할 수 있다. 또한, 복수의 디스플레이 장치들(101, 102, 103) 각각은 다른 디스플레이 장치들로 생성된 아바타 영상을 전송할 수 있다. 복수의 디스플레이 장치들(101, 102, 103) 각각은 디스플레이 장치에서 생성된 아바타 영상과 다른 디스플레이 장치들로부터 수신한 아바타 영상을 포함하는 하나의 그룹 영상을 생성하여, 표시할 수 있다. 다만, 이에 한정되지 않는다.
일 실시예에 따른 디스플레이 장치가 디스플레이 장치 사용자의 아바타 영상과 다른 디스플레이 장치 사용자의 아바타 영상을 포함하는 하나의 그룹 영상을 획득하는 방법에 대해서 이하 도면들을 참조하여, 자세히 설명하기로 한다.
도 2는 일 실시예에 따른 서버가 그룹 서비스의 구성 방식을 결정하는 방법을 나타내는 흐름도이다.
도 2의 일 실시예에 따른 디스플레이 장치(100)는 도 1의 복수의 디스플레이 장치들(101, 102, 103) 중 어느 하나일 수 있다.
도 2를 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 디바이스 캐패빌리티(capability) 정보를 획득할 수 있다(S210). 예를 들어, 디바이스 캐패빌리티 정보는 디스플레이 장치(100)에 포함된 적어도 하나의 프로세서에 대한 타입 정보, 용량 정보, 코어 개수에 대한 정보, 성능 정보, 디스플레이 장치(100)에 포함된 메모리에 대한 타입 정보, 용량 정보, 성능 정보 중 적어도 하나를 포함할 수 있다.
디스플레이 장치(100)는 디바이스 캐피빌리티 정보를 기 저장할 수 있다. 디스플레이 장치(100)는 서버(200)로부터 디바이스 캐패빌리티 정보에 대한 요청을 수신하면, 기 저장된 디바이스 캐패빌리티 정보를 서버(200)로 전송할 수 있다(S220).
서버(200)는 디스플레이 장치(100)로부터 디바이스 캐패빌리티 정보를 수신하고, 수신한 디바이스 캐패빌리티 정보에 기초하여, 그룹 서비스의 구성 방식을 결정할 수 있다(S230).
예를 들어, 서버(200)는 서비스 구성 방식을 결정하기 위한 정책 정보(서비스 결정 정책 정보)를 저장할 수 있다. 서비스 결정 정책 정보는 디바이스에서 아바타 생성 등의 그룹 서비스에 포함되는 동작을 수행하기 위해 필요로 하는 디바이스 사양(예를 들어, 프로세서에 대한 타입 정보, 용량 정보, 코어 개수에 대한 정보, 성능 정보, 메모리에 대한 타입 정보, 용량 정보, 성능 정보 등)에 대한 기준 등을 포함할 수 있다. 다만, 이에 한정되지 않는다.
또한, 서비스 결정 정책 정보는 서버에 접속된 동시 접속자 수 또는 네트워크 상황 등에 따라 변경될 수 있다. 또한, 그룹 서비스에서 제공하는 기능이 변경됨에 따라 서비스 결정 정책 정보도 변경될 수 있다. 다만, 이에 한정되지 않는다.
서버(200)는 디바이스 캐패빌리티 정보와 서비스 결정 정책 정보에 기초하여, 그룹 서비스의 구성을 디바이스 기반으로 할 지, 서버 기반으로 할 지를 결정할 수 있다.
또한, 서버(200)는 그룹 서비스로 연결된 다른 디스플레이 장치들의 캐패빌리티 정보도 함께 고려하여, 그룹 서비스의 구성 방식을 결정할 수 있다. 예를 들어, 그룹 서비스로 연결된 일부 디스플레이 장치들의 디바이스 사양은, 디바이스에서 아바타 생성 등의 그룹 서비스에 포함되는 동작을 수행하기 위해 필요로 하는 기준을 만족하지만, 나머지 디스플레이 장치들의 디바이스 사양은 상기 기준을 만족하지 못하는 경우, 서버(200)는 저 사양 디스플레이 장치들에 맞추어 그룹 서비스의 구성 방식을 서버 기반으로 결정할 수 있다. 다만, 이에 한정되지 않는다.
서버(200)는 결정된 서비스 구성 방식에 대한 정보를 디스플레이 장치(100)로 전송할 수 있다(S240).
일 실시예에 따른 디스플레이 장치(100) 및 서버(200)는 결정된 서비스 구성 방식에 따라 동작을 수행할 수 있다(S250, S260).
예를 들어, 그룹 서비스의 구성을 디바이스 기반으로 하는 경우, 일 실시예에 따른 디스플레이 장치(100)는 사용자를 촬영한 사용자 영상에 대한 제1 아바타 영상을 생성하고, 생성된 제1 아바타 영상을 다른 디스플레이 장치로 전송할 수 있다. 또한, 디스플레이 장치(100)는 다른 디스플레이 장치로부터 다른 디스플레이 장치 사용자에 대한 제2 아바타 영상을 수신할 수 있다. 디스플레이 장치(100)는 제1 아바타 영상과 제2 아바타 영상을 포함하는 그룹 영상을 생성하여, 표시할 수 있다.
반면에, 그룹 서비스의 구성을 서버 기반으로 하는 경우, 일 실시예에 따른 디스플레이 장치(100)는 서버(200)로 사용자를 촬영한 사용자 영상 또는 사용자 영상에 대한 정보를 전송하고, 서버(200)는 사용자 영상 또는 사용자 영상에 대한 정보에 기초하여, 제1 아바타 영상을 생성할 수 있다. 또한, 서버(200)는 다른 디스플레이 장치로부터 다른 디스플레이 장치 사용자의 사용자 영상 또는 사용자 영상에 대한 정보를 수신하여, 제2 아바타 영상을 생성할 수 있다. 서버(200)는 제1 아바타 영상과 제2 아바타 영상을 포함하는 그룹 영상을 생성하여 디스플레이 장치들로 전송할 수 있다. 디스플레이 장치들은 서버(200)로부터 수신한 그룹 영상을 표시할 수 있다.
도 3은 일 실시예에 따른 디스플레이 장치가 서비스 구성 방식을 결정하는 방법을 나타내는 흐름도이다.
도 3의 일 실시예에 따른 디스플레이 장치(100)는 도 1의 복수의 디스플레이 장치들(101, 102, 103) 중 어느 하나일 수 있다.
도 3을 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 디바이스 캐패빌리티 정보를 획득할 수 있다(S310). 예를 들어, 디바이스 캐패빌리티 정보는 디스플레이 장치(100)에 포함된 적어도 하나의 프로세서에 대한 타입 정보, 용량 정보, 코어 개수에 대한 정보, 성능 정보, 디스플레이 장치(100)에 포함된 메모리에 대한 타입 정보, 용량 정보, 성능 정보 중 적어도 하나를 포함할 수 있다.
디스플레이 장치(100)는 디바이스 캐피빌리티 정보를 기 저장할 수 있다.
일 실시예에 따른 디스플레이 장치(100)는 서버(200)로부터 서비스 정책 정보를 수신할 수 있다(S320).
예를 들어, 서버(200)는 서비스 구성 방식을 결정하기 위한 서비스 결정 정책 정보를 저장할 수 있다. 서비스 결정 정책 정보는 디바이스에서 아바타 생성 등의 그룹 서비스에 포함되는 동작을 수행하기 위해 필요로 하는 디바이스 사양(예를 들어, 프로세서에 대한 타입 정보, 용량 정보, 코어 개수에 대한 정보, 성능 정보, 메모리에 대한 타입 정보, 용량 정보, 성능 정보 등)에 대한 기준 등을 포함할 수 있다. 다만, 이에 한정되지 않는다.
또한, 서비스 결정 정책 정보는 서버에 접속된 동시 접속자 수 또는 네트워크 상황 등에 따라 변경될 수 있다. 또한, 그룹 서비스에서 제공하는 기능이 변경됨에 따라 서비스 결정 정책 정보도 변경될 수 있다. 다만, 이에 한정되지 않는다.
서버(200)는 디스플레이 장치(100)로부터 서비스 정책 정보에 대한 요청을 수신하면, 서비스 정책 정보를 디스플레이 장치(100)로 전송할 수 있다. 다만, 이에 한정되지 않는다.
일 실시예에 따른 디스플레이 장치(100)는 디바이스 캐패빌리티 정보와 서비스 결정 정책 정보에 기초하여, 서비스의 구성 방식을 결정할 수 있다(S330).
예를 들어, 디스플레이 장치(100)는 그룹 서비스의 구성을 디바이스 기반으로 할 지, 서버 기반으로 할 지를 결정할 수 있으며, 결정된 서비스 구성 방식에 대한 정보를 서버(200)로 전송할 수 있다(S340).
일 실시예에 따른 디스플레이 장치(100) 및 서버(200)는 결정된 서비스 구성 방식에 따라 동작을 수행할 수 있다(S350, S360).
예를 들어, 그룹 서비스의 구성을 디바이스 기반으로 하는 경우, 일 실시예에 따른 디스플레이 장치(100)가 사용자를 촬영된 사용자 영상에 대한 제1 아바타 영상을 생성하고, 생성된 제1 아바타 영상을 다른 디스플레이 장치로 전송할 수 있다. 또한, 다른 디스플레이 장치로부터 다른 디스플레이 장치 사용자에 대한 제2 아바타 영상을 수신할 수 있다. 디스플레이 장치(100)는 제1 아바타 영상과 제2 아바타 영상을 포함하는 그룹 영상을 생성하여, 표시할 수 있다.
반면에, 그룹 서비스의 구성을 서버 기반으로 하는 경우, 일 실시예에 따른 디스플레이 장치(100)는 서버(200)로 사용자를 촬영한 사용자 영상 또는 사용자 영상에 대한 정보를 전송하고, 서버(200)는 사용자 영상 또는 사용자 영상에 대한 정보에 기초하여, 제1 아바타 영상을 생성할 수 있다. 또한, 서버(200)는 다른 디스플레이 장치로부터 다른 디스플레이 장치 사용자의 사용자 영상 또는 사용자 영상에 대한 정보를 수신하여, 제2 아바타 영상을 생성할 수 있다. 서버(200)는 제1 아바타 영상 과 제2 아바타 영상을 포함하는 그룹 영상을 생성하여 디스플레이 장치들로 전송할 수 있다. 디스플레이 장치들은 서버(200)로부터 수신한 그룹 영상을 표시할 수 있다.
도 4는 일 실시예에 따른 그룹 서비스 구성 방식이 디바이스 기반으로 결정된 경우, 복수의 디스플레이 장치들의 동작 방법을 나타내는 흐름도이다.
일 실시예에 따른 복수의 디스플레이 장치들은 제1 디스플레이 장치(101) 및 제2 디스플레이 장치(102)를 포함할 수 있다. 복수의 디스플레이 장치들은 그룹 서비스로 서로 연결된 장치들일 수 있다.
도 4를 참조하면, 일 실시예에 따른 제1 디스플레이 장치(101)는 카메라를 이용하여, 제1 디스플레이 장치 사용자(제1 사용자)를 촬영한 제1 사용자 영상을 획득할 수 있다(S410). 이때, 카메라는 제1 디스플레이 장치(101)에 탑재된 카메라이거나 제1 디스플레이 장치(101)에 유선 또는 무선 통신 방식으로 연결된 카메라일 수 있다.
일 실시예에 따른 제1 디스플레이 장치(101)는 제1 사용자 영상으로부터 오브젝트(예를 들어, 제1 사용자)를 검출하고, 제1 사용자에 대한 트랙킹 정보(제1 트랙킹 정보)를 획득할 수 있다(S420).
예를 들어, 제1 디스플레이 장치(101)는 객체 검출 모듈을 이용하여, 제1 사용자 영상을 분석하여, 제1 사용자를 검출할 수 있다. 객체 검출 모듈은 카메라에 의해 촬영된 영상에 포함되는 특정 객체를 검출할 수 있도록 하는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다. 객체 검출 모듈은 규칙 기반 또는 인공지능 알고리즘으로서 기계학습, 신경망 네트워크 또는 딥러닝 알고리즘 중 적어도 하나를 이용하여, 제1 사용자 영상을 분석함으로써, 제1 사용자를 검출할 수 있다.
또한, 제1 디스플레이 장치(101)는 트랙킹 모듈을 이용하여, 제1 트랙킹 정보를 획득할 수 있다. 트랙킹 모듈은 카메라에 의해 촬영된 영상에 포함되는 특정 객체의 움직을 트랙킹할 수 있는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다. 트랙킹 모듈은 규칙 기반 또는 인공지능 알고리즘으로서 기계학습, 신경망 네트워크 또는 딥러닝 알고리즘 중 적어도 하나를 이용하여, 제1 사용자 영상에서 제1 사용자의 움직임 정보를 획득할 수 있다.
예를 들어, 트랙킹 모듈은 제1 사용자의 포즈를 추정하고, 추정된 포즈에 기초하여, 제1 사용자의 특정 신체 부위(예를 들어, 얼굴, 손 등)를 식별하고, 식별된 특정 신체 부위에 대한 움직임을 더 상세하게 검출할 수 있다.
다만, 상술한 객체 검출 모듈 및 트랙킹 모듈은 일 예에 불과하며, 일 실시예에 따른 제1 디스플레이 장치(101)는 다양한 방법으로 제1 사용자 영상에서 제1 사용자를 검출하고, 제1 트랙킹 정보를 획득할 수 있다.
일 실시예에 따른 제1 디스플레이 장치(101)는 제1 사용자 영상에 대응하는 제1 아바타 영상을 생성할 수 있다(S430).
제1 디스플레이 장치(101)는 사용자가 설정한 아바타 정보와 420 단계(S420)에서 획득한 제1 트랙킹 정보에 기초하여, 제1 아바타 영상을 생성할 수 있다. 이때, 제1 아바타 영상은 제1 사용자 영상에서의 제1 사용자에 대응되도록 움직이는 영상일 수 있다.
일 실시예에 따른 제1 디스플레이 장치(101)는 제1 아바타 영상을 제2 디스플레이 장치(102)로 전송할 수 있다(S440).
또한, 일 실시예에 따른 제2 디스플레이 장치(102)는 카메라를 이용하여 제2 디스플레이 장치 사용자(제2 사용자)를 촬영한 제2 사용자 영상을 획득할 수 있다(S420). 이때, 카메라는 제2 디스플레이 장치(102)에 탑재된 카메라이거나 제2 디스플레이 장치(102)에 유선 또는 무선 통신 방식으로 연결된 카메라일 수 있다.
또한, 제2 디스플레이 장치(102)는 제2 사용자 영상으로부터 오브젝트(예를 들어, 제2 사용자)를 검출하고, 제2 사용자에 대한 트랙킹 정보(제2 트랙킹 정보)를 획득할 수 있다(S425).
예를 들어, 제2 디스플레이 장치(102)는 객체 검출 모듈을 이용하여, 제1 사용자 영상을 분석하여, 제2 사용자를 검출할 수 있다. 또한, 제2 디스플레이 장치(102)는 트랙킹 모듈을 이용하여, 제2 트랙킹 정보를 획득할 수 있다.
객체 검출 모듈 및 트랙킹 모듈에 대한 설명은 420 단계(S420)에서 자세히 설명하였으므로 구체적인 설명은 생략하기로 한다. 다만, 객체 검출 모듈 및 트랙킹 모듈은 일 예에 불과하며, 일 실시예에 따른 제2 디스플레이 장치(102)는 다양한 방법으로 제2 사용자 영상에서 제2 사용자를 검출하고, 제2 트랙킹 정보를 획득할 수 있다.
일 실시예에 따른 제2 디스플레이 장치(102)는 제2 사용자 영상에 대응하는 제2 아바타 영상을 생성할 수 있다(S435).
제2 디스플레이 장치(102)는 제2 사용자가 설정한 아바타 정보와 425 단계(S425)에서 획득한 트랙킹 정보에 기초하여, 제2 아바타 영상을 생성할 수 있다. 이때, 제2 아바타 영상은 제2 사용자 영상에서의 제2 사용자에 대응되도록 움직이는 영상일 수 있다.
일 실시예에 따른 제2 디스플레이 장치(102)는 제2 아바타 영상을 제1 디스플레이 장치(101)로 전송할 수 있다(S445).
일 실시예에 따른 제1 디스플레이 장치(101)는 생성된 제1 아바타 영상과 제2 디스플레이 장치(102)로부터 수신한 제2 아바타 영상을 포함하는 그룹 영상을 생성하여 표시할 수 있다(S450).
예를 들어, 제1 디스플레이 장치(101)는 하나의 화면을 제1 영역 및 제2 영역을 포함하는 복수의 영역들로 분할하고, 제1 영역에는 제1 아바타 영상을 표시하고, 제2 영역에는 제2 아바타 영상을 표시할 수 있다. 이때, 제1 영역의 크기는 다른 영역들의 크기보다 클 수 있다. 또한, 제1 영역은 화면의 중심에 위치할 수 있다. 또는, 제1 디스플레이 장치(101)는 제1 사용자가 설정한 배경 화면에 제1 아바타 영상 및 제2 아바타 영상을 합성하여 그룹 영상을 생성할 수 있다. 다만, 이에 한정되지 않는다.
또한, 일 실시예에 따른 제2 디스플레이 장치(102)는 생성된 제2 아바타 영상과 제1 디스플레이 장치(101)로부터 수신한 제1 아바타 영상을 포함하는 그룹 영상을 생성하여 표시할 수 있다(S460).
예를 들어, 제2 디스플레이 장치(102)는 하나의 화면을 제1 영역 및 제2 영역을 포함하는 복수의 영역들로 분할하고, 제1 영역에는 제2 아바타 영상을 표시하고, 제2 영역에는 제1 아바타 영상을 표시할 수 있다. 이때, 제1 영역의 크기는 다른 영역들의 크기보다 클 수 있다. 또한, 제1 영역은 화면의 중심에 위치할 수 있다. 또는, 제2 디스플레이 장치(102)는 제2 사용자가 설정한 배경 화면에 제1 아바타 영상 및 제2 아바타 영상을 합성하여 그룹 영상을 생성할 수 있다. 다만, 이에 한정되지 않는다.
도 5는 일 실시예에 따른 그룹 서비스의 구성을 디바이스 기반으로 하는 경우에, 복수의 디스플레이 장치들의 동작들을 나타내는 도면이다.
도 5를 참조하면, 일 실시예에 따른 복수의 디스플레이 장치들은 제1 디스플레이 장치(101), 제2 디스플레이 장치(102) 및 제3 디스플레이 장치(103)를 포함할 수 있다. 다만, 이에 한정되지 않는다.
제1 디스플레이 장치(101), 제2 디스플레이 장치(120) 및 제3 디스플레이 장치(103)는 서버(200)에서 제공하는 그룹 서비스로 연결된 장치들일 수 있다. 제1 디스플레이 장치(101), 제2 디스플레이 장치(102) 및 제3 디스플레이 장치(103)는 각각의 식별 정보에 기초하여 하나의 그룹으로 연결되어 서로 사용자 영상을 공유할 수 있는 상태일 수 있다.
예를 들어, 제1 내지 제3 디스플레이 장치들(101, 102, 103)은 각각의 사용자 정보를 서버(200)로 전송하고, 서버(200)는 제1 내지 제3 디스플레이 장치들(101, 102, 103) 각각의 사용자 정보에 기초하여, 제1 내지 제3 디스플레이 장치들(101, 102, 103)에 대한 인증을 수행할 수 있다. 이에 따라, 제1 내지 제3 디스플레이 장치들(101, 102, 103)은 그룹 피트니스 서비스에 로그인될 수 있다.
또한, 일 실시예에 따른 서버(200)는 제1 내지 제3 디스플레이 장치들(101, 102, 103) 각각의 캐패빌리티 정보에 기초하여, 아바타 영상을 생성하는 동작을 제1 내지 제3 디스플레이 장치들(101, 102, 103) 각각에서 수행하는 것으로 결정할 수 있다. 이에 대해서는 도 2에서 자세히 설명하였으므로 구체적인 설명은 생략하기로 한다.
제1 내지 제3 디스플레이 장치들(101, 102, 103) 각각은 사용자를 촬영한 영상을 획득할 수 있다. 예를 들어, 제1 디스플레이 장치(101)는 제1 사용자를 촬영한 제1 사용자 영상(511)을 획득할 수 있다. 제1 디스플레이 장치(101)는 제1 사용자 영상(511)에서 제1 사용자를 검출하고, 제1 사용자의 트랙킹 정보를 획득하여, 제1 아바타 영상(521)을 생성할 수 있다.
제1 아바타 영상(521)은 제1 사용자 영상(511)의 제1 사용자와 동일하게 움직이는 영상으로 사용자에 의해 설정된 아바타 정보에 기초하여 생성될 수 있다. 아바타 정보를 설정하는 방법에 대해서는 도 6을 참조하여 자세히 설명하기로 한다.
도 6은 일 실시예에 따른 아바타 정보를 설정하기 위한 사용자 인터페이스 화면의 일 예를 나타내는 도면이다.
도 6을 참조하면, 제1 디스플레이 장치(101)는 아바타 정보를 설정할 수 있는 사용자 인터페이스 화면(아바타 설정 화면)을 표시할 수 있다.
도 6에 도시된 바와 같이, 제1 디스플레이 장치(101)는 아바타에 대한 기본 캐릭터를 설정할 수 있는 메뉴 화면(610)을 포함할 수 있다. 예를 들어, 제1 디스플레이 장치(101)는 성별, 인종, 연령 등이 서로 다른 복수의 캐릭터들을 포함하는 리스트(620)를 표시할 수 있다.
제1 디스플레이 장치(101)는 복수의 캐릭터들 중 어느 하나를 선택하는 입력을 수신하면, 선택된 캐릭터(630)를 표시하고, 선택된 캐릭터와 관련된 아이템들을 설정할 수 있는 메뉴 화면(615)을 표시할 수 있다.
제1 디스플레이 장치(101)는 선택된 캐릭터를 꾸밀 수 있는 아이템들을 포함하는 리스트(640)를 표시할 수 있다.
제1 디스플레이 장치(101)는 복수의 아이템들 중 적어도 하나를 선택하는 입력을 수신하면, 선택된 적어도 하나의 아이템을 선택된 캐릭터(630)에 적용시켜 표시할 수 있다.
제1 디스플레이 장치(101)는 메뉴 화면(615)에 포함되는 저장 버튼(650)을 선택하는 사용자 입력에 기초하여, 최종 캐릭터를 제1 사용자에 대한 제1 아바타 정보로 저장할 수 있다.
다만, 도 6에 도시된 아바타 정보를 설정하는 사용자 인터페이스 화면은 일 예에 불과하며, 일 실시예에 따른 제1 디스플레이 장치(101)는 다양한 방법으로 제1 아바타 정보를 설정할 수 있다.
다시 도 5를 참조하면, 제2 디스플레이 장치(102)는 제2 사용자를 촬영한 제2 사용자 영상(512)을 획득할 수 있다. 제2 디스플레이 장치(102)는 제2 사용자 영상(512)에서 제2 사용자를 검출하고, 제2 사용자의 트랙킹 정보를 획득할 수 있다. 제2 디스플레이 장치(102)는 획득된 제2 사용자의 트랙킹 정보에 기초하여, 제2 아바타 영상(522)을 생성할 수 있다. 제2 아바타 영상(522)은 사용자에 의해 설정된 아바타 정보에 기초하여 생성될 수 있으며, 제2 사용자 영상(512)에서 검출된 제2 사용자와 동일하게 움직이는 영상일 수 있다.
또한, 제3 디스플레이 장치(103)는 제3 사용자를 촬영한 제3 사용자 영상(513)을 획득할 수 있다. 제3 디스플레이 장치(103)는 제3 사용자 영상(513)에서 제3 사용자를 검출하고, 제3 사용자의 트랙킹 정보를 획득할 수 있다. 제3 디스플레이 장치(103)는 획득된 제3 사용자의 트랙킹 정보에 기초하여, 제3 아바타 영상(523)을 생성할 수 있다. 제3 아바타 영상(523)은 사용자에 의해 설정된 아바타 정보에 기초하여 생성될 수 있으며, 제3 사용자 영상(513)에서 검출된 제3 사용자와 동일하게 움직이는 영상일 수 있다.
제1 내지 제3 디스플레이 장치들(101, 102, 103) 각각은 생성된 아바타 영상을 다른 디스플레이 장치들로 전송할 수 있다.
제1 내지 제3 디스플레이 장치들(101, 102, 103) 각각은 서버(200)로 그룹 서비스로 연결된 다른 디스플레이 장치들에 대한 식별 정보를 요청하고, 서버(200)로부터 다른 디스플레이 장치들에 대한 식별 정보를 수신할 수 있다.
제1 내지 제3 디스플레이 장치들(101, 102, 103) 각각은 수신한 다른 디스플레이 장치들에 대한 식별 정보에 기초하여, 생성된 아바타 영상을 다른 디스플레이 장치들로 전송할 수 있다.
예를 들어, 제1 디스플레이 장치(101)는 제1 아바타 영상(521)을 제2 및 제3 디스플레이 장치들(102, 103)로 전송하고, 제2 디스플레이 장치(102)로부터 제2 아바타 영상(522)을 수신하며, 제3 디스플레이 장치(103)로부터 제3 아바타 영상(523)을 수신할 수 있다.
또한, 제2 디스플레이 장치(102)는 제2 아바타 영상(522)을 제1 및 제3 디스플레이 장치들(101, 103)로 전송하고, 제1 디스플레이 장치(101)로부터 제1 아바타 영상(521)을 수신하며, 제3 디스플레이 장치(103)로부터 제3 아바타 영상(523)을 수신할 수 있다.
또한, 제3 디스플레이 장치(103)는 제3 아바타 영상(523)을 제1 및 제2 디스플레이 장치들(101, 102)로 전송하고, 제1 디스플레이 장치(101)로부터 제1 아바타 영상(521)을 수신하며, 제2 디스플레이 장치(102)로부터 제2 아바타 영상(522)을 수신할 수 있다.
제1 디스플레이 장치(101)는 제1 아바타 영상(521), 제2 아바타 영상(522) 및 제3 아바타 영상(523)을 포함하는 제1 그룹 영상(531)을 생성하여 표시할 수 있다. 제1 그룹 영상(531)은 3개의 영역들로 분할되어, 제1 영역에는 제2 아바타 영상(522)이 제2 영역에는 제1 아바타 영상(521)이 제3 영역에는 제3 아바타 영상(523)이 표시될 수 있다. 이때, 제1 내지 제3 아바타 영상들(521, 522, 523)이 표시되는 영역들의 크기 및 위치는 사용자 입력에 기초하여 설정될 수 있다.
또한, 제2 디스플레이 장치(102)는 제1 아바타 영상(521), 제2 아바타 영상(522) 및 제3 아바타 영상(523)을 포함하는 제2 그룹 영상(532)을 생성하여 표시할 수 있다. 제2 그룹 영상(532)은 3개의 영역들로 분할되어, 제1 영역에는 제1 아바타 영상(521)이 제2 영역에는 제2 아바타 영상(522)이 제3 영역에는 제3 아바타 영상(523)이 표시될 수 있다. 이때, 제1 내지 제3 아바타 영상들(521, 522, 523)이 표시되는 영역들의 크기 및 위치는 사용자 입력에 기초하여 설정될 수 있다.
또한, 제3 디스플레이 장치(103)는 제1 아바타 영상(521), 제2 아바타 영상(522) 및 제3 아바타 영상(523)을 포함하는 제3 그룹 영상(533)을 생성할 수 있다. 제3 그룹 영상(533)은 3개의 영역들로 분할되어, 제1 영역에는 제1 아바타 영상(521)이 제2 영역에는 제3 아바타 영상(523)이 제3 영역에는 제2 아바타 영상(522)이 표시될 수 있다. 이때, 제1 내지 제3 아바타 영상들(521, 522, 523)이 표시되는 영역들의 크기 및 위치는 사용자 입력에 기초하여 설정될 수 있다.
도 7은 일 실시예에 따른 그룹 서비스 구성 방식이 디바이스 기반으로 결정된 경우, 복수의 디스플레이 장치들의 동작 방법을 나타내는 흐름도이다.
일 실시예에 따른 복수의 디스플레이 장치들은 제1 디스플레이 장치(101) 및 제2 디스플레이 장치(102)를 포함할 수 있다. 복수의 디스플레이 장치들은 그룹 서비스로 서로 연결된 장치들일 수 있다.
도 7을 참조하면, 제1 디스플레이 장치(101)는 카메라를 이용하여 제1 사용자를 촬영한 제1 사용자 영상을 획득할 수 있다(S710). 이때, 카메라는 제1 디스플레이 장치(101)에 탑재된 카메라이거나 제1 디스플레이 장치(101)에 유선 또는 무선 통신 방식으로 연결된 카메라일 수 있다.
또한, 제1 디스플레이 장치(101)는 제1 사용자 영상으로부터 제1 사용자를 검출하고, 제1 사용자에 대한 트랙킹 정보(제1 트랙킹 정보)를 획득할 수 있다(S720).
제1 사용자에 대한 트랙킹 정보를 획득하는 방법에 대해서는 도 4의 420 단계(S420)에서 자세히 설명하였으므로 동일한 설명은 생략하기로 한다.
제1 디스플레이 장치(101)는 제1 트랙킹 정보를 제2 디스플레이 장치(102)로 전송할 수 있다(S730).
또한, 일 실시예에 따른 제2 디스플레이 장치(102)는 카메라를 이용하여 제2 디스플레이 장치 사용자(제2 사용자)를 촬영한 제2 사용자 영상을 획득할 수 있다(S715). 이때, 카메라는 제2 디스플레이 장치(102)에 탑재된 카메라이거나 제2 디스플레이 장치(102)에 유선 또는 무선 통신 방식으로 연결된 카메라일 수 있다.
또한, 제2 디스플레이 장치(102)는 제2 사용자 영상으로부터 제2 사용자를 검출하고, 제2 사용자에 대한 트랙킹 정보(제2 트랙킹 정보)를 획득할 수 있다(S725).
사용자에 대한 트랙킹 정보를 획득하는 방법에 대해서는 도 4의 425 단계(S425)에서 자세히 설명하였으므로 동일한 설명은 생략하기로 한다.
제2 디스플레이 장치(102)는 제2 트랙킹 정보를 제1 디스플레이 장치(101)로 전송할 수 있다(S735).
일 실시예에 따른 제1 디스플레이 장치(101)는 제1 트랙킹 정보에 기초하여, 제1 아바타 영상을 생성할 수 있으며, 제2 트랙킹 정보에 기초하여, 제2 아바타 영상을 생성할 수 있다(S740).
예를 들어, 제1 디스플레이 장치(101)는 제1 사용자가 설정한 제1 아바타 정보와 제1 트랙킹 정보에 기초하여, 제1 사용자 영상에 대응하는 제1 아바타 영상을 생성할 수 있다. 또한, 제1 디스플레이 장치(101)는 제2 아바타 정보를 획득하고, 제2 아바타 정보와 제2 트랙킹 정보에 기초하여, 제2 사용자 영상에 대응하는 제2 아바타 영상을 생성할 수 있다. 이때, 제2 아바타 정보는 제2 사용자에 의해 설정된 아바타 정보를 수신함으로써 획득되거나 제1 사용자의 설정에 의해 획득될 수 있다. 다만, 이에 한정되지 않는다.
제1 디스플레이 장치(101)는 제1 아바타 영상과 제2 아바타 영상을 포함하는 제1 그룹 영상을 생성하여 표시할 수 있다(S750).
예를 들어, 제1 디스플레이 장치(101)는 제1 아바타 영상과 제2 아바타 영상을 가상의 배경 화면에 합성함으로써, 제1 그룹 영상을 생성할 수 있다. 다만, 이에 한정되지 않는다.
또한, 일 실시예에 따른 제2 디스플레이 장치(102)는 제1 트랙킹 정보에 기초하여, 제1 아바타 영상을 생성할 수 있으며, 제2 트랙킹 정보에 기초하여, 제2 아바타 영상을 생성할 수 있다(S745).
예를 들어, 제2 디스플레이 장치(102)는 제1 아바타 정보를 획득하고, 제1 아바타 정보와 제1 트랙킹 정보에 기초하여, 제1 사용자 영상에 대응하는 제1 아바타 영상을 생성할 수 있다. 이때, 제1 아바타 정보는 제1 사용자에 의해 설정된 아바타 정보를 수신함으로써 획득되거나 제2 사용자의 설정에 의해 획득될 수 있다. 다만, 이에 한정되지 않는다.
또한, 제2 디스플레이 장치(102)는 제2 사용자가 설정한 제2 아바타 정보와 제2 트랙킹 정보에 기초하여, 제2 사용자 영상에 대응하는 제2 아바타 영상을 생성할 수 있다.
제2 디스플레이 장치(102)는 제1 아바타 영상과 제2 아바타 영상을 포함하는 제2 그룹 영상을 생성하여 표시할 수 있다(S755).
예를 들어, 제2 디스플레이 장치(102)는 제1 아바타 영상과 제2 아바타 영상을 가상의 배경 화면에 합성함으로써, 제2 그룹 영상을 생성할 수 있다. 다만, 이에 한정되지 않는다.
도 8은 일 실시예에 따른 그룹 서비스의 구성을 디바이스 기반으로 하는 경우에, 복수의 디스플레이 장치들의 동작들을 나타내는 도면이다.
도 8을 참조하면, 일 실시예에 따른 복수의 디스플레이 장치들은 제1 디스플레이 장치(101), 제2 디스플레이 장치(102) 및 제3 디스플레이 장치(103)를 포함할 수 있다. 다만, 이에 한정되지 않는다.
제1 디스플레이 장치(101), 제2 디스플레이 장치(120) 및 제3 디스플레이 장치(103)는 서버(200)에서 제공하는 그룹 서비스로 연결된 장치들일 수 있다. 제1 디스플레이 장치(101), 제2 디스플레이 장치(120) 및 제3 디스플레이 장치(103)는 각각의 식별 정보에 기초하여 하나의 그룹으로 연결되어 서로 사용자 영상을 공유할 수 있는 상태일 수 있다.
예를 들어, 제1 내지 제3 디스플레이 장치들(101, 102, 103)은 각각의 사용자 정보를 서버(200)로 전송하고, 서버(200)는 제1 내지 제3 디스플레이 장치들(101, 102, 103) 각각의 사용자 정보에 기초하여, 제1 내지 제3 디스플레이 장치들(101, 102, 103)에 대한 인증을 수행할 수 있다. 이에 따라, 제1 내지 제3 디스플레이 장치들(101, 102, 103)은 그룹 피트니스 서비스에 로그인될 수 있다.
또한, 일 실시예에 따른 서버(200)는 제1 내지 제3 디스플레이 장치들(101, 102, 103) 각각의 캐패빌리티 정보에 기초하여, 아바타 영상을 생성하는 동작을 제1 내지 제3 디스플레이 장치들(101, 102, 103) 각각에서 수행하는 것으로 결정할 수 있다. 이에 대해서는 도 2에서 자세히 설명하였으므로 구체적인 설명은 생략하기로 한다.
제1 내지 제3 디스플레이 장치들(101, 102, 103) 각각은 사용자를 촬영한 영상을 획득할 수 있다. 예를 들어, 제1 디스플레이 장치(101)는 제1 사용자를 촬영한 제1 사용자 영상(811)을 획득할 수 있다. 제1 디스플레이 장치(101)는 제1 사용자 영상(811)에서 제1 사용자를 검출하고, 제1 사용자에 대한 트랙킹 정보(제1 트랙킹 정보, 821)를 획득할 수 있다. 또한, 제2 디스플레이 장치(102)는 제2 사용자 영상(812)을 획득할 수 있다. 제2 디스플레이 장치(102)는 제2 사용자 영상에서 제2 사용자를 검출하고, 제2 사용자에 대한 트랙킹 정보(제2 트랙킹 정보, 822)를 획득할 수 있다. 또한, 제3 디스플레이 장치(103)는 제3 사용자 영상(813)을 획득할 수 있다. 제3 디스플레이 장치(103)는 제3 사용자 영상에서 제3 사용자를 검출하고, 제3 사용자에 대한 트랙킹 정보(제3 트랙킹 정보, 823)를 획득할 수 있다.
또한, 도시하지는 않았지만, 제2 디스플레이 장치(102)의 디바이스 사양이 제2 사용자 영상(812)에서 제2 트랙킹 정보를 획득하기 위한 기준을 만족하지 못하는 경우, 제2 디스플레이 장치(102)는 제2 디스플레이 장치(102)와 연동된 외부 전자 기기로 제2 사용자 영상(812)을 전송할 수 있다. 외부 전자 기기는 제2 사용자의 개인 전자 기기일 수 있으며, 외부 전자 기기의 디바이스 사양은 제2 사용자 영상(812)에서 제2 트랙킹 정보를 획득하기 위한 기준을 만족할 수 있다. 외부 전자 기기는 제2 사용자 영상에서 제2 사용자를 검출하고, 제2 사용자에 대한 제2 트랙킹 정보(822)를 획득할 수 있다. 외부 전자 기기는 제2 트랙킹 정보(822)를 제2 디스플레이 장치(102)로 전송할 수 있다.
제1 내지 제3 디스플레이 장치들(101, 102, 103) 각각은 트랙킹 정보를 다른 디스플레이 장치들로 전송할 수 있다.
제1 내지 제3 디스플레이 장치들(101, 102, 103) 각각은 서버(200)로 그룹 서비스로 연결된 다른 디스플레이 장치들에 대한 식별 정보를 요청하고, 서버(200)로부터 다른 디스플레이 장치들에 대한 식별 정보를 수신할 수 있다. 제1 내지 제3 디스플레이 장치들(101, 102, 103) 각각은 수신한 다른 디스플레이 장치들에 대한 식별 정보에 기초하여, 트랙킹 정보를 다른 디스플레이 장치들로 전송할 수 있다.
예를 들어, 제1 디스플레이 장치(101)는 제1 트랙킹 정보(821)를 제2 및 제3 디스플레이 장치들(102, 103)로 전송하고, 제2 디스플레이 장치(102)로부터 제2 트랙킹 정보(822)를 수신하며, 제3 디스플레이 장치(103)로부터 제3 트랙킹 정보(823)를 수신할 수 있다.
또한, 제2 디스플레이 장치(102)는 제2 트랙킹 정보(822)를 제1 및 제3 디스플레이 장치들(101, 103)로 전송하고, 제1 디스플레이 장치(101)로부터 제1 트랙킹 정보(821)를, 제3 디스플레이 장치(103)로부터 제3 트랙킹 정보(823)를 수신할 수 있다.
또한, 제3 디스플레이 장치(103)는 제3 트랙킹 정보(823)를 제1 및 제2 디스플레이 장치들(101, 102)로 전송하고, 제1 디스플레이 장치(101)로부터 제1 트랙킹 정보(821)를 제2 디스플레이 장치(102)로부터 제2 트랙킹 정보(822)를 수신할 수 있다.
제1 디스플레이 장치(101)는 제1 트랙킹 정보(821) 및 제1 아바타 정보에 기초하여, 제1 아바타 영상을 생성하고, 제2 트랙킹 정보(822) 및 제2 아바타 정보에 기초하여, 제2 아바타 영상을 생성하며, 제3 트랙킹 정보(823) 및 제3 아바타 정보에 기초하여, 제3 아바타 영상을 생성할 수 있다. 이때, 제1 아바타 정보는 제1 사용자에 의해 설정될 수 있으며, 제2 아바타 정보 및 제3 아바타 정보는 제1 사용자에 의해 설정되거나 제2 및 제3 디스플레이 장치들(102, 103)로부터 수신될 수 있다. 다만, 이에 한정되지 않는다.
제1 디스플레이 장치(101)는 제1 내지 제3 아바타 영상들을 가상의 배경 화면에 합성함으로써, 제1 그룹 영상(831)을 생성하여 표시할 수 있다.
제2 디스플레이 장치(102)는 제1 트랙킹 정보(821) 및 제1 아바타 정보에 기초하여, 제1 아바타 영상을 생성하고, 제2 트랙킹 정보(822) 및 제2 아바타 정보에 기초하여, 제2 아바타 영상을 생성하며, 제3 트랙킹 정보(823) 및 제3 아바타 정보에 기초하여, 제3 아바타 영상을 생성할 수 있다. 이때, 제2 아바타 정보는 제2 사용자에 의해 설정될 수 있으며, 제1 아바타 정보 및 제3 아바타 정보는 제2 사용자에 의해 설정되거나 제1 및 제3 디스플레이 장치들(101, 103)로부터 수신될 수 있다. 다만, 이에 한정되지 않는다.
제2 디스플레이 장치(102)는 제1 내지 제3 아바타 영상들을 가상의 배경 화면에 합성함으로써, 제2 그룹 영상(832)을 생성하여 표시할 수 있다.
또는, 제2 디스플레이 장치(102)가 트랙킹 정보에 기초하여, 아바타 영상을 생성하거나 그룹 영상을 생성하는 기능을 수행하지 못하는 경우, 제2 디스플레이 장치(102)는 제2 디스플레이 장치(102)와 연동된 외부 전자 기기로 제1 내지 제3 트랙킹 정보(821, 822, 823)를 전송할 수 있다. 외부 전자 기기는 제1 내지 제3 트랙킹 정보(821, 822, 823)에 기초하여, 제1 내지 제3 아바타 영상들을 생성할 수 있다. 또한, 외부 전자 기기는 제1 내지 제3 아바타 영상들을 가상의 배경 화면에 합성함으로써, 제2 그룹 영상(832)을 생성할 수 있다. 외부 전자 기기는 제1 내지 제3 아바타 영상들 또는 제2 그룹 영상(832)을 제2 디스플레이 장치(102)로 전송할 수 있다.
제3 디스플레이 장치(103)는 제1 트랙킹 정보(821) 및 제1 아바타 정보에 기초하여, 제1 아바타 영상을 생성하고, 제2 트랙킹 정보(822) 및 제2 아바타 정보에 기초하여, 제2 아바타 영상을 생성하며, 제3 트랙킹 정보(823) 및 제3 아바타 정보에 기초하여, 제3 아바타 영상을 생성할 수 있다. 이때, 제3 아바타 정보는 제3 사용자에 의해 설정될 수 있으며, 제1 아바타 정보 및 제2 아바타 정보는 제3 사용자에 의해 설정되거나 제1 및 제2 디스플레이 장치들(101, 102)로부터 수신될 수 있다. 다만, 이에 한정되지 않는다.
제3 디스플레이 장치(103)는 제1 내지 제3 아바타 영상들을 가상의 배경 화면에 합성함으로써, 제3 그룹 영상(833)을 생성하여 표시할 수 있다.
도 9는 일 실시예에 따른 그룹 서비스 구성 방식이 서버 기반으로 결정된 경우, 복수의 디스플레이 장치들과 서버의 동작 방법을 나타내는 흐름도이다.
일 실시예에 따른 복수의 디스플레이 장치들은 제1 디스플레이 장치(101) 및 제2 디스플레이 장치(102)를 포함할 수 있으며, 제1 디스플레이 장치(101) 및 제2 디스플레이 장치(102)는 그룹 서비스로 서로 연결된 장치들일 수 있다.
도 9를 참조하면, 일 실시예에 따른 제1 디스플레이 장치(101)는 카메라를 이용하여, 제1 사용자를 촬영한 제1 사용자 영상을 획득할 수 있다(S910). 이때, 카메라는 제1 디스플레이 장치(101)에 탑재된 카메라이거나 제1 디스플레이 장치(101)에 유선 또는 무선 통신 방식으로 연결된 카메라일 수 있다.
또한, 제1 디스플레이 장치(101)는 제1 사용자 영상을 서버(200)로 전송할 수 있다(S920).
제2 디스플레이 장치(102)는 카메라를 이용하여, 제2 사용자를 촬영한 제2 사용자 영상을 획득할 수 있다(S915). 이때, 카메라는 제2 디스플레이 장치(102)에 탑재된 카메라이거나 제2 디스플레이 장치(102)에 유선 또는 무선 통신 방식으로 연결된 카메라일 수 있다.
또한, 제2 디스플레이 장치(102)는 제2 사용자 영상을 서버(200)로 전송할 수 있다(S925).
서버(200)는 제1 사용자 영상으로부터 제1 사용자를 검출하고, 제1 사용자에 대한 제1 트랙킹 정보를 획득할 수 있다. 또한, 서버(200)는 제2 사용자 영상으로부터 제2 사용자를 검출하고, 제2 사용자에 대한 제2 트랙킹 정보를 획득할 수 있다(S940).
예를 들어, 서버(200)는 객체 검출 모듈을 이용하여, 제1 사용자 영상을 분석하여, 제1 사용자를 검출할 수 있다. 객체 검출 모듈은 카메라에 의해 촬영된 영상에 포함되는 특정 객체를 검출할 수 있도록 하는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다. 객체 검출 모듈은 규칙 기반 또는 인공지능 알고리즘으로서 기계학습, 신경망 네트워크 또는 딥러닝 알고리즘 중 적어도 하나를 이용하여, 제1 사용자 영상을 분석함으로써, 제1 사용자를 검출할 수 있다. 또한, 서버(200)는 트랙킹 모듈을 이용하여, 제1 트랙킹 정보를 획득할 수 있다. 트랙킹 모듈은 카메라에 의해 촬영된 영상에 포함되는 특정 객체의 움직임을 트랙킹할 수 있는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다. 트랙킹 모듈은 규칙 기반 또는 인공지능 알고리즘으로서 기계학습, 신경망 네트워크 또는 딥러닝 알고리즘 중 적어도 하나를 이용하여, 제1 사용자 영상에서 제1 사용자의 움직임 정보를 획득할 수 있다.
예를 들어, 트랙킹 모듈은 제1 사용자의 포즈를 추정하고, 추정된 포즈에 기초하여, 제1 사용자의 특정 신체 부위(예를 들어, 얼굴, 손 등)를 식별하고, 식별된 특정 신체 부위에 대한 움직임을 더 상세하게 검출할 수 있다.
또한, 서버(200)는 객체 검출 모듈을 이용하여, 제2 사용자 영상을 분석함으로써, 제2 사용자를 검출하고, 트랙킹 모듈을 이용하여, 제2 사용자 영상에서 제2 사용자의 움직임 정보를 획득할 수 있다.
한편, 제1 디스플레이 장치(101)는 제1 사용자에 의해 설정된 제1 아바타 정보를 서버(200)로 전송할 수 있으며(S950), 제2 디스플레이 장치(102)는 제2 사용자에 의해 설정된 제2 아바타 정보를 서버(200)로 전송할 수 있다(S955).
서버(200)는 제1 트랙킹 정보 및 제1 아바타 정보에 기초하여, 제1 아바타 영상을 생성하고, 제2 트랙킹 정보 및 제2 아바타 정보에 기초하여, 제2 아바타 영상을 생성할 수 있다(S960). 이때, 제1 아바타 영상은 제1 사용자 영상에서의 제1 사용자에 대응되도록 움직이는 영상일 수 있으며, 제2 아바타 영상은 제2 사용자 영상에서의 제2 사용자에 대응되도록 움직이는 영상일 수 있다.
서버(200)는 제1 아바타 영상과 제2 아바타 영상을 포함하는 그룹 영상을 생성할 수 있다(S970). 예를 들어, 서버(200)는 제1 아바타 영상과 제2 아바타 영상을 가상의 배경 화면에 합성함으로써, 그룹 영상을 생성할 수 있다.
또는, 서버(200)는 제1 아바타 영상과 제2 아바타 영상의 크기나 위치 등을 서로 다르게 한 제1 그룹 영상 및 제2 그룹 영상을 생성할 수 있다. 예를 들어, 제1 그룹 영상에서는 제1 아바타 영상이 제2 아바타 영상보다 크게 표시될 수 있으며, 제2 그룹 영상에서는 제2 아바타 영상이 제1 아바타 영상보다 크게 표시될 수 있다. 다만, 이에 한정되지 않는다.
서버(200)는 그룹 영상을 제1 디스플레이 장치(101) 및 제2 디스플레이 장치(102)로 전송할 수 있다(S980, S985). 예를 들어, 서버(200)는 제1 그룹 영상은 제1 디스플레이 장치(101)로 제2 그룹 영상은 제2 디스플레이 장치(102)로 전송할 수 있다.
제1 디스플레이 장치(101) 및 제2 디스플레이 장치(102)는 서버(200)로부터 수신한 그룹 영상을 표시할 수 있다(S990, S995). 예를 들어, 제1 디스플레이 장치(101)는 제1 그룹 영상을 표시하고, 제2 디스플레이 장치(102)는 제2 그룹 영상을 표시할 수 있다.
도 10은 일 실시예에 따른 그룹 서비스 구성 방식이 서버 기반으로 결정된 경우, 복수의 디스플레이 장치들과 서버의 동작 방법을 나타내는 흐름도이다.
일 실시예에 따른 복수의 디스플레이 장치들은 제1 디스플레이 장치(101) 및 제2 디스플레이 장치(102)를 포함할 수 있으며, 제1 디스플레이 장치(101) 및 제2 디스플레이 장치(102)는 그룹 서비스로 서로 연결된 장치들일 수 있다.
도 10을 참조하면, 일 실시예에 따른 제1 디스플레이 장치(101)는 카메라를 이용하여, 제1 사용자를 촬영한 제1 사용자 영상을 획득할 수 있다(S1010).
제1 디스플레이 장치(101)는 제1 사용자 영상으로부터 제1 사용자를 검출하고, 검출된 제1 사용자의 제1 트랙킹 정보를 획득할 수 있다(S1020).
예를 들어, 제1 디스플레이 장치(101)는 객체 검출 모듈을 이용하여, 제1 사용자 영상을 분석하여, 제1 사용자를 검출할 수 있다. 객체 검출 모듈은 카메라에 의해 촬영된 영상에 포함되는 특정 객체를 검출할 수 있도록 하는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다. 객체 검출 모듈은 규칙 기반 또는 인공지능 알고리즘으로서 기계학습, 신경망 네트워크 또는 딥러닝 알고리즘 중 적어도 하나를 이용하여, 제1 사용자 영상을 분석함으로써, 제1 사용자를 검출할 수 있다.
또한, 제1 디스플레이 장치(101)는 트랙킹 모듈을 이용하여, 제1 트랙킹 정보를 획득할 수 있다. 트랙킹 모듈은 카메라에 의해 촬영된 영상에 포함되는 특정 객체의 움직임을 트랙킹할 수 있는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다. 트랙킹 모듈은 규칙 기반 또는 인공지능 알고리즘으로서 기계학습, 신경망 네트워크 또는 딥러닝 알고리즘 중 적어도 하나를 이용하여, 제1 사용자 영상에서 제1 사용자의 움직임 정보를 획득할 수 있다.
예를 들어, 트랙킹 모듈은 제1 사용자의 포즈를 추정하고, 추정된 포즈에 기초하여, 제1 사용자의 특정 신체 부위(예를 들어, 얼굴, 손 등)를 식별하고, 식별된 특정 신체 부위에 대한 움직임을 더 상세하게 검출할 수 있다.
다만, 상술한 객체 검출 모듈 및 트랙킹 모듈은 일 예에 불과하며, 일 실시예에 따른 제1 디스플레이 장치(101)는 다양한 방법으로 제1 사용자 영상에서 제1 사용자를 검출하고, 제1 트랙킹 정보를 획득할 수 있다.
제1 디스플레이 장치(101)는 제1 트랙킹 정보를 서버(200)로 전송할 수 있다(S1030).
또한, 제1 디스플레이 장치(101)는 제1 사용자에 의해 설정된 제1 아바타 정보를 서버(200)로 전송할 수 있다(S1050).
또한, 일 실시예에 따른 제2 디스플레이 장치(102)는 카메라를 이용하여, 제2 사용자를 촬영한 제2 사용자 영상을 획득할 수 있다(S1015).
제2 디스플레이 장치(102)는 제2 사용자 영상으로부터 제2 사용자를 검출하고, 제2 사용자에 대한 제2 트랙킹 정보를 획득할 수 있다(S1025).
제2 디스플레이 장치(102)는 1020 단계(S1020)에서 설명한 객체 검출 모듈 및 트랙킹 모듈을 이용하여, 제2 사용자에 대한 제2 트랙킹 정보를 획득할 수 있다.
제2 디스플레이 장치(102)는 제2 트랙킹 정보를 서버(200)로 전송할 수 있다(S1035).
또한, 제2 디스플레이 장치(102)는 제2 사용자에 의해 설정된 제2 아바타 정보를 서버(200)로 전송할 수 있다(S1055).
일 실시예에 따른 서버(200)는 제1 트랙킹 정보 및 제1 아바타 정보에 기초하여, 제1 아바타 영상을 생성하고, 제2 트랙킹 정보 및 제2 아바타 정보에 기초하여, 제2 아바타 영상을 생성할 수 있다(S1060). 이때, 제1 아바타 영상은 제1 사용자 영상에서의 제1 사용자에 대응되도록 움직이는 영상일 수 있으며, 제2 아바타 영상은 제2 사용자 영상에서의 제2 사용자에 대응되도록 움직이는 영상일 수 있다.
서버(200)는 제1 아바타 영상과 제2 아바타 영상을 포함하는 그룹 영상을 생성할 수 있다(S1070). 예를 들어, 서버(200)는 제1 아바타 영상과 제2 아바타 영상을 가상의 배경 화면에 합성함으로써, 그룹 영상을 생성할 수 있다.
또는, 서버(200)는 제1 아바타 영상과 제2 아바타 영상의 크기나 위치 등을 서로 다르게 한 제1 그룹 영상 및 제2 그룹 영상을 생성할 수 있다. 예를 들어, 제1 그룹 영상에서는 제1 아바타 영상이 제2 아바타 영상보다 크게 표시될 수 있으며, 제2 그룹 영상에서는 제2 아바타 영상이 제1 아바타 영상보다 크게 표시될 수 있다. 다만, 이에 한정되지 않는다.
서버(200)는 그룹 영상을 제1 디스플레이 장치(101) 및 제2 디스플레이 장치(102)로 전송할 수 있다(S1080, S1085). 예를 들어, 서버(200)는 제1 그룹 영상은 제1 디스플레이 장치(101)로 제2 그룹 영상은 제2 디스플레이 장치(102)로 전송할 수 있다.
제1 디스플레이 장치(101) 및 제2 디스플레이 장치(102)는 서버(200)로부터 수신한 그룹 영상을 표시할 수 있다(S1090, S1095). 예를 들어, 제1 디스플레이 장치(101)는 제1 그룹 영상을 표시하고, 제2 디스플레이 장치(102)는 제2 그룹 영상을 표시할 수 있다.
도 11은 일 실시예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.
도 11의 일 실시예에 따른 디스플레이 장치(100)는 도 1 내지 도 의 복수의 디스플레이 장치들(101, 102, 103) 중 어느 하나일 수 있다.
도 11을 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 카메라(110), 프로세서(120), 메모리(130), 디스플레이(140), 및 통신부(150)를 포함할 수 있다.
일 실시예에 따른 카메라(110)는 정지 영상 또는 동영상 등의 화상 프레임을 획득할 수 있다. 예를 들어, 카메라(110)는 디스플레이 장치(100) 외부의 이미지를 촬영할 수 있으며, 디스플레이 장치(100)의 사용자를 촬영할 수 있다. 이때, 카메라(110)를 통해 촬영된 이미지는 프로세서(120) 또는 별도의 이미지 프로세서를 통해 처리될 수 있다.
일 실시예에 따른 카메라(110)는 디스플레이 장치(100)의 구성 요소로 내장되거나 탑재될 수 있다. 또는, 카메라(110)는 디스플레이 장치(100)와 별도의 구성 요소로 입출력 인터페이스 또는 통신부(150)를 통해 디스플레이 장치(100)와 유선 또는 무선 통신 방식으로 연결될 수 있다. 다만, 이에 한정되지 않는다.
일 실시예에 따른 프로세서(120)는 디스플레이 장치(100)의 전반적인 동작 및 디스플레이 장치(100)의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다.
프로세서(120)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다. 또한, 프로세서(120)는 복수의 프로세서들을 포함할 수 있다. 예를 들어, 프로세서(120)는 메인 프로세서(main processor, 도시되지 아니함) 및 서브 프로세서(sub processor, 도시되지 아니함)로 구현될 수 있다.
또한, 프로세서(120)는 CPU(Cetral Processing Unit), GPU (Graphic Processing Unit) 및 VPU(Video Processing Unit) 중 적어도 하나를 포함할 수 있다. 또는, 실시예에 따라, CPU, GPU 및 VPU 중 적어도 하나를 통합한 SoC(System On Chip) 형태로 구현될 수 있다. 또는, 프로세서(120)는 NPU(Neural Processing Unit)를 더 포함할 수 있다.
일 실시예에 따른 메모리(130)는 디스플레이 장치(100)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다.
또한, 메모리(130)에 저장되는 프로그램은 하나 이상의 인스트럭션들을 포함할 수 있다. 메모리(130)에 저장된 프로그램(하나 이상의 인스트럭션들) 또는 어플리케이션은 프로세서(120)에 의해 실행될 수 있다.
일 실시예에 따른 프로세서(120)는 상기 메모리(130)에 저장된 하나 이상의 인스트럭션들을 실행함으로써, 디스플레이 장치(100)의 디바이스 캐패빌리티 정보를 획득하여, 서버(200)로 전송하도록 통신부(150)를 제어할 수 있다.
일 실시예에 따른 디바이스 캐패빌리티 정보는 디스플레이 장치(100)에 포함된 적어도 하나의 프로세서에 대한 타입 정보, 용량 정보, 코어 개수에 대한 정보, 성능 정보, 디스플레이 장치(100)에 포함된 메모리에 대한 타입 정보, 용량 정보, 성능 정보 중 적어도 하나를 포함할 수 있다.
프로세서(120)는 서버(200)로부터 그룹 서비스의 구성 방식에 대한 정보를 수신할 수 있다. 또는, 프로세서(120)는 디바이스 캐패빌리티 정보 및 서버(200)로부터 수신한 서비스 결정 정책 정보에 기초하여, 그룹 서비스의 구성 방식을 결정할 수 있다.
일 실시예에 따른 그룹 서비스 구성 방식이 디바이스 기반으로 결정된 경우, 프로세서(120)는 사용자를 촬영한 사용자 영상에서 사용자를 검출하고, 트랙킹 정보를 획득할 수 있다. 프로세서(120)는 객체 검출 모듈을 이용하여, 사용자 영상을 분석하여, 사용자를 검출할 수 있다. 객체 검출 모듈은 카메라에 의해 촬영된 영상에 포함되는 특정 객체를 검출할 수 있도록 하는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다. 객체 검출 모듈은 규칙 기반 또는 인공지능 알고리즘으로서 기계학습, 신경망 네트워크 또는 딥러닝 알고리즘 중 적어도 하나를 이용하여, 사용자 영상을 분석함으로써, 사용자를 검출할 수 있다.
또한, 프로세서(120)는 트랙킹 모듈을 이용하여, 트랙킹 정보를 획득할 수 있다. 트랙킹 모듈은 카메라에 의해 촬영된 영상에 포함되는 특정 객체의 움직임을 트랙킹할 수 있는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다. 트랙킹 모듈은 규칙 기반 또는 인공지능 알고리즘으로서 기계학습, 신경망 네트워크 또는 딥러닝 알고리즘 중 적어도 하나를 이용하여, 사용자 영상에서 사용자의 움직임 정보를 획득할 수 있다.
예를 들어, 트랙킹 모듈은 사용자의 포즈를 추정하고, 추정된 포즈에 기초하여, 사용자의 특정 신체 부위(예를 들어, 얼굴, 손 등)를 식별하고, 식별된 특정 신체 부위에 대한 움직임을 더 상세하게 검출할 수 있다. 다만, 이에 한정되지 않는다.
예를 들어, 프로세서(120)는 사용자 영상에서 트랙킹 정보를 획득하도록 훈련된 신경망 네트워크를 이용하여, 트랙킹 정보를 획득할 수 있다. 다만, 이에 한정되지 않는다.
일 실시예에 따른 신경망 네트워크는 다양한 훈련 데이터에 기초하여, 사용자 영상에서 트랙킹 정보를 획득할 수 있는 다양한 기준이나 조건 등이 학습된 네트워크일 수 있다. 여기서, '학습(training)'은 신경망 네트워크로 다양한 수집 데이터들이 입력되었을 때, 입력된 데이터들을 분석하는 방법, 입력된 데이터들에 기초하여, 사용자 영상에서 트랙킹 정보를 획득할 수 있는 방법 등을 신경망 네트워크가 스스로 발견 또는 터득할 수 있도록 신경망 네트워크를 훈련시키는 것을 의미할 수 있다. 이에 따라 학습이 완료된 신경망 네트워크는 사용자 영상에서 트랙킹 정보를 획득할 수 있다. 이때, 학습된 신경망 네트워크는 디스플레이 장치(100)에 미리 저장될 수 있으며, 외부 서버와의 통신을 통하여 주기적으로 업데이트될 수 있다.
일 실시예에 따른 프로세서(120)는 사용자 영상에 대응하는 아바타 영상을 생성할 수 있다. 프로세서(120)는 사용자가 설정한 아바타 정보와 트랙킹 정보에 기초하여, 아바타 영상을 생성할 수 있다. 이때, 아바타 영상은 사용자 영상에서의 사용자에 대응되도록 움직이는 영상일 수 있다.
일 실시예에 따른 프로세서(120)는 아바타 영상을 다른 디스플레이 장치로 전송하도록 통신부(150)를 제어할 수 있다. 또한, 프로세서(120)는 통신부(150)를 통해 다른 디스플레이 장치로부터 다른 사용자에 대한 다른 아바타 영상 또는 다른 아바타 영상을 생성하기 위한 정보(예를 들어, 다른 사용자의 트랙킹 정보)를 수신할 수 있다.
프로세서(120)는 아바타 영상과 다른 사용자의 아바타 영상(다른 아바타 영상)을 합성하여 그룹 영상을 생성할 수 있다.
반면에, 일 실시예에 따른 그룹 서비스 구성 방식이 디바이스 기반으로 결정된 경우, 프로세서(120)는 사용자 영상 또는 사용자 영상에서 검출된 트랙킹 정보를 서버(200)로 전송하도록 통신부(150)를 제어할 수 있다.
프로세서(120)는 서버(200)로부터 복수의 사용자들에 대한 아바타 영상들이 포함된 그룹 영상을 수신할 수 있으며, 수신된 그룹 영상을 디스플레이(140)에 표시하도록 제어할 수 있다.
일 실시예에 따른 디스플레이(140)는 프로세서(120)에서 처리된 영상 신호, 데이터 신호, OSD 신호, 제어 신호 등을 변환하여 구동 신호를 생성하고, 구동 신호에 따라 영상을 표시할 수 있다.
일 실시예에 따른 디스플레이(140)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display)등으로 구현될 수 있으며, 또한, 3차원 디스플레이(3D display)로 구현될 수 있다. 또한, 디스플레이(140)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
일 실시예에 따른 디스플레이(140)는 아바타 정보를 설정할 수 있는 사용자 인터페이스 화면을 표시할 수 있다. 또한, 디스플레이(140)는 복수의 사용자들에 대한 복수의 아바타 영상들을 포함하는 그룹 영상을 표시할 수 있다. 예를 들어, 디스플레이(140)는 하나의 화면을 복수의 영역들로 분할하고, 분할된 영역들 각각에 서로 다른 아바타 영상을 개별적으로 표시할 수 있다.
또는, 일 실시예에 따른 그룹 영상은 가상 배경 화면에 복수의 아바타 영상들이 합성된 형태의 영상을 포함할 수 있다. 다만, 이에 한정되지 않는다.
일 실시예에 따른 통신부(150)는 외부 장치 또는 서버와 데이터 또는 신호를 송수신할 수 있다. 예를 들어, 통신부(150)는 와이- 파이(Wi-Fi) 모듈, 블루투스 모듈, 적외선 통신 모듈 및 무선 통신 모듈, LAN 모듈, 이더넷(Ethernet) 모듈, 유선 통신 모듈 등을 포함할 수 있다. 이때, 각 통신 모듈은 적어도 하나의 하드웨어 칩 형태로 구현될 수 있다.
와이 파이 모듈, 블루투스 모듈은 각각 Wi-Fi 방식, 블루투스 방식으로 통신을 수행한다. 와이 파이 모듈이나 블루투스 모듈을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하고, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 모듈은 지그비(zigbee), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), LTE-A(LTE Advanced), 4G(4th Generation), 5G(5th Generation) 등과 같은 다양한 무선 통신 규격에 따라 통신을 수행하는 적어도 하나의 통신 칩을 포함할 수 있다.
일 실시예에 따른 통신부(150)는 서버(200)로 디바이스 캐패빌리티 정보를 전송할 수 있으며, 서버(200)로부터 그룹 서비스 구성 방식에 대한 정보를 수신할 수 있다.
또한, 통신부(150)는 서버(200)로 사용자를 촬영한 사용자 영상 또는 사용자 영상에서 획득한 트랙킹 정보를 전송할 수 있으며, 서버(200)로부터 복수의 사용자들에 대한 아바타 영상들을 포함하는 그룹 영상을 수신할 수 있다.
또한, 통신부(150)는 서버(200)로부터 그룹 서비스에 연결된 다른 디스플레이 장치들에 대한 식별 정보를 수신할 수 있다.
또한, 통신부(150)는 다른 디스플레이 장치로 사용자 영상에서 획득한 트랙킹 정보 또는 아바타 영상을 전송할 수 있으며, 다른 디스플레이 장치로부터 다른 사용자에 대한 트랙킹 정보, 또는 다른 사용자에 대한 아바타 영상을 수신할 수 있다. 다만, 이에 한정되지 않는다.
도 12는 일 실시예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.
도 12를 참조하면, 도 12의 디스플레이 장치(1200)는 도 11의 디스플레이 장치(100)의 다른 실시예일 수 있다.
도 12를 참조하면, 일 실시예에 따른 디스플레이 장치(1200)는, 튜너부(1240), 프로세서(1210), 디스플레이(1220), 통신부(1250), 감지부(1230), 입/출력부(1270), 비디오 처리부(1280), 오디오 처리부(1285), 오디오 출력부(1260), 메모리(1290), 전원부(1295)를 포함할 수 있다.
도 12의 감지부(1230)에 포함되는 카메라부(1232), 프로세서(1210), 디스플레이(1220), 통신부(1250), 메모리(1290)는 각각 도 11의 카메라(110), 카메라(110), 프로세서(120), 디스플레이(140), 통신부(150) 및 메모리(130)에 대응되는 구성이므로, 동일한 설명은 생략하기로 한다.
일 실시예에 따른 튜너부(1240)는 유선 또는 무선으로 수신되는 방송 신호를 증폭(amplification), 혼합(mixing), 공진(resonance)등을 통하여 많은 전파 성분 중에서 디스플레이 장치(1200)에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다. 방송 신호는 오디오(audio), 비디오(video) 및 부가 정보(예를 들어, EPG(Electronic Program Guide))를 포함한다.
튜너부(1240)는 지상파 방송, 케이블 방송, 위성 방송, 인터넷 방송 등과 같이 다양한 소스로부터 방송 신호를 수신할 수 있다. 튜너부(1240)는 아날로그 방송 또는 디지털 방송 등과 같은 소스로부터 방송 신호를 수신할 수도 있다.
감지부(1230)는 사용자의 음성, 사용자의 영상 또는 사용자의 인터랙션을 감지하며, 마이크(1231), 카메라부(1232) 및 광 수신부(1233)를 포함할 수 있다.
마이크(1231)는 사용자의 발화(utterance)된 음성을 수신한다. 마이크(1231)는 수신된 음성을 전기 신호로 변환하여 프로세서(1210)로 출력할 수 있다. 사용자 음성은 예를 들어, 디스플레이 장치(1200)의 메뉴 또는 기능에 대응되는 음성을 포함할 수 있다.
카메라부(1232)는 카메라 인식 범위에서 제스처를 포함하는 사용자의 모션에 대응되는 영상(예를 들어, 연속되는 프레임)을 수신할 수 있다. 프로세서(1210)는 수신된 모션의 인식 결과를 이용하여 디스플레이 장치(1200)에 표시되는 메뉴를 선택하거나 모션 인식 결과에 대응되는 제어를 할 수 있다.
광 수신부(1233)는 외부의 제어 장치에서부터 수신되는 광 신호(제어 신호를 포함)를 디스플레이(1220)의 베젤의 광창(도시되지 아니함) 등을 통해 수신한다. 광 수신부(1233)는 제어 장치로부터 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광 신호를 수신할 수 있다. 수신된 광 신호로부터 프로세서(1210)의 제어에 의해 제어 신호가 추출될 수 있다.
입/출력부(1270)는, 디스플레이 장치(1200)의 외부에서부터 비디오(예를 들어, 동영상 등), 오디오(예를 들어, 음성, 음악 등) 및 부가 정보(예를 들어, EPG 등) 등을 수신한다. 입출력 인터페이스는 HDMI (High-Definition Multimedia Interface), MHL(Mobile High-Definition Link), USB(Universal Serial Bus), DP(Display Port), 썬더볼트(Thunderbolt), VGA(Video Graphics Array) 포트, RGB 포트, D-SUB(D-subminiature), DVI(Digital Visual Interface), 컴포넌트 잭(component jack), PC 포트(PC port) 중 어느 하나를 포함할 수 있다.
프로세서(1210)는 디스플레이 장치(1200)의 전반적인 동작 및 디스플레이 장치(1200)의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다.
프로세서(1210)는 디스플레이 장치(1200)의 외부에서부터 입력되는 신호 또는 데이터를 저장하거나, 디스플레이 장치(1200)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 램(RAM), 디스플레이 장치(1200)의 제어를 위한 제어 프로그램이 저장된 롬(ROM) 및 프로세서(Processor)를 포함할 수 있다.
비디오 처리부(1280)는, 디스플레이 장치(1200)가 수신한 비디오 데이터에 대한 처리를 수행한다. 비디오 처리부(1280)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
일 실시예에 따른 디스플레이(1220)는, 프로세서(1210)에서 처리된 영상 신호, 데이터 신호, OSD 신호, 제어 신호 등을 변환하여 구동 신호를 생성하고, 구동 신호에 따라 영상을 표시할 수 있다.
일 실시예에 따른 오디오 처리부(1285)는 오디오 데이터에 대한 처리를 수행한다. 오디오 처리부(1285)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 한편, 오디오 처리부(1285)는 복수의 컨텐츠에 대응되는 오디오를 처리하기 위해 복수의 오디오 처리 모듈을 구비할 수 있다.
오디오 출력부(1260)는 프로세서(1210)의 제어에 의해 튜너부(1240)를 통해 수신된 방송 신호에 포함된 오디오를 출력한다. 오디오 출력부(1260)는 통신부(1250) 또는 입/출력부(1870)를 통해 입력되는 오디오(예를 들어, 음성, 사운드)를 출력할 수 있다. 또한, 오디오 출력부(1260)는 프로세서(1810)의 제어에 의해 메모리(1290)에 저장된 오디오를 출력할 수 있다. 오디오 출력부(1260)는 스피커, 헤드폰 출력 단자 또는 S/PDIF(Sony/Philips Digital Interface: 출력 단자 중 적어도 하나를 포함할 수 있다.
전원부(1295)는 프로세서(1210)의 제어에 의해 디스플레이 장치(1200) 내부의 구성 요소들로 외부의 전원 소스에서부터 입력되는 전원을 공급한다. 또한, 전원부(1295)는 프로세서(1210)의 제어에 의해 디스플레이 장치(1200) 내부에 위치하는 하나 또는 둘 이상의 배터리(도시되지 아니함)에서부터 출력되는 전원을 내부의 구성 요소들에게 공급할 수 있다.
메모리(1290)는 프로세서(1210)의 제어에 의해 디스플레이 장치(1200)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 메모리(1290)는 도시되지 아니한 방송 수신 모듈, 채널 제어 모듈, 볼륨 제어 모듈, 통신 제어 모듈, 음성 인식 모듈, 모션 인식 모듈, 광 수신 모듈, 디스플레이 제어 모듈, 오디오 제어 모듈, 외부 입력 제어 모듈, 전원 제어 모듈, 무선(예를 들어, 블루투스)으로 연결되는 외부 장치의 전원 제어 모듈, 음성 데이터베이스(DB), 또는 모션 데이터베이스(DB)를 포함할 수 있다. 메모리(990)의 도시되지 아니한 모듈들 및 데이터 베이스는 디스플레이 장치(1800)에서 방송 수신의 제어 기능, 채널 제어 기능, 볼륨 제어 기능, 통신 제어 기능, 음성 인식 기능, 모션 인식 기능, 광 수신 제어 기능, 디스플레이 제어 기능, 오디오 제어 기능, 외부 입력 제어 기능, 전원 제어 기능 또는 무선(예를 들어, 블루투스)으로 연결되는 외부 장치의 전원 제어 기능을 수행하기 위하여 소프트웨어 형태로 구현될 수 있다. 프로세서(1810)는 메모리(1290)에 저장된 이들 소프트웨어를 이용하여 각각의 기능을 수행할 수 있다.
한편, 도 11 및 도 12에 도시된 디스플레이 장치(100, 1200)의 블록도는 일 실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 디스플레이 장치(100, 1200)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
도 13은 일 실시예에 따른 서버의 구성을 나타내는 블록도이다.
도 13을 참조하면, 일 실시예에 따른 서버(200)는 통신부(210), 프로세서(220) 및 메모리(230)를 포함할 수 있다.
일 실시예에 따른 통신부(210)는 복수의 디스플레이 장치들과 데이터 또는 신호를 송수신할 수 있다. 예를 들어, 통신부(210)는 와이- 파이(Wi-Fi) 모듈, 블루투스 모듈, 적외선 통신 모듈 및 무선 통신 모듈, LAN 모듈, 이더넷(Ethernet) 모듈, 유선 통신 모듈 등을 포함할 수 있다. 이때, 각 통신 모듈은 적어도 하나의 하드웨어 칩 형태로 구현될 수 있다.
와이 파이 모듈, 블루투스 모듈은 각각 Wi-Fi 방식, 블루투스 방식으로 통신을 수행한다. 와이 파이 모듈이나 블루투스 모듈을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하고, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 모듈은 지그비(zigbee), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), LTE-A(LTE Advanced), 4G(4th Generation), 5G(5th Generation) 등과 같은 다양한 무선 통신 규격에 따라 통신을 수행하는 적어도 하나의 통신 칩을 포함할 수 있다.
일 실시예에 따른 통신부(210)는 그룹 서비스로 연결된 복수의 디스플레이 장치들로부터 디바이스 캐패빌리티 정보를 수신할 수 있다. 또한, 통신부(210)는 수신한 디바이스 캐패빌리티 정보에 기초하여 결정된 그룹 서비스 구성 방식에 대한 정보를 복수의 디스플레이 장치들로 전송할 수 있다.
또한, 통신부(210)는 복수의 디스플레이 장치들로부터 사용자 영상 또는 사용자 영상에서 획득한 트랙킹 정보를 수신할 수 있다. 통신부(210)는 사용자 영상 또는 트랙킹 정보에 기초하여, 생성된 복수의 사용자들에 대한 아바타 영상들을 포함하는 그룹 영상을 복수의 디스플레이 장치들로 전송할 수 있다.
일 실시예에 따른 프로세서(220)는 서버(200)의 전반적인 동작 및 서버(200)의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다.
프로세서(220)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다. 또한, 프로세서(220)는 복수의 프로세서들을 포함할 수 있다. 예를 들어, 프로세서(220)는 메인 프로세서(main processor, 도시되지 아니함) 및 서브 프로세서(sub processor, 도시되지 아니함)로 구현될 수 있다.
또한, 프로세서(220)는 CPU(Cetral Processing Unit), GPU (Graphic Processing Unit) 및 VPU(Video Processing Unit) 중 적어도 하나를 포함할 수 있다. 또는, 실시예에 따라, CPU, GPU 및 VPU 중 적어도 하나를 통합한 SoC(System On Chip) 형태로 구현될 수 있다. 또는, 프로세서(220)는 NPU(Neural Processing Unit)를 더 포함할 수 있다.
일 실시예에 따른 메모리(230)는 서버(200)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다.
또한, 메모리(230)에 저장되는 프로그램은 하나 이상의 인스트럭션들을 포함할 수 있다. 메모리(230)에 저장된 프로그램(하나 이상의 인스트럭션들) 또는 어플리케이션은 프로세서(220)에 의해 실행될 수 있다.
일 실시예에 따른 프로세서(220)는 상기 메모리(230)에 저장된 하나 이상의 인스트럭션들을 실행함으로써, 디스플레이 장치로부터 수신한 디바이스 캐패빌리티 정보 및 서비스 결정 정책 정보에 기초하여, 그룹 서비스의 구성 방식을 결정할 수 있다.
일 실시예에 따른 디바이스 캐패빌리티 정보는 디스플레이 장치에 포함된 적어도 하나의 프로세서에 대한 타입 정보, 용량 정보, 코어 개수에 대한 정보, 성능 정보, 디스플레이 장치에 포함된 메모리에 대한 타입 정보, 용량 정보, 성능 정보 중 적어도 하나를 포함할 수 있다.
서버(200)는 서비스 구성 방식을 결정하기 위한 서비스 결정 정책 정보를 저장할 수 있다. 서비스 결정 정책 정보는 디바이스에서 아바타 생성 등의 그룹 서비스에 포함되는 동작을 수행하기 위해 필요로 하는 디바이스 사양(예를 들어, 프로세서에 대한 타입 정보, 용량 정보, 코어 개수에 대한 정보, 성능 정보, 메모리에 대한 타입 정보, 용량 정보, 성능 정보 등)에 대한 기준 등을 포함할 수 있다. 다만, 이에 한정되지 않는다.
서비스 결정 정책 정보는 서버에 접속된 동시 접속자 수 또는 네트워크 상황 등에 따라 변경될 수 있다. 또한, 그룹 서비스에서 제공하는 기능이 변경됨에 따라 서비스 결정 정책 정보도 변경될 수 있다. 다만, 이에 한정되지 않는다.
프로세서(220)는 디바이스 캐패빌리티 정보와 서비스 결정 정책 정보를 비교하여, 그룹 서비스의 구성을 디바이스 기반으로 할 지, 서버 기반으로 할 지를 결정할 수 있다.
그룹 서비스의 구성을 서버 기반으로 하는 것으로 결정된 경우, 프로세서(220)는 디스플레이 장치로부터 수신한 사용자 영상에서 사용자를 검출하고, 트랙킹 정보를 획득할 수 있다.
프로세서(220)는 객체 검출 모듈을 이용하여, 사용자 영상을 분석하여, 사용자를 검출할 수 있다. 객체 검출 모듈은 카메라에 의해 촬영된 영상에 포함되는 특정 객체를 검출할 수 있도록 하는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다. 객체 검출 모듈은 규칙 기반 또는 인공지능 알고리즘으로서 기계학습, 신경망 네트워크 또는 딥러닝 알고리즘 중 적어도 하나를 이용하여, 사용자 영상을 분석함으로써, 사용자를 검출할 수 있다.
또한, 프로세서(220)는 트랙킹 모듈을 이용하여, 트랙킹 정보를 획득할 수 있다. 트랙킹 모듈은 카메라에 의해 촬영된 영상에 포함되는 특정 객체의 움직을 트랙킹할 수 있는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다. 트랙킹 모듈은 규칙 기반 또는 인공지능 알고리즘으로서 기계학습, 신경망 네트워크 또는 딥러닝 알고리즘 중 적어도 하나를 이용하여, 사용자 영상에서 사용자의 움직임 정보를 획득할 수 있다.
예를 들어, 트랙킹 모듈은 사용자의 포즈를 추정하고, 추정된 포즈에 기초하여, 사용자의 특정 신체 부위(예를 들어, 얼굴, 손 등)를 식별하고, 식별된 특정 신체 부위에 대한 움직임을 더 상세하게 검출할 수 있다. 다만, 이에 한정되지 않는다.
또는, 프로세서(220)는 트랙킹 정보와 디스플레이 장치로부터 수신한 아바타 정보에 기초하여, 아바타 영상을 생성할 수 있다. 이때, 아바타 영상은 사용자 영상에서의 사용자에 대응되도록 움직이는 영상일 수 있다.
프로세서(220)는 복수의 사용자들에 대한 아바타 영상들을 합성하여 그룹 영상을 생성하고, 그룹 영상을 복수의 디스플레이 장치들로 전송하도록 통신부(210)를 제어할 수 있다.
일 실시예에 따른 디스플레이 장치는 통신부, 디스플레이 하나 이상의 인스트럭션들을 저장하는 메모리 및 상기 하나 이상의 인스트럭션들을 실행하는 적어도 하나의 프로세서를 포함할 수 있다.
상기 적어도 하나의 프로세서는, 상기 하나 이상의 인스트럭션들을 실행함으로써, 제1 사용자를 촬영한 제1 사용자 영상을 획득할 수 있다.
상기 적어도 하나의 프로세서는, 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 디스플레이 장치의 캐패빌리티(capability) 정보를 서버로 전송하도록 상기 통신부를 제어할 수 있다.
상기 적어도 하나의 프로세서는, 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 서버로부터, 상기 캐패빌리티 정보에 기초하여 결정된 그룹 서비스의 구성 방식에 대한 정보를 수신할 수 있다.
상기 적어도 하나의 프로세서는, 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 수신한 정보에 기초하여, 상기 제1 아바타 영상 및 다른 디스플레이 장치 사용자에 대응하는 제2 아바타 영상을 획득할 수 있다.
상기 적어도 하나의 프로세서는, 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 제1 아바타 영상 및 제2 아바타 영상을 포함하는 그룹 영상을 디스플레이하도록 상기 디스플레이를 제어할 수 있다.
상기 디스플레이 장치의 캐패빌리티 정보는 상기 디스플레이 장치에 포함된 상기 적어도 하나의 프로세서에 대한 타입 정보, 용량 정보, 코어 개수에 대한 정보, 성능 정보, 상기 메모리에 대한 타입 정보, 용량 정보, 성능 정보 중 적어도 하나를 포함할 수 있다.
상기 그룹 서비스의 구성 방식은, 상기 디스플레이 장치가 상기 제1 사용자 영상에 대응하는 제1 아바타 영상을 생성하는 디바이스 기반의 구성 방식, 및 상기 서버가 상기 제1 아바타 영상 및 상기 그룹 서비스에 연결된 상기 다른 디바이스 사용자에 대응하는 제2 아바타 영상을 생성하는 서버 기반의 구성 방식 중 어느 하나로 결정될 수 있다.
상기 적어도 하나의 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 그룹 서비스의 구성 방식이 상기 디바이스 기반의 구성 방식으로 결정된 것에 기초하여, 상기 제1 사용자 영상에서 상기 제1 사용자를 검출하고, 상기 제1 사용자의 트랙킹 정보에 기초하여, 상기 제1 아바타 영상을 생성할 수 있다.
상기 적어도 하나의 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 다른 디스플레이 장치로부터 상기 제2 아바타 영상 및 상기 제2 아바타 영상에 대한 정보 중 적어도 하나를 수신하도록 상기 통신부를 제어할 수 있다.
상기 적어도 하나의 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 제2 아바타 영상에 대한 정보를 수신하는 것에 기초하여, 상기 제2 아바타 영상을 생성할 수 있다.
상기 적어도 하나의 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 제1 아바타 영상, 상기 제2 아바타 영상 및 가상 배경 영상을 합성하여, 상기 그룹 영상을 생성할 수 있다.
상기 적어도 하나의 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 다른 디스플레이 장치에 대한 기기 정보를 상기 서버로 요청하고, 상기 서버로부터 상기 다른 디스플레이 장치에 대한 기기 정보를 수신하도록 상기 통신부를 제어할 수 있다.
상기 적어도 하나의 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 다른 디스플레이 장치에 대한 기기 정보에 기초하여, 상기 제1 아바타 영상 또는 제1 아바타 영상에 대한 정보 중 적어도 하나를 상기 다른 디스플레이 장치로 전송하도록 상기 통신부를 제어할 수 있다.
상기 적어도 하나의 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 그룹 서비스의 구성 방식이 상기 서버 기반의 구성 방식으로 결정된 것에 기초하여, 상기 제1 사용자 영상 및 상기 제1 사용자 영상에서 검출된 제1 사용자에 대한 정보 중 적어도 하나를 상기 서버로 전송하도록 상기 통신부를 제어할 수 있다.
상기 적어도 하나의 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 서버로부터 상기 제1 아바타 영상 및 상기 제2 아바타 영상을 포함하는 상기 그룹 영상을 수신할 수 있다.
상기 적어도 하나의 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 제1 아바타 영상에 대응하는 아바타 정보를 설정하는 입력을 수신할 수 있다.
상기 제1 아바타 영상은, 상기 설정된 아바타 정보에 기초하여, 생성된 아바타 영상일 수 있다.
상기 디스플레이 장치는, 상기 제1 사용자를 촬영하여, 상기 제1 사용자 영상을 획득하는 카메라를 더 포함할 수 있다.
일 실시예에 따른 디스플레이 장치의 동작 방법은 제1 사용자를 촬영한 제1 사용자 영상을 획득하는 단계를 포함할 수 있다.
일 실시예에 따른 디스플레이 장치의 동작 방법은 상기 디스플레이 장치의 캐패빌리티(capability) 정보를 서버로 전송하는 단계를 포함할 수 있다.
일 실시예에 따른 디스플레이 장치의 동작 방법은 상기 서버로부터, 상기 캐패빌리티 정보에 기초하여 결정된 그룹 서비스의 구성 방식에 대한 정보를 수신하는 단계를 포함할 수 있다.
일 실시예에 따른 디스플레이 장치의 동작 방법은 상기 수신한 정보에 기초하여, 상기 제1 아바타 영상 및 다른 디스플레이 장치 사용자에 대응하는 제2 아바타 영상을 획득하는 단계를 포함할 수 있다.
일 실시예에 따른 디스플레이 장치의 동작 방법은 상기 제1 아바타 영상 및 제2 아바타 영상을 포함하는 그룹 영상을 디스플레이하는 단계를 포함할 수 있다.
상기 제1 아바타 영상 및 상기 제2 아바타 영상을 획득하는 단계는, 상기 그룹 서비스의 구성 방식이 상기 디바이스 기반의 구성 방식으로 결정된 것에 기초하여, 상기 제1 사용자 영상에서 상기 제1 사용자를 검출하고, 상기 제1 사용자의 트랙킹 정보에 기초하여, 상기 제1 아바타 영상을 생성하는 단계를 포함할 수 있다.
상기 제1 아바타 영상 및 상기 제2 아바타 영상을 획득하는 단계는, 상기 다른 디스플레이 장치로부터 상기 제2 아바타 영상 및 상기 제2 아바타 영상에 대한 정보 중 적어도 하나를 수신하는 단계를 포함할 수 있다.
상기 제1 아바타 영상 및 상기 제2 아바타 영상을 획득하는 단계는, 상기 제2 아바타 영상에 대한 정보를 수신하는 것에 기초하여, 상기 제2 아바타 영상을 생성하는 단계를 포함할 수 있다.
일 실시예에 따른 디스플레이 장치의 동작 방법은, 상기 제1 아바타 영상, 상기 제2 아바타 영상 및 가상 배경 영상을 합성하여, 상기 그룹 영상을 생성하는 단계를 더 포함할 수 있다.
일 실시예에 따른 디스플레이 장치의 동작 방법은, 상기 그룹 서비스의 구성 방식이 상기 디바이스 기반의 구성 방식으로 결정된 것에 기초하여, 상기 다른 디스플레이 장치에 대한 기기 정보를 상기 서버로 요청하는 단계 및 상기 서버로부터 상기 다른 디스플레이 장치에 대한 기기 정보를 수신하는 단계를 더 포함할 수 있다.
일 실시예에 따른 디스플레이 장치의 동작 방법은, 상기 다른 디스플레이 장치에 대한 기기 정보에 기초하여, 상기 제1 아바타 영상 또는 제1 아바타 영상에 대한 정보 중 적어도 하나를 상기 다른 디스플레이 장치로 전송하는 단계를 더 포함할 수 있다.
상기 제1 아바타 영상 및 제2 아바타 영상을 획득하는 단계는, 상기 그룹 서비스의 구성 방식이 상기 서버 기반의 구성 방식으로 결정된 것에 기초하여, 상기 제1 사용자 영상 및 상기 제1 사용자 영상에서 검출된 제1 사용자에 대한 정보 중 적어도 하나를 상기 서버로 전송하는 단계를 포함할 수 있다.
상기 제1 아바타 영상 및 제2 아바타 영상을 획득하는 단계는, 상기 서버로부터 상기 제1 아바타 영상 및 상기 제2 아바타 영상을 포함하는 상기 그룹 영상을 수신하는 단계를 포함할 수 있다.
일 실시예에 따른 디스플레이 장치의 동작 방법은, 상기 제1 아바타 영상에 대응하는 아바타 정보를 선택하는 입력을 수신하는 단계를 포함할 수 있다.
상기 제1 아바타 영상은, 상기 설정된 아바타 정보에 기초하여, 생성된 아바타 영상일 수 있다.
일 실시예에 따른 디스플레이 장치 및 그 동작 방법은 디스플레이 장치의 디바이스 캐패빌리티 정보에 따라 그룹 서비스를 가변적으로 구성함으로써, 다양한 디바이스들이 그룹 서비스를 이용할 수 있다. 이에 따라, 디바이스의 사양이 높지 않더라도 서버를 통해 그룹 서비를 이용할 수 있도록 함으로써, 서비스를 제공할 수 있는 범위를 넓힐 수 있다.
또한, 일 실시예에 따른 디스플레이 장치 및 그 동작 방법은 네트워크 상황에 따라 그룹 서비스를 가변적으로 구성함으로써,, 그룹 서비스의 구성 방식을 최적화할 수 있다.
또한, 일 실시예에 따른 디스플레이 장치 및 그 동작 방법은 그룹 서비스를 이용할 때, 사용자 영상을 아바타 영상으로 변환한 그룹 영상을 표시함으로써, 사용자 개인의 프라이버시를 보호할 수 있다.
일 실시예에 따른 디스플레이 장치의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
또한, 개시된 실시예들에 따른 디스플레이 장치의 동작 방법 중 적어도 하나는 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 전자 장치의 제조사 또는 전자 마켓(예, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 SW 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 서버 및 클라이언트 장치로 구성되는 시스템에서, 서버의 저장매체 또는 클라이언트 장치의 저장매체를 포함할 수 있다. 또는, 서버 또는 클라이언트 장치와 통신 연결되는 제3 장치(예, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 클라이언트 장치 또는 제3 장치로 전송되거나, 제3 장치로부터 클라이언트 장치로 전송되는 S/W 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 클라이언트 장치 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 클라이언트 장치 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 클라이언트 장치가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (15)

  1. 디스플레이 장치(100)에 있어서,
    통신부(150);
    디스플레이(140);
    하나 이상의 인스트럭션들을 저장하는 메모리(130); 및
    상기 하나 이상의 인스트럭션들을 실행하는 적어도 하나의 프로세서(120)를 포함하고,
    상기 적어도 하나의 프로세서(120)는, 상기 하나 이상의 인스트럭션들을 실행함으로써,
    제1 사용자를 촬영한 제1 사용자 영상을 획득하고,
    상기 디스플레이 장치의 캐패빌리티(capability) 정보를 서버로 전송하도록 상기 통신부를 제어하고,
    상기 서버로부터, 상기 캐패빌리티 정보에 기초하여 결정된 그룹 서비스의 구성 방식에 대한 정보를 수신하고,
    상기 수신한 정보에 기초하여, 상기 제1 아바타 영상 및 다른 디스플레이 장치 사용자에 대응하는 제2 아바타 영상을 획득하고,
    상기 제1 아바타 영상 및 제2 아바타 영상을 포함하는 그룹 영상을 디스플레이하도록 상기 디스플레이를 제어하는, 디스플레이 장치.
  2. 제1항에 있어서,
    상기 디스플레이 장치의 캐패빌리티 정보는 상기 디스플레이 장치에 포함된 상기 적어도 하나의 프로세서에 대한 타입 정보, 용량 정보, 코어 개수에 대한 정보, 성능 정보, 상기 메모리에 대한 타입 정보, 용량 정보, 성능 정보 중 적어도 하나를 포함하는, 디스플레이 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 그룹 서비스의 구성 방식은,
    상기 디스플레이 장치가 상기 제1 사용자 영상에 대응하는 제1 아바타 영상을 생성하는 디바이스 기반의 구성 방식, 및 상기 서버가 상기 제1 아바타 영상 및 상기 그룹 서비스에 연결된 상기 다른 디바이스 사용자에 대응하는 제2 아바타 영상을 생성하는 서버 기반의 구성 방식 중 어느 하나로 결정되는, 디스플레이 장치.
  4. 제3항에 있어서,
    상기 적어도 하나의 프로세서(120)는 상기 하나 이상의 인스트럭션들을 실행함으로써,
    상기 그룹 서비스의 구성 방식이 상기 디바이스 기반의 구성 방식으로 결정된 것에 기초하여,
    상기 제1 사용자 영상에서 상기 제1 사용자를 검출하고, 상기 제1 사용자의 트랙킹 정보에 기초하여, 상기 제1 아바타 영상을 생성하며,
    상기 다른 디스플레이 장치로부터 상기 제2 아바타 영상 및 상기 제2 아바타 영상에 대한 정보 중 적어도 하나를 수신하도록 상기 통신부를 제어하고,
    상기 제2 아바타 영상에 대한 정보를 수신하는 것에 기초하여, 상기 제2 아바타 영상을 생성하는, 디스플레이 장치.
  5. 제4항에 있어서,
    상기 적어도 하나의 프로세서(120)는 상기 하나 이상의 인스트럭션들을 실행함으로써,
    상기 제1 아바타 영상, 상기 제2 아바타 영상 및 가상 배경 영상을 합성하여, 상기 그룹 영상을 생성하는, 디스플레이 장치.
  6. 제4항 또는 제5항에 있어서,
    상기 적어도 하나의 프로세서(120)는 상기 하나 이상의 인스트럭션들을 실행함으로써,
    상기 다른 디스플레이 장치에 대한 기기 정보를 상기 서버로 요청하고, 상기 서버로부터 상기 다른 디스플레이 장치에 대한 기기 정보를 수신하도록 상기 통신부(150)를 제어하는, 디스플레이 장치.
  7. 제6항에 있어서,
    상기 적어도 하나의 프로세서(120)는 상기 하나 이상의 인스트럭션들을 실행함으로써,
    상기 다른 디스플레이 장치에 대한 기기 정보에 기초하여, 상기 제1 아바타 영상 또는 제1 아바타 영상에 대한 정보 중 적어도 하나를 상기 다른 디스플레이 장치로 전송하도록 상기 통신부(150)를 제어하는, 디스플레이 장치.
  8. 제3항 내지 제7항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서(120)는 상기 하나 이상의 인스트럭션들을 실행함으로써,
    상기 그룹 서비스의 구성 방식이 상기 서버 기반의 구성 방식으로 결정된 것에 기초하여,
    상기 제1 사용자 영상 및 상기 제1 사용자 영상에서 검출된 제1 사용자에 대한 정보 중 적어도 하나를 상기 서버로 전송하도록 상기 통신부(150)를 제어하고,
    상기 서버로부터 상기 제1 아바타 영상 및 상기 제2 아바타 영상을 포함하는 상기 그룹 영상을 수신하는, 디스플레이 장치.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서(120)는 상기 하나 이상의 인스트럭션들을 실행함으로써,
    상기 제1 아바타 영상에 대응하는 아바타 정보를 선택하는 입력을 수신하고,
    상기 제1 아바타 영상은, 상기 선택된 아바타 정보에 기초하여, 생성된 아바타 영상인, 디스플레이 장치.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 디스플레이 장치는,
    상기 제1 사용자를 촬영하여, 상기 제1 사용자 영상을 획득하는 카메라(110)를 더 포함하는, 디스플레이 장치.
  11. 디스플레이 장치의 동작 방법에 있어서,
    제1 사용자를 촬영한 제1 사용자 영상을 획득하는 단계;
    상기 디스플레이 장치의 캐패빌리티(capability) 정보를 서버로 전송하는 단계;
    상기 서버로부터, 상기 캐패빌리티 정보에 기초하여 결정된 그룹 서비스의 구성 방식에 대한 정보를 수신하는 단계;
    상기 수신한 정보에 기초하여, 상기 제1 아바타 영상 및 다른 디스플레이 장치 사용자에 대응하는 제2 아바타 영상을 획득하는 단계; 및
    상기 제1 아바타 영상 및 제2 아바타 영상을 포함하는 그룹 영상을 디스플레이하는 단계를 포함하는, 디스플레이 장치의 동작 방법.
  12. 제11항에 있어서,
    상기 디스플레이 장치의 캐패빌리티 정보는 상기 디스플레이 장치에 포함된 상기 적어도 하나의 프로세서에 대한 타입 정보, 용량 정보, 코어 개수에 대한 정보, 성능 정보, 상기 메모리에 대한 타입 정보, 용량 정보, 성능 정보 중 적어도 하나를 포함하는, 디스플레이 장치의 동작 방법.
  13. 제11항 또는 제12항에 있어서,
    상기 그룹 서비스의 구성 방식은,
    상기 디스플레이 장치가 상기 제1 사용자 영상에 대응하는 제1 아바타 영상을 생성하는 디바이스 기반의 구성 방식, 및 상기 서버가 상기 제1 아바타 영상 및 상기 그룹 서비스에 연결된 상기 다른 디바이스 사용자에 대응하는 제2 아바타 영상을 생성하는 서버 기반의 구성 방식 중 어느 하나로 결정되는, 디스플레이 장치의 동작 방법.
  14. 제13항에 있어서,
    상기 제1 아바타 영상 및 상기 제2 아바타 영상을 획득하는 단계는,
    상기 그룹 서비스의 구성 방식이 상기 디바이스 기반의 구성 방식으로 결정된 것에 기초하여,
    상기 제1 사용자 영상에서 상기 제1 사용자를 검출하고, 상기 제1 사용자의 트랙킹 정보에 기초하여, 상기 제1 아바타 영상을 생성하는 단계;
    상기 다른 디스플레이 장치로부터 상기 제2 아바타 영상 및 상기 제2 아바타 영상에 대한 정보 중 적어도 하나를 수신하는 단계; 및
    상기 제2 아바타 영상에 대한 정보를 수신하는 것에 기초하여, 상기 제2 아바타 영상을 생성하는 단계;를 포함하는 디스플레이 장치의 동작 방법.
  15. 제11항 내지 제14항 중 어느 한 항의 방법을 수행하도록 하는 프로그램이 저장된 하나 이상의 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2023/009130 2022-09-29 2023-06-29 디스플레이 장치 및 그 동작 방법 WO2024071590A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0124664 2022-09-29
KR20220124664 2022-09-29
KR10-2022-0169110 2022-12-06
KR1020220169110A KR20240045045A (ko) 2022-09-29 2022-12-06 디스플레이 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
WO2024071590A1 true WO2024071590A1 (ko) 2024-04-04

Family

ID=90478260

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/009130 WO2024071590A1 (ko) 2022-09-29 2023-06-29 디스플레이 장치 및 그 동작 방법

Country Status (1)

Country Link
WO (1) WO2024071590A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070025809A (ko) * 2005-09-05 2007-03-08 에스케이 텔레콤주식회사 아바타 서비스를 제공하는 방법 및 시스템
KR20170108780A (ko) * 2016-03-17 2017-09-27 삼성전자주식회사 영상 표시 장치 및 그 동작 방법
US20180213216A1 (en) * 2015-06-16 2018-07-26 Lg Electronics Inc. Media data transmission device, media data reception device, media data transmission method, and media data rececption method
KR20190029398A (ko) * 2017-09-11 2019-03-20 에이케이엔코리아 주식회사 다중 환경 간 사용자 화면 공유 방법 및 이를 수행하는 서버 시스템
KR20200101206A (ko) * 2019-02-19 2020-08-27 삼성전자주식회사 가상 캐릭터 기반 촬영 모드를 제공하는 전자 장치 및 이의 동작 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070025809A (ko) * 2005-09-05 2007-03-08 에스케이 텔레콤주식회사 아바타 서비스를 제공하는 방법 및 시스템
US20180213216A1 (en) * 2015-06-16 2018-07-26 Lg Electronics Inc. Media data transmission device, media data reception device, media data transmission method, and media data rececption method
KR20170108780A (ko) * 2016-03-17 2017-09-27 삼성전자주식회사 영상 표시 장치 및 그 동작 방법
KR20190029398A (ko) * 2017-09-11 2019-03-20 에이케이엔코리아 주식회사 다중 환경 간 사용자 화면 공유 방법 및 이를 수행하는 서버 시스템
KR20200101206A (ko) * 2019-02-19 2020-08-27 삼성전자주식회사 가상 캐릭터 기반 촬영 모드를 제공하는 전자 장치 및 이의 동작 방법

Similar Documents

Publication Publication Date Title
WO2020251283A1 (en) Selecting artificial intelligence model based on input data
WO2018034462A1 (en) Image display apparatus and method of operating the same
WO2017105021A1 (en) Display apparatus and method for controlling display apparatus
WO2017105015A1 (en) Electronic device and method of operating the same
WO2016076570A1 (en) Display apparatus and display method
WO2016167509A1 (en) Display device and method of setting the same
WO2019172671A1 (en) Display device and control method thereof
WO2017146438A1 (en) Display apparatus and method of setting operating channel of the same
WO2021060590A1 (ko) 디스플레이 장치 및 인공 지능 시스템
EP3228085A1 (en) Display apparatus, and method of operating the display apparatus
WO2022050785A1 (ko) 디스플레이 기기 및 그의 동작 방법
WO2020218686A1 (en) Display device and controlling method of display device
WO2021137629A1 (en) Display device, mobile device, video calling method performed by the display device, and video calling method performed by the mobile device
WO2018097504A2 (en) Electronic device and method for updating channel map thereof
WO2021070976A1 (ko) 소스 기기 및 무선 시스템
WO2020045858A1 (en) Electronic apparatus and method of controlling the same
WO2020067771A1 (en) Display apparatus and control method thereof
WO2024071590A1 (ko) 디스플레이 장치 및 그 동작 방법
WO2019093706A1 (ko) 전자 장치, 그 제어 방법, 원격 제어 장치 및 그 제어 방법
WO2022149620A1 (ko) 디스플레이 장치
WO2022181865A1 (ko) 디스플레이 장치 및 그 동작방법
WO2020111567A1 (en) Electronic device and operation method thereof
WO2019124775A1 (ko) 전자 장치 및 전자 장치에서 방송 콘텐트와 관련된 서비스 정보 제공 방법
WO2024043510A1 (ko) 디스플레이 장치 및 그 동작 방법
WO2024071661A1 (ko) 전자 장치, 및 전자 장치의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23872716

Country of ref document: EP

Kind code of ref document: A1