WO2024085513A1 - 디스플레이 장치 및 그 동작 방법 - Google Patents

디스플레이 장치 및 그 동작 방법 Download PDF

Info

Publication number
WO2024085513A1
WO2024085513A1 PCT/KR2023/015451 KR2023015451W WO2024085513A1 WO 2024085513 A1 WO2024085513 A1 WO 2024085513A1 KR 2023015451 W KR2023015451 W KR 2023015451W WO 2024085513 A1 WO2024085513 A1 WO 2024085513A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
image
display device
user
avatar
Prior art date
Application number
PCT/KR2023/015451
Other languages
English (en)
French (fr)
Inventor
소병석
구본석
김영태
이기성
이영철
이원희
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020230011111A external-priority patent/KR20240054141A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2024085513A1 publication Critical patent/WO2024085513A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Definitions

  • Various embodiments relate to a display device and a method of operating the same, and more specifically, to a display device that displays an avatar and a method of operating the same.
  • Augmented reality AR provides content to enhance real-world experiences.
  • AR displays display content on the screen that corresponds to the surrounding environment viewed by the user but is not real. Additionally, the AR display can replace the user's image included in augmented reality content with an avatar.
  • an object is to provide a display device and operating method that can provide a registered avatar image to a user without causing privacy issues.
  • a display device may include a communication interface, a display, a camera, a memory 130 that stores one or more instructions, and at least one processor 140 that executes the one or more instructions stored in the memory.
  • the at least one processor 140 may be configured to acquire an image by executing one or more instructions and controlling the camera to perform shooting.
  • the at least one processor 140 may be configured to identify the electronic device by executing one or more instructions and controlling the communication interface during the photographing.
  • the at least one processor 140 may be configured to obtain a registered avatar image corresponding to the identified electronic device by executing one or more instructions.
  • the at least one processor 140 may be configured to identify a user associated with the identified electronic device from the image by executing one or more instructions. According to one embodiment, the at least one processor 140 may be configured to generate and display an augmented reality image by executing one or more instructions and replacing at least a part of the body of the identified user in the image with the avatar image. .
  • a method of operating a display device may include acquiring an image by controlling the camera to perform photography.
  • a method of operating a display device may include identifying an electronic device by controlling the communication interface while taking pictures.
  • a method of operating a display device may include obtaining a registered avatar image corresponding to the identified electronic device.
  • a method of operating a display device may include identifying a user associated with the identified electronic device from the image.
  • a method of operating a display device may include generating and displaying an augmented reality image by replacing at least a part of the identified user's body in the image with the avatar image.
  • the method of operating a display device includes performing photographing. Obtaining an image by controlling the camera, identifying an electronic device by controlling the communication interface during the shooting, acquiring an avatar image registered corresponding to the identified electronic device, the identified electronic device. The method may include identifying a user associated with the device from the image, and generating and displaying an augmented reality image by replacing at least a portion of the identified user's body in the image with the avatar image.
  • privacy issues are raised by providing an avatar image corresponding to the user by using the user's electronic device without storing the user's face image in the display device. It will be possible to provide augmented reality images without any need.
  • Figure 1 is a reference diagram for explaining the operation of a display device that displays an augmented reality image according to various embodiments.
  • Figure 2 shows an example of a system including a display device, an electronic device, and a server device, according to an embodiment.
  • Figure 3 is an example of a block diagram of a display device according to an embodiment.
  • Figure 4 shows an example of a flowchart of a method of operating a display device according to an embodiment.
  • FIG. 5A shows an example of a flowchart of an operation for determining relative location information of an electronic device with respect to a display device, according to an embodiment.
  • FIG. 5B is a reference diagram for explaining a method of identifying an electronic device using UWB communication (ultra wide band (UWB) communication) technology according to an embodiment.
  • UWB ultra wide band
  • FIG. 5C is a diagram illustrating an operation of determining relative location information of a remote control device with respect to a reference electronic device, according to an embodiment.
  • FIG. 6 is a reference diagram for explaining examples in which a display device acquires an avatar image corresponding to an electronic device, according to an embodiment.
  • Figure 7 is a reference diagram for explaining a method of detecting a user in a captured image using skeleton detection technology according to an embodiment.
  • FIG. 8 is a reference diagram for explaining a method of identifying a user associated with an identified electronic device by correlating location information of the user included in an image with location information of the identified electronic device, according to an embodiment.
  • FIG. 9 illustrates an example of replacing a user included in an image with an avatar image registered to an electronic device associated with the user and displaying the image, according to an embodiment.
  • Figure 10 is a flowchart of an example of a method of operating a display device that obtains an avatar image from a server device according to an embodiment.
  • FIG. 11 is a flowchart of an example of a method of operating a display device that obtains an avatar image from an electronic device, according to an embodiment.
  • FIG. 12 is a flowchart of an example of a method of operating a display device that replaces a face image with an avatar image according to an embodiment.
  • FIG. 13 is a reference diagram for explaining the concept of a method of displaying an avatar by setting it to a decoration mode or a hiding mode according to the user's selection, according to an embodiment.
  • Figure 14 shows an example of a flowchart of a method of operating an electronic device and a display device based on an avatar display mode, according to an embodiment.
  • Figure 15 is a reference diagram for explaining an example of outputting an image by hiding or decorating it according to the avatar display mode, according to an embodiment.
  • the term “user” refers to a person who controls the functions or operations of a computing device or electronic device using a control device, and may include a viewer, an administrator, or an installer.
  • Figure 1 is a reference diagram for explaining the operation of a display device that displays an augmented reality image according to various embodiments.
  • the display device 100 can capture an external environment using a camera 191, generate an augmented reality image 20 corresponding to the captured external environment image 10, and display it.
  • Augmented reality is a technology that displays a 3D virtual image as a single image by overlapping a real image or background. It can refer to converting one or more objects or backgrounds from a captured image into a 3D virtual image.
  • the external environment image 10 captured by the display device 100 may include users 11, 12, 13, and background 14 as one or more objects.
  • the display device 100 may generate an augmented reality image 20 in which one or more objects or backgrounds are overlaid with a 3D virtual image in response to the external environment image 10 captured in this way. Referring to FIG.
  • the background 14 is replaced with a three-dimensional virtual image
  • the face of user 11 is replaced with the first avatar image
  • the face of user 12 is replaced with the second avatar image 22
  • the face of user 13 is replaced with the first avatar image 21.
  • the augmented reality image 20 replaced with the third avatar image 23 can be created.
  • the display device 100 needs to recognize each user whose avatar image should be replaced in the external environment image 10.
  • the user's face image and the corresponding avatar image are generally stored in the display device 100 or a server device connected to the display device 100, and the user's face is recognized in the video captured by the display device 100 and responded to the recognized face image. You may want to consider finding and replacing the avatar image.
  • the user's facial image is stored in a place such as a display device or server device, privacy issues may arise. Therefore, a method that can provide avatar images without privacy issues is required.
  • the display device 100 uses an avatar image stored in association with the terminal device or electronic device used by the user instead of the user's face to display the user included in the image captured by the display device 100 as an avatar image. It can be replaced.
  • the display device 100 can identify the user in the captured video using the user's electronic device without the need to store the user's face image. It becomes possible.
  • the display device 100 may receive a user's face image from the user's electronic device, and replace the user included in the image captured by the display device 100 with an avatar image corresponding to the user's face image. .
  • the user's face image is not stored in the display device 100 or a server device connected to the display device 100, but is only temporarily received from the user's electronic device 100 and used for recognition. Since it can be discarded after quoting, the user's face image is not stored in the display device 100 or the server device, thereby eliminating the possibility of privacy issues.
  • the display device 100 may hide the user's image included in the image captured by the display device 100 or replace it with an avatar image according to the settings of the user's electronic device with which the display device 100 communicates. In this way, depending on the avatar display mode setting of the electronic device, the display device 100 may hide the anonymous user or display it as an avatar image when one or more users are included in the captured image.
  • Figure 2 shows an example of a system including a display device, an electronic device, and a server device according to an embodiment.
  • the system may include a display device 100, an electronic device 200, and a server device 300 connected through a communication network.
  • the display device 100 is a device that can display images or data according to a user's request, and may include a communication unit 110, a display 120, a memory 130, a camera 191, and a processor 140.
  • the communication unit 110 may include one or more modules that enable wireless communication between the display device 100 and a wireless communication system or between the display device 100 and a network where other devices are located.
  • the communication unit 110 may include one or more communication circuits.
  • the communication unit 110 may perform communication with the electronic device 200 according to short-range communication technology.
  • Short-range communication technology may include, for example, Bluetooth communication, Wi-Fi communication, infrared communication, UWB communication, etc.
  • the communication unit 110 may communicate with the server device 300 according to the Internet protocol.
  • the communication unit 110 may include an antenna for performing communication.
  • the display device 100 may include a UWB antenna for performing UWB communication.
  • the display 120 can output images or data processed by the display device 100.
  • the memory 130 can store programs for processing and control of the processor 140 and can store data input to or output from the display device 100. Additionally, the memory 130 can store data necessary for the operation of the display device 100.
  • Memory 130 is a flash memory type, hard disk type, multimedia card micro type, card type memory (e.g. SD or XD memory, etc.), RAM , Random Access Memory) SRAM (Static Random Access Memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic disk, optical disk. It may include at least one type of storage medium.
  • Camera 191 may acquire images by performing filming.
  • the camera 191 may include a 2D camera such as an RGB camera or a 3D camera such as a depth camera, and the 3D camera may use a Time of Flight (ToF) method, an RF imaging method, a structured light method, or a Photometric Stereo camera. Methods, etc. can be used.
  • TOF Time of Flight
  • RF imaging method RF imaging method
  • structured light method a structured light method
  • Photometric Stereo camera Photometric Stereo camera.
  • the processor 140 controls the overall operation of the display device 100.
  • the processor 140 may perform the functions of the display device 100 described in the present disclosure by executing one or more instructions stored in the memory 130.
  • Processor 140 may consist of one or more processors.
  • the processor 140 may store one or more instructions in an internally provided memory and execute one or more instructions stored in an internally provided memory to control operations of the display device to be performed. That is, the processor 140 may perform a predetermined operation by executing at least one instruction or program stored in the internal memory or memory 130 provided inside the processor 140.
  • the processor 140 may perform the operation of the display device 100 disclosed in this disclosure by executing one or more instructions stored in the memory 130.
  • the processor 140 may be configured to acquire images of the external environment by executing one or more instructions stored in the memory 130 and controlling the camera to perform photography.
  • the processor 140 may be configured to identify the electronic device by executing one or more instructions stored in the memory 130 and controlling the communication interface during the photographing.
  • the processor 140 may be configured to obtain location information and identification information of the electronic device using BLE communication technology or UWB communication technology by executing one or more instructions stored in the memory 130. .
  • the processor 140 may be configured to obtain an avatar image registered corresponding to the identified electronic device by executing one or more instructions stored in the memory 130.
  • the processor 140 receives an avatar image registered corresponding to the electronic device from a server using identification information of the electronic device by executing one or more instructions stored in the memory 130, or executes one or more instructions stored in the memory 130. may be configured to identify the avatar image by obtaining it from or receiving it through a communication interface from the electronic device.
  • the processor 140 may be configured to identify a user associated with the identified electronic device from the image by executing one or more instructions stored in the memory 130.
  • the processor 140 may be configured to acquire the user's location information included in the image by analyzing the image by executing one or more instructions stored in the memory 130.
  • the processor 140 may be configured to detect one or more users in the image by executing one or more instructions stored in the memory 130 and performing skeleton detection in the image.
  • the processor 140 is configured to identify a user associated with the electronic device using the user's location information detected in the image and the location information of the electronic device by executing one or more instructions stored in the memory 130. You can.
  • the processor 140 may be configured to identify a user whose distance from the electronic device is within a threshold as a user associated with the electronic device by executing one or more instructions stored in the memory 130.
  • the processor 140 receives a facial image of the user of the electronic device from the electronic device by executing one or more instructions stored in the memory 130, and recognizes the facial image in the image to provide information to the electronic device. It may be configured to identify the associated user.
  • the processor 140 may be configured to generate and display an augmented reality image by executing one or more instructions stored in the memory 130 and replacing at least a part of the body of the identified user with the avatar image in the image. there is.
  • the processor 140 may generate and display an augmented reality image by executing one or more instructions stored in the memory 130 and replacing at least part of the identified user's body in the image with the avatar image.
  • the processor 140 receives information about the avatar display mode from the electronic device by executing one or more instructions stored in the memory 130, and displays the user identified in the image based on the information about the avatar display mode. It can be configured to hide or display the avatar.
  • the processor 140 displays at least a portion of the user identified in the image as the avatar image by executing one or more instructions stored in the memory 130, as the avatar display mode indicates a decoration mode, As the avatar display mode indicates a hiding mode, it may be configured to hide at least a portion of the user identified in the video.
  • the display device 100 may be any type of device that performs a function including a processor and memory.
  • the display device 100 may be a fixed or portable device.
  • the display device 100 may represent a device that has a display and can display image content, video content, game content, graphic content, etc.
  • the display device 100 can output or display images or content received from the server device 300.
  • the display device 100 may include, for example, televisions such as network TVs, smart TVs, Internet TVs, web TVs, IPTVs, computers such as desktops, laptops, tablets, smartphones, cellular phones, game players, music players, video players, medical devices, etc. It may include various types of electronic devices that can receive and output content, such as various smart devices such as equipment, home appliances, etc.
  • the display device 100 may be referred to as a display device in that it receives and displays content, and may also be referred to as a content receiving device, sink device, electronic device, computing device, etc.
  • the block diagram of the display device 100 shown in FIG. 2 is a block diagram for one embodiment.
  • Each component of the block diagram may be integrated, added, or omitted depending on the specifications of the display device 100 that is actually implemented. For example, as needed, two or more components may be combined into one component, or one component may be subdivided into two or more components.
  • the functions performed by each block are for explaining the embodiments, and the specific operations or devices do not limit the scope of the present invention.
  • the electronic device 200 will now be described.
  • the electronic device 200 may include a communication unit 210, a user input unit 220, a memory 230, and a processor 240. However, the electronic device 200 may be implemented with more components than those shown, and is not limited to the above-described examples.
  • the communication unit 210 may include one or more modules that enable wireless communication between the electronic device 200 and a wireless communication system or between the electronic device 200 and a network where other devices are located.
  • the communication unit 210 may include one or more communication circuits.
  • the communication unit 210 may perform communication with the display device 100 according to short-range communication technology.
  • Short-range communication technology may include, for example, Bluetooth communication, Wi-Fi communication, infrared communication, UWB communication, etc.
  • the communication unit 210 may communicate with the server device 300 according to the Internet protocol.
  • the electronic device 200 may include a plurality of antennas for performing communication (eg, UWB communication) with the display device 100.
  • a plurality of antennas for performing communication eg, UWB communication
  • the user input unit 220 may be any type of interface means capable of receiving user input.
  • the user input unit 220 is arranged in a portion of the electronic device 200 and includes an operation button capable of receiving a user's input, a touch-sensitive display configured to detect a touch input, and a microphone capable of receiving a user's voice speech input. It may include etc.
  • the memory 230 can store programs for processing and control of the processor 240, and can store data input to or output from the electronic device 200.
  • Memory 230 is a flash memory type, hard disk type, multimedia card micro type, card type memory (e.g. SD or XD memory, etc.), RAM , Random Access Memory) SRAM (Static Random Access Memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic disk, optical disk. It may include at least one type of storage medium.
  • the processor 240 controls the overall operation of the electronic device 200.
  • the processor 240 may perform the functions of the electronic device 200 described in this disclosure by executing one or more instructions stored in the memory 230.
  • the processor 240 may store one or more instructions in an internally provided memory and execute one or more instructions stored in an internally provided memory to control the above-described operations to be performed. That is, the processor 240 may perform a predetermined operation by executing at least one instruction or program stored in the internal memory or memory 230 provided inside the processor 240.
  • the processor 240 may perform UWB communication with the display device 100 by executing one or more instructions stored in the memory 230.
  • the processor 240 executes one or more instructions stored in the memory 230, thereby storing the avatar image corresponding to the electronic device 200 in the database of the electronic device 200 or registering it with the server device 300 according to the user input. Communication can be performed with 300.
  • the processor 240 may transmit an avatar image registered in response to the electronic device to the display device 100 at the request of the display device 100 by executing one or more instructions stored in the memory 230.
  • the processor 240 may execute one or more instructions stored in the memory 230 to set the avatar display mode of the electronic device to one of the hiding mode and the decorating mode according to the user input.
  • the processor 240 may execute one or more instructions stored in the memory 230 to transmit a response in response to the avatar display mode set in the electronic device 200 in response to an avatar image request from the display device 100. For example, if the avatar display mode is a hiding mode, the electronic device 200 may transmit a response indicating the hiding mode to the display device 100. For example, when the avatar display mode is the decoration mode, the electronic device 200 may transmit a response indicating the decoration mode along with the avatar image to the display device 100.
  • the electronic device 200 may be any type of device that performs a function including a processor and memory.
  • the electronic device 200 may include various electronic devices such as remote electronic devices, game electronic devices, and smartphones.
  • the block diagram of the electronic device 200 shown in FIG. 2 is a block diagram for one embodiment.
  • Each component of the block diagram may be integrated, added, or omitted depending on the specifications of the electronic device 200 that is actually implemented. For example, as needed, two or more components may be combined into one component, or one component may be subdivided into two or more components.
  • the functions performed by each block are for explaining the embodiments, and the specific operations or devices do not limit the scope of the present invention.
  • the server device 300 will now be described.
  • the server device 300 may include a communication unit 310, a memory 320, and a processor 330. However, the server device 300 may be implemented with more components than those shown, and is not limited to the above-described examples. For example, the server device 300 may be equipped with a separate image processing unit for image processing of application images executed on the server device 300.
  • the communication unit 310 may include one or more modules that enable wireless communication between the server device 300 and a wireless communication system or between the server device 300 and a network where other devices are located.
  • the communication unit 310 may include one or more communication circuits. According to one embodiment, the communication unit 310 may communicate with the display device 100 according to the Internet protocol. According to one embodiment, the communication unit 310 may communicate with the electronic device 200 according to the Internet protocol.
  • the memory 320 can store programs for processing and control of the processor 330 and can store data input to or output from the server device 300.
  • Memory 320 is a flash memory type, hard disk type, multimedia card micro type, card type memory (e.g. SD or XD memory, etc.), RAM , Random Access Memory) SRAM (Static Random Access Memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic disk, optical disk. It may include at least one type of storage medium.
  • the processor 330 controls the overall operation of the server device 300.
  • the processor 330 may perform the functions of the server device 300 described in the present disclosure by executing one or more instructions stored in the memory 320.
  • the processor 330 may store one or more instructions in an internally provided memory and execute one or more instructions stored in an internally provided memory to control the above-described operations to be performed. That is, the processor 330 may perform a predetermined operation by executing at least one instruction or program stored in the internal memory or memory 320 provided inside the processor 330.
  • the processor 330 may register an avatar image corresponding to the electronic device 200 in the database according to a request from the electronic device 200 or the display device 100 by executing one or more instructions stored in the memory 320.
  • the processor 330 may transmit an avatar image corresponding to the electronic device 200 to the display device 100 in response to an avatar image request from the display device 100 by executing one or more instructions stored in the memory 320.
  • the block diagram of the server device 300 shown in FIG. 2 is a block diagram for one embodiment.
  • Each component of the block diagram may be integrated, added, or omitted depending on the specifications of the server device 300 that is actually implemented. For example, as needed, two or more components may be combined into one component, or one component may be subdivided into two or more components.
  • the functions performed by each block are for explaining the embodiments, and the specific operations or devices do not limit the scope of the present invention.
  • Figure 3 is an example of a block diagram of a display device according to an embodiment.
  • the display device 100 may include an image processing unit 150, an audio processing unit 160, an audio output unit 170, a receiving unit 180, and a sensing unit 190, in addition to a communication unit 110, a display 120, a memory 130, and a processor 140.
  • the communication unit 110 may include one or more modules that enable wireless communication between the display device 100 and a wireless communication system or between the display device 100 and a network where other electronic devices are located.
  • the communication unit 110 may include a mobile communication module 111, a wireless Internet module 112, and a short-range communication module 113.
  • the mobile communication module 111 transmits and receives wireless signals with at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the wireless signal may include various types of data according to voice call signals, video call signals, or text/multimedia message transmission and reception.
  • the wireless Internet module 112 refers to a module for wireless Internet access and may be built into or external to the device.
  • Wireless Internet technologies include Wireless LAN (WLAN) (WiFi), Wireless Broadband (Wibro), World Interoperability for Microwave Access (Wimax), and High Speed Downlink Packet Access (HSDPA).
  • Wi-Fi Wireless LAN
  • Wibro Wireless Broadband
  • Wimax World Interoperability for Microwave Access
  • HSDPA High Speed Downlink Packet Access
  • the short-range communication module 113 refers to a module for short-range communication.
  • Short-range communication technologies include Bluetooth, Bluetooth Low Energy (BLE), Radio Frequency Identification (RFID), infrared data association (IrDA), Ultra Wideband (UWB), and ZigBee.
  • the display 120 can display the video signal received from the server device 300 on the screen.
  • the memory 130 can store programs related to the operation of the display device 100 and various data generated during the operation of the display device 100.
  • Memory 130 can store at least one instruction. Additionally, the memory 140 may store at least one instruction executed by the processor 150. Additionally, the memory 140 may store at least one program executed by the processor 150. Additionally, the memory 150 may store an application for providing a certain service.
  • the memory 130 includes a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (e.g., SD or XD memory, etc.), RAM (Random Access Memory), SRAM (Static Random Access Memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic It may include at least one type of storage medium among disks and optical disks.
  • a flash memory type e.g., a hard disk type
  • a multimedia card micro type e.g., SD or XD memory, etc.
  • RAM Random Access Memory
  • SRAM Static Random Access Memory
  • ROM Read-Only Memory
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • PROM Programmable Read-Only Memory
  • magnetic memory magnetic It may include at least one type of storage medium among disks and optical disks.
  • the processor 140 controls the overall operation of the display device 100.
  • the processor 140 may perform the functions of the display device 100 described in the present disclosure by executing one or more instructions stored in the memory 130.
  • the processor 140 may store one or more instructions in an internally provided memory and execute one or more instructions stored in an internally provided memory to control operations of the display device to be performed. That is, the processor 140 may perform a predetermined operation by executing at least one instruction or program stored in the internal memory or memory 130 provided inside the processor 140.
  • the processor 140 may perform at least one instruction and control the intended operation to be performed.
  • at least one instruction may be stored in the internal memory included in the processor 140 or in the memory 130 included in the display device 100 separately from the processor 140.
  • the processor 140 may perform at least one instruction to control at least one component included in the display device 100 so that the intended operation is performed. Therefore, even if the case in which the processor 140 performs certain operations is used as an example, it may mean that the processor 140 controls at least one component included in the display device 100 so that the processor 140 performs certain operations.
  • processor 140 is described and shown as an example of being formed as a single processor, it may also be formed as including a plurality of processors.
  • the processor 140 stores signals or data input from outside the display device 100, RAM used as a storage area corresponding to various tasks performed in the display device 100, a control program for controlling the display device 100, It may include an application for providing a predetermined function or service, and/or a ROM in which a plurality of instructions are stored, and at least one processor.
  • the processor 140 may include a graphics processor (Graphic Processing Unit, not shown) for graphics processing corresponding to video.
  • Processor 140 may be implemented as a System On Chip (SoC) that integrates a core (not shown) and a GPU (not shown). Additionally, the processor 140 may include multiple cores or more than a single core.
  • the processor 140 may include a dual core, triple core, quad core, hexa core, octa core, deca core, dodeca core, hexa decimal core, etc.
  • the image processing unit 150 may process the image signal received from the receiving unit 110 or the communication unit 120 and output the image signal to the display 130 under the control of the processor 140.
  • the audio processing unit 160 may convert the audio signal received from the receiving unit 110 or the communication unit 120 into an analog audio signal and output it to the audio output unit 180 under the control of the processor 140.
  • the audio output unit 170 may output audio (eg, voice, sound) input through the communication unit 110 or the receiver 180. Additionally, the audio output unit 170 may output audio stored in the memory 130 under the control of the processor 140.
  • the audio output unit 170 may include at least one or a combination of a speaker, a headphone output terminal, or a Sony/Philips Digital Interface (S/PDIF) output terminal.
  • S/PDIF Sony/Philips Digital Interface
  • the receiver 180 receives video (e.g., video, etc.), audio (e.g., voice, music, etc.), and additional information (e.g., EPG, etc.) from the outside of the display device 100 under the control of the processor 140. can do.
  • the receiving unit 180 includes one of an HDMI port (High-Definition Multimedia Interface port, 181, a component jack, 182), a PC port, 183, and a USB port, 184, or one or more
  • the receiving unit 180 may further include DisplayPort (DP), Thunderbolt, and MHL (Mobile High-Definition Link).
  • DP DisplayPort
  • Thunderbolt Thunderbolt
  • MHL Mobile High-Definition Link
  • the detection unit 190 detects the user's voice, the user's image, or the user's interaction, and may include a camera 191, a microphone 192, and an optical receiver 193.
  • the camera 191 may receive images (eg, consecutive frames) corresponding to the user's motion, including gestures, within the camera recognition range.
  • the processor 140 can use the received motion recognition result to select a menu displayed on the display device 100 or perform control corresponding to the motion recognition result.
  • the display device 100 can capture the external environment using a 2D camera such as an RGB camera or a 3D camera such as a depth camera. 3D cameras can use ToF (Time of Flight) method, RF imaging method, structured light method, or Photometric Stereo method.
  • ToF Time of Flight
  • Microphone 192 receives the user's uttered voice.
  • the microphone 192 can convert the received voice into an electrical signal and output it to the processor 140.
  • the user voice may include, for example, a voice corresponding to a menu or function of the display device 100.
  • the optical receiver 193 receives optical signals (including control signals) received from an external control device.
  • the light receiver 193 may receive an optical signal corresponding to a user input (eg, touch, press, touch gesture, voice, or motion) from the control device.
  • a control signal may be extracted from the received optical signal under the control of the processor 140.
  • the processor 140 controls the overall operation of the display device 100 and signal flow between internal components (not shown) of the display device 100, and performs the function of processing data. When there is a user input or a preset and stored condition is satisfied, the processor 140 can execute an operating system (OS) and various applications stored in the memory 130.
  • OS operating system
  • the processor may include a graphics processor (Graphic Processing Unit, not shown) for graphics processing corresponding to the video.
  • the graphics processing unit uses an arithmetic unit (not shown) and a rendering unit (not shown) to create a screen containing various objects such as icons, images, and text.
  • the calculation unit uses user interaction detected through a detection unit (not shown) to calculate attribute values such as coordinates, shape, size, color, etc. for each object to be displayed according to the layout of the screen.
  • the rendering unit generates screens with various layouts including objects based on the attribute values calculated by the calculation unit.
  • Figure 4 shows an example of a flowchart of a method of operating a display device according to an embodiment.
  • the display device 100 may acquire an image by photographing the external environment.
  • the display device 100 can capture the external environment using a 2D camera such as an RGB camera or a 3D camera such as a depth camera.
  • 3D cameras can use ToF (Time of Flight) method, RF imaging method, structured light method, or Photometric Stereo method.
  • the display device 100 may identify the electronic device 200 in the external environment surrounding the display device 100.
  • the display device 100 can capture the external environment using a camera and identify the electronic device by searching for and communicating with one or more electronic devices in the external environment around the display device 100 using a communication unit.
  • the display device 100 may obtain identification information and/or location information of the electronic device by identifying the electronic device.
  • the display device 100 may obtain identification information and/or location information of the electronic device using BLE communication technology.
  • the display device 100 may obtain identification information and/or location information of the electronic device using UWB communication technology.
  • UWB communication is a communication technology that transmits signals using very short pulses (several nanoseconds) at low power over a wide band compared to existing communication.
  • very short pulses hundreds of nanoseconds
  • FCC Federal Communications Commission
  • TOA time of arrival
  • AOA angle of arrival
  • UWB communication ultra wide band (UWB) communication
  • FIG. 5A shows an example of a flowchart of an operation for determining relative location information of an electronic device with respect to a display device, according to an embodiment.
  • the display device 100 may obtain information about the distance from each of the plurality of antennas of the electronic device 200 to the display device 100.
  • FIG. 5B is a reference diagram for explaining a method of identifying an electronic device using UWB communication (ultra wide band (UWB) communication) technology according to an embodiment.
  • UWB ultra wide band
  • the display device 100 or the processor 140 of the display device 100 may calculate the distance to an external electronic device through a UWB signal.
  • the display device 100 may include a UWB antenna 115 for performing UWB communication.
  • the UWB antenna 115 of the display device 100 may include at least one processor that is different from the processor 140, and the distance to an external electronic device may be calculated based on the UWB signal.
  • At least one processor included in the UWB antenna may generate data or information including time information based on the UWB signal and provide the data or information to the processor 140 of the display device 100.
  • the processor 140 may calculate the distance to an external electronic device based on the provided data or information.
  • the processor 140 of the display device 100 may use methods such as angle of arrival (AoA), time of arrival (ToA), or time difference of arrival (TDoA) to calculate the distance to an external electronic device. .
  • AoA angle of arrival
  • ToA time of arrival
  • TDoA time difference of arrival
  • FIG. 5B is a reference diagram for explaining a distance calculation process between the display device 100 and the electronic device 200 based on the ToA method according to an embodiment.
  • the processor 140 of the display device 100 can calculate the distance between the display device 100 and the electronic device 200 using a two way ranging (TWR) method in which signals are exchanged between the display device 100 and the electronic device 200.
  • TWR two way ranging
  • the electronic device 200 may be referred to as a UWB tag device
  • the display device 100 may be referred to as a UWB anchor device.
  • the electronic device 200 may transmit a poll signal to the display device 100.
  • the display device 100 that receives the poll signal can transmit a response signal to the electronic device 200.
  • the electronic device 200 that receives the response signal may transmit a final signal to the display device 100.
  • T round T which is the round trip time (RTT) of the signal transmitted from the electronic device 200, can be measured through the time T SP when the poll signal is transmitted and the time T RR when the response signal is received.
  • T reply A which is the response delay time of the display device 100, can be measured through the time T RP of receiving the poll signal and T SR of the time of transmitting the response signal.
  • T reply A of the display device 100.
  • T round A which is the RTT of the signal transmitted from the display device 100, can be measured through T SR , the time when the response signal is transmitted, and T RF , the time when the final signal is received.
  • the distance between the electronic device 200 and the display device 100 can be calculated using T p and the speed of the signal.
  • the display device 100 may obtain information about the distance between the plurality of antennas of the electronic device 200.
  • the distance d1, distance d2, and distance b of FIG. 5C may be measured based on the ToA method of UWB communication, and the processor 140 may obtain information about the distance in operations 510 and 520.
  • the display device 100 may determine relative location information of the electronic device 200 with respect to the display device 100.
  • the display device 100 includes information about the distance from each of the plurality of antennas of the electronic device 200 to the display device 100 (e.g., distance d1 and distance d2 in FIG. 5C) and a plurality of Based on information about the distance between the antennas (e.g., distance b in FIG. 5C), the distance d from the electronic device 200 to the display device 100, the direction from the electronic device 200 to the display device 100, and the plurality of antennas of the electronic device 200.
  • Information about the angle ⁇ 1 generated from the direction based on their positions can be determined.
  • FIG. 5C is a diagram illustrating an operation of determining relative location information of a remote control device with respect to a reference electronic device, according to an embodiment.
  • FIG. 5C may be based on an indoor environment in which the display device 100 and the electronic device 200 operate viewed from above.
  • Figure 5C may be an X-Y plane looking down at the indoor environment from the +Z axis.
  • the processor 140 of the display device 100 may determine relative position information of the electronic device 200 with respect to the display device 100.
  • the relative position information includes the distance d from the electronic device 200 to the display device 100, the direction from the electronic device 200 to the display device 100 (the direction of the dotted line corresponding to d), and the positions of the plurality of antennas 211 and 212 of the electronic device 200.
  • An angle ⁇ 1 generated in a direction based on (direction of straight line 213) may be included.
  • the display device 100 may include a UWB antenna 115, and as described with reference to FIG. 2, the electronic device 200 may include UWB antennas 211 and 212. Information about the distance b, distance d1, and distance d2 between the UWB antennas 211 and 212 may be calculated. Information about distance b, distance d1, and distance d2 may be obtained from the processor 140 of the display device 100, or may be obtained from the processor 240 of the electronic device 200 and transmitted to the display device 100.
  • the display device 100 may obtain a registered avatar image corresponding to the identified electronic device.
  • the display device 100 may include an avatar image database registered corresponding to the electronic device, and the display device 100 may refer to this database to obtain an avatar image corresponding to the identified electronic device.
  • the avatar image database included in the display device 100 may correspond to one or more users and include electronic device identification information corresponding to each user and a corresponding avatar image.
  • the server device 300 may include an avatar image database registered corresponding to the electronic device, and the display device 100 may request the server device 300 to obtain an avatar image corresponding to the identified electronic device.
  • the avatar image database included in the server device 100 may correspond to one or more users and include electronic device identification information corresponding to each user and a corresponding avatar image.
  • the electronic device 200 may include an avatar image database corresponding to the electronic device 200, and the display device 100 may obtain an avatar image corresponding to the electronic device 200 from the electronic device 200.
  • FIG. 6 is a reference diagram for explaining examples in which a display device acquires an avatar image corresponding to an electronic device, according to an embodiment.
  • the server device 300 may store an avatar image database 600 corresponding to an electronic device.
  • the avatar image database 600 corresponding to the electronic device may include avatar images registered for one or more users.
  • the avatar image database 600 corresponding to an electronic device may store a user ID, electronic device identification information, and a corresponding avatar image for each user.
  • electronic device identification information AAA corresponding to a wireless earphone as an electronic device
  • avatar image #1 corresponding to this electronic device identification information AAA
  • electronic device identification information BBB corresponding to a smart watch as an electronic device
  • avatar image #2 corresponding to this electronic device identification information BBB are registered.
  • electronic device identification information CCC corresponding to a smartphone as an electronic device
  • users can register an avatar image to be associated with the electronic device they use by accessing the server device 300 using the display device 100 or the electronic device 200.
  • the display device 100 may transmit the acquired electronic device identification information to the server device 300 and request an avatar image corresponding to the electronic device identification information.
  • the server device 300 may transmit an avatar image corresponding to the electronic device identification information to the display device 100 in response to this request.
  • the display device 100 may directly include an avatar image database 600 corresponding to an electronic device.
  • the display device 100 may refer to the database 600 managed by the display device 100 to obtain an avatar image corresponding to the electronic device identification information.
  • the electronic device 200 may store an avatar image database 610 corresponding to the electronic device.
  • the avatar image database 610 corresponding to the electronic device may include a registered avatar image corresponding to the user of the electronic device 200.
  • the avatar image database 610 corresponding to an electronic device may store a user ID, electronic device identification information, and a corresponding avatar image for each user.
  • the electronic device 200 may transmit an avatar image corresponding to the electronic device 200 to the display device 100 through communication with the display device 100, and the display device 100 may transmit the avatar image corresponding to the electronic device 200 received from the electronic device 200. It can be obtained.
  • the display device 100 may identify a user associated with the identified electronic device from the captured image.
  • the display device 100 may acquire user location information included in a captured image.
  • the display device 100 may obtain location information of objects included in the image, for example, a user included in the image. there is.
  • the display device 100 may obtain user location information included in a captured image using skeleton detection technology.
  • Figure 7 is a reference diagram for explaining a method of detecting a user in a captured image using skeleton detection technology according to an embodiment.
  • the display device 100 may include a skeleton detection module to detect a skeleton in the captured image 10.
  • the skeleton detection module can extract the user's skeleton data consisting of joints and bones based on the skeleton in Image 10.
  • the user's skeleton data is composed of a plurality of joints and bones, and may be data in which the plurality of joints and bones are set as one set.
  • the skeleton detection module can recognize the user's skeleton in the image and extract joints and bones based on the skeleton.
  • the skeleton detection module can extract the user's skeleton data by extracting the spatial x, y, and z values for the joints from the user's skeleton data.
  • the skeleton detection module can recognize each joint in three dimensions and extract spatial coordinates.
  • the skeleton detection module is a technology for estimating joint positions and can use methods such as OpenPose, DensePose, video inference, and multi-tasking deep learning.
  • the display device 100 may identify the user associated with the identified electronic device by correlating the user's location information included in the captured image with the location information of the identified electronic device.
  • FIG. 8 is a reference diagram for explaining a method of identifying a user associated with an identified electronic device by correlating location information of the user included in an image with location information of the identified electronic device, according to an embodiment.
  • the display device 100 may identify a skeleton corresponding to an electronic device by aligning the location of one or more skeletons detected using skeleton detection technology from a captured image with the location of one or more identified electronic devices.
  • the display device 100 may compare the position of one or more skeletons with the position of one or more electronic devices, and determine that the electronic device and the skeleton correspond to each other if the distance between the electronic device and the skeleton is less than or equal to a threshold value. For example, in Figure 8, when selecting the skeleton corresponding to electronic device #1, the skeleton whose distance from electronic device #1 is less than the threshold is skeleton #1, so skeleton #1 corresponding to electronic device #1 is selected. You can check it.
  • the display device 100 can select a skeleton corresponding to each electronic device in the image, that is, a skeleton related to each electronic device.
  • the display device 100 can identify the skeleton corresponding to each electronic device, that is, the user, in the image.
  • the display device 100 may replace at least a portion of the body of the user identified in the image with an avatar image and display the image.
  • the display device 100 may replace at least part of the body of a user identified in the image with an avatar image registered to correspond to an electronic device associated with the user and display the image.
  • the display device 100 may display the user's face identified in the video by replacing it with the avatar image registered to correspond to the electronic device.
  • the display device 100 may display the entire body of the user identified in the video by replacing it with the avatar image registered to the electronic device.
  • FIG. 9 illustrates an example of replacing a user included in an image with an avatar image registered to an electronic device associated with the user and displaying the image, according to an embodiment.
  • the display device 100 may generate an augmented reality image 20 by replacing the user included in the image 10 with an avatar image registered corresponding to the electronic device associated with the user.
  • the display device 100 may identify an electronic device associated with the skeleton based on the location of one or more skeletons and the location of the electronic device detected in image 10. Additionally, the display device 100 may recognize at least a part of the user's body corresponding to the skeleton and replace at least a part of the recognized user's body with an avatar image corresponding to the identified electronic device.
  • the display device 100 may recognize at least a part of the user's body using object detection technology or face recognition technology from the user image corresponding to the skeleton detected in image 10. At least part of the user's body may include the face.
  • the display device 100 may refer to the database 600 for electronic device identification information and obtain an avatar image corresponding to the electronic device identification information.
  • the display device 100 may generate an augmented reality image 20 by replacing at least a part of the user's body corresponding to the skeleton detected in image 10 with an avatar image corresponding to an electronic device associated with the skeleton.
  • the display device 100 replaces the face of user 11 corresponding to skeleton #1 detected in image 10 with an avatar #1 image corresponding to electronic device #1 810 associated with skeleton #1, and , the face of user 12 corresponding to skeleton #2 detected in video 10 is replaced with the avatar #2 image corresponding to electronic device #2 820 associated with skeleton #2, and the face corresponding to skeleton #3 detected in video 10 is replaced.
  • User 13's face can be replaced with an avatar #3 image corresponding to electronic device #3 830 associated with skeleton #3.
  • Figure 10 is a flowchart of an example of a method of operating a display device that obtains an avatar image from a server device according to an embodiment.
  • the user of the electronic device 200 may access the server device 300 using the electronic device 200 and request the server device 300 to map an avatar image representing the user to the electronic device 200.
  • the server device 300 may store an avatar image in the database 600 in response to the electronic device identification information according to a request received from the electronic device 200.
  • the display device 100 may capture an image. Obtaining an image by photographing the external environment is the same as described in operation 410 of FIG. 4.
  • the display device 100 may obtain electronic device identification information and location information of the electronic device by communicating with the electronic device 200. Obtaining identification information and location information of the electronic device by communicating with the electronic device 200 and identifying the electronic device 200 is as described in operation 420 of FIG. 4 .
  • the display device 100 may request an avatar image corresponding to the electronic device identification information from the server device 300.
  • the server device 300 may refer to the database 600 at the request of the display device 100 to search for an avatar image corresponding to the electronic device identification information and transmit it to the display device 100.
  • the display device 100 may receive and obtain an avatar image corresponding to electronic device identification information from the server device 300.
  • the display device 100 may identify a user associated with the electronic device from the image. For example, the display device 100 may detect a skeleton from an image using skeleton detection technology and identify a user associated with the electronic device based on location information of the detected skeleton and location information of the electronic device. Identifying a user associated with an electronic device is the same as described with reference to operation 440 of FIG. 4 .
  • the display device 100 may replace at least part of the user identified in the image with an avatar image registered for the electronic device associated with the user and output the image.
  • FIG. 11 is a flowchart of an example of a method of operating a display device that obtains an avatar image from an electronic device, according to an embodiment.
  • the electronic device 200 may receive a user input requesting to register the user's avatar image.
  • the electronic device 200 may store an avatar image in the database 610 in response to electronic device identification information according to the user input.
  • the display device 100 may capture an image. Obtaining an image by photographing the external environment is the same as described in operation 410 of FIG. 4.
  • the display device 100 may obtain electronic device identification information and location information of the electronic device by communicating with the electronic device 200. Obtaining identification information and location information of the electronic device by communicating with the electronic device 200 and identifying the electronic device 200 is as described in operation 420 of FIG. 4 .
  • the display device 100 may request an avatar image corresponding to the electronic device identification information from the electronic device 200.
  • the electronic device 200 may refer to the database 610 at the request of the display device 100 to search for an avatar image corresponding to the electronic device identification information and transmit it to the display device 100.
  • the display device 100 may receive and obtain an avatar image corresponding to electronic device identification information from the electronic device 200.
  • the display device 100 may identify a user associated with the electronic device from the image. For example, the display device 100 may detect a skeleton from an image using skeleton detection technology and identify a user associated with the electronic device based on location information of the detected skeleton and location information of the electronic device. Identifying a user associated with an electronic device is the same as described with reference to operation 440 of FIG. 4 .
  • the display device 100 may replace at least part of the user identified in the image with an avatar image registered for the electronic device associated with the user and output the image.
  • FIG. 12 is a flowchart of an example of a method of operating a display device that replaces a face image with an avatar image according to an embodiment.
  • the display device 100 can capture an image. Obtaining an image by photographing the external environment is the same as described in operation 410 of FIG. 4.
  • the display device 100 may identify the electronic device by communicating with the electronic device 200 and obtain a face image of the user of the electronic device 200 from the electronic device 200. Obtaining identification information and location information of the electronic device by communicating with the electronic device 200 and identifying the electronic device 200 is as described in operation 420 of FIG. 4 .
  • the electronic device 200 may store the user's face image and transmit the user's face image at the request of the display device 100. Although the user's face image is used to replace the avatar image, the user's face image is stored in the electronic device 200, which is the user's personal device, and the electronic device 200 transmits the user's face image to the display device 100.
  • the user's face image transmitted in this way is temporarily used to recognize the user's face from an image captured by the display device 100, and may be deleted after being used for face recognition. Therefore, since the user's face image is not stored in the display device 100, the user's privacy problem may not occur.
  • the display device 100 may obtain an avatar image corresponding to the electronic device identification information by requesting the electronic device 200 or the server device 300 for an avatar image corresponding to the electronic device identification information.
  • the method of acquiring the avatar image corresponding to the electronic device identification information from the server device 300 is as described with reference to FIG. 10, and the method of acquiring the avatar image corresponding to the electronic device identification information from the electronic device 200 is shown in FIG. 11. It is the same as explained.
  • the display device 100 may recognize the user's face from the image. Since the display device 100 has received and acquired the face image of the user of the electronic device 200 from the electronic device 200, the display device 100 can detect or recognize the user in the captured image using the user's face image.
  • the display device 100 may replace the user's face recognized in the image with an avatar image corresponding to the electronic device identification information and output the image.
  • the user can select whether the user's face will be displayed as an avatar or hidden.
  • the street image captured by the display device 100 may include the face of one or more other users. Therefore, privacy issues may arise for anonymous users appearing in street videos captured by the display device 100.
  • the user of the electronic device sets each electronic device to one of the decoration mode and the hiding mode, and according to these settings, the user of the electronic device can display an avatar image or hide the image when the user is photographed. .
  • An example of displaying an avatar by setting it to a decoration mode or a hiding mode according to the user's selection will be described with reference to FIGS. 13 to 16.
  • FIG. 13 is a reference diagram for explaining the concept of a method of displaying an avatar by setting it to a decoration mode or a hiding mode according to the user's selection, according to an embodiment.
  • the display device 100 represents a device that captures an external environment to generate and display a virtual reality image.
  • the electronic device 200 is a subject included in the external environment and photographed by the display device 100 (actually a user holding the electronic device), and the user of the electronic device 200 selects an avatar display mode between a decorating mode and a hiding mode. You can choose one.
  • the decorating mode refers to a mode that replaces the user's face with an avatar image registered by the user and displays it when the user is captured by another device, that is, the display device 100 and included in the captured image
  • the hiding mode refers to a mode that replaces the user's face with an avatar image registered by the user and displays it when the user is captured by the display device 100.
  • This may indicate a mode in which the user's face is hidden by mosaic processing or the like when included in a captured video.
  • the user of the electronic device 200 may want to display his or her image as an avatar image in a video taken by an acquaintance, such as at a friend's house or at one's own house.
  • the user of the electronic device 200 may set the avatar display mode on the electronic device 200 to the decoration mode.
  • the user of the electronic device 200 may want to be hidden so that his or her appearance is not revealed in a video taken in a situation where the user may be filmed by strangers, such as on the street.
  • the user of the electronic device 200 may set the avatar display mode on the electronic device 200 to a hiding mode.
  • the display device 100 can receive the avatar display mode information of the electronic device 200 through communication with the electronic device 200.
  • the display device 100 controls the display by replacing the user of the electronic device 200 with an avatar image in response to the decoration mode and hide mode.
  • the user of the electronic device 200 can be controlled to be hidden and displayed.
  • Figure 14 shows an example of a flowchart of a method of operating an electronic device and a display device based on an avatar display mode, according to an embodiment.
  • the electronic device 200 may set the avatar display mode to one of the hiding mode and the decorating mode.
  • the user of the electronic device 200 may input an input to the electronic device 200 to select the avatar display mode as either the hide mode or the decorate mode according to the user's choice, thereby allowing the electronic device 200 to set the avatar display mode to either the hide mode or the decorate mode. You can.
  • the display device 100 may capture an image of the external environment.
  • the display device 100 may identify the electronic device 200 by communicating with the electronic device 200.
  • the display device 100 can identify the electronic device by communicating with the electronic device 200 and obtaining identification information and location information of the electronic device.
  • the display device 100 may request an avatar image from the identified electronic device 200.
  • the electronic device 200 may receive an avatar image request from the display device 100 and determine whether the avatar display mode is set to the hiding mode or the decoration mode.
  • operation 1460 may be performed.
  • the electronic device 200 may transmit a response including an avatar image along with information indicating that it is in a decoration mode to the display device 100. Accordingly, the display device 100 can confirm that the electronic device 200 is in a decoration mode and store an avatar image corresponding to the electronic device.
  • the process may proceed to operation 1470.
  • the electronic device 200 may transmit a response indicating that it is in hiding mode to the display device 100. Accordingly, the display device 100 can confirm that the electronic device 200 is in a hiding mode and determine that the face of the user of the electronic device 200 is hidden.
  • the display device 100 may identify a user associated with the electronic device 200 from the image.
  • the method of identifying a user associated with the electronic device 200 from an image is the same as described with reference to operation 440 of FIG. 4 .
  • the display device 100 may output an image by replacing at least part of the user identified in the captured image with an avatar image or by hiding it.
  • the display device 100 may display the user's avatar of the electronic device 200 differently depending on the avatar display mode of the electronic device 200. If the avatar display mode of the electronic device 200 indicates a decoration mode, the display device 100 may process the image by replacing at least part of the user identified in the image with an avatar image corresponding to the electronic device 200.
  • the display device 100 may hide at least part of the user identified in the image, i.e., the face, by using a mosaic or the like. In this way, a hidden or avatar-displayed virtual reality image can be output.
  • Figure 15 is a reference diagram for explaining an example of outputting an image by hiding or decorating it according to the avatar display mode, according to an embodiment.
  • the display device 100 is capturing a street view 1510 outdoors, and while capturing an image, it communicates with one or more electronic devices in the external environment, thereby receiving electronic information from one or more electronic devices within a communicable range.
  • Device identification information can be obtained.
  • the display device 100 100 can receive an avatar image along with a decorating response from the first electronic device 200a, and can receive hiding responses from the remaining second electronic devices 200b, 3rd electronic device 200c, and 4th electronic device 200d.
  • the display device 100 replaces the user's face associated with the first electronic device 200a with the avatar image received from the first electronic device 200a, and replaces the user's face associated with the first electronic device 200a with the avatar image associated with the second electronic device 200b, the third electronic device 200c, and the fourth electronic device 200d.
  • the augmented reality image 1520 generated by processing the user's face into a mosaic so that the user's face is hidden can be output.
  • a method based on communication with the electronic device 200 was described as a method for the display device 100 to identify the electronic device 200.
  • the disclosed embodiments are not limited to this and may also use barcodes or QR codes. Examples similar to QR codes may also include color zip codes, smart tags, and data matrices.
  • QR codes may also include color zip codes, smart tags, and data matrices.
  • an avatar image is registered in advance in response to a barcode or QR code, and when such a barcode or QR code is recognized in the video when shooting a video later, the pre-registered avatar image corresponding to the recognized barcode or QR code is registered as this barcode or QR code. It may be used to replace at least part of the user's body associated with it.
  • Barcodes and QR codes can be classified into one-dimensional codes and two-dimensional codes, respectively.
  • the barcode encoding method includes a method of expressing one digit or one letter of the original text represented by the barcode as a combination of black and white bars, as well as providing the start and end of the barcode, checksum, etc.
  • QR codes have a recording density of information that is 20 to 40 times higher, and also include a data recovery function, so they can be used when more high-performance recognition is required. While a general barcode can store numeric or character information unidirectionally, i.e., in one dimension, a QR code can have more information by being two-dimensional in length and width, and can also store character data such as alphabets and Chinese characters in addition to numbers.
  • the QR code has areas such as quiet zone, position detection pattern (including separator), timing pattern, alignment pattern, format information, version information, and data area (including error correction code area). It is divided.
  • Such barcodes and QR codes may be used to identify electronic devices or users. For example, if a barcode or QR code is included in an electronic device worn or held by the user, or included in clothing, a hat, or gloves worn by the user, the display device 100 displays the barcode associated with the user in the captured image. I will be able to recognize the QR code. And the display device 100 will be able to identify the user associated with the barcode or QR code recognized in this way. In this way, the display device 100 may be able to replace at least part of the user's body and output the image captured using the avatar image registered in advance in response to the barcode or QR code.
  • a method of operating the display device 100 may include acquiring an image by controlling the camera to perform photography. According to one embodiment, a method of operating the display device 100 may include identifying an electronic device by controlling the communication interface while taking pictures. According to one embodiment, a method of operating the display device 100 may include acquiring a registered avatar image corresponding to the identified electronic device. According to one embodiment, a method of operating the display device 100 may include identifying a user associated with the identified electronic device from the image. According to one embodiment, a method of operating the display device 100 may include generating and displaying an augmented reality image by replacing at least a part of the identified user's body in the image with the avatar image.
  • the method of operating the display device 100 may further include obtaining location information and identification information of the electronic device using BLE communication technology or UWB communication technology.
  • a method of operating the display device 100 includes receiving an avatar image registered corresponding to the electronic device from a server, obtaining it from a memory of the display device, or receiving an avatar image registered corresponding to the electronic device using identification information of the electronic device. The method may further include acquiring the avatar image by receiving it through a communication interface.
  • the method of operating the display device 100 may further include acquiring location information of the user included in the image by analyzing the image.
  • the method of operating the display device 100 may further include detecting one or more users in the image by performing skeleton detection in the image.
  • the method of operating the display device 100 may further include identifying a user associated with the electronic device using the user's location information detected in the image and the location information of the electronic device.
  • the method of operating the display device 100 may further include identifying a user whose distance from the electronic device is within a threshold as a user associated with the electronic device.
  • a method of operating the display device 100 includes receiving a facial image of a user of the electronic device from the electronic device, and identifying a user associated with the electronic device by recognizing the facial image in the image. Additional actions may be included.
  • a method of operating the display device 100 includes receiving information about an avatar display mode from the electronic device, and hiding a user identified in the image based on the information about the avatar display mode.
  • Avatar display processing may further include actions.
  • Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and non-volatile media, removable and non-removable media. Additionally, computer-readable media may include computer storage media. Computer storage media includes both volatile and non-volatile, removable and non-removable media implemented in any method or technology for storage of information such as computer-readable instructions, data structures, program modules or other data.
  • the disclosed embodiments may be implemented as S/W programs including instructions stored in computer-readable storage media.
  • a computer is a device capable of calling instructions stored from a storage medium and performing operations according to the disclosed embodiments according to the called instructions, and may include an electronic device according to the disclosed embodiments.
  • Computer-readable storage media may be provided in the form of non-transitory storage media.
  • ‘non-transitory’ only means that the storage medium does not contain signals and is tangible, and does not distinguish whether the data is stored semi-permanently or temporarily in the storage medium.
  • control method according to the disclosed embodiments may be included and provided in a computer program product.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • a computer program product may include a S/W program and a computer-readable storage medium in which the S/W program is stored.
  • a computer program product may include a product in the form of a S/W program (e.g., a downloadable app) distributed electronically by the device manufacturer or through an electronic marketplace (e.g., Google Play Store, App Store).
  • an electronic marketplace e.g., Google Play Store, App Store.
  • at least part of the S/W program may be stored in a storage medium or temporarily created.
  • the storage medium may be a manufacturer's server, an electronic market server, or a relay server's storage medium that temporarily stores the SW program.
  • a computer program product in a system comprised of a server and a device, may include a storage medium of a server or a storage medium of a device.
  • the computer program product may include a storage medium of the third device.
  • the computer program product may include a S/W program itself that is transmitted from a server to a device or a third device, or from a third device to the device.
  • one of the server, the device, and the third apparatus may execute the computer program product to perform the method according to the disclosed embodiments.
  • two or more of a server, a device, and a third apparatus may execute the computer program product and perform the methods according to the disclosed embodiments in a distributed manner.
  • a server eg, a cloud server or an artificial intelligence server, etc.
  • a server may execute a computer program product stored on the server and control a device connected to the server to perform the method according to the disclosed embodiments.
  • a third device may execute a computer program product to control a device communicatively connected to the third device to perform the method according to the disclosed embodiment.
  • the third device may download the computer program product from the server and execute the downloaded computer program product.
  • the third device may perform the methods according to the disclosed embodiments by executing the computer program product provided in a preloaded state.
  • a “unit” may be a hardware component such as a processor or circuit, and/or a software component executed by the hardware component such as a processor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

실시예들에 따라, 디스플레이 장치 및 그 동작 방법이 개시된다. 디스플레이 장치 100는, 통신 인터페이스, 디스플레이, 카메라, 하나 이상의 인스트럭션을 저장하는 메모리 130, 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서 140를 포함하고, 상기 프로세서 140는 촬영을 수행하도록 상기 카메라를 제어함으로써 영상을 획득하고, 상기 촬영을 하는 동안 상기 통신 인터페이스를 제어함으로써 전자 장치를 식별하고, 상기 식별된 전자 장치에 대응하여 등록된 아바타 이미지를 획득하고, 상기 식별된 전자 장치에 연관된 사용자를 상기 영상으로부터 식별하고, 상기 영상에서 상기 식별된 사용자의 신체의 적어도 일부를 상기 아바타 이미지로 대체함으로써 증강 현실 영상을 생성하고 표시하도록 구성된다.

Description

디스플레이 장치 및 그 동작 방법
다양한 실시예들은 디스플레이 장치 및 그 동작 방법에 관한 것으로, 보다 구체적으로는, 아바타를 표시하는 디스플레이 장치 및 그 동작 방법에 관한 것이다.
증강 현실 (Augmented reality AR)은 실세계의 경험을 향상시키기 위한 컨텐츠를 제공한다. AR 디스플레이는 사용자에 의해 보여지는 주변 환경에 대응하지만 실재하지 않는 컨텐츠를 스크린 상에 표시한다. 또한 AR 디스플레이는 증강 현실 컨텐츠에 포함된 사용자의 이미지를 아바타로 대체할 수 있다.
본 개시의 일 실시예에 따라, 프라이버시 문제를 발생시킴 없이 사용자에 대응하여 등록된 아바타 이미지를 제공할 수 있도록 하는 디스플레이 장치 및 동작 방법을 제공하고자 한다.
본 개시에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 실시예에 따라 디스플레이 장치는, 통신 인터페이스, 디스플레이, 카메라, 하나 이상의 인스트럭션을 저장하는 메모리 130, 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서 140를 포함할 수 있다. 일 실시예에 따라 상기 적어도 하나의 프로세서 140는 하나 이상의 인스트럭션을 실행함으로써, 촬영을 수행하도록 상기 카메라를 제어함으로써 영상을 획득하도록 구성될 수 있다. 일 실시예에 따라 상기 적어도 하나의 프로세서 140는 하나 이상의 인스트럭션을 실행함으로써, 상기 촬영을 하는 동안 상기 통신 인터페이스를 제어함으로써 전자 장치를 식별하도록 구성될 수 있다. 일 실시예에 따라 상기 적어도 하나의 프로세서 140는 하나 이상의 인스트럭션을 실행함으로써, 상기 식별된 전자 장치에 대응하여 등록된 아바타 이미지를 획득하도록 구성될 수 있다. 일 실시예에 따라 상기 적어도 하나의 프로세서 140는 하나 이상의 인스트럭션을 실행함으로써, 상기 식별된 전자 장치에 연관된 사용자를 상기 영상으로부터 식별하도록 구성될 수 있다. 일 실시예에 따라 상기 적어도 하나의 프로세서 140는 하나 이상의 인스트럭션을 실행함으로써, 상기 영상에서 상기 식별된 사용자의 신체의 적어도 일부를 상기 아바타 이미지로 대체함으로써 증강 현실 영상을 생성하고 표시하도록 구성될 수 있다.
일 실시예에 따라 디스플레이 장치의 동작 방법은, 촬영을 수행하도록 상기 카메라를 제어함으로써 영상을 획득하는 동작을 포함할 수 있다. 일 실시예에 따라 디스플레이 장치의 동작 방법은, 상기 촬영을 하는 동안 상기 통신 인터페이스를 제어함으로써 전자 장치를 식별하는 동작 포함할 수 있다. 일 실시예에 따라 디스플레이 장치의 동작 방법은, 상기 식별된 전자 장치에 대응하여 등록된 아바타 이미지를 획득하는 동작 포함할 수 있다. 일 실시예에 따라 디스플레이 장치의 동작 방법은, 상기 식별된 전자 장치에 연관된 사용자를 상기 영상으로부터 식별하는 동작 포함할 수 있다. 일 실시예에 따라 디스플레이 장치의 동작 방법은, 상기 영상에서 상기 식별된 사용자의 신체의 적어도 일부를 상기 아바타 이미지로 대체함으로써 증강 현실 영상을 생성하고 표시하는 동작을 포함할 수 있다.
일 실시예에 따라 디스플레이 장치의 동작 방법의 구현을 위해 디스플레이 장치의 프로세서에 의해 실행되는 하나 이상의 프로그램이 기록된 비일시적 컴퓨터 판독가능 기록 매체에 있어서, 상기 디스플레이 장치의 동작 방법은, 촬영을 수행하도록 상기 카메라를 제어함으로써 영상을 획득하는 동작, 상기 촬영을 하는 동안 상기 통신 인터페이스를 제어함으로써 전자 장치를 식별하는 동작, 상기 식별된 전자 장치에 대응하여 등록된 아바타 이미지를 획득하는 동작, 상기 식별된 전자 장치에 연관된 사용자를 상기 영상으로부터 식별하는 동작, 및 상기 영상에서 상기 식별된 사용자의 신체의 적어도 일부를 상기 아바타 이미지로 대체함으로써 증강 현실 영상을 생성하고 표시하는 동작을 포함할 수 있다.
일 실시예에 따른 디스플레이 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체에 따르면, 디스플레이 장치에 사용자의 얼굴 이미지를 저장해 놓지 않고 사용자의 전자 장치를 이용함으로써 사용자에 대응하는 아바타 이미지를 제공함으로써 프라이버시 문제의 소지 없이 증강 현실 영상을 제공할 수 있게 된다.
본 개시서에 개시된 실시예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시서의 몇몇 실시예들의 전술한 그리고 다른 측면들, 특징들 그리고 장점들은 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 쉽게 이해될 수 있다.
도 1은 다양한 실시예들에 따라 증강현실 영상을 표시하는 디스플레이 장치의 동작을 설명하기 위한 참고도이다.
도 2는 일 실시예에 따라 디스플레이 장치, 전자 장치, 서버 장치를 포함하는 시스템의 일 예를 나타낸다.
도 3은 일 실시예에 따라 디스플레이 장치의 블록도의 일 예이다.
도 4는 일 실시예에 따라 디스플레이 장치의 동작 방법의 흐름도의 일 예를 나타낸다.
도 5a는 일 실시 예에 따른 디스플레이 장치에 대한 전자 장치의 상대 위치 정보를 결정하는 동작의 흐름도의 일 예를 나타낸다.
도 5b는 일 실시예에 따라 UWB 통신 (초광대역(UWB; ultra wide band) 통신) 기술을 이용하여 전자 장치를 식별하는 방법을 설명하기 위한 참고도이다.
도 5c는 일 실시 예에 따른 기준 전자 장치에 대한 원격 제어 장치의 상대 위치 정보를 결정하는 동작을 설명하기 위한 도면이다.
도 6은 일 실시예에 따라 디스플레이 장치가 전자 장치에 대응하는 아바타 이미지를 획득하는 예들을 설명하기 위한 참고도이다.
도 7은 일 실시예에 따라 스켈레톤 검출 기술을 이용하여 촬영된 영상에서 사용자를 검출하는 방법을 설명하기 위한 참고도이다.
도 8은 일 실시예에 따라 영상에 포함된 사용자의 위치 정보 및 식별된 전자 장치의 위치 정보를 연관시킴으로써 식별된 전자 장치에 연관된 사용자를 식별하는 방법을 설명하기 위한 참고도이다.
도 9는 일 실시예에 따라 영상에 포함된 사용자를 사용자와 연관된 전자 장치에 대응하여 등록된 아바타 이미지로 대체하여 표시하는 예를 나타낸다.
도 10은 일 실시예에 따라 아바타 이미지를 서버 장치로부터 획득하는 디스플레이 장치의 동작 방법의 일 예의 흐름도이다.
도 11은 일 실시예에 따라 아바타 이미지를 전자 장치로부터 획득하는 디스플레이 장치의 동작 방법의 일 예의 흐름도이다.
도 12는 일 실시예에 따라 얼굴 이미지를 이용하여 아바타 이미지로 대체하는 디스플레이 장치의 동작 방법의 일 예의 흐름도이다.
도 13은 일 실시예에 따라 사용자의 선택에 따라 꾸미기 모드와 숨기기 모드로 설정하여 아바타가 표시되는 하는 방법을 개념을 설명하기 위한 참고도이다.
도 14는 일 실시예에 따라 아바타 표시 모드에 기반한 전자 장치와 디스플레이 장치의 동작 방법의 흐름도의 일 예를 나타낸다.
도 15는 일 실시예에 따라 아바타 표시 모드에 따라 숨기기 처리되거나 꾸미기 처리 되어 영상을 출력하는 예를 설명하기 위한 참고도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서의 실시예에서 "사용자"라는 용어는 제어 장치를 이용하여 컴퓨팅 장치 또는 전자 장치의 기능 또는 동작을 제어하는 사람을 의미하며, 시청자, 관리자 또는 설치 기사를 포함할 수 있다.
도 1은 다양한 실시예들에 따라 증강현실 영상을 표시하는 디스플레이 장치의 동작을 설명하기 위한 참고도이다.
도 1을 참조하면, 디스플레이 장치 100는 카메라 191를 이용하여 외부 환경을 촬영하고, 촬영된 외부 환경 영상 10에 대응하는 증강 현실 영상 20을 생성하여 이를 표시할 수 있다. 증강 현실은 현실의 이미지나 배경에 3차원 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 기술로서, 촬영된 영상에서 하나 이상의 객체나 배경을 3차원 가상 이미지로 바꾸어 보여주는 것을 나타낼 수 있다. 예를 들어 도 1에서 디스플레이 장치 100에 의해 촬영되는 외부 환경 영상 10은 하나 이상의 객체로서 사용자 11, 12, 13 및 배경 14를 포함할 수 있다. 디스플레이 장치 100는 이와 같이 촬영된 외부 환경 영상 10에 대응하여, 하나 이상의 객체 나 배경이 3차원 가상 이미지로 오버레이된 증강 현실 영상 20을 생성할 수 있다. 도 1을 참조하면, 디스플레이 장치 100는 배경 14이 3차원 가상 이미지로 대체되고, 사용자 11의 얼굴이 제1아바타 이미지 21로, 사용자 12의 얼굴이 제2아바타 이미지 22로, 사용자 13의 얼굴이 제3아바타 이미지 23로 대체된 증강 현실 영상 20을 생성할 수 있다.
이와 같이 외부 환경 영상 10에 포함된 각 사용자의 이미지를 대응하는 해당 사용자의 아바타 이미지로 대체하기 위해서 디스플레이 장치 100는 외부 환경 영상 10에서 아바타 이미지로 대체되어야 할 각 사용자를 인식해야 할 필요가 있다. 이를 위해 일반적으로 사용자의 얼굴 이미지 및 이에 대응하는 아바타 이미지를 디스플레이 장치 100나 디스플레이장치 100에 연결된 서버 장치에 저장해두고, 디스플레이 장치 100가 촬영한 영상에서 사용자의 얼굴을 인식하여 인식된 얼굴 이미지에 대응하는 아바타 이미지를 찾아서 대체하는 방법을 고려할 수 있을 것이다. 그러나 이와 같이 사용자의 얼굴 이미지를 디스플레이 장치나 서버 장치와 같은 곳에 저장해두면 프라이버시 문제가 발생할 수 있다. 따라서 프라이버시 문제의 소지 없이 아바타 이미지를 제공할 수 있는 방안이 요구된다.
따라서 개시된 다양한 실시예들에 따라 디스플레이 장치 100는 사용자의 얼굴 대신에 사용자가 사용하는 단말 장치 또는 전자 장치에 연관되어 저장된 아바타 이미지를 이용하여 디스플레이 장치 100가 촬영한 영상에 포함된 사용자를 아바타 이미지로 대체할 수 있다. 이와 같이 사용자의 얼굴이 아니라 사용자가 사용하는 전자 장치에 사용자의 아바타 이미지를 연관시켜 놓음으로써 디스플레이 장치 100는 사용자의 얼굴 이미지를 저장해 놓을 필요 없이 사용자의 전자 장치를 이용하여 촬영 영상에서 사용자를 특정할 수 있게 된다.
개시된 다양한 실시예들에 따라 디스플레이 장치 100는 사용자의 얼굴 이미지를 사용자의 전자 장치로부터 수신하고, 디스플레이 장치 100가 촬영한 영상에 포함된 사용자를 사용자의 얼굴 이미지에 대응하는 아바타 이미지로 대체할 수 있다. 이와 같이 사용자의 얼굴 이미지를 이용하여 아바타 이미지를 획득하는 경우에도, 사용자의 얼굴 이미지는 디스플레이 장치 100나 디스플레이 장치 100에 연결된 서버 장치에 저장되지 않고 단지 사용자의 전자 장치 100로부터 임시적으로 수신하여 인식에 인용한 다음 폐기할 수 있으므로 사용자의 얼굴 이미지는 디스플레이 장치 100나 서버 장치에 저장되지 않으므로 프라이버시 문제의 소지를 없앨 수 있다.
개시된 다양한 실시예들에 따라 디스플레이 장치 100는 디스플레이 장치 100가 통신하는 사용자의 전자 장치의 설정에 따라서 디스플레이 장치 100가 촬영한 영상에 포함된 사용자의 이미지를 숨김 처리하거나 아바타 이미지로 대체할 수 있다. 이와 같이 전자 장치의 아바타 표시 모드 설정에 따라서 디스플레이 장치 100는 하나 이상의 사용자가 촬영 영상에 포함될 때 익명의 사용자를 숨김 처리하거나 또는 아바타 이미지로 표시할 수 있다.
도 2는 일 실시예에 따라 디스플레이 장치, 전자 장치, 서버 장치를 포함하는 시스템의 일 예를 나타낸다.
도 2를 참조하면, 시스템은 통신 네트워크로 연결된 디스플레이 장치 100, 전자 장치 200, 서버 장치 300를 포함할 수 있다.
디스플레이 장치 100는 사용자의 요청에 따라서 이미지나 데이터를 표시할 수 있는 장치로서, 통신부 110, 디스플레이 120, 메모리 130, 카메라 191, 프로세서 140를 포함할 수 있다.
통신부 110는 디스플레이 장치 100과 무선 통신 시스템 사이 또는 디스플레이 장치 100과 다른 장치가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 통신부 110는 하나 이상의 통신 회로를 포함할 수 있다. 일 실시예에 따라 통신부 110는 전자 장치 200와 근거리 통신 기술에 따라 통신을 수행할 수 있다. 근거리 통신 기술은, 예를 들어, 블루투스 통신, 와이파이 통신, 적외선 통신, UWB 통신 등을 포함할 수 있다. 일 실시예에 따라 통신부 110는 서버 장치 300와 인터넷 프로토콜에 따라 통신을 수행할 수 있다.
일 실시예에 따르면, 통신부 110에는 통신을 수행하기 위한 안테나가 포함될 수 있다. 예를 들어, 디스플레이 장치 100는 UWB 통신을 수행하기 위한 UWB 안테나를 포함할 수 있다.
디스플레이 120는 디스플레이 장치 100에서 처리된 이미지나 데이터를 출력할 수 있다.
메모리 130는, 프로세서 140의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 디스플레이 장치 100로 입력되거나 디스플레이 장치 100로부터 출력되는 데이터를 저장할 수 있다. 또한, 메모리 130는 디스플레이 장치 100의 동작에 필요한 데이터들을 저장할 수 있다.
메모리 130는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
카메라 191는 촬영을 수행하여 영상을 획득할 수 있다. 예를 들어 카메라 191는 RGB 카메라와 같은 2D 카메라 또는 뎁쓰 카메라 (depth 카메라)와 같은 3D 카메라를 포함할 수 있고, 3D 카메라는 ToF (Time of Flight) 방식, RF 이미징 방식, structured light 방식 또는 Photometric Stereo 방식 등을 이용할 수 있다.
프로세서 140는 디스플레이 장치 100의 전반적인 동작을 제어한다. 예를 들어, 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 본 개시서에 기재된 디스플레이 장치 100의 기능을 수행할 수 있다. 프로세서 140는 하나 이상의 프로세서로 구성될 수 있다.
본 개시의 실시예에서, 프로세서 140는 내부적으로 구비되는 메모리에 하나 이상의 인스트럭션을 저장하고, 내부적으로 구비되는 메모리에 저장된 하나 이상의 인스트럭션을 실행하여 디스플레이 장치의 동작들이 수행되도록 제어할 수 있다. 즉, 프로세서 140는 프로세서 140의 내부에 구비되는 내부 메모리 또는 메모리 130에 저장된 적어도 하나의 인스트럭션 또는 프로그램을 실행하여 소정 동작을 수행할 수 있다.
일 실시예에 따라 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 본 개시서에 개시된 디스플레이 장치 100의 동작을 수행할 수 있다.
일 실시예에 따라 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 촬영을 수행하도록 상기 카메라를 제어함으로써 외부 환경에 대한 영상을 획득하도록 구성될 수 있다.
일 실시예에 따라 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 촬영을 하는 동안 상기 통신 인터페이스를 제어함으로써 전자 장치를 식별하도록 구성될 수 있다.
일 실시예에 따라 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, BLE 통신 기술 또는 UWB 통신 기술을 이용하여 상기 전자 장치의 위치 정보 및 상기 전자 장치의 식별 정보를 획득하도록 구성될 수 있다.
일 실시예에 따라 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 식별된 전자 장치에 대응하여 등록된 아바타 이미지를 획득하도록 구성될 수 있다.
일 실시예에 따라 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 전자 장치의 식별 정보를 이용하여 상기 전자 장치에 대응하여 등록된 아바타 이미지를 서버로부터 수신하거나, 상기 디스플레이 장치의 메모리로부터 획득하거나 또는 상기 전자 장치로부터 통신 인터페이스를 통해 수신함으로써 상기 아바타 이미지를 식별하도록 구성될 수 있다.
일 실시예에 따라 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 식별된 전자 장치에 연관된 사용자를 상기 영상으로부터 식별하도록 구성될 수 있다.
일 실시예에 따라 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 영상을 분석함으로써 상기 영상에 포함된 상기 사용자의 위치 정보를 획득하도록 구성될 수 있다.
일 실시예에 따라 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 영상에서 스켈레톤 검출을 수행함으로써 상기 영상에서 하나 이상의 사용자를 검출하도록 구성될 수 있다.
일 실시예에 따라 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 영상에서 검출된 사용자의 위치 정보 및 상기 전자 장치의 위치 정보를 이용하여 상기 전자 장치에 연관된 사용자를 식별하도록 구성될 수 있다.
일 실시예에 따라 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 전자 장치로부터의 거리가 임계치 이내에 있는 사용자를, 상기 전자 장치에 연관된 사용자로 식별하도록 구성될 수 있다.
일 실시예에 따라 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 전자 장치로부터 상기 전자 장치의 사용자의 얼굴 이미지를 수신하고, 상기 영상에서 상기 얼굴 이미지를 인식함으로써, 상기 전자 장치에 연관된 사용자를 식별하도록 구성될 수 있다.
일 실시예에 따라 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 영상에서 상기 식별된 사용자의 신체의 적어도 일부를 상기 아바타 이미지로 대체함으로써 증강 현실 영상을 생성하고 표시하도록 구성될 수 있다.
일 실시예에 따라 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 영상에서 상기 식별된 사용자의 신체의 적어도 일부를 상기 아바타 이미지로 대체함으로써 증강 현실 영상을 생성하고 표시할 수 있다.
일 실시예에 따라 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 전자 장치로부터 아바타 표시 모드에 관한 정보를 수신하고, 상기 아바타 표시 모드에 관한 정보에 기반하여 상기 영상에서 식별된 사용자를 숨김 처리하거나 또는 아바타 표시 처리하도록 구성될 수 있다.
일 실시예에 따라 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 아바타 표시 모드가 꾸미기 모드를 나타냄에 따라, 상기 영상에서 식별된 상기 사용자의 적어도 일부를 상기 아바타 이미지로 표시하고, 상기 아바타 표시 모드가 숨기기 모드를 나타냄에 따라, 상기 영상에서 식별된 상기 사용자의 적어도 일부를 숨김 처리하도록 구성될 수 있다.
디스플레이 장치 100는 프로세서와 메모리를 포함하여 기능을 수행하는 어떠한 형태의 장치도 될 수 있다. 디스플레이 장치 100는 고정형 또는 휴대형 장치가 될 수 있다. 예를 들어, 디스플레이 장치 100는, 디스플레이 장치 100는 디스플레이를 구비하여 영상 컨텐츠, 비디오 컨텐츠, 게임 컨텐츠, 그래픽 컨텐츠 등을 표시할 수 있는 장치를 나타낼 수 있다. 디스플레이 장치 100는 서버 장치 300로부터 수신되는 영상이나 컨텐츠를 출력 또는 표시할 수 있다. 디스플레이 장치 100는 예를 들어, 네트워크 TV, 스마트 TV, 인터넷 TV, 웹 TV, IPTV와 같은 텔레비전, 데스크탑, 랩탑, 태블릿과 같은 컴퓨터, 스마트폰, 셀룰러폰, 게임 플레이어, 음악 플레이어, 비디오 플레이어, 의료 장비, 가전 제품 등 과 같은 다양한 스마트 기기 등과 같이 컨텐츠를 수신하여 출력할 수 있는 다양한 형태의 전자 장치를 포함할 수 있다. 디스플레이 장치 100는 컨텐츠를 수신하여 표시하는 측면이라는 점에서 디스플레이 장치로 언급될 수 있는 것이고, 그 외에도 컨텐츠 수신 장치, 싱크 장치, 전자 장치, 컴퓨팅 장치 등으로 언급될 수도 있다.
도 2에 도시된 디스플레이 장치 100의 블록도는 일 실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 디스플레이 장치 100의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 예를 들어, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분화되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
이제 전자 장치 200를 설명한다.
전자 장치 200는 통신부 210, 사용자 입력부 220, 메모리 230, 프로세서 240을 포함할 수 있다. 그러나, 전자 장치 200는, 도시된 구성요소보다 많은 구성요소에 의해 구현될 수 있으며, 전술한 예에 한정되지 않는다.
통신부 210는 전자 장치 200과 무선 통신 시스템 사이 또는 전자 장치 200과 다른 장치가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 통신부 210는 하나 이상의 통신 회로를 포함할 수 있다. 일 실시예에 따라 통신부 210는 디스플레이 장치 100와 근거리 통신 기술에 따라 통신을 수행할 수 있다. 근거리 통신 기술은, 예를 들어, 블루투스 통신, 와이파이 통신, 적외선 통신, UWB 통신 등을 포함할 수 있다. 일 실시예에 따라 통신부 210는 서버 장치 300와 인터넷 프로토콜에 따라 통신을 수행할 수 있다.
일 실시 예에 따르면, 전자 장치 200는 디스플레이 장치 100와의 통신(예를 들어, UWB 통신)을 수행하기 위한 복수의 안테나를 포함할 수 있다.
사용자 입력부 220는 사용자 입력을 수신할 수 있는 어떠한 형태의 인터페이스 수단이 될 수 있다. 예를 들어, 사용자 입력부 220는 전자 장치 200의 일부에 배열되어 사용자의 입력을 수신할 수 있는 조작 버튼, 터치 입력을 감지할 수 있도록 구성된 터치 센서티브 디스플레이, 사용자의 음성 발화 입력을 수신할 수 있는 마이크로폰 등을 포함할 수 있다.
메모리 230는, 프로세서 240의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 전자 장치 200으로 입력되거나 전자 장치 200로부터 출력되는 데이터를 저장할 수 있다.
메모리 230는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
프로세서 240는 전자 장치 200의 전반적인 동작을 제어한다. 예를 들어, 프로세서 240는, 메모리 230에 저장된 하나 이상의 인스트럭션을 실행함으로써, 본 개시서에 기재된 전자 장치 200의 기능을 수행할 수 있다.
본 개시의 실시예에서, 프로세서 240는 내부적으로 구비되는 메모리에 하나 이상의 인스트럭션을 저장하고, 내부적으로 구비되는 메모리에 저장된 하나 이상의 인스트럭션을 실행하여 전술한 동작들이 수행되도록 제어할 수 있다. 즉, 프로세서 240는 프로세서 240의 내부에 구비되는 내부 메모리 또는 메모리 230에 저장된 적어도 하나의 인스트럭션 또는 프로그램을 실행하여 소정 동작을 수행할 수 있다.
일 실시예에 따라 프로세서 240는, 메모리 230에 저장된 하나 이상의 인스트럭션을 실행함으로써, 디스플레이 장치 100와 UWB 통신을 수행할 수 있다.
일 실시예에 따라 프로세서 240는, 메모리 230에 저장된 하나 이상의 인스트럭션을 실행함으로써, 사용자 입력에 따라 전자 장치 200에 대응하는 아바타 이미지를 전자 장치 200의 데이터베이스에 저장하거나 또는 서버 장치 300에 등록하도록 서버 장치 300와 통신을 수행할 수 있다.
일 실시예에 따라 프로세서 240는, 메모리 230에 저장된 하나 이상의 인스트럭션을 실행함으로써, 디스플레이 장치 100의 요청에 따라 전자 장치에 대응하여 등록된 아바타 이미지를 디스플레이 장치 100로 전송할 수 있다.
일 실시예에 따라 프로세서 240는, 메모리 230에 저장된 하나 이상의 인스트럭션을 실행함으로써, 사용자 입력에 따라 전자 장치의 아바타 표시 모드를 숨기기 모드와 꾸미기 모드 중 하나로 설정할 수 있다.
일 실시예에 따라 프로세서 240는, 메모리 230에 저장된 하나 이상의 인스트럭션을 실행함으로써, 디스플레이 장치 100로부터의 아바타 이미지 요청에 따라 전자 장치 200에 설정된 아바타 표시 모드에 대응하여 응답을 전송할 수 있다. 예를 들어 아바타 표시 모드가 숨기기 모드 인 경우 전자 장치 200는 숨기기 모드를 나타내는 응답을 디스플레이 장치 100로 전송할 수 있다. 예를 들어 아바타 표시 모드가 꾸미기 모드인 경우 전자 장치 200는 아바타 이미지와 함께 꾸미기 모드를 나타내는 응답을 디스플레이 장치 100로 전송할 수 있다.
전자 장치 200는 프로세서와 메모리를 포함하여 기능을 수행하는 어떠한 형태의 장치도 될 수 있다. 전자 장치 200는 리모트 전자 장치, 게임 전자 장치, 스마트폰 등 다양한 전자 장치를 포함할 수 있다.
한편, 도 2에 도시된 전자 장치 200의 블록도는 일 실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 전자 장치 200의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 예를 들어, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분화되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
이제 서버 장치 300를 설명한다.
서버 장치 300는 통신부 310, 메모리 320, 프로세서 330을 포함할 수 있다. 그러나, 서버 장치 300는, 도시된 구성요소보다 많은 구성요소에 의해 구현될 수 있으며, 전술한 예에 한정되지 않는다. 예를 들어 서버 장치 300는 서버 장치 300에서 실행된 어플리케이션 이미지의 영상 처리를 위한 별도의 영상 처리부를 구비할 수 있다.
통신부 310는 서버 장치 300과 무선 통신 시스템 사이 또는 서버 장치 300과 다른 장치가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 통신부 310는 하나 이상의 통신 회로를 포함할 수 있다. 일 실시예에 따라 통신부 310는 디스플레이 장치 100와 인터넷 프로토콜에 따라 통신을 수행할 수 있다. 일 실시예에 따라 통신부 310는 전자 장치 200와 인터넷 프로토콜에 따라 통신을 수행할 수 있다.
메모리 320는, 프로세서 330의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 서버 장치 300으로 입력되거나 서버 장치 300로부터 출력되는 데이터를 저장할 수 있다.
메모리 320는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
프로세서 330는 서버 장치 300의 전반적인 동작을 제어한다. 예를 들어, 프로세서 330는, 메모리 320에 저장된 하나 이상의 인스트럭션을 실행함으로써, 본 개시서에 기재된 서버 장치 300의 기능을 수행할 수 있다.
본 개시의 실시예에서, 프로세서 330는 내부적으로 구비되는 메모리에 하나 이상의 인스트럭션을 저장하고, 내부적으로 구비되는 메모리에 저장된 하나 이상의 인스트럭션을 실행하여 전술한 동작들이 수행되도록 제어할 수 있다. 즉, 프로세서 330는 프로세서 330의 내부에 구비되는 내부 메모리 또는 메모리 320에 저장된 적어도 하나의 인스트럭션 또는 프로그램을 실행하여 소정 동작을 수행할 수 있다.
일 실시예에 따라 프로세서 330는, 메모리 320에 저장된 하나 이상의 인스트럭션을 실행함으로써, 전자 장치 200나 디스플레이 장치 100의 요청에 따라 전자 장치 200에 대응하는 아바타 이미지를 데이터베이스에 등록할 수 있다.
일 실시예에 따라 프로세서 330는, 메모리 320에 저장된 하나 이상의 인스트럭션을 실행함으로써, 디스플레이 장치 100의 아바타 이미지 요청에 따라 전자 장치 200에 대응하는 아바타 이미지를 디스플레이 장치 100로 전송할 수 있다.
도 2에 도시된 서버 장치 300의 블록도는 일 실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 서버 장치 300의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 예를 들어, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분화되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
도 3은 일 실시예에 따라 디스플레이 장치의 블록도의 일 예이다.
도 3을 참조하면, 디스플레이 장치 100는 통신부 110, 디스플레이 120, 메모리 130, 프로세서 140 외에, 영상 처리부 150, 오디오 처리부 160, 오디오 출력부 170, 수신부 180, 감지부 190를 포함할 수 있다.
통신부 110는 디스플레이 장치 100과 무선 통신 시스템 사이 또는 디스플레이 장치 100과 다른 전자 장치가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 통신부 110는 이동통신 모듈 111, 무선 인터넷 모듈 112 및 근거리 통신 모듈 113을 포함할 수 있다.
이동통신 모듈 111는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈 112은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 디바이스에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(WiFi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다. 상기 무선 인터넷 모듈 122을 통해서 상기 디바이스는 다른 디바이스와 와이 파이(Wi-Fi) P2P(Peer to Peer)연결을 할 수 있다.
근거리 통신 모듈 113은 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술로 블루투스(Bluetooth), BLE(Bluetooth Low Energy), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.
디스플레이 120는 서버 장치 300로부터 수신된 영상 신호를 화면에 표시할 수 있다.
메모리 130는 디스플레이 장치 100의 동작에 관련된 프로그램, 디스플레이 장치 100의 동작 중에 발생하는 각종 데이터를 저장할 수 있다.
메모리 130는 적어도 하나의 인스트럭션을 저장할 수 있다. 또한, 메모리 140는 프로세서 150가 실행하는 적어도 하나의 인스트럭션을 저장하고 있을 수 있다. 또한, 메모리 140는 프로세서 150가 실행하는 적어도 하나의 프로그램을 저장하고 있을 수 있다. 또한, 메모리 150는 소정 서비스를 제공하기 위한 어플리케이션을 저장하고 있을 수 있다.
구체적으로, 메모리 130는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
프로세서 140는 디스플레이 장치 100의 전반적인 동작을 제어한다. 예를 들어, 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 본 개시서에 기재된 디스플레이 장치 100의 기능을 수행할 수 있다.
본 개시의 실시예에서, 프로세서 140는 내부적으로 구비되는 메모리에 하나 이상의 인스트럭션을 저장하고, 내부적으로 구비되는 메모리에 저장된 하나 이상의 인스트럭션을 실행하여 디스플레이 장치의 동작들이 수행되도록 제어할 수 있다. 즉, 프로세서 140는 프로세서 140의 내부에 구비되는 내부 메모리 또는 메모리 130에 저장된 적어도 하나의 인스트럭션 또는 프로그램을 실행하여 소정 동작을 수행할 수 있다.
예를 들어, 프로세서 140는 적어도 하나의 인스트럭션을 수행하여, 의도하는 동작이 수행되도록 제어할 수 있다. 여기서, 적어도 하나의 인스트럭션은 프로세서 140 내에 포함되는 내부 메모리 또는 프로세서 140와 별도로 디스플레이 장치 100 내에 포함되는 메모리 130에 저장되어 있을 수 있다.
프로세서 140는 는 적어도 하나의 인스트럭션을 수행하여, 의도하는 동작이 수행되도록 디스플레이 장치 100 내부에 포함하는 적어도 하나의 구성들을 제어할 수 있다. 따라서, 프로세서 140가 소정 동작들을 수행하는 경우를 예로 들어 설명하더라도, 프로세서 140가 소정 동작들이 수행되도록 디스플레이 장치 100 내부에 포함하는 적어도 하나의 구성들을 제어하는 것을 의미할 수 있을 것이다.
또한, 프로세서 140는 하나의 프로세서로 형성되는 경우를 예로 들어 설명 및 도시하였으나, 복수개의 프로세서들이 포함되는 형태로 형성될 수도 있다.
예를 들어, 프로세서 140는 디스플레이 장치 100의 외부에서부터 입력되는 신호 또는 데이터를 저장하거나, 디스플레이 장치 100에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 RAM, 디스플레이 장치 100의 제어를 위한 제어 프로그램, 소정 기능 또는 서비스를 제공하기 위한 어플리케이션, 및/또는 복수개의 인스트럭션이 저장된 ROM 및 적어도 하나의 프로세서 (Processor)를 포함할 수 있다. 프로세서 140는 비디오에 대응되는 그래픽 처리를 위한 그래픽 프로세서(Graphic Processing Unit, 미도시)를 포함할 수 있다. 프로세서 140는 코어(core, 미도시)와 GPU(미도시)를 통합한 SoC(System On Chip)로 구현될 수 있다. 또한, 프로세서 140는 싱글 코어 이상의 멀티 코어를 포함할 수 있다. 예를 들어, 프로세서 140는 듀얼 코어, 트리플 코어, 쿼드 코어, 헥사 코어, 옥타 코어, 데카 코어, 도데카 코어, 헥사 데시멀 코어 등을 포함할 수 있다.
영상 처리부 150는 프로세서 140의 제어에 따라, 수신부 110 또는 통신부 120로부터 수신되는 영상신호를 처리하여 디스플레이 130로 출력할 수 있다.
오디오 처리부 160는 프로세서 140의 제어에 따라, 수신부 110 또는 통신부 120로부터 수신되는 오디오 신호를 아날로그 오디오 신호로 변환하여 오디오 출력부 180로 출력할 수 있다.
오디오 출력부 170는 통신부110 또는 수신부 180를 통해 입력되는 오디오(예를 들어, 음성, 사운드)를 출력할 수 있다. 또한, 오디오 출력부 170는 프로세서 140의 제어에 의해 메모리 130에 저장된 오디오를 출력할 수 있다. 오디오 출력부 170는 스피커, 헤드폰 출력 단자 또는 S/PDIF(Sony/Philips Digital Interface: 출력 단자 중 적어도 하나 또는 그 조합을 포함할 수 있다.
수신부 180는 프로세서 140의 제어에 의해 디스플레이 장치 100의 외부에서부터 비디오(예를 들어, 동영상 등), 오디오(예를 들어, 음성, 음악 등) 및 부가 정보(예를 들어, EPG 등) 등을 수신할 수 있다. 수신부 180는 HDMI 포트(High-Definition Multimedia Interface port, 181, 컴포넌트 잭(component jack, 182), PC 포트(PC port, 183), 및 USB 포트(USB port, 184) 중 하나를 포함하거나, 하나 이상의 조합을 포함할 수 있다. 수신부 180는 HDMI 포트 이외에도 디스플레이 포트 (DisplayPort; DP), 썬더볼트 (Thunderbolt), MHL (Mobile High-Definition Link)를 더 포함할 수 있다.
감지부 190는 사용자의 음성, 사용자의 영상 또는 사용자의 인터랙션을 감지하며, 카메라 191, 마이크로폰 192 및 광 수신부 193를 포함할 수 있다.
카메라 191는 카메라 인식 범위에서 제스처를 포함하는 사용자의 모션에 대응되는 영상(예를 들어, 연속되는 프레임)을 수신할 수 있다. 프로세서 140는 수신된 모션의 인식 결과를 이용하여 디스플레이 장치 100에 표시되는 메뉴를 선택하거나 모션 인식 결과에 대응되는 제어를 할 수 있다. 예를 들어 디스플레이 장치 100는 RGB 카메라와 같은 2D 카메라 또는 뎁쓰 카메라 (depth 카메라)와 같은 3D 카메라를 이용하여 외부 환경을 촬영할 수 있다. 3D 카메라는 ToF (Time of Flight) 방식, RF 이미징 방식, structured light 방식 또는 Photometric Stereo 방식 등을 이용할 수 있다.
마이크로폰 192는 사용자의 발화(utterance)된 음성을 수신한다. 마이크로폰192 는 수신된 음성을 전기 신호로 변환하여 프로세서 140로 출력할 수 있다. 사용자 음성은 예를 들어, 디스플레이 장치 100의 메뉴 또는 기능에 대응되는 음성을 포함할 수 있다.
광 수신부 193는 외부의 제어 장치에서부터 수신되는 광 신호(제어 신호를 포함)를 수신한다. 광 수신부 193는 제어 장치로부터 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광 신호를 수신할 수 있다. 수신된 광 신호로부터 프로세서 140의 제어에 의해 제어 신호가 추출될 수 있다.
프로세서 140는 디스플레이 장치 100의 전반적인 동작 및 디스플레이 장치 100의 내부 구성요소들(미도시)사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 프로세서 140는 사용자의 입력이 있거나 기 설정되어 저장된 조건을 만족하는 경우, 프로세서 140는 메모리 130에 저장된 OS(Operation System) 및 다양한 애플리케이션을 실행할 수 있다.
프로세서(미도시)는 비디오에 대응되는 그래픽 처리를 위한 그래픽 프로세서(Graphic Processing Unit, 미도시)를 포함할 수 있다. 그래픽 처리부(미도시)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부는 감지부(미도시)를 통해 감지된 사용자 인터랙션을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다.
도 4는 일 실시예에 따라 디스플레이 장치의 동작 방법의 흐름도의 일 예를 나타낸다.
도 4를 참조하면, 동작 410에서, 디스플레이 장치 100는 외부 환경을 촬영하여 이미지를 획득할 수 있다. 예를 들어 디스플레이 장치 100는 RGB 카메라와 같은 2D 카메라 또는 뎁쓰 카메라 (depth 카메라)와 같은 3D 카메라를 이용하여 외부 환경을 촬영할 수 있다. 3D 카메라는 ToF (Time of Flight) 방식, RF 이미징 방식, structured light 방식 또는 Photometric Stereo 방식 등을 이용할 수 있다.
동작 420에서, 디스플레이 장치 100는 디스플레이 장치 100 주변의 외부 환경에 있는 전자 장치 200를 식별할 수 있다. 디스플레이 장치 100는 카메라를 이용하여 외부 환경을 촬영하면서 통신부를 이용하여 디스플레이 장치 100 주변의 외부 환경에 있는 하나 이상의 전자 장치를 탐색하여 통신을 수행함으로써 전자 장치를 식별할 수 있다.
일 실시예에 따라 디스플레이 장치 100는 전자 장치를 식별함으로써 전자 장치의 식별 정보 및/또는 전자 장치의 위치 정보를 획득할 수 있다.
일 실시예에 따라 디스플레이 장치 100는 BLE 통신 기술을 이용하여 전자 장치의 식별 정보 및/또는 전자 장치의 위치 정보를 획득할 수 있다.
일 실시예에 따라 디스플레이 장치 100는 UWB 통신 기술을 이용하여 전자 장치의 식별 정보 및/또는 전자 장치의 위치 정보를 획득할 수 있다.
UWB 통신은 기존 통신에 비해 넓은 대역에 걸쳐 낮은 전력으로 매우 짧은 펄스(수 나노초)를 이용하여 신호를 전송하는 통신 기술이다. 과거에는 군용 레이더 및 원격 탐지 등 군사적 목적으로 사용되었으나 2002년 미국 FCC(federal communications commission)에서 실내 무선통신분야로 제한하여 상업적 사용을 허가한 이래로 다양한 분야에서 활동 영역을 넓히고 있다. UWB 통신을 통하여, 펄스가 목표물에 도달하는 시간인 TOA(time of arrive), 송신 장치에서의 펄스 도래각(AOA, angle of arrival)이 정확히 측정될 수 있으며, 이에 따라 실내에서 수십 cm 오차의 정밀한 거리 및 위치 인식이 될 수 있다.
도 5a 내지 도 5c를 참조하여 일 실시예에 따라 UWB 통신 (초광대역(UWB; ultra wide band) 통신) 기술을 이용하여 전자 장치를 식별하는 방법을 설명한다.
도 5a는 일 실시 예에 따른 디스플레이 장치에 대한 전자 장치의 상대 위치 정보를 결정하는 동작의 흐름도의 일 예를 나타낸다.
도 5a를 참조하면, 동작 510에서, 디스플레이 장치 100는 전자 장치 200의 복수의 안테나들 각각으로부터 디스플레이 장치 100까지의 거리에 대한 정보를 획득할 수 있다.
도 5b는 일 실시예에 따라 UWB 통신 (초광대역(UWB; ultra wide band) 통신) 기술을 이용하여 전자 장치를 식별하는 방법을 설명하기 위한 참고도이다.
다양한 실시예에 따르면, 디스플레이 장치 100 또는 디스플레이 장치 100의 프로세서 140는 UWB 신호를 통해 외부 전자 장치와의 거리를 계산할 수 있다. 도 3을 참조하여 설명한 바와 같이, 디스플레이 장치 100는 UWB 통신을 수행하기 위한 UWB 안테나 115를 포함할 수 있다. 디스플레이 장치 100의 UWB 안테나 115에는 프로세서 140와 구별되는 적어도 하나의 프로세서가 포함될 수 있고, UWB 신호에 기반하여 외부 전자 장치와의 거리가 계산될 수 있다. UWB 안테나에 포함되는 적어도 하나의 프로세서는 UWB 신호에 기반하여 시간 정보를 포함하는 데이터 또는 정보를 생성할 수 있고, 디스플레이 장치 100의 프로세서 140로 제공할 수 있다. 프로세서 140는 제공받은 데이터 또는 정보에 기반하여 외부 전자 장치와의 거리를 계산할 수 있다.
일 실시 예 따르면, 디스플레이 장치 100의 프로세서 140는 외부 전자 장치와의 거리 계산을 위해, AoA(angle of arrival), ToA(time of arrival), TDoA(time difference of arrival) 등의 방식을 사용할 수 있다.
도 5b는 일 실시 예에 따른 ToA 방식에 기초한 디스플레이 장치 100와 전자 장치 200 사이의 거리 계산 과정을 설명하기 위한 참고도이다.
도 5b를 참조하면, 디스플레이 장치 100의 프로세서 140는 디스플레이 장치 100 및 전자 장치 200 사이에 서로 신호를 주고받는 TWR(two way ranging) 방식을 이용하여 디스플레이 장치 100와 전자 장치 200 사이의 거리를 계산할 수 있다. 전자 장치 200는 UWB 태그(tag) 장치, 디스플레이 장치 100는 UWB 앵커(anchor) 장치로 언급될 수 있다.
일 실시 예에 따르면, 전자 장치 200는 디스플레이 장치 100로 poll 신호를 전송할 수 있다. poll 신호를 수신한 디스플레이 장치 100는 전자 장치 200로 response 신호를 전송할 수 있다. response 신호를 수신한 전자 장치 200는 디스플레이 장치 100로 final 신호를 전송할 수 있다. 전자 장치 200에서 송신된 신호의 RTT(round trip time)인 Tround T는 poll 신호를 송신한 시각 TSP와 response 신호를 수신한 시각 TRR을 통해 측정될 수 있다. 디스플레이 장치 100의 응답 지연 시간인 Treply A는, poll 신호를 수신한 시각 TRP와 response 신호를 송신한 시각 TSR을 통해 측정될 수 있다. 디스플레이 장치 100가 TRP 및 TSR의 값을 response 신호와 함께 송신할 수 있으므로, 전자 장치 200는 디스플레이 장치 100의 Treply A를 계산할 수 있다. 디스플레이 장치 100에서 송신된 신호의 RTT인 Tround A는 response 신호를 송신한 시각 TSR과 final 신호를 수신한 시각 TRF를 통해 측정될 수 있다. 전자 장치 200와 디스플레이 장치 100 간의 신호의 도달 시간(TOA, time of arrival)인 TP 는 수학식 1: TP = (Tround T-Treply A)/2을 통해 계산될 수 있다.
전자 장치 200와 디스플레이 장치 100 사이의 거리는, Tp 및 신호의 속도를 이용하여 계산될 수 있다.
동작 520에서, 디스플레이 장치 100는 전자 장치 200의 복수의 안테나들 사이의 거리에 대한 정보를 획득할 수 있다.
이와 같이, 예를 들어 UWB 통신의 ToA 방식에 기초하여 도 5c의 거리 d1, 거리 d2 및 거리 b가 측정될 수 있고, 동작 510 및 동작 520에서 프로세서 140는 거리에 대한 정보를 획득할 수 있다.
동작 530에서 디스플레이 장치 100는 디스플레이 장치 100에 대한 전자 장치 200의 상대 위치 정보를 결정할 수 있다. 도 5b 및 도 5c를 참조하여 설명한 바와 같이, 디스플레이 장치 100는 전자 장치 200의 복수의 안테나들 각각으로부터 디스플레이 장치 100까지의 거리(예: 도 5c의 거리 d1 및 거리 d2)에 대한 정보 및 복수의 안테나들 사이의 거리(예: 도 5c의 거리 b)에 대한 정보에 기초하여, 전자 장치 200로부터 디스플레이 장치 100까지의 거리 d, 전자 장치 200로부터 디스플레이 장치 100로의 방향과 전자 장치 200의 복수의 안테나들의 위치에 기초한 방향으로 생성된 각도 ψ1에 대한 정보를 결정할 수 있다.
도 5c는 일 실시 예에 따른 기준 전자 장치에 대한 원격 제어 장치의 상대 위치 정보를 결정하는 동작을 설명하기 위한 도면이다. 도 5c는 디스플레이 장치 100, 전자 장치 200가 동작하는 실내 환경을 위에서 바라보는 것을 기준으로 할 수 있다. 예를 들어, 도 5c는 +Z축에서 실내 환경을 내려다본 X-Y평면일 수 있다.
도 5c를 참조하면, 디스플레이 장치 100의 프로세서 140는 디스플레이 장치 100에 대한 전자 장치 200의 상대 위치 정보를 결정할 수 있다. 상대 위치 정보에는 전자 장치 200로부터 디스플레이 장치 100까지의 거리 d, 전자 장치 200로부터 디스플레이 장치 100로의 방향(d에 대응하는 점선의 방향)과 전자 장치 200의 복수의 안테나들(211, 212)의 위치에 기초한 방향(직선(213)의 방향)으로 생성된 각도 ø1이 포함될 수 있다.
일 실시 예에 따르면, 도 3을 참조하여 설명한 바와 같이 디스플레이 장치 100에는 UWB 안테나 115가 포함될 수 있고, 도 2를 참조하여 설명한 바와 같이 전자 장치 200에는 UWB 안테나 211, 212가 포함될 수 있다. UWB 안테나 211, 212 간 거리 b, 거리 d1 및 거리 d2에 대한 정보가 계산될 수 있다. 거리 b, 거리 d1 및 거리 d2에 대한 정보는 디스플레이 장치 100의 프로세서 140에서 획득되거나, 전자 장치 200의 프로세서 240에서 획득되어 디스플레이 장치 100로 전송될 수 있다.
도 5c를 참조하면, 거리 d 및 각도 ψ1은 거리 b, 거리 d1 및 거리 d2에 기초하여 결정될 수 있다. 일 실시 예에 따르면, 거리 d1 및 거리 d2가 거리 b보다 임계 수준 이상 크기 때문에, 거리 d1에 대응하는 직선과 거리 d2에 대응하는 직선이 평행하다고 할 수 있다. 따라서 거리 d는 d1 또는 d2와 동일하다고 결정될 수 있다. 또한, 각도 ψ1은 수학식 2:ψ1 =cos-1(a/b) 에 의해 결정될 수 있다.
다시 도 4로 돌아가서, 동작 430에서, 디스플레이 장치 100는 식별된 전자 장치에 대응하여 등록된 아바타 이미지를 획득할 수 있다.
일 실시예에 따라 디스플레이 장치 100는 전자 장치에 대응하여 등록된 아바타 이미지 데이터베이스를 포함할 수 있고, 디스플레이 장치 100는 이러한 데이터베이스를 참조하여, 식별된 전자 장치에 대응하는 아바타 이미지를 획득할 수 있다. 디스플레이 장치 100가 포함하는 아바타 이미지 데이터베이스는 하나 이상의 사용자에 대응하여, 각 사용자에 대응하는 전자 장치 식별 정보 및 대응하는 아바타 이미지를 포함할 수 있다.
일 실시예에 따라 서버 장치 300는 전자 장치에 대응하여 등록된 아바타 이미지 데이터베이스를 포함할 수 있고, 디스플레이 장치 100는 서버 장치 300에 요청하여, 식별된 전자 장치에 대응하는 아바타 이미지를 획득할 수 있다. 서버 장치 100가 포함하는 아바타 이미지 데이터베이스는 하나 이상의 사용자에 대응하여, 각 사용자에 대응하는 전자 장치 식별 정보 및 대응하는 아바타 이미지를 포함할 수 있다.
일 실시예에 따라 전자 장치 200는 전자 장치 200에 대응하는 아바타 이미지 데이터 베이스를 포함할 수 있고, 디스플레이 장치 100는 전자 장치 200로부터 전자 장치 200에 대응하는 아바타 이미지를 획득할 수 있다.
도 6은 일 실시예에 따라 디스플레이 장치가 전자 장치에 대응하는 아바타 이미지를 획득하는 예들을 설명하기 위한 참고도이다.
도 6을 참조하면, 일 실시예에 따라 서버 장치 300는 전자 장치에 대응하는 아바타 이미지 데이터베이스 600를 저장할 수 있다. 전자 장치에 대응하는 아바타 이미지 데이터베이스 600는 하나 이상의 사용자에 대응하여 등록된 아바타 이미지를 포함할 수 있다. 예를 들어, 전자 장치에 대응하는 아바타 이미지 데이터베이스 600는 각 사용자에 대해서, 사용자 ID, 전자 장치 식별 정보, 및 대응 아바타 이미지를 저장할 수 있다. 도 6을 참조하면, user #1에 대해서 전자 장치로서 무선 이어폰에 대응하는 전자 장치 식별 정보 AAA, 그리고 이러한 전자 장치 식별 정보 AAA에 대응하여 아바타 이미지 #1 이 등록되어 있다. 그리고 user #2에 대해서 전자 장치로서 스마트 와치에 대응하는 전자 장치 식별 정보 BBB, 그리고 이러한 전자 장치 식별 정보 BBB에 대응하여 아바타 이미지 #2 이 등록되어 있다. 그리고 user #3에 대해서 전자 장치로서 스마트폰에 대응하는 전자 장치 식별 정보 CCC, 그리고 이러한 전자 장치 식별 정보 CCC에 대응하여 아바타 이미지 #3이 등록되어 있다.
예를 들어 사용자들은 디스플레이 장치 100 또는 전자 장치 200를 이용하여 서버 장치 300에 접속함으로써 자신이 사용하는 전자 장치에 연관되도록 아바타 이미지를 등록시킬 수 있다. 이와 같은 데이터베이스 600를 서버 장치 300가 저장하는 경우에 디스플레이 장치 100는, 획득된 전자 장치 식별 정보를 서버 장치 300에 전송하여 해당 전자 장치 식별 정보에 대응하는 아바타 이미지를 요청할 수 있다. 서버 장치 300는 이러한 요청에 응답하여 전자 장치 식별 정보에 대응하는 아바타 이미지를 디스플레이 장치 100로 전송할 수 있다.
일 실시예에 따라 디스플레이 장치 100는 전자 장치에 대응하는 아바타 이미지 데이터베이스 600를 직접 포함하고 있을 수 있다. 이 경우 디스플레이 장치 100는 자신이 관리하는 데이터베이스 600를 참조하여 전자 장치 식별 정보에 대응하는 아바타 이미지를 획득할 수 있다.
일 실시예에 따라 전자 장치 200는 전자 장치에 대응하는 아바타 이미지 데이터베이스 610를 저장할 수 있다. 전자 장치에 대응하는 아바타 이미지 데이터베이스 610는 전자 장치 200의 사용자에 대응하여 등록된 아바타 이미지를 포함할 수 있다. 예를 들어, 전자 장치에 대응하는 아바타 이미지 데이터베이스 610는 각 사용자에 대해서, 사용자 ID, 전자 장치 식별 정보, 및 대응 아바타 이미지를 저장할 수 있다. 이 경우, 전자 장치 200는 디스플레이 장치 100와의 통신을 통해 전자 장치 200에 대응하는 아바타 이미지를 디스플레이 장치 100로 전송할 수 있고, 디스플레이 장치 100는 전자 장치 200로부터 수신된 전자 장치 200에 대응하는 아바타 이미지를 획득할 수 있다.
다시 도 4로 돌아가서, 동작 440에서, 디스플레이 장치 100는 식별된 전자 장치에 연관된 사용자를 촬영 이미지로부터 식별할 수 있다.
일 실시예에 따라 디스플레이 장치 100는 촬영된 영상에 포함된 사용자의 위치 정보를 획득할 수 있다.
일 실시예에 따라 디스플레이 장치 100는 영상을 ToF 카메라 등과 같은 뎁쓰 카메라를 이용하여 촬영한 경우에, 디스플레이 장치 100는 영상에 포함된 오브젝트들 예를 들어 영상에 포함된 사용자의 위치 정보를 획득할 수 있다.
일 실시예에 따라 디스플레이 장치 100는 스켈레톤 검출 기술을 이용하여 촬영된 영상에 포함된 사용자의 위치 정보를 획득할 수 있다.
도 7은 일 실시예에 따라 스켈레톤 검출 기술을 이용하여 촬영된 영상에서 사용자를 검출하는 방법을 설명하기 위한 참고도이다.
디스플레이 장치 100는 촬영 영상 10에서 스켈레톤을 검출하기 위해 스켈레톤 검출 모듈을 포함할 수 있다. 스켈레톤 검출 모듈은 영상 10에서 골격을 기반으로 관절과 뼈로 구성되는 사용자의 스켈레톤 데이터를 추출할 수 있다. 여기서, 사용자의 스켈레톤 데이터는, 복수의 관절(Joint)와 뼈(Bone)로 구성되며, 복수의 관절과 뼈가 하나의 집합으로 설정된 데이터일 수 있다. 스켈레톤 검출 모듈은 영상에서 사용자의 골격을 인식하고, 골격을 기반으로 관절과 뼈를 추출할 수 있다. 그리고 스켈레톤 검출 모듈은 사용자의 스켈레톤 데이터에서 관절에 대한 공간상의 x, y, z값을 추출함으로써 사용자의 스켈레톤 데이터를 추출할 수 있다. 즉, 스켈레톤 검출 모듈은 각각의 관절을 3차원적으로 인식해서 공간상의 좌표를 추출할 수 있다. 스켈레톤 검출 모듈은 관절 위치를 추정하는 기술로서 예를 들어, OpenPose, DensePose, Video 추론, 멀티태스킹 딥러닝 과 같은 방법을 이용할 수 있다.
일 실시예에 따라 디스플레이 장치 100는 촬영된 영상에 포함된 사용자의 위치 정보 및 식별된 전자 장치의 위치 정보를 연관시킴으로써 식별된 전자 장치에 연관된 사용자를 식별할 수 있다.
도 8은 일 실시예에 따라 영상에 포함된 사용자의 위치 정보 및 식별된 전자 장치의 위치 정보를 연관시킴으로써 식별된 전자 장치에 연관된 사용자를 식별하는 방법을 설명하기 위한 참고도이다.
도 8을 참조하면, 디스플레이 장치 100는 촬영된 영상으로부터 스켈레톤 검출 기술을 이용하여 검출한 하나 이상의 스켈레톤의 위치와 식별된 하나 이상의 전자 장치의 위치를 정렬함으로써 전자 장치에 대응하는 스켈레톤을 확인할 수 있다. 디스플레이 장치 100는 하나 이상의 스켈레톤의 위치와 하나 이상의 전자 장치의 위치를 비교하고, 전자 장치와 스켈레톤 사이의 거리가 임계치 이하인, 전자 장치와 스켈레톤을 대응되는 것으로 판단할 수 있다. 예를 들어 도 8에서, 전자 장치 #1에 대응하는 스켈레톤을 선정하는 경우, 전자 장치 #1으로부터의 거리가 임계치 이하가 되는 스켈레톤은 스켈레톤 #1 이므로, 전자 장치 #1에 대응하는 스켈레톤 #1을 확인할 수 있다. 또한 전자 장치 #2에 대응하는 스켈레톤을 선정하는 경우, 전자 장치 #2으로부터의 거리가 임계치 이하가 되는 스켈레톤은 스켈레톤 #2 이므로, 전자 장치 #2에 대응하는 스켈레톤 #2을 확인할 수 있다. 전자 장치 #3에 대응하는 스켈레톤을 선정하는 경우, 전자 장치 #3으로부터의 거리가 임계치 이하가 되는 스켈레톤은 스켈레톤 #3 이므로, 전자 장치 #3에 대응하는 스켈레톤 #3을 확인할 수 있다. 이와 같은 방법으로 디스플레이 장치 100는 영상에서 각 전자 장치에 대응하는 스켈레톤 즉, 각 전자 장치에 연관된 스켈레톤을 선정할 수 있다.
따라서 이와 같은 방식으로 디스플레이 장치 100는 영상에서 각 전자 장치에 대응하는 스켈레톤 즉 사용자를 식별할 수 있다.
다시 도 4로 돌아가서, 동작 450에서, 디스플레이 장치 100는 영상에서 식별된 사용자의 신체의 적어도 일부를 아바타 이미지로 대체하여 표시할 수 있다.
일 실시예에 따라 디스플레이 장치 100는 영상에서 식별된 사용자의 신체의 적어도 일부를 이 사용자에 연관된 전자 장치에 대응하여 등록된 아바타 이미지로 대체하여 표시할 수 있다.
일 실시예에 따라 디스플레이 장치 100는 아바타 이미지가 얼굴에 대응하는 경우, 영상에서 식별된 사용자의 얼굴에, 전자 장치에 대응하여 등록된 아바타 이미지로 대체하여 표시할 수 있다.
일 실시예에 따라 디스플레이 장치 100는 아바타 이미지가 얼굴을 포함하는 신체에 대응하는 경우, 영상에서 식별된 사용자의 신체 전체를, 전자 장치에 대응하여 등록된 아바타 이미지로 대체하여 표시할 수 있다.
도 9는 일 실시예에 따라 영상에 포함된 사용자를 사용자와 연관된 전자 장치에 대응하여 등록된 아바타 이미지로 대체하여 표시하는 예를 나타낸다.
도 9를 참조하면, 디스플레이 장치 100는 영상 10에 포함된 사용자를 사용자와 연관된 전자 장치에 대응하여 등록된 아바타 이미지로 대체함으로써 증강 현실 영상 20을 생성할 수 있다.
일 실시예에 따라 디스플레이 장치 100는 영상 10에서 검출된 하나 이상의 스켈레톤의 위치와 전자 장치의 위치에 기반하여 스켈레톤에 연관된 전자 장치를 식별할 수 있다. 그리고 디스플레이 장치 100는 스켈레톤에 대응하는 사용자로부터 사용자의 신체의 적어도 일부를 인식하고, 인식된 사용자의 신체의 적어도 일부를, 식별된 전자 장치에 대응되는 아바타 이미지로 대체할 수 있다.
일 실시예에 따라 디스플레이 장치 100는 영상 10에서 검출된 스켈레톤에 대응하는 사용자 이미지로부터 오브젝트 검출 기술 이나 얼굴 인식 기술 등을 이용하여 사용자의 신체의 적어도 일부를 인식할 수 있다. 사용자의 신체의 적어도 일부는 얼굴을 포함할 수 있다.
일 실시예에 따라 디스플레이 장치 100는 전자 장치 식별 정보에 대해서, 데이터베이스 600을 참조하여, 전자 장치 식별 정보에 대응하는 아바타 이미지를 획득할 수 있다.
일 실시예에 따라 디스플레이 장치 100는 영상 10에서 검출된 스켈레톤에 대응하는 사용자의 신체의 적어도 일부를, 스켈레톤에 연관된 전자 장치에 대응하는 아바타 이미지로 대체함으로써 증강 현실 영상 20을 생성할 수 있다.
도 9를 참조하면, 예를 들어 디스플레이 장치 100는 영상 10에서 검출한 스켈레톤 #1에 대응하는 사용자 11의 얼굴을, 스켈레톤 #1에 연관된 전자 장치 #1 810에 대응하는 아바타 #1 이미지로 대체하고, 영상 10에서 검출한 스켈레톤 #2에 대응하는 사용자 12의 얼굴을, 스켈레톤 #2에 연관된 전자 장치 #2 820에 대응하는 아바타 #2 이미지로 대체하고, 영상 10에서 검출한 스켈레톤 #3에 대응하는 사용자 13의 얼굴을, 스켈레톤 #3에 연관된 전자 장치 #3 830에 대응하는 아바타 #3 이미지로 대체할 수 있다.
도 10은 일 실시예에 따라 아바타 이미지를 서버 장치로부터 획득하는 디스플레이 장치의 동작 방법의 일 예의 흐름도이다.
도 10을 참조하면, 동작 1010에서, 전자 장치 200의 사용자는 전자 장치 200를 이용하여 서버 장치 300에 접속하고 사용자 자신을 나타내는 아바타 이미지를 전자 장치 200에 매핑되도록 서버 장치 300에 요청할 수 있다.
동작 1020에서, 서버 장치 300는 전자 장치 200로부터 수신한 요청에 따라서, 전자 장치 식별 정보에 대응하여 아바타 이미지를 데이터베이스 600에 저장할 수 있다.
동작 1030에서, 디스플레이 장치 100는 영상을 촬영할 수 있다. 외부 환경을 촬영하여 영상을 획득하는 것에 대해서는 도 4의 동작 410에서 설명한 바와 같다.
동작 1040에서, 디스플레이 장치 100는 전자 장치 200와 통신함으로써 전자 장치 식별 정보 및 전자 장치의 위치 정보를 획득할 수 있다. 전자 장치 200와 통신하여 전자 장치 200를 식별함으로써 전자 장치의 식별 정보와 위치 정보를 획득하는 것은 도 4의 동작 420에서 설명한 바와 같다.
동작 1050에서, 디스플레이 장치 100는 전자 장치 식별 정보에 대응하는 아바타 이미지를 서버 장치 300에 요청할 수 있다.
동작 1060에서, 서버 장치 300는 디스플레이 장치 100의 요청에 따라 데이터베이스 600를 참조하여 전자 장치 식별 정보에 대응하는 아바타 이미지를 검색하고 이를 디스플레이 장치 100에 전송할 수 있다.
동작 1070에서, 디스플레이 장치 100는 서버 장치 300로부터, 전자 장치 식별 정보에 대응하는 아바타 이미지를 수신하여 획득할 수 있다.
동작 1080에서, 디스플레이 장치 100는 전자 장치에 연관된 사용자를 영상으로부터 식별할 수 있다. 예를 들어 디스플레이 장치 100는 스켈레톤 검출 기술을 이용하여 영상으로부터 스켈레톤을 검출하고, 검출된 스켈레톤의 위치 정보 및 전자 장치의 위치 정보를 기반으로 전자 장치에 연관된 사용자를 식별할 수 있다. 전자 장치에 연관된 사용자를 식별하는 것은 도 4의 동작 440을 참조하여 설명한 바와 같다.
동작 1090에서, 디스플레이 장치 100는 영상에서 식별된 사용자의 적어도 일부를, 사용자와 연관된 전자 장치에 대해서 등록된 아바타 이미지로 대체하고 영상을 출력할 수 있다.
도 11은 일 실시예에 따라 아바타 이미지를 전자 장치로부터 획득하는 디스플레이 장치의 동작 방법의 일 예의 흐름도이다.
도 11을 참조하면, 동작 1110에서, 전자 장치 200는 사용자의 아바타 이미지를 등록하라는 사용자 입력을 수신할 수 있다.
동작 1120에서, 전자 장치 200는 사용자 입력에 따라 전자 장치 식별 정보에 대응하여 아바타 이미지를 데이터베이스 610에 저장할 수 있다.
동작 1130에서, 디스플레이 장치 100는 영상을 촬영할 수 있다. 외부 환경을 촬영하여 영상을 획득하는 것에 대해서는 도 4의 동작 410에서 설명한 바와 같다.
동작 1140에서, 디스플레이 장치 100는 전자 장치 200와 통신함으로써 전자 장치 식별 정보 및 전자 장치의 위치 정보를 획득할 수 있다. 전자 장치 200와 통신하여 전자 장치 200를 식별함으로써 전자 장치의 식별 정보와 위치 정보를 획득하는 것은 도 4의 동작 420에서 설명한 바와 같다.
동작 1150에서, 디스플레이 장치 100는 전자 장치 식별 정보에 대응하는 아바타 이미지를 전자 장치 200에 요청할 수 있다.
동작 1160에서, 전자 장치 200는 디스플레이 장치 100의 요청에 따라 데이터베이스 610를 참조하여 전자 장치 식별 정보에 대응하는 아바타 이미지를 검색하고 이를 디스플레이 장치 100에 전송할 수 있다.
동작 1170에서, 디스플레이 장치 100는 전자 장치 200로부터, 전자 장치 식별 정보에 대응하는 아바타 이미지를 수신하여 획득할 수 있다.
동작 1180에서, 디스플레이 장치 100는 전자 장치에 연관된 사용자를 영상으로부터 식별할 수 있다. 예를 들어 디스플레이 장치 100는 스켈레톤 검출 기술을 이용하여 영상으로부터 스켈레톤을 검출하고, 검출된 스켈레톤의 위치 정보 및 전자 장치의 위치 정보를 기반으로 전자 장치에 연관된 사용자를 식별할 수 있다. 전자 장치에 연관된 사용자를 식별하는 것은 도 4의 동작 440을 참조하여 설명한 바와 같다.
동작 1190에서, 디스플레이 장치 100는 영상에서 식별된 사용자의 적어도 일부를, 사용자와 연관된 전자 장치에 대해서 등록된 아바타 이미지로 대체하고 영상을 출력할 수 있다.
도 12는 일 실시예에 따라 얼굴 이미지를 이용하여 아바타 이미지로 대체하는 디스플레이 장치의 동작 방법의 일 예의 흐름도이다.
도 12를 참조하면, 동작 1210에서, 디스플레이 장치 100는 영상을 촬영할 수 있다. 외부 환경을 촬영하여 영상을 획득하는 것에 대해서는 도 4의 동작 410에서 설명한 바와 같다.
동작 1220에서, 디스플레이 장치 100는 전자 장치 200와 통신함으로써 전자 장치를 식별하고 전자 장치 200로부터 전자 장치 200의 사용자 얼굴 이미지를 획득할 수 있다. 전자 장치 200와 통신하여 전자 장치 200를 식별함으로써 전자 장치의 식별 정보와 위치 정보를 획득하는 것은 도 4의 동작 420에서 설명한 바와 같다. 전자 장치 200는 전자 장치 200의 사용자의 얼굴 이미지를 저장해놓고 디스플레이 장치 100의 요청에 따라 사용자의 얼굴 이미지를 전송할 수 있다. 아바타 이미지 대체를 위해 사용자의 얼굴 이미지가 이용되기는 하지만, 사용자의 얼굴 이미지는 사용자의 개인 장치인 전자 장치 200에 저장되는 것이며 또한 전자 장치 200가 사용자의 얼굴 이미지를 디스플레이 장치 100에 전송하기는 하지만, 이와 같이 전송된 사용자의 얼굴 이미지는 디스플레이 장치 100가 촬영한 영상으로부터 사용자의 얼굴을 인식하기 위해 일시적으로 이용되는 것이며, 얼굴 인식을 위해 이용되고 난 후에는 삭제될 수 있다. 따라서 디스플레이 장치 100에서는 사용자의 얼굴 이미지가 저장되지 않으므로 사용자의 프라이버시 문제는 발생되지 않을 수 있다.
동작 1230에서, 디스플레이 장치 100는 전자 장치 식별 정보에 대응하는 아바타 이미지를 전자 장치 200에 요청하거나 또는 서버 장치 300에 요청함으로써 전자 장치 식별 정보에 대응하는 아바타 이미지를 획득할 수 있다. 전자 장치 식별 정보에 대응하는 아바타 이미지를 서버 장치 300로부터 획득하는 방법은 도 10을 참조하여 설명한 바와 같으며, 전자 장치 식별 정보에 대응하는 아바타 이미지를 전자 장치 200로부터 획득하는 방법은 도 11을 참조하여 설명한 바와 같다.
동작 1240에서, 디스플레이 장치 100는 영상으로부터 사용자 얼굴을 인식할 수 있다. 디스플레이 장치 100는 전자 장치 200로부터 전자 장치 200의 사용자의 얼굴 이미지를 수신하여 획득해 놓은 상태이므로, 디스플레이 장치 100는 사용자의 얼굴 이미지를 이용하여 촬영된 영상에서 사용자를 검출하거나 인식할 수 있다.
동작 1250에서, 디스플레이 장치 100는 영상에서 인식된 사용자의 얼굴을, 전자 장치 식별 정보에 대응하는 아바타 이미지로 대체하고 영상을 출력할 수 있다.
다양한 실시예들에 따라 사용자는 사용자의 얼굴이 아바타로 표시될지 또는 숨김 처리될 지 선택할 수 있다. 예를 들어 디스플레이 장치 100의 사용자가 AR 적용된 디스플레이 장치 100를 지니고 길거리를 지나가면서 길거리 환경을 촬영하는 상황에서, 디스플레이 장치 100에 의해 촬영된 길거리 영상에는 하나 이상의 다른 사용자의 얼굴이 포함될 수 있다. 따라서 이와 같이 디스플레이 장치 100에 의해 촬영된 길거리 영상에서 나타나는 익명 사용자들의 프라이버시 문제가 발생될 수 있다. 따라서 개시된 실시예들에서는 전자 장치 마다 전자 장치의 사용자는 꾸미기 모드와 숨기기 모드 중 하나로 설정하고 이러한 설정에 따라 전자 장치의 사용자는 자신이 촬영될 때 아바타 이미지로 표시되도록 하거나 또는 숨기기 처리되도록 할 수 있다. 사용자의 선택에 따라 꾸미기 모드와 숨기기 모드로 설정하여 아바타가 표시되도록 하는 예를 도 13 내지 도 16을 참조하여 설명한다.
도 13은 일 실시예에 따라 사용자의 선택에 따라 꾸미기 모드와 숨기기 모드로 설정하여 아바타가 표시되는 하는 방법을 개념을 설명하기 위한 참고도이다.
도 13을 참조하면, 디스플레이 장치 100는 외부 환경을 촬영하여 가상 현실 영상을 생성하여 표시하는 장치를 나타낸다. 전자 장치 200는 외부 환경에 포함되어 디스플레이 장치 100에 의해 촬영되는 피사체 (실제로는 전자 장치를 소지하고 있는 사용자)로서 전자 장치 200의 사용자는 자신의 선택에 따라서 아바타 표시 모드를 꾸미기 모드와 숨기기 모드 중 하나로 선택할 수 있다. 꾸미기 모드는 사용자가 다른 장치 즉 디스플레이 장치 100에 의해 촬영되어 촬영 영상에 포함될 때 사용자의 얼굴을 사용자가 등록한 아바타 이미지로 대체하여 표시되도록 하는 모드를 나타내고, 숨기기 모드는 사용자가 디스플레이 장치 100에 의해 촬영되어 촬영 영상에 포함될 때 사용자의 얼굴이 모자이크 처리 등에 의해 숨기 처리도록 하는 모드를 나타낼 수 있다. 예를 들어 전자 장치 200의 사용자는 친구 집이나 자신의 집과 같이 지인에 의해 촬영되는 영상에서는 자신의 모습이 아바타 이미지로 표시되기를 원할 수 있다. 이 경우에 전자 장치 200의 사용자는 전자 장치 200에 아바타 표시 모드를 꾸미기 모드로 설정해 놓을 수 있다. 예를 들어 전자 장치 200의 사용자는 길거리 등과 같이 모르는 사람들에 의해 자신이 촬영될 수 있는 상황에서 촬영되는 영상에서는 자신의 모습이 드러나지 않도록 즉 숨김 처리되기를 원할 수 있다. 이 경우에 전자 장치 200의 사용자는 전자 장치 200에 아바타 표시 모드를 숨기기 모드로 설정해 놓을 수 있다.
이와 같이 전자 장치 200에 아바타 표시 모드를 숨기기 모드나 꾸미기 모드로 설정해 놓으면 디스플레이 장치 100는 전자 장치 200와의 통신을 통해 전자 장치 200의 아바타 표시 모드 정보를 수신할 수 있다. 디스플레이 장치 100는 전자 장치 200의 사용자가 촬영 영상에 포함된 경우, 전자 장치 200의 아바타 표시 모드에 따라서, 꾸미기 모드에 대응하여 전자 장치 200의 사용자를 아바타 이미지로 대체하여 표시하도록 제어하고 숨기기 모드에 대응하여 전자 장치 200의 사용자를 숨김 처리하여 표시하도록 제어할 수 있다.
도 14는 일 실시예에 따라 아바타 표시 모드에 기반한 전자 장치와 디스플레이 장치의 동작 방법의 흐름도의 일 예를 나타낸다.
도 14를 참조하면, 동작 1410에서, 전자 장치 200는 아바타 표시 모드를 숨기기 모드와 꾸미기 모드 중 하나로 설정할 수 있다. 예를 들어 전자 장치 200의 사용자는 자신의 선택에 따라서 아바타 표시 모드를 숨기기 모드와 꾸미기 모드 중 하나로 선택하는 입력을 전자 장치 200에 함으로써 전자 장치 200는 숨기기 모드와 꾸미기 모드 중 하나로 아바타 표시 모드를 설정할 수 있다.
동작 1420에서, 디스플레이 장치 100는 외부 환경의 영상을 촬영할 수 있다.
동작 1430에서, 디스플레이 장치 100는 전자 장치 200와 통신함으로써 전자 장치를 식별할 수 있다. 디스플레이 장치 100는 전자 장치 200와 통신함으로써 전자 장치의 식별 정보와 전자 장치의 위치 정보를 획득함으로써 전자 장치를 식별할 수 있다.
동작 1440에서, 디스플레이 장치 100는 식별된 전자 장치 200로 아바타 이미지를 요청할 수 있다.
동작 1450에서, 전자 장치 200는 디스플레이 장치 100로부터 아바타 이미지 요청을 수신하고 아바타 표시 모드가 숨기기 모드인지 꾸미기 모드로 설정되어 있는지를 판단할 수 있다.
아바타 표시 모드의 판단 결과 꾸미기 모드 인 경우 동작 1460으로 진행할 수 있다.
동작 1460에서, 전자 장치 200는 꾸미기 모드임을 나타내는 정보와 함께 아바타 이미지를 포함하는 응답을 디스플레이 장치 100로 전송할 수 있다. 이에 따라 디스플레이 장치 100는 전자 장치 200가 꾸미기 모드임을 확인할 수 있고, 전자 장치에 대응하는 아바타 이미지를 저장할 수 있다.
동작 1450에서 아바타 표시 모드 판단 결과 숨기기 모드임을 나타내는 경우 동작 1470으로 진행할 수 있다.
동작 1470에서, 전자 장치 200는 숨기기 모드임을 나타내는 응답을 디스플레이 장치 100로 전송할 수 있다. 이에 따라 디스플레이 장치 100는 전자 장치 200가 숨기기 모드 임을 확인할 수 있고 이 전자 장치 200의 사용자의 얼굴은 숨김 처리하는 것으로 판단할 수 있다.
동작 1480에서, 디스플레이 장치 100는 전자 장치 200에 연관된 사용자를 영상으로부터 식별할 수 있다. 전자 장치 200에 연관된 사용자를 영상으로부터 식별하는 방법은 도 4의 동작 440을 참조하여 설명한 바와 같다.
동작 1490에서, 디스플레이 장치 100는 촬영된 영상에서 식별된 사용자의 적어도 일부를 아바타 이미지로 대체하거나 또는 숨김 처리하여 영상을 출력할 수 있다. 디스플레이 장치 100는 전자 장치 200의 아바타 표시 모드에 따라 전자 장치 200의 사용자의 아바타 표시를 다르게 하여 처리할 수 있다. 전자 장치 200의 아바타 표시 모드가 꾸미기 모드임을 나타내는 경우 디스플레이 장치 100는 영상에서 식별된 사용자의 적어도 일부를 전자 장치 200에 대응하는 아바타 이미지로 대체하여 처리할 수 있다. 전자 장치 200의 아바타 표시 모드가 숨기기 모드임을 나타내는 경우 디스플레이 장치 100는 영상에서 식별된 사용자의 적어도 일부 즉 얼굴을 모자이크 등에 의해 숨김 처리되도록 할 수 있다. 이와 같이 숨김 처리되거나 아바타 표시 된 가상 현실 영상을 출력할 수 있다.
도 15는 일 실시예에 따라 아바타 표시 모드에 따라 숨기기 처리되거나 꾸미기 처리 되어 영상을 출력하는 예를 설명하기 위한 참고도이다.
도 15를 참조하면, 디스플레이 장치 100는 실외에서 거리뷰 1510를 촬영하고 있으며, 영상을 촬영하는 동안 외부 환경에 있는 하나 이상의 전자 장치들과 통신을 수행함으로써 통신 가능한 범위에 있는 하나 이상의 전자 장치로부터 전자 장치 식별 정보를 획득할 수 있다. 예를 들어 디스플레이 장치 100가 디스플레이 장치 100와 통신가능한 범위에 있는 하나 이상의 전자 장치 즉, 제1전자 장치, 제2전자 장치, 제3전자 장치, 제4전자 장치 와 통신을 수행한 결과, 디스플레이 장치 100는 제1전자 장치 200a로부터는 꾸미기 응답과 함께 아바타 이미지를 수신할 수 있고, 나머지 제2전자 장치 200b, 제3전자 장치 200c, 제4전자 장치 200d로부터는 숨기기 응답을 수신할 수 있다.
이에 따라 디스플레이 장치 100는 제1전자 장치 200a 와 연관된 사용자의 얼굴은 제1전자 장치 200a로부터 수신한 아바타 이미지로 대체하고, 제2전자 장치 200b, 제3전자 장치 200c, 제4전자 장치 200d와 연관된 사용자의 얼굴에는 모자이크 처리 함으로써 사용자의 얼굴이 숨겨지도록 처리하여 생성된 증강 현실 영상 1520을 출력할 수 있다.
이상의 실시예들에서는 디스플레이 장치 100가 전자 장치 200를 식별하는 방법으로 전자 장치 200와의 통신에 기반한 방법을 설명하였다. 개시된 실시예들은 이에 한정되지 않고 바코드나 QR 코드를 이용할 수도 있을 것이다. QR 코드와 유사한 예들로서, 컬러짚 코드, 스마트 태그, 데이터 매트릭스(Data Matrix) 등도 포함될 수 있다. 이와 같이 바코드나 QR 코드에 대응하여 미리 아바타 이미지를 등록해두고, 추후 영상 촬영시 영상에서 이러한 바코드나 QR 코드를 인식하면 인식된 바코드나 QR 코드에 대응하는 미리 등록된 아바타 이미지를 이 바코드나 QR 코드와 연관된 사용자의 신체의 적어도 일부를 대체하는데 이용할 수 있을 것이다.
바코드(Bar-code)와 QR 코드는 각각 1차원 코드와 2차원 코드로 분류될 수 있다. 바코드의 부호화 방법은 바코드가 나타내는 원문의 한 자리 숫자나 한 글자를 흑백 막대의 조합으로 표현하는 방법을 비롯하여 바코드의 시작과 끝, 체크 섬 등을 제공한다. QR 코드는 정보의 기록 밀도가 20~40배 높으며, 데이터 복원 기능도 포함하고 있어 좀더 고성능의 인식이 필요한 경우 사용될 수 있다. 일반 바코드는 단방향 즉, 1차원 적으로 숫자 또는 문자 정보가 저장 가능한 반면, QR 코드는 종횡으로 2차원 형태를 가져서 더 많은 정보를 가질 수 있으며, 숫자 외에 알파벳과 한자 등 문자 데이터를 저장할 수도 있다. QR 코드에는 데이터의 표현과 읽기를 수월하게 하기 위해 콰이어트 존, 위치 검출 패턴(분리자 포함), 타이밍 패턴, 정렬 패턴, 포맷 정보, 버전 정보, 데이터 영역(에러 정정 코드 영역 포함) 등의 영역이 나뉘어 있다.
이와 같은 바코드와 QR 코드를 이용하여 전자 장치나 사용자를 식별할 수 있을 것이다. 예를 들어 바코드나 QR 코드가 사용자가 착용하고 있거나 쥐고 있는 전자 장치에 포함되거나 또는 사용자가 착용하고 있는 의복이나 모자, 장갑 등에 포함되는 경우, 디스플레이 장치 100는 촬영되는 영상에서 이와 같이 사용자와 관련된 바코드나 QR 코드를 인식할 수 있을 것이다. 그리고 디스플레이 장치 100는 이와 같이 인식된 바코드나 QR 코드에 연관된 사용자를 식별할 수 있을 것이다. 디스플레이 장치 100는 이와 같이 바코드나 QR 코드에 대응하여 미리 등록된 아바타 이미지를 이용하여 촬영된 영상의 사용자의 신체의 적어도 일부를 대체하여 출력할 수 있을 것이다.
일 실시예에 따라 디스플레이 장치 100의 동작 방법은, 촬영을 수행하도록 상기 카메라를 제어함으로써 영상을 획득하는 동작을 포함할 수 있다. 일 실시예에 따라 디스플레이 장치 100의 동작 방법은, 상기 촬영을 하는 동안 상기 통신 인터페이스를 제어함으로써 전자 장치를 식별하는 동작을 포함할 수 있다. 일 실시예에 따라 디스플레이 장치 100의 동작 방법은,상기 식별된 전자 장치에 대응하여 등록된 아바타 이미지를 획득하는 동작을 포함할 수 있다. 일 실시예에 따라 디스플레이 장치 100의 동작 방법은, 상기 식별된 전자 장치에 연관된 사용자를 상기 영상으로부터 식별하는 동작을 포함할 수 있다. 일 실시예에 따라 디스플레이 장치 100의 동작 방법은, 상기 영상에서 상기 식별된 사용자의 신체의 적어도 일부를 상기 아바타 이미지로 대체함으로써 증강 현실 영상을 생성하고 표시하는 동작을 포함할 수 있다.
일 실시예에 따라 디스플레이 장치 100의 동작 방법은, BLE 통신 기술 또는 UWB 통신 기술을 이용하여 상기 전자 장치의 위치 정보 및 상기 전자 장치의 식별 정보를 획득하는 동작을 더 포함할 수 있다.
일 실시예에 따라 디스플레이 장치 100의 동작 방법은, 상기 전자 장치의 식별 정보를 이용하여 상기 전자 장치에 대응하여 등록된 아바타 이미지를 서버로부터 수신하거나, 상기 디스플레이 장치의 메모리로부터 획득하거나 또는 상기 전자 장치로부터 통신 인터페이스를 통해 수신함으로써 상기 아바타 이미지를 획득하는 동작을 더 포함할 수 있다.
일 실시예에 따라 디스플레이 장치 100의 동작 방법은, 상기 영상을 분석함으로써 상기 영상에 포함된 상기 사용자의 위치 정보를 획득하는 동작을 더 포함할 수 있다.
일 실시예에 따라 디스플레이 장치 100의 동작 방법은, 상기 영상에서 스켈레톤 검출을 수행함으로써 상기 영상에서 하나 이상의 사용자를 검출하는 동작을 더 포함할 수 있다.
일 실시예에 따라 디스플레이 장치 100의 동작 방법은, 상기 영상에서 검출된 사용자의 위치 정보 및 상기 전자 장치의 위치 정보를 이용하여 상기 전자 장치에 연관된 사용자를 식별하는 동작을 더 포함할 수 있다.
일 실시예에 따라 디스플레이 장치 100의 동작 방법은, 상기 전자 장치로부터의 거리가 임계치 이내에 있는 사용자를, 상기 전자 장치에 연관된 사용자로 식별하는 동작을 더 포함할 수 있다.
일 실시예에 따라 디스플레이 장치 100의 동작 방법은, 상기 전자 장치로부터 상기 전자 장치의 사용자의 얼굴 이미지를 수신하는 동작, 및 상기 영상에서 상기 얼굴 이미지를 인식함으로써, 상기 전자 장치에 연관된 사용자를 식별하는 동작을 더 포함할 수 있다.
일 실시예에 따라 디스플레이 장치 100의 동작 방법은, 상기 전자 장치로부터 아바타 표시 모드에 관한 정보를 수신하는 동작, 및 상기 아바타 표시 모드에 관한 정보에 기반하여 상기 영상에서 식별된 사용자를 숨김 처리하거나 또는 아바타 표시 처리는 동작을 더 포함할 수 있다.
일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
개시된 실시예들은 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 S/W 프로그램으로 구현될 수 있다.
컴퓨터는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 개시된 실시예에 따른 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치를 포함할 수 있다.
컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서,‘비일시적’은 저장 매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 개시된 실시예들에 따른 제어 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 디바이스의 제조사 또는 전자 마켓(예, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 SW 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 서버 및 디바이스로 구성되는 시스템에서, 서버의 저장매체 또는 디바이스의 저장매체를 포함할 수 있다. 또는, 서버 또는 디바이스와 통신 연결되는 제 3 장치(예, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제 3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 디바이스 또는 제 3 장치로 전송되거나, 제 3 장치로부터 디바이스로 전송되는 S/W 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 디바이스 및 제 3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 디바이스 및 제 3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 디바이스가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
또 다른 예로, 제 3 장치가 컴퓨터 프로그램 제품을 실행하여, 제 3 장치와 통신 연결된 디바이스가 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다. 제 3 장치가 컴퓨터 프로그램 제품을 실행하는 경우, 제 3 장치는 서버로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드 된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제 3 장치는 프리로드 된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.
또한, 본 명세서에서, "부"는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 디스플레이 장치 100에 있어서,
    통신 인터페이스,
    디스플레이,
    카메라,
    하나 이상의 인스트럭션을 저장하는 메모리 130, 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서 140를 포함하고,
    상기 적어도 하나의 프로세서 140는 상기 하나 이상의 인스트럭션을 실행함으로써,
    촬영을 수행하도록 상기 카메라를 제어함으로써 영상을 획득하고,
    상기 촬영을 하는 동안 상기 통신 인터페이스를 제어함으로써 전자 장치를 식별하고,
    상기 식별된 전자 장치에 대응하여 등록된 아바타 이미지를 획득하고,
    상기 식별된 전자 장치에 연관된 사용자를 상기 영상으로부터 식별하고,
    상기 영상에서 상기 식별된 사용자의 신체의 적어도 일부를 상기 아바타 이미지로 대체함으로써 증강 현실 영상을 생성하고 표시하도록 구성되는, 디스플레이 장치.
  2. 제1항에 있어서,
    상기 적어도 하나의 프로세서 140는 상기 하나 이상의 인스트럭션을 실행함으로써,
    BLE 통신 기술 또는 UWB 통신 기술에 기반하여 상기 통신 인터페이스를 이용하여 상기 전자 장치의 위치 정보 및 상기 전자 장치의 식별 정보를 획득하도록 구성되는, 디스플레이 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 적어도 하나의 프로세서 140는 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 전자 장치의 식별 정보를 이용하여 상기 전자 장치에 대응하여 등록된 아바타 이미지를 서버로부터 수신하거나, 상기 디스플레이 장치의 메모리로부터 획득하거나 또는 상기 전자 장치로부터 통신 인터페이스를 통해 수신함으로써 상기 아바타 이미지를 획득하는, 디스플레이 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서 140는 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 영상을 분석함으로써 상기 영상에 포함된 상기 사용자의 위치 정보를 획득하도록 구성되는, 디스플레이 장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서 140는 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 영상에서 스켈레톤 검출을 수행함으로써 상기 영상에서 하나 이상의 사용자를 검출하도록 구성되는, 디스플레이 장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서 140는 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 영상에서 검출된 사용자의 위치 정보 및 상기 전자 장치의 위치 정보를 이용하여 상기 전자 장치에 연관된 사용자를 식별하도록 구성되는, 디스플레이 장치.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서 140는 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 전자 장치로부터의 거리가 임계치 이내에 있는 사용자를, 상기 전자 장치에 연관된 사용자로 식별하도록 구성되는, 디스플레이 장치.
  8. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서 140는 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 전자 장치로부터 상기 전자 장치의 사용자의 얼굴 이미지를 수신하고,
    상기 영상에서 상기 얼굴 이미지를 인식함으로써, 상기 전자 장치에 연관된 사용자를 식별하도록 구성되는, 디스플레이 장치.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서 140는 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 전자 장치로부터 아바타 표시 모드에 관한 정보를 수신하고,
    상기 아바타 표시 모드에 관한 정보에 기반하여 상기 영상에서 식별된 사용자를 숨김 처리하거나 또는 아바타 표시 처리하도록 구성되는, 디스플레이 장치.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서 140는 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 아바타 표시 모드가 꾸미기 모드를 나타냄에 따라, 상기 영상에서 식별된 상기 사용자의 적어도 일부를 상기 아바타 이미지로 표시하고,
    상기 아바타 표시 모드가 숨기기 모드를 나타냄에 따라, 상기 영상에서 식별된 상기 사용자의 적어도 일부를 숨김 처리하도록 구성되는, 디스플레이 장치.
  11. 디스플레이 장치 100의 동작 방법에 있어서,
    촬영을 수행하도록 상기 카메라를 제어함으로써 영상을 획득하는 동작,
    상기 촬영을 하는 동안 상기 통신 인터페이스를 제어함으로써 전자 장치를 식별하는 동작,
    상기 식별된 전자 장치에 대응하여 등록된 아바타 이미지를 획득하는 동작,
    상기 식별된 전자 장치에 연관된 사용자를 상기 영상으로부터 식별하는 동작, 및
    상기 영상에서 상기 식별된 사용자의 신체의 적어도 일부를 상기 아바타 이미지로 대체함으로써 증강 현실 영상을 생성하고 표시하는 동작을 포함하는, 디스플레이 장치의 동작 방법.
  12. 제11항에 있어서,
    BLE 통신 기술 또는 UWB 통신 기술을 이용하여 상기 전자 장치의 위치 정보 및 상기 전자 장치의 식별 정보를 획득하는 동작을 더 포함하는, 디스플레이 장치의 동작 방법.
  13. 제11항 또는 제12항에 있어서,
    상기 전자 장치의 식별 정보를 이용하여 상기 전자 장치에 대응하여 등록된 아바타 이미지를 서버로부터 수신하거나, 상기 디스플레이 장치의 메모리로부터 획득하거나 또는 상기 전자 장치로부터 통신 인터페이스를 통해 수신함으로써 상기 아바타 이미지를 획득하는 동작을 더 포함하는, 디스플레이 장치의 동작 방법.
  14. 제11항 내지 제13항 중 어느 한 항에 있어서,
    상기 영상을 분석함으로써 상기 영상에 포함된 상기 사용자의 위치 정보를 획득하는 동작을 더 포함하는, 디스플레이 장치의 동작 방법.
  15. 디스플레이 장치의 동작 방법의 구현을 위해 디스플레이 장치의 프로세서에 의해 실행되는 하나 이상의 프로그램이 기록된 비일시적 컴퓨터 판독가능 기록 매체에 있어서, 상기 디스플레이 장치의 동작 방법은,
    촬영을 수행하도록 상기 카메라를 제어함으로써 영상을 획득하는 동작,
    상기 촬영을 하는 동안 상기 통신 인터페이스를 제어함으로써 전자 장치를 식별하는 동작,
    상기 식별된 전자 장치에 대응하여 등록된 아바타 이미지를 획득하는 동작,
    상기 식별된 전자 장치에 연관된 사용자를 상기 영상으로부터 식별하는 동작, 및
    상기 영상에서 상기 식별된 사용자의 신체의 적어도 일부를 상기 아바타 이미지로 대체함으로써 증강 현실 영상을 생성하고 표시하는 동작을 포함하는, 비일시적 컴퓨터 판독가능 기록 매체.
PCT/KR2023/015451 2022-10-18 2023-10-06 디스플레이 장치 및 그 동작 방법 WO2024085513A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20220134470 2022-10-18
KR10-2022-0134470 2022-10-18
KR10-2023-0011111 2023-01-27
KR1020230011111A KR20240054141A (ko) 2022-10-18 2023-01-27 디스플레이 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
WO2024085513A1 true WO2024085513A1 (ko) 2024-04-25

Family

ID=90737894

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/015451 WO2024085513A1 (ko) 2022-10-18 2023-10-06 디스플레이 장치 및 그 동작 방법

Country Status (1)

Country Link
WO (1) WO2024085513A1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100086052A (ko) * 2007-11-30 2010-07-29 나이키 인코포레이티드 소셜 네트워크 서비스를 위한 대화식 아바타
JP2011186145A (ja) * 2010-03-08 2011-09-22 Pfu Ltd 情報処理装置、方法およびプログラム
KR20140009785A (ko) * 2012-07-13 2014-01-23 인포뱅크 주식회사 정보처리 방법 및 시스템과 기록매체
KR20140065762A (ko) * 2012-11-21 2014-05-30 토리인 주식회사 사용자 맞춤 캐릭터 영상물의 실시간 제공시스템 및 방법
KR20140077273A (ko) * 2012-12-14 2014-06-24 김현우 티비의 선호메뉴 이용 방법
KR20150101147A (ko) * 2014-02-26 2015-09-03 삼성전자주식회사 뷰 센서 장치 및 이를 포함하는 홈 제어 시스템, 그리고 이의 제어 방법
KR20170028605A (ko) * 2015-09-04 2017-03-14 한국전자통신연구원 Ｒｇｂ-ｄ 영상 기반 사람 영역 추출 장치 및 그 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100086052A (ko) * 2007-11-30 2010-07-29 나이키 인코포레이티드 소셜 네트워크 서비스를 위한 대화식 아바타
JP2011186145A (ja) * 2010-03-08 2011-09-22 Pfu Ltd 情報処理装置、方法およびプログラム
KR20140009785A (ko) * 2012-07-13 2014-01-23 인포뱅크 주식회사 정보처리 방법 및 시스템과 기록매체
KR20140065762A (ko) * 2012-11-21 2014-05-30 토리인 주식회사 사용자 맞춤 캐릭터 영상물의 실시간 제공시스템 및 방법
KR20140077273A (ko) * 2012-12-14 2014-06-24 김현우 티비의 선호메뉴 이용 방법
KR20150101147A (ko) * 2014-02-26 2015-09-03 삼성전자주식회사 뷰 센서 장치 및 이를 포함하는 홈 제어 시스템, 그리고 이의 제어 방법
KR20170028605A (ko) * 2015-09-04 2017-03-14 한국전자통신연구원 Ｒｇｂ-ｄ 영상 기반 사람 영역 추출 장치 및 그 방법

Similar Documents

Publication Publication Date Title
WO2019088737A1 (en) Method and device for performing remote control
WO2020159147A1 (ko) 전자 장치 및 전자 장치의 그래픽 객체 제어 방법
WO2014025185A1 (en) Method and system for tagging information about image, apparatus and computer-readable recording medium thereof
WO2014182089A1 (en) Display apparatus and graphic user interface screen providing method thereof
WO2018074850A1 (ko) 영상 처리 장치 및 그 영상 처리 방법
WO2017039341A1 (en) Display apparatus and control method thereof
WO2016013893A1 (en) Displaying method, animation image generating method, and electronic device configured to execute the same
WO2015126044A1 (ko) 이미지를 처리하기 위한 방법 및 그 전자 장치
WO2016064132A1 (en) Wearable device and method of transmitting content
WO2016175424A1 (ko) 이동 단말기 및 그 제어 방법
WO2020204668A1 (en) Electronic device and method for controlling camera using external electronic device
EP3195200A1 (en) Image data processing method and electronic device supporting the same
WO2016126083A1 (ko) 주변 상황 정보를 통지하기 위한 방법, 전자 장치 및 저장 매체
WO2022098204A1 (ko) 가상현실 서비스를 제공하는 전자 장치 및 방법
WO2017142207A1 (en) Electronic device including a plurality of cameras and operating method thereof
WO2021025509A1 (en) Apparatus and method for displaying graphic elements according to object
WO2018070793A1 (en) Method, apparatus, and recording medium for processing image
WO2019194423A1 (en) Electronic apparatus and operating method thereof
WO2020171558A1 (en) Method of providing augmented reality contents and electronic device therefor
WO2024085513A1 (ko) 디스플레이 장치 및 그 동작 방법
WO2022225354A1 (ko) 정보를 공유하기 위한 전자 장치 및 그 동작 방법
WO2022215910A1 (ko) 화면 공유 방법 및 그 전자 장치
WO2022131784A1 (ko) 증강 현실 콘텐츠를 제공하는 전자 장치 및 방법
WO2021225333A1 (ko) 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법
WO2016159505A1 (ko) 카드 형태의 디바이스 및 결제 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23880092

Country of ref document: EP

Kind code of ref document: A1