WO2022255730A1 - 전자장치 및 그 제어방법 - Google Patents

전자장치 및 그 제어방법 Download PDF

Info

Publication number
WO2022255730A1
WO2022255730A1 PCT/KR2022/007496 KR2022007496W WO2022255730A1 WO 2022255730 A1 WO2022255730 A1 WO 2022255730A1 KR 2022007496 W KR2022007496 W KR 2022007496W WO 2022255730 A1 WO2022255730 A1 WO 2022255730A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
image
electronic device
motion identification
motion
Prior art date
Application number
PCT/KR2022/007496
Other languages
English (en)
French (fr)
Inventor
주선웅
이종인
Original Assignee
삼성전자(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자(주) filed Critical 삼성전자(주)
Publication of WO2022255730A1 publication Critical patent/WO2022255730A1/ko
Priority to US18/527,534 priority Critical patent/US20240121501A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • H04N5/642—Disposition of sound reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display

Definitions

  • the present disclosure relates to an electronic device that provides various services using a camera and a control method thereof.
  • the camera As the camera is used in various forms other than the purpose of taking a simple video, such as video call or recognizing motion through the image captured by the camera to provide service, it can be placed and used in various positions.
  • the camera may be attached to a display of an electronic device or may be mounted on an exterior housing of an electronic device, and may be disposed at an arbitrary position, such as changing a location according to a user's convenience or a surrounding environment. Therefore, the relative position between the display and the camera may not be constant. In particular, since the display of an electronic device such as a TV tends to become larger, deviation of a camera position may increase.
  • the recognition rate for a camera image may vary depending on the position of the camera.
  • Recognition of user movement can be implemented using an artificial neural network, and the recognition rate is affected by the dataset used for learning.
  • An artificial neural network trained with a dataset assuming that the camera is located on top of the TV may have a low recognition rate when the camera is located on the bottom of the TV.
  • An object of the present disclosure is to provide an electronic device that provides a better service using a camera and a control method thereof.
  • an interface unit In an electronic device according to an embodiment of the present invention, an interface unit; display; Obtaining an image captured by a camera connected through an interface unit, acquiring information indicating a location where a camera is installed among a plurality of locations where a camera can be installed with respect to a display, and obtaining a plurality of information provided based on data corresponding to a plurality of locations Selects a motion identification model corresponding to the location where the camera is installed among the motion identification models of , identifies a user's motion from an image captured by the camera based on the selected motion identification model, and activates a function based on the identified user's motion. contains a processor that performs
  • the electronic device further includes a user input unit, and the processor displays a GUI indicating a plurality of locations where the camera can be installed on the display, and the user selects the location where the camera is installed. Input can be received using the GUI.
  • the processor may display a notification for guiding a change in the location of the camera on the display based on the fact that a motion identification model corresponding to a location where the camera is installed is not prepared among a plurality of motion identification models.
  • the image captured by the camera is a first image
  • the processor selects a motion identification model prepared based on a second image captured at a position within a predetermined range from the position of the camera among a plurality of motion identification models, and selects the first image.
  • a third image may be acquired by correcting the image to correspond to the second image, and the motion of the user may be identified from the third image based on the selected motion identification model.
  • An image captured by the camera is a first image
  • the processor selects a motion identification model prepared based on a second image captured at an imaging angle of the camera and an imaging angle within a predetermined range from among a plurality of motion identification models
  • a third image may be acquired by correcting the image to correspond to the second image, and the user's motion may be identified from the third image based on the selected motion identification model.
  • the processor may identify content captured at a location corresponding to the location where the camera is installed among a plurality of pieces of content captured at different locations, and display the identified content on a display.
  • the processor may identify content captured at an imaging angle corresponding to the imaging angle of the camera among a plurality of pieces of content captured at different imaging angles, and display the identified content on a display.
  • the processor may display the identified content and the image captured by the camera on the display together.
  • the processor may identify a region of the display to display a graphical user interface (GUI) associated with video call, and display the GUI on the region.
  • GUI graphical user interface
  • the GUI may include at least one of a video call window, a video call window animation, a video call count/outcoming notification, and a video call count/outcoming notification animation.
  • It may further include a speaker having a plurality of output directions of audio associated with a video call, and the processor may control the speaker to output audio in a direction close to one region among the plurality of output directions.
  • obtaining an image captured by a camera connected through an interface unit obtaining information indicating a location where a camera is installed among a plurality of locations where a camera can be installed with respect to a display; selecting a motion identification model corresponding to a location where a camera is installed from among a plurality of motion identification models prepared based on data corresponding to a plurality of positions; identifying a motion of a user from an image captured by a camera based on the selected motion identification model; and performing a function based on the identified user's motion.
  • Acquiring the information indicating the location where the camera is installed may include displaying a GUI indicating a plurality of locations where the camera may be installed on a display; and receiving a user input for selecting a location where the camera is installed using a GUI.
  • a notification for guiding a change in the position of a camera is sent based on the fact that a motion identification model corresponding to a position where a camera is installed is not provided among a plurality of motion identification models.
  • a step of displaying on a display may be further included.
  • the image captured by the camera is a first image
  • the step of selecting a motion identification model includes selecting a motion identification model prepared based on a second image captured at a position within a predetermined range from the position of the camera among a plurality of motion identification models. and correcting the first image to correspond to the second image to obtain a third image; and identifying a motion of the user from the third image based on the selected motion identification model.
  • An image captured by the camera is a first image
  • the step of selecting a motion identification model includes a motion identification model prepared based on a second image captured at an imaging angle of the camera and an imaging angle within a predetermined range among a plurality of motion identification models. Compensating the first image to correspond to the second image to obtain a third image; The method may further include identifying a motion of the user from the third image based on the selected motion identification model.
  • identifying content captured at an imaging angle corresponding to a imaging angle of a camera among a plurality of contents captured at different imaging angles identifying content captured at an imaging angle corresponding to a imaging angle of a camera among a plurality of contents captured at different imaging angles; and displaying the identified content on a display.
  • the displaying on the display may include displaying the identified content and the image captured by the camera on the display together.
  • GUI Graphic User Interface
  • the method for controlling an electronic device may further include outputting audio related to a video call in a direction close to one area among a plurality of output directions through a speaker having a plurality of output directions. have.
  • inconvenience caused by the relative position of the display and the camera can be reduced by changing the user interface displayed on the screen using the position of the camera.
  • the recognition rate of the camera image may be increased by using data according to the location of the camera.
  • 1 is a diagram illustrating an electronic device and cameras located in various positions.
  • FIG. 2 is a block diagram showing the configuration of an electronic device according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating an operation of an electronic device according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an operation of an electronic device according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating an operation of an electronic device according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating an operation of an electronic device according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating an operation of an electronic device according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating an operation of an electronic device according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating an operation of an electronic device according to an embodiment of the present invention.
  • FIG. 10 is a diagram illustrating an operation of an electronic device according to an embodiment of the present invention.
  • a 'module' or 'unit' performs at least one function or operation, may be implemented as hardware or software, or may be implemented as a combination of hardware and software, and is integrated into at least one module. and can be implemented.
  • at least one of the plurality of elements refers to not only all of the plurality of elements, but also each one or all combinations of the plurality of elements excluding the rest.
  • 1 is a diagram illustrating an electronic device and cameras located in various positions.
  • the electronic device 100 may be implemented as a display device including a display 121 .
  • the electronic device 100 may include a TV, computer, smart phone, tablet, portable media player, wearable device, video wall, electronic picture frame, and the like.
  • the concept of the present invention is not limited to the implementation example of the electronic device 100, and as another embodiment, the electronic device 100 is an image such as a set-top box that transmits a signal to an external display connected by wire or wirelessly. It can also be implemented as a processing device.
  • the camera 200 may be installed in various locations as shown in FIG. 1 .
  • it may be detachably mounted on the external housing of the electronic device 100 .
  • the mountable places shown in FIG. 1 are the top (left, center, right), bottom (left, center, right), right side (upper, center, lower), left side (upper, middle, right) of the electronic device 100. center, bottom).
  • FIG. 1 in FIGS. 3 to 10 the corresponding terms will be used. However, this is only an example, and the position where the camera is installed is not limited to this drawing.
  • the location of the camera 200 may vary depending on the surrounding environment, such as being installed at a location spaced apart from the electronic device 100 by a predetermined distance, such as a cabinet placed under the electronic device 100 .
  • the present invention provides an electronic device and a control method for preventing user inconvenience or functional degradation in the course of providing a service.
  • FIG. 2 is a block diagram showing the configuration of an electronic device according to an embodiment of the present invention.
  • the electronic device 100 may include an interface unit 110 .
  • the interface unit 110 may include a wired interface unit 111 .
  • the wired interface unit 111 includes a connector or port to which an antenna capable of receiving a broadcast signal according to a broadcasting standard such as terrestrial/satellite broadcasting or a cable capable of receiving a broadcasting signal according to a cable broadcasting standard can be connected. do.
  • the electronic device 100 may incorporate an antenna capable of receiving a broadcast signal.
  • the wired interface unit 111 conforms to video and/or audio transmission standards such as HDMI port, DisplayPort, DVI port, Thunderbolt, composite video, component video, super video, and SCART. It may include connectors or ports and the like.
  • the wired interface unit 111 may include a connector or port according to a universal data transmission standard such as a USB port.
  • the wired interface unit 111 may include a connector or port to which an optical cable may be connected according to an optical transmission standard.
  • the wire interface unit 111 is connected to an external microphone or an external audio device having a microphone, and may include a connector or port capable of receiving or inputting an audio signal from the audio device.
  • the wire interface unit 111 is connected to audio devices such as headsets, earphones, and external speakers, and may include connectors or ports capable of transmitting or outputting audio signals to the audio devices.
  • the wired interface unit 111 may include a connector or port according to a network transmission standard such as Ethernet.
  • the wired interface unit 111 may be implemented as a LAN card connected to a router or gateway by wire.
  • the wired interface unit 111 is wired in a 1:1 or 1:N (N is a natural number) method such as a set-top box, an external device such as an optical media player, an external display device, a speaker, or a server through the connector or port. By being connected, video/audio signals are received from the corresponding external device or video/audio signals are transmitted to the corresponding external device.
  • the wired interface unit 111 may include connectors or ports for separately transmitting video/audio signals.
  • the wired interface unit 111 is embedded in the electronic device 100, but may be implemented in the form of a dongle or a module and attached to or detachable from a connector of the electronic device 100.
  • the interface unit 110 may include a wireless interface unit 112 .
  • the wireless interface unit 112 may be implemented in various ways corresponding to the implementation form of the electronic device 100 .
  • the wireless interface unit 112 uses RF (radio frequency), Zigbee, Bluetooth, Wi-Fi, UWB (Ultra WideBand), NFC (Near Field Communication), etc. as communication methods.
  • Wireless communication can be used.
  • the wireless interface unit 112 may be implemented as a wireless communication module that performs wireless communication with an AP according to a Wi-Fi method or a wireless communication module that performs one-to-one direct wireless communication such as Bluetooth.
  • the wireless interface unit 112 may transmit and receive data packets to and from the server by wirelessly communicating with the server on the network.
  • the wireless interface unit 112 may include an IR transmitter and/or an IR receiver capable of transmitting and/or receiving IR (Infrared) signals according to an infrared communication standard.
  • the wireless interface unit 112 may receive or input a remote control signal from a remote control or other external device through an IR transmitter and/or an IR receiver, or may transmit or output a remote control signal to another external device.
  • the electronic device 100 may transmit and receive remote control signals to and from a remote controller or other external devices through the wireless interface unit 112 of another method such as Wi-Fi or Bluetooth.
  • the electronic device 100 may further include a tuner for tuning the received broadcast signal for each channel.
  • the electronic device 100 When the electronic device 100 is implemented as a display device, it may include a display unit 120 .
  • the display unit 120 includes a display panel capable of displaying an image on a screen.
  • the display panel is provided with a light-receiving structure such as a liquid crystal type or a self-emitting structure such as an OLED type.
  • the display unit 120 may further include additional components depending on the structure of the display panel.
  • the display panel is a liquid crystal type
  • the display unit 120 includes a liquid crystal display panel and a backlight unit for supplying light. and a panel driving substrate for driving the liquid crystal of the liquid crystal display panel.
  • a screen portion on which an image is displayed is referred to as a display 121 .
  • the electronic device 100 may include a user input unit 130 .
  • the user input unit 130 transmits various preset control commands or unlimited information to the processor 180 according to a user's input.
  • the user input unit 130 includes various input means capable of receiving user input.
  • the user input unit 130 may include a keypad (or input panel) including buttons such as a power key, a number key, and a menu key provided in the electronic device 100 .
  • the user input unit 130 may include an input device that generates and transmits a predetermined command/data/information/signal to remotely control the electronic device 100 to the electronic device 100 .
  • the input device includes, for example, a remote control, a game console, a keyboard, a mouse, and the like, and is separated from the electronic device 100 to receive user input.
  • At least one button capable of receiving a user input may be provided on the remote control.
  • the remote control may be provided with a touch sensing unit that receives a user's touch input (touch gesture) and/or a motion sensing unit that detects a movement of the remote control itself by the user.
  • the input device includes a terminal device such as a smartphone in which a remote control application is installed, and in this case, a user's touch input through a touch screen can be received.
  • the input device becomes an external device capable of wireless communication with the main body of the electronic device 100, and wireless communication includes Bluetooth, infrared communication, RF communication, wireless LAN, Wi-Fi direct, and the like.
  • the user input unit 130 may include a motion sensor for detecting a user's hand motion, that is, a hand gesture (hereinafter, also referred to as a gesture).
  • the electronic device 100 may output data by detecting the movement distance, movement speed, area of the movement region, etc. of the hand by the motion detection unit.
  • the user input unit 130 may include a touch sensor capable of detecting a user's touch on a bezel area around the display 121 .
  • the user input unit 130 may include a sound receiving unit 130 such as a microphone 150 capable of receiving a voice spoken by a user.
  • a sound receiving unit 130 such as a microphone 150 capable of receiving a voice spoken by a user.
  • the user input unit 130 may receive a user input for a set distance that is a criterion for privacy processing of image data. For example, a user input for setting or adjusting (changing) a set distance or a reference position corresponding to the set distance may be received through the user input unit 130 .
  • the electronic device 100 may include a storage unit 140 .
  • the storage unit 140 stores digitized data.
  • the storage unit 140 is a non-volatile storage capable of preserving data regardless of whether or not power is provided, and data to be processed by the processor 180 is loaded and the data is stored when power is not supplied. It includes memory of volatile attributes that cannot be Storage includes flash-memory, hard-disc drive (HDD), solid-state drive (SSD), read-only memory (ROM), and buffer and random access memory (RAM). etc.
  • the electronic device 100 may include a microphone 150 .
  • the microphone 150 collects the sound of the external environment including the user's voice.
  • the microphone 150 transfers the signal of the collected sound to the processor 180 .
  • the electronic device 100 may include a microphone 150 that collects user voice, or may receive a voice signal from an external device such as a remote controller having a microphone or a smartphone through the interface unit 110 .
  • a remote controller application may be installed in an external device to control the electronic device 100 or perform functions such as voice recognition. In the case of an external device with such an application installed, it can receive a user's voice, and the external device can transmit and receive data and control data using the electronic device 100 and Wi-Fi/BT or infrared rays.
  • a plurality of interface units 110 that can be implemented may exist in the electronic device 100 .
  • the electronic device 100 may include a speaker 160 .
  • the speaker 160 outputs the audio data processed by the processor 180 as sound.
  • the speaker 160 includes a unit speaker prepared to correspond to audio data of one audio channel, and may include a plurality of unit speakers to respectively correspond to audio data of a plurality of audio channels.
  • the speaker 160 may be provided separately from the electronic device 100, and in this case, the electronic device 100 may transfer audio data to the speaker 160 through the interface unit 110.
  • the electronic device 100 may include a sensor 170 .
  • the sensor 170 may detect a state of the electronic device 100 or a state around the electronic device 100 and transmit the sensed information to the processor 180 .
  • the sensor 170 includes a camera.
  • an acceleration sensor e.g., a Bosch Sensortec BMA150 accelerometer
  • a temperature/humidity sensor e.g., a Bosch Sensortec BMA150 accelerometer
  • a gyroscope sensor e.g., a Bosch Sensortec BMA150 accelerometer
  • a position sensor e.g., GPS
  • a pressure sensor e.g., a MEMS pressure sensor
  • a proximity sensor e.g., a proximity sensor
  • an RGB sensor luminance sensor
  • the electronic device 100 may include a processor 180 .
  • the processor 180 includes one or more hardware processors implemented as a CPU, chipset, buffer, circuit, etc. mounted on a printed circuit board, and may be implemented as a system on chip (SOC) depending on a design method.
  • the processor 180 includes modules corresponding to various processes such as a demultiplexer, a decoder, a scaler, an audio digital signal processor (DSP), and an amplifier when the electronic device 100 is implemented as a display device.
  • some or all of these modules may be implemented as an SOC.
  • modules related to image processing such as a demultiplexer, a decoder, and a scaler, may be implemented as an image processing SOC
  • an audio DSP may be implemented as a separate chipset from the SOC.
  • the processor 180 may convert the voice signal into voice data.
  • the voice data may be text data obtained through a speech-to-text (STT) process of converting a voice signal into text data.
  • STT speech-to-text
  • the processor 180 identifies a command indicated by the voice data and performs an operation according to the identified command.
  • the process of processing voice data and the process of identifying and executing commands may all be executed in the electronic device 100 .
  • at least some of the processes are performed by at least one server communicatively connected to the electronic device 100 through a network. can be performed
  • the processor 180 may call at least one command among software commands stored in a storage medium readable by a machine such as the electronic device 100 and execute it. This enables a device such as the electronic device 100 to be operated to perform at least one function according to the at least one called command.
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary' only means that the storage medium is a tangible device and does not contain signals (e.g., electromagnetic waves), and this term refers to the case where data is semi-permanently stored in the storage medium and the case where data is temporarily stored Doesn't differentiate between cases.
  • the processor 180 obtains an image taken by a camera connected through the interface unit, obtains information indicating a location where the camera is installed among a plurality of locations where the camera can be installed, and Correspondingly, a motion identification model corresponding to the obtained information is selected from among a plurality of motion identification models prepared based on data acquired from the camera, and the user's motion from the image captured by the camera based on the selected motion identification model and at least some of the data analysis, processing, and result information generation for performing functions based on the identified user's motion as a rule-based or artificial intelligence algorithm, machine learning, neural network ), or at least one of deep learning algorithms.
  • the processor 180 obtains information representing a location where the camera is installed among a plurality of locations where the camera can be installed, and uses data obtained from the camera corresponding to each of the plurality of locations as an input of an artificial intelligence model. can be converted into a suitable form.
  • AI models can be created through learning.
  • being made through learning means that a basic artificial intelligence model is learned using a plurality of learning data by a learning algorithm, so that a predefined action rule or artificial intelligence model set to perform a desired characteristic (or purpose) is created. means burden.
  • An artificial intelligence model may be composed of a plurality of neural network layers. Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation is performed through an operation between an operation result of a previous layer and a plurality of weight values.
  • Inference prediction is a technology that judges information and logically infers and predicts it. It includes Knowledge based Reasoning, Optimization Prediction, Preference-based Planning, and Recommendation. include
  • the processor 180 may perform functions of a learning unit and a recognizing unit together.
  • the learning unit may perform a function of generating a learned neural network
  • the recognizing unit may perform a function of recognizing (or inferring, predicting, estimating, or judging) data using the learned neural network.
  • the learning unit may create or update a neural network.
  • the learning unit may acquire learning data to generate a neural network.
  • the learning unit may acquire learning data from the storage unit 140 or the outside.
  • the learning data may be data used for learning of the neural network, and the neural network may be trained by using data on which the above operations are performed as learning data.
  • the learning unit may perform pre-processing on the acquired training data before training the neural network using the training data, or may select data to be used for learning from among a plurality of training data. For example, the learning unit may process the learning data into a form of data suitable for learning by processing the learning data in a preset format, filtering, or adding/removing noise. The learning unit may generate a neural network set to perform the above operation using the preprocessed training data.
  • a learned neural network may be composed of a plurality of neural networks (or layers). Nodes of a plurality of neural network networks have weights, and the plurality of neural network networks may be connected to each other so that an output value of one neural network network is used as an input value of another neural network network.
  • Examples of neural network networks include Convolutional Neural Network (CNN), Deep Neural Network (DNN), Recurrent Neural Network (RNN), Restricted Boltzmann Machine (RBM), Deep Belief Network (DBN), Bidirectional Recurrent Deep Neural Network (BRDNN), and It may include models such as Deep Q-Networks.
  • the recognizer may obtain target data to perform the above operation.
  • Target data may be obtained from the storage unit 140 or from the outside.
  • the target data may be data to be recognized by a neural network.
  • the recognizer may perform preprocessing on the acquired target data or select data to be used for recognition from among a plurality of target data. For example, the recognizer may process the target data into a form of data suitable for recognition by processing the target data into a preset format, filtering, or adding/removing noise.
  • the recognizer may obtain an output value output from the neural network by applying the preprocessed target data to the neural network.
  • the recognition unit may obtain a probability value or a reliability value together with the output value.
  • control method of the electronic device 100 may be included and provided in a computer program product.
  • the computer program product may include instructions of software executed by the processor 180 as described above.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a device-readable storage medium (eg CD-ROM), or through an application store (eg Play StoreTM) or between two user devices (eg smartphones). It can be distributed (eg, downloaded or uploaded) directly or online. In the case of online distribution, at least part of the computer program product may be temporarily stored or temporarily created in a device-readable storage medium such as a manufacturer's server, an application store server, or a relay server's memory.
  • FIG. 3 is a flowchart illustrating an operation of an electronic device according to an embodiment of the present invention.
  • the processor 180 may obtain an image captured by the camera 200 connected through the interface unit 110 (S310).
  • the camera 200 may be connected to the electronic device 100 through the interface unit 110 including the wired interface unit 111 and the wireless interface unit 112 as described above with reference to FIG. 2, regardless of the connection type. don't
  • the processor 180 may obtain information indicating a location where the camera 200 is installed among a plurality of locations where the camera 200 may be installed with respect to the display (S320).
  • the camera 200 may be installed in various locations as shown in FIG. 1 , but is not limited to that shown in FIG. 1 and may be determined or changed according to user convenience.
  • the information representing the location where the camera 200 is installed includes the relative location of the camera 200 and the display 121 of the electronic device 100 in addition to information about the location where the camera 200 is installed. contains information that indicates The processor 180 may obtain information indicating the location where the camera 200 is installed using various methods.
  • a predetermined mark is displayed at a specific location of the display 121, and after inducing the user to look at it, the relative location of the display 121 and the camera 200 is identified. can do.
  • RSSI Received Signal Strength Indication
  • the electronic device 100 receives a radio signal from the camera 200 through the interface unit 110, and the processor 180 determines radio wave reception strength between the camera 200 and the electronic device 100 using the received radio signal. (RSSI) and use trilateration to identify the position of the camera 200. At this time, the camera 200 may identify a 2D position on a virtual plane parallel to the surface of the display 121 .
  • a sensor 170 is provided in an outer housing of the electronic device 100, for example, an edge area of the display 121, and the sensor 170 detects the location.
  • the location may be recognized as the location of the camera 200 .
  • a user interface guiding the user to install the camera 200 is displayed on the display 121, and the difference before/after It can be used in various ways, such as using a method for comparing .
  • Another method using hardware capable of specifying the location of the camera 200 is to have multiple camera slots on the display and identify which slot the camera is installed by a simple sensor such as a contact sensor.
  • the processor 180 may select a motion identification model corresponding to a location where the camera 200 is installed from among a plurality of motion identification models prepared based on data acquired corresponding to a plurality of locations. (S330).
  • the captured image may vary and the appearance of the displayed object may vary.
  • the electronic device 100 of FIG. 7 is a TV installed at a certain height of a wall
  • the first image 710 captured by the camera 200 is In Example 2 (702) of the above
  • the second image 730 captured by the camera 200 is displayed on the display 121.
  • the first image 710 is an image captured at a slightly oblique angle from the upper right corner.
  • the camera 200 is installed at the lower right corner, but since the electronic device 100 is installed at a certain height of the wall, the image captured by the camera 200 is an image captured at the middle height. can be seen as Therefore, the captured person's figure is displayed as if the image was captured from the front.
  • a plurality of motion identification models are prepared based on data obtained in correspondence with a plurality of positions in order to identify motions corresponding to images that vary according to positions.
  • a motion identification model may be prepared based on data acquired for each position.
  • a plurality of motion identification models may be created at one location according to an imaging angle, and the same motion identification model may be applied to an image obtained from a camera installed at a location within a predefined range.
  • Data acquired corresponding to a plurality of positions includes not only video data captured at each position, but also data for performing application functions and, if necessary, audio data.
  • the image may use data obtained by virtual simulation when a camera is installed at a corresponding location, not necessarily taken by a camera.
  • data for performing an application function means data for performing a function provided for each application through an image captured by the camera 200 .
  • reference data to be recognized as a specific gesture compared to an image captured by the camera 200 image data when the same gesture is recognized in multiple locations , data when the same gesture is recognized within a predetermined range of a specific location, and the like.
  • the corresponding application may use a motion identification model prepared based on data obtained for each specific location as a resource.
  • the prepared motion identification model may be used to recognize an image obtained from a camera installed at a corresponding location.
  • the motion identification model may be an artificial intelligence model learned using an artificial neural network using these data as input data.
  • the processor 180 identifies the artificial intelligence model, it may be performed as described in FIG. 2 , in addition to the interface unit 110, a motion identification model previously prepared from the outside such as a server, and a pre-learned artificial intelligence model can receive
  • the processor 180 may select a motion identification model corresponding to a location where the camera 200 is installed from among a plurality of prepared motion identification models.
  • the processor 180 may select a motion identification model prepared in correspondence with the location based on the information indicating the location where the camera 200 is installed obtained in S320. For example, based on FIG. 1 , a camera 200 is installed on the upper left side of the electronic device 100, and a motion identification model provided with data such as an image of an angle corresponding to an image captured on the upper left side is selected. can
  • the processor 180 determines the position within a predetermined range from the position where the camera 200 is installed.
  • a motion identification model prepared based on a captured image may be identified. For example, referring to FIG. 1 , it is assumed that the camera 200 is installed on the upper left side, but there is no motion identification model prepared based on the camera 200 installed at a corresponding position. In this case, if the positions of the upper left side and the upper left side are within a predetermined range, and there is a first motion identification model prepared based on the location of the upper left side, the processor 180 may select the first motion identification model. have.
  • a motion identification model may be applied by inducing movement of the camera 200 to the provided position or by correcting an image acquired by the camera 200 as will be described later in FIG. 6 . Details are described in FIGS. 5 and 6 .
  • the processor 180 may identify a user's motion from an image captured by a camera based on the selected motion identification model, and perform a function based on the identified user's motion ( S340).
  • the processor 180 determines the camera 200 based on a motion identification model identified according to the location where the camera 200 is installed.
  • a user's gesture may be identified from an image captured by the user.
  • the processor 180 may perform a function corresponding to the identified gesture, that is, change a channel.
  • a recognition rate of a camera image may be increased by using a model reflecting a change of an image according to a position of a camera.
  • FIG. 4 is a diagram illustrating an operation of an electronic device according to an embodiment of the present invention.
  • FIG. 4 shows one of the methods for obtaining information indicating a location where the camera 200 is installed among a plurality of locations where the camera 200 can be installed with respect to the display in relation to S320 of FIG. 3 .
  • the electronic device 100 further includes a user input unit 130 .
  • the user input unit 130 includes a touch panel of the display 121 or buttons of a remote controller.
  • the processor 180 may display a GUI 410 indicating a plurality of locations where the camera 200 may be installed on the display 121 .
  • the location of the camera displayed on the GUI 410 may be a location used when a plurality of motion identification models are prepared.
  • the processor 180 may receive a user input for selecting the same or similar location where the camera 200 is installed among a plurality of locations displayed on the GUI 410 using the GUI 410 . Also, to help the user recognize the situation, "Please select the location where the camera is installed.” Guidance phrases such as may be displayed together in the GUI 410 .
  • GUI 410 is not limited to this, and " ", " It may be displayed in various forms, such as displaying an arrow in the form of " on the display 121.
  • the position of the camera can be more easily identified, and user convenience can be enhanced.
  • FIG. 5 is a diagram illustrating an operation of an electronic device according to an embodiment of the present invention.
  • FIG. 5 illustrates one of the methods of guiding a camera to change its location in relation to S330 of FIG. 3 .
  • the processor 180 generates a notification 510 for guiding a change in the position of the camera 200 based on the fact that a motion identification model corresponding to the installed position of the camera 200 is not prepared among a plurality of motion identification models. can be displayed on the display 121.
  • the notification 510 may display an arrow guiding the user to move to the position 520 where the camera 200 is currently displayed and the position 530 where the motion identification model is provided around the position 520 .
  • Positions of the plurality of cameras indicated by dotted lines in the notification 510 may be displayed on the GUI 410 as positions used when a plurality of motion identification models are prepared, as described in S330 of FIG. 3 .
  • Guidance phrases such as may be displayed together in the GUI 410 .
  • a motion recognition rate may be increased by changing a previously prepared motion identification model to correspond to a position of a camera based thereon.
  • FIG. 6 is a diagram illustrating an operation of an electronic device according to an embodiment of the present invention.
  • FIG. 6 illustrates an operation of the electronic device 100 when a user uses an exercise coaching application. Specifically, in relation to S330 of FIG. 3 , a method of correcting and applying an image captured by the camera 200 to apply a previously prepared motion identification model is illustrated.
  • a first camera 200 connected to the electronic device 100 is located at the center of the electronic device 100, and the electronic device 100 captures a first image captured by the first camera 200.
  • 610 and a second image 620 which is a sample image prepared in advance in the exercise coaching application are displayed.
  • the user can exercise while copying the exercise motion of the model displayed in the second image 620, and the electronic device 100 can provide services such as counting the number of user's exercise motions or determining accuracy. have.
  • the processor 180 may select a motion identification model prepared based on an image captured at a position of the camera 200 and a position within a predetermined range from among a plurality of motion identification models.
  • the processor 180 may select a motion identification model prepared based on an image captured at an imaging angle of the camera 200 and an imaging angle within a predetermined range from among a plurality of motion identification models.
  • a motion identification model is prepared based on a second image 620 captured by a second camera 600 located close to the first camera 200 among a plurality of motion identification models.
  • the processor 180 uses a motion identification model prepared based on the second image captured by the second camera 600. You can choose.
  • the processor 180 determines the second camera 600 A motion identification model prepared based on the second image 620 captured by ) may be selected.
  • the processor 180 may correct the first image 610 captured by the camera 200 to correspond to the second image 620 .
  • Various correction techniques may exist. For example, after extracting depth information of an image using multiple frames of a 2D image, a 3D stereoscopic image may be generated and corrected based on the extracted depth information. The generated 3D stereoscopic image may be corrected to correspond to the reference data of the motion identification model by using a transformation matrix for rotating the object at a specific angle.
  • the processor 180 obtains a third image 630 by correcting the first image 610 to correspond to the second image 620 .
  • the processor 180 may identify the user's motion from the corrected third image 630 based on the selected motion identification model. Therefore, since the processor 180 determines the number of exercises or the accuracy of the exercises based on the corrected third image 630, the reliability of the judgment increases.
  • the first image 610 may be displayed on the display 121 for natural image display and user convenience, but a third image 630 corrected according to the user's setting or the manufacturer's setting may be displayed. have.
  • the sample image displayed on the display 121 does not necessarily have to be the same as the second image as data for preparing the motion identification model, and the sample image is separately produced to have the same angle as the second image. can be displayed.
  • the sample image may be the same as content described later in FIG. 7 .
  • a motion recognition rate may be increased by changing a captured image to correspond to image data based on a previously prepared motion identification model.
  • FIG. 7 is a diagram illustrating an operation of an electronic device according to an embodiment of the present invention.
  • FIG. 7 illustrates displaying an image captured by the camera 200 and content corresponding to the image captured by the camera 200 among a plurality of pre-prepared contents.
  • the processor 180 may identify content captured at a location corresponding to the location where the camera 200 is installed among a plurality of pieces of content captured at different locations, and display the identified content on the display 121 .
  • the processor 180 identifies content captured at an imaging angle corresponding to the imaging angle of the camera 200 among a plurality of pieces of content captured at different imaging angles, and displays the identified content on the display 121.
  • the plurality of contents photographed at different positions or angles refers to contents of the same content captured at a plurality of positions or angles where a camera can be installed.
  • a coaching image corresponding to the same position or angle as the displayed image may be displayed as content so that the user can easily follow the exercise motion.
  • a plurality of contents may be prepared in advance and stored in the storage unit 140 or received from the outside.
  • the processor 180 may display on the display 121 together the identified content among a plurality of contents and an image captured by the camera 200 .
  • Example 1 701 of FIG. 7
  • the first image 710 is an image captured with the camera 200 positioned at the top right.
  • the processor 180 may identify first content 720 captured at a position corresponding to the camera 200 from among a plurality of pre-prepared content, and display the identified first content 720 on the display 121. .
  • the first image 710 captured by the camera 200 is an image captured at a slightly oblique angle from the upper right side.
  • the processor 180 identifies the first content 720 captured at an angle corresponding to the angle at which the first image 710 was captured among a plurality of pre-prepared contents, and displays the identified first content 720 (121). ) can be displayed.
  • the second image 730 is an image captured with the camera 200 positioned at the lower right.
  • the processor 180 may identify second content 740 captured at a location corresponding to the camera 200 from among a plurality of pre-prepared content, and display the identified second content 740 on the display 121.
  • the second image 730 captured by the camera 200 is an image captured at an angle from the lower right side toward the front.
  • the camera 200 is installed on the lower right side, but since the electronic device 100 is installed at a certain height of the wall, the image captured by the camera 200 can be viewed as an image captured at an intermediate height.
  • the processor 180 identifies the second content 740 photographed at an angle corresponding to the angle at which the second image 730 was photographed among a plurality of previously prepared contents, and displays the identified second content 740 (121). ) can be displayed.
  • the processor 180 identifies the content 720 captured at an angle corresponding to the angle at which the first image 710 was taken from among a plurality of previously prepared content, and displays the identified content 720 on the display 121.
  • the processor 180 may identify the content provided corresponding to the location based on the information indicating the location where the camera 200 is installed obtained in S320. For example, based on FIG. 1 , the camera 200 is installed on the upper left side of the electronic device 100, and content at an angle corresponding to an image taken from the upper left side can be identified.
  • the processor 180 determines the content provided at a location corresponding to the location where the camera 200 is installed within a predetermined range. can identify. For example, referring to FIG. 1 , it is assumed that the camera 200 is installed on the upper side of the left side, but there is no content provided based on the camera 200 installed at a position corresponding to the camera 200 . At this time, if the positions of the upper left side and the upper left side of the left side are within a predetermined range, and there is first content prepared based on being located on the upper left side, the processor 180 may identify the first content. This also applies to the imaging angle.
  • a notification is displayed as described above in FIG. 5 to induce the camera 200 to move to the location where the content is prepared.
  • the user can use the function of the application usefully by using a plurality of pre-prepared contents, providing satisfaction and convenience to the user's use of the device.
  • FIG. 8 is a diagram illustrating an operation of an electronic device according to an embodiment of the present invention.
  • FIG. 8 shows how different GUIs are applied depending on the location of a camera when a video call application is executed in relation to S320 of FIG. 3 .
  • the video call application When the video call application is executed, if the relative positions of the camera 200 and the window displaying the other party are not properly aligned, the other party's gaze and the electronic device 100 user's gaze are directed to different places, resulting in the video call user may cause discomfort to
  • the processor 180 may obtain information indicating a location where the camera 200 is installed among a plurality of locations where the camera may be installed with respect to the display 121 . Based on the obtained information, the processor 180 may identify a region of the display 121 to display a graphical user interface (GUI) related to a video call.
  • GUI graphical user interface
  • One area may be, for example, an area that minimizes a discrepancy between a gaze toward the camera and a gaze toward the other party. Accordingly, the GUI may be displayed on the display 121 at a location close to the location where the camera 200 is identified as being installed.
  • a GUI according to an embodiment of the present invention includes a video call window.
  • the processor 180 places the other party's video call window ( 810), and if the camera 200 is located at the bottom, the other party's video call window 820 may be displayed in an area directly above where the camera 200 is located on the display 121. At this time, the processor 180 may overlap and display the image 840 being displayed before receiving/outgoing the video call.
  • the processor 180 A video call window 830 may be displayed in an area closer to the camera 200 .
  • FIG. 9 is a diagram illustrating an operation of an electronic device according to an embodiment of the present invention.
  • FIG. 9 shows an embodiment designed to provide more convenience to the user following the embodiment of FIG. 8 .
  • the processor 180 identifies an area of the display 121 to display a GUI (Graphic User Interface) related to the video call based on the location where the camera 200 is installed. can do.
  • GUI Graphic User Interface
  • the GUI may include at least one of a video call window, a video call window animation, a video call count/outcoming notification, and a video call count/outcoming notification animation.
  • Example 1 when receiving or sending a video call, the processor 180 displays a video call notification animation 911 in the identified area so that the user's gaze naturally faces the camera. can be induced to do so.
  • a video call window animation 912 in which a video call window slides in or out is displayed in the identified region, so that the user can easily understand the situation.
  • a video call window 913 may be displayed as in Example 3 903 of FIG. 9 .
  • the processor 180 may overlap and display the image 840 being displayed before receiving/outgoing the video call.
  • more convenience can be provided to the user through various user interfaces and operations displayed on the screen.
  • FIG. 10 is a diagram illustrating an operation of an electronic device according to an embodiment of the present invention.
  • the electronic device 100 may further include a speaker 160 having a plurality of output directions of audio related to a video call.
  • the speaker 160 is as described in detail in FIG. 2 above.
  • the speaker may be an external speaker connected through the interface unit 110 as well as the speaker 160 built into the electronic device.
  • the processor 180 may control the speaker 160 to output audio in a direction close to one area among a plurality of output directions.
  • speakers 161 , 162 , and 163 may be installed at various locations around the electronic device 100 .
  • the processor 180 acquires information indicating the location where the camera 200 is installed, and based on the acquired information, the speaker 161 installed in a position close to the location where the camera is installed among a plurality of output directions of the speaker 160 provides sound through the speaker 161. You can control the speaker to output. At this time, it can be applied in various ways, such as outputting audio from the speaker 161 or adjusting the balance of the overall sound to the center of the speaker 161.
  • the GUI when the GUI is displayed at a location where the camera 200 is identified as being installed, it can help focus not only the user's gaze but also the user's hearing in that direction.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 일 실시예에 따른 전자장치에 있어서, 인터페이스부; 디스플레이; 상기 인터페이스부를 통해 연결된 카메라에 의해 촬상되는 영상을 획득하고, 상기 디스플레이에 대하여 상기 카메라가 설치될 수 있는 복수의 위치 중 상기 카메라가 설치된 위치를 나타내는 정보를 획득하고, 상기 복수의 위치에 대응하는 데이터에 기초하여 마련된 복수의 동작 식별 모델 중 상기 카메라가 설치된 위치에 대응하는 동작 식별 모델을 선택하고, 상기 선택된 동작 식별 모델에 기초하여 상기 카메라에 의해 촬상되는 영상으로부터 사용자의 동작을 식별하고, 상기 식별된 사용자의 동작에 기초하여 기능을 수행하는 프로세서를 포함한다.

Description

전자장치 및 그 제어방법
관련된 출원에 대한 상호-참조
본 출원은 2021년 6월 4일자로 대한민국 특허청에 제출된 대한민국 특허 출원번호 제10-2021-0072712호에 기초한 우선권을 주장하며, 그 개시 내용은 전체가 참조로 본 발명에 포함된다.
본 개시는 카메라를 이용한 다양한 서비스를 제공하는 전자장치 및 그 제어방법에 관한 것이다.
영상통화나 카메라에 촬상되는 모습을 통해 움직임을 인식하여 서비스를 제공하는 등 카메라가 단순 영상을 촬상하는 용도 이외에 다양한 형태로 이용됨에 따라 다양한 위치에 놓여 사용될 수 있다. 카메라는 전자장치의 디스플레이에 부착되거나, 전자장치의 외장 하우징에 거치될 수 있고, 사용자의 편의나 주변 환경 등에 따라 위치를 변경하는 등 임의의 위치에 배치될 수 있다. 따라서, 디스플레이와 카메라 간의 상대적 위치가 일정하지 않을 수 있다. 특히 TV와 같은 전자장치는 디스플레이가 대형화되는 추세이기 때문에, 카메라 위치의 편차가 증가할 수 있다.
이 경우 일 예로, 영상통화 어플리케이션에서, 상대방 모습을 디스플레이에 표시할 때, 카메라와 디스플레이 내 상대방 모습을 표시한 윈도우와의 상대적 위치가 올바르게 정렬되지 않으면, 시선이 다른 곳을 향하는 화면이 표시되어 영상통화 사용자에게 불편함을 초래할 수 있다.
다른 예로, 운동 코칭과 같이 세부적인 움직임과 동작을 인식해야 하는 어플리케이션에서는, 카메라의 위치에 따라, 카메라 영상에 대한 인식률이 달라질 수 있다. 사용자 움직임의 인식은 인공신경망을 활용하여 구현될 수 있으며, 인식률은 학습에 사용된 데이터셋의 영향을 받는다. TV 상단에 카메라가 위치한 것을 가정한 데이터셋으로 학습된 인공신경망은 TV 하단에 카메라가 위치했을 때 인식률이 저하될 수 있다.
본 개시의 목적은 카메라를 이용하는 보다 나은 서비스를 제공하는 전자장치 및 그 제어방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 전자장치에 있어서, 인터페이스부; 디스플레이; 인터페이스부를 통해 연결된 카메라에 의해 촬상되는 영상을 획득하고, 디스플레이에 대하여 카메라가 설치될 수 있는 복수의 위치 중 카메라가 설치된 위치를 나타내는 정보를 획득하고, 복수의 위치에 대응하는 데이터에 기초하여 마련된 복수의 동작 식별 모델 중 카메라가 설치된 위치에 대응하는 동작 식별 모델을 선택하고, 선택된 동작 식별 모델에 기초하여 카메라에 의해 촬상되는 영상으로부터 사용자의 동작을 식별하고, 식별된 사용자의 동작에 기초하여 기능을 수행하는 프로세서를 포함한다.
본 발명의 일 실시예에 따른 전자장치에 있어서, 사용자입력부를 더 포함하고, 프로세서는, 카메라가 설치될 수 있는 복수의 위치를 나타내는 GUI를 디스플레이에 표시하고, 카메라가 설치되는 위치를 선택하는 사용자입력을 GUI를 이용하여 수신할 수 있다.
프로세서는, 복수의 동작 식별 모델 중 카메라가 설치된 위치에 대응하는 동작 식별 모델이 마련되지 않은 것에 기초하여, 카메라의 위치의 변경을 안내하는 알림을 디스플레이에 표시할 수 있다.
카메라에 의해 촬상되는 영상은 제1영상이고, 프로세서는, 복수의 동작 식별 모델 중 카메라의 위치와 소정 범위 내의 위치에서 촬상되는 제2영상에 기초하여 마련된 동작 식별 모델을 선택하고, 제1영상을 제2영상에 대응하도록 보정하여 제3영상을 획득하고, 선택된 동작 식별 모델에 기초하여 제3영상으로부터 사용자의 동작을 식별할 수 있다.
카메라에 의해 촬상되는 영상은 제1영상이고, 프로세서는, 복수의 동작 식별 모델 중 카메라의 촬상 각도와 소정 범위 내의 촬상 각도로 촬상된 제2영상에 기초하여 마련된 동작 식별 모델을 선택하고, 제1영상을 제2영상에 대응하도록 보정하여 제3영상을 획득하고, 선택된 동작 식별 모델에 기초하여 제3영상으로부터 사용자의 동작을 식별할 수 있다.
프로세서는, 서로 다른 위치에서 촬상된 복수의 컨텐츠 중 카메라가 설치된 위치에 대응되는 위치에서 촬상된 컨텐츠를 식별하고, 식별된 컨텐츠를 디스플레이에 표시할 수 있다.
프로세서는, 서로 다른 촬상 각도로 촬상된 복수의 컨텐츠 중 카메라의 촬상 각도에 대응하는 촬상 각도로 촬상된 컨텐츠를 식별하고, 식별된 컨텐츠를 디스플레이에 표시할 수 있다.
프로세서는, 식별된 컨텐츠와 카메라가 촬상하는 영상을 함께 디스플레이에 표시할 수 있다.
프로세서는, 획득된 정보에 기초하여 영상통화와 관련된 GUI(Graphic User Interface)를 표시할 디스플레이의 일 영역을 식별하고, 일 영역에 GUI를 표시할 수 있다.
GUI는 영상통화 윈도우, 영상통화 윈도우 애니메이션, 영상통화 수/발신 알림, 및 영상통화 수/발신 알림 애니메이션 중 적어도 하나를 포함할 수 있다.
영상통화와 관련된 음성의 복수의 출력 방향을 가지는 스피커를 더 포함하고, 프로세서는, 복수의 출력 방향 중 일 영역에 근접한 방향으로 음성을 출력하도록 스피커를 제어할 수 있다.
본 발명의 일 실시예에 따른 전자장치의 제어방법에 있어서, 인터페이스부를 통해 연결된 카메라에 의해 촬상되는 영상을 획득하는 단계; 디스플레이에 대하여 카메라가 설치될 수 있는 복수의 위치 중 카메라가 설치된 위치를 나타내는 정보를 획득하는 단계; 복수의 위치에 대응하는 데이터에 기초하여 마련된 복수의 동작 식별 모델 중 카메라가 설치된 위치에 대응하는 동작 식별 모델을 선택하는 단계; 선택된 동작 식별 모델에 기초하여 카메라에 의해 촬상되는 영상으로부터 사용자의 동작을 식별하는 단계; 및 식별된 사용자의 동작에 기초하여 기능을 수행하는 단계를 포함할 수 있다.
카메라가 설치된 위치를 나타내는 정보를 획득하는 단계는, 카메라가 설치될 수 있는 복수의 위치를 나타내는 GUI를 디스플레이에 표시하는 단계; 및 카메라가 설치되는 위치를 선택하는 사용자입력을 GUI를 이용하여 수신하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 전자장치의 제어방법에 있어서, 복수의 동작 식별 모델 중 카메라가 설치된 위치에 대응하는 동작 식별 모델이 마련되지 않은 것에 기초하여, 카메라의 위치의 변경을 안내하는 알림을 디스플레이에 표시하는 단계를 더 포함할 수 있다.
카메라에 의해 촬상되는 영상은 제1영상이고, 동작 식별 모델을 선택하는 단계는, 복수의 동작 식별 모델 중 카메라의 위치와 소정 범위 내의 위치에서 촬상되는 제2영상에 기초하여 마련된 동작 식별 모델을 선택하는 단계를 포함하고, 제1영상을 제2영상에 대응하도록 보정하여 제3영상을 획득하는 단계; 및 선택된 동작 식별 모델에 기초하여 제3영상으로부터 사용자의 동작을 식별하는 단계를 더 포함할 수 있다.
카메라에 의해 촬상되는 영상은 제1영상이고, 동작 식별 모델을 선택하는 단계는, 복수의 동작 식별 모델 중 카메라의 촬상 각도와 소정 범위 내의 촬상 각도로 촬상된 제2영상에 기초하여 마련된 동작 식별 모델을 선택하는 단계를 포함하고, 제1영상을 제2영상에 대응하도록 보정하여 제3영상을 획득하는 단계; 선택된 동작 식별 모델에 기초하여 제3영상으로부터 사용자의 동작을 식별하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 전자장치의 제어방법에 있어서, 서로 다른 위치에서 촬상된 복수의 컨텐츠 중 카메라가 설치된 위치에 대응되는 위치에서 촬상된 컨텐츠를 식별하는 단계; 및 식별된 컨텐츠를 디스플레이에 표시하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 전자장치의 제어방법에 있어서, 서로 다른 촬상 각도로 촬상된 복수의 컨텐츠 중 카메라의 촬상 각도에 대응하는 촬상 각도로 촬상된 컨텐츠를 식별하는 단계; 및 식별된 컨텐츠를 디스플레이에 표시하는 단계를 포함할 수 있다.
디스플레이에 표시하는 단계는, 식별된 컨텐츠와 카메라가 촬상하는 영상을 함께 디스플레이에 표시하는 단계를 포함할 수 있다.
획득된 정보에 기초하여 영상통화와 관련된 GUI(Graphic User Interface)를 표시할 디스플레이의 일 영역을 식별하는 단계; 및 일 영역에 GUI를 표시하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 전자장치의 제어방법에 있어서, 복수의 출력 방향을 가지는 스피커를 통해 복수의 출력 방향 중 일 영역에 근접한 방향으로 영상통화와 관련된 음성을 출력하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따르면, 카메라의 위치를 이용하여, 화면에 표시하는 사용자 인터페이스를 달리함으로써, 디스플레이와 카메라의 상대적 위치에 따른 불편함을 감소시킬 수 있다.
또한, 카메라의 위치에 따른 데이터를 이용하여 카메라 영상에 대한 인식률을 높일 수 있다.
본 개시의 실시예들의 상술한 및 다른 양상, 특징 및 그 장점은 다음의 첨부된 도면에 관한 설명으로부터 더 명확해 질 것이다.
도 1은 전자장치 및 다양한 위치에 위치한 카메라를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 의한 전자장치의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 전자장치의 동작 흐름도를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다.
이하에서는 첨부 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 도면에서 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 구성요소를 지칭하며, 도면에서 각 구성요소의 크기는 설명의 명료성과 편의를 위해 과장되어 있을 수 있다. 다만, 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 이하의 실시예에 설명된 구성 또는 작용으로만 한정되지는 않는다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
본 발명의 실시예에서, 제1, 제2 등과 같이 서수를 포함하는 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 발명의 실시예에서, '구성되다', '포함하다', '가지다' 등의 용어는 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 또한, 본 발명의 실시예에서, '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있으며, 적어도 하나의 모듈로 일체화되어 구현될 수 있다. 또한, 본 발명의 실시예에서, 복수의 요소 중 적어도 하나(at least one)는, 복수의 요소 전부뿐만 아니라, 복수의 요소 중 나머지를 배제한 각 하나 혹은 이들의 조합 모두를 지칭한다.
도 1은 전자장치 및 다양한 위치에 위치한 카메라를 도시한 도면이다.
본 발명의 일 실시예에 따르면, 전자장치(100)는, 디스플레이(121)를 포함하는 디스플레이장치로서 구현될 수 있다. 일 예로, 전자장치(100)는 TV, 컴퓨터, 스마트 폰, 태블릿, 휴대용 미디어 플레이어, 웨어러블 디바이스, 비디오 월, 전자액자 등을 포함할 수 있다. 그러나, 본 발명의 사상이 전자장치(100)의 구현 예시에 한정되지 않는 바, 다른 실시예로서, 전자장치(100)는, 유선 또는 무선 연결된 외부의 디스플레이로 신호를 전송하는 셋탑박스와 같은 영상처리장치로서 구현될 수도 있다.
본 발명의 일 실시예에 따르면, 카메라(200)는 도 1에 도시된 바와 같이 다양한 위치에 설치될 수 있다. 일 예로, 전자장치(100)의 외부 하우징에 탈부착 가능하도록 거치될 수 있다. 이 때, 도 1에서 도시하는 거치 가능한 장소는 전자장치(100)의 상단(좌측, 중앙, 우측), 하단(좌측, 중앙, 우측), 우측면(상측, 중앙, 하측), 좌측면(상측, 중앙, 하측)이다. 이하, 도 3 내지 도 10에서 도 1을 참조하는 경우, 해당 용어를 이용하여 설명한다. 다만, 이는 일 예시일 뿐, 카메라가 설치되는 위치는 본 도면에 한정되지 않는다.
또한, 카메라(200)는 전자장치(100) 하부에 놓인 수납장 등 전자장치(100)와 소정 간격 떨어진 위치에 설치되는 등 주변 환경에 따라 그 위치가 달라질 수 있다.
카메라(200)의 위치가 달라지는 경우, 카메라(200)에 의해 촬상된 영상이 달라지게 된다. 따라서, 본 발명에서는 서비스를 제공하는 과정에서 사용자 불편이나 기능 저하가 발생하는 것을 방지하는 전자장치 및 그 제어방법을 제공한다.
이하, 도면을 참조하여, 본 발명 일 실시예에 따른 전자장치의 구성들에 대해 설명하기로 한다.
도 2는 본 발명의 일 실시예에 의한 전자장치의 구성을 도시한 블록도이다.
도 2에 도시된 바와 같이, 전자장치(100)는 인터페이스부(110)를 포함할 수 있다.
인터페이스부(110)는 유선 인터페이스부(111)를 포함할 수 있다. 유선 인터페이스부(111)는 지상파/위성방송 등 방송표준에 따른 방송신호를 수신할 수 있는 안테나가 연결되거나, 케이블 방송표준에 따른 방송신호를 수신할 수 있는 케이블이 연결될 수 있는 커넥터 또는 포트를 포함한다. 다른 예로서, 전자장치(100)는 방송신호를 수신할 수 있는 안테나를 내장할 수도 있다. 유선 인터페이스부(111)는 HDMI 포트, DisplayPort, DVI 포트, 썬더볼트, 컴포지트(composite) 비디오, 컴포넌트(component) 비디오, 슈퍼 비디오(super video), SCART 등과 같이, 비디오 및/또는 오디오 전송표준에 따른 커넥터 또는 포트 등을 포함할 수 있다. 유선 인터페이스부(111)는 USB 포트 등과 같은 범용 데이터 전송표준에 따른 커넥터 또는 포트 등을 포함할 수 있다. 유선 인터페이스부(111)는 광 전송표준에 따라 광케이블이 연결될 수 있는 커넥터 또는 포트 등을 포함할 수 있다. 유선 인터페이스부(111)는 외부 마이크 또는 마이크를 구비한 외부 오디오기기가 연결되며, 오디오기기로부터 오디오 신호를 수신 또는 입력할 수 있는 커넥터 또는 포트 등을 포함할 수 있다. 유선 인터페이스부(111)는 헤드셋, 이어폰, 외부 스피커 등과 같은 오디오기기가 연결되며, 오디오기기로 오디오 신호를 전송 또는 출력할 수 있는 커넥터 또는 포트 등을 포함할 수 있다. 유선 인터페이스부(111)는 이더넷 등과 같은 네트워크 전송표준에 따른 커넥터 또는 포트를 포함할 수 있다. 예컨대, 유선 인터페이스부(111)는 라우터 또는 게이트웨이에 유선 접속된 랜카드 등으로 구현될 수 있다.
유선 인터페이스부(111)는 상기 커넥터 또는 포트를 통해 셋탑박스, 광학미디어 재생장치와 같은 외부기기, 또는 외부 디스플레이장치나, 스피커, 서버 등과 1:1 또는 1:N(N은 자연수) 방식으로 유선 접속됨으로써, 해당 외부기기로부터 비디오/오디오 신호를 수신하거나 또는 해당 외부기기에 비디오/오디오 신호를 송신한다. 유선 인터페이스부(111)는, 비디오/오디오 신호를 각각 별개로 전송하는 커넥터 또는 포트를 포함할 수도 있다.
그리고, 본 실시예에 따르면 유선 인터페이스부(111)는 전자장치(100)에 내장되나, 동글(dongle) 또는 모듈(module) 형태로 구현되어 전자장치(100)의 커넥터에 착탈될 수도 있다.
인터페이스부(110)는 무선 인터페이스부(112)를 포함할 수 있다. 무선 인터페이스부(112)는 전자장치(100)의 구현 형태에 대응하여 다양한 방식으로 구현될 수 있다. 예를 들면, 무선 인터페이스부(112)는 통신방식으로 RF(radio frequency), 지그비(Zigbee), 블루투스(bluetooth), 와이파이(Wi-Fi), UWB(Ultra WideBand) 및 NFC(Near Field Communication) 등 무선통신을 사용할 수 있다. 무선 인터페이스부(112)는 와이파이(Wi-Fi) 방식에 따라서 AP와 무선통신을 수행하는 무선통신모듈이나, 블루투스 등과 같은 1대 1 다이렉트 무선통신을 수행하는 무선통신모듈 등으로 구현될 수 있다. 무선 인터페이스부(112)는 네트워크 상의 서버와 무선 통신함으로써, 서버와의 사이에 데이터 패킷을 송수신할 수 있다. 무선 인터페이스부(112)는 적외선 통신표준에 따라 IR(Infrared) 신호를 송신 및/또는 수신할 수 있는 IR송신부 및/또는 IR수신부를 포함할 수 있다. 무선 인터페이스부(112)는 IR송신부 및/또는 IR수신부를 통해 리모컨 또는 다른 외부기기로부터 리모컨신호를 수신 또는 입력하거나, 다른 외부기기로 리모컨신호를 전송 또는 출력할 수 있다. 다른 예로서, 전자장치(100)는 와이파이(Wi-Fi), 블루투스(bluetooth) 등 다른 방식의 무선 인터페이스부(112)를 통해 리모컨 또는 다른 외부기기와 리모컨신호를 송수신할 수 있다.
전자장치(100)는 인터페이스부(110)를 통해 수신하는 비디오/오디오신호가 방송신호인 경우, 수신된 방송신호를 채널 별로 튜닝하는 튜너(tuner)를 더 포함할 수 있다.
전자장치(100)가 디스플레이 장치로 구현되는 경우, 디스플레이부(120)를 포함할 수 있다. 디스플레이부(120)는 화면 상에 영상을 표시할 수 있는 디스플레이 패널을 포함한다. 디스플레이 패널은 액정 방식과 같은 수광 구조 또는 OLED 방식과 같은 자발광 구조로 마련된다. 디스플레이부(120)는 디스플레이 패널의 구조에 따라서 부가적인 구성을 추가로 포함할 수 있는데, 예를 들면 디스플레이 패널이 액정 방식이라면, 디스플레이부(120)는 액정 디스플레이 패널과, 광을 공급하는 백라이트유닛과, 액정 디스플레이 패널의 액정을 구동시키는 패널구동기판을 포함한다. 이하 영상이 표시되는 화면 부분을 디스플레이(121)라 한다.
전자장치(100)는 사용자입력부(130)를 포함할 수 있다.
사용자입력부(130)는 사용자의 입력에 의해, 기설정된 다양한 제어 커맨드 또는 한정되지 않은 정보를 프로세서(180)에 전달한다. 사용자입력부(130)는 사용자 입력을 수신할 수 있는 다양한 입력수단을 포함한다.
일 실시예에서 사용자입력부(130)는 전자장치(100)에 마련된 전원키, 숫자키, 메뉴키 등의 버튼을 포함하는 키패드(또는 입력패널)를 포함할 수 있다.
일 실시예에서 사용자입력부(130)는 전자장치(100)를 원격으로 제어 가능하게 기설정된 커맨드/데이터/정보/신호를 생성하여 전자장치(100)로 전송하는 입력장치를 포함할 수 있다. 입력장치는, 예를 들면, 리모컨(remote control), 게임콘솔(game console), 키보드(keyboard), 마우스(mouse) 등을 포함하며, 전자장치(100)와 이격 분리되어, 사용자 입력을 수신할 수 있다.
리모컨에는 사용자 입력을 수신할 수 있는 적어도 하나의 버튼이 마련될 수 있다. 일 실시예에서 리모컨에는 사용자의 터치입력(터치제스처)을 수신하는 터치감지부 및/또는 사용자에 의한 리모컨 자체의 움직임을 감지하는 모션감지부가 마련될 수 있다. 일 실시예에서 입력장치는 리모컨 어플리케이션이 설치된 스마트폰과 같은 단말장치를 포함하며, 이 경우 터치스크린을 통한 사용자의 터치입력이 수신 가능하다.
입력장치는 전자장치(100) 본체와 무선통신이 가능한 외부장치가 되며, 무선통신은 블루투스, 적외선 통신, RF 통신, 무선랜, 와이파이 다이렉트 등을 포함한다.
일 실시예에서 사용자입력부(130)는 사용자의 손의 움직임, 다시 말해, 핸드 제스처(hand gesture)(이하, 제스처 라고도 한다)를 감지하는 모션감지부를 포함할 수 있다. 전자장치(100)는 모션감지부는 손의 이동거리, 이동속도, 이동영역의 면적 등을 감지하여 데이터를 출력할 수 있다.
일 실시예에서 사용자입력부(130)는 디스플레이(121) 주변의 베젤영역에 대한 사용자의 터치를 검출할 수 있는 터치감지부를 포함할 수 있다.
일 실시예에서 사용자로부터 발화된 음성을 수신할 수 있는 마이크로폰(150)와 같은 소리수신부(130)가 사용자입력부(130)에 포함될 수 있다.
일 실시예에서, 사용자입력부(130)는 영상데이터에 대한 프라이버시 처리의 기준이 되는 설정 거리에 대한 사용자입력을 수신할 수 있다. 예를 들면, 사용자입력부(130)를 통해, 설정 거리 또는 설정 거리에 대응하는 기준 위치를 설정 또는 조정(변경)하기 위한 사용자입력이 수신될 수 있다.
전자장치(100)는 저장부(140)를 포함할 수 있다. 저장부(140)는 디지털화된 데이터를 저장한다. 저장부(140)는 전원의 제공 유무와 무관하게 데이터를 보존할 수 있는 비휘발성 속성의 스토리지(storage)와, 프로세서(180)에 의해 처리되기 위한 데이터가 로딩되며 전원이 제공되지 않으면 데이터를 보존할 수 없는 휘발성 속성의 메모리(memory)를 포함한다. 스토리지에는 플래시메모리(flash-memory), HDD(hard-disc drive), SSD(solid-state drive) ROM(Read Only Memory) 등이 있으며, 메모리에는 버퍼(buffer), 램(RAM; Random Access Memory) 등이 있다.
전자장치(100)는 마이크로폰(150)을 포함할 수 있다. 마이크로폰(150)은 사용자 음성을 비롯한 외부 환경의 소리를 수집한다. 마이크로폰(150)은 수집된 소리의 신호를 프로세서(180)에 전달한다. 전자장치(100)는 사용자 음성을 수집하는 마이크로폰(150)을 구비하거나, 또는 인터페이스부(110)를 통해 마이크로폰을 가진 리모트 컨트롤러, 스마트폰 등의 외부장치로부터 음성신호를 수신할 수 있다. 외부장치에 리모트 컨트롤러 어플리케이션을 설치하여 전자장치(100)를 제어하거나 음성 인식 등의 기능을 수행할 수도 있다. 이와 같은 어플리케이션이 설치된 외부장치의 경우, 사용자 음성을 수신할 수 있으며, 외부장치는 전자장치(100)와 Wi-Fi/BT 또는 적외선 등을 이용하여 데이터 송수신 및 제어가 가능한 바, 상기 통신 방식을 구현할 수 있는 복수의 인터페이스부(110)가 전자장치(100) 내에 존재할 수 있다.
전자장치(100)는 스피커(160)를 포함할 수 있다. 스피커(160)는 프로세서(180)에 의해 처리되는 오디오 데이터를 소리로 출력한다. 스피커(160)는 어느 한 오디오 채널의 오디오 데이터에 대응하게 마련된 단위 스피커를 포함하며, 복수 오디오 채널의 오디오 데이터에 각기 대응하도록 복수의 단위 스피커를 포함할 수 있다. 다른 실시예로서, 스피커(160)는 전자장치(100)와 분리되어 마련될 수 있으며, 이 경우 전자장치(100)는 오디오 데이터를 인터페이스부(110)를 통하여 스피커(160)로 전달할 수 있다.
전자장치(100)는 센서(170)를 포함할 수 있다. 센서(170)는, 전자장치(100)의 상태 또는 전자장치(100) 주변의 상태를 감지하고, 감지된 정보를 프로세서(180)로 전달할 수 있다. 센서(170)는, 카메라를 포함한다.
이 외에도 지자기 센서(Magnetic sensor), 가속도 센서(Acceleration sensor), 온/습도 센서, 적외선 센서, 자이로스코프 센서, 위치 센서(예컨대, GPS), 기압 센서, 근접 센서, 및 RGB 센서(illuminance sensor) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
전자장치(100)는 프로세서(180)를 포함할 수 있다. 프로세서(180)는 인쇄회로기판 상에 장착되는 CPU, 칩셋, 버퍼, 회로 등으로 구현되는 하나 이상의 하드웨어 프로세서를 포함하며, 설계 방식에 따라서는 SOC(system on chip)로 구현될 수도 있다. 프로세서(180)는 전자장치(100)가 디스플레이장치로 구현되는 경우에 디멀티플렉서, 디코더, 스케일러, 오디오 DSP(Digital Signal Processor), 앰프 등의 다양한 프로세스에 대응하는 모듈들을 포함한다. 여기서, 이러한 모듈들 중 일부 또는 전체가 SOC로 구현될 수 있다. 예를 들면, 디멀티플렉서, 디코더, 스케일러 등 영상처리와 관련된 모듈이 영상처리 SOC로 구현되고, 오디오 DSP는 SOC와 별도의 칩셋으로 구현되는 것이 가능하다.
프로세서(180)는 마이크로폰(150) 등에 의해 사용자 음성에 대한 음성신호를 획득하면, 음성신호를 음성데이터로 변환할 수 있다. 이 때, 음성데이터는 음성신호를 텍스트 데이터로 변환하는 STT(Speech-to-Text) 처리 과정을 통해 얻어진 텍스트 데이터일 수 있다. 프로세서(180)는 음성데이터가 나타내는 커맨드를 식별하고, 식별된 커맨드에 따라서 동작을 수행한다. 음성데이터 처리 과정과, 커맨드 식별 및 수행 과정은, 전자장치(100)에서 모두 실행될 수도 있다. 그러나, 이 경우에 전자장치(100)에 필요한 시스템 부하 및 소요 저장용량이 상대적으로 커지게 되므로, 적어도 일부의 과정은 네트워크를 통해 전자장치(100)와 통신 가능하게 접속되는 적어도 하나의 서버에 의해 수행될 수 있다.
본 발명에 따른 프로세서(180)는 전자장치(100)와 같은 기기(Machine)가 읽을 수 있는 저장 매체(Storage Medium)에 저장된 소프트웨어의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 전자장치(100)와 같은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(Non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, 비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(예컨대, 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
한편, 프로세서(180)는 상기 인터페이스부를 통해 연결된 카메라에 의해 촬상되는 영상을 획득하고, 상기 카메라가 설치될 수 있는 복수의 위치 중 상기 카메라가 설치된 위치를 나타내는 정보를 획득하고, 상기 복수의 위치에 대응하여 카메라로부터 획득되는 데이터에 기초하여 마련된 복수의 동작 식별 모델 중 상기 획득된 정보에 대응하는 동작 식별 모델을 선택하고, 상기 선택된 동작 식별 모델에 기초하여 상기 카메라에 의해 촬상되는 영상으로부터 사용자의 동작을 식별하고, 상기 식별된 사용자의 동작에 기초하여 기능을 수행하기 위한 데이터 분석, 처리, 및 결과 정보 생성 중 적어도 일부를 규칙 기반 또는 인공지능(Artificial Intelligence) 알고리즘으로서 기계학습, 신경망 네트워크(neural network), 또는 딥러닝 알고리즘 중 적어도 하나를 이용하여 수행할 수 있다.
프로세서(180)는 카메라가 설치될 수 있는 복수의 위치 중 상기 카메라가 설치된 위치를 나타내는 정보를 획득하고, 상기 복수의 위치 각각에 대응하여 카메라로부터 획득되는 데이터를 인공지능 모델의 입력으로 사용하는 데에 적합한 형태로 변환할 수 있다. 인공지능 모델은 학습을 통해 만들어 질 수 있다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다.
추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론(Knowledge based Reasoning), 최적화 예측(Optimization Prediction), 선호 기반 계획(Preference-based Planning), 추천(Recommendation) 등을 포함한다
일 예로, 프로세서(180)는 학습부 및 인식부의 기능을 함께 수행할 수 있다. 학습부는 학습된 신경망 네트워크를 생성하는 기능을 수행하고, 인식부는 학습된 신경망 네트워크를 이용하여 데이터를 인식(또는, 추론, 예측, 추정, 판단)하는 기능을 수행할 수 있다. 학습부는 신경망 네트워크를 생성하거나 갱신할 수 있다. 학습부는 신경망 네트워크를 생성하기 위해서 학습 데이터를 획득할 수 있다. 일 예로, 학습부는 학습 데이터를 저장부(140) 또는 외부로부터 획득할 수 있다. 학습 데이터는, 신경망 네트워크의 학습을 위해 이용되는 데이터일 수 있으며, 상기한 동작을 수행한 데이터를 학습데이터로 이용하여 신경망 네트워크를 학습시킬 수 있다.
학습부는 학습 데이터를 이용하여 신경망 네트워크를 학습시키기 전에, 획득된 학습 데이터에 대하여 전처리 작업을 수행하거나, 또는 복수 개의 학습 데이터들 중에서 학습에 이용될 데이터를 선별할 수 있다. 일 예로, 학습부는 학습 데이터를 기 설정된 포맷으로 가공하거나, 필터링하거나, 또는 노이즈를 추가/제거하여 학습에 적절한 데이터의 형태로 가공할 수 있다. 학습부는 전처리된 학습 데이터를 이용하여 상기한 동작을 수행하도록 설정된 신경망 네트워크를 생성할 수 있다.
학습된 신경망 네트워크는, 복수의 신경망 네트워크(또는, 레이어)들로 구성될 수 있다. 복수의 신경망 네트워크의 노드들은 가중치를 가지며, 복수의 신경망 네트워크들은 일 신경망 네트워크의 출력 값이 다른 신경망 네트워크의 입력 값으로 이용되도록 서로 연결될 수 있다. 신경망 네트워크의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN (Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks)과 같은 모델을 포함할 수 있다.
한편 인식부는 상기한 동작을 수행하기 위해, 타겟 데이터를 획득할 수 있다. 타겟 데이터는 저장부(140) 또는 외부로부터 획득된 것일 수 있다. 타겟 데이터는 신경망 네트워크의 인식 대상이 되는 데이터일 수 있다. 인식부는 타겟 데이터를 학습된 신경망 네트워크에 적용하기 전에, 획득된 타겟 데이터에 대하여 전처리 작업을 수행하거나, 또는 복수 개의 타겟 데이터들 중에서 인식에 이용될 데이터를 선별할 수 있다. 일 예로, 인식부는 타겟 데이터를 기 설정된 포맷으로 가공하거나, 필터링 하거나, 또는 노이즈를 추가/제거하여 인식에 적절한 데이터의 형태로 가공할 수 있다. 인식부는 전처리된 타겟 데이터를 신경망 네트워크에 적용함으로써, 신경망 네트워크로부터 출력되는 출력값을 획득할 수 있다. 인식부는 출력값과 함께, 확률값 또는 신뢰도값을 획득할 수 있다.
일 예로, 본 발명에 따른 전자장치(100)의 제어방법은 컴퓨터 프로그램 제품 (Computer Program Product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은, 앞서 설명한, 프로세서(180)에 의해 실행되는 소프트웨어의 명령어들을 포함할 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예컨대, CD-ROM)의 형태로 배포되거나, 또는 어플리케이션 스토어(예컨대, 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예컨대, 스마트폰들) 간에 직접, 온라인으로 배포(예컨대, 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
도 3은 본 발명의 일 실시예에 따른 전자장치의 동작 흐름도를 도시한 도면이다.
본 발명의 일 실시예에 따르면, 프로세서(180)는 인터페이스부(110)를 통해 연결된 카메라(200)에 의해 촬상되는 영상을 획득할 수 있다(S310). 카메라(200)는 앞서 도 2에서 설명한 바와 같이 유선 인터페이스부(111)와 무선 인터페이스부(112)를 포함한 인터페이스부(110)를 통해 전자장치(100)와 연결될 수 있고, 그 연결 형태에 구애받지 않는다.
본 발명의 일 실시예에 따르면, 프로세서(180)는 디스플레이에 대하여 카메라(200)가 설치될 수 있는 복수의 위치 중 카메라(200)가 설치된 위치를 나타내는 정보를 획득할 수 있다(S320). 카메라(200)는 도 1에 도시된 바와 같이 다양한 위치에 설치될 수 있으나, 도 1에 도시된 바에 한정되지 않고 사용자의 편의에 따라 정해지거나, 변경될 수 있다.
본 발명의 일 실시예에 따르면, 카메라(200)가 설치된 위치를 나타내는 정보는 카메라(200)가 설치된 위치에 관한 정보 이외에 카메라(200)와 전자장치(100)의 디스플레이(121)와의 상대적 위치를 나타내는 정보를 포함한다. 프로세서(180)는 다양한 방법을 이용하여 카메라(200)가 설치된 위치를 나타내는 정보를 획득할 수 있다.
일 예로, 시선 추적(Gaze Tracking)을 이용하여, 디스플레이(121)의 특정 위치에 미리 지정된 마크를 표시하고 사용자가 이를 바라보도록 유도한 후, 디스플레이(121)와 카메라(200)의 상대적 위치를 식별할 수 있다.
다른 예는 전파수신강도(RSSI; Received Signal Strength Indication)와 삼변측량을 사용하는 방법이다. 전자장치(100)는 인터페이스부(110)를 통해 카메라(200)로부터 무선신호를 수신하고, 프로세서(180)는 수신된 무선신호를 이용하여 카메라(200)와 전자장치(100) 간 전파수신강도(RSSI)를 측정하고, 삼변측량을 사용하여 카메라(200)의 위치를 식별할 수 있다. 이 때, 카메라(200)가 디스플레이(121)의 면과 평행하는 가상 평면 위에서의 2차원 위치를 식별할 수 있다.
또 다른 예로, 하드웨어를 사용하여 위치를 식별하는 방법으로, 전자장치(100)의 외장 하우징, 예를 들어, 디스플레이(121)의 테두리 영역에 센서(170)를 구비하고, 센서(170)에 감지된 위치를 카메라(200)의 위치로 인식할 수 있다. 이 때, 이미 전자장치(100)에 얹어지거나, 부착된 다른 물건과 구분하기 위해, 카메라(200)를 설치하도록 사용자에게 안내하는 사용자 인터페이스를 디스플레이(121)에 표시한 후, 그 전/후 차이를 비교하는 방법을 사용하는 등 다양하게 이용할 수 있다.
카메라(200)의 위치를 특정할 수 있는 하드웨어를 사용하는 또 다른 방법은, 디스플레이에 다중의 카메라 슬롯을 구비하고, 접촉식 센서와 같은 간단한 센서에 의해 어느 슬롯에 카메라가 설치되었는지를 식별하는 방법일 수 있다.
추가로, 사용자입력을 통해 카메라(200)의 위치를 식별하는 방법에 관하여는 도 4에서 자세히 서술한다.
본 발명의 일 실시예에 따르면, 프로세서(180)는 복수의 위치에 대응하여 획득되는 데이터에 기초하여 마련된 복수의 동작 식별 모델 중 카메라(200)가 설치된 위치에 대응하는 동작 식별 모델을 선택할 수 있다(S330).
앞서 설명한 바와 같이, 카메라(200)의 위치에 따라 촬상되는 영상이 달라지고, 표시되는 객체의 모습이 달라질 수 있다. 예를 들어, 도 7의 전자장치(100)는 벽의 일정 높이에 설치된 TV 이고, 도 7의 실시예 1(701)에는 카메라(200)에 의해 촬상된 제1영상(710)이, 도 7의 실시예 2(702)에는 카메라(200)에 의해 촬상된 제2영상(730)이 디스플레이(121)에 표시된다. 제1영상(710)은 우측 상단에서 살짝 비스듬한 각도로 촬상된 영상이다. 반면, 제2영상(730)은 카메라(200)가 우측 하단에 설치되었으나, 벽의 일정 높이에 전자장치(100)가 설치되었으므로, 카메라(200)에 의해 촬상된 영상은 중간 높이에서 촬상된 영상으로 볼 수 있다. 따라서, 촬상된 사람의 모습이 정면에서 촬상한 것처럼 표시된다.
이와 같이, 복수의 위치에 대응하여 카메라(200)로부터 획득되는 영상은 각각 다르다.
본 발명의 일 실시예에 따르면, 위치에 따라 달라지는 영상에 대응하여 동작을 식별하기 위해 복수의 위치에 대응하여 획득되는 데이터에 기초하여 복수의 동작 식별 모델이 마련된다. 예를 들어, 도 1을 참조하여, 전자장치(100)에 카메라가 상단의 좌측부터 상단 중앙, 상단 우측 등 설치되었을 때, 각 위치 별로 획득되는 데이터를 기초로 동작 식별 모델이 마련될 수 있다. 이 때, 동작 식별 모델은 하나의 위치에서도 촬상 각도에 따라 복수 개로 만들어 질 수 있고, 기 정의된 범위 내의 위치에 설치되는 카메라로부터 획득되는 영상에 동일한 동작 식별 모델을 적용할 수도 있다.
복수의 위치에 대응하여 획득되는 데이터란 각 위치에서 촬상한 영상데이터 뿐 아니라, 어플리케이션의 기능을 수행하기 위한 데이터, 필요에 따라 음성데이터를 포함한다. 이 때, 영상은 반드시 카메라에 의해 촬상된 것이 아닌 해당 위치에 카메라가 설치되는 경우의 가상 시뮬레이션에 의해 획득된 데이터를 이용할 수 있다. 그리고, 어플리케이션 기능을 수행하기 위한 데이터란, 어플리케이션 별로 제공하는 기능을 카메라(200)에 의해 촬상되는 영상을 통해 수행하기 위한 데이터를 의미한다. 예를 들어, 사용자의 제스처를 인식하여 기능을 수행하는 어플리케이션의 경우, 카메라(200)에 의해 촬상되는 영상과 비교하여 특정 제스처로 인식할 참조 데이터, 동일한 제스처를 여러 위치에서 인식하였을 때의 영상 데이터, 특정 위치의 소정 범위 내에서 동일한 제스처로 인식하였을 때의 데이터 등을 포함할 수 있다. 그리고, 해당 어플리케이션은 특정 위치 별 획득되는 데이터들에 기초하여 마련된 동작 식별 모델을 리소스로 이용할 수 있다.
마련된 동작 식별 모델은 해당 위치에 설치된 카메라로부터 획득된 영상을 인식하는데 이용될 수 있다. 동작 식별 모델은 이러한 데이터들을 입력 데이터로 하여 인공 신경망을 활용하여 학습한 인공 지능 모델일 수 있다. 프로세서(180)가 인공 지능 모델을 식별하는 경우, 도 2에 서술한 바와 같이 수행될 수 있으며, 이 외에도 인터페이스부(110)를 통해 서버 등 외부로부터 미리 마련된 동작 식별 모델, 미리 학습된 인공 지능 모델을 수신할 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(180)는 마련된 복수의 동작 식별 모델 중 카메라(200)가 설치된 위치에 대응하는 동작 식별 모델을 선택할 수 있다.
이 때, 프로세서(180)는 S320에서 획득된 카메라(200)가 설치된 위치를 나타내는 정보에 기초하여 해당 위치에 대응하여 마련된 동작 식별 모델을 선택할 수 있다. 예를 들어, 도 1을 기초하여, 전자장치(100)의 좌측면 상측에 카메라(200)가 설치되고, 좌측면 상측에서 촬상한 영상과 대응되는 각도의 영상 등 데이터로 마련된 동작 식별 모델을 선택할 수 있다.
이 때, 복수의 동작 식별 모델 중 카메라(200)가 설치된 위치와 대응한 위치에서 마련된 동작 식별 모델이 존재하지 않는 경우에는, 프로세서(180)는 카메라(200)가 설치된 위치와 소정 범위내의 위치에서 촬상되는 영상에 기초하여 마련된 동작 식별 모델을 식별할 수 있다. 예를 들어, 도 1을 참조하여 카메라(200)가 좌측면 상측에 설치되었으나, 그에 대응되는 위치에 설치된 것을 기반으로 마련된 동작 식별 모델은 없는 경우를 가정한다. 이 때, 좌측면 상측과 상단 좌측은 그 위치가 소정 범위 내이고, 상단 좌측에 위치된 것에 기초하여 마련된 제1동작 식별 모델이 존재하는 경우, 프로세서(180)는 제1동작 식별 모델을 선택할 수 있다.
혹은, 복수의 동작 식별 모델 중 카메라(200)가 설치된 위치와 대응한 위치에서 촬상된 영상에 기초하여 마련된 동작 식별 모델이 존재하지 않는 경우에는 도 5에서 후술하는 바와 같이 알림을 표시하여 동작 식별 모델이 마련된 위치로 카메라(200)를 이동하도록 유도하거나, 도 6에서 후술하는 바와 같이 카메라(200)로 획득된 영상을 보정하여 동작 식별 모델이 적용될 수 있다. 자세한 내용은 도 5 및 도 6에 서술한다.
본 발명의 일 실시예에 따르면, 프로세서(180)는 선택된 동작 식별 모델에 기초하여 카메라에 의해 촬상되는 영상으로부터 사용자의 동작을 식별하고, 식별된 사용자의 동작에 기초하여 기능을 수행할 수 있다(S340).
예를 들어, 제스처를 인식하여 채널 변경 등 지정된 기능을 수행하는 어플리케이션을 실행 중인 경우, 프로세서(180)는 카메라(200)가 설치된 위치에 따라 식별된 동작 식별 모델에 기초하여, 카메라(200)에 의해 촬상된 영상으로부터 사용자의 제스처를 식별할 수 있다. 프로세서(180)는 식별된 제스처에 대응하는 기능, 즉 채널 변경을 수행할 수 있다.
본 발명의 일 실시예에 따르면, 카메라의 위치에 따른 영상의 변화를 반영한 모델을 이용하여 카메라 영상에 대한 인식률을 높일 수 있다.
도 4는 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다.
도 4는 도 3의 S320과 관련하여, 디스플레이에 대하여 카메라(200)가 설치될 수 있는 복수의 위치 중 카메라(200)가 설치된 위치를 나타내는 정보를 획득하는 방법 중 하나에 대해서 도시한다.
전자장치(100)는 사용자입력부(130)를 더 포함한다. 사용자입력부(130)는 도 2에 자세히 서술한 바와 같이, 디스플레이(121)의 터치 패널이나, 리모컨의 버튼 등을 포함한다. 프로세서(180)는, 카메라(200)가 설치될 수 있는 복수의 위치를 나타내는 GUI(410)를 디스플레이(121)에 표시할 수 있다. GUI(410)에 표시되는 카메라의 위치는, 도 3의 S330에서 설명한 바와 같이, 복수의 동작 식별 모델이 마련될 때 이용한 위치일 수 있다.
프로세서(180)는 GUI(410)에 표시된 복수의 위치 중에서 카메라(200)가 설치된 동일, 유사한 위치를 선택하는 사용자입력을 GUI(410)를 이용하여 수신할 수 있다. 또한, 사용자의 상황 인식을 돕기 위해, "카메라가 설치된 위치를 선택해주세요." 등의 안내 문구를 GUI(410) 내에 함께 표시할 수 있다.
다만, GUI(410)의 형식은 이에 한정되지 않고, "
Figure PCTKR2022007496-appb-img-000001
", "
Figure PCTKR2022007496-appb-img-000002
" 형태의 화살표를 디스플레이(121)에 표시하는 등 다양한 형태로 표시될 수 있다.
본 발명의 일 실시예에 따르면, 보다 용이하게 카메라의 위치를 식별할 수 있고, 사용자의 편의를 높일 수 있다.
도 5는 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다.
도 5는, 도 3의 S330과 관련하여, 카메라의 위치를 변경하도록 안내하는 방법 중 하나에 대해서 도시한다.
본 발명의 경우, 카메라(200)가 설치될 수 있는 모든 위치에 대하여 동작 식별 모델을 마련하는 것이 현실적으로 곤란할 수 있다. 따라서, 프로세서(180)는, 복수의 동작 식별 모델 중 카메라(200)가 설치된 위치에 대응하는 동작 식별 모델이 마련되지 않은 것에 기초하여, 카메라(200)의 위치의 변경을 안내하는 알림(510)을 디스플레이(121)에 표시할 수 있다. 이 때, 알림(510)에는 현재 카메라(200)가 표시된 위치(520)와, 위치(520) 주변에 동작 식별 모델이 마련되어 있는 위치(530)로 이동하도록 안내하는 화살표를 표시할 수 있다.
알림(510)에 점선으로 표시되는 복수의 카메라의 위치는, 도 3의 S330에서 설명한 바와 같이, 복수의 동작 식별 모델이 마련될 때 이용한 위치를 GUI(410)에 표시할 수 있다.
마찬가지로, 사용자의 상황 인식을 돕기 위해, "보다 나은 인식을 위하여 카메라 위치를 변경해 주세요." 등의 안내 문구를 GUI(410) 내에 함께 표시할 수 있다.
본 발명의 일 실시예에 따르면, 미리 마련된 동작 식별 모델이 기초한 카메라의 위치에 대응되도록 변경함으로써, 동작 인식률을 높일 수 있다. 또한, 이 경우 새로운 동작 식별 모델 마련 등 번거로운 절차 없이도 동작 인식률을 높일 수 있으므로 효율적이다.
도 6은 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다.
도 6은 사용자가 운동 코칭 어플리케이션을 이용하는 경우의 전자장치(100)의 동작 모습을 도시한다. 구체적으로, 도 3의 S330과 관련하여, 미리 마련된 동작 식별 모델을 적용하기 위해 카메라(200)에 의해 촬상된 영상을 보정하여 적용하는 방법에 대해서 도시한다.
도 6을 참조하면, 전자장치(100)와 연결된 제1카메라(200)가 전자장치(100)의 중앙에 위치해 있고, 전자장치(100)는 제1카메라(200)에 의해 촬상된 제1영상(610)과 운동 코칭 어플리케이션에 미리 마련된 샘플 영상인 제2영상(620)을 표시하고 있다. 사용자는 제2영상(620)에 표시되는 모델의 운동 동작을 따라하면서 운동할 수 있고, 전자장치(100)는 사용자의 운동 동작의 횟수를 세거나, 정확도를 판단하는 등의 서비스를 제공할 수 있다.
본 발명의 경우, 앞서 도 5에서 설명한 바와 같이, 카메라(200)가 설치될 수 있는 모든 위치에 대하여 동작 식별 모델을 마련하는 것이 현실적으로 곤란할 수 있다.
먼저, 프로세서(180)는, 복수의 동작 식별 모델 중 카메라(200)의 위치와 소정 범위 내의 위치에서 촬상되는 영상에 기초하여 마련된 동작 식별 모델을 선택할 수 있다. 또는, 프로세서(180)는 복수의 동작 식별 모델 중 카메라(200)의 촬상 각도와 소정 범위 내의 촬상 각도로 촬상되는 영상에 기초하여 마련된 동작 식별 모델을 선택할 수 있다.
예를 들어, 복수의 동작 식별 모델 중 제1카메라(200)와 근접한 위치에 있는 제2카메라(600)에 의해 촬상된 제2영상(620)에 기초하여 동작 식별 모델이 마련되어 있다고 가정한다. 제1카메라(200)의 위치와 소정 범위 내의 위치에 제2카메라(600)가 설치된 경우, 프로세서(180)는 제2카메라(600)에 의해 촬상되는 제2영상에 기초하여 마련된 동작 식별 모델을 선택할 수 있다. 또는, 제1카메라(200)의 촬상 각도와 제2카메라(600)에 의해 촬상된 제2영상(620)의 촬상 각도가 소정 범위 내의 각도를 가지는 경우, 프로세서(180)는 제2카메라(600)에 의해 촬상되는 제2영상(620)에 기초하여 마련된 동작 식별 모델을 선택할 수 있다.
그리고, 프로세서(180)는 카메라(200)에 의해 촬상되는 제1영상(610)을 제2영상(620)에 대응하도록 보정할 수 있다. 보정하는 기법은 다양하게 존재할 수 있는데, 일 예로, 2D 영상의 다중 프레임을 이용하여 영상의 깊이정보를 추출한 뒤 추출된 깊이정보를 기반으로 3D 입체 영상을 생성하여 보정할 수 있다. 생성된 3D 입체 영상은 다시 객체를 특정 각도로 회전시키는 변환 행렬을 이용하여 동작 식별 모델의 참조 데이터에 대응하도록 보정할 수 있다. 상기 프로세서(180)는 제1영상(610)을 제2영상(620)에 대응하도록 보정하여 제3영상(630)을 획득한다.
프로세서(180)는 선택된 동작 식별 모델에 기초하여 보정된 제3영상(630)으로부터 사용자의 동작을 식별할 수 있다. 따라서, 프로세서(180)는 보정된 제3영상(630)에 기초하여 운동 횟수나 운동의 정확도를 판단하므로 판단의 신뢰성이 높아진다.
이 때, 디스플레이(121)에는 자연스러운 영상 표시 및 사용자의 편의를 위해 제1영상(610)이 표시될 수 있으나, 사용자의 설정이나 제조사의 설정에 따라 보정된 제3영상(630)이 표시될 수 있다.
다만, 본 실시예에서 디스플레이(121)에 표시되는 샘플 영상이 반드시 동작 식별 모델을 마련하기 위한 데이터로서의 제2영상과 동일할 필요는 없으며, 샘플 영상은 제2영상과 동일한 각도를 가지도록 별도로 제작되어 표시될 수 있다. 샘플 영상은 도 7에서 후술하는 컨텐츠와 동일할 수 있다.
본 발명의 일 실시예에 따르면, 미리 마련된 동작 식별 모델이 기초한 영상 데이터에 대응되도록 촬상되는 영상을 변경함으로써, 동작 인식률을 높일 수 있다. 또한, 이 경우 새로운 동작 식별 모델 마련 등 번거로운 절차 없이도 동작 인식률을 높일 수 있으므로 효율적이다.
도 7은 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다.
도 7에서는 카메라(200)에 의해 촬상된 영상과 미리 마련된 복수의 컨텐츠 중 카메라(200)에 의해 촬상된 영상과 대응되는 컨텐츠를 표시하는 모습을 도시한다.
프로세서(180)는, 서로 다른 위치에서 촬상된 복수의 컨텐츠 중 카메라(200)가 설치된 위치에 대응되는 위치에서 촬상된 컨텐츠를 식별하고, 식별된 컨텐츠를 디스플레이(121)에 표시할 수 있다. 또는, 프로세서(180)는, 서로 다른 촬상 각도로 촬상된 복수의 컨텐츠 중 카메라(200)의 촬상 각도에 대응하는 촬상 각도로 촬상된 컨텐츠를 식별하고, 식별된 컨텐츠를 디스플레이(121)에 표시할 수 있다. 이 때, 서로 다른 위치 또는 각도에서 촬상된 복수의 컨텐츠란 동일한 내용의 컨텐츠를 카메라가 설치될 수 있는 복수의 위치 또는 복수의 각도에서 촬상된 컨텐츠이다. 일 예로, 운동 코칭 어플리케이션을 실행하는 경우, 사용자가 운동 동작을 쉽게 따라할 수 있도록 사용자가 표시되는 영상과 동일한 위치 또는 각도에 대응하는 코칭 영상을 컨텐츠로써 표시할 수 있다. 복수의 컨텐츠는 미리 마련되어 저장부(140)에 저장되거나 외부로부터 수신할 수 있다.
프로세서(180)는, 복수의 컨텐츠 중 식별된 컨텐츠와 카메라(200)가 촬상하는 영상을 함께 디스플레이(121)에 표시할 수 있다.
도 7을 참조하면, 전자장치(100)는 벽의 일정 높이에 설치된 TV로 가정하고, 도 7의 실시예 1(701)은 카메라(200)가 상단 우측에, 도 7의 실시예 2(702)는 하단 우측에 설치된다.
도 7의 실시예 1(701)에서 제1영상(710)은 카메라(200)가 상단 우측에 위치하여 촬상된 영상이다. 프로세서(180)는 미리 마련된 복수의 컨텐츠 중 카메라(200)와 대응되는 위치에서 촬상된 제1컨텐츠(720)를 식별하고, 식별된 제1컨텐츠(720)를 디스플레이(121)에 표시할 수 있다. 또는, 도 7의 실시예 1(701)에서 카메라(200)에 의해 촬상된 제1영상(710)은 상단 우측에서 살짝 비스듬한 각도로 촬상된 영상이다. 프로세서(180)는 미리 마련된 복수의 컨텐츠 중 제1영상(710)이 촬상된 각도와 대응되는 각도에서 촬상된 제1컨텐츠(720)를 식별하고, 식별된 제1컨텐츠(720)를 디스플레이(121)에 표시할 수 있다.
도 7의 실시예 2(702)에서 제2영상(730)은 카메라(200)가 하단 우측에 위치하여 촬상된 영상이다. 프로세서(180)는 미리 마련된 복수의 컨텐츠 중 카메라(200)와 대응되는 위치에서 촬상된 제2컨텐츠(740)를 식별하고, 식별된 제2컨텐츠(740)를 디스플레이(121)에 표시할 수 있다. 또는, 도 7의 실시예 2(702)에서 카메라(200)에 의해 촬상된 제2영상(730)은 하단 우측에서 정면을 향하는 각도로 촬상된 영상이다. 제2영상(730)은 카메라(200)가 하단 우측에 설치되었으나, 벽의 일정 높이에 전자장치(100)가 설치되었으므로, 카메라(200)에 의해 촬상된 영상은 중간 높이에서 촬상된 영상으로 볼 수 있다. 따라서, 촬상된 사람의 모습이 정면에서 촬상한 것처럼 표시된다. 프로세서(180)는 미리 마련된 복수의 컨텐츠 중 제2영상(730)이 촬영된 각도와 대응되는 각도에서 촬상된 제2컨텐츠(740)를 식별하고, 식별된 제2컨텐츠(740)를 디스플레이(121)에 표시할 수 있다.
프로세서(180)는 미리 마련된 복수의 컨텐츠 중 제1영상(710)이 촬영된 각도와 대응되는 각도에서 촬상된 컨텐츠(720)를 식별하고, 식별된 컨텐츠(720)를 디스플레이(121)에 표시할 수 있다.
이 때, 프로세서(180)는 S320에서 획득된 카메라(200)가 설치된 위치를 나타내는 정보에 기초하여 해당 위치에 대응하여 마련된 컨텐츠를 식별할 수 있다. 예를 들어, 도 1을 기초하여, 전자장치(100)의 좌측면 상측에 카메라(200)가 설치되고, 좌측면 상측에서 촬상한 영상과 대응되는 각도의 컨텐츠를 식별할 수 있다.
이 때, 복수의 컨텐츠 중 카메라(200)가 설치된 위치와 대응한 위치에서 마련된 컨텐츠가 존재하지 않는 경우에는, 프로세서(180)는 카메라(200)가 설치된 위치와 소정 범위에서 대응하는 위치에서 마련된 컨텐츠를 식별할 수 있다. 예를 들어, 도 1을 참조하여 카메라(200)가 좌측면 상측에 설치되었으나, 그에 대응되는 위치에 설치된 것을 기반으로 마련된 컨텐츠는 없는 경우를 가정한다. 이 때, 좌측면 상측과 상단 좌측은 그 위치가 소정 범위 내이고, 상단 좌측에 위치된 것에 기초하여 마련된 제1컨텐츠가 존재하는 경우, 프로세서(180)는 제1컨텐츠를 식별할 수 있다. 이는 촬상 각도에 대하여도 마찬가지로 적용된다.
혹은, 복수의 컨텐츠 중 카메라(200)가 설치된 위치와 대응한 위치에서 마련된 컨텐츠 존재하지 않는 경우에는 도 5에서 상술한 바와 같이 알림을 표시하여 컨텐츠가 마련된 위치로 카메라(200)를 이동하도록 유도할 수 있다.
본 발명의 일 실시예에 따르면, 미리 마련된 복수의 컨텐츠를 이용하여 사용자가 어플리케이션의 기능을 유용하게 사용할 수 있어, 사용자의 장치 이용에 만족감 및 편의성을 제공한다.
도 8은 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다.
도 8은 도 3의 S320과 관련하여, 영상통화 어플리케이션을 실행하는 경우, 카메라의 위치에 따라 GUI를 달리 적용하는 모습을 도시한다.
영상통화 어플리케이션을 실행하는 경우, 카메라(200)와 상대방 모습을 표시한 윈도우의 상대적인 위치가 올바르게 정렬되지 않으면, 상대방의 시선과 전자장치(100) 사용자의 시선이 서로 다른 곳을 향하게 되어 영상통화 사용자에게 불편함을 초래할 수 있다.
프로세서(180)는 디스플레이(121)에 대하여 카메라가 설치될 수 있는 복수의 위치 중 카메라(200)가 설치된 위치를 나타내는 정보를 획득할 수 있다. 프로세서(180)는, 획득된 정보에 기초하여 영상통화와 관련된 GUI(Graphic User Interface)를 표시할 디스플레이(121)의 일 영역을 식별할 수 있다. 일 영역은, 예를 들어, 카메라를 향한 시선과 상대방을 향한 시선 간의 불일치를 최소화 하는 영역일 수 있다. 따라서, 디스플레이(121)상에서 카메라(200)가 설치된 것으로 식별되는 위치와 근접한 곳에 GUI를 표시할 수 있다. 본 발명의 일 실시예에 따른 GUI는 영상통화 윈도우를 포함한다.
예를 들어, 도 8 의 실시예 1(801)에서 카메라(200)가 상단에 위치한 경우, 프로세서(180)는 디스플레이(121)의 카메라(200)가 위치한 바로 아래 영역에 상대방의 영상통화 윈도우(810)를 표시하고, 카메라(200)가 하단에 위치한 경우, 디스플레이(121)의 카메라(200)가 위치한 바로 위 영역에 상대방의 영상통화 윈도우(820)를 표시할 수 있다. 이 때, 프로세서(180)는 영상통화를 수신/발신하기 전 표시되고 있던 영상(840)을 중첩하여 표시할 수 있다.
또한, 도 8의 실시예 2(802)와 같이 디스플레이(121)를 크게 두 영역으로 나누어 영상통화 윈도우(830)와 기존 표시되고 있던 영상(840)를 함께 표시하고자 하는 경우, 프로세서(180)는 카메라(200)와 더 가까운 영역에 영상통화 윈도우(830)를 표시할 수 있다.
본 발명의 일 실시예에 따르면, 화면에 표시하는 사용자 인터페이스와 그 동작을 달리함으로써, 디스플레이와 카메라의 상대적 위치에 따른 시선 불일치의 불편함을 감소시킬 수 있다.
도 9는 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다.
도 9는 도 8의 실시예에 이어서 사용자에게 좀 더 편리함을 제공하기 위해 고안된 실시예를 도시한다. 영상통화가 수신/발신되는 경우, 도 8과 마찬가지로 프로세서(180)는 카메라(200)가 설치된 위치에 기초하여 영상통화와 관련된 GUI(Graphic User Interface)를 표시할 디스플레이(121)의 일 영역을 식별할 수 있다.
본 발명의 일 실시예에 따른 GUI는 영상통화 윈도우, 영상통화 윈도우 애니메이션, 영상통화 수/발신 알림, 및 영상통화 수/발신 알림 애니메이션 중 적어도 하나를 포함할 수 있다.
도 9의 실시예 1(901)에서 프로세서(180)는 영상통화를 수신 또는 발신할 때, 식별한 일 영역에 영상통화 수/발신 알림 애니메이션(911)을 표시하여 사용자의 시선이 자연스럽게 카메라를 향하도록 유도할 수 있다. 또한 도 9의 실시예 2(902)와 같이 식별한 일 영역에 영상통화 윈도우가 미끄러져 나오거나 들어가는 영상통화 윈도우 애니메이션(912)을 표시하여 사용자의 상황 이해를 용이하게 할 수 있다. 도 9의 실시예 2(902)에서 영상통화 윈도우 애니메이션(912)이 완전히 미끄러져 나오게 되는 경우, 도 9의 실시예 3(903)과 같이 영상통화 윈도우(913)가 표시될 수 있다. 이 때, 프로세서(180)는 영상통화를 수신/발신하기 전 표시되고 있던 영상(840)을 중첩하여 표시할 수 있음은 마찬가지이다.
본 발명의 일 실시예에 따르면, 화면에 표시하는 다양한 사용자 인터페이스 및 동작을 통해 사용자에게 더욱 편리함을 제공할 수 있다.
도 10은 본 발명의 일 실시예에 따른 전자장치의 동작 모습을 도시한 도면이다.
본 실시예에서는 카메라의 위치에 따라 디스플레이(121)에 표시되는 영상뿐 아니라 음향출력에도 적용할 수 있음을 나타낸다.
전자장치(100)는 영상통화와 관련된 음성의 복수의 출력 방향을 가지는 스피커(160)를 더 포함할 수 있다. 스피커(160)와 관련하여는 앞서 도 2에서 자세히 서술한 바와 같다. 이 때, 스피커는 전자장치에 내장된 스피커(160) 뿐 아니라, 인터페이스부(110)를 통해 연결된 외부 스피커일 수 있다.
프로세서(180)는 스피커(160)의 복수의 출력 방향 중 일 영역에 근접한 방향으로 음성을 출력하도록 스피커를 제어할 수 있다.
예를 들어, 도 10에 도시된 바와 같이, 전자장치(100) 주변에 여러 위치에 스피커(161, 162,163)가 설치될 수 있다. 프로세서(180)는 카메라(200)가 설치된 위치를 나타내는 정보를 획득하고, 획득된 정보에 기초하여 스피커(160)의 복수의 출력 방향 중 카메라가 설치된 위치에 근접한 위치에 설치된 스피커(161)에서 음성을 출력하도록 스피커를 제어할 수 있다. 이 때, 스피커(161)에서 음성을 출력하도록 하거나, 전체적인 음향의 밸런스를 스피커(161) 중심으로 맞추는 등 다양하게 적용할 수 있다. 도 8 및 도 9에서 설명한 바와 같이, 카메라(200)가 설치된 것으로 식별된 위치에 GUI가 표시되는 경우, 사용자의 시선 뿐 아니라 사용자의 청각도 그 방향을 향해 집중될 수 있도록 도와줄 수 있다.
본 발명의 일 실시예에 따르면, 사용자의 시각적 편리함 이외에도 청각적 편리함을 제공하여 더욱 완성도 높은 서비스를 제공할 수 있다.

Claims (15)

  1. 전자장치에 있어서,
    인터페이스부;
    디스플레이; 및
    상기 인터페이스부를 통해 연결된 카메라에 의해 촬상되는 영상을 획득하고,
    상기 디스플레이에 대하여 상기 카메라가 설치될 수 있는 복수의 위치 중 상기 카메라가 설치된 위치를 나타내는 정보를 획득하고,
    상기 복수의 위치에 대응하는 데이터에 기초하여 마련된 복수의 동작 식별 모델 중 상기 카메라가 설치된 위치에 대응하는 동작 식별 모델을 선택하고,
    상기 선택된 동작 식별 모델에 기초하여 상기 카메라에 의해 촬상되는 영상으로부터 사용자의 동작을 식별하고,
    상기 식별된 사용자의 동작에 기초하여 기능을 수행하는 프로세서를 포함하는 전자장치.
  2. 제1항에 있어서,
    사용자입력부를 더 포함하고,
    상기 프로세서는,
    상기 카메라가 설치될 수 있는 복수의 위치를 나타내는 GUI를 상기 디스플레이에 표시하고,
    상기 카메라가 설치되는 위치를 선택하는 사용자입력을 상기 GUI를 이용하여 수신하는 전자장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 복수의 동작 식별 모델 중 상기 카메라가 설치된 위치에 대응하는 동작 식별 모델이 마련되지 않은 것에 기초하여, 상기 카메라의 위치의 변경을 안내하는 알림을 상기 디스플레이에 표시하는 전자장치.
  4. 제1항에 있어서,
    상기 카메라에 의해 촬상되는 영상은 제1영상이고,
    상기 프로세서는,
    상기 복수의 동작 식별 모델 중 상기 카메라의 위치와 소정 범위 내의 위치에서 촬상되는 제2영상에 기초하여 마련된 동작 식별 모델을 선택하고,
    상기 제1영상을 상기 제2영상에 대응하도록 보정하여 제3영상을 획득하고,
    상기 선택된 동작 식별 모델에 기초하여 상기 제3영상으로부터 상기 사용자의 동작을 식별하는 전자장치.
  5. 제1항에 있어서,
    상기 카메라에 의해 촬상되는 영상은 제1영상이고,
    상기 프로세서는,
    상기 복수의 동작 식별 모델 중 상기 카메라의 촬상 각도와 소정 범위 내의 촬상 각도로 촬상된 제2 영상에 기초하여 마련된 동작 식별 모델을 선택하고,
    상기 제1영상을 상기 제2영상에 대응하도록 보정하여 제3영상을 획득하고,
    상기 선택된 동작 식별 모델에 기초하여 상기 제3영상으로부터 상기 사용자의 동작을 식별하는 전자장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    서로 다른 위치에서 촬상된 복수의 컨텐츠 중 상기 카메라가 설치된 위치에 대응되는 위치에서 촬상된 컨텐츠를 식별하고,
    상기 식별된 컨텐츠를 상기 디스플레이에 표시하는 전자장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    서로 다른 촬상 각도로 촬상된 복수의 컨텐츠 중 상기 카메라의 촬상 각도에 대응하는 촬상 각도로 촬상된 컨텐츠를 식별하고,
    상기 식별된 컨텐츠를 상기 디스플레이에 표시하는 전자장치.
  8. 제5항에 있어서,
    상기 프로세서는, 상기 식별된 컨텐츠와 상기 카메라가 촬상하는 영상을 함께 상기 디스플레이에 표시하는 전자장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 획득된 정보에 기초하여 영상통화와 관련된 GUI(Graphic User Interface)를 표시할 상기 디스플레이의 일 영역을 식별하고,
    상기 일 영역에 상기 GUI를 표시하는 전자장치.
  10. 제7항에 있어서,
    영상통화와 관련된 음성의 복수의 출력 방향을 가지는 스피커를 더 포함하고,
    상기 프로세서는,
    복수의 출력 방향 중 상기 일 영역에 근접한 방향으로 상기 음성을 출력하도록 상기 스피커를 제어하는 전자장치.
  11. 전자장치의 제어방법에 있어서,
    인터페이스부를 통해 연결된 카메라에 의해 촬상되는 영상을 획득하는 단계;
    디스플레이에 대하여 상기 카메라가 설치될 수 있는 복수의 위치 중 상기 카메라가 설치된 위치를 나타내는 정보를 획득하는 단계;
    상기 복수의 위치에 대응하는 데이터에 기초하여 마련된 복수의 동작 식별 모델 중 상기 카메라가 설치된 위치에 대응하는 동작 식별 모델을 선택하는 단계;
    상기 선택된 동작 식별 모델에 기초하여 상기 카메라에 의해 촬상되는 영상으로부터 사용자의 동작을 식별하는 단계; 및
    상기 식별된 사용자의 동작에 기초하여 기능을 수행하는 단계를 포함하는 전자장치의 제어방법.
  12. 제11항에 있어서,
    상기 카메라가 설치된 위치를 나타내는 정보를 획득하는 단계는,
    상기 카메라가 설치될 수 있는 복수의 위치를 나타내는 GUI를 상기 디스플레이에 표시하는 단계; 및
    상기 카메라가 설치되는 위치를 선택하는 사용자입력을 상기 GUI를 이용하여 수신하는 단계를 포함하는 전자장치의 제어방법.
  13. 제11항에 있어서,
    상기 복수의 동작 식별 모델 중 상기 카메라가 설치된 위치에 대응하는 동작 식별 모델이 마련되지 않은 것에 기초하여, 상기 카메라의 위치의 변경을 안내하는 알림을 상기 디스플레이에 표시하는 단계를 포함하는 전자장치의 제어방법.
  14. 제11항에 있어서,
    상기 카메라에 의해 촬상되는 영상은 제1영상이고,
    상기 동작 식별 모델을 선택하는 단계는,
    상기 복수의 동작 식별 모델 중 상기 카메라의 위치와 소정 범위 내의 위치에서 촬상되는 제2영상에 기초하여 마련된 동작 식별 모델을 선택하는 단계를 포함하고,
    상기 제1영상을 상기 제2영상에 대응하도록 보정하여 제3영상을 획득하는 단계; 및
    상기 선택된 동작 식별 모델에 기초하여 상기 제3영상으로부터 상기 사용자의 동작을 식별하는 단계를 더 포함하는 전자장치의 제어방법.
  15. 제11항에 있어서,
    상기 카메라에 의해 촬상되는 영상은 제1영상이고,
    상기 동작 식별 모델을 선택하는 단계는,
    상기 복수의 동작 식별 모델 중 상기 카메라의 촬상 각도와 소정 범위 내의 촬상 각도로 촬상된 제2영상에 기초하여 마련된 동작 식별 모델을 선택하는 단계를 포함하고,
    상기 제1영상을 상기 제2영상에 대응하도록 보정하여 제3영상을 획득하는 단계;
    상기 선택된 동작 식별 모델에 기초하여 상기 제3영상으로부터 상기 사용자의 동작을 식별하는 단계를 더 포함하는 전자장치의 제어방법.
PCT/KR2022/007496 2021-06-04 2022-05-26 전자장치 및 그 제어방법 WO2022255730A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/527,534 US20240121501A1 (en) 2021-06-04 2023-12-04 Electronic apparatus and method of controlling the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0072712 2021-06-04
KR1020210072712A KR20220164222A (ko) 2021-06-04 2021-06-04 전자장치 및 그 제어방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/527,534 Continuation US20240121501A1 (en) 2021-06-04 2023-12-04 Electronic apparatus and method of controlling the same

Publications (1)

Publication Number Publication Date
WO2022255730A1 true WO2022255730A1 (ko) 2022-12-08

Family

ID=84323361

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/007496 WO2022255730A1 (ko) 2021-06-04 2022-05-26 전자장치 및 그 제어방법

Country Status (3)

Country Link
US (1) US20240121501A1 (ko)
KR (1) KR20220164222A (ko)
WO (1) WO2022255730A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110025117A (ko) * 2009-09-03 2011-03-09 삼성전자주식회사 영상 통화 장치, 시스템 및 방법
WO2013187100A1 (ja) * 2012-06-12 2013-12-19 オリンパスイメージング株式会社 撮像装置
KR20150084524A (ko) * 2014-01-14 2015-07-22 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
KR20200130139A (ko) * 2019-05-06 2020-11-18 애플 인크. 시각적 미디어를 캡처 및 관리하기 위한 사용자 인터페이스들
KR200492987Y1 (ko) * 2016-04-21 2021-01-13 한국전자통신연구원 카메라 위치 교정을 위한 탈착식 입력장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110025117A (ko) * 2009-09-03 2011-03-09 삼성전자주식회사 영상 통화 장치, 시스템 및 방법
WO2013187100A1 (ja) * 2012-06-12 2013-12-19 オリンパスイメージング株式会社 撮像装置
KR20150084524A (ko) * 2014-01-14 2015-07-22 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
KR200492987Y1 (ko) * 2016-04-21 2021-01-13 한국전자통신연구원 카메라 위치 교정을 위한 탈착식 입력장치
KR20200130139A (ko) * 2019-05-06 2020-11-18 애플 인크. 시각적 미디어를 캡처 및 관리하기 위한 사용자 인터페이스들

Also Published As

Publication number Publication date
US20240121501A1 (en) 2024-04-11
KR20220164222A (ko) 2022-12-13

Similar Documents

Publication Publication Date Title
WO2021045552A1 (en) Electronic device for image synthesis and operating method thereof
WO2021167231A1 (ko) 전자장치 및 그 제어방법
WO2021085812A1 (ko) 전자장치 및 그 제어방법
WO2021256760A1 (ko) 이동 가능한 전자장치 및 그 제어방법
WO2022255730A1 (ko) 전자장치 및 그 제어방법
WO2022102945A1 (ko) 전자장치 및 그 제어방법
WO2022055174A1 (ko) 전자장치 및 그 제어방법
WO2021172713A1 (ko) 전자장치 및 그 제어방법
WO2021112391A1 (ko) 전자장치 및 그 제어방법
WO2017086635A1 (ko) 원격제어장치, 원격제어장치의 구동방법, 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체
WO2021201320A1 (ko) 디스플레이 장치
CN109257543B (zh) 拍摄模式控制方法及移动终端
WO2022025420A1 (ko) 전자장치 및 그 제어방법
WO2022124640A1 (ko) 전자장치 및 그 제어방법
WO2023090893A1 (ko) 인터랙션을 지원하는 사용자 인터페이스를 제공하는 방법 및 이를 수행하는 전자 장치
WO2022092530A1 (ko) 전자장치 및 그 제어방법
WO2022191494A1 (ko) 화상 회의를 제공하는 전자 장치 및 그 방법
WO2022114482A1 (ko) 전자장치 및 그 제어방법
WO2022186646A1 (ko) 이미지 생성을 위한 전자 장치 및 전자 장치의 동작 방법
WO2021141332A1 (ko) 전자장치 및 그 제어방법
WO2024005356A1 (ko) 이미지 표시를 위한 전자 장치 및 그 동작 방법
WO2022114532A1 (ko) 전자장치 및 그 제어방법
WO2021025274A1 (ko) 디스플레이장치 및 그 제어방법
WO2022191407A1 (ko) 사용자 인터페이스를 제공하기 위한 방법, 장치 및 저장 매체
WO2024043731A1 (ko) 인터폴레이션을 수행하는 전자 장치, 동작 방법, 및 저장 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22816389

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22816389

Country of ref document: EP

Kind code of ref document: A1