WO2024025145A1 - 화상통화 서비스를 제공가능한 전자 장치 및 그 제어방법 - Google Patents

화상통화 서비스를 제공가능한 전자 장치 및 그 제어방법 Download PDF

Info

Publication number
WO2024025145A1
WO2024025145A1 PCT/KR2023/008087 KR2023008087W WO2024025145A1 WO 2024025145 A1 WO2024025145 A1 WO 2024025145A1 KR 2023008087 W KR2023008087 W KR 2023008087W WO 2024025145 A1 WO2024025145 A1 WO 2024025145A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
electronic device
display
user interface
system information
Prior art date
Application number
PCT/KR2023/008087
Other languages
English (en)
French (fr)
Inventor
이종인
김세현
신용우
최길수
박혜은
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2024025145A1 publication Critical patent/WO2024025145A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4852—End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173—End-user applications, e.g. Web browser, game
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working

Definitions

  • This disclosure relates to an electronic device capable of providing a video call service and a control method thereof.
  • video call services between electronic devices are widely used to enable different users located in remote locations to communicate with each other non-face-to-face.
  • one electronic device and another electronic device may be interconnected through a wired or wireless communication network.
  • the electronic device may be any electronic device that includes a display to provide a video call screen and can communicate with other electronic devices located remotely by connecting to a wired or wireless communication network.
  • examples of electronic devices include portable computers such as laptops, netbooks, or tablet PCs, portable terminals such as smart phones or PDAs, and TVs.
  • the first electronic device acquires an image of the user and transmits the acquired image to the second electronic device.
  • the second electronic device can make a call while viewing the image of the user of the first electronic device.
  • the second electronic device acquires an image of the user and transmits the acquired image to the first electronic device.
  • the first electronic device can make a call while viewing the image of the user of the second electronic device.
  • the present disclosure seeks to provide an electronic device and a control method thereof that can prevent privacy infringement while minimizing interaction between the device and the user required when using a video call service.
  • An electronic device includes a memory, a transceiver, and a processor electrically connected to the memory and the transceiver.
  • the processor may transmit the first image acquired through the camera to another electronic device through the transceiver.
  • the processor may provide a first user interface screen (User Interface Representation) of a video call application on the display.
  • the first user interface screen includes the first image, the second image received from the transceiver, and system information for determining whether to display the transmitted first image on the other electronic device. May contain selectable options associated with the transfer.
  • the system information may be determined based on setting information associated with the preview screen of the video call application.
  • the video call application will immediately share the images acquired through the camera to the other party's device, which may cause a serious invasion of privacy.
  • interaction with the preview screen must be performed, which causes great inconvenience when using a device that does not allow easy interaction, such as a TV device.
  • the processor may detect an input to transmit a video call participation request through the video call application. According to one embodiment, the processor may identify setting information associated with the preview screen in response to detecting the input.
  • the processor may convert the first user interface screen to a second user interface screen excluding the selectable option in response to detecting the preset triggering condition.
  • the processor may transmit a video call participation request to a server in response to detecting the input.
  • the video call participation request may include participant information to distinguish the electronic device from another electronic device connecting to the server.
  • the processor may receive the second image from the server in response to the video call participation request.
  • the preset triggering condition may be detected based on the passage of a preset time.
  • the system information may include first system information and second system information.
  • the selectable option may be associated with transmission of either the first system information or the second system information.
  • the preset triggering condition may be detected based on user input for the selectable option.
  • the first system information may be identified based on setting information set not to display the preview screen.
  • the second system information may be identified based on setting information set to display the preview screen.
  • the first system information may include one or more information for controlling the other electronic device not to display the first image.
  • the first system information may include one or more information for controlling the display of an icon informing of a display delay on the other electronic device.
  • the first system information includes one or more pieces of information that control the other electronic device to display a third user interface screen including an icon guiding display delay on the display instead of the first image. May contain information.
  • the first system information sets a window associated with the first image in the third user interface screen to be smaller than one or more windows associated with other images constituting the third user interface screen. It may contain the above information.
  • the second system information may include one or more information that controls the other electronic device to display the first image.
  • the second system information may include one or more information that controls the other electronic device to display a fourth user interface screen including the first image on the display.
  • An electronic device includes a memory, a transceiver, and a processor electrically coupled to the memory and the transceiver.
  • the processor may provide a first user interface screen (User Interface Representation) of a video call application on the display.
  • the first user interface screen may include selectable options associated with a first image received from the camera, a second image received from the transceiver, and network transmission of the first image.
  • the processor may initiate the network transmission in response to detecting a preset triggering condition.
  • the processor may provide a second user interface screen of the video call application on the display in response to detecting the preset triggering condition.
  • the second user interface screen may include the first image and the second image.
  • Electronic devices can prevent infringement of the user's privacy by controlling the display of shared images on the other device, and at the same time exclude the display of the preview screen, thereby improving interaction between the user and the device. It may decrease.
  • FIG. 1 is a block diagram of an electronic device applied to an embodiment of the present disclosure.
  • Figure 2 is a diagram for illustrating a user interface screen related to a video call application.
  • Figure 3 is an example block diagram of a video call system according to one embodiment.
  • Figure 4 is a flowchart of a method for controlling a user device according to an embodiment.
  • Figure 5 is a flowchart of a control method of a user device according to an embodiment.
  • Figure 6 is a flowchart of a method for controlling a counterpart device according to an embodiment.
  • Figure 7 is a flowchart of a control method by a video call system according to an embodiment.
  • Figure 8 is an example of an implementation of a video call service.
  • 9 to 12 are diagrams for explaining the configuration of a user interface screen based on setting information related to the preview screen.
  • FIGS. 13 and 14 are diagrams for explaining switching of user interface screens based on triggering conditions.
  • FIG. 1 is a block diagram of an electronic device applied to an embodiment of the present disclosure.
  • An electronic device may include a processor, memory, and transceiver. According to one embodiment, the electronic device may include at least one of an input unit and an output unit.
  • one or more processors 110 may include storage and processing circuitry to support operation of the device.
  • the storage and processing circuitry provides storage, such as non-volatile memory (e.g., flash memory, or other electrically programmable ROM configured to form a solid state drive (SSD)), volatile memory (e.g., static or dynamic RAM), and the like. It can be included.
  • the processing circuitry within the processor may be used to control the operation of the electronic device 100.
  • the processing circuitry may include one or more microprocessor(s), microcontroller(s), digital signal processor(s), baseband processor(s), power management section(s), audio chip(s), and custom integrated circuit(s). It can be based on etc.
  • the transceiver and memory described below are one embodiment of the processor and are provided as functional elements that perform unique functions or operations as at least a part of the processor, or are provided as separate hardware components as subjects that perform independent functions or operations. It could be.
  • one or more memories 120 may be configured to support device protocol, configuration, control, and operations, including operations corresponding to or including any of the methods and/or procedures illustratively described in this disclosure. It may contain a memory area for one or more processors to store variables used in other functions. Furthermore, the memory may include non-volatile memory, volatile memory, or a combination thereof. Moreover, the memory may interface with a memory slot that allows one or more formats of removable memory cards (eg, SD card, memory stick, compact flash, etc.) to be inserted and removed.
  • removable memory cards eg, SD card, memory stick, compact flash, etc.
  • the transceiver 130 may include a wired communication module, a wireless communication module, or an RF module.
  • the wireless communication module may include, for example, Wi-Fi, BT, GPS or NFC.
  • a wireless communication module may provide a wireless communication function using radio frequencies.
  • the transceiver 130 may include a network interface or modem for connecting the device 100 to a network (e.g., Internet, LAN, WAN, telecommunication network, cellular network, satellite network, POTS, or 5G network, etc.).
  • the RF module may be responsible for transmitting and receiving data, for example, RF signals or called electronic signals.
  • the RF module may include a power amp module (PAM), a frequency filter, or a low noise amplifier (LNA). Additionally, the RF module may further include components for transmitting and receiving electromagnetic waves in free space in wireless communication, for example, conductors or wires.
  • PAM power amp module
  • LNA low noise amplifier
  • the input unit is an electronic module or electronic device that receives user input.
  • the input unit may convert the user's input into an electrical signal and provide it to other system components such as memory or a processor.
  • the input unit may include, for example, a keypad, button, touch pad, or touch screen, but is not limited thereto.
  • the input unit may receive a control signal from a remote control device.
  • a remote control device can transmit a control signal (e.g., an optical signal) toward an electronic device, and the electronic device can identify the control signal.
  • the electronic device can perform subsequent operations after the identification.
  • a TV device may be turned on in response to identifying a control signal.
  • a TV device can identify the movement of an associated remote control device.
  • the virtual cursor displayed on the TV device may also move in response to movement of the associated remote control device.
  • a selection input may be received at the position of the virtual cursor currently displayed on the display of the TV device.
  • an option or icon corresponding to the received location may be activated. For example, if an application execution icon exists in the received location, the associated application may be executed as a selection input for the icon is received.
  • the input unit may include an A/V input unit for receiving A/V input.
  • the A/V input unit can provide video or audio signals from an external device to the device according to an embodiment of the present disclosure.
  • the A/V input unit includes, for example, a USB terminal, a CVBS (Composite Video Banking Sync) terminal, a component terminal, an S-video terminal (analog), a DVI (Digital Visual Interface) terminal, and an HDMI (High Definition Multimedia Interface) terminal. It may include an RGB terminal, a D-SUB terminal, etc., but is not limited thereto.
  • the output unit may include an audio output unit and a display unit.
  • the sound output unit is an electronic module or electronic device for outputting sounds such as voice or music.
  • the audio output unit may receive audio data from a peripheral device interface.
  • the sound output unit may convert the received audio data into sound waves and output them to the outside of the device.
  • the sound output unit may include, for example, a receiver, speaker, buzzer, etc., but is not limited thereto.
  • the display unit is an electronic module or electronic device for outputting a video or image.
  • the display unit includes, for example, a single display panel or a multi-display panel.
  • the device can output one display screen.
  • the device can output a combined screen in the form of a combination of the output of two or more display panels.
  • one output screen may include a plurality of windows, so one output is not limited to one window.
  • the multi-display panel may be provided in, for example, a TV device, a monitor device, an MR device, an AR device, or a VR device.
  • the multi-display panel can provide MR, AR, or VR content to each eye.
  • one or more display units are configured to present a user interface.
  • one or more display units may include holographic, digital light processing (DLP), liquid crystal display (LCD), liquid crystal on silicon (LcoS), organic light emitting field effect transistor. (OLET, Organic Light Emitting Transistor), Organic Light Emitting Diode (OLED), Surface-conduction Electron-Emitter Display (SED), Field Emission Display (FED) ), Quantum Dot Light Emitting Diode (QD-LED), MicroElectroMechanical Mystem (MEMS), or similar display types.
  • the one or more display units correspond to a waveguide display, such as diffractive, reflective, polarizing, holographic, etc.
  • one or more processors 110, one or more memories 120, one or more transceivers 130, one or more input units 140, and one or more output units 150 may each be interconnected by one or more buses. You can. According to one embodiment, one or more buses may include circuitry that interconnects or controls communication between system components.
  • Figure 2 is a diagram for illustrating a user interface screen related to a video call application.
  • the video call application may be stored in the memory of the electronic device (100 in FIG. 1).
  • a video call application can support sending and receiving video and audio with another remote person.
  • the electronic device can display an image provided from the other party's device on the display 151 using a video call application. Additionally, the electronic device can provide audio from the other party's device through a speaker using a video call application.
  • video call applications provide voice and video, allowing users to have conversations that are closer to reality than voice calls.
  • a user interface screen (UI) related to a video call application may be displayed on the display 151 of the electronic device.
  • a user interface screen (UI) may include a plurality of screen elements. Some of the plurality of screen elements may be expressed to be included in a preset window.
  • the user interface screen may include a first screen element (UIE1) and a second screen element (UIE2).
  • the first screen element (UIE1) may be displayed on the first window
  • the second screen element (UIE2) may be displayed on the second window.
  • the second window may be composed of at least a portion of the area of the first window, but is not limited thereto.
  • the second window may be configured to have a smaller size than the first window.
  • the second window may be expressed to overlap the first window.
  • the second screen element UIE2 may be displayed on a second window, and the second window may be displayed overlapping on the first window, such as a picture-in-picture (PIP).
  • PIP picture-in-picture
  • the first screen element (UIE1) provided from the other device may be displayed in the first window.
  • the second screen element (UIE2) acquired by the electronic device may be displayed in the second window.
  • the first screen element (UIE1) may include an image of a second person (P2) located in front of the other party's device.
  • the second screen element UIE2 may include an image of the first person P1 located in front of the electronic device.
  • the second screen element (UIE2) may be acquired by the camera 141 provided in the electronic device.
  • the camera 141 may provide the acquired image to a processor and/or memory to be electrically connected.
  • first electronic device refers to the electronic device of the first person (P1)
  • Nth electronic device (N is a natural number of 2 or more) refers to the electronic device of the Nth person.
  • first electronic device may be referred to as a “user device” and the Nth electronic device may be referred to as a “counterparty device.”
  • Figure 3 is an example block diagram of a video call system according to one embodiment.
  • the system may include a user device 100, a server 200, and a counterpart device 300.
  • the user device 100, the server 200, and the counterpart device 300 may each be wirelessly connected through a network.
  • the user device 100 and the other party's device 300 may transmit video and audio for a video call to the server 200.
  • the server 200 may transmit images and voices received from the user device 100 and the other party devices 300 to the user device 100 and the other party devices 300.
  • the server 200 may identify the user device 100 and the other party's devices 300 participating in a video call through a video call application.
  • the server 200 can identify the user device 100 and the other party's device 300 participating in a specific video call, and receive video and audio from the identified devices.
  • the server 200 may transmit video and audio received from the devices to the user device 100 and the other party's device 300 participating in a specific video call. Through this, all electronic devices participating in a specific video call can output audio and images obtained from each device to the display unit or audio output unit.
  • the counterpart device 300 is illustrated as having first to third counterpart devices 300a, 300b, and 300c, but embodiments of the present disclosure are not limited thereto.
  • Figure 4 is a flowchart of a method for controlling a user device according to an embodiment.
  • a user device may perform the following control method.
  • the control method according to one embodiment may perform at least some of a plurality of operations illustrated in S410 to S470.
  • the control method according to one embodiment is not limited to operations S410 to S470, and at least part of each operation may be replaced with an alternative operation, or may further include additional operations in the middle.
  • the user device may detect an input to transmit a video call participation request through a video call application (S410).
  • the video call application may be stored in the memory of the user device. It can be executed by the processor of the video-based application.
  • the user device may detect an input to transmit a video call participation request through the input unit. According to one embodiment, the user device may detect an input to transmit a video call participation request through a transceiver.
  • the user device may identify setting information related to the preview screen in response to detecting an input to transmit a video call participation request (S420).
  • the user device may identify an electrical signal associated with receiving an input to transmit a request to join a video call.
  • the user device may identify setting information associated with the preview screen in response to the electrical signal being identified.
  • the preview screen of this disclosure is one of the screens related to the video call application.
  • the preview screen may include one or more icons for setting the input/output of video or audio to be provided through the video call application.
  • the input/output settings of the video call application may be changed based on one or more user inputs on the preview screen.
  • the preview screen may display the image acquired through the camera in advance on the display before sharing the image acquired through the camera with the other device.
  • the user can adjust the state of the image to be transmitted to the other device or arrange the surrounding environment within the camera's field of view (FoV) range.
  • the user may adjust the camera's angle of view to prevent privacy from being violated, and the preview screen may include a GUI for adjusting the camera's angle of view.
  • the preview screen may display the voice acquired through the speaker in advance before sharing the voice acquired through the microphone with the other party's device. While the preview screen is displayed, the user can input his/her voice through the microphone and listen in advance to his/her voice to be output from the other device through the audio output unit. Through this, it is possible to prevent the other party in the video call from experiencing inconvenience due to a defective microphone after starting the video call.
  • the video call application may include setting information associated with the preview screen.
  • the user device may determine whether to display the preview screen based on the preview screen and setting information.
  • setting information associated with the preview screen may include first setting information and second setting information. If the setting information associated with the preview screen is identified as the first setting information, the user device may decide to display the preview screen. If the setting information associated with the preview screen is identified as the second setting information, the user device may determine not to display the preview screen.
  • the user device when not identified as displaying a preview screen, displays selectable options associated with a first image acquired via the camera, a second image received by the transceiver, and network transmission of the first image.
  • the first user interface screen including the screen may be provided as a display (S430: No, S440).
  • the user device may acquire the first image through a camera.
  • the first image may include an image of a first person (eg, a user) located in front of the user device.
  • the user device may receive an image of a second person (e.g., the other person) from another device (e.g., a server or the other party's device) through a transceiver.
  • the second image may include an image of a second person (e.g., the other person) making a video call with the first person.
  • the user device may transmit the first image acquired through the camera to another device in response to detecting a triggering condition to be described later in S450.
  • the first user interface screen may include selectable options associated with network transmission of the first image.
  • the user device may be set to transmit or not transmit the first image to another device (eg, a server or a counterpart device) depending on whether a user input for the selectable option is received.
  • the user device may transmit the first image to another device in response to providing the first user interface screen, or transmit the first image to the other device in response to receiving the second image from the other device.
  • the first user interface screen may include selectable options associated with transmission of system information.
  • the user device can be set to transmit or not transmit system information to another device (e.g., a server or a counterpart device) depending on whether user input for the selectable option is received.
  • the system information is information for setting the display state of the first image on the other party's device.
  • the system information may include first system information and second system information.
  • the user device can control the other device not to display the first image by transmitting the first system information together with the first image.
  • the user device can transmit first system information to cause the other device to display a preset icon instead of the first image.
  • the user device can cause the other device to display the first image by transmitting the second system information together with the first image.
  • the other device may display the first image in response to receiving the second system information.
  • the user device may detect a preset triggering condition (S450).
  • the triggering condition may be a preset time condition.
  • the user device may detect a triggering condition in response to reaching a preset time. For example, if the preset time is 3 minutes, the user device may provide the first user interface screen for 3 minutes and then switch the first user interface screen to a second user interface screen, which will be described later, in S460.
  • the triggering condition may be set to receiving user input for a selectable option. For example, user input regarding the selectable option may be received while a first user interface screen is displayed on the display of the user device. The user device may determine that a triggering condition has been detected in response to receiving user input for a selectable option.
  • a triggering condition may be detected regardless of whether the preset time condition is detected. For example, if the preset time is 3 minutes, the user device may provide the first user interface screen for 3 minutes and then switch to the second user interface screen, but the selectable options are not displayed before the 3 minutes are reached. When a user input is received, the screen may be switched to the second user interface screen regardless of time conditions.
  • the triggering condition may be a preset gesture condition.
  • the user device may detect a triggering condition in response to detecting a preset gesture.
  • the gesture may be identified by analyzing a first image acquired by a camera of the user device. For example, the user device may identify a preset gesture condition based on at least one of the hand shape and hand movement of the person included in the first image. For example, if a circle shape is identified with the thumb and index finger, the user device may determine that a gesture condition has been detected.
  • gestures may be identified based on a pre-trained machine learning model, but are not limited thereto.
  • the user device in response to detecting a preset triggering condition, displays a second user interface screen including a first image acquired through the camera and a second image received from the network by the transceiver. You can (S450:Yes, S460). According to one embodiment, if a preset triggering condition is not detected, the user device may continue to display the first user interface screen (S450: No, S440).
  • the user device may initiate transmission of the first image to another device (eg, a server or a counterpart device) through a network (S470).
  • another device eg, a server or a counterpart device
  • S470 a network
  • the user device may transmit the first image to another device over a network in response to detecting a preset triggering condition.
  • the user device may maintain a state of not transmitting the first image through the network until a triggering condition is detected.
  • the user device may not transmit the first image regardless of the transmission of voice until the triggering condition is detected. Since the other device cannot receive the first image, the window in which the first image should be displayed may be replaced with a preset icon. The other party can confirm that the user device is not transmitting the first image through the icon.
  • the user device may transmit second system information to another device in response to detecting a preset triggering condition.
  • the user device can transmit the first image to another device through the network even before the triggering condition is detected.
  • a user device may transmit a first image to another device in response to providing a first user interface screen, or transmit a first image to another device in response to receiving a second image from the other device.
  • the first image transmitted to the other device may or may not be displayed based on the type of system information transmitted to the other device. For example, when first system information is transmitted, the first image may not be displayed on the other party's device, and when second system information is transmitted, the first image may be displayed on the other party's device.
  • operation S470 is not limited to being performed after operation S460, and may be performed before, after, or simultaneously with operation S470.
  • operations S460 and S470 may be performed in response to a triggering condition being detected.
  • S460 and S470 may be performed sequentially in response to a triggering condition being detected.
  • S470 and S460 may be performed sequentially in response to a triggering condition being detected.
  • the user device may provide a third user interface screen including the preview screen on the display (S430: Yes, S480).
  • the third user interface screen may include at least a portion of the preview screen.
  • the preview screen may display the image acquired through the camera in advance on the display before sharing the image acquired through the camera with the other device.
  • the user can adjust the state of the image to be transmitted to the other device or arrange the surrounding environment included in the camera's field of view (FoV) range.
  • the user may adjust the camera's angle of view to prevent privacy from being violated, and the preview screen may include a GUI for adjusting the camera's angle of view.
  • the preview screen may display the voice acquired through the speaker in advance before sharing the voice acquired through the microphone with the other party's device.
  • the user can input his/her voice through the microphone and listen in advance to his/her voice to be output from the other device through the audio output unit. Through this, it is possible to prevent the other party in the video call from experiencing inconvenience due to a defective microphone after starting the video call.
  • the third user interface screen may be configured to receive user input only in the area corresponding to the preview screen. For example, even if a user input is applied to an area other than the area corresponding to the preview screen, the user device may not perform an operation based on the interaction. For example, the user device can perform an interaction-based action only when a user input is applied to the area corresponding to the preview screen.
  • the user device may convert the third user interface screen to a second user interface screen in response to receiving a user input for the third user interface screen (S490).
  • the user device may switch the third user interface screen to the second user interface screen in response to receiving a user input for the preview screen.
  • the second user interface screen may be configured not to include a preview screen.
  • the second user interface screen may include a first image acquired through a camera and a second image received from a network by a transceiver.
  • the user device may transmit either the first image or the second system information to another electronic device.
  • the user device when configured to transmit the first image, the user device does not transmit the first image to another device until a triggering condition is detected.
  • the user device when set to transmit second system information, the user device may transmit the first image to another device regardless of the triggering condition.
  • the voice may also be transmitted to another electronic device.
  • Figure 5 is a flowchart of a control method of a user device according to an embodiment.
  • a user device may perform the following control method.
  • the control method according to one embodiment may perform at least some of a plurality of operations illustrated in S510 to S550.
  • the control method according to one embodiment is not limited to operations S510 to S550, and at least part of each operation may be replaced with an alternative operation, or may further include additional operations in the middle.
  • the user device may acquire the user's voice through a microphone for a preset time (S510).
  • the preset time may be set shorter than the preset time of the time condition among the triggering conditions described above in S440. For example, if the triggering condition is 3 minutes, the time to acquire the user's voice may be set to 10 seconds. The voice acquired through the microphone may be stored in the memory of the user device.
  • the user device may output the acquired voice through a speaker (S520).
  • the user device may output the acquired voice through a speaker for a predetermined period of time.
  • the user device may output the acquired voice through a speaker in response to S510 completing voice acquisition. Through this, the user can preview how his or her voice input through the device will sound to the other person.
  • the user device may receive a response to the voice output from the user (S530).
  • the user device may receive a positive response or a negative response.
  • a positive response is a response to provide speech to another device based on the current audio settings (e.g., microphone settings).
  • a negative response is a response to change the current audio settings to another audio setting or to display a settings window for change.
  • the user device when it receives a positive response, it may start transmitting the voice acquired through the microphone to another device through the network (S530: Yes, S540).
  • the user device may change the audio settings without transmitting the voice acquired through the microphone to another device through the network (S530: Yes, S550).
  • the negative response may include a first negative response and a second negative response.
  • the user device may increase the volume of the voice to be output from the other device based on receiving the first negative response.
  • the user device may reduce the volume of the voice to be output from the other device based on receiving the second negative response.
  • the user device may display a settings window for changing audio settings on the display in response to receiving a negative response. Users can change audio settings using the settings window.
  • the user device can increase or decrease the volume of the voice output from the other device based on the user input to the settings window.
  • the voice is heard during a portion of the total time when the image is not displayed on the other device (for example, the time when the first image is not transmitted over the network, or the time before the second system information is transmitted). By acquiring and outputting, it is possible to check the user's voice status.
  • Figure 6 is a flowchart of a method for controlling a counterpart device according to an embodiment.
  • the counterpart device may perform the following control method.
  • the control method according to one embodiment may perform at least some of a plurality of operations illustrated in S610 to S640.
  • the control method according to one embodiment is not limited to operations S610 to S640, and at least part of each operation may be replaced with an alternative operation, or may further include additional operations in the middle.
  • operations performed by the counterpart device may also be performed by the user device. For example, when the user device receives an image or voice from a counterpart device capable of implementing the control method of FIGS. 4 and/or 5, the user device may perform one or more operations illustrated in FIG. 6.
  • the other party's device may receive participant information from the network (S610).
  • participant information may be received from a server.
  • the server may transmit participant information to the other party's device in response to receiving a video call participation request.
  • a video call participation request may include participant information to identify the requesting user device.
  • the server can transmit participant information to the other party's device so that the other party's device can identify the user device that sent the participation request.
  • the other party's device may transmit video and audio to the network in response to receiving participant information (S620).
  • the other party's device can transmit video and audio to the network based on participant information.
  • the other party's device may transmit audio and video to the server so that the electronic device (e.g., user device) associated with the participant information receives the video and audio.
  • the other party's device may receive at least one of system information, image, and voice from the electronic device corresponding to participant information (S630).
  • the other party's device may receive images and voices from an electronic device (eg, user device) associated with participant information.
  • the other party's device can store the received images and voices in memory.
  • the other party's device may display the received image at least as part of the user interface screen of the video call application.
  • the other party's device stores the received image in memory and can decide whether to output the image based on system information.
  • the system information may include first system information and second system information, and the description of each is the same as that described in FIG. 4, so duplicate descriptions are omitted.
  • the other device may allocate at least one of the received image or an icon to replace the image to at least a portion of the user interface screen based on system information (S640).
  • the other device when the other device receives the first system information, it may not display the received image on the display. According to one embodiment, the other party's device may output the received voice but not the received image. According to one embodiment, when the other device does not output the received image, an icon representing the received image may be displayed on the user interface screen in a window where the received image is to be output.
  • the other party's device when the other party's device receives the second system information, it can display the received image on the display. According to one embodiment, the other party's device can output the received voice through a speaker and display the received image on the display.
  • Figure 7 is a flowchart of a control method by a video call system according to an embodiment.
  • the counterpart device may perform the following control method.
  • the control method according to one embodiment may perform at least some of a plurality of operations illustrated in S701 to S716.
  • the control method according to one embodiment is not limited to operations S701 to S716, and at least part of each operation may be replaced with an alternative operation, or may further include additional operations in between.
  • operations performed by the counterpart device may also be performed by the user device (eg, electronic device 1).
  • operations performed by a user device may also be performed by a counterpart device (eg, electronic device 2).
  • “Electronic device 1” shown in FIG. 7 may be referred to as a first electronic device, and “electronic device 2” may be referred to as a second electronic device.
  • the first electronic device may detect an input to transmit a video call participation request through a video call application (S701).
  • the input may be user input.
  • User input may be received from a remote control device or may be input through a button provided on one side of the electronic device, but is not limited thereto.
  • the first electronic device may identify setting information related to the preview screen in response to detecting an input to transmit a video call participation request (S702).
  • setting information related to the preview screen can be understood with reference to S420 and S430 of FIG. 4. If the video call application is set not to display the preview screen, the first electronic device may limit image display on the second electronic device based on the triggering condition in a subsequent operation. However, when the video call application is set to display a preview screen, the first electronic device cannot restrict image display of the second electronic device based on the triggering condition in subsequent operations.
  • the setting information related to the preview screen when the setting information related to the preview screen is set to display the preview screen, it will be described with reference to S480 (S430: Yes) of FIG. 4, and the following operation is performed when the setting information related to the preview screen is set to display the preview screen. This will be explained as a case where the screen is set not to be displayed.
  • the first electronic device may transmit a video call participation request to the server (S703).
  • the server may transmit participant information to the second electronic device in response to receiving a video call participation request (S704).
  • the second electronic device may transmit voice and image to the server (S705).
  • the server may transmit the voice and image received from the second electronic device to the first electronic device (S705).
  • the first electronic device displays a user interface screen including an image acquired through a camera (first image), an image received from a server by a transceiver (second image), and selectable options. It can be displayed (S707).
  • the selectable option may be associated with network transmission of the first image acquired through the camera. According to one embodiment, the selectable option may be associated with transmission of second system information.
  • the first electronic device if the selectable option involves network transmission of the first image, the first electronic device does not transmit the image until a triggering condition is detected. According to one embodiment, when the selectable option is associated with transmission of second system information, the first electronic device may transmit the first image to the server regardless of the triggering condition.
  • the first electronic device may transmit first system information to the server (S708).
  • the electronic device may transmit voice and image to the server (S709).
  • operation S709 may be performed before operation S708. According to one embodiment, operation S709 may be performed simultaneously with operation S708. According to one embodiment, operation S709 may be performed after operation S708.
  • the server may transmit the first system information, voice, and image received from the first electronic device to the second electronic device (S710).
  • the second electronic device may display a user interface screen including an image acquired through a camera (first image) and an image received from a server by a transceiver (second image) on the display. (S711).
  • the second images that are the basis of the user interface screen may be set as third images based on system information. For example, when the second electronic device receives the first system information, the second electronic device may identify the electronic device (e.g., the first electronic device) that transmitted the first system information based on the participant information. . According to one embodiment, the second electronic device may select a third image to be set not to be displayed on the user interface screen from among the second images received by the transceiver based on the first system information.
  • the user interface screen of the second electronic device may include a first image acquired through a camera, a second image acquired by the transceiver but set to display based on the second system information, and a second image acquired by the transceiver but based on the first system information.
  • a third image that is set to not be displayed may be included.
  • the first electronic device may detect a triggering condition (S712).
  • the first electronic device may transmit second system information to the server based on the triggering condition being detected (S713).
  • the server may transmit second system information to the second electronic device (S714).
  • the second system information may be received from the first electronic device.
  • the first electronic device may display a user interface screen including a first image acquired through a camera and a second image received by a transceiver on the display based on a triggering condition being detected. (S715). Based on the triggering condition being detected, selectable options previously included in the user interface screen may be excluded.
  • the second electronic device displays a user interface screen including a first image acquired through the camera and a second image received by the transceiver on the display. You can do it (S716).
  • the configuration of the user interface screen may be equivalent to that of the user interface screen in the first electronic device.
  • Figure 8 is an example of an implementation of a video call service.
  • a video call system may include a user device 100, a counterpart device 300, and a server 200.
  • the user device 100 and the counterpart device 300 may each be connected to the server 200 by wire or wirelessly.
  • the user device 100 and the counterpart device 300 can support a video call service using the server 200.
  • the user device 100 may display a user interface screen (UI1a) on the display.
  • the user interface screen UI1a may include a plurality of screen elements.
  • the user interface screen UI1a may be composed of a plurality of windows.
  • a plurality of screen elements (UIE1a, UIE2a) may be expressed on the windows.
  • the user interface screen UI1a may include a 1-1 window and a 1-2 window.
  • the 1-1 window may display a screen element (UIE1a) including a second person (P2) on the display.
  • the 1-2 window may display a screen element (UIE2a) including the first person (P1) on the display.
  • the screen element UIE2a including the first person P1 may be acquired using an electrically connected camera.
  • the screen element UIE1a including the second person P2 may be obtained using an electrically connected transceiver.
  • the screen element (UIE1a) including the second person (P2) may be provided from the other party's device 300.
  • the user device 300 may display a user interface screen (UI2b) on the display.
  • the user interface screen (UI2b) may include a plurality of screen elements.
  • the user interface screen UI2b may be composed of a plurality of windows. A plurality of screen elements may be displayed on the windows.
  • the user interface screen UI2b may include a 2-1 window and a 2-2 window.
  • the 2-1 window may display a screen element (UIE1b) including the first person (P1) on the display.
  • the 2-2 window may display a screen element (UIE2b) including a second person (P2) on the display.
  • the screen element UIE2b including the second person P2 may be acquired using an electrically connected camera.
  • the screen element UIE1b including the first person P1 may be obtained using an electrically connected transceiver.
  • the screen element UIE1b including the first person P1 may be provided from the user device 100.
  • the 1-1 window may be formed larger than the 1-2 window.
  • the 2-1 window may be formed larger than the 2-2 window.
  • 9 to 12 are diagrams for explaining the configuration of a user interface screen based on setting information related to the preview screen.
  • user interface screens UI1a and UI2b may be switched based on setting information related to the preview screen.
  • the user interface screen UI1a of the user device 100 may further include selectable options.
  • Selectable options may be provided in the form of icons.
  • the selectable option may be configured to further include text (eg, “3:00”) at an adjacent position.
  • the user device 100 displays the screen element (UIE1a) of the 1-1 window. It remains the same, but the screen element (UIE2a) of the first and second windows can be changed. According to one embodiment, the user device 100 may further include a selectable option (UIE3a) as a screen element (UIE2a) of the first and second windows.
  • the user device 100 displays the screen element (UIE1a) of the 1-1 window and All screen elements (UIE2a) of the first and second windows can be changed.
  • the user device 100 may change the screen element UIE1a displayed in the 1-1 window and the screen element UIE2a displayed in the 1-2 window. Through this, the user can anticipate and prevent privacy infringement by checking the image captured by the camera of the user device 100 on a large screen.
  • the image provided from the user device 100 may not be displayed on the user interface screen UI2b of the other device 300.
  • the other party's device 300 may display a preset icon (UIE3b) instead of the image provided from the user device 100.
  • the other device 300 displays the screen element (UIE2b) of the 2-2 window. is maintained as is, but an undisplayed icon (UIE3b) can be displayed as a screen element (UIE1b) of the 2-1 window.
  • the other device 300 displays the 2-1 window and the 2-2 window.
  • the screen elements (UIE1b, UIE2b) can be changed.
  • the counterpart device 300 may change the screen element (UIE1b) displayed in the 2-1 window and the screen element (UIE2b) displayed in the 2-2 window.
  • the other party can check the image captured by the camera of the other party's device 300 on a large screen and check its own status.
  • Figure 12 is a diagram to exemplarily explain a three-party video call service.
  • the user device 100 uses the server 200 to communicate with the first counterpart device 300 (e.g., 300-1) and the second counterpart device 300 (300-N, for example). For example, you can make a video call with 300-2).
  • the first counterpart device 300 e.g., 300-1
  • the second counterpart device 300 300-N, for example.
  • the user device 100 is set not to display the preview screen based on setting information related to the preview screen.
  • the 1-1 window is the 1-1 screen element (UIE1a)
  • the 1-2 window is the 1-2 screen element (UIE2a)
  • the 1-3 window is the 1-3 screen element.
  • a user interface screen including (UIE4a) can be displayed.
  • the user device 100 further displays 1-3 windows (a window representing the screen element UIE4a, an additional window) compared to the user interface screen UI1a of the embodiment illustrated in FIG. 9. It can be included. Additional windows can be increased proportionally to the number of participants in the video call.
  • the screen element UIE1a displayed in the 1-1 window of the user device 100 may be selected as either an image including a second person P2 or an image including a third person. there is.
  • the user device 100 receives information provided from the first counterpart device 300 based on the volume of the voice provided from the first or second counterpart device 300 or the sequence of the voice. Either an image or an image provided from the second counterpart device 300 may be expressed as a screen element in the 1-1 window.
  • the image captured by the user device 100 may be expressed as a screen element (UIE2a, UIE4a) of either the 1-2 window or the 1-3 window.
  • a screen element UIE2a, UIE4a
  • the 2-1 window is the 2-1 screen element (UIE1b)
  • the 2-2 window is the 2-2 screen element (UIE2b)
  • the 2-3 window is the 2-3 screen element.
  • a user interface screen including (UIE4b) can be displayed.
  • the first counterpart device 300 displays the second-third window (a window representing the screen element UIE4b, an additional window) compared to the user interface screen UI2b of the embodiment illustrated in FIG. 11.
  • the second-third window a window representing the screen element UIE4b, an additional window
  • Additional windows can be increased proportionally to the number of participants in the video call.
  • an image of the user device 100 that does not transmit an image or transmits the first system information may be displayed in the 2-2 window or the 2-3 window.
  • the screen element (UIE1b) displayed in the 2-1 window of the first counterpart device 300 is selected as either an image containing a second person (P2) or an image containing a third person. It can be.
  • the first counterpart device 300 determines the first counterpart device 300 based on the volume of the voice provided from the first counterpart device 300 or the second counterpart device 300, or the sequence of the voice. Any one of the image provided from or the image provided from the second counterpart device 300 may be expressed as a screen element (UIE1b) of the 2-1 window. According to one embodiment, the image provided from the second counterpart device 300 may have a higher priority as the screen element (UIE1b) for the 2-1 window than the image provided from the first counterpart device 300.
  • the 1-1 window may be formed larger than the 1-2 window and the 1-3 window.
  • the 2-1 window may be formed larger than the 2-2 window and the 2-3 window.
  • FIGS. 13 and 14 are diagrams for explaining switching of the user interface screen UI1a based on triggering conditions.
  • the user device 100 displays a first image acquired through a camera before a triggering condition is detected, a second image received from the network by a transceiver, and a selectable option (UIE3a). ) can be displayed on the display.
  • the user device 100 displays a user interface screen UI1a including a first image acquired through a camera and a second image received from the network by a transceiver in response to detecting a preset triggering condition. can be displayed on the display.
  • the user interface screen (UI1a) displayed based on the triggering condition being detected may exclude the selectable option (UIE3a). For example, if the preset triggering condition is a time of 3 minutes, the selectable option (UIE3a) may be excluded from the user interface screen (UI1a) in response to the passage of 3 minutes.
  • the other party device 300 displays an icon associated with the first image acquired through the camera and the second image set to not be displayed until the triggering condition of the user device 100 is detected.
  • the user interface screen (UI2b) including it can be displayed on the display.
  • the other party device 300 displays a user interface screen UI2b including a first image acquired through a camera and a second image set to be displayed on the display. You can.
  • the user device 100 may transmit an image acquired through a camera to the counterpart device 300 based on a triggering condition being detected.
  • the counterpart device 300 displays a user interface screen (UI2b) that includes an icon indicating that the image acquired through the camera and the image from the user device 100 are not being received. can be output to the display.
  • UI2b user interface screen
  • the image acquired through the camera and the image received from the user device 100 may be output to the display as a user interface screen UI2b.
  • the user device 100 may transmit second system information (see FIGS. 4 and 7) to the counterpart device 300 based on a triggering condition being detected.
  • the user device 100 may transmit an image acquired through a camera to the counterpart device 300 regardless of the triggering conditions.
  • the user device 100 transmits first system information to the counterpart device 300 before the triggering condition is detected, and transmits second system information to the counterpart device 300 in response to the triggering condition being detected. ) can be transmitted.
  • the counterpart device 300 in response to receiving second system information, displays a user interface screen UI2b including an image acquired through a camera and an image received from the user device 100. It can be displayed on the table. At this time, the icon that is being displayed on behalf of the image received from the user device 100 may be removed.
  • Electronic devices may be of various types. Electronic devices may include, for example, display devices, portable communication devices (e.g., smartphones), computer devices, portable multimedia devices, portable medical devices, cameras, wearable devices, or home appliances. Electronic devices according to embodiments of this document are not limited to the above-described devices.
  • unit or “module” used in various embodiments of this document may include a unit implemented with hardware, software, or firmware, for example, logic, logic block, component, or circuit. Can be used interchangeably with the same term.
  • the “ ⁇ part” or “ ⁇ module” may be an integrated part or a minimum unit of the part or a part thereof that performs one or more functions.
  • “ ⁇ unit” or “ ⁇ module” may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Programs executed by the electronic devices 100, 200, and 300 described throughout this document may be implemented with hardware components, software components, and/or a combination of hardware components and software components.
  • a program can be executed by any system that can execute computer-readable instructions.
  • Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device.
  • Software may be implemented as a computer program including instructions stored on computer-readable storage media.
  • Computer-readable storage media include, for example, magnetic storage media (e.g., ROM (Read-Only Memory), RAM (Random-Access Memory), floppy disk, hard disk, etc.) and optical read media (e.g., CD-ROM). (CD-ROM), DVD (Digital Versatile Disc), etc.
  • the computer-readable storage medium is distributed across networked computer systems, so that computer-readable code can be stored and executed in a distributed manner.
  • Computer programs may be distributed (e.g., downloaded or uploaded) online, through an application store (e.g., Play StoreTM) or directly between two user devices (e.g., smart phones).
  • an application store e.g., Play StoreTM
  • two user devices e.g., smart phones
  • at least a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • each component (e.g., module or program) of the above-described components may include a single or plural entity, and some of the plurality of entities may be separately placed in other components. there is.
  • one or more of the components or operations described above may be omitted, or one or more other components or operations may be added.
  • multiple components eg, modules or programs
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component of the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, or omitted. Alternatively, one or more other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 개시는 화상통화 서비스를 제공가능한 위한 전자 장치 및 그 제어방법에 관한 것이다. 전자 장치에 있어서, 메모리, 트랜시버 및 상기 메모리 및 상기 트랜시버와 전기적으로 연결된 프로세서를 포함하고, 상기 프로세서는: 영상통화 애플리케이션의 제1 사용자 인터페이스 화면(User Interface Representation)을 디스플레이 상에 제공하되, 상기 제1 사용자 인터페이스 화면은 카메라로부터 수신된 제1 화상, 트랜시버로부터 수신된 제2 화상, 및 제2 시스템 정보의 전송을 트리거 가능한 옵션을 포함하고, 미리 설정된 트리거링 조건이 검출되는 것에 응답하여: 상기 제1 사용자 인터페이스 화면을, 상기 트리거 가능한 옵션이 제외된 제2 사용자 인터페이스 화면으로 전환하고, 상기 제1 시스템 정보 및 상기 제2 시스템 정보는 상기 영상통화 애플리케이션의 프리뷰 화면과 연관된 설정 정보에 기초하여 결정된다.

Description

화상통화 서비스를 제공가능한 전자 장치 및 그 제어방법
본 개시는 화상통화 서비스를 제공가능한 전자 장치 및 그 제어방법에 관한 것이다.
유무선 통신 네트워크 및 통신 기술이 발달됨에 따라서, 전자 기기 간의 영상 통화 서비스의 이용이 증가하고 있다. 구체적으로, 전자 기기 간의 영상 통화 서비스는, 원격지에 위치하는 서로 다른 사용자들이 비 대면으로 상호 통신하기 위해서 널리 이용되고 있다. 구체적으로, 영상 통화 서비스를 위해서, 일 전자 기기와 다른 전자 기기는 유무선 통신 네트워크를 통하여 상호 연결될 수 있다. 여기서, 전자 기기는 영상 통화 화면을 제공할 수 있도록 디스플레이를 포함하며 유무선 통신 네트워크에 접속하여 원격지에 있는 다른 전자 기기와 통신을 수행할 수 있는 모든 전자 기기가 될 수 있다. 예를 들어, 전자 기기로는, 노트북, 넷북 또는 태블릿 PC 등과 같은 휴대용 컴퓨터, 스마트 폰 또는 PDA와 같은 휴대용 단말기, TV 등을 예로 들 수 있다.
복수개의 전자 기기들, 예를 들어, 제1 전자 기기 및 제2 전자 기기 간의 영상 통화가 수행되는 경우, 제1 전자 기기는 사용자에 대한 이미지를 획득하고, 획득된 이미지를 제2 전자 기기로 전송한다. 그에 따라서, 제2 전자 기기는 제1 전자 기기의 사용자에 대한 이미지를 보면서 통화를 할 수 있다. 또한, 제2 전자 기기는 사용자에 대한 이미지를 획득하고, 획득된 이미지를 제1 전자 기기로 전송한다. 그에 따라서, 제1 전자 기기는 제2 전자 기기의 사용자에 대한 이미지를 보면서 통화를 할 수 있다.
본 개시는 영상통화 서비스를 이용시 필요한 장치와 사용자 간의 인터랙션을 최소화하는 것과 동시에 사생활 침해를 예방할 수 있는 전자 장치 및 그 제어 방법을 제공하고자 한다.
일 실시예에 따른 전자 장치는 메모리, 트랜시버 및 상기 메모리 및 상기 트랜시버와 전기적으로 연결된 프로세서를 포함한다. 일 실시예에 따르면, 상기 프로세서는 카메라를 통해 획득된 제1 화상을 상기 트랜시버를 통해 다른 전자 장치로 전송할 수 있다. 일 실시예에 따르면, 상기 프로세서는 영상통화 애플리케이션의 제1 사용자 인터페이스 화면(User Interface Representation)을 디스플레이 상에 제공할 수 있다. 일 실시예에 따르면, 상기 제1 사용자 인터페이스 화면은 상기 제1 화상, 상기 트랜시버로부터 수신된 제2 화상, 및 상기 전송된 제1 화상의 상기 다른 전자 장치에서의 표시 여부를 결정하기 위한 시스템 정보의 전송과 연관된 선택가능한 옵션을 포함할 수 있다. 일 실시예에 따르면, 상기 시스템 정보는 상기 영상통화 애플리케이션의 프리뷰 화면과 연관된 설정 정보에 기초하여 결정될 수 있다. 프리뷰 화면을 표시하지 않는 것으로 설정할 시 영상통화 애플리케이션은 카메라를 통해 획득된 화상을 바로 상대방 장치로 공유하게 되며, 이는 중대한 사생활 침해를 야기할 수 있다. 반대로, 프리뷰 화면을 표시하는 것으로 설정할 시 프리뷰 화면에 대한 인터랙션을 수행해야 하므로 TV 장치와 같이 인터랙션이 용이하지 않은 장치를 이용하는 경우에는 그 불편이 크다. 일 실시예에 따르면, 사용자와 장치 간의 인터랙션을 줄일 뿐만 아니라 화상이 즉시 공유됨에 따른 사생활 침해도 방지할 수 있다.
일 실시예에 따르면, 상기 프로세서는, 상기 영상통화 애플리케이션을 통해 영상통화 참여요청을 전송하라는 입력을 검출할 수 있다. 일 실시예에 따르면, 상기 프로세서는, 상기 입력이 검출되는 것에 응답하여 상기 프리뷰 화면과 연관된 설정 정보를 식별할 수 있다.
일 실시예에 따르면, 상기 프로세서는, 상기 미리 설정된 트리거링 조건이 검출되는 것에 응답하여 상기 제1 사용자 인터페이스 화면을, 상기 선택가능한 옵션이 제외된 제2 사용자 인터페이스 화면으로 전환할 수 있다.
일 실시예에 따르면, 상기 프로세서는, 상기 입력을 검출하는 것에 응답하여, 서버로 영상통화 참여요청을 전송할 수 있다. 일 실시예에 따르면, 상기 영상통화 참여요청은, 상기 전자 장치를 상기 서버와 접속하는 또 다른 전자 장치와 구별하기 위한 참여자 정보를 포함할 수 있다.
일 실시예에 따르면, 상기 프로세서는, 상기 영상통화 참여요청에 대한 응답으로 상기 서버로부터 상기 제2 화상을 수신할 수 있다.
일 실시예에 따르면, 상기 미리 설정된 트리거링 조건은, 미리 설정된 시간이 경과하는 것에 기초하여 검출될 수 있다.
일 실시예에 따르면, 상기 시스템 정보는 제1 시스템 정보와 제2 시스템 정보를 포함할 수 있다. 일 실시예에 따르면, 상기 선택가능한 옵션은 상기 제1 시스템 정보 또는 상기 제2 시스템 정보 중 어느 하나의 전송과 연관될 수 있다. 일 실시예에 따르면, 상기 미리 설정된 트리거링 조건은, 상기 선택가능한 옵션에 대한 사용자 입력에 기초하여 검출될 수 있다.
일 실시예에 따르면, 상기 제1 시스템 정보는, 상기 프리뷰 화면을 표시하지 않도록 설정된 설정 정보에 기초하여 식별될 수 있다. 일 실시예에 따르면, 상기 제2 시스템 정보는, 상기 프리뷰 화면을 표시하도록 설정된 설정 정보에 기초하여 식별될 수 있다.
일 실시예에 따르면, 상기 제1 시스템 정보는, 상기 다른 전자 장치가 상기 제1 화상을 표시하지 않도록 제어하는 하나 이상의 정보를 포함할 수 있다. 일 실시예에 따르면, 상기 제1 시스템 정보는, 상기 다른 전자 장치에 표시지연을 안내하는 아이콘을 표시하도록 제어하는 하나 이상의 정보를 포함할 수 있다. 일 실시예에 따르면, 상기 제1 시스템 정보는, 상기 제1 화상을 대신하여 상기 다른 전자 장치가, 표시지연을 안내하는 아이콘을 포함하는 제3 사용자 인터페이스 화면을 디스플레이 상에 표시하도록 제어하는 하나 이상의 정보를 포함할 수 있다.
일 실시예에 따르면, 상기 제1 시스템 정보는, 상기 제3 사용자 인터페이스 화면에서 상기 제1 화상과 연관된 윈도우가, 상기 제3 사용자 인터페이스 화면을 구성하는 다른 화상과 연관된 하나 이상의 윈도우보다 작게 설정하는 하나 이상의 정보를 포함할 수 있다.
일 실시예에 따르면, 상기 제2 시스템 정보는, 상기 다른 전자 장치가 상기 제1 화상을 표시하도록 제어하는 하나 이상의 정보를 포함할 수 있다.
일 실시예에 따르면, 상기 제2 시스템 정보는, 상기 다른 전자 장치가 상기 제1 화상을 포함하는 제4 사용자 인터페이스 화면을 디스플레이 상에 표시하도록 제어하는 하나 이상의 정보를 포함할 수 있다.
일 실시예에 따른 전자 장치는, 메모리, 트랜시버 및 상기 메모리 및 상기 트랜시버와 전기적으로 커플링된 프로세서를 포함한다. 일 실시예에 따르면, 상기 프로세서는 영상통화 애플리케이션의 제1 사용자 인터페이스 화면(User Interface Representation)을 디스플레이 상에 제공할 수 있다. 일 실시예에 따르면, 상기 제1 사용자 인터페이스 화면은 카메라로부터 수신된 제1 화상, 상기 트랜시버로부터 수신된 제2 화상 및 상기 제1 화상의 네트워크 전송과 연관된 선택가능한 옵션을 포함할 수 있다. 일 실시예에 따르면, 상기 프로세서는 미리 설정된 트리거링 조건이 검출되는 것에 응답하여 상기 네트워크 전송을 개시할 수 있다. 일 실시예에 따르면 상기 프로세서는, 상기 미리 설정된 트리거링 조건이 검출되는 것에 응답하여 상기 영상통화 애플리케이션의 제2 사용자 인터페이스 화면을 상기 디스플레이에 제공할 수 있다. 일 실시예에 따르면, 상기 제2 사용자 인터페이스 화면은 상기 제1 화상 및 상기 제2 화상을 포함할 수 있다.
본 개시의 일 실시예에 따른 전자 장치들은 상대방 장치에서의 공유되는 화상의 표시를 제어함으로써, 사용자의 사생활 침해를 예방할 수 있고, 동시에 프리뷰 화면이 표시되는 것을 제외시킬 수 있어 사용자와 장치 간의 인터랙션도 줄어들 수 있다.
본 개시의 예시적 실시예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 아니하며, 언급되지 아니한 다른 효과들은 이하의 기재로부터 본 개시의 예시적 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 도출되고 이해될 수 있다. 즉, 본 개시의 예시적 실시예들을 실시함에 따른 의도하지 아니한 효과들 역시 본 개시의 예시적 실시예들로부터 당해 기술분야의 통상의 지식을 가진 자에 의해 도출될 수 있다.
도 1은 본 개시의 일 실시예에 적용되는 전자 장치의 블록도이다.
도 2는 영상통화 애플리케이션과 연관된 사용자 인터페이스 화면을 예시적으로 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 영상통화 시스템의 예시적인 블록도이다.
도 4는 일 실시예에 따른 사용자 장치의 제어방법의 순서도이다.
도 5는 일 실시예에 따른 사용자 장치의 제어방법의 순서도이다.
도 6은 일 실시예에 따른 상대방 장치의 제어방법의 순서도이다.
도 7은 일 실시예에 따른 영상통화 시스템에 의한 제어방법의 순서도이다.
도 8은 영상통화 서비스의 일 구현예이다.
도 9 내지 도 12는 프리뷰 화면에 관련된 설정 정보에 기초한 사용자 인터페이스 화면의 구성을 설명하기 위한 도면이다.
도 13 및 도 14는 트리거링 조건에 기초한 사용자 인터페이스 화면의 전환을 설명하기 위한 도면이다.
이하의 설명에서 첨부된 도면들이 참조되며, 실시될 수 있는 특정 예들이 도면들 내에서 예시로서 도시된다. 또한, 다양한 예들의 범주를 벗어나지 않으면서 다른 예들이 이용될 수 있고 구조적 변경이 행해질 수 있다.
이하에서는 도면을 참조하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면의 설명과 관련하여, 동일하거나 유사한 구성요소에 대해서는 동일하거나 유사한 참조 부호가 사용될 수 있다. 또한, 도면 및 관련된 설명에서는, 잘 알려진 기능 및 구성에 대한 설명이 명확성과 간결성을 위해 생략될 수 있다.
도 1은 본 개시의 일 실시예에 적용되는 전자 장치의 블록도이다.
본 개시의 일 실시예에 따른 전자 장치는, 프로세서, 메모리, 및 트랜시버를 포함할 수 있다. 일 실시예에 따르면, 전자 장치는 입력부 및 출력부 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 하나 이상의 프로세서(110)는, 장치의 동작을 지원하기 위한 저장 및 프로세싱 회로부를 포함할 수 있다. 저장 및 프로세싱 회로부는 비휘발성 메모리(예를 들어, 플래시 메모리, 또는 SSD(Solid State Drive)를 형성하도록 구성된 다른 전기적 프로그래밍 가능한 ROM), 휘발성 메모리(예를 들어, 정적 또는 동적 RAM) 등과 같은 스토리지를 포함할 수 있다. 프로세서 내의 프로세싱 회로부는 전자 장치(100)의 동작을 제어하는 데 사용될 수 있다. 프로세싱 회로부는 하나 이상의 마이크로프로세서(들), 마이크로제어기(들), 디지털 신호 프로세서(들), 기저대역 프로세서(들), 전력 관리 섹션(들), 오디오 칩(들), 주문형 집적 회로(들) 등에 기초할 수 있다. 이하에서 설명되는 트랜시버 및 메모리는 프로세서의 일 실시예로서 프로세서의 적어도 일부로서 특유의 기능 또는 동작을 수행하는 기능적 요소로 제공되거나, 독립적인 기능 또는 동작을 수행하는 주체로서 별개의 하드웨어 구성요소로 제공될 수도 있다.
일 실시예에 따르면, 하나 이상의 메모리(120)는 본 개시에서 예시적으로 설명된 방법들 및/또는 절차들 중 임의의 것에 대응하거나 이들을 포함하는 동작들을 포함하는, 장치의 프로토콜, 구성, 제어 및 다른 기능들에서 사용되는 변수들을 저장하기 위해 하나 이상의 프로세서에 대한 메모리 영역을 포함할 수 있다. 나아가 메모리는 비휘발성 메모리, 휘발성 메모리, 또는 이들의 조합을 포함할 수 있다. 더욱이 메모리는 하나 이상의 포맷들의 착탈식 메모리 카드들(예를 들어, SD 카드, 메모리 스틱, 콤팩트 플래시 등)이 삽입 및 제거될 수 있게 하는 메모리 슬롯과 인터페이싱할 수 있다.
일 실시예에 따르면 트랜시버(130)는 유선 통신 모듈, 무선 통신 모듈 또는 RF 모듈을 포함할 수 있다. 무선 통신 모듈은, 예를 들면, Wi-Fi, BT, GPS 또는 NFC를 포함할 수 있다. 예를 들면, 무선 통신 모듈은 무선 주파수를 이용하여 무선 통신 기능을 제공할 수 있다. 트랜시버(130)는 장치(100)를 네트워크(예: Internet, LAN, WAN, telecommunication network, cellular network, satellite network, POTS 또는 5G network 등)와 연결시키기 위한 네트워크 인터페이스 또는 모뎀 등을 포함할 수 있다. RF 모듈은 데이터의 송수신, 예를 들면, RF 신호 또는 호출된 전자 신호의 송수신을 담당할 수 있다. 일 례로, RF 모듈는 PAM(power amp module), 주파수 필터(frequency filter) 또는 LNA(low noise amplifier) 등을 포함할 수 있다. 또한, RF 모듈은 무선통신에서 자유공간상의 전자파를 송수신하기 위한 부품, 예를 들면, 도체 또는 도선 등을 더 포함할 수 있다.
입력부는 사용자의 입력을 수신하기 위한 전자 모듈, 또는 전자 장치이다. 입력부는 사용자의 입력을 전기 신호로 변환하여 메모리 또는 프로세서와 같은 다른 시스템 컴포넌트로 제공할 수 있다. 입력부는, 예를 들어, 키패드, 버튼, 터치 패드, 또는 터치 스크린을 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 따르면, 입력부는 원격 제어 장치로부터의 제어 신호를 수신할 수도 있다. 예를 들어, 원격 제어 장치는, 전자 장치를 향해 제어 신호(예를 들어, 광 신호)를 전달할 수 있고, 전자 장치는 제어 신호를 식별할 수 있다. 전자 장치는 제어 신호가 식별되면, 상기 식별 이후의 후속적인 동작을 수행할 수 있다.
예를 들어, TV 장치는 제어 신호를 식별하는 것에 응답하여 전원이 턴-온될 수 있다.
예를 들어, TV 장치는 연동된 원격 제어 장치의 움직임을 식별할 수 있다. 연동된 원격 제어 장치가 움직이는 것에 응답하여 TV 장치 상에 표시되는 가상 커서도 움질일 수 있다. 또한, 원격 제어 장치로부터 수신된 제어 신호가 수신되면, 현재 TV 장치의 디스플레이 상에 표시 중인 가상 커서의 위치로 선택 입력이 수신될 수 있다. 선택 입력이 수신되면, 수신된 위치에 상응하는 옵션 또는 아이콘이 활성화될 수 있다. 예를 들어, 수신된 위치에 애플리케이션의 실행 아이콘이 존재하는 경우, 해당 아이콘에 대한 선택 입력이 수신됨에 따라 연관된 애플리케이션이 실행될 수 있다.
일 실시예에 따르면 입력부는 A/V 입력을 수신하기 위한 A/V 입력부를 포함할 수 있다. A/V 입력부는 외부 장치의 영상이나 음성 신호를 본 개시의 일 실시예에 따른 장치로 제공할 수 있다. A/V 입력부는, 예를 들어, USB 단자, CVBS(Composite Video Banking Sync) 단자, 컴포넌트 단자, S-비디오 단자(아날로그), DVI(Digital Visual Interface) 단자, HDMI(High Definition Multimedia Interface) 단자, RGB 단자, D-SUB 단자 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 따르면 출력부는 음향 출력부 및 디스플레이부를 포함할 수 있다.
일 실시예에 따르면 음향 출력부는, 음성, 음악과 같은 소리를 출력하기 위한 전자 모듈, 또는 전자 장치이다. 일 실시예에 따르면 음향 출력부는 주변기기 인터페이스로부터 오디오 데이터를 수신할 수 있다. 음향 출력부는 수신된 오디오 데이터를 음파로 변환하여 장치 외부로 출력할 수 있다. 음향 출력부는, 예를 들어, 리시버, 스피커, 버저 등이 포함될 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 따르면 디스플레이부는, 영상 또는 이미지를 출력하기 위한 전자 모듈, 또는 전자 장치이다. 디스플레이부는, 예를 들어, 싱글 디스플레이 패널, 또는 멀티 디스플레이 패널을 포함한다. 싱글 디스플레이 패널을 구비하는 경우, 장치는 하나의 디스플레이 화면을 출력할 수 있다. 멀티 디스플레이 패널을 구비하는 경우, 장치는 2 이상의 디스플레이 패널의 출력이 조합된 형태로서의 통합 화면을 출력할 수 있다. 일 실시예에 따르면, 싱글 디스플레이 패널이 구비된 경우에도 하나의 출력 화면에 복수의 윈도우가 포함될 수도 있으므로, 하나의 출력은 하나의 윈도우 한정될 것은 아니다. 일 실시예에 따르면, 멀티 디스플레이 패널은, 예를 들어, TV 장치, 모니터 장치, MR 장치, AR 장치, 또는 VR 장치에 구비될 수 있다. 일 구현예에서, MR 장치, AR 장치, 또는 VR 장치에 구비되는 경우, 멀티 디스플레이 패널은 각각의 눈에 대해 MR, AR, 또는 VR 컨텐츠를 제공할 수 있다.
일 실시예에 따르면, 하나 이상의 디스플레이부는 사용자 인터페이스를 제시하도록 구성된다. 일 구현예들에서, 하나 이상의 디스플레이부는 홀로그래픽, 디지털 광 프로세싱(DLP, Digital Light Processing), 액정 디스플레이(LCD, Liquid Crystal Display), 실리콘 액정(LcoS, Liquid Crystal on Silicon), 유기 발광 전계 효과 트랜지스터(OLET, Organic Light Emitting Transistor), 유기 발광 다이오드(OLED, Organic Light Emitting Diode), 표면-전도 전자-방출기 디스플레이(SED, Surface-conduction Electron-emitter Display), 전계-방출 디스플레이(FED, Field Emission Display), 양자점 발광 다이오드(QD-LED, Quantum Dot Light Emitting Diode), 마이크로-전자-기계 시스템(MEMS, MicroElectroMechanical Mystem), 또는 유사 디스플레이 유형들에 대응한다. 일 구현예들에서, 하나 이상의 디스플레이부는 회절, 반사, 편광, 홀로그래픽 등 도파관 디스플레이에 대응한다.
일 실시예에 따르면, 하나 이상의 프로세서(110), 하나 이상의 메모리(120), 하나 이상의 트랜시버(130), 하나 이상의 입력부(140), 하나 이상의 출력부(150)는 각각 하나 이상의 버스에 의해 상호 연결될 수 있다. 일 실시예에 따르면, 하나 이상의 버스는 시스템 컴포넌트들 간의 통신을 상호연결하거나 제어하는 회로부를 포함할 수 있다.
도 2는 영상통화 애플리케이션과 연관된 사용자 인터페이스 화면을 예시적으로 설명하기 위한 도면이다.
일 실시예에 따르면, 화상통화 애플리케이션은 전자 장치(도 1의 100)의 메모리에 저장될 수 있다. 화상통화 애플리케이션은 원격의 다른 인물과 화상 및 음성을 송수신하는 것을 지원할 수 있다. 전자 장치는 화상통화 애플리케이션을 이용하여 디스플레이(151) 상에 상대방 장치로부터 제공된 화상을 표시할 수 있다. 또한, 전자 장치는 화상통화 애플리케이션을 이용하여 스피커를 통해 상대방 장치로부터 제공된 음성을 제공할 수 있다. 이처럼, 영상통화 애플리케이션은 음성 및 화상을 제공함으로써, 사용자는 음성통화에 비하여 실제와 가까운 대화를 나눌 수 있게 된다.
일 실시예에 따르면, 화상통화 애플리케이션에 연관된 사용자 인터페이스 화면(UI)은 전자 장치의 디스플레이(151) 상에 표시될 수 있다. 일 실시예에 따르면, 사용자 인터페이스 화면(UI)은 복수의 화면 요소들을 포함할 수 있다. 복수의 화면 요소들 중 일부는 미리 설정된 윈도우 상에 포함되도록 표현될 수 있다.
일 실시예에 따르면, 사용자 인터페이스 화면(UI)은 제1 화면 요소(UIE1), 제2 화면 요소(UIE2)를 포함할 수 있다. 제1 화면 요소(UIE1)는 제1 윈도우 상에 표현되고, 제2 화면 요소(UIE2)는 제2 윈도우 상에 표현될 수 있다. 제2 윈도우는 제1 윈도우의 적어도 일부의 영역으로 구성될 수 있으나, 이로 제한되는 것은 아니다. 제2 윈도우는 제1 윈도우 보다 작은 크기로 구성될 수 있다. 제2 윈도우는 제1 윈도우 상에 오버랩 되도록 표현될 수 있다. 예를 들어, 제2 화면 요소(UIE2)는 제2 윈도우 상에 표현될 수 있고, 제2 윈도우는 PIP(Picture-in-Picture)과 같이 제1 윈도우 상에 오버랩되게 표시될 수 있다.
예를 들어, 제1 윈도우에는 상대방 장치로부터 제공된 제1 화면 요소(UIE1)가 표현될 수 있다. 예를 들어, 제2 윈도우에는 전자 장치에 의해 획득된 제2 화면 요소(UIE2)가 표현될 수 있다. 제1 화면 요소(UIE1)에는 상대방 장치 앞에 위치한 제2 인물(P2)의 화상이 포함될 수 있다. 제2 화면 요소(UIE2)에는 전자 장치 앞에 위치한 제1 인물(P1)의 화상이 포함될 수 있다. 제2 화면 요소(UIE2)는 전자 장치에 구비된 카메라(141)에 의해 획득될 수 있다. 카메라(141)는 획득된 화상을 전기적으로 연결될 프로세서 및/또는 메모리로 제공할 수 있다.
본 개시에서, 용어 “제1 전자 장치”는 제1 인물(P1)의 전자 장치를 말하고, 용어 “제N 전자 장치(N은 2 이상의 자연수)”는 제N 인물의 전자 장치를 말한다. 본 개시에서, 제1 전자 장치는 “사용자 장치”, 제N 전자 장치는 “상대방 장치”로 호칭될 수 있다.
도 3은 일 실시예에 따른 영상통화 시스템의 예시적인 블록도이다.
도 3을 참조하면, 일 실시예에 따른 시스템은, 사용자 장치(100), 서버(200) 및 상대방 장치(300)를 포함할 수 있다. 일 실시예에 따르면, 사용자 장치(100), 서버(200) 및 상대방 장치(300)는 각각 네트워크를 통해 무선으로 연결될 수 있다. 일 실시예에 따르면, 사용자 장치(100) 및 상대방 장치(300)는 서버(200)로 영상통화를 위한 화상 및 음성을 전송할 수 있다. 일 실시예에 따르면, 서버(200)는 사용자 장치(100) 및 상대방 장치(300)들로부터 수신된 화상 및 음성을 사용자 장치(100) 및 상대방 장치(300)들로 전송할 수 있다.
일 실시예에 따르면, 서버(200)는 영상통화 애플리케이션을 통해 영상통화에 참여 중인 사용자 장치(100) 및 상대방 장치(300)들을 식별할 수 있다. 서버(200)는 특정 영상통화에 참여 중인 사용자 장치(100) 및 상대방 장치(300)를 식별하고, 식별된 장치들로부터 화상 및 음성을 수신할 수 있다. 서버(200)는 장치들로부터 수신된 화상 및 음성을 특정 영상통화에 참여 중인 사용자 장치(100) 및 상대방 장치(300)로 전송할 수 있다. 이를 통해, 특정 영상통화에 참여 중인 모든 전자 장치들은 각각의 장치들로부터 획득된 음성 및 화상을 디스플레이부나 음향 출력부로 출력할 수 있다.
도 3에 도시된 바에 의하면, 상대방 장치(300)가 제1 내지 제3 상대방 장치(300a, 300b, 300c)가 있는 것으로 예시되나, 본 개시의 일 실시예들이 이로 제한되는 것은 아니다.
도 4는 일 실시예에 따른 사용자 장치의 제어방법의 순서도이다.
도 4를 참조하면, 일 실시예에 따른 사용자 장치는 이하의 제어 방법을 수행할 수 있다. 일 실시예에 따른 제어 방법은 S410 내지 S470로 예시되는 복수의 동작들 중 적어도 일부를 수행할 수 있다. 일 실시예에 따른 제어 방법은 S410 내지 S470 동작들로 제한되는 것이 아니며, 각각의 동작의 적어도 일부는 대안적인 동작으로 대체되거나, 중간에 추가적인 동작을 더 포함할 수도 있다.
일 실시예에 따르면, 사용자 장치는 영상통화 애플리케이션을 통해 영상통화 참여요청을 전송하라는 입력을 검출할 수 있다(S410).
일 실시예에 따르면, 영상통화 애플리케이션은 사용자 장치의 메모리에 저장될 수 있다. 영상통해 애플리케이션의 프로세서에 의해 실행될 수 있다.
일 실시예에 따르면, 사용자 장치는 입력부를 통해 영상통화 참여요청을 전송하라는 입력을 검출할 수 있다. 일 실시예에 따르면, 사용자 장치는 트랜시버를 통해 영상통화 참여요청을 전송하라는 입력을 검출할 수 있다.
일 실시예에 따르면, 사용자 장치는 영상통화 참여요청을 전송하라는 입력을 검출하는 것에 응답하여 프리뷰 화면과 관련된 설정 정보를 식별할 수 있다(S420). 일 실시예에 따르면, 사용자 장치는 영상통화 참여요청을 전송하라는 입력을 수신하는 것에 연관된 전기 신호를 식별할 수 있다. 사용자 장치는 전기 신호가 식별되는 것에 응답하여 프리뷰 화면과 관련된 설정 정보를 식별할 수 있다. 본 개시의 프리뷰 화면은 영상통화 애플리케이션에 연관된 화면들 중 하나이다. 프리뷰 화면은 영상통화 애플리케이션을 통해 제공될 화상 또는 음성의 입/출력을 설정하기 위한 하나 이상의 아이콘을 포함할 수 있다. 프리뷰 화면에 대한 하나 이상의 사용자 입력에 기초하여 영상통화 애플리케이션의 입/출력 설정이 변경될 수 있다.
예를 들어, 프리뷰 화면은 카메라를 통해 획득된 화상을 상대방 장치로 공유하기 이전에, 디스플레이 상에 카메라를 통해 획득된 화상을 미리 표시할 수 있다. 사용자는 프리뷰 화면을 바라보며 이후 상대방 장치로 전송될 화상의 상태를 조절하기나 카메라의 화각(FoV, Field of View) 범위로 포함되는 주변 환경을 정돈할 수 있다. 또한, 사용자는 프라이버시가 침해되는 것을 방지하기 위하여 카메라의 화각을 조절할 수도 있으며, 프리뷰 화면은 카메라의 화각을 조절하기 위한 GUI를 포함할 수 있다.
예를 들어, 프리뷰 화면은 마이크로폰을 통해 획득된 음성을 상대방 장치로 공유하기 이전에, 스피커를 통해 획득된 음성을 미리 출력할 수 있다. 사용자는 프리뷰 화면이 표시되는 중 마이크로폰을 통해 자신의 음성을 입력하고, 음향 출력부를 통해 상대방 장치에서 출력될 자신의 음성을 미리 청취할 수 있다. 이를 통해, 영상통화를 개시한 이후에 마이크로폰의 상태불량으로 인해 영상통화의 상대방이 불편을 겪는 일을 미연에 방지할 수 있다.
일 실시예에 따르면, 영상통화 애플리케이션은 프리뷰 화면과 연관된 설정 정보를 포함할 수 있다. 일 실시예에 따르면, 사용자 장치는 프리뷰 화면과 설정 정보에 기초하여 프리뷰 화면을 표시할지 여부를 결정할 수 있다.
일 실시예에 따르면, 프리뷰 화면과 연관된 설정 정보는 제1 설정 정보 및 제2 설정 정보를 포함할 수 있다. 프리뷰 화면과 연관된 설정 정보가 제1 설정 정보로 식별되는 경우, 사용자 장치는 프리뷰 화면을 표시하는 것으로 결정할 수 있다. 프리뷰 화면과 연관된 설정 정보가 제2 설정 정보로 식별되는 경우, 사용자 장치는 프리뷰 화면을 표시하지 않는 것으로 결정할 수 있다.
일 실시예에 따르면, 프리뷰 화면을 표시하는 것으로 식별되지 않는 경우, 사용자 장치는 카메라를 통해 획득된 제1 화상, 트랜시버에 의해 수신된 제2 화상, 제1 화상의 네트워크 전송과 연관된 선택가능한 옵션을 포함하는 제1 사용자 인터페이스 화면을 디스플레이로 제공할 수 있다(S430: No, S440).
일 실시예에 따르면, 사용자 장치는 카메라를 통해 제1 화상을 획득할 수 있다. 제1 화상은 사용자 장치의 전방에 위치한 제1 인물(예: 사용자)에 대한 화상을 포함할 수 있다. 일 실시예에 따르면, 사용자 장치는 다른 장치(예: 서버 또는 상대방 장치)로부터 제2 인물(예:상대방)에 대한 화상을, 트랜시버를 통해, 수신할 수 있다. 제2 화상은 제1 인물과 영상통화를 하는 제2 인물(예: 상대방)에 대한 화상을 포함할 수 있다.
일 실시예에 따르면, 사용자 장치는 S450에서 후술할 트리거링 조건이 검출되는 것에 응답하여 카메라를 통해 획득된 제1 화상을 다른 장치로 전송할 수 있다. 이 경우, 제1 사용자 인터페이스 화면은 제1 화상의 네트워크 전송과 연관된 선택가능한 옵션을 포함할 수 있다. 사용자 장치는 상기 선택가능한 옵션에 대한 사용자 입력의 수신 여부에 따라 제1 화상을 다른 장치(예: 서버 또는 상대방 장치)로 전송하거나, 전송하지 않도록 설정될 수 있다.
일 실시예에 따르면, 사용자 장치는 제1 사용자 인터페이스 화면을 제공하는 것에 응답하여 제1 화상을 다른 장치로 전송하거나, 다른 장치로부터 제2 화상을 수신하는 것에 응답하여 제1 화상을 다른 장치로 전송할 수 있다. 이 경우, 제1 사용자 인터페이스 화면은 시스템 정보의 전송과 연관된 선택가능한 옵션을 포함할 수 있다. 사용자 장치는 상기 선택가능한 옵션에 대한 사용자 입력의 수신 여부에 따라 시스템 정보를 다른 장치(예: 서버 또는 상대방 장치)로 전송하거나, 전송하지 않도록 설정할 수 있다.
일 실시예에 따르면, 시스템 정보는 상대방 장치에서의 제1 화상의 표시 상태를 설정하기 위한 정보이다. 일 실시예에 따르면, 상기 시스템 정보는 제1 시스템 정보 및 제2 시스템 정보를 포함할 수 있다. 일 실시예에 따르면, 사용자 장치는 제1 시스템 정보를 제1 화상과 함께 전송함으로써, 상대방 장치가 제1 화상을 표시하지 않도록 제어할 수 있다. 일 실시예에 따르면, 사용자 장치는 제1 시스템 정보를 전송하여 상기 상대방 장치가 제1 화상을 대신하여 미리 설정된 아이콘을 표시하게 할 수 있다. 일 실시예에 따르면, 사용자 장치는 제2 시스템 정보를 제1 화상과 함께 전송함으로써, 상대방 장치가 제1 화상을 표시하게 할 수 있다. 상대방 장치는 제2 시스템 정보를 수신하는 것에 응답하여 제1 화상을 표시할 수 있다.
일 실시예에 따르면, 사용자 장치는 미리 설정된 트리거링 조건을 검출할 수 있다(S450).
일 실시예에 따르면, 트리거링 조건은 미리 설정된 시간조건일 수 있다. 일 실시예에 따르면, 사용자 장치는 미리 설정된 시간에 도달하는 것에 응답하여 트리거링 조건을 검출할 수 있다. 예를 들어, 미리 설정된 시간이 3분인 경우, 사용자 장치는 제1 사용자 인터페이스 화면을 3분간 제공한 이후 제1 사용자 인터페이스 화면을 S460에서 후술할 제2 사용자 인터페이스 화면으로 전환할 수 있다.
일 실시예에 따르면, 트리거링 조건은 선택가능한 옵션에 대한 사용자 입력이 수신되는 것으로 설정될 수 있다. 예를 들어, 제1 사용자 인터페이스 화면이 사용자 장치의 디스플레이 상에 표시되는 동안 상기 선택가능한 옵션에 대한 사용자 입력이 수신될 수 있다. 사용자 장치는 선택가능한 옵션에 대한 사용자 입력이 수신되는 것에 응답하여 트리거링 조건이 검출된 것으로 결정할 수 있다.
일 실시예에 따르면, 선택가능한 옵션에 대한 사용자 입력이 수신됨에 따라, 상기의 미리 설정된 시간조건이 검출되는 것과 상관없이 트리거링 조건이 검출될 수 있다. 예를 들어, 미리 설정된 시간이 3분인 경우, 사용자 장치는 제1 사용자 인터페이스 화면을 3분간 제공 후 제2 사용자 인터페이스 화면으로 전환될 수 있으나, 상기의 3분에 도달하기 이전에 선택가능한 옵션에 대한 사용자 입력이 수신되면 시간조건과 상관없이 제2 사용자 인터페이스 화면으로 전환될 수 있다.
일 실시예에 따르면, 트리거링 조건은 미리 설정된 제스처조건일 수 있다. 일 실시예에 따르면, 사용자 장치는 미리 설정된 제스처가 검출되는 것에 응답하여 트리거링 조건을 검출할 수 있다. 일 실시예에 따르면, 제스처는 사용자 장치의 카메라에 의해 획득되는 제1 화상을 분석함으로써 식별될 수 있다. 예를 들어, 사용자 장치는 제1 화상에 포함된 인물의 손 모양, 손 움직임 중 적어도 하나에 기초하여 미리 설정된 제스처조건을 식별할 수 있다. 예를 들어, 엄지와 검지로 동그라미 형상을 만든 것이 식별되면, 사용자 장치는 제스처조건이 검출된 것으로 결정할 수 있다. 일 실시예에 따르면, 제스처는 미리 학습된 머신러닝 모델에 기반하여 식별될 수 있으나, 이로 제한되는 것은 아니다.
일 실시예에 따르면, 사용자 장치는 미리 설정된 트리거링 조건이 검출되는 것에 응답하여 카메라를 통해 획득된 제1 화상, 트랜시버에 의해 네트워크로부터 수신된 제2 화상을 포함하는 제2 사용자 인터페이스 화면을 디스플레이로 제공할 수 있다(S450:Yes, S460). 일 실시예에 따르면, 사용자 장치는 미리 설정된 트리거링 조건이 검출되지 않는 경우, 제1 사용자 인터페이스 화면을 계속하여 디스플레이로 제공할 수 있다(S450:No, S440).
일 실시예에 따르면, 사용자 장치는 제1 화상을 네트워크를 통해 다른 장치(예를 들어, 서버 또는 상대방 장치)로 전송하는 것을 개시할 수 있다(S470).
일 실시예에 따르면, 사용자 장치는 미리 설정된 트리거링 조건이 검출되는 것에 응답하여 제1 화상을 네트워크를 통해 다른 장치로 전송할 수 있다. 이 경우, 사용자 장치는 트리거링 조건이 검출되기 이전까지는 제1 화상을 네트워크를 통해 전송하지 않는 상태를 유지할 수 있다. 사용자 장치는 트리거링 조건이 검출되기 이전까지 음성의 전송과 상관없이 제1 화상을 전송하지 않을 수 있다. 상대방 장치는 제1 화상을 수신할 수 없으므로 제1 화상이 표시되어야 할 윈도우는 미리 설정된 아이콘으로 대체될 수 있다. 상대방은 아이콘을 통해 사용자 장치가 제1 화상을 전송하고 있지 않음을 확인할 수 있다.
일 실시예에 따르면, 사용자 장치는 미리 설정된 트리거링 조건이 검출되는 것에 응답하여 제2 시스템 정보를 다른 장치로 전송할 수 있다. 이 경우, 사용자 장치는 트리거링 조건이 검출되기 이전에도 제1 화상을 네트워크를 통해 다른 장치로 전송할 수 있다. 예를 들어, 사용자 장치는 제1 사용자 인터페이스 화면을 제공하는 것에 응답하여 제1 화상을 다른 장치로 전송하거나, 다른 장치로부터 제2 화상을 수신하는 것에 응답하여 제1 화상을 다른 장치로 전송할 수 있다. 상대방 장치로 전송된 제1 화상은, 상대방 장치로 전송된 시스템 정보의 유형에 기초하여 표시되거나 표시되지 않을 수 있다. 예를 들어, 제1 시스템 정보가 전송된 경우, 제1 화상은 상대방 장치에서 표시되지 않고, 제2 시스템 정보가 전송된 경우, 제1 화상은 상대방 장치에서 표시될 수 있다.
일 실시예에 따르면, 동작 S470는 동작 S460 이후에 수행되는 것으로 제한되지 않으며, S470의 이전에, 이후에, 또는 동시에 수행될 수 있다. 예를 들어, 트리거링 조건이 검출되는 것에 응답하여, 동작 S460 및 동작 S470이 수행될 수 있다. 예를 들어, 트리거링 조건이 검출되는 것에 응답하여 S460 및 S470이 순차적으로 수행될 수 있다. 예를 들어, 트리거링 조건이 검출되는 것에 응답하여 S470 및 S460이 순차적으로 수행될 수 있다.
일 실시예에 따르면, 프리뷰 화면을 표시하는 것으로 식별되는 경우, 사용자 장치는 프리뷰 화면을 포함하는 제3 사용자 인터페이스 화면을 디스플레이에 제공할 수 있다(S430:Yes, S480).
일 실시예에 따르면, 제3 사용자 인터페이스 화면은 적어도 일부로 프리뷰 화면을 포함할 수 있다. 예를 들어, 프리뷰 화면은 카메라를 통해 획득된 화상을 상대방 장치로 공유하기 이전에, 디스플레이 상에 카메라를 통해 획득된 화상을 미리 표시할 수 있다. 사용자는 프리뷰 화면을 바라보며 이후 상대방 장치로 전송될 화상의 상태를 조절하기나 카메라의 화각(FoV) 범위로 포함되는 주변 환경을 정돈할 수 있다. 또한, 사용자는 프라이버시가 침해되는 것을 방지하기 위하여 카메라의 화각을 조절할 수도 있으며, 프리뷰 화면은 카메라의 화각을 조절하기 위한 GUI를 포함할 수 있다. 예를 들어, 프리뷰 화면은 마이크로폰을 통해 획득된 음성을 상대방 장치로 공유하기 이전에, 스피커를 통해 획득된 음성을 미리 출력할 수 있다. 사용자는 프리뷰 화면이 표시되는 중 마이크로폰을 통해 자신의 음성을 입력하고, 음향 출력부를 통해 상대방 장치에서 출력될 자신의 음성을 미리 청취할 수 있다. 이를 통해, 영상통화를 개시한 이후에 마이크로폰의 상태불량으로 인해 영상통화의 상대방이 불편을 겪는 일을 미연에 방지할 수 있다.
이로 제한되는 것은 아니나, 일 실시예에 따르면, 제3 사용자 인터페이스 화면은, 프리뷰 화면에 해당하는 영역에서만 사용자 입력을 수신하도록 구성될 수 있다. 예를 들어, 프리뷰 화면에 해당하는 영역을 제외한 나머지 영역에 사용자 입력을 적용하더라도, 사용자 장치는 상호작용에 기반한 동작을 수행하지 않을 수 있다. 예를 들어, 프리뷰 화면에 해당하는 영역에 사용자 입력을 적용하는 경우에만, 사용자 장치는 상호작용에 기반한 동작을 수행할 수 있다.
일 실시예에 따르면, 사용자 장치는 제3 사용자 인터페이스 화면에 대한 사용자 입력이 수신되는 것에 응답하여, 상기 제3 사용자 인터페이스 화면을 제2 사용자 인터페이스 화면으로 전환할 수 있다(S490).
일 실시예에 따르면, 사용자 장치는 프리뷰 화면에 대한 사용자 입력이 수신되는 것에 응답하여 제3 사용자 인터페이스 화면은 제2 사용자 인터페이스 화면으로 전환될 수 있다. 제2 사용자 인터페이스 화면은 프리뷰 화면을 포함하지 않도록 구성될 수 있다. 예를 들어, 제2 사용자 인터페이스 화면은 카메라를 통해 획득된 제1 화상, 트랜시버에 의해 네트워크로부터 수신된 제2 화상을 포함할 수 있다.
본 개시의 일 실시예에 따르면, 미리 설정된 트리거링 조건에 기초하여, 사용자 장치는 제1 화상 또는 제2 시스템 정보 중 어느 하나를 다른 전자 장치로 전송할 수 있다. 일 실시예에 따르면, 제1 화상을 전송하도록 설정된 경우, 사용자 장치는 트리거링 조건이 검출되기 이전까지 제1 화상을 다른 장치로 전송하지 않는다. 일 실시예에 따르면, 제2 시스템 정보를 전송하도록 설정된 경우, 사용자 장치는 상기 트리거링 조건과 상관없이 제1 화상을 다른 장치로 전송할 수 있다.
또한, 이로 제한되는 것은 아니나, 일 실시예에 따르면, 제1 화상이 다른 전자 장치로 전송되는 것과 함께 음성도 다른 전자 장치로 전송될 수 있다.
도 5는 일 실시예에 따른 사용자 장치의 제어방법의 순서도이다.
도 5를 참조하면, 일 실시예에 따른 사용자 장치는 이하의 제어 방법을 수행할 수 있다. 일 실시예에 따른 제어 방법은 S510 내지 S550으로 예시되는 복수의 동작들 중 적어도 일부를 수행할 수 있다. 일 실시예에 따른 제어 방법은 S510 내지 S550 동작들로 제한되는 것이 아니며, 각각의 동작의 적어도 일부는 대안적인 동작으로 대체되거나, 중간에 추가적인 동작을 더 포함할 수도 있다.
일 실시예에 따르면, 사용자 장치는 미리 설정된 시간 동안 사용자 음성을 마이크로폰을 통해 획득할 수 있다(S510).
일 실시예에 따르면, 미리 설정된 시간은 S440에서 전술한 트리거링 조건 중 시간조건의 미리 설정된 시간보다 짧게 설정될 수 있다. 예를 들어, 트리거링 조건이 3분인 경우, 사용자 음성을 획득하는 시간은 10초로 설정될 수 있다. 마이크로폰을 통해 획득된 음성은 사용자 장치의 메모리에 저장될 수 있다.
일 실시예에 따르면, 사용자 장치는 획득된 음성을 스피커를 통해 출력할 수 있다(S520).
일 실시예에 따르면 사용자 장치는 획득된 음성을 스피커를 통해 소정의 시간 동안 출력할 수 있다. 예를 들어, 사용자 장치는 S510의 음성획득을 마치는 것에 응답하여 스피커를 통해 획득된 음성을 출력할 수 있다. 이를 통해, 사용자는 자신의 장치를 통해 입력된 자신의 음성이 상대방에게 어떻게 들릴지를 미리 청취해볼 수 있게 된다.
일 실시예에 따르면, 사용자 장치는 사용자로부터 출력된 음성에 대한 응답을 입력받을 수 있다(S530).
사용자 장치는 포지티브 응답 또는 네거티브 응답을 입력받을 수 있다. 포지티브 응답은 현재의 오디오 설정(예를 들어, 마이크로폰의 설정)에 기초하여 음성을 다른 장치로 제공하라는 응답이다. 네거티브 응답은 현재의 오디오 설정을 다른 오디오 설정으로 변경하거나, 변경하기 위한 설정 윈도우를 표시하라는 응답이다.
일 실시예에 따르면, 사용자 장치는 포지티브 응답을 수신한 경우에는 마이크로폰을 통해 획득되는 음성을 네트워크를 통해 다른 장치로 전송하는 것을 개시할 수 있다(S530:Yes, S540).
일 실시예에 따르면, 사용자 장치는 네거티브 응답을 수신한 경우에는 마이크로폰을 통해 획득되는 음성을 네트워크를 통해 다른 장치로 전송하지 않고, 오디오 설정을 변경할 수 있다(S530:Yes, S550).
일 실시예에 따르면, 네거티브 응답은 제1 네거티브 응답, 제2 네거티브 응답을 포함할 수 있다. 사용자 장치는 제1 네거티브 응답을 수신하는 것에 기초하여 상대방 장치에서 출력될 음성의 크기를 키울 수 있다. 사용자 장치는 제2 네거티브 응답을 수신하는 것에 기초하여 상대방 장치에서 출력될 음성의 크기를 감소시킬 수 있다.
일 실시예에 따르면, 사용자 장치는 네거티브 응답을 수신하는 것에 응답하여 오디오 설정을 변경하기 위한 설정 윈도우를 디스플레이 상에 표시할 수 있다. 사용자는 설정 윈도우를 이용하여 오디오 설정을 변경할 수 있다. 사용자 장치는 설정 윈도우에 대한 사용자 입력에 기초하여 상대방 장치에서 출력될 음성의 크기를 키우거나 감소시킬 수 있다.
프리뷰 화면이 제외되는 경우, 사용자는 상대방에게 출력될 자신의 음성상태를 미리 알 수 없고, 조정할 수도 없다. 일 실시예에 따르면, 상대방 장치로 화상이 표시되지 않는 전체 시간(예를 들어, 제1 화상이 네트워크 전송되지 않는 시간, 또는 제2 시스템 정보가 전송되기 이전까지의 시간) 중 일부의 시간동안 음성을 획득 및 출력함으로써, 사용자의 음성 상태 점검을 가능하게 할 수 있다.
도 6은 일 실시예에 따른 상대방 장치의 제어방법의 순서도이다.
도 6을 참조하면, 일 실시예에 따른 상대방 장치는 이하의 제어 방법을 수행할 수 있다. 일 실시예에 따른 제어 방법은 S610 내지 S640으로 예시되는 복수의 동작들 중 적어도 일부를 수행할 수 있다. 일 실시예에 따른 제어 방법은 S610 내지 S640 동작들로 제한되는 것이 아니며, 각각의 동작의 적어도 일부는 대안적인 동작으로 대체되거나, 중간에 추가적인 동작을 더 포함할 수도 있다. 일 실시예에 따르면, 상대방 장치에 의해 수행되는 동작들은 사용자 장치에 의해서도 수행될 수 있다. 예를 들어, 사용자 장치가, 도 4 및/또는 도 5의 제어방법을 구현가능한 상대방 장치로부터 화상이나 음성을 수신하는 경우에는 사용자 장치가 도 6에 예시된 하나 이상의 동작을 수행할 수 있다.
일 실시예에 따르면, 상대방 장치는 네트워크로부터 참여자 정보를 수신할 수 있다(S610).
일 실시예에 따르면, 참여자 정보는 서버로부터 수신할 수 있다. 서버는 영상통화 참여요청을 수신하는 것에 응답하여 상대방 장치로 참여자 정보를 전송할 수 있다. 영상통화 참여요청은 요청하는 사용자 장치를 식별하기 위한 참여자 정보를 포함할 수 있다. 서버는 상대방 장치가 참여요청을 전송한 사용자 장치를 식별할 수 있도록 참여자 정보를 상대방 장치로 전송할 수 있다.
일 실시예에 따르면, 상대방 장치는 참여자 정보를 수신하는 것에 응답하여 화상 및 음성을 네트워크로 전송할 수 있다(S620).
일 실시예에 따르면, 상대방 장치는 참여자 정보에 기초하여 화상 및 음성을 네트워크로 전송할 수 있다. 상대방 장치는 참여자 정보와 연관된 전자 장치(예: 사용자 장치)가 화상 및 음성을 전달받도록 서버로 음성 및 화상을 전송할 수 있다.
일 실시예에 따르면, 상대방 장치는 참여자 정보에 상응하는 전자 장치로부터 시스템 정보, 화상 및 음성 중 적어도 하나를 수신할 수 있다(S630).
일 실시예에 따르면, 상대방 장치는 참여자 정보와 연관된 전자 장치(예: 사용자 장치)로부터 화상 및 음성을 수신할 수 있다. 일 실시예에 따르면, 상대방 장치는 수신된 화상 및 음성을 메모리에 저장할 수 있다.
일 실시예에 따르면, 상대방 장치는 수신한 화상을 영상통화 애플리케이션의 사용자 인터페이스 화면 중 적어도 일부로 표시할 수 있다.
일 실시예에 따르면, 상대방 장치는 수신한 화상을 메모리에 저장하되, 시스템 정보에 기초하여 화상의 출력 여부를 결정할 수 있다. 일 실시예에 따르면, 시스템 정보는 제1 시스템 정보 및 제2 시스템 정보를 포함할 수 있으며 각각에 대한 설명은 도 4에서 설명한 바와 같아 중복된 설명을 생략한다.
일 실시예에 따르면, 상대방 장치는 시스템 정보에 기초하여 사용자 인터페이스 화면의 적어도 일부 영역에, 수신된 영상 또는 영상을 대신하기 위한 아이콘 중 적어도 하나를 할당할 수 있다(S640).
일 실시예에 따르면, 상대방 장치는 제1 시스템 정보를 수신한 경우에는, 수신한 화상을 디스플레이 상에 표시하지 않을 수 있다. 일 실시예에 따르면, 상대방 장치는 수신된 음성은 출력하되 수신된 화상은 출력하지 않을 수 있다. 일 실시예에 따르면, 상대방 장치는 수신한 화상을 출력하지 않는 경우에는, 수신한 화상을 대신하는 아이콘을 사용자 인터페이스 화면 상에서 수신된 화상이 출력되어야 할 윈도우에 표시할 수 있다.
일 실시예에 따르면, 상대방 장치는 제2 시스템 정보를 수신한 경우에는, 수신한 화상을 디스플레이 상에 표시할 수 있다. 일 실시예에 따르면, 상대방 장치는 수신된 음성을 스피커를 통해 출력하는 것과 함께 수신된 화상을 디스플레이 상에 표시할 수 있다.
도 7은 일 실시예에 따른 영상통화 시스템에 의한 제어방법의 순서도이다.
도 7을 참조하면, 일 실시예에 따른 상대방 장치는 이하의 제어 방법을 수행할 수 있다. 일 실시예에 따른 제어 방법은 S701 내지 S716으로 예시되는 복수의 동작들 중 적어도 일부를 수행할 수 있다. 일 실시예에 따른 제어 방법은 S701 내지 S716 동작들로 제한되는 것이 아니며, 각각의 동작의 적어도 일부는 대안적인 동작으로 대체되거나, 중간에 추가적인 동작을 더 포함할 수도 있다.
일 실시예에 따르면, 상대방 장치(예: 전자 장치 2)에 의해 수행되는 동작들은 사용자 장치(예: 전자 장치 1)에 의해서도 수행될 수 있다. 반대로, 사용자 장치(예: 전자 장치 1)에 의해 수행되는 동작들은 상대방 장치(예: 전자 장치 2)에 의해서도 수행될 수 있다. 도 7에 도시된 “전자 장치 1”은 제1 전자 장치, “전자 장치 2”는 제2 전자 장치로 호칭될 수 있다.
일 실시예에 따르면, 제1 전자 장치는 영상통화 애플리케이션을 통해 영상통화 참여요청을 전송하라는 입력을 검출할 수 있다(S701). 일 실시예에 따르면, 입력은 사용자 입력일 수 있다. 사용자 입력은 원격 제어 장치로부터 수신되거나, 전자 장치의 일 측에 마련된 버튼 등에 의해 입력될 수 있으나, 이로 제한되는 것은 아니다.
일 실시예에 따르면, 제1 전자 장치는 영상통화 참여요청을 전송하라는 입력을 검출하는 것에 응답하여 프리뷰 화면과 관련된 설정 정보를 식별할 수 있다(S702). 일 실시예에 따르면, 프리뷰 화면과 관련된 설정 정보는 도 4의 S420 및 S430을 참조하여 이해될 수 있다. 영상통화 애플리케이션이 프리뷰 화면을 표시하지 않는 것으로 설정된 경우, 제1 전자 장치는 후속적인 동작에서 트리거링 조건에 기초하여 제2 전자 장치에서의 화상 표시를 제한할 수 있다. 단, 영상통화 애플리케이션이 프리뷰 화면을 표시하는 것으로 설정된 경우, 제1 전자 장치는 후속적인 동작에서 트리거링 조건에 기초하여 제2 전자 장치의 화상 표시를 제한할 수 없다.
일 실시예에 따르면, 프리뷰 화면과 관련된 설정 정보가 프리뷰 화면을 표시하는 것으로 설정된 경우에는 도 4의 S480(S430:Yes)를 참조하여 설명될 것이고, 이하의 동작은 프리뷰 화면과 관련된 설정 정보가 프리뷰 화면을 표시하지 않는 것으로 설정된 경우로 설명한다.
일 실시예에 따르면, 제1 전자 장치는 서버로 영상통화 참여 요청을 전송할 수 있다(S703).
일 실시예에 따르면, 서버는 영상통화 참여요청을 수신하는 것에 응답하여 제2 전자 장치로 참여자 정보를 전송할 수 있다(S704).
일 실시예에 따르면, 제2 전자 장치는 서버로 음성 및 화상을 전송할 수 있다(S705).
일 실시예에 따르면, 서버는 제2 전자 장치로부터 수신된 음성 및 화상을 제1 전자 장치로 전송할 수 있다(S705).
일 실시예에 따르면, 제1 전자 장치는 카메라를 통해 획득한 화상(제1 화상), 트랜시버에 의해 서버로부터 수신한 화상(제2 화상), 및 선택가능한 옵션을 포함하는 사용자 인터페이스 화면을 디스플레이 상에 표시할 수 있다(S707).
일 실시예에 따르면, 선택가능한 옵션은 카메라를 통해 획득한 제1 화상의 네트워크 전송과 연관될 수 있다. 일 실시예에 따르면, 선택가능한 옵션은 제2 시스템 정보의 전송과 연관될 수 있다.
일 실시예에 따르면, 선택가능한 옵션이 제1 화상의 네트워크 전송과 연관된 경우, 제1 전자 장치는 트리거링 조건이 검출되기 이전까지 화상을 전송하지 않는다. 일 실시예에 따르면, 선택가능한 옵션이 제2 시스템 정보의 전송과 연관된 경우, 제1 전자 장치는 트리거링 조건과 상관없이 제1 화상을 서버로 전송할 수 있다.
일 실시예에 따르면, 제1 전자 장치는 제1 시스템 정보를 서버로 전송할 수 있다(S708).
일 실시예에 따르면, 전자 장치는 음성 및 화상을 서버로 전송할 수 있다(S709).
일 실시예에 따르면, 동작 S709는 동작 S708 이전에 수행될 수 있다. 일 실시예에 따르면, 동작 S709는 동작 S708과 동시에 수행될 수 있다. 일 실시예에 따르면, 동작 S709는 동작 S708 이후에 수행될 수 있다.
일 실시예에 따르면, 서버는 제1 전자 장치로부터 수신된 제1 시스템 정보, 음성 및 화상을 제2 전자 장치로 전송할 수 있다(S710).
일 실시예에 따르면, 제2 전자 장치는 카메라를 통해 획득된 화상(제1 화상), 트랜시버에 의해 서버로부터 수신된 화상(제2 화상)을 포함하는 사용자 인터페이스 화면을 디스플레이 상에 표시할 수 있다(S711).
일 실시예에 따르면, 사용자 인터페이스 화면의 기초가 되는 제2 화상 중 적어도 일부는 시스템 정보에 기초하여 제3 화상으로 설정될 수 있다. 예를 들어, 제2 전자 장치가 제1 시스템 정보를 수신한 경우, 제2 전자 장치는 참여자 정보에 기초하여 제1 시스템 정보를 전송한 전자 장치(예: 제1 전자 장치)를 식별할 수 있다. 일 실시예에 따르면, 제2 전자 장치는 제1 시스템 정보에 기초하여 사용자 인터페이스 화면 상에 미표시 설정될 제3 화상을, 트랜시버에 의해 수신된 제2 화상 중에서 선택할 수 있다. 이에 따라, 제2 전자 장치의 사용자 인터페이스 화면은 카메라를 통해 획득한 제1 화상, 트랜시버에 의해 획득하되 제2 시스템 정보에 기초하여 표시 설정된 제2 화상, 트랜시버에 의해 획득하되 제1 시스템 정보에 기초하여 미표시 설정된 제3 화상을 포함할 수 있다.
일 실시예에 따르면, 제1 전자 장치는 트리거링 조건을 검출할 수 있다(S712).
일 실시예에 따르면, 제1 전자 장치는 트리거링 조건이 검출되는 것에 기초하여, 제2 시스템 정보를 서버로 전송할 수 있다(S713).
일 실시예에 따르면, 서버는 제2 시스템 정보를 제2 전자 장치로 전송할 수 있다(S714). 여기서, 제2 시스템 정보는 상기 제1 전자 장치로부터 수신된 것일 수 있다.
일 실시예에 따르면, 제1 전자 장치는 트리거링 조건이 검출되는 것에 기초하여 카메라를 통해 획득한 제1 화상, 트랜시버에 의해 수신한 제2 화상을 포함하는 사용자 인터페이스 화면을 디스플레이 상에 표시할 수 있다(S715). 트리거링 조건이 검출되는 것에 기초하여, 이전에 사용자 인터페이스 화면에 포함되던 선택가능한 옵션은 제외될 수 있다.
일 실시예에 따르면, 제2 전자 장치는 제2 시스템 정보를 수신하는 것에 기초하여, 카메라를 통해 획득한 제1 화상, 트랜시버에 의해 수신한 제2 화상을 포함하는 사용자 인터페이스 화면을 디스플레이 상에 표시할 수 있다(S716). 이때, 사용자 인터페이스 화면의 구성은 제1 전자 장치에서의 사용자 인터페이스 화면의 구성과 동등할 수 있다.
도 8은 영상통화 서비스의 일 구현예이다.
일 실시예에 따르면, 영상통화 시스템은 사용자 장치(100), 상대방 장치(300) 및 서버(200)를 포함할 수 있다. 사용자 장치(100)와 상대방 장치(300)는 각각 서버(200)와 유선 또는 무선으로 연결될 수 있다. 사용자 장치(100)와 상대방 장치(300)는 서버(200)를 이용하여 영상통화 서비스를 지원할 수 있다.
일 실시예에 따르면, 사용자 장치(100)는 사용자 인터페이스 화면 (UI1a)을 디스플레이 상에 표시할 수 있다. 사용자 인터페이스 화면(UI1a) 은 복수의 화면 요소들을 포함할 수 있다. 사용자 인터페이스 화면(UI1a)는 복수의 윈도우로 구성될 수 있다. 복수의 화면 요소들(UIE1a, UIE2a)은 상기 윈도우들 상에 표현될 수 있다. 예를 들어, 사용자 인터페이스 화면(UI1a)은 제1-1 윈도우, 제1-2 윈도우를 포함할 수 있다. 제1-1 윈도우는 제2 인물(P2)을 포함하는 화면 요소(UIE1a)를 디스플레이에 표시할 수 있다. 제1-2 윈도우는 제1 인물(P1)을 포함하는 화면 요소(UIE2a)를 디스플레이에 표시할 수 있다.
일 실시예에 따르면, 제1 인물(P1)을 포함하는 화면 요소(UIE2a)는 전기적으로 연결된 카메라를 이용하여 획득될 수 있다. 일 실시예에 따르면, 제2 인물(P2)을 포함하는 화면 요소(UIE1a)는 전기적으로 연결된 트랜시버를 이용하여 획득될 수 있다. 제2 인물(P2)을 포함하는 화면 요소(UIE1a)는 상대방 장치(300)로부터 제공될 수 있다.
일 실시예에 따르면, 사용자 장치(300)는 사용자 인터페이스 화면 (UI2b)을 디스플레이 상에 표시할 수 있다. 사용자 인터페이스 화면 (UI2b)은 복수의 화면 요소들을 포함할 수 있다. 사용자 인터페이스 화면(UI2b)는 복수의 윈도우로 구성될 수 있다. 복수의 화면 요소들은 상기 윈도우들 상에 표현될 수 있다. 예를 들어, 사용자 인터페이스 화면(UI2b)은 제2-1 윈도우, 제2-2 윈도우를 포함할 수 있다. 제2-1 윈도우는 제1 인물(P1)을 포함하는 화면 요소(UIE1b)를 디스플레이에 표시할 수 있다. 제2-2 윈도우는 제2 인물(P2)을 포함하는 화면 요소(UIE2b)를 디스플레이에 표시할 수 있다.
일 실시예에 따르면, 제2 인물(P2)을 포함하는 화면 요소(UIE2b)는 전기적으로 연결된 카메라를 이용하여 획득될 수 있다. 일 실시예에 따르면, 제1 인물(P1)을 포함하는 화면 요소(UIE1b)는 전기적으로 연결된 트랜시버를 이용하여 획득될 수 있다. 제1 인물(P1)을 포함하는 화면 요소(UIE1b)는 사용자 장치(100)로부터 제공될 수 있다.
일 실시예에 따르면 제1-1 윈도우는 제1-2 윈도우보다 크게 형성될 수 있다. 일 실시예에 따르면 제2-1 윈도우는 제2-2 윈도우보다 크게 형성될 수 있다.
도 9 내지 도 12는 프리뷰 화면에 관련된 설정 정보에 기초한 사용자 인터페이스 화면의 구성을 설명하기 위한 도면이다.
도 4 내지 도 7을 참조하면, 프리뷰 화면에 관련된 설정 정보에 기초하여 사용자 인터페이스 화면(UI1a, UI2b)이 전환될 수 있다.
도 9 및 도 10을 참조하면, 사용자 장치(100)의 사용자 인터페이스 화면(UI1a)은 선택가능한 옵션을 더 포함할 수 있다. 선택가능한 옵션(UIE3a)은 아이콘 형태로 제공될 수 있다. 일 실시예에 따르면, 선택가능한 옵션(UIE3a)은 인접한 위치에 텍스트(예: “3:00”)를 더 포함하도록 구성될 수 있다.
도 9를 참조하면, 일 실시예에 따르면, 프리뷰 화면에 관련된 설정 정보에 기초하여 프리뷰 화면을 표시하지 않는 것으로 식별된 경우, 사용자 장치(100)는 제1-1 윈도우의 화면 요소(UIE1a)는 그대로 유지하되, 제1-2 윈도우의 화면 요소(UIE2a)를 변경할 수 있다. 일 실시예에 따르면, 사용자 장치(100)는 제1-2 윈도우의 화면 요소(UIE2a)로 선택가능한 옵션(UIE3a)이 더 포함되도록 할 수 있다.
도 10을 참조하면, 일 실시예에 따르면, 프리뷰 화면에 관련된 설정 정보에 기초하여 프리뷰 화면을 표시하지 않는 것으로 식별된 경우, 사용자 장치(100)는 제1-1 윈도우의 화면 요소(UIE1a) 및 제1-2 윈도우의 화면 요소(UIE2a)를 모두 변경할 수 있다. 일 실시예에 따르면, 사용자 장치(100)는 제1-1 윈도우에 표시되던 화면 요소(UIE1a)와 제1-2 윈도우에 표시되던 화면 요소(UIE2a)를 바꾸어 표시할 수 있다. 이를 통해, 사용자는 사용자 장치(100)의 카메라에 의해 촬상되는 화상을 대 화면으로 확인함으로써 프라이버시 침해를 예견하고 방지할 수 있다.
도 9 및 도 11을 참조하면, 상대방 장치(300)의 사용자 인터페이스 화면(UI2b)에서 사용자 장치(100)로부터 제공되는 화상은 표시되지 않을 수 있다. 상대방 장치(300)는 사용자 장치(100)로부터 제공되는 화상을 대신하여 미리 설정된 아이콘(UIE3b)을 표시할 수 있다.
도 9를 참조하면, 일 실시예에 따르면, 사용자 장치(100)로부터 화상을 제공받지 못하거나 제1 시스템 정보를 수신한 경우, 상대방 장치(300)는 제2-2 윈도우의 화면 요소(UIE2b)는 그대로 유지하되, 제2-1 윈도우의 화면 요소(UIE1b)로 미표시 아이콘(UIE3b)을 표시할 수 있다.
도 10을 참조하면, 일 실시예에 따르면, 사용자 장치(100)로부터 화상을 제공받지 못하거나 제1 시스템 정보를 수신한 경우, 상대방 장치(300)는 제2-1 윈도우 및 제2-2 윈도우의 화면 요소(UIE1b, UIE2b)를 서로 변경할 수 있다. 일 실시예에 따르면, 상대방 장치(300)는 제2-1 윈도우에 표시되던 화면 요소(UIE1b)와 제2-2 윈도우에서 표시되던 화면 요소(UIE2b)를 바꾸어 표시할 수 있다. 이를 통해, 상대방은 상대방 장치(300)의 카메라에 의해 촬상되는 화상을 대 화면으로 확인할 수 있어 자신의 상태를 점검할 수 있다.
도 12는 3자 간의 영상통화 서비스를 예시적으로 설명하기 위한 도면이다.
도 12를 참조하면, 사용자 장치(100)는 서버(200)를 이용하여 제1 상대방 장치(300)(예를 들어, 300-1), 제2 상대방 장치(300)(300-N, 예를 들어, 300-2)와 영상통화를 수행할 수 있다. 사용자 장치(100)는 프리뷰 화면에 관련된 설정 정보에 기초하여, 프리뷰 화면을 표시하지 않기로 설정된 경우를 예시하여 설명한다.
일 실시예에 따르면, 제1-1 윈도우는 제1-1 화면 요소(UIE1a), 제1-2 윈도우는 제1-2 화면 요소(UIE2a), 제1-3 윈도우는 제1-3 화면 요소(UIE4a)를 포함하는 사용자 인터페이스 화면을 표시할 수 있다.
일 실시예에 따르면, 사용자 장치(100)는, 도 9에 예시된 실시예의 사용자 인터페이스 화면(UI1a)과 비교하여 제1-3 윈도우(화면 요소(UIE4a)를 표현하는 윈도우, 추가 윈도우)를 더 포함할 수 있다. 추가 윈도우는 영상통화의 참여자 수에 비례하여 증가할 수 있다. 일 실시예에 따르면, 사용자 장치(100)의 제1-1 윈도우에 표현되는 화면 요소(UIE1a)는 제2 인물(P2)을 포함하는 화상 또는 제3 인물을 포함하는 화상 중 어느 하나로 선택될 수 있다. 일 실시예에 따르면, 사용자 장치(100)는 제1 상대방 장치(300) 또는 제2 상대방 장치(300)로부터 제공되는 음성의 크기, 또는 음성의 선후에 기초하여 제1 상대방 장치(300)로부터 제공된 화상, 또는 제2 상대방 장치(300)로부터 제공된 화상 중 어느 하나를 제1-1 윈도우에 화면 요소로 표현할 수 있다.
일 실시예에 따르면, 사용자 장치(100)에 의해 촬상된 화상은 제1-2 윈도우, 또는 제1-3 윈도우 중 어느 하나의 화면 요소(UIE2a, UIE4a)로 표현될 수 있다.
이하에서, 상대방 장치(300)의 사용자 인터페이스 화면을 설명한다.
일 실시예에 따르면, 제2-1 윈도우는 제2-1 화면 요소(UIE1b), 제2-2 윈도우는 제2-2 화면 요소(UIE2b), 제2-3 윈도우는 제2-3 화면 요소(UIE4b)를 포함하는 사용자 인터페이스 화면을 표시할 수 있다.
일 실시예에 따르면, 제1 상대방 장치(300)는, 도 11에 예시된 실시예의 사용자 인터페이스 화면(UI2b)과 비교하여 제2-3 윈도우(화면 요소(UIE4b)를 표현하는 윈도우, 추가 윈도우)를 더 포함할 수 있다. 추가 윈도우는 영상통화의 참여자 수에 비례하여 증가할 수 있다.
일 실시예에 따르면, 화상을 전송하지 않거나 제1 시스템 정보를 전송한 사용자 장치(100)의 화상은 제2-2 윈도우 또는 제2-3 윈도우에 표시될 수 있다. 일 실시예에 따르면, 제1 상대방 장치(300)의 제2-1 윈도우에 표현되는 화면 요소(UIE1b)는 제2 인물(P2)을 포함하는 화상 또는 제3 인물을 포함하는 화상 중 어느 하나로 선택될 수 있다.
일 실시예에 따르면, 제1 상대방 장치(300)는 제1 상대방 장치(300) 또는 제2 상대방 장치(300)로부터 제공되는 음성의 크기, 또는 음성의 선후에 기초하여 제1 상대방 장치(300)로부터 제공된 화상, 또는 제2 상대방 장치(300)로부터 제공된 화상 중 어느 하나를 제2-1 윈도우의 화면 요소(UIE1b)로 표현할 수 있다. 일 실시예에 따르면, 제1 상대방 장치(300)로부터 제공된 화상보다는 제2 상대방 장치(300)로부터 제공된 화상이 제2-1 윈도우에 대한 화면 요소(UIE1b)로서 더 높은 우선순위를 가질 수 있다.
일 실시예에 따르면 제1-1 윈도우는 제1-2 윈도우 및 제1-3 윈도우보다 크게 형성될 수 있다. 일 실시예에 따르면, 제2-1 윈도우는 제2-2 윈도우 및 제2-3 윈도우보다 크게 형성될 수 있다.
도 13 및 도 14는 트리거링 조건에 기초한 사용자 인터페이스 화면(UI1a)의 전환을 설명하기 위한 도면이다.
도 13을 참조하면, 일 실시예에 따르면, 사용자 장치(100)는 트리거링 조건에 검출되기 이전까지 카메라를 통해 획득된 제1 화상, 트랜시버에 의해 네트워크로부터 수신된 제2 화상, 선택가능한 옵션(UIE3a)을 포함하는 사용자 인터페이스 화면(UI1a)을 디스플레이 상에 표시할 수 있다.
일 실시예에 따르면, 사용자 장치(100)는 미리 설정된 트리거링 조건이 검출되는 것에 응답하여 카메라를 통해 획득된 제1 화상, 트랜시버에 의해 네트워크로부터 수신된 제2 화상을 포함하는 사용자 인터페이스 화면(UI1a)을 디스플레이 상에 표시할 수 있다. 트리거링 조건이 검출되는 것에 기초하여 표시되는 사용자 인터페이스 화면(UI1a)은 선택가능한 옵션(UIE3a)이 제외될 수 있다. 예를 들어, 미리 설정된 트리거링 조건이 3분의 시간인 경우, 3분의 시간이 경과되는 것에 응답하여 선택가능한 옵션(UIE3a)이 사용자 인터페이스 화면(UI1a)에서 제외될 수 있다.
도 14를 참조하면, 일 실시예에 따르면, 상대방 장치(300)는 사용자 장치(100)의 트리거링 조건이 검출되기 이전까지 카메라를 통해 획득된 제1 화상, 및 미표시 설정된 제2 화상과 연관된 아이콘을 포함하는 사용자 인터페이스 화면(UI2b)을 디스플레이에 표시할 수 있다.
일 실시예에 따르면, 상대방 장치(300)는 트리거링 조건이 검출되는 것에 기초하여, 카메라를 통해 획득된 제1 화상, 및 표시 설정된 제2 화상을 포함하는 사용자 인터페이스 화면(UI2b)을 디스플레이에 표시할 수 있다.
일 실시예에 따르면, 사용자 장치(100)는 트리거링 조건이 검출되는 것에 기초하여 상대방 장치(300)로 카메라를 통해 획득된 화상을 전송할 수 있다. 상대방 장치(300)는 사용자 장치(100)로부터 화상이 수신되기 이전에는, 카메라를 통해 획득되는 화상 및 사용자 장치(100)로부터의 화상이 미수신되고 있음을 나타내는 아이콘을 포함하는 사용자 인터페이스 화면(UI2b)을 디스플레이에 출력할 수 있다. 이후, 사용자 장치(100)로부터의 화상이 수신되는 것에 응답하여, 카메라를 통해 획득되는 화상 및 사용자 장치(100)로부터 수신되는 화상을 사용자 인터페이스 화면(UI2b)으로 디스플레이에 출력할 수 있다.
일 실시예에 따르면, 사용자 장치(100)는 트리거링 조건이 검출되는 것에 기초하여 상대방 장치(300)로 제2 시스템 정보(도 4 및 도 7 참조)를 전송할 수 있다. 일 실시예에 따르면, 사용자 장치(100)는 트리거링 조건과 상관없이 카메라를 통해 획득되는 화상을 상대방 장치(300)로 전송할 수 있다. 일 실시예에 따르면, 사용자 장치(100)는 트리거링 조건이 검출되기 이전에 제1 시스템 정보를 상대방 장치(300)로 전송하고, 트리거링 조건이 검출되는 것에 응답하여 제2 시스템 정보를 상대방 장치(300)로 전송할 수 있다. 일 실시예에 따르면, 상대방 장치(300)는 제2 시스템 정보가 수신되는 것에 응답하여, 카메라를 통해 획득되는 화상 및 사용자 장치(100)로부터 수신되는 화상을 포함하는 사용자 인터페이스 화면(UI2b)을 디스플레이 상에 표시할 수 있다. 이때, 사용자 장치(100)로부터 수신되는 화상을 대신하여 표시 중이던 아이콘은 제거될 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 디스플레이 장치, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 예를 들면, 단수로 표현된 구성요소는 문맥상 명백하게 단수만을 의미하지 않는다면 복수의 구성요소를 포함하는 개념으로 이해되어야 한다. 본 문서에서 사용되는 '및/또는'이라는 용어는, 열거되는 항목들 중 하나 이상의 항목에 의한 임의의 가능한 모든 조합들을 포괄하는 것임이 이해되어야 한다. 본 개시에서 사용되는 '포함하다,' '가지다,' '구성되다' 등의 용어는 본 개시 상에 기재된 특징, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐이고, 이러한 용어의 사용에 의해 하나 또는 그 이상의 다른 특징들이나 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하려는 것은 아니다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다.
본 문서의 다양한 실시예들에서 사용된 용어 "~부" 또는 "~모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. "~부" 또는 "~모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시예에 따르면, "~부" 또는 "~모듈"은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들에서 사용된 용어 “~할 경우”는 문맥에 따라 “~할 때”, 또는 “~할 시” 또는 “결정하는 것에 응답하여” 또는 “검출하는 것에 응답하여”를 의미하는 것으로 해석될 수 있다. 유사하게, “~라고 결정되는 경우” 또는 “~이 검출되는 경우”는 문맥에 따라 “결정 시” 또는 “결정하는 것에 응답하여”, 또는 “검출 시” 또는 “검출하는 것에 응답하여”를 의미하는 것으로 해석될 수 있다.
본 문서를 통해 설명된 전자 장치(100, 200, 300)에 의해 실행되는 프로그램은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 프로그램은 컴퓨터로 읽을 수 있는 명령어들을 수행할 수 있는 모든 시스템에 의해 수행될 수 있다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령어(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어는, 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 컴퓨터 프로그램으로 구현될 수 있다. 컴퓨터가 읽을 수 있는 저장 매체로는, 예를 들어 마그네틱 저장 매체(예컨대, ROM(Read-Only Memory), RAM(Random-Access Memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 저장 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 컴퓨터 프로그램은 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    메모리(120), 트랜시버(130) 및 상기 메모리(120) 및 상기 트랜시버(130)와 전기적으로 연결된 프로세서(110)를 포함하고, 상기 프로세서(110)는:
    카메라(141)를 통해 획득된 제1 화상을 상기 트랜시버(130)를 통해 다른 전자 장치(200; 300)로 전송하고,
    영상통화 애플리케이션의 제1 사용자 인터페이스 화면(User Interface Representation)을 디스플레이(151) 상에 제공하되, 상기 제1 사용자 인터페이스 화면은 상기 제1 화상, 상기 트랜시버(130)로부터 수신된 제2 화상, 및 상기 전송된 제1 화상의 상기 다른 전자 장치(200; 300)에서의 표시 여부를 결정하기 위한 시스템 정보의 전송과 연관된 선택가능한 옵션을 포함하고,
    상기 시스템 정보는 상기 영상통화 애플리케이션의 프리뷰 화면과 연관된 설정 정보에 기초하여 결정되는, 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 영상통화 애플리케이션을 통해 영상통화 참여요청을 전송하라는 입력을 검출하고,
    상기 입력이 검출되는 것에 응답하여 상기 프리뷰 화면과 연관된 설정 정보를 식별하는, 전자 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    미리 설정된 트리거링 조건이 검출되는 것에 응답하여, 상기 제1 사용자 인터페이스 화면을, 상기 선택가능한 옵션이 제외된 제2 사용자 인터페이스 화면으로 전환하는, 전자 장치.
  4. 제2항 및 제3항 중 어느 한 항에 있어서,
    상기 프로세서는, 상기 입력을 검출하는 것에 응답하여, 서버로 영상통화 참여요청을 전송하고, 상기 영상통화 참여요청은, 상기 전자 장치를 상기 서버와 접속하는 또 다른 전자 장치와 구별하기 위한 참여자 정보를 포함하는, 전자 장치.
  5. 제2항 내지 제4항 중 어느 한 항에 있어서,
    상기 프로세서는,
    상기 영상통화 참여요청에 대한 응답으로 상기 서버로부터 상기 제2 화상을 수신하는, 전자 장치.
  6. 제3항 내지 제5항 중 어느 한 항에 있어서,
    상기 미리 설정된 트리거링 조건은, 미리 설정된 시간이 경과하는 것에 기초하여 검출되는, 전자 장치.
  7. 제3항 내지 제6항 중 어느 한 항에 있어서,
    상기 시스템 정보는 제1 시스템 정보와 제2 시스템 정보를 포함하고,
    상기 선택가능한 옵션은 상기 제1 시스템 정보 또는 상기 제2 시스템 정보 중 어느 하나의 전송과 연관되고,
    상기 미리 설정된 트리거링 조건은, 상기 선택가능한 옵션에 대한 사용자 입력에 기초하여 검출되는, 전자 장치.
  8. 제7항에 있어서,
    상기 제1 시스템 정보는, 상기 프리뷰 화면을 표시하지 않도록 설정된 설정 정보에 기초하여 식별되고,
    상기 제2 시스템 정보는, 상기 프리뷰 화면을 표시하도록 설정된 설정 정보에 기초하여 식별되는, 전자 장치.
  9. 제7항에 있어서,
    상기 제1 시스템 정보는, 상기 다른 전자 장치가 상기 제1 화상을 표시하지 않도록 제어하는 하나 이상의 정보를 포함하는, 전자 장치.
  10. 제7항에 있어서,
    상기 제1 시스템 정보는, 상기 다른 전자 장치에 표시지연을 안내하는 아이콘을 표시하도록 제어하는 하나 이상의 정보를 포함하는, 전자 장치.
  11. 제7항에 있어서,
    상기 제1 시스템 정보는, 상기 제1 화상을 대신하여 상기 다른 전자 장치가, 표시지연을 안내하는 아이콘을 포함하는 제3 사용자 인터페이스 화면을 디스플레이 상에 표시하도록 제어하는 하나 이상의 정보를 포함하는, 전자 장치.
  12. 제11항에 있어서,
    상기 제1 시스템 정보는, 상기 제3 사용자 인터페이스 화면에서 상기 제1 화상과 연관된 윈도우가, 상기 제3 사용자 인터페이스 화면을 구성하는 다른 화상과 연관된 하나 이상의 윈도우보다 작게 설정하는 하나 이상의 정보를 포함하는, 전자 장치.
  13. 제7항에 있어서,
    상기 제2 시스템 정보는, 상기 다른 전자 장치가 상기 제1 화상을 표시하도록 제어하는 하나 이상의 정보를 포함하는, 전자 장치.
  14. 제7항에 있어서,
    상기 제2 시스템 정보는, 상기 다른 전자 장치가 상기 제1 화상을 포함하는 제4 사용자 인터페이스 화면을 디스플레이 상에 표시하도록 제어하는 하나 이상의 정보를 포함하는, 전자 장치.
  15. 전자 장치에 있어서,
    메모리, 트랜시버 및 상기 메모리 및 상기 트랜시버와 전기적으로 커플링된 프로세서를 포함하고, 상기 프로세서는:
    영상통화 애플리케이션의 제1 사용자 인터페이스 화면(User Interface Representation)을 디스플레이 상에 제공하되, 상기 제1 사용자 인터페이스 화면은 카메라로부터 수신된 제1 화상, 상기 트랜시버로부터 수신된 제2 화상 및 상기 제1 화상의 네트워크 전송과 연관된 선택가능한 옵션을 포함하고,
    미리 설정된 트리거링 조건이 검출되는 것에 응답하여: 상기 네트워크 전송을 개시하고, 상기 영상통화 애플리케이션의 제2 사용자 인터페이스 화면을 상기 디스플레이에 제공하되, 상기 제2 사용자 인터페이스 화면은 상기 제1 화상 및 상기 제2 화상을 포함하는, 전자 장치.
PCT/KR2023/008087 2022-07-29 2023-06-13 화상통화 서비스를 제공가능한 전자 장치 및 그 제어방법 WO2024025145A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220094972A KR20240016784A (ko) 2022-07-29 2022-07-29 화상통화 서비스를 제공가능한 전자 장치 및 그 제어방법
KR10-2022-0094972 2022-07-29

Publications (1)

Publication Number Publication Date
WO2024025145A1 true WO2024025145A1 (ko) 2024-02-01

Family

ID=89706673

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/008087 WO2024025145A1 (ko) 2022-07-29 2023-06-13 화상통화 서비스를 제공가능한 전자 장치 및 그 제어방법

Country Status (2)

Country Link
KR (1) KR20240016784A (ko)
WO (1) WO2024025145A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001069473A (ja) * 1999-08-24 2001-03-16 Matsushita Electric Ind Co Ltd テレビ電話装置
KR20050120342A (ko) * 2004-06-18 2005-12-22 엘지전자 주식회사 이동단말기의 영상통화 선택방법
JP2008125105A (ja) * 2007-12-14 2008-05-29 Nec Corp 通信端末装置、テレビ電話制御方法及びテレビ電話制御プログラム
KR20150038707A (ko) * 2010-04-07 2015-04-08 애플 인크. 전화 통화 중의 화상 회의 설정
KR20170048263A (ko) * 2017-04-03 2017-05-08 주식회사 카우치그램 이미지, 메시지, 및 패턴을 통한 통화 제어 방법 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001069473A (ja) * 1999-08-24 2001-03-16 Matsushita Electric Ind Co Ltd テレビ電話装置
KR20050120342A (ko) * 2004-06-18 2005-12-22 엘지전자 주식회사 이동단말기의 영상통화 선택방법
JP2008125105A (ja) * 2007-12-14 2008-05-29 Nec Corp 通信端末装置、テレビ電話制御方法及びテレビ電話制御プログラム
KR20150038707A (ko) * 2010-04-07 2015-04-08 애플 인크. 전화 통화 중의 화상 회의 설정
KR20170048263A (ko) * 2017-04-03 2017-05-08 주식회사 카우치그램 이미지, 메시지, 및 패턴을 통한 통화 제어 방법 및 시스템

Also Published As

Publication number Publication date
KR20240016784A (ko) 2024-02-06

Similar Documents

Publication Publication Date Title
WO2018182296A1 (ko) 전자 장치 및 전자 장치의 화면 공유 방법
WO2017150901A1 (en) Electronic device and method for displaying and transmitting images thereof
WO2016028025A1 (en) Self-diagnosing system and method of self-diagnosing of a display device
WO2017142373A1 (en) Method of controlling the sharing of videos and electronic device adapted thereto
WO2019050317A1 (ko) 이어폰을 통한 어플리케이션별 오디오 출력 제어 방법 및 이를 구현한 전자 장치
WO2014081076A1 (en) Head mount display and method for controlling the same
WO2019039868A1 (en) ELECTRONIC DISPLAY DEVICE FOR APPLICATION AND METHOD FOR OPERATING THE SAME
WO2020101443A1 (en) Method for controlling display of vehicle and electronic device therefor
WO2018139824A1 (ko) 전자 장치 및 전자 장치의 테더링 연결 방법
WO2016114607A1 (en) User terminal apparatus, system, and control method thereof
WO2014035171A1 (ko) 전자장치에서 영상통화중 파일 전송 방법 및 장치
WO2017135776A1 (en) Display apparatus, user terminal apparatus, system, and controlling method thereof
WO2016052849A1 (en) Display apparatus and system for providing ui, and method for providing ui of display apparatus
WO2017146518A1 (en) Server, image display apparatus, and method of operating the image display apparatus
WO2019112308A1 (en) Electronic device, user terminal apparatus, and control method thereof
WO2019164168A1 (ko) 블루투스 통신을 사용하는 전자 장치와 이의 동작 방법
WO2019117561A1 (ko) 외부 장치에 따라 다른 서비스를 제공하는 전자 장치
WO2018110956A1 (en) Display apparatus presenting status of external electronic apparatus and controlling method thereof
WO2021112368A1 (ko) 영상 처리 장치 및 방법
WO2023090863A1 (ko) 전자 장치 및 그 동작 방법
WO2024025145A1 (ko) 화상통화 서비스를 제공가능한 전자 장치 및 그 제어방법
WO2017026817A1 (ko) 통역음성 정보를 제공하는 방법, 이를 운용하는 맞춤형 통역 서버 및 시스템
WO2019112332A1 (en) Electronic apparatus and control method thereof
WO2023042950A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2019083138A1 (en) ELECTRONIC DEVICE, AUDIO OUTPUT DEVICE, AND METHOD FOR OPERATING ELECTRONIC DEVICE

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23846805

Country of ref document: EP

Kind code of ref document: A1