WO2017126858A1 - 음성통화 중 영상을 전송하는 방법 및 장치 - Google Patents

음성통화 중 영상을 전송하는 방법 및 장치 Download PDF

Info

Publication number
WO2017126858A1
WO2017126858A1 PCT/KR2017/000545 KR2017000545W WO2017126858A1 WO 2017126858 A1 WO2017126858 A1 WO 2017126858A1 KR 2017000545 W KR2017000545 W KR 2017000545W WO 2017126858 A1 WO2017126858 A1 WO 2017126858A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
service
communication
various embodiments
present disclosure
Prior art date
Application number
PCT/KR2017/000545
Other languages
English (en)
French (fr)
Inventor
최병우
윤영성
이유현
최현식
이진구
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US16/070,954 priority Critical patent/US10455192B2/en
Priority to EP17741624.5A priority patent/EP3402185B1/en
Priority to CN201780007335.8A priority patent/CN108476302A/zh
Publication of WO2017126858A1 publication Critical patent/WO2017126858A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/224—Monitoring or handling of messages providing notification on incoming messages, e.g. pushed notifications of received messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/567—Multimedia conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/16—Communication-related supplementary services, e.g. call-transfer or call-hold
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145—Handheld terminals

Definitions

  • Various embodiments of the present disclosure relate to a method and an apparatus for transmitting an image while performing a voice call between electronic devices.
  • the electronic device can browse web pages or install applications using the Internet to provide a service (eg, video service (eg, video sharing, video call service, etc.)) that the user desires anywhere through the electronic device. Can be provided.
  • a service eg, video service (eg, video sharing, video call service, etc.)
  • the conventional video sharing or video call service is mainly provided through a mobile communication network, which is a method of performing a video call by pressing a separate video call button.
  • the conventional video service has a limitation that must pass through a mobile communication network that provides a video call service.
  • a mobile communication network that provides a video call service.
  • a video service and a voice call service must be separately provided, and thus, a video service cannot be provided in parallel while performing a voice call.
  • voice calls and video recording and transmission functions are generally separated. Therefore, when a user is not in a voice call in order to photograph and transmit an image to the counterpart, the caller may perform various processes for image capturing, storing, and transmitting after activating the camera.
  • Various embodiments may provide a method, an apparatus, and a system capable of providing a video service such as a video sharing service or a video call service while performing a voice call in an electronic device.
  • a video service such as a video sharing service or a video call service
  • Various embodiments of the present disclosure may provide a method, an apparatus, and a system capable of increasing the stability of a communication connection for transmitting a video when transmitting a video to a call partner during a voice call.
  • a data communication connection method for transmitting a video during a voice call is determined by using a result of determining whether data communication with a call partner is possible for the voice call, and determining data communication quality with the call partner when communication is possible. It can provide a method, apparatus and system that can determine the.
  • Various embodiments may provide a method, an apparatus, and a system capable of simultaneously performing a video service related function while performing a voice call in an electronic device.
  • Various embodiments of the present disclosure may provide a method, an apparatus, and a system in which an electronic device photographs an image to be transmitted during a voice call, transmits (shares) an image to the counterpart and displays the image on the counterpart electronic device without a separate transmission operation.
  • At least one communication circuit configured to form wireless communication with an external electronic device using a protocol
  • a processor electrically connected to the display and the at least one communication circuit
  • a memory electrically connected to the processor
  • the memory when executed, causes the processor to display a user interface on the display, the user interface indicating an indication of whether video communication is possible with the external electronic device. And forming a video call with the external electronic device while displaying the user interface, and receiving a first signal to request whether the video communication is possible.
  • Second signal (sec) indicating whether or not the video communication is possible a user input for receiving an ond signal using the at least one communication circuit and activating the indication indicating the possibility of video communication with the external electronic device in response to the second signal and selecting the indication. And storing instructions for initiating transmission of video data to the external electronic device in response to the user input.
  • An electronic device may include a camera, a display, a communication circuit, and a processor operatively connected to the camera, the display, and the communication circuit, and the processor may be configured to perform first communication with another electronic device.
  • an image acquired through the camera may be displayed on the display and the image may be transmitted to the other electronic device based on the second communication.
  • An operation method of an electronic device may include performing a voice call based on first communication with another electronic device, and performing a second communication with the other electronic device in response to a service execution request during the voice call. Determining whether to connect a service based on at least a part of data communication quality and data communication quality, and when determining service connection, displaying an image acquired through a camera on a display and displaying the image based on the second communication. And transmitting to the other electronic device.
  • various embodiments of the present disclosure may include a computer-readable recording medium having recorded thereon a program for executing the method in a processor.
  • An electronic device and an operation method thereof according to various embodiments of the present disclosure may be provided based on a more stable connection when transmitting or sharing a camera image to a counterpart during a voice call.
  • the electronic device may provide a video service, such as a video sharing or a video call, through the network (for example, the second communication) separate from the network (for example, the first communication) for the voice call. have.
  • the user's convenience may be enhanced and user's interest may be caused.
  • a user input eg, button selection, voice command input, gesture using the electronic device
  • the user can perform camera activation, image capturing, image processing, and image transmission during a voice call by inputting, etc.), thereby improving accessibility and convenience of the user's use of the electronic device.
  • FIG. 1 is a diagram illustrating a network environment including an electronic device according to various embodiments of the present disclosure.
  • FIG. 2 is a block diagram illustrating an electronic device according to various embodiments of the present disclosure.
  • FIG. 3 is a block diagram of a program module according to various embodiments of the present disclosure.
  • FIG. 4 is a diagram illustrating a system according to various embodiments of the present disclosure.
  • 5A and 5B are diagrams schematically illustrating a configuration of an electronic device according to various embodiments of the present disclosure.
  • 6A and 6B are diagrams illustrating a data communication connection operation in a system according to various embodiments of the present disclosure.
  • FIGS. 7A, 7B, and 7C are diagrams for describing an example of a screen on which a service is performed in an electronic device according to various embodiments of the present disclosure.
  • FIG. 8 is a diagram illustrating an example of a screen on which a service is performed in an electronic device according to various embodiments of the present disclosure.
  • FIG. 9 is a flowchart illustrating a method of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • FIG. 10 is a flowchart illustrating a method of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • 11 and 12 illustrate examples of screens on which a service is performed in an electronic device according to various embodiments of the present disclosure.
  • FIG. 13 is a flowchart illustrating a method of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • FIG. 14 is a flowchart illustrating a method of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • 15 is a flowchart illustrating a method of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • expressions such as “A or B,” “at least one of A or / and B,” or “one or more of A or / and B” may include all possible combinations of items listed together.
  • “A or B,” “at least one of A and B,” or “at least one of A or B,” includes (1) at least one A, (2) at least one B, Or (3) both of cases including at least one A and at least one B.
  • first,” “second,” “first,” or “second,” and the like may modify various components, regardless of order and / or importance, and may form a component. It is used to distinguish it from other components and does not limit the components.
  • the first user device and the second user device may represent different user devices regardless of the order or importance.
  • the first component may be called a second component, and similarly, the second component may be renamed to the first component.
  • One component (such as a first component) is "(functionally or communicatively) coupled with / to" to another component (such as a second component) or " When referred to as “connected to”, it should be understood that any component may be directly connected to the other component or may be connected through another component (eg, a third component).
  • a component e.g., a first component
  • another component e.g., a second component
  • no other component e.g., a third component
  • the expression “configured to” as used in this document is, for example, “having the capacity to” depending on the context, for example, “suitable for,” “. It may be used interchangeably with “designed to,” “adapted to,” “made to,” or “capable of.”
  • the term “configured to” may not necessarily mean only “specifically designed to” in hardware. Instead, in some situations, the expression “device configured to” may mean that the device “can” along with other devices or components.
  • the phrase “processor configured (or configured to) perform A, B, and C” may be implemented by executing a dedicated processor (eg, an embedded processor) to perform its operation, or one or more software programs stored in a memory device. It may mean a general-purpose processor (eg, a central processing unit (CPU) or an application processor (AP)) capable of performing corresponding operations.
  • a dedicated processor eg, an embedded processor
  • AP application processor
  • An electronic device may include, for example, a smartphone, a tablet personal computer, a mobile phone, a video phone, an e-book reader, Desktop personal computer (PC), laptop personal computer (PC), netbook computer, workstation, server, personal digital assistant (PDA), portable multimedia player (PMP), MP3 player, mobile medical It may include at least one of a device, a camera, or a wearable device.
  • a wearable device may be an accessory (eg, a watch, ring, bracelet, anklet, necklace, glasses, contact lens, or head-mounted-device (HMD), fabric, or clothing) (Eg, an electronic garment), a body attachment type (eg, a skin pad or a tattoo), or a living implantable type (eg, an implantable circuit).
  • an accessory eg, a watch, ring, bracelet, anklet, necklace, glasses, contact lens, or head-mounted-device (HMD), fabric, or clothing
  • HMD head-mounted-device
  • fabric or clothing
  • clothing Eg, an electronic garment
  • a body attachment type eg, a skin pad or a tattoo
  • a living implantable type eg, an implantable circuit
  • the electronic device may be a home appliance.
  • Home appliances are, for example, televisions, digital video disk (DVD) players, audio, refrigerators, air conditioners, vacuum cleaners, ovens, microwaves, washing machines, air purifiers, set-top boxes, home automation controls Panel (home automation control panel), security control panel, TV box (e.g. Samsung HomeSync TM, Apple TV TM, or Google TV TM), game console (e.g. Xbox TM, PlayStation TM), electronic dictionary It may include at least one of an electronic key, a camcorder, or an electronic picture frame.
  • DVD digital video disk
  • audio refrigerators
  • air conditioners vacuum cleaners
  • ovens ovens
  • microwaves washing machines
  • air purifiers set-top boxes
  • home automation controls Panel home automation control panel
  • security control panel TV box
  • TV box e.g. Samsung HomeSync TM, Apple TV TM, or Google TV TM
  • game console e.g. Xbox TM, PlayStation TM
  • electronic dictionary It may include at least one of an electronic key
  • the electronic device may include various medical devices (eg, various portable medical measuring devices (such as blood glucose meters, heart rate monitors, blood pressure monitors, or body temperature meters), magnetic resonance angiography (MRA), magnetic resonance imaging (MRI), Computed tomography (CT), imaging or ultrasound), navigation devices, global navigation satellite systems (GNSS), event data recorders (EDRs), flight data recorders (FDRs), automotive infotainment Devices, ship electronics (e.g.
  • various portable medical measuring devices such as blood glucose meters, heart rate monitors, blood pressure monitors, or body temperature meters
  • MRA magnetic resonance angiography
  • MRI magnetic resonance imaging
  • CT Computed tomography
  • imaging or ultrasound navigation devices
  • GNSS global navigation satellite systems
  • EDRs event data recorders
  • FDRs flight data recorders
  • automotive infotainment Devices ship electronics
  • POS Point of sales
  • Internet of things e.g., light bulbs, sensors, electricity or gas meters, sprinkler devices, fire alarms, thermostats, street lights, sat. It may include at least one of (toaster), exercise equipment, hot water tank, heater, boiler.
  • an electronic device may be a furniture or part of a building / structure, an electronic board, an electronic signature receiving device, a projector, or various measuring devices (eg, Water, electricity, gas, or radio wave measuring instrument).
  • the electronic device may be a combination of one or more of the aforementioned various devices.
  • An electronic device according to an embodiment may be a flexible electronic device.
  • the electronic device according to an embodiment of the present disclosure is not limited to the above-described devices, and may include a new electronic device according to technology development.
  • the term user may refer to a person who uses an electronic device or a device (eg, an artificial intelligence electronic device) that uses an electronic device.
  • FIG. 1 is a diagram illustrating a network environment including an electronic device according to various embodiments of the present disclosure.
  • the electronic device 101 may include a bus 110, a processor 120, a memory 130, an input / output interface 150, a display 160, and a communication interface 170. have. According to an embodiment of the present disclosure, the electronic device 101 may omit at least one of the components or additionally include other components.
  • the bus 110 may include, for example, circuitry that connects the components 110-170 to each other and delivers communication (eg, control messages and / or data) between the components.
  • the processor 120 may include one or more of a central processing unit (CPU), an application processor (AP), or a communication processor (CP).
  • the processor 120 may execute, for example, an operation or data processing related to control and / or communication of at least one other element of the electronic device 101.
  • the processing (or control) operation of the processor 120 according to various embodiments of the present disclosure will be described in detail with reference to the accompanying drawings.
  • the memory 130 may include volatile and / or nonvolatile memory.
  • the memory 130 may store, for example, a command or data related to at least one other element of the electronic device 101.
  • the memory 130 may store software and / or program 140.
  • the program 140 may include, for example, a kernel 141, middleware 143, an application programming interface (API) 145, and / or an application program (or “application”) 147. have. At least a portion of kernel 141, middleware 143, or API 145 may be referred to as an operating system (OS).
  • OS operating system
  • the memory 130 may include a computer-readable recording medium having recorded thereon a program for executing the method according to various embodiments of the present disclosure.
  • the kernel 141 may be a system resource (eg, bus 110, processor 120, or, for example) that is used to execute an action or function implemented in other programs (eg, middleware 143, API 145, or application program 147). Memory 130, etc.) can be controlled or managed.
  • the kernel 141 may provide an interface for controlling or managing system resources by accessing individual components of the electronic device 101 from the middleware 143, the API 145, or the application program 147.
  • the middleware 143 may serve as an intermediary for allowing the API 145 or the application program 147 to communicate with the kernel 141 to exchange data.
  • the middleware 143 may process one or more work requests received from the application program 147 according to priority. For example, the middleware 143 may give priority to the use of system resources (eg, the bus 110, the processor 120, or the memory 130, etc.) of the electronic device 101 to at least one of the application programs 147. For example, the middleware 143 may perform the scheduling or load balancing on the one or more work requests by processing the one or more work requests according to the priority given to the at least one.
  • system resources eg, the bus 110, the processor 120, or the memory 130, etc.
  • API 145 is, for example, an interface for application 147 to control functions provided by kernel 141 or middleware 143. For example, file control, window control, image processing, and the like. ), Or at least one interface or function (eg, a command) for character control or the like.
  • the input / output interface 150 may serve as an interface that may transfer commands or data input from a user or another external device to other component (s) of the electronic device 101. Also, the input / output interface 150 may output a command or data received from other component (s) of the electronic device 101 to a user or another external device.
  • Display 160 may be, for example, a liquid crystal display (LCD), a light-emitting diode (LED) display, an organic light-emitting diode (OLED) display, or microelectronics.
  • LCD liquid crystal display
  • LED light-emitting diode
  • OLED organic light-emitting diode
  • MEMS Microelectromechanical systems
  • the display 160 may display, for example, various types of content (eg, text, image, video, icon, symbol, etc.) to the user.
  • the display 160 may include a touch screen, and may include, for example, a touch, gesture, proximity, or hovering using an electronic pen or a part of a user's body. An input can be received.
  • the communication interface 170 may establish communication between the electronic device 101 and an external device (eg, the first external electronic device 102, the second external electronic device 104, or the server 106).
  • the communication interface 170 may be connected to the network 162 through wireless or wired communication to communicate with an external device (eg, the second external electronic device 104 or the server 106).
  • Wireless communication is, for example, a cellular communication protocol, for example, long-term evolution (LTE), LTE Advance (LTE-A), code division multiple access (CDMA), wideband CDMA (WCDMA), At least one of a universal mobile telecommunications system (UMTS), a wireless broadband (WiBro), a global system for mobile communications (GSM), and the like may be used.
  • the wireless communication may include, for example, short range communication 164.
  • the short range communication 164 may include, for example, at least one of wireless fidelity (WiFi), Bluetooth (Bluetooth), near field communication (NFC), global navigation satellite system (GNSS), and the like.
  • GNSS may be used according to the area of use or bandwidth, for example, global positioning system (GPS), global navigation satellite system (Glonass), Beidou navigation satellite system (hereinafter referred to as "Beidou”) or Galileo, the European global satellite-based navigation system. It may include at least one of.
  • GPS global positioning system
  • Glonass global navigation satellite system
  • Beidou Beidou navigation satellite system
  • Galileo the European global satellite-based navigation system. It may include at least one of.
  • Wired communication may include, for example, universal serial bus (USB), high definition multimedia interface (HDMI), and RS-. It may include at least one of a reduced standard 232, a plain old telephone service (POTS), etc.
  • the network 162 may be a telecommunications network, for example, a computer network (eg, a LAN or At least one of a WAN, the Internet, and a telephone network.
  • Each of the first and second external electronic devices 102 and 104 may be the same or different type of device as the electronic device 101.
  • the server 106 may include a group of one or more servers.
  • all or part of operations executed in the electronic device 101 may be executed in another or a plurality of electronic devices (for example, the electronic devices 102 and 104 or the server 106.
  • the electronic device 101 may, in addition to or in addition execute the function or service itself, perform at least some of the functions associated with another device (eg, an electronic device). (102, 104) or server 106.
  • Another electronic device executes the requested function or additional function, and outputs the result to electronic device 101.
  • the electronic device 101 may process the received result as it is or additionally to provide the requested function or service.
  • Cloud computing cloud computing
  • Distributed Computing distributed computing
  • client-server computing client-server computing
  • FIG. 2 is a block diagram of an electronic device according to various embodiments of the present disclosure.
  • the electronic device 201 may include, for example, all or part of the electronic device 101 illustrated in FIG. 1.
  • the electronic device 201 may include one or more processors (eg, an application processor) 210, a communication module 220, a subscriber identification module 224, a memory 230, a sensor module 240, an input device 250, a display 260, an interface 270, an audio module 280, and a camera module. 291, power management module 295, battery 296, indicator 297, and motor 298.
  • the processor 210 may control, for example, a plurality of hardware or software components connected to the processor 210 by driving an operating system or an application program, and may perform various data processing and operations.
  • the processor 210 may be implemented with, for example, a system on chip (SoC).
  • SoC system on chip
  • the processor 210 may further include a graphic processing unit (GPU) and / or an image signal processor.
  • the processor 210 may include at least some of the components illustrated in FIG. 2 (eg, the cellular module 221).
  • the processor 210 may load and process instructions or data received from at least one of the other components (eg, nonvolatile memory) into the volatile memory, and store various data in the nonvolatile memory.
  • the communication module 220 may have a configuration that is the same as or similar to that of the communication interface 170 of FIG. 1.
  • the communication module 220 may be, for example, a cellular module 221, a WiFi module 223, a Bluetooth module 225, a GNSS module 227 (e.g., a GPS module, a Glonass module, a Beidou module, or a Galileo module), an NFC module 228, and a radio frequency (RF).
  • Module 229 may be included.
  • the cellular module 221 may provide, for example, a voice call, a video call, a text service, or an internet service through a communication network. According to an embodiment of the present disclosure, the cellular module 221 may perform identification and authentication of the electronic device 201 in a communication network using a subscriber identification module (eg, a subscriber identification module (SIM) card) 224. According to an embodiment of the present disclosure, the cellular module 221 may perform at least some of the functions that the processor 210 may provide. According to an embodiment of the present disclosure, the cellular module 221 may include a communication processor (CP).
  • CP communication processor
  • Each of the WiFi module 223, the Bluetooth module 225, the GNSS module 227, or the NFC module 228 may include, for example, a processor for processing data transmitted and received through a corresponding module.
  • at least some (eg, two or more) of the cellular module 221, the WiFi module 223, the Bluetooth module 225, the GNSS module 227, or the NFC module 228 may be included in one integrated chip (IC) or IC package. .
  • the RF module 229 may transmit / receive, for example, a communication signal (eg, an RF signal).
  • the RF module 229 may include, for example, a transceiver, a power amp module (PAM), a frequency filter, a low noise amplifier (LNA), an antenna, or the like.
  • PAM power amp module
  • LNA low noise amplifier
  • at least one of the cellular module 221, the WiFi module 223, the Bluetooth module 225, the GNSS module 227, or the NFC module 228 may transmit and receive an RF signal through a separate RF module.
  • the subscriber identification module 224 may include, for example, a card including a subscriber identification module and / or an embedded SIM, and may include unique identification information (eg, an integrated circuit card identifier (ICCID) or subscriber information). (Eg, international mobile subscriber identity).
  • ICCID integrated circuit card identifier
  • subscriber information e.g, international mobile subscriber identity
  • the memory 230 may include, for example, an internal memory 232 or an external memory 234.
  • the internal memory 232 may be, for example, volatile memory (eg, dynamic RAM (DRAM), static RAM (SRAM), or synchronous dynamic RAM (SDRAM), etc.), or nonvolatile memory (non-volatile memory).
  • volatile memory eg, dynamic RAM (DRAM), static RAM (SRAM), or synchronous dynamic RAM (SDRAM), etc.
  • nonvolatile memory non-volatile memory
  • -volatile memory e.g., one time programmable read only memory (OTPROM), programmable ROM (PROM), erasable and programmable ROM (EPROM), electrically erasable and programmable ROM (EEPROM), mask ROM, flash ROM, flash
  • OTPROM one time programmable read only memory
  • PROM programmable ROM
  • EPROM erasable and programmable ROM
  • EEPROM electrically erasable and programmable ROM
  • mask ROM mask e.g., one time programmable read only memory (OTPROM), programmable ROM (PROM), erasable and programmable ROM (EPROM), electrically erasable and programmable ROM (EEPROM), mask ROM, flash ROM, flash
  • It may include at least one of a memory (for example, NAND flash or NOR flash), a hard drive, or a solid state drive (SSD).
  • a memory for example, NAND flash or NOR flash
  • the external memory 234 may be a flash drive, for example, compact flash (CF), secure digital (SD), micro secure digital (Micro-SD), mini secure digital (mini-SD), or extreme digital (XD). It may further include a MMC (MultiMediaCard) or a memory stick (memory stick).
  • the external memory 234 may be functionally and / or physically connected to the electronic device 201 through various interfaces.
  • the sensor module 240 may measure a physical quantity or detect an operation state of the electronic device 201 to convert the measured or detected information into an electrical signal.
  • the sensor module 240 may include, for example, a gesture sensor 240A, a gyro sensor 240B, a barometer 240C, a magnetic sensor 240D, an acceleration sensor 240E, and a grip sensor. (grip sensor) 240F, proximity sensor 240G, color sensor 240H (e.g. RGB, red, green, blue) sensor, medical sensor 240I, temperature / humidity sensor It may include at least one of a humidity sensor 240J, an illumination sensor 240K, or an UV (ultra violet) sensor 240M.
  • the sensor module 240 may include, for example, an olfactory sensor, an electromyography sensor, an electroencephalogram sensor, an electrocardiogram sensor, or an IR. (infrared) sensor, iris sensor (iris scan sensor) and / or fingerprint scan sensor (finger scan sensor).
  • the sensor module 240 may further include a control circuit for controlling at least one or more sensors belonging therein.
  • the electronic device 201 may further include a processor configured to control the sensor module 240 as part of or separately from the processor 210 to control the sensor module 240 while the processor 210 is in a sleep state. .
  • the input device 250 may include, for example, a touch panel 252, a (digital) pen sensor 254, a key 256, or an ultrasonic input device 258.
  • the touch panel 252 may use at least one of capacitive, resistive, infrared, or ultrasonic methods, for example.
  • the touch panel 252 may further include a control circuit.
  • the touch panel 252 may further include a tactile layer to provide a tactile response to the user.
  • the (digital) pen sensor 254 may be, for example, part of a touch panel or may include a separate sheet for recognition.
  • the key 256 may include, for example, a physical button, an optical key, or a keypad.
  • the ultrasonic input device 258 may detect ultrasonic waves generated by the input tool through a microphone (for example, the microphone 288) and check data corresponding to the detected ultrasonic waves.
  • the display 260 may include a panel 262, a hologram device 264, or a projector 266.
  • the panel 262 may include a configuration that is the same as or similar to that of the display 160 of FIG. 1.
  • the panel 262 may be implemented to be, for example, flexible, transparent, or wearable.
  • the panel 262 may be configured as a single module with the touch panel 252.
  • the hologram 264 may show a stereoscopic image in the air by using interference of light.
  • the projector 266 may display an image by projecting light onto a screen.
  • the screen may be located inside or outside the electronic device 201.
  • the display 260 may further include a control circuit for controlling the panel 262, the hologram device 264, or the projector 266.
  • the interface 270 may include, for example, a high-definition multimedia interface (HDMI) 272, a universal serial bus (USB) 274, an optical interface 276, or a D-subminiature (D-sub) 278.
  • the interface 270 may be included in, for example, the communication interface 170 illustrated in FIG. 1.
  • interface 270 may include, for example, a mobile high-definition link (MHL) interface, a secure digital (SD) card / multi-media card (MMC) interface, or an infrared data association. ) May include a standard interface.
  • MHL mobile high-definition link
  • SD secure digital
  • MMC multi-media card
  • infrared data association May include a standard interface.
  • the audio module 280 may bidirectionally convert, for example, a sound and an electrical signal. At least some components of the audio module 280 may be included in, for example, the input / output interface 150 illustrated in FIG. 1.
  • the audio module 280 may process sound information input or output through, for example, a speaker 282, a receiver 284, an earphone 286, a microphone 288, or the like.
  • the camera module 291 is, for example, a device capable of capturing still images and moving images.
  • the camera module 291 may include at least one image sensor (eg, a front sensor or a rear sensor), a lens, an image signal processor (ISP), or Flash (eg, LED or xenon lamp, etc.).
  • ISP image signal processor
  • Flash eg, LED or xenon lamp, etc.
  • the power management module 295 may manage power of the electronic device 201, for example.
  • the power management module 295 may include a power management integrated circuit (PMIC), a charger integrated circuit (ICC), or a battery 296 or a battery or fuel gauge.
  • the PMIC may have a wired and / or wireless charging scheme.
  • the wireless charging method may include, for example, a magnetic resonance method, a magnetic induction method, an electromagnetic wave method, or the like, and may further include additional circuits for wireless charging, such as a coil loop, a resonance circuit, a rectifier, and the like. have.
  • the battery gauge may measure, for example, the remaining amount of the battery 296, the voltage, the current, or the temperature during charging.
  • the battery 296 may include, for example, a rechargeable battery and / or a solar battery.
  • the indicator 297 may display a specific state of the electronic device 201 or a portion thereof (for example, the processor 210), for example, a booting state, a message state, or a charging state.
  • the motor 298 may convert an electrical signal into mechanical vibration, and may generate a vibration or haptic effect.
  • the electronic device 201 may include a processing device (eg, a GPU) for supporting mobile TV.
  • the processing apparatus for supporting mobile TV may process media data according to a standard such as digital multimedia broadcasting (DMB), digital video broadcasting (DVB), or MediaFlo TM.
  • each of the components described in this document may be composed of one or more components, and the names of the corresponding components may vary depending on the type of electronic device.
  • the electronic device may be configured to include at least one of the components described in this document, and some components may be omitted or further include other additional components.
  • some of the components of the electronic device according to various embodiments of the present disclosure may be combined to form one entity, and thus may perform the same functions of the corresponding components before being combined.
  • FIG. 3 is a block diagram of a program module according to various embodiments of the present disclosure.
  • the program module 310 (eg, the program 140) is an operating system (OS) for controlling resources related to the electronic device (eg, the electronic device 101) and / or various applications running on the operating system.
  • OS operating system
  • the operating system may be, for example, android, ios, windows, symbian, tizen, bada, or the like.
  • the program module 310 may include a kernel 320, middleware 330, an application programming interface (API) 360, and / or an application 370. At least a part of the program module 310 may be preloaded on the electronic device or may be downloaded from an external electronic device (for example, the electronic devices 102 and 104, the server 106, and the like).
  • API application programming interface
  • the kernel 320 may include, for example, a system resource manager 321 and / or a device driver 323.
  • the system resource manager 321 may perform control, allocation, or retrieval of system resources.
  • the system resource manager 321 may include a process manager, a memory manager, or a file system manager.
  • the device driver 323 may include, for example, a display driver, a camera driver, a Bluetooth driver, a shared memory driver, a USB driver, a keypad driver, a WiFi driver, an audio driver, or an inter-process communication (IPC) driver.
  • IPC inter-process communication
  • the middleware 330 may provide functions commonly required by the application 370 or provide various functions to the application 370 through the API 360 so that the application 370 can efficiently use limited system resources inside the electronic device. have.
  • the middleware 330 eg, the middleware 143 may include a runtime library 335, an application manager 341, a window manager 342, a multimedia manager 343, and a resource manager 344.
  • the runtime library 335 may include, for example, a library module that the compiler uses to add new functionality through the programming language while the application 370 is running.
  • the runtime library 335 may perform input / output management, memory management, or a function for an arithmetic function.
  • the application manager 341 may manage a life cycle of at least one of the applications 370.
  • the window manager 342 may manage GUI resources used on the screen.
  • the multimedia manager 343 may identify a format necessary for playing various media files, and may encode or decode the media file using a codec suitable for the format.
  • the resource manager 344 may manage resources such as source code, memory, or storage space of at least one of the applications 370.
  • the power manager 345 may operate in conjunction with a basic input / output system (BIOS) to manage a battery or power, and provide power information necessary for the operation of the electronic device.
  • BIOS basic input / output system
  • the database manager 346 may generate, search for, or change a database to be used by at least one of the applications 370.
  • the package manager 347 may manage installation or update of an application distributed in the form of a package file.
  • the connection manager 348 may manage, for example, a wireless connection such as WiFi or Bluetooth. Notification manager 349 may display or notify events such as arrival messages, appointments, proximity notifications, and the like in a manner that does not disturb the user.
  • the location manager 350 manages location information of the electronic device.
  • the graphic manager 351 may manage graphic effects to be provided to the user or a user interface related thereto.
  • the security manager 352 may provide various security functions required for system security or user authentication. According to an embodiment of the present disclosure, when the electronic device (eg, the electronic device 101) includes a telephone function, the middleware 330 may further include a telephone manager for managing a voice or video call function of the electronic device.
  • the middleware 330 may include a middleware module that forms a combination of various functions of the above-described components.
  • the middleware 330 may provide modules specialized according to types of operating systems in order to provide differentiated functions.
  • the middleware 330 may dynamically delete some of the existing components or add new components.
  • API 360 (eg, API 145) is, for example, a set of API programming functions and may be provided in different configurations depending on the operating system. For example, in the case of Android or iOS, one API set may be provided for each platform, and in the case of Tizen, two or more API sets may be provided for each platform.
  • Application 370 (e.g., application program 147) is, for example, home 371, dialer 372, SMS / MMS 373, instant message (IM) 374, browser 375, camera 376, alarm 377, contact 378, voice dial 379, e-mail. 380, calendar 381, media player 382, album 383, clock 384, and the like.
  • the application 370 may perform functions such as health care (eg, measuring exercise amount or blood sugar) or providing environmental information (eg, providing barometric pressure, humidity, or temperature information). It may include one or more applications that can.
  • the application 370 may be an application that supports information exchange between an electronic device (eg, the electronic device 101) and an external electronic device (eg, the electronic devices 102 and 104).
  • Information exchange application ").
  • the information exchange application may include, for example, a notification relay application for delivering specific information to an external electronic device, or a device management application for managing the external electronic device.
  • the notification delivery application may include notification information generated by another application of the electronic device (eg, an SMS / MMS application, an email application, a health care application, or an environmental information application). , 104)). Also, the notification delivery application may receive notification information from an external electronic device and provide the notification information to a user, for example.
  • another application of the electronic device eg, an SMS / MMS application, an email application, a health care application, or an environmental information application. , 104)
  • the notification delivery application may receive notification information from an external electronic device and provide the notification information to a user, for example.
  • the device management application may, for example, turn at least one function of an external electronic device (eg, the electronic devices 102 and 104) in communication with the electronic device (eg, turn on the external electronic device itself (or some component part). Turn-on / turn-off or adjust the brightness (or resolution) of the display, applications that operate on an external electronic device, or services provided by an external electronic device, such as call or message services Etc.) can be managed (e.g., installed, deleted, or updated).
  • the application 370 may be an application (eg, a health care application of a mobile medical device, an audiometric application, an audio reproduction application, etc.) designated according to an external electronic device (eg, an attribute of the electronic devices 102 and 104). It may include. According to an embodiment of the present disclosure, the application 370 may include an application received from an external electronic device (for example, the server 106 or the electronic devices 102 and 104). According to an embodiment of the present disclosure, the application 370 may include a preloaded application or a third party application downloadable from a server.
  • the names of the components of the program module 310 according to the shown embodiment may vary depending on the type of operating system.
  • At least a part of the program module 310 may be implemented in software, firmware, hardware, or a combination of two or more thereof. At least some of the program module 310 may be implemented (for example, executed) by, for example, a processor (for example, the processor 210). At least some of the program module 310 may include, for example, a module, a program, a routine, sets of instructions, or a process for performing one or more functions.
  • module may refer to a unit that includes one or a combination of two or more of hardware, software, or firmware.
  • a “module” may be interchangeably used with terms such as, for example, unit, logic, logical block, component, or circuit.
  • the module may be a minimum unit or part of an integrally constructed part.
  • the module may be a minimum unit or part of performing one or more functions.
  • the “module” can be implemented mechanically or electronically.
  • a “module” is one of application-specific integrated circuit (ASIC) chips, field-programmable gate arrays (FPGAs), or programmable-logic devices that perform certain operations, known or developed in the future. It may include at least one.
  • ASIC application-specific integrated circuit
  • FPGAs field-programmable gate arrays
  • At least a portion of an apparatus (eg, modules or functions thereof) or method (eg, operations) may be, for example, computer-readable storage media in the form of a program module. It can be implemented as a command stored in. When the command is executed by a processor (eg, the processor 120), the one or more processors may perform a function corresponding to the command.
  • the computer-readable recording medium may be, for example, the memory 130.
  • Computer-readable recording media include hard disks, floppy disks, magnetic media (e.g. magnetic tape), optical media (e.g. compact disc read only memory), DVD ( digital versatile discs, magneto-optical media (e.g. floptical disks), hardware devices (e.g. read only memory, random access memory (RAM), or flash memory)
  • the program instructions may include not only machine code generated by a compiler, but also high-level language code executable by a computer using an interpreter, etc.
  • the hardware device described above may be various. It can be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
  • Modules or program modules according to various embodiments of the present disclosure may include at least one or more of the aforementioned components, some of them may be omitted, or may further include additional other components.
  • Operations performed by a module, program module, or other component according to various embodiments of the present disclosure may be executed in a sequential, parallel, repetitive, or heuristic manner.
  • some operations may be executed in a different order, may be omitted, or other operations may be added.
  • the embodiments disclosed in this document are presented for the purpose of explanation and understanding of the disclosed, technical content, it does not limit the scope of the technology described in this document. Accordingly, the scope of this document should be construed as including all changes or various other embodiments based on the technical spirit of this document.
  • a method and apparatus for performing a video service such as video sharing or video call during a voice call in an electronic device are disclosed.
  • a method and apparatus for more stably transmitting data in a data communication connection for a video service during a voice call are disclosed.
  • a method and apparatus for transmitting a video during a voice call are disclosed by dividing a communication channel for a voice call and a communication channel for a video service.
  • An electronic device may support a communication function and / or a camera function, and may include an application processor (AP), a communication processor (CP), a graphic processing unit (GPU), a central processing unit (CPU), and the like. It may include any device that uses one or more of a variety of processors.
  • an electronic device may include all information communication devices, multimedia devices, wearable devices, Internet of Things (IoT) devices, audio devices, or the like that support communication functions and / or camera functions. It may include an application device therefor.
  • IoT Internet of Things
  • FIG. 4 is a diagram illustrating a system according to various embodiments of the present disclosure.
  • a system may include an electronic device (eg, the first electronic device 410 and the second electronic device 420) and at least two networks 430 and 450. ), One or more servers 460 and 470.
  • the electronic device may include a first electronic device 410 for the calling side operation and a second electronic device 420 for the receiving side operation.
  • the network may be divided into a first network 430 for a first communication (eg, a voice call) and a second network 450 for a second communication (eg, a video service).
  • the first network 430 may be a mobile communication network (or a cellular network) for a mobile communication service, and may include a base station 440.
  • the second network 450 may be a data communication network for a peer-to-peer connection, and may include a connectivity server 460 and a message server 470. Can be.
  • the first electronic device 410 and the second electronic device 420 may make a voice call through the first network 430, and the second network 450 (eg, a PS network or WiFi). Data communication with each other is possible.
  • the second network 450 eg, a PS network or WiFi.
  • the first electronic device 410 may transmit a (camera) image to the second electronic device 420 during a voice call with the second electronic device 420, hereinafter, such a function is referred to as a video service.
  • a video service such a function is referred to as a video service.
  • the first electronic device 410 and the second electronic device 420 are connected in a P2P manner to transmit and receive images between the electronic devices 410 and 420, but the present invention is not limited thereto.
  • the first electronic device 410 and the second electronic device 420 may transmit and receive images in a server-client manner.
  • the electronic device may include a camera inside or outside.
  • the electronic device may include an internal camera that is physically connected or an external camera that is functionally connected.
  • an image transmitted / received between the first electronic device 410 and the second electronic device 420 may include a real-time camera photographed image, or may include a stored (eg, recorded) image.
  • the stored image may be stored inside or outside the electronic device.
  • the server may connect the first electronic device 410 and the second electronic device 420 in a P2P manner, and may configure one or more.
  • an example server is comprised of an access server 460 and a message server 470.
  • the access server 460 may provide a domain name system (DNS) function for session connection between the first electronic device 410 and the second electronic device 420.
  • DNS domain name system
  • the access server 460 may connect the first electronic device 410 and the second electronic device 420 in a P2P manner.
  • the message server 470 may transmit a start request message for the first electronic device 410 to start transmitting / receiving an image to the second electronic device 420.
  • the server may manage user accounts, profile information, and service subscription information.
  • an electronic device to transmit an image during a voice call becomes a calling terminal and receives an image.
  • the electronic device may be a receiving terminal.
  • a user interface for a video service during a voice call may be provided differently according to a calling terminal and a receiving terminal, which will be described in detail with reference to the accompanying drawings.
  • 5A is a diagram schematically illustrating a configuration of an electronic device according to various embodiments of the present disclosure.
  • the electronic device 500 may include, for example, a wireless communication unit 510, a user input unit 520, a touchscreen 530, and an audio processor 540. ), A memory 550, an interface unit 560, a camera module 570, a controller 580 (eg, the processor 120), and a power supply unit 590.
  • the electronic device 500 since the components illustrated in FIG. 5A are not essential, the electronic device 500 may be implemented to have more or fewer configurations than those illustrated in FIG. 5A. .
  • the wireless communication unit 510 may have a configuration that is the same as or similar to that of the communication module 220 of FIG. 2, for example.
  • the wireless communication unit 510 may include one or more modules that enable wireless communication between the electronic device 500 and an external electronic device (for example, other electronic devices 102 and 104 and the server 106).
  • the wireless communication unit 510 may include a mobile communication module 511, a wireless local area network (WLAN) module 513, a short range communication module 515, and a location calculation module 517. Can be configured.
  • the wireless communication unit 510 may include a module (for example, a short range communication module or a telecommunication module) for performing communication with an external external electronic device.
  • the mobile communication module 511 may have a configuration that is the same as or similar to that of the cellular module 221 of FIG. 2, for example.
  • the mobile communication module 511 may include a base station, an external electronic device (eg, another electronic device 104), and various servers (eg, an application server, a management server, an integration server, and a provider server) on a mobile communication network.
  • a wireless signal may be transmitted and received with at least one of a provider server, a content server, an internet server, a cloud server, and the like.
  • the wireless signal may include a voice signal, a data signal or various types of control signals.
  • the mobile communication module 511 may transmit various data required for the operation of the electronic device 500 to an external device (eg, the server 106 or the other electronic device 104, etc.) in response to a user request.
  • the wireless LAN module 513 may have, for example, a configuration that is the same as or similar to that of the WiFi module 223 of FIG. 2.
  • the wireless LAN module 513 may represent a module for establishing a wireless LAN link with a wireless Internet connection and another external electronic device (for example, another electronic device 102 or the server 106, etc.).
  • the wireless LAN module 513 may be embedded or external to the electronic device 500.
  • Wireless Internet technologies may include wireless fidelity (WiFi), wireless broadband (Wibro), world interoperability for microwave access (WiMax), high speed downlink packet access (HSDPA), or millimeter wave (mmWave).
  • the wireless LAN module 513 may be connected to another external electronic device (eg, the other electronic device 104, etc.) connected to the electronic device 500 through a network (eg, a wireless Internet network) (eg, the network 162). In cooperation, various data of the electronic device 500 may be transmitted to or received from the outside.
  • the wireless LAN module 513 may be always on, or may be turned on according to a setting or a user input of the electronic device 500.
  • the short range communication module 515 may represent a module for performing short range communication.
  • Near field communication technologies include Bluetooth, Bluetooth Low Energy (BLE), Radio Frequency IDentification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, or NFC ( Near Field Communication) may be used.
  • the short range communication module 515 may be connected to another external electronic device (for example, the other electronic device 102) that is connected to the electronic device 500 through a network (for example, a short range communication network), and may be connected to the electronic device 500.
  • Various data may be transmitted or received to an external electronic device.
  • the short range communication module 515 may maintain the always on state or may be turned on according to a setting or a user input of the electronic device 500.
  • the location calculation module 517 may have a configuration that is the same as or similar to that of the GNSS module 227 of FIG. 2, for example.
  • the position calculation module 517 is a module for acquiring a position of the electronic device 500, and a representative example may include a global position system (GPS) module.
  • GPS global position system
  • the location calculation module 517 may measure the location of the electronic device 500 on the basis of triangulation.
  • the user input unit 520 may generate input data for controlling the operation of the electronic device 500 in response to a user input.
  • the user input unit 520 may include at least one input device for detecting various inputs of a user.
  • the user input unit 520 may include a keypad, a dome switch, a physical button, a touch pad (static pressure / capacitance), a jog & shuttle, and a sensor (eg, a sensor module). 240), and the like.
  • the user input unit 520 may be partially implemented as a button on the outside of the electronic device 500, or may be partially or entirely implemented as a touch panel.
  • the user input unit 520 may input a user input for initiating an operation of the electronic device 500 (eg, an audio playback function, an electronic device connection function, an image transmission or sharing function, etc.) according to various embodiments of the present disclosure. It can receive and generate an input signal according to the user input.
  • an operation of the electronic device 500 eg, an audio playback function, an electronic device connection function, an image transmission or sharing function, etc.
  • the touch screen 530 represents an input / output device capable of simultaneously performing an input function and a display function, and may include a display 531 (eg, the display 160 and 260) and a touch sensing unit 533.
  • the touch screen 530 provides an input / output interface between the electronic device 500 and the user, transmits a user's touch input to the electronic device 500, and also provides a user with an output from the electronic device 500. May include roles.
  • the touch screen 530 may show a visual output to the user. The visual output may appear in the form of text, graphics, video, and combinations thereof.
  • the display 531 may display (output) various types of information processed by the electronic device 500.
  • the display 531 may display a user interface (UI) or a graphical user interface (GUI) related to a video service during a voice call.
  • UI user interface
  • GUI graphical user interface
  • the display 531 may use various displays (eg, the display 160).
  • the display 531 may be a bent display.
  • the display 531 may include a liquid crystal display in a liquid crystal display (LCD), a light emitting diode (LED), an organic light emitting diode (OLED), and an active OLED (AMOLED).
  • LCD liquid crystal display
  • LED light emitting diode
  • OLED organic light emitting diode
  • AMOLED active OLED
  • the display 531 extends to at least one side (eg, at least one of a left side, a right side, an upper side, and a bottom side) of the electronic device 500, such that a radius of curvature in which the bent display can operate is provided.
  • radius of curvature eg radius of curvature 5cm, 1cm, 7.5mm, 5mm, 4mm, etc.
  • the touch sensing unit 533 may be mounted on the display 531, and may sense a user input of touching or approaching the surface of the touch screen 530.
  • the user input may include a touch event or a proximity event input based on at least one of single-touch, multi-touch, hovering, or air gesture.
  • the touch sensing unit 533 may receive a user input for starting an operation related to the use of the electronic device 500 in various embodiments, and generate an input signal according to the user input.
  • the touch sensing unit 533 may be configured to convert a change in pressure applied to a specific portion of the display 531 or capacitance generated at a specific portion of the display 531 into an electrical input signal. .
  • the touch sensing unit 533 may detect a position and area at which an input tool (for example, a user's finger or an electronic pen) touches or approaches the surface of the display 531.
  • the touch sensing unit 533 may be implemented to detect a pressure (for example, a force touch) at the time of touch according to the applied touch method.
  • the audio processor 540 may have a configuration that is the same as or similar to that of the audio module 280 of FIG. 2, for example.
  • the audio processor 540 transmits the audio signal received from the controller 580 to the speaker SPK 541, and transmits an audio signal such as a voice received from the microphone 553 to the controller 580. ) Can be performed.
  • the audio processor 540 converts audio / sound data into an audible sound through the speaker 541 under the control of the controller 580, and converts audio signals such as voice received from the microphone 543 into digital signals.
  • the controller 580 may transmit the result.
  • the speaker 541 may output audio data received from the wireless communication unit 510 or stored in the memory 550.
  • the speaker 541 may output sound signals related to various operations (functions) performed by the electronic device 500.
  • the microphone 543 may receive an external sound signal and process the same as electrical voice data.
  • the microphone 543 may be implemented with various noise reduction algorithms for removing noise generated in the process of receiving an external sound signal.
  • the microphone 543 may be responsible for input of an audio stream such as a voice command (eg, a voice command for initiating a function such as connecting an electronic device, playing audio, or transmitting or sharing an image).
  • the memory 550 may store one or more programs executed by the controller 580, and may temporarily store the input / output data. You can also perform a function.
  • the input / output data may include, for example, a file such as a moving picture, an image, a picture, or audio and network information (or communication quality information).
  • the memory 550 is responsible for storing the obtained data, and the data acquired in real time may be stored in a temporary storage device, and data determined to be stored may be stored in a storage device that can be stored for a long time.
  • the memory 550 may, in various embodiments, perform a voice call based on a first communication with another electronic device, or may perform data communication by a second communication with another electronic device in response to a service execution request during the voice call. And determining whether to connect a service based on at least a part of the data communication quality, and displaying and displaying an image on the display 531 when the service connection is determined, for example, an image acquired through a camera (eg, the camera module 570).
  • One or more programs, data, or instructions related to transmitting to another electronic device based on the two communication may be stored.
  • the memory 550 may include one or more application modules (or software modules).
  • the interface unit 560 may have a configuration that is the same as or similar to that of the interface 270 of FIG. 2, for example.
  • the interface unit 560 may receive data from another electronic device, or receive power and transfer the power to each of the components of the electronic device 500.
  • the interface unit 560 may allow data inside the electronic device 500 to be transmitted to another electronic device.
  • wired / wireless headphone port, external charger port, wired / wireless data port, memory card port, audio input / output port, video input / output port, earphone port Etc. may be included in the interface unit 560.
  • the camera module 570 (eg, the camera module 291) represents a configuration supporting the capturing function of the electronic device 500.
  • the camera module 570 may photograph an arbitrary subject under the control of the controller 580, and transmit the photographed data (eg, a video or an image) to the display 531 and the controller 580.
  • the camera module 570 may be connected to a built-in camera module or the electronic device 500 mounted on the electronic device 500 by a wired or wireless interface (eg, cable connection, Bluetooth connection, etc.).
  • An external camera module may be included.
  • the camera module 570 may be a peripheral camera device (eg, a virtual reality device, a 360 camera (360 degree camera), or another electronic device including a camera) connected to the electronic device 500 by Bluetooth. Robot cleaner, TV, monitor, etc.). According to various embodiments of the present disclosure, the camera module 570 may include an attachable and detachable camera module.
  • a peripheral camera device eg, a virtual reality device, a 360 camera (360 degree camera), or another electronic device including a camera
  • the camera module 570 may include an attachable and detachable camera module.
  • the controller 580 may control overall operations of the electronic device 500.
  • the controller 580 may have, for example, a configuration that is the same as or similar to that of the processor 210 of FIG. 2.
  • the controller 580 may perform a voice call based on the first communication with another electronic device, whether or not data communication is possible through the second communication with another electronic device in response to a service execution request during the voice call, and Determining whether to connect to a service based on at least a part of data communication quality, and when determining the service connection, displaying an image acquired through the camera on the display 531 and transmitting the image to another electronic device based on the second communication; Can handle the operation.
  • the controller 580 may include one or more processors for controlling the operation of the electronic device 500.
  • the controller 580 may control operations of hardware modules such as the audio processor 540, the interface 560, the display 531, and the camera module 570. Control operation of the controller 580 according to various embodiments of the present invention will be described in detail with reference to the drawings to be described later.
  • the controller 580 executes one or more programs stored in the memory 550 to control one or more operations of the electronic device 500 according to various embodiments of the present disclosure. It may be implemented as one or more processors.
  • the controller 580 may include a service processing module 585 for processing a service connection associated with a video service during a voice call.
  • the service processing module 585 may include, for example, a first communication processor 585A, a second communication processor 585B, an interaction processor 585C, and the like.
  • the first communication processor 585A may include, for example, first communication (for example, circuit switch (CS) communication, for example, 3G communication) (for example, the first network (eg An operation related to performing a voice call between electronic devices may be processed based on 430).
  • first communication for example, circuit switch (CS) communication, for example, 3G communication
  • CS circuit switch
  • 3G communication for example, the first network
  • the second communication processor 585B may be, for example, second communication (eg, packet switch (PS)) communication, for example, data communication (eg, second network). Based on operation 450, an operation associated with performing an image service between electronic devices may be processed. According to various embodiments of the present disclosure, the second communication processor 585B may determine whether or not the data communication quality and the data communication quality are possible by the second communication with another electronic device in response to the service execution request during the voice call by the first communication. The service connection may be determined based on whether the service is connected, and when the service connection is determined, the acquired image may be displayed on the display 531, and the acquired image may be transmitted to another electronic device based on the second communication.
  • PS packet switch
  • the interaction processor 585C may process an operation related to providing a user interface related to a video service during a voice call. According to various embodiments, the interaction processor 585C may process an interaction of a user input based on a user interface related to a video service during a voice call.
  • the power supply unit 590 may receive an external power source or an internal power source under the control of the controller 580 to supply power for operation of each component.
  • the power supply unit 590 may supply or turn off (on / off) power to the display 531, the camera module 570, and the like under the control of the controller 580.
  • 5B is a diagram schematically illustrating a configuration of electronic devices according to various embodiments of the present disclosure.
  • the electronic device 500 may include, for example, a first electronic device 610 (eg, transmission electronics) for an operation of a caller that provides (transmits) an image.
  • a second electronic device 620 eg, a receiving electronic device for receiving side operation that receives (receives) an image.
  • each of the first electronic device 610 and the second electronic device 620 may include a configuration corresponding to FIG. 5A.
  • each of the first electronic device 610 and the second electronic device 620 includes an application processor 610A and 620A, a display module 610B and 620B, and a camera module 610C. , 620C), audio modules 610D, 620D, communication modules 610E, 620E, and the like.
  • the first electronic device 610 and the second electronic device 620 may further include sensor modules 610F and 620F according to the type of the electronic device.
  • the first electronic device 610 and the second electronic device 620 may use another communication device (or a wired communication method or at least one wireless communication method using the communication modules 610E and 620E).
  • Peripheral devices eg, VR devices, display devices (eg, TVs, monitors), cameras capable of 360-degree imaging (eg, 360 cameras), robot cleaners, etc.).
  • the first electronic device 610 may determine (check) an image service availability of the second electronic device 620 (eg, the receiving electronic device).
  • the image service possibility determination may include checking various situations such as whether a service application is installed, a network state check, a memory, a battery, a camera, a charge policy, etc. of the electronic devices 610 and 620. have.
  • the first electronic device 610 may additionally check a capability associated with the second electronic device 620 (eg, the receiving electronic device).
  • the capability associated with the electronic device may include a type of electronic device or device information related to at least one electronic device connected to (or connected to) the electronic device.
  • the type of electronic device may be classified into a smart phone, a tablet, a notebook, and the like, and each electronic device may include other components according to the type.
  • the notebook when the type of electronic device is a notebook, the notebook may not include a sensor module.
  • checking the type of the electronic device may include checking component information included in each electronic device.
  • at least one electronic device eg, a peripheral device
  • the electronic device may be a VR device, a display device (eg, a TV, a monitor, etc.), a device capable of 360-degree shooting (eg, 360 camera, robot cleaner, etc.).
  • the first electronic device may represent a transmitting electronic device that performs an originating side operation of transmitting an image
  • the first peripheral device refers to a device connected to (or connected to) the first electronic device.
  • the second electronic device may represent a receiving electronic device for receiving side operation of receiving an image
  • the second peripheral device may represent a device connected (or connectable) to the second electronic device
  • the function may be A type and / or a function of an object (eg, an icon or a text) displayed on the first full device may be displayed according to a relationship between the first electronic device, the first peripheral device, the second electronic device, and the second peripheral device.
  • the first electronic device and the second electronic device are smartphones, and there may be no peripheral devices connected to (or connectable to) the first electronic device and the second electronic device.
  • the first electronic device may display a first object (eg, a general object (eg, an icon) related to a video service).
  • the first electronic device is a smartphone
  • the second electronic device is a notebook
  • the first electronic device may display a first object.
  • the notebook may not include a sensor module for detecting a movement of the electronic device, and thus a general icon may be displayed.
  • the first electronic device is a smartphone
  • the second electronic device is a notebook
  • the second peripheral device connected to (or connectable to) the second electronic device is a VR device.
  • the first electronic device may display a second object (eg, an object (eg, an icon or a text (eg, VR)) related to the VR device.)
  • the second electronic device may display the second electronic device.
  • a second peripheral device for example, a VR device
  • the location of the first electronic device is additionally added.
  • Virtual reality information based on the information can also be provided (eg transmitted).
  • the first electronic device and the second electronic device are smartphones, the first peripheral device connected to (or connectable to) the first electronic device is a 360 camera, and the second electronic device is connected to the second electronic device. It may indicate that there is no second peripheral device connected (or connectable).
  • the first electronic device may display a third object (eg, an object related to a 360 camera (eg, an icon or text (eg, 360)).
  • the second electronic device may display a second electronic device. The device may determine whether the motion is based on sensor information of the included sensor module, and provide motion information according to the motion to the first electronic device.
  • the movement of the first peripheral device may be controlled based on the movement of the first peripheral device (eg, the 360 camera), and the captured image may be transmitted to the second electronic device (eg, the user of the second electronic device).
  • An image eg, a 360 camera photographed image
  • a direction intended by the user of the second electronic device may be checked based on the movement of.
  • the first electronic device and the second electronic device are smartphones, the first peripheral device connected to (or connectable to) the first electronic device is a 360 camera, and the second electronic device is connected to the second electronic device. It may indicate that the connected (or connectable) second peripheral device is a VR device.
  • the first electronic device may display a second object corresponding to Example 3 and a third object corresponding to Example 4 together.
  • the first electronic device is a smartphone
  • the second electronic device is a notebook
  • the first peripheral device connected to (or connectable to) the first electronic device is a 360 camera
  • the second It may indicate that there is no second peripheral device connected to (or connectable to) the electronic device.
  • the first electronic device may display a first object.
  • the notebook may not include a sensor module for detecting a movement of the electronic device, and thus a general icon may be displayed.
  • a service that can be provided may be identified by checking a capability of the first electronic device 610 and the second electronic device 620.
  • a service eg, a general video service (eg, a video service by a camera provided in an electronic device), a 360 video service by a 360 camera, a VR video service by a VR device, etc.) may be determined by a user's selection.
  • an expiration time eg, a maximum waiting time included in a video communication connection may be changed based on a service determined by a user's selection.
  • the expiration time (or maximum standby time) may be a first time (for example, 15 seconds) in the case of a communication connection for a general video service, and an expiration time in the case of a communication connection for a VR video service or a 360 video service. (Or the maximum waiting time) may be a second time (eg, 30 seconds).
  • the expiration time (for example, the maximum waiting time) may be set in the VR video service or the 360 video service. It may be changed to a second time larger than the time.
  • the expiration time may be configured differently according to the state (or state of the image) of the video service, and service request information for this may be configured in the server or the electronic device. have.
  • the first electronic device 610 may be connected to various peripheral devices capable of acquiring an image.
  • the first electronic device 610 may determine whether the image is acquired through an internal camera module or through a peripheral device.
  • the first electronic device 610 may check the type of the peripheral device.
  • the first electronic device 610 may identify the above-described various device situations, determine whether the second electronic device 620 satisfies the device situation corresponding to the identified device situation, and based on the determined result
  • Various (or different) forms of icons for a service may be provided.
  • a connection state may be established by activating or deactivating an object (eg, a service button for executing a video service, an icon or text) for a video service according to various device situations.
  • an object eg, a service button for executing a video service, an icon or text
  • the first electronic device 610 may determine in advance whether a video service can be connected to the second electronic device 620 during a voice call, and activate and provide an object for a video service in a connectable state.
  • the first electronic device 610 may provide information about an image service connected by providing a form of an activated object differently according to a device situation.
  • the electronic device 500 may include a display; At least one communication circuit configured to form wireless communication with an external electronic device using at least one protocol; A processor electrically connected to the display and the at least one communication circuit; And a memory electrically coupled with the processor, wherein the memory, when executed, causes the processor to display a user interface on the display, the user interface configured for video communication with the external electronic device.
  • a first signal including an indication of the availability, forming a video call with the external electronic device while displaying the user interface, and requesting the availability of the video communication; transmit a signal using the at least one communication circuit, receive a second signal indicating whether the video communication is possible using the at least one communication circuit, and respond to the second signal. Adjust the indication indicating that image communication is possible with the external electronic device, and change the indication. And receiving instructions for selecting and initiating transmission of video data to the external electronic device in response to the user input.
  • the indication may include at least one of an icon or text.
  • the instructions may be configured to monitor the availability of the video communication and to change the indication when the processor determines that the video communication with the external electronic device is not possible. It may include.
  • the instructions may indicate that the processor activates the indication when video communication with the external electronic device is enabled, and deactivate the indication when video communication with the external electronic device is impossible. It may include to.
  • the electronic device 500 may include a camera, a display, a communication circuit, and a processor operatively connected to the camera, the display, and the communication circuit, and the processor may include another electronic device. And perform a voice call based on the first communication, and whether the service is connected based on at least a part of data communication quality and availability of data communication by the second communication with another electronic device in response to the service execution request during the voice call.
  • the image obtained through the camera may be displayed on the display and the image may be transmitted to another electronic device based on the second communication.
  • the processor may be configured to determine whether another electronic device subscribes to a service during a voice call. According to various embodiments of the present disclosure, the processor may be configured to determine whether to subscribe to a service based on service subscription information of the electronic device.
  • the processor when the electronic device does not determine whether to subscribe to a service for another electronic device based on service subscription information, the processor may be configured to request the server to confirm whether the service is subscribed to the other electronic device. .
  • the processor may be configured to process a data communication connection operation for executing a service with another electronic device in response to the service execution request.
  • the processor may be configured to transmit a connection request message in response to a service execution request and to wait for a maximum waiting time for receiving a connection response message corresponding to the connection request message.
  • the processor may be configured to terminate the voice call and reconnect the voice and data communication based on the second communication.
  • the processor may be configured to transmit a connection request message when another electronic device is subscribed to a service and to terminate the service connection process when the other electronic device is not subscribed to the service.
  • the processor in response to receiving the connection response message, may be configured to wait for a maximum waiting time for receiving the participation message. According to various embodiments of the present disclosure, if a join message is not received within the maximum waiting time, the processor may determine that the service connection fails and terminate the service connection.
  • 6A is a diagram illustrating a data communication connection operation in a system according to various embodiments of the present disclosure.
  • a server of the second network 450 is performed while the first electronic device 610 and the second electronic device 620 perform a voice call through the first network 430.
  • a data communication connection (eg, P2P connection) procedure for the video service is shown through 650.
  • the first electronic device 610 may be an example of attempting a data communication connection to a second electronic device 620 connected through a first network 430 and having a voice call.
  • the first electronic device 610 may transmit an initial configuration message (eg, an initialize message) for forming a session for transmitting / receiving an image to the access server 651.
  • the first electronic device 610 may detect a user input for executing a video service during a voice call, and transmit an initialize message to the access server 651 based on the user input.
  • the access server 651 may send a configuration response message (eg, an OnInitialized message) for establishing a session to the first electronic device 610 in response to an initial configuration message for establishing a session of the first electronic device 610. ) Can be sent.
  • a configuration response message eg, an OnInitialized message
  • the first electronic device 610 may transmit a connection request message (eg, Send Invite (PUSH): ACTION_SEND_CHAT REQUEST message) (or an invitation message) for transmitting an image to the second electronic device 620.
  • a connection request message eg, Send Invite (PUSH): ACTION_SEND_CHAT REQUEST message
  • the second electronic device 620 may receive a connection request message (or an invitation message) through the message server 653.
  • the second electronic device 620 receives a connection response (confirmation) message indicating that the connection request message has been normally received.
  • a connection response (confirmation) message indicating that the connection request message has been normally received.
  • CoreApps: ACTION_DELIVERY_ACK message may be transmitted to the first electronic device 610 through the message server 653.
  • the second electronic device 620 may transmit an initial configuration message (eg, an initialize message) for establishing a session for transmitting / receiving an image to the access server 651.
  • the first electronic device 610 may detect a user input for executing a video service during a voice call, and transmit an initialize message to the access server 651 based on the user input.
  • the access server 651 may transmit a configuration response message (eg, an OnInitialized message) for establishing a session to the second electronic device 620 in response to an initial configuration message for establishing a session of the second electronic device 620. ) Can be sent.
  • a configuration response message eg, an OnInitialized message
  • a session for image transmission and reception may be formed between the first electronic device 610 and the second electronic device 620.
  • a data communication connection eg, a P2P connection
  • P2P connection may be established between the first electronic device 610 and the second electronic device 620.
  • the first electronic device 610 transmits a connection request message to the message server 653 to transmit an image to the second electronic device 620 during a voice call, and then corresponds to the connection request message.
  • a maximum waiting time (for example, push delay delay time) 670 (eg, 13 seconds) for waiting to receive a connection response message of the second electronic device 620 may be set.
  • the maximum waiting time 670 may be set after the connection request message is transmitted from the first electronic device 610, or may be preset and stored in the first electronic device 610.
  • the first electronic device 610 may count the maximum waiting time 670. According to various embodiments of the present disclosure, if a connection response message is not received from the second electronic device 620 during the maximum waiting time 670, the first electronic device 610 determines that data communication is impossible during a voice call. can do. When the first electronic device 610 determines that data communication is impossible, the first electronic device 610 terminates the voice call and proceeds to operation 603 described above to process the following operation. According to an embodiment of the present disclosure, the first electronic device 610 receives a connection response message from the second electronic device 620 within a maximum waiting time while the second electronic device 620 is subscribed to a service for image transmission.
  • the first electronic device 610 may terminate the voice call in communication by the first network and reconnect the voice and video call in data communication by the second network. For example, the first electronic device 610 may end the voice call of 3G communication and perform a video call through VoIP communication.
  • the access server 651 may connect with the first electronic device 610 and the second electronic device 610.
  • the electronic device 620 may transmit a join message (eg, an onJoined message) notifying that the counterpart electronic device joins the session.
  • a maximum waiting time for waiting for a join message from the access server 651 afterwards. (E.g. onJoined Delay Expired Time) 680 (e.g. 15 seconds) can be set.
  • the maximum waiting time 680 may be set after receiving the connection response message from the first electronic device 610 or may be preset and stored in the first electronic device 610.
  • the first electronic device 610 may count the maximum waiting time 680. According to various embodiments of the present disclosure, if the join message is not received from the access server 651 during the maximum waiting time 680, the first electronic device 610 may perform data communication but have a poor data communication quality. For example, it may be determined that the data communication is impossible, for example, when the electronic device 500 exists in a shadowed area. When the first electronic device 610 determines that the data communication quality is not good, the first electronic device 610 may determine that the data communication connection fails. When the first electronic device 610 receives the join message within the maximum waiting time 680, the first electronic device 610 may determine that the connection is a normal data communication connection and continue processing subsequent operations.
  • operation 690 after operation 617 may be performed by the first electronic device 610.
  • Notification of a service connection request for image transmission eg, operations 619 and 621 and between the first electronic device 610 and the second electronic device 620 according to a user input of the second electronic device 620.
  • transmitting and receiving an image for example, operation 623 and operation 625) and then terminating a service connection (for example, operation 627, operation 629 and operation 631).
  • the first electronic device 610 may include a user input (for example, executing a service) for a user of the first electronic device 610 to transmit an image during a voice call with the user of the second electronic device 620. It may be difficult to determine whether data communication is possible during the voice call with the second electronic device 620). Therefore, it may be difficult for the first electronic device 610 to determine how to establish a data communication connection to perform a stable service connection.
  • a user input for example, executing a service
  • the communication quality can be determined.
  • the first electronic device 610 when the first electronic device 610 receives a connection response message from the second electronic device 620, the first electronic device 610 may set an additional waiting time (eg, the maximum waiting time 670). If a participation message is received from the access server 651 within a time period, the service connection may be determined to be successful. If the participation message is not received, the service connection may be determined to fail and terminated.
  • an additional waiting time eg, the maximum waiting time 670
  • the first electronic device 610 when the first electronic device 610 does not receive a connection response message from the second electronic device 620, data communication with the second electronic device 620 is not performed during a voice call. And can terminate the voice call and start over to send the invitation message to form a service connection.
  • 6B is a diagram illustrating an operation of checking a capability of an electronic device in a system according to various embodiments of the present disclosure.
  • the first electronic device 610 may request a capability request message (eg, a capability associated with the second electronic device 620) of the second electronic device 620.
  • the capability request message may be transmitted to the second electronic device 620 through the server 650 (eg, the message server 653).
  • the second electronic device 620 may respond to receiving the capability request message of the first electronic device 610 from the server 650 (eg, the message server 653).
  • a capability response message including capability information associated with the transmission may be transmitted to the first electronic device 610 through the server 650 (eg, the message server 653).
  • the first electronic device 610 may respond to receiving the capability response message associated with the second electronic device 620 from the server 650 (eg, the message server 653). Objects can be displayed based on their ability information.
  • the first electronic device 610 may request capability information of the second electronic device 620, and may include capability information related to the second electronic device 620 received in response to the capability information request.
  • the second capability information) and the capability information (hereinafter, referred to as first capability information) related to the first electronic device 610 may provide different forms of an object (eg, an icon or a text) for an image service.
  • a service that may be provided by a type of the first electronic device 610 and the second electronic device 620 and / or a combination of peripheral devices connected to each electronic device may be determined differently. Depending on the object, different objects can be provided.
  • the first electronic device 610 may identify the first capability information, and determine the display method of the object based on the first capability information and the second capability information. For example, as described in the description with reference to Table 1 above, the first electronic device 610 may be configured as a first object, a second object, or a third object based on the first capability information and the second capability information. It may be operable to display at least one of the objects.
  • the operation of checking the capability associated with the electronic device according to FIG. 6B may be performed in a next step (eg, operation 609 or less) of the connection setup operation in FIG. 6A.
  • the operation may be performed before an operation of receiving an onJoined message), for example, between operations 609 and 617.
  • the capability checking operation associated with the electronic device may be performed in an initial connection establishment step with the second electronic device 620 or by connecting a video service during a voice call (for example, the first electronic device). 610 and the second electronic device 620 participating in the session).
  • FIGS. 7A, 7B, and 7C are diagrams for describing an example of a screen on which a service is performed in an electronic device according to various embodiments of the present disclosure.
  • FIG. 7A illustrates an example of a screen of a service user interface provided during a voice call in the electronic device 500.
  • FIG. 7A may be an example of a screen of a calling terminal transmitting an image
  • a screen of a user interface corresponding to FIG. 7A may be provided in an operation related to a voice call even in a receiving terminal receiving an image.
  • the service user interface may include an indicator area 710, a call information area 720, and a function selection area 730.
  • the indicator area 710 may include information related to the use of the electronic device 500 (eg, information about a charging state, time, call state, alarm, etc.) and / or information received from the outside (eg, weather information). , Received message information, feed information, etc.) may be provided.
  • the call information area 720 may provide a call state, a talk time, call target information, and the like, during a voice call of the electronic device 500.
  • the function selection area 730 may provide an object (eg, an icon or text) for various functions (or applications) that may be performed (executed) by the electronic device 500 during a voice call.
  • an object eg, an Add call button
  • an object eg, a See What I See button (SWIS button), a service button
  • SWIS button a See What I See button
  • a service button 750 for transmitting a video
  • An object for setting up Bluetooth e.g. Bluetooth button
  • an object for setting volume or speaker mode e.g. Speaker button
  • an object for keypad call e.g. Keypad button
  • an object for muting e.g. Mute button
  • An object (eg, an end button) 740 for ending a call may be included in the function selection area 730.
  • the electronic device 500 receives a user input based on the service button 750 while performing a voice call with another electronic device (eg, the second electronic device 620). Can be detected).
  • the electronic device 500 may store an image (eg, a real-time camera image or stored data) with another electronic device (eg, the second electronic device 620) currently performing a voice call.
  • Video service for transmitting video.
  • the electronic device 500 may drive a camera (eg, the camera module 570) according to a setting method, and an image (eg, a preview image) acquired through the camera.
  • a service connection operation eg, display an associated user interface and transmit a service connection request.
  • the electronic device 500 may extract internally stored images according to a set method, and may be selected by the user after displaying the extracted image (eg, a list of extracted images).
  • a service connection operation for transmitting a video may be initiated (eg, display of an associated user interface and a service connection request).
  • a service user interface may be variously provided according to a connection state of the electronic device 500. An example of this is shown in FIG. 7B.
  • FIG. 7B illustrates an object for a video service based on a result (eg, service availability) according to a service status check with a counterpart electronic device during a voice call.
  • a result eg, service availability
  • An example of activating or deactivating the service button 750 may be shown. Accordingly, the user can intuitively check the information on the connectable state of the service.
  • the screen 701 may represent an example of a screen while the electronic device 500 is attempting a voice call (for example, a call origination).
  • a voice call for example, a call origination
  • an object for a video service eg, a service button 750
  • an inactive state eg, a gray or dim icon.
  • the electronic device 500 may also provide an inactive state for an object (eg, the Mute button 760) corresponding to a function that cannot be used.
  • the screen 702 performs a video service with the counterpart electronic device while the electronic device 500 is attempting a voice call or during a voice call (for example, a communication for a voice call is connected).
  • the screen example in the case where it is confirmed that this is possible can be shown.
  • an object for a video service eg, a service button 750
  • the electronic device 500 may change an inactive object (for example, the Mute button 760) to an object 760A in an activated state when communication for a voice call is connected during a voice call.
  • the screen 703 performs a video service with the counterpart electronic device while the electronic device 500 is attempting a voice call or during a voice call (for example, a communication for a voice call is connected).
  • a voice call or during a voice call for example, a communication for a voice call is connected.
  • An example of the screen in the case where it is confirmed that this is impossible can be shown.
  • an object eg, a service button 750
  • the electronic device 500 may change an inactive object (for example, the Mute button 760) to an object 760A in an activated state when communication for a voice call is connected during a voice call.
  • an object eg, a service button 750 for a video service varies according to a capability related to the electronic device 500. Can be provided. An example of this is shown in FIG. 7C.
  • an example in which an object for a video service is provided in each example (eg, Examples 1 to 6) according to a device situation is as follows.
  • the object for the video service is a general object such as the example of the object 750A shown on the screen 702 of FIG. 7B described above. (For example, the first object).
  • an object for a video service is a related object (based on the device information of the VR device, such as the object 711A shown on the screen 711 of FIG. 7C). E.g. icon, "VR" text).
  • an object for a video service is a related object (based on the device information of the 360 camera), such as the object 712A shown on the screen 712 of FIG. 7C. E.g. icon, "360" text).
  • an object for a video service is a related object (eg, an object 713A shown on the screen 713 of FIG. 7C) based on device information of a VR device (eg, : It may be provided as an icon, 'VR' text, and a related object based on device information of the 360 camera (eg, icon, '360' text).
  • a VR device eg, : It may be provided as an icon, 'VR' text, and a related object based on device information of the 360 camera (eg, icon, '360' text).
  • FIG. 8 a screen example of a service user interface provided by the electronic device 500 according to service execution during a voice call is illustrated in FIG. 8.
  • FIG. 8 is a diagram illustrating an example of a screen on which a service is performed in an electronic device according to various embodiments of the present disclosure.
  • FIG. 8 illustrates an example of a screen of a service user interface provided when waiting for a service connection (or forming a service connection) according to a service execution request during a voice call.
  • FIG. 8 may be an example of a screen of a caller terminal through which the electronic device 500 transmits an image.
  • the service user interface may include a preview area 800, a first function selection area 810, and a second function selection area 830.
  • the preview area 800 may indicate an area where an image is displayed in response to execution of a video service during a voice call.
  • the preview area 800 is a real-time acquired through a camera (eg, a camera module 570) (eg, at least one of a front or rear camera) driven in response to service execution. video (or live video).
  • the preview area 800 may provide a list of images acquired from the inside or the outside of the electronic device 500 in response to service execution, and may provide an image selected by the user in the list.
  • the first functional area 810 may provide an object (eg, an icon or text) for various functions (or applications) related to a video service executed during a voice call.
  • the first functional area 810 records an object 811 (eg, a capture button) capable of capturing and storing an image displayed in the preview area 800 and an image displayed in the preview area 800.
  • Object 813 e.g., Record button
  • object 815 e.g., Switchable
  • an object 817 e.g., dual camera button for executing at least two cameras (e.g.
  • the first functional area 810 may be provided by a calling terminal in a video service, and various functions for storing, selecting, or changing settings may be performed with respect to an image displayed through the preview area 800. It can be implemented by function buttons.
  • the second functional area 830 may provide an object (eg, an icon or text) for various functions (or applications) related to a video service and / or a voice call.
  • the second functional area 830 may represent an area that is commonly provided by both the calling terminal and the receiving terminal for the video service.
  • an object 831 eg, End SWIS button for terminating a video service (eg, termination of service connection), an object 833 (eg, Speaker button) for setting a volume or speaker mode, and mute
  • An object 835 e.g., a Mute button
  • an object 837 e.g., a Pointer button for calling and displaying a pointer on the preview area 800, and the like in the second functional area 830.
  • objects and arrangements between the objects according to the first functional area 810 and the second functional area 830 are not limited to those illustrated in FIG. 8, depending on settings of the electronic device 500. Can be modified and designed.
  • the electronic device 500 in response to the execution of the video service, may notify the object that the image service is running (eg, an item indicating a progress state (eg, an animation icon)). And at least one of text (eg, Requesting See What I see ...) may be provided to one area of the preview area 800.
  • the electronic device 500 may intuitively indicate that the electronic device 500 is in the process of connecting the service to the user during the service connection procedure performed for the service connection with the receiving terminal (eg, until the actual connection of the service with the receiving terminal). Can be provided based on the object.
  • FIG. 9 is a flowchart illustrating a method of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • FIG. 9 illustrates an operation of a caller terminal requesting a service connection for transmitting a video to another electronic device in a voice call and transmitting a video when the service is connected.
  • this may represent an example in which the electronic device 500 operates as a calling terminal.
  • the controller 580 of the electronic device 500 may detect an image transmission request in operation 903 during a voice call.
  • the controller 580 may process a general operation related to performing a voice call with another electronic device (eg, the second electronic device 620) based on the first communication.
  • the controller 580 may determine whether there is a request (eg, a user input) for transmitting a video service by a user during a voice call. For example, if the controller 580 detects a selection of an object (eg, a service button 750) provided for image transmission as shown in the example of FIG. 7A during a voice call, the controller 580 may determine that the image service is executed.
  • an object eg, a service button 750
  • the controller 580 may determine whether data communication is possible, and in operation 907, the controller 580 may determine whether data communication with another electronic device in a voice call is possible.
  • the controller 580 may determine whether another electronic device currently engaged in a voice call is a terminal subscribed to a video service capable of receiving an image based on service subscription information.
  • the controller 580 may check a capability related to another electronic device currently in a call.
  • a capability associated with another electronic device may include a type of electronic device and device information related to at least one electronic device connected to (or connected to) another electronic device.
  • the present disclosure in order to increase the stability of the data communication connection, before attempting the actual data communication connection, it is determined whether data communication with another electronic device is possible based on at least some of service subscription information or an ability related to the electronic device. can do.
  • service subscription information for determining whether to subscribe to a video service may be determined based on, for example, a contact database.
  • the contact database may include a contact database stored in the electronic device 500 or a contact database stored in a server.
  • the controller 580 may determine that the other electronic device is a device (eg, a service connectable device) capable of data communication.
  • the controller 580 may not connect to the other electronic device (ie, impossible to connect to a device), such as a service connection. Device).
  • the controller 580 may control the guide display in operation 909. According to an embodiment of the present disclosure, the controller 580 determines that the user of the other electronic device is a user who is not subscribed to the service or a device that cannot support the service as a result of the capability checking of the electronic device, that is, the data with other electronic devices. If it is determined that communication is not possible, a message informing that the user of the electronic device 500 cannot execute the image transmission request may be output.
  • the controller 580 may display a set guidance message (eg, a user whose user of another electronic device is not subscribed to a service or a device for which service support is not available as a result of the capability check of the electronic device). .
  • the controller 580 may deactivate and display an object (eg, a service button 750) for an image service. Additionally or alternatively, the controller 580 may output a voice prompt.
  • the controller 580 may determine the data communication quality in operation 911.
  • the controller 580 determines that the user of the other electronic device is a user who has subscribed to the service or a device capable of supporting the service as a result of checking the capability of the electronic device, that is, enabling data communication with the other electronic device. If it is determined that the object for the video service (for example, the service button 750) may be activated. In various embodiments, to improve the stability of the data communication connection, the data communication quality may be determined before the actual data communication connection is attempted.
  • the controller 580 may request a service connection from another electronic device and determine a data communication quality based on whether a response corresponding thereto is received.
  • a data communication quality is described in detail with reference to the following drawings.
  • the controller 580 may determine a communication connection scheme corresponding to the data communication quality. According to various embodiments of the present disclosure, if a response from another electronic device is received, the controller 580 may determine that a service connection is possible, and determine a data communication connection (eg, P2P connection) based on the second communication. According to various embodiments of the present disclosure, if a response from another electronic device is not received, the controller 580 determines that a service connection is impossible (for example, a situation in which data communication is not performed during a voice call) and is performed by the first communication. The voice call may be terminated and a voice and data communication connection (eg, a VoIP connection) based on the second communication may be determined.
  • a service connection eg, P2P connection
  • the controller 580 may process an image transmission.
  • the controller 580 may transmit an image (eg, a real time image or a stored image) acquired during a voice call to another electronic device in a voice call, in response to a communication connection method.
  • the controller 580 automatically executes a voice and data communication reconnection with another electronic device in response to a communication connection method, and then, when a reconnection with the other electronic device is established, acquires an image obtained from another electronic device. To the device.
  • FIG. 10 is a flowchart illustrating a method of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • FIG. 10 illustrates an operation of a caller terminal requesting a service connection for transmitting an image to another electronic device in a voice call and transmitting an image when the service is connected.
  • this may represent an example in which the electronic device 500 operates as a calling terminal.
  • the controller 580 of the electronic device 500 may transmit a connection request message to another electronic device.
  • the controller 580 may detect a user input for executing a service connection for transmitting an image during a voice call with another electronic device.
  • the controller 580 may transmit a connection request message for service connection to another electronic device in a voice call in response to a user input.
  • the controller 580 may count a waiting time.
  • the controller 580 when the controller 580 transmits a connection request message for transmitting an image to another electronic device during a voice call with another electronic device, the controller 580 receives the connection response message of the other electronic device corresponding to the connection request message.
  • the waiting time for waiting (eg, the maximum waiting time 670) may be set.
  • the waiting time may be automatically set after the connection request message is transmitted from the electronic device 500 or may be preset and stored in the electronic device 500.
  • the controller 580 after transmitting the connection request message, the controller 580 may count the set or stored waiting time.
  • the controller 580 may determine whether to receive a connection response message from another electronic device.
  • the controller 580 may check the waiting time and determine whether the maximum waiting time expires in operation 1023.
  • the controller 580 may proceed to operation 1005 to process the following operation.
  • the controller 580 may determine that the data communication is impossible.
  • the controller 580 may determine that data communication is impossible during the voice call.
  • the controller 580 may terminate the voice call with another electronic device.
  • the controller 580 may terminate the voice call being performed based on the first communication with another electronic device.
  • the controller 580 may be caused by instability of the network situation. It may be determined that data communication is not performed, and the voice call in communication may be terminated by the first communication with another electronic device in order to reconnect the data communication.
  • the controller 580 may process a guide output for ending the voice call. For example, the controller 580 may output a message indicating that the voice call is ended to reconnect the data communication based on at least some of the pop-up, voice, or vibration.
  • the controller 580 may perform data communication reconnection. According to various embodiments of the present disclosure, the controller 580 may terminate the voice call being communicated by the first communication and reconnect voice and data communication (eg, a video call) based on the second communication. For example, the controller 580 may terminate the voice call of the 3G communication and perform a video call through VoIP communication.
  • voice and data communication eg, a video call
  • the controller 580 may process voice call and data communication. According to various embodiments of the present disclosure, the controller 580 may process an image transmission based on voice and data communication by the second communication.
  • the controller 580 may wait to receive the participation message, and in operation 1009, may determine whether to receive the participation message.
  • the controller 580 determines that a data communication connection (eg, P2P connection) is formed with another electronic device in response to the connection response message, and the participation message from the server (eg, the access server 651). It can wait to receive.
  • the join message may be a data communication connection (eg, P2P) between electronic devices (eg, the first electronic device 610 and the second electronic device 620) at a server (eg, the access server 651). Connection), a message informing the electronic devices that the counterpart electronic device joins the session may be displayed.
  • the controller 580 when receiving a connection response message from another electronic device, may set a waiting time (for example, a maximum waiting time 680) for waiting for a join message from the access server 651. .
  • the maximum waiting time may be set after receiving the connection response message from the electronic device 500 or may be preset and stored in the electronic device 500.
  • the controller 580 after receiving the connection response message, may count the maximum waiting time and determine whether to receive the participation message during the maximum waiting time.
  • the controller 580 may determine that the data communication connection is successful. For example, the controller 580 may determine that a service connection for transmitting an image to another electronic device is established during a voice call.
  • the controller 580 may process an image transmission to another electronic device.
  • the controller 580 may transmit an image (eg, a real-time image, a stored image, etc.) corresponding to a user selection during the voice call to the second communication according to the data communication connection, not the first communication for the voice call.
  • the transmission may be based on the other electronic device.
  • the controller 580 may determine that the data communication connection fails. For example, the controller 580 may determine that a service connection for transmitting an image to another electronic device during a voice call has failed. According to various embodiments of the present disclosure, when the participation message is not received, the controller 580 may perform data communication but poor data communication quality (eg, data communication is impossible, for example, the electronic device 500). Or when another electronic device exists in a shadowed area or the like). According to various embodiments of the present disclosure, when it is determined that the data communication quality is not good, the controller 580 may determine that the data communication connection (for example, service connection for image transmission) has failed.
  • the data communication connection for example, service connection for image transmission
  • the controller 580 may terminate the data communication connection.
  • the controller 580 may terminate the data communication connection (eg, service connection for image transmission) by the second communication while maintaining the voice call by the first communication.
  • the controller 580 may process guide output thereof. For example, the controller 580 may output a message indicating that data communication cannot be connected based on at least some of a pop-up, voice, or vibration.
  • 11 and 12 illustrate examples of screens on which a service is performed in an electronic device according to various embodiments of the present disclosure.
  • FIG. 11 illustrates a screen example of a service user interface provided during a voice call in the electronic device 500.
  • FIG. 11 illustrates an example of a screen of a service user interface provided when waiting for a service connection (or establishing a service connection) for receiving an image with another electronic device in a voice call.
  • FIG. 11 is an example of a screen of a receiving terminal through which the electronic device 500 receives an image.
  • the service user interface may include a second functional area 830 corresponding to that described in the description with reference to FIG. 8, and may include a preview area 1100.
  • FIG. 11 may be an example of a screen waiting for image reception according to a service connection.
  • the electronic device 500 may black out the preview area 1100 and provide the preview area 1100.
  • the electronic device 500 may notify an object (for example, an item indicating a progress state) that is waiting to receive an image from another electronic device. For example, at least one of an animation icon) and text (eg, Preparing video image ... This may take a few seconds due to the network delays.) May be provided to one area of the preview area 1100.
  • the electronic device 500 when a service connection request is received from another electronic device during a voice call with another electronic device, the electronic device 500 notifies the user that the service connection request is received based on a pop-up or the like, and determines whether to connect to the service. You can receive input.
  • the electronic device 500 may display an image transmitted from another electronic device on the screen.
  • FIG. 12 illustrates an example of a screen of a service user interface that provides an image received according to a service connection from another electronic device during a voice call in the electronic device 500.
  • FIG. 12 is an example of a screen of a receiving terminal through which the electronic device 500 receives an image.
  • the service user interface may include a preview area 1200 and a second function area 830 corresponding to what has been described above with reference to FIG. 8.
  • the first functional area 810 as described in the above description with reference to FIG. 8 may be omitted.
  • an image displayed through the preview area 1200 may display an image identical to an image displayed in a preview area (eg, the preview area 800 of FIG. 8) of another electronic device.
  • the caller may transmit an image.
  • the user interface of the receiving terminal receiving the image may be provided separately.
  • the user interface of the calling terminal and the receiving terminal may display an image through the preview areas 800 and 1200 in common, and the preview areas 800 and 1200 may be used.
  • the second functional area 830 may be provided on one area.
  • the user interface of the calling terminal may further include a first functional area 810 for performing storage, selection, or setting change for the image to be transmitted, compared to the user interface of the receiving terminal.
  • FIG. 13 is a flowchart illustrating a method of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • FIG. 13 illustrates an operation of a receiving terminal that receives a service connection request from another electronic device during a voice call with another electronic device and receives an image of another electronic device when connecting to the service.
  • this may represent an example in which the electronic device 500 operates as a receiving terminal.
  • the controller 580 of the electronic device 500 determines whether a connection request message is received in operation 1303 during a voice call. can do.
  • the controller 580 may process general operations related to performing a voice call with another electronic device based on the first communication.
  • the controller 580 may determine whether there is a request to perform a video service from another electronic device during a voice call.
  • the controller 580 may proceed to operation 1301 to perform a process related to a voice call, and may correspond to termination of a voice call of another electronic device or a user. To end the voice call.
  • the controller 580 processes the guide display in operation 1305, and in operation 1307, determines whether to approve or reject the connection request of the other electronic device. can do.
  • the controller 580 may output a message notifying that there is a connection request for a video service from another electronic device in a voice call based on at least a portion of text or voice in response to receiving the connection request message. have.
  • the controller 580 may receive approval or rejection of the connection request from the user based on the guide.
  • the controller 580 may transmit a connection rejection message to another electronic device in operation 1309. In various embodiments, the controller 580 may transmit a connection rejection message for the connection request while maintaining the voice call.
  • the controller 580 may transmit a connection response message corresponding to the connection request message to another electronic device in operation 1311.
  • the electronic device 500 may be configured to automatically respond to a service connection request.
  • operations 1305 and 1307 may be omitted in FIG. 13, and when a connection request message is received from another electronic device in a voice call, the process may proceed to operation 1311 to automatically transmit a connection response message.
  • the controller 580 may count a waiting time.
  • a waiting time for example, a maximum waiting time for waiting for a join message from the access server 651). 680
  • the maximum waiting time may be set after the connection response message is transmitted by the electronic device 500 or may be preset and stored in the electronic device 500.
  • the controller 580 may count the maximum waiting time and determine whether to receive the participation message during the maximum waiting time.
  • the controller 580 may determine whether to receive a participation message.
  • the controller 580 may establish a data communication connection with another electronic device.
  • the control unit 580 has a successful data connection, for example, establishing a service connection for receiving an image through a second communication from another electronic device during a voice call. It can be judged that.
  • the controller 580 may receive and display an image transmitted from another electronic device.
  • the controller 580 may transmit a video (eg, a real-time video, a stored video, etc.) transmitted by another electronic device during a voice call, rather than the first communication for the voice call, according to a data communication connection. Can be received and displayed through the preview area.
  • a video eg, a real-time video, a stored video, etc.
  • the controller 580 may check the waiting time to determine whether the maximum waiting time expires in operation 1323.
  • controller 580 may proceed to operation 1315 to process the following operation.
  • the controller 580 may determine that the data communication connection fails. According to various embodiments of the present disclosure, if the participation message is not received within the maximum waiting time, the controller 580 may determine that a service connection for receiving an image from another electronic device during a voice call has failed. According to various embodiments of the present disclosure, when the participation message is not received, the controller 580 may perform data communication but poor data communication quality (eg, data communication is impossible, for example, the electronic device 500). Or when another electronic device exists in a shadowed area or the like). According to various embodiments of the present disclosure, when it is determined that the data communication quality is not good, the controller 580 may determine that the data communication connection (for example, service connection for receiving an image) has failed.
  • the data communication connection for example, service connection for receiving an image
  • the controller 580 may terminate the data communication connection.
  • the controller 580 may terminate the data communication connection (eg, service connection for receiving an image) by the second communication while maintaining the voice call by the first communication.
  • the controller 580 may process guide output thereof. For example, the controller 580 may output a message indicating that data communication cannot be connected based on at least some of a pop-up, voice, or vibration.
  • FIG. 14 is a flowchart illustrating a method of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • a data communication connection (eg, P2P connection and service connection) procedure for a video service is performed by the electronic device 500 (eg, a calling terminal) according to various embodiments of the present disclosure.
  • the service subscription confirmation process of operation 1401 may be performed during a voice call or at the start of a voice call, in order to shorten the service connection time.
  • the service subscription confirmation may be confirmed based on the service subscription information.
  • the service subscription information may be stored in a contact database or a server database in the electronic device 500.
  • the electronic device 500 may first check a contact database in the electronic device 500, and if it is not confirmed in the contact database, transmit a confirmation request to a server and determine whether to subscribe to a service in response thereto. have.
  • a service subscription confirmation process according to various embodiments of the present disclosure will be described in detail with reference to FIG. 15 to be described later.
  • the data communication connection process of operation 1403 may be performed at the time when the user requests the actual image transmission (eg, at the time of requesting service connection by selecting the service button) during the voice call.
  • 15 is a flowchart illustrating a method of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • FIG. 15 illustrates an operation of confirming service subscription information during a voice call before performing a service connection operation in order to shorten a service connection time.
  • the controller 580 of the electronic device 500 may check service subscription information in operation 1503 during a voice call.
  • the control unit 580 may include, in the contact database stored in the electronic device 500 (eg, stored in the memory 650), the presence or absence of service subscription information (eg, based on the contact information of another electronic device currently in a call). You can check whether you have subscribed to the service for video service.
  • the controller 580 may determine whether a service subscription is confirmed. In various embodiments of the present disclosure, the controller 580 may determine whether there is service subscription information on the basis of a contact of another electronic device currently in a call.
  • the controller 580 may determine that the service is available with the other electronic device. According to various embodiments of the present disclosure, when another electronic device in a voice call is subscribed to a service, the controller 580 may determine that the device is capable of service connection, and may record service availability information for the other electronic device. After operation 1507, the controller 580 may proceed to operation 1517 to process the following operation.
  • the controller 580 may request the server to confirm whether the service is subscribed to the other electronic device. For example, the controller 580 may transmit a subscription confirmation request message to the server.
  • the subscription confirmation request message may include information (eg, a phone number, unique information, etc.) about another electronic device currently in a voice call.
  • the controller 580 may receive a response corresponding to the request for confirming the subscription of the service.
  • the controller 580 may receive a subscription confirmation response message corresponding to the subscription confirmation request message from the server.
  • the server may check service subscription information of another electronic device in an internal database in response to the service subscription confirmation request message from the electronic device 500, and include the result in the subscription confirmation response message. It may transmit to the electronic device 500.
  • the controller 580 may determine whether a service subscription is confirmed. According to various embodiments of the present disclosure, the controller 580 may determine whether to subscribe to a service for another electronic device (for example, whether or not a service for an image service is subscribed) from a response (for example, a subscription confirmation response message) from a server.
  • a service for another electronic device for example, whether or not a service for an image service is subscribed
  • a response for example, a subscription confirmation response message
  • the controller 580 may proceed to operation 1507 to process the following operation.
  • the controller 580 may determine that the service is unavailable with the other electronic device. According to various embodiments of the present disclosure, if another electronic device in a voice call is not subscribed to a service, the controller 580 may determine that the device is incapable of connecting to the service, and may record service unavailable information for the other electronic device. After operation 1515, the controller 580 may proceed to operation 1517 to process the following operation.
  • the controller 580 may detect a data communication connection request. According to various embodiments, the controller 580 may receive (detect) a user input based on a service button while performing a voice call with another electronic device. When the controller 580 receives the user input based on the service button, the controller 580 may determine that it is a service connection request for image transmission with another electronic device currently performing a voice call.
  • the controller 580 may determine whether the service is available. According to various embodiments of the present disclosure, when a data communication connection request is detected, the controller 580 may determine whether the service is available based on recording information on whether the service is available.
  • the controller 580 may process an operation related to data communication.
  • the controller 580 may drive a camera (eg, the camera module 570) according to a setting method, and an image (eg, a preview image) acquired through the camera.
  • a service connection operation eg, display an associated user interface and send a service connection request
  • the controller 580 may terminate the data communication connection. According to various embodiments of the present disclosure, the controller 580 may guide the execution of a service with another electronic device in response to a user request. According to various embodiments of the present disclosure, the controller 580 may maintain an operation related to a voice call.
  • the electronic device 500 may perform a voice call based on a first communication with another electronic device, and may respond to another electronic device in response to a service execution request during the voice call. And determining whether to connect the service based on at least a part of the data communication quality and the availability of data communication by the second communication, and when determining the service connection, displaying an image obtained by the camera on the display and displaying the image on the second display.
  • the process of transmitting to another electronic device may be processed based on the communication.
  • the process of performing a voice call may include determining whether the other electronic device subscribes to a service during a voice call.
  • determining whether to subscribe to a service may include determining whether to subscribe to a service based on service subscription information of the electronic device.
  • the process of determining whether to subscribe to a service may include checking whether a service is subscribed to another electronic device at a server when the electronic device is not confirmed whether to subscribe to a service to another electronic device based on the service subscription information. Requesting process.
  • determining whether to connect to a service may include performing a data communication connection operation with another electronic device to execute the service in response to a service execution request.
  • the determining of service connection may include: transmitting a connection request message in response to a service connection request, waiting for reception of a connection response message corresponding to the connection request message for a set maximum waiting time; It may include.
  • the determining of service connection may include: terminating the voice call if the connection response message is not received within a maximum waiting time, reconnecting voice and data communication based on a second communication; Process may be included.
  • the determining of whether to connect to a service may include: transmitting the connection request message when another electronic device is subscribed to a service, and ending a service connection process when the other electronic device is not subscribed to a service; It may include.
  • determining whether to connect to a service may include waiting to receive a participation message for a set maximum waiting time in response to receiving a connection response message. According to various embodiments of the present disclosure, determining whether to connect to a service may include determining that the service connection has failed, if the join message is not received within the maximum waiting time, and terminating the service connection.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Telephone Function (AREA)

Abstract

본 발명의 다양한 실시 예들은 전자 장치들 간에 음성 통화를 수행하는 중에 영상을 전송하는 방법 및 장치에 관한 것이다. 본 발명의 다양한 실시 예들에 따르면, 전자 장치에 있어서, 디스플레이; 적어도 하나의 프로토콜(protocol)을 이용하여 외부 장치와 무선 통신을 형성하도록 설정된 적어도 하나의 통신 회로; 및 상기 디스플레이 및 상기 적어도 하나의 통신 회로와 전기적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 디스플레이 상에 유저 인터페이스를 표시하고, 상기 유저 인터페이스는 상기 외부 장치와 영상 통신(video communication)의 가능 여부에 대한 인디케이션(indication)을 포함하고, 상기 유저 인터페이스를 표시하는 동안 상기 외부 장치와 영상 통화(video call)를 형성하고, 상기 영상 통신의 가능 여부를 요청하기 위한 제1 신호(first signal)를 상기 적어도 하나의 통신 회로를 이용하여 전송하고, 상기 영상 통신의 가능 여부를 지시하는 제2 신호(second signal)를 상기 적어도 하나의 통신 회로를 이용하여 수신하고, 상기 제2 신호에 응답하여, 상기 외부 장치와 영상 통신 가능을 지시하는 상기 인디케이션을 변경(adapt)하고, 상기 인디케이션을 선택하는 사용자 입력을 수신하고, 및 상기 사용자 입력에 응답하여, 상기 외부 장치에 영상 데이터(video data)의 전송을 개시(initiate)하도록 구성할 수 있다. 다양한 실시 예들이 가능하다.

Description

음성통화 중 영상을 전송하는 방법 및 장치
본 발명의 다양한 실시 예들은 전자 장치들 간에 음성 통화를 수행하는 중에 영상을 전송하는 방법 및 장치에 관한 것이다.
최근 디지털 기술의 발달과 함께 이동통신 단말기, 스마트 폰(smart phone), 태블릿(tablet) PC(Personal Computer), PDA(Personal Digital Assistant), 전자수첩, 노트북(notebook), 웨어러블 기기(wearable device), IoT(Internet of Things) 기기, 또는 음향 장치(audible device) 등과 같은 다양한 유형의 전자 장치가 널리 사용되고 있다.
최근에는 전자 장치의 급속한 보급에 따라 단순한 음성통화 위주의 기존의 이동통신 서비스에서, 데이터 통신 위주의 데이터 통신 서비스로 전환되고 있으며, 다양한 형태의 서비스가 제안되고 있다. 예를 들면, 전자 장치에서 인터넷을 이용하여 웹 페이지를 열람하거나 어플리케이션(application)을 설치하여 사용자가 원하는 서비스(예: 영상 서비스(예: 영상 공유, 영상 통화 서비스 등))를 전자 장치를 통해 어디서나 제공받을 수 있다.
종래의 영상 공유 또는 영상 통화 서비스는 주로 이동통신 네트워크를 통해 이루어지고 있는데, 이는 별도의 영상 통화 버튼을 눌러서 영상 통화를 수행하도록 하는 방식이 대부분이다. 하지만, 종래의 영상 서비스는, 영상 통화 서비스를 제공하는 이동통신 네트워크를 반드시 거쳐야 하는 한계가 있다. 따라서, 예를 들면, 음성 통화를 이동통신 네트워크를 통해 수행하면서 이와 병행하여, 영상 통화나 영상 공유와 같은 영상 서비스를 동시에 제공할 수 없다.
종래에서는, 영상 서비스와 음성 통화 서비스는 별도로 이루어져야 하므로, 음성 통화를 수행하면서 이와 병행하여 영상 서비스를 제공받을 수 없다. 예를 들면, 카메라가 내장된 전자 장치에서 음성 통화와, 영상 촬영 및 전송 기능은 분리되어 있는 것이 일반적이다. 따라서 사용자가 상대방에게 영상을 촬영하여 전송하기 위해서는 음성 통화 중이 아닐 때, 카메라를 활성화시킨 후, 영상 촬영, 저장 및 전송을 위한 여러 과정을 발신자가 직접 수행해야 하는 불편함이 있다.
다양한 실시 예들에서는 전자 장치에서 음성 통화를 수행하면서 영상 공유 또는 영상 통화 서비스와 같은 영상 서비스를 제공할 수 있는 방법, 장치 및 시스템을 제공할 수 있다.
다양한 실시 예들에서는 음성 통화 중에 통화 상대에게 영상을 전송할 때, 영상 전송용 통신 연결의 안정성을 높일 수 있는 방법, 장치 및 시스템을 제공할 수 있다.
다양한 실시 예들에서는 음성 통화의 통화 상대와의 데이터 통신 가능 여부를 판단하고, 통신 가능 시 통화 상대와의 데이터 통신 품질을 판단하고, 판단하는 결과를 이용하여 음성 통화 중 영상 전송을 위한 데이터 통신 연결 방식을 결정할 수 있는 방법, 장치 및 시스템을 제공할 수 있다.
다양한 실시 예들에서는 전자 장치에서 음성 통화를 수행하면서, 영상 서비스 관련의 기능을 동시에 수행할 수 있는 방법, 장치 및 시스템을 제공할 수 있다.
다양한 실시 예들에서는 전자 장치에서 음성 통화 중에 전송할 영상을 촬영하여, 별도의 전송 조작 없이도 상대방에게 영상을 전송(공유)하여 상대방 전자 장치에서 표시할 수 있는 방법, 장치 및 시스템을 제공할 수 있다.
하나의 프로토콜(protocol)을 이용하여 외부 전자 장치와 무선 통신을 형성하도록 설정된 적어도 하나의 통신 회로, 상기 디스플레이 및 상기 적어도 하나의 통신 회로와 전기적으로 연결된 프로세서, 및 상기 프로세서와 전기적으로 연결된 메모리를 포함하고, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 디스플레이 상에 유저 인터페이스를 표시하고, 상기 유저 인터페이스는 상기 외부 전자 장치와 영상 통신(video communication)의 가능 여부에 대한 인디케이션(indication)을 포함하고, 상기 유저 인터페이스를 표시하는 동안 상기 외부 전자 장치와 영상 통화(video call)를 형성하고, 상기 영상 통신의 가능 여부를 요청하기 위한 제1 신호(first signal)를 상기 적어도 하나의 통신 회로를 이용하여 전송하고, 상기 영상 통신의 가능 여부를 지시하는 제2 신호(second signal)를 상기 적어도 하나의 통신 회로를 이용하여 수신하고, 상기 제2 신호에 응답하여, 상기 외부 전자 장치와 영상 통신 가능을 지시하는 상기 인디케이션을 활성화하고, 상기 인디케이션을 선택하는 사용자 입력을 수신하고, 및 상기 사용자 입력에 응답하여, 상기 외부 전자 장치에 영상 데이터(video data)의 전송을 개시(initiate)하도록 하는 인스트럭션들(instructions)을 저장하는 것을 포함할 수 있다.
본 발명의 다양한 실시 예들에 따른 전자 장치는, 카메라, 디스플레이, 통신 회로, 및 상기 카메라, 상기 디스플레이 및 상기 통신 회로와 기능적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 다른 전자 장치와 제1 통신에 기초하여 음성 통화를 수행하고, 상기 음성 통화 중에 서비스 실행 요청에 응답하여 상기 다른 전자 장치와 제2 통신에 의한 데이터 통신의 가능 여부 및 데이터 통신 품질에 적어도 일부에 기초하여 서비스 연결 여부를 결정하고, 서비스 연결 결정 시, 상기 카메라를 통해 획득하는 영상을 상기 디스플레이에 표시 및 상기 영상을 상기 제2 통신에 기초하여 상기 다른 전자 장치에 전송하도록 구성할 수 있다.
본 발명의 다양한 실시 예들에 따른 전자 장치의 동작 방법은, 다른 전자 장치와 제1 통신에 기초하여 음성 통화를 수행하는 과정, 상기 음성 통화 중에 서비스 실행 요청에 응답하여 상기 다른 전자 장치와 제2 통신에 의한 데이터 통신의 가능 여부 및 데이터 통신 품질에 적어도 일부에 기초하여 서비스 연결 여부를 결정하는 과정, 및 서비스 연결 결정 시, 카메라를 통해 획득하는 영상을 디스플레이에 표시 및 영상을 상기 제2 통신에 기초하여 상기 다른 전자 장치에 전송하는 과정을 포함할 수 있다.
상기와 같은 과제를 해결하기 위하여 본 발명의 다양한 실시 예들에서는, 상기 방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 포함할 수 있다.
전술한 과제를 해결하기 위한, 다양한 실시 예들에 따른 전자 장치 및 그 동작 방법은, 음성 통화 중에 상대방에게 카메라 영상을 전송 또는 공유할 때 보다 안정적인 연결에 기초하여 제공할 수 있다. 다양한 실시 예들에 따르면, 전자 장치는 음성 통화를 위한 네트워크(예: 제1 통신)와는 별도의 네트워크(예: 제2 통신)를 통해서 영상 공유나 영상 통화와 같은 영상 서비스를 전자 장치에서 제공할 수 있다.
다양한 실시 예들에 따르면, 사용자가 음성 통화 동안 영상 서비스를 제공받을 수 있도록 함으로써 사용자의 편의성을 향상시키고 사용자의 흥미를 유발할 수 있다. 다양한 실시 예들에 따르면, 사용자는 음성 통화 중에 데이터(예: 영상)를 전송하고자 할 때, 전자 장치에 설정되는 있는 한 번의 사용자 입력(예: 버튼 선택, 음성 명령 입력, 전자 장치를 이용한 제스처(모션) 입력 등)에 의해 음성 통화 중, 카메라 활성화, 영상 촬영, 영상 처리 및 영상 전송을 수행할 수 있어, 사용자의 전자 장치 사용에 대한 접근성 및 편의성을 향상시킬 수 있다.
도 1은 다양한 실시 예들에 따른 전자 장치를 포함하는 네트워크 환경을 도시하는 도면이다.
도 2는 다양한 실시 예들에 따른 전자 장치의 블록도를 도시하는 도면이다.
도 3은 다양한 실시 예들에 따른 프로그램 모듈의 블록도를 도시하는 도면이다.
도 4는 본 발명의 다양한 실시 예들에 따른 시스템을 설명하기 위해 도시하는 도면이다.
도 5a 및 도 5b는 본 발명의 다양한 실시 예들에 따른 전자 장치의 구성을 개략적으로 도시하는 도면들이다.
도 6a 및 도 6b는 본 발명의 다양한 실시 예들에 따른 시스템에서 데이터 통신 연결 동작을 설명하기 위해 도시하는 도면들이다.
도 7a, 도 7b 및 도 7c는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면들이다.
도 8은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면이다.
도 9는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
도 10은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
도 11 및 도 12는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면들이다.
도 13은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
도 14는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
도 15는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
이하, 본 문서의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 문서의 실시예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제 1," "제 2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제 1 사용자 기기와 제 2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어(hardware)적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU(central processing unit) 또는 AP(application processor))를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
본 문서의 다양한 실시 예들에 따른 전자 장치는, 예를 들면, 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예들에 따르면, 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형(예: implantable circuit) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에서, 전자 장치는 가전 제품(home appliance)일 수 있다. 가전 제품은, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), 홈 오토매이션 컨트롤 패널(home automation control panel), 보안 컨트롤 패널(security control panel), TV 박스(예: 삼성 HomeSync™, 애플TV™, 또는 구글 TV™), 게임 콘솔(예: Xbox™, PlayStation™), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시 예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션(navigation) 장치, 위성 항법 시스템(GNSS, global navigation satellite system), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller's machine), 상점의 POS(point of sales), 또는 사물 인터넷 장치(internet of things)(예: 전구, 각종 센서, 전기 또는 가스 미터기, 스프링클러 장치, 화재경보기, 온도조절기(thermostat), 가로등, 토스터(toaster), 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예에 따르면, 전자 장치는 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예들에서 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 어떤 실시 예에 따른 전자 장치는 플렉서블 전자 장치일 수 있다. 또한, 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않으며, 기술 발전에 따른 새로운 전자 장치를 포함할 수 있다.
이하, 첨부 도면을 참조하여, 다양한 실시 예들에 따른 전자 장치가 설명된다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 다양한 실시 예들에 따른 전자 장치를 포함하는 네트워크 환경을 도시하는 도면이다.
도 1을 참조하여, 다양한 실시 예들에서의, 네트워크 환경 100 내의 전자 장치 101이 기재된다. 전자 장치 101은 버스(bus) 110, 프로세서(processor) 120, 메모리(memory) 130, 입출력 인터페이스(input/output interface) 150, 디스플레이(display) 160, 및 통신 인터페이스(communication interface) 170을 포함할 수 있다. 어떤 실시 예에서는, 전자 장치 101은, 구성요소들 중 적어도 하나를 생략하거나 다른 구성요소를 추가적으로 구비할 수 있다.
버스 110은, 예를 들면, 구성요소들(110-170)을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지 및/또는 데이터)을 전달하는 회로를 포함할 수 있다.
프로세서 120은, 중앙처리장치(central processing unit(CPU)), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서 120은, 예를 들면, 전자 장치 101의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다. 다양한 실시 예들에 따른 프로세서 120의 처리(또는 제어) 동작은 후술하는 도면들을 참조하여 구체적으로 설명된다.
메모리 130은, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리 130은, 예를 들면, 전자 장치 101의 적어도 하나의 다른 구성요소에 관계된 명령(command) 또는 데이터(data)를 저장할 수 있다. 한 실시 예에 따르면, 메모리 130은 소프트웨어(software) 및/또는 프로그램(program) 140을 저장할 수 있다. 프로그램 140은, 예를 들면, 커널(kernel) 141, 미들웨어(middleware) 143, 어플리케이션 프로그래밍 인터페이스(application programming interface(API)) 145, 및/또는 어플리케이션 프로그램(또는 "어플리케이션") 147 등을 포함할 수 있다. 커널 141, 미들웨어 143, 또는 API 145의 적어도 일부는, 운영 시스템(operating system(OS))으로 지칭될 수 있다. 메모리 130은, 다양한 실시 예들에 따른 방법을 프로세서 120에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 포함할 수 있다.
커널 141은, 예를 들면, 다른 프로그램들(예: 미들웨어 143, API 145, 또는 어플리케이션 프로그램 147)에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스 110, 프로세서 120, 또는 메모리 130 등)을 제어 또는 관리할 수 있다. 또한, 커널 141은 미들웨어 143, API 145, 또는 어플리케이션 프로그램 147에서 전자 장치 101의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어 143은, 예를 들면, API 145 또는 어플리케이션 프로그램 147이 커널 141과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다.
또한 미들웨어 143은 어플리케이션 프로그램 147으로부터 수신된 하나 이상의 작업 요청들을 우선 순위에 따라 처리할 수 있다. 예를 들면, 미들웨어 143은 어플리케이션 프로그램 147 중 적어도 하나에 전자 장치 101의 시스템 리소스(예: 버스 110, 프로세서 120, 또는 메모리 130 등)를 사용할 수 있는 우선 순위를 부여할 수 있다. 예컨대, 미들웨어 143은 상기 적어도 하나에 부여된 우선 순위에 따라 상기 하나 이상의 작업 요청들을 처리함으로써, 상기 하나 이상의 작업 요청들에 대한 스케쥴링(scheduling) 또는 로드 밸런싱(load balancing) 등을 수행할 수 있다.
API 145는, 예를 들면, 어플리케이션 147이 커널 141 또는 미들웨어 143에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어(file control), 창 제어(window control), 영상 처리(image processing), 또는 문자 제어(character control) 등을 위한 적어도 하나의 인터페이스 또는 함수(function)(예: 명령어)를 포함할 수 있다.
입출력 인터페이스 150은, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 전자 장치 101의 다른 구성요소(들)에 전달할 수 있는 인터페이스의 역할을 할 수 있다. 또한, 입출력 인터페이스 150은 전자 장치 101의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.
디스플레이 160은, 예를 들면, 액정 디스플레이(liquid crystal display(LCD)), 발광 다이오드(light-emitting diode(LED)) 디스플레이, 유기 발광 다이오드(organic light-emitting diode(OLED)) 디스플레이, 또는 마이크로 전자기계 시스템(microelectromechanical systems(MEMS)) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이 160은, 예를 들면, 사용자에게 각종 콘텐츠(예: 텍스트(text), 이미지(image), 비디오(video), 아이콘(icon), 또는 심볼(symbol) 등)을 디스플레이 할 수 있다. 디스플레이 160은, 터치 스크린(touch screen)을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치(touch), 제스처(gesture), 근접(proximity), 또는 호버링(hovering) 입력을 수신할 수 있다.
통신 인터페이스 170은, 예를 들면, 전자 장치 101과 외부 장치(예: 제1 외부 전자 장치 102, 제2 외부 전자 장치 104, 또는 서버 106) 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스 170은 무선 통신 또는 유선 통신을 통해서 네트워크 162에 연결되어 외부 장치(예: 제2 외부 전자 장치 104 또는 서버 106)와 통신할 수 있다.
무선 통신은, 예를 들면, 셀룰러 통신 프로토콜(protocol)로서, 예를 들면, LTE(long-term evolution), LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(global system for mobile communications) 등 중 적어도 하나를 사용할 수 있다. 또한, 무선 통신은, 예를 들면, 근거리 통신 164를 포함할 수 있다. 근거리 통신 164는, 예를 들면, WiFi(wireless fidelity), 블루투스(Bluetooth), NFC(near field communication), 또는 GNSS(global navigation satellite system) 등 중 적어도 하나를 포함할 수 있다. GNSS는 사용 지역 또는 대역폭 등에 따라, 예를 들면, GPS(global positioning system), Glonass(global navigation satellite system), Beidou Navigation satellite system(이하, "Beidou") 또는 Galileo, the European global satellite-based navigation system 중 적어도 하나를 포함할 수 있다. 이하, 본 문서에서는, "GPS"는 “GNSS"와 혼용되어 사용(interchangeably used)될 수 있다. 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232), 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 네트워크 162는 통신 네트워크(telecommunications network), 예를 들면, 컴퓨터 네트워크(computer network)(예: LAN 또는 WAN), 인터넷, 또는 전화 네트워크(telephone network) 중 적어도 하나를 포함할 수 있다.
제1 및 제2 외부 전자 장치(102, 104) 각각은 전자 장치 101과 동일한 또는 다른 종류의 장치일 수 있다. 한 실시 예에 따르면, 서버 106은 하나 또는 그 이상의 서버들의 그룹을 포함할 수 있다. 다양한 실시 예들에 따르면, 전자 장치 101에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 전자 장치(예: 전자 장치(102,104), 또는 서버 106에서 실행될 수 있다. 한 실시 예에 따르면, 전자 장치 101이 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치 101은 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 장치(예: 전자 장치(102, 104), 또는 서버 106)에게 요청할 수 있다. 다른 전자 장치(예: 전자 장치(102, 104), 또는 서버 106)는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치 101로 전달할 수 있다. 전자 장치 101은 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅(cloud computing), 분산 컴퓨팅(distributed computing), 또는 클라이언트-서버 컴퓨팅(client-server computing) 기술이 이용될 수 있다.
도 2는 다양한 실시 예에 따른 전자 장치의 블록도이다.
전자 장치 201은, 예를 들면, 도 1에 도시된 전자 장치 101의 전체 또는 일부를 포함할 수 있다. 전자 장치 201은 하나 이상의 프로세서(예: AP(application processor)) 210, 통신 모듈 220, 가입자 식별 모듈 224, 메모리 230, 센서 모듈 240, 입력 장치 250, 디스플레이 260, 인터페이스 270, 오디오 모듈 280, 카메라 모듈 291, 전력 관리 모듈 295, 배터리 296, 인디케이터 297, 및 모터 298를 포함할 수 있다.
프로세서 210은, 예를 들면, 운영 체제 또는 어플리케이션 프로그램을 구동하여 프로세서 210에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서 210은, 예를 들면, SoC(system on chip)로 구현될 수 있다. 한 실시 예에 따르면, 프로세서 210은 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서(image signal processor)를 더 포함할 수 있다. 프로세서 210은 도 2에 도시된 구성요소들 중 적어도 일부(예: 셀룰러 모듈 221)를 포함할 수도 있다. 프로세서 210은 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
통신 모듈 220은, 도 1의 통신 인터페이스 170와 동일 또는 유사한 구성을 가질 수 있다. 통신 모듈 220은, 예를 들면, 셀룰러 모듈 221, WiFi 모듈 223, 블루투스 모듈 225, GNSS 모듈 227(예: GPS 모듈, Glonass 모듈, Beidou 모듈, 또는 Galileo 모듈), NFC 모듈 228 및 RF(radio frequency) 모듈 229를 포함할 수 있다.
셀룰러 모듈 221은, 예를 들면, 통신 네트워크를 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈 221은 가입자 식별 모듈(예: SIM(subscriber identification module) 카드) 224를 이용하여 통신 네트워크 내에서 전자 장치 201의 구별 및 인증을 수행할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈 221은 프로세서 210이 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈 221은 커뮤니케이션 프로세서(CP: communication processor)를 포함할 수 있다.
WiFi 모듈 223, 블루투스 모듈 225, GNSS 모듈 227 또는 NFC 모듈 228 각각은, 예를 들면, 해당하는 모듈을 통해서 송수신되는 데이터를 처리하기 위한 프로세서를 포함할 수 있다. 어떤 실시 예에 따르면, 셀룰러 모듈 221, WiFi 모듈 223, 블루투스 모듈 225, GNSS 모듈 227 또는 NFC 모듈 228 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다.
RF 모듈 229는, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈 229는, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter), LNA(low noise amplifier), 또는 안테나(antenna) 등을 포함할 수 있다. 다른 실시 예에 따르면, 셀룰러 모듈 221, WiFi 모듈 223, 블루투스 모듈225, GNSS 모듈 227 또는 NFC 모듈 228 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다.
가입자 식별 모듈 224는, 예를 들면, 가입자 식별 모듈을 포함하는 카드 및/또는 내장 SIM(embedded SIM)을 포함할 수 있으며, 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
메모리 230(예: 메모리 130)은, 예를 들면, 내장 메모리 232 또는 외장 메모리 234를 포함할 수 있다. 내장 메모리 232는, 예를 들면, 휘발성 메모리(volatile memory)(예: DRAM(dynamic RAM(random access memory)), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile memory)(예: OTPROM(one time programmable ROM(read only memory)), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나를 포함할 수 있다.
외장 메모리 234는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(MultiMediaCard) 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. 외장 메모리 234는 다양한 인터페이스를 통하여 전자 장치 201과 기능적으로 및/또는 물리적으로 연결될 수 있다.
센서 모듈 240은, 예를 들면, 물리량을 계측하거나 전자 장치 201의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈 240은, 예를 들면, 제스처 센서(gesture sensor) 240A, 자이로 센서(gyro sensor) 240B, 기압 센서(barometer) 240C, 마그네틱 센서(magnetic sensor) 240D, 가속도 센서(acceleration sensor) 240E, 그립 센서(grip sensor) 240F, 근접 센서(proximity sensor) 240G, 컬러 센서(color sensor) 240H(예: RGB(red, green, blue) 센서), 생체 센서(medical sensor) 240I, 온/습도 센서(temperature-humidity sensor) 240J, 조도 센서(illuminance sensor) 240K, 또는 UV(ultra violet) 센서 240M 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로(additionally or alternatively), 센서 모듈 240은, 예를 들면, 후각 센서(E-nose sensor), EMG 센서(electromyography sensor), EEG 센서(electroencephalogram sensor), ECG 센서(electrocardiogram sensor), IR(infrared) 센서, 홍채 센서(iris scan sensor) 및/또는 지문 센서(finger scan sensor)를 포함할 수 있다. 센서 모듈 240은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시 예에서는, 전자 장치 201은 프로세서 210의 일부로서 또는 별도로, 센서 모듈 240을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서 210가 슬립(sleep) 상태에 있는 동안, 센서 모듈 240을 제어할 수 있다.
입력 장치 250은, 예를 들면, 터치 패널(touch panel) 252, (디지털) 펜 센서(pen sensor) 254, 키(key) 256, 또는 초음파(ultrasonic) 입력 장치 258를 포함할 수 있다. 터치 패널 252는, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널 252는 제어 회로를 더 포함할 수도 있다. 터치 패널 252는 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다.
(디지털) 펜 센서 254는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트(sheet)를 포함할 수 있다. 키 256은, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드(keypad)를 포함할 수 있다. 초음파 입력 장치 258은 마이크(예: 마이크 288)를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다.
디스플레이 260(예: 디스플레이 160)는 패널 262, 홀로그램 장치 264, 또는 프로젝터 266을 포함할 수 있다. 패널 262는, 도 1의 디스플레이 160과 동일 또는 유사한 구성을 포함할 수 있다. 패널 262는, 예를 들면, 유연하게(flexible), 투명하게(transparent), 또는 착용할 수 있게(wearable) 구현될 수 있다. 패널 262는 터치 패널 252와 하나의 모듈로 구성될 수도 있다. 홀로그램 장치 264는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터 266은 스크린(screen)에 빛을 투사하여 영상을 디스플레이 할 수 있다. 스크린은, 예를 들면, 전자 장치 201의 내부 또는 외부에 위치할 수 있다. 한 실시 예에 따르면, 디스플레이 260은 패널 262, 홀로그램 장치 264, 또는 프로젝터 266을 제어하기 위한 제어 회로를 더 포함할 수 있다.
인터페이스 270은, 예를 들면, HDMI(high-definition multimedia interface) 272, USB(universal serial bus) 274, 광 인터페이스(optical interface) 276, 또는 D-sub(D-subminiature) 278을 포함할 수 있다. 인터페이스 270은, 예를 들면, 도 1에 도시된 통신 인터페이스 170에 포함될 수 있다. 추가적으로 또는 대체적으로(additionally and alternatively), 인터페이스 270은, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD(secure digital) 카드/MMC(multi-media card) 인터페이스, 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
오디오 모듈 280은, 예를 들면, 소리(sound)와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈 280의 적어도 일부 구성요소는, 예를 들면, 도 1 에 도시된 입출력 인터페이스 150에 포함될 수 있다. 오디오 모듈 280은, 예를 들면, 스피커 282, 리시버 284, 이어폰 286, 또는 마이크 288 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
카메라 모듈 291은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시 예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, ISP(image signal processor), 또는 플래시(flash)(예: LED 또는 xenon lamp 등)를 포함할 수 있다.
전력 관리 모듈 295는, 예를 들면, 전자 장치 201의 전력을 관리할 수 있다. 한 실시 예에 따르면, 전력 관리 모듈 295는 PMIC(power management integrated circuit), 충전 IC(charger integrated circuit), 또는 배터리 296 또는 연료 게이지(battery or fuel gauge)를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 배터리 게이지는, 예를 들면, 배터리 296의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 배터리 296은, 예를 들면, 충전식 전지(rechargeable battery) 및/또는 태양 전지(solar battery)를 포함할 수 있다.
인디케이터 297은 전자 장치 201 또는 그 일부(예: 프로세서 210)의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 디스플레이 할 수 있다. 모터 298은 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동(vibration), 또는 햅틱(haptic) 효과 등을 발생시킬 수 있다. 도시되지는 않았으나, 전자 장치 201은 모바일 TV 지원을 위한 처리 장치(예: GPU)를 포함할 수 있다. 모바일 TV 지원을 위한 처리 장치는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting), 또는 미디어플로(MediaFlo™) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.
본 문서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시 예에서, 전자 장치는 본 문서에서 기술된 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 다양한 실시 예에 따른 전자 장치의 구성요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.
도 3은 다양한 실시 예에 따른 프로그램 모듈의 블록도이다.
한 실시 예에 따르면, 프로그램 모듈 310(예: 프로그램 140)은 전자 장치(예: 전자 장치 101)에 관련된 자원을 제어하는 운영 체제(operating system(OS)) 및/또는 운영 체제 상에서 구동되는 다양한 어플리케이션(예: 어플리케이션 프로그램 147)을 포함할 수 있다. 운영 체제는, 예를 들면, 안드로이드(android), iOS, 윈도우즈(windows), 심비안(symbian), 타이젠(tizen), 또는 바다(bada) 등이 될 수 있다.
프로그램 모듈 310은 커널 320, 미들웨어 330, 어플리케이션 프로그래밍 인터페이스(application programming interface (API)) 360, 및/또는 어플리케이션 370을 포함할 수 있다. 프로그램 모듈 310의 적어도 일부는 전자 장치 상에 프리로드(preload) 되거나, 외부 전자 장치(예: 전자 장치(102, 104), 서버 106 등)로부터 다운로드(download) 가능하다.
커널 320(예: 커널 141)은, 예를 들면, 시스템 리소스 매니저 321 및/또는 디바이스 드라이버 323을 포함할 수 있다. 시스템 리소스 매니저 321은 시스템 리소스의 제어, 할당, 또는 회수 등을 수행할 수 있다. 한 실시 예에 따르면, 시스템 리소스 매니저 321은 프로세스 관리부, 메모리 관리부, 또는 파일 시스템 관리부 등을 포함할 수 있다. 디바이스 드라이버 323은, 예를 들면, 디스플레이 드라이버, 카메라 드라이버, 블루투스 드라이버, 공유 메모리 드라이버, USB 드라이버, 키패드 드라이버, WiFi 드라이버, 오디오 드라이버, 또는 IPC(inter-process communication) 드라이버를 포함할 수 있다.
미들웨어 330은, 예를 들면, 어플리케이션 370이 공통적으로 필요로 하는 기능을 제공하거나, 어플리케이션 370이 전자 장치 내부의 제한된 시스템 자원을 효율적으로 사용할 수 있도록 API 360을 통해 다양한 기능들을 어플리케이션 370으로 제공할 수 있다. 한 실시 예에 따르면, 미들웨어 330(예: 미들웨어 143)은 런타임 라이브러리 335, 어플리케이션 매니저(application manager) 341, 윈도우 매니저(window manager) 342, 멀티미디어 매니저(multimedia manager) 343, 리소스 매니저(resource manager) 344, 파워 매니저(power manager) 345, 데이터베이스 매니저(database manager) 346, 패키지 매니저(package manager) 347, 연결 매니저(connectivity manager) 348, 통지 매니저(notification manager) 349, 위치 매니저(location manager) 350, 그래픽 매니저(graphic manager) 351, 또는 보안 매니저(security manager) 352 중 적어도 하나를 포함할 수 있다.
런타임 라이브러리 335는, 예를 들면, 어플리케이션 370이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 런타임 라이브러리 335는 입출력 관리, 메모리 관리, 또는 산술 함수에 대한 기능 등을 수행할 수 있다.
어플리케이션 매니저 341은, 예를 들면, 어플리케이션 370 중 적어도 하나의 어플리케이션의 생명 주기(life cycle)를 관리할 수 있다. 윈도우 매니저 342는 화면에서 사용하는 GUI 자원을 관리할 수 있다. 멀티미디어 매니저 343은 다양한 미디어 파일들의 재생에 필요한 포맷(format)을 파악하고, 해당 포맷에 맞는 코덱(codec)을 이용하여 미디어 파일의 인코딩(encoding) 또는 디코딩(decoding)을 수행할 수 있다. 리소스 매니저 344는 어플리케이션 370 중 적어도 어느 하나의 어플리케이션의 소스 코드, 메모리 또는 저장 공간 등의 자원을 관리할 수 있다.
파워 매니저 345는, 예를 들면, 바이오스(BIOS: basic input/output system) 등과 함께 동작하여 배터리(battery) 또는 전원을 관리하고, 전자 장치의 동작에 필요한 전력 정보 등을 제공할 수 있다. 데이터베이스 매니저 346은 어플리케이션 370 중 적어도 하나의 어플리케이션에서 사용할 데이터베이스를 생성, 검색, 또는 변경할 수 있다. 패키지 매니저 347은 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 업데이트를 관리할 수 있다.
연결 매니저 348은, 예를 들면, WiFi 또는 블루투스 등의 무선 연결을 관리할 수 있다. 통지 매니저 349는 도착 메시지, 약속, 근접성 알림 등의 사건(event)을 사용자에게 방해되지 않는 방식으로 디스플레이 또는 통지할 수 있다. 위치 매니저 350은 전자 장치의 위치 정보를 관리할 수 있다. 그래픽 매니저 351은 사용자에게 제공될 그래픽 효과 또는 이와 관련된 유저 인터페이스를 관리할 수 있다. 보안 매니저 352는 시스템 보안 또는 사용자 인증 등에 필요한 제반 보안 기능을 제공할 수 있다. 한 실시 예에 따르면, 전자 장치(예: 전자 장치 101)가 전화 기능을 포함한 경우, 미들웨어 330은 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화 매니저(telephony manager)를 더 포함할 수 있다.
미들웨어 330은 전술한 구성요소들의 다양한 기능의 조합을 형성하는 미들웨어 모듈을 포함할 수 있다. 미들웨어 330은 차별화된 기능을 제공하기 위해 운영 체제의 종류 별로 특화된 모듈을 제공할 수 있다. 또한, 미들웨어 330은 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다.
API 360(예: API 145)는, 예를 들면, API 프로그래밍 함수들의 집합으로, 운영 체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 iOS의 경우, 플랫폼(platform) 별로 하나의 API 셋을 제공할 수 있으며, 타이젠(tizen)의 경우, 플랫폼 별로 두 개 이상의 API 셋을 제공할 수 있다.
어플리케이션 370(예: 어플리케이션 프로그램 147)은, 예를 들면, 홈 371, 다이얼러 372, SMS/MMS 373, IM(instant message) 374, 브라우저 375, 카메라 376, 알람 377, 컨택트 378, 음성 다이얼 379, 이메일 380, 달력 381, 미디어 플레이어 382, 앨범 383, 시계 384 등의 어플리케이션을 포함할 수 있다. 다양한 실시 예들에 따르면, 어플리케이션 370은, 건강 관리(health care)(예: 운동량 또는 혈당 등을 측정), 또는 환경 정보 제공(예: 기압, 습도, 또는 온도 정보 등을 제공) 등의 기능을 수행할 수 있는 하나 이상의 어플리케이션을 포함할 수 있다.
한 실시 예에 따르면, 어플리케이션 370은 전자 장치(예: 전자 장치 101)와 외부 전자 장치(예: 전자 장치(102, 104)) 사이의 정보 교환을 지원하는 어플리케이션(이하, 설명의 편의 상, "정보 교환 어플리케이션")을 포함할 수 있다. 정보 교환 어플리케이션은, 예를 들면, 외부 전자 장치에 특정 정보를 전달하기 위한 알림 전달(notification relay) 어플리케이션, 또는 외부 전자 장치를 관리하기 위한 장치 관리(device management) 어플리케이션을 포함할 수 있다.
예를 들면, 알림 전달 어플리케이션은 전자 장치의 다른 어플리케이션(예: SMS/MMS 어플리케이션, 이메일 어플리케이션, 건강 관리 어플리케이션, 또는 환경 정보 어플리케이션 등)에서 발생된 알림 정보를 외부 전자 장치(예: 전자 장치(102, 104))로 전달하는 기능을 포함할 수 있다. 또한, 알림 전달 어플리케이션은, 예를 들면, 외부 전자 장치로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다.
장치 관리 어플리케이션은, 예를 들면, 전자 장치와 통신하는 외부 전자 장치(예: 전자 장치(102, 104))의 적어도 하나의 기능(예: 외부 전자 장치 자체(또는, 일부 구성 부품)의 턴-온(turn-on)/턴-오프(turn-off) 또는 디스플레이의 밝기(또는, 해상도) 조절), 외부 전자 장치에서 동작하는 어플리케이션 또는 외부 전자 장치에서 제공되는 서비스(예: 통화 서비스 또는 메시지 서비스 등)를 관리(예: 설치, 삭제, 또는 업데이트)할 수 있다.
한 실시 예에 따르면, 어플리케이션 370은 외부 전자 장치(예: 전자 장치(102, 104))의 속성)에 따라 지정된 어플리케이션(예: 모바일 의료 기기의 건강 관리 어플리케이션, 청각 측정 어플리케이션, 오디오 재생 어플리케이션 등)을 포함할 수 있다. 한 실시 예에 따르면, 어플리케이션 370은 외부 전자 장치(예: 서버 106 또는 전자 장치(102, 104))로부터 수신된 어플리케이션을 포함할 수 있다. 한 실시 예에 따르면, 어플리케이션 370은 프리로드 어플리케이션(preloaded application) 또는 서버로부터 다운로드 가능한 제3자 어플리케이션(third party application)을 포함할 수 있다. 도시된 실시 예에 따른 프로그램 모듈 310의 구성요소들의 명칭은 운영 체제의 종류에 따라서 달라질 수 있다.
다양한 실시 예들에 따르면, 프로그램 모듈 310의 적어도 일부는 소프트웨어, 펌웨어(firmware), 하드웨어, 또는 이들 중 적어도 둘 이상의 조합으로 구현될 수 있다. 프로그램 모듈 310의 적어도 일부는, 예를 들면, 프로세서(예: 프로세서 210)에 의해 구현(implement)(예: 실행)될 수 있다. 프로그램 모듈 310의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트(sets of instructions) 또는 프로세스 등을 포함할 수 있다.
본 문서에서 사용된 용어 "모듈"은, 예를 들면, 하드웨어, 소프트웨어 또는 펌웨어 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "모듈"은, 예를 들면, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component), 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "모듈"은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, "모듈"은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시 예들에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 기록 매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서 120)에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들면, 메모리 130이 될 수 있다.
컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예: 자기테이프), 광기록 매체(optical media)(예: CD-ROM(compact disc read only memory), DVD(digital versatile disc), 자기-광 매체(magneto-optical media)(예: 플롭티컬 디스크(floptical disk)), 하드웨어 장치(예: ROM(read only memory), RAM(random access memory), 또는 플래시 메모리 등) 등을 포함할 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
다양한 실시 예들에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시 예들에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다. 그리고 본 문서에 개시된 실시 예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 문서에서 기재된 기술의 범위를 한정하는 것은 아니다. 따라서, 본 문서의 범위는, 본 문서의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시 예를 포함하는 것으로 해석되어야 한다.
제안하는 본 발명의 다양한 실시 예들에서는, 전자 장치에서 음성 통화 중에 영상 공유 또는 영상 통화 등과 같은 영상 서비스를 병행하여 수행할 수 있는 방법 및 장치에 관하여 개시한다. 다양한 실시 예들에서는, 음상 통화 중에 영상 서비스를 위한 데이터 통신 연결에 있어서, 데이터를 보다 안정적으로 전송할 수 있는 방법 및 장치에 관하여 개시한다. 다양한 실시 예들에서, 음성 통화를 위한 통신 채널과 영상 서비스를 위한 통신 채널을 구분하여 음성 통화 중 영상 전송을 위한 방법 및 장치에 관하여 개시한다.
본 발명의 다양한 실시 예들에 따른 전자 장치는, 통신 기능 및/또는 카메라 기능을 지원하며, AP(application processor), CP(communication processor), GPU(graphic processing unit), 및 CPU(central processing unit) 등의 다양한 프로세서 중 하나 또는 그 이상을 사용하는 모든 장치를 포함할 수 있다. 예를 들면, 다양한 실시 예들에 따른 전자 장치는, 통신 기능 및/또는 카메라 기능을 지원하는 모든 정보통신기기, 멀티미디어기기, 웨어러블 기기(wearable device), IoT(Internet of Things) 기기, 음향 기기, 또는 그에 대한 응용기기를 포함할 수 있다.
이하에서, 첨부 도면을 참조하여 본 발명의 다양한 실시 예들에 따른 동작 방법 및 장치에 대하여 살펴보기로 한다. 하지만, 본 발명의 다양한 실시 예들이 하기에서 기술하는 내용에 의해 제한되거나 한정되는 것은 아니므로, 하기의 실시 예에 의거하여 다양한 실시 예들에 적용할 수 있음에 유의하여야 한다. 이하에서 설명되는 본 발명의 다양한 실시 예들에서는 하드웨어적인 접근 방법을 예시로서 설명한다. 하지만, 본 발명의 다양한 실시 예들에서는 하드웨어와 소프트웨어를 모두 사용하는 기술을 포함하고 있으므로, 본 발명의 다양한 실시 예들이 소프트웨어 기반의 접근 방법을 제외하는 것은 아니다.
도 4는 본 발명의 다양한 실시 예들에 따른 시스템을 설명하기 위해 도시하는 도면이다.
도 4에 도시한 바와 같이, 본 발명의 다양한 실시 예들에 따른 시스템은, 전자 장치(예: 제1 전자 장치(410), 제2 전자 장치(420)), 적어도 2개의 네트워크들(430, 450), 하나 또는 그 이상의 서버들(460, 470)를 포함하여 구성할 수 있다. 다양한 실시 예들에 따라, 전자 장치는 발신 측 동작을 위한 제1 전자 장치(410)와 수신 측 동작을 위한 제2 전자 장치(420)를 포함하여 구성할 수 있다. 다양한 실시 예들에 따라 네트워크는 제1 통신(예: 음성 통화)을 위한 제1 네트워크(430)와 제2 통신(예: 영상 서비스)을 위한 제2 네트워크(450)으로 구분할 수 있다. 다양한 실시 예들에 따라, 제1 네트워크(430)는 이동통신 서비스를 위한 이동통신 네트워크(또는 셀룰러 네트워크)일 수 있고, 기지국(440)을 포함할 수 있다. 다양한 실시 예들에 따라 제2 네트워크(450)는 P2P(peer to peer) 연결을 위한 데이터 통신 네트워크일 수 있고, 접속 서버(connectivity server)(460), 메시지 서버(message server)(470)를 포함할 수 있다.
도 4를 참조하면, 제1 전자 장치(410)와 제2 전자 장치(420)는 제1 네트워크(430)를 통해 음성 통화 가능하며, 제2 네트워크(450)(예: PS 네트워크 또는 WiFi 등)를 통해 서로 데이터 통신이 가능하다.
제1 전자 장치(410)는 제2 전자 장치(420)와 음성 통화 중에 (카메라) 영상을 제2 전자 장치(420)에게 전송할 수 있고, 이하에서는 이러한 기능을 영상 서비스라고 칭한다. 다양한 실시 예들에서는 제1 전자 장치(410)와 제2 전자 장치(420)가 P2P 방식으로 연결되어 전자 장치들(410, 420) 간 영상을 송수신하는 것을 개시하지만, 본 발명이 이에 한정되는 것은 아니다. 예를 들면, 다양한 실시 예들에서 제1 전자 장치(410)와 제2 전자 장치(420)는 서버-클라이언트 방식으로 영상을 송수신할 수도 있다.
다양한 실시 예들에 따라, 전자 장치(예: 제1 전자 장치(410), 제2 전자 장치(420))는 내부 또는 외부에 카메라를 포함할 수 있다. 예를 들면, 전자 장치는 물리적으로 연결되는 내부 카메라를 포함하거나, 또는 기능적으로 연결되는 외부 카메라를 포함할 수 있다.
다양한 실시 예들에서, 제1 전자 장치(410)와 제2 전자 장치(420) 간에 송수신되는 영상은 실시간 카메라 촬영 영상을 포함할 수 있고, 또는 저장(예: 녹화)된 영상을 포함할 수 있다. 저장된 영상은 전자 장치 내부 또는 외부에 저장될 수 있다.
다양한 실시 예들에서, 전자 장치가 음성 통화 중에 영상 서비스를 위한 영상을 송수신하는 동작 예시들에 대해 후술하는 도면들을 참조하여 상세히 설명된다.
서버는 제1 전자 장치(410)와 제2 전자 장치(420)를 P2P 방식으로 연결할 수 있고, 하나 또는 그 이상으로 구성할 수 있다. 예를 들면, 다양한 실시 예들에서, 서버가, 접속 서버(460)와 메시지 서버(470)로 구성된 예시를 설명한다.
다양한 실시 예들에서, 접속 서버(460)는 제1 전자 장치(410)와 제2 전자 장치(420)의 세션(session) 연결을 위한 DNS(Domain Name System) 기능을 제공할 수 있다. 다양한 실시 예들에서, 접속 서버(460)는 제1 전자 장치(410)와 제2 전자 장치(420)를 P2P 방식으로 연결할 수 있다.
다양한 실시 예들에서, 메시지 서버(470)는 제1 전자 장치(410)가 제2 전자 장치(420)에게 영상 송수신을 개시하기 위한 시작 요청 메시지를 전송할 수 있다.
다양한 실시 예들에서, 서버(예: 접속 서버(460), 메시지 서버(470))는 사용자 계정, 프로필 정보, 서비스 가입 정보를 관리할 수 있다.
다양한 실시 예들에서는, 음성 통화 연결을 요청(예: 발신)하거나, 음성 통화 연결 요청을 수신하는 주체와는 관계 없이, 음성 통화 중에 영상을 전송하고자 하는 전자 장치가 발신 단말이 되고, 영상을 수신하는 전자 장치가 수신 단말이 될 수 있다. 다양한 실시 예들에서, 음성 통화 중 영상 서비스를 위한 유저 인터페이스는 발신 단말과 수신 단말에 따라 다르게 제공될 수 있으며, 이에 대해 후술하는 도면들을 참조하여 상세히 설명된다.
도 5a는 본 발명의 다양한 실시 예들에 따른 전자 장치의 구성을 개략적으로 도시하는 도면이다.
도 5a를 참조하면, 본 발명의 다양한 실시 예들에 따른 전자 장치(500)는, 예를 들면, 무선 통신부(510), 사용자 입력부(520), 터치스크린(touchscreen)(530), 오디오 처리부(540), 메모리(550), 인터페이스부(560), 카메라 모듈(570), 제어부(580)(예: 프로세서 120), 그리고 전원 공급부(590)를 포함할 수 있다. 본 발명의 다양한 실시 예들에서 전자 장치(500)는 도 5a에 도시된 구성들이 필수적인 것은 아니어서, 도 5a에 도시된 구성들보다 많은 구성들을 가지거나, 또는 그보다 적은 구성들을 가지는 것으로 구현될 수 있다.
무선 통신부(510)는, 예를 들면, 도 2의 통신 모듈(220)과 동일 또는 유사한 구성을 가질 수 있다. 무선 통신부(510)는 전자 장치(500)와 외부 전자 장치(예: 다른 전자 장치(102, 104), 서버(106)) 사이의 무선 통신을 가능하게 하는 하나 또는 그 이상의 모듈들을 포함할 수 있다. 예를 들어, 무선 통신부(510)는 이동통신 모듈(511), 무선 랜(WLAN, wireless local area network) 모듈(513), 근거리 통신 모듈(515), 그리고 위치 산출 모듈(517) 등을 포함하여 구성될 수 있다. 다양한 실시 예들에서 무선 통신부(510)는 주변의 외부 전자 장치와 통신을 수행하기 위한 모듈(예: 근거리 통신 모듈, 원거리 통신 모듈 등)을 포함할 수 있다.
이동통신 모듈(511)은, 예를 들면, 도 2의 셀룰러 모듈(221)과 동일 또는 유사한 구성을 가질 수 있다. 이동통신 모듈(511)은 이동통신 네트워크 상에서 기지국, 외부 전자 장치(예: 다른 전자 장치(104)), 그리고 다양한 서버들(예: 어플리케이션 서버, 관리 서버, 통합 서버(integration server), 프로바이더 서버(provider server), 컨텐츠 서버(content server), 인터넷 서버(internet server), 또는 클라우드 서버(cloud server) 등) 중 적어도 하나와 무선 신호를 송수신할 수 있다. 무선 신호는 음성 신호, 데이터 신호 또는 다양한 형태의 제어 신호를 포함할 수 있다. 이동통신 모듈(511)은 전자 장치(500)의 동작에 필요한 다양한 데이터들을 사용자 요청에 응답하여 외부 장치(예: 서버(106) 또는 다른 전자 장치(104) 등)로 전송할 수 있다.
무선 랜 모듈(513)은, 예를 들면, 도 2의 WiFi 모듈(223)과 동일 또는 유사한 구성을 가질 수 있다. 무선 랜 모듈(513)은 무선 인터넷 접속 및 다른 외부 전자 장치(예: 다른 전자 장치(102) 또는 서버(106) 등)와 무선 랜 링크(link)를 형성하기 위한 모듈을 나타낼 수 있다. 무선 랜 모듈(513)은 전자 장치(500)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WiFi(Wireless Fidelity), Wibro(Wireless broadband), WiMax(World interoperability for Microwave access), HSDPA(High Speed Downlink Packet Access), 또는 mmWave(millimeter Wave) 등이 이용될 수 있다. 무선 랜 모듈(513)은 전자 장치(500)와 네트워크(예: 무선 인터넷 네트워크)(예: 네트워크(162))를 통해 연결되어 있는 다른 외부 전자 장치(예: 다른 전자 장치(104) 등)와 연동하여, 전자 장치(500)의 다양한 데이터들을 외부로 전송하거나, 또는 외부로부터 수신할 수 있다. 무선 랜 모듈(513)은 상시 온(on) 상태를 유지하거나, 전자 장치(500)의 설정 또는 사용자 입력에 따라 턴-온(turn-on)될 수 있다.
근거리 통신 모듈(515)은 근거리 통신(short range communication)을 수행하기 위한 모듈을 나타낼 수 있다. 근거리 통신 기술로 블루투스(Bluetooth), 저전력 블루투스(BLE, Bluetooth Low Energy), RFID(Radio Frequency IDentification), 적외선 통신(IrDA, Infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee), 또는 NFC(Near Field Communication) 등이 이용될 수 있다. 근거리 통신 모듈(515)은 전자 장치(500)와 네트워크(예: 근거리 통신 네트워크)를 통해 연결되어 있는 다른 외부 전자 장치(예: 다른 전자 장치(102))와 연동하여, 전자 장치(500)의 다양한 데이터들을 외부 전자 장치로 전송하거나 수신 받을 수 있다. 근거리 통신 모듈(515)은 상시 온 상태를 유지하거나, 전자 장치(500)의 설정 또는 사용자 입력에 따라 턴-온(turn-on)될 수 있다.
위치 산출 모듈(517)은, 예를 들면, 도 2의 GNSS 모듈(227)과 동일 또는 유사한 구성을 가질 수 있다. 위치 산출 모듈(517)은 전자 장치(500)의 위치를 획득하기 위한 모듈로서, 대표적인 예로는 GPS(global position system) 모듈을 포함할 수 있다. 위치 산출 모듈(517)은 삼각 측량의 원리로 전자 장치(500)의 위치를 측정할 수 있다.
사용자 입력부(520)는 전자 장치(500)의 동작 제어를 위한 입력 데이터를 사용자 입력에 응답하여 발생할 수 있다. 사용자 입력부(520)는 사용자의 다양한 입력을 검출하기 위한 적어도 하나의 입력 장치(input device)를 포함할 수 있다. 예를 들어, 사용자 입력부(520)는 키패드(key pad), 돔 스위치(dome switch), 물리 버튼, 터치패드(정압/정전), 조그셔틀(jog & shuttle), 그리고 센서(예: 센서 모듈(240)) 등을 포함할 수 있다.
사용자 입력부(520)는 일부가 전자 장치(500)의 외부에 버튼 형태로 구현될 수 있으며, 일부 또는 전체가 터치 패널(touch panel)로 구현될 수도 있다. 사용자 입력부(520)는 본 발명의 다양한 실시 예들에 따른 전자 장치(500)의 동작(예: 오디오 재생 기능, 전자 장치 연결 기능, 영상 전송 또는 공유 기능 등)을 개시(initiation)하기 위한 사용자 입력을 수신할 수 있고, 사용자 입력에 따른 입력 신호를 발생할 수 있다.
터치스크린(530)은 입력 기능과 디스플레이 기능을 동시에 수행할 수 있는 입출력 장치를 나타내며, 디스플레이(531)(예: 디스플레이(160, 260))와 터치감지부(533)을 포함할 수 있다. 터치스크린(530)은 전자 장치(500)와 사용자 사이에 입출력 인터페이스를 제공하며, 사용자의 터치 입력을 전자 장치(500)에게 전달할 수 있고, 또한 전자 장치(500)로부터의 출력을 사용자에게 보여주는 매개체 역할을 포함할 수 있다. 터치스크린(530)은 사용자에게 시각적인 출력(visual output)을 보여줄 수 있다. 시각적 출력은 텍스트(text), 그래픽(graphic), 비디오(video)와 이들의 조합의 형태로 나타날 수 있다.
디스플레이(531)는 전자 장치(500)에서 처리되는 다양한 정보를 디스플레이(출력)할 수 있다. 예를 들어, 디스플레이(531)는 음성 통화 중에 영상 서비스와 관련된 유저 인터페이스(UI, user interface) 또는 그래픽 유저 인터페이스(GUI, graphical UI)를 디스플레이 할 수 있다. 디스플레이(531)는 다양한 디스플레이(예: 디스플레이(160))가 사용될 수 있다. 다양한 실시 예들에서 디스플레이(531)는 벤디드 디스플레이가 사용될 수 있다.
다양한 실시 예들에서 디스플레이(531)는 액정 디스플레이(LCD, Liquid Crystal Display), 발광다이오드(LED, Light Emitting Diode), 유기발광다이오드(OLED, Organic LED) 및 능동형 OLED(AMOLED, Active Matrix OLED) 등에서 액정을 싸고 있는 유리 기판을 플라스틱 필름으로 대체하여, 접고 펼 수 있는 유연성을 부여할 수 있다. 다양한 실시 예들에서 디스플레이(531)는 전자 장치(500)의 적어도 하나의 측면(side)(예: 좌측, 우측, 상측, 하측 중 적어도 하나의 면)까지 연장되어, 벤디드 디스플레이가 동작 가능한 곡률 반경(radius of curvature)(예: 곡률 반경 5cm, 1cm, 7.5mm, 5mm, 4mm 등) 이하로 접혀 하우징의 측면에 체결될 수 있다.
터치감지부(533)는 디스플레이(531)에 안착될 수 있으며, 터치스크린(530) 표면에 접촉 또는 근접하는 사용자 입력을 감지할 수 있다. 사용자 입력은 싱글터치(single-touch), 멀티터치(multi-touch), 호버링(hovering), 또는 에어 제스처 중 적어도 하나에 기반하여 입력되는 터치 이벤트 또는 근접 이벤트를 포함할 수 있다. 터치감지부(533)는 다양한 실시 예들에서 전자 장치(500)의 사용과 관련된 동작을 개시하기 위한 사용자 입력을 수신할 수 있고, 사용자 입력에 따른 입력 신호를 발생할 수 있다. 다양한 실시 예들에 따라 터치감지부(533)는 디스플레이(531)의 특정 부위에 가해진 압력 또는 디스플레이(531)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력 신호로 변환하도록 구성될 수 있다. 터치감지부(533)는 입력 도구(예: 사용자 손가락, 전자 펜 등)가 디스플레이(531)의 표면 상에 터치 또는 근접되는 위치 및 면적을 검출할 수 있다. 또한 터치감지부(533)는 적용한 터치 방식에 따라 터치 시의 압력(예: 포스 터치)까지도 검출할 수 있도록 구현될 수 있다.
오디오 처리부(540)는, 예를 들면, 도 2의 오디오 모듈(280)과 동일 또는 유사한 구성을 가질 수 있다. 오디오 처리부(540)는 제어부(580)로부터 입력 받은 오디오 신호를 스피커(SPK, speaker)(541)로 전송하고, 마이크(MIC, microphone)(543)로부터 입력 받은 음성 등의 오디오 신호를 제어부(580)에 전달하는 기능을 수행할 수 있다. 오디오 처리부(540)는 음성/음향 데이터를 제어부(580)의 제어에 따라 스피커(541)를 통해 가청음으로 변환하여 출력하고, 마이크(543)로부터 수신되는 음성 등의 오디오 신호를 디지털 신호로 변환하여 제어부(580)에게 전달할 수 있다.
스피커(541)는 무선 통신부(510)로부터 수신되거나, 또는 메모리(550)에 저장된 오디오 데이터를 출력할 수 있다. 스피커(541)는 전자 장치(500)에서 수행되는 다양한 동작(기능)과 관련된 음향 신호를 출력할 수도 있다.
마이크(543)는 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리할 수 있다. 마이크(543)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘(noise reduction algorithm)이 구현될 수 있다. 마이크(543)는 음성 명령(예: 전자 장치 연결, 오디오 재생, 또는 영상 전송 또는 공유 등의 기능을 개시하기 위한 음성 명령) 등과 같은 오디오 스트림의 입력을 담당할 수 있다.
메모리(550)(예: 메모리(130, 230))는 제어부(580)에 의해 실행되는 하나 또는 그 이상의 프로그램들(one or more programs)을 저장할 수 있고, 입/출력되는 데이터들의 임시 저장을 위한 기능을 수행할 수도 있다. 입/출력되는 데이터들은, 예를 들면, 동영상, 이미지, 사진, 또는 오디오 등의 파일 및 네트워크 정보(또는 통신 품질 정보)를 포함할 수 있다. 메모리(550)는 획득된 데이터를 저장하는 역할을 담당하며, 실시간으로 획득된 데이터는 일시적인 저장 장치에 저장할 수 있고, 저장하기로 확정된 데이터는 오래 보관 가능한 저장 장치에 저장할 수 있다.
메모리(550)는 다양한 실시 예들에서, 다른 전자 장치와 제1 통신에 기초하여 음성 통화를 수행하는 동작, 음성 통화 중에 서비스 실행 요청에 응답하여 다른 전자 장치와 제2 통신에 의한 데이터 통신의 가능 여부 및 데이터 통신 품질에 적어도 일부에 기초하여 서비스 연결 여부를 결정하는 동작, 및 서비스 연결 결정 시, 카메라(예: 카메라 모듈(570))를 통해 획득하는 영상을 디스플레이(531)에 표시 및 영상을 제2 통신에 기초하여 다른 전자 장치에 전송하는 것과 관련되는 하나 또는 그 이상의 프로그램들, 데이터 또는 인스트럭션들(instructions)을 저장할 수 있다.
메모리(550)는 하나 이상의 어플리케이션 모듈(또는 소프트웨어 모듈) 등을 포함할 수 있다.
인터페이스부(560)는, 예를 들면, 도 2의 인터페이스(270)와 동일 또는 유사한 구성을 가질 수 있다. 인터페이스부(560)는 다른 전자 장치로부터 데이터를 전송 받거나, 전원을 공급받아 전자 장치(500) 내부의 각 구성들에 전달할 수 있다. 인터페이스부(560)는 전자 장치(500) 내부의 데이터가 다른 전자 장치로 전송되도록 할 수 있다. 예를 들어, 유/무선 헤드폰 포트(port), 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 오디오 입/출력(input/output) 포트, 비디오 입/출력 포트, 이어폰 포트 등이 인터페이스부(560)에 포함될 수 있다.
카메라 모듈(570)(예: 카메라 모듈(291))은 전자 장치(500)의 촬영 기능을 지원하는 구성을 나타낸다. 카메라 모듈(570)은 제어부(580)의 제어에 따라 임의의 피사체를 촬영하고, 촬영된 데이터(예: 동영상, 이미지)를 디스플레이(531) 및 제어부(580)에 전달할 수 있다. 본 발명의 다양한 실시 예들에서는 도시하지 않았으나, 카메라 모듈(570)은 전자 장치(500)에 실장되는 내장 카메라 모듈 또는 전자 장치(500)에 유선 또는 무선 인터페이스로 연결(예: 케이블 연결, 블루투스 연결 등)되는 외장 카메라 모듈을 포함할 수 있다. 예를 들면, 카메라 모듈(570)은 전자 장치(500)와 블루투스로 연결된 주변 카메라 장치(예: VR(virtual reality) 장치, 360 카메라(360도 카메라), 카메라를 구비한 다른 전자 장치(예: 로봇 청소기, TV, 모니터 등) 등)를 포함할 수 있다. 다양한 실시 예들에 따라, 카메라 모듈(570)은 탈부착 가능한(attachable and detachable) 카메라 모듈을 포함할 수 있다.
제어부(580)는 전자 장치(500)의 전반적인 동작을 제어할 수 있다. 다양한 실시 예들에서 제어부(580)은, 예를 들면, 도 2의 프로세서(210)와 동일 또는 유사한 구성을 가질 수 있다. 다양한 실시 예들에서 제어부(580)는 다른 전자 장치와 제1 통신에 기초하여 음성 통화를 수행하는 동작, 음성 통화 중에 서비스 실행 요청에 응답하여 다른 전자 장치와 제2 통신에 의한 데이터 통신의 가능 여부 및 데이터 통신 품질에 적어도 일부에 기초하여 서비스 연결 여부를 결정하는 동작, 및 서비스 연결 결정 시, 카메라를 통해 획득하는 영상을 디스플레이(531)에 표시 및 영상을 제2 통신에 기초하여 다른 전자 장치에 전송하는 동작을 처리할 수 있다.
제어부(580)는 전자 장치(500)의 동작을 제어하기 위한 하나 또는 그 이상의 프로세서들을 포함할 수 있다. 다양한 실시 예들에서 제어부(580)는 오디오 처리부(540), 인터페이스부(560), 디스플레이(531), 카메라 모듈(570) 등의 하드웨어적 모듈의 동작을 제어할 수 있다. 본 발명의 다양한 실시 예들에 따른 제어부(580)의 제어 동작은 후술하는 도면들을 참조하여 구체적으로 설명된다.
본 발명의 다양한 실시 예들에 따르면, 제어부(580)는 메모리(550)에 저장되는 하나 또는 그 이상의 프로그램들을 실행하여 본 발명의 다양한 실시 예들에 따른 전자 장치(500)의 동작을 제어하는 하나 또는 그 이상의 프로세서들(one or more processors)로 구현될 수 있다.
본 발명의 다양한 실시 예들에 따르면, 제어부(580)는 음성 통화 중 영상 서비스와 관련된 서비스 연결을 처리하기 위한 서비스 처리 모듈(585)을 포함할 수 있다. 다양한 실시 예들에 따라, 서비스 처리 모듈(585)은, 예를 들면, 제1 통신 처리부(585A), 제2 통신 처리부(585B), 인터랙션 처리부(585C) 등을 포함할 수 있다.
다양한 실시 예들에 따라, 제1 통신 처리부(585A)는, 예를 들면, 제1 통신(예: 서킷 스위치(CS, circuit switch) 통신으로, 예를 들면, 3G 통신)(예: 제1 네트워크(430))에 기반하여 전자 장치들 간의 음성 통화 수행과 관련된 동작을 처리할 수 있다.
다양한 실시 예들에 따라, 제2 통신 처리부(585B)는, 예를 들면, 제2 통신(예: 패킷 스위치(PS, packet switch)) 통신으로, 예를 들면, 데이터 통신)(예: 제2 네트워크(450))에 기반하여 전자 장치들 간의 영상 서비스 수행과 관련된 동작을 처리할 수 있다. 다양한 실시 예들에 따라, 제2 통신 처리부(585B)는 제1 통신에 의한 음성 통화 중에 서비스 실행 요청에 응답하여 다른 전자 장치와 제2 통신에 의한 데이터 통신의 가능 여부 및 데이터 통신 품질에 적어도 일부에 기초하여 서비스 연결 여부를 결정하고, 서비스 연결 결정 시, 획득하는 영상을 디스플레이(531)에 표시하고, 획득하는 영상을 제2 통신에 기초하여 다른 전자 장치에 전송할 수 있다.
다양한 실시 예들에 따라, 인터랙션 처리부(585C)는 음성 통화 중에 영상 서비스와 관련된 유저 인터페이스를 제공하는 것과 관련된 동작을 처리할 수 있다. 다양한 실시 예들에 따라, 인터랙션 처리부(585C)는 음성 통화 중에 영상 서비스와 관련된 유저 인터페이스에 기반하여 입력되는 사용자의 인터랙션을 처리할 수 있다.
전원 공급부(590)는 제어부(580)의 제어에 의해 외부의 전원, 내부의 전원을 인가 받아 각 구성 요소들의 동작에 필요한 전원을 공급할 수 있다. 본 발명의 다양한 실시 예들에서 전원 공급부(590)는 제어부(580)의 제어에 의해 디스플레이(531), 카메라 모듈(570) 등에 전원을 공급 또는 차단(on/off)할 수 있다.
도 5b는 본 발명의 다양한 실시 예들에 따른 전자 장치들의 구성을 개략적으로 도시하는 도면이다.
도 5b를 참조하면, 본 발명의 다양한 실시 예들에 따른 전자 장치(500)는, 예를 들면, 영상을 제공하는(전송하는) 발신 측 동작을 위한 제1 전자 장치(610)(예: 송신 전자 장치)와, 영상을 제공받는(수신하는) 수신 측 동작을 위한 제2 전자 장치(620)(예: 수신 전자 장치)를 포함할 수 있다.
다양한 실시 예들에 따라, 제1 전자 장치(610)와 제2 전자 장치(620) 각각은, 도 5a에 대응하는 구성을 포함할 수 있다. 예를 들면, 제1 전자 장치(610)와 제2 전자 장치(620) 각각은, 어플리케이션 프로세서(application processor)(610A, 620A), 디스플레이 모듈(display module)(610B, 620B), 카메라 모듈(610C, 620C), 오디오 모듈(audio module)(610D, 620D), 통신 모듈(610E, 620E) 등을 포함할 수 있다. 제1 전자 장치(610)와 제2 전자 장치(620)는, 전자 장치의 종류에 따라 센서 모듈(sensor module)(610F, 620F)를 더 포함하여 구성할 수 있다.
다양한 실시 예들에 따르면, 제1 전자 장치(610)와 제2 전자 장치(620)는 통신 모듈(610E, 620E)을 이용하여 유선 통신 방식 또는 적어도 하나의 무선 통신 방식을 이용하여 다른 전자 장치(또는 주변 장치)(예: VR 장치, 디스플레이 장치(예: TV, 모니터), 360도 촬영이 가능한 카메라(예: 360 카메라) 등), 로봇 청소기 등)와 연결될 수 있다.
다양한 실시 예들에 따라, 제1 전자 장치(610)(예: 송신 전자 장치)는 제2 전자 장치(620)(예: 수신 전자 장치)의 영상 서비스 가능성(availability)을 판단(체크)할 수 있다. 다양한 실시 예들에서, 영상 서비스 가능성 판단은, 서비스 어플리케이션 설치 여부, 네트워크 상태 확인, 각 전자 장치들(610, 620)의 메모리, 배터리, 카메라, 요금 정책 등의 다양한 상황을 확인하는 동작을 포함할 수 있다.
다양한 실시 예들에 따라, 제1 전자 장치(610)(예: 송신 전자 장치)는 제2 전자 장치(620)(예: 수신 전자 장치)와 관련된 능력(capability)를 추가적으로 확인할 수 있다. 다양한 실시 예들에서, 전자 장치와 관련된 능력은, 전자 장치의 종류 또는 전자 장치와 연결된(또는 연결될 수 있는) 적어도 하나의 전자 장치와 관련된 장치 정보를 포함할 수 있다. 다양한 실시 예들에서, 전자 장치의 종류는, 스마트폰, 태블릿, 노트북 등으로 분류할 수 있고, 각 전자 장치는 그 종류에 따라 다른 구성 요소를 포함할 수 있다. 한 실시 예에 따르면, 전자 장치의 종류가 노트북인 경우, 노트북은 센서 모듈을 포함하지 않을 수 있다. 따라서 다양한 실시 예들에서, 전자 장치의 종류 확인은, 각 전자 장치에 포함된 구성 요소 정보를 확인하는 것을 포함할 수 있다. 다양한 실시 예들에서, 전자 장치와 연결된(도는 연결될 수 있는) 적어도 하나의 전자 장치(예: 주변 장치)는 VR 장치, 디스플레이 장치(예: TV, 모니터 등), 360도 촬영이 가능한 장치(예: 360 카메라, 로봇 청소기 등)를 포함할 수 있다.
다양한 실시 예들에 따른, 전자 장치의 종류, 각 전자 장치와 연결된(또는 연결될 수 있는) 주변 장치, 및 그 연결 관계에 따라 수행되는 기능에 대한 예시가 아래 <표 1>에 나타나 있다.
Figure PCTKR2017000545-appb-I000001
<표 1>을 참조하면, 제1 전자 장치는 영상을 전송하는 발신 측 동작을 수행하는 송신 전자 장치를 나타낼 수 있고, 제1 주변 장치는 제1 전자 장치와 연결된(또는 연결될 수 있는) 장치를 나타낼 수 있고, 제2 전자 장치는 영상을 수신하는 수신 측 동작을 위한 수신 전자 장치를 나타낼 수 있고, 제2 주변 장치는 제2 전자 장치와 연결된(또는 연결 가능한) 장치를 나타낼 수 있고, 기능은 제1 전자 장치, 제1 주변 장치, 제2 전자 장치, 및 제2 주변 장치의 관계에 따라 제1 전 장치에서 표시되는 객체(예: 아이콘, 텍스트)의 종류 및/또는 수행 기능을 나타낼 수 있다.
한 실시 예에 따르면, 예시1의 경우, 제1 전자 장치와 제2 전자 장치가 스마트폰이고, 제1 전자 장치와 제2 전자 장치에 연결된(또는 연결 가능한) 주변 장치가 없는 경우를 나타낼 수 있다. 예시1과 같은 환경에서, 제1 전자 장치는 제1 객체(예: 영상 서비스와 관련된 일반적인 객체(예: 아이콘))를 표시할 수 있다.
한 실시 예에 따르면, 예시2의 경우, 제1 전자 장치가 스마트폰이고, 제2 전자 장치가 노트북이며, 제1 전자 장치와 제2 전자 장치에 연결된(또는 연결 가능한) 주변 장치가 없는 경우를 나타낼 수 있다. 예시2와 같은 환경에서, 제1 전자 장치는 제1 객체를 표시할 수 있다. 예를 들면, 제2 전자 장치가 노트북인 경우, 노트북은 전자 장치의 움직임을 감지하기 위한 센서 모듈을 포함하지 않을 수 있으므로, 일반적인 아이콘을 표시할 수 있다.
한 실시 예에 따르면, 예시3의 경우, 제1 전자 장치가 스마트폰이고, 제2 전자 장치가 노트북이며, 제2 전자 장치에 연결된(또는 연결 가능한) 제2 주변 장치가 VR 장치인 경우를 나타낼 수 있다. 예시3과 같은 환경에서, 제1 전자 장치는 제2 객체(예: VR 장치와 관련된 객체(예: 아이콘, 텍스트(예: VR))를 표시할 수 있다. 다양한 실시 예들에 따라, 제2 전자 장치의 사용자가 제2 주변 장치(예: VR 장치)를 통해 제1 전자 장치가 전송하는 영상을 확인하는 경우, 제1 전자 장치의 사용자가 촬영하여 전송하는 영상 이외에, 추가적으로 제1 전자 장치의 위치 정보에 기반한 가상현실 정보도 함께 제공(예: 전송)할 수 있다.
한 실시 예에 따르면, 예시4의 경우, 제1 전자 장치 및 제2 전자 장치가 스마트폰이고, 제1 전자 장치에 연결된(또는 연결 가능한) 제1 주변 장치가 360 카메라이며, 제2 전자 장치에 연결된(또는 연결 가능한) 제2 주변 장치가 없는 경우를 나타낼 수 있다. 예시4와 같은 환경에서, 제1 전자 장치는 제3 객체(예: 360 카메라와 관련된 객체(예: 아이콘, 텍스트(예: 360))를 표시할 수 있다. 다양한 실시 예들에 따라, 제2 전자 장치는 포함된 센서 모듈에 의한 센서 정보에 기반하여 움직임 여부를 판단할 수 있고, 움직임에 따른 움직임 정보를 제1 전자 장치에 제공할 수 있다. 제1 전자 장치는 제2 전자 장치의 움직임 정보에 기반하여 제1 주변 장치(예: 360 카메라)의 움직임을 제어할 수 있고, 그에 따라 촬영되는 영상을 제2 전자 장치에 전송할 수 있다. 예를 들면, 제2 전자 장치의 사용자는 제2 전자 장치의 움직임에 기반하여 제2 전자 장치의 사용자가 의도하는 방향의 영상(예: 360 카메라 촬영 영상)을 확인할 수 있다.
한 실시 예에 따르면, 예시5의 경우, 제1 전자 장치 및 제2 전자 장치가 스마트폰이고, 제1 전자 장치에 연결된(또는 연결 가능한) 제1 주변 장치가 360 카메라이며, 제2 전자 장치에 연결된(또는 연결 가능한) 제2 주변 장치가 VR 장치인 경우를 나타낼 수 있다. 예시5와 같은 환경에서, 제1 전자 장치는 예시3에 대응하는 제2 객체와 예시4에 대응하는 제3 객체를 함께 표시할 수 있다.
한 실시 예에 따르면, 예시6의 경우, 제1 전자 장치가 스마트폰이고, 제2 전자 장치가 노트북이며, 제1 전자 장치에 연결된(또는 연결 가능한) 제1 주변 장치가 360 카메라이며, 제2 전자 장치에 연결된(도는 연결 가능한) 제2 주변 장치가 없는 경우를 나타낼 수 있다. 예시6과 같은 환경에서, 제1 전자 장치는 제1 객체를 표시할 수 있다. 예를 들면, 제2 전자 장치가 노트북인 경우, 노트북은 전자 장치의 움직임을 감지하기 위한 센서 모듈을 포함하지 않을 수 있으므로, 일반적인 아이콘을 표시할 수 있다.
도 5b 및 <표 1>을 참조한 예시에서 살펴본 바와 같이, 다양한 실시 예들에 따르면, 제1 전자 장치(610)와 제2 전자 장치(620)의 능력(capability) 확인을 통해 제공 가능한 서비스를 확인할 수 있으며, 사용자의 선택에 의해 서비스(예: 일반적인 영상 서비스(예: 전자 장치에 구비된 카메라에 의한 영상 서비스), 360 카메라에 의한 360 영상 서비스, VR 장치에 의한 VR 영상 서비스 등)가 결정될 수 있다. 추가적으로 또는 대체적으로, 다양한 실시 예들에 따르면, 사용자 선택에 따라 결정된 서비스에 기반하여 영상 통신 연결에 포함된 만료 시간(expire time)(예: 최대 대기 시간)을 변경할 수 있다. 예를 들면, 일반적인 영상 서비스를 위한 통신 연결일 경우 만료 시간(또는 최대 대기 시간)은 제1시간(예: 15초)일 수 있고, VR 영상 서비스 또는 360 영상 서비스를 위한 통신 연결일 경우 만료 시간(또는 최대 대기 시간)은 제2시간(예: 30초)일 수 있다. 한 실시 예에 따르면, VR 영상 서비스 또는 360 영상 서비스의 경우, 일반적인 영상 서비스에 비해 보다 많은 데이터를 전송할 수 있으며, 따라서 VR 영상 서비스 또는 360 영상 서비스에서는 만료 시간(예: 최대 대기 시간)을 제1시간보다 큰 제2시간으로 변경할 수 있다. 예를 들면, 다양한 실시 예들에 따라, 영상 서비스의 상태(또는 영상의 상태)에 따라, 만료 시간을 다르게 구성할 수 있으며, 이를 위한 서비스 요청(service request) 정보를 서버 또는 전자 장치에 구성할 수 있다.
다양한 실시 예들에 따르면, 전자 장치들의 다양한 상황 및 전자 장치의 능력을 고려하여 다양하게 영상 서비스를 제공할 수 있다. 한 실시 예에 따르면, 제1 전자 장치(610)는 영상을 획득 가능한 다양한 주변 장치와 연결될 수 있다. 제1 전자 장치(610)는 영상이, 내부 카메라 모듈을 통한 획득인지, 또는 주변 장치를 통한 획득인지 여부를 확인할 수 있다. 또한 제1 전자 장치(610)는 영상을 주변 장치를 통해 획득하는 경우 주변 장치의 종류를 확인할 수 있다. 제1 전자 장치(610)는 전술한 다양한 장치 상황을 확인할 수 있고, 제2 전자 장치(620)가 확인된 장치 상황에 대응하는 장치 상황을 만족하는지 판단할 수 있고, 판단하는 결과에 기반하여 영상 서비스를 위한 아이콘의 형태를 다양하게(또는 다르게) 제공할 수 있다.
다양한 실시 예들에 따르면, 전자 장치들 간의 음성 통화 시, 다양한 장치 상황에 따라 영상 서비스를 위한 객체(예: 영상 서비스 실행을 위한 서비스 버튼으로, 아이콘 또는 텍스트)의 활성화 또는 비활성화를 통해 연결 가능 상태를 미리 제공할 수 있다. 예를 들면, 제1 전자 장치(610)는 음성 통화 시 제2 전자 장치(620)와의 영상 서비스 연결 가능 여부를 미리 판단하고, 연결 가능한 상태에서 영상 서비스를 위한 객체를 활성화 하여 제공할 수 있다. 또한, 다양한 실시 예들에 따르면, 제1 전자 장치(610)는 활성화 하는 객체의 형태를 장치 상황에 대응하여 다르게 제공하여 연결되는 영상 서비스에 대한 정보를 제공할 수 있다.
이상에서 살펴본 바와 같이, 본 발명의 다양한 실시 예들에 따른 전자 장치(500)는, 디스플레이; 적어도 하나의 프로토콜(protocol)을 이용하여 외부 전자 장치와 무선 통신을 형성하도록 설정된 적어도 하나의 통신 회로; 상기 디스플레이 및 상기 적어도 하나의 통신 회로와 전기적으로 연결된 프로세서; 및 상기 프로세서와 전기적으로 연결된 메모리를 포함하고, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 디스플레이 상에 유저 인터페이스를 표시하고, 상기 유저 인터페이스는 상기 외부 전자 장치와 영상 통신(video communication)의 가능 여부에 대한 인디케이션(indication)을 포함하고, 상기 유저 인터페이스를 표시하는 동안 상기 외부 전자 장치와 영상 통화(video call)를 형성하고, 상기 영상 통신의 가능 여부를 요청하기 위한 제1 신호(first signal)를 상기 적어도 하나의 통신 회로를 이용하여 전송하고, 상기 영상 통신의 가능 여부를 지시하는 제2 신호(second signal)를 상기 적어도 하나의 통신 회로를 이용하여 수신하고, 상기 제2 신호에 응답하여, 상기 외부 전자 장치와 영상 통신 가능을 지시하는 상기 인디케이션을 변경(adapt)하고, 상기 인디케이션을 선택하는 사용자 입력을 수신하고, 및 상기 사용자 입력에 응답하여, 상기 외부 전자 장치에 영상 데이터(video data)의 전송을 개시(initiate)하도록 하는 인스트럭션들(instructions)을 저장하는 것을 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 인디케이션은 아이콘(icon) 또는 텍스트(text) 중 적어도 하나를 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 인스트럭션들은, 상기 프로세서가, 상기 영상 통신의 가능 여부를 모니터(monitor)하고, 상기 외부 전자 장치와 영상 통신이 가능하지 않은 것으로 결정하면, 상기 인디케이션을 변경하도록 하는 것을 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 인스트럭션들은, 상기 프로세서가, 상기 외부 전자 장치와 영상 통신이 가능한 경우, 상기 인디케이션을 활성화 표시하고, 상기 외부 전자 장치와 영상 통신이 불가능한 경우, 상기 인디케이션을 비활성화 표시하도록 하는 것을 포함할 수 있다.
이상에서 살펴본 바와 같이, 본 발명의 다양한 실시 예들에 따른 전자 장치(500)는, 카메라, 디스플레이, 통신 회로, 및 카메라, 디스플레이 및 통신 회로와 기능적으로 연결된 프로세서를 포함하고, 프로세서는, 다른 전자 장치와 제1 통신에 기초하여 음성 통화를 수행하고, 음성 통화 중에 서비스 실행 요청에 응답하여 다른 전자 장치와 제2 통신에 의한 데이터 통신의 가능 여부 및 데이터 통신 품질에 적어도 일부에 기초하여 서비스 연결 여부를 결정하고, 서비스 연결 결정 시, 카메라를 통해 획득하는 영상을 디스플레이에 표시 및 영상을 제2 통신에 기초하여 다른 전자 장치에 전송하도록 구성할 수 있다.
다양한 실시 예들에 따라, 프로세서는, 음성 통화 중에 다른 전자 장치의 서비스 가입 여부를 판단하도록 설정될 수 있다. 다양한 실시 예들에 따라, 프로세서는, 전자 장치의 서비스 가입 정보에 기초하여 서비스 가입 여부를 판단하도록 설정될 수 있다.
다양한 실시 예들에 따라, 프로세서는, 전자 장치에서 서비스 가입 정보에 기초하여 다른 전자 장치에 대한 서비스 가입 여부가 확인되지 않을 시, 서버에 다른 전자 장치에 대한 서비스 가입 여부 확인을 요청하도록 설정될 수 있다.
다양한 실시 예들에 따라, 프로세서는, 서비스 실행 요청에 응답하여, 다른 전자 장치와 서비스 실행을 위한 데이터 통신 연결 동작을 처리하도록 설정될 수 있다. 다양한 실시 예들에 따라, 프로세서는, 서비스 실행 요청에 응답하여, 연결 요청 메시지를 전송하고, 연결 요청 메시지에 대응하는 연결 응답 메시지의 수신을 설정된 최대 대기 시간 동안 대기하도록 설정될 수 있다. 다양한 실시 예들에 따라, 프로세서는, 최대 대기 시간 내에 연결 응답 메시지가 수신되지 않으면, 상기 음성 통화를 종료하고, 제2 통신에 기초하여 음성 및 데이터 통신을 재연결하도록 설정될 수 있다.
다양한 실시 예들에 따라, 프로세서는, 다른 전자 장치가 서비스에 가입된 경우 연결 요청 메시지를 전송하고, 다른 전자 장치가 서비스에 가입되지 않은 경우 서비스 연결 진행을 종료하도록 설정될 수 있다.
다양한 실시 예들에 따라, 프로세서는, 연결 응답 메시지 수신에 응답하여, 참여 메시지의 수신을 설정된 최대 대기 시간 동안 대기하도록 설정될 수 있다. 다양한 실시 예들에 따라, 프로세서는, 최대 대기 시간 내에 참여 메시지가 수신되지 않으면, 서비스 연결 실패로 결정하고, 서비스 연결을 종료 처리하도록 설정될 수 있다.
도 6a는 본 발명의 다양한 실시 예들에 따른 시스템에서 데이터 통신 연결 동작을 설명하기 위해 도시하는 도면이다.
도 6a에 도시한 바와 같이, 도 6a에서는 제1 전자 장치(610)와 제2 전자 장치(620)가 제1 네트워크(430)를 통해 음성 통화를 수행하는 중에, 제2 네트워크(450)의 서버(650)를 통해 영상 서비스를 위한 데이터 통신 연결(예: P2P 연결) 절차를 나타낸다. 도 6a의 예시에서는, 제1 전자 장치(610)에서, 제1 네트워크(430)를 통해 연결되어 음성 통화 중인 제2 전자 장치(620)에 데이터 통신 연결을 시도하는 예시를 나타낼 수 있다.
도 6a를 참조하면, 동작 601에서, 제1 전자 장치(610)는 접속 서버(651)에게 영상 송수신을 위한 세션을 형성하기 위한 초기 설정 메시지(예: initialize message)를 전송할 수 있다. 한 실시 예에 따르면, 제1 전자 장치(610)는 음성 통화 중에 영상 서비스를 실행하기 위한 사용자 입력을 감지할 수 있고, 사용자 입력에 기초하여 접속 서버(651)에 initialize message를 전송할 수 있다. 동작 605에서, 접속 서버(651)는 제1 전자 장치(610)의 세션을 형성하기 위한 초기 설정 메시지에 대응하여, 세션 수립에 대한 설정 응답 메시지(예: OnInitialized message)를 제1 전자 장치(610)에 전송할 수 있다.
동작 603에서, 제1 전자 장치(610)는 제2 전자 장치(620)에게 영상을 전송하기 위한 연결 요청 메시지(예: Send Invite (PUSH): ACTION_SEND_CHAT REQUEST message)(또는 초대 메시지)를 메시지 서버(653)를 통해 전송할 수 있고, 동작 607에서, 제2 전자 장치(620)는 메시지 서버(653)를 통해 연결 요청 메시지(또는 초대 메시지)를 수신할 수 있다.
동작 609에서, 제2 전자 장치(620)는 메시지 서버(653)로부터 제1 전자 장치(610)의 연결 요청 메시지의 수신에 대응하여, 연결 요청 메시지를 정상적으로 수신했음을 알리는 연결 응답(확인) 메시지(예: CoreApps: ACTION_DELIVERY_ACK message)를 메시지 서버(653)를 통해 제1 전자 장치(610)에 전송할 수 있다.
동작 611에서, 제2 전자 장치(620)는, 연결 응답 메시지 전송에 대응하여, 접속 서버(651)에게 영상 송수신을 위한 세션을 형성하기 위한 초기 설정 메시지(예: initialize message)를 전송할 수 있다. 한 실시 예에 따르면, 제1 전자 장치(610)는 음성 통화 중에 영상 서비스를 실행하기 위한 사용자 입력을 감지할 수 있고, 사용자 입력에 기초하여 접속 서버(651)에 initialize message를 전송할 수 있다. 동작 613에서, 접속 서버(651)는 제2 전자 장치(620)의 세션을 형성하기 위한 초기 설정 메시지에 대응하여, 세션 수립에 대한 설정 응답 메시지(예: OnInitialized message)를 제2 전자 장치(620)에 전송할 수 있다.
동작 615에서, 제1 전자 장치(610)와 제2 전자 장치(620)는 영상 송수신을 위한 세션이 형성될 수 있다. 예를 들면, 제1 전자 장치(610)와 제2 전자 장치(620) 간에 데이터 통신 연결(예: P2P 연결)이 수립될 수 있다.
다양한 실시 예들에 따르면, 제1 전자 장치(610)는 제2 전자 장치(620)에 음성 통화 중에 영상을 전송하기 위한 연결 요청 메시지를 메시지 서버(653)에 전송하고, 이후, 연결 요청 메시지에 대응하는 제2 전자 장치(620)의 연결 응답 메시지의 수신을 대기하는 최대 대기 시간(예: Push Delay Expired 시간)(670)(예: 13초)을 설정할 수 있다. 다양한 실시 예들에서, 최대 대기 시간(670)은 제1 전자 장치(610)에서 연결 요청 메시지를 전송한 이후에 설정되거나, 또는 제1 전자 장치(610)에 미리 설정되어 저장될 수 있다.
다양한 실시 예들에서, 제1 전자 장치(610)는 연결 요청 메시지를 전송한 이후, 최대 대기 시간(670)을 카운트 할 수 있다. 다양한 실시 예들에 따라, 제1 전자 장치(610)는 만약, 최대 대기 시간(670) 동안 제2 전자 장치(620)로부터 연결 응답 메시지가 수신되지 않을 경우, 음성 통화 중 데이터 통신이 불가능한 상황으로 판단할 수 있다. 제1 전자 장치(610)는 데이터 통신이 불가능한 것으로 결정할 시, 음성 통화를 종료하고, 전술한 동작 603으로 진행하여 이하의 동작 수행을 처리할 수 있다. 한 실시 예에 따르면, 제1 전자 장치(610)는 제2 전자 장치(620)가 영상 전송을 위한 서비스에 가입된 상태에서, 제2 전자 장치(620)로부터 연결 응답 메시지가 최대 대기 시간 내에 수신되지 않을 경우, 네트워크 상황의 불안정 등으로 인해 데이터 통신이 수행되지 않는 것으로 판단할 수 있다. 이에, 제1 전자 장치(610)는 제1 네트워크에 의해 통신 중인 음성 통화를 종료하고, 제2 네트워크에 의해 데이터 통신으로 음성 및 영상 통화를 재연결 할 수 있다. 예를 들면, 제1 전자 장치(610)는 3G 통신의 음성 통화를 종료하고, VoIP 통신으로 영상 통화를 수행할 수 있다.
동작 617에서, 접속 서버(651)는, 제1 전자 장치(610)와 제2 전자 장치(620) 간에 데이터 통신 연결(예: P2P 연결)이 이루어지면, 제1 전자 장치(610)와 제2 전자 장치(620)에게 상대 전자 장치가 세션에 참여함을 통지하는 참여 메시지(예: onJoined message)를 전송할 수 있다.
다양한 실시 예들에서, 제1 전자 장치(610)는 메시지 서버(653)로부터 제2 전자 장치(620)의 연결 응답 메시지를 수신하면, 이후 접속 서버(651)로부터 참여 메시지를 대기하기 위한 최대 대기 시간(예: onJoined Delay Expired 시간)(680)(예: 15초)을 설정할 수 있다. 다양한 실시 예들에서, 최대 대기 시간(680)은 제1 전자 장치(610)에서 연결 응답 메시지를 수신한 이후에 설정되거나, 또는 제1 전자 장치(610)에 미리 설정되어 저장될 수 있다.
다양한 실시 예들에서, 제1 전자 장치(610)는 연결 응답 메시지를 수신한 이후, 최대 대기 시간(680)을 카운트 할 수 있다. 다양한 실시 예들에 따라, 제1 전자 장치(610)는 만약, 최대 대기 시간(680) 동안 접속 서버(651)로부터 참여 메시지가 수신되지 않을 경우, 데이터 통신은 가능하지만 데이터 통신 품질이 좋지 않은 상황(예: 데이터 통신이 불가능 상태로, 예를 들면, 전자 장치(500)가 음영 지역 등에 존재하는 경우)으로 판단할 수 있다. 제1 전자 장치(610)는 데이터 통신 품질이 좋지 않은 것으로 판단할 시, 데이터 통신 연결 실패로 결정할 수 있다. 제1 전자 장치(610)는 최대 대기 시간(680) 내에 참여 메시지를 수신하는 경우, 정상적인 데이터 통신 연결로 결정하고 이후의 동작 수행을 계속 처리할 수 있다.
다양한 실시 예들에서, 동작 617 이후의 동작 690(예: 동작 619, 동작 621, 동작 623, 동작 625, 동작 627, 동작 629, 동작 631)은 제1 전자 장치(610)에서 제2 전자 장치(620)에게 영상 전송을 위한 서비스 연결 요청을 통지(예: 동작 619, 동작 621)하고, 제2 전자 장치(620)의 사용자 입력에 따라 제1 전자 장치(610)와 제2 전자 장치(620) 간에 영상을 송수신 하고(예: 동작 623, 동작 625), 이후 서비스 연결을 종료(예: 동작 627, 동작 629, 동작 631)하는 과정을 포함할 수 있다.
다양한 실시 예들에 따라, 제1 전자 장치(610)는, 제1 전자 장치(610)의 사용자가 제2 전자 장치(620)의 사용자와 음성 통화 중에 영상을 전송하기 위한 사용자 입력(예: 서비스 실행 버튼 선택) 전까지는, 제2 전자 장치(620)와 음성 통화 중 데이터 통신이 가능한지 여부를 판단하기 어려울 수 있다. 따라서 제1 전자 장치(610)는 어떤 방식으로 데이터 통신 연결을 맺어야 안정적인 서비스 연결이 수행될지 결정하기 어려울 수 있다.
다양한 실시 예들에서는, 데이터 통신 연결 과정 중 제한 시간(예: 최대 대기 시간(670), 최대 대기 시간(680)) 내에 연결 응답 메시지 또는 참여 메시지 수신 여부에 적어도 일부 기초하여 데이터 통신이 가능한 상황과 데이터 통신 품질을 판단하도록 할 수 있다.
다양한 실시 예들에 따르면, 제1 전자 장치(610)는 제2 전자 장치(620)로부터 연결 응답 메시지를 수신한 경우, 추가 대기 시간(예: 최대 대기 시간(670))을 설정할 수 있고, 추가 대기 시간 내에 접속 서버(651)로부터 참여 메시지를 수신하면 서비스 연결 성공으로 결정할 수 있고, 참여 메시지를 수신하지 못하면 서비스 연결 실패로 결정하여 종료 처리할 수 있다.
다양한 실시 예들에 따르면, 제1 전자 장치(610)는 제2 전자 장치(620)로부터 연결 응답 메시지를 수신하지 못하는 경우, 음성 통화 중 제2 전자 장치(620)와 데이터 통신이 수행되지 않는 상황이라고 결정할 수 있고, 음성 통화를 종료하고 초대 메시지 전송부터 다시 시작하여 서비스 연결을 형성하도록 처리할 수 있다.
도 6b는 본 발명의 다양한 실시 예들에 따른 시스템에서 전자 장치의 능력을 체크하는 동작을 설명하기 위해 도시하는 도면이다.
도 6b를 참조하면, 동작 671에서, 제1 전자 장치(610)는 제2 전자 장치(620)의 장치 상황(예: 제2 전자 장치(620)와 관련된 능력)을 확인하기 위한 능력 요청 메시지(capability request message)를 서버(650)(예: 메시지 서버(653))을 통해 제2 전자 장치(620)에 전송할 수 있다.
동작 673에서, 제2 전자 장치(620)는 서버(650)(예: 메시지 서버(653))로부터 제1 전자 장치(610)의 능력 요청 메시지의 수신에 대응하여, 제2 전자 장치(620)와 관련된 능력 정보를 포함하는 능력 응답 메시지(capability response message)를 서버(650)(예: 메시지 서버(653))를 통해 제1 전자 장치(610)에 전송할 수 있다.
동작 655에서, 제1 전자 장치(610)는 서버(650)(예: 메시지 서버(653))로부터 제2 전자 장치(620)와 관련된 능력 응답 메시지의 수신에 대응하여, 제2 전자 장치(620)와 관련된 능력 정보에 기반하여 객체를 표시할 수 있다.
다양한 실시 예들에 따르면, 제1 전자 장치(610)는 제2 전자 장치(620)의 능력 정보를 요청할 수 있고, 능력 정보 요청에 대응하여 수신된 제2 전자 장치(620)와 관련된 능력 정보(이하, 제2 능력 정보)와, 제1 전자 장치(610)와 관련된 능력 정보(이하, 제1 능력 정보)에 의해 영상 서비스를 위한 객체(예: 아이콘, 텍스트)의 형태를 다르게 제공할 수 있다. 다양한 실시 예들에 따르면, 제1 전자 장치(610) 및 제2 전자 장치(620)의 종류 및/또는 각 전자 장치에 연결된 주변 장치의 조합에 의해 제공할 수 있는 서비스가 다르게 결정될 수 있으며, 결정된 서비스에 따라 객체를 다르게 제공할 수 있다. 한 실시 예에 따르면, 제1 전자 장치(610)는 제1 능력 정보를 확인할 수 있고, 제1 능력 정보와 제2 능력 정보에 기반하여 객체의 표시 방식을 결정할 수 있다. 예를 들면, 전술한 <표 1>을 참조한 설명 부분에서 설명한 바와 같이, 제1 전자 장치(610)는 제1 능력 정보와 제2 능력 정보에 기반하여 제1 객체, 제2 객체, 또는 제3 객체 중 적어도 하나의 객체를 표시하도록 동작할 수 있다.
다양한 실시 예들에 따르면, 도 6b에 따른 전자 장치와 관련된 능력을 확인하는 동작은, 전술한 도 6a에서 연결 설정(connection setup) 동작의 다음 단계(예: 동작 609 이하의 동작)에서, 참여 메시지(예: onJoined message)를 수신하는 동작 이전, 예를 들면, 동작 609와 동작 617 사이에서 수행될 수 있다. 한 실시 예에 따르면, 전자 장치와 관련된 능력 확인 동작은, 제2 전자 장치(620)와의 초기 연결 설정 단계에서 수행할 수도 있고, 또는 음성 통화 중에 영상 서비스를 연결하는 단계(예: 제1 전자 장치(610)와 제2 전자 장치(620)가 세션에 참여하는 단계)에서 수행할 수 있다.
도 7a, 도 7b 및 도 7c는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면들이다.
도 7a를 참조하면, 도 7a는 전자 장치(500)에서 음성 통화 중에 제공되는 서비스 유저 인터페이스의 화면 예시를 나타낸다. 다양한 실시 예들에서, 도 7a는 영상을 전송하는 발신 단말의 화면 예시일 수 있고, 영상을 수신하는 수신 단말에서도 음성 통화와 관련된 동작에서는 도 7a에 대응되는 유저 인터페이스의 화면이 제공될 수 있다.
도 7a에 도시한 바와 같이, 서비스 유저 인터페이스는 인디케이터 영역(710), 통화 정보 영역(720), 기능 선택 영역(730)을 포함하여 구현할 수 있다.
다양한 실시 예들에서, 인디케이터 영역(710)은 전자 장치(500)의 사용과 관련된 정보(예: 충전 상태, 시간, 통화 상태, 알람 등에 대한 정보) 및/또는 외부로부터 수신하는 정보(예: 날씨 정보, 수신 메시지 정보, 피드 정보 등) 등을 제공할 수 있다.
다양한 실시 예들에서, 통화 정보 영역(720)은 전자 장치(500)의 음성 통화 수행 중에 통화 상태, 통화 시간, 통화 대상 정보 등을 제공할 수 있다.
다양한 실시 예들에서, 기능 선택 영역(730)은 음성 통화 중에 전자 장치(500)에 의해 수행(실행)될 수 있는 다양한 기능(또는 어플리케이션)들에 대한 객체(예: 아이콘, 텍스트)를 제공할 수 있다. 한 실시 예에 따르면, 음성 통화 대상을 추가할 수 있는 객체(예: Add call 버튼), 영상 전송을 위한 객체(예: See What I See 버튼 (SWIS 버튼), 이하, 서비스 버튼)(750), 블루투스 설정을 위한 객체(예: Bluetooth 버튼), 볼륨 또는 스피커 모드 설정을 위한 객체(예: Speaker 버튼), 키패드 호출을 위한 객체(예: Keypad 버튼), 음소거를 위한 객체(예: Mute 버튼), 통화 종료를 위한 객체(예: End 버튼)(740) 등이 기능 선택 영역(730)에 포함될 수 있다.
본 발명의 다양한 실시 예들에 따르면, 전자 장치(500)는 다른 전자 장치(예: 제2 전자 장치(620))와 음성 통화를 수행하는 동안, 서비스 버튼(750)에 기초하여 사용자 입력을 수신(감지)할 수 있다. 전자 장치(500)는 서비스 버튼(750)에 기초하여 사용자 입력을 수신하면, 현재 음성 통화 수행 중인 다른 전자 장치(예: 제2 전자 장치(620))에게 영상(예: 실시간 카메라 영상, 또는 저장된 영상)을 전송하기 위한 영상 서비스 실행으로 판단할 수 있다. 다양한 실시 예들에 따르면, 전자 장치(500)는 영상 서비스 실행을 결정하면, 설정 방식에 따라 카메라(예: 카메라 모듈(570))을 구동할 수 있고, 카메라를 통해 획득하는 영상(예: 프리뷰 영상)을 전송하기 위한 서비스 연결 동작을 개시(예: 관련 유저 인터페이스 표시 및 서비스 연결 요청 전송)할 수 있다. 다양한 실시 예들에 따르면, 전자 장치(500)는 영상 서비스 실행을 결정하면, 설정된 방식에 따라 내부 저장된 영상들을 추출할 수 있고, 추출된 영상(예: 추출된 영상들의 리스트 표시 후 사용자에 의해 선택되는 영상)을 전송하기 위한 서비스 연결 동작을 개시(예: 관련 유저 인터페이스 표시 및 서비스 연결 요청 전송)할 수 있다.
다양한 실시 예들에 따르면, 전자 장치(500)의 연결 상태에 따라 서비스 유저 인터페이스가 다양하게 제공될 수 있다. 이의 예시가 도 7b에 도시된다.
도 7b를 참조하면, 도 7b는 전자 장치(500)가 음성 통화 시 상대 전자 장치와의 서비스 상태 체크(service status check)에 따른 결과(예: 서비스 가능 여부)에 기반하여, 영상 서비스를 위한 객체(예: 서비스 버튼(750))를 활성화 또는 비활성화 표시하는 예시를 나타낼 수 있다. 이에 의해, 사용자는 서비스의 연결 가능 상태에 대한 정보를 직관적으로 확인할 수 있다.
한 실시 예에 따라, 화면(701)은, 전자 장치(500)에서 음성 통화를 시도하는 중(예: 콜 발신 중)의 화면 예시를 나타낼 수 있다. 예를 들면, 화면(701)에 도시한 바와 같이, 영상 서비스를 위한 객체(예: 서비스 버튼(750))는 비활성화 상태(예: 그레이(gray) 또는 딤(dim) 처리된 아이콘)로 제공될 수 있다. 추가적으로, 전자 장치(500)는 음성 통화를 시도하는 동안, 사용할 수 없는 기능에 대응하는 객체(예: Mute 버튼(760))에 대해서도 비활성화 상태로 제공할 수 있다.
한 실시 예에 따라, 화면(702)은, 전자 장치(500)에서 음성 통화를 시도하는 중, 또는 음성 통화 동안(예: 음성 통화를 위한 통신이 연결된 상태)에서, 상대 전자 장치와 영상 서비스 수행이 가능하다고 확인된 경우의 화면 예시를 나타낼 수 있다. 예를 들면, 화면(702)에 도시한 바와 같이, 영상 서비스를 위한 객체(예: 서비스 버튼(750))를 비활성화 상태에서 활성화 상태의 객체(750A)로 변경하여 제공할 수 있다. 추가적으로, 전자 장치(500)는 음성 통화 시 음성 통화를 위한 통신이 연결될 시 비활성화된 객체(예: Mute 버튼(760))를 활성화 상태의 객체(760A)로 변경하여 제공할 수 있다.
한 실시 예에 따라, 화면(703)은, 전자 장치(500)에서 음성 통화를 시도하는 중, 또는 음성 통화 동안(예: 음성 통화를 위한 통신이 연결된 상태)에서, 상대 전자 장치와 영상 서비스 수행이 불가능하다고 확인된 경우의 화면 예시를 나타낼 수 있다. 예를 들면, 화면(703)에 도시한 바와 같이, 영상 서비스를 위한 객체(예: 서비스 버튼(750))를 비활성 상태로 표시할 수 있다. 추가적으로, 전자 장치(500)는 음성 통화 시 음성 통화를 위한 통신이 연결될 시 비활성화된 객체(예: Mute 버튼(760))를 활성화 상태의 객체(760A)로 변경하여 제공할 수 있다.
다양한 실시 예들에 따르면, 전술한 <표 1> 및 도 6b를 참조한 설명 부분에서 설명한 바와 같이, 전자 장치(500)와 관련된 능력에 따라 영상 서비스를 위한 객체(예: 서비스 버튼(750))가 다양하게 제공될 수 있다. 이의 예시가 도 7c에 도시된다.
도 7c 및 전술한 <표 1>을 참조하여 장치 상황에 따른 각 예시들(예: 예시1 내지 예시6)에서 영상 서비스를 위한 객체가 제공되는 예시를 살펴보면 다음과 같다.
예시1, 예시2, 예시6과 같은 환경에서, 영상 서비스를 위한 객체(예: 서비스 버튼(750))는 전술한 도 7b의 화면(702)에 도시된 객체(750A)의 예시와 같이 일반적인 객체(예: 제1 객체)로 제공할 수 있다.
예시3과 같은 환경에서, 영상 서비스를 위한 객체(예: 서비스 버튼(750))는 도 7c의 화면(711)에 도시된 객체(711A)와 같이, VR 장치의 장치 정보에 기초하여 관련 객체(예: 아이콘, 'VR' 텍스트)로 제공할 수 있다.
예시4와 같은 환경에서, 영상 서비스를 위한 객체(예: 서비스 버튼(750))는 도 7c의 화면(712)에 도시된 객체(712A)와 같이, 360 카메라의 장치 정보에 기초하여 관련 객체(예: 아이콘, '360' 텍스트)로 제공할 수 있다.
예시5와 같은 환경에서, 영상 서비스를 위한 객체(예: 서비스 버튼(750))는 도 7c의 화면(713)에 도시된 객체(713A)와 같이, VR 장치의 장치 정보에 기초한 관련 객체(예: 아이콘, 'VR' 텍스트)와 360 카메라의 장치 정보에 기초한 관련 객체(예: 아이콘, '360' 텍스트)로 제공할 수 있다.
다양한 실시 예들에서, 전자 장치(500)가 음성 통화 중에 서비스 실행에 따라 제공하는 서비스 유저 인터페이스의 화면 예시가 도 8에 도시된다.
도 8은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면이다.
도 8을 참조하면, 도 8은 음성 통화 중에 서비스 실행 요청에 따라 서비스 연결을 대기(또는 서비스 연결 형성) 시 제공되는 서비스 유저 인터페이스의 화면 예시를 나타낸다. 다양한 실시 예들에서, 도 8은 전자 장치(500)가 영상을 전송하는 발신 단말의 화면 예시일 수 있다.
도 8에 도시한 바와 같이, 서비스 유저 인터페이스는 프리뷰 영역(800), 제1 기능 선택 영역(810), 제2 기능 선택 영역(830)을 포함하여 구현할 수 있다.
다양한 실시 예들에서, 프리뷰 영역(800)은 음성 통화 중에 영상 서비스 실행에 응답하여 영상이 표시되는 영역을 나타낼 수 있다. 한 실시 예에 따르면, 프리뷰 영역(800)은 서비스 실행에 대응하여 구동된 카메라(예: 카메라 모듈(570))(예: 전면 또는 후면 카메라 중 적어도 하나)를 통해 획득되는 실시간 영상(real-time video)(또는 라이브 영상(live video))을 제공할 수 있다. 한 실시 예에 따르면, 프리뷰 영역(800)은 서비스 실행에 대응하여 전자 장치(500)의 내부 또는 외부로부터 획득하는 영상들의 리스트가 제공되고, 리스트에서 사용자에 의해 선택된 영상을 제공할 수 있다.
다양한 실시 예들에서, 제1 기능 영역(810)은 음성 통화 중에 실행하는 영상 서비스와 관련된 다양한 기능(또는 어플리케이션)들에 대한 객체(예: 아이콘, 텍스트)를 제공할 수 있다. 한 실시 예에 따르면, 제1 기능 영역(810)은 프리뷰 영역(800)에 표시된 영상을 캡쳐하여 저장할 수 있는 객체(811)(예: Capture 버튼), 프리뷰 영역(800)에 표시된 영상을 녹화할 수 있는 객체(813)(예: Record 버튼), 영상을 획득하는 카메라를 전환(예: 후면 카메라에서 전면 카메라로 전환 또는 전면 카메라에서 후면 카메라로 전환)할 수 있는 객체(815)(예: Switch camera 버튼), 적어도 2개의 카메라(예: 전면 카메라 및 후면 카메라를 동시 구동하는 듀얼(dual) 카메라)를 실행하기 위한 객체(817)(예: Dual camera 버튼) 등이 제1 기능 영역(810)에 포함될 수 있다. 다양한 실시 예들에 따라, 제1 기능 영역(810)은 영상 서비스에서 발신 단말에서 제공될 수 있고, 프리뷰 영역(800)을 통해 표시되는 영상과 관련하여 저장, 선택 또는 설정 변경 등을 수행하기 위한 다양한 기능 버튼들에 의해 구현할 수 있다.
다양한 실시 예들에서, 제2 기능 영역(830)은 영상 서비스 및/또는 음성 통화와 관련된 다양한 기능(또는 어플리케이션)들에 대한 객체(예: 아이콘, 텍스트)를 제공할 수 있다. 한 실시 예에 따르면, 제2 기능 영역(830)은 영상 서비스를 위한 발신 단말과 수신 단말에서 모두 공통적으로 제공되는 영역을 나타낼 수 있다. 한 실시 예에 따르면, 영상 서비스를 종료(예: 서비스 연결 종료)하기 위한 객체(831)(예: End SWIS 버튼), 볼륨 또는 스피커 모드 설정을 위한 객체(833)(예: Speaker 버튼), 음소거를 위한 객체(835)(예: Mute 버튼), 프리뷰 영역(800) 상에 포인터(pointer)를 호출하여 표시하기 위한 객체(837)(예: Pointer 버튼) 등이 제2 기능 영역(830)에 포함될 수 있다.
다양한 실시 예들에서, 제1 기능 영역(810)과 제2 기능 영역(830)에 따른 객체들 및 객체들 간의 배치는 도 8에 예시된 것에 한정되지 않으면, 전자 장치(500)의 설정에 따라 다양하게 변경 및 설계될 수 있다.
다양한 실시 예들에서, 전자 장치(500)(예: 영상 전송을 위한 발신 단말)는 영상 서비스 실행에 응답하여, 영상 서비스 실행 중임을 통지하는 객체(예: 진행 상태를 알리는 아이템(예: 애니메이션 아이콘)과 텍스트(예: Requesting See What I see...)) 중 적어도 하나를 프리뷰 영역(800)의 일 영역에 제공할 수 있다. 한 실시 예에 따르면, 전자 장치(500)는 전술한 바와 같이, 수신 단말과 서비스 연결을 위해 수행하는 서비스 연결 절차 진행 동안(예: 수신 단말과 실질적인 서비스 연결 이전까지) 사용자에게 서비스 연결 중임을 직관적인 객체에 기초하여 제공할 수 있다.
도 9는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
다양한 실시 예들에서, 도 9는 영상 전송을 위한 서비스 연결을 음성 통화 중인 다른 전자 장치에 요청하고, 서비스 연결 시 영상을 전송하는 발신 단말의 동작을 나타낼 수 있다. 예를 들면, 전자 장치(500)가 발신 단말로 동작하는 경우의 예시를 나타낼 수 있다.
도 9를 참조하면, 동작 901에서, 전자 장치(500)의 제어부(580)(예: 발신 단말로 동작하는 전자 장치의 프로세서)는 음성 통화 중에, 동작 903에서, 영상 전송 요청을 감지할 수 있다. 한 실시 예에 따르면, 제어부(580)는 제1 통신에 기초하여 다른 전자 장치(예: 제2 전자 장치(620))와 음성 통화 수행과 관련된 일반적인 동작을 처리할 수 있다. 제어부(580)는 음성 통화 중에 사용자에 의해 영상 서비스를 전송하기 위한 요청(예: 사용자 입력)이 있는지 판단할 수 있다. 예를 들면, 제어부(580)는 음성 통화 중에 전술한 도 7a의 예시와 같이 영상 전송을 위해 제공된 객체(예: 서비스 버튼(750))의 선택을 감지하면, 영상 서비스 실행으로 판단할 수 있다.
동작 905에서, 제어부(580)는 데이터 통신 가능 여부를 확인하여, 동작 907에서, 음성 통화 중인 다른 전자 장치와 데이터 통신이 수행 가능한지 여부를 판단할 수 있다. 한 실시 예에 따르면, 제어부(580)는 현재 음성 통화 중인 다른 전자 장치가 영상을 수신할 수 있는 영상 서비스에 가입된 단말인지 아닌지를 서비스 가입 정보에 기초하여 판단할 수 있다. 다른 한 실시 예에 따르면, 제어부(580)는 현재 통화 중인 다른 전자 장치와 관련된 능력(capability)을 확인할 수 있다. 다른 전자 장치와 관련된 능력은 전자 장치의 종류, 다른 전자 장치와 연결된(또는 연결될 수 있는) 적어도 하나의 전자 장치와 관련된 장치 정보를 포함할 수 있다. 다양한 실시 예들에서는, 데이터 통신 연결의 안정성을 높이기 위해, 실제 데이터 통신 연결을 시도하기 전에, 서비스 가입 정보 또는 전자 장치와 관련된 능력 중 적어도 일부에 기반하여, 다른 전자 장치와의 데이터 통신 가능 여부를 판단할 수 있다.
다양한 실시 예들에서, 영상 서비스의 가입 여부 판단을 위한 서비스 가입 정보는, 예를 들면, 연락처 데이터베이스에 기초하여 판단할 수 있다. 다양한 실시 예들에 따르면, 연락처 데이터베이스는 전자 장치(500) 내에 저장된 연락처 데이터베이스 또는 서버에 저장된 연락처 데이터베이스를 포함할 수 있다. 다양한 실시 예들에 따르면, 제어부(580)는 연락처 데이터베이스에 기초하여 다른 전자 장치의 서비스 가입 정보가 확인되면, 다른 전자 장치가 데이터 통신이 가능한 장치(예: 서비스 연결 가능한 장치)인 것으로 결정할 수 있다. 다양한 실시 예들에 따르면, 제어부(580)는 연락처 데이터베이스에 기초하여 다른 전자 장치의 서비스 가입 정보가 확인되지 않으면, 다른 전자 장치가 데이터 통신이 가능하지 않은(불가능한) 장치(예: 서비스 연결이 가능하지 않은 장치)인 것으로 결정할 수 있다.
동작 907에서, 제어부(580)는 음성 통화 중인 다른 전자 장치와 데이터 통신이 가능하지 않은 것으로 판단하면(동작 907의 아니오), 동작 909에서, 가이드 표시를 제어할 수 있다. 한 실시 예에 따르면, 제어부(580)는 다른 전자 장치의 사용자가 서비스에 가입되지 않은 사용자, 또는 전자 장치의 능력 확인 결과 서비스 지원이 가능하지 않은 장치인 것으로 판단하면, 즉, 다른 전자 장치와 데이터 통신이 가능하지 않은 것으로 판단하면, 전자 장치(500) 사용자의 영상 전송 요청에 대해 실행할 수 없음을 안내하는 메시지를 출력할 수 있다. 예를 들면, 제어부(580)는 설정된 안내 메시지(예: 다른 전자 장치의 사용자가 서비스에 가입되지 않은 사용자, 또는 전자 장치의 능력 확인 결과 서비스 지원이 가능하지 않은 장치)를 팝업으로 표시할 수 있다. 다양한 실시 예들에 따르면, 제어부(580)는 다른 전자 장치와 데이터 통신이 가능하지 않은 것으로 판단하면, 영상 서비스를 위한 객체(예: 서비스 버튼(750))를 비활성화 표시할 수 있다. 추가적으로 또는 대체적으로, 제어부(580)는 안내 메시지를 음성으로 출력할 수도 있다.
동작 907에서, 제어부(580)는 음성 통화 중인 다른 전자 장치와 데이터 통신이 가능한 것으로 판단하면(동작 907의 예), 동작 911에서, 데이터 통신 품질을 판단할 수 있다. 다양한 실시 예들에 따르면, 제어부(580)는 다른 전자 장치의 사용자가 서비스에 가입된 사용자, 또는 전자 장치의 능력 확인 결과 서비스 지원이 가능한 장치인 것으로 판단하면, 즉, 다른 전자 장치와 데이터 통신이 가능한 것으로 판단하면, 영상 서비스를 위한 객체(예: 서비스 버튼(750))를 활성화 표시할 수 있다. 다양한 실시 예들에서는, 데이터 통신 연결의 안정성을 높이기 위해, 실제 데이터 통신 연결을 시도하기 전에 데이터 통신 품질을 판단할 수 있다. 다양한 실시 예들에서, 제어부(580)는 다른 전자 장치에 서비스 연결을 요청하고 그에 대응하는 응답의 수신 여부에 기초하여 데이터 통신 품질을 판단할 수 있다. 다양한 실시 예들에서, 데이터 통신 품질을 판단하는 예시에 대해 후술하는 도면을 참조하여 상세히 설명된다.
동작 913에서, 제어부(580)는 데이터 통신 품질에 대응하여 통신 연결 방식을 결정할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 다른 전자 장치로부터의 응답이 수신되는 경우 서비스 연결이 가능한 것으로 판단하고, 제2 통신에 기반하는 데이터 통신 연결(예: P2P 연결)을 결정할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 다른 전자 장치로부터의 응답이 수신되지 않는 경우 서비스 연결이 불가능(예: 음성 통화 중 데이터 통신이 수행되지 않는 상황)한 것으로 판단하고, 제1 통신에 의한 음성 통화를 종료하고, 제2 통신에 기반하는 음성 및 데이터 통신 연결(예: VoIP 연결)을 결정할 수 있다.
동작 915에서, 제어부(580)는 영상 전송을 처리할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 통신 연결 방식에 대응하여, 음성 통화 동안 획득되는 영상(예: 실시간 영상, 저장된 영상)을 음성 통화 중인 다른 전자 장치에 전송할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 통신 연결 방식에 대응하여, 다른 전자 장치와 음성 및 데이터 통신 재연결을 자동 실행하고, 이후 다른 전자 장치와 재연결이 형성되면, 획득되는 영상을 다른 전자 장치에 전송할 수 있다.
도 10은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
다양한 실시 예들에서, 도 10은 영상 전송을 위한 서비스 연결을 음성 통화 중인 다른 전자 장치에 요청하고, 서비스 연결 시 영상을 전송하는 발신 단말의 동작을 나타낼 수 있다. 예를 들면, 전자 장치(500)가 발신 단말로 동작하는 경우의 예시를 나타낼 수 있다.
도 10을 참조하면, 동작 1001에서, 전자 장치(500)의 제어부(580)(예: 발신 단말로 동작하는 전자 장치의 프로세서)는 연결 요청 메시지를 다른 전자 장치에 전송할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 다른 전자 장치와 음성 통화 중에, 영상 전송을 위한 서비스 연결을 실행하는 사용자 입력을 감지할 수 있다. 제어부(580)는 사용자 입력에 응답하여, 서비스 연결을 위한 연결 요청 메시지를 음성 통화 중인 다른 전자 장치에 전송할 수 있다.
동작 1003에서, 제어부(580)는 대기 시간을 카운트 할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 다른 전자 장치와 음성 통화 중에 다른 전자 장치에 영상을 전송하기 위한 연결 요청 메시지를 전송하면, 연결 요청 메시지에 대응하는 다른 전자 장치의 연결 응답 메시지의 수신을 대기하는 대기 시간(예: 최대 대기 시간(670))을 설정할 수 있다. 다양한 실시 예들에서, 대기 시간은 전자 장치(500)에서 연결 요청 메시지를 전송한 이후에 자동 설정되거나, 또는 전자 장치(500)에 미리 설정되어 저장될 수 있다. 다양한 실시 예들에서, 제어부(580)는 연결 요청 메시지를 전송한 이후, 설정된 또는 저장된 대기 시간을 카운트 할 수 있다.
동작 1005에서, 제어부(580)는 다른 전자 장치로부터 연결 응답 메시지의 수신 여부를 판단할 수 있다.
동작 1005에서, 제어부(580)는 연결 응답 메시지의 수신이 없으면(동작 1005의 아니오), 동작 1021에서, 대기 시간을 체크하여, 동작 1023에서, 최대 대기 시간 만료 여부를 판단할 수 있다.
동작 1023에서, 제어부(580)는 최대 대기 시간이 만료되지 않은 것으로 판단하면(동작 1023의 아니오), 동작 1005로 진행하여, 이하의 동작 수행을 처리할 수 있다.
동작 1023에서, 제어부(580)는 최대 대기 시간이 만료되는 것으로 판단하면(동작 1023의 예), 동작 1025에서, 데이터 통신 불가 상황으로 판단할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 최대 대기 시간 동안 음성 통화 중인 다른 전자 장치로부터 연결 요청 메시지에 대응하는 연결 응답 메시지가 수신되지 않을 경우, 음성 통화 중 데이터 통신이 불가능한 상황으로 판단할 수 있다.
동작 1027에서, 제어부(580)는 다른 전자 장치와의 음성 통화를 종료할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 연결 응답 메시지가 수신되지 않아, 데이터 통신이 불가능한 것으로 결정할 시, 다른 전자 장치와 제1 통신에 기초하여 수행 중인 음성 통화를 종료할 수 있다. 한 실시 예에 따르면, 제어부(580)는 다른 전자 장치가 영상 전송을 위한 서비스에 가입된 상태에서, 다른 전자 장치로부터 연결 응답 메시지가 최대 대기 시간 내에 수신되지 않을 경우, 네트워크 상황의 불안정 등으로 인해 데이터 통신이 수행되지 않는 것으로 판단하고, 데이터 통신 재연결을 위해 다른 전자 장치와의 제1 통신에 의해 통신 중인 음성 통화를 종료할 수 있다. 다양한 실시 예들에 따르면, 제어부(580)는 음성 통화를 종료할 시, 음성 통화 종료에 대한 가이드 출력을 처리할 수 있다. 예를 들면, 제어부(580)는 데이터 통신 재연결을 위해 음성 통화를 종료함을 알리는 메시지를 팝업, 음성 또는 진동 중 적어도 일부에 기초하여 출력할 수 있다.
동작 1029에서, 제어부(580)는 데이터 통신 재연결을 수행할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 제1 통신에 의해 통신 중인 음성 통화를 종료하고, 제2 통신에 기초하여 음성 및 데이터 통신(예: 영상 통화)를 재연결 할 수 있다. 예를 들면, 제어부(580)는 3G 통신의 음성 통화를 종료하고, VoIP 통신으로 영상 통화를 수행할 수 있다.
동작 1031에서, 제어부(580)는 음성 통화 및 데이터 통신을 처리할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 제2 통신에 의한 음성 및 데이터 통신에 기초하여 영상 전송을 처리할 수 있다.
동작 1005에서, 제어부(580)는 연결 응답 메시지가 수신되면(동작 1005의 예), 동작 1007에서, 참여 메시지 수신을 대기하고, 동작 1009에서, 참여 메시지의 수신 여부를 판단할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 연결 응답 메시지에 대응하여 다른 전자 장치와 데이터 통신 연결(예: P2P 연결)이 형성된 것으로 결정하고, 서버(예: 접속 서버(651))로부터의 참여 메시지 수신을 대기할 수 있다. 다양한 실시 예들에 따라, 참여 메시지는 서버(예: 접속 서버(651))에서 전자 장치들(예: 제1 전자 장치(610), 제2 전자 장치(620)) 간에 데이터 통신 연결(예: P2P 연결)이 형성되면, 전자 장치들에게 상대 전자 장치가 세션에 참여함을 통지하는 메시지를 나타낼 수 있다.
다양한 실시 예들에서, 제어부(580)는 다른 전자 장치로부터 연결 응답 메시지를 수신하면, 이후 접속 서버(651)로부터 참여 메시지를 대기하기 위한 대기 시간(예: 최대 대기 시간(680))을 설정할 수 있다. 다양한 실시 예들에서, 최대 대기 시간은 전자 장치(500)에서 연결 응답 메시지를 수신한 이후에 설정되거나, 또는 전자 장치(500)에 미리 설정되어 저장될 수 있다. 다양한 실시 예들에서, 제어부(580)는 연결 응답 메시지를 수신한 이후, 최대 대기 시간을 카운트 할 수 있고, 최대 대기 시간 동안 참여 메시지의 수신 여부를 판단할 수 있다.
동작 1009에서, 제어부(580)는 최대 대기 시간 내에 참여 메시지가 수신되면(동작 1009의 예), 동작 1011에서, 데이터 통신 연결이 성공된 것으로 결정할 수 있다. 예를 들면, 제어부(580)는 음성 통화 중에 다른 전자 장치에 영상을 전송할 수 있는 서비스 연결이 성립된 것으로 판단할 수 있다.
동작 1013에서, 제어부(580)는 다른 전자 장치에 영상 전송을 처리할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 음성 통화 동안 사용자 선택에 대응하는 영상(예: 실시간 영상, 저장된 영상 등)을 음성 통화를 위한 제1 통신이 아닌, 데이터 통신 연결에 따른 제2 통신에 기초하여 다른 전자 장치에 전송할 수 있다.
동작 1009에서, 제어부(580)는 최대 대기 시간 내에 참여 메시지의 수신이 없으면(동작 1009의 아니오), 동작 1015에서, 데이터 통신 연결 실패로 결정할 수 있다. 예를 들면, 제어부(580)는 음성 통화 중에 다른 전자 장치에 영상을 전송할 수 있는 서비스 연결이 실패된 것으로 판단할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 참여 메시지가 수신되지 않을 경우, 데이터 통신은 가능하지만 데이터 통신 품질이 좋지 않은 상황(예: 데이터 통신이 불가능 상태로, 예를 들면, 전자 장치(500) 또는 다른 전자 장치가 음영 지역 등에 존재하는 경우)으로 판단할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 데이터 통신 품질이 좋지 않은 것으로 판단할 시, 데이터 통신 연결(예: 영상 전송을 위한 서비스 연결) 실패로 결정할 수 있다.
동작 1017에서, 제어부(580)는 데이터 통신 연결을 종료 처리할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 제1 통신에 의한 음성 통화는 유지하면서, 제2 통신에 의한 데이터 통신 연결(예: 영상 전송을 위한 서비스 연결)을 종료할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 데이터 통신 연결 종료 시, 그에 대한 가이드 출력을 처리할 수 있다. 예를 들면, 제어부(580)는 데이터 통신을 연결할 수 없음을 알리는 메시지를 팝업, 음성 또는 진동 중 적어도 일부에 기초하여 출력할 수 있다.
도 11 및 도 12는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면들이다.
도 11을 참조하면, 도 11은 전자 장치(500)에서 음성 통화 중에 제공되는 서비스 유저 인터페이스의 화면 예시를 나타낸다. 예를 들면, 도 11은 음성 통화 중인 다른 전자 장치와의 영상 수신을 위한 서비스 연결을 대기(또는 서비스 연결 형성) 시 제공되는 서비스 유저 인터페이스의 화면 예시를 나타낸다. 다양한 실시 예들에서, 도 11은 전자 장치(500)가 영상을 수신하는 수신 단말의 화면 예시일 수 있다.
도 11에 도시한 바와 같이, 서비스 유저 인터페이스는 전술한 도 8을 참조한 설명 부분에서 설명한 바에 대응하는 제2 기능 영역(830)을 포함할 수 있고, 프리뷰 영역(1100)을 포함할 수 있다. 다양한 실시 예들에 따라, 도 11은 서비스 연결에 따른 영상 수신을 대기하는 상태의 화면 예시일 수 있다. 이러한 경우, 전자 장치(500)는 프리뷰 영역(1100)을 블랙 아웃(black out) 처리하여 제공할 수 있고, 다른 전자 장치로부터 영상 수신을 대기 중인을 통지하는 객체(예: 진행 상태를 알리는 아이템(예: 애니메이션 아이콘)과 텍스트(예: Preparing video image... This may take a few seconds due to the network delays.) 중 적어도 하나를 프리뷰 영역(1100)의 일 영역에 제공할 수 있다.
다양한 실시 예들에 따라, 전자 장치(500)는 다른 전자 장치와 음성 통화 중에 다른 전자 장치로부터 서비스 연결 요청이 수신되면, 사용자에게 팝업 등에 기초하여 서비스 연결 요청이 수신됨을 통지하고, 서비스 연결 여부에 대해 입력 받을 수 있다. 전자 장치(500)는 사용자에 의해 서비스 연결이 허용될 경우, 다른 전자 장치로부터 전송된 영상을 화면에 표시할 수 있다.
도 12를 참조하면, 도 12는 전자 장치(500)에서 음성 통화 중에 다른 전자 장치로부터 서비스 연결에 따라 수신되는 영상을 제공하는 서비스 유저 인터페이스의 화면 예시를 나타낸다. 다양한 실시 예들에서, 도 12는 전자 장치(500)가 영상을 수신하는 수신 단말의 화면 예시일 수 있다.
도 12에 도시한 바와 같이, 서비스 유저 인터페이스는 프리뷰 영역(1200)과 전술한 도 8을 참조한 설명 부분에서 설명한 바에 대응하는 제2 기능 영역(830)을 포함할 수 있다. 다양한 실시 예들에 따라, 영상을 수신하는 전자 장치(500)의 경우 전술한 도 8을 참조한 설명 부분에서 설명한 바와 같은 제1 기능 영역(810)은 생략될 수 있다. 다양한 실시 예들에서, 프리뷰 영역(1200)을 통해 표시되는 영상은 다른 전자 장치의 프리뷰 영역(예: 도 8의 프리뷰 영역(800)))에 표시되는 영상과 동일한 영상이 표시될 수 있다.
다양한 실시 예들에 따르면, 전자 장치들(제1 전자 장치(610)와 제2 전자 장치(620)) 간에 음성 통화 중에 영상 송수신(또는 영상 공유)를 위한 서비스 연결 시, 영상을 전송하는 발신 단말과 영상을 수신하는 수신 단말의 유저 인터페이스를 구분하여 제공할 수 있다. 예를 들어, 도 8 및 도 12에 도시한 바와 같이, 발신 단말과 수신 단말의 유저 인터페이스는 공통적으로 프리뷰 영역(800, 1200)을 통해 영상을 표시할 수 있고, 프리뷰 영역(800, 1200)의 일 영역 상에 제2 기능 영역(830)을 제공할 수 있다. 추가적으로 또는 대체적으로, 발신 단말의 유저 인터페이스는 수신 단말의 유저 인터페이스에 비해, 전송하는 영상에 대한 저장, 선택 또는 설정 변경 등을 수행하기 위한 제1 기능 영역(810)을 더 포함할 수 있다.
도 13은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
다양한 실시 예들에서, 도 13은 다른 전자 장치와 음성 통화 중에 다른 전자 장치로부터 서비스 연결 요청을 수신하고, 서비스 연결 시 다른 전자 장치의 영상을 수신하는 수신 단말의 동작을 나타낼 수 있다. 예를 들면, 전자 장치(500)가 수신 단말로 동작하는 경우의 예시를 나타낼 수 있다.
도 13을 참조하면, 동작 1301에서, 전자 장치(500)의 제어부(580)(예: 수신 단말로 동작하는 전자 장치의 프로세서)는 음성 통화 중에, 동작 1303에서, 연결 요청 메시지의 수신 여부를 판단할 수 있다. 한 실시 예에 따르면, 제어부(580)는 제1 통신에 기초하여 다른 전자 장치와 음성 통화 수행과 관련된 일반적인 동작을 처리할 수 있다. 제어부(580)는 음성 통화 중에 다른 전자 장치로부터 영상 서비스를 수행하기 위한 요청이 있는지 판단할 수 있다.
동작 1303에서, 제어부(580)는 연결 요청 메시지의 수신이 없으면(동작 1303의 아니오), 동작 1301로 진행하여 음성 통화와 관련된 처리를 수행할 수 있고, 다른 전자 장치 또는 사용자의 음성 통화 종료에 대응하여 음성 통화의 종료를 처리할 수 있다.
동작 1303에서, 제어부(580)는 연결 요청 메시지가 수신되면(동작 1303의 예), 동작 1305에서, 가이드 표시를 처리하고, 동작 1307에서, 다른 전자 장치의 연결 요청에 대한 승인 또는 거부 여부를 판단할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 연결 요청 메시지 수신에 대응하여 음성 통화 중인 다른 전자 장치로부터 영상 서비스를 위한 연결 요청이 있음을 통지하는 메시지를 텍스트 또는 음성에 적어도 일부에 기초하여 출력할 수 있다. 제어부(580)는 가이드에 기초하여 사용자로부터 연결 요청에 대한 승인 또는 거부를 입력 받을 수 있다.
동작 1307에서, 제어부(580)는 사용자에 의해 연결 요청에 대한 거부가 입력되면(동작 1307의 아니오), 동작 1309에서, 다른 전자 장치에 연결 거부 메시지를 전송할 수 있다. 다양한 실시 예들에서, 제어부(580)는 음성 통화는 유지하면서, 연결 요청에 대한 연결 거부 메시지를 전송할 수 있다.
동작 1307에서, 제어부(580)는 사용자에 의해 연결 요청에 대한 승인이 입력되면(동작 1307의 예), 동작 1311에서, 연결 요청 메시지에 대응하는 연결 응답 메시지를 다른 전자 장치에 전송할 수 있다. 다양한 실시 예들에서, 전자 장치(500)는 서비스 연결 요청에 대해 자동으로 응답하도록 설정될 수도 있다. 이러한 경우, 도 13에서 동작 1305와 동작 1307은 생략될 수 있고, 음성 통화 중인 다른 전자 장치로부터 연결 요청 메시지가 수신되면, 동작 1311로 진행하여 연결 응답 메시지를 자동으로 전송할 수도 있다.
동작 1313에서, 제어부(580)는 대기 시간을 카운트 할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 다른 전자 장치와 음성 통화 중에 다른 전자 장치에 연결 응답 메시지를 전송하면, 이후 접속 서버(651)로부터 참여 메시지를 대기하기 위한 대기 시간(예: 최대 대기 시간(680))을 설정할 수 있다. 다양한 실시 예들에서, 최대 대기 시간은 전자 장치(500)에서 연결 응답 메시지를 전송한 이후에 설정되거나, 또는 전자 장치(500)에 미리 설정되어 저장될 수 있다. 다양한 실시 예들에서, 제어부(580)는 연결 응답 메시지를 전송한 이후, 최대 대기 시간을 카운트 할 수 있고, 최대 대기 시간 동안 참여 메시지의 수신 여부를 판단할 수 있다.
동작 1315에서, 제어부(580)는 참여 메시지의 수신 여부를 판단할 수 있다.
동작 1315에서, 제어부(580)는 최대 대기 시간 내에 참여 메시지가 수신되면(동작 1315의 예), 동작 1317에서, 다른 전자 장치와 데이터 통신 연결을 수립할 수 있다. 다양한 실시 예들에 따르면, 제어부(580)는 참여 메시지가 수신되면, 데이터 통신 연결이 성공, 예를 들면, 음성 통화 중에 다른 전자 장치로부터 제2 통신을 통해 영상을 수신할 수 있는 서비스 연결이 성립된 것으로 판단할 수 있다.
동작 1319에서, 제어부(580)는 다른 전자 장치로부터 전송되는 영상을 수신 및 표시 처리할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 음성 통화 동안 다른 전자 장치가 전송하는 영상(예: 실시간 영상, 저장된 영상 등)을 음성 통화를 위한 제1 통신이 아닌, 데이터 통신 연결에 따른 제2 통신에 기초하여 수신하고, 프리뷰 영역을 통해 표시할 수 있다.
동작 1315에서, 제어부(580)는 참여 메시지의 수신이 없으면(동작 1315의 아니오), 동작 1321에서, 대기 시간을 체크하여, 동작 1323에서, 최대 대기 시간 만료 여부를 판단할 수 있다.
동작 1323에서, 제어부(580)는 최대 대기 시간이 만료되지 않은 것으로 판단하면(동작 1323의 아니오), 동작 1315로 진행하여, 이하의 동작 수행을 처리할 수 있다.
동작 1323에서, 제어부(580)는 최대 대기 시간이 만료되는 것으로 판단하면(동작 1323의 예), 동작 1325에서, 데이터 통신 연결 실패로 결정할 수 있다. 다양한 실시 예들에서, 제어부(580)는 최대 대기 시간 내에 참여 메시지가 수신되지 않으면, 음성 통화 중에 다른 전자 장치로부터 영상을 수신할 수 있는 서비스 연결이 실패된 것으로 판단할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 참여 메시지가 수신되지 않을 경우, 데이터 통신은 가능하지만 데이터 통신 품질이 좋지 않은 상황(예: 데이터 통신이 불가능 상태로, 예를 들면, 전자 장치(500) 또는 다른 전자 장치가 음영 지역 등에 존재하는 경우)으로 판단할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 데이터 통신 품질이 좋지 않은 것으로 판단할 시, 데이터 통신 연결(예: 영상 수신을 위한 서비스 연결) 실패로 결정할 수 있다.
동작 1327에서, 제어부(580)는 데이터 통신 연결을 종료 처리할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 제1 통신에 의한 음성 통화는 유지하면서, 제2 통신에 의한 데이터 통신 연결(예: 영상 수신을 위한 서비스 연결)을 종료할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 데이터 통신 연결 종료 시, 그에 대한 가이드 출력을 처리할 수 있다. 예를 들면, 제어부(580)는 데이터 통신을 연결할 수 없음을 알리는 메시지를 팝업, 음성 또는 진동 중 적어도 일부에 기초하여 출력할 수 있다.
도 14는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
도 14를 참조하면, 다양한 실시 예들에 따른 전자 장치(500)(예: 발신 단말)에서 영상 서비스를 위한 데이터 통신 연결(예: P2P 연결, 서비스 연결) 절차는, 서비스 가입 확인 과정(동작 1401)과, 영상을 전송하기 위한 데이터 통신 연결(예: P2P 연결) 과정(동작 1403)으로 구분할 수 있다.
다양한 실시 예들에서, 동작 1401의 서비스 가입 확인 과정은, 서비스 연결 시간을 단축하기 위하여, 음성 통화 중 또는 음성 통화 시작 시에 수행될 수 있다. 다양한 실시 예들에서, 서비스 가입 확인은, 서비스 가입 정보에 기초하여 확인할 수 있다. 다양한 실시 예들에서, 서비스 가입 정보는, 전자 장치(500) 내 연락처 데이터베이스 또는 서버 데이터베이스에 저장될 수 있다. 다양한 실시 예들에서, 전자 장치(500)는 전자 장치(500) 내의 연락처 데이터베이스를 우선 확인하고, 연락처 데이터베이스에서 확인되지 않을 경우 서버에 확인 요청을 전송하고 그에 대한 응답으로, 서비스 가입 여부를 판단할 수 있다. 다양한 실시 예들에 따른, 서비스 가입 확인 과정에 대해 후술하는 도 15를 참조하여 상세히 설명된다.
다양한 실시 예들에서, 동작 1403의 데이터 통신 연결 과정은, 음성 통화 중에 사용자가 실제 영상 전송을 요청하는 시점(예: 서비스 버튼 선택에 의한 서비스 연결 실행 요청 시점)에 수행될 수 있다.
도 15는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
다양한 실시 예들에서, 도 15는 서비스 연결 시간을 단축하기 위하여, 실질적인 서비스 연결 동작을 수행하기 이전에, 음성 통화 동안 서비스 가입 정보를 확인하는 동작을 도시한다.
도 15를 참조하면, 동작 1501에서, 전자 장치(500)의 제어부(580)(예: 발신 단말로 동작하는 전자 장치의 프로세서)는 음성 통화 중에, 동작 1503에서, 서비스 가입 정보를 확인할 수 있다. 다양한 실시 예들에서, 제어부(580)는 전자 장치(500) 내에 저장된(예: 메모리(650)에 저장된) 연락처 데이터베이스에서, 현재 통화 중인 다른 전자 장치의 연락처에 기초하여 서비스 가입 정보의 유무(예: 영상 서비스를 위한 서비스에 가입되었는지 유무)를 확인할 수 있다.
동작 1505에서, 제어부(580)는 서비스 가입이 확인되는지 판단할 수 있다. 다양한 실시 예들에서, 제어부(580)는 연락처 데이터베이스에서, 현재 통화 중인 다른 전자 장치의 연락처에 기초하여 서비스 가입 정보가 있는지 여부를 판단할 수 있다.
동작 1505에서, 제어부(580)는 다른 전자 장치의 서비스 가입이 확인되면(동작 1505의 예), 동작 1507에서, 다른 전자 장치와 서비스 사용 가능으로 결정할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 음성 통화 중인 다른 전자 장치가 서비스에 가입된 경우, 서비스 연결이 가능한 장치인 것으로 판단하고, 다른 전자 장치에 대해 서비스 사용 가능 정보를 기록할 수 있다. 동작 1507 이후, 제어부(580)는 동작 1517로 진행하여, 이하의 동작 수행을 처리할 수 있다.
동작 1505에서, 제어부(580)는 연락처 데이터베이스에서 다른 전자 장치의 서비스 가입이 확인되지 않으면(동작 1505의 아니오), 동작 1509에서, 서버에 다른 전자 장치에 대한 서비스 가입 여부 확인을 요청할 수 있다. 예를 들면, 제어부(580)는 가입 확인 요청 메시지를 서버에 전송할 수 있다. 다양한 실시 예들에 따라, 가입 확인 요청 메시지는 현재 음성 통화 중인 다른 전자 장치에 대한 정보(예: 전화번호, 고유 정보 등)를 포함할 수 있다.
동작 1511에서, 제어부(580)는 서비스 가입 여부 확인 요청에 대응하는 응답을 수신할 수 있다. 예를 들면, 제어부(580)는 가입 확인 요청 메시지에 대응하는 가입 확인 응답 메시지를 서버로부터 수신할 수 있다. 다양한 실시 예들에 따라, 서버는 전자 장치(500)로부터 서비스 가입 확인 요청 메시지에 대응하여, 내부 데이터베이스에서 다른 전자 장치에 대한 서비스 가입 정보를 확인할 수 있고, 그에 대한 결과를 가입 확인 응답 메시지에 포함하여 전자 장치(500)에 전송할 수 있다.
동작 1513에서, 제어부(580)는 서비스 가입이 확인되는지 판단할 수 있다. 다양한 실시 예들에서, 제어부(580)는 서버로부터의 응답(예: 가입 확인 응답 메시지)로부터 다른 전자 장치에 대한 서비스 가입 여부(예: 영상 서비스를 위한 서비스에 가입되었는지 유무)를 판단할 수 있다.
동작 1513에서, 제어부(580)는 다른 전자 장치에 대한 서비스 가입이 확인되면(동작 1513의 예), 동작 1507로 진행하여, 이하의 동작 수행을 처리할 수 있다.
동작 1513에서, 제어부(580)는 다른 전자 장치에 대한 서비스 가입이 확인되지 않으면(동작 1513의 아니오), 동작 1515에서, 다른 전자 장치와 서비스 사용 불가능으로 결정할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 음성 통화 중인 다른 전자 장치가 서비스에 가입되지 않은 경우, 서비스 연결이 불가능한 장치인 것으로 판단하고, 다른 전자 장치에 대해 서비스 사용 불가능 정보를 기록할 수 있다. 동작 1515 이후, 제어부(580)는 동작 1517로 진행하여, 이하의 동작 수행을 처리할 수 있다.
동작 1517에서, 제어부(580)는 데이터 통신 연결 요청을 감지할 수 있다. 다양한 실시 예들에 따르면, 제어부(580)는 다른 전자 장치와 음성 통화를 수행하는 동안, 서비스 버튼에 기초하여 사용자 입력을 수신(감지)할 수 있다. 제어부(580)는 서비스 버튼에 기초하여 사용자 입력을 수신하면, 현재 음성 통화 수행 중인 다른 전자 장치와 영상 전송을 위한 서비스 연결 요청인 것으로 판단할 수 있다.
동작 1519에서, 제어부(580)는 서비스 사용이 가능한지 여부를 판단할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 데이터 통신 연결 요청이 감지되면, 서비스 사용 가능 여부에 대한 기록 정보에 기초하여 서비스 사용의 가능 여부를 판단할 수 있다.
동작 1519에서, 제어부(580)는 서비스 사용이 가능한 것으로 결정하면(동작 1519의 예), 동작 1521에서, 데이터 통신과 관련된 동작을 처리할 수 있다. 한 실시 예에 따르면, 제어부(580)는 영상 서비스 실행을 결정하면, 설정 방식에 따라 카메라(예: 카메라 모듈(570))을 구동할 수 있고, 카메라를 통해 획득하는 영상(예: 프리뷰 영상)을 전송하기 위한 서비스 연결 동작을 개시(예: 관련 유저 인터페이스 표시 및 서비스 연결 요청 전송)할 수 있다.
동작 1519에서, 제어부(580)는 서비스 사용이 불가능한 것으로 결정하면(동작 1519의 아니오), 동작 1523에서, 데이터 통신 연결을 종료 처리할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 사용자 요청에 대해 다른 전자 장치와 서비스 실행이 불가능함을 가이드 할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 음성 통화와 관련된 동작은 유지 처리할 수 있다.
이상에서 살펴본 바와 같이, 본 발명의 다양한 실시 예들에 따른 전자 장치(500)는, 다른 전자 장치와 제1 통신에 기초하여 음성 통화를 수행하는 과정, 음성 통화 중에 서비스 실행 요청에 응답하여 다른 전자 장치와 제2 통신에 의한 데이터 통신의 가능 여부 및 데이터 통신 품질에 적어도 일부에 기초하여 서비스 연결 여부를 결정하는 과정, 및 서비스 연결 결정 시, 카메라를 통해 획득하는 영상을 디스플레이에 표시 및 영상을 제2 통신에 기초하여 다른 전자 장치에 전송하는 과정을 처리할 수 있다.
다양한 실시 예들에 따라, 음성 통화를 수행하는 과정은, 음성 통화 중에 상기 다른 전자 장치의 서비스 가입 여부를 판단하는 과정을 포함할 수 있다. 다양한 실시 예들에 따라, 서비스 가입 여부를 판단하는 과정은, 전자 장치의 서비스 가입 정보에 기초하여 서비스 가입 여부를 판단하는 과정을 포함할 수 있다.
다양한 실시 예들에 따라, 서비스 가입 여부를 판단하는 과정은, 전자 장치에서 서비스 가입 정보에 기초하여 다른 전자 장치에 대한 서비스 가입 여부가 확인되지 않을 시, 서버에 다른 전자 장치에 대한 서비스 가입 여부 확인을 요청하는 과정을 포함할 수 있다.
다양한 실시 예들에 따라, 서비스 연결 여부를 결정하는 과정은, 서비스 실행 요청에 응답하여, 다른 전자 장치와 상기 서비스 실행을 위한 데이터 통신 연결 동작을 수행하는 과정을 포함할 수 있다. 다양한 실시 예들에 따라, 서비스 연결 여부를 결정하는 과정은, 서비스 연결 요청에 응답하여, 연결 요청 메시지를 전송하는 과정, 연결 요청 메시지에 대응하는 연결 응답 메시지의 수신을 설정된 최대 대기 시간 동안 대기하는 과정을 포함할 수 있다. 다양한 실시 예들에 따라, 서비스 연결 여부를 결정하는 과정은, 최대 대기 시간 내에 상기 연결 응답 메시지가 수신되지 않으면, 상기 음성 통화를 종료하는 과정, 제2 통신에 기초하여 음성 및 데이터 통신을 재연결하는 과정을 포함할 수 있다.
다양한 실시 예들에 따라, 서비스 연결 여부를 결정하는 과정은, 다른 전자 장치가 서비스에 가입된 경우 상기 연결 요청 메시지를 전송하는 과정, 다른 전자 장치가 서비스에 가입되지 않은 경우 서비스 연결 진행을 종료하는 과정을 포함할 수 있다.
다양한 실시 예들에 따라, 서비스 연결 여부를 결정하는 과정은, 연결 응답 메시지 수신에 응답하여, 참여 메시지의 수신을 설정된 최대 대기 시간 동안 대기하는 과정을 포함할 수 있다. 다양한 실시 예들에 따라, 서비스 연결 여부를 결정하는 과정은, 최대 대기 시간 내에 참여 메시지가 수신되지 않으면, 서비스 연결 실패로 결정하는 과정, 서비스 연결을 종료 처리하는 과정을 포함할 수 있다.
본 명세서와 도면에 개시된 본 발명의 다양한 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 전자 장치에 있어서,
    디스플레이;
    적어도 하나의 프로토콜(protocol)을 이용하여 외부 장치와 무선 통신을 형성하도록 설정된 적어도 하나의 통신 회로; 및
    상기 디스플레이 및 상기 적어도 하나의 통신 회로와 전기적으로 연결된 프로세서를 포함하고, 상기 프로세서는,
    상기 디스플레이 상에 유저 인터페이스를 표시하고, 상기 유저 인터페이스는 상기 외부 장치와 영상 통신(video communication)의 가능 여부에 대한 인디케이션(indication)을 포함하고,
    상기 유저 인터페이스를 표시하는 동안 상기 외부 장치와 영상 통화(video call)를 형성하고,
    상기 영상 통신의 가능 여부를 요청하기 위한 제1 신호(first signal)를 상기 적어도 하나의 통신 회로를 이용하여 전송하고,
    상기 영상 통신의 가능 여부를 지시하는 제2 신호(second signal)를 상기 적어도 하나의 통신 회로를 이용하여 수신하고,
    상기 제2 신호에 응답하여, 상기 외부 장치와 영상 통신 가능을 지시하는 상기 인디케이션을 변경(adapt)하고,
    상기 인디케이션을 선택하는 사용자 입력을 수신하고, 및
    상기 사용자 입력에 응답하여, 상기 외부 장치에 영상 데이터(video data)의 전송을 개시(initiate)하도록 설정된 장치.
  2. 제1항에 있어서,
    상기 인디케이션은 아이콘(icon) 또는 텍스트(text) 중 적어도 하나를 포함하는 장치.
  3. 제1항에 있어서, 상기 프로세서는,
    상기 영상 통신의 가능 여부를 모니터(monitor)하고, 상기 외부 장치와 영상 통신이 가능하지 않은 것으로 결정하면, 상기 인디케이션을 변경하도록 설정된 장치.
  4. 제1항에 있어서, 상기 프로세서는,
    상기 외부 장치와 영상 통신이 가능한 경우, 상기 인디케이션을 활성화 표시하고, 상기 외부 장치와 영상 통신이 불가능한 경우, 상기 인디케이션을 비활성화 표시하도록 설정된 장치.
  5. 제1항에 있어서, 상기 프로세서는,
    상기 외부 장치와 제1 통신에 기초하여 음성 통화를 수행하고,
    상기 음성 통화 중에 서비스 실행 요청에 응답하여 상기 외부 장치와 제2 통신에 의한 데이터 통신의 가능 여부 및 데이터 통신 품질에 적어도 일부에 기초하여 서비스 연결 여부를 결정하고, 및
    서비스 연결 결정 시, 카메라를 통해 획득하는 영상을 상기 디스플레이에 표시 및 상기 영상을 상기 제2 통신에 기초하여 상기 외부 장치에 전송하도록 설정된 장치.
  6. 제5항에 있어서, 상기 프로세서는,
    상기 음성 통화 중에 상기 외부 장치의 서비스 가입 여부를 판단하도록 설정된 장치.
  7. 제6항에 있어서, 상기 프로세서는,
    상기 전자 장치의 서비스 가입 정보에 기초하여 상기 외부 장치의 상기 서비스 가입 여부를 판단하고,
    상기 전자 장치에서 서비스 가입 정보에 기초하여 상기 외부 장치에 대한 서비스 가입 여부가 확인되지 않을 시, 서버에 상기 외부 장치에 대한 서비스 가입 여부 확인을 요청하도록 설정된 장치.
  8. 제6항에 있어서, 상기 프로세서는,
    상기 서비스 실행 요청에 응답하여, 연결 요청 메시지를 전송하고,
    상기 연결 요청 메시지에 대응하는 연결 응답 메시지의 수신을 설정된 최대 대기 시간 동안 대기하고,
    상기 최대 대기 시간 내에 상기 연결 응답 메시지가 수신되지 않으면, 상기 음성 통화를 종료하고,
    상기 제2 통신에 기초하여 음성 및 데이터 통신을 재연결하도록 설정된 장치.
  9. 제8항에 있어서, 상기 프로세서는,
    상기 외부 장치가 서비스에 가입된 경우, 상기 연결 요청 메시지를 전송하고,
    상기 외부 장치가 서비스에 가입되지 않은 경우, 상기 서비스 연결 진행을 종료하도록 설정된 장치.
  10. 제8항에 있어서, 상기 프로세서는,
    상기 연결 응답 메시지 수신에 응답하여, 참여 메시지의 수신을 설정된 최대 대기 시간 동안 대기하고,
    상기 최대 대기 시간 내에 상기 참여 메시지가 수신되지 않으면, 서비스 연결 실패로 결정하고,
    서비스 연결을 종료 처리하도록 설정된 장치.
  11. 전자 장치의 동작 방법에 있어서,
    외부 장치와 제1 통신에 기초하여 음성 통화를 수행하는 과정,
    상기 음성 통화 중에 서비스 실행 요청에 응답하여 상기 외부 장치와 제2 통신에 의한 데이터 통신의 가능 여부 및 데이터 통신 품질에 적어도 일부에 기초하여 서비스 연결 여부를 결정하는 과정, 및
    서비스 연결 결정 시, 카메라를 통해 획득하는 영상을 디스플레이에 표시 및 영상을 상기 제2 통신에 기초하여 상기 외부 장치에 전송하는 과정을 포함하는 방법.
  12. 제11항에 있어서, 상기 음성 통화를 수행하는 과정은,
    상기 음성 통화 중에 상기 외부 장치의 서비스 가입 여부를 판단하는 과정을 포함하는 방법.
  13. 제12항에 있어서, 상기 서비스 가입 여부를 판단하는 과정은,
    상기 전자 장치의 서비스 가입 정보에 기초하여 상기 외부 장치의 상기 서비스 가입 여부를 판단하는 과정,
    상기 전자 장치에서 서비스 가입 정보에 기초하여 상기 외부 장치에 대한 서비스 가입 여부가 확인되지 않을 시, 서버에 상기 외부 장치에 대한 서비스 가입 여부 확인을 요청하는 과정을 포함하는 방법.
  14. 제13항에 있어서, 상기 서비스 연결 여부를 결정하는 과정은,
    상기 서비스 연결 요청에 응답하여, 연결 요청 메시지를 전송하는 과정,
    상기 연결 요청 메시지에 대응하는 연결 응답 메시지의 수신을 설정된 최대 대기 시간 동안 대기하는 과정,
    상기 최대 대기 시간 내에 상기 연결 응답 메시지가 수신되지 않으면, 상기 음성 통화를 종료하는 과정,
    상기 제2 통신에 기초하여 음성 및 데이터 통신을 재연결하는 과정을 포함하는 방법.
  15. 제14항에 있어서, 상기 서비스 연결 여부를 결정하는 과정은,
    상기 연결 응답 메시지 수신에 응답하여, 참여 메시지의 수신을 설정된 최대 대기 시간 동안 대기하는 과정,
    상기 최대 대기 시간 내에 상기 참여 메시지가 수신되지 않으면, 서비스 연결 실패로 결정하는 과정,
    서비스 연결을 종료 처리하는 과정을 포함하는 방법.
PCT/KR2017/000545 2016-01-19 2017-01-17 음성통화 중 영상을 전송하는 방법 및 장치 WO2017126858A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/070,954 US10455192B2 (en) 2016-01-19 2017-01-17 Method and apparatus for transmitting video during voice call
EP17741624.5A EP3402185B1 (en) 2016-01-19 2017-01-17 Method and apparatus for transmitting video during voice call
CN201780007335.8A CN108476302A (zh) 2016-01-19 2017-01-17 用于在语音呼叫期间发送视频的方法和设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160006420A KR20170086869A (ko) 2016-01-19 2016-01-19 음성통화 중 영상을 전송하는 방법 및 장치
KR10-2016-0006420 2016-01-19

Publications (1)

Publication Number Publication Date
WO2017126858A1 true WO2017126858A1 (ko) 2017-07-27

Family

ID=59362022

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/000545 WO2017126858A1 (ko) 2016-01-19 2017-01-17 음성통화 중 영상을 전송하는 방법 및 장치

Country Status (5)

Country Link
US (1) US10455192B2 (ko)
EP (1) EP3402185B1 (ko)
KR (1) KR20170086869A (ko)
CN (1) CN108476302A (ko)
WO (1) WO2017126858A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102044523B1 (ko) * 2017-08-22 2019-11-13 에스케이텔레콤 주식회사 근거리 무선 통신 장치 및 방법
US10498775B2 (en) 2017-08-31 2019-12-03 T-Mobile Usa, Inc. Exchanging non-text content in real time text messages
JP7101525B2 (ja) * 2018-04-20 2022-07-15 キヤノン株式会社 電子機器およびその制御方法、並びに、プログラム
US11991131B2 (en) 2018-08-03 2024-05-21 Flash App, LLC Enhanced enterprise data sharing to mobile device users
US10965630B2 (en) * 2018-08-03 2021-03-30 Flash App, LLC Enhanced data sharing to and between mobile device users
US10992621B2 (en) * 2018-08-03 2021-04-27 Flash App, LLC Enhanced data sharing to and between mobile device users
US10880433B2 (en) 2018-09-26 2020-12-29 Rovi Guides, Inc. Systems and methods for curation and delivery of content for use in electronic calls
US11172001B1 (en) * 2019-03-26 2021-11-09 Amazon Technologies, Inc. Announcement in a communications session
WO2021066377A1 (en) * 2019-10-04 2021-04-08 Samsung Electronics Co., Ltd. Electronic device for improving quality of call and operation method thereof
KR102090800B1 (ko) * 2019-10-30 2020-03-18 에스케이텔레콤 주식회사 근거리 무선 통신 장치 및 방법
CN111372132B (zh) * 2020-02-25 2022-03-08 广州华多网络科技有限公司 进行音视频传输的方法、装置、设备及存储介质
KR20220003812A (ko) * 2020-07-02 2022-01-11 삼성전자주식회사 호 채널의 상태에 기반하여 필터를 사용하여 전처리된 컨텐츠를 전송하는 전자 장치 및 전자 장치의 동작 방법
US11893698B2 (en) * 2020-11-04 2024-02-06 Samsung Electronics Co., Ltd. Electronic device, AR device and method for controlling data transfer interval thereof
CN112601042B (zh) * 2020-11-23 2022-12-09 聚好看科技股份有限公司 显示设备、服务器及视频通话兼容不同协议信令的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090008719A (ko) * 2007-07-18 2009-01-22 (주)케이티에프테크놀로지스 화이트보드 기능 지원 영상통화 장치 및 그 동작방법
KR20120079010A (ko) * 2011-01-03 2012-07-11 삼성전자주식회사 통화 중 미디어 데이터 전송 시스템 및 방법
JP2013143752A (ja) * 2012-01-12 2013-07-22 Nippon Telegr & Teleph Corp <Ntt> 映像送信制御装置、方法及びプログラム
KR20140029740A (ko) * 2012-08-29 2014-03-11 삼성전자주식회사 전자장치에서 영상통화중 파일 전송 방법 및 장치
KR20150009644A (ko) * 2013-07-16 2015-01-27 주식회사 엘지유플러스 영상통화-음성통화 전환 방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2871015A1 (fr) * 2004-06-01 2005-12-02 France Telecom Procede de commutation entre deux services de telephonie
KR100646061B1 (ko) 2004-09-02 2006-11-15 에스케이 텔레콤주식회사 이동전화에서 통화중 영상촬영 및 전송방법
EP1829390B1 (en) * 2004-12-21 2012-10-10 Telefonaktiebolaget LM Ericsson (publ) A method and arrangement for providing information on multimedia options
CN101277343B (zh) * 2007-03-30 2012-01-04 华为技术有限公司 在语音通信网络中实现视频捆绑的方法、终端及系统
CN101803357A (zh) * 2007-09-17 2010-08-11 朗讯科技公司 用于多媒体通信的方法、装置和系统
US8254828B2 (en) 2007-11-30 2012-08-28 Apple Inc. Methods and systems for mixing media with communications
CN101232641B (zh) * 2007-12-28 2012-04-18 上海茂碧信息科技有限公司 一种在双卡双待手机上实现可视电话的方法
CN101330542B (zh) * 2008-07-10 2011-07-27 华为终端有限公司 在语音通信过程中进行视频通信的方法及终端
KR101123118B1 (ko) * 2008-07-11 2012-03-20 삼성전자주식회사 동시대기 휴대 단말기의 화상 통화 장치 및 방법
US8300082B2 (en) 2008-12-15 2012-10-30 At&T Intellectual Property I, Lp Apparatus and method for video conferencing
JP2011035716A (ja) * 2009-08-03 2011-02-17 Funai Electric Co Ltd 携帯電話機、携帯電話機を用いた撮像システムおよび撮像方法
WO2012079620A1 (en) * 2010-12-14 2012-06-21 Telefonaktiebolaget Lm Ericsson (Publ) A client and a method in a client in a communication network for providing a service
CN102821204B (zh) * 2012-08-10 2014-04-09 南京森林警察学院 一种便携式多媒体通信装置及其应用
US9112930B2 (en) * 2012-10-26 2015-08-18 Microsoft Technology Licensing, Llc Updating services during real-time communication and sharing-experience sessions
KR101451336B1 (ko) 2012-10-29 2014-10-15 (주)티아이스퀘어 통화 서비스 수행시 영상 서비스를 제공하는 장치 및 방법
JP6097679B2 (ja) 2013-02-28 2017-03-15 エルジー アプラス コーポレーション 端末間機能共有方法及びその端末
US20150049164A1 (en) * 2013-08-19 2015-02-19 Sriraman Krishnamoorthy Seamless call transitions with escalation-aware notifications
US9961608B2 (en) * 2013-08-19 2018-05-01 Microsoft Technology Licensing, Llc Seamless call transitions
US10412127B2 (en) * 2014-05-20 2019-09-10 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for establishing an additional session to an anonymous user
CN104967810A (zh) * 2015-06-30 2015-10-07 努比亚技术有限公司 一种通话模式的转换方法及终端设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090008719A (ko) * 2007-07-18 2009-01-22 (주)케이티에프테크놀로지스 화이트보드 기능 지원 영상통화 장치 및 그 동작방법
KR20120079010A (ko) * 2011-01-03 2012-07-11 삼성전자주식회사 통화 중 미디어 데이터 전송 시스템 및 방법
JP2013143752A (ja) * 2012-01-12 2013-07-22 Nippon Telegr & Teleph Corp <Ntt> 映像送信制御装置、方法及びプログラム
KR20140029740A (ko) * 2012-08-29 2014-03-11 삼성전자주식회사 전자장치에서 영상통화중 파일 전송 방법 및 장치
KR20150009644A (ko) * 2013-07-16 2015-01-27 주식회사 엘지유플러스 영상통화-음성통화 전환 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3402185A4 *

Also Published As

Publication number Publication date
EP3402185A4 (en) 2019-01-09
US10455192B2 (en) 2019-10-22
KR20170086869A (ko) 2017-07-27
US20190037172A1 (en) 2019-01-31
EP3402185A1 (en) 2018-11-14
CN108476302A (zh) 2018-08-31
EP3402185B1 (en) 2022-07-13

Similar Documents

Publication Publication Date Title
WO2017126858A1 (ko) 음성통화 중 영상을 전송하는 방법 및 장치
WO2018131775A1 (ko) 전자 장치 및 그의 동작 방법
AU2016224180B2 (en) Method and apparatus for supporting communication in electronic device
WO2018174545A1 (en) Method and electronic device for transmitting audio data to multiple external devices
WO2018159962A1 (en) Electronic device for processing user input and method for processing user input
WO2017010803A1 (en) Method for operating electronic device, and electronic device
WO2017111382A1 (en) Electronic device and method for image control thereof
WO2016085253A1 (en) Screen configuration method, electronic device, and storage medium
WO2017026652A1 (en) Method and apparatus for outputting audio in electronic device
AU2015368047B2 (en) Method and apparatus for providing communication-related information
WO2016056858A2 (en) Method for sharing screen and electronic device thereof
WO2016171523A1 (en) Electronic device and call processing method thereof
WO2015142114A1 (en) Method of call forwarding between devices
WO2017155256A1 (en) Method and apparatus for sharing contents
WO2016137290A1 (en) Method of managing one or more notifications and electronic device for same
WO2017142373A1 (en) Method of controlling the sharing of videos and electronic device adapted thereto
WO2017069535A1 (en) Electronic device and method for processing message
WO2017209502A1 (ko) 전자 장치와 충전 장치간의 연결을 제어하는 방법 및 이를 제공하는 장치
WO2018174426A1 (ko) 전자 장치의 상태에 따른 외부 장치 제어 방법 및 장치
WO2016167620A1 (en) Apparatus and method for providing information via portion of display
WO2016137228A1 (en) Electronic device employing level-based transmission of configuration information
WO2017155251A1 (ko) 전자장치에서의 비디오 스트리밍 장치 및 방법
WO2017095203A2 (en) Electronic device and method for displaying a notification object
WO2018135841A1 (en) Message generation method and wearable electronic device for supporting the same
WO2019050374A1 (en) ELECTRONIC DEVICE AND METHOD FOR COMMUNICATING WITH AN EXTERNAL ELECTRONIC DEVICE

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17741624

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017741624

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017741624

Country of ref document: EP

Effective date: 20180809