WO2017135665A1 - 영상 서비스 제공 방법 및 장치 - Google Patents

영상 서비스 제공 방법 및 장치 Download PDF

Info

Publication number
WO2017135665A1
WO2017135665A1 PCT/KR2017/001066 KR2017001066W WO2017135665A1 WO 2017135665 A1 WO2017135665 A1 WO 2017135665A1 KR 2017001066 W KR2017001066 W KR 2017001066W WO 2017135665 A1 WO2017135665 A1 WO 2017135665A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
image
video
present disclosure
various embodiments
Prior art date
Application number
PCT/KR2017/001066
Other languages
English (en)
French (fr)
Inventor
이원식
신종균
이현율
래도르프라감
권양희
김영림
김준석
송진호
원지인
이동오
이선정
이진구
이택헌
임완수
전승빈
정승연
최규형
박태건
염동현
윤수하
정의창
정철호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN201780016569.9A priority Critical patent/CN108781271B/zh
Priority to EP17747710.6A priority patent/EP3402186A4/en
Priority to US16/075,026 priority patent/US10715762B2/en
Publication of WO2017135665A1 publication Critical patent/WO2017135665A1/ko
Priority to US16/883,705 priority patent/US11032514B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/18—Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • H04W76/15—Setup of multiple wireless link connections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145—Handheld terminals

Definitions

  • Various embodiments of the present disclosure relate to a method and an apparatus for sharing an image while performing a voice call between electronic devices.
  • the electronic device can browse web pages or install applications using the Internet to provide a service (eg, video service (eg, video sharing, video call service, etc.)) that the user desires anywhere through the electronic device. Can be provided.
  • a service eg, video service (eg, video sharing, video call service, etc.)
  • Conventional video sharing services such as video sharing or video call services are usually provided through mobile communication networks, which are mostly done by pressing a separate video call button.
  • the conventional video service has a limitation that must pass through a mobile communication network that provides a video call service.
  • a mobile communication network that provides a video call service.
  • a video service and a voice call service cannot be separately performed, a video service cannot be provided in parallel while performing a voice call.
  • a voice call and an image capturing and transmitting function are separated. Therefore, when a user is not in a voice call in order to photograph and transmit an image to the counterpart, the caller may perform various processes for image capturing, storing, and transmitting after activating the camera.
  • the conventional video service provides a service using a stable data network, such as Wi-Fi (WiFi), or a network of the same operator when exchanging video and audio in a mobile environment (mobile environment).
  • Wi-Fi Wi-Fi
  • the conventional video service can support a variety of interactions between users because the main purpose of the simple video and audio exchange.
  • Various embodiments of the present disclosure disclose a method, an apparatus, and a system for increasing the stability of a communication connection for transmitting a video when transmitting a video to a call partner during a voice call.
  • Various embodiments disclose a method, an apparatus, and a system capable of providing dynamic data transmission / reception in consideration of different networks and network conditions so that video and audio sharing can be smoothly provided between different service providers.
  • a data communication connection method for transmitting a video during a voice call is determined by using a result of determining whether data communication with a call partner is possible for the voice call, and determining data communication quality with the call partner when communication is possible.
  • Various embodiments of the present disclosure disclose a method, an apparatus, and a system capable of simultaneously performing a video service related function while performing a voice call in an electronic device.
  • Various embodiments disclose a method, an apparatus, and a system that can dynamically share a situation related to a video service to a user.
  • Various embodiments of the present disclosure disclose a method, an apparatus, and a system in which an electronic device photographs an image to be transmitted during a voice call, transmits (shares) an image to the counterpart and displays the image on the counterpart electronic device without a separate transmission operation.
  • an image eg, a video or an image
  • a communication means e.g., a Wi-Fi Protected Access (WPA)
  • a plurality of devices share the same and provide an interactive video service based on the shared image.
  • Various embodiments disclose a method, an apparatus, and a system including a user interface that can provide various interactions between users based on video and audio shared by a plurality of electronic devices.
  • Various embodiments disclose a method, an apparatus, and a system capable of multimedia processing and remote control for capturing and sharing an image in various situations occurring during voice communication between users.
  • An electronic device may include a camera, a display, a communication unit configured to form wireless communication with another electronic device using at least one protocol, and the camera, the display, and the communication unit. And a processor connected to the processor, wherein the processor performs a voice call based on the first network with the other electronic device and performs a voice call with the other electronic device while performing a video call with the other electronic device. detect a user input for performing a video call, and in response to the user input, display a user interface associated with the video call on the video call connection and the display based on a second network, and the user Display and display the image acquired through the camera through an interface The image may be configured to be transmitted to the other electronic device through the second network.
  • a method of operating an electronic device may include performing a voice call based on a first network with another electronic device, while performing a voice call with the other electronic device. Detecting a user input for conducting a video call with an electronic device, and displaying a user interface related to the video call on the video call connection and display based on a second network in response to the user input And displaying the image acquired by the camera through the user interface and transmitting the displayed image to the other electronic device through the second network.
  • various embodiments of the present disclosure may include a computer-readable recording medium having recorded thereon a program for executing the method in a processor.
  • an operation of performing a voice call based on a first network with another electronic device and during a voice call with the other electronic device may be performed.
  • a user input for conducting a video call displaying a user interface associated with the video call on the video call connection and display based on a second network, and displaying a camera through the user interface.
  • a computer-readable recording medium having recorded thereon a program for displaying an image acquired through the display and transmitting the displayed image to the other electronic device through the second network.
  • an electronic device and an operation method thereof may be provided based on a more stable connection when transmitting or sharing a camera image to a counterpart during a voice call.
  • the electronic device may provide a video service such as a video sharing or a video call through a network (for example, a second communication) separate from a network (for example, a first communication) for a voice call.
  • a mobile communication network for example, a cellular network
  • video transmission and reception may be provided, and various remote control may be supported through user input.
  • a user may share his or her situation through an image, upload it to a social service (eg, SNS), or separately manage it according to the user.
  • a social service eg, SNS
  • a pose of a user may be predicted based on a gesture, and thus, a suitable call mode (eg, a video service mode and a voice service mode) may be determined and based on the result.
  • the resource of the electronic device may be allocated.
  • the user's convenience may be enhanced and user's interest may be caused.
  • the user when a user wants to transmit an image during a voice call, the user may input one user input (eg, button selection, voice command input, gesture (motion) input using the electronic device, etc.) set in the electronic device.
  • one user input eg, button selection, voice command input, gesture (motion) input using the electronic device, etc.
  • camera activation, image capturing, image processing, and image transmission may be performed, thereby improving accessibility and convenience for the user's use of the electronic device.
  • FIG. 1 is a diagram illustrating a network environment including an electronic device according to various embodiments of the present disclosure.
  • FIG. 2 is a block diagram illustrating an electronic device according to various embodiments of the present disclosure.
  • FIG. 3 is a block diagram of a program module according to various embodiments of the present disclosure.
  • FIG. 4 is a diagram illustrating a system according to various embodiments of the present disclosure.
  • FIG. 5 is a diagram schematically illustrating a configuration of an electronic device according to various embodiments of the present disclosure.
  • FIG. 6 is a diagram illustrating an example of a system including an electronic device according to various embodiments of the present disclosure.
  • FIG. 7 is a diagram illustrating another example of a system including an electronic device according to various embodiments of the present disclosure.
  • FIG. 8 is a diagram illustrating an image processing operation in an electronic device according to various embodiments of the present disclosure.
  • FIG. 9 is a diagram illustrating a registration operation of a video service in a system according to various embodiments of the present disclosure.
  • FIG. 10 is a diagram illustrating an activation operation of a video service in a system according to various embodiments of the present disclosure. Referring to FIG. 10
  • FIG. 11 is a diagram illustrating an activation operation of a video service in a system according to various embodiments of the present disclosure.
  • FIG. 12 is a diagram illustrating an operation of connecting a video service during a call in an electronic device according to various embodiments of the present disclosure.
  • FIG. 13 is a diagram illustrating an operation of connecting a video service during a call in an electronic device according to various embodiments of the present disclosure.
  • 14A, 14B, and 14C are diagrams for describing an example of a user interface of an electronic device according to various embodiments of the present disclosure.
  • 15 and 16 illustrate an example of a screen on which an image service is performed in an electronic device according to various embodiments of the present disclosure.
  • 17, 18, and 19 are diagrams for describing an example of a screen on which an image service is performed in an electronic device according to various embodiments of the present disclosure.
  • 20 is a flowchart illustrating a method of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • 21 and 22 illustrate examples of screens on which an image service is performed in an electronic device according to various embodiments of the present disclosure.
  • FIG. 23 is a flowchart illustrating a method of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • 24 is a flowchart illustrating a method of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • FIG. 25 is a diagram illustrating an example of a screen on which an image service is performed in an electronic device according to various embodiments of the present disclosure.
  • FIG. 26 is a diagram illustrating an example of a screen on which an image service is performed in an electronic device according to various embodiments of the present disclosure.
  • FIG. 27 is a diagram illustrating an example of a screen on which an image service is performed in an electronic device according to various embodiments of the present disclosure.
  • FIG. 28 is a diagram illustrating an example of a screen on which an image service is performed in an electronic device according to various embodiments of the present disclosure.
  • FIG. 29 is a diagram illustrating an example of a screen displaying a video communication waiting state when a video service is connected in an electronic device according to various embodiments of the present disclosure.
  • FIG. 30 is a diagram illustrating an example of a screen displaying a video communication waiting state when a video service is connected in an electronic device according to various embodiments of the present disclosure.
  • FIG. 31 is a diagram illustrating an example of a screen on which an image service is performed in an electronic device according to various embodiments of the present disclosure.
  • 32 is a diagram illustrating an example of a screen on which an image service is performed in an electronic device according to various embodiments of the present disclosure.
  • FIG 33 is a diagram illustrating an example of a screen displaying a video communication wait when a video service is connected in an electronic device according to various embodiments of the present disclosure.
  • 34 is a diagram illustrating an example of a screen on which an image service is performed in an electronic device according to various embodiments of the present disclosure.
  • 35A, 35B, 35C, and 35D are diagrams illustrating an example of processing of a video service connection failure in an electronic device according to various embodiments of the present disclosure.
  • 36 is a diagram illustrating an example of a screen on which an image service is performed in an electronic device according to various embodiments of the present disclosure.
  • FIG. 37 is a flowchart illustrating a method of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • 38 is a diagram illustrating a method of performing an image service between electronic devices according to various embodiments of the present disclosure.
  • FIG. 39 is a diagram illustrating an example of a screen on which an image service is performed in an electronic device according to various embodiments of the present disclosure.
  • FIG. 40 is a diagram illustrating an example of a screen on which an image service is performed in an electronic device according to various embodiments of the present disclosure.
  • 41 is a flowchart illustrating a method of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • FIG. 42 is a diagram illustrating an example of a user interface of an electronic device according to various embodiments of the present disclosure.
  • 43 is a diagram illustrating an example of a user interface of an electronic device according to various embodiments of the present disclosure.
  • 44 is a diagram illustrating an example of a user interface of an electronic device according to various embodiments of the present disclosure.
  • 45, 46, and 47 are diagrams illustrating examples of a user interface of an electronic device according to various embodiments of the present disclosure.
  • 50 is a diagram illustrating a method of performing an image service in electronic devices according to various embodiments of the present disclosure.
  • 51A, 51B, 52 and 53 are diagrams for describing an operation of performing an image service in electronic devices according to various embodiments of the present disclosure.
  • 54 and 55 are diagrams for describing an operation of performing an image service in electronic devices according to various embodiments of the present disclosure.
  • 56 and 57 are diagrams for describing an operation of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • 58 and 59 are diagrams for describing an operation of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • 60 is a diagram illustrating an example of an operation of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • 61 is a flowchart illustrating a method of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • 62 and 63 are diagrams for describing an operation of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • 64 is a diagram illustrating a method of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • 65 is a flowchart illustrating a method of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • 66 is a flowchart illustrating a method of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • 67 is a flowchart illustrating a method of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • 68A and 68B illustrate an example of an operation of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • 69A and 69B are diagrams for describing an operation of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • 70 is a diagram illustrating a method of performing an image service in electronic devices according to various embodiments of the present disclosure.
  • 71 is a diagram illustrating a method of performing an image service in electronic devices according to various embodiments of the present disclosure.
  • 72 and 73 are diagrams for describing an operation of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • 74 and 75 are diagrams for describing an operation of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • 76 and 77 are diagrams for describing an operation of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • FIG. 78 is a diagram illustrating an example of an operation of performing a video service in an electronic device according to various embodiments of the present disclosure.
  • expressions such as “A or B,” “at least one of A or / and B,” or “one or more of A or / and B” may include all possible combinations of items listed together.
  • “A or B,” “at least one of A and B,” or “at least one of A or B,” includes (1) at least one A, (2) at least one B, Or (3) both of cases including at least one A and at least one B.
  • first,” “second,” “first,” or “second,” and the like may modify various components, regardless of order and / or importance, and may form a component. It is used to distinguish it from other components and does not limit the components.
  • the first user device and the second user device may represent different user devices regardless of the order or importance.
  • the first component may be called a second component, and similarly, the second component may be renamed to the first component.
  • One component (such as a first component) is "(functionally or communicatively) coupled with / to" to another component (such as a second component) or " When referred to as “connected to”, it should be understood that any component may be directly connected to the other component or may be connected through another component (eg, a third component).
  • a component e.g., a first component
  • another component e.g., a second component
  • no other component e.g., a third component
  • the expression “configured to” as used in this document is, for example, “having the capacity to” depending on the context, for example, “suitable for,” “. It may be used interchangeably with “designed to,” “adapted to,” “made to,” or “capable of.”
  • the term “configured to” may not necessarily mean only “specifically designed to” in hardware. Instead, in some situations, the expression “device configured to” may mean that the device “can” along with other devices or components.
  • the phrase “processor configured (or configured to) perform A, B, and C” may be implemented by executing a dedicated processor (eg, an embedded processor) to perform its operation, or one or more software programs stored in a memory device. It may mean a general-purpose processor (eg, a central processing unit (CPU) or an application processor (AP)) capable of performing corresponding operations.
  • a dedicated processor eg, an embedded processor
  • AP application processor
  • An electronic device may include, for example, a smartphone, a tablet personal computer, a mobile phone, a video phone, an e-book reader, Desktop personal computer (PC), laptop personal computer (PC), netbook computer, workstation, server, personal digital assistant (PDA), portable multimedia player (PMP), MP3 player, mobile medical It may include at least one of a device, a camera, or a wearable device.
  • a wearable device may be an accessory (eg, a watch, ring, bracelet, anklet, necklace, glasses, contact lens, or head-mounted-device (HMD), fabric, or clothing) (Eg, an electronic garment), a body attachment type (eg, a skin pad or a tattoo), or a living implantable type (eg, an implantable circuit).
  • an accessory eg, a watch, ring, bracelet, anklet, necklace, glasses, contact lens, or head-mounted-device (HMD), fabric, or clothing
  • HMD head-mounted-device
  • fabric or clothing
  • clothing Eg, an electronic garment
  • a body attachment type eg, a skin pad or a tattoo
  • a living implantable type eg, an implantable circuit
  • the electronic device may be a home appliance.
  • Home appliances are, for example, televisions, digital video disk (DVD) players, audio, refrigerators, air conditioners, vacuum cleaners, ovens, microwaves, washing machines, air cleaners, set-top boxes, home automation control panels ( home automation control panel, security control panel, TV box (e.g. Samsung HomeSync TM , Apple TV TM , or Google TV TM ), game console (e.g. Xbox TM , PlayStation TM ), electronic dictionary, electronic It may include at least one of a key, a camcorder, or an electronic picture frame.
  • DVD digital video disk
  • the electronic device may include various medical devices (eg, various portable medical measuring devices (such as blood glucose meters, heart rate monitors, blood pressure monitors, or body temperature meters), magnetic resonance angiography (MRA), magnetic resonance imaging (MRI), Computed tomography (CT), imaging or ultrasound), navigation devices, global navigation satellite systems (GNSS), event data recorders (EDRs), flight data recorders (FDRs), automotive infotainment Devices, ship electronics (e.g.
  • various portable medical measuring devices such as blood glucose meters, heart rate monitors, blood pressure monitors, or body temperature meters
  • MRA magnetic resonance angiography
  • MRI magnetic resonance imaging
  • CT Computed tomography
  • imaging or ultrasound navigation devices
  • GNSS global navigation satellite systems
  • EDRs event data recorders
  • FDRs flight data recorders
  • automotive infotainment Devices ship electronics
  • POS Point of sales
  • Internet of things e.g., light bulbs, sensors, electricity or gas meters, sprinkler devices, fire alarms, thermostats, street lights, sat. It may include at least one of (toaster), exercise equipment, hot water tank, heater, boiler.
  • an electronic device may be a furniture or part of a building / structure, an electronic board, an electronic signature receiving device, a projector, or various measuring devices (eg, Water, electricity, gas, or radio wave measuring instrument).
  • the electronic device may be a combination of one or more of the aforementioned various devices.
  • An electronic device according to an embodiment may be a flexible electronic device.
  • the electronic device according to an embodiment of the present disclosure is not limited to the above-described devices, and may include a new electronic device according to technology development.
  • the term user may refer to a person who uses an electronic device or a device (eg, an artificial intelligence electronic device) that uses an electronic device.
  • FIG. 1 is a diagram illustrating a network environment including an electronic device according to various embodiments of the present disclosure.
  • the electronic device 101 may include a bus 110, a processor 120, a memory 130, an input / output interface 150, a display 160, and a communication interface 170. have. According to an embodiment of the present disclosure, the electronic device 101 may omit at least one of the components or additionally include other components.
  • the bus 110 may include, for example, circuitry that connects the components 110-170 to each other and delivers communication (eg, control messages and / or data) between the components.
  • the processor 120 may include one or more of a central processing unit (CPU), an application processor (AP), or a communication processor (CP).
  • the processor 120 may execute, for example, an operation or data processing related to control and / or communication of at least one other element of the electronic device 101.
  • the processing (or control) operation of the processor 120 according to various embodiments of the present disclosure will be described in detail with reference to the accompanying drawings.
  • the memory 130 may include volatile and / or nonvolatile memory.
  • the memory 130 may store, for example, a command or data related to at least one other element of the electronic device 101.
  • the memory 130 may store software and / or program 140.
  • the program 140 may include, for example, a kernel 141, middleware 143, an application programming interface (API) 145, and / or an application program (or “application”) 147. have. At least a portion of kernel 141, middleware 143, or API 145 may be referred to as an operating system (OS).
  • OS operating system
  • the memory 130 may include a computer-readable recording medium having recorded thereon a program for executing the method according to various embodiments of the present disclosure.
  • the kernel 141 may be a system resource (eg, bus 110, processor 120, or, for example) that is used to execute an action or function implemented in other programs (eg, middleware 143, API 145, or application program 147). Memory 130, etc.) can be controlled or managed.
  • the kernel 141 may provide an interface for controlling or managing system resources by accessing individual components of the electronic device 101 from the middleware 143, the API 145, or the application program 147.
  • the middleware 143 may serve as an intermediary for allowing the API 145 or the application program 147 to communicate with the kernel 141 to exchange data.
  • the middleware 143 may process one or more work requests received from the application program 147 according to priority. For example, the middleware 143 may give priority to the use of system resources (eg, the bus 110, the processor 120, or the memory 130, etc.) of the electronic device 101 to at least one of the application programs 147. For example, the middleware 143 may perform scheduling or load balancing on the one or more work requests by processing the one or more work requests according to the priority given to the at least one.
  • system resources eg, the bus 110, the processor 120, or the memory 130, etc.
  • API 145 is, for example, an interface for application 147 to control functions provided by kernel 141 or middleware 143. For example, file control, window control, image processing, and the like. ), Or at least one interface or function (eg, a command) for character control or the like.
  • the input / output interface 150 may serve as an interface that may transfer commands or data input from a user or another external device to other component (s) of the electronic device 101. Also, the input / output interface 150 may output a command or data received from other component (s) of the electronic device 101 to a user or another external device.
  • Display 160 may be, for example, a liquid crystal display (LCD), a light-emitting diode (LED) display, an organic light-emitting diode (OLED) display, or microelectronics.
  • LCD liquid crystal display
  • LED light-emitting diode
  • OLED organic light-emitting diode
  • MEMS Microelectromechanical systems
  • the display 160 may display various contents (eg, text, image, video, icon, symbol, etc.) to the user.
  • the display 160 may include a touch screen, and may include, for example, a touch, gesture, proximity, or hovering using an electronic pen or a part of a user's body. An input can be received.
  • the communication interface 170 may establish communication between the electronic device 101 and an external device (eg, the first external electronic device 102, the second external electronic device 104, or the server 106).
  • the communication interface 170 may be connected to the network 162 through wireless or wired communication to communicate with an external device (eg, the second external electronic device 104 or the server 106).
  • Wireless communication is, for example, a cellular communication protocol, for example, long-term evolution (LTE), LTE Advance (LTE-A), code division multiple access (CDMA), wideband CDMA (WCDMA), At least one of a universal mobile telecommunications system (UMTS), a wireless broadband (WiBro), a global system for mobile communications (GSM), and the like may be used.
  • the wireless communication may include, for example, short range communication 164.
  • the short range communication 164 may include, for example, at least one of wireless fidelity (WiFi), Bluetooth (Bluetooth), near field communication (NFC), global navigation satellite system (GNSS), and the like.
  • GNSS may be used according to the area of use or bandwidth, for example, global positioning system (GPS), global navigation satellite system (Glonass), Beidou navigation satellite system (hereinafter referred to as "Beidou”) or Galileo, the European global satellite-based navigation system. It may include at least one of.
  • GPS global positioning system
  • Glonass global navigation satellite system
  • Beidou Beidou navigation satellite system
  • Galileo the European global satellite-based navigation system. It may include at least one of.
  • Wired communication may include, for example, universal serial bus (USB), high definition multimedia interface (HDMI), and RS-. It may include at least one of a reduced standard 232, a plain old telephone service (POTS), etc.
  • the network 162 may be a telecommunications network, for example, a computer network (eg, a LAN or At least one of a WAN, the Internet, and a telephone network.
  • Each of the first and second external electronic devices 102 and 104 may be the same or different type of device as the electronic device 101.
  • the server 106 may include a group of one or more servers.
  • all or part of operations executed in the electronic device 101 may be executed in another or a plurality of electronic devices (for example, the electronic devices 102 and 104 or the server 106.
  • the electronic device 101 may, in addition to or in addition execute the function or service itself, perform at least some of the functions associated with another device (eg, an electronic device). (102, 104) or server 106.
  • Another electronic device executes the requested function or additional function, and outputs the result to electronic device 101.
  • the electronic device 101 may process the received result as it is or additionally to provide the requested function or service.
  • Cloud computing cloud computing
  • Distributed Computing distributed computing
  • client-server computing client-server computing
  • FIG. 2 is a block diagram of an electronic device according to various embodiments of the present disclosure.
  • the electronic device 201 may include, for example, all or part of the electronic device 101 illustrated in FIG. 1.
  • the electronic device 201 may include one or more processors (eg, an application processor) 210, a communication module 220, a subscriber identification module 224, a memory 230, a sensor module 240, an input device 250, a display 260, an interface 270, an audio module 280, and a camera module. 291, power management module 295, battery 296, indicator 297, and motor 298.
  • the processor 210 may control, for example, a plurality of hardware or software components connected to the processor 210 by driving an operating system or an application program, and may perform various data processing and operations.
  • the processor 210 may be implemented with, for example, a system on chip (SoC).
  • SoC system on chip
  • the processor 210 may further include a graphic processing unit (GPU) and / or an image signal processor.
  • the processor 210 may include at least some of the components illustrated in FIG. 2 (eg, the cellular module 221).
  • the processor 210 may load and process instructions or data received from at least one of the other components (eg, nonvolatile memory) into the volatile memory, and store various data in the nonvolatile memory.
  • the communication module 220 may have a configuration that is the same as or similar to that of the communication interface 170 of FIG. 1.
  • the communication module 220 may be, for example, a cellular module 221, a WiFi module 223, a Bluetooth module 225, a GNSS module 227 (e.g., a GPS module, a Glonass module, a Beidou module, or a Galileo module), an NFC module 228, and a radio frequency (RF).
  • Module 229 may be included.
  • the cellular module 221 may provide, for example, a voice call, a video call, a text service, or an internet service through a communication network. According to an embodiment of the present disclosure, the cellular module 221 may perform identification and authentication of the electronic device 201 in a communication network using a subscriber identification module (eg, a subscriber identification module (SIM) card) 224. According to an embodiment of the present disclosure, the cellular module 221 may perform at least some of the functions that the processor 210 may provide. According to an embodiment of the present disclosure, the cellular module 221 may include a communication processor (CP).
  • CP communication processor
  • Each of the WiFi module 223, the Bluetooth module 225, the GNSS module 227, or the NFC module 228 may include, for example, a processor for processing data transmitted and received through a corresponding module.
  • at least some (eg, two or more) of the cellular module 221, the WiFi module 223, the Bluetooth module 225, the GNSS module 227, or the NFC module 228 may be included in one integrated chip (IC) or IC package. .
  • the RF module 229 may transmit / receive, for example, a communication signal (eg, an RF signal).
  • the RF module 229 may include, for example, a transceiver, a power amp module (PAM), a frequency filter, a low noise amplifier (LNA), an antenna, or the like.
  • PAM power amp module
  • LNA low noise amplifier
  • at least one of the cellular module 221, the WiFi module 223, the Bluetooth module 225, the GNSS module 227, or the NFC module 228 may transmit and receive an RF signal through a separate RF module.
  • the subscriber identification module 224 may include, for example, a card including a subscriber identification module and / or an embedded SIM, and may include unique identification information (eg, an integrated circuit card identifier (ICCID) or subscriber information). (Eg, international mobile subscriber identity).
  • ICCID integrated circuit card identifier
  • subscriber information e.g, international mobile subscriber identity
  • the memory 230 may include, for example, an internal memory 232 or an external memory 234.
  • the internal memory 232 may be, for example, volatile memory (eg, dynamic RAM (DRAM), static RAM (SRAM), or synchronous dynamic RAM (SDRAM), etc.), or nonvolatile memory (non-volatile memory).
  • volatile memory eg, dynamic RAM (DRAM), static RAM (SRAM), or synchronous dynamic RAM (SDRAM), etc.
  • nonvolatile memory non-volatile memory
  • -volatile memory e.g., one time programmable read only memory (OTPROM), programmable ROM (PROM), erasable and programmable ROM (EPROM), electrically erasable and programmable ROM (EEPROM), mask ROM, flash ROM, flash
  • OTPROM one time programmable read only memory
  • PROM programmable ROM
  • EPROM erasable and programmable ROM
  • EEPROM electrically erasable and programmable ROM
  • mask ROM mask e.g., one time programmable read only memory (OTPROM), programmable ROM (PROM), erasable and programmable ROM (EPROM), electrically erasable and programmable ROM (EEPROM), mask ROM, flash ROM, flash
  • It may include at least one of a memory (for example, NAND flash or NOR flash), a hard drive, or a solid state drive (SSD).
  • a memory for example, NAND flash or NOR flash
  • the external memory 234 may be a flash drive, for example, compact flash (CF), secure digital (SD), micro secure digital (Micro-SD), mini secure digital (mini-SD), or extreme digital (XD). It may further include a multimedia card (MMC) or a memory stick.
  • the external memory 234 may be functionally and / or physically connected to the electronic device 201 through various interfaces.
  • the sensor module 240 may measure a physical quantity or detect an operation state of the electronic device 201 to convert the measured or detected information into an electrical signal.
  • the sensor module 240 may include, for example, a gesture sensor 240A, a gyro sensor 240B, a barometer 240C, a magnetic sensor 240D, an acceleration sensor 240E, and a grip sensor.
  • (grip sensor) 240F, proximity sensor 240G, color sensor 240H (e.g. RGB, red, green, blue) sensor, medical sensor 240I, temperature / humidity sensor humidity sensor) 240J, illuminance sensor (illuminance sensor, or light sensor) 240K, UV (ultra violet) sensor may include at least one of 240M.
  • the sensor module 240 may include, for example, an olfactory sensor, an electromyography sensor, an electroencephalogram sensor, an electrocardiogram sensor, or an IR. (infrared) sensor, iris sensor (iris scan sensor) and / or fingerprint scan sensor (finger scan sensor).
  • the sensor module 240 may further include a control circuit for controlling at least one or more sensors belonging therein.
  • the electronic device 201 may further include a processor configured to control the sensor module 240 as part of or separately from the processor 210 to control the sensor module 240 while the processor 210 is in a sleep state. .
  • the input device 250 may include, for example, a touch panel 252, a (digital) pen sensor 254, a key 256, or an ultrasonic input device 258.
  • the touch panel 252 may use at least one of capacitive, resistive, infrared, or ultrasonic methods, for example.
  • the touch panel 252 may further include a control circuit.
  • the touch panel 252 may further include a tactile layer to provide a tactile response to the user.
  • the (digital) pen sensor 254 may be, for example, part of a touch panel or may include a separate sheet for recognition.
  • the key 256 may include, for example, a physical button, an optical key, or a keypad.
  • the ultrasonic input device 258 may detect ultrasonic waves generated by the input tool through a microphone (for example, the microphone 288) and check data corresponding to the detected ultrasonic waves.
  • the display 260 may include a panel 262, a hologram device 264, or a projector 266.
  • the panel 262 may include a configuration that is the same as or similar to that of the display 160 of FIG. 1.
  • the panel 262 may be implemented to be, for example, flexible, transparent, or wearable.
  • the panel 262 may be configured as a single module with the touch panel 252.
  • the panel 262 may include a pressure sensor (or “force sensor”) that may measure the strength of pressure with respect to a user's touch.
  • the pressure sensor may be connected to the touch panel 252. It may be implemented integrally, or integrally with the touch panel 252, or may be implemented with one or more sensors separate from the touch panel 252.
  • the hologram 264 may show a stereoscopic image in the air by using interference of light.
  • the projector 266 may display an image by projecting light onto a screen.
  • the screen may be located inside or outside the electronic device 201.
  • the display 260 may further include a control circuit for controlling the panel 262, the hologram device 264, or the projector 266.
  • the interface 270 may include, for example, a high-definition multimedia interface (HDMI) 272, a universal serial bus (USB) 274, an optical interface 276, or a D-subminiature (D-sub) 278.
  • the interface 270 may be included in, for example, the communication interface 170 illustrated in FIG. 1.
  • interface 270 may include, for example, a mobile high-definition link (MHL) interface, a secure digital (SD) card / multi-media card (MMC) interface, or an infrared data association. ) May include a standard interface.
  • MHL mobile high-definition link
  • SD secure digital
  • MMC multi-media card
  • infrared data association May include a standard interface.
  • the audio module 280 may bidirectionally convert, for example, a sound and an electrical signal. At least some components of the audio module 280 may be included in, for example, the input / output interface 150 illustrated in FIG. 1.
  • the audio module 280 may process sound information input or output through, for example, a speaker 282, a receiver 284, an earphone 286, a microphone 288, or the like.
  • the camera module 291 is, for example, a device capable of capturing still images and moving images.
  • the camera module 291 may include at least one image sensor (eg, a front sensor or a rear sensor), a lens, an image signal processor (ISP), or Flash (eg, LED or xenon lamp, etc.).
  • ISP image signal processor
  • Flash eg, LED or xenon lamp, etc.
  • the power management module 295 may manage power of the electronic device 201, for example.
  • the power management module 295 may include a power management integrated circuit (PMIC), a charger integrated circuit (ICC), or a battery 296 or a battery or fuel gauge.
  • the PMIC may have a wired and / or wireless charging scheme.
  • the wireless charging method may include, for example, a magnetic resonance method, a magnetic induction method, an electromagnetic wave method, or the like, and may further include additional circuits for wireless charging, such as a coil loop, a resonance circuit, a rectifier, and the like. have.
  • the battery gauge may measure, for example, the remaining amount of the battery 296, the voltage, the current, or the temperature during charging.
  • the battery 296 may include, for example, a rechargeable battery and / or a solar battery.
  • the indicator 297 may display a specific state of the electronic device 201 or a portion thereof (for example, the processor 210), for example, a booting state, a message state, or a charging state.
  • the motor 298 may convert an electrical signal into mechanical vibration, and may generate a vibration or haptic effect.
  • the electronic device 201 may include a processing device (eg, a GPU) for supporting mobile TV.
  • the processing apparatus for supporting mobile TV may process media data according to a standard such as digital multimedia broadcasting (DMB), digital video broadcasting (DVB), or MediaFlo TM .
  • DMB digital multimedia broadcasting
  • DVD digital video broadcasting
  • MediaFlo TM MediaFlo TM
  • each of the components described in this document may be composed of one or more components, and the names of the corresponding components may vary depending on the type of electronic device.
  • the electronic device may be configured to include at least one of the components described in this document, and some components may be omitted or further include other additional components.
  • some of the components of the electronic device according to various embodiments of the present disclosure may be combined to form one entity, and thus may perform the same functions of the corresponding components before being combined.
  • FIG. 3 is a block diagram of a program module according to various embodiments of the present disclosure.
  • the program module 310 (eg, the program 140) is an operating system (OS) for controlling resources related to the electronic device (eg, the electronic device 101) and / or various applications running on the operating system.
  • OS operating system
  • the operating system may be, for example, android, ios, windows, symbian, tizen, bada, or the like.
  • the program module 310 may include a kernel 320, middleware 330, an application programming interface (API) 360, and / or an application 370. At least a part of the program module 310 may be preloaded on the electronic device or may be downloaded from an external electronic device (for example, the electronic devices 102 and 104, the server 106, and the like).
  • API application programming interface
  • the kernel 320 may include, for example, a system resource manager 321 and / or a device driver 323.
  • the system resource manager 321 may perform control, allocation, or retrieval of system resources.
  • the system resource manager 321 may include a process manager, a memory manager, or a file system manager.
  • the device driver 323 may include, for example, a display driver, a camera driver, a Bluetooth driver, a shared memory driver, a USB driver, a keypad driver, a WiFi driver, an audio driver, or an inter-process communication (IPC) driver.
  • IPC inter-process communication
  • the middleware 330 may provide functions commonly required by the application 370 or provide various functions to the application 370 through the API 360 so that the application 370 can efficiently use limited system resources inside the electronic device. have.
  • the middleware 330 eg, the middleware 143 may include a runtime library 335, an application manager 341, a window manager 342, a multimedia manager 343, and a resource manager 344.
  • the runtime library 335 may include, for example, a library module that the compiler uses to add new functionality through the programming language while the application 370 is running.
  • the runtime library 335 may perform input / output management, memory management, or a function for an arithmetic function.
  • the application manager 341 may manage a life cycle of at least one of the applications 370.
  • the window manager 342 may manage GUI resources used on the screen.
  • the multimedia manager 343 may identify a format necessary for playing various media files, and may encode or decode the media file using a codec suitable for the format.
  • the resource manager 344 may manage resources such as source code, memory, or storage space of at least one of the applications 370.
  • the power manager 345 may operate in conjunction with a basic input / output system (BIOS) to manage a battery or power, and provide power information necessary for the operation of the electronic device.
  • BIOS basic input / output system
  • the database manager 346 may generate, search for, or change a database to be used by at least one of the applications 370.
  • the package manager 347 may manage installation or update of an application distributed in the form of a package file.
  • the connection manager 348 may manage, for example, a wireless connection such as WiFi or Bluetooth. Notification manager 349 may display or notify events such as arrival messages, appointments, proximity notifications, and the like in a manner that does not disturb the user.
  • the location manager 350 manages location information of the electronic device.
  • the graphic manager 351 may manage graphic effects to be provided to the user or a user interface related thereto.
  • the security manager 352 may provide various security functions required for system security or user authentication. According to an embodiment of the present disclosure, when the electronic device (eg, the electronic device 101) includes a telephone function, the middleware 330 may further include a telephone manager for managing a voice or video call function of the electronic device.
  • the middleware 330 may include a middleware module that forms a combination of various functions of the above-described components.
  • the middleware 330 may provide modules specialized according to types of operating systems in order to provide differentiated functions.
  • the middleware 330 may dynamically delete some of the existing components or add new components.
  • API 360 (eg, API 145) is, for example, a set of API programming functions and may be provided in different configurations depending on the operating system. For example, in the case of Android or iOS, one API set may be provided for each platform, and in the case of Tizen, two or more API sets may be provided for each platform.
  • Application 370 (e.g., application program 147) is, for example, home 371, dialer 372, SMS / MMS 373, instant message (IM) 374, browser 375, camera 376, alarm 377, contact 378, voice dial 379, e-mail. 380, calendar 381, media player 382, album 383, watch 384, and the like.
  • the application 370 may perform functions such as health care (eg, measuring exercise amount or blood sugar) or providing environmental information (eg, providing barometric pressure, humidity, or temperature information). It may include one or more applications that can.
  • the application 370 may include one or more applications capable of performing an image service.
  • the application 370 may include an application that can share an image while performing a voice call between electronic devices.
  • the application 370 may be an application that supports information exchange between an electronic device (eg, the electronic device 101) and an external electronic device (eg, the electronic devices 102 and 104).
  • Information exchange application ").
  • the information exchange application may include, for example, a notification relay application for delivering specific information to an external electronic device, or a device management application for managing the external electronic device.
  • the notification delivery application may include notification information generated by another application of the electronic device (eg, an SMS / MMS application, an email application, a health care application, or an environmental information application). , 104)). Also, the notification delivery application may receive notification information from an external electronic device and provide the notification information to a user, for example.
  • another application of the electronic device eg, an SMS / MMS application, an email application, a health care application, or an environmental information application. , 104)
  • the notification delivery application may receive notification information from an external electronic device and provide the notification information to a user, for example.
  • the device management application may, for example, turn at least one function of an external electronic device (eg, the electronic devices 102 and 104) in communication with the electronic device (eg, turn on the external electronic device itself (or some component part). Turn-on / turn-off or adjust the brightness (or resolution) of the display, applications that operate on an external electronic device, or services provided by an external electronic device, such as call or message services Etc.) can be managed (e.g., installed, deleted, or updated).
  • the application 370 may be an application (eg, a health care application of a mobile medical device, an audiometric application, an audio reproduction application, etc.) designated according to an external electronic device (eg, an attribute of the electronic devices 102 and 104). It may include. According to an embodiment of the present disclosure, the application 370 may include an application received from an external electronic device (for example, the server 106 or the electronic devices 102 and 104). According to an embodiment of the present disclosure, the application 370 may include a preloaded application or a third party application downloadable from a server.
  • the names of the components of the program module 310 according to the shown embodiment may vary depending on the type of operating system.
  • At least a part of the program module 310 may be implemented in software, firmware, hardware, or a combination of two or more thereof. At least some of the program module 310 may be implemented (for example, executed) by, for example, a processor (for example, the processor 210). At least some of the program module 310 may include, for example, a module, a program, a routine, sets of instructions, or a process for performing one or more functions.
  • module may refer to a unit that includes one or a combination of two or more of hardware, software, or firmware.
  • a “module” may be interchangeably used with terms such as, for example, unit, logic, logical block, component, or circuit.
  • the module may be a minimum unit or part of an integrally constructed part.
  • the module may be a minimum unit or part of performing one or more functions.
  • the “module” can be implemented mechanically or electronically.
  • a “module” is one of application-specific integrated circuit (ASIC) chips, field-programmable gate arrays (FPGAs), or programmable-logic devices that perform certain operations, known or developed in the future. It may include at least one.
  • ASIC application-specific integrated circuit
  • FPGAs field-programmable gate arrays
  • At least a portion of an apparatus (eg, modules or functions thereof) or method (eg, operations) may be, for example, computer-readable storage media in the form of a program module. It can be implemented as a command stored in. When the command is executed by a processor (eg, the processor 120), the one or more processors may perform a function corresponding to the command.
  • the computer-readable recording medium may be, for example, the memory 130.
  • Computer-readable recording media include hard disks, floppy disks, magnetic media (e.g. magnetic tape), optical media (e.g. compact disc read only memory), DVD ( digital versatile discs, magneto-optical media (e.g. floptical disks), hardware devices (e.g. read only memory, random access memory (RAM), or flash memory)
  • the program instructions may include not only machine code generated by a compiler, but also high-level language code executable by a computer using an interpreter, etc.
  • the hardware device described above may be various. It can be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
  • Modules or program modules according to various embodiments of the present disclosure may include at least one or more of the aforementioned components, some of them may be omitted, or may further include additional other components.
  • Operations performed by a module, program module, or other component according to various embodiments of the present disclosure may be executed in a sequential, parallel, repetitive, or heuristic manner.
  • some operations may be executed in a different order, may be omitted, or other operations may be added.
  • the embodiments disclosed in this document are presented for the purpose of explanation and understanding of the disclosed, technical content, it does not limit the scope of the technology described in this document. Accordingly, the scope of this document should be construed as including all changes or various other embodiments based on the technical spirit of this document.
  • a method and apparatus for performing a video service such as video sharing or video call during a voice call in an electronic device are disclosed.
  • a method and apparatus for more stably transmitting data eg, a video
  • a method and apparatus for transmitting a video during a voice call are disclosed by dividing a communication channel for a voice call and a communication channel for a video service.
  • an image eg, a video or an image
  • a communication circuit eg, a communication unit
  • An electronic device may support a communication function and / or a camera function, and may include an application processor (AP), a communication processor (CP), a graphic processing unit (GPU), a central processing unit (CPU), and the like. It may include any device that uses one or more of a variety of processors.
  • an electronic device may be any information communication device, a multimedia device, a wearable device, an Internet of Things (IoT) device, or an application thereof that supports a communication function and / or a camera function. It may include a device.
  • AP application processor
  • CP communication processor
  • GPU graphic processing unit
  • CPU central processing unit
  • an electronic device may be any information communication device, a multimedia device, a wearable device, an Internet of Things (IoT) device, or an application thereof that supports a communication function and / or a camera function. It may include a device.
  • IoT Internet of Things
  • FIG. 4 is a diagram illustrating a system according to various embodiments of the present disclosure.
  • a system may include an electronic device 500 (eg, a first electronic device 500A and a second electronic device 500B), and at least two networks ( Example: The first network 400, the second network 600), one or more servers 650 (650A, 650B) can be configured to include.
  • the electronic device 500 may include a first electronic device 500A for the calling side operation and a second electronic device 500B for the receiving side operation.
  • the network 400 may be divided into a first network 400 for a first communication (eg, a voice call) and a second network 600 for a second communication (eg, a video service).
  • the first network 400 may be a mobile communication network (or a cellular network) for a mobile communication service, and may include a base station 450.
  • the second network 600 may be a data communication network for a peer to peer (P2P) connection, and includes a connection server 650A and a message server 650B. can do.
  • P2P peer to peer
  • the first electronic device 500A and the second electronic device 500B may make a voice call through the first network 400 and the second network 600 (eg, a PS network or WiFi). Data communication with each other is possible.
  • the first network 400 and the second network 600 eg, a PS network or WiFi.
  • the first electronic device 500A may transmit an image (for example, a video received or stored through a camera or a still image) to the second electronic device 500B during a voice call with the second electronic device 500B.
  • This function will be referred to as a video service.
  • the first electronic device 500A and the second electronic device 500B are connected in a P2P manner to transmit and receive images between the electronic devices 500A and 500B, but the present invention is not limited thereto.
  • the first electronic device 500A and the second electronic device 500B may transmit and receive images in a server-client manner.
  • the first electronic device 500A and the second electronic device 500B may transmit and receive images to each other using a multimedia server (not shown).
  • the first electronic device 500A and the second electronic device 500B may transmit and receive voice using data communication.
  • the electronic device 500 may include a camera inside or outside.
  • the electronic device 500 may include an internal camera that is physically connected or an external camera that is functionally connected.
  • an image transmitted / received between the first electronic device 500A and the second electronic device 500B may include a camera photographed image which is captured in real time using a camera, or is stored (eg, recorded). It may include.
  • the stored image may be stored inside or outside the electronic device 500 (eg, a wearable device, a server, etc.).
  • the server 650 may connect the first electronic device 500A and the second electronic device 500B in a P2P manner, and may configure one or more.
  • an example server 650 is comprised of an access server 650A and a message server 650B.
  • the access server 650A may provide a domain name system (DNS) function for session connection between the first electronic device 500A and the second electronic device 500B.
  • DNS domain name system
  • the access server 650A may connect the first electronic device 500A and the second electronic device 500B in a P2P manner.
  • the message server 650B may transmit a start request message for the first electronic device 500A to start transmitting / receiving an image to the second electronic device 500B.
  • the server 650 may manage user account, profile information, and service subscription information.
  • an electronic device to transmit an image during a voice call becomes a calling terminal and receives an image.
  • the electronic device may be a receiving terminal.
  • a user interface for a video service during a voice call may be provided differently according to a calling terminal and a receiving terminal, which will be described in detail with reference to the accompanying drawings.
  • FIG. 5 is a diagram schematically illustrating a configuration of an electronic device according to various embodiments of the present disclosure.
  • the electronic device 500 may include, for example, a wireless communication unit 510 (eg, a communication unit including communication circuitry) and a user input unit 520. (Eg, input unit including input circuitry), touchscreen 530, audio processing unit 540 (eg, output unit including output circuitry), memory 550, It may include an interface unit 560, a camera module 570, a controller 580 (eg, processors 120 and 210 including processing circuitry), and a power supply unit 590.
  • the electronic device 500 since the components illustrated in FIG. 5 are not essential, the electronic device 500 may be embodied as having more or fewer components than those illustrated in FIG. 5. .
  • the wireless communication unit 510 may have a configuration that is the same as or similar to that of the communication module 220 of FIG. 2, for example.
  • the wireless communication unit 510 may include one or more modules that enable wireless communication between the electronic device 500 and an external electronic device (eg, other electronic devices 102 and 104 and servers 106 and 650). Can be.
  • the wireless communication unit 510 may include a mobile communication module 511, a wireless local area network (WLAN) module 513, a short range communication module 515, and a location calculation module 517.
  • the wireless communication unit 510 may include a module (for example, a short range communication module or a telecommunication module) for performing communication with an external external electronic device.
  • the mobile communication module 511 may have a configuration that is the same as or similar to that of the cellular module 221 of FIG. 2, for example.
  • the mobile communication module 511 may include a base station, an external electronic device (eg, another electronic device 104), and various servers (eg, an application server, a management server, an integration server, and a provider server) on a mobile communication network.
  • a wireless signal may be transmitted and received with at least one of a provider server, a content server, an internet server, a cloud server, and the like.
  • the wireless signal may include a voice signal, a data signal or various types of control signals.
  • the mobile communication module 511 may transmit various data required for the operation of the electronic device 500 to an external device (eg, the server 106 or the other electronic device 104, etc.) in response to a user request.
  • the wireless LAN module 513 may have, for example, a configuration that is the same as or similar to that of the WiFi module 223 of FIG. 2.
  • the wireless LAN module 513 may represent a module for establishing a wireless LAN link with a wireless Internet connection and another external electronic device (for example, another electronic device 102 or the server 106, etc.).
  • the wireless LAN module 513 may be embedded or external to the electronic device 500.
  • Wireless Internet technologies may include wireless fidelity (WiFi), wireless broadband (Wibro), world interoperability for microwave access (WiMax), high speed downlink packet access (HSDPA), or millimeter wave (mmWave).
  • the wireless LAN module 513 may be connected to another external electronic device (eg, the other electronic device 104, etc.) connected to the electronic device 500 through a network (eg, a wireless Internet network) (eg, the network 162). In cooperation, various data of the electronic device 500 may be transmitted to or received from the outside.
  • the wireless LAN module 513 may be always on, or may be turned on according to a setting or a user input of the electronic device 500.
  • the short range communication module 515 may represent a module for performing short range communication.
  • Near field communication technologies include Bluetooth, Bluetooth Low Energy (BLE), Radio Frequency IDentification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, or NFC ( Near Field Communication) may be used.
  • the short range communication module 515 may be connected to another external electronic device (for example, the other electronic device 102) that is connected to the electronic device 500 through a network (for example, a short range communication network), and may be connected to the electronic device 500.
  • Various data may be transmitted or received to an external electronic device.
  • the short range communication module 515 may maintain the always on state or may be turned on according to a setting or a user input of the electronic device 500.
  • the location calculation module 517 may have a configuration that is the same as or similar to that of the GNSS module 227 of FIG. 2, for example.
  • the position calculation module 517 is a module for acquiring a position of the electronic device 500, and a representative example may include a global position system (GPS) module.
  • GPS global position system
  • the location calculation module 517 may measure the location of the electronic device 500 on the basis of triangulation.
  • the user input unit 520 may generate input data for controlling the operation of the electronic device 500 in response to a user input.
  • the user input unit 520 may include at least one input device for detecting various inputs of a user.
  • the user input unit 520 may include a keypad, a dome switch, a physical button, a touch pad (static pressure / capacitance), a jog & shuttle, and a sensor (eg, a sensor module). 240), and the like.
  • the user input unit 520 may be partially implemented as a button on the outside of the electronic device 500, or may be partially or entirely implemented as a touch panel.
  • the user input unit 520 may input a user input for initiating an operation of the electronic device 500 (eg, an audio playback function, an electronic device connection function, an image transmission or sharing function, etc.) according to various embodiments of the present disclosure. It can receive and generate an input signal according to the user input.
  • an operation of the electronic device 500 eg, an audio playback function, an electronic device connection function, an image transmission or sharing function, etc.
  • the touch screen 530 represents an input / output device capable of simultaneously performing an input function and a display function, and may include a display 531 (eg, the display 160 and 260) and a touch sensing unit 533.
  • the touch screen 530 provides an input / output interface between the electronic device 500 and the user, transmits a user's touch input to the electronic device 500, and also provides a user with an output from the electronic device 500. May include roles.
  • the touch screen 530 may show a visual output to the user. The visual output may appear in the form of text, graphics, video, and combinations thereof.
  • the display 531 may display (output) various types of information processed by the electronic device 500.
  • the display 531 may display a user interface (UI) or a graphical user interface (GUI) related to a video service during a voice call.
  • UI user interface
  • GUI graphical user interface
  • the display 531 may use various displays (eg, the display 160).
  • the display 531 may be a bent display.
  • the display 531 may include a liquid crystal display in a liquid crystal display (LCD), a light emitting diode (LED), an organic light emitting diode (OLED), and an active OLED (AMOLED).
  • LCD liquid crystal display
  • LED light emitting diode
  • OLED organic light emitting diode
  • AMOLED active OLED
  • the display 531 extends to at least one side (eg, at least one of a left side, a right side, an upper side, and a bottom side) of the electronic device 500, such that a radius of curvature in which the bent display can operate is provided.
  • radius of curvature eg radius of curvature 5cm, 1cm, 7.5mm, 5mm, 4mm, etc.
  • the touch sensing unit 533 may be mounted on the display 531, and may sense a user input of touching or approaching the surface of the touch screen 530.
  • the user input may include a touch event or a proximity event input based on at least one of single-touch, multi-touch, hovering, or air gesture.
  • the touch sensing unit 533 may receive a user input for starting an operation related to the use of the electronic device 500 in various embodiments, and generate an input signal according to the user input.
  • the touch sensing unit 533 may be configured to convert a change in pressure applied to a specific portion of the display 531 or capacitance generated at a specific portion of the display 531 into an electrical input signal. .
  • the touch sensing unit 533 may detect a position and area at which an input tool (for example, a user's finger or an electronic pen) touches or approaches the surface of the display 531.
  • the touch sensing unit 533 may be implemented to detect a pressure (for example, a force touch) at the time of touch according to the applied touch method.
  • the audio processor 540 may have a configuration that is the same as or similar to that of the audio module 280 of FIG. 2, for example.
  • the audio processor 540 transmits the audio signal received from the controller 580 to the speaker SPK 541, and transmits an audio signal such as a voice received from the microphone 553 to the controller 580. ) Can be performed.
  • the audio processor 540 converts audio / sound data into an audible sound through the speaker 541 under the control of the controller 580, and converts audio signals such as voice received from the microphone 543 into digital signals.
  • the controller 580 may transmit the result.
  • the speaker 541 may output audio data received from the wireless communication unit 510 or stored in the memory 550.
  • the speaker 541 may output sound signals related to various operations (functions) performed by the electronic device 500.
  • the microphone 543 may receive an external sound signal and process the same as electrical voice data.
  • the microphone 543 may be implemented with various noise reduction algorithms for removing noise generated in the process of receiving an external sound signal.
  • the microphone 543 may be responsible for input of an audio stream such as a voice command (eg, a voice command for initiating a function such as connecting an electronic device, playing audio, or transmitting or sharing an image).
  • the memory 550 may store one or more programs executed by the controller 580, and may temporarily store the input / output data. You can also perform a function.
  • the input / output data may include, for example, a file such as a moving picture, an image, a picture, or audio and network information (or communication quality information).
  • the memory 550 is responsible for storing the obtained data, and the data acquired in real time may be stored in a temporary storage device, and data determined to be stored may be stored in a storage device that can be stored for a long time.
  • the memory 550 performs a voice call based on the first network with another electronic device, and performs an image with another electronic device while performing a voice call with the other electronic device. Detect a user input for conducting a video call, and in response to the user input, display a user interface associated with the video call on a video call connection and display based on the second network, and through the camera through the user interface
  • One or more programs, data, or instructions related to displaying and displaying an image obtained through the transmission to another electronic device through the second network may be stored.
  • the memory 550 may, in various embodiments, perform a voice call based on a first communication with another electronic device, or may perform data communication by a second communication with another electronic device in response to a service execution request during the voice call. And determining whether to connect a service based on at least a part of the data communication quality, and when the service connection is determined, displaying an image obtained through a camera (eg, the camera module 570) on the display 531 and displaying the second image. Store one or more programs, data, or instructions associated with transmitting to another electronic device based on the communication.
  • a camera eg, the camera module 570
  • the first communication can use a cellular communication protocol and the second communication can use a short range communication protocol.
  • the first communication may be based on circuit switching of the cellular communication protocol
  • the second communication may be based on packet switching of the cellular communication protocol.
  • the memory 550 may additionally store one or more programs, data, or instructions related to changing a voice call from a first communication to a second communication and transmitting to another electronic device when determining a service connection. Can be. For example, according to various embodiments of the present disclosure, when determining a service connection, the memory 550 terminates the first communication or transmits and receives only data for maintaining the connection with another electronic device, and the voice call performs the second communication.
  • One or more programs, data, or instructions related to an operation that is changed to transmit and receive on a basic basis may be additionally stored.
  • voice and video when a service is connected, voice and video may use different communications, or voice and video may use the same communications.
  • voice when voice uses packet switching among cellular communication protocols, voice may be transmitted using packet switching of an image or cellular communication protocol.
  • voice and the video when the voice and the video are switched to use the same communication, the connection of the communication used for the voice is terminated or the minimum connection is maintained, and then the image is terminated (for example, termination of the service connection). You can also use it for voice calls again.
  • the first communication in which only the minimum connection is maintained may be automatically supported after the video communication ends.
  • a dummy packet such as a keep alive packet may be transmitted to maintain only a minimum connection. For example, if there is no transmission of the packet, the communication subject (for example, the electronic devices) may determine that there is no more communication, and thus disconnect the communication. Therefore, the keep-alive packet may be transmitted to prevent the communication.
  • the memory 550 may include one or more application modules (or software modules).
  • the memory 550 may include a computer-readable recording medium in various embodiments.
  • the recording medium may perform a voice call based on a first network with another electronic device, and perform a video call with the other electronic device while performing a voice call with the other electronic device.
  • a user input for performing a video call displaying a user interface related to the video call on the video call connection and display based on a second network, and obtaining through a camera through the user interface
  • a computer-readable recording medium having recorded thereon a program for executing an operation of displaying an image and transmitting the displayed image to the other electronic device through the second network.
  • the interface unit 560 may have a configuration that is the same as or similar to that of the interface 270 of FIG. 2, for example.
  • the interface unit 560 may receive data from another electronic device, or receive power and transfer the power to each of the components of the electronic device 500.
  • the interface unit 560 may allow data inside the electronic device 500 to be transmitted to another electronic device.
  • wired / wireless headphone port, external charger port, wired / wireless data port, memory card port, audio input / output port, video input / output port, earphone port Etc. may be included in the interface unit 560.
  • the camera module 570 (eg, the camera module 291) represents a configuration supporting the capturing function of the electronic device 500.
  • the camera module 570 may photograph an arbitrary subject under the control of the controller 580, and transmit the photographed data (eg, a video or an image) to the display 531 and the controller 580.
  • the camera module 570 may be connected to a built-in camera module or the electronic device 500 mounted on the electronic device 500 by a wired or wireless interface (eg, cable connection, Bluetooth connection, etc.).
  • An external camera module may be included.
  • the camera module 570 may be a peripheral camera device (eg, a virtual reality device, a 360 camera (or a 360 degree camera), or another electronic device including a camera) connected to the electronic device 500 by Bluetooth. Robot cleaner, TV, monitor, etc.). According to various embodiments of the present disclosure, the camera module 570 may include an attachable and detachable camera module.
  • a peripheral camera device eg, a virtual reality device, a 360 camera (or a 360 degree camera), or another electronic device including a camera
  • the camera module 570 may include an attachable and detachable camera module.
  • the controller 580 may include, but is not limited to, a dedicated processor, a central processing unit (CPU), an application processor (AP), or a communication processor (CP). And may include processing circuitry.
  • the controller 580 may control overall operations of the electronic device 500.
  • the controller 580 may have, for example, a configuration that is the same as or similar to that of the processor 210 of FIG. 2.
  • the controller 580 performs a voice call based on the first network with another electronic device, and performs a video call with another electronic device while performing a voice call with the other electronic device.
  • Detecting a user input for performing a video call displaying a user interface related to the video call on the video call connection and display 531 based on the second network in response to the user input, and via the user interface.
  • An operation of displaying and displaying an image acquired through a camera (for example, the camera module 570) and transmitting the image to another electronic device through the second network may be processed.
  • the controller 580 may perform a voice call based on the first communication with another electronic device, whether or not data communication is possible through the second communication with another electronic device in response to a service execution request during the voice call, and Determining whether to connect a service based on at least a portion of the data communication quality, and when the service connection is determined, an image obtained through a camera (for example, the camera module 570) is displayed on the display 531 and a second image is displayed. It may process an operation of transmitting to another electronic device based on the communication.
  • a camera for example, the camera module 570
  • the controller 580 may include one or more processors for controlling the operation of the electronic device 500.
  • the controller 580 may control operations of hardware modules such as the audio processor 540, the interface 560, the display 531, and the camera module 570. Control operation of the controller 580 according to various embodiments of the present invention will be described in detail with reference to the drawings to be described later.
  • the controller 580 executes one or more programs stored in the memory 550 to control one or more operations of the electronic device 500 according to various embodiments of the present disclosure. It may be implemented as one or more processors.
  • the controller 580 may include a service processing module 585 for processing a service connection associated with a video service during a voice call.
  • the service processing module 585 may include, for example, a first communication processor 585A, a second communication processor 585B, an interaction processor 585C, and the like.
  • the first communication processor 585A may include, for example, first communication (for example, circuit switch (CS) communication, for example, 3G communication) (for example, the first network (eg 400)), an operation related to performing a voice call between electronic devices may be processed.
  • first communication for example, circuit switch (CS) communication, for example, 3G communication
  • CS circuit switch
  • 3G communication for example, the first network (eg 400)
  • the second communication processor 585B may include, for example, second communication (for example, packet switch (PS) communication, for example, data communication) (for example, a second network (eg Based on 600)), an operation associated with performing an image service between electronic devices may be processed.
  • the second communication processor 585B may determine whether or not the data communication quality and the data communication quality are possible by the second communication with another electronic device in response to the service execution request during the voice call by the first communication.
  • the service connection may be determined based on whether the service is connected, and when the service connection is determined, the acquired image may be displayed on the display 531, and the acquired image may be transmitted to another electronic device based on the second communication.
  • the controller 580 when determining a service connection, the controller 580 outputs a voice received from another electronic device or acquired by the microphone 543 to the speaker 541 based on the second communication, The voice may be transmitted to another electronic device based on the second communication.
  • the controller 580 may change the voice call from the first communication to the second communication and transmit the voice call to another electronic device to transmit it to another electronic device. ) Can also be controlled. For example, when the service connection is determined, the controller 580 transmits and receives only the minimum data for terminating the first communication or maintaining the connection to another electronic device, and controls the voice call to be transmitted and received based on the second communication. can do.
  • the interaction processor 585C may process an operation related to providing a user interface related to a video service during a voice call. According to various embodiments, the interaction processor 585C may process an interaction of a user input based on a user interface related to a video service during a voice call. According to various embodiments of the present disclosure, the interaction processor 585C may detect a gesture during a voice call, and process a real-time switching between modes (eg, a voice service mode and a video service mode) in response to the detected gesture.
  • modes eg, a voice service mode and a video service mode
  • the power supply unit 590 may receive an external power source or an internal power source under the control of the controller 580 to supply power for operation of each component.
  • the power supply unit 590 may supply or turn off (on / off) power to the display 531, the camera module 570, and the like under the control of the controller 580.
  • the electronic device 500 may include a camera (eg, a camera module 570), a display 531, and another electronic device using at least one protocol.
  • Communication circuitry configured to form wireless communication with the processor (eg, the wireless communication unit 510), and a processor (eg, the control unit 580) functionally connected to the camera 570, the display 531, and the communication circuit 510.
  • the processor may be configured to perform a voice call based on a first network with the other electronic device, and perform a video call with the other electronic device while performing a voice call with the other electronic device.
  • Site may be displayed, and the face, and configured to transmit to the other electronic apparatus to display the image display and the image obtaining by the camera through the user interface through the second network.
  • the user input may include a pose state change, a proximity state change, a gesture input, a situation recognition, or a voice command input of the electronic device.
  • the user input may include a state change signal received from the other electronic device through the second network.
  • the processor may be configured to monitor the user input and switch a call mode in response to a change in the user input.
  • the processor may be configured to switch the call mode and request a video call connection or termination of the video call connection to the other electronic device according to the call mode change.
  • the processor detects a change to a video call mode according to the user input while maintaining a voice call with the other electronic device by a voice call mode, and maintains the voice call. May be configured to process a video call according to the video call mode.
  • the processor when the processor detects the switching to the video call mode of the electronic device, the processor may be configured to display information on the call mode of the other electronic device through the user interface displayed on the display.
  • the processor may be configured to display at least one object related to executing an additional function on the user interface in the video call mode.
  • the processor detects a user input related to executing a function on the object or the user interface, and switches a camera, pauses, points, and zooms in response to the user input. It may be configured to process at least one of zooming, capture, or record.
  • the processor in the video call mode, may be configured to pause an image according to a first input and to display a pointer on the paused image according to a second input.
  • the first input and the second input may be input by at least one of the electronic device or the other electronic device.
  • the processor may be configured to resume the paused image in response to the third input while the image is paused.
  • the processor may be configured to display an indication (eg, a service object) regarding whether a video call is possible with the other electronic device through the user interface.
  • an indication eg, a service object
  • the processor may monitor whether the video call is possible with the other electronic device and change the indication (eg, activation / deactivation) according to whether the video call is possible with the other electronic device.
  • the indication eg, activation / deactivation
  • the processor may be configured to determine whether a video call of the other electronic device is possible during the voice call.
  • the processor when the processor determines to switch to the video call mode, before transmitting an image to the other electronic device, the processor may be configured based on capability or state information of the electronic device and the other electronic device. It may be configured to determine whether the video call.
  • the processor may be configured to activate and display the indication when a video call is possible and to deactivate the indication when the video call is impossible, based on the determination result.
  • the processor when the video call mode is switched, the processor may be configured to switch the power mode of the camera to the camera driving mode or the camera standby mode.
  • the other electronic device if another electronic device detects a user input during a voice call with the electronic device, the other electronic device switches to a video call mode and receives and displays an image transmitted from the electronic device through the second network. Can be configured.
  • the other electronic device may be configured to automatically receive an image when the video call mode is requested by the electronic device and to automatically receive an image transmitted from the electronic device.
  • FIG. 6 is a diagram illustrating an example of a system including an electronic device according to various embodiments of the present disclosure.
  • an electronic device 500 may include, for example, a first electronic device 610 (eg, transmission electronics) for an operation of providing a transmission side that provides an image (transmission).
  • the device may include a device, a sender, and a second electronic device 620 (eg, a receiver electronic device, a receiver) for receiving side operation of receiving (receiving) an image.
  • each of the first electronic device 610 and the second electronic device 620 may include a configuration corresponding to FIG. 5.
  • each of the first electronic device 610 and the second electronic device 620 may include an application processor, a display module, a camera module, an audio module, a communication module, and the like. It may include.
  • the first electronic device 610 and the second electronic device 620 may further include a sensor module according to the type of the electronic device 500.
  • the first electronic device 610 may include an image capture unit 611, an audio source 612, a video encoder 613, and an audio encoder. It may include an encoder 614, a muxer and a multiplexer 615, a packetizer 616, a network adapter 617, and an application 618. have.
  • the image receiver 611 may be configured with one or more cameras, and may receive an image (eg, a video, a still image) through the camera.
  • the image receiver 611 may receive a control signal from the application unit 618 and control a camera function in response to the control signal.
  • the image encoder 613 stores a bit rate and a frame rate in order to store an image received through the image receiving unit 611 or transmit the image to another electronic device (eg, the second electronic device 620). ), Encoded image data may be generated according to settings such as a drop rate, an encoding codec type, a resolution, an image aspect ratio, a pixel aspect ratio, and the like. According to an embodiment of the present disclosure, the image encoder 613 may generate a still image (eg, JPEG) encoded for the still image, and may add metadata thereto. The image encoder 613 may adjust various settings by receiving a control signal through the application unit 618.
  • a still image eg, JPEG
  • the audio receiver 612 may receive an audio (eg, voice, music, etc.) signal through one or more microphones.
  • an audio e.g, voice, music, etc.
  • the audio encoder 614 stores bitrates, framerates, drop rates, encoding codec types, and characteristics of supporting carrier networks (eg, supporting codecs) for storing or transmitting the received audio signal to another electronic device (eg, a second electronic device). , Audio policy, etc.) may be generated according to one or more settings.
  • the multiplexer 615 may include an apparatus or a software module for synthesizing the audio data and the image data into a single data format.
  • the multiplexer 615 may synthesize the same kind of data.
  • the multiplexer 615 may synthesize the encoded audio data and the encoded image data to generate a file or a data stream including the image layer and the audio layer together.
  • an F4V file may represent a file format synthesized using an H.264 video codec and an AAC audio codec.
  • the multiplexer 615 may first synthesize audio data and image data before each data is encoded.
  • the packetizer 616 packetizes the encoded data to transmit one or more of the encoded data (eg, image data and audio data) to another electronic device through the network 630 (eg, packet data). ) Can be transmitted to the network portion 617.
  • the network unit 617 is responsible for transmitting and receiving data, may monitor the state of the network 630 and control the function of the first electronic device 610 accordingly.
  • the network unit 617 may transmit one or more of the encoded data or the control signal to another electronic device (eg, the second electronic device) through the network 630.
  • the encoded data may include one or more of an encoded image and encoded audio.
  • the control signal may include, for example, one or more of a request signal for video communication, a message transmission related signal, a camera control request signal, device state related information, an image processing signal, and network setting information.
  • the network unit 617 may set or change a bitrate, framerate, drop rate, etc. under the control of the application unit 618.
  • the network unit 617 monitors the state of the network 630 and transmits a control signal to the camera, encoder 613, 614, or network unit 617 through the application unit 618.
  • One or more of bitrate, framerate, drop rate, encoding codec type, resolution, image aspect ratio, and pixel aspect ratio may be changed or set.
  • the application unit 618 may represent a module for processing the user input and the control of the modules configuring the first electronic device 610.
  • the application unit 618 may determine a device state. For example, the application unit 618 may check a state inside the device such as memory available capacity, processor performance, battery capacity, and power mode of the device, and may process the modules constituting the device so as to control the modules. .
  • the application unit 618 may control a camera and an encoder function. For example, camera initialization, image input through the camera, image processing control of the camera, the status of the network 630 may be monitored, and the camera, encoder, and data transmission may be controlled according to the status of the network 630.
  • the application unit 618 may perform a process according to a user input.
  • the application unit 618 may perform a process for visually, auditoryly, and / or tactilely providing a user interface for performing image communication.
  • the application unit 618 may perform a process for visually, auditoryly, and / or tactilely providing a user interface for performing image communication.
  • the application unit 618 may perform a process for visually, auditoryly, and / or tactilely providing a user interface for performing image communication.
  • the application unit 618 may perform a process for visually, auditoryly, and / or tactilely providing a user interface for performing image communication.
  • by driving camera functions, telephone functions, etc. monitoring the communication status of the telephone, generating control signals for processing video or audio, controlling overall multimedia processing and transmission and reception, display, memory, and audio input / output. You can also control the device.
  • the second electronic device 620 may include a video renderer 621, an audio renderer 622, a video decoder 623, and an audio decoder. Audio decoder 624, demultiplexer 625, depacketizer 626, network adaptation 627, and application 628. can do.
  • the network unit 627 receives at least one of encoded data (eg, image data, audio data) or a control signal from another electronic device (eg, the first electronic device 610), and decodes the received encoded data. And transmit to 623 and 624 for decoding. According to an embodiment of the present disclosure, the network unit 627 receives a control signal from another electronic device (for example, the first electronic device 610) and transmits the control signal to the application unit 628 to transfer the second electronic device 620. To control.
  • encoded data eg, image data, audio data
  • a control signal from another electronic device (eg, the first electronic device 610)
  • the network unit 627 receives a control signal from another electronic device (for example, the first electronic device 610) and transmits the control signal to the application unit 628 to transfer the second electronic device 620. To control.
  • the depacketizer 626 may depacketize the packetized data (for example, packet data) transferred from the network unit 627 through the network 630 to the demultiplexer 625. According to an embodiment, the depacketizer 626 receives packetized data transmitted through the network 630, extracts encoded data (eg, image data, audio data) of the packetized data, May be passed to a demultiplexer 625.
  • packetized data for example, packet data
  • the depacketizer 626 receives packetized data transmitted through the network 630, extracts encoded data (eg, image data, audio data) of the packetized data, May be passed to a demultiplexer 625.
  • the demultiplexer 625 may separate the encoded video data and the encoded audio data by separating them.
  • the image decoder 623 decodes an encoded image (eg, a video or an image) received through the network unit 627 and delivers it to the image renderer 621 to output (display) through an image output device (eg, a display). You can do that.
  • an encoded image eg, a video or an image
  • the image renderer 621 delivers it to the image renderer 621 to output (display) through an image output device (eg, a display). You can do that.
  • the audio decoder 624 may decode the received encoded audio signal and transmit the decoded audio signal to the audio renderer 622 for output through an audio output device (eg, a speaker).
  • an audio output device eg, a speaker
  • Renderers eg, image renderer 621, audio renderer 622 output image data or audio data decoded by decoders (eg, image decoder 623, audio decoder 624) (eg, display, speaker). Image processing or audio processing may be performed.
  • the renderers 621 and 622 receive a control signal through the application unit 628, and accordingly, adjust resolution, color, contrast, volume, sound field effect, and playback function (eg, playback speed, rewind, You can also control one or more of the fast forward, pause, stop, resume, and so on.
  • data transmitted through the network unit 617 of the first electronic device 610 may be generated in the form of a packet, and may be one or more servers 640 (eg, Easy Sign) through the network 630.
  • up server (ESU) ESU
  • access server eg, SCS server
  • message server Message Server
  • contact server Contact Server, etc.
  • other electronic device eg, second electronic device 620.
  • a packet of data composed of video and audio may be transmitted using a cellular network (eg, LTE, CDMA, WCDMA, 3GPP, etc.) or a network 630 such as WiFi, BT, Zigbee, or the like.
  • the audio signal may be transmitted using an audible frequency, an ultrasonic wave, or an optical signal.
  • the electronic device 500 may perform various services by exchanging information with the server 640 through the network 630.
  • the electronic device 500 accesses an Easy Sign up server to generate a unique ID for a video service based on each electronic device or user, and includes an ID (eg, a telephone number) of each electronic device or user. , Serial number, and account information) may be used for authentication, and information for service subscription may be input.
  • a service subscriber may register information such as a phone number or an email address with a contact server, and may subscribe to another user through an associated information related to the corresponding electronic device, whether or not another user subscribes to an application (or an app).
  • the message server may be used to transmit a message such as an image reception request to another service subscriber.
  • the access server may be used for information exchange for connecting a communication session between a plurality of electronic devices to transmit an image or a control signal.
  • the first electronic device 610 may acquire a captured or stored image (eg, a video or an image), and encode encoded data obtained by encoding the same through the network 630. It may transmit to the second electronic device 620. The second electronic device 620 may receive data encoded by the first electronic device 610 through the network 630, decode it, and output the data from the second electronic device 620.
  • a basic process according to various embodiments will be described.
  • the first electronic device 610 may receive an image in real time through one or more cameras, and perform an operation of receiving audio through an audio device.
  • the first electronic device 610 may generate encoded image data by performing video encoding through a video encoder 613 to transmit the received image to the second electronic device 620.
  • the first electronic device 610 may encode the video stream or the video file based on at least one of H.264, 3gpp, avi, WMV, VP9, MPEG2, QuickTime movie, and FLV. have.
  • the first electronic device 610 may store the received image in one or more still image formats of JPEG, BMP, TIFF, and PNG.
  • the first electronic device 610 may convert the received audio into one or more of AMR, QCELP, MP3, WMA, AAC, and FLAC formats through an audio encoder 614. have.
  • the first electronic device 610 may packetize one or more pieces of encoded data (eg, video or audio data) and transmit the packetized data to the second electronic device 620 through the network 630. have. According to an embodiment of the present disclosure, the first electronic device 610 may synthesize video and audio data by a muxer 615 before transmitting the encoded data through the network 630.
  • encoded data eg, video or audio data
  • the second electronic device 620 receives one or more of encoded data (eg, image data and audio data) through the network 630, decodes it, and outputs the corresponding output device (eg, a display,
  • the audio output device can be output through an audio output device (eg, a speaker).
  • each of the first electronic device 610 and the second electronic device 620 may send a control signal to another electronic device to control the electronic device, request a service, transmit a message, and exchange device state information.
  • One or more may be performed, and related data may be transmitted and received in response.
  • FIG. 7 is a diagram illustrating another example of a system including an electronic device according to various embodiments of the present disclosure.
  • FIG. 7 illustrates an example of processing data in various embodiments.
  • FIG. 7 illustrates an example of processing data by separating a communication channel (eg, an image communication channel and an audio communication channel).
  • FIG. 7 illustrates a case in which transmission and reception are performed using separate communication means (eg, at least one of a communication channel, a communication port, and a communication path) for each image and audio.
  • separate communication means eg, at least one of a communication channel, a communication port, and a communication path
  • an operation of processing data using the multiplexer 615 of FIG. 6 as an example is as follows.
  • the video and audio may be separately transmitted through different communication channels or communication ports.
  • the multiplexer 615 for synthesizing the video and the audio may not be necessary.
  • the multiplexer 615 may be used even when synthesizing the same kind of data. For example, when two images (eg, images) are received from two or more cameras, the two images may be synthesized through a video muxer. For example, when synthesizing the voice data input through the microphone and the audio data (for example, an MP3 file, a background music stream, etc.) stored or playing in the electronic device 500, an audio muxer is used. You can also synthesize two audios.
  • the multiplexer 615 may include the role of a video composer and an audio composer.
  • the synthesized image may be synthesized with at least one audio, or another multiplexer may be synthesized with the at least one image.
  • the multiplexer (or muxer) may include a module for synthesizing different types of media.
  • an operation of processing data using an example of a composer eg, an image composer or an audio composer
  • a composer eg, an image composer or an audio composer
  • the image composer may include various methods of synthesizing images (eg, images) to be output on a screen of a display. For example, you can composite multiple images hierarchically, add transparency to a specific image and show it with images placed in the layers below it, and PIP (Picture in Picture) or PBP (Picture by Picture) functions. In addition, it may provide a GUI related to the user's interaction to be displayed together with the video or still image.
  • the audio composer may be used to synthesize a plurality of sound sources to generate one audio stream, or may be used to provide an audio effect to several sound sources. For example, to increase the sound pressure of a particular sound source, synthesize it to give a stereo effect, adjust the equalizer, or noise for sound sources input through two or more microphones. ), The clarity may be added to a specific sound range, or the space may be added.
  • video and audio may be transmitted using different communication networks.
  • an image encoded by the first electronic device 610 is transferred to the second electronic device 620 using a WiFi network
  • audio encoded by the first electronic device 610 is generated using a cellular network. 2 may be delivered to the electronic device (620).
  • the user when the first electronic device 610 and the second electronic device 620 communicate with each other through a cellular network and need to share an image, the user operates the camera to capture the image. You can also encode captured images or still images and send them to a WiFi network.
  • a network may be operated for transmission of control signals or files.
  • the video and the audio may use the same communication network, for example, a cellular network, and may be transmitted using different port numbers.
  • a port number for video communication, a port number for audio communication, a port number for control signal, etc. may be separately set, and each electronic device may transmit each other using a corresponding port according to the type of data to be transmitted. have.
  • various types of data may be transmitted using the same pair of port numbers regardless of the data type. For example, after generating a packet including an original pair of port numbers corresponding to the data type of the packet, and transmitting the generated packet using the same port number, the electronic device of the receiver For example, when de-packetizing the second electronic device 620, a corresponding port number may be obtained together with the corresponding data, and data may be transmitted by transmitting data corresponding to the corresponding port using the second electronic device 620. Depending on the type, this can provide the same effect as forwarding to different ports.
  • the first electronic device 610 may multiplex the encoded image, the encoded audio, and the control signal to generate a packet as an RTP stream and transmit the packet to the second electronic device 620.
  • the second electronic device 620 may reconstruct each data through demultiplexing that maps the type and the port number of the data using the port number field in the internal data structure of the RTP stream.
  • each data is packetized and transmitted to one port, but the original port number is tracked or monitored so that the second electronic device 620 can process the data when the data is received. It may be.
  • FIG. 8 is a diagram illustrating an image processing operation in an electronic device according to various embodiments of the present disclosure.
  • a dotted line may represent a transmission path of a control signal, and a solid line illustrated may represent a transmission path of data.
  • an image processing operation may include a camera buffer 812 by processing bayer data (eg, raw data) received through one or more cameras 810 and 820. ) May be encoded, generated in the form of a still image or video, stored in a memory (eg, the memory 550) or transferred to another electronic device through the network unit 850.
  • the cameras 810 and 820 may display a processed preview image for display on the display 830 as a preview image by transferring the preview image to a display buffer of the display 830.
  • the electronic device 500 receives the data received from another electronic device through the network unit 850 and decodes it, thereby displaying the display 830 and an audio output module 880 (eg, a speaker and earphone). You can also output via According to various embodiments of the present disclosure, the image processing operation may be performed under the control of the media processor 840.
  • the process performed by the camera units 810 and 820 may include, for example, bayer data generated through an image sensor (IMG sensor) 811.
  • the processor e.g., camera controller 815, camera image processor 813 or media inside the camera 810, 820
  • the processor 840 may perform image processing and transfer the image to the display buffer or the encoder 846.
  • the image processing may be performed first, and then stored in the camera buffer 812 and then transferred to the display buffer or the encoder 846.
  • the camera unit 810, 820 may include an image sensor 811, a camera buffer 812 (eg, a ring buffer), a camera image processor 813, a size controller 814, and a camera controller. 815, and the like.
  • the camera controller 815 may receive a control signal through the media processor 840 or the camera image processor 813, and thus control the components of the camera units 810 and 820.
  • the image sensor 811 may collect bayer data through a camera sensor using at least one of a CCD, a CMOS, and an IR optical sensor. According to an embodiment of the present disclosure, the image sensor 811 may be controlled by the camera controller 815 and may or may not receive an image depending on whether the power is on or off. According to an embodiment of the present disclosure, a plurality of image sensors may be embedded in one electronic device. According to an embodiment of the present disclosure, the electronic device 500 may include a front camera (eg, Camera A 810) and a rear camera (eg, Camera B 820) facing each other. According to another embodiment, the electronic device 500 may embed the RGB camera and the IR camera in adjacent positions on one surface.
  • a front camera eg, Camera A 810
  • a rear camera eg, Camera B 820
  • the electronic device 500 may embed the RGB camera and the IR camera in adjacent positions on one surface.
  • the electronic device 500 may acquire depth information by measuring a distance between the object and the camera together with an image of the object through an RGB camera and an IR camera. According to various embodiments of the present disclosure, the electronic device 500 may obtain different images according to the direction of the camera or the area difference of the received image by arranging a plurality of RGB cameras on the same surface. It can also be used as basic information for generating 3D images.
  • the camera buffer 812 may store an image received by the image sensor 811. According to an embodiment of the present disclosure, an image received by the image sensor 811 may be stored after being processed by the camera image processor 813. The image stored in the camera buffer 812 may be transferred to the camera image processor 813 or the media processor 840 for image processing. According to an embodiment of the present disclosure, the image stored in the camera buffer 812 may be transferred to and displayed on the display 830.
  • the camera buffer 812 may be in the form of a line array or may be a frame buffer.
  • the line array may store the Bayer image constituting the image or the pixels constituting the YUV / RGB image in the form of a one-dimensional array.
  • the frame buffer may store the Bayer image constituting the image or the pixels constituting the YUV / RGB image in a one-dimensional array.
  • the camera buffer 812 is configured as a ring buffer to store several images in chronological order, so that when the buffers are full, the oldest image may be removed and filled with a new image. have. Therefore, since the previous image storage position can be determined from the position at which the currently received image is stored up to the nth time, the previously received image can be retrieved and used as necessary.
  • one or more camera buffers 812 may be arranged for one camera sensor, or several cameras may be used in common.
  • a dedicated buffer may be present for each camera sensor.
  • the camera buffer 812 may alternately store images input through each camera sensor or may divide and store memory regions. have.
  • an interval for receiving an image and storing the image in the camera buffer 812 or transferring the image to the camera image processor 813 may be set by a control signal of the camera controller 815.
  • the frame rate may be adjusted by adjusting vertical blanking intervals (VBI).
  • VBI is the time interval from the last line reception of the image received from the camera sensor (e.g. image sensor 811) to the first line reception of the next image, or the reception of the last received image frame and the next received image frame. It may mean an interval of time.
  • the images received from each image sensor 811 are separately stored by adjusting the VBI. Or transfer.
  • the VBI may be set or changed through the camera controller 815, and thus the frame rate of each camera sensor received through the cameras 810 and 820 may be determined. Accordingly, the camera image processor 813 and the camera buffer 812 may be determined. Synchronization may occur to receive and process the image. According to various embodiments of the present disclosure, the camera buffer 812 may further include depth information or transparency information for each pixel or for a predetermined set of pixels.
  • the camera image processor 813 converts a Bayer image received through a camera sensor (eg, the image sensor 811) into a color space (eg, YUV, RGB, RGBA). To the camera buffer 812 or to the media processor 840. According to an embodiment of the present disclosure, the camera image processor 813 may perform image processing related to correction of an error or distortion of a received image, change of color, size, and the like. The camera image processor 813 may sequentially process each image processing function by using a pipeline or selectively drive only necessary functions, and parameters of a specific function may be considered in consideration of previous processing results. ) Can also be changed or set.
  • the image processing function processed by the camera image processor 813 may include, for example, bad pixel correction (BPC), lens shading (LS), de-mosaicing, white balance (WB), gamma correction, Color space conversion (CSC), hue, saturation, contrast (HSC), size conversion, filters (eg, high pass filter, low pass-filter), and image analysis module may be included.
  • BPC bad pixel correction
  • LS lens shading
  • WB de-mosaicing
  • WB white balance
  • CSC Color space conversion
  • HSC hue, saturation
  • HSC contrast
  • filters eg, high pass filter, low pass-filter
  • image analysis module may be included.
  • BPC is a technique that corrects by using the color values of other pixels around when an error occurs in the pixel unit
  • LS is a technique that corrects image distortion that occurs at the outside of the image due to the lens
  • de- mosaicing or de- Bayering is a technique for converting a bayer image to an RGB image
  • WB is a color constancy technique for correcting distortion caused by lighting of an image
  • gamma correction is performed by the camera sensor 811 or the display 830.
  • HSC is a technique for correcting the affected color
  • HSC is a technique for improving color, brightness, and contrast using a color space model
  • CSC is a color model transformation technique (eg, RGB to YUV color model).
  • the image analysis module may analyze the processed image and transmit a signal to the camera controller 815 according to the result to adjust the type and intensity of the image processing. For example, in order to provide functions such as auto exposure or auto focus, blurring or brightness information of pixels may be analyzed and controlled based on depth information. You may.
  • the size controller 814 may be performed by the camera image processor 813 or may be configured as a separate module.
  • the size control unit 814 may represent a module for setting or controlling a size or a resolution of an image processed by the camera image processor 813 or an image stored in the camera buffer 812.
  • the size control unit 814 may convert the maximum image data received through the image sensor 811 to a specific resolution, or extract a portion of the maximum image data to convert the image to a specific resolution.
  • the size control unit 814 may set one or more sizes or areas of a video, still image, or preview image.
  • the size controller 814 may set the size or area of the image to be displayed on the display of the transmitting electronic device.
  • the size control unit 814 may set or change the resolution or pixel area of the encoded image.
  • the size control unit 814 can set or change the resolution or pixel area of the still image to be encoded.
  • the size control unit 814 sets the size or resolution of an image to be displayed or encoded on the display 830 when a control signal for zooming (eg, zoom in / out) operation is input. Can be.
  • the size control unit 814 may operate in connection with the digital zoom.
  • the camera controller 815 may receive a control command through the media processor 840 or the camera image processor 813, and control the components of the camera units 810 and 820.
  • the camera controller 815 may include at least one of interleaving adjustment (eg, VPI) and camera function (eg, frame rate, zoom level, exposure level, focus, and lighting control) of the capture command time for the multiple cameras. One) and the like.
  • the camera controller 815 may control image processing functions (eg, BPC, LS, de-mosaicing, WB, gamma correction, CSC, HSC, size conversion, filter, and image analysis module) through the camera image processor 813. Can be.
  • the camera controller 815 may control or change a parameter of a selected specific function by controlling the camera image processor 813. For example, by changing the parameter according to the algorithm of the filter function, operations such as image conversion and noise removal may be performed.
  • the camera controller 815 may receive feedback about an image analysis result through the camera image processor 813, and accordingly, may control the camera image processor 813. For example, in order to perform auto focus, the camera image processor 813 obtains a variance value of adjacent pixels around a reference pixel for focusing, and then determines a blurring level through this. The focus level may be determined and transmitted to the camera image processor 813.
  • the camera controller 815 may control the camera power mode. For example, camera off mode (e.g. power off image sensor 811), standby mode (e.g. power on image sensor 811, image reception or processing off), camera drive mode (e.g. : Image sensor 811 Power on, image reception and processing on) and the like can be controlled.
  • the camera controller 815 may control to transfer the image received through the image sensor 811 to the media processor 840.
  • the camera controller 815 may extract one or more images stored in the camera buffer 812 and transfer the same to the media processor 840. For example, one or more images are selected from the images stored in the camera buffer 812 based on the time information received from the media processor 840, the selected images are transferred to the media processor 840, or the camera image processor is selected. May be passed to 813. To this end, the camera controller 815 may change the resolution, size, and ratio of the image through the size control unit 814, and then transfer the same.
  • camera off mode e.g. power off image sensor 811
  • the camera controller 815 may control a plurality of image sensors and a related module thereof.
  • the camera controller 815 may include a camera driver (not shown) for controlling sub modules of the camera units 810 and 820 under the control of the media processor 840.
  • one or more of a plurality of image sensors, a plurality of camera buffers, a plurality of camera image processors, and a plurality of size controllers may be controlled through one camera controller 815.
  • the camera controller 815 may control a power mode of the plurality of image sensors and modules associated with the same.
  • the camera controller 815 may control one or more of a function of each camera and an image processing function through the camera image processor 813.
  • the camera controller 815 may control to generate a mixed image such as PIP and PBP by mixing the plurality of images received through the plurality of image sensors.
  • the media processor 840 may include a module for performing one or more of collecting and processing, storing, or transmitting an image, audio, and a control signal.
  • the media processor 840 may include one or more of a separate chip, a system on chip (SOC), or software modules.
  • the media processor 840 receives an image from the camera units 810 and 820, performs a predetermined image processing, and then transfers the image to the encoder 846 and the encoded image generated by the encoder 846.
  • the encoded still image may be received and output to the display 830 or transmitted through the network unit 850.
  • the encoding setting information may be determined according to a network connection property (eg, speed) and a device property (eg, resolution, display type, window size, etc.) of the video service receiving electronic device.
  • the media processor 840 decodes the encoded media, which is transmitted from another electronic device and received through the network unit 850, through the decoder unit 847, which is then displayed on the display 830 or the audio output module. 880) (eg, speaker, earphone, etc.) to control the output.
  • the media processor 840 decodes the encoded media, which is transmitted from another electronic device and received through the network unit 850, through the decoder unit 847, which is then displayed on the display 830 or the audio output module. 880) (eg, speaker, earphone, etc.) to control the output.
  • the media processor 840 may include sensors 890 or a client 860 (e.g., an application), a network 850, or an audio input module 870 (e.g., a microphone). Based on the signal received through the camera unit 810, 820, encoder unit 846, decoder unit 847, audio output unit 880, sensor unit 890, network unit 850, client ( 860, one or more of the display 830 may be controlled.
  • a client 860 e.g., an application
  • an audio input module 870 e.g., a microphone
  • the media processor 840 may include a media process management module 843, an image process module 844, a composer module 842, an audio process. Module (Audio process Module) 845, network process module 841, and the like.
  • the media process management module 843 may perform control of each module of the media processor 840.
  • the media process management module 843 may control various functions (eg, instruction exchange with video App., Control of data transmission and reception through a network, image processing, etc.) for a video service.
  • the media process management module 843 may control the camera units 810 and 820. For example, the media process management module 843 communicates control signals to the camera controller 815 for one or more camera modules, thereby initializing camera modules, controlling camera power modes, controlling camera functions, and controlling camera buffers. 812 may process one or more of (eg, in-buffer image retrieval, VBI control), camera image processing (captured image processing), size control, camera function pause, resume.
  • VBI control in-buffer image retrieval
  • camera image processing captured image processing
  • size control size control
  • camera function pause resume.
  • the media process management module 843 When the media process management module 843 controls the plurality of camera units 810 and 820, the media process management module 843 selectively drives the plurality of camera units 810 and 820, or images from the plurality of camera units 810 and 820. Control commands for synthesizing the data may be transmitted to one or more camera controllers 815.
  • the media process management module 843 may transmit a command to the camera controller 815 such as an area for image control (eg, a region of interest (ROI) area) and a level setting of a camera function.
  • the media process management module 843 may control the camera controller 815 to perform camera image capturing and processing functions. For example, one or more of auto focusing, auto exposure, resolution, bitrate, framerate, camera power mode control, vertical Blinking Intervals (VBI), zoom, gamma, and white balancing may be controlled.
  • VBI vertical Blinking Intervals
  • the media process management module 843 can control image processing.
  • the media process management module 843 may transfer the image received through the camera units 810 and 820 to the image processing module 844 and perform image processing.
  • the media process management module 843 can control audio processing. For example, the media process management module 843 removes noise by receiving audio generated by the audio input unit 870 (for example, a microphone) or a network (for example, a wireless microphone), or a media player (not shown).
  • the audio processor module 845 and the audio output unit 880 may be controlled to process sound effect, sound pressure adjustment, sound field, equalizer adjustment, and the like.
  • the media process management module 843 can deliver one or more of an image or audio to the encoder 846 and control to perform the encoding of the media.
  • the media process management module 843 may transmit the encoded image, the encoded still image, or the encoded audio to the network unit 850 to transmit the encoded image, the encoded still image, or the encoded audio to another electronic device.
  • the media process management module 843 may control image processing on the image received through the network unit 850.
  • the media process management module 843 may include a decoder 847 (eg, a video decoder), an image process, so that the encoded image received over the network may be decoded and delivered to the display 830.
  • the module 844, the network process module 841, and the display 830 may be controlled.
  • the media process management module 843 decodes the encoded audio received through the network and delivers the decoded audio to an audio output unit (eg, a speaker, earphone, headphone, etc.), such as a decoder 847 (eg, an audio decoder). ),
  • the audio process module 845, the network process module 841, and an audio output unit may be controlled.
  • the media process management module 843 may transmit control signals related to the media process to other connected modules based on signals received from the user interface or the network, the sensor 890, or the camera units 810 and 820.
  • the sensor unit 890 may detect at least one of a battery state, a temperature, a processor resource occupancy, and a memory state, and control media processes and media transmission / reception related modules based on the measured value. For example, the sensor unit 890 detects a change in resources, and accordingly, may change the frame rate, bit rate, and drop rate of the video or audio.
  • the media process management module 843 may deliver and synthesize one or more data of media or audio to the composer module 842.
  • the image processing module 844 may include, for example, a graphic processing module.
  • the image process module 844 may be, for example, two-dimensional or three-dimensional image processing (2D, 3D image process), noise reduction, filtering, image synthesis, color correction. correction, color conversion, transform, 3d modeling, image drawing, augmented reality, virtual reality (AR), Dynamic range adjusting, perspective, sharing, transformation, scaling, edge extraction, region of interest, image matching, image Image processing such as segmentation can be controlled.
  • the image processing module 844 may perform a separate function that is not processed by the camera image processor 813. For example, the image processing module 844 may synthesize the images received from the plurality of camera units 810 and 820 or generate stereoscopic image based on the results of the image processing performed by the camera units 810 and 820. , Compositing camera images with other images (e.g. GUI images provided by the application, user-selected or drawn images), such as depth-based panorama image generation, augmented reality (AR), and virtual reality (VR). It can be used when the same post treatment is needed.
  • images e.g. GUI images provided by the application, user-selected or drawn images
  • AR augmented reality
  • VR virtual reality
  • the image processing module 844 may include biometrics (eg, iris, fingerprint, face, pose-based activity recognition, etc.), character recognition, handwriting recognition, image code recognition (eg, barcode, QR code (quick) machine vision, artificial intelligence, machine learning, and decision tree functions, such as response code, PDF-417, color code, etc., and object recognition. have.
  • biometrics eg, iris, fingerprint, face, pose-based activity recognition, etc.
  • character recognition eg, handwriting recognition
  • image code recognition eg, barcode, QR code (quick) machine vision
  • artificial intelligence eg.g, machine learning
  • machine learning e.g., iris, fingerprint, face, pose-based activity recognition, etc.
  • decision tree functions such as response code, PDF-417, color code, etc.
  • object recognition e.g, object recognition.
  • the audio process module 845 receives audio generated by an audio input 870 (e.g. a microphone) or a network (e.g. a wireless microphone) or a client 860 (e.g. a media player) to remove noise, Sound effects, sound pressure adjustment, sound field, equalizer adjustment, and the like can be processed and delivered to the encoder 846 (eg, an audio encoder).
  • an audio input 870 e.g. a microphone
  • a network e.g. a wireless microphone
  • client 860 e.g. a media player
  • the audio process module 845 if the encoded audio received over the network is decoded through a decoder 847 (e.g., an audio decoder), then the audio process module 845 or the media processor manager (e.g., media process management module 843). In response to the control signal input through)), it can be controlled to be delivered to the audio output unit (eg, speaker, earphone, headphone).
  • a control signal is received through an application, and accordingly, one or more functions of volume, sound field effect, equalizer, and playback function adjustment (eg, playback speed, rewind, fast forward, pause, stop, resume, etc.) You can also control.
  • the audio process module 845 may include an audio encoder and an audio decoder.
  • the audio process module 845 may perform a function related to a speech recognition function. For this purpose, the audio process module 845 may transmit audio data to a server through a network and then receive the recognized result through the network unit 850. Alternatively, the audio process module 845 may perform a function in association with a voice recognition engine (not shown) of a local device (for example, the electronic device 500). According to an embodiment, the audio process module 845 may provide speech-to-text (STT) or text-to-speech (TTS) functionality.
  • STT speech-to-text
  • TTS text-to-speech
  • the network process module 841 may perform a function of establishing, maintaining, and controlling a communication session between a local device (eg, an electronic device) and a remote device (eg, another electronic device).
  • the network process module 841 may support data transmission in a suitable protocol among various protocols. For example, one or more of RTP, UDP, TCP, and HTTP may be used to set up communication to communicate with a remote device or server.
  • the network process module 841 transmits the network state or resource state information of the received remote device to the media process manager, so that the sub-modules of the media processor 840, for example, the camera unit 810 and 820, the encoder ( 846), one or more of the network unit 850 may be controlled to determine a media specification (eg, one or more values of frame rate, resolution, bit rate, drop rate, VBI, resizing level, and lower bit encoding). For example, the network process module 841 may estimate the appropriate value of the upload bandwidth through the network condition, calculate the possible data transfer amount accordingly, and deliver it to the media process manager. The media process manager determines a media specification corresponding to the data transmission amount and passes it to the encoder 846, the network process module 841, or the camera unit 810, 820 to control one or more of data generation, encoding, or transmission. can do.
  • a media specification eg, one or more values of frame rate, resolution, bit rate, drop rate, VBI, resizing level, and lower bit
  • the network process module 841 may monitor the state of the network using the network unit 850, and dynamically determine and process media specifications according to the network state.
  • the network process module 841 may control to packetize the processed media and transmit it to a remote device (eg, another electronic device).
  • the network process module 841 may determine whether to transmit media to a remote device (eg, another electronic device) according to a monitoring result of the network state.
  • the state of the network may be, for example, one way delay, packet loss, roundtrip delay, bandwidth based bitrate estimate calculation, call service state (e.g. during One or more of call, dialing, incoming call, outgoing call, hold, and peer-to-peer (P2P) connection status may be included.
  • P2P peer-to-peer
  • the network process module 841 may receive resource state information of a remote device transmitted from a remote device (eg, another electronic device), and correspond to an image of a local device (eg, an electronic device) and correspondingly. You can control the modules related to audio transmission and reception. For example, network process module 841 may dynamically determine the specification of the media to send media to or receive media from the remote device.
  • the network process module 841 may control the network unit 850, and the network unit 850 may adjust the amount of data to be transmitted according to the control of the network process module 841. For example, the network unit 850 may reduce the amount of data by determining the drop rate or transmission of the encoded image frames.
  • the network process module 841 may control the transmission according to the media type. According to an embodiment of the present disclosure, the network process module 841 may transmit and receive multiplexed data types through one virtual communication channel. For example, when the network process module 841 transmits video, audio, and control signals to a remote device (for example, another electronic device), the network process module 841 assigns a different port number according to each data type. By opening the ports of the electronic device and the remote device, a separate channel is formed and transmitted. In various embodiments, the network process module 841 performs multiplexing for a network without transmitting a channel for each data type and transmits it to one channel, and the received remote device is demultiplexed. ) Can also identify and process the original port number for each data type.
  • multiplexing may be performed by assigning and packetizing identifiers (or identifiers) for each data type to transmit video, audio, and control signals to one channel. For example, it allows transmission over a single pair of port numbers.
  • demultiplexing may use a delimiter in a received packet to classify data types, assign an original pair of port numbers to each delimited data type, and perform depacketizing. To do it. Accordingly, audio, video, and control signals (eg, remote control) can be transmitted and received using one channel.
  • the remote device controls the media process management module 843 or the network process module 841, such that the cameras 810 and 820 and the media processor 840 are controlled. Or control one or more of the clients 860.
  • data including a control signal eg, a remote control
  • the electronic device 500 through the network unit 850 may be extracted (eg, demultiplexed) through the network process module 841.
  • the media process management module 843 or the network process module 841 based on the extracted control signal, the cameras 810, 820, the media processor 840, the network unit 850, or the client 860.
  • the network process module 841 may separately manage audio (eg, voice) communication and video communication. For example, audio communication (or audio transmission) may be performed over a cellular network, and video communication (or video transmission) may be delivered to a remote device via a Wi-Fi network.
  • audio communication or audio transmission
  • video communication or video transmission
  • the network process module 841 may process, when receiving and processing data, the network unit 850 of the local device receives one or more of an encoded image, encoded audio, or control command transmitted from a remote device. have. For example, the network process module 841 may send the received data to the decoder 847 to control the media to be decoded, and to control demultiplexing and depacketizing of the received data. Can be.
  • the network process module 841 may, according to one embodiment, receive a request transmission and a response thereto and monitor the current network state from their time and bandwidth.
  • the network process module 841 may check a resource state of a local device, and accordingly, the decoder 847 may inform the decoder 847 of a bitrate, framerate, or not, for playback through the media process management module 843. It can also be controlled to determine.
  • the network process module 841 may perform synchronization based on a time stamp between media types of received data.
  • the network process module 841 may determine a subscribed service network between the local device and the remote device, and determine whether to transmit or receive an image and a method of transmitting or receiving an image.
  • the composer module 842 may function as a module for synthesizing media (eg, video and audio), and may be different from the multiplexing performed by the network process module 841.
  • the composer module 842 may be divided into a muxer for mixing the same data type and a multiplexer for mixing different data types.
  • the composer module 842 may include at least one of an image composer, an audio mixer, or a multiplexer.
  • the composer module 842 may perform, for example, image synthesis, transparency processing, layer processing of each image, audio mixing, audio and image multiplexing, and audio path processing. For example, it may serve as an Android surface flinger or an audio flinger of an Android operating system (OS).
  • OS Android operating system
  • the composer module 842 may synthesize a plurality of images. For example, images received from a plurality of cameras may be synthesized, or images received from different devices may be synthesized. For example, composer module 842 may synthesize the image received through the camera and the GUI provided through the application of the local device or the remote device. According to an embodiment of the present disclosure, the composer module 842 may be synthesized and displayed in an overlay form so as to be displayed on one screen, or may be synthesized in a PIP or PBP form, or may be displayed in a screen division form. have.
  • Composer module 842 may perform compositing for each case to separately generate an image to be drawn on display 830 of the local device and an image to send to the remote device.
  • the composer module 842 may include a preview image received from a camera of the local device, a GUI selected through an application of the local device, and a remote device on the display 830 of the local device. Based on one control signal, an image can be synthesized to display another GUI provided by an application on the local device. For example, the composer module 842 may synthesize a preview video, a local GUI, and a remote control based GUI.
  • the composer module 842 may synthesize only the video image of the local device and the GUI selected through the application of the local device for the video stream to be transmitted to the remote device. For example, the composer module 842 may synthesize a preview video and a local GUI.
  • the preview image and the video image may have different resolutions or sizes.
  • the composer module 842 may generate the size of each graphic element in accordance with the QVGA size for the display 830.
  • the composer module 842 may also adjust the ratio of the local GUI to the size of the object of the FHD. This is because the resolution of the display 830 of the remote device may be different than the local, the requested resolution may be different, or may vary depending on the use for storage.
  • the composer module 842 may include various methods of composing images to be output on a screen. For example, several images may be hierarchically synthesized, or may be added with transparency to a particular image and viewed with the images arranged in the layer below it.
  • Composer module 842 for example, an audio composer may be used to synthesize multiple sound sources to create a single audio stream, or may be used to provide audio effects for multiple sound sources.
  • the composer module 842 may synthesize one sound source input through two or more microphones into one, and synthesize the sound pressure of a specific sound source or give a stereo effect during the synthesis.
  • the composer module 842 may add effects such as adjusting an equalizer to the sound source, removing noise, increasing clarity to a specific sound range, or adding a sense of space to the sound source. It may be.
  • the sound source may synthesize not only the audio input unit but also the audio played using the media player of the local device together with the sound source input to the audio input unit 870 (eg, a microphone), or the audio output unit. 880 (eg, a speaker, earphone, etc.) may be synthesized with a sound source other than the audio output.
  • the composer module 842 may be configured to be included in the image process module 844 or the audio process module 845.
  • the encoder 846 may perform encoding according to bitrate, framerate, drop rate, encoding codec type, and the like. According to various embodiments, the encoder 846 may include, for example, one or more of a video encoder, an audio encoder, or an image encoder. The result encoded by the encoder 846 may be generated in the form of a stream or a file.
  • the decoder 847 may decode an image stream, an audio stream, a media file, or the like. According to various embodiments of the present disclosure, the decoder 847 may include, for example, one or more of a video decoder, an audio decoder, or an image decoder.
  • the encoder 846 and the decoder 847 may be separate hardware or software modules.
  • the network unit 850 may be connected to a cellular network such as GSM, CDMA, or LTE, or a local network such as Wi-Fi, or Bluetooth, or a wired / wireless modem and antenna for transmitting and receiving data. It may include.
  • a cellular network such as GSM, CDMA, or LTE
  • a local network such as Wi-Fi, or Bluetooth
  • a wired / wireless modem and antenna for transmitting and receiving data. It may include.
  • the network unit 850 may perform packetizing of data to be transmitted and depacketizing of the received data. In addition, the network unit 850 may separate or collect the received data for each data type.
  • the network unit 850 may transmit data received through the network to the network process module 841.
  • the network unit 850 may perform power on / off or transmission / reception control according to the control of the network process module 841.
  • the network unit 850 may include a network buffer (not shown) that stores one or more of an encoded image, encoded audio, or a control command for data packetizing.
  • the amount of data to be transmitted may be adjusted using data stored in a network buffer and control of the network process module 841.
  • the network unit 850 determines the drop rate or transmission of the encoded image frames, processes the data stored in the network buffer accordingly, and packetizes the data accordingly as a result of other electronics. By sending to the device, you can adjust the amount of data.
  • the network unit 850 may be included in the network process module 841 or may be implemented to perform a function of the network process module 841 in a separate chip (eg, a communication processor (CP)). It may be.
  • a separate chip eg, a communication processor (CP)
  • the client 860 (or application unit) is a software module that provides call and media transmission / reception services and receives user input for performing local and remote control commands.
  • a stand alone application or it may be a submodule of the application.
  • the client 860 receives a user's input (eg, pointing, location, gesture, voice input, eye tracking, etc.) and transmits the input to the media processor 840, through which the camera unit 810, 820, or the media processor receive the input.
  • a user's input eg, pointing, location, gesture, voice input, eye tracking, etc.
  • the media processor 840 receives the input to the media processor 840, through which the camera unit 810, 820, or the media processor receive the input.
  • One or more of 840, network 850, encoder 846, and decoder 847 may be controlled.
  • the client 860 may also include various GUI elements for displaying information and may be displayed according to user input, commands of a remote device, and control of the media processor 840.
  • the client 860 may be a telephone application capable of video communication.
  • the client 860 may be a communication application capable of controlling a screen operation as necessary during image transmission and reception.
  • the client 860 may be a remote control application that can control the function of the remote device from the local device.
  • the sensor 890 may include a sensor (eg, an acceleration sensor, a gyro sensor, etc.) for sensor motion recognition, a sensor (eg, a gyro sensor, a geomagnetic sensor, etc.) for pose recognition of an electronic device, and a sensor (eg, proximity recognition). : At least one of a proximity sensor, a touch sensor, and the like, an optical sensor, and a biometric sensor (eg, a heart rate sensor, an electrocardiogram sensor, a blood pressure sensor, a fingerprint sensor, an iris sensor, etc.).
  • a sensor eg, an acceleration sensor, a gyro sensor, etc.
  • a sensor eg, a gyro sensor, a geomagnetic sensor, etc.
  • a sensor eg, proximity recognition
  • At least one of a proximity sensor, a touch sensor, and the like, an optical sensor, and a biometric sensor eg, a heart rate sensor, an electrocardiogram sensor,
  • the electronic device 500 may include various input / output devices.
  • the electronic device 500 may include a display 830, an audio input unit 870, an audio output unit 880, and the like, and also a TSP (not shown), a mouse (not shown), and a gaze tracking device. It may be configured to further include (not shown).
  • FIG. 9 is a diagram illustrating a registration operation of a video service in a system according to various embodiments of the present disclosure.
  • FIG. 9 is a video service initial setup (eg, video service initial setup) operation for a video service between electronic devices, according to various embodiments.
  • FIG. 9 illustrates an example of a service registration procedure.
  • the video service may be connected through a network to represent a service including real-time video communication or still image sharing and related functions.
  • the first electronic device 610 and the second electronic device 620 perform a video service through the server 650 of the second network 600 while performing a voice call through the first network 400.
  • a service registration procedure for starting a video service may be performed by performing a data communication connection (eg, P2P connection).
  • a data communication connection eg, P2P connection
  • the Call App 601 is an application for configuring and displaying inputs and outputs for a user, for example, a general telephone connection, a video service telephone connection, an audio output mode (eg, a receiver mode, a speaker). Mode), keypad input, and mute (e.g., silence) may be associated with other modules.
  • the module for processing the above-described functions may include a video service component 603, an account manager 605 (eg, an Android account manager), a phone book ( 607), and the like.
  • the video service component 603 is a module for video service telephone connection, and includes a server 650 (eg, an Easy Sign Up (ESU) Server 910) that is external to the electronic device 500.
  • a control message may be exchanged with a contact server 920, a connection server 930 (eg, an SCS server), etc.
  • the video service component 603 may also initialize an initial setup for a video service. The process may request and update a phone book 607 and address information (not shown)
  • the video service component 603 may be a part of a software module of the call app 601 or a separate app. (Application) or a module including an operating system (OS)
  • the video service component 603 may include a media processor 840 or may be functionally connected to and operate.
  • the electronic device 500 may use the account manager 605 to obtain an account registered in the electronic device 500.
  • the account manager 605 may be used when importing specific account information (eg, Google account information, etc.) or may be used when requesting account information of another application already installed.
  • the account manager 605 may use an account of an electronic device manufacturer or a service company.
  • the phone book 607 is a module used when a user registers a phone number or updates additional information in a pre-registered phone book. In various embodiments, a friend registration and update for a video service is performed. Send and receive messages at According to an embodiment of the present disclosure, the phone book 607 may include at least one of contact information and video service subscription information of another user.
  • the server 650 may include, for example, an Easy Sign Up (ESU) Server 910, a contact server 920, an access server 930, and the like.
  • ESU Easy Sign Up
  • the ESU server 910 may represent a server for managing and updating user information subscribed to from the electronic device 500 using the video service.
  • the contact server 920 may represent a server that stores and manages an address book of the phone book 607 inside the electronic device 500 in an external server.
  • the access server 930 may represent a separate server for establishing a P2P connection with another user's electronic device to connect to a video service.
  • the connection between the electronic devices eg, the first electronic device 610 and the second electronic device 620
  • the media transmitted from the first electronic device 610 may be processed and transmitted to the second electronic device 620.
  • at least two or more server functions among the access server 930, the contact server 920, and the ESU server 910 may be included in one server.
  • the service registration process may include phone number authentication (operation 901), account registration (operation 903), request for check up on video service availability for contacts (operation 905), video service availability check on contacts (operation 907).
  • operation 909 Like the Friend Synchronization (Sync.) (Operation 909), may include five steps.
  • the electronic device 610 or 620 may perform a phone number authentication process.
  • the electronic devices 610 and 620 may transmit a message to the ESU server 910 through the video service component 603 to authenticate the video service subscribers.
  • the message may include an identifier (eg, one or more of a phone number, a MAC address, an electronic device serial number, and an e-mail address) of an electronic device for image service registration and authentication.
  • the phone number authentication does not require a separate account to provide convenience when subscribing to a video service.
  • the electronic devices 610 and 620 may perform an account registration process.
  • an identifier of the electronic device may be transmitted to register an account of the electronic device.
  • the ESU server 910 may perform an authentication operation on the electronic devices 610 and 620 based on the user's phone number.
  • the ESU server 910 may transmit the authentication result to the account manager 605 of the electronic devices 610 and 620.
  • the account registration message may include information related to a video service subscription.
  • the account registration message may include additional information related to an electronic device for providing a video service, for example, software (eg, an operating system, an installed video service application), a supportable specification (eg, mounted camera information, One or more of a supported communication type or a multimedia codec) or communication information (eg, SIM, eSIM, or carrier information) may be included.
  • software eg, an operating system, an installed video service application
  • a supportable specification eg, mounted camera information, One or more of a supported communication type or a multimedia codec
  • communication information eg, SIM, eSIM, or carrier information
  • the electronic devices 610 and 620 may perform a Request for check up on Video service Availability for Contacts process. For example, upon receiving the account registration message from the account manager 605, the video service component 603 based on the video service account registration information and the identifier (e.g., telephone number, etc.) of the electronic devices 610 and 620. A message for confirming the use of the video service may be transmitted to the external contact server 920. Upon receiving the message, the contact server 920 may confirm whether an easy sign up process has been performed. It may also include a request for checking whether other users have subscribed to the video service.
  • the video service component 603 based on the video service account registration information and the identifier (e.g., telephone number, etc.) of the electronic devices 610 and 620.
  • a message for confirming the use of the video service may be transmitted to the external contact server 920.
  • the contact server 920 may confirm whether an easy sign up process has been performed. It may also include a request for checking whether other users have subscribed to the video service
  • the electronic device 610 or 620 may perform a video service availability check on contacts process.
  • the contact server 920 may check whether the user device subscribes to and use the video service requested by the user device, and may transmit the result back to the video service component 603.
  • the contact server 920 available for use of the video service by the account manager 605 of the electronic devices 610 and 620 or by using additional information related to the electronic device through interworking with the ESU server 910. You can also judge.
  • the contact server 920 may transmit to the video service component 603 of the electronic device that the video service cannot be used. .
  • the electronic devices 610 and 620 may perform a Friend Synchronization (Sync.) Process.
  • the phone book 607 may be changed by using service subscription and installation information of video service users received from an external server 650.
  • whether the video service is used for each user registered in the phone book 607 may be displayed in the phone book 607.
  • subscription installation information may be periodically or aperiodically updated in the phone book 607 via the video service component 603 when data is changed on the server 650.
  • the installation and / or update of the application may be induced in the voice call execution state.
  • the sender requests the receiver to the receiver.
  • Messages such as SMS, MMS, push message can be transmitted.
  • the receiver may display an application installable address link (eg, a store address, a URL, etc.).
  • the address link may include a separate application such as a store app (application) for installing various kinds of applications.
  • the address link may include an access address of a server (eg, a store server, a market, a content server, etc.) that can directly download an application.
  • the receiver eg, the second electronic device 620
  • installation and / or update of an application may be induced in a state before executing a voice call.
  • a user may proceed with executing a voice call, including installing an application of a video service.
  • the sender for example, the first electronic device 610
  • the receiver for example, the second electronic device 620
  • an application for a video service may be automatically installed at a corresponding point in time, according to an embodiment of the present disclosure, if the user of the receiver (eg, the second electronic device 620) does not receive the call. Otherwise, the application may not be installed.
  • an application installed on a receiver is the same (same) version (eg, development) as an application installed on the sender (eg, the first electronic device 610). Purpose, service purpose, etc.), or the latest version of the application.
  • the application installed in the receiver is a newer version of the application, a process of updating the sender and the receiver may be included.
  • a user's request or automatically deleting an application may be executed.
  • the deleting process may be deleted only from the electronic device of the user, and the deleting operation may not be included in the server 650 (eg, the ESU server 910, the contact server 920, or the access server 930). .
  • an image service component 603 (eg, a chat agent) of the electronic device 500 (eg, a caller device, the first electronic device 610) may be used.
  • the mobile station Before transmitting the message "Request for check up on Video service Availability for Contacts", the mobile station may first check whether a service is subscribed by checking a contact DB in the electronic device.
  • the video service component 603 may be included in a video service application, may be included in a telephone application for a voice call, or may be included in the media processor 840.
  • the electronic device 500 may transmit a "Request for check up on Video service Availability for Contacts" message to the contact server 920 to confirm whether to subscribe.
  • the electronic device 500 transmits a "Request for check up on Video service Availability for Contacts" message to the contact server 920 in order to confirm whether or not the previously subscribed users are withdrawn. You can update it.
  • the electronic device 500 may induce application installation and / or update to users who are not subscribed to the video service, and may provide a function of deleting an additionally installed application.
  • a contact server 920 for a plurality of electronic devices authenticated by an electronic device identifier (for example, the same phone number or the same e-mail), whether or not an application for a video service is installed is classified into a contact server 920. You can synchronize the sync by updating the updated contact list. To this end, in addition, each of the plurality of electronic devices may be identified based on an identifier (eg, MAC address) unique to the electronic device, and the contact list may be synchronized between them using the contact server 920.
  • an identifier eg, MAC address
  • the contact server 920 before the electronic device 500 transmits a "Video service Availability Check on Contacts" message, the contact server 920 partially filters whether a user subscribes to, installs, or registers a video service. Can be sent.
  • the filtering target may be filtered only for a number designated by a user's request.
  • the filtering target may be filtered for a number other than a number designated by a user's request.
  • communication subscriber information of the electronic device 500 is changed (for example, when a mounted SIM card is changed or information of an eSIM is changed), the service subscription process as described above is performed again. You may.
  • FIG. 10 is a diagram illustrating an activation operation of a video service in a system according to various embodiments of the present disclosure. Referring to FIG. 10
  • FIG. 10 is a connection operation for an image service between electronic devices (eg, the first electronic device 610 and the second electronic device 620) in various embodiments, and has a video communication function.
  • An example of activating may be shown.
  • the first electronic device 610 and the second electronic device 620 perform a video service through the server 650 of the second network 600 while performing a voice call through the first network 400.
  • An example of connecting a video service may be performed by performing a data communication connection (eg, P2P connection).
  • the first electronic device 610 may show an example of connecting data communication to the second electronic device 520 connected through the first network 400 and in a voice call.
  • connection operation may be performed during a voice call.
  • the electronic device 500 may perform an account check process.
  • the call app 601 of the first electronic device 610 may perform an account check through the account manager 605.
  • the account checking process may be performed independently of a call.
  • the account check process may be performed by the video service component 603.
  • the account checking process may include checking subscription information of a manufacturer or a service company of an electronic device and checking whether the corresponding electronic device is available for use of an image service or an application for the image service. Can be.
  • the video service subscription information may be checked using the contact server 920 or the ESU server 910, the network quality between the two electronic devices 910 and 620 and the access server 930, or The contact server 920 may determine whether a client is installed and whether video communication is possible.
  • the electronic device 500 may perform a receiver's video service availability check process.
  • the video service component 603 of the first electronic device 610 may be a user (or electronic device) whose counterpart user (eg, the second electronic device 620) uses the video service in the phone book 607. Can be checked.
  • the electronic device 500 may activate an object for an image service based on a check result.
  • the first electronic device 610 may receive a result of checking through the video service component 603 and transmit the result to the call app 601 (not shown), or the call app 601 may directly receive the result.
  • the call app 601 may obtain a corresponding result value.
  • the call app 601 may input a user through an object (eg, a service button, a service icon (eg, a video communication icon), etc.) (hereinafter, a service object) for a video service based on a check result.
  • the video service function can be activated or deactivated and displayed through a service object (eg, a service button, text, or a video communication icon).
  • the electronic device 500 may perform an operation corresponding to whether a user input using a service object is performed.
  • the user may provide input to the activated service object of the call app 601 in various ways (eg, touch, click, voice input, gesture recognition, etc.).
  • the user's input may be passed to the video service component 603.
  • other signals eg, a call app driving signal and a video service icon activation signal
  • the electronic device 500 may check an online status of the counterpart.
  • the image service component 603 of the first electronic device 610 may check the network state of the second electronic device 620 through the access server 930 when a user input is transmitted.
  • the checking state may check whether the second electronic device 620 is in a data communication possible state, whether a network quality suitable for video communication is maintained, whether it is in an online maintenance state, or the like.
  • the P2P communication channel state between the first electronic device 610 and the second electronic device 620 is suitable for video communication, and whether the image data transmitted from the first electronic device 610 is transmitted to the second electronic device (
  • One or more of a network state eg, an uplink of the first electronic device 610 and a downlink state of the second electronic device 620
  • the video service component 603 of the first electronic device 610 may perform a second operation on the second electronic device 610 through the access server 930.
  • the network quality via the server 650 for example, one or more of an access server 930 or a multimedia streaming server (not shown) may be checked. .
  • the electronic device 500 may request a connection from the other party according to the check result.
  • the image service component 603 of the first electronic device 610 may make a connection to the second electronic device 620 if the second electronic device 620 is able to connect to the service, based on the check result. You can request
  • the electronic device 500 may start an image service when the other device accepts the connection.
  • the second electronic device 620 may transmit a response to accept the connection request of the first electronic device 610 according to a user input.
  • the first electronic device may transmit a response.
  • the device 610 and the second electronic device 620 may be connected.
  • the first electronic device 610 may be in a state capable of transmitting an image.
  • the process of confirming whether a video service is subscribed may be performed in advance when a voice call is connected, rather than when the service object is pressed.
  • a "Receiver's Video service Availability Check" message may be transmitted after a voice call connection time (eg, incoming dialing, or outgoing dialing) or after a voice call is connected.
  • a service provider's policy eg, no video communication or bandwidth limitation
  • a network eg CDMA2000, 3G communication, etc.
  • performance problem For example, due to bandwidth, communication speed, etc.
  • FIG. 10 when it is impossible to transmit a "Check Receiver's online status" message, the voice call is redialed by automatic redial according to a user input by a service object. You can check whether you have subscribed to the service by sending "Check Receiver's online status" message.
  • FIG. 11 is a diagram illustrating an activation operation of a video service in a system according to various embodiments of the present disclosure.
  • FIG. 11 is a connection operation for an image service between electronic devices (eg, the first electronic device 610 and the second electronic device 620) according to various embodiments of the present disclosure. Another example of activating may be shown.
  • the first electronic device 610 (eg, the image transmitting electronic device) checks the service availability of the second electronic device 620 (eg, the image receiving electronic device) and performs a video service function.
  • the mode can be driven.
  • the service availability may be determined to activate a service object (eg, a service button or a video communication icon) only when possible, and may receive a user input.
  • the process of checking whether the video service is subscribed may be performed in advance when the voice call is connected, not at the time of pressing the service object.
  • a "Receiver's Video service Availability Check” message or a "Check Receiver's online status” may be transmitted after a voice call connection time (eg, incoming dialing or outgoing dialing) or after a voice call is connected.
  • the first electronic device 610 may receive an image transmission request from the user.
  • the image transmission request may be performed from a user input by an input through a GUI, an input through a voice, or an input through a gesture.
  • the first electronic device 610 may switch to the speakerphone mode when the first electronic device 610 receives a user input for an image transmission request.
  • the first electronic device 610 checks an online state of the second electronic device 620 (eg, checks whether P2P can be connected or checks the network state) through the access server 930 (eg, an SCS server). ) And the like.
  • the checking state may check whether the second electronic device 620 is in a data communication possible state, whether a network quality suitable for video communication is maintained, whether it is in an online maintenance state, or the like.
  • the P2P communication channel state between the first electronic device 610 and the second electronic device 620 is suitable for video communication, and whether the image data transmitted from the first electronic device 610 is transmitted to the second electronic device (
  • One or more of a network state eg, an uplink of the first electronic device 610 and a downlink state of the second electronic device 620
  • the video service component 603 of the first electronic device 610 may perform a second operation on the second electronic device 610 through the access server 930.
  • the network quality via the server 650 for example, one or more of an access server 930 or a multimedia streaming server (not shown) may be checked. .
  • the first electronic device 610 may perform image communication with the second electronic device 620 to the access server 930 based on one or more of a check result or a video transmission request reception (eg, operation 1103). : Video service connection).
  • the first electronic device 610 may receive information (eg, device information, user information, etc.) and an image of the first electronic device 610 that transmits an image to a request signal for video communication connection.
  • the second electronic device 620 may include information (eg, device information, user information, etc.) and an App ID (eg, an Android app package name, an app authentication key, a token value, an app version, and an app registration information). .
  • the first electronic device 610 may transmit a video communication related message (eg, an invitation message) or a second electronic device 620 to the message server 950 to the second electronic device 620.
  • a message request for video communication may be transmitted.
  • the video communication related message may include information of the first electronic device 610, information of the second electronic device 620, an App ID, and the like as described above.
  • the video communication related message may be relayed to the second electronic device 620 through the message server 950.
  • the first electronic device 610 may transmit a video communication related message, display a video communication standby, and provide the same to a user.
  • the first electronic device 610 may give a user a preview (for example, camera photographing information), animation effects, text (for example, 'connecting'), and sound (for example, a connection sound). Etc. can be provided.
  • the second electronic device 620 that receives a video communication related message (eg, an invite message) from the message server 950 may include at least a portion of the video communication related message or display the message correspondingly.
  • the second electronic device 620 may display a user interface on the screen that allows the user to input whether to accept or reject the video communication request of the first electronic device 610.
  • the second electronic device 620 may notify the user of a video communication related message through sound, haptic, or the like.
  • the second electronic device 620 may transmit information about accepting or rejecting the video communication request to the access server 930 according to the user input. For example, when the user accepts a video communication request through various input methods (eg, GUI selection, voice input, gesture, etc.), the second electronic device 620 sends a video communication permission message to the access server 930. Can be transmitted.
  • the video communication permission message may include one or more of information of the first electronic device 610 that transmits an image and information of the second electronic device 620 that receives the image.
  • the second electronic device 620 may display the video communication waiting and provide the same to the user.
  • the second electronic device 620 may provide animation effects, text (eg, 'connecting'), sound (eg, connection sound), and the like.
  • the first electronic device 610 and the second electronic device 620 may receive a response (eg, a video communication connection response) message from the access server 930.
  • operation 1121 is performed after operation 1113 based on operation 1107, or after the access server 930 receives a signal related to a video communication permission (eg, operation 1117) based on operation 1117. Can be.
  • operations 1121 and 1123 may be performed after a P2P connection (eg, operation 1125).
  • the response may include content indicating that video communication is accepted or disallowed to each electronic device, and also include related information of the counterpart electronic device for video communication. It may be.
  • the first electronic device 610 and the second electronic device 620 may perform a P2P connection.
  • the P2P connection may be encrypted (eg, 256 bit encryption) with various encryption methods for security.
  • the first electronic device 610 and the second electronic device 620 transmit or receive a communication state (eg, a connection state, a work state, a camera operating state, a video communication state of the counterpart electronic device after the P2P connection).
  • a communication state eg, a connection state, a work state, a camera operating state, a video communication state of the counterpart electronic device after the P2P connection.
  • the first electronic device 610 may display a communication state of the second electronic device 620 that receives an image after the P2P connection.
  • the second electronic device 620 may display a communication state of the first electronic device 610 that transmits an image after the P2P connection.
  • the first electronic device 610 may transmit / receive an image with the second electronic device 620 based on a P2P connection, and may also transmit and receive an audio and a control signal.
  • the second electronic device 620 may receive an image from the first electronic device 610, display the received image, and provide the received image to the user.
  • FIG. 12 is a diagram illustrating an operation of connecting a video service during a call in an electronic device according to various embodiments of the present disclosure.
  • FIG. 12 shows a voice by connecting a voice call between a video sender (eg, the first electronic device 610) and a video receiver (eg, the second electronic device 620). While performing a call, an example of a user interface for connecting a video service may be shown.
  • a video sender eg, the first electronic device 610
  • a video receiver eg, the second electronic device 620
  • the first electronic device 610 and the second electronic device 620 check whether a sender and a receiver are capable of video service during a telephone call (voice call), and based on this, within the call app 601.
  • Service objects eg, service buttons, video communication icons
  • Service objects can be activated or deactivated.
  • whether the video service is available using one or more of an account manager (605), phone book (607), ESU Server (910), contact server 920, access server 930 Can be determined.
  • any one of the users of the first electronic device 610 and the second electronic device 620 may transmit a video transmission request to the electronic device. : It can be input by selecting activated service object, voice input, gesture input, etc. 12 illustrates a case where a user input for transmitting an image is made by a user of the first electronic device 610.
  • the first electronic device 610 may transmit a video communication request to the second electronic device 620 based on a user input during a voice call, and is in a video communication standby state until the second electronic device 620 agrees.
  • Provide visual effects (such as animation effects) that represent them.
  • a predetermined camera may be driven to display a preview video on a display screen.
  • the first electronic device 610 When the first electronic device 610 receives the agreement by the second electronic device 620, it may perform a P2P connection with the second electronic device 620 during the voice call. When the first electronic device 610 and the second electronic device 620 perform a P2P connection or when the P2P connection is completed, the first electronic device 610 and the second electronic device 620 may be automatically switched to the speakerphone mode. For example, in a video call mode, usability can be improved by outputting audio output to a speaker (eg, a separate speaker device capable of outputting a large volume) or outputting a relatively high audio output.
  • a speaker eg, a separate speaker device capable of outputting a large volume
  • the first electronic device 610 when the first electronic device 610 receives an agreement by the second electronic device 620, during the voice call, the first electronic device 610 may perform a connection via the multimedia streaming server with the second electronic device 620. Can be.
  • the multimedia streaming server when the first electronic device 610 transmits the video or audio data related to the video service to the multimedia streaming server, the multimedia streaming server utilizes the account information and the receiver online status information of the second electronic device 620.
  • the image or audio streaming information to be reproduced by the second electronic device 620 may be generated and transmitted to the second electronic device 620.
  • the second electronic device 620 may receive an input of a user interface (eg, whether to perform video communication). A pop-up window).
  • the second electronic device 620 may determine whether to connect the video service with the first electronic device 610 based on a user input by a pop-up window. When the video service connection is accepted, the second electronic device 620 may display that it is in a video communication standby state. When the video service connection is denied, the second electronic device 620 may operate to display a previous user interface.
  • the first electronic device 610 and the second electronic device 620 may use an application (eg, a communication application (eg, Call App) in one electronic device (eg, the first electronic device 610) to perform a voice call. After driving)), the voice call request may be transmitted to another electronic device (for example, the second electronic device 620).
  • an application eg, a communication application (eg, Call App) in one electronic device (eg, the first electronic device 610) to perform a voice call. After driving)), the voice call request may be transmitted to another electronic device (for example, the second electronic device 620).
  • the first electronic device 610 may operate as two electronic devices 610 and 620. It may be determined whether to activate a service object according to whether video communication between users is possible.
  • a service object eg, a service button or a video communication icon
  • an electronic device eg, the first electronic device 610 to transmit an image among the two electronic devices 610 and 620 may use another service device (eg, a second electronic device) using a service object. If the video communication connection request is transmitted to the other electronic device, the other electronic device that receives the video communication connection request may determine whether to connect to the video communication connection request.
  • another service device eg, a second electronic device
  • a transmission electronic device eg, a first electronic device that connects video communication between two electronic devices 610 and 620 and transmits an image.
  • the image may be transmitted in real time.
  • the first electronic device 610 and the second electronic device 620 change a device to output audio in a video call mode so that a user may conveniently use a video service (for example, from a receiver to a speaker). Or you can change the output of the audio.
  • audio may be transmitted together with the image.
  • an electronic device when an application is run and information (eg, ID) of another electronic device to perform a video communication connection is determined, a video communication request is performed, and as a result, the other electronic device permits video communication.
  • the connection may be performed by performing a P2P or a server (eg, a multimedia streaming server) connection on a network shared by two electronic devices 610 and 620 for video communication and audio communication.
  • a user interface including various menus and various objects (eg, icons) for providing various services may be provided during video communication.
  • various objects eg, icons
  • detailed screen examples of various user interfaces according to the video service as described above are described in detail with reference to the following drawings.
  • FIG. 13 is a diagram illustrating an operation of connecting a video service during a call in an electronic device according to various embodiments of the present disclosure.
  • FIG. 13 illustrates a voice by connecting a voice call between a video sender (eg, the first electronic device 610) and a video receiver (eg, the second electronic device 620). While performing a call, an example of a user interface for connecting a video service may be shown.
  • the first electronic device 610 and the second electronic device 620 check whether a sender and a receiver are capable of video service during a call, and based on this, a service object (eg, a service button) in a call app. , Video communication icon).
  • a service object eg, a service button
  • Video communication icon any one of the users of the first electronic device 610 and the second electronic device 620 (for example, one of the sender and the receiver) may transmit a video transmission request to the electronic device.
  • It can be input by selecting activated service object, voice input, gesture input, etc. 13 illustrates a case where a user input for transmitting an image is made by a user of the first electronic device 610.
  • the first electronic device 610 may transmit a video communication request to the second electronic device 620 based on a user input, and may be used until the second electronic device 620 agrees or the first electronic device 620.
  • An animation effect may be provided until image communication between the 610 and the second electronic device 620 is performed.
  • the process of agreeing the video communication request in the second electronic device 620 may be displayed as a separate graphical user interface (GUI) (eg, a pop-up window).
  • GUI graphical user interface
  • the GUI for determining whether to allow or reject the switching of the video service may further inform the user that a data cost may be additionally paid.
  • the second electronic device 620 may receive a user input for switching the video service based on the GUI, attempt to communicate with the first electronic device 610 for the video service according to the user input, and display a communication standby screen. Can be displayed.
  • the second electronic device 620 may determine a video service switch and perform a video service connection operation.
  • DECLINE is selected in the GUI
  • the second electronic device 620 may determine not to switch the video service (for example, not to switch to the video service) and may not perform the video service connection operation. have.
  • the video service component 603 may check a connection state of a wireless access network such as WiFi, BT / BLE, and NFC. For example, the video service component 603 checks a communication connection state and, when a communication module that does not charge separately due to data reception is detected, connects the communication module that does not charge, and then, for the video service. Communication connections can be made manually or automatically.
  • a P2P connection may be performed through WiFi or connection information may be updated, and a popup window related to an image service may be displayed.
  • the notification content may be deleted.
  • a cell network eg, 3G, 4G, LTE, WCDMA, etc.
  • the video service may be performed.
  • voice communication may also be switched to WiFi.
  • the video service when a video service is connected during a voice call, the voice call is maintained and thus, the total call time may be displayed and provided in one area of the screen.
  • the video service may be terminated by one of an image transmitting electronic device (eg, the first electronic device 610) or an image receiving electronic device (eg, the second electronic device 620).
  • the video transmitting electronic device eg, the first electronic device 610
  • the video transmitting electronic device turns on (or deactivates) a speaker button (eg, a Speaker icon) at the same time as the video service is started (eg, video transmission). You can display the status-> display the activation status, and turn off the speaker button (e.g. display the activation status-> display the deactivation status) when the video service ends.
  • 14A, 14B, and 14C are diagrams for describing an example of a user interface of an electronic device according to various embodiments of the present disclosure.
  • FIGS. 14A, 14B, and 14C illustrate examples of a user interface related to a video service connection or a history according to the video service connection in the electronic device 500. Can be.
  • the electronic device 500 may display an object 1410 for displaying a video service history and a video on a user interface before connecting to a video service.
  • An object 1440 that provides a may be displayed and provided to a user.
  • a badge for the missed video service may be provided (eg, if there is a missed video service) through an area overlapping or adjacent to the object 1410 (eg, a history button).
  • the electronic device 500 may provide a user with a function of displaying a video service history.
  • a history button 1410 of an area of the screen for example, the upper left side of the screen
  • a communication record 1410A related to an image service may be used.
  • the communication record 1410A may include, for example, video communication completion, missed call, reject, outgoing / incoming, communication time point, communication time (e.g. Today, Yesterday, 6 Aug. 2014, time (e.g., 3:22 PM, 1:17 PM, etc.), the other party information, the other party registration picture may be provided.
  • information 1460 (eg, number of communication, (2), (3), etc.) in which video communication is completed according to a video service is performed, and a video service is transmitted or received.
  • Information 1450A e.g. Outgoing, Incoming
  • information on video service failure e.g. 1450B
  • rejection information 1450C for e.g. video service request (e.g. Rejected)
  • counterpart information 1450D e.g. : Name, image, phone number, etc.
  • each piece of information in the communication record 1410A may be provided in at least one or a combination of text, an image, an icon, and the like.
  • communication records may be recorded in chronological order, and may be organized by user (person) (eg, grouping), and for example, a grouping log may be provided.
  • person e.g, grouping
  • a grouping log may be provided.
  • the missed call may be separately displayed.
  • a detailed communication record with the corresponding user of the selected communication record eg, user information (eg, name, phone number, image, etc.)
  • All the history according to the use of the video service with the user, the type of video service (eg Outgoing, Incoming), whether the video service is performed (eg Missed, Rejected, etc.) can be provided, and various input buttons provided on the screen (E.g., first button 1470, second button 1480, third button 1490) to send video service (e.g., first button 1470), voice call (e.g., second button ( 1480), message delivery (eg, the third button 1490), and the like.
  • the phone number is stored in the phone book ( A button 1495 may be provided, such as 'CREATE CONTACT', which can be registered at 607.
  • a setting button 1420 of an area of the screen eg, the upper right side of the screen
  • a screen related to setting of a video service can be provided.
  • a search button 1430 of an area of the screen eg, a middle portion of the screen
  • the user uses a video service.
  • the screen may move to a screen showing a list of users registered in the phone book 607 (eg, Friends list).
  • a telephone book 607 that uses a video service in one area of a screen (for example, an area connected to an upper side or a lower side adjacent to the search button 1430) may be used.
  • a list of registered users eg, information about a priority user, a favorite user, a recent call user, or a user set by the user
  • a list (eg, contact list) screen of the phone book 607 may be displayed together with user information (eg, name, image, phone number), whether to subscribe to a video service or use history. You may.
  • FIGS. 15, 16, 17, 18, and 19 examples of screens of a service user interface provided by the electronic device 500 as the video service is executed during a voice call are illustrated in FIGS. 15, 16, 17, 18, and 19.
  • 15 and 16 illustrate an example of a screen on which an image service is performed in an electronic device according to various embodiments of the present disclosure.
  • FIGS. 15 and 16 may illustrate screen examples of a service user interface provided when a service connection is waited or a service connection is formed in response to a video service execution request during a voice call.
  • 15 and 16 illustrate examples of screens of a calling terminal through which the electronic device 500 transmits an image.
  • the service user interface may include a preview area 1500, a first function selection area 1510, and a second function selection area 1530.
  • the preview area 1500 may represent an area where an image is displayed in response to execution of a video service during a voice call.
  • the preview area 1500 is a real-time image obtained through a camera (eg, a camera module 570) (eg, at least one of a front or rear camera) driven in response to execution of a video service. time video (or live video) may be provided.
  • the preview area 1500 may include a list of images (eg, a list of images stored in a memory of the electronic device 500 and a plurality of cameras) acquired from the inside or the outside of the electronic device 500 in response to the execution of the image service.
  • a preview image list collected through the network, or a list of images acquired through the network may be provided, and the image selected by the user in the list may be provided.
  • the list may be displayed as text or an image (eg, thumbnail, preview, etc.).
  • the first functional area 1510 may provide service information 1540 including a usage time and relative information (eg, a name and an alias) using a video service and a counterpart electronic device connected to a video service.
  • the first functional area 1510 is a menu for displaying (eg, calling a menu) an object (eg, an icon, text) for various functions (or applications) related to a video service executed during a voice call.
  • Button 1550 may be provided.
  • the menu button 1550 when the menu button 1550 is selected (eg, clicked or touched) by the user, an object (eg, an object) for various functions (or applications) related to the video service is displayed in the first functional area 1510. : Icon, text) may be displayed.
  • the first functional region 1510 may capture and store an image displayed in the preview region 1500 (eg, capture during image transmission).
  • an object 1513 e.g., the Record button
  • An object 1515 e.g.
  • a switch camera button that can change the selection of a camera that acquires an image among a plurality of cameras (e.g., switch from the back camera to the front camera or switch from the front camera to the back camera), and at least two An object 1517 (e.g., dual camera button) for executing a camera (e.g., dual cameras driving the front camera and the rear camera) and a pointer on the preview area 1500 are called and displayed.
  • An object 1517 e.g., dual camera button
  • a camera e.g., dual cameras driving the front camera and the rear camera
  • a pointer on the preview area 1500 are called and displayed.
  • 1519 e.g. performing on-screen pointing functions
  • Pointer button e: Pointer button
  • the first functional area 1510 may be provided by a calling terminal in a video service, and may be variously used to store, select, or change a setting with respect to an image displayed through the preview area 1500. It can be implemented by function buttons.
  • the second functional area 1530 may provide an object (eg, an icon or text) for various functions (or applications) related to a video service and / or a voice call.
  • the second functional area 1530 may represent an area that is commonly provided by both the calling terminal and the receiving terminal for the video service.
  • an object 1531 eg, an End button
  • an object 1533 eg, setting a volume or speaker mode, or turning a speaker on / off
  • an object 1535 eg, a Mute button for selecting whether to mute, etc. may be included in the second functional area 1530.
  • an object 1519 eg, a pointer button
  • the second functional area ( 1530 may be included.
  • a pointing function may be executed to display the pointer in the preview area 1500 to provide it (eg, drive the pointer).
  • the screen may be paused when the pointer is driven (eg, capturing a preview image displayed in real time or dynamically obtained through a camera).
  • the arrangement between the various objects and the various objects according to the first functional area 1510 and the second functional area 1530 is not limited to those illustrated in FIGS. 15 and 16, and the electronic device 500 It can be changed and designed according to the setting of.
  • the electronic device 500 may respond to an image service execution, and may include an object 1570 indicating an image service execution state (eg, an item indicating a progress state). At least one of an animation icon) and text (eg, Requesting Video Service ...) may be provided to one area of the preview area 1500.
  • the electronic device 500 is in the process of connecting a service to a user during a service connection procedure performed for connecting to a receiving terminal and a video service (for example, until a substantial service connection with the receiving terminal is performed).
  • the electronic device 500 may not display the object 1570 notifying that the service connection is in progress.
  • 17, 18, and 19 are diagrams for describing an example of a screen on which an image service is performed in an electronic device according to various embodiments of the present disclosure.
  • FIG. 17 illustrates a screen example of a service user interface provided during a voice call in the electronic device 500.
  • FIG. 17 illustrates an example of a screen of a service user interface provided when waiting for a service connection for receiving an image with another electronic device in a voice call or when establishing a service connection.
  • FIG. 17 illustrates an example of a screen of a receiving terminal through which the electronic device 500 receives an image.
  • the service user interface may include a first functional area 1710 and a second functional area 1730 corresponding to those described in the above-described description with reference to FIGS. 15 and 16.
  • Region 1700 may be included.
  • the second functional area 1730 is an area commonly provided by both the calling terminal and the receiving terminal for the video service.
  • the second functional area 1730 The objects 1731, 1733, and 1735 may correspond to the objects 1531, 1533, and 1535 described in the description with reference to FIGS. 15 and 16.
  • FIG. 17 may be an example of a screen waiting for image reception according to a service connection.
  • the electronic device 500 may black out the preview area 1700 and provide the preview area 1700, and may notify an object 1770 (for example, a progress state) that notifies the reception of an image from another electronic device.
  • At least one of the notifying item eg, an animated icon
  • text eg, preparing video image ... This may take a few seconds due to the network delays.
  • the electronic device 500 when a service connection request is received from another electronic device during a voice call with another electronic device, the electronic device 500 notifies the user that the service connection request is received based on a pop-up or the like, and determines whether to connect to the service. You can receive input.
  • the electronic device 500 may display an image transmitted from another electronic device on the screen. Examples thereof are shown in FIGS. 18 and 19.
  • the first functional area 1710 may include service information 1740 including usage time and relative information (eg, name and alias) using a video service and a counterpart electronic device connected to a video service. ) Can be provided.
  • the first functional area 1710 is a menu for displaying (eg, calling a menu) objects (eg, icons, text) for various functions (or applications) related to a video service executed during a voice call.
  • Button 1750 may be provided. According to an embodiment of the present disclosure, when the menu button 1750 is selected (eg, clicked or touched) by the user, an object (eg, an object) for various functions (or applications) related to the video service is displayed in the first functional area 1710. : Icon, text) may be displayed.
  • the first functional area 1710 calls a pointer on the preview area 1500 to perform a display (eg, an on-screen pointing function).
  • Object 1760 eg, a pointer button
  • a pointing function may be executed to display the pointer in the preview area 1700 to provide it (eg, drive the pointer).
  • the screen may be paused when the pointer is driven (eg, capturing a still image obtained through a camera or a preview image displayed in real time).
  • FIG. 19 illustrates an example of a screen of a service user interface for providing an image received according to a service connection from another electronic device during a voice call in the electronic device 500.
  • FIG. 19 may be an example of a screen of a receiving terminal through which the electronic device 500 receives an image.
  • the electronic device 500 that receives an image some objects of the first functional area 1510 as described above with reference to FIGS. 15 and 16 may be omitted.
  • the electronic device 500 of the receiving terminal may display and provide only an object 1760 for a pointing function in the first functional area 1710.
  • an image displayed through the preview area 1700 may display an image identical to an image displayed in a preview area (eg, the preview area 1500 of FIG. 16) of another electronic device.
  • an outgoing terminal that transmits an image when an image service is connected for transmitting / receiving an image (or sharing an image) during a voice call between the electronic devices (the first electronic device 510 and the second electronic device 520).
  • a user interface of a receiving terminal for receiving an image.
  • the user interface of the calling terminal and the receiving terminal may display an image through the preview areas 1500 and 1700 in common, and the images of the preview areas 1500 and 1700 may be used.
  • the second functional areas 1530 and 1730 may be provided on one area.
  • the user interface of the calling terminal may further include various objects in the first functional area 1510 for performing storage, selection, or setting change on the image to be transmitted, compared to the user interface of the receiving terminal. have.
  • 20 is a flowchart illustrating a method of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • FIG. 20 illustrates an operation of activating a service object (eg, a service button or an image communication icon) of a user interface when connecting a service for image transmission.
  • a service object eg, a service button or an image communication icon
  • the electronic device 500 may represent an example of an operation of activating a service object in the calling terminal for image transmission.
  • the controller 580 of the electronic device 500 may determine an application (eg, a communication application (eg, a call app) based on a user input. )).
  • the controller 580 may display whether a video service is available through a service object.
  • the controller 580 may display a service object in an inactive state when the video service is not available, and display a service object in an active state when the video service is available.
  • an application or a video service module may be driven based on a user input for selecting (eg, touching or clicking) a service object, or an incoming call.
  • a predetermined image service module or an application including the corresponding module may be automatically driven.
  • the activation or deactivation status indication of the service object is described in detail with reference to the following drawings (eg, FIGS. 21 and 22).
  • the controller 580 may deactivate the video service function during a connection setup state for the video service. For example, the controller 580 does not detect a user input such as service object selection, voice recognition, or gesture recognition related to a video service related function for processing of deactivation of a video service function, even if it detects a function related to a video service related user input. Can be handled, disabled, or replaced with another function (such as displaying an error message).
  • a user input such as service object selection, voice recognition, or gesture recognition related to a video service related function for processing of deactivation of a video service function. Can be handled, disabled, or replaced with another function (such as displaying an error message).
  • the controller 580 may establish a connection with the counterpart electronic device in response to the connection acceptance of the counterpart electronic device.
  • the controller 580 may check whether image communication is available. According to various embodiments of the present disclosure, the controller 5801 may determine whether video communication with another electronic device in a voice call is possible.
  • the controller 580 may determine whether another electronic device currently engaged in a voice call is a terminal subscribed to a video service capable of receiving an image based on service subscription information. According to another embodiment, the controller 580 may check a capability related to another electronic device currently in a call.
  • a capability associated with another electronic device may include a type of electronic device and device information related to at least one electronic device connected to (or connected to) another electronic device.
  • service subscription information for determining whether to subscribe to a video service may be determined based on, for example, a contact database.
  • the contact database may include a contact database stored in the electronic device 500 or a contact database stored in a server.
  • the controller 580 may determine that the other electronic device is a device (eg, a service connectable device) capable of data communication.
  • the controller 580 may not connect to the other electronic device (ie, impossible to connect to a device), such as a service connection. Device).
  • the controller 580 may determine whether to activate the user interface according to whether video communication is possible. According to an embodiment of the present disclosure, when video communication is possible, the controller 580 may determine to activate (activate) a user interface related to the video service. According to another embodiment, when the video communication is not possible, the controller 580 may determine a user interface related to the video service to be deactivated (not to be activated).
  • the controller 580 may perform a user interface display function on the display 531 according to the determination of activation. According to various embodiments of the present disclosure, when the user interface display function is performed, the controller 580 may set whether to activate various functions related to an image service.
  • the controller 580 may control the guide display.
  • the user of the other electronic device determines that the user is not subscribed to the service or the device cannot support the service as a result of the capability checking of the electronic device, that is, the image with the other electronic device. If it is determined that communication is not possible, a message informing that the user of the electronic device 500 cannot execute the image transmission request may be output.
  • the controller 580 may display a set guidance message (for example, a user who is not subscribed to a service by a user of another electronic device or a device that cannot support service as a result of the capability checking of the electronic device) through a pop-up window. Can be.
  • the controller 580 may display a service object for an image service by deactivating and providing it. Additionally or alternatively, the controller 580 may output a voice prompt.
  • the controller 580 may control a display of a user interface related to a video service.
  • a user of another electronic device is a user who has subscribed to a service or a device capable of supporting a service as a result of checking the capability of the electronic device, that is, if it is determined that video communication with another electronic device is possible.
  • the service object for a service can be marked as active.
  • the controller 580 may determine whether to terminate the communication. According to an embodiment of the present disclosure, the controller 580 may determine whether to terminate communication based on a user input of terminating the video service based on the service object. According to an embodiment of the present disclosure, the controller 580 may determine the termination of communication in response to the termination of the communication connection from another electronic device.
  • the controller 580 may proceed to operation 2007 to process an operation of operation 2007 or less.
  • the controller 580 may end the video communication. According to an embodiment of the present disclosure, the controller 580 may determine whether to terminate the voice call when the video communication ends. In various embodiments, determining whether to terminate the voice call may be performed based on setting information preset by the user.
  • a service object activation condition may be variously set.
  • disabling may be performed during voice call dialing (eg, an incoming call or an outgoing call).
  • a video service is available during a voice call (eg, availability check) and determine whether to activate a service object based on the result.
  • the first electronic device 610 may use a video service on a second electronic device 620 (for example, a mobile device, a wearable device, or a home appliance, etc.) that is connected by wire or wirelessly.
  • a second electronic device 620 for example, a mobile device, a wearable device, or a home appliance, etc.
  • the service object can be activated and provided to the user.
  • the availability may be checked according to one or more of an installation state, capability, or service state of an application or module, and a GUI may be displayed or serviced accordingly.
  • the application or module installation state and capability check may be performed according to an embodiment of the present disclosure, wherein the first electronic device 610 installs an application or module for an image service by the second electronic device 620.
  • An availability check may be performed to confirm availability or availability. For example, it may be determined based on an application installation state or capability information related to the second electronic device 620 stored in a contact server. For another example, among the phonebook or contact list stored in the first electronic device 610, the application installation state related to the second electronic device 620 or the capability information of the second electronic device 620. By checking one or more, an operation of confirming whether video service is available may be performed.
  • the first electronic device 610 transmits video data to the second electronic device 620, it may be determined whether the second electronic device 620 can display the normal data.
  • a condition eg, at least one of resolution, frame rate, encoding related information, and bit rate
  • parameter setting for an image service may be performed based on this.
  • the service state may be checked and the activation of the service object may be determined based on the result.
  • an operation of checking a service state of the first electronic device 610 or the second electronic device 620 is performed, and an operation of checking whether image service is available according to the service state is performed. It can display and provide service object.
  • the service availability may be determined according to a network state between the first electronic device 610 and the second electronic device 620.
  • the service availability may be determined according to the state of the first electronic device 610 (eg, a charge policy such as a memory, a battery, a camera, or a data meter).
  • the data meter-based charge policy may determine a record periodically stored and updated by the electronic device 500 based on a setting, or may provide data through an operator server.
  • a service may be provided according to a state in which a security application (eg, KNOX, MDM, etc.) is running on the first electronic device 610 or the second electronic device 620 (eg, KNOX, MDM activation state, etc.). It is possible to determine whether it is possible.
  • a security application eg, KNOX, MDM, etc.
  • the electronic device 500 may determine whether a video service is available and perform various operations according to whether a service is available.
  • the electronic device 500 may activate or deactivate a service object. According to an embodiment of the present disclosure, when the state of the video service changes, the electronic device 500 may provide feedback based on at least a part of a sound, a voice, or a haptic. According to an embodiment of the present disclosure, the electronic device 500 may determine whether to execute an image service when receiving an image service driving command (eg, one or more of a voice recognition based command, a user interface, and an input by a predetermined gesture).
  • an image service driving command eg, one or more of a voice recognition based command, a user interface, and an input by a predetermined gesture.
  • a capability or a service state may be different for each electronic device (eg, the first electronic device 610 and the second electronic device 620), and thus, each electronic device may have a different capability.
  • the activation state may be different.
  • the first electronic device 610 may transmit an image to the second electronic device 620 through an image service, but the second electronic device 620 may not transmit an image to the first electronic device 620. It may be impossible.
  • information on service unavailable and related information eg, application installation information, etc.
  • 21 and 22 illustrate examples of screens on which an image service is performed in an electronic device according to various embodiments of the present disclosure.
  • FIG. 21 illustrates an example of a screen of a service user interface provided during a voice call in the electronic device 500.
  • FIG. 21 may be an example of a screen of a calling terminal transmitting an image, and a screen of a user interface corresponding to FIG. 21 may be provided in an operation related to a voice call even in a receiving terminal receiving an image.
  • the service user interface may include an indicator area 2110, a call information area 2120, and a function selection area 2130.
  • the indicator area 2110 may include information related to the use of the electronic device 500 (eg, information about a charging state, time, call state, alarm, etc.) and / or information received from the outside (eg, weather information). , Received message information, feed information, etc.) may be provided.
  • the call information area 2120 may provide a call state, a talk time, call target information, etc. while the voice call of the electronic device 500 is performed.
  • the function selection area 2130 may provide an object (eg, an icon or text) for various functions (or applications) that may be performed (executed) by the electronic device 500 during a voice call.
  • an object eg, an Add call button
  • an object eg, a Video Service button, hereinafter, a service object
  • an object for Bluetooth setting Example: Bluetooth button
  • object to set volume or speaker mode e.g. Speaker button
  • object to call keypad e.g. Keypad button
  • object to select whether to mute e.g. Mute button
  • select whether to end the call
  • an object (eg, an End button) 2140 may be included in the function selection area 2130.
  • the electronic device 500 may receive (detect) a user input based on the service object 2150. Can be.
  • the electronic device 500 receives a user input based on the service object 2150, the electronic device 500 stores an image (eg, a real-time camera image or stored in another electronic device (eg, the second electronic device 620) that is currently performing a voice call). Video service for transmitting video).
  • the electronic device 500 may drive a camera (eg, the camera module 570) according to a setting method, and an image (eg, a preview image) acquired through the camera. May initiate a service connection operation (eg, display an associated user interface and transmit a service connection request).
  • a service connection operation eg, display an associated user interface and transmit a service connection request.
  • the electronic device 500 may extract internally stored images according to a set method, and may be selected by the user after displaying the extracted image (eg, a list of extracted images).
  • a service connection operation for transmitting a video may be initiated (eg, display of an associated user interface and a service connection request).
  • a service user interface may be variously provided according to a connection state of the electronic device 500. An example thereof is shown in FIG. 22.
  • FIG. 22 illustrates a service for an image service based on a result (eg, service availability) according to a service status check with a counterpart electronic device during a voice call.
  • a result eg, service availability
  • FIG. 22 illustrates a service for an image service based on a result (eg, service availability) according to a service status check with a counterpart electronic device during a voice call.
  • An example of activating or deactivating the object 2150 may be illustrated. Accordingly, the user can intuitively check the information on the connectable state of the service.
  • FIG. 22A illustrates an example of a screen during an attempt to make a voice call (for example, a call origination) in the electronic device 500.
  • the service object 2150 for the video service may be provided in an inactive state (for example, an icon processed in gray or dim).
  • the electronic device 500 may provide another object (for example, the Mute button 2160) corresponding to the unavailable function in a deactivated state.
  • FIG. 22B illustrates an example of performing a video service with an opponent electronic device while attempting a voice call in the electronic device 500 or during a voice call (for example, a communication for voice call is connected).
  • the screen example may be displayed.
  • the service object 2150 for the video service may be changed from an inactive state to an active state like the service object 2150A and provided.
  • the electronic device 500 may change and provide another object (for example, the Mute button 2160) which is inactivated when the communication for the voice call is connected during the voice call, like the other object 2160A.
  • the electronic device 500 cannot perform a video service with the counterpart electronic device while attempting a voice call or during a voice call (for example, a communication for voice call is connected).
  • the screen example may be displayed.
  • the service object 2150 for the video service may be kept in an inactive state.
  • the electronic device 500 may change and provide another object (for example, the Mute button 2160) which is inactivated when the communication for the voice call is connected during the voice call, like the other object 2160A.
  • whether an image service is available through an application (eg, a call app) or a module may be displayed through a service object.
  • the service object may be differently displayed by using one or more attributes of whether the service object is displayed, shape, color, brightness, three-dimensionality, and size, depending on the activation and deactivation states.
  • the video service function when dialing (eg, an ongoing call, an outgoing call, or an incoming call) for a voice call in an application, the video service function may be deactivated.
  • the service object 2150 may be deactivated. It can be provided by displaying the status.
  • activation or deactivation of the service object 2150 may be determined according to whether video communication is possible during a voice call (eg, a voice call service). In various embodiments, activation or deactivation of the service object 2150 may be changed in real time, as illustrated in FIGS. 22A to 22C.
  • FIG. 23 is a flowchart illustrating a method of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • FIG. 23 illustrates an operation of a caller terminal requesting a service connection for transmitting an image to another electronic device in a voice call and transmitting an image when the service is connected.
  • this may represent an example in which the electronic device 500 operates as a calling terminal.
  • the controller 580 of the electronic device 500 may detect a video communication service request.
  • the controller 580 may detect an image transmission request in response to a user input to a service object during a voice call.
  • the controller 580 may process a general operation related to performing a voice call with another electronic device (eg, the second electronic device 620) based on the first communication.
  • the controller 580 may determine whether there is a request (eg, a user input) for transmitting a video service by a user during a voice call.
  • the controller 580 may determine that the image service is executed.
  • the video communication service request may be performed based on a user input according to a GUI, a voice, a gesture, or the like.
  • the controller 580 may check a camera operating state. For example, the controller 580 may determine the on or off state of the camera, and when the camera is in the off state, that is, when no power is applied to the camera sensor or the camera processor, the control unit 580 may turn on the camera. Power can be applied to the corresponding processors. According to an embodiment of the present disclosure, when the camera is in an on state, operation 2303 may not be performed.
  • the controller 580 may display a video communication standby and provide the same to a user. According to an embodiment of the present disclosure, the controller 580 may provide the user with an image communication standby based on at least some of the preview, animation, text, or sound.
  • the controller 580 may transmit a connection request message for requesting video communication to a video communication server (eg, an access server).
  • a video communication server eg, an access server
  • the controller 580 may transmit a connection request message for service connection to the video communication server in response to a user input for executing a service connection for image transmission.
  • the controller 580 when transmitting a connection request message to the video communication server, may include at least one of an application identifier (eg, App ID) or receiver information.
  • the controller 580 may transmit a video communication related message (eg, an invitation message) to the message server.
  • a video communication related message eg, an invitation message
  • the controller 580 may include an application identifier (eg, one or more of an application unique identifier, application user identification information, or installed device information) or receiver information (eg, address book information, At least one of a telephone number, an e-mail address, account information, or a communication ID).
  • the controller 580 may determine whether to connect to the video communication. According to an embodiment of the present disclosure, the controller 580 may count the waiting time. For example, the controller 580 may set a waiting time for waiting for a video communication connection in response to a video communication connection request, and wait for a video communication connection for the set waiting time. According to various embodiments of the present disclosure, the waiting time may be automatically set after the video communication connection request is initiated by the electronic device 500 or preset and stored in the electronic device 500. According to various embodiments of the present disclosure, the controller 580 may count the set or stored waiting time after initiating the video communication connection request.
  • the controller 580 may proceed to operation 2309 to wait for the video communication connection, and may perform an operation of operation 2309 or less.
  • the controller 580 may determine that video communication is impossible and process a related operation. For example, the controller 580 may terminate the attempt to connect to the video communication (eg, service connection for video transmission) through the second communication while maintaining the voice call through the first communication. For another example, the controller 580 may terminate the voice call with another electronic device.
  • the controller 580 determines that data communication is not performed due to instability of a network situation.
  • the voice call with another electronic device may be terminated to reconnect the video communication.
  • the controller 580 may process a guide output for ending the voice call. For example, the controller 580 may output a message indicating that the voice call is ended for reconnecting the video communication based on at least some of the GUI, voice, or vibration.
  • the controller 580 may perform communication state determination and display thereof.
  • the controller 580 may display a communication state (eg, a connection state, a communication process state, etc.) of the counterpart electronic device.
  • the controller 580 may be a communication state of a counterpart electronic device that receives an image after P2P connection (eg, whether to receive an image or not, quality information related to a bit rate, a frame rate, a resolution, etc. of a video communication, or an expected sender). And time difference between the receiving side and the like) can be displayed.
  • the controller 580 may process video image transmission. According to various embodiments of the present disclosure, the controller 580 may transmit an image (eg, a real time image, a live image, or a stored image) acquired during the voice call (or corresponding to a user selection) to another electronic device in the voice call.
  • an image eg, a real time image, a live image, or a stored image
  • the controller 580 may transmit an image to another electronic device based on the second communication according to the video communication connection, not the first communication for the voice call. According to various embodiments of the present disclosure, the controller 580 may transmit an image to another electronic device based on a voice call and a video communication based on a first communication or a newly connected second communication.
  • voice and video may use different communications, or voice and video may use the same communications.
  • voice when voice uses packet switching among cellular communication protocols, voice may be transmitted using packet switching of an image or cellular communication protocol.
  • the connection of the communication used for the voice is terminated or the minimum connection is maintained, and then the image is terminated (for example, termination of the service connection). You can also use it for voice calls again.
  • the first communication in which only the minimum connection is maintained may be automatically supported after the video communication ends.
  • the electronic device for video transmission may request a video service from the counterpart electronic device and perform the video service according to whether the counterpart electronic device accepts the video service request. Can be.
  • the electronic device 500 may detect a request for connecting to the video service through a user input (for example, a touch, voice, or gesture).
  • a user input for example, a touch, voice, or gesture.
  • the video service connectable state may be, for example, a state in which a video service is available and thus a service object on an application (eg, a call app) is activated.
  • the electronic device 500 may perform an operation of checking a camera state of the electronic device 500.
  • the camera state checking process may be a state in which a preview is displayed by executing a front or rear camera of the electronic device 500.
  • the electronic device 500 may display a user interface (eg, text, icon, animation, etc.) indicating a standby state on the display 531 of the electronic device 500.
  • a user interface eg, text, icon, animation, etc.
  • the electronic device 500 may transmit a video service connection request message to the counterpart electronic device through the server.
  • the server may be configured as a first server (eg, an access server, etc.) and a second server (eg, a message server, etc.).
  • the electronic device 500 may check availability (eg, whether a video service is available, for example, whether a P2P connection is possible, a network state, etc.) for video communication of the counterpart electronic device through the first server. have.
  • the electronic device 500 may transmit a video service connection request message to the counterpart electronic device through the second server.
  • the video service connection request message may include information of the electronic device 500 (for example, information of the transmitting electronic device, user information of the transmitting electronic device, etc.), or an image service application identifier of the electronic device 500 (for example, : App ID) may be included.
  • the electronic device 500 may display a standby state.
  • the standby state display may be provided as at least one of text, sound, vibration, icon, and animation related to the state according to the video communication connection.
  • a video communication connection may be formed between the electronic device 500 and the counterpart electronic device.
  • an image service when an image service is connected between electronic devices, an image captured by a camera of the electronic device 500 may be transmitted to a counterpart electronic device through a server.
  • 24 is a flowchart illustrating a method of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • FIG. 24 illustrates an operation of a receiving terminal receiving a video service connection request from another electronic device during a voice call with another electronic device and receiving a video of another electronic device when the video service is connected.
  • this may represent an example in which the electronic device 500 operates as a receiving terminal.
  • a controller 580 eg, a processor of an electronic device operating as a receiving terminal of the electronic device 500 may transmit a video communication related message (eg, an invitation) to connect to a video service during a voice call. It can detect receipt of an message. For example, the controller 580 may process general operations related to performing a voice call with another electronic device based on the first communication. The controller 580 may receive a video communication related message (eg, an invitation message) transmitted from another electronic device from a message server during a voice call, and determine that the video communication related message is received as a video service connection request. .
  • a video communication related message eg, an invitation
  • the controller 580 may display the video communication related message.
  • the controller 580 may process a guide display related to a video communication related message based on at least one of a GUI, a sound, and a haptic.
  • the controller 580 selectively selects or corresponds to a plurality of applications or software modules for driving the corresponding application or software module using an application identifier (eg, App ID, file extension, MIME type, URL information, etc.).
  • an application identifier eg, App ID, file extension, MIME type, URL information, etc.
  • Candidate applications and soft modules can be displayed for selection via the user interface. For example, when there are a plurality of video communication applications, candidate applications may be displayed for the user to select, and the user may select among the displayed candidate applications (for example, voice, touch, or force input). .
  • the controller 580 may determine whether to approve or reject the connection request of the other electronic device. For example, in response to receiving a video communication related message, the controller 580 may include a guide based on at least a portion of a text or voice message to notify the user of a connection request for a video service from another electronic device in a voice call. You can print The controller 580 may receive an approval or rejection of a connection request (eg, image reception) from a user based on the guide.
  • a connection request eg, image reception
  • the controller 580 proceeds to operation 2403 to process an operation of operation 2403 or lower. Can be.
  • the controller 580 may transmit a connection rejection message to another electronic device. To this end, the controller 580 may transmit a connection rejection message to another electronic device based on the message server. In various embodiments, the controller 580 may transmit a connection rejection message for the connection request while maintaining the voice call.
  • the controller 580 when an approval for a connection request is input by the user (YES in operation 2405), in operation 2407, corresponds to a video communication-related message in response to a connection response message (eg, a video communication permission message). May be transmitted to another electronic device.
  • the controller 580 may transmit a connection response message for allowing a video communication request to a video communication server (eg, an access server).
  • the controller 580 when transmitting a connection response message to the video communication server, the controller 580 may include at least one of an application identifier (eg, App ID) or receiver information.
  • the electronic device 500 may be configured to automatically respond to a service connection request. In this case, operations 2403 and 2405 may not be performed in FIG. 24, and when a video communication related message is received from another electronic device in a voice call, the process may proceed directly to operation 2407 and automatically transmit a connection response message. have.
  • the controller 580 may display a video communication waiting state and provide the same to a user. According to an embodiment of the present disclosure, the controller 580 may provide the user with an image communication standby based on at least some of animation, text, or sound.
  • the controller 580 may determine whether to connect to the video communication. According to an embodiment of the present disclosure, the controller 580 may count the waiting time. For example, the controller 580 may set a waiting time for waiting for a video communication connection in response to the transmission of a connection response message for a video communication connection request, and wait for a video communication connection for the set waiting time. According to an embodiment of the present disclosure, when the controller 580 transmits a connection response message to another electronic device during a voice call with another electronic device, the controller 580 sets a waiting time for waiting for a join message (eg, onJoined message) from the video communication server. Can be.
  • a join message eg, onJoined message
  • the waiting time may be set after the connection response message is transmitted from the electronic device, or may be preset and stored in the electronic device 500. According to various embodiments of the present disclosure, after transmitting the connection response message, the controller 580 may count the waiting time and determine whether to receive the participation message during the waiting time.
  • the controller 580 may proceed to operation 2407 and wait for the video communication connection, and may perform the operation of operation 2407 or less.
  • the controller 580 may determine that video communication is impossible and process a related operation.
  • the controller 580 may determine that the video communication connection has failed.
  • the controller 580 may perform data communication but poor data communication quality (for example, the electronic device 500 or another electronic device exists in a shadowed area or the like). If moving to the means).
  • the controller 580 may determine that the data communication connection (for example, service connection for receiving an image) fails and terminate the video communication connection.
  • the controller 580 determines that the data communication connection (for example, service connection for receiving a video) has failed, and indicates that the video communication is impossible.
  • the connection rejection message for the request may be transmitted to the other electronic device through the message server 950.
  • the controller 580 may terminate the video communication connection (eg, a service connection for receiving an image) by the second communication while maintaining the voice call by the first communication.
  • the controller 580 may process guide output thereof. For example, the controller 580 may output a message indicating that the video communication cannot be connected based on at least some of the pop-up, voice, or vibration.
  • a parameter (eg, multimedia data) that can be received through a control signal for a data communication connection (eg, a service connection for receiving an image) : Image resolution, bit rate, frame rate, codec, communication bandwidth, etc. may be transmitted to the counterpart electronic device (eg, the counterpart electronic device or the multimedia streaming server) to request video communication according to a corresponding parameter.
  • the parameter may be directly transmitted to the counterpart electronic device using P2P communication.
  • the message server in order to deliver a parameter to the counterpart electronic device, the message server may include the parameter in the message and deliver the parameter.
  • the electronic device 500 may transmit the parameter to an access server (eg, an SCS server), and the access server may transmit it to the counterpart electronic device.
  • the controller 580 may perform communication state determination and display thereof.
  • the controller 580 may display a communication state (eg, a connection state, a work state, etc.) of the counterpart electronic device.
  • the controller 580 may display a communication state of the counterpart electronic device transmitting the image after the P2P connection.
  • the controller 580 may establish a video communication connection with another electronic device.
  • the control unit 580 when the participation message is received, the control unit 580 has a successful data connection, for example, establishing a service connection for receiving an image through a second communication from another electronic device during a voice call. It can be judged that.
  • the controller 580 may receive a video image transmitted from another electronic device.
  • the controller 580 may receive an image through a second communication, and display the received image and provide the image to a user.
  • the controller 580 may transmit a video (eg, a real-time video, a stored video, etc.) transmitted by another electronic device during a voice call, rather than the first communication for the voice call, according to a data communication connection. Can be received and displayed through the preview area.
  • a video eg, a real-time video, a stored video, etc.
  • a user when a video service connection request message of another electronic device is transmitted through a server (eg, a message server), a user (eg, a video receiver) of the electronic device 500 may receive an image.
  • a user interface for accepting or rejecting a service connection may be displayed and provided to the user.
  • the user interface may be a GUI such as a pop-up or may be provided as one or more of sound and vibration.
  • the name, phone number, etc. of the sender may be displayed in the GUI.
  • the user of the electronic device 500 may accept the video service connection through a user input (for example, touch, voice, gesture, etc.) within a predetermined time.
  • a user input for example, touch, voice, gesture, etc.
  • the electronic device 500 may transmit a connection response message for accepting the video service connection to another electronic device through the server.
  • the connection response message may include information of the electronic device 500 (for example, information of the receiving electronic device, user information of the receiving electronic device, etc.), an application identifier of the electronic device 500 (for example, an App ID), and the like. One or more of these may be included.
  • the electronic device 500 may display a standby state until an image (eg, a real time image or a still image) is received and displayed from another electronic device.
  • the standby state display may be provided as at least one of text, sound, vibration, icon, and animation related to the state according to the video communication connection.
  • the electronic device 500 may receive and display an image photographed through a camera of another electronic device through a server.
  • a screen example of a user interface provided by the electronic device 500 according to an execution of a video service during a voice call will be described.
  • FIG. 25 is a diagram illustrating an example of a screen on which an image service is performed in an electronic device according to various embodiments of the present disclosure.
  • FIG. 25 illustrates an example of displaying whether or not a video service is available on the electronic device 500 based on a user interface during a voice call. For example, a screen example of providing service availability using a service object is shown. Can be represented.
  • status information of the receiving electronic device and functions available during the call may be displayed in the form of various objects (eg, icons and text).
  • the functions available during a call may include various functions such as Add call, Video service, Bluetooth connection, Speaker mode switching, Keypad display, Mute, and End call.
  • the service device 2510 (eg, in an inactive state) may be used. (Gray or dim icon of the service object). At this time, even if the service object 2510 is selected by the user input, it may indicate that the video service is not driven or not executable.
  • the electronic device 500 may activate the service object 2530 (for example, as shown in FIG. 25B). Colored service icon of the service object).
  • the user when the service object 2530 is activated, the user requests a video service connection through various user inputs (eg, touch, voice, gesture, etc.). Can be.
  • the electronic device 500 may operate so that the service object 2510 does not process user input in an inactive state, and operate the service object 2530 to process user input in an activated state.
  • FIG. 26 is a diagram illustrating an example of a screen on which an image service is performed in an electronic device according to various embodiments of the present disclosure.
  • FIG. 26 illustrates another example of a service object provided in a user interface for a video service in various embodiments.
  • the service object 2650 may be displayed and provided as a real time image or a still image.
  • the electronic device 500 may provide an Always on camera function in which a camera is always activated (eg, a power-on state).
  • the electronic device 500 determines whether the video service is available and determines that the video communication is possible, uses the service object or a preview image (screen) of the camera as the service object 2650 instead of the service object.
  • an application eg, a call app
  • the electronic device 500 receives an image by switching the camera to a driving mode and sets the preview image (screen) as the service object 2650. Can also be displayed.
  • FIG. 27 is a diagram illustrating an example of a screen on which an image service is performed in an electronic device according to various embodiments of the present disclosure.
  • FIG. 27 illustrates another example of a service object provided in a user interface for a video service in various embodiments.
  • a service object for a video service may be variously implemented and provided. An example thereof is shown in FIG. 27.
  • a service object for an image service may be configured by the electronic device 500 to provide an image service based on a camera (eg, a camera module 570) of the electronic device 500 as described above.
  • the service object may be provided based on the service object as described above.
  • the electronic device 500 may provide an image service using an external camera in addition to the internal camera.
  • the electronic device 500 may be connected to another peripheral device (for example, short-range wireless communication connection) to obtain and provide an image for a video service through the peripheral device.
  • the electronic device 500 may provide the information with the peripheral device.
  • the peripheral device may include, for example, a VR device, a 360 camera capable of 360-degree photographing, another device having a camera (eg, a robot cleaner, a TV, a monitor), and the like.
  • the VR device may include a head mounted display (HMD), a 3D display, a hologram display, or the like.
  • the 360 camera may include a plurality of cameras mounted in a spherical or disc shaped frame, or a camera device for receiving images of various angles received through a dome mirror.
  • the service object for the video service may be a device of the VR device as illustrated in FIG. 27A. Based on the information, it may be provided as a related service object 2710 (eg, icon, 'VR' text). According to this, at least a part of an image received by the electronic device or another electronic device may be displayed through the VR device.
  • a related service object 2710 eg, icon, 'VR' text
  • the service object for the video service may include device information of the 360 camera as illustrated in FIG. 27B. Based on the associated service object 2720 (eg, icon, text '360'). Accordingly, the electronic device or another electronic device may receive at least a part of the image received from the device of the 360 camera.
  • any one electronic device 500 is linked with the VR device
  • the other electronic device 500 eg, the receiving electronic device
  • a service object for a video service includes a related service object 2731 (eg, icon, 'VR' text) and a 360 camera based on device information of a VR device, as shown in FIG. 27C. It may be provided as a related service object (2733) (eg, icon, '360' text) based on the device information of the. According to this, at least a part of the image received through the 360 camera may be displayed through the VR device.
  • FIG. 28 is a diagram illustrating an example of a screen on which an image service is performed in an electronic device according to various embodiments of the present disclosure.
  • FIG. 28 may show an example of a screen for explaining an operation of executing a video service during a voice call.
  • FIG. 28 illustrates an example of requesting a video service based on a service object, according to various embodiments.
  • execution of an image service may be requested based on various user inputs (eg, voice recognition, gesture recognition, motion recognition, etc.).
  • the user may include the service object 2810 (eg, the service object 2650 including the preview screen of FIG. 26) provided in various forms as described above, and the peripheral device information of FIG. 27.
  • the video service connection may be requested through the selection (eg, touch or click) of the service object 2810.
  • the electronic device 500 may provide a service object 2810 by displaying whether or not the service object 2810 is selected by highlighting, changing a color, or displaying an area.
  • the service object 2810 may display and provide a state on whether the video service is executable.
  • the user when the service object 2810 is marked as active, the user requests to execute the video service based on other user inputs (eg, voice, gesture, motion, etc.) in addition to the selection of the service object 2810. It may be.
  • other user inputs eg, voice, gesture, motion, etc.
  • FIG. 29 is a diagram illustrating an example of a screen displaying a video communication waiting state when a video service is connected in an electronic device according to various embodiments of the present disclosure.
  • FIG. 29 illustrates an example of a screen of a calling terminal transmitting a video or a receiving terminal receiving a video, or a video communication waiting (eg, calling terminal) indicating a transition state to a video service. May be an example of a screen when the video transmission waits, or a video reception wait by the receiving terminal.
  • a video communication waiting eg, calling terminal
  • an electronic device eg, a transmitting electronic device
  • the electronic device eg, a receiving electronic device
  • the electronic device transmitting the image may also be switched to the image preview preparation screen as shown in FIG. 29.
  • the image preview preparation screen 2900 may include various information such as a standby state display, an additional function icon, a call duration, and receiver information.
  • the standby status display may be in the form of text 2920 (eg, preparing video image), icon 2930, or animation (eg, at least one of text 2920 or icon 2930).
  • the function icon 2940 may include an icon related to a speaker mode switch 2914, a video service termination 2942, a mute function 2945, and the like.
  • the image preview preparation screen 2900 may be selectively provided.
  • the video preview preparation screen 2900 may not be displayed and provided, but may be processed internally or in the background while connecting to a video service, and may immediately display a video screen when an actual video is received.
  • FIG. 30 is a diagram illustrating an example of a screen displaying a video communication waiting state when a video service is connected in an electronic device according to various embodiments of the present disclosure.
  • FIG. 30 illustrates an example of a screen of a calling terminal transmitting an image or an example of a screen when a video communication waiting (eg, waiting for video transmission) indicating a switching state to a video service is performed. .
  • a video communication waiting eg, waiting for video transmission
  • the electronic device 500 may include a camera.
  • the image communication standby state 3000 eg, the image communication standby screen
  • the image communication standby screen may be displayed, including the image captured by the camera.
  • the electronic device 500 may display the video communication waiting state 3000 until the video service connection is accepted by the receiving electronic device.
  • the video communication waiting state 3000 indication may include text 3010 (eg, "Requesting Video Service "), icon 3020, or animation (eg, text 3010 or icon (eg. 3020) may be provided in the form of animation motion).
  • the display of the video communication waiting state 3000 may include a function icon 2940 associated with a speaker mode switch 3031, a video service termination 3033, a mute function 3035, and the like.
  • a video communication standby may be displayed and provided when switching to a video service during a voice call, and a video communication connection for video service is established between electronic devices.
  • Related information eg, message, icon, etc.
  • Related information may be changed and provided according to a corresponding state until the information becomes available.
  • FIG. 31 is a diagram illustrating an example of a screen on which an image service is performed in an electronic device according to various embodiments of the present disclosure.
  • FIG. 31 may show an example of a screen of a receiving terminal receiving an image.
  • FIG. 31 illustrates an example of a screen when the electronic device 500 receives a video service connection request from a calling terminal, and is provided to receive the user's acceptance or rejection for the video service connecting request of the calling terminal.
  • An example can be shown.
  • the electronic device 500 may display a user interface for allowing the user to accept or reject the video service connection.
  • the user interface may include a GUI such as a pop-up.
  • the GUI may include one or more of a name, a phone number, a photo, or job related information of a counterpart electronic device user who transmits an image.
  • the electronic device 500 may additionally or selectively provide sound, vibration, etc. to the user interface with respect to the reception of the video service connection request message.
  • 32 is a diagram illustrating an example of a screen on which an image service is performed in an electronic device according to various embodiments of the present disclosure.
  • FIG. 32 may illustrate an example of a screen of a receiving terminal receiving an image.
  • FIG. 32 illustrates an example of a screen displayed after the user accepts a video service connection request in the example of FIG. 31.
  • the electronic device 500 when the electronic device 500 accepts a video service connection request from the counterpart electronic device by the user (for example, when “OK” is selected in FIG. 31), the electronic device 500 displays and provides a video communication standby. can do. 32 shows an example of providing a pop-up indicating that video communication is waiting after accepting a video service connection.
  • the electronic device 500 waits until the video communication connection for the video service connection with the counterpart electronic device (eg, the transmitting electronic device) is completed through the server.
  • the status display screen can be displayed and provided to the user.
  • the wait state indication may be provided in the form of text (eg, Requesting %), an icon, or an animation.
  • FIG 33 is a diagram illustrating an example of a screen displaying a video communication wait when a video service is connected in an electronic device according to various embodiments of the present disclosure.
  • FIG. 33 illustrates that a video service connection is established between a calling terminal (eg, the first electronic device 610) transmitting an image and a receiving terminal (eg, the second electronic device 620) receiving an image.
  • a calling terminal eg, the first electronic device 610
  • a receiving terminal eg, the second electronic device 620
  • examples of each screen may be displayed.
  • FIG. 33A illustrates an example of a screen of a calling terminal that transmits video when a video service is connected
  • FIG. 33B receives a video when a video service is connected.
  • An example of a screen on the receiving terminal side may be shown.
  • the first electronic device 610 is connected to the first electronic device 610.
  • the image 3310 may be displayed. According to various embodiments of the present disclosure, an image 3310 taken through an internal or external camera may be displayed on the first electronic device 610.
  • the second electronic device 620 is connected to the second electronic device 620.
  • the image 3320 may be displayed.
  • the image 3320 transmitted from the first electronic device 610 may be displayed on the second electronic device 620.
  • the image 3310 of the first electronic device 610 and the image 3320 of the second electronic device 620 may be provided as the same image.
  • the first electronic device 610 and the second electronic device 620 may include an additional function icon, a call duration, sender information, etc. in addition to the images 3310 and 3320. Can be. According to an embodiment of the present disclosure, since the voice call before the video service connection is maintained, the total talk time including the voice talk time may be displayed.
  • the additional function icon displayed on the first electronic device 610 may include speaker mode switching, video service termination (eg, end video service), call termination, mute on / off, It can include functions such as Pointer, Capture, Record, etc.
  • video service termination eg, end video service
  • call termination e.g., mute on / off
  • It can include functions such as Pointer, Capture, Record, etc.
  • the video service when the user of the first electronic device 610 selects the video service termination function 3311, the video service may be terminated and the voice call may be converted.
  • the video transmission or video call function when the video service ends, the video transmission or video call function may be terminated, but the voice call may be maintained.
  • a call termination eg, voice call termination
  • both the video service and the voice call may be terminated.
  • the image 3310 is paused (eg, display of captured and captured captured images), and the user inputs (eg, displays) the image 3310.
  • Object or object information input during writing, drawing, text input, emoticon selection or icon selection is transmitted to the counterpart electronic device (eg, the second electronic device 620), and then the second electronic device ( The image may be overlaid on the paused image 3320 of 620.
  • an object input from the second electronic device 620 or an object related to object information may be displayed and provided on the still image 3310 of the first electronic device 610.
  • the input object information may include an input position of an object related to a still image, an input object (eg, text, shape, text, emoticon, icon, etc.), properties (color, thickness, identification information, etc.) or a user.
  • Orientation information eg, three-dimensional image pose information, motion information, rotation information, etc.
  • sensors eg, geomagnetic sensors, acceleration sensors, gyro sensors, etc.
  • the image 3320 is paused (eg, captured and displayed on the captured image), and the image is stored. 1
  • the time information eg, elapsed time since the start of video communication transmission
  • the two electronic devices 610 and 620 may be identical to each other. Similar images may be displayed and the objects or object information input on the images may be shared with each other through transmission and reception.
  • the first electronic device 610 receives time information of a capture time, and corresponds to or adjacent to time information from an image stored in a camera buffer (eg, a ring buffer) or a memory of the electronic device 500. You can extract the image.
  • a camera buffer eg, a ring buffer
  • a memory of the electronic device 500 You can extract the image.
  • object information of an object input on the images may be extracted and shared, and displayed on the electronic devices 610 and 620.
  • the electronic device 500 may change and display the object information. For example, if the resolution of the received electronic device is different from the resolution or aspect ratio of the transmitted electronic device (e.g., the display resolution is different or the orientation of the display is different (e.g. landscape mode, portrait mode)), The electronic device 610 or 620 may relatively change the size of the object to be displayed based on the resolution, orientation, or zoom state information in which the image is to be displayed, and display the position at a corresponding ratio. For another example, when two electronic devices 610 and 620 input an object of the same color, when the two electronic devices 610 and 620 are displayed, the object may be changed to a different color and displayed.
  • an image currently being captured may be captured and stored.
  • an image currently being captured may be recorded and stored.
  • the additional function icon displayed on the second electronic device 620 may include speaker mode switching, video service termination (eg, end video service), call termination, mute on / off, It can include functions such as a pointer.
  • video service termination eg, end video service
  • call termination e.g., mute on / off
  • It can include functions such as a pointer.
  • the video service when the user of the second electronic device 620 selects the video service termination function 3321, the video service may be terminated and the voice call may be converted.
  • the video transmission or video call function when the video service ends, the video transmission or video call function may be terminated, but the voice call may be maintained.
  • a call termination eg, voice call termination
  • both the spiritual service and the voice call may be terminated.
  • the image 3320 is paused (eg, captured and displayed on the captured image), and the user is drawing over the image 3320.
  • the form (state) is transmitted to the counterpart electronic device (eg, the first electronic device 610)
  • the shape (state) may be overlaid and displayed on the paused image 3310 of the first electronic device 610.
  • the drawing state may be displayed and provided on the still image 3320 of the second electronic device 620.
  • a predetermined time is displayed. It may not be displayed after this time.
  • the function icon may be shown / hidden on the screen.
  • the disappeared icon may be displayed again on the screen.
  • certain icons and menus may remain displayed without disappearing. An example of the screen according to the operation is shown in FIG. 34.
  • 34 is a diagram illustrating an example of a screen on which an image service is performed in an electronic device according to various embodiments of the present disclosure.
  • FIG. 34 prevents a function icon or menu provided with an image from being displayed on the screen based on automatic or manual operation while performing a video service, and displays a function icon or menu not displayed according to a user input.
  • An example of operation to display is shown.
  • icons and menus displayed on the screen may be continuously displayed without disappearing.
  • the icon and menu may disappear or display on the screen.
  • the icon and the menu are removed to disappear from the screen, and when the user input is recognized again, as shown in FIG. It can be displayed again on the screen.
  • the icon and menu may automatically disappear from the screen after a predetermined time (for example, N seconds) after the video service is connected, and may not be displayed. For example, when a user input is recognized and an icon and a menu are displayed, the icon and the menu may disappear again after a certain time. In addition, if a user input is recognized after the icons and menus disappear, as shown in FIG. 34D, the icons and menus may be displayed again on the screen.
  • a predetermined time for example, N seconds
  • icons and menus may be set to be selectively displayed or not displayed.
  • at least one icon and menu preset in the electronic device 500 or set by the user may be continuously displayed on the screen regardless of a user input (or a predetermined time).
  • 35A, 35B, 35C, and 35D are diagrams illustrating an example of processing of a video service connection failure in an electronic device according to various embodiments of the present disclosure.
  • a transmitting electronic device and an image that transmits a video may be disconnected.
  • the related state may be displayed (eg, at least one of a warning message, an error popup, a sound, or a vibration) through the receiving electronic device.
  • a pose state eg, at ear mode, an open position mode not adjacent to the ear, or the like
  • a proximity state eg, : Video service connection error can be determined based on the open / closed cover).
  • a video service connection error according to a pause state for example, at ear mode, open position mode, etc.
  • a proximity state for example, at ear mode, open position mode, etc.
  • FIG. 35A may represent an example of a popup provided by a transmitting electronic device.
  • a video communication related message for connecting a video service is transmitted to a receiving electronic device, but there is no response from the receiving electronic device (for example, the user of the receiving electronic device receives a video for a predetermined time (for example, 20 seconds).
  • the transmitting electronic device may display a connection error message (for example, Unable to start) in a pop-up form.
  • the receiving electronic device if a user does not accept a video service connection request for a predetermined time (for example, 20 seconds) after receiving a video communication related message, the receiving electronic device times out. Reject message) may be automatically delivered to the transmitting electronic device.
  • the transmitting electronic device may display a connection error message (for example, Unable to start) in the form of a popup in response to the automatic rejection message of the receiving electronic device.
  • FIG. 35B illustrates an example of a popup provided when a video service connection request is received by the receiving electronic device but the network state cannot maintain the video service.
  • the receiving electronic device when a reception pop-up for connecting a video service is displayed on the receiving electronic device, when the network state is checked and it is determined that the video service is not available, the receiving electronic device automatically sends a video service end message to the transmitting electronic device. I can deliver it.
  • the transmitting electronic device and the receiving electronic device may display a connection error message (for example, Unable to start) in a pop-up form in response to the termination message.
  • a connection error message may be automatically displayed without a popup for accepting or rejecting the video service connection request.
  • FIG. 35C illustrates an example of a pop-up provided when the receiving electronic device accepts a video service connection request but the image is not transmitted from the calling terminal within a predetermined time.
  • the receiving electronic device may automatically terminate the video service. For example, the receiving electronic device receives a video service termination message if the image captured by the transmitting electronic device is not transmitted for a predetermined time (for example, 10 seconds) after the user accepts the video service connection request and the video service is connected. It can deliver to the transmitting electronic device.
  • a predetermined time for example, 10 seconds
  • the transmitting electronic device and the receiving electronic device may display a connection error message (for example, Unable to start) in a pop-up form in response to the termination message.
  • a connection error message for example, Unable to start
  • the transmitting electronic device and the receiving electronic device may display different connection error messages.
  • the transmitting electronic device may display a popup form of 3510 and provide it to a user
  • the receiving electronic device may display a popup form of 3530 and provide it to a user.
  • FIG. 35D may show an example of a pop-up provided when a peer-to-peer connection with a counterpart electronic device is not established within a predetermined time while attempting (outgoing) a video service connection.
  • the video service connection request message of the transmitting electronic device when the video service connection request message of the transmitting electronic device is not delivered to the receiving electronic device, for example, the video service connection request message is not delivered to the receiving electronic device for a predetermined time (for example, 10 seconds).
  • the server may transmit a disconnection message to the transmitting electronic device.
  • the transmitting electronic device may display a connection error message (for example, Unable to start) in the form of a popup in response to the connection failure message of the server.
  • the transmitting electronic device may be in a video service connection waiting screen state, and the receiving electronic device may be in a state in which an accept / rejection popup for the video service connection request is not received.
  • the transmitting electronic device when the P2P connection is made while attempting (outgoing) the video service connection, the transmitting electronic device is fixed while the reception electronic device displays the acceptance / decline of the video service connection request. It may not receive a response to the acceptance / rejection from the receiving electronic device for a time (for example, 15 seconds). In this case, the transmitting electronic device may cancel the transmission according to the timeout (for example, the timer expires) and display a popup form of a connection error message (for example, Unable to start) as illustrated in FIG. 35A.
  • a connection error message for example, Unable to start
  • 36 is a diagram illustrating an example of a screen on which an image service is performed in an electronic device according to various embodiments of the present disclosure.
  • FIG. 36 illustrates an operation according to zooming (eg, zoom in / out) and a screen example thereof in a transmitting electronic device that transmits an image while performing an image service.
  • zooming eg, zoom in / out
  • screen example thereof in a transmitting electronic device that transmits an image while performing an image service.
  • a user of a transmitting electronic device may zoom in the transmitting electronic device while capturing an image.
  • the transmitting electronic device transmits the enlarged image corresponding to the zoom, the original image and the enlarged area and the magnification transmission, or the area to be displayed on the display of the receiving electronic device to the counterpart electronic device in response to the user's zooming. Can be specified and sent.
  • zooming may be performed by pinching a preview screen.
  • the transmitting electronic device may calculate a change in the distance (eg, the distance between the touched points) of the two fingers of the user as a zoom factor.
  • the portion to be enlarged may be based on a portion where a user's finger is first touched, or may be based on a center portion of two fingers.
  • the zooming operation may be performed by detecting a pressure using a pressure sensor built in the display. For example, when the pressure sensing value is input for more than a first threshold (eg 0.3 sec) or more, zoom in is performed, and the pressure sensing value is less than the first threshold and more than the second threshold for a predetermined time. If the input is abnormal, zoom out may be performed, and if the pressure sensing value is less than the second threshold, it may be determined that the zoom function ends.
  • an input position where pressure is sensed may be determined through positions of one or more zoom sensors, or an input position may be determined in conjunction with a touch sensor.
  • the transmitting electronic device may separately display the zoom magnification on the preview screen to which the zoom magnification is applied based on a user input. For example, as shown in the screen example of FIG. 36, the transmitting electronic device displays a reference position and a magnification (for example, X1.0 and X2.0) to which the magnification is applied from the portion where the input for starting the zoom operation starts. It can be displayed additionally.
  • a magnification for example, X1.0 and X2.0
  • the GUI for displaying the magnification may be overlaid and displayed independently of the screen zoomed around a certain position on the display. For example, even if the center position of the image displayed through the zoom operation is changed, the center point of the GUI displaying the magnification may always be the center point of the display.
  • the receiving electronic device may determine a result of zooming in the transmitting electronic device based on the enlarged image transmitted by the transmitting electronic device, the original image not enlarged and the enlarged area and magnification, or the designated area. The same image as the image can be displayed.
  • FIG. 37 is a flowchart illustrating a method of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • the electronic device 500 performs an image service to an originating terminal for transmitting an image, as illustrated in FIG. 36, an example of a processing method according to performing a zoom operation may be illustrated.
  • the controller 580 of the electronic device 500 may detect the start of a zoom command based on a user input.
  • the controller 580 may determine a zoom area / magnification corresponding to the user input.
  • the controller 580 may display a screen (for example, a zoomed preview) to be zoomed according to the zoom magnification, and display a magnification corresponding to the zoomed screen.
  • a screen for example, a zoomed preview
  • the controller 580 may overlay and display the screen independently of the zoomed screen.
  • the controller 580 may process a video encoding corresponding to the zoomed screen.
  • the controller 580 may transmit the encoded image to the counterpart electronic device (eg, the receiving electronic device).
  • the controller 580 may determine whether to terminate the zoom command.
  • the controller 580 may proceed to operation 3703 to process an operation of operation 3703 or less. have.
  • the controller 580 may display a GUI for returning to the previous magnification in operation 3713.
  • the GUI display for returning to the previous magnification of operation 3713 may not optionally be performed.
  • the controller 580 may operate to maintain and display the changed current magnification or to automatically display an image of the magnification of the original image.
  • the result of the enlargement and reduction of the image by the zoom operation may be transmitted to the counterpart electronic device.
  • the electronic device 500 may continuously perform image encoding on a preview to which the zoom is applied and transmit the image to the counterpart electronic device.
  • the electronic device 500 may process a zoom in or zoom out for only a part of the entire image input through the camera and display the preview image on the display. Therefore, the transmission to the counterpart electronic device is performed regardless of whether or not the zoom is performed, and at least one information of magnification, size, and area to be displayed is displayed along with the zoom position so that the processing by the zoom can be performed by the counterpart electronic device. You can also pass it on.
  • a zoom position eg, a center point or a display boundary
  • an area displayed by the zoom function may also be changed.
  • image processing tasks may transmit a user input received through an application unit (eg, 618 of FIG. 6) to a media processor (eg, 840 of FIG. 8), and the media processor 840 may 8 or more of a camera (eg, 810 of FIG. 8), an encoder (eg, 846 of FIG. 8), and a network unit (eg, 850 of FIG. 8).
  • an application unit eg, 618 of FIG. 6
  • a media processor eg, 840 of FIG. 8
  • the media processor 840 may 8 or more of a camera (eg, 810 of FIG. 8), an encoder (eg, 846 of FIG. 8), and a network unit (eg, 850 of FIG. 8).
  • the electronic device 500 may selectively display a GUI (eg, one or more of a button, an icon, and text) for allowing the user to return to the previous magnification.
  • a GUI eg, one or more of a button, an icon, and text
  • An optionally displayed GUI can be provided to automatically disappear after a certain time.
  • 38 is a diagram illustrating a method of performing an image service between electronic devices according to various embodiments of the present disclosure.
  • FIG. 38 illustrates an operation of processing and displaying an image according to a zoom operation between electronic devices (eg, the first electronic device 610 transmitting an image and the second electronic device 620 receiving an image).
  • An example can be shown. 38 illustrates an example in which a zoom operation is requested by the second electronic device 620 that receives an image.
  • the second electronic device 620 may receive a zoom command based on a user input, and calculate a zoom magnification accordingly. For example, the second electronic device 620 may calculate a prediction ratio by the zoom command.
  • the second electronic device 620 may transmit zoom control information to the first electronic device 610 that provides an image.
  • the zoom control information may include zoom magnification and location information (eg, central location or area boundary), network status information, and the like.
  • the first electronic device 610 may calculate a zoom ratio in response to a zoom command of the second electronic device 620.
  • the first electronic device 610 may receive zoom control information from the second electronic device 620, and may determine that the reception of the zoom control information is the reception of a zoom command of an image.
  • the first electronic device 610 may calculate a zoom magnification based on the zoom magnification and position information of the zoom control information.
  • the first electronic device 610 may calculate a prediction ratio by the zoom command.
  • the first electronic device 610 may display a screen (for example, a zoomed preview) to be zoomed based on the zoom magnification and the location information.
  • the first electronic device 610 may display information on the magnification of the zoomed screen as an independent overlay, independently of the zoomed screen.
  • the first electronic device 610 may generate an encoded image by processing an image encoding corresponding to a zoomed screen (for example, a zoomed preview).
  • the first electronic device 610 may transmit the encoded image and the zoom magnification to the second electronic device 620.
  • the second electronic device 620 may decode the encoded image to generate and display a preview image.
  • the zoom in / out may be provided by the receiving side electronic device that receives the image.
  • the control information transmitted to the transmitting electronic device according to the zooming of the receiving electronic device may be, for example, a zoom magnification, a reference position to which the magnification is applied, or an area boundary at the time when the zoom is completed, and a network state. Etc. may be included.
  • the control information may be calculated and transmitted for each frame at the time when an input for zooming is input to the receiving electronic device.
  • the receiving side electronic device may transmit control information (signal) at a time when an input for zooming is completed.
  • the transmitting side electronic device receives the data through the media processor, controls the camera, the decoder, and the network unit to generate a preview corresponding to the zoom magnification.
  • Corresponding information can be provided in a separate GUI.
  • the provided GUI may be the same (same) GUI as when zooming is performed in the transmitting electronic device, and different colors, shapes, thicknesses, etc. may be displayed based on a user who inputs a command. .
  • the transmitting electronic device may encode an image to which the zoom is applied and transmit the image to the receiving electronic device.
  • the transmitting-side electronic device may generate and transmit an image for at least one magnification between the start zoom magnification and the final zoom magnification in consideration of a network state when transmitting an image.
  • the receiving electronic device may receive an image transmitted from the transmitting electronic device, display the image on the screen, and optionally display magnification information.
  • the transmitting electronic device if the transmitting electronic device transmits an image for any one magnification between the start zoom factor and the final zoom magnification, the transmitting electronic device also provides the corresponding magnification information to the receiving electronic device.
  • the receiving side electronic device may independently display the magnification information together with the image.
  • the receiving electronic device may display the final zoom magnification on the screen.
  • the reception side electronic device when the reception side electronic device receives a user input or is set to zoom in a predetermined area automatically (for example, automatic zooming to an object center, face area zoom, etc.)
  • the Zoom related process may be performed together with the side electronic device.
  • the zoom image processing method may be processed based on direct camera control (eg, remote control / optical zoom), image process module control (eg, digital zoom).
  • direct camera control eg, remote control / optical zoom
  • image process module control eg, digital zoom
  • the encoded image processing method may maintain transmission of maximum resolution video data and perform zooming on each electronic device (for example, independent zooming through decoding results of each electronic device).
  • the transmission may be performed based on transmission and reception of optically zoomed maximum resolution image data through optical zoom, or encoding and transmitting only the zoomed area.
  • an automatic zoom of a region of interest (ROI) by a user input may be provided.
  • the ROI or the ROI may be set by user input (for example, pointing, dragging, focusing on an object, etc.), and the zoom may be automatically adjusted to the ROI or the ROI.
  • the reception and display of the zoom area information of the counterpart may be provided.
  • the ROI or the zoom area designated by the counterpart may be received, and the received area may be displayed on the displayed image.
  • the display area when the display area is included in the outside of the currently displayed image, the display area may be displayed as a separate GUI.
  • FIG. 39 is a diagram illustrating an example of a screen on which an image service is performed in an electronic device according to various embodiments of the present disclosure.
  • FIG. 39 illustrates an operation of capturing a displayed image and an example of a screen thereof while performing an image service.
  • the capturing function of the video service may be performed by the user selecting the capture button 3910 during the video service.
  • an example of performing image capture is as follows.
  • an image capture is performed by a first electronic device that provides an image.
  • the first electronic device may acquire a post-processed image to transmit a high quality original image and a video obtained through a camera.
  • the first electronic device may store a high quality original image when the capture button 3910 is input, and may share the same with the second electronic device.
  • an input for capturing an image may be requested to be captured by the capture button 3910 at a second electronic device instead of the first electronic device, and the first electronic device may request the second electronic device. In response, the camera may be operated.
  • an image capture is performed by a second electronic device that receives an image.
  • the second electronic device may extract an image at the moment of pressing the capture button 3910 from the video transmitted through the network stream.
  • the extracted image may have a characteristic in which the quality depends on the network condition.
  • the extracted image may have a high quality image stored at the moment of pressing the capture button 3910 to the first electronic device. You can also receive by requesting.
  • the first electronic device when the second electronic device on the receiving side requests a high quality original image of the first electronic device on the transmitting side, the first electronic device receives the capture button 3910 at the second electronic device.
  • the original image of the corresponding time point may be searched by checking a timestamp of the corresponding timestamp, and the retrieved original image may be transmitted to the second electronic device.
  • the first electronic device when the second electronic device at the receiving side requests a high quality original image of the first electronic device at the transmitting side, the first electronic device is operated as if the camera is operated by a remote controller. In response to the request of the second electronic device, the camera may operate to acquire a captured image and transmit the acquired image to the second electronic device.
  • one or more visual effects among camera shutter sound effects, screen flicker, screen shake, and fade in effects after screen fade out may be provided.
  • a popup 3930 may be provided to the user by displaying that the captured image is stored, such as "image captured” or "_filename_saved (eg, AAA001 saved)".
  • the first electronic device and / or the second electronic device may capture only an image acquired through a camera.
  • the preview screen may be captured, and the captured image may not include a function icon or a menu displayed on the screen.
  • the function icon or menu may operate independently of capturing an image.
  • the call duration may be continuously counted and displayed (eg, 00:22-> 00:23). Additionally or alternatively, the capture may include a function icon or menu.
  • FIG. 40 is a diagram illustrating an example of a screen on which an image service is performed in an electronic device according to various embodiments of the present disclosure.
  • FIG. 40 illustrates an operation of recording a displayed video and an example of a screen thereof while performing a video service.
  • the recording function may be performed during the video service by a user selecting the recording button 4010 during the video service.
  • an example of performing recording is as follows.
  • the recording may be performed by the first electronic device that provides an image.
  • a network situation eg, an upload channel of the first electronic device and a second channel
  • the download channel of the electronic device may affect the quality of the image. Therefore, the recorded video can be stored at the highest quality only when the network environment is good, and this feature (for example, the transmission video also has a loss of bitrate per second compared to the video that is usually taken by the camera). Video (up to 3.5Mbps, 1080p) can be stored.
  • a media processor may be used to control image encoding for network transmission and image encoding for storing an original image received through a camera separately.
  • the recording may be performed by a second electronic device that receives an image.
  • the second electronic device may store an image having a variable quality from the first electronic device according to the situation of the network path.
  • the second electronic device may obtain a recorded image by requesting to share the recorded original quality video to the first electronic device after a voice call, if necessary.
  • the first electronic device may acquire an image of an original quality in response to a request of the second electronic device.
  • the obtained data may be local data stored in the first electronic device or may be data stored in a server.
  • the server when scalable video is applied to the video, only the enhanced layer data of the deteriorated portion of the stored video of the second electronic device may be requested to the server.
  • the server may additionally provide missing enhanced layer data.
  • a part of the stored video of the second electronic device that has requested a low quality packet may later request only the high quality part again with reference to the DASH Playlist to recover the quality.
  • the first electronic device and / or the second electronic device when the first electronic device and / or the second electronic device perform a recording operation, the first electronic device and / or the second electronic device may display an elapsed recording time 4050 (eg, REC 00:01).
  • the user while the recording operation is performed, the user may be provided with the recording through the blinking of the elapsed recording time 4050 and / or the recording icon 4010.
  • a pop-up 4030 may be provided to the user by displaying that the recorded image is stored, such as "_filename_saved (for example, BBB003 saved)".
  • the first electronic device and / or the second electronic device may record only an image acquired through a camera.
  • the preview screen may be recorded, and the recorded image may not include a function icon or a menu displayed on the screen.
  • the function icon or menu may operate independently of the recording of the image.
  • the call duration may be continuously counted and displayed (eg, 00:24-> 00:30).
  • content captured or recorded when an image service is performed may be shared.
  • a captured image or a recorded video performed by the user during the video service may be displayed in a thumbnail form or may be briefly summarized. Such information may be provided via pop-ups.
  • the user may check the corresponding contents, specify a target to be shared, and share the contents to be shared with other users through a pop-up menu.
  • a previously stored capture image or a recorded video may be shared or viewed.
  • content eg, a captured image or a recorded image
  • the folder name may include information related to a call.
  • the information may include time, date, and counterpart information.
  • 41 is a flowchart illustrating a method of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • FIG. 41 illustrates an operation in which the electronic device 500 provides a media footprint service.
  • the media footprint service may add contact information in the form of metadata to a still image or a video that has been created or shared while the video service is being performed, and then the user may enter the video service. It can represent a function to make various information useful.
  • the metadata may be stored in an image file or stored in a separate associated file or database.
  • the image may be used to mean one or more of a still image, a video, an animation, a preview image, and a bayer image.
  • the controller 580 (eg, a processor) of the electronic device 500 may identify a user store option, and in operation 4103, may determine a user's option.
  • the user's option may indicate an option for setting a range of data to be stored or shared when using the video service.
  • the user's options may be stored in advance according to user settings, and the options may include, for example, full data, highlighted video, and the like.
  • the controller 580 may check a selection option previously stored by the user in a video call according to a video service. For example, the controller 580 may determine setting options such as whether to store the user's option, use of full data, or use of a highlighted video.
  • the controller 580 may not perform the footprint function or the default setting option set by the electronic device 500. (E.g. full data) to perform a function.
  • the controller 580 may acquire raw video data.
  • the controller 580 may generate a highlighted image and / or a highlighted video by using the raw image data.
  • operations 4107 and 4109 may be performed sequentially, in parallel, or in reverse order, unless operations 4107 and 4109 are not limited to the depicted relationship.
  • the controller 580 may acquire the raw image data.
  • the highlight image may be generated using the raw image data.
  • the controller 580 may generate metadata related to a contact based on the highlight image generated in operation 4109 or the highlight image generated in operation 4113.
  • the controller 580 may store metadata and media.
  • the controller 580 may notify the user.
  • the video call according to the video service may be stored and shared according to a user's selection option.
  • a media footprint service may be provided, and the media footprint service may include a service for managing and providing contact information by adding contact information in the form of metadata to an image or a video created or shared in a video service situation. Can be.
  • FIG. 41 a detailed operation example of FIG. 41 for storing (or sharing) video call data according to a video service of a user will be described.
  • storage (or sharing) of a video according to a video call (hereinafter referred to as a video call) by a video service is based on a user's option selection, and the capability of the electronic device 500 ( can be stored based on capability) and service check status.
  • the user's options may be divided into, for example, Not save, Full data, Highlighted video, and Image.
  • Full data may represent an option of storing a video call of a user as raw data and automatically generating a highlighted image of the data.
  • the highlighted video does not store the raw data, and may indicate an option of deleting the raw data after generating the highlighted video and the highlighted image.
  • Image detects user input movement (e.g. capture, focusing, pause, pointing, etc.), and is an image that is acquired by the camera at that time, displayed on the screen, or stored in one memory (e.g., ring buffer). It may indicate an option to save.
  • the image stored may be a still image, an animated image (eg gif), a panoramic image, or a 3D or 2.5D image using a depth sensor value (eg depth information).
  • a capability check of the electronic device may be divided into a check, for example, battery states, a memory space, and the like.
  • the electronic device may not store the image when the battery status for storing the image is not sufficient (for example, less than a predetermined capacity) through the battery status check. If the electronic device does not have enough memory space to store an image (for example, less than a certain size) through a memory space check, the electronic device may store the full data or highlight the image according to the state of the memory. After storing the video, the original may be discarded and, depending on the state of the memory, the image may not be stored if it is not sufficient to store the highlight image.
  • the stored data may include a user's voice communication content and image data, and may include location information of a caller, location information of a receiver, and a call time (eg, a call). It may include additional information that may be sensed by the electronic device, such as date & time) information.
  • the method for generating a highlight image may be performed as follows.
  • a large change in a scene may be used. For example, when detecting (acquiring) a large change in a scene during a video call by differential image analysis, a change request of a front / rear camera through a switching camera, or a large movement of an electronic device through a motion sensor, the image is captured. By editing the stored ring buffer, a blurless image before and after a large change in the scene can be obtained, and a highlight image can be generated based on the image.
  • a focused image may be used. For example, when the electronic device detects an object to be shared by the user during a video call, the electronic device may automatically focus on the object or may focus by the user's gesture. For example, when the camera lens focuses on an object, the electronic device may generate a highlight image based on an image of the object or region.
  • a blurless image may be used.
  • the electronic device may move, or the quality of the image may deteriorate due to a small or large tremor from the hand holding the electronic device.
  • the electronic device may generate the highlight image based on the instant.
  • a pointed image may be used.
  • a highlight image may be generated based on the image when the pausing image is generated through the pausing gesture of the user.
  • the method for generating a highlight image may be performed as follows.
  • a large change in a scene may be used. For example, when detecting that a predetermined change amount or more occurs based on a motion change amount or a color change amount through the difference image, a highlight image may be generated.
  • a large change in voice may be used. For example, when detecting a case in which a sound of a predetermined volume or more is generated or the direction of detection of the sound is changed by using the multi microphone, the highlight image may be generated.
  • a change in a topic may be used. For example, if you detect an event or detect a new topic using voice recognition or image recognition (e.g. character recognition, new character detection through face recognition, barcode recognition, deep learning based object recognition, etc.) Can be generated.
  • voice recognition or image recognition e.g. character recognition, new character detection through face recognition, barcode recognition, deep learning based object recognition, etc.
  • the method for generating metadata related to a contact may be performed as follows.
  • contact data of the other party who has called the media data generated by the video call may be generated as metadata.
  • information that may be added (inserted) as metadata may include caller's name, call date & time, caller's location information, receiver's location information, etc. of the counterpart.
  • the method of storing media and metadata, illustrated in operation 4123, may be performed as follows.
  • the media data may be added to the call log detailed view.
  • the media data when generating a call log for managing a video call, the media data can be directly connected and managed in the call log based on the generated metadata.
  • the call log according to the video call may be managed in the same structure for two types of call (Circuit Switching) call and Packet Switching (PS) call.
  • PS Packet Switching
  • separated media data may be provided according to metadata included in the shortcut when selecting the generated shortcut.
  • the media data may take the form of general photos and videos, and may operate on file attributes that general media data may have, such as specifying a favorite, sharing, editing, or deleting a favorite. have. An example of the screen associated with this will be described with reference to FIG. 42 described later.
  • associated contact may be generated as new metadata.
  • contents of the generated metadata may be checked.
  • the contact name of the video call partner may be checked, and the date and time of the video call, location information of the caller, location information of the receiver, and the like may be checked.
  • the contents of the viewable metadata may not include all the contents of the generated metadata.
  • general attribute information eg, file name, file path, type, size, resolution, orientation, etc.
  • attributes extracted from the characteristics of the corresponding image (Eg categories, detected people, etc.) An example of a screen related to this will be described with reference to FIG. 43 described later.
  • media may be searched based on metadata.
  • the highlight image and the highlight image automatically generated after the end of the video call may be searched through metadata. For example, “pictures you called with Mike,” “what you called during Christmas with Mike,” “video calls that Mike made when traveling to New York,” or “video calls when I traveled to Jeju.”
  • the electronic device 500 may perform natural language processing and may use a search by voice input or text input. An example of the screen associated with this will be described with reference to FIG. 44 to be described later.
  • the method for notifying the user may be performed as follows.
  • the video call may store full data according to a user's save option, or the highlight video data (eg, highlight image, highlight image) may be stored. Can be stored.
  • the electronic device may automatically generate a highlight image with respect to the generated image, and provide a notification to the user after the call type with respect to the number and size of the generated image.
  • the electronic device may provide a user with an option to view or share later, an option to view details, etc. on an automatically generated image after the call ends.
  • the option that may be provided to the user after the call ends may include, for example, an indication of Dismiss, Share all, View, and the like, and the screen examples thereof will be described later with reference to FIGS. 45 and 46. And with reference to FIG. 47.
  • the electronic device may generate and provide a media footprint, for example, an image file related to a call, in a video service.
  • a method of generating a video file related to a call may include a file box indicating a file type and a compatible type, a file header including header information, and stream data. Generating an image file including the media data to be included; dynamically generating metadata including location information related to a call and information of a call partner among tracks in which the stream data is stored. .
  • the metadata is represented by a shortcut (eg, icon, text, number, etc.) that can be associated with the call log, through which the detailed call log can be viewed or driven by the associated function.
  • a shortcut eg, icon, text, number, etc.
  • metadata may be identified and displayed through call logs and galleries, and sharing and search storage may be easily performed through metadata.
  • FIG. 42 is a diagram illustrating an example of a user interface of an electronic device according to various embodiments of the present disclosure.
  • FIG. 42 an example of a screen of a service user interface provided to query and display media data (or image file) generated and stored according to an image service performed by the electronic device 500 may be illustrated.
  • FIG. 42 may be an example of a screen commonly provided by a calling terminal transmitting an image and a receiving terminal receiving an image.
  • the electronic device 500 may record a call log according to an image service, and may provide information on a communication record corresponding to the call log in response to a user request.
  • the communication record may be provided with one or more of video communication completion, missed call, reject, outgoing / incoming, communication time point, communication time (eg, date, time, etc.), counterpart information, and counterpart registration picture.
  • the communication record may include information on completion of video communication (for example, the number of communication) according to video service execution, information on sending or receiving video service, information on video service failure, and rejection of video service request. Information, counterpart information, and the like may be provided.
  • each piece of information in the communication record may be provided as at least one or a combination of text, an image, an icon, and the like.
  • communication records may be recorded in chronological order, and may be organized by user (person) (eg, grouping), and for example, a grouping log may be provided.
  • the call log when generating a call log according to a video service, the call log may be connected and managed based on metadata generated by the video service. For example, after the call is terminated according to the video service, the user may check the detailed view of the call log through metadata generated by the video service.
  • a user when a user selects any one of communication records (or communication record items) (for example, Pragam 4210 in FIG. 42A), detailed communication records of the selected communication record with the corresponding user may be recorded.
  • the display can be converted to a screen that can be checked.
  • the detailed view screen may be displayed by switching from FIG. 42A to FIG. 42B.
  • the detailed view includes user information (eg, name, phone number, image, etc.), all history according to the use of the video service with the user, and type of video service (eg, Outgoing, Incoming). ), Whether video service is performed (e.g. Missed, Rejected, etc.), call time (e.g. date, time), etc., and various input buttons (e.g., video service call, voice call, Buttons, such as message delivery), and the like.
  • the detailed view may include the indicators 4230 and 4250 of metadata generated when the corresponding user and the image service are executed.
  • the indicators 4230 and 4250 of images generated during the video call among the communication records may be provided.
  • the indicators 4230 and 4250 may be provided as various types of images or icons (eg, photo icons, audio icons, etc.) according to the generated metadata.
  • the indicators 4230 and 4250 may further provide numerical information 4235 and 4255 of the included metadata.
  • the indicators 4230 and 4250 can provide a shortcut function. For example, when the user selects the indicators 4230 and 4250, a screen related to the selected indicators 4230 and 4250 may be displayed. According to an embodiment of the present disclosure, separate metadata may be provided according to the metadata of the indicators 4230 and 4250.
  • the metadata eg, a related image file included in the indicator 4230 is searched for and converted to FIG. 42C to be converted into metadata.
  • the screen according to may be displayed.
  • indicator 4230 e.g. touch, tap
  • an image associated with indicator 4230 is displayed in a multimedia viewer (e.g., gallery, video player, video editor, web browser, etc.) of android. May be searched and displayed.
  • 43 is a diagram illustrating an example of a user interface of an electronic device according to various embodiments of the present disclosure.
  • FIG. 43 illustrates an example of a screen of a service user interface provided to inquire and display media data (or image file) generated and stored according to an image service performed by the electronic device 500.
  • FIG. 43 may be an example of a screen commonly provided by a calling terminal transmitting an image and a receiving terminal receiving an image.
  • detailed information eg, file attribute
  • the user may request detailed information on an image file through a menu or a set input set in the above-described state as illustrated in FIG. 42C.
  • the electronic device 500 may provide a file attribute related to the image file 4270.
  • information on metadata associated with the image file 4270 may be provided together with the file property.
  • a file attribute may include attributes (eg, file name, file path, type, size, resolution, orientation) of the file itself and attributes extracted from characteristics of the image file. categories, detected people).
  • attributes eg, file name, file path, type, size, resolution, orientation
  • the file property may include at least a part of metadata associated with an image service of a corresponding image file.
  • the corresponding video file may be displayed including the counterpart information 4350 of the video call.
  • the contents may include metadata such as a video call time with the counterpart and a location information of the caller and / or the receiver.
  • the contents of the metadata provided or confirmed in the file property may be provided so as not to include all contents of the original metadata of the corresponding image file.
  • 44 is a diagram illustrating an example of a user interface of an electronic device according to various embodiments of the present disclosure.
  • FIG. 44 illustrates an example of a screen of a service user interface provided to search for and display media data (eg, an image file) of a related video service based on metadata provided through FIG. 43.
  • media data eg, an image file
  • the electronic device 500 when a user selects (eg, touches or taps) metadata 4350 (eg, counterpart information), the electronic device 500 based on the selected metadata 4350, corresponding metadata. Media data associated with 4350 may be retrieved. According to an embodiment of the present disclosure, based on the counterpart information 4350, the electronic device 500 may search for all the media data (eg, an image file) generated by performing the video service with the counterpart. In various embodiments, as shown in FIG. 44, the electronic device 500 may display the retrieved media data. According to an embodiment of the present disclosure, the electronic device 500 may provide thumbnails related to the image file as a list.
  • metadata 4350 eg, counterpart information
  • the electronic device 500 may execute an application that can directly share the found media data and provide the found media data through the executed application.
  • an application such as a message, a mail, or a messenger may be executed, and the executed application may be automatically designated as a destination based on metadata, and the searched media data may be attached as an attachment.
  • Including can be provided.
  • a keypad for text input may be provided according to the type of an application to be executed.
  • media data generated when a video call is performed with the counterpart may be located at Video calls made or received by, or video calls made or received by the user at a specific location with that person, or video calls made or received during a specific time period (for example, a week ago, a month, or a year ago).
  • a variety of information that has been performed video call with the other party can be searched and provided. That is, the electronic device 500 may search for media related to the video service according to the name, date and time of the counterpart, the location of the counterpart, the location of the user, etc. based on the metadata, and output the searched media (eg, display). Can be provided to the user.
  • 45, 46, and 47 are diagrams illustrating examples of a user interface of an electronic device according to various embodiments of the present disclosure.
  • FIGS. 45, 46, and 47 notify a user of information about media data (eg, content) generated during a video call after a call or a video call is terminated.
  • An example of a screen of a service user interface provided for sharing media data is shown. According to an embodiment of the present disclosure, after the call or the video call is terminated, the user may be notified and share information on the media data generated during the video call.
  • the media data according to the video call may store the entire data according to the user's save option or the highlight data.
  • the electronic device 500 may automatically generate a highlight image with respect to the generated media data, and after the call ends with information on the number and size of the generated highlight image, the user as shown in FIG. 45. It may be provided by giving notice.
  • a popup 4500 for checking or sharing the media data generated after the call ends may be provided with respect to the media data (eg, content) generated during the video call.
  • the popup 4500 may include information on a counterpart who has performed a video call, information on the number of media data generated in the video call, a total size 4520, and generated media data ( E.g. thumbnails, highlight images) (4530), various options for viewing or sharing media data (e.g. DISMISS (4540), SHARE ALL (4550), VIEW (4560)), etc. can do.
  • the DISMISS 4540 option may indicate an option of removing the popup 4500 and confirming the related matter later, or deleting the automatically generated media data 4530.
  • the SHARE ALL 4550 option may indicate an option for displaying, automatically selecting, or sharing all the media data 4530 in a thumbnail view or a list view at once.
  • a thumbnail eg, of the media data 4530
  • a list of highlight images (or images) and highlight images (or videos) may be provided. In the example of FIG. 46A, the highlight image and the highlight image may be generated.
  • the user may select or deselect one or more media data to be shared, and then share the finally selected media data.
  • the electronic device 500 may automatically set all media data and provide the same as illustrated in FIG. 46A.
  • the user may deselect all media data selected from the thumbnail view of FIG. 46A or at least some media data.
  • the user may share the last selected media data by selecting the SHARE button 4610.
  • all of the media data selections are selected using a checkbox on a thumbnail.
  • FIG. 47A all of the media data are selected.
  • the electronic device 500 may provide a popup 4630 for selecting a service for sharing media data as shown in FIG. 46B.
  • the electronic device 500 may use media data (eg, images and images) using services such as Message, Android Beam, WiFi Direct, Bluetooth, Drive, and Email. And / or video.
  • media data eg, images and / or video
  • NFC near field communication
  • the VIEW 4560 option may display options for displaying media data through a thumbnail view, list view, or item view, and displaying options for executing displayed media data (eg, full display, etc.). Can be.
  • a thumbnail eg, highlight
  • Image or image
  • highlight image or video
  • the highlight image 4710 and the highlight image 4730 may be generated.
  • the user may select media data to be executed.
  • the electronic device 500 may execute the selected media data as shown in FIG. 47B.
  • the media data selected by the user is in the form of an image 4710
  • the original image of the selected thumbnail image for example, the highlight image
  • a detailed view for example, in full screen.
  • the media data selected by the user is a video 4730 format
  • the original video of the selected thumbnail image eg, the highlight image
  • a detailed view eg, played and displayed in full screen. can do.
  • the media data arranged in a previous or subsequent order is displayed based on the currently displayed media data through a user input (for example, swipe gesture).
  • a user input for example, swipe gesture
  • FIGS. 48 and 49 may show screen examples of a service user interface according to camera switching while performing a video call using a video service.
  • FIGS. 48 and 49 are provided by each of an originating terminal (eg, the first electronic device 4810) transmitting an image and a receiving terminal (eg, the second electronic device 4820) receiving an image.
  • An example screen may be displayed.
  • users of the first electronic device 4810 and the second electronic device 4820 may share a call and a video based on a video service. Users may control the camera of the user's electronic device or the counterpart electronic device while using the video service.
  • a user of the second electronic device 4820 that receives an image may control a camera of the first electronic device 4810 that transmits an image.
  • the camera that acquires the image may be a camera of the first electronic device 4810, and the second electronic device 4820 that receives the image may be in a off state.
  • the user of the second electronic device 4820 that is in communication with the first electronic device 4810 is Mike, and does not transmit video (eg, “Service Off” or “Camera Off”).
  • the second electronic device 4820 shows that the user Stacy of the first electronic device 4810 is in a state of transmitting video (for example, "Service On” or "Camera On”).
  • a user of the first electronic device 4810 that transmits an image when performing an image service may directly perform camera switching of the first electronic device 4810.
  • the electronic device 500 may include a front camera and a rear camera, and may additionally or alternatively include an external camera using a peripheral device.
  • the camera switching may include, for example, a rear camera in the front camera of the electronic device (eg, the first electronic device 4810), a front camera in the rear camera of the electronic device, and a camera (eg, the front of the electronic device). Or a rear camera) to an external camera of the peripheral device, or an external camera of the peripheral device to a camera (eg, a front or rear camera) of the electronic device.
  • the second electronic device 4820 while performing an image service between the electronic devices 4810 and 4820, the second electronic device 4820 that receives the image requests to switch the camera of the first electronic device 4810 based on a user input.
  • the first electronic device 4810 may operate (eg, acquire an image) of the first electronic device 4810 (eg, a front camera or a rear camera). Shows an example of switching or executing.
  • the camera of the second electronic device 4820 that receives the image may be in an off state, and thus may not perform an operation for controlling the camera of the second electronic device 4820.
  • the camera of the second electronic device 4820 that receives the image may be in an on state, and thus the second electronic device 4820 may also perform an operation for camera control.
  • the electronic devices 4810 and 4820 both transmit and receive images
  • a plurality of images may be displayed on the display. For example, a picture to be transmitted and a picture to be received may be simultaneously displayed in a picture-in-picture (PIP), picture-by-picture (PBP), overlay, or multi-window method.
  • PIP picture-in-picture
  • PBP picture-by-picture
  • overlay or multi-window method.
  • arrangement of images displayed by the two electronic devices 4810 and 4820 may be identical or different.
  • an image associated with image data received from a counterpart is displayed as the background images 4855 and 4875 and transmitted.
  • An image (eg, a preview image) related to the image may be displayed in the image area in the area where the information of the counterpart is displayed. Therefore, when the camera is off, an image previously stored in the address book is displayed in the corresponding area, and when the camera is on, the image may be changed into an image associated with the image received from the designated camera and transmitted from the counterpart.
  • the small image area shown in FIG. 49 is arranged in an overlay manner in which the size and position of the small image area are displayed 4900 by the user input, and displays an image related to an image to be transmitted to the other party in the small image area when the camera is turned on. can do.
  • the first electronic device 4810 and the second electronic device 4820 may provide switching objects 4515 and 4825 for camera switching on the user interface.
  • the switching objects 4815 and 4825 may be a front camera, a rear camera, or an external camera, a camera of a remote electronic device, or a peripheral device (eg, a VR device, a 360 camera, a camera). It may be provided in the form of a different icon depending on the type of camera to drive, such as other devices having a).
  • the switching objects 4815 and 4825 may be provided by being displayed on at least one region (eg, upper left of the screen) on a user interface (or an image shared according to a video service).
  • the user interface provided to the first electronic device 4810 and the second electronic device 4820 may display information of the counterpart user through an icon, a menu, or a pop-up.
  • the user of the second electronic device 4820 may select (eg, touch or tap) the switching object 4825 (eg, an icon or a menu) for camera switching.
  • the switching object 4825 e.g. an icon or a menu
  • the second electronic device 4820 determines the user input as a camera switching request, and transmits a camera switching request to the first electronic device 4810 through the network. Can be.
  • the first electronic device 4810 may switch (execute) a camera of the first electronic device 4810 to a camera in a different direction.
  • the first electronic device 4810 may output a GUI feedback based on a vibration, a sound, a flicker (eg, a switching object flicker), and provide the same to a user. Can be.
  • the first electronic device 4810 may acquire an image from the switched camera, and share the image by transferring the acquired image to the second electronic device 4820. can do. This example is shown in FIG. 49.
  • the first electronic device 4810 and the second electronic device 4820 may share and display an image acquired through the switched camera of the first electronic device 4810.
  • image data eg, raw image, resized image, streaming image, etc.
  • a first image eg, background image
  • the second electronic device 4820 may be in a state of displaying the display on the display 4855 based on the received image data, and according to the camera switching request of the second electronic device 4820 You can switch to the front camera from.
  • the first electronic device 4810 transmits image data related to a second image (eg, a user face) 4870 obtained from the front camera to the second electronic device 4820.
  • the display may be displayed on the second electronic device 4820.
  • the first electronic device 4810 and the second electronic device 4820 may display and provide the same or similar image obtained from a camera that is driven by the first electronic device 4810.
  • an image displayed on the first electronic device 4810 and the second electronic device 4820 may have a size, a shape, or Since the resolution is different, the first electronic device 4810 and the second electronic device 4820 may display images in different forms and provide them to the user.
  • FIG. 50 illustrates a method in which the first electronic device 4810 accepts the request and switches the camera.
  • 50 is a diagram illustrating a method of performing an image service in electronic devices according to various embodiments of the present disclosure.
  • FIG. 50 is provided to the second electronic device 4820 while performing an image service between the first electronic device 4810 that transmits the image and the second electronic device 4820 that receives the image. This may indicate a camera switching control operation of the first electronic device 4810.
  • the first electronic device 4810 may transmit an encoded image (video) and a camera type to a second electronic device 4820 to which a video service is connected.
  • the first electronic device 4810 may start an image service with the second electronic device 4820 in response to the foregoing, and in response to the start of the image service, an image acquired through a driven camera and driving Information about the camera may be transmitted to the second electronic device 4820.
  • the first electronic device 4810 may transmit camera information of the first electronic device 4810 together with the encoded image.
  • the camera information that may be transmitted together with the image may include a resolution of a camera of the first electronic device 4810, a type of camera (eg, a front camera, a rear camera, or an external camera), and the first electronic device 4810. It may include information such as the direction of (eg, landscape mode, portrait mode).
  • the second electronic device 4820 may receive and display an image transmitted from the first electronic device 4810, and display information of a camera of the first electronic device 4810.
  • the second electronic device 4820 may include information (eg, switching) of a camera of the first electronic device 4810 together with the encoded image. Through an object).
  • the second electronic device 4820 may display a GUI (eg, a switching object 4825) associated with a camera type of the first electronic device 4810.
  • the second electronic device 4820 may determine whether a switching command is input. For example, the second electronic device 4810 may recognize the camera information of the first electronic device 4810 and provide the user to the user through the display of the user interface (eg, the switching object 4825). According to a user input using 4825, a switching command for controlling the camera of the first electronic device 4810 may be executed. The user of the second electronic device 4820 may request to switch the camera of the first electronic device 4810 by selecting the switching object 4825 (for example, an icon or a menu).
  • the switching object 4825 for example, an icon or a menu
  • the second electronic device 4820 may proceed to operation 5003 to process an operation of operation 5003 or less.
  • the second electronic device 4820 may display a switching request state in operation 5007.
  • the second electronic device 4820 may provide a status indication (eg, a switching status indication) for performing the switching command requested by the user in the first electronic device 4810.
  • the second electronic device 4820 may display a GUI such as a loading popup, or display a GUI such as a blinking of the switching object 4825 to indicate an execution state of the switching command.
  • the state may be displayed and provided to the user through vibration or sound of the second electronic device 4820. Specific examples thereof will be described later.
  • the second electronic device 4820 may transmit a switching request for camera switching to the first electronic device 4810 in response to a switching command.
  • the first electronic device 4810 may display a notification related to a switching request of the second electronic device 4820. For example, when the first electronic device 4810 receives a switching request for camera switching from the second electronic device 4820 while performing a video service, the first electronic device 4810 may notify the user with a GUI and blink (for example, the switching object 4815). Blink), sound, or vibration, to provide feedback to the user of the first electronic device 4810.
  • the first electronic device 4810 may determine whether a switching command is input. For example, the first electronic device 4810 may determine whether there is a user input for approving the camera switching through the provided notification. According to an embodiment of the present disclosure, the first electronic device 4810 may determine whether a user input by the switching object 4815 is detected.
  • the first electronic device 4810 may proceed to operation 5011 to process an operation of operation 5011 or less.
  • the first electronic device 4810 may determine a user input according to a switching command within a predetermined time, and when a predetermined time elapses, the first electronic device 4810 may reject the camera switching request of the second electronic device 4820. It may also transmit to the second electronic device 4820.
  • the first electronic device 4810 detects a user input for rejecting a camera switch instead of a switching command from the user, the first electronic device 4810 sends a rejection response to the camera switch request of the second electronic device 4820. You can also send
  • the first electronic device 4810 may perform camera switching in response to the user input.
  • the first electronic device 4810 may include a rear camera of a front camera, a front camera of a rear camera, an external camera of a peripheral device of a camera of the first electronic device 4810, or an external camera of a peripheral device. 1 may be switched to any other camera that can be driven from the currently driven camera, such as a camera of the electronic device 4810.
  • whether to perform operation 5015 may be determined according to a preset switching policy. For example, when the first electronic device 4810 receives the switching request of the second electronic device 4820, the first electronic device 4810 may automatically perform the switching operation 5017.
  • the switching policy setting may be specified by a user input in a setting item of the first electronic device 4810.
  • the switching policy setting may be separately set for each other electronic device that is connected to the first electronic device 4810 or has a connected history in a setting item of the first electronic device 4810.
  • the first electronic device 4810 may transmit an image (video) and a camera type acquired from the switched camera.
  • the first electronic device 4810 acquires an image from the converted camera, encodes the obtained image, and prepares an encoded image (video) and a camera type (eg, information about the switched camera). 2 may be transmitted to the electronic device 4820.
  • the switched camera is the front camera
  • the first electronic device 4810 may transmit the acquired image to the second electronic device 4820 after image processing of inverting left and right, for example, as a mirror effect. It may be.
  • the second electronic device 4820 may display a state according to camera switching of the first electronic device 4810, and may change the camera from the first electronic device 4810.
  • a state display for example, a switching state indication
  • the second electronic device 4820 may be changed and displayed.
  • the second electronic device 4820 may display a waiting state. For example, when the second electronic device 4820 does not receive a state change for the camera switching request from the first electronic device 4810, the second electronic device 4820 may display a loading popup and provide the same to the user.
  • the second electronic device 4820 may display a switched state. For example, when the second electronic device 4820 receives that the camera of the first electronic device 4810 is switched, the second electronic device 4820 may provide feedback to the user by outputting a pop-up, vibration, or sound accordingly. .
  • the second electronic device 4820 may display a failed state. For example, when the second electronic device 4820 transmits a switching request for switching the camera of the first electronic device 4810 to the first electronic device 4810, the reception state of the first electronic device 4810 is transmitted. Camera of the first electronic device 4810 for reasons such as a loss of a signal of the first electronic device 4810 or the second electronic device 4820, or a rejection of the first electronic device 4810. Conversion may not be accepted. As described above, when the camera switching of the first electronic device 4810 is not performed in response to the switching request, the second electronic device 4820 may provide feedback to the user by outputting a pop-up, vibration, or sound.
  • 51A, 51B, 52 and 53 are diagrams for describing an operation of performing an image service in electronic devices according to various embodiments of the present disclosure.
  • FIGS. 51A and 51B may illustrate an example of operating a dual camera (or narration mode) according to various embodiments.
  • a video call or a voice call should be selected at a call initiation point.
  • the video service may freely switch from a voice call mode to a video call mode (eg, a video service execution mode) or from a video call mode to a voice call mode.
  • a dual camera eg, narration mode
  • an operation eg, object movement or size conversion
  • the dual camera may represent a function of simultaneously executing at least two cameras (eg, a front camera and a rear camera, or a camera of an electronic device and an external camera of a peripheral device functionally connected with the electronic device). Objects for this can be provided in the user interface.
  • the electronic device 500 eg, the calling terminal
  • the first electronic device may activate one camera, for example, a rear camera.
  • the image captured by the rear camera may be displayed on the first preview area 5120 and transferred to another electronic device (eg, a receiving terminal) (hereinafter, referred to as a second electronic device).
  • the first electronic device may select (eg, touch or tap) a dual camera object 5110 (eg, a dual camera icon) for executing the dual camera, or execute a Narration mode in response to a user's voice input. have.
  • a dual camera object 5110 eg, a dual camera icon
  • the first electronic device may simultaneously drive the front camera while the rear camera is activated.
  • the dual camera object 5110 may be an icon in a specific application or may be an icon of a separate application. In the case of a separate application, a plurality of cameras may simultaneously receive an image while the corresponding application is driven.
  • the first electronic device may display an image captured by the front camera through the second preview area 5130.
  • the second preview area 5130 may be located in any one area (eg, the upper left of the screen) on the first preview area 5120.
  • the second preview area 5130 may be displayed, for example, in a bubble form.
  • the second preview area 5130 is not limited to the circular shape illustrated in FIGS. 51A and 51B, and may be provided in various shapes, such as a triangle, a square, or a polygon (for example, a rhombus, a star, etc.). .
  • the size and position of the second preview area 5130 may be changed by the caller. A detailed example of this is shown in FIG. 52.
  • an object 5110 for executing a dual camera may be provided in one area (eg, the functional area) of a user interface (eg, an image acquired through a rear camera).
  • an object eg, a Capture object
  • an image displayed in the first preview area 5120 and a video displayed in the first preview area 5120 are recorded in the functional area.
  • Capable objects e.g., Record objects
  • objects that can switch cameras e.g., rear cameras to front cameras, or front cameras to back cameras
  • images such as Switch camera objects, at least An object (for example, a dual camera object) to run two cameras (for example, a front camera and a rear camera, or a dual camera that simultaneously drives a remote camera), and calls a pointer on the first preview area 5120.
  • an object eg, a Pointer object
  • the function area may be provided at the calling terminal in the video service, and various function icons for storing, selecting, or changing settings in relation to the image displayed through the first preview area 5120 may be used.
  • the objects in the functional area (eg, the dual camera object 5110 for executing the dual camera) (and / or other objects in the functional area) continue on the screen when the video service is running. Can be displayed and provided.
  • the dual camera object 5110 when the video service is started, the dual camera object 5110 (and / or other objects in the functional area) may automatically disappear after a certain time elapses after being displayed on the screen (eg, a show / hide function). .
  • a user input for example, a touch or a tap
  • the corresponding object may be displayed again.
  • the user may execute the narration mode by driving additional cameras through the selection of the dual camera object 5110.
  • the first electronic device may display the second preview area 5130 in response to execution of the narration mode.
  • the second preview area 5130 may be positioned on the first preview area 5120.
  • the second preview area 5130 may be provided in a picture-in-picture (PIP) form independently of the first preview area 5120.
  • PIP picture-in-picture
  • a screen (image) displayed on the first preview area 5120 and a screen (image) displayed on the second preview area 5130 may be switched by a user of the first electronic device. A screen example related to this will be described with reference to the drawings to be described later.
  • the second preview area 5130 when the second preview area 5130 is positioned on the first preview area 5120, the second preview area 5130 may be displayed at a fixed position (eg, the upper left of the screen).
  • a specific object eg, an object included in an image displayed in the first preview area 5120
  • the position of the second preview area 5130 may be automatically changed through image analysis. For example, when an image including a human face is input in the first preview area 5120, one or more image objects (eg, a face, a human body, a barcode, and a 2D code (eg, QR code, Data Matrix code) are input.
  • the second preview area 5130 is determined in the first preview area 5120, and if the second preview area 5130 obscures the object area or hides the object area within a predetermined time (for example, 1 second). In this case, the second preview area 5130 may be displayed by moving to a place other than the object area or by adjusting (eg, reducing) the size or shape of the second preview area 5130.
  • an image analysis technique for determining an object region may include face recognition, OCR, 2D code recognition, differential image analysis-based motion direction determination, body region and shape analysis using a silhouette extraction technique, and color distribution.
  • One or more of object region discrimination and edge-based object region discrimination techniques may be used.
  • the location of the second preview area 5120 may be changed (eg, moved) by the user of the first electronic device. A screen example related to this will be described with reference to the drawings to be described later.
  • the second preview area 5130 and the first preview area 5120 may be displayed through windows that are independent of each other, and one of each window overlaps with at least a portion of another window. It may be displayed in the form of overlap or overlay.
  • the first electronic device when the second preview area 5130 is positioned on the first preview area 5120, the first electronic device may be sized by a user of the first electronic device or a user of the second electronic device. Can be changed. Screen examples related to this are illustrated in FIGS. 51A, 51B, and 53.
  • the size of the second preview area 5130 may be the first preview area ( May be less than or equal to the size of 5120. According to various embodiments of the present disclosure, the size of the second preview area 5130 may be changed by a user (eg, a caller) of the first electronic device or a user (eg, a receiver) of the second electronic device.
  • a user eg, a caller
  • a user eg, a receiver
  • the second electronic device may transmit a control signal corresponding to a user input of the second electronic device to the first electronic device. Can transmit When the first electronic device receives the control signal from the second electronic device, the first electronic device may perform an area size control command corresponding to the control signal received through the media processor or the client (for example, an application). According to an embodiment of the present disclosure, when the first electronic device receives the control signal transmitted from the second electronic device, the media process management module or the client of the first electronic device may inform the user to change the size of the second preview area 5130. Whether or not to perform the operation may be checked, and then the size may be changed in response to the permission of the user of the first electronic device.
  • the second preview area 5130 when changing the movement and / or size of the second preview area 5130, as shown in FIGS. 51B and 53, the second preview area 5130 is changed (eg, moved or changed in size).
  • a guide object 5135 may be provided. According to various embodiments of the present disclosure, the guide object 5135 may not be displayed when the position of the second preview area 5130 is moved, and the position of the second preview area 5130 may be moved in response to a user input.
  • the guide object 5135 may be provided in various forms, such as a rectangle, a triangle, a polygon, or a circle.
  • the guide object 5135 may be provided as a quadrangle.
  • the user selects an area (point) of the guide object 5135 (for example, four corners or vertices in FIGS. 51B and 53), and the second preview area 5130 by user input such as dragging. ) Size can be changed.
  • the user may change the size of the second preview area 5130 by moving in one direction to enlarge or reduce the size of the second preview area 5130.
  • the user while the user selects (eg, touches) the inside of the guide object 5135 (eg, the second preview area 5130 itself), the user moves (eg, drags) in one direction.
  • the position of the second preview area 5130 may be moved and changed.
  • the second preview area 5130 may be provided in a bubble form.
  • the shape of the second preview area 5130 may be changed in various ways by a user of the first electronic device.
  • the second preview area 5130 may be provided as a GUI of any one type among various forms such as a postage stamp, a cloudy oval, an instant picture, a heart shape, and the like.
  • the display of the second preview area 5130 may be selectively provided in various display methods.
  • the second preview area 5130 may be always displayed.
  • the second preview area 5130 may be displayed when a voice of a user of the first electronic device is recognized.
  • a touch screen eg, 530 of FIG. 5
  • the displayed second preview area 5130 may not be displayed. If the user input is recognized again on the touch screen, the second preview area 5130 may be displayed again.
  • the display / hide of the second preview area 5130 may be adaptively provided. For example, when the overall brightness value of the image corresponding to the second preview area 5130 is equal to or less than a predetermined reference (for example, the Y value of the YUV is 20% or less of the maximum value), or the shape of the object is not detected, or the focus is well
  • a predetermined reference for example, the Y value of the YUV is 20% or less of the maximum value
  • the directions of two cameras may be different when the electronic device is rotated in the narration mode (for example, from a horizontal mode to a vertical mode or a vertical mode to a horizontal mode). . That is, the direction of the image received through the camera is different according to the change in the orientation of the electronic device.
  • the front camera may be driven by an acceleration sensor or a pose sensor (e.g. geomagnetic sensor, gravity sensor, gyro sensor, etc.) of the electronic device.
  • a pose sensor e.g. geomagnetic sensor, gravity sensor, gyro sensor, etc.
  • the preview screen may look the same to the user regardless of the rotation state of the electronic device, but the image (eg, image or video) that is actually stored or transmitted is rotated according to the rotation direction of the camera and the image is stored or transmitted.
  • the image of the front camera and the image of the rear camera are compensated (for example, rotated to show each camera image in the right direction) at the image transmitting terminal (hereinafter, referred to as a first electronic device), or are compensated for.
  • a first electronic device the image transmitting terminal
  • the first electronic device transmits an image of a front camera and an image of a rear camera, respectively, and compensates for images received from an image receiving terminal (hereinafter, referred to as a second electronic device) (eg, each received image). Rotate in the right direction) to store, display, or transmit the image to the electronic device.
  • a second electronic device an image receiving terminal
  • the case where the front and rear camera images are synthesized and transmitted by the first electronic device may be performed as follows.
  • the second electronic device when the first electronic device rotates, the second electronic device receives and displays the already synthesized image. Therefore, the second electronic device displays the synthesized image in consideration of the orientation of the display of the second electronic device. After rotating, it can be displayed.
  • the narration mode image displayed on the preview screen may be compensated (eg, rotated) so as to be normally displayed based on the rotation direction of the first electronic device, and the rotated image may be stored or transmitted to the second electronic device.
  • the image corresponding to the preview screen may be stored or transmitted by being rotated 180 degrees counterclockwise. This operation is similarly applicable to the case of 90 degree rotation, 270 degree rotation, etc.
  • the first electronic device when the first electronic device transmits the images received by the front and rear cameras of the first electronic device and synthesizes the respective images in the second electronic device, it may be performed as follows.
  • the location, size, shape, and display information of the second preview area set by the first electronic device may be set. Is transmitted to the second electronic device to reconstruct and display the synthesized image.
  • rotation information of the front and rear cameras of the first electronic device may be transmitted to the second electronic device.
  • the second electronic device may store, display, or transmit the changed composite image by correcting the composite image based on the rotation information of the front and rear cameras of the transmitted first electronic device.
  • the front camera and the rear camera may be determined to be rotated by 90 degrees in opposite directions, and each image may be normally displayed based on the gravity direction.
  • the rotation can be compensated for and stored or transmitted for each image.
  • the image may be rotated in consideration of the orientation of the display of the second electronic device or the second electronic device and then displayed, stored, or transmitted on the display.
  • At least one property of the position, size, shape, and display of the second preview area may be changed by the user of the second electronic device.
  • FIGS. 54 and 55 an operation example of switching between the front camera and the rear camera is described with reference to FIGS. 54 and 55.
  • 54 and 55 are diagrams for describing an operation of performing an image service in electronic devices according to various embodiments of the present disclosure.
  • FIG. 54 and FIG. 55 illustrate screen examples associated with performing a narration mode using a dual camera and switching a camera (or rotating) while performing a narration mode. Can be represented.
  • the first electronic device 5410 eg, a video call terminal
  • the second electronic device 5520 eg, a video reception terminal
  • the first preview area 5430 corresponding to the first image received through the rear camera and the second preview area 5440 corresponding to the second image received from the front camera are set to each preview image.
  • First image, second image is displayed, the first preview area 5430 is a front camera, a second, by switching it through a user interface (eg, one or more of menu, button, touch, swipe)
  • the preview area 5440 may be changed to correspond to the rear camera.
  • the first electronic device 5410 when the camera switching occurs in the narration mode, the first electronic device 5410 synthesizes the images expressed according to the changed preview area and transmits the images to the second electronic device 5520 or the camera is switched. Information may be transmitted to the second electronic device 5420 to control to change the preview area.
  • the position, size, shape, and display information of the second preview area 5440 set by the user of the first electronic device 5410 may be transmitted to the second electronic device 5420 to provide a second electronic device ( In operation 5420, the synthesized image may be reconstructed and displayed.
  • the second electronic device 5520 displays the narration mode image by using the images of the front and rear cameras transmitted from the first electronic device 5410
  • the first preview constituting the narration mode image is performed.
  • the camera image of the first electronic device 5410 is controlled, or the camera of the second electronic device 5520 is displayed and stored using the same. Or you can send it.
  • FIG. 54 and FIG. 55 it is as follows.
  • the second preview area 5440 may be provided through a service window 5450.
  • the service window 5450 may be overlaid independently of the first preview area 5430 and may be displayed in a popup format.
  • the service window 5450 may include contact information of a counterpart user performing an image service, status information on whether the counterpart electronic device is a calling terminal or a receiving terminal, a second preview area 5440, and the like. can do.
  • the second electronic device 5520 may use the service window 5450 to contact information of the user of the first electronic device 5410 (eg, a user name (eg, Stacy), phone number (eg, 010-2000-)).
  • the contact information of the user of the second electronic device 5520 eg, a user name (eg Mike), a phone number (eg, 010-1000-YYYY), etc.)
  • the counterpart electronic device operate as an image receiving terminal through the 5450.
  • the Service ON / FF GUI may indicate whether to transmit an image of the counterpart electronic device, and control the on / off of the counterpart.
  • the ON / OFF GUI may indicate whether to transmit an image of the local device, for example, based on whether the second electronic device 5520 transmits the image through the service window 5450 of the first electronic device 5410.
  • Adjacent to the GUI of Service ON or Service OFF (for example, bottom), the GUI of Camera ON or Camera OFF according to whether the first electronic device 5410 transmits an image may be displayed and provided.
  • the second electronic device 5520 may display a rear camera image transmitted from the first electronic device 5410 in the first preview area 5430 in real time.
  • the second electronic device 5520 may be configured to be the second electronic device 5520. 2 Sends an image transmission request (eg, a control signal for requesting front camera image transmission) to the first electronic device 5410 so that the front camera image of the first electronic device 5410 can be displayed in the preview area 5440. can do.
  • an image transmission request eg, a control signal for requesting front camera image transmission
  • the first electronic device 5410 may allow a user of the first electronic device 5410 to select an accept or a rejection for the request.
  • the second preview area 5440 may provide a user with a GUI (eg, an OK button, a NO button).
  • the selection menu for granting or rejecting the request may be provided with a corresponding GUI through one region of the service window 5450, or may correspond to any region of the first preview region 5430.
  • a GUI may be provided.
  • the resource of the first electronic device 5410 may be used. And network status. If it is determined that the first electronic device 5410 can transmit the image transmission request of the second electronic device 5520, the first electronic device 5410 may drive the front camera to receive an image.
  • the first electronic device 5410 may encode an image input through the front camera and transmit the encoded image to the second electronic device 5420 over a network.
  • the first electronic device 5410 may be continuously transmitting an image input through a rear camera to the second electronic device 5420.
  • images of the front camera through the second preview area 5440 of the first electronic device 5410 may be sequentially or in parallel. Can be displayed.
  • the second electronic device 5520 may receive an image of the front camera corresponding to the image transmission request from the first electronic device 5410 and display it on the second preview area 5440. According to various embodiments of the present disclosure, the second electronic device 5520 may be continuously displaying an image of the rear camera received from the first electronic device 5410 through the first preview area 5430.
  • the second electronic device 5520 may change the second preview area 5440 according to a user input, and may also change (eg, zoom) an image displayed thereon. For example, when the ROI is set (eg, a touch by a user input, area setting, pressure sensing, etc.) through the second preview area 5440, the second electronic device 5520 may use the first electronic device 5410.
  • the relevant control signal can be transmitted to.
  • the associated control signal may include a control command to perform one or more of auto exposure, auto focus, resolution change, bit rate, frame rate, color temperature change, gamma value change, noise reduction, or zoom function. It may also include.
  • the second electronic device 5520 may perform image processing through the media processor.
  • the second electronic device 5520 changes the second preview area 5440 according to a user input, as shown in FIG. 55, the second electronic device 5520 changes the second preview area 5440 of the second electronic device 5520 to be displayed.
  • the second preview area 5440 of the second electronic device 5520 may be displayed by changing its size and / or location in response to a user input and providing the overlayed manner.
  • the first electronic device 5410 or the second electronic device 5520 may receive a user input in the first preview area 5430 or the second preview area 5440, and receive a user input. You can change the image accordingly.
  • the front camera and the rear camera which are driven by the first electronic device 5410 may be switched to share another image.
  • the image displayed in the first preview area 5430 is not the image captured (photographed) by the rear camera of the first electronic device 5410, but the front camera or the first image of the first electronic device 5410.
  • One or more cameras functionally connected to the electronic device 5410 may display the captured image.
  • an image displayed in the first preview area 5430 is displayed in an image received from one or more cameras embedded in the second electronic device 5520 or operatively connected to the second electronic device 5520. You can also do that.
  • the second electronic device 5520 when the second electronic device 5520 is operated to display an image of the second electronic device 5520, the second electronic device 5420 transmits the corresponding image and / or control information to the first electronic device 5410, and thus, the first electronic device 5410.
  • the corresponding image may be displayed through the first preview area 5430 of FIG.
  • the target electronic device eg, the first electronic device 5410, the first electronic device 5510 to display the image for each region (eg, the first preview area 5430 and the second preview area 5440) may be formed.
  • various user input methods e.g. buttons, menus, icons, gestures, voice recognition
  • one or more cameras e.g., front camera, rear camera, external camera
  • the first electronic device that transmits an image may separately transmit the captured image of the front camera, the captured image of the rear camera, and audio associated with each image.
  • the image of the rear camera is displayed in the first preview area in the first electronic device and, for example, the background sound received from the first microphone disposed in the same or similar direction as that of the background and the rear camera. Can provide.
  • the image of the front camera is displayed in the second preview area in the first electronic device, and the video caller and the caller who receive the image from the second microphone arranged in the same or similar direction to the front camera are provided. can do.
  • the second electronic device that receives an image may display the image and audio data received by the first electronic device in the same manner.
  • the image of the rear camera of the first electronic device is displayed in the first preview area in the second electronic device, and for example, is received from the first microphone disposed in the same or similar direction as that of the rear camera.
  • One background sound can be provided.
  • an image of the front camera of the first electronic device is displayed in the second preview area, and the image sender received from the second microphone disposed in the same or similar direction as that of the front camera. It can provide the caller's voice.
  • the second electronic device that receives the image may distinguish and play the image and the audio transmitted by the first electronic device.
  • the second electronic device may play audio (eg, voice) of the user of the first electronic device only when an image corresponding to the second preview area is displayed by the user's selection.
  • the second electronic device may not perform audio (eg, voice) reproduction of the user of the first electronic device.
  • the second electronic device may not perform background sound reproduction.
  • 56 and 57 are diagrams for describing an operation of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • 56 and 57 may illustrate examples of operations performed when a call is received from another third party user while performing a video service. For example, while performing an image service between the first electronic device and the second electronic device, a call reception may be requested from the third electronic device to the first electronic device or the second electronic device. As such, when a call is received from the third electronic device while the video service is performed, exception processing may be performed as follows.
  • a call may be received from the third electronic device to the first electronic device which transmits the video.
  • the first electronic device may notify the call reception of the third electronic device.
  • the video service when the user of the first electronic device accepts the call of the third electronic device, the video service is terminated and the UI and the second electronic device may display the video service to the UI. Can be.
  • a popup 5650 eg, Video Service ended
  • the end of the video service may be displayed and provided to the user.
  • the video service when the user of the first electronic device rejects the call of the third electronic device, the video service is maintained and the rejection information may be transmitted to the third electronic device, and the rejection information may be determined by the first electronic device. It may include information indicating that the video service.
  • a call may be received from the third electronic device to the second electronic device receiving the image.
  • the second electronic device may notify the call reception of the third electronic device.
  • the second electronic device and the first electronic device may suspend the video service.
  • the second electronic device may operate to display on the video service screen that the second electronic device has received a call of the third electronic device and to display the first electronic device.
  • the second electronic device may display a pop-up 5750 (eg, Video Service Call suspended) on the video service screen indicating that another call has been received, and transmit the same to the first electronic device. It can also be displayed.
  • the first electronic device may pause the transmission (eg, upload) of the camera image or may continue to maintain the image transmission.
  • the first electronic device may maintain the connection state so as not to terminate the connection to the P2P or the video streaming server.
  • the second electronic device terminates the call between the third electronic devices, the first electronic device may resume camera image transmission at the request of the second electronic device.
  • the video service ends and a pop-up notifying that the video service ends. 5650 (eg, video service ended) may be displayed graphically by the first electronic device and the second electronic device.
  • the video service when the user of the second electronic device rejects the call of the third electronic device, the video service is maintained and the rejection information may be transmitted to the third electronic device, and the rejection information may be determined by the second electronic device. It may include information indicating that the video service.
  • a user of the first electronic device may exit the video service screen with a home key or the like.
  • the first electronic device (or the user of the first electronic device) may display the last still image immediately before leaving the video service screen on the screen of the second electronic device.
  • 58 and 59 are diagrams for describing an operation of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • 58 and 59 may illustrate examples of operations performed when starting a video service while performing a (call) voice recording function during a voice call.
  • FIG. 58 illustrates an example of a process when a video service is started while performing a voice recording function according to a voice call in a first electronic device that transmits an image.
  • the first electronic device may provide a popup 5850 (eg, step recording) to indicate whether the voice recording is to be terminated.
  • the first electronic device may display a popup 5850 indicating that the voice recording is terminated and the voice recording file is stored. Can be displayed and provided to the user.
  • the first electronic device may terminate the voice recording function (operation) and start the video service.
  • the voice recording session is terminated and the voice recording file may be stored in a storage (eg, memory).
  • the stored voice recording file may be a call recording related to a call of a video service, and thus, may be viewed as a file associated with a corresponding video service session, as described in the above description regarding the media footprint. .
  • the first electronic device may maintain a voice recording session and perform voice recording in parallel when the video service starts.
  • the first electronic device may record audio information excluding an image of a video service, and may perform a bookmark or the like on a portion of the image service.
  • the first electronic device may maintain a voice recording session and perform video and voice recording in parallel when the video service starts.
  • the first electronic device records video and audio information, and a predetermined still image (for example, one of a default image or an image input when video communication is started) for a voice recording session before video recording is performed. May be stored as a video file by processing the video session data during the corresponding section.
  • a bookmark or the like may be performed for a portion in which a voice and video service start, conversion, and termination occur in performing a video service.
  • FIG. 59 illustrates an example of a process when a video service is requested from a first electronic device during a voice recording function according to a voice call in a second electronic device receiving an image.
  • the second electronic device may provide a popup 5950 (eg, a video service) whether to terminate the voice recording.
  • a popup 5950 eg, a video service
  • the second electronic device requests a video service from the first electronic device, and when the video service is accepted, the voice recording ends.
  • a popup 5950 indicating that the voice recording file is stored may be displayed and provided to the user.
  • the second electronic device may terminate the voice recording function (operation) and start the video service.
  • the stored voice recording file may be a call recording related to a call of a video service, and thus, may be viewed as a file associated with a corresponding video service session, as described in the above description regarding the media footprint. .
  • the second electronic device may maintain a voice recording session and perform voice recording in parallel when the video service starts.
  • the second electronic device may record audio information excluding an image of a video service, and may perform a bookmark or the like on a portion that occurs in performing the video service.
  • 60 is a diagram illustrating an example of an operation of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • FIG. 60 may illustrate an example of an operation performed when a data session is not available at the same time as in a voice call in a CDMA 1x situation.
  • the first electronic device when the first electronic device detects a user input by a service object for starting a video service, the first electronic device may determine whether a service is available. For example, it may be determined whether the CDMA 1x situation and data use during the voice call are unavailable. If the first electronic device determines that the data cannot be used during the CDMA 1x or voice call, based on the determined result, the first electronic device displays a popup 6050 indicating that the voice call ends and starts the video service. Can be provided to the user.
  • the first electronic device when a cancellation (eg, CANCEL) is selected in the pop-up 6050, the first electronic device may operate to maintain a voice call without starting a video service.
  • an acceptance eg, OK
  • the first electronic device may terminate the voice call and connect to the video service. For example, a call connection for video service may be initiated after the voice call ends.
  • the second electronic device receives a call connection by the video service of the second electronic device and selects whether to receive the call connection (eg, a call). Accept or Reject screen) can be displayed and provided to the user.
  • 61 is a flowchart illustrating a method of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • FIG. 61 shows an example of an operation of determining video quality when a video service connection request is made during a voice call.
  • FIG. 61 may illustrate an example of an operation for providing adaptive streaming according to various embodiments.
  • an operation of setting and changing image quality may be performed according to data or connectivity characteristics during video service.
  • the controller 580 of the electronic device 500 may input a user through a user interface to initiate a video call. Can be received.
  • the controller 580 may detect a user input using a service object or an input such as a voice command or a gesture set to start a video service.
  • the controller 580 may exchange connectivity information.
  • the controller 580 may exchange connectivity information with at least one of a network, a server, or a counterpart electronic device for an image service.
  • the connectivity information may include, for example, at least one of a medium, a data plan, or remaining data.
  • the controller 580 may determine a video quality based on the exchanged information.
  • the controller 580 may set a video call with the determined video quality. For example, the controller 580 may perform a video call based on the determined video quality.
  • an image service may be provided in consideration of an image quality based on a first electronic device (or a second electronic device receiving an image) that transmits an image.
  • a process of checking availability of a video service through a user interface is completed, and an acceptance process (or an acceptance process) of a video service request from a second electronic device is completed.
  • the initial quality of the image taken or transmitted is Ultra High Definition (UHD) / Full High Definition (FHD). You can decide by image quality.
  • UHD Ultra High Definition
  • FHD Full High Definition
  • the image quality of the initial recording or transmission is set to High Definition (HD) / It can be determined with SD (Standard Definition) quality.
  • the determined image quality may be maintained for a certain time, and may be adaptively changed according to the user's data usage or data remaining amount.
  • the image quality may be differentially determined according to the user's rate plan, and the image quality may be changed according to the changed information.
  • the image quality of the initial photographing or transmission may be photographed / transmitted according to a predetermined criterion.
  • the first electronic device when the first electronic device performs an image service using a WiFi network and a cellular network at the same time, the first electronic device may follow the shooting / transmission image quality set in either the WiFi network or the cellular network, Therefore, it can be changed by adjusting some picture quality.
  • the wireless network may be performed by lowering at least a certain level (eg, image resolution, frame rate level, color conversion level, etc.) from the standard using only the WiFi network.
  • the image resolution is 8K Ultra High Definition (UHD), 4K UHD, Full High Definition (1080p), HD (720p), Standard Definition (480p), and SD (Video Graphic Array) depending on the number of pixels.
  • the level is lowered in the order of.
  • the frame rate is lowered in the order of 120 frames per second, 60 frames per second, 30 frames per second, and 15 frames per second.
  • the color conversion level is lowered according to the number of bits per pixel in the order of RGB32, RGB, YUV and the like.
  • a picture quality to be taken / transmitted may be set differently according to connectivity of the first electronic device.
  • the image quality may change to UHD, FHD, HD, and SD.
  • streaming but also image transmission through recording may be similarly or identically applied to the operation corresponding to the above description.
  • 62 and 63 are diagrams for describing an operation of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • FIGS. 62 and 63 may determine a change of a pose of a user based on a user gesture (or motion of an electronic device) during a voice call, and call according to a change of the pose of the user. mode) (or a communication mode) (eg, a voice call mode, a video call mode) and an example of an operation of performing a corresponding call.
  • FIGS. 62 and 63 may illustrate an example of providing a gesture-based video service.
  • a user may intuitively switch to a video service through a motion gesture by a user without additional motion.
  • FIG. 62A illustrates an example in which a first electronic device 6210 that transmits an image and a second electronic device 6220 that receive an image are in a call state.
  • a user of the first electronic device 6210 and a user of the second electronic device 6220 may represent a state of performing a voice call with the electronic devices 6210 and 6220 held in their ears, respectively.
  • FIG. 62B illustrates an example of initiating a video communication connection in the first electronic device 6210.
  • the user of the first electronic device 6210 may be an operation of detaching or detaching the first electronic device 6210 from an ear (for example, an open position mode), and a second The user of the electronic device 6220 may be in a state of holding the second electronic device 6220 in an ear (for example, at ear mode).
  • the first electronic device 6210 may be an operation of detecting a user's gesture (for example, a state change of the first electronic device 6210) and switching to a video call mode. An example of the screen thereof is shown in FIG. 63A.
  • the first electronic device 6210 may display information on a state of the second electronic device 6220 through a preview area of the user interface and provide the same to the user.
  • the user of the second electronic device 6220 may use the second electronic device 6220.
  • the first electronic device 6210 may be in a state of requesting a video communication connection to the second electronic device 6210 according to the change of the communication mode.
  • the first electronic device 6210 may perform image reception by the camera and display that the received image may be transmitted.
  • the Service ON / FF GUI may indicate whether to transmit an image of the counterpart electronic device
  • the Camera ON / OFF GUI may indicate whether to transmit an image of the local device. For example, through the service window 5450 of the first electronic device 5410, adjacent to the GUI of Service ON or Service OFF according to whether the second electronic device 5520 transmits an image (eg, bottom), 1 The GUI of Camera ON or Camera OFF according to whether the electronic device 5410 transmits an image may be displayed and provided.
  • FIG. 62C illustrates an example in which the second electronic device 6220 allows video communication connection.
  • the user of the first electronic device 6210 may be in a state in which the first electronic device 6210 is detached from the ear, and the user of the second electronic device 6220 is in the second electronic device 6220. May be out of the ear.
  • the second electronic device 6220 may be an operation of detecting a user's gesture (for example, a change in state of the second electronic device 6220) and switching to a video call mode. An example of the screen thereof is shown in FIG. 63B.
  • the first electronic device 6210 and the second electronic device 6220 may view a camera image of the first electronic device 6210 through the preview area of the user interface. The same image can be displayed by sharing.
  • a video communication connection may be requested to deliver a real-time image from one electronic device to another electronic device.
  • an operation such as stopping or pausing or resuming image transmission may be requested during video communication.
  • a menu, icon, key, or button may be used for such user input, and on the other hand, using one or more of a simple gesture or proximity of an object or pose of an electronic device. It may also provide the above functions.
  • an example of switching a communication mode is as follows.
  • the first electronic device 6210 that transmits an image needs to connect video communication to deliver the image to the second electronic device 6220 during a voice call.
  • the first electronic device 6210 may recognize one or more of a gesture or a proximity level and perform a function corresponding to the second electronic device 6220 for a video communication request or an image transmission.
  • the second electronic device 6220 may allow a video communication request or receive a video. Recognize one or more of a gesture or proximity and perform a function corresponding thereto.
  • a communication mode eg, a video call mode and a voice call mode
  • the first electronic device 6210 for transmitting an image will be described as an example.
  • the operation of the first electronic device 6210 described below may be similarly or similarly performed in the second electronic device 6220. have.
  • the first electronic device 6210 may be an object (eg, a user's face) by a proximity sensor (eg, an optical sensor, an ultrasonic sensor, a camera, a depth sensor, etc.) of the first electronic device 6210. ) And calculate the distance to the voice call mode when the distance is equal to or less than the first threshold.
  • the first electronic device 6210 calculates a distance from an object (eg, a user's face) by a proximity sensor of the first electronic device 6220, and when the distance is greater than or equal to a second threshold value, the video call mode. Can be determined by
  • a change in distance from the object is calculated by the proximity sensor of the first electronic device 6210, and the movement is closer to the object, and at the same time, the distance is detected.
  • the first threshold value it may be determined as a voice call mode.
  • a change in distance from the object is calculated by the proximity sensor of the first electronic device 6210, and the movement is far from the object, and at the same time, the distance is detected.
  • the second threshold value it may be determined as a video call mode.
  • the first threshold may be 70% of the maximum effective measure and the second threshold may be 30% of the maximum effective measure.
  • a change in area or capacitance of a portion of the first electronic device 6210 for example, a TSP, a display, an optical sensor built-in display, etc.
  • an object in the first electronic device 6210 may be performed.
  • the area of the contact surface is less than or equal to the third threshold (e.g., 5% of the maximum contact area), or the difference between the capacitance value and the reference capacitance value is the fourth threshold value (e.g., : 0.1% of the maximum difference value) or less can be determined by the video call mode.
  • the first electronic device 6210 detects a change in the area of a contact surface of a portion of the first electronic device 6210 (eg, a TSP, a display) and an object, or a change in capacitance, and detects the corresponding contact surface. If the area of is greater than or equal to the fifth threshold (eg 20% of the maximum contact area) or the difference between the capacitance value and the reference capacitance is greater than or equal to the sixth threshold (eg 30% of the maximum difference) Can be determined.
  • the fifth threshold eg 20% of the maximum contact area
  • the sixth threshold eg 30% of the maximum difference
  • the first electronic device 6210 detects a change in the area of the contact surface of the portion of the first electronic device 6210 or an object, or an amount of change in capacitance, and the amount of reduction in the area of the corresponding contact surface is the seventh threshold.
  • the value is equal to or larger than the value or the amount of change in the capacitance value is equal to or greater than the eighth threshold value and the capacitance value approaches the reference capacitance value, it may be determined as the video communication mode.
  • the first electronic device 6210 detects a change in the area of the contact surface of the first electronic device 6210 (eg, a TSP, a display) and an object, or an amount of change in capacitance, and detects the corresponding contact surface.
  • a change in the area of the contact surface of the first electronic device 6210 eg, a TSP, a display
  • the area increase amount is greater than or equal to the ninth threshold value, or the change amount of the capacitance value is greater than or equal to the tenth threshold value, and the capacitance value becomes larger than the reference capacitance value, it may be determined as the voice call mode.
  • a force feedback detected by a force sensor (eg, a piezo sensor) of the first electronic device 6210 is determined by the eleventh electronic device 6210. If it is less than the threshold value may be determined as the video call mode. According to an embodiment of the present disclosure, when the force feedback detected by a force sensor (for example, a piezo sensor) of the first electronic device 6210 is greater than or equal to the twelfth threshold, the first electronic device 6210 may determine that the voice call mode is used. .
  • the galvanic skin response (GSR), the electrocardiogram (ECG), and the photoplethysmogram (PPG) of the first electronic device 6210 may be used in the first electronic device 6210. If the biosignal detected by the body temperature sensor is greater than or equal to the thirteenth threshold, it may be determined as a voice call mode, and if it is less than or equal to the fourteenth threshold, it may be determined as a video call mode.
  • the first electronic device 6210 determines that the communication mode is a video call mode, and then displays a display (for example, FIG. 5). If one or more of the user's face or eye is not detected through the camera (eg, the front camera) arranged in the same (same) direction as in (531), the function according to the video call mode may not be driven.
  • the first electronic device 6210 determines the communication mode as the voice call mode and then displays the same information as the display on which the information is displayed (same). If a user's face or eyes are detected through a camera (for example, a front camera) arranged in the direction, the function of the voice call mode may not be driven.
  • the first electronic device 6120 and the second electronic device 6220 may perform a communication mode determination during a voice call.
  • the communication mode may not be determined.
  • the electronic devices 6210 and 6220 may not perform a communication mode determination even when the electronic device 6210 or 6220 is switched from a dialing state to a call progress state (eg, during call).
  • the communication mode may not be determined and a default mode (for example, a voice call mode) may be maintained.
  • the communication mode determination may be performed after a predetermined time (eg, 5 seconds) after switching from a dialing state to a call progress state (eg, during call).
  • the electronic devices 6210 and 6220 may notify the remote electronic device (eg, the counterpart electronic device) of mode conversion.
  • the first electronic device 6210 may notify the second electronic device 6220 about mode switching, and guide or enable automatic conversion of the mode in the second electronic device 6220. Can be.
  • an example of an operation of switching from a voice call mode to a video call mode is as follows.
  • the first electronic device 6210 that transmits an image detects a change from the voice call mode to the video call mode
  • the first electronic device 6210 may perform an evaluation operation to determine whether a video communication connection is established (established).
  • the first electronic device 6210 transmits a video communication request to a remote electronic device (eg, the second electronic device 6220 that receives an image) and responds to the video communication request.
  • a remote electronic device eg, the second electronic device 6220 that receives an image
  • the video communication connection may be performed, and control of the media processor may initiate camera image reception, preview display, media encoding, and transmission of encoded media through a network.
  • the first electronic device 6210 may operate as follows.
  • the first electronic device 6210 may be a standby mode (eg, an operation mode in which the camera is powered but does not perform image processing (eg, storing or transmitting a camera buffer)).
  • the camera power mode is switched to the camera drive mode to perform the camera image reception and transmission resume operation. Encoding and transmission can be initiated to the remote device (second electronic device 6220).
  • the first electronic device 6210 since the first electronic device 6210 may receive a quick image when the camera is in the standby mode, the first electronic device 6210 may apply the standby mode during a pause or stop operation.
  • a power off mode may be applied at the stop operation
  • a standby mode may be applied at the pause operation mode.
  • the second electronic device 6220 that receives an image detects a change from the voice call mode to the video call mode
  • the second electronic device 6220 may perform an evaluation operation to determine whether a video communication connection is established (established).
  • the second electronic device 6220 transmits a video communication request to a remote electronic device (for example, the first electronic device 6210 that transmits the video), and responds with a corresponding response.
  • the first electronic device 6210 may receive and decode the encoded media transmitted by the first electronic device 6210, and output the same through a display and an audio output device.
  • the second electronic device 6220 may operate as follows.
  • the second electronic device 6220 requests the first electronic device 6210 to perform an image resume operation, and in response thereto, the second electronic device 6210 receives the encoded information transmitted by the first electronic device 6210.
  • the media can be received and decoded and output via the display and audio output devices.
  • the second electronic device 6220 may control the decoder and the display through the media processor to decode and display the encoded image on the display. have.
  • an example of an operation of switching from a video call mode to a voice call mode is as follows.
  • the first electronic device 6210 that transmits an image detects a change from the video call mode to the voice call mode, whether the video transmission mode is to pause or end the video transmission.
  • the evaluation operation can be performed.
  • the first electronic device 6210 may terminate image reception and image encoding, image processing, image transmission, and image communication connection through a camera through the media processor.
  • the termination of the image transmission may be terminated according to a button, an icon, a key, a voice command, or a gesture input driving a stop function.
  • the media processor may terminate image reception and image encoding, image processing, image transmission, video communication connection, or standby through the camera through a media processor.
  • the mode can be applied.
  • the first electronic device 6210 may enter the standby mode and stop encoding, image processing, and image transmission.
  • the pause of the image transmission may cover the display by covering the cover during the video communication (eg, detected by a magnet (eg, a hall sensor) or a proximity sensor) and bring the first electronic device 6210 to the ear.
  • the stand may be paused according to an operation, an operation of turning off the display, an operation of putting the display downward, and placing it on the floor.
  • the second electronic device 6220 that receives an image detects a change from the video call mode to the voice call mode, whether the second electronic device 6220 pauses or stops receiving the video.
  • the evaluation operation can be performed.
  • the second electronic device 6220 may request the first electronic device 6210 to perform an image pause operation and then not perform the image reception operation.
  • the second electronic device 6220 may maintain video communication (eg, receive, decode, store, etc.), but do not display an image by turning off the display, or as another predetermined image. You can alternately perform the display.
  • the second electronic device 6220 when the image reception ends, the second electronic device 6220 requests the first electronic device 6210 to perform an image termination operation or notifies that the image reception is not possible, and then receives the image. You may not perform the operation.
  • an operation of displaying communication mode related information of the counterpart electronic device when the communication mode changes is as follows.
  • the user in order to switch to the video call mode during a voice call with the electronic device held by the ear, the user may perform an operation of removing the electronic device from the ear or open a closed cover.
  • the electronic device may detect a change in one or more of proximity, motion, contact area, capacitance, or pressure due to the operation of the electronic device being removed from the ear, or the opening of a closed cover, which is converted into a video call mode switch. You can judge.
  • the electronic device may display a communication state (for example, state (A) of FIG. 63) of the electronic device of the other party and provide the same to the user.
  • 64 is a diagram illustrating a method of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • FIG. 64 illustrates an electronic device 500 (for example, a first electronic device 6210 that transmits an image and a second image that receives an image, as described above with reference to FIGS. 62 and 63).
  • the electronic device 6220 may represent an operation of receiving a video communication request and a video communication based on a gesture during a voice call.
  • the first electronic device 6210 may perform a mode (eg, at ear mode, open position mode, display off mode, display open mode) of the first electronic device 6210 during a voice call. Etc.).
  • a mode eg, at ear mode, open position mode, display off mode, display open mode
  • the first electronic device 6210 may determine whether the result of mode recognition is an ear mode or a display off mode. For example, the first electronic device 6210 detects a state change of the first electronic device 6210 based on various sensors, and if the detected state change corresponds to the ear mode or the display off mode, or the open position mode. It may be determined whether it corresponds to the (open position mode) or the display on (or open) mode. According to an embodiment of the present disclosure, the first electronic device 6210 may use a sensor (eg, one or more of a motion sensor, a proximity sensor, a pressure sensor, a camera, and a capacitive sensor) of the first electronic device 6210 during voice communication.
  • a sensor eg, one or more of a motion sensor, a proximity sensor, a pressure sensor, a camera, and a capacitive sensor
  • the user is in a voice call with the first electronic device 6210 on the ear, the cover of the first electronic device 6210 is closed, or the user switches to the video call mode during the voice call. It may be determined whether the first electronic device 6210 is removed from the ear or the closed cover is opened. For example, the first electronic device 6210 may change one or more of proximity, motion, contact area, capacitance, or pressure due to the operation of the first electronic device 6210 being removed from the ear, or the opening of the closed cover. Can be detected, and this can be determined as a video call mode change.
  • operation 6403 if the state change of the first electronic device 6210 is not detected (YES in operation 6403) (eg, in the ear mode or the display off mode), the first electronic device 6210 proceeds to operation 6401. In operation 6401, the following operations may be performed.
  • operation 6403 when a state change of the first electronic device 6210 is detected (NO in operation 6403) (eg, in an open position mode or a display on (open) mode), operation 6405.
  • a state change of the first electronic device 6210 is detected (NO in operation 6403) (eg, in an open position mode or a display on (open) mode)
  • operation 6405 In the video service availability check and function standby mode can be set.
  • the first electronic device 6210 may request a video communication request and state sharing from the second electronic device 6220.
  • the second electronic device 6220 may determine a mode of the second electronic device 6210 and display a video reception request (eg, a video communication connection request). According to various embodiments of the present disclosure, the second electronic device 6210 may determine the mode of the second electronic device 6210 as operations corresponding to the aforementioned operations 6401 and 6403.
  • the second electronic device 6220 may determine a user response corresponding to the image reception request. For example, the second electronic device 6220 may determine the user's input of any one of acceptance, rejection, or state in response to the image reception request.
  • the second electronic device 6220 may transmit a response (eg, acceptance, rejection, or state) corresponding to the user input to the first electronic device 6210.
  • a response eg, acceptance, rejection, or state
  • the second electronic device 6220 may accept or reject according to a specific condition (for example, one or more of a user's setting or a lapse of a predetermined response waiting time). ) Or a state may be transmitted to the first electronic device 6210.
  • the first electronic device 6210 may determine the switch request state by the second electronic device 6220 and the communication state of the second electronic device 6220, based on the response of the second electronic device 6220. Can be displayed.
  • the first electronic device 6210 may determine whether the switch request state of the second electronic device 6220 is acceptance.
  • the first electronic device 6210 may determine whether the switch request state is rejected.
  • the first electronic device 6210 may proceed to operation 6401 to process an operation of operation 6401 or lower, and the first electronic device 6210. ) May resume the voice call mode according to a change in state of the first electronic device 6210.
  • the first electronic device 6210 may proceed to operation 6415, and may perform an operation of operation 6415 or less. For example, the first electronic device 6210 may wait for acceptance of a video communication connection request of the second electronic device 6220 while displaying a communication state of the second electronic device 6220.
  • operation 6417 if the switching request state is acceptance (YES in operation 6417), in operation 6419, the first electronic device 6210 performs a video communication connection with the second electronic device 6220, and encodes an image of the camera.
  • the display can be performed.
  • the first electronic device 6210 may transmit the encoded image to the second electronic device 6220.
  • the first electronic device 6210 may provide the second electronic device 6220 with information about the type of the camera being driven by the first electronic device 6210.
  • a voice call is detected when a call mode change is detected while a voice call is maintained between the first electronic device 6210 and the second electronic device 6220 by the voice call mode. You can switch from video mode to video call mode. According to various embodiments of the present disclosure, when a video call is detected between the first electronic device 6210 and the second electronic device 6220 by the video call mode, when the call mode change is detected, the video call mode is changed from the video call mode to the voice call mode. You can switch.
  • the first electronic device 6210 may display a call mode (eg, a voice call mode or a video call mode) of the second electronic device 6220.
  • a call mode eg, a voice call mode or a video call mode
  • the call mode of the second electronic device 6220 may include one of a voice call mode and a video call mode.
  • the type of event that the first electronic device 6210 detects switching to a video call mode may include a menu, a key, for voice recognition or situation recognition, motion or proximity change, or video transmission or reception. It may include at least one of a button and a gesture input.
  • Speech recognition may include, for example, recognizing a voice command such as "camera drive.”
  • Situational awareness may include, for example, recognizing a situation according to a voice input such as "I will show you with a camera” or "I will show you what I am seeing”.
  • the motion or proximity change may include, for example, a motion and proximity change from the at ear position to the open position, or a proximity change detection by an optical sensor according to the cover opening.
  • the display method of the first electronic device 6210 may use one or more of a text or an image, an audio, or a vibration on the display.
  • the camera when the first electronic device 6210 changes to the video call mode, the camera receives the image (image) by using the camera of the first electronic device 6210, and receives the received image and the second electronic device.
  • a call mode related indication of the device 6220 may be synthesized and displayed on the display.
  • the first electronic device 6210 may display a call mode of the second electronic device 6220 with an overlay, PIP, or PBP using a media processor.
  • the first electronic device 6210 when the first electronic device 6210 transmits a video communication request, the first electronic device 6210 may sequentially display an image or text, including a corresponding operation state and whether the counterpart responds.
  • the first electronic device 6210 may check whether the video communication function is activated / deactivated. For example, when the first electronic device 6210 switches to the video call mode, it may display whether video communication is possible according to state information of the first electronic device 6210 or the second electronic device 6220. For example, when it is determined that the first electronic device 6210 is switched to the video call mode, the capability or capability of the two electronic devices 6210 and 6220 before the video communication request is transmitted to the second electronic device 6220. It is possible to determine whether video communication is possible based on state information of the two electronic devices 6210 and 6220, and display the information through activation / deactivation of the GUI.
  • the first electronic device 6210 may transmit a video communication request to the second electronic device 6220 when the activated GUI is selected by a user input.
  • the power mode of the camera may be switched to the camera driving mode or the camera standby mode.
  • the audio output when the first electronic device 6210 switches to the video call mode, the audio output may be switched from the receiver to the speaker, or the output volume of the audio may be increased above a predetermined reference.
  • the audio output for example, sound pressure increase or speaker change
  • the situation is transmitted to the first electronic device 6220. I can display it.
  • the second electronic device 6220 when switching to the video call mode, may automatically receive an image and correspondingly, may automatically receive an image from the first electronic device 6210.
  • the display of the second electronic device 6220 is displayed in response to the video communication request message transmitted from the first electronic device 6210. It may be displayed on the screen, and may be selected whether to permit the reception of the image, and after the permission is received, the image may be received through the network.
  • 65 is a flowchart illustrating a method of performing an image service in an electronic device according to various embodiments of the present disclosure.
  • FIG. 65 is an example of a processing operation of the electronic device 500 (for example, the first electronic device 6210) that transmits an image, for example, an image according to a change in a communication mode of a user during a voice call. It may represent an operation for processing a communication.
  • the controller 580 of the electronic device 500 (for example, the processor of the electronic device operating as the calling terminal) is connected to a remote device (for example, a second electronic device 6220 that receives an image). )) And voice communication by voice call connection.
  • the controller 580 may sense a motion or proximity of the electronic device 500 during a voice call.
  • the controller 580 may detect a mode change of the electronic device 500 based on the sensing result.
  • the controller 580 may determine whether the detected mode is a video call mode switch in the video communication disable mode. For example, the controller 580 may determine whether the electronic device 500 switches from the voice call mode to the video call mode.
  • the controller 580 determines to switch to the video call mode (for example, the video communication disabled mode-> video call mode) (YES in operation 6507), in operation 6509, the video communication connection is ready ( Example: can be established or established.
  • the video call mode for example, the video communication disabled mode-> video call mode
  • control unit 580 proceeds to operation 6525, in operation 6525, the start of the video communication or the resume of the video communication and the display of the associated status. Can be performed.
  • the controller 580 may display and transmit an image encoded and encoded image.
  • the controller 580 may selectively perform operations 6511, 6513, and 6515. For example, when the first video communication connection is performed, the controller 580 checks whether video communication is possible in operation 6511, activates and displays a video communication icon (eg, a service object) in operation 6513, and in operation 6515, Camera driving can be controlled. According to various embodiments of the present disclosure, when the controller 580 resumes the previously connected (or paused) video communication according to a mode change, operations 6511, 6513, and 6515 may not be selectively performed.
  • a video communication icon eg, a service object
  • the controller 580 may transmit a video communication request (or invitation) to a remote device (eg, the second electronic device 6220 in communication).
  • the controller 580 may receive a status of the remote device from the remote device (eg, the second electronic device 6220) and display the status of the remote device.
  • the controller 580 may determine whether an image communication request (or invitation) is accepted from the remote device.
  • the controller 580 may proceed to operation 6519 to process an operation of operation 6519 or less.
  • the controller 580 may establish a video communication connection with the remote device.
  • the controller 580 may perform video communication start or resume video communication, and display a related state (eg, a connected state). For example, the controller 580 may display and transmit an image encoded and encoded image.
  • the controller 580 is not in the video call mode (eg, the video communication disabled mode-> video call mode) (NO in operation 6507).
  • the video communication disable mode is switched in the video call mode. It can be determined whether or not. For example, the controller 580 may determine whether the electronic device 500 switches from the video call mode to the voice call mode.
  • operation 6531 if the state change of the electronic device 500 does not correspond to the voice call mode switch (eg, video call mode to video communication disable mode) (NO in operation 6531), the controller 580 proceeds to operation 6503. In this manner, the operation performed by operation 6503 or less may be processed.
  • the voice call mode switch eg, video call mode to video communication disable mode
  • operation 6533 when the state change of the electronic device 500 corresponds to the voice call mode switching (for example, video call mode-> video communication disabled mode) (YES in operation 6531), in operation 6533, the image may be changed. It may be determined whether the transmission is maintained.
  • the voice call mode switching for example, video call mode-> video communication disabled mode
  • controller 580 may proceed to operation 6503 to process an operation of operation 6503 or less.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 다양한 실시 예들은 전자 장치들 간에 음성 통화를 수행하는 중에 영상을 전송하는 방법 및 장치에 관한 것이다. 본 발명의 다양한 실시 예들에 따르면, 전자 장치에 있어서, 카메라, 디스플레이, 적어도 하나의 프로토콜(protocol)을 이용하여 다른 전자 장치와 무선 통신을 형성하도록 설정된 통신부, 및 상기 카메라, 상기 디스플레이 및 상기 통신부와 기능적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 다른 전자 장치와 제1 네트워크에 기반하여 음성 통화(voice call)를 수행하고, 상기 다른 전자 장치와 음성 통화를 수행하는 동안, 상기 다른 전자 장치와 영상 통화(video call)를 수행하기 위한 사용자 입력을 감지하고, 상기 사용자 입력에 대응하여, 제2 네트워크에 기반하여 상기 영상 통화 연결 및 상기 디스플레이 상에 상기 영상 통화와 관련된 유저 인터페이스를 표시하고, 및 상기 유저 인터페이스를 통해 상기 카메라를 통해 획득하는 영상을 표시 및 상기 표시하는 영상을 상기 제2 네트워크를 통해 상기 다른 전자 장치에 전송하도록 구성될 수 있다. 다양한 실시 예들이 가능하다.

Description

영상 서비스 제공 방법 및 장치
본 발명의 다양한 실시 예들은 전자 장치들 간에 음성 통화를 수행하는 중에 영상을 공유하는 방법 및 장치에 관한 것이다.
최근 디지털 기술의 발달과 함께 이동통신 단말기, 스마트 폰(smart phone), 태블릿(tablet) PC(Personal Computer), PDA(Personal Digital Assistant), 전자수첩, 노트북(notebook), 웨어러블 기기(wearable device), IoT(Internet of Things) 기기, 또는 음향 장치(audible device) 등과 같은 다양한 유형의 전자 장치가 널리 사용되고 있다.
최근에는 전자 장치의 급속한 보급에 따라 단순한 음성통화 위주의 기존의 음성 통신 서비스(voice communication service)에서, 데이터 통신 위주의 데이터 통신 서비스(data communication service)로 전환되고 있으며, 다양한 형태의 서비스가 제안되고 있다. 예를 들면, 전자 장치에서 인터넷을 이용하여 웹 페이지를 열람하거나 어플리케이션(application)을 설치하여 사용자가 원하는 서비스(예: 영상 서비스(예: 영상 공유, 영상 통화 서비스 등))를 전자 장치를 통해 어디서나 제공받을 수 있다.
종래의 영상 공유 또는 영상 통화 서비스와 같은 영상 서비스는 주로 이동통신 네트워크를 통해 이루어지고 있는데, 이는 별도의 영상 통화 버튼을 눌러서 영상 통화를 수행하도록 하는 방식이 대부분이다. 하지만, 종래의 영상 서비스는, 영상 통화 서비스를 제공하는 이동통신 네트워크를 반드시 거쳐야 하는 한계가 있다. 따라서, 예를 들면, 음성 통화를 이동통신 네트워크를 통해 수행하면서 이와 병행하여, 영상 통화나 영상 공유와 같은 영상 서비스를 동시에 제공할 수 없다.
종래에서는 영상 서비스와 음성 통화 서비스는 별도로 이루어져야 하므로, 음성 통화를 수행하면서 이와 병행하여 영상 서비스를 제공받을 수 없다. 예를 들면, 카메라가 내장된 전자 장치에서 음성 통화와, 영상 촬영 및 전송 기능은 분리되어 있다. 따라서 사용자가 상대방에게 영상을 촬영하여 전송하기 위해서는 음성 통화 중이 아닐 때, 카메라를 활성화시킨 후, 영상 촬영, 저장 및 전송을 위한 여러 과정을 발신자가 직접 수행해야 하는 불편함이 있다. 또한 종래의 영상 서비스는 모바일 환경(mobile environment)에서 영상과 오디오를 교환할 시 와이파이(WiFi) 등과 같이 안정된 데이터 네트워크를 이용하거나, 또는 동일 사업자의 네트워크를 이용하여 서비스를 제공하고 있다. 또한 종래의 영상 서비스는 단순한 영상과 오디오의 교환이 주된 목적이므로 사용자들 간의 다양한 상호 작용을 지원할 수 있다.
영상 통화 서비스와 같은 영상 서비스를 제공할 수 있는 방법, 장치 및 시스템에 관하여 개시한다.
다양한 실시 예들에서는 음성 통화 중에 통화 상대에게 영상을 전송할 때, 영상 전송용 통신 연결의 안정성을 높일 수 있는 방법, 장치 및 시스템에 관하여 개시한다.
다양한 실시 예들에서는 서로 다른 통신 사업자 간에도 영상과 오디오의 공유가 원활하게 제공될 수 있도록 서로 다른 네트워크와 네트워크 상황을 고려한 동적인 데이터 송수신을 제공할 수 있는 방법, 장치, 및 시스템에 관하여 개시한다.
다양한 실시 예들에서는 음성 통화의 통화 상대와의 데이터 통신 가능 여부를 판단하고, 통신 가능 시 통화 상대와의 데이터 통신 품질을 판단하고, 판단하는 결과를 이용하여 음성 통화 중 영상 전송을 위한 데이터 통신 연결 방식을 결정할 수 있는 방법, 장치 및 시스템에 관하여 개시한다.
다양한 실시 예들에서는 전자 장치에서 음성 통화를 수행하면서, 영상 서비스 관련의 기능을 동시에 수행할 수 있는 방법, 장치 및 시스템에 관하여 개시한다.
다양한 실시 예들에서는 사용자에게 영상 서비스와 관련한 상황을 동적으로 공유할 수 있는 방법, 장치 및 시스템에 관하여 개시한다.
다양한 실시 예들에서는 전자 장치에서 음성 통화 중에 전송할 영상을 촬영하여, 별도의 전송 조작 없이도 상대방에게 영상을 전송(공유)하여 상대방 전자 장치에서 표시할 수 있는 방법, 장치 및 시스템에 관하여 개시한다.
다양한 실시 예들에서는 실시간으로 입력된 영상(예: 동영상, 이미지)를 통신 수단을 이용하여 다른 장치에 전송하여, 복수의 장치들이 이를 공유하며, 공유된 영상을 기반으로 상호 작용하는 영상 서비스를 제공하는 방법, 장치 및 시스템에 관하여 개시한다.
다양한 실시 예들에서는 복수의 전자 장치들에서 공유된 영상과 오디오를 기반으로 사용자간 다양한 상호 작용을 제공할 수 있는 유저 인터페이스를 포함하는 방법, 장치 및 시스템에 관하여 개시한다.
다양한 실시 예들에서는 사용자들 간 음성 통신을 하는 도중에 발생하는 다양한 상황에서 영상을 촬영하여 이를 공유하기 위한 멀티미디어 처리 및 원격 제어가 가능한 방법, 장치 및 시스템에 관하여 개시한다.
본 발명의 다양한 실시 예들에 따른 전자 장치는, 카메라, 디스플레이, 적어도 하나의 프로토콜(protocol)을 이용하여 다른 전자 장치와 무선 통신을 형성하도록 설정된 통신부, 및 상기 카메라, 상기 디스플레이 및 상기 통신부와 기능적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 다른 전자 장치와 제1 네트워크에 기반하여 음성 통화(voice call)를 수행하고, 상기 다른 전자 장치와 음성 통화를 수행하는 동안, 상기 다른 전자 장치와 영상 통화(video call)를 수행하기 위한 사용자 입력을 감지하고, 상기 사용자 입력에 대응하여, 제2 네트워크에 기반하여 상기 영상 통화 연결 및 상기 디스플레이 상에 상기 영상 통화와 관련된 유저 인터페이스를 표시하고, 및 상기 유저 인터페이스를 통해 상기 카메라를 통해 획득하는 영상을 표시 및 상기 표시하는 영상을 상기 제2 네트워크를 통해 상기 다른 전자 장치에 전송하도록 구성될 수 있다.
본 발명의 다양한 실시 예들에 따른 전자 장치의 동작 방법은, 다른 전자 장치와 제1 네트워크에 기반하여 음성 통화(voice call)를 수행하는 과정, 상기 다른 전자 장치와 음성 통화를 수행하는 동안, 상기 다른 전자 장치와 영상 통화(video call)를 수행하기 위한 사용자 입력을 감지하는 과정, 상기 사용자 입력에 대응하여, 제2 네트워크에 기반하여 상기 영상 통화 연결 및 디스플레이 상에 상기 영상 통화와 관련된 유저 인터페이스를 표시하는 과정, 및 상기 유저 인터페이스를 통해 카메라를 통해 획득하는 영상을 표시 및 상기 표시하는 영상을 상기 제2 네트워크를 통해 상기 다른 전자 장치에 전송하는 과정을 포함할 수 있다.
상기와 같은 과제를 해결하기 위하여 본 발명의 다양한 실시 예들에서는, 상기 방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 포함할 수 있다.
본 발명의 다양한 실시 예들에 따른 기록 매체는, 다른 전자 장치와 제1 네트워크에 기반하여 음성 통화(voice call)를 수행하는 동작, 상기 다른 전자 장치와 음성 통화를 수행하는 동안, 상기 다른 전자 장치와 영상 통화(video call)를 수행하기 위한 사용자 입력에 대응하여, 제2 네트워크에 기반하여 상기 영상 통화 연결 및 디스플레이 상에 상기 영상 통화와 관련된 유저 인터페이스를 표시하는 동작, 및 상기 유저 인터페이스를 통해 카메라를 통해 획득하는 영상을 표시 및 상기 표시하는 영상을 상기 제2 네트워크를 통해 상기 다른 전자 장치에 전송하는 동작을 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 포함할 수 있다.
전술한 과제를 해결하기 위한, 다양한 실시 예들에 따른 전자 장치 및 그 동작 방법은, 음성 통화 중에 상대방에게 카메라 영상을 전송 또는 공유할 때 보다 안정적인 연결에 기초하여 제공할 수 있다. 다양한 실시 예들에 따르면, 전자 장치는 음성 통화를 위한 네트워크(예: 제1 통신)와는 별도의 네트워크(예: 제2 통신)를 통해서 영상 공유나 영상 통화와 같은 영상 서비스를 제공할 수 있다.
다양한 실시 예들에 따르면, 이동 통신 네트워크(예: 셀룰러 네트워크)를 통한 음성 통화 중 서로 다른 통신 네트워크를 사용하더라도 영상 송수신을 제공할 수 있으며, 사용자 입력을 통해 다양한 원격 제어를 지원할 수 있다. 다양한 실시 예들에 따르면, 사용자는 자신의 상황에 대해 영상을 통해 공유하고 소셜 서비스(예: SNS 등)에 업로드하거나 사용자에 따라 별도로 관리할 수 있다. 다양한 실시 예들에 따르면, 사용자들의 장치 및 네트워크 상태에 기반하여 효율적인 영상 인코딩 및 전송이 가능하도록 제공할 수 있다. 다양한 실시 예들에 따르면, 제스처를 기반으로 사용자의 포즈(pose)를 예측할 수 있고, 이에 따라 적합한 통화 모드(call mode)(예: 영상 서비스 모드, 음성 서비스 모드)를 판별하고, 그 결과에 기반하여 전자 장치의 자원을 할당할 수 있다.
다양한 실시 예들에 따르면, 사용자가 음성 통화 동안 영상 서비스를 제공받을 수 있도록 함으로써 사용자의 편의성을 향상시키고 사용자의 흥미를 유발할 수 있다. 다양한 실시 예들에 따르면, 사용자는 음성 통화 중에 영상을 전송하고자 할 때, 전자 장치에 설정되는 있는 한 번의 사용자 입력(예: 버튼 선택, 음성 명령 입력, 전자 장치를 이용한 제스처(모션) 입력 등)에 의해 음성 통화 중, 카메라 활성화, 영상 촬영, 영상 처리 및 영상 전송을 수행할 수 있어, 사용자의 전자 장치 사용에 대한 접근성 및 편의성을 향상시킬 수 있다.
도 1은 다양한 실시 예들에 따른 전자 장치를 포함하는 네트워크 환경을 도시하는 도면이다.
도 2는 다양한 실시 예들에 따른 전자 장치의 블록도를 도시하는 도면이다.
도 3은 다양한 실시 예들에 따른 프로그램 모듈의 블록도를 도시하는 도면이다.
도 4는 본 발명의 다양한 실시 예들에 따른 시스템을 설명하기 위해 도시하는 도면이다.
도 5는 본 발명의 다양한 실시 예들에 따른 전자 장치의 구성을 개략적으로 도시하는 도면이다.
도 6은 본 발명의 다양한 실시 예들에 따른 전자 장치를 포함하는 시스템의 예시를 도시하는 도면이다.
도 7은 본 발명의 다양한 실시 예들에 따른 전자 장치를 포함하는 시스템의 다른 예시를 도시하는 도면이다.
도 8은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 처리 동작을 설명하기 위해 도시하는 도면이다.
도 9는 본 발명의 다양한 실시 예들에 따른 시스템에서 영상 서비스의 등록 동작을 설명하기 위해 도시하는 도면이다.
도 10은 본 발명의 다양한 실시 예들에 따른 시스템에서 영상 서비스의 활성화 동작을 설명하기 위해 도시하는 도면이다.
도 11은 본 발명의 다양한 실시 예들에 따른 시스템에서 영상 서비스의 활성화 동작을 도시하는 도면이다.
도 12는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 통화 중 영상 서비스를 연결하는 동작을 설명하기 위해 도시하는 도면이다.
도 13은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 통화 중 영상 서비스를 연결하는 동작을 설명하기 위해 도시하는 도면이다.
도 14A, 도 14B 및 도 14C는 본 발명의 다양한 실시 예들에 따른 전자 장치의 유저 인터페이스의 예시를 설명하기 위해 도시하는 도면들이다.
도 15 및 도 16은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면들이다.
도 17, 도 18 및 도 19는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면들이다.
도 20은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
도 21 및 도 22는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면들이다.
도 23은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
도 24는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
도 25는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면이다.
도 26은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면이다.
도 27은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면이다.
도 28은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면이다.
도 29는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스 연결 시 영상 통신 대기 상태를 표시하는 화면 예시를 도시하는 도면이다.
도 30은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스 연결 시 영상 통신 대기 상태를 표시하는 화면 예시를 도시하는 도면이다.
도 31은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면이다.
도 32는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면이다.
도 33은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스 연결 시 영상 통신 대기를 표시하는 화면 예시를 도시하는 도면이다.
도 34는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면이다.
도 35A, 도 35B, 도 35C 및 도 35D는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스 연결 실패에 대한 처리 예시를 도시하는 도면들이다.
도 36은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면이다.
도 37은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
도 38은 본 발명의 다양한 실시 예들에 따른 전자 장치들 간에 영상 서비스를 수행하는 방법을 도시하는 도면이다.
도 39는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면이다.
도 40은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면이다.
도 41은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
도 42는 본 발명의 다양한 실시 예들에 따른 전자 장치의 유저 인터페이스의 예시를 도시하는 도면이다.
도 43은 본 발명의 다양한 실시 예들에 따른 전자 장치의 유저 인터페이스의 예시를 도시하는 도면이다.
도 44는 본 발명의 다양한 실시 예들에 따른 전자 장치의 유저 인터페이스의 예시를 도시하는 도면이다.
도 45, 도 46 및 도 47은 본 발명의 다양한 실시 예들에 따른 전자 장치의 유저 인터페이스의 예시를 도시하는 도면들이다.
도 48 및 도 49는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면들이다.
도 50은 본 발명의 다양한 실시 예들에 따른 전자 장치들에서 영상 서비스를 수행하는 방법을 도시하는 도면이다.
도 51A, 도 51B, 도 52 및 도 53은 본 발명의 다양한 실시 예들에 따른 전자 장치들에서 영상 서비스를 수행하는 동작 예시를 설명하기 위해 도시하는 도면들이다.
도 54 및 도 55는 본 발명의 다양한 실시 예들에 따른 전자 장치들에서 영상 서비스를 수행하는 동작 예시를 설명하기 위해 도시하는 도면들이다.
도 56 및 도 57은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 동작 예시를 설명하기 위해 도시하는 도면들이다.
도 58 및 도 59는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 동작 예시를 설명하기 위해 도시하는 도면들이다.
도 60은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 동작 예시를 설명하기 위해 도시하는 도면이다.
도 61은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
도 62 및 도 63은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 동작 예시를 설명하기 위해 도시하는 도면들이다.
도 64는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 설명하기 위해 도시하는 도면이다.
도 65는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
도 66은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
도 67은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
도 68A 및 도 68B는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 동작 예시를 설명하기 위해 도시하는 도면들이다.
도 69A 및 도 69B는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 동작 예시를 설명하기 위해 도시하는 도면들이다.
도 70은 본 발명의 다양한 실시 예들에 따른 전자 장치들에서 영상 서비스를 수행하는 방법을 설명하기 위해 도시하는 도면이다.
도 71은 본 발명의 다양한 실시 예들에 따른 전자 장치들에서 영상 서비스를 수행하는 방법을 설명하기 위해 도시하는 도면이다.
도 72 및 도 73은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 동작 예시를 설명하기 위해 도시하는 도면들이다.
도 74 및 도 75는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 동작 예시를 설명하기 위해 도시하는 도면들이다.
도 76 및 도 77은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 동작 예시를 설명하기 위해 도시하는 도면들이다.
도 78은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 동작 예시를 설명하기 위해 도시하는 도면이다.
이하, 본 문서의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 문서의 실시예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제 1," "제 2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제 1 사용자 기기와 제 2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어(hardware)적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU(central processing unit) 또는 AP(application processor))를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
본 문서의 다양한 실시 예들에 따른 전자 장치는, 예를 들면, 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예들에 따르면, 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형(예: implantable circuit) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에서, 전자 장치는 가전 제품(home appliance)일 수 있다. 가전 제품은, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), 홈 오토메이션 컨트롤 패널(home automation control panel), 보안 컨트롤 패널(security control panel), TV 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시 예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션(navigation) 장치, 위성 항법 시스템(GNSS, global navigation satellite system), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller's machine), 상점의 POS(point of sales), 또는 사물 인터넷 장치(internet of things)(예: 전구, 각종 센서, 전기 또는 가스 미터기, 스프링클러 장치, 화재경보기, 온도조절기(thermostat), 가로등, 토스터(toaster), 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예에 따르면, 전자 장치는 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예들에서 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 어떤 실시 예에 따른 전자 장치는 플렉서블 전자 장치일 수 있다. 또한, 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않으며, 기술 발전에 따른 새로운 전자 장치를 포함할 수 있다.
이하, 첨부 도면을 참조하여, 다양한 실시 예들에 따른 전자 장치가 설명된다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 다양한 실시 예들에 따른 전자 장치를 포함하는 네트워크 환경을 도시하는 도면이다.
도 1을 참조하여, 다양한 실시 예들에서의, 네트워크 환경 100 내의 전자 장치 101이 기재된다. 전자 장치 101은 버스(bus) 110, 프로세서(processor) 120, 메모리(memory) 130, 입출력 인터페이스(input/output interface) 150, 디스플레이(display) 160, 및 통신 인터페이스(communication interface) 170을 포함할 수 있다. 어떤 실시 예에서는, 전자 장치 101은, 구성요소들 중 적어도 하나를 생략하거나 다른 구성요소를 추가적으로 구비할 수 있다.
버스 110은, 예를 들면, 구성요소들(110-170)을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지 및/또는 데이터)을 전달하는 회로를 포함할 수 있다.
프로세서 120은, 중앙처리장치(central processing unit(CPU)), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서 120은, 예를 들면, 전자 장치 101의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다. 다양한 실시 예들에 따른 프로세서 120의 처리(또는 제어) 동작은 후술하는 도면들을 참조하여 구체적으로 설명된다.
메모리 130은, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리 130은, 예를 들면, 전자 장치 101의 적어도 하나의 다른 구성요소에 관계된 명령(command) 또는 데이터(data)를 저장할 수 있다. 한 실시 예에 따르면, 메모리 130은 소프트웨어(software) 및/또는 프로그램(program) 140을 저장할 수 있다. 프로그램 140은, 예를 들면, 커널(kernel) 141, 미들웨어(middleware) 143, 어플리케이션 프로그래밍 인터페이스(application programming interface(API)) 145, 및/또는 어플리케이션 프로그램(또는 "어플리케이션") 147 등을 포함할 수 있다. 커널 141, 미들웨어 143, 또는 API 145의 적어도 일부는, 운영 시스템(operating system(OS))으로 지칭될 수 있다. 메모리 130은, 다양한 실시 예들에 따른 방법을 프로세서 120에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 포함할 수 있다.
커널 141은, 예를 들면, 다른 프로그램들(예: 미들웨어 143, API 145, 또는 어플리케이션 프로그램 147)에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스 110, 프로세서 120, 또는 메모리 130 등)을 제어 또는 관리할 수 있다. 또한, 커널 141은 미들웨어 143, API 145, 또는 어플리케이션 프로그램 147에서 전자 장치 101의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어 143은, 예를 들면, API 145 또는 어플리케이션 프로그램 147이 커널 141과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다.
또한 미들웨어 143은 어플리케이션 프로그램 147으로부터 수신된 하나 이상의 작업 요청들을 우선 순위에 따라 처리할 수 있다. 예를 들면, 미들웨어 143은 어플리케이션 프로그램 147 중 적어도 하나에 전자 장치 101의 시스템 리소스(예: 버스 110, 프로세서 120, 또는 메모리 130 등)를 사용할 수 있는 우선 순위를 부여할 수 있다. 예컨대, 미들웨어 143은 상기 적어도 하나에 부여된 우선 순위에 따라 상기 하나 이상의 작업 요청들을 처리함으로써, 상기 하나 이상의 작업 요청들에 대한 스케줄링(scheduling) 또는 로드 밸런싱(load balancing) 등을 수행할 수 있다.
API 145는, 예를 들면, 어플리케이션 147이 커널 141 또는 미들웨어 143에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어(file control), 창 제어(window control), 영상 처리(image processing), 또는 문자 제어(character control) 등을 위한 적어도 하나의 인터페이스 또는 함수(function)(예: 명령어)를 포함할 수 있다.
입출력 인터페이스 150은, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 전자 장치 101의 다른 구성요소(들)에 전달할 수 있는 인터페이스의 역할을 할 수 있다. 또한, 입출력 인터페이스 150은 전자 장치 101의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.
디스플레이 160은, 예를 들면, 액정 디스플레이(liquid crystal display(LCD)), 발광 다이오드(light-emitting diode(LED)) 디스플레이, 유기 발광 다이오드(organic light-emitting diode(OLED)) 디스플레이, 또는 마이크로 전자기계 시스템(microelectromechanical systems(MEMS)) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이 160은, 예를 들면, 사용자에게 각종 콘텐츠(예: 텍스트(text), 이미지(image), 비디오(video), 아이콘(icon), 또는 심볼(symbol) 등)을 표시할 수 있다. 디스플레이 160은, 터치 스크린(touch screen)을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치(touch), 제스처(gesture), 근접(proximity), 또는 호버링(hovering) 입력을 수신할 수 있다.
통신 인터페이스 170은, 예를 들면, 전자 장치 101과 외부 장치(예: 제1 외부 전자 장치 102, 제2 외부 전자 장치 104, 또는 서버 106) 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스 170은 무선 통신 또는 유선 통신을 통해서 네트워크 162에 연결되어 외부 장치(예: 제2 외부 전자 장치 104 또는 서버 106)와 통신할 수 있다.
무선 통신은, 예를 들면, 셀룰러 통신 프로토콜(protocol)로서, 예를 들면, LTE(long-term evolution), LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(global system for mobile communications) 등 중 적어도 하나를 사용할 수 있다. 또한, 무선 통신은, 예를 들면, 근거리 통신 164를 포함할 수 있다. 근거리 통신 164는, 예를 들면, WiFi(wireless fidelity), 블루투스(Bluetooth), NFC(near field communication), 또는 GNSS(global navigation satellite system) 등 중 적어도 하나를 포함할 수 있다. GNSS는 사용 지역 또는 대역폭 등에 따라, 예를 들면, GPS(global positioning system), Glonass(global navigation satellite system), Beidou Navigation satellite system(이하, "Beidou") 또는 Galileo, the European global satellite-based navigation system 중 적어도 하나를 포함할 수 있다. 이하, 본 문서에서는, "GPS"는 “GNSS"와 혼용되어 사용(interchangeably used)될 수 있다. 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232), 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 네트워크 162는 통신 네트워크(telecommunications network), 예를 들면, 컴퓨터 네트워크(computer network)(예: LAN 또는 WAN), 인터넷, 또는 전화 네트워크(telephone network) 중 적어도 하나를 포함할 수 있다.
제1 및 제2 외부 전자 장치(102, 104) 각각은 전자 장치 101과 동일한 또는 다른 종류의 장치일 수 있다. 한 실시 예에 따르면, 서버 106은 하나 또는 그 이상의 서버들의 그룹을 포함할 수 있다. 다양한 실시 예들에 따르면, 전자 장치 101에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 전자 장치(예: 전자 장치(102,104), 또는 서버 106에서 실행될 수 있다. 한 실시 예에 따르면, 전자 장치 101이 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치 101은 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 장치(예: 전자 장치(102, 104), 또는 서버 106)에게 요청할 수 있다. 다른 전자 장치(예: 전자 장치(102, 104), 또는 서버 106)는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치 101로 전달할 수 있다. 전자 장치 101은 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅(cloud computing), 분산 컴퓨팅(distributed computing), 또는 클라이언트-서버 컴퓨팅(client-server computing) 기술이 이용될 수 있다.
도 2는 다양한 실시 예에 따른 전자 장치의 블록도이다.
전자 장치 201은, 예를 들면, 도 1에 도시된 전자 장치 101의 전체 또는 일부를 포함할 수 있다. 전자 장치 201은 하나 이상의 프로세서(예: AP(application processor)) 210, 통신 모듈 220, 가입자 식별 모듈 224, 메모리 230, 센서 모듈 240, 입력 장치 250, 디스플레이 260, 인터페이스 270, 오디오 모듈 280, 카메라 모듈 291, 전력 관리 모듈 295, 배터리 296, 인디케이터 297, 및 모터 298를 포함할 수 있다.
프로세서 210은, 예를 들면, 운영 체제 또는 어플리케이션 프로그램을 구동하여 프로세서 210에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서 210은, 예를 들면, SoC(system on chip)로 구현될 수 있다. 한 실시 예에 따르면, 프로세서 210은 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서(image signal processor)를 더 포함할 수 있다. 프로세서 210은 도 2에 도시된 구성요소들 중 적어도 일부(예: 셀룰러 모듈 221)를 포함할 수도 있다. 프로세서 210은 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
통신 모듈 220은, 도 1의 통신 인터페이스 170와 동일 또는 유사한 구성을 가질 수 있다. 통신 모듈 220은, 예를 들면, 셀룰러 모듈 221, WiFi 모듈 223, 블루투스 모듈 225, GNSS 모듈 227(예: GPS 모듈, Glonass 모듈, Beidou 모듈, 또는 Galileo 모듈), NFC 모듈 228 및 RF(radio frequency) 모듈 229를 포함할 수 있다.
셀룰러 모듈 221은, 예를 들면, 통신 네트워크를 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈 221은 가입자 식별 모듈(예: SIM(subscriber identification module) 카드) 224를 이용하여 통신 네트워크 내에서 전자 장치 201의 구별 및 인증을 수행할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈 221은 프로세서 210이 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈 221은 커뮤니케이션 프로세서(CP: communication processor)를 포함할 수 있다.
WiFi 모듈 223, 블루투스 모듈 225, GNSS 모듈 227 또는 NFC 모듈 228 각각은, 예를 들면, 해당하는 모듈을 통해서 송수신되는 데이터를 처리하기 위한 프로세서를 포함할 수 있다. 어떤 실시 예에 따르면, 셀룰러 모듈 221, WiFi 모듈 223, 블루투스 모듈 225, GNSS 모듈 227 또는 NFC 모듈 228 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다.
RF 모듈 229는, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈 229는, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter), LNA(low noise amplifier), 또는 안테나(antenna) 등을 포함할 수 있다. 다른 실시 예에 따르면, 셀룰러 모듈 221, WiFi 모듈 223, 블루투스 모듈225, GNSS 모듈 227 또는 NFC 모듈 228 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다.
가입자 식별 모듈 224는, 예를 들면, 가입자 식별 모듈을 포함하는 카드 및/또는 내장 SIM(embedded SIM)을 포함할 수 있으며, 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
메모리 230(예: 메모리 130)은, 예를 들면, 내장 메모리 232 또는 외장 메모리 234를 포함할 수 있다. 내장 메모리 232는, 예를 들면, 휘발성 메모리(volatile memory)(예: DRAM(dynamic RAM(random access memory)), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile memory)(예: OTPROM(one time programmable ROM(read only memory)), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나를 포함할 수 있다.
외장 메모리 234는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multimedia card) 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. 외장 메모리 234는 다양한 인터페이스를 통하여 전자 장치 201과 기능적으로 및/또는 물리적으로 연결될 수 있다.
센서 모듈 240은, 예를 들면, 물리량을 계측하거나 전자 장치 201의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈 240은, 예를 들면, 제스처 센서(gesture sensor) 240A, 자이로 센서(gyro sensor) 240B, 기압 센서(barometer) 240C, 마그네틱 센서(magnetic sensor) 240D, 가속도 센서(acceleration sensor) 240E, 그립 센서(grip sensor) 240F, 근접 센서(proximity sensor) 240G, 컬러 센서(color sensor) 240H(예: RGB(red, green, blue) 센서), 생체 센서(medical sensor) 240I, 온/습도 센서(temperature-humidity sensor) 240J, 조도 센서(illuminance sensor, or light sensor) 240K, 또는 UV(ultra violet) 센서 240M 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로(additionally or alternatively), 센서 모듈 240은, 예를 들면, 후각 센서(E-nose sensor), EMG 센서(electromyography sensor), EEG 센서(electroencephalogram sensor), ECG 센서(electrocardiogram sensor), IR(infrared) 센서, 홍채 센서(iris scan sensor) 및/또는 지문 센서(finger scan sensor)를 포함할 수 있다. 센서 모듈 240은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시 예에서는, 전자 장치 201은 프로세서 210의 일부로서 또는 별도로, 센서 모듈 240을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서 210가 슬립(sleep) 상태에 있는 동안, 센서 모듈 240을 제어할 수 있다.
입력 장치 250은, 예를 들면, 터치 패널(touch panel) 252, (디지털) 펜 센서(pen sensor) 254, 키(key) 256, 또는 초음파(ultrasonic) 입력 장치 258를 포함할 수 있다. 터치 패널 252는, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널 252는 제어 회로를 더 포함할 수도 있다. 터치 패널 252는 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다.
(디지털) 펜 센서 254는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트(sheet)를 포함할 수 있다. 키 256은, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드(keypad)를 포함할 수 있다. 초음파 입력 장치 258은 마이크(예: 마이크 288)를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다.
디스플레이 260(예: 디스플레이 160)는 패널 262, 홀로그램 장치 264, 또는 프로젝터 266을 포함할 수 있다. 패널 262는, 도 1의 디스플레이 160과 동일 또는 유사한 구성을 포함할 수 있다. 패널 262는, 예를 들면, 유연하게(flexible), 투명하게(transparent), 또는 착용할 수 있게(wearable) 구현될 수 있다. 패널 262는 터치 패널 252와 하나의 모듈로 구성될 수도 있다. 한 실시 예에 따르면, 패널 262는 사용자의 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서(또는 "포스 센서)를 포함할 수 있다. 다양한 실시 예들에서, 상기 압력 센서는 상기 터치 패널 252와 일체형으로 구현되거나, 또는 상기 터치 패널 252와 일체형으로 구현되거나, 또는 상기 터치 패널 252와는 별도의 하나 이상의 센서로 구현될 수 있다.
홀로그램 장치 264는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터 266은 스크린(screen)에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치 201의 내부 또는 외부에 위치할 수 있다. 한 실시 예에 따르면, 디스플레이 260은 패널 262, 홀로그램 장치 264, 또는 프로젝터 266을 제어하기 위한 제어 회로를 더 포함할 수 있다.
인터페이스 270은, 예를 들면, HDMI(high-definition multimedia interface) 272, USB(universal serial bus) 274, 광 인터페이스(optical interface) 276, 또는 D-sub(D-subminiature) 278을 포함할 수 있다. 인터페이스 270은, 예를 들면, 도 1에 도시된 통신 인터페이스 170에 포함될 수 있다. 추가적으로 또는 대체적으로(additionally and alternatively), 인터페이스 270은, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD(secure digital) 카드/MMC(multi-media card) 인터페이스, 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
오디오 모듈 280은, 예를 들면, 소리(sound)와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈 280의 적어도 일부 구성요소는, 예를 들면, 도 1 에 도시된 입출력 인터페이스 150에 포함될 수 있다. 오디오 모듈 280은, 예를 들면, 스피커 282, 리시버 284, 이어폰 286, 또는 마이크 288 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
카메라 모듈 291은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시 예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, ISP(image signal processor), 또는 플래시(flash)(예: LED 또는 xenon lamp 등)를 포함할 수 있다.
전력 관리 모듈 295는, 예를 들면, 전자 장치 201의 전력을 관리할 수 있다. 한 실시 예에 따르면, 전력 관리 모듈 295는 PMIC(power management integrated circuit), 충전 IC(charger integrated circuit), 또는 배터리 296 또는 연료 게이지(battery or fuel gauge)를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 배터리 게이지는, 예를 들면, 배터리 296의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 배터리 296은, 예를 들면, 충전식 전지(rechargeable battery) 및/또는 태양 전지(solar battery)를 포함할 수 있다.
인디케이터 297은 전자 장치 201 또는 그 일부(예: 프로세서 210)의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터 298은 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동(vibration), 또는 햅틱(haptic) 효과 등을 발생시킬 수 있다. 도시되지는 않았으나, 전자 장치 201은 모바일 TV 지원을 위한 처리 장치(예: GPU)를 포함할 수 있다. 모바일 TV 지원을 위한 처리 장치는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting), 또는 미디어플로(MediaFloTM) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.
본 문서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시 예에서, 전자 장치는 본 문서에서 기술된 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 다양한 실시 예에 따른 전자 장치의 구성요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.
도 3은 다양한 실시 예에 따른 프로그램 모듈의 블록도이다.
한 실시 예에 따르면, 프로그램 모듈 310(예: 프로그램 140)은 전자 장치(예: 전자 장치 101)에 관련된 자원을 제어하는 운영 체제(operating system(OS)) 및/또는 운영 체제 상에서 구동되는 다양한 어플리케이션(예: 어플리케이션 프로그램 147)을 포함할 수 있다. 운영 체제는, 예를 들면, 안드로이드(android), iOS, 윈도우즈(windows), 심비안(symbian), 타이젠(tizen), 또는 바다(bada) 등이 될 수 있다.
프로그램 모듈 310은 커널 320, 미들웨어 330, 어플리케이션 프로그래밍 인터페이스(application programming interface (API)) 360, 및/또는 어플리케이션 370을 포함할 수 있다. 프로그램 모듈 310의 적어도 일부는 전자 장치 상에 프리로드(preload) 되거나, 외부 전자 장치(예: 전자 장치(102, 104), 서버 106 등)로부터 다운로드(download) 가능하다.
커널 320(예: 커널 141)은, 예를 들면, 시스템 리소스 매니저 321 및/또는 디바이스 드라이버 323을 포함할 수 있다. 시스템 리소스 매니저 321은 시스템 리소스의 제어, 할당, 또는 회수 등을 수행할 수 있다. 한 실시 예에 따르면, 시스템 리소스 매니저 321은 프로세스 관리부, 메모리 관리부, 또는 파일 시스템 관리부 등을 포함할 수 있다. 디바이스 드라이버 323은, 예를 들면, 디스플레이 드라이버, 카메라 드라이버, 블루투스 드라이버, 공유 메모리 드라이버, USB 드라이버, 키패드 드라이버, WiFi 드라이버, 오디오 드라이버, 또는 IPC(inter-process communication) 드라이버를 포함할 수 있다.
미들웨어 330은, 예를 들면, 어플리케이션 370이 공통적으로 필요로 하는 기능을 제공하거나, 어플리케이션 370이 전자 장치 내부의 제한된 시스템 자원을 효율적으로 사용할 수 있도록 API 360을 통해 다양한 기능들을 어플리케이션 370으로 제공할 수 있다. 한 실시 예에 따르면, 미들웨어 330(예: 미들웨어 143)은 런타임 라이브러리 335, 어플리케이션 매니저(application manager) 341, 윈도우 매니저(window manager) 342, 멀티미디어 매니저(multimedia manager) 343, 리소스 매니저(resource manager) 344, 파워 매니저(power manager) 345, 데이터베이스 매니저(database manager) 346, 패키지 매니저(package manager) 347, 연결 매니저(connectivity manager) 348, 통지 매니저(notification manager) 349, 위치 매니저(location manager) 350, 그래픽 매니저(graphic manager) 351, 또는 보안 매니저(security manager) 352 중 적어도 하나를 포함할 수 있다.
런타임 라이브러리 335는, 예를 들면, 어플리케이션 370이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 런타임 라이브러리 335는 입출력 관리, 메모리 관리, 또는 산술 함수에 대한 기능 등을 수행할 수 있다.
어플리케이션 매니저 341은, 예를 들면, 어플리케이션 370 중 적어도 하나의 어플리케이션의 생명 주기(life cycle)를 관리할 수 있다. 윈도우 매니저 342는 화면에서 사용하는 GUI 자원을 관리할 수 있다. 멀티미디어 매니저 343은 다양한 미디어 파일들의 재생에 필요한 포맷(format)을 파악하고, 해당 포맷에 맞는 코덱(codec)을 이용하여 미디어 파일의 인코딩(encoding) 또는 디코딩(decoding)을 수행할 수 있다. 리소스 매니저 344는 어플리케이션 370 중 적어도 어느 하나의 어플리케이션의 소스 코드, 메모리 또는 저장 공간 등의 자원을 관리할 수 있다.
파워 매니저 345는, 예를 들면, 바이오스(BIOS: basic input/output system) 등과 함께 동작하여 배터리(battery) 또는 전원을 관리하고, 전자 장치의 동작에 필요한 전력 정보 등을 제공할 수 있다. 데이터베이스 매니저 346은 어플리케이션 370 중 적어도 하나의 어플리케이션에서 사용할 데이터베이스를 생성, 검색, 또는 변경할 수 있다. 패키지 매니저 347은 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 업데이트를 관리할 수 있다.
연결 매니저 348은, 예를 들면, WiFi 또는 블루투스 등의 무선 연결을 관리할 수 있다. 통지 매니저 349는 도착 메시지, 약속, 근접성 알림 등의 사건(event)을 사용자에게 방해되지 않는 방식으로 표시 또는 통지할 수 있다. 위치 매니저 350은 전자 장치의 위치 정보를 관리할 수 있다. 그래픽 매니저 351은 사용자에게 제공될 그래픽 효과 또는 이와 관련된 유저 인터페이스를 관리할 수 있다. 보안 매니저 352는 시스템 보안 또는 사용자 인증 등에 필요한 제반 보안 기능을 제공할 수 있다. 한 실시 예에 따르면, 전자 장치(예: 전자 장치 101)가 전화 기능을 포함한 경우, 미들웨어 330은 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화 매니저(telephony manager)를 더 포함할 수 있다.
미들웨어 330은 전술한 구성요소들의 다양한 기능의 조합을 형성하는 미들웨어 모듈을 포함할 수 있다. 미들웨어 330은 차별화된 기능을 제공하기 위해 운영 체제의 종류 별로 특화된 모듈을 제공할 수 있다. 또한, 미들웨어 330은 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다.
API 360(예: API 145)는, 예를 들면, API 프로그래밍 함수들의 집합으로, 운영 체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 iOS의 경우, 플랫폼(platform) 별로 하나의 API 셋을 제공할 수 있으며, 타이젠(tizen)의 경우, 플랫폼 별로 두 개 이상의 API 셋을 제공할 수 있다.
어플리케이션 370(예: 어플리케이션 프로그램 147)은, 예를 들면, 홈 371, 다이얼러 372, SMS/MMS 373, IM(instant message) 374, 브라우저 375, 카메라 376, 알람 377, 컨택트 378, 음성 다이얼 379, 이메일 380, 달력 381, 미디어 플레이어 382, 앨범 383, 시계(watch) 384 등의 어플리케이션을 포함할 수 있다. 다양한 실시 예들에 따라, 어플리케이션 370은, 건강 관리(health care)(예: 운동량 또는 혈당 등을 측정), 또는 환경 정보 제공(예: 기압, 습도, 또는 온도 정보 등을 제공) 등의 기능을 수행할 수 있는 하나 이상의 어플리케이션을 포함할 수 있다. 다양한 실시 예들에 따라, 어플리케이션 370은, 영상 서비스를 수행할 수 있는 하나 이상의 어플리케이션을 포함할 수 있다. 예를 들면, 어플리케이션 370은, 전자 장치들 간에 음성 통화를 수행하는 중에 영상을 공유할 수 있는 어플리케이션을 포함할 수 있다.
한 실시 예에 따르면, 어플리케이션 370은 전자 장치(예: 전자 장치 101)와 외부 전자 장치(예: 전자 장치(102, 104)) 사이의 정보 교환을 지원하는 어플리케이션(이하, 설명의 편의 상, "정보 교환 어플리케이션")을 포함할 수 있다. 정보 교환 어플리케이션은, 예를 들면, 외부 전자 장치에 특정 정보를 전달하기 위한 알림 전달(notification relay) 어플리케이션, 또는 외부 전자 장치를 관리하기 위한 장치 관리(device management) 어플리케이션을 포함할 수 있다.
예를 들면, 알림 전달 어플리케이션은 전자 장치의 다른 어플리케이션(예: SMS/MMS 어플리케이션, 이메일 어플리케이션, 건강 관리 어플리케이션, 또는 환경 정보 어플리케이션 등)에서 발생된 알림 정보를 외부 전자 장치(예: 전자 장치(102, 104))로 전달하는 기능을 포함할 수 있다. 또한, 알림 전달 어플리케이션은, 예를 들면, 외부 전자 장치로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다.
장치 관리 어플리케이션은, 예를 들면, 전자 장치와 통신하는 외부 전자 장치(예: 전자 장치(102, 104))의 적어도 하나의 기능(예: 외부 전자 장치 자체(또는, 일부 구성 부품)의 턴-온(turn-on)/턴-오프(turn-off) 또는 디스플레이의 밝기(또는, 해상도) 조절), 외부 전자 장치에서 동작하는 어플리케이션 또는 외부 전자 장치에서 제공되는 서비스(예: 통화 서비스 또는 메시지 서비스 등)를 관리(예: 설치, 삭제, 또는 업데이트)할 수 있다.
한 실시 예에 따르면, 어플리케이션 370은 외부 전자 장치(예: 전자 장치(102, 104))의 속성)에 따라 지정된 어플리케이션(예: 모바일 의료 기기의 건강 관리 어플리케이션, 청각 측정 어플리케이션, 오디오 재생 어플리케이션 등)을 포함할 수 있다. 한 실시 예에 따르면, 어플리케이션 370은 외부 전자 장치(예: 서버 106 또는 전자 장치(102, 104))로부터 수신된 어플리케이션을 포함할 수 있다. 한 실시 예에 따르면, 어플리케이션 370은 프리로드 어플리케이션(preloaded application) 또는 서버로부터 다운로드 가능한 제3자 어플리케이션(third party application)을 포함할 수 있다. 도시된 실시 예에 따른 프로그램 모듈 310의 구성요소들의 명칭은 운영 체제의 종류에 따라서 달라질 수 있다.
다양한 실시 예들에 따르면, 프로그램 모듈 310의 적어도 일부는 소프트웨어, 펌웨어(firmware), 하드웨어, 또는 이들 중 적어도 둘 이상의 조합으로 구현될 수 있다. 프로그램 모듈 310의 적어도 일부는, 예를 들면, 프로세서(예: 프로세서 210)에 의해 구현(implement)(예: 실행)될 수 있다. 프로그램 모듈 310의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트(sets of instructions) 또는 프로세스 등을 포함할 수 있다.
본 문서에서 사용된 용어 "모듈"은, 예를 들면, 하드웨어, 소프트웨어 또는 펌웨어 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "모듈"은, 예를 들면, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component), 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "모듈"은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, "모듈"은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시 예들에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 기록 매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서 120)에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들면, 메모리 130이 될 수 있다.
컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예: 자기테이프), 광기록 매체(optical media)(예: CD-ROM(compact disc read only memory), DVD(digital versatile disc), 자기-광 매체(magneto-optical media)(예: 플롭티컬 디스크(floptical disk)), 하드웨어 장치(예: ROM(read only memory), RAM(random access memory), 또는 플래시 메모리 등) 등을 포함할 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
다양한 실시 예들에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시 예들에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다. 그리고 본 문서에 개시된 실시 예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 문서에서 기재된 기술의 범위를 한정하는 것은 아니다. 따라서, 본 문서의 범위는, 본 문서의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시 예를 포함하는 것으로 해석되어야 한다.
제안하는 본 발명의 다양한 실시 예들에서는, 전자 장치에서 음성 통화 중에 영상 공유 또는 영상 통화 등과 같은 영상 서비스를 병행하여 수행할 수 있는 방법 및 장치에 관하여 개시한다. 다양한 실시 예들에서는, 음상 통화 중에 영상 서비스를 위한 데이터 통신 연결에 있어서, 데이터(예: 영상)를 보다 안정적으로 전송할 수 있는 방법 및 장치에 관하여 개시한다. 다양한 실시 예들에서, 음성 통화를 위한 통신 채널과 영상 서비스를 위한 통신 채널을 구분하여 음성 통화 중 영상 전송을 위한 방법 및 장치에 관하여 개시한다. 다양한 실시 예들에서, 실시간으로 입력된 영상(예: 동영상, 이미지)를 전자 장치의 통신 회로(예: 통신부)를 이용하여 하나 또는 그 이상의 다른 전자 장치들에 전송하여, 전자 장치들 간에 영상을 공유할 수 있고, 공유된 영상을 기반으로 상호 작용을 제공할 수 있는 방법 및 장치에 관하여 개시한다.
본 발명의 다양한 실시 예들에 따른 전자 장치는, 통신 기능 및/또는 카메라 기능을 지원하며, AP(application processor), CP(communication processor), GPU(graphic processing unit), 및 CPU(central processing unit) 등의 다양한 프로세서 중 하나 또는 그 이상을 사용하는 모든 장치를 포함할 수 있다. 예를 들면, 다양한 실시 예들에 따른 전자 장치는, 통신 기능 및/또는 카메라 기능을 지원하는 모든 정보통신기기, 멀티미디어기기, 웨어러블 장치(wearable device), IoT(Internet of Things) 기기, 또는 그에 대한 응용기기를 포함할 수 있다.
이하에서, 첨부 도면을 참조하여 본 발명의 다양한 실시 예들에 따른 동작 방법 및 장치에 대하여 살펴보기로 한다. 하지만, 본 발명의 다양한 실시 예들이 하기에서 기술하는 내용에 의해 제한되거나 한정되는 것은 아니므로, 하기의 실시 예에 의거하여 다양한 실시 예들에 적용할 수 있음에 유의하여야 한다. 이하에서 설명되는 본 발명의 다양한 실시 예들에서는 하드웨어적인 접근 방법을 예시로서 설명한다. 하지만, 본 발명의 다양한 실시 예들에서는 하드웨어와 소프트웨어를 모두 사용하는 기술을 포함하고 있으므로, 본 발명의 다양한 실시 예들이 소프트웨어 기반의 접근 방법을 제외하는 것은 아니다.
도 4는 본 발명의 다양한 실시 예들에 따른 시스템을 설명하기 위해 도시하는 도면이다.
도 4에 도시한 바와 같이, 본 발명의 다양한 실시 예들에 따른 시스템은, 전자 장치(500)(예: 제1 전자 장치(500A), 제2 전자 장치(500B)), 적어도 2개의 네트워크들(예: 제1 네트워크(400), 제2 네트워크(600)), 하나 또는 그 이상의 서버들(650)(650A, 650B)을 포함하여 구성할 수 있다. 다양한 실시 예들에 따라, 전자 장치(500)는 발신 측 동작을 위한 제1 전자 장치(500A)와 수신 측 동작을 위한 제2 전자 장치(500B)를 포함하여 구성할 수 있다.
다양한 실시 예들에 따라 네트워크(400)는 제1 통신(예: 음성 통화)을 위한 제1 네트워크(400)와 제2 통신(예: 영상 서비스)을 위한 제2 네트워크(600)으로 구분할 수 있다. 다양한 실시 예들에 따라, 제1 네트워크(400)는 이동통신 서비스를 위한 이동통신 네트워크(또는 셀룰러 네트워크)일 수 있고, 기지국(450)을 포함할 수 있다. 다양한 실시 예들에 따라, 제2 네트워크(600)는 P2P(peer to peer) 연결을 위한 데이터 통신 네트워크일 수 있고, 접속 서버(connection server)(650A), 메시지 서버(message server)(650B)를 포함할 수 있다.
도 4를 참조하면, 제1 전자 장치(500A)와 제2 전자 장치(500B)는 제1 네트워크(400)를 통해 음성 통화 가능하며, 제2 네트워크(600)(예: PS 네트워크 또는 WiFi 등)를 통해 서로 데이터 통신이 가능하다.
제1 전자 장치(500A)는 제2 전자 장치(500B)와 음성 통화 중에 영상(예: 카메라를 통해 수신하거나 저장된 동영상, 혹은 스틸 이미지 등)을 제2 전자 장치(500B)에게 전송할 수 있고, 이하에서는 이러한 기능을 영상 서비스라고 칭하기로 한다. 다양한 실시 예들에서는 제1 전자 장치(500A)와 제2 전자 장치(500B)가 P2P 방식으로 연결되어 전자 장치들(500A, 500B) 간 영상을 송수신하는 것을 개시하지만, 본 발명이 이에 한정되는 것은 아니다. 한 실시 예에 따르면, 제1 전자 장치(500A)와 제2 전자 장치(500B)는 서버-클라이언트 방식으로 영상을 송수신할 수도 있다. 다른 한 실시 예에 따르면, 제1 전자 장치(500A)와 제2 전자 장치(500B)는 멀티미디어 서버(미도시)를 이용하여 영상을 서로 송수신할 수도 있다. 다른 한 실시 예에 따르면, 제1 전자 장치(500A)와 제2 전자 장치(500B)는 데이터 통신을 이용하여 음성을 송수신할 수도 있다.
다양한 실시 예들에 따라, 전자 장치(500)(예: 제1 전자 장치(500A), 제2 전자 장치(500B))는 내부 또는 외부에 카메라를 포함할 수 있다. 예를 들면, 전자 장치(500)는 물리적으로 연결되는 내부 카메라를 포함하거나, 또는 기능적으로 연결되는 외부 카메라를 포함할 수 있다.
다양한 실시 예들에서, 제1 전자 장치(500A)와 제2 전자 장치(500B) 간에 송수신되는 영상은 카메라를 이용하여 실시간 촬영되는 카메라 촬영 영상을 포함할 수 있고, 또는 저장(예: 녹화)된 영상을 포함할 수 있다. 다양한 실시 예들에 따라, 저장된 영상은 전자 장치(500) 내부 또는 외부(예: 웨어러블 장치, 서버 등)에 저장될 수 있다.
다양한 실시 예들에서, 전자 장치(500)가 음성 통화 중에 영상 서비스를 위한 영상을 송수신하는 동작 예시들에 대해 후술하는 도면들을 참조하여 상세히 설명된다.
서버(650)는 제1 전자 장치(500A)와 제2 전자 장치(500B)를 P2P 방식으로 연결할 수 있고, 하나 또는 그 이상으로 구성할 수 있다. 예를 들면, 다양한 실시 예들에서, 서버(650)가, 접속 서버(650A)와 메시지 서버(650B)로 구성된 예시를 설명한다.
다양한 실시 예들에서, 접속 서버(650A)는 제1 전자 장치(500A)와 제2 전자 장치(500B)의 세션(session) 연결을 위한 DNS(Domain Name System) 기능을 제공할 수 있다. 다양한 실시 예들에서, 접속 서버(650A)는 제1 전자 장치(500A)와 제2 전자 장치(500B)를 P2P 방식으로 연결할 수 있다.
다양한 실시 예들에서, 메시지 서버(650B)는 제1 전자 장치(500A)가 제2 전자 장치(500B)에게 영상 송수신을 개시하기 위한 시작 요청 메시지를 전송할 수 있다.
다양한 실시 예들에서, 서버(650)(예: 접속 서버(650A), 메시지 서버(650B))는 사용자 계정, 프로필 정보, 서비스 가입 정보를 관리할 수 있다.
다양한 실시 예들에서는, 음성 통화 연결을 요청(예: 발신)하거나, 음성 통화 연결 요청을 수신하는 주체와는 관계 없이, 음성 통화 중에 영상을 전송하고자 하는 전자 장치가 발신 단말이 되고, 영상을 수신하는 전자 장치가 수신 단말이 될 수 있다. 다양한 실시 예들에서, 음성 통화 중 영상 서비스를 위한 유저 인터페이스는 발신 단말과 수신 단말에 따라 다르게 제공될 수 있으며, 이에 대해 후술하는 도면들을 참조하여 상세히 설명된다.
도 5는 본 발명의 다양한 실시 예들에 따른 전자 장치의 구성을 개략적으로 도시하는 도면이다.
도 5를 참조하면, 본 발명의 다양한 실시 예들에 따른 전자 장치(500)는, 예를 들면, 무선 통신부(510)(예: 통신 회로(communication circuitry)를 포함하는 통신부), 사용자 입력부(520)(예: 입력 회로(input circuitry)를 포함하는 입력부), 터치스크린(touchscreen)(530), 오디오 처리부(540)(예: 출력 회로(output circuitry)를 포함하는 출력부), 메모리(550), 인터페이스부(560), 카메라 모듈(570), 제어부(580)(예: 프로세싱 회로(processing circuitry)를 포함하는 프로세서(120, 210)), 그리고 전원 공급부(590)를 포함할 수 있다. 본 발명의 다양한 실시 예들에서 전자 장치(500)는 도 5에 도시된 구성들이 필수적인 것은 아니어서, 도 5에 도시된 구성들보다 많은 구성들을 가지거나, 또는 그보다 적은 구성들을 가지는 것으로 구현될 수 있다.
무선 통신부(510)는, 예를 들면, 도 2의 통신 모듈(220)과 동일 또는 유사한 구성을 가질 수 있다. 무선 통신부(510)는 전자 장치(500)와 외부 전자 장치(예: 다른 전자 장치(102, 104), 서버(106, 650)) 사이의 무선 통신을 가능하게 하는 하나 또는 그 이상의 모듈들을 포함할 수 있다. 예를 들어, 무선 통신부(510)는 이동통신 모듈(511), 무선 랜(WLAN, wireless local area network) 모듈(513), 근거리 통신 모듈(515), 그리고 위치 산출 모듈(517) 등을 포함하여 구성될 수 있다. 다양한 실시 예들에서 무선 통신부(510)는 주변의 외부 전자 장치와 통신을 수행하기 위한 모듈(예: 근거리 통신 모듈, 원거리 통신 모듈 등)을 포함할 수 있다.
이동통신 모듈(511)은, 예를 들면, 도 2의 셀룰러 모듈(221)과 동일 또는 유사한 구성을 가질 수 있다. 이동통신 모듈(511)은 이동통신 네트워크 상에서 기지국, 외부 전자 장치(예: 다른 전자 장치(104)), 그리고 다양한 서버들(예: 어플리케이션 서버, 관리 서버, 통합 서버(integration server), 프로바이더 서버(provider server), 컨텐츠 서버(content server), 인터넷 서버(internet server), 또는 클라우드 서버(cloud server) 등) 중 적어도 하나와 무선 신호를 송수신할 수 있다. 무선 신호는 음성 신호, 데이터 신호 또는 다양한 형태의 제어 신호를 포함할 수 있다. 이동통신 모듈(511)은 전자 장치(500)의 동작에 필요한 다양한 데이터들을 사용자 요청에 응답하여 외부 장치(예: 서버(106) 또는 다른 전자 장치(104) 등)로 전송할 수 있다.
무선 랜 모듈(513)은, 예를 들면, 도 2의 WiFi 모듈(223)과 동일 또는 유사한 구성을 가질 수 있다. 무선 랜 모듈(513)은 무선 인터넷 접속 및 다른 외부 전자 장치(예: 다른 전자 장치(102) 또는 서버(106) 등)와 무선 랜 링크(link)를 형성하기 위한 모듈을 나타낼 수 있다. 무선 랜 모듈(513)은 전자 장치(500)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WiFi(Wireless Fidelity), Wibro(Wireless broadband), WiMax(World interoperability for Microwave access), HSDPA(High Speed Downlink Packet Access), 또는 mmWave(millimeter Wave) 등이 이용될 수 있다. 무선 랜 모듈(513)은 전자 장치(500)와 네트워크(예: 무선 인터넷 네트워크)(예: 네트워크(162))를 통해 연결되어 있는 다른 외부 전자 장치(예: 다른 전자 장치(104) 등)와 연동하여, 전자 장치(500)의 다양한 데이터들을 외부로 전송하거나, 또는 외부로부터 수신할 수 있다. 무선 랜 모듈(513)은 상시 온(on) 상태를 유지하거나, 전자 장치(500)의 설정 또는 사용자 입력에 따라 턴-온(turn-on)될 수 있다.
근거리 통신 모듈(515)은 근거리 통신(short range communication)을 수행하기 위한 모듈을 나타낼 수 있다. 근거리 통신 기술로 블루투스(Bluetooth), 저전력 블루투스(BLE, Bluetooth Low Energy), RFID(Radio Frequency IDentification), 적외선 통신(IrDA, Infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee), 또는 NFC(Near Field Communication) 등이 이용될 수 있다. 근거리 통신 모듈(515)은 전자 장치(500)와 네트워크(예: 근거리 통신 네트워크)를 통해 연결되어 있는 다른 외부 전자 장치(예: 다른 전자 장치(102))와 연동하여, 전자 장치(500)의 다양한 데이터들을 외부 전자 장치로 전송하거나 수신 받을 수 있다. 근거리 통신 모듈(515)은 상시 온 상태를 유지하거나, 전자 장치(500)의 설정 또는 사용자 입력에 따라 턴-온(turn-on)될 수 있다.
위치 산출 모듈(517)은, 예를 들면, 도 2의 GNSS 모듈(227)과 동일 또는 유사한 구성을 가질 수 있다. 위치 산출 모듈(517)은 전자 장치(500)의 위치를 획득하기 위한 모듈로서, 대표적인 예로는 GPS(global position system) 모듈을 포함할 수 있다. 위치 산출 모듈(517)은 삼각 측량의 원리로 전자 장치(500)의 위치를 측정할 수 있다.
사용자 입력부(520)는 전자 장치(500)의 동작 제어를 위한 입력 데이터를 사용자 입력에 응답하여 발생할 수 있다. 사용자 입력부(520)는 사용자의 다양한 입력을 검출하기 위한 적어도 하나의 입력 장치(input device)를 포함할 수 있다. 예를 들어, 사용자 입력부(520)는 키패드(key pad), 돔 스위치(dome switch), 물리 버튼, 터치패드(정압/정전), 조그셔틀(jog & shuttle), 그리고 센서(예: 센서 모듈(240)) 등을 포함할 수 있다.
사용자 입력부(520)는 일부가 전자 장치(500)의 외부에 버튼 형태로 구현될 수 있으며, 일부 또는 전체가 터치 패널(touch panel)로 구현될 수도 있다. 사용자 입력부(520)는 본 발명의 다양한 실시 예들에 따른 전자 장치(500)의 동작(예: 오디오 재생 기능, 전자 장치 연결 기능, 영상 전송 또는 공유 기능 등)을 개시(initiation)하기 위한 사용자 입력을 수신할 수 있고, 사용자 입력에 따른 입력 신호를 발생할 수 있다.
터치스크린(530)은 입력 기능과 표시 기능을 동시에 수행할 수 있는 입출력 장치를 나타내며, 디스플레이(531)(예: 디스플레이(160, 260))와 터치감지부(533)을 포함할 수 있다. 터치스크린(530)은 전자 장치(500)와 사용자 사이에 입출력 인터페이스를 제공하며, 사용자의 터치 입력을 전자 장치(500)에게 전달할 수 있고, 또한 전자 장치(500)로부터의 출력을 사용자에게 보여주는 매개체 역할을 포함할 수 있다. 터치스크린(530)은 사용자에게 시각적인 출력(visual output)을 보여줄 수 있다. 시각적 출력은 텍스트(text), 그래픽(graphic), 비디오(video)와 이들의 조합의 형태로 나타날 수 있다.
디스플레이(531)는 전자 장치(500)에서 처리되는 다양한 정보를 표시(출력)할 수 있다. 예를 들어, 디스플레이(531)는 음성 통화 중에 영상 서비스와 관련된 유저 인터페이스(UI, user interface) 또는 그래픽 유저 인터페이스(GUI, graphical UI)를 표시할 수 있다. 디스플레이(531)는 다양한 디스플레이(예: 디스플레이(160))가 사용될 수 있다. 다양한 실시 예들에서 디스플레이(531)는 벤디드 디스플레이가 사용될 수 있다.
다양한 실시 예들에서 디스플레이(531)는 액정 디스플레이(LCD, Liquid Crystal Display), 발광다이오드(LED, Light Emitting Diode), 유기발광다이오드(OLED, Organic LED) 및 능동형 OLED(AMOLED, Active Matrix OLED) 등에서 액정을 싸고 있는 유리 기판을 플라스틱 필름으로 대체하여, 접고 펼 수 있는 유연성을 부여할 수 있다. 다양한 실시 예들에서 디스플레이(531)는 전자 장치(500)의 적어도 하나의 측면(side)(예: 좌측, 우측, 상측, 하측 중 적어도 하나의 면)까지 연장되어, 벤디드 디스플레이가 동작 가능한 곡률 반경(radius of curvature)(예: 곡률 반경 5cm, 1cm, 7.5mm, 5mm, 4mm 등) 이하로 접혀 하우징의 측면에 체결될 수 있다.
터치감지부(533)는 디스플레이(531)에 안착될 수 있으며, 터치스크린(530) 표면에 접촉 또는 근접하는 사용자 입력을 감지할 수 있다. 사용자 입력은 싱글터치(single-touch), 멀티터치(multi-touch), 호버링(hovering), 또는 에어 제스처 중 적어도 하나에 기반하여 입력되는 터치 이벤트 또는 근접 이벤트를 포함할 수 있다. 터치감지부(533)는 다양한 실시 예들에서 전자 장치(500)의 사용과 관련된 동작을 개시하기 위한 사용자 입력을 수신할 수 있고, 사용자 입력에 따른 입력 신호를 발생할 수 있다. 다양한 실시 예들에 따라 터치감지부(533)는 디스플레이(531)의 특정 부위에 가해진 압력 또는 디스플레이(531)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력 신호로 변환하도록 구성될 수 있다. 터치감지부(533)는 입력 도구(예: 사용자 손가락, 전자 펜 등)가 디스플레이(531)의 표면 상에 터치 또는 근접되는 위치 및 면적을 검출할 수 있다. 또한 터치감지부(533)는 적용한 터치 방식에 따라 터치 시의 압력(예: 포스 터치)까지도 검출할 수 있도록 구현될 수 있다.
오디오 처리부(540)는, 예를 들면, 도 2의 오디오 모듈(280)과 동일 또는 유사한 구성을 가질 수 있다. 오디오 처리부(540)는 제어부(580)로부터 입력 받은 오디오 신호를 스피커(SPK, speaker)(541)로 전송하고, 마이크(MIC, microphone)(543)로부터 입력 받은 음성 등의 오디오 신호를 제어부(580)에 전달하는 기능을 수행할 수 있다. 오디오 처리부(540)는 음성/음향 데이터를 제어부(580)의 제어에 따라 스피커(541)를 통해 가청음으로 변환하여 출력하고, 마이크(543)로부터 수신되는 음성 등의 오디오 신호를 디지털 신호로 변환하여 제어부(580)에게 전달할 수 있다.
스피커(541)는 무선 통신부(510)로부터 수신되거나, 또는 메모리(550)에 저장된 오디오 데이터를 출력할 수 있다. 스피커(541)는 전자 장치(500)에서 수행되는 다양한 동작(기능)과 관련된 음향 신호를 출력할 수도 있다.
마이크(543)는 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리할 수 있다. 마이크(543)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘(noise reduction algorithm)이 구현될 수 있다. 마이크(543)는 음성 명령(예: 전자 장치 연결, 오디오 재생, 또는 영상 전송 또는 공유 등의 기능을 개시하기 위한 음성 명령) 등과 같은 오디오 스트림의 입력을 담당할 수 있다.
메모리(550)(예: 메모리(130, 230))은 제어부(580)에 의해 실행되는 하나 또는 그 이상의 프로그램들(one or more programs)을 저장할 수 있고, 입/출력되는 데이터들의 임시 저장을 위한 기능을 수행할 수도 있다. 입/출력되는 데이터들은, 예를 들면, 동영상, 이미지, 사진, 또는 오디오 등의 파일 및 네트워크 정보(또는 통신 품질 정보)를 포함할 수 있다. 메모리(550)는 획득된 데이터를 저장하는 역할을 담당하며, 실시간으로 획득된 데이터는 일시적인 저장 장치에 저장할 수 있고, 저장하기로 확정된 데이터는 오래 보관 가능한 저장 장치에 저장할 수 있다.
본 발명의 다양한 실시 예들에 따라, 메모리(550)는 다른 전자 장치와 제1 네트워크에 기반하여 음성 통화(voice call)를 수행하고, 다른 전자 장치와 음성 통화를 수행하는 동안, 다른 전자 장치와 영상 통화(video call)를 수행하기 위한 사용자 입력을 감지하고, 사용자 입력에 대응하여, 제2 네트워크에 기반하여 영상 통화 연결 및 디스플레이 상에 영상 통화와 관련된 유저 인터페이스를 표시하고, 및 유저 인터페이스를 통해 카메라를 통해 획득하는 영상을 표시 및 표시하는 영상을 제2 네트워크를 통해 다른 전자 장치에 전송하는 것과 관련되는 하나 또는 그 이상의 프로그램들, 데이터 또는 인스터럭션들(instructions)을 저장할 수 있다.
메모리(550)는 다양한 실시 예들에서, 다른 전자 장치와 제1 통신에 기초하여 음성 통화를 수행하는 동작, 음성 통화 중에 서비스 실행 요청에 응답하여 다른 전자 장치와 제2 통신에 의한 데이터 통신의 가능 여부 및 데이터 통신 품질에 적어도 일부에 기초하여 서비스 연결 여부를 결정하고, 및 서비스 연결 결정 시, 카메라(예: 카메라 모듈(570))를 통해 획득하는 영상을 디스플레이(531)에 표시 및 영상을 제2 통신에 기초하여 다른 전자 장치에 전송하는 것과 관련되는 하나 또는 그 이상의 프로그램들, 데이터 또는 인스트럭션들을 저장할 수 있다.
다양한 실시 예들에서, 제1 통신은 셀룰러 통신 프로토콜을 이용할 수 있고, 제2 통신은 근거리 통신 프로토콜을 이용할 수 있다. 예를 들면, 다양한 실시 예들에서, 제1 통신은 셀룰러 통신 프로토콜 중 서킷 스위칭(circuit switching)에 기반하고, 제2 통신은 셀룰러 통신 프로토콜 중 패킷 스위칭(packet switching)에 기반할 수 있다.
메모리(550)는 다양한 실시 예에서, 서비스 연결 결정 시, 음성 통화를 제1 통신에서 제2 통신으로 변경하여 다른 전자 장치에 전송하는 것과 관련되는 하나 또는 그 이상의 프로그램들, 데이터 또는 인스트럭션들을 추가적으로 저장할 수 있다. 예를 들면, 다양한 실시 예들에 따르면, 메모리(550)는 서비스 연결 결정 시, 제1 통신을 종료하거나, 또는 연결 유지를 위한 데이터만 다른 전자 장치와 전송 및 수신하고, 음성 통화는 제2 통신을 기초로 송수신하도록 변경되는 동작과 관련되는 하나 또는 그 이상의 프로그램들, 데이터 또는 인스트럭션들을 추가적으로 저장할 수 있다.
다양한 실시 예들에 따르면, 서비스 연결 시, 음성과 영상은 서로 다른 통신을 이용할 수 있고, 또는 음성과 영상은 서로 동일한 통신을 이용할 수도 있다. 한 실시 예에 따르면, 음성이 셀롤러 통신 프로토콜 중 패킷 스위칭을 이용하는 경우, 영상 또는 셀룰러 통신 프로토콜의 패킷 스위칭을 이용하여 전송될 수 있다. 다른 한 실시 예에 따르면, 음성과 영상이 동일한 통신을 이용하도록 전환된 경우, 음성에 사용하던 통신의 연결을 종료하거나, 또는 최소한의 연결만 유지하다가, 이후에 영상 종료(예: 서비스 연결 종료) 시 다시 음성 통화에 사용하도록 할 수도 있다. 다른 한 실시 예에 따르면, 최소한의 연결만 유지된 제1 통신은, 영상 통신 종료 이후, 자동으로 음성 통화를 지원하도록 할 수도 있다. 한 실시 예에 따르면, 최소한의 연결만을 유지하도록 킵 얼라이브 패킷(keep alive packet)과 같은 더미 패킷(dummy packet)을 전송할 수 있다. 예를 들면, 패킷의 전송이 전무하게 되는 경우 통신 주체(예: 전자 장치들)는 통신이 더 이상 없다고 판단하여, 통신 연결을 끊을 수 있으므로, 이를 방지하기 위하여 킵 얼라이브 패킷을 전송할 수도 있다.
메모리(550)는 하나 이상의 어플리케이션 모듈(또는 소프트웨어 모듈) 등을 포함할 수 있다. 메모리(550)는 다양한 실시 예들에서, 컴퓨터로 읽을 수 있는 기록 매체를 포함할 수 있다.
다양한 실시 예들에 따르면, 기록 매체는, 다른 전자 장치와 제1 네트워크에 기반하여 음성 통화(voice call)를 수행하는 동작, 상기 다른 전자 장치와 음성 통화를 수행하는 동안, 상기 다른 전자 장치와 영상 통화(video call)를 수행하기 위한 사용자 입력에 대응하여, 제2 네트워크에 기반하여 상기 영상 통화 연결 및 디스플레이 상에 상기 영상 통화와 관련된 유저 인터페이스를 표시하는 동작, 및 상기 유저 인터페이스를 통해 카메라를 통해 획득하는 영상을 표시 및 상기 표시하는 영상을 상기 제2 네트워크를 통해 상기 다른 전자 장치에 전송하는 동작을 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 포함할 수 있다.
인터페이스부(560)는, 예를 들면, 도 2의 인터페이스(270)와 동일 또는 유사한 구성을 가질 수 있다. 인터페이스부(560)는 다른 전자 장치로부터 데이터를 전송 받거나, 전원을 공급받아 전자 장치(500) 내부의 각 구성들에 전달할 수 있다. 인터페이스부(560)는 전자 장치(500) 내부의 데이터가 다른 전자 장치로 전송되도록 할 수 있다. 예를 들어, 유/무선 헤드폰 포트(port), 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 오디오 입/출력(input/output) 포트, 영상 입/출력 포트, 이어폰 포트 등이 인터페이스부(560)에 포함될 수 있다.
카메라 모듈(570)(예: 카메라 모듈(291))은 전자 장치(500)의 촬영 기능을 지원하는 구성을 나타낸다. 카메라 모듈(570)은 제어부(580)의 제어에 따라 임의의 피사체를 촬영하고, 촬영된 데이터(예: 동영상, 이미지)를 디스플레이(531) 및 제어부(580)에 전달할 수 있다. 본 발명의 다양한 실시 예들에서는 도시하지 않았으나, 카메라 모듈(570)은 전자 장치(500)에 실장되는 내장 카메라 모듈 또는 전자 장치(500)에 유선 또는 무선 인터페이스로 연결(예: 케이블 연결, 블루투스 연결 등)되는 외장 카메라 모듈을 포함할 수 있다. 예를 들면, 카메라 모듈(570)은 전자 장치(500)와 블루투스로 연결된 주변 카메라 장치(예: VR(virtual reality) 장치, 360 카메라(또는 360도 카메라), 카메라를 구비한 다른 전자 장치(예: 로봇 청소기, TV, 모니터 등) 등)를 포함할 수 있다. 다양한 실시 예들에 따라, 카메라 모듈(570)은 탈부착 가능한(attachable and detachable) 카메라 모듈을 포함할 수 있다.
제어부(580)는, 이에 한정하지는 않지만, 전용 프로세서(dedicated processor), 중앙처리장치(CPU, central processing unit), 어플리케이션 프로세서(AP, application processor), 또는 커뮤니케이션 프로세서(CP, communication processor) 등과 같은 다양한 프로세신 회로(processing circuitry)를 포함할 수 있다. 제어부(580)는 전자 장치(500)의 전반적인 동작을 제어할 수 있다. 다양한 실시 예들에서 제어부(580)는, 예를 들면, 도 2의 프로세서(210)와 동일 또는 유사한 구성을 가질 수 있다. 다양한 실시 예들에서 제어부(580)는 다른 전자 장치와 제1 네트워크에 기반하여 음성 통화(voice call)를 수행하는 동작, 다른 전자 장치와 음성 통화를 수행하는 동안, 다른 전자 장치와 영상 통화(video call)를 수행하기 위한 사용자 입력을 감지하는 동작, 사용자 입력에 대응하여, 제2 네트워크에 기반하여 영상 통화 연결 및 디스플레이(531) 상에 영상 통화와 관련된 유저 인터페이스를 표시하는 동작, 및 유저 인터페이스를 통해 카메라(예: 카메라 모듈(570))를 통해 획득하는 영상을 표시 및 표시하는 영상을 제2 네트워크를 통해 다른 전자 장치에 전송하는 동작을 처리할 수 있다.
다양한 실시 예들에서 제어부(580)는 다른 전자 장치와 제1 통신에 기초하여 음성 통화를 수행하는 동작, 음성 통화 중에 서비스 실행 요청에 응답하여 다른 전자 장치와 제2 통신에 의한 데이터 통신의 가능 여부 및 데이터 통신 품질에 적어도 일부에 기초하여 서비스 연결 여부를 결정하는 동작, 및 서비스 연결 결정 시, 카메라(예: 카메라 모듈(570))를 통해 획득하는 영상을 디스플레이(531)에 표시 및 영상을 제2 통신에 기초하여 다른 전자 장치에 전송하는 동작을 처리할 수 있다.
제어부(580)는 전자 장치(500)의 동작을 제어하기 위한 하나 또는 그 이상의 프로세서들을 포함할 수 있다. 다양한 실시 예들에서 제어부(580)는 오디오 처리부(540), 인터페이스부(560), 디스플레이(531), 카메라 모듈(570) 등의 하드웨어적 모듈의 동작을 제어할 수 있다. 본 발명의 다양한 실시 예들에 따른 제어부(580)의 제어 동작은 후술하는 도면들을 참조하여 구체적으로 설명된다.
본 발명의 다양한 실시 예들에 따르면, 제어부(580)는 메모리(550)에 저장되는 하나 또는 그 이상의 프로그램들을 실행하여 본 발명의 다양한 실시 예들에 따른 전자 장치(500)의 동작을 제어하는 하나 또는 그 이상의 프로세서들(one or more processors)로 구현될 수 있다.
본 발명의 다양한 실시 예들에 따르면, 제어부(580)는 음성 통화 중 영상 서비스와 관련된 서비스 연결을 처리하기 위한 서비스 처리 모듈(585)을 포함할 수 있다. 다양한 실시 예들에 따라, 서비스 처리 모듈(585)은, 예를 들면, 제1 통신 처리부(585A), 제2 통신 처리부(585B), 인터랙션 처리부(585C) 등을 포함할 수 있다.
다양한 실시 예들에 따라, 제1 통신 처리부(585A)는, 예를 들면, 제1 통신(예: 서킷 스위치(CS, circuit switch) 통신으로, 예를 들면, 3G 통신)(예: 제1 네트워크(400))에 기반하여 전자 장치들 간의 음성 통화 수행과 관련된 동작을 처리할 수 있다.
다양한 실시 예들에 따라, 제2 통신 처리부(585B)는, 예를 들면, 제2 통신(예: 패킷 스위치(PS, packet switch) 통신으로, 예를 들면, 데이터 통신)(예: 제2 네트워크(600))에 기반하여 전자 장치들 간의 영상 서비스 수행과 관련된 동작을 처리할 수 있다. 다양한 실시 예들에 따라, 제2 통신 처리부(585B)는 제1 통신에 의한 음성 통화 중에 서비스 실행 요청에 응답하여 다른 전자 장치와 제2 통신에 의한 데이터 통신의 가능 여부 및 데이터 통신 품질에 적어도 일부에 기초하여 서비스 연결 여부를 결정하고, 서비스 연결 결정 시, 획득하는 영상을 디스플레이(531)에 표시하고, 획득하는 영상을 제2 통신에 기초하여 다른 전자 장치에 전송할 수 있다.
다양한 실시 예들에 따라, 제어부(580)는, 서비스 연결 결정 시, 제2 통신에 기초하여 다른 전자 장치로부터 수신되거나 마이크(543)에 의해 획득하는 음성을 스피커(541)에 출력하고, 상기 획득하는 음성을 제2 통신에 기초하여 다른 전자 장치에 전송할 수도 있다.
다양한 실시 예에 따르면, 제어부(580)는, 서비스 연결 결정 시, 음성 통화를 제1 통신에서 제2 통신으로 변경하여 다른 전자 장치에 전송하도록 제1 통신 처리부(585A), 제2 통신 처리부(585B)를 제어할 수도 있다. 예를 들면, 제어부(580)는, 서비스 연결 결정 시, 제1 통신을 종료하거나 연결 유지를 위한 최소한의 데이터만 다른 전자 장치에 전송 및 수신하고, 음성 통화는 제2 통신을 기초로 송수신하도록 제어할 수 있다.
다양한 실시 예들에 따라, 인터랙션 처리부(585C)는 음성 통화 중에 영상 서비스와 관련된 유저 인터페이스를 제공하는 것과 관련된 동작을 처리할 수 있다. 다양한 실시 예들에 따라, 인터랙션 처리부(585C)는 음성 통화 중에 영상 서비스와 관련된 유저 인터페이스에 기반하여 입력되는 사용자의 인터랙션을 처리할 수 있다. 다양한 실시 예들에 따라, 인터랙션 처리부(585C)는 음성 통화 중에 제스처를 감지할 수 있고, 감지된 제스처에 반응하여 모드(예: 음성 서비스 모드, 영상 서비스 모드) 간 실시간 전환을 처리할 수 있다.
전원 공급부(590)는 제어부(580)의 제어에 의해 외부의 전원, 내부의 전원을 인가 받아 각 구성 요소들의 동작에 필요한 전원을 공급할 수 있다. 본 발명의 다양한 실시 예들에서 전원 공급부(590)는 제어부(580)의 제어에 의해 디스플레이(531), 카메라 모듈(570) 등에 전원을 공급 또는 차단(on/off)할 수 있다.
이상에서 살펴본 바와 같이, 본 발명의 다양한 실시 예들에 따른 전자 장치(500)는, 카메라(예: 카메라 모듈(570)), 디스플레이(531), 적어도 하나의 프로토콜(protocol)을 이용하여 다른 전자 장치와 무선 통신을 형성하도록 설정된 통신 회로(예: 무선 통신부(510)), 및 상기 카메라(570), 상기 디스플레이(531) 및 상기 통신 회로(510)와 기능적으로 연결된 프로세서(예: 제어부(580))를 포함하고, 상기 프로세서는, 상기 다른 전자 장치와 제1 네트워크에 기반하여 음성 통화(voice call)를 수행하고, 상기 다른 전자 장치와 음성 통화를 수행하는 동안, 상기 다른 전자 장치와 영상 통화(video call)를 수행하기 위한 사용자 입력을 감지하고, 상기 사용자 입력에 대응하여, 제2 네트워크에 기반하여 상기 영상 통화 연결 및 상기 디스플레이 상에 상기 영상 통화와 관련된 유저 인터페이스를 표시하고, 및 상기 유저 인터페이스를 통해 상기 카메라를 통해 획득하는 영상을 표시 및 상기 표시하는 영상을 상기 제2 네트워크를 통해 상기 다른 전자 장치에 전송하도록 구성될 수 있다.
다양한 실시 예들에 따라, 상기 사용자 입력은, 상기 전자 장치의 포즈(pose) 상태 변화, 근접(proximity) 상태 변화, 제스처 입력, 상황 인지 또는 음성 명령 입력을 포함할 수 있다.
다양한 실시 예들에 따라, 상기 사용자 입력은, 상기 다른 전자 장치로부터 상기 제2 네트워크를 통해 수신하는 상태 변화 신호를 포함할 수 있다.
다양한 실시 예들에 따라, 상기 프로세서는, 상기 사용자 입력을 모니터링(monitoring) 하고, 상기 사용자 입력의 변화에 대응하여 통화 모드를 전환하도록 구성될 수 있다.
다양한 실시 예들에 따라, 상기 프로세서는, 상기 통화 모드를 전환하고, 상기 통화 모드 전환에 따라 상기 다른 전자 장치에 영상 통화 연결, 또는 영상 통화 연결 종료를 요청하도록 구성될 수 있다.
다양한 실시 예들에 따라, 상기 프로세서는, 음성 통화 모드에 의해 상기 다른 전자 장치와 음성 통화를 유지하는 상태에서, 상기 사용자 입력에 따라 영상 통화 모드로 전환되는 것을 감지하고, 상기 음성 통화를 유지하는 상태에서 상기 영상 통화 모드에 따른 영상 통화를 처리하도록 구성될 수 있다.
다양한 실시 예들에 따라, 상기 프로세서는, 상기 전자 장치의 영상 통화 모드로 전환을 감지하면, 상기 다른 전자 장치의 통화 모드에 대한 정보를 상기 디스플레이에 표시된 상기 유저 인터페이스를 통해 표시하도록 구성될 수 있다.
다양한 실시 예들에 따라, 상기 프로세서는, 상기 영상 통화 모드에서, 상기 유저 인터페이스 상에 부가 기능 실행과 관련된 적어도 하나의 객체를 표시하도록 구성될 수 있다.
다양한 실시 예들에 따라, 상기 프로세서는, 상기 객체 또는 상기 유저 인터페이스 상에 기능 실행과 관련된 사용자 입력을 감지하고, 사용자 입력에 대응하여 카메라 전환, 영상 일시 중지(pause), 포인팅(pointing), 주밍(zooming), 캡쳐(capture), 또는 녹화(record) 중 적어도 하나를 처리하도록 구성될 수 있다.
다양한 실시 예들에 따라, 상기 프로세서는, 상기 영상 통화 모드에서, 제1 입력에 따라 영상을 일시 정지하고, 제2 입력에 따라 포인터를 일시 정지된 영상에 표시하도록 구성될 수 있다.
다양한 실시 예들에 따라, 상기 제1 입력 및 상기 제2 입력은, 상기 전자 장치 또는 상기 다른 전자 장치 중 적어도 하나에 의해 입력될 수 있다.
다양한 실시 예들에 따라, 상기 프로세서는, 영상이 일시 정지된 상태에서, 제3 입력에 응답하여 일시 정지된 영상을 재개하도록 구성될 수 있다.
다양한 실시 예들에 따라, 상기 프로세서는, 상기 유저 인터페이스를 통해 상기 다른 전자 장치와 영상 통화의 가능 여부에 대한 인디케이션(indication)(예: 서비스 객체)을 표시하도록 구성될 수 있다.
다양한 실시 예들에 따라, 상기 프로세서는, 상기 다른 전자 장치와 상기 영상 통화의 가능 여부를 모니터링 하고, 상기 다른 전자 장치와 영상 통화의 가능 여부에 따라, 상기 인디케이션을 변경(예: 활성화/비활성화)하여 표시하도록 구성될 수 있다.
다양한 실시 예들에 따라, 상기 프로세서는, 상기 음성 통화 중에 상기 다른 전자 장치의 영상 통화 가능 여부를 판단하도록 구성될 수 있다.
다양한 실시 예들에 따라, 상기 프로세서는, 영상 통화 모드로 전환을 판단하면, 상기 다른 전자 장치에 영상을 전송하기 이전에, 상기 전자 장치와 상기 다른 전자 장치의 능력(capability) 또는 상태 정보에 기반하여 영상 통화 가능 여부를 판단하도록 구성될 수 있다.
다양한 실시 예들에 따라, 상기 프로세서는, 상기 판단하는 결과에 기반하여, 영상 통화가 가능한 경우, 상기 인디케이션을 활성화 표시하고, 영상 통화가 불가능한 경우, 상기 인디케이션을 비활성화 표시하도록 구성될 수 있다.
다양한 실시 예들에 따라, 상기 프로세서는, 영상 통화 모드 전환 시, 카메라의 파워 모드를 카메라 구동 모드 또는 카메라 대기 모드로 전환하도록 구성될 수 있다.
다양한 실시 예들에 따라, 상기 다른 전자 장치는, 상기 전자 장치와 음성 통화 중에 사용자 입력을 감지하면, 영상 통화 모드로 전환하고, 상기 전자 장치로부터 전송된 영상을 상기 제2 네트워크를 통해 수신하여 표시하도록 구성될 수 있다.
다양한 실시 예들에 따라, 상기 다른 전자 장치는, 상기 전자 장치에 의해 영상 통화 모드가 요청될 시 자동으로 영상 수신을 허락하고, 상기 전자 장치로부터 전송된 영상을 자동 수신하도록 구성될 수 있다.
도 6은 본 발명의 다양한 실시 예들에 따른 전자 장치를 포함하는 시스템의 예시를 도시하는 도면이다.
도 6을 참조하면, 본 발명의 다양한 실시 예들에 따른 전자 장치(500)는, 예를 들면, 영상을 제공하는(전송하는) 발신 측 동작을 위한 제1 전자 장치(610)(예: 송신 전자 장치, Sender)와, 영상을 제공받는(수신하는) 수신 측 동작을 위한 제2 전자 장치(620)(예: 수신 전자 장치, Receiver)를 포함할 수 있다. 다양한 실시 예들에 따라, 제1 전자 장치(610)와 제2 전자 장치(620) 각각은, 도 5에 대응하는 구성을 포함할 수 있다. 예를 들면, 제1 전자 장치(610)와 제2 전자 장치(620) 각각은, 어플리케이션 프로세서(application processor), 디스플레이 모듈(display module), 카메라 모듈, 오디오 모듈(audio module), 통신 모듈 등을 포함할 수 있다. 제1 전자 장치(610)와 제2 전자 장치(620)는, 전자 장치(500)의 종류에 따라 센서 모듈(sensor module)을 더 포함하여 구성할 수 있다.
도 6에 도시한 바와 같이, 제1 전자 장치(610)는, 이미지 수신부(capture)(611), 오디오 수신부(Audio Source)(612), 영상 인코더(Video Encoder)(613), 오디오 인코더(Audio Encoder)(614), 멀티플렉서(muxer, multiplexer)(615), 패킷화부(packetizer)(616), 네트워크부(Network Adaptation)(617), 그리고 어플리케이션부(Application)(618)를 포함하여 구성할 수 있다.
영상 수신부(611)는 하나 이상의 카메라로 구성될 수 있으며, 카메라를 통해 영상(예: 동영상, 이미지(정지영상))을 수신할 수 있다. 영상 수신부(611)는 어플리케이션부(618)로부터 제어 신호를 수신할 수 있고, 제어 신호에 대응하여 카메라 기능을 제어할 수 있다.
영상 인코더(613)는 영상 수신부(611)를 통해 수신된 이미지를 저장하거나, 또는 다른 전자 장치(예: 제2 전자 장치(620))로 전송하기 위하여, 비트 레이트(bitrate), 프레임 레이트(framerate), 드롭 레이트(drop rate), encoding codec type, 해상도, 이미지 종횡비, 픽셀 종횡비 등의 설정에 따라 인코딩된 영상 데이터를 생성할 수 있다. 한 실시 예에 따르면, 영상 인코더(613)는 스틸 이미지에 대해 인코딩된 스틸 이미지(예: JPEG)를 생성할 수도 있고, 이에 메타데이터(metadata)를 부가할 수도 있다. 영상 인코더(613)는 어플리케이션부(618)을 통해 제어 신호를 수신함으로써, 다양한 설정을 조정할 수도 있다.
오디오 수신부(612)는 하나 이상의 마이크를 통해 오디오(예: 음성, 음악 등) 신호를 수신할 수 있다.
오디오 인코더(614)는 수신된 오디오 신호를 저장하거나 다른 전자 장치(예: 제2 전자 장치)로 전송하기 위하여 bitrate, framerate, drop rate, encoding codec type, 지원하는 사업자 네트워크의 특성(예: 지원 코덱, 네트워크 정책 등) 중 하나 이상의 설정에 따라 인코딩된 오디오 데이터를 생성할 수 있다.
멀티플렉서(615)는 오디오 데이터와 영상 데이터를 합성하여 하나의 데이터 포맷으로 생성하기 위한 장치, 또는 소프트웨어 모듈을 포함할 수 있다. 멀티플렉서(615)는 같은 종류의 데이터를 합성할 수도 있다.
한 실시 예에 따르면, 멀티플렉서(615)는 인코딩된 오디오 데이터와 인코딩된 영상 데이터를 합성하여 영상 레이어와 오디오 레이어를 함께 포함하는 파일이나, 또는 데이터 스트림(data stream)을 생성할 수도 있다. 예를 들면, F4V 파일은 H.264 영상 코덱과 AAC 오디오 코덱을 이용하여 합성된 파일 포맷을 나타낼 수 있다.
한 실시 예에 따르면, 멀티플렉서(615)는 각 데이터가 인코딩되기 이전에, 먼저 오디오 데이터와 영상 데이터를 합성할 수도 있다.
패킷화부(packetizer)(616)는 인코딩된 데이터(예: 영상 데이터, 오디오 데이터) 중 하나 이상을 네트워크(630)를 통해 다른 전자 장치에 전송 가능하도록 인코딩된 데이터를 패킷화 하여(예: 패킷 데이터), 네트워크부(617)에 전달할 수 있다.
네트워크부(617)는 데이터의 송수신을 담당하며, 네트워크(630)의 상태를 모니터링하고 이에 따라 제1 전자 장치(610)의 기능을 제어할 수도 있다.
한 실시 예에 따르면, 네트워크부(617)는 인코딩된 데이터나 제어 신호 중 하나 이상을 네트워크(630)를 통해 다른 전자 장치(예: 제2 전자 장치)로 전송할 수 있다. 인코딩된 데이터는 인코딩된 영상, 인코딩된 오디오 중 하나 이상을 포함할 수 있다. 제어 신호는, 예를 들면, 영상 통신을 위한 요청 신호, 메시지 전송 관련 신호, 카메라 제어 요청 신호, 장치 상태 관련 정보, 이미지 처리 신호, 네트워크 설정 정보 중 하나 이상이 포함될 수 있다.
한 실시 예에 따르면, 네트워크부(617)는 어플리케이션부(618)의 제어를 통해 bitrate, framerate, drop rate 등을 설정하거나 변경할 수도 있다. 예를 들면, 네트워크부(617)는 네트워크(630)의 상태를 모니터링하고, 이를 어플리케이션부(618)를 통해 카메라, 인코더(613, 614), 또는 네트워크부(617)에 제어 신호를 전달함으로써, bitrate, framerate, drop rate, encoding codec type, 해상도, 이미지 종횡비, 픽셀 종횡비 중 하나 이상을 변경하거나 설정할 수도 있다.
어플리케이션부(618)는 제1 전자 장치(610)를 구성하는 모듈들의 제어 및 사용자 입력을 처리하기 위한 모듈을 나타낼 수 있다.
한 실시 예에 따르면, 어플리케이션부(618)는 장치 상태를 판단할 수 있다. 예를 들면, 어플리케이션부(618)는 장치의 메모리 가용 용량, 프로세서 성능, 배터리 용량, 전원 모드와 같은 장치 내부의 상태를 확인하고, 이에 따라 장치를 구성하는 모듈들을 제어할 수 있도록 처리할 수 있다.
한 실시 예에 따르면, 어플리케이션부(618)는 카메라 및 인코더 기능을 제어할 수 있다. 예를 들면, 카메라 초기화, 카메라를 통한 영상 입력, 카메라의 영상 처리 제어, 네트워크(630)의 상태를 모니터링하고 네트워크(630)의 상태에 따라 카메라, 인코더, 데이터 전송을 제어할 수도 있다.
한 실시 예에 따르면, 어플리케이션부(618)는 사용자 입력에 따른 처리를 수행할 수 있다. 예를 들면, 어플리케이션부(618)는 영상 통신을 수행하기 위한 유저 인터페이스를 시각, 청각, 및/또는 촉각적으로 제공하기 위한 처리를 수행할 수 있다. 예를 들면, 카메라 기능, 전화 기능 등을 구동시키고, 전화의 통신 상태를 모니터링하고, 영상이나 오디오를 처리하기 위한 제어 신호를 발생함으로써, 전반적인 멀티미디어 처리 및 송수신을 제어하고, 디스플레이, 메모리, 오디오 입출력 장치를 제어할 수도 있다.
도 6에 도시한 바와 같이, 제2 전자 장치(620)는, 영상 렌더러(video renderer)(621), 오디오 렌더러(audio renderer)(622), 영상 디코더(Video decoder)(623), 오디오 디코더(Audio decoder)(624), 디멀티플렉서(demuxer, demultiplexer)(625), 디패킷화부(depacketizer)(626), 네트워크부(network Adaptation)(627), 그리고 어플리케이션부(Application)(628)를 포함하여 구성할 수 있다.
네트워크부(627)는 다른 전자 장치(예: 제1 전자 장치(610))로부터 인코딩된 데이터(예: 영상 데이터, 오디오 데이터) 또는 제어 신호 중 적어도 하나를 수신하고, 수신된 인코딩된 데이터를 디코더(623, 624)에 전송하여 디코딩할 수 있도록 할 수 있다. 한 실시 예에 따르면, 네트워크부(627)는 다른 전자 장치(예: 제1 전자 장치(610))로부터 제어 신호를 수신하고, 어플리케이션부(628)에 전달함으로써, 제2 전자 장치(620)를 제어하도록 동작할 수 있다.
역패킷화부(626)는 네트워크부(627)부터 네트워크(630)를 통해 전달된 패킷화된 데이터(예: 패킷 데이터)를 역패킷화 하여 디멀티플렉서(625)에 전달할 수 있다. 한 실시 예에 따르면, 역패킷화부(626)는 네트워크(630)를 통해 전달된 패킷화된 데이터를 수신하여, 해당 패킷화된 데이터의 인코딩된 데이터(예: 영상 데이터, 오디오 데이터)를 추출하여 디멀티플렉서(625)에 전달할 수 있다.
디멀티플렉서(625)는 네트워크(630)를 통해 수신한 데이터가 오디오와 영상을 모두 포함하는 경우, 이들을 각각 분리하여 인코딩된 영상 데이터와 인코딩된 오디오 데이터를 추출하는 역할을 수행할 수 있다.
영상 디코더(623)는 네트워크부(627)를 통해 수신된 인코딩된 영상(예: 동영상, 이미지)를 디코딩하여 영상 렌더러(621)로 전달함으로써 영상 출력 장치(예: 디스플레이)를 통해 출력(표시)하도록 할 수 있다.
오디오 디코더(624)는 수신된 인코딩된 오디오 신호를 디코딩하여 오디오 출력 장치(예: 스피커)를 통해 출력할 수 있도록 오디오 렌더러(622)에 전달할 수 있다.
렌더러(예: 영상 렌더러(621), 오디오 랜더러(622))는 디코더(예: 영상 디코더(623), 오디오 디코더(624))에서 디코딩된 영상 데이터 또는 오디오 데이터를 출력 장치(예: 디스플레이, 스피커 등과 같은 출력 장치)에 출력하기 위해, 영상 처리나 오디오 처리를 수행할 수 있다. 한 실시 예에 따르면, 렌더러(621, 622)는 어플리케이션부(628)를 통해 제어 신호를 수신하고, 이에 따라 해상도, 색감, contrast, 볼륨, 음장 효과, 재생 기능 조절(예: 재생 속도, 되감기, 빨리 감기, 일시 중지, stop, resume 등) 중 하나 이상을 제어할 수도 있다.
도 6에 도시한 바와 같이, 제1 전자 장치(610)의 네트워크부(617)를 통해 전달된 데이터는 패킷의 형태로 생성되어 네트워크(630)를 통해 하나 이상의 서버(640)(예: Easy Sign up Server(ESU), 접속 서버(예: SCS 서버), 메시지 서버(Message Server), 컨택트 서버(Contact Server) 등)나 다른 전자 장치(예: 제2 전자 장치(620))에 전달될 수 있다. 예를 들면, 영상과 오디오가 합성된 데이터의 패킷은 셀룰러 네트워크(예: LTE, CDMA, WCDMA, 3GPP 등)이나 WiFi, BT, Zigbee 등의 네트워크(630)를 이용하여 전송될 수 있다. 한 실시 예에 따르면, 가청 주파수, 초음파, 광 신호를 이용하여 전송될 수도 있다.
전자 장치(500)(예: 제1 전자 장치(610) 또는 제2 전자 장치(620))는 네트워크(630)를 통해 서버(640)에 정보를 교환함으로써 다양한 서비스들을 수행할 수 있다. 한 실시 예에 따르면, 전자 장치(500)는 Easy Sign up 서버에 접속하여 각 전자 장치 또는 사용자를 기반으로 영상 서비스를 위한 고유 ID를 생성하기 위해, 각 전자 장치나 사용자의 ID(예: 전화번호, 시리얼 번호, 계정 정보 중 적어도 하나)을 이용하여 인증을 수행할 수 있고, 서비스 가입을 위한 정보를 입력할 수 있다. 한 실시 예에 따르면, 서비스 가입자는 컨택트 서버에 전화번호나 이메일 주소와 같은 정보를 등록할 수 있고, 해당 전자 장치와 관련된 관련 정보를 통해, 다른 사용자의 가입 여부, 어플리케이션(또는 앱(App)) 설치 여부 등을 판별할 수도 있다. 한 실시 예에 따르면, 메시지 서버의 경우, 다른 서비스 가입자에게 영상 수신 요청과 같은 메시지를 송신하기 위해 이용할 수도 있다. 한 실시 예에 따르면, 접속 서버는 영상이나 제어 신호 송신을 위해 복수 개의 전자 장치들 간 통신 세션을 연결하기 위한 정보 교환을 위해 이용될 수 있다.
이상에서와 같이, 다양한 실시 예들에 따르면, 제1 전자 장치(610)는 촬영된 또는 저장된 영상(예: 동영상, 이미지)을 획득할 수 있고, 이를 인코딩한 인코딩된 데이터를 네트워크(630)를 통해 제2 전자 장치(620)에게 전송할 수 있다. 제2 전자 장치(620)는 제1 전자 장치(610)에 의해 인코딩된 데이터를 네트워크(630)를 통해 수신할 수 있고, 이를 디코딩하여 제2 전자 장치(620)에서 출력할 수 있다. 이하, 다양한 실시 예들에 따른 기본 프로세스를 설명한다.
다양한 실시 예들에 따라, 제1 전자 장치(610)는, 하나 이상의 카메라를 통해 실시간으로 이미지를 수신하고, 오디오 장치를 통해 오디오를 수신하는 동작을 수행할 수 있다. 제1 전자 장치(610)는 수신된 이미지를 제2 전자 장치(620)에 전송하기 위해 영상 인코더(video encoder)(613)를 통해 영상 인코딩(video encoding)을 수행하여 인코딩된 영상 데이터를 생성할 수 있다. 한 실시 예에 따라, 제1 전자 장치(610)는 H.264, 3gpp, avi, WMV, VP9, MPEG2, QuickTime movie, FLV 등의 적어도 하나에 기반하여 영상 스트림 혹은 영상 파일로 인코딩을 수행할 수 있다. 한 실시 예에 따라, 제1 전자 장치(610)는 수신한 이미지를 JPEG, BMP, TIFF, PNG 중 하나 이상의 스틸 이미지(still image) 포맷(format)으로 저장할 수도 있다.
다양한 실시 예들에 따라, 제1 전자 장치(610)는 수신된 오디오에 대해, 오디오 인코더(audio encoder)(614)를 통해 AMR, QCELP, MP3, WMA, AAC, FLAC 포맷 중 하나 이상으로 변환할 수 있다.
다양한 실시 예들에 따라, 제1 전자 장치(610)는 인코딩된 데이터(예: 영상 혹은 오디오 데이터) 중 하나 이상을 패킷화하고, 이를 네트워크(630)를 통해 제2 전자 장치(620)로 전송할 수 있다. 한 실시 예에 따르면, 제1 전자 장치(610)는 인코딩된 데이터를 네트워크(630)를 통해 전송하기 이전에, 멀티플렉서(muxer)(615)에 의해 영상과 오디오 데이터를 합성할 수도 있다.
다양한 실시 예들에 따라, 제2 전자 장치(620)는 네트워크(630)를 통해 인코딩된 데이터(예: 영상 데이터, 오디오 데이터) 중 하나 이상을 수신하여, 이를 디코딩하고 해당 출력 장치(예: 디스플레이, 오디오 출력 장치(예: 스피커))를 통해 출력할 수 있다.
다양한 실시 예들에 따르면, 제1 전자 장치(610) 및 제2 전자 장치(620), 각각은, 다른 전자 장치에 제어 신호를 보내어 해당 전자 장치를 제어, 서비스 요청, 메시지 전송, 장치 상태 정보 교환 중 하나 이상을 수행할 수 있으며, 이에 응답하여 관련 데이터를 송수신할 수도 있다.
도 7은 본 발명의 다양한 실시 예들에 따른 전자 장치를 포함하는 시스템의 다른 예시를 도시하는 도면이다.
도 7을 참조하면, 도 7은 다양한 실시 예들에서, 데이터를 처리하는 예시를 나타낸 것으로, 예를 들면, 통신 채널(예: 영상 통신 채널과 오디오 통신 채널)을 분리하여 데이터를 처리하는 예시를 나타낸다. 한 실시 예에 따르면, 도 7은 영상과 오디오마다 각각 별개의 통신 수단(예: 통신 채널, 통신 포트, 통신 경로 중 적어도 하나)을 이용하여 송수신되는 경우를 나타낼 수 있다.
다양한 실시 예들에 따라, 도 6의 멀티플렉서(615)를 예시로 데이터를 처리하는 동작 예시를 살펴보면 다음과 같다.
한 실시 예에 따르면, 영상과 오디오는 각각 다른 통신 채널이나 통신 포트를 통해 별도로 송신될 수도 있다. 이러한 경우, 도 7에 도시한 바와 같이, 영상과 오디오를 합성하기 위한 멀티플렉서(615)는 필요하지 않을 수도 있다.
한 실시 예에 따르면, 멀티플렉서(615)는 같은 종류의 데이터를 합성하는 경우에도 사용될 수도 있다. 예를 들면, 두 개 이상의 카메라들에서 2개의 영상(예: 이미지)들이 수신되는 경우, 영상 멀티플렉서(video muxer)를 통해 두 개의 영상들을 합성할 수도 있다. 다른 예를 들면, 마이크를 통해 입력된 음성 데이터와, 전자 장치(500)에 저장되거나 재생중인 오디오 데이터(예: MP3 파일, background music 스트림 등)를 합성하는 경우, 오디오 멀티플렉서(audio muxer)를 통해 두 개의 오디오들을 합성할 수도 있다. 다양한 실시 예들에서, 멀티플렉서(615)는 영상 컴포저(video composer), 오디오 컴포저(audio composer)의 역할을 포함할 수도 있다.
한 실시 예에 따르면, 영상 멀티플렉서, 오디오 멀티플렉서 외에, 합성된 영상을 하나 이상의 오디오와 합성하거나, 합성된 오디오를 하나 이상의 영상과 합성하는 또 다른 멀티플렉서를 포함할 수도 있다. 이와 같이, 다양한 실시 예들에서, 멀티플렉서(또는 먹서(muxer))는 서로 다른 타입의 미디어들을 합성하는 모듈을 포함할 수 있다.
다양한 실시 예들에 따라, 컴포저(예: 영상 컴포저, 오디오 컴포저)를 예시로 데이터를 처리하는 동작 예시를 살펴보면 다음과 같다.
한 실시 예에 따르면, 영상 컴포저는, 디스플레이의 화면에 출력될 영상(예: 이미지)들을 합성하는 다양한 방법을 포함할 수 있다. 예를 들면, 여러 이미지들을 계층적으로 합성할 수도 있고, 특정 이미지에 투명도를 부가하여 그 아래 계층에 배치된 이미지와 함께 보여질 수도 있고, PIP(Picture in Picture) 또는 PBP(Picture by Picture) 기능을 제공할 수도 있으며, 사용자의 상호작용과 관련한 GUI를 영상이나 스틸 이미지와 함께 보이도록 제공할 수도 있다.
한 실시 예에 따르면, 오디오 컴포저는, 여러 음원들을 합성하여 하나의 오디오 스트림을 생성하는데 사용될 수도 있고, 여러 음원에 대하여 오디오 효과를 제공하는데 사용될 수도 있다. 예를 들면, 두 개 이상의 마이크들을 통해 입력되는 음원들에 대해 특정 음원의 음압을 높이거나, 스테레오 이펙트(effect)를 줄 수 있도록 합성하거나, 음원에 대해 이퀄라이저(Equalizer)를 조절하거나, 노이즈(noise)를 제거하거나, 특정 음역에 선명도(clarity)를 높이거나, 또는 공간감을 부여하는 등의 효과를 부가할 수도 있다.
다양한 실시 예들에 따라, 네트워크를 예시를 데이터를 처리하는 동작 예시를 살펴보면 다음과 같다.
도 7에 도시한 바와 같이, 영상과 오디오는 각기 다른 통신 네트워크를 이용하여 전달될 수 있다. 예를 들면, 제1 전자 장치(610)에서 인코딩된 영상은 WiFi 네트워크를 이용하여 제2 전자 장치(620)에 전달되고, 제1 전자 장치(610)에서 인코딩된 오디오는 셀룰러 네트워크를 이용하여 제2 전자 장치(620)에 전달될 수도 있다. 한 실시 예에 따라, 셀룰러 네트워크를 통해 제1 전자 장치(610)와 제2 전자 장치(620)이 상호 간에 음성 통화를 수행하던 도중, 영상을 공유해야 하는 경우, 사용자는 카메라를 동작시켜서 캡쳐(capture)한 영상이나 스틸 이미지를 인코딩하고, 이를 WiFi 네트워크로 전송할 수도 있다. 다른 한 실시 예로, 제어 신호나 파일의 전송에 대해서도 네트워크를 구분하여 동작할 수 있다.
다른 한 실시 예에 따르면, 영상과 오디오는 동일한 통신 네트워크, 예를 들면, 셀룰러 네트워크를 이용할 수 있으며, 서로 다른 포트 번호를 이용하여 전달할 수도 있다. 예를 들면, 영상 통신을 위한 포트 번호와 오디오 통신을 위한 포트 번호, 제어 신호를 위한 포트 번호 등을 각각 별도로 설정하고, 각 전자 장치는 전달할 데이터의 타입에 따라 해당하는 포트를 이용하여 서로 전달할 수 있다.
다른 한 실시 예에 따르면, 데이터 타입에 관계없이 동일한 포트 번호(same pair of port numbers)를 이용하여 여러 타입의 데이터를 전송할 수도 있다. 예를 들면, 패킷의 데이터 타입에 해당하는 본래의 포트 번호(original pair of port numbers)를 함께 내장한 패킷을 생성하고, 생성한 패킷을 상기 동일한 포트 번호를 이용하여 전송한 후, 수신자의 전자 장치(예: 제2 전자 장치(620))에서 이를 역패킷화(de-packetizing)할 시 해당 데이터와 함께 대응하는 포트 번호를 획득할 수 있고, 이를 이용하여 해당 포트에 대응하는 데이터를 전달함으로써 데이터 타입에 따라 서로 다른 포트로 전달하는 것과 같은 효과를 제공할 수 있다. 한 실시 예에 따르면, 제1 전자 장치(610)에서 인코딩된 영상, 인코딩된 오디오, 제어 신호를 멀티플렉싱(multiplexing)하여 RTP 스트림으로 패킷을 생성하여 제2 전자 장치(620)에 전달할 수 있다. 제2 전자 장치(620)는 RTP 스트림의 내부 데이터 구조에서 포트 번호 필드를 이용하여 데이터의 타입과 포트 번호를 매핑하는 디멀티플렉싱(demultiplexing)을 통해 각 데이터를 재구축할 수 있다. 다른 한 실시 예에 따르면, 각 데이터들을 패킷화하여 하나의 포트로 전송하되, 본래의 포트 번호를 트래킹(tracking)하거나, 또는 모니터링 함으로써 제2 전자 장치(620)에서 데이터 수신 시 처리될 수 있도록 할 수도 있다.
도 8은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 처리 동작을 설명하기 위해 도시하는 도면이다.
도 8을 참조하면, 도 8에서, 도시된 점선은 제어 신호의 전달 경로를 나타낼 수 있고, 도시된 실선은 데이터의 전달 경로를 나타낼 수 있다.
도 8을 참조하면, 다양한 실시 예들에서 영상 처리 동작은, 하나 이상의 카메라(810, 820)를 통해 수신된 베이어 데이터(bayer data)(예: raw data)를 가공하여 카메라 버퍼(Camera Buffer)(812)에 저장하고, 이를 인코딩하여 스틸 이미지나 영상의 형태로 생성하고, 이를 메모리(예: 메모리(550))에 저장하거나 네트워크부(850)를 통해 다른 전자 장치에 전달할 수도 있다. 또한 카메라(810, 820)에서, 디스플레이를 위하여 가공된 프리뷰 이미지(preview image)를 디스플레이(830)의 디스플레이 버퍼(미도시)에 전달함으로써, 프리뷰 이미지로서 디스플레이(830)에 표시할 수도 있다. 전자 장치(500)는 다른 전자 장치로부터 수신된 데이터를 네트워크부(850)를 통해 수신하고, 이를 디코딩함으로써 디스플레이(830) 및 오디오 출력부(audio output module)(880)(예: 스피커, 이어폰)를 통해 출력할 수도 있다. 다양한 실시 예들에 따라, 영상 처리 동작은 미디어 프로세서(Media Processor)(840)의 제어를 통해 수행될 수 있다.
도 8을 참조하면, 다양한 실시 예들에서, 카메라부(810, 820)에 의한 처리(process)는, 예를 들면, 이미지 센서(IMG sensor)(811)를 통해 생성된 베이어 데이터(bayer data)는 카메라 버퍼(812)(예: Ring Buffer)에 저장된 후 카메라(810, 820) 내부의 프로세서(예: 카메라 컨트롤러(Camera controller)(815), 카메라 이미지 프로세서(Camera IMG Processor)(813)) 혹은 미디어 프로세서(840)에서 이미지 프로세싱(processing)을 하여 디스플레이 버퍼나 인코더(Encoder)(846)에 전달될 수도 있다. 또는 한 실시 예에 따르면, 먼저 이미지 프로세싱을 수행한 후 카메라 버퍼(812)에 저장된 후 디스플레이 버퍼나 인코더(846)에 전달될 수도 있다.
다양한 실시 예들에서, 카메라부(810, 820)는, 이미지 센서(811), 카메라 버퍼(812)(예: Ring Buffer), 카메라 이미지 프로세서(813), 크기 제어부(Resizer)(814), 카메라 컨트롤러(815) 등을 포함할 수 있다. 다양한 실시 예들에서, 카메라 컨트롤러(815)는 미디어 프로세서(840) 또는 카메라 이미지 프로세서(813)를 통해 제어 신호를 수신하고, 이에 따라 카메라부(810, 820)의 구성 요소들을 제어할 수 있다.
이미지 센서(811)는, CCD, CMOS, IR 광 센서 중 하나 이상을 이용한 카메라 센서를 통해 베이어 데이터(bayer data)를 수집할 수 있다. 한 실시 예에 따르면, 이미지 센서(811)는 카메라 컨트롤러(815)에 의해서 제어되어, 파워 온/오프(power on/off) 여부에 따라 영상을 수신할 수도 있고 그렇지 않을 수도 있다. 한 실시 예에 따르면, 복수개의 이미지 센서들이 하나의 전자 장치에 내장될 수도 있다. 한 실시 예에 따르면, 전자 장치(500)는 전면 카메라(예: Camera A(810))와 후면 카메라(예: Camera B(820))를 서로 반대편 방향을 향하도록 내장할 수 있다. 다른 한 실시 예에 따르면, 전자 장치(500)는 RGB 카메라와 IR 카메라를 하나의 면에서 인접한 위치에 내장할 수도 있다. 다양한 실시 예들에서, 전자 장치(500)는, RGB 카메라와 IR 카메라를 통해, 사물의 영상과 함께 사물과 카메라 간의 거리를 측정하여 깊이 정보(depth information)을 함께 획득할 수도 있다. 다양한 실시 예들에서, 전자 장치(500)는, 복수개의 RGB 카메라를 같은 면에 배치함으로써 카메라의 지향 방향이나 수신한 이미지의 영역 차이에 따라 서로 다른 영상을 획득할 수 있고, 이에 기반하여 스테레오 이미지나 3D 이미지를 생성하는데 기본 정보로서 이용할 수도 있다.
카메라 버퍼(812)는, 이미지 센서(811)에 의해 수신된 영상을 저장할 수 있다. 한 실시 예에 따르면, 이미지 센서(811)에 의해 수신된 영상이 카메라 이미지 프로세서(813)에 의해 영상 처리된 후 저장될 수도 있다. 카메라 버퍼(812)에 저장된 이미지는 카메라 이미지 프로세서(813)나 미디어 프로세서(840)로 전달되어 이미지 처리될 수도 있다. 한 실시 예에 따르면, 카메라 버퍼(812)에 저장된 이미지는 디스플레이(830)에 전달되어 표시될 수도 있다.
한 실시 예에 따르면, 카메라 버퍼(812)는 라인 어레이(line array) 형태일 수도 있고, 프레임 버퍼(frame buffer)일 수도 있다. 예를 들면, 라인 어레이는 이미지를 구성하는 베이어 이미지나 YUV/RGB 이미지를 구성하는 픽셀들을 1차원 배열 형태로 저장될 수 있다. 예를 들면, 프레임 버퍼는 이미지를 구성하는 베이어 이미지나 YUV/RGB 이미지를 구성하는 픽셀들이 1차원 배열 형태로 저장될 수 있다. 한 실시 예에 따르면, 카메라 버퍼(812)는 링 버퍼(ring buffer)로 구성되어 여러 영상을 시간 순으로 저장함으로써, 버퍼(buffer)가 모두 채워진 경우에는 가장 오래된 영상을 제거하고 새로운 이미지로 채울 수도 있다. 따라서 현재 수신된 이미지가 저장된 위치로부터 n 번째까지 이전의 이미지 저장 위치를 판별할 수 있으므로, 필요에 따라 이전에 수신된 이미지를 검색하여 이용할 수 있다.
한 실시 예에 따르면, 하나 이상의 카메라 버퍼(812)는 하나의 카메라 센서 전용으로 배치될 수도 있고, 여러 카메라가 공용으로 사용될 수도 있다. 예를 들어, 도 8의 경우에는 각 카메라 센서마다 전용의 버퍼가 존재하는 경우를 나타낼 수 있다. 예를 들어, 두 개 이상의 카메라(810, 820)가 내장된 전자 장치(500)에서 카메라 버퍼(812)는 각 카메라 센서를 통해 입력 받은 영상들을 교대로 저장하거나, 메모리 영역을 분할하여 각각 저장할 수도 있다.
다양한 실시 예들에 따르면, 이미지를 수신하여 카메라 버퍼(812)에 저장하거나 카메라 이미지 프로세서(813)에 전달하는 간격을 카메라 컨트롤러(815)의 제어 신호에 의해 설정할 수도 있다. 예를 들어, VBI(vertical blanking intervals)를 조절하여 frame rate을 조절할 수도 있다. VBI는 카메라 센서(예: 이미지 센서(811))로부터 수신되는 이미지의 마지막 라인 수신부터 다음 이미지의 첫 번째 라인 수신까지의 시간 간격, 혹은 마지막에 수신된 이미지 프레임과 다음에 수신되는 이미지 프레임의 수신 시간의 간격을 의미할 수 있다. 한 실시 예에 따르면, 복수 개의 카메라 센서로부터 수신된 이미지가 카메라 버퍼(812)나 카메라 이미지 프로세서(813)를 공유하는 경우에도 VBI를 조절함으로써 각 이미지 센서(811)로부터 수신한 이미지들을 별개로 저장하거나 전송할 수 있다. VBI는 카메라 컨트롤러(815)를 통해 설정되거나 변경되며, 이를 통해 카메라(810, 820)를 통해 수신되는 각 카메라 센서의 frame rate가 결정될 수 있고, 이에 따라 카메라 이미지 프로세서(813)와 카메라 버퍼(812)에서 이미지를 수신하여 처리하기 위해 동기화가 일어날 수 있다. 다양한 실시 예들에 따라, 카메라 버퍼(812)는 각 픽셀 별 혹은 소정 픽셀들의 집합 별로 깊이 정보 혹은 투명도 정보를 더 포함할 수도 있다.
카메라 이미지 프로세서(813)는, 카메라 센서(예: 이미지 센서(811))를 통해 수신한 베이어 이미지(bayer image)를 컬러 스페이스(color space)로 변환(conversion)(예: YUV, RGB, RGBA)하여 카메라 버퍼(812)에 전달하거나, 또는 미디어 프로세서(840)에 전달할 수 있다. 한 실시 예에 따라, 카메라 이미지 프로세서(813)는, 수신한 이미지의 에러(error)나 왜곡(distortion)의 보정, 색상, 크기 등의 변경 등과 관련된 영상 처리를 수행할 수 있다. 카메라 이미지 프로세서(813)는, 파이프라인(pipeline)을 이용하여 각 영상 처리 기능을 순차적으로 처리하거나, 또는 필요한 기능만 선택적으로 구동할 수 있고, 이전의 처리 결과를 고려하여 특정 기능의 파라미터(parameter)를 변경하거나 설정할 수도 있다.
다양한 실시 예들에서, 카메라 이미지 프로세서(813)에서 처리하는 이미지 처리 기능으로는, 예를 들면, bad pixel correction (BPC), lens shading (LS), de-mosaicing, white balance (WB), gamma correction, color space conversion (CSC), hue, saturation, contrast (HSC), 크기 변환, 필터(예: high pass filter, low pass-filter), 영상 분석 모듈 등이 포함될 수 있다.
BPC는 픽셀 단위에서 오류가 발생한 경우 주변의 다른 픽셀들의 색상 값을 이용하여 보정하는 기법이고, LS는 렌즈로 인해 이미지의 외곽에서 발생하는 영상 왜곡을 보정하는 기법이며, de- mosaicing(or de-bayering)은 베이어 이미지(bayer image)를 RGB 이미지로 변환하는 기법이고, WB는 이미지의 조명에 의한 왜곡을 보정하기 위한 color constancy 기법이며, gamma correction은 카메라 센서(811)나 디스플레이(830)에 의해 영향을 받는 색상을 보정하는 기법이고, HSC는 컬러 공간 모델을 이용하여 색상, 밝기, 대조를 개선하기 위한 기법이고, CSC는 컬러 모델 변환 기법(예: RGB에서 YUV컬러 모델로 변환)이다.
영상분석 모듈은 처리되는 이미지를 분석하여 그 결과에 따라 카메라 컨트롤러(815)에 신호를 전달하여 이미지 처리의 종류 및 강도를 조절할 수 있다. 예를 들면, 자동 노출(auto exposure)나 자동 초점(auto focus) 등의 기능을 제공하기 위해 픽셀들의 블러링(blurring)이나 밝기 정보를 분석할 수도 있고, 깊이(depth) 정보를 기반으로 이를 제어할 수도 있다.
크기 제어부(Resizer)(814)는, 카메라 이미지 프로세서(813)를 통해 수행할 수도 있고, 별도의 모듈로 구성될 수도 있다. 크기 제어부(814)는 카메라 이미지 프로세서(813)를 통해 처리된 이미지 또는 카메라 버퍼(812)에 저장된 이미지를 대상으로 크기나 해상도를 설정하거나 제어하는 모듈을 나타낼 수 있다. 예를 들면, 크기 제어부(814)는 이미지 센서(811)를 통해 수신된 최대 이미지 데이터를 특정 해상도로 변환시킬 수도 있고, 최대 이미지 데이터의 일부를 추출하여 특정 해상도에 맞도록 변환할 수도 있다. 크기 제어부(814)는 동영상, 스틸 이미지, 혹은 프리뷰 이미지 중 하나 이상의 크기나 영역을 설정할 수 있다. 크기 제어부(814)는 송신 전자 장치의 디스플레이에 보여질 이미지의 크기나 영역을 설정할 수 있다. 크기 제어부(814)는 인코딩되는 영상의 해상도나 픽셀 영역을 설정하거나 변경할 수 있다. 크기 제어부(814)는 인코딩되는 스틸 이미지의 해상도나 픽셀 영역을 설정하거나 변경할 수 있다. 크기 제어부(814)는 주밍(zooming)(예: 줌 인/아웃(zoom in/out)) 동작을 위한 제어 신호가 입력될 때, 디스플레이(830)에 표시되거나 인코딩될 이미지의 크기나 해상도를 설정할 수 있다. 한 실시 예에 따라, 크기 제어부(814)는 디지털 줌과 관련하여 동작할 수 있다.
카메라 컨트롤러(815)는, 미디어 프로세서(840) 또는 카메라 이미지 프로세서(813)를 통해 제어 명령을 수신하고, 카메라부(810, 820)의 구성 요소들을 제어할 수 있다. 카메라 컨트롤러(815)는, 멀티 카메라들에 대한 캡쳐(capture) 명령 시간의 인터리빙(interleaving) 조절(예: VPI), 카메라 기능(예: Frame rate, zoom level, exposure level, focus, 조명 제어 중 적어도 하나) 등을 제어할 수 있다. 카메라 컨트롤러(815)는, 카메라 이미지 프로세서(813)를 통한 이미지 처리 기능(예: BPC, LS, de-mosaicing, WB, gamma correction, CSC, HSC, 크기 변환, 필터, 영상 분석 모듈)을 제어할 수 있다.
카메라 컨트롤러(815)는, 카메라 이미지 프로세서(813)를 제어하여 선택한 특정 기능의 파라미터를 변경하거나 설정할 수도 있다. 예를 들면, 필터 기능의 알고리즘에 따라 파라미터를 변경함으로써 영상 변환이나 노이즈 제거 등의 작업을 수행할 수도 있다. 한 실시 예에 따르면, 카메라 컨트롤러(815)는 카메라 이미지 프로세서(813)를 통해 영상 분석 결과에 대한 피드백을 전달받고, 이에 따라 카메라 이미지 프로세서(813)를 위한 제어를 수행할 수 있다. 예를 들면, 자동 초점(auto focus) 수행을 위하여 카메라 이미지 프로세서(813)에서 포커싱(focusing)을 위한 기준 픽셀을 중심으로 인접한 픽셀들의 분산 값을 구하고, 이를 통해 블러링(blurring) 레벨을 판단한 후, 포커스 레벌(focus level)을 결정하여 카메라 이미지 프로세서(813)에 전달할 수도 있다.
카메라 컨트롤러(815)는, 카메라 파워 모드를 제어할 수 있다. 예를 들면, 카메라 오프(off) 모드(예: 이미지 센서(811) Power off), 스탠바이(Standby) 모드(예: 이미지 센서(811) Power on, 이미지 수신 혹은 처리 off), 카메라 구동 모드(예: 이미지 센서(811) Power on, 이미지 수신 및 처리 on) 등을 제어할 수 있다. 카메라 컨트롤러(815)는 이미지 센서(811)를 통해 수신한 이미지를 미디어 프로세서(840)로 전달하도록 제어할 수도 있다. 카메라 컨트롤러(815)는 카메라 버퍼(812)에 저장된 하나 이상의 이미지를 추출하여 미디어 프로세서(840)로 전달 제어할 수 있다. 예를 들어, 카메라 버퍼(812)에 저장된 이미지들 중에서 미디어 프로세서(840)에서 전달받은 시간 정보에 기반하여 하나 이상의 이미지를 선택하고, 선택된 이미지를 미디어 프로세서(840)에 전달하거나, 또는 카메라 이미지 프로세서(813)에 전달할 수도 있다. 이를 위해, 카메라 컨트롤러(815)는 크기 제어부(814)를 통해 이미지의 해상도나 크기, 비율을 변경한 후에 전달할 수도 있다.
카메라 컨트롤러(815)는, 복수 개 이미지 센서들과, 그 관련 모듈을 제어할 수도 있다. 예를 들면, 카메라 컨트롤러(815)는 미디어 프로세서(840)의 제어를 받아서 카메라부(810, 820)의 서브 모듈들을 제어하기 위한 카메라 드라이버(Camera Driver)(미도시)를 포함할 수도 있다. 한 실시 예에 따르면, 하나의 카메라 컨트롤러(815)를 통해 복수 개의 이미지 센서들, 복수 개의 카메라 버퍼들, 복수 개의 카메라 이미지 프로세서들, 복수 개의 크기 제어부들 중 하나 이상을 제어할 수 있다. 카메라 컨트롤러(815)는 복수 개의 이미지 센서들 및 이와 연관된 모듈들의 전력 모드를 제어할 수도 있다. 카메라 컨트롤러(815)는 각 카메라의 기능과 카메라 이미지 프로세서(813)를 통한 이미지 처리 기능 중 하나 이상을 제어할 수도 있다. 카메라 컨트롤러(815)는 복수 개의 이미지 센서들을 통해 수신된 복수 개의 이미지들을 혼합하여 PIP, PBP와 같은 혼합된 이미지를 생성하도록 제어할 수도 있다.
도 8을 참조하면, 다양한 실시 예들에서, 미디어 프로세서(840)는, 영상, 오디오, 그리고 제어 신호를 수집 및 처리, 저장, 또는 전송 중 하나 이상을 수행하기 위한 모듈을 포함할 수 있다. 예를 들면, 미디어 프로세서(840)는 별도의 칩, SOC(System on Chip), 혹은 소프트웨어적인 모듈들 중에서 하나 이상을 포함할 수 있다.
미디어 프로세서(840)는, 카메라부(810, 820)로부터 이미지를 수신하며, 이를 소정의 영상 처리를 수행한 후, 인코더(846)에 전달하며, 인코더(846)에서 처리되어 생성된 인코딩된 영상이나 인코딩된 스틸 이미지를 수신하여 디스플레이(830)로 출력하거나 네트워크부(850)를 통해 전송할 수 있다. 다양한 실시 예들에 따라, 인코딩 설정 정보는 네트워크 연결 속성(예: 속도), 영상 서비스 수신 전자 장치의 장치 속성(예: 해상도, 디스플레이 타입, 윈도우 크기 등)에 따라 결정될 수 있다.
미디어 프로세서(840)는, 다른 전자 장치에서 전송되고, 네트워크부(850)를 통해 수신된 인코딩된 미디어를 디코더부(847)를 통해 디코딩하고, 이를 디스플레이(830)나 오디오 출력부(audio output module)(880)(예: Speaker, 이어폰 등) 중 하나 이상을 통해 출력하기 위해 제어할 수 있다.
미디어 프로세서(840)는, 센서부(Sensors)(890)나 클라이언트(Client)(860)(예: application), 네트워크부(850) 혹은 오디오 입력부(audio input module)(870)(예: 마이크)를 통해 수신된 신호를 기반으로, 카메라부(810, 820), 인코더부(846), 디코더부(847), 오디오 출력부(880), 센서부(890), 네트워크부(850), 클라이언트(860), 디스플레이(830) 중 하나 이상을 제어할 수 있다.
다양한 실시 예들에서, 미디어 프로세서(840)는, 미디어 프로세스 관리 모듈(Media Process Management Module)(843), 이미지 프로세스 모듈(Image process Module)(844), 컴포저 모듈(Composer Module)(842), 오디오 프로세스 모듈(Audio process Module)(845), 네트워크 프로세스 모듈(841) 등을 포함할 수 있다.
미디어 프로세스 관리 모듈(843)은, 미디어 프로세서(840)의 각 모듈의 제어를 수행할 수 있다. 예를 들어, 미디어 프로세스 관리 모듈(843)은, 영상 서비스를 위한 다양한 기능(예: 영상 App.과 인스트럭션(instruction) 교환, 네트워크를 통한 데이터 송수신 제어, 이미지 처리 등)을 제어할 수 있다.
미디어 프로세스 관리 모듈(843)은, 카메라부(810, 820)를 제어할 수 있다. 예를 들면, 미디어 프로세스 관리 모듈(843)은 하나 이상의 카메라 모듈에 대해 카메라 컨트롤러(815)에 제어 신호를 전달함으로써, 카메라 모듈 초기화, 카메라 파워 모드(power mode) 제어, 카메라 기능 제어, 카메라 버퍼(812)의 처리(예: 버퍼 내 이미지 검색, VBI 제어), 카메라 이미지 프로세싱(captured image processing), 크기 제어, 카메라 기능 pause, resume 중 하나 이상을 처리할 수 있다.
미디어 프로세스 관리 모듈(843)은, 복수 개의 카메라부(810, 820)를 제어하는 경우, 복수 개의 카메라부(810, 820)를 선택적으로 구동하거나, 또는 복수 개의 카메라부(810, 820)로부터 이미지를 합성하기 위한 제어 명령을 하나 이상의 카메라 컨트롤러(815)에 전달할 수 있다. 미디어 프로세스 관리 모듈(843)은, 이미지 제어를 위한 영역(예: ROI(Region of Interesting) 영역), 카메라 기능의 레벨 설정과 같은 명령을 카메라 컨트롤러(815)에 전달할 수도 있다.
미디어 프로세스 관리 모듈(843)은, 카메라 컨트롤러(815)를 제어하여, 카메라 이미지 촬영 및 프로세싱 기능을 수행하도록 제어할 수 있다. 예를 들면, auto focusing, auto exposure, resolution, bitrate, framerate, 카메라 파워 모드(power mode) 제어, VBI(Vertical Blinking Intervals), zoom, gamma, white balancing 중 하나 이상을 제어할 수 있다.
미디어 프로세스 관리 모듈(843)은, 이미지 프로세싱을 제어할 수 있다. 예를 들면, 미디어 프로세스 관리 모듈(843)은, 카메라부(810, 820)를 통해 수신된 이미지를 이미지 프로세스 모듈(844)에 전달하고 이미지 프로세싱을 수행하도록 제어할 수 있다.
미디어 프로세스 관리 모듈(843)은, 오디오 프로세싱을 제어할 수 있다. 예를 들면, 미디어 프로세스 관리 모듈(843)은, 오디오 입력부(870)(예: 마이크)나 네트워크(예: 무선 마이크), 또는 미디어 플레이부(미도시)에 의해 생성된 오디오를 수신하여 잡음 제거, 사운드 이펙트 부여, 음압 조절, 음장감, 이퀄라이저 조정 등을 처리하도록 오디오 프로세스 모듈(845)와 오디오 출력부(880)(예: 스피커, 이어폰 등)를 제어할 수 있다.
미디어 프로세스 관리 모듈(843)은, 이미지나 오디오 중 하나 이상을 인코더(846)에 전달할 수 있고, 미디어의 인코딩을 수행하도록 제어할 수 있다. 미디어 프로세스 관리 모듈(843)은, 인코딩된 영상이나 인코딩된 스틸 이미지, 또는 인코딩된 오디오를 네트워크부(850)에 전송하여 다른 전자 장치에 전송하도록 제어할 수 있다.
미디어 프로세스 관리 모듈(843)은, 네트워크부(850)를 통해 수신된 영상에 대한 영상 처리를 제어할 수 있다. 예를 들면, 미디어 프로세스 관리 모듈(843)은, 네트워크를 통해 수신된 인코딩된 영상을 디코딩하여 디스플레이(830)에 전달할 수 있도록, 디코더(847)(예: 영상 디코더(Video Decoder)), 이미지 프로세스 모듈(844), 네트워크 프로세스 모듈(841), 디스플레이(830)를 제어할 수도 있다.
미디어 프로세스 관리 모듈(843)은, 네트워크를 통해 수신된 인코딩된 오디오를 디코딩하여 오디오 출력부(예: 스피커, 이어폰, 헤드폰 등)에 전달할 수 있도록, 디코더(847)(예: 오디오 디코더(Audio Decoder)), 오디오 프로세스 모듈(845), 네트워크 프로세스 모듈(841), 오디오 출력부(예: 스피커, 이어폰, 헤드폰 등)를 제어할 수도 있다.
미디어 프로세스 관리 모듈(843)은, 유저 인터페이스나 네트워크, 센서(890), 또는 카메라부(810, 820)로부터 수신한 신호를 기반으로 미디어 프로세스와 관련한 제어 신호를, 연결된 다른 모듈에 전달할 수도 있다. 한 실시 예에 따르면, 센서부(890)를 통해 배터리 상태, 온도, 프로세서 리소스 점유율, 메모리 상태 중 하나 이상을 감지하고, 측정된 값에 기반하여 미디어 프로세스 및 미디어 송수신 관련 모듈들을 제어할 수도 있다. 예를 들면, 센서부(890)를 통해 리소스의 변화를 감지하고, 이에 따라 영상이나 오디오의 frame rate이나 bit rate, drop rate를 변경할 수도 있다.
미디어 프로세스 관리 모듈(843)은, 컴포저 모듈(842)에 미디어나 오디오 중 하나 이상의 데이터를 전달하여 합성할 수도 있다.
이미지 프로세스 모듈(844)은, 예를 들면, 그래픽 처리 모듈(Graphic processing module)를 포함할 수 있다. 이미지 프로세스 모듈(844)은, 예를 들면, 2차원, 3차원 이미지 처리(2D, 3D image process), 잡음 제거(noise reduction), 필터링(filtering), 이미지 합성(Image synthesize), 색상 보정(color correction), 색 변환(color conversion), 영상 변환(transform), 3차원 모델링(3d modeling), 이미지 드로잉(image drawing), AR(augmented reality), VR(virtual reality) 처리(AR, VR processing), 다이나믹 레인지 조정(dynamic range adjusting), 관점(perspective), 공유(shearing), 변환(transformation), 크기 조절(resizing), 에지(edge) 추출, ROI(Region of Interesting), 이미지 정합(matching), 이미지 분할(segmentation) 등과 같은 이미지 처리를 제어할 수 있다.
이미지 프로세스 모듈(844)은, 카메라 이미지 프로세서(813)에서 처리되지 않은 별도의 기능을 수행할 수도 있다. 예를 들면, 이미지 프로세스 모듈(844)은, 각 카메라부(810, 820)에서 수행된 이미지 프로세싱의 결과를 기반으로 복수 개의 카메라부(810, 820)에서 수신된 이미지의 합성이나 스테레오 스코프 이미지 생성, 깊이(depth) 기반 파노라마 이미지 생성, 증강 현실(AR), 가상 현실(VR)과 같이 카메라 이미지와 함께 다른 이미지(예: 어플리케이션에서 제공하는 GUI 이미지, 사용자가 선택하거나 그린 이미지)를 합성하는 것과 같은 후처리가 필요한 경우에 이용될 수 있다.
이미지 프로세스 모듈(844)은, 한 실시 예에 따르면, 생체 인식(예: 홍채, 지문, 얼굴, 포즈 기반 활동 인식 등), 문자 인식, 필기체 인식, 이미지 코드 인식(예: 바코드, QR 코드(quick response code), PDF-417, 컬러 코드(Color Code) 등), 물체 인식 등과 같은 영상 인식(machine vision)과, 인공 지능, 기계 학습(machine learning), 결정 트리(decision tree) 기능을 수행할 수도 있다. 이미지 프로세스 모듈(844)은, 다양한 기능 수행과 관련하여 외부 장치의 데이터베이스나 학습 엔진과 연동될 수도 있다.
오디오 프로세스 모듈(845)은, 오디오 입력부((870)(예: 마이크)나 네트워크(예: 무선 마이크), 또는 클라이언트(860)(예: 미디어 플레이어)에 의해 생성된 오디오를 수신하여 잡음 제거, 사운드 이펙트 부여, 음압 조절, 음장감, 이퀄라이저 조정 등을 처리하여 인코더(846)(예: 오디오 인코더(Audio Encoder))에 전달할 수 있다.
오디오 프로세스 모듈(845)은, 네트워크를 통해 수신된 인코딩된 오디오가 디코더(847)(예: 오디오 디코더)를 통해 디코딩 되면, 이를 클라이언트(860)나 미디어 프로세서 관리자(예: 미디어 프로세스 관리 모듈(843))를 통해 입력된 제어 신호에 대응하여 오디오 출력부(예: 스피커, 이어폰, 헤드폰)에 전달할 수 있도록 제어할 수 있다. 한 실시 예에 따르면, 어플리케이션을 통해 제어 신호를 수신하고, 이에 따라 볼륨, 음장 효과, 이퀄라이저, 재생 기능 조절(예: 재생 속도, 되감기, 빨리감기, 일시정지, stop, resume 등) 중 하나 이상의 기능을 제어할 수도 있다.
오디오 프로세스 모듈(845)은, 오디오 인코더 및 오디오 디코더를 포함하여 구성할 수도 있다.
오디오 프로세스 모듈(845)은, 음성 인식 기능과 관련한 기능을 수행할 수도 있다. 오디오 프로세스 모듈(845)은, 이를 위해, 네트워크를 통해 서버에 오디오 데이터를 전송한 후, 인식된 결과를 네트워크부(850)를 통해 수신할 수도 있다. 또는, 오디오 프로세스 모듈(845)은, 로컬 장치(예: 전자 장치(500))의 음성 인식 엔진(미도시)과 연계하여 기능을 수행할 수도 있다. 한 실시 예에 따르면 오디오 프로세스 모듈(845)은 STT(Speech-to-Text) 또는 TTS(Text-to-Speech) 기능을 제공할 수도 있다.
네트워크 프로세스 모듈(841)은, 로컬 장치(예: 전자 장치)와 원격 장치(예: 다른 전자 장치) 간의 통신 세션(session)을 설정하고, 유지 및 제어하는 기능을 수행할 수 있다. 네트워크 프로세스 모듈(841)은, 다양한 프로토콜(protocol) 중 적합한 프로토콜로 데이터 전송을 지원할 수 있다. 예를 들면, RTP, UDP, TCP, HTTP 중 하나 이상을 이용하여 원격 장치나 서버와 통신할 수 있도록 통신을 설정할 수도 있다.
네트워크 프로세스 모듈(841)은, 미디어 프로세스 관리자에 네트워크 상태나 수신한 원격 장치의 리소스 상태 정보를 전달하여 미디어 프로세서(840)의 서브 모듈들, 예를 들면, 카메라부(810, 820), 인코더(846), 네트워크부(850) 중 하나 이상을 제어하여, 미디어 스펙(예: frame rate이나 해상도, bit rate, drop rate, VBI, resizing level, lower bit encoding 중 하나 이상의 값)을 결정할 수 있다. 예를 들면, 네트워크 프로세스 모듈(841)은, 네트워크 상태를 통해 업로드 대역폭의 적정 값을 예측할 수 있고, 이에 따른 가능한 데이터 전송량을 계산하여 미디어 프로세스 관리자에 전달할 수 있다. 미디어 프로세스 관리자는 데이터 전송량에 대응하는 미디어 스펙을 결정하여 인코더(846)나 네트워크 프로세스 모듈(841), 혹은 카메라부(810, 820)에 전달하여 데이터의 생성, 인코딩, 또는 전송 중 하나 이상을 제어할 수 있다.
네트워크 프로세스 모듈(841)은, 한 실시 예에 따르면, 네트워크부(850)를 이용하여 네트워크의 상태를 모니터링하고, 네트워크 상태에 따라 동적으로 미디어의 스펙을 결정하여 처리할 수 있다. 네트워크 프로세스 모듈(841)은, 처리된 미디어를 패킷화(packetizing)하여 원격 장치(예: 다른 전자 장치)에 전송하도록 제어할 수 있다. 네트워크 프로세스 모듈(841)은, 다른 실시 예에 따르면, 네트워크 상태의 모니터링 결과에 따라 원격 장치(예: 다른 전자 장치)로 미디어를 전송할 것인지 여부를 판단할 수도 있다. 다양한 실시 예들에서, 네트워크의 상태는, 예를 들면, 단방향 지연(one way delay), 패킷 손실(packet loss), 라운드트립 지연(roundtrip delay), 대역폭 기반 bitrate 추정치 계산, call 서비스 상태(예: during call, dialing, incoming call, outgoing call, hold, P2P(peer-to-peer) connection status) 중 하나 이상이 포함될 수 있다.
네트워크 프로세스 모듈(841)은, 한 실시 예에 따르면, 원격 장치(예: 다른 전자 장치)로부터 전달된 원격 장치의 리소스 상태 정보를 수신하고, 이에 대응하여 로컬 장치(예: 전자 장치)의 영상 및 오디오 송수신과 관련한 모듈들을 제어할 수 있다. 예를 들면, 네트워크 프로세스 모듈(841)은, 미디어의 스펙을 동적으로 결정하여 원격 장치에 미디어를 전송하거나 원격 장치의 미디어를 수신할 수도 있다.
네트워크 프로세스 모듈(841)은, 네트워크부(850)를 제어할 수 있고, 네트워크부(850)는 네트워크 프로세스 모듈(841)의 제어에 따라, 전송할 데이터량을 조절할 수 있다. 예를 들면, 네트워크부(850)는 인코딩된 영상 프레임들의 drop rate나 전송 여부를 결정함으로써, 데이터량을 줄일 수도 있다.
네트워크 프로세스 모듈(841)은, 미디어 타입에 따른 전송을 제어할 수 있다. 한 실시 예에 따르면, 네트워크 프로세스 모듈(841)은, 하나의 가상 통신 채널을 통해 여러 데이터 타입(data type)들을 멀티플렉싱(multiplexing)하여 송수신할 수도 있다. 예를 들면, 네트워크 프로세스 모듈(841)은, 영상, 오디오, 그리고 제어 신호를 원격 장치(예: 다른 전자 장치)로 전송할 경우, 각각의 데이터 타입에 따라서 다른 포트 번호를 부여하고, 로컬 장치(예: 전자 장치)와 원격 장치의 포트들을 오픈(open)함으로써, 각각 별도의 채널을 형성하여 전송하게 된다. 다양한 실시 예들에서, 네트워크 프로세스 모듈(841)은, 각각의 데이터 타입 별로 채널을 형성하지 않고 네트워크를 위한 멀티플렉싱(multiplexing)을 수행하여 하나의 채널로 전송하고, 이를 수신한 원격 장치가 디멀티플렉싱(demultiplexing)을 통해 데이터 타입 별로 원래의 포트 번호를 식별하여 처리할 수도 있다.
다양한 실시 예들에서, 멀티플렉싱은, 영상, 오디오, 그리고 제어 신호를 하나의 채널로 전송하기 위해 데이터 타입(data type) 별로 구분자(또는 식별자)를 부여하고 패킷화(packetizing)하여 하나의 채널, 예를 들면, 하나의 포트 번호(same pair of port numbers)를 통해 전송할 수 있도록 해준다. 다양한 실시 예들에서, 디멀티플렉싱은, 수신한 패킷에서 구분자를 이용하여 데이터 타입을 구분하고, 구분한 데이터 타입 별로 원래의 포트 번호(original pair of port numbers)를 부여하고 역패킷화(depacketizing)를 수행할 수 있도록 해준다. 이에 따르면, 하나의 채널을 이용하여 오디오, 영상, 그리고 제어 신호(예: remote control)를 송수신할 수 있다.
일 실시 예에 따르면, 원격 장치에 전달된 제어 신호를 기반으로, 원격 장치는 미디어 프로세스 관리 모듈(843)이나 네트워크 프로세스 모듈(841)을 제어함으로써, 카메라(810, 820), 미디어 프로세서(840), 혹은 클라이언트(860) 중 하나 이상을 제어 할 수 있다. 다양한 실시 예들에 따르면, 전자 장치(500)가 네트워크부(850)를 통해 수신한 제어 신호(예: remote control)가 포함된 데이터는 네트워크 프로세스 모듈(841)을 통해 추출(예: 디멀티플렉싱)되고, 추출된 제어 신호를 기반으로, 미디어 프로세스 관리 모듈(843)이나 네트워크 프로세스 모듈(841)을 제어함으로써, 카메라(810, 820), 미디어 프로세서(840), 네트워크부(850), 혹은 클라이언트(860) 중 하나 이상을 제어할 수 있다.
네트워크 프로세스 모듈(841)은, 오디오(예: 음성) 통신과 영상 통신을 별도로 관리할 수도 있다. 예를 들면, 오디오 통신(또는 오디오 전송)은 셀룰러 네트워크를 통해 수행할 수 있고, 영상 통신(또는 영상 전송)은 와이파이(WiFi) 네트워크를 통해 원격 장치에 전달할 수 있다.
네트워크 프로세스 모듈(841)은, 데이터 수신 및 처리에 있어서, 원격 장치에서 전송한 인코딩된 영상이나 인코딩된 오디오, 또는 제어 명령 중 하나 이상을 로컬 장치의 네트워크부(850)가 수신하면 이를 처리할 수 있다. 예를 들어, 네트워크 프로세스 모듈(841)은, 수신한 데이터를 디코더(847)에 전송하여 미디어가 디코딩되도록 제어할 수 있고, 수신한 데이터의 디멀티플렉싱(demultiplexing)과 역팻킷화(depacketizing)를 제어할 수 있다. 네트워크 프로세스 모듈(841)은, 한 실시 예에 따르면, 요구 전송 및 이에 대한 응답을 수신하여 이들의 시간과 대역폭으로부터 현재 네트워크 상태를 모니터링 할 수도 있다. 네트워크 프로세스 모듈(841)은, 한 실시 예에 따르면, 로컬 장치의 리소스 상태를 확인하고, 이에 따라 디코더(847)에 미디어 프로세스 관리 모듈(843)을 통해 재생을 위한 bitrate, framerate, 재생 여부 등을 결정하도록 제어할 수도 있다.
네트워크 프로세스 모듈(841)은, 한 실시 예에 따르면, 수신한 데이터들의 미디어 타입간 타임 스탬프(time stamp) 기반으로 동기화(synchronization)를 수행할 수도 있다. 네트워크 프로세스 모듈(841)은, 로컬 장치와 원격 장치의 가입한 서비스 네트워크를 판단하고, 이에 따른 영상 송수신 여부 및 영상 송수신 방법을 결정할 수도 있다.
컴포저 모듈(842)은, 미디어(예: 영상, 오디오)의 합성을 수행하는 모듈로서의 기능을 수행하며, 네트워크 프로세스 모듈(841)에서 수행하는 멀티플렉싱과는 상이할 수 있다. 컴포저 모듈(842)은, 동일한 데이터 타입을 믹싱을 하는 먹서(muxer)와 서로 다른 데이터 타입을 믹싱하는 멀티플렉서(multiplexer)로 구분할 수도 있다. 다양한 실시 예들에 따라, 컴포저 모듈(842)은, 영상 컴포저(image composer), 오디오 믹서(audio mixer), 또는 멀티플렉서(multiplexer) 중 적어도 하나를 포함할 수 있다.
컴포저 모듈(842)은, 예를 들면, 이미지 합성, 투명도 처리, 각 이미지의 레이어 처리, 오디오 믹싱, 오디오 및 영상 멀티플렉싱, 오디오 경로(audio path) 처리를 수행할 수 있다. 예를 들어, 안드로이드 운영체제(OS, Operating System)의 Android Surface flinger나 Audio flinger의 역할을 수행할 수도 있다.
컴포저 모듈(842), 예를 들면, 영상 컴포저는, 복수 개의 이미지들을 합성할 수도 있다. 예를 들면, 복수 개의 카메라로부터 수신된 이미지를 합성할 수도 있고, 서로 다른 장치에서 수신된 이미지를 합성할 수도 있다. 예를 들면, 컴포저 모듈(842)은, 카메라를 통해 수신된 이미지와 로컬 장치 또는 원격 장치의 어플리케이션을 통해 제공되는 GUI를 합성할 수도 있다. 한 실시 예에 따르면, 컴포저 모듈(842)은, 하나의 화면에 표시되도록 오버레이(overlay) 형태로 합성하여 표시하거나, PIP, PBP 형태로 합성할 수도 있고, 또는 화면 분할 형태로 합성하여 표시할 수도 있다.
컴포저 모듈(842)은, 로컬 장치의 디스플레이(830)에 그려질 이미지와 원격 장치에 전송할 이미지를 각각 별도로 생성하기 위해, 각각의 경우에 대해 합성을 수행할 수도 있다. 한 실시 예에 따라, 컴포저 모듈(842)은, 로컬 장치의 디스플레이(830)에는 로컬 장치의 카메라로부터 수신한 프리뷰 이미지(preview image)와 로컬 장치의 어플리케이션을 통해 선택한 GUI, 그리고 원격 장치를 통해 수신한 제어 신호에 기반하여 로컬 장치의 어플리케이션에서 제공한 또 다른 GUI를 표시하기 위해, 이미지를 합성할 수 있다. 예를 들면, 컴포저 모듈(842)은, 프리뷰 영상(Preview video), 로컬 GUI, 그리고 원격 제어 기반 GUI를 합성할 수 있다. 한 실시 예에 따라, 컴포저 모듈(842)은, 원격 장치에 전송할 영상 스트림을 위해 로컬 장치의 영상 이미지와 로컬 장치의 어플리케이션을 통해 선택한 GUI만 합성할 수도 있다. 예를 들면, 컴포저 모듈(842)은, 프리뷰 영상(Preview video)과 로컬 GUI를 합성할 수 있다.
다양한 실시 예들에 따라, 프리뷰 이미지와 영상 이미지는 서로 해상도나 크기가 상이할 수 있다. 예를 들면, 컴포저 모듈(842)은, 로컬 장치의 해상도가 QVGA(Quarter Video Graphic Array)이라면, 디스플레이(830)용은 QVGA 크기에 맞추어 각 그래픽 요소의 크기로 생성할 수 있다. 또는, 컴포저 모듈(842)은, 원격 장치에 전송할 영상의 해상도가 FHD이라면, 로컬 GUI 또한 크기를 FHD의 물체 크기에 맞추어 비율을 조정할 수도 있다. 이는, 원격 장치의 디스플레이(830)의 해상도가 로컬과 상이하거나, 요청한 해상도가 상이하거나, 또는 저장하기 위한 용도에 따라 달라질 수 있기 때문이다.
컴포저 모듈(842)은, 화면에 출력될 이미지들을 합성하는 다양한 방법을 포함할 수 있다. 예를 들면, 여러 이미지들을 계층적으로 합성할 수도 있고, 특정 이미지에 투명도를 부가하여 그 아래 계층에 배치된 이미지와 함께 보여질 수도 있다.
컴포저 모듈(842)은, 예를 들면, 오디오 컴포저는, 여러 음원들을 합성하여 하나의 오디오 스트림을 생성하는데 사용될 수도 있고, 여러 음원에 대하여 오디오 효과를 제공하는데 사용될 수도 있다. 예를 들면, 컴포저 모듈(842)은, 두 개 이상의 마이크를 통해 입력되는 음원들을 하나로 합성하고, 합성 시 특정 음원의 음압을 높이거나, 스테레오 이펙트를 줄 수 있도록 합성할 수 있다. 또한, 컴포저 모듈(842)은, 음원에 대해 이퀄라이저(equalizer)를 조절하거나, 잡음(noise)을 제거하거나, 특정 음역에 선명도(clarity)를 높이거나, 또는 공간감을 부여하는 등의 효과를 부가할 수도 있다.
다양한 실시 예들에 따라, 음원은 오디오 입력부뿐만 아니라, 로컬 장치의 미디어 플레이어를 이용하여 재생되는 오디오를 오디오 입력부(870)(예: 마이크 등)로 입력되는 음원과 함께 합성할 수도 있고, 오디오 출력부(880)(예: 스피커, 이어폰 등)를 통해 출력되고 있는 오디오와 다른 음원을 합성할 수도 있다.
다양한 실시 예들에 따라, 컴포저 모듈(842)은, 이미지 프로세스 모듈(844)이나 오디오 프로세스 모듈(845)에 포함하여 구성될 수도 있다.
인코더(846)는, bitrate, framerate, drop rate, encoding codec type 등에 따라 인코딩을 수행할 수 있다. 다양한 실시 예들에 따라, 인코더(846)는, 예를 들면, 영상 인코더(Video Encoder), 오디오 인코더(Audio Encoder), 또는 이미지 인코더(Image Encoder) 중 하나 이상이 포함될 수도 있다. 인코더(846)을 통해 인코딩된 결과는 스트림(stream)이나 파일(file) 형태로 생성할 수 있다.
디코더(847)은, 영상 스트림, 오디오 스트림, 미디어 파일 등의 디코딩을 수행할 수 있다. 다양한 실시 예들에 따라, 디코더(847)는, 예를 들면, 영상 디코더(Video Decoder), 오디오 디코더(Audio Decoder), 또는 이미지 디코더(Image Decoder) 중 하나 이상이 포함될 수 있다.
다양한 실시 예들에 따라, 인코더(846)와 디코더(847)는, 별개의 하드웨어일 수도 있고, 소프트웨어 모듈일 수도 있다.
네트워크부(850)는, GSM, CDMA, 또는 LTE 등과 같은 셀룰러 네트워크, 또는 와이파이(WiFi), 또는 블루투스 등과 같은 로컬 네트워크, 또는 유선 네트워크 중 하나 이상과 연결되어 데이터를 송수신하는 유무선 모뎀 및 안테나 등을 포함할 수 있다.
네트워크부(850)는, 전송할 데이터의 패킷화(packetizing)와 수신한 데이터의 역패킷화(depacketizing)를 수행할 수 있다. 또한, 네트워크부(850)는, 수신한 데이터들을 데이터 타입 별로 분리하거나 수집할 수도 있다.
네트워크부(850)는, 네트워크 프로세스 모듈(841)에, 네트워크를 통해 수신된 데이터를 전송할 수 있다. 네트워크부(850)는, 네트워크 프로세스 모듈(841)의 제어에 따라 파워 온/오프(power on/off), 또는 송수신 제어를 수행할 수도 있다.
네트워크부(850)는, 데이터 패킷화(packetizing)를 위하여, 인코딩된 영상, 인코딩된 오디오, 또는 제어 명령 중 하나 이상을 저장하는 네트워크 버퍼(미도시)를 포함할 수 있다. 다양한 실시 예들에 따라, 네트워크 버퍼에 저장된 데이터와 네트워크 프로세스 모듈(841)의 제어를 이용하여, 전송할 데이터량을 조절할 수 있다. 예를 들면, 네트워크부(850)는, 인코딩된 영상 프레임들의 drop rate이나 전송 여부를 결정하고, 이에 따라 네트워크 버퍼에 저장된 데이터를 처리하고, 그 결과에 따라 데이터를 패킷화(packetizing)하여 다른 전자 장치에 전송하는 것으로, 데이터량을 조절할 수 있다.
네트워크부(850)는, 한 실시 예에 따르면, 네트워크 프로세스 모듈(841)에 포함될 수도 있고, 별도의 칩(예: CP(communication processor))에서 네트워크 프로세스 모듈(841)의 기능을 수행하도록 구현될 수도 있다.
클라이언트(860)(또는 어플리케이션부)는, 통화(Call) 및 미디어 송수신 서비스를 제공하고, 로컬 및 원격 제어 명령 수행을 위한 사용자 입력을 수신하는 소프트웨어 모듈로서, 예를 들면, 독립형(stand alone) 어플리케이션 또는 어플리케이션의 서브 모듈일 수도 있다.
클라이언트(860)는, 사용자의 입력(예: pointing, 위치, 제스처, 음성 입력, 시선 추적 등)을 수신하여, 미디어 프로세서(840)에 전달하고, 이를 통해 카메라부(810, 820), 미디어 프로세서(840), 네트워크부(850), 인코더(846) 및 디코더(847) 중 하나 이상을 제어할 수 있다.
클라이언트(860)는, 정보를 표시하기 위한 다양한 GUI 요소를 함께 포함할 수 있으며, 사용자 입력, 원격 장치의 명령, 미디어 프로세서(840)의 제어에 따라 표시될 수도 있다. 한 실시 예에 따르면, 클라이언트(860)는, 영상 통신이 가능한 전화 어플리케이션일 수 있다. 한 실시 예에 따르면, 클라이언트(860)는, 영상 송수신 중 필요에 따라 화면 동작을 제어할 수 있는 통신 어플리케이션일 수 있다. 한 실시 예에 따르면, 클라이언트(860)는, 원격 장치의 기능을 로컬 장치에서 제어할 수 있는 원격 제어 어플리케이션일 수도 있다.
센서(890)는, 센서 모션 인식을 위한 센서(예: 가속도 센서, 자이로 센서 등), 전자 장치의 포즈 인식을 위한 센서(예: 자이로 센서, 지자기 센서 등), 근접도 인식을 위한 센서(예: 근접 센서, 터치 센서 등), 광 센서, 생체 센서(예: 심박 센서, 심전도 센서, 혈압 센서, 지문 센서, 홍채 센서 등) 등 중 적어도 하나를 포함할 수 있다.
다양한 실시 예들에서 따라, 전자 장치(500)는 다양한 입출력 장치를 포함할 수 있다. 예를 들면, 전자 장치(500)는 디스플레이(830), 오디오 입력부(870), 오디오 출력부(880) 등을 포함할 수 있고, 또한 TSP(미도시), 마우스(미도시), 시선 추적 장치(미도시) 등을 더 포함하여 구성될 수 있다.
도 9는 본 발명의 다양한 실시 예들에 따른 시스템에서 영상 서비스의 등록 동작을 설명하기 위해 도시하는 도면이다.
도 9에 도시한 바와 같이, 도 9는 다양한 실시 예들에서, 전자 장치들 간에 영상 서비스를 위한 영상 서비스 개시 셋업(예: video service initial setup) 동작으로, 예를 들면, 서비스 등록 절차의 예시를 나타낼 수 있다. 다양한 실시 예들에서, 영상 서비스는 네트워크를 통해 연결되어, 실시간 영상 통신 혹은 스틸 이미지 공유 및 이와 관련한 기능을 포함하는 서비스를 나타낼 수 있다. 도 9에서는 제1 전자 장치(610)와 제2 전자 장치(620)가 제1 네트워크(400)를 통해 음성 통화를 수행하는 중에, 제2 네트워크(600)의 서버(650)를 통해 영상 서비스를 위한 데이터 통신 연결(예: P2P 연결)을 수행하여, 영상 서비스를 개시하기 위한 서비스 등록 절차를 나타낼 수 있다.
다양한 실시 예들에서, Call App(601)은, 사용자를 위한 입력 및 출력을 구성하고 표시하기 위한 어플리케이션으로, 예를 들면, 일반적인 전화 연결, 영상 서비스 전화 연결, 오디오 출력 모드(예: 리시버 모드, 스피커 모드), 키패드 입력, 뮤트(mute)(예: 무음 처리) 등의 기능 처리를 위해 다른 모듈과 연계되어 있을 수 있다. 다양한 실시 예들에서, 전술한 기능 처리를 위한 모듈로는 영상 서비스 컴포넌트(video service component)(603), 어카운트 관리자(Account Manager)(605)(예: Android Account Manager), 전화번호부(Phone book)(607) 등이 포함될 수 있다.
다양한 실시 예들에서, 영상 서비스 컴포넌트(603)는, 영상 서비스 전화 연결을 위한 모듈로서, 전자 장치(500)의 외부에 존재하는 서버(650)(예: Easy Sign Up(ESU) Server(910), 컨택트 서버(920), 접속 서버(connection server)(930)(예: SCS 서버) 등과 제어 메시지를 주고 받을 수 있다. 또한, 영상 서비스 컴포넌트(603)는, 영상 서비스를 위한 초기 셋업(initial setup) 과정으로 전화번호부(Phone book)(607)과 주소 정보(미도시)를 요청 및 업데이트를 수행할 수 있다. 영상 서비스 컴포넌트(603)는, Call App(601)의 일부 소프트웨어 모듈이거나, 별도의 앱(어플리케이션)일 수도 있고, 또는 운영체제(OS)를 포함하는 모듈일 수도 있다. 한 실시 예에 따르면, 영상 서비스 컴포넌트(603)는 미디어 프로세서(840)를 포함하거나 기능적으로 연결되어 동작할 수도 있다.
다양한 실시 예들에서, 전자 장치(500)는, 전자 장치(500)에 등록된 계정을 구하기 위해서 어카운트 관리자(605)를 사용할 수 있다. 한 실시 예에 따르면, 어카운트 관리자(605)는, 특정 계정 정보(예: 구글 계정 정보 등)를 가져오는 경우 활용 될 수 있고, 이미 설치된 다른 어플리케이션의 계정 정보를 요청하는 경우에도 이용될 수 있다. 한 실시 예에 따르면, 어카운트 관리자(605)는, 전자 장치 제조사나 서비스사의 계정을 이용할 수도 있다.
다양한 실시 예들에서, 전화번호부(607)는, 사용자가 전화번호를 등록하거나 기 등록된 전화번호부에 추가정보를 업데이트할 경우에 사용되는 모듈로, 다양한 실시 예들에서는, 영상 서비스를 위한 친구 등록 및 업데이트 시에 메시지를 송수신 할 수 있다. 한 실시 예에 따르면, 전화번호부(607)는, 다른 사용자의 연락처, 영상 서비스 가입 정보 중 하나 이상을 포함할 수 있다.
다양한 실시 예들에서, 서버(650)는, 예를 들면, ESU(Easy Sign Up) Server(910), 컨택트 서버(920), 접속 서버(930) 등을 포함하여 구성할 수 있다.
ESU Server(910)는, 영상 서비스를 사용하는 전자 장치(500)로부터 가입된 사용자 정보를 관리하고 이를 업데이트하기 위한 서버를 나타낼 수 있다.
컨택트 서버(920)는, 전자 장치(500) 내부의 전화번호부(607)의 주소록을 외부 서버에서 저장 및 관리하는 서버를 나타낼 수 있다.
접속 서버(930)는, 영상 서비스 연결을 위해 다른 사용자의 전자 장치와 P2P 연결을 맺기 위한 별도의 서버를 나타낼 수 있다. 다양한 실시 예들에 따라, 접속 서버(930)를 통해, 영상 통신을 위한 전자 장치들(예: 제1 전자 장치(610), 제2 전자 장치(620)) 간의 연결을 수행할 수 있다. 한 실시 예에 따르면, 제1 전자 장치(610)에서 전송한 미디어를 가공하여 제2 전자 장치(620)에 전달할 수도 있다. 한 실시 예에 따르면, 접속 서버(930)와 컨택트 서버(920), 그리고 ESU Server(910) 중 적어도 두 개 이상의 서버 기능은 하나의 서버에 포함될 수도 있다.
이하, 도 9를 참조하여, 다양한 실시 예들에 따른 서비스 등록(service registration) 과정에 대하여 살펴보기로 한다. 다양한 실시 예들에서, 서비스 등록 과정은, Phone Number Authentication(동작 901), Account Registration(동작 903), Request for check up on Video service Availability for Contacts(동작 905), Video service Availability Check on Contacts(동작 907), Friend Synchronization (Sync.)(동작 909)와 같이, 5단계를 포함하여 이루어질 수 있다.
도 9를 참조하면, 동작 901에서, 한 실시 예로서, 전자 장치(610, 620)는, Phone Number Authentication 과정을 수행할 수 있다. 예를 들면, 전자 장치(610, 620)는, 영상 서비스 어플리케이션이 설치되면, 영상 서비스 컴포넌트(603)를 통해, 영상 서비스 가입자들의 인증을 위해 ESU Server(910)로 메시지를 전송할 수 있다. 다양한 실시 예들에서, 메시지는 영상 서비스 등록 및 인증을 위한 전자 장치의 식별자(예: 전화번호, MAC 주소, 전자 장치 일련번호, 이메일 주소 중 하나 이상)를 포함할 수 있다. 다양한 실시 예들에서, 전화번호 인증은 별도의 계정을 필요로 하지 않아 영상 서비스 가입 시 편리함을 제공할 수 있다.
동작 903에서, 전자 장치(610, 620)는 Account Registration 과정을 수행할 수 있다. 한 실시 예에 따르면, 전자 장치의 계정 등록을 위해서 전자 장치의 식별자를 전송할 수 있다. 예를 들면, 전자 장치(610, 620)로부터 전화번호 인증 요청 메시지를 수신한 ESU Server(910)는 사용자 전화번호를 기반으로 전자 장치(610, 620)에 대한 인증 작업을 수행할 수 있다. ESU Server(910)는 전자 장치(610, 620)에 대한 인증이 완료되어, 서버(650)에 계정이 등록되면, 전자 장치(610, 620)의 어카운트 관리자(605)로 인증 결과를 전송할 수 있다. 다양한 실시 예들에서, 계정 등록 메시지에는, 영상 서비스 가입과 관련된 정보가 포함될 수 있다. 다양한 실시 예들에서, 계정 등록 메시지에는, 영상 서비스를 제공하기 위한 전자장치 관련 부가 정보, 예를 들어, 소프트웨어(예: 운영체제, 설치한 영상 서비스 어플리케이션), 지원 가능한 스펙(예: 탑재된 카메라 정보, 지원 통신 종류, 또는 멀티미디어 코덱) 혹은, 통신 정보(예: SIM, eSIM, 혹은 통신 사업자 정보) 중 하나 이상이 포함될 수 있다.
동작 905에서, 전자 장치(610, 620)는 Request for check up on Video service Availability for Contacts 과정을 수행할 수 있다. 예를 들면, 어카운트 관리자(605)에서 계정 등록 메시지를 수신하면, 영상 서비스 컴포넌트(603)는 영상 서비스 계정 등록 정보와 전자 장치(610, 620)의 식별자((예: 전화번호 등)를 기반으로 외부 컨택트 서버(920)로 영상 서비스의 사용 여부 확인 메시지를 전송할 수 있다. 컨택트 서버(920)는 메시지를 수신하면, easy sign up 과정이 수행되었는지 여부를 확인할 수 있다. 다양한 실시 예들에서, 메시지는 다른 사용자들이 영상 서비스에 가입이 되었는지 여부를 확인 요청하는 내용을 포함할 수도 있다.
동작 907에서, 전자 장치(610, 620)는 Video service Availability Check on Contacts 과정을 수행할 수 있다. 예를 들면, 컨택트 서버(920)는 사용자 기기가 요청한 영상 서비스 가입 및 사용 가능 여부를 확인하여, 다시 영상 서비스 컴포넌트(603)로 그 결과를 전송할 수 있다. 예를 들어, 영상 서비스를 제공하기 위한 전자 장치 관련 부가 정보를 이용하여 영상 서비스 가입 및 사용 가능 여부를 확인할 수 있다. 한 실시 예에 따르면, 컨택트 서버(920)는 전자 장치(610, 620)의 어카운트 관리자(605)가 전송하거나 ESU Server(910)와 연동을 통해 전자 장치 관련 부가 정보를 이용하여 영상 서비스 사용 가능 여부를 판단할 수도 있다. 한 실시 예에 따르면, 컨택트 서버(920)는 전자 장치가 가입한 통신 사업자의 서비스가 영상 서비스를 허가하지 않는 것으로 판단되면 영상 서비스 사용이 불가하다고 전자 장치의 영상 서비스 컴포넌트(603)에 전달할 수도 있다.
동작 909에서, 전자 장치(610, 620)는 Friend Synchronization(Sync.) 과정을 수행할 수 있다. 예를 들면, 외부 서버(650)로부터 수신된 영상 서비스 사용자들의 서비스 가입 및 설치 여부 정보를 이용하여 전화번호부(607)를 변경할 수 있다. 한 실시 예에 따르면, 전화번호부(607)에 등록된 사용자 별로 영상 서비스 사용 여부를 전화번호부(607)에 표시할 수 있다. 다양한 실시 예들에서, 가입 설치 여부 정보는 서버(650) 상에서 데이터 변경 시 영상 서비스 컴포넌트(603)를 거쳐 전화번호부(607)에 주기적 또는 비주기적으로 업데이트 될 수 있다.
다양한 실시 예들에서, 영상 서비스를 위한 어플리케이션의 설치, 업데이트 유도 및 삭제하는 방법에 대하여 살펴보기로 한다.
다양한 실시 예들에 따라, Voice call 실행 상태에서 어플리케이션의 설치 및/또는 업데이트를 유도할 수 있다.
예를 들면, 영상 서비스 전환 이전에 송신자(예: 제1 전자 장치(610))와 수신자(예: 제2 전자 장치(620))가 Voice call을 실행하고 있는 상태에서, 송신자의 요청으로 수신자에게 SMS, MMS, push message 등의 메시지를 전송할 수 있다. 수신자는 메시지를 수신하면, 어플리케이션 설치 가능한 주소 링크(address link)(예: Store 주소, URL 등)를 표시할 수 있다. 다양한 실시 예들에서, 주소 링크는, 다양한 종류의 어플리케이션을 설치할 수 있는 스토어 앱(어플리케이션)과 같은 별도의 어플리케이션을 포함할 수 있다. 또한, 주소 링크는, 직접 어플리케이션을 다운 받을 수 있는 서버(예: 스토어 서버, 마켓, 컨텐츠 서버 등)의 접근 주소를 포함할 수 있다.
다양한 실시 예들에 따르면, 수신자(예: 제2 전자 장치(620))는 어플리케이션 설치 요청에 대한 허가 또는 거절을 결정할 수 있고, 결정하는 결과를 송신자에게 동일한 방법으로 재전송 할 수 있다.
다양한 실시 예들에 따라, Voice call 실행 이전 상태에서 어플리케이션의 설치 및/또는 업데이트를 유도할 수 있다.
예를 들면, Voice call 실행 이전에 사용자는 영상 서비스의 어플리케이션 설치를 포함하여, Voice call 실행을 진행할 수 있다. 한 실시 예에 따르면, 송신자(예: 제1 전자 장치(610)는, 전화 연결 요청과 함께 영상 서비스를 위한 어플리케이션 설치 요청을 함께 전달할 수 있다. 수신자(예: 제2 전자 장치(620))는 사용자에 의해 전화가 수락되면, 해당 시점에서 영상 서비스를 위한 어플리케이션을 자동으로 설치할 수 있다. 한 실시 예에 따라, 만약, 수신자(예: 제2 전자 장치(620))의 사용자가 전화를 수신하지 않으면 어플리케이션은 설치되지 않을 수도 있다.
다양한 실시 예들에서, 수신자(예: 제2 전자 장치(620))에 설치되는 어플리케이션은 송신자(예: 제1 전자 장치(610))에 설치된 어플리케이션과 같은(동일한) 버전(version)(예: 개발 목적, 서비스 목적 등)의 어플리케이션일 수 있고, 또는 최신 버전의 어플리케이션일 수 있다. 다양한 실시 예들에 따라, 수신자에 설치되는 어플리케이션이 최신 버전의 어플리케이션인 경우, 송신자와 수신자 모두에 업데이트되는 과정이 포함될 수 있다.
다양한 실시 예들에 따라, 영상 서비스에 따른 영상 통화가 종료되면, 사용자의 요청 또는 자동적으로 해당 어플리케이션(예: 설치된 영상 서비스를 위한 어플리케이션) 삭제 동작이 실행될 수 있다. 다양한 실시 예들에서, 삭제 과정은 사용자의 전자 장치에서만 삭제되며, 서버(650)(예: ESU Server(910), 컨택트 서버(920), 접속 서버(930) 등에서는 삭제 동작이 포함되지 않을 수 있다.
이상에서 도 9를 참조하여 살펴본 바와 같이, 다양한 실시 예들에 따르면, 전자 장치(500)(예: Caller device로, 제1 전자 장치(610))의 영상 서비스 컴포넌트(603)(예: chat agent)는 "Request for check up on Video service Availability for Contacts" 메시지를 전송하기 전에, 전자 장치 내의 컨택트 DB(contact DB)를 확인하여 우선 서비스 가입 여부를 확인할 수 있다. 일 실시 예에 따르면, 영상 서비스 컴포넌트(603)는 영상 서비스 어플리케이션에 포함될 수도 있고, 음성 통화를 위한 전화 어플리케이션에 포함될 수도 있고, 혹은 미디어 프로세서(840)에 포함될 수도 있다.
다양한 실시 예들에 따라, 전자 장치(500)는 미가입된 사용자들이 있는 경우 컨택트 서버(920)로 "Request for check up on Video service Availability for Contacts" 메시지를 전달하여 추가로 가입 여부를 확인할 수 있다.
다양한 실시 예들에 따라, 전자 장치(500)는 기 가입된 사용자들의 탈퇴 여부 확인을 위해, 컨택트 서버(920)로 "Request for check up on Video service Availability for Contacts" 메시지를 전달하여 추가로 변경 사항을 업데이트 할 수 있다.
다양한 실시 예들에 따라, 전자 장치(500)는 영상 서비스에 미가입된 사용자들에게 어플리케이션 설치 및/또는 업데이트를 유도할 수 있고, 추가적으로 설치된 어플리케이션의 삭제 기능을 제공할 수 있다.
다양한 실시 예들에 따르면, 전자 장치 식별자(예: 동일한 전화번호나 동일한 이메일 등)로 인증된 복수의 전자 장치들에 대해서, 영상 서비스를 위한 어플리케이션의 설치 여부를 구분하여, 컨택트 서버(920)에 최근에 업데이트된 컨택트 리스트(contact list)를 업데이트하여 싱크를 맞출 수 있다. 이를 위해, 추가적으로, 전자 장치 고유의 식별자(예: MAC 주소 등)에 기반하여 복수의 전자 장치들 각각을 식별하고, 이들 간에 컨택트 리스트를 컨택트 서버(920)를 이용하여 동기화할 수 있다.
다양한 실시 예들에 따르면, 전자 장치(500)가 "Video service Availability Check on Contacts" 메시지를 전송하기 전에, 컨택트 서버(920)는 사용자가 영상 서비스의 가입, 설치 또는 등록 여부를 부분적으로 필터링(filtering)하여 전송할 수 있다. 다양한 실시 예들에 따르면, 필터링 하는 대상은 사용자의 요청에 의해 지정된 번호에 한해서만 필터링 될 수 있다. 다양한 실시 예들에 따르면, 필터링 하는 대상은 사용자의 요청에 의해 지정된 번호를 제외한 번호에 대해서 필터링 될 수 있다. 다양한 실시 예들에 따르면, 전자 장치(500)의 통신 가입자 정보가 변경될 경우(예: 장착된 SIM 카드가 변경되거나, 또는 eSIM의 정보가 변경되는 경우), 전술한 바와 같은 서비스 가입 프로세스를 재 수행할 수도 있다.
도 10은 본 발명의 다양한 실시 예들에 따른 시스템에서 영상 서비스의 활성화 동작을 설명하기 위해 도시하는 도면이다.
도 10에 도시한 바와 같이, 도 10은 다양한 실시 예들에서, 전자 장치들(예: 제1 전자 장치(610), 제2 전자 장치(620)) 간에 영상 서비스를 위한 연결 동작으로, 영상 통신 기능을 활성화 하는 예시를 나타낼 수 있다. 도 10에서는 제1 전자 장치(610)와 제2 전자 장치(620)가 제1 네트워크(400)를 통해 음성 통화를 수행하는 중에, 제2 네트워크(600)의 서버(650)를 통해 영상 서비스를 위한 데이터 통신 연결(예: P2P 연결)을 수행하여, 영상 서비스를 연결하는 예시를 나타낼 수 있다. 예를 들면, 제1 전자 장치(610)에서, 제1 네트워크(400)를 통해 연결되어 음성 통화 중인 제2 전자 장치(520)에게, 데이터 통신을 연결하는 예시를 나타낼 수 있다.
다양한 실시 예들에서, 연결 동작은, 음성 통화 중에 수행될 수 있다.
도 10을 참조하면, 동작 1001에서, 전자 장치(500)는 어카운트 체크(Account Check) 과정을 수행할 수 있다. 예를 들면, 제1 전자 장치(610)의 Call App(601)은, 어카운트 관리자(605)를 통해서 어카운트 체크를 수행할 수 있다. 다양한 실시 예들에 따라, 어카운트 체크 과정은 Call과 독립적으로 수행될 수 있다. 다양한 실시 예들에서, 어카운트 체크 과정은 영상 서비스 컴포넌트(603)에 의해 이루어질 수도 있다. 다양한 실시 예들에서, 어카운트 체크 과정은, 영상 서비스 또는 영상 서비스를 위한 어플리케이션의 사용을 위하여, 전자 장치의 제조사나 서비스사의 가입 정보를 확인하고, 해당 전자 장치가 사용 가능한지 여부를 확인하는 동작을 포함할 수 있다. 이를 위해, 컨택트 서버(920)나 ESU Server(910)를 이용하여 영상 서비스 가입 정보를 확인할 수도 있고, 두 전자 장치들(910, 620)과 접속 서버(930) 간 네트워크 품질을 확인할 수도 있고, 또는 컨택트 서버(920)를 통해 클라이언트 설치 여부 및 영상 통신 가능 여부를 판단할 수도 있다.
동작 1003에서, 전자 장치(500)는 Receiver's Video service Availability Check 과정을 수행할 수 있다. 예를 들면, 제1 전자 장치(610)의 영상 서비스 컴포넌트(603)는, 전화번호부(607)에서 상대방 사용자(예: 제2 전자 장치(620))가 영상 서비스를 사용하는 사용자(또는 전자 장치)인지 체크를 수행할 수 있다.
동작 1005에서, 전자 장치(500)는 체크하는 결과에 기반하여 영상 서비스를 위한 객체를 활성화 할 수 있다. 예를 들면, 제1 전자 장치(610)는 체크하는 결과를 영상 서비스 컴포넌트(603)를 통해 수신하여, Call App(601)에 전달하거나(미도시), 또는 Call App(601)이 직접 받는 방식(도시)(동작 1005)으로 Call App(601)이 해당 결과 값을 얻을 수 있다. 다양한 실시 예들에서, Call App(601)은 체크 결과에 기반하여 영상 서비스를 위한 객체(예: 서비스 버튼, 서비스 아이콘(예: 영상 통신 아이콘) 등)(이하, 서비스 객체)를 통해, 사용자의 입력을 받을 수 있도록, 영상 서비스 기능을 활성화 또는 비활성화하고, 서비스 객체(예: 서비스 버튼, 텍스트, 영상 통신 아이콘)를 통해 이를 표시할 수 있다.
동작 1007에서, 전자 장치(500)는 서비스 객체를 이용한 사용자 입력 여부에 대응하는 동작을 수행할 수 있다. 예를 들면, 사용자는 Call App(601)의 활성화된 서비스 객체에 다양한 방법(예: 터치, 클릭, 음성 입력, 제스처 인식 등)으로 입력을 제공할 수 있다. 다양한 실시 예들에서, 사용자의 입력은 영상 서비스 컴포넌트(603)으로 전달될 수 있다. 다양한 실시 예들에서, 사용자의 입력을 대신하여 다른 신호(예: Call App 구동신호, 영상 서비스 아이콘 활성화 신호)를 영상 서비스 컴포넌트(603)으로 전달될 수 있다.
동작 1009에서, 전자 장치(500)는 상대방의 온라인 상태(online status)를 체크할 수 있다. 예를 들면, 제1 전자 장치(610)의 영상 서비스 컴포넌트(603)는, 사용자 입력이 전달되면, 접속 서버(930)를 통해 제2 전자 장치(620)의 네트워크 상태를 체크할 수 있다. 다양한 실시 예들에서, 체크하는 상태는 제2 전자 장치(620)가 데이터 통신 가능 상태인지 여부, 영상 통신에 적합한 네트워크 품질이 유지되는지 여부, 온라인 유지 상태인지 여부 등을 체크할 수 있다. 예를 들어, 제1 전자 장치(610)와 제2 전자 장치(620) 간 P2P 통신 채널 상태가 영상 통신에 적합한지 여부, 제1 전자 장치(610)에서 전송한 영상 데이터를 제2 전자 장치(620)에서 수신하기 위한 네트워크 상태(예: 제1 전자 장치(610)의 업링크, 제2 전자 장치(620)의 다운링크 상태) 중 하나 이상을 확인할 수도 있다. 다양한 실시 예들에 따르면, 온라인 상태(online status)를 체크하기 위해, 제1 전자 장치(610)의 영상 서비스 컴포넌트(603)는, 접속 서버(930)를 통해 제1 전자 장치(610)에서 제2 전자 장치(620)로 영상 정보를 보내기 위하여, 서버(650)(예: 접속 서버(930) 혹은 멀티미디어 스트리밍 서버(multimedia streaming server)(미도시) 중 하나 이상)를 경유하는 네트워크 품질을 확인할 수도 있다.
동작 1011에서, 전자 장치(500)는 체크하는 결과에 따라 상대방에게 연결을 요청할 수 있다. 예를 들면, 제1 전자 장치(610)의 영상 서비스 컴포넌트(603)는, 체크 결과에 기반하여, 만약 제2 전자 장치(620)가 서비스 연결이 가능할 경우 제2 전자 장치(620)에게 연결을 요청할 수 있다.
동작 1013 및 동작 1015에서, 전자 장치(500)는 전자 장치(500)는 상대방이 연결을 수락하면 영상 서비스를 시작할 수 있다. 예를 들면, 동작 1013에서, 제2 전자 장치(620)는 사용자 입력에 따라 제1 전자 장치(610)의 연결 요청에 대해 수락하는 응답을 전송할 수 있고, 이에 따라, 동작 1015에서, 제1 전자 장치(610)와 제2 전자 장치(620)는 연결될 수 있다. 제1 전자 장치(610)는 제2 전자 장치(620)와 연결되면, 영상을 전송할 수 있는 상태가 될 수 있다.
이상에서 도 10을 참조하여 살펴본 바와 같이, 다양한 실시 예들에 따르면, 영상 서비스 가입 여부 확인 과정은, 서비스 객체를 누르는 시점이 아니라, 음성 통화 연결 시 미리 진행할 수 있다. 예를 들면, 도 10에서, "Receiver's Video service Availability Check" 메시지는 음성 통화 연결 시점(예: incoming dialing, 또는 outgoing dialing) 또는 음성 통화 연결된 후에 전송될 수 있다.
다양한 실시 예들에서, 음성 통화 중 데이터 통신이 안 되는 경우, 예를 들면, 통신 사업자의 정책(예: 영상 통신 불가 혹은 대역폭 제한 등), 또는 통신망(예: CDMA2000, 3G 통신 등) 성능 상 문제(예: 대역폭, 통신 속도 등) 등으로 인해, 도 10에서, "Check Receiver's online status" 메시지 전송이 불가한 경우, 서비스 객체에 의한 사용자 입력에 따라, 자동 재다이얼(automatic redial)을 통한 음성 통화 재 연결 시 "Check Receiver's online status" 메시지를 전송하여 서비스 가입 여부를 확인할 수 있다.
도 11은 본 발명의 다양한 실시 예들에 따른 시스템에서 영상 서비스의 활성화 동작을 도시하는 도면이다.
도 11에 도시한 바와 같이, 도 11은 다양한 실시 예들에서, 전자 장치들(예: 제1 전자 장치(610), 제2 전자 장치(620)) 간에 영상 서비스를 위한 연결 동작으로, 영상 통신 기능을 활성화 하는 다른 예시를 나타낼 수 있다.
동작 1101에서, 제1 전자 장치(610)(예: 영상 송신 전자 장치)는 제2 전자 장치(620)(예: 영상 수신 전자 장치)의 서비스 이용 가능성(service availability)을 체크하고, 영상 서비스 기능 모드를 구동할 수 있다. 예를 들면, 서비스 이용 가능성을 판단하여 가능한 경우에만 서비스 객체(예: 서비스 버튼, 영상 통신 아이콘)를 활성화 하고, 이를 통해 사용자의 입력을 수신할 수 있다.
다양한 실시 예들에 따르면, 영상 서비스 가입 여부 확인 과정은, 서비스 객체를 누르는 시점이 아니라, 음성 통화 연결 시 미리 진행할 수 있다. 예를 들면, 도 11에서, "Receiver's Video service Availability Check" 메시지나 "Check Receiver's online status"는 음성 통화 연결 시점(예: incoming dialing, 또는 outgoing dialing )이나 음성 통화 연결된 후에 전송될 수 있다. 동작 1103에서, 제1 전자 장치(610)는 사용자로부터 영상 전송 요청을 수신할 수 있다. 다양한 실시 예들에 따라, 영상 전송 요청은, GUI를 통한 입력, 음성을 통한 입력, 제스처를 통한 입력 등에 의한 사용자 입력으로부터 수행될 수 있다. 다양한 실시 예들에 따라, 제1 전자 장치(610)는 영상 전송 요청을 위한 사용자 입력을 수신한 제1 전자 장치(610)는 스피커폰 모드로 전환할 수 있다.
동작 1105에서, 제1 전자 장치(610)는 접속 서버(930)(예: SCS 서버)를 통해, 제2 전자 장치(620)의 온라인 상태 체크(예: P2P 연결 가능 여부 상태 체크, 네트워크 상태 체크) 등을 수행할 수 있다. 다양한 실시 예들에서, 체크하는 상태는 제2 전자 장치(620)가 데이터 통신 가능 상태인지 여부, 영상 통신에 적합한 네트워크 품질이 유지되는지 여부, 온라인 유지 상태인지 여부 등을 체크할 수 있다. 예를 들어, 제1 전자 장치(610)와 제2 전자 장치(620) 간 P2P 통신 채널 상태가 영상 통신에 적합한지 여부, 제1 전자 장치(610)에서 전송한 영상 데이터를 제2 전자 장치(620)에서 수신하기 위한 네트워크 상태(예: 제1 전자 장치(610)의 업링크, 제2 전자 장치(620)의 다운링크 상태) 중 하나 이상을 확인할 수도 있다. 다양한 실시 예들에 따르면, 온라인 상태(online status)를 체크하기 위해, 제1 전자 장치(610)의 영상 서비스 컴포넌트(603)는, 접속 서버(930)를 통해 제1 전자 장치(610)에서 제2 전자 장치(620)로 영상 정보를 보내기 위하여, 서버(650)(예: 접속 서버(930) 혹은 멀티미디어 스트리밍 서버(multimedia streaming server)(미도시) 중 하나 이상)를 경유하는 네트워크 품질을 확인할 수도 있다.
동작 1107에서, 제1 전자 장치(610)는 체크 결과 또는 비디오 전송 요청 수신(예: 동작 1103) 중 하나 이상에 기반하여, 접속 서버(930)에 제2 전자 장치(620)와의 영상 통신(예: 영상 서비스 연결)을 요청할 수 있다. 다양한 실시 예들에서, 제1 전자 장치(610)는 영상 통신 연결을 위한 요청 신호에, 영상을 송신하는 제1 전자 장치(610)의 정보(예: 장치 정보, 사용자 정보 등), 영상을 수신하는 제2 전자 장치(620)의 정보(예: 장치 정보, 사용자 정보 등), App ID(예: 안드로이드 앱 패키지명, 앱 인증키, 토큰값, 앱 버전, 앱 등록정보) 등을 포함할 수 있다.
동작 1109에서, 제1 전자 장치(610)는 메시지 서버(950)에 제2 전자 장치(620)에 전송할 영상 통신 관련 메시지(예: 초대 메시지(invite message)) 혹은 제2 전자 장치(620)에 영상 통신 관련 메시지를 전송하도록 하기 위하여 영상 통신을 위한 메시지 요청을 전송할 수 있다. 다양한 실시 예들에서, 영상 통신 관련 메시지에는 전술한 과정처럼, 제1 전자 장치(610)의 정보, 제2 전자 장치(620)의 정보, App ID 등이 포함될 수 있다. 다양한 실시 예들에서, 동작 1113에서, 영상 통신 관련 메시지는 메시지 서버(950)를 통해 제2 전자 장치(620)에 전달(relay)될 수 있다.
동작 1111에서, 제1 전자 장치(610)는 영상 통신 관련 메시지를 전송하고, 영상 통신 대기를 표시하여 사용자에게 제공할 수 있다. 한 실시 예에 따르면, 제1 전자 장치(610)는 사용자에게 프리뷰(preview)(예: 카메라 촬영 정보), 애니메이션 효과, 텍스트(예: '연결 중'), 사운드(sound)(예: 연결음) 등을 제공할 수 있다.
동작 1115에서, 메시지 서버(950)로부터 영상 통신 관련 메시지(예: invite message)를 수신한 제2 전자 장치(620)는, 영상 통신 관련 메시지의 최소 일부를 포함하거나 대응하여 메시지를 표시할 수 있다. 예를 들면, 제2 전자 장치(620)는 사용자에게 제1 전자 장치(610)의 영상 통신 요청을 수락할 것인지, 또는 거절할 것인지를 입력 받을 수 있는, 유저 인터페이스를 화면 상에 표시할 수 있다. 다양한 실시 예들에 따라, 제2 전자 장치(620)는 사운드, 햅틱(haptic) 등을 통해 사용자에게 영상 통신 관련 메시지 수신을 알릴 수도 있다.
동작 1117에서, 제2 전자 장치(620)는 사용자 입력에 따라 영상 통신 요청에 대한 수락 또는 거부에 대한 정보를 접속 서버(930)에 전송할 수 있다. 예를 들면, 제2 전자 장치(620)는 사용자가, 다양한 입력 방식(예: GUI 선택, 음성 입력, 제스처 등)을 통해 영상 통신 요청을 수락한 경우, 접속 서버(930)에 영상 통신 허가 메시지를 전송할 수 있다. 다양한 실시 예들에서, 영상 통신 허가 메시지는 영상을 송신하는 제1 전자 장치(610)의 정보, 영상을 수신하는 제2 전자 장치(620)의 정보 중 하나 이상을 포함할 수 있다.
동작 1119에서, 제2 전자 장치(620)는 영상 통신 허가 메시지를 전송한 후, 영상 통신 대기를 표시하여 사용자에게 제공할 수 있다. 예를 들면, 제2 전자 장치(620)는 애니메이션 효과, 텍스트(예: '연결 중'), 사운드(예: 연결음) 등을 제공할 수 있다.
동작 1121 및 동작 1123에서, 제1 전자 장치(610)와 제2 전자 장치(620)는 접속 서버(930)로부터 응답(예: 영상 통신 연결 응답) 메시지를 수신할 수 있다. 다양한 실시 예들에서, 동작 1121은 동작 1107에 기반하여 동작 1113 이후에 수행되거나, 혹은 동작 1117에 기반하여, 비디오 통신 허가(예: 동작 1117) 관련 신호를 접속 서버(930)가 수신한 이후에 수행될 수 있다. 다양한 실시 예들에서, 동작 1121 및 동작 1123은 P2P 연결(예: 동작 1125) 이후 수행될 수도 있다. 다양한 실시 예들에 따라, 동작 1121과 동작 1123에서, 응답은, 각 전자 장치에게 비디오 통신이 수락되거나, 또는 불허되었다는 내용을 포함할 수 있고, 또한 영상 통신을 위한 상대 전자 장치의 관련 정보를 포함할 수도 있다.
동작 1125에서, 제1 전자 장치(610)와 제2 전자 장치(620)는 P2P 연결을 수행할 수 있다. 다양한 실시 예들에서, P2P 연결은 보안(security)을 위해 다양한 암호화 방식으로 암호화(예: 256bit encryption) 될 수 있다.
동작 1127 및 동작 1129에서, 제1 전자 장치(610)와 제2 전자 장치(620)는 P2P 연결 후 상대 전자 장치의 통신 상태(예: 연결 상태, 작업 상태, 카메라 작동 상태, 비디오 통신 송신 혹은 수신 상태 중 하나 이상)를 표시할 수 있다. 예를 들면, 동작 1127에서, 제1 전자 장치(610)는 P2P 연결 후 영상을 수신하는 제2 전자 장치(620)의 통신 상태를 표시할 수 있다. 동작 1129에서, 제2 전자 장치(620)는 P2P 연결 후 영상을 송신하는 제1 전자 장치(610)의 통신 상태를 표시할 수 있다. 다양한 실시 예들에서, 제1 전자 장치(610)와 제2 전자 장치(620) 간에 P2P 연결 이후에 상대 전자 장치의 통신 상태를 표시하는 동작 예시들에 대해 후술하는 도면들(예: 도 48 등)을 참조하여 상세히 설명된다.
동작 1131에서, 제1 전자 장치(610)는 P2P 연결에 기반하여 제2 전자 장치(620)와 영상을 송수신하며, 음성과 제어 신호도 송수신할 수 있다.
동작 1133에서, 제2 전자 장치(620)는 제1 전자 장치(610)로부터 영상을 수신하고, 수신된 영상을 표시하여 사용자에게 제공할 수 있다.
도 12는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 통화 중 영상 서비스를 연결하는 동작을 설명하기 위해 도시하는 도면이다.
도 12에 도시한 바와 같이, 도 12는, 예를 들면, Video Sender(예: 제1 전자 장치(610))와 Video Receiver(예: 제2 전자 장치(620)) 간에 음성 통화를 연결하여 음성 통화를 수행하는 중에, 영상 서비스를 연결하는 유저 인터페이스의 예시를 나타낼 수 있다.
도 12를 참조하면, 제1 전자 장치(610)와 제2 전자 장치(620)는 송신자와 수신자가 전화(음성 통화) 중 영상 서비스의 가능 여부를 체크하고, 이에 기반하여 Call App(601) 내의 서비스 객체(예: 서비스 버튼, 영상 통신 아이콘) 및 이에 연관된 기능을 활성화하거나 비활성화할 수 있다. 이를 위해, 어카운트 관리자(Account Manager)(605), 전화번호부(Phone book)(607), ESU Server(910), 컨택트 서버(920), 접속 서버(930) 중 하나 이상을 이용하여 영상 서비스 가능 여부를 판단할 수 있다. 다양한 실시 예들에 따르면, 제1 전자 장치(610)와 제2 전자 장치(620)의 사용자 중 어느 하나의 사용자(예: 송신자와 수신자 중 1인)는 영상 전송 요구를 전자 장치에 다양한 방법(예: 활성화된 서비스 객체 선택, 음성 입력, 제스처 입력 등)을 통해 입력할 수 있다. 도 12에서는 제1 전자 장치(610)의 사용자에 의해 영상 전송을 위한 사용자 입력이 이루어진 경우를 예시로 한다.
제1 전자 장치(610)는 음성 통화 중, 사용자 입력에 기반하여 제2 전자 장치(620)에게 영상 통신 요청을 전달할 수 있고, 제2 전자 장치(620)에서 동의를 하기 전까지 영상 통신 대기 상태임을 나타내는 시각적 효과(예: 애니메이션 효과)를 제공할 수 있다. 다양한 실시 예들에 따르면, 미리 지정된 카메라가 구동되어 디스플레이 화면에 프리뷰 동영상을 표시할 수 있다.
제1 전자 장치(610)는 제2 전자 장치(620)에 의해 동의를 수신하면, 음성 통화 동안에, 제2 전자 장치(620)와 P2P 연결을 수행할 수 있다. 제1 전자 장치(610)와 제2 전자 장치(620)는 P2P 연결을 수행할 때, 혹은 P2P 연결이 완료되면, 자동적으로 스피커폰 모드로 전환될 수 있다. 예를 들면, 영상 통화 모드에서는 음성 출력을 리시버가 아닌 스피커(예: 대음량 출력이 가능한 별도 스피커 장치)로 출력하거나, 또는 오디오의 출력을 상대적으로 높여서 출력함으로써, 사용성을 향상시킬 수 있다.
다양한 실시 예들에 따르면, 제1 전자 장치(610)는 제2 전자 장치(620)에 의해 동의를 수신하면, 음성 통화 동안에, 제2 전자 장치(620)와 멀티미디어 스트리밍 서버를 경유하는 연결을 수행할 수 있다. 예를 들면, 제1 전자 장치(610)가 영상 서비스와 관련한 비디오 혹은 오디오 데이터를 멀티미디어 스트리밍 서버에 전송하면, 멀티미디어 스트리밍 서버는 제2 전자 장치(620)의 어카운트 정보 및 수신자 온라인 상태 정보를 활용하여 제2 전자 장치(620)에서 재생할 이미지 혹은 오디오 스트리밍 정보를 생성하고, 제2 전자 장치(620)에 전송할 수 있다.
제2 전자 장치(620)는 제1 전자 장치(610)와 음성 통화 중에, 제1 전자 장치(610)로부터 영상 통신 요청이 수신되면, 영상 통신의 수행 여부를 입력 받을 수 있는 유저 인터페이스(예: 팝업 창(pop-up window))을 제공할 수 있다.
제2 전자 장치(620)는 팝업 창에 의한 사용자 입력에 기반하여 제1 전자 장치(610)와 영상 서비스 연결 여부를 결정할 수 있다. 제2 전자 장치(620)는 영상 서비스 연결이 수락될 시, 영상 통신 대기 상태임을 표시할 수 있다. 제2 전자 장치(620)는 영상 서비스 연결이 거부될 시, 이전 유저 인터페이스를 표시하도록 동작할 수 있다.
도 12를 참조하여, 다양한 실시 예들에서, 전자 장치들(예: 제1 전자 장치(610), 제2 전자 장치(620)) 간에, 음성 통화 중에 영상 서비스를 수행하는 동작 예시를 살펴보기로 한다.
제1 전자 장치(610)와 제2 전자 장치(620)는 음성 통화를 수행하기 위해 어느 한 전자 장치(예: 제1 전자 장치(610))에서, 어플리케이션(예: 통신 어플리케이션(예: Call App))을 구동한 후, 음성 통화 요청을 다른 전자 장치(예: 제2 전자 장치(620))에 전달할 수 있다.
한 실시 예에 따르면, 제1 전자 장치(610)는 다이얼링(dialing) 중에는 서비스 객체(예: 서비스 버튼, 영상 통신 아이콘)가 비활성화되고, 음성 통화가 연결되면, 두 전자 장치들(610, 620) 간 영상 통신 가능 여부에 따라 서비스 객체의 활성화 여부를 결정할 수도 있다.
다양한 실시 예들에 따라, 두 전자 장치들(610, 620) 중 영상을 전송할 전자 장치(예: 제1 전자 장치(610))에서, 서비스 객체를 이용하여 다른 전자 장치(예: 제2 전자 장치(620))에 영상 통신 연결 요청을 전송하면, 이를 수신한 다른 전자 장치는, 영상 통신 연결 요청에 대한 연결 여부를 결정할 수 있다.
다양한 실시 예들에 따라, 다른 전자 장치에서, 영상 통신 연결 요청이 허락되면, 영상 통신을 두 전자 장치들(610, 620) 간에 연결하고, 영상을 전송하는 송신 전자 장치(예: 제1 전자 장치(610))에서 영상을 실시간으로 전송할 수 있다. 다양한 실시 예들에서, 제1 전자 장치(610)와 제2 전자 장치(620)는 영상 통화 모드에서, 사용자가 편리하게 영상 서비스를 사용할 수 있도록 오디오를 출력할 장치를 변경(예: 리시버에서 스피커로)하거나, 또는 오디오의 출력을 변경할 수 있다.
다양한 실시 예들에 따르면, 영상 통신이 먼저 연결된 후, 영상과 함께 오디오도 함께 전송될 수 있다. 예를 들면, 전자 장치에서, 어플리케이션이 구동되고, 영상 통신 연결을 수행할 다른 전자 장치의 정보(예: ID)가 결정되면, 영상 통신 요청을 수행하고, 그 결과 상대방 전자 장치에서 영상 통신을 허가하면, 영상 통신 및 오디오 통신을 위한 P2P 또는 두 전자 장치들(610, 620)이 공유하는 네트워크 상의 서버(예: 멀티미디어 스트리밍 서버) 연결을 수행함으로써 수행될 수 있다.
다양한 실시 예들에 따르면, 영상 통신 중, 다양한 서비스를 제공하기 위한 다양한 메뉴 및 다양한 객체(예: 아이콘)를 포함하는 유저 인터페이스가 제공될 수 있다. 다양한 실시 예들에서, 전술한 바와 같은 영상 서비스에 따른 다양한 유저 인터페이스의 상세 화면 예시에 대해, 후술하는 도면들을 참조하여 구체적으로 설명된다.
도 13은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 통화 중 영상 서비스를 연결하는 동작을 설명하기 위해 도시하는 도면이다.
도 13에 도시한 바와 같이, 도 13은, 예를 들면, Video Sender(예: 제1 전자 장치(610))와 Video Receiver(예: 제2 전자 장치(620)) 간에 음성 통화를 연결하여 음성 통화를 수행하는 중에, 영상 서비스를 연결하는 유저 인터페이스의 예시를 나타낼 수 있다.
도 13을 참조하면, 제1 전자 장치(610)와 제2 전자 장치(620)는 송신자와 수신자가 전화 중 영상 서비스의 가능 여부를 체크하고, 이에 기반하여 Call App 내의 서비스 객체(예: 서비스 버튼, 영상 통신 아이콘)를 활성화할 수 있다. 다양한 실시 예들에 따르면, 제1 전자 장치(610)와 제2 전자 장치(620)의 사용자 중 어느 하나의 사용자(예: 송신자와 수신자 중 1인)는 영상 전송 요구를 전자 장치에 다양한 방법(예: 활성화된 서비스 객체 선택, 음성 입력, 제스처 입력 등)을 통해 입력할 수 있다. 도 13에서는 제1 전자 장치(610)의 사용자에 의해 영상 전송을 위한 사용자 입력이 이루어진 경우를 예시로 한다.
제1 전자 장치(610)는 음성 통화 중, 사용자 입력에 기반하여 제2 전자 장치(620)에게 영상 통신 요청을 전달할 수 있고, 제2 전자 장치(620)에서 동의를 하기 전까지 혹은 제1 전자 장치(610)와 제2 전자 장치(620) 간 영상 통신이 수행되기 이전까지 애니메이션 효과를 제공할 수 있다.
다양한 실시 예들에서, 제2 전자 장치(620)에서, 영상 통신 요청을 동의하는 과정은, 별도의 GUI(Graphical User Interface)(예: 팝업 창)으로 표시될 수 있다. 다양한 실시 예들에 따라, 영상 서비스 전환을 허락할지, 또는 거부할지를 결정하는 GUI에는 데이터 비용이, 추가적으로 지불될 수 있음을 추가적으로 사용자에게 알려 줄 수 있다. 제2 전자 장치(620)는 GUI에 기반하여 영상 서비스 전환을 위한 사용자 입력을 수신할 수 있고, 사용자 입력에 따라 제1 전자 장치(610)와 영상 서비스를 위한 통신 연결을 시도하고, 통신 대기 화면을 표시할 수 있다. 한 실시 예에 따라, 제2 전자 장치(620)는 GUI에서 ACCEPT가 선택되는 경우 영상 서비스 전환을 결정하고 영상 서비스 연결 동작을 수행할 수 있다. 한 실시 예에 따라, 제2 전자 장치(620)는 GUI에서 DECLINE가 선택되는 경우 영상 서비스 비전환(예: 영상 서비스로의 전환을 수행하지 않도록)을 결정하고 영상 서비스 연결 동작을 수행하지 않을 수 있다.
다양한 실시 예들에 따르면, GUI를 표시하기 이전에, 영상 서비스 컴포넌트(603)는, WiFi, BT/BLE, NFC 등의 무선 접속 네트워크(wireless access network) 연결 상태를 확인할 수 있다. 예를 들면, 영상 서비스 컴포넌트(603)는, 통신 연결 상태를 확인하여 데이터 수신으로 인한 별도의 과금이 되지 않는 통신 모듈이 감지되는 경우, 과금이 되지 않는 통신 모듈을 연결한 후, 영상 서비스를 위한 통신 연결을 수동 또는 자동으로 수행할 수도 있다. 한 실시 예에 따르면, 제2 전자 장치(620)가 WiFi 네트워크에 연결된 경우, P2P 연결을 WiFi를 통해 수행 또는 연결 상황 정보를 업데이트하고, 영상 서비스 관련 팝업 창을 표시할 수 있다. 다양한 실시 예들에 따라, WiFi인 경우 과금 대상이 될 수 있다는 통지(notification) 내용은 삭제될 수 있다.
한 실시 예에 따르면, Cell 망(예: 3G, 4G, LTE, WCDMA 등)를 통해 음성 통신을 수행 중, 영상 서비스를 위해 WiFi가 사용 가능한 경우 이를 통해 영상 서비스를 수행할 수 있다. 이때, 음성 통신 또한 WiFi로 전환할 수도 있다.
다양한 실시 예들에 따르면, 음성 통화 동안 영상 서비스를 연결할 시, 음성 통화는 계속 유지하므로, 화면의 일 영역에 총 통화 시간을 표시하여 제공할 수 있다. 다양한 실시 예들에 따르면, 영상 서비스는 영상 송신 전자 장치(예: 제1 전자 장치(610)) 또는 영상 수신 전자 장치(예: 제2 전자 장치(620)) 중 어느 한 전자 장치에서 종료할 수 있다. 다양한 실시 예들에 따르면, 음성 통화 중에, 영상 송신 전자 장치(예: 제1 전자 장치(610))는 영상 서비스 개시(예: 영상 발신)과 동시에 스피커 버튼(예: Speaker 아이콘)을 온(또는 비활성화 상태 표시 -> 활성화 상태 표시)할 수 있고, 영상 서비스 종료 시 스피커 버튼을 오프(예: 활성화 상태 표시 -> 비활성화 상태 표시)할 수 있다.
다양한 실시 예들에서, 전술한 바와 같은 영상 서비스에 따른 다양한 유저 인터페이스의 상세 화면 예시에 대해, 후술하는 도면들을 참조하여 구체적으로 설명된다.
도 14A, 도 14B 및 도 14C는 본 발명의 다양한 실시 예들에 따른 전자 장치의 유저 인터페이스의 예시를 설명하기 위해 도시하는 도면들이다.
도 14A, 도 14B 및 도 14C에 도시한 바와 같이, 도 14A, 도 14B 및 도 14C는 전자 장치(500)에서 영상 서비스 연결 또는 영상 서비스 연결에 따른 히스토리(history)에 관한 유저 인터페이스의 예시를 나타낼 수 있다.
도 14A를 참조하면, 다양한 실시 예들에서, 전자 장치(500)(또는 통신 어플리케이션(예: Call App))은 영상 서비스 연결 이전에 유저 인터페이스에서, 영상 서비스 히스토리를 표시하기 위한 객체(1410), 영상 서비스와 관련된 설정을 위한 객체(1420), 영상 서비스 또는 영상 통신을 위한 사용자(예: 친구) 검색 또는 선택을 위한 객체(1430), 영상 서비스 사용자(예: 우선순위 또는 즐겨 찾기의 사용자)의 목록을 제공하는 객체(1440)를 표시하여 사용자에게 제공할 수 있다. 다양한 실시 예들에 따라, 객체(1410)(예: 히스토리 버튼)와 중첩 또는 인접한 영역을 통해 Missed 영상 서비스에 대한 배지(badge)를 제공(예: Missed video service가 있는 경우)할 수도 있다.
다양한 실시 예들에서, 전자 장치(500)(또는 통신 어플리케이션(예: Call App))은, 영상 서비스 히스토리를 표시하는 기능을 사용자에게 제공할 수 있다. 예를 들면, 도 14A에 도시한 바와 같이, 화면의 일 영역(예: 화면의 좌측 상단)의 히스토리 버튼(1410)을 제공할 수 있다.
다양한 실시 예들에 따라, 전자 장치(500)는 사용자가 히스토리 버튼(1410)을 선택(예: 클릭, 터치)하면, 예를 들면, 도 14B에 도시한 바와 같이, 영상 서비스와 관련된 통신 기록(1410A)을 표시하도록 유저 인터페이스를 제공할 수 있다. 다양한 실시 예들에서, 통신 기록(1410A)은, 예를 들면, 영상 통신 완료, Missed Call, Reject, Outgoing/Incoming, 통신 시점, 통신 시간(예: Today, Yesterday, 6 Aug. 2014, 시각(예: 3:22PM, 1:17PM 등), 상대방 정보, 상대방 등록 사진 중 하나 이상이 제공될 수 있다.
한 실시 예에 따라, 도 14B를 참조하면, 영상 서비스 수행에 따라 영상 통신이 완료된 정보(1460)(예: 통신 횟수로, (2), (3) 등), 영상 서비스를 발신하거나 수신에 대한 정보(1450A)(예: Outgoing, Incoming), 영상 서비스 실패에 따른 정보(1450B)(예: Missed), 영상 서비스 요청에 대한 거부 정보(1450C)(예: Rejected), 상대방 정보(1450D)(예: 이름, 이미지, 전화번호 등)을 포함하여 제공할 수 있다. 다양한 실시 예들에 따라, 통신 기록(1410A)에서 각 정보는 텍스트, 이미지, 또는 아이콘 등 중 적어도 하나 또는 조합으로 제공될 수 있다.
다양한 실시 예들에 따라, 통신 기록은 시간 순으로 기록될 수 있으며, 사용자(사람) 별로 정리되어(예: 그루핑(grouping)), 예를 들면, 그루핑 로그(grouping log)가 제공될 수도 있다. 한 실시 예에 따라, 그루핑으로 통신 기록을 제공할 때, Missed call의 경우는 따로 분리하여 표시할 수 있다.
다양한 실시 예들에 따라, 사용자가 통신 기록 중 어느 하나(또는 통신 기록 항목)을 선택하면, 선택된 통신 기록의 해당 사용자와의 상세 통신 기록(예: 사용자 정보(예: 이름, 전화번호, 이미지 등), 사용자와의 영상 서비스 사용에 따른 모든 히스토리, 영상 서비스 종류(예: Outgoing, Incoming), 영상 서비스 수행 여부(예: Missed, Rejected) 등)이 제공될 수 있고, 해당 화면에서 제공되는 다양한 입력 버튼(예: 제1 버튼(1470), 제2 버튼(1480), 제3 버튼(1490))을 통해, 영상 서비스 발신(예: 제1 버튼(1470)), 음성 통화(예: 제2 버튼(1480)), 메시지 전달(예: 제3 버튼(1490)) 등을 편리하게 수행할 수 있다.
다양한 실시 예들에 따라, 만약 상대방의 전화번호가 전화번호부(607)에 등록되어 있지 않을 경우(예: 도 14B에서 Unsaved에 대응)는, 도 14C에 도시한 바와 같이, 해당 전화번호를 전화번호부(607)에 등록할 수 있는 'CREATE CONTACT'와 같은 버튼(1495)이 제공될 수 있다.
다양한 실시 예들에 따라, 도 14A에 도시한 바와 같이, 화면의 일 영역(예: 화면의 우측 상단)의 설정 버튼(1420)을 사용자가 선택(예: 클릭, 터치)하면 영상 서비스의 설정 관련 화면을 제공할 수 있다.
다양한 실시 예들에 따라, 도 14A에 도시한 바와 같이, 화면의 일 영역(예: 화면의 중간 부분의 검색 버튼(1430)을 사용자가 선택(예: 클릭, 터치)하면 영상 서비스를 사용하는, 전화번호부(607)에 등록된 사용자의 리스트(예: Friends list)를 보여주는 화면으로 이동할 수 있다.
다양한 실시 예들에 따라, 도 14A에 도시한 바와 같이, 화면의 일 영역(예: 검색 버튼(1430)과 인접하여 상측 또는 하측으로 연결되는 영역)에 영상 서비스를 사용하는, 전화번호부(607)에 등록된 사용자의 리스트(예: 우선순위 사용자, 즐겨 찾기 사용자, 최근 통화 사용자, 또는 사용자에 의해 설정된 사용자 등에 대한 정보)를 함께 제공할 수 있다.
다양한 실시 예들에 따르면, 도시하지는 않았으나, 전화번호부(607)의 리스트(예: contact list) 화면에서, 사용자 정보(예: 이름, 이미지, 전화번호)과 함께 영상 서비스 가입 여부나 사용 이력을 함께 표시할 수도 있다.
다양한 실시 예들에서, 전자 장치(500)가 음성 통화 중에 영상 서비스 실행에 따라 제공하는 서비스 유저 인터페이스의 화면 예시가 도 15, 도 16, 도 17, 도 18 및 도 19에 도시된다.
도 15 및 도 16은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면들이다.
도 15 및 도 16을 참조하면, 도 15 및 도 16은 음성 통화 중에 영상 서비스 실행 요청에 따라 서비스 연결을 대기 또는 서비스 연결 형성 시 제공되는 서비스 유저 인터페이스의 화면 예시를 나타낼 수 있다. 다양한 실시 예들에서, 도 15 및 도 16은 전자 장치(500)가 영상을 전송하는 발신 단말의 화면 예시일 수 있다.
도 15 및 도 16에 도시한 바와 같이, 서비스 유저 인터페이스는 프리뷰 영역(1500), 제1 기능 선택 영역(1510), 제2 기능 선택 영역(1530)을 포함하여 구현할 수 있다.
다양한 실시 예들에서, 프리뷰 영역(1500)은 음성 통화 중에 영상 서비스 실행에 응답하여 영상이 표시되는 영역을 나타낼 수 있다. 한 실시 예에 따르면, 프리뷰 영역(1500)은 영상 서비스 실행에 대응하여 구동된 카메라(예: 카메라 모듈(570))(예: 전면 또는 후면 카메라 중 적어도 하나)를 통해 획득되는 실시간 영상(real-time video)(또는 라이브 영상(live video))을 제공할 수 있다. 한 실시 예에 따르면, 프리뷰 영역(1500)은 영상 서비스 실행에 대응하여 전자 장치(500)의 내부 또는 외부로부터 획득하는 영상들의 리스트(예: 전자 장치(500)의 메모리에 저장된 영상 리스트, 복수개 카메라들을 통해 수집되는 프리뷰 영상 리스트, 혹은 네트워크를 통해 획득한 영상 리스트 등)가 제공되고, 리스트에서 사용자에 의해 선택된 영상을 제공할 수도 있다. 다양한 실시 예들에서, 리스트는 텍스트 혹은 이미지(예: thumbnail, 프리뷰 등)로 표시될 수 있다.
다양한 실시 예들에서, 제1 기능 영역(1510)은 영상 서비스 연결된 상대방 전자 장치와 영상 서비스를 사용한 사용 시간 및 상대 정보(예: 이름, 별칭) 등을 포함하는 서비스 정보(1540)를 제공할 수 있다. 다양한 실시 예들에서, 제1 기능 영역(1510)은 음성 통화 중에 실행하는 영상 서비스와 관련된 다양한 기능(또는 어플리케이션)들에 대한 객체(예: 아이콘, 텍스트)를 표시(예: 메뉴 호출)하도록 하는 메뉴 버튼(1550)을 제공할 수 있다. 한 실시 예에 따르면, 사용자에 의해 메뉴 버튼(1550)이 선택(예: 클릭, 터치)되면, 제1 기능 영역(1510)에, 영상 서비스와 관련된 다양한 기능(또는 어플리케이션)들에 대한 객체(예: 아이콘, 텍스트)가 표시될 수 있다.
한 실시 예에 따르면, 제1 기능 영역(1510)은, 도 16에 도시한 바와 같이, 프리뷰 영역(1500)에 표시된 영상을 캡쳐하여 저장(예: 영상 송신 중 캡쳐)할 수 있는 객체(1511)(예: Capture 버튼), 프리뷰 영역(1500)에 표시된 영상 혹은 이와 관련한 영상(예: full 해상도 영상)을 녹화(예: 영상 송신 중 녹화)할 수 있는 객체(1513)(예: Record 버튼), 복수 개 카메라들 중 영상을 획득하는 카메라 선택을 변경(예: 후면 카메라에서 전면 카메라로 전환 또는 전면 카메라에서 후면 카메라로 전환)할 수 있는 객체(1515)(예: Switch camera 버튼), 적어도 2개의 카메라(예: 전면 카메라 및 후면 카메라를 동시 구동하는 듀얼(dual) 카메라)를 실행하기 위한 객체(1517)(예: Dual camera 버튼), 프리뷰 영역(1500) 상에 포인터(pointer)를 호출하여 표시(예: 화면 내 포인팅(pointing) 기능을 수행)하기 위한 객체(1519)(예: Pointer 버튼) 등이 제1 기능 영역(1510)에 포함될 수 있다.
다양한 실시 예들에 따라, 제1 기능 영역(1510)은 영상 서비스에서 발신 단말에서 제공될 수 있고, 프리뷰 영역(1500)을 통해 표시되는 영상과 관련하여 저장, 선택 또는 설정 변경 등을 수행하기 위한 다양한 기능 버튼들에 의해 구현할 수 있다.
다양한 실시 예들에서, 제2 기능 영역(1530)은 영상 서비스 및/또는 음성 통화와 관련된 다양한 기능(또는 어플리케이션)들에 대한 객체(예: 아이콘, 텍스트)를 제공할 수 있다. 한 실시 예에 따르면, 제2 기능 영역(1530)은 영상 서비스를 위한 발신 단말과 수신 단말에서 모두 공통적으로 제공되는 영역을 나타낼 수 있다. 한 실시 예에 따르면, 영상 서비스를 종료(예: 서비스 연결 종료)하기 위한 객체(1531)(예: End 버튼), 볼륨 또는 스피커 모드 설정, 또는 스피커 온/오프를 위한 객체(1533)(예: Speaker 버튼), 음소거 여부 선택을 위한 객체(1535)(예: Mute 버튼) 등이 제2 기능 영역(1530)에 포함될 수 있다.
다양한 실시 예들에 따라, 프리뷰 영역(1500) 상에 포인터를 호출하여 표시하기 위한 객체(1519)(예: Pointer 버튼)는 발신 단말과 수신 단말에서 모두 공통적으로 제공될 수 있으며, 제2 기능 영역(1530)에 포함될 수도 있다.
다양한 실시 예들에 따라, 객체(1519)가 선택(예: 클릭, 터치)되면, 포인팅 기능이 실행되어 포인터가 프리뷰 영역(1500)에 표시되어 제공(예: 포인터 구동)될 수 있다. 다양한 실시 예들에 따라, 포인터 구동 시 화면 정지(pause)(예: 카메라를 통해 획득하는 실시간 또는 동적으로 표시되는 프리뷰 이미지의 캡쳐) 될 수 있다.
다양한 실시 예들에서, 제1 기능 영역(1510)과 제2 기능 영역(1530)에 따른 다양한 객체들 및 다양한 객체들 간의 배치는 도 15 및 도 16에 예시된 것에 한정되지 않으며, 전자 장치(500)의 설정에 따라 다양하게 변경 및 설계될 수 있다.
다양한 실시 예들에서, 전자 장치(500)(예: 영상 전송을 위한 발신 단말)는 영상 서비스 실행에 응답하여, 영상 서비스 실행 상태를 표시하는 객체(1570)(예: 진행 상태를 알리는 아이템(예: 애니메이션 아이콘)과 텍스트(예: Requesting Video Service...)) 중 적어도 하나를 프리뷰 영역(1500)의 일 영역에 제공할 수 있다. 한 실시 예에 따르면, 전자 장치(500)는 전술한 바와 같이, 수신 단말과 영상 서비스 연결을 위해 수행하는 서비스 연결 절차 진행 동안(예: 수신 단말과 실질적인 서비스 연결 이전까지) 사용자에게 서비스 연결 중임을 직관적인 객체(1570)에 기초하여 제공할 수 있다. 한 실시 예에 따르면, 전자 장치(500)는 수신 단말과 영상 서비스가 실행 중인 경우(예: 영상 서비스가 연결된 경우) 서비스 연결 중임을 통지하는 객체(1570)는 표시하지 않을 수 있다.
도 17, 도 18 및 도 19는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면들이다.
도 17을 참조하면, 도 17은 전자 장치(500)에서 음성 통화 중에 제공되는 서비스 유저 인터페이스의 화면 예시를 나타낸다. 예를 들면, 도 17은 음성 통화 중인 다른 전자 장치와의 영상 수신을 위한 서비스 연결을 대기 또는 서비스 연결 형성 시 제공되는 서비스 유저 인터페이스의 화면 예시를 나타낼 수 있다. 다양한 실시 예들에서, 도 17은 전자 장치(500)가 영상을 수신하는 수신 단말의 화면 예시일 수 있다.
도 17에 도시한 바와 같이, 서비스 유저 인터페이스는 전술한 도 15 및 도 16을 참조한 설명 부분에서 설명한 바에 대응하는 제1 기능 영역(1710)과 제2 기능 영역(1730)을 포함할 수 있고, 프리뷰 영역(1700)을 포함할 수 있다. 다양한 실시 예들에 따라, 제2 기능 영역(1730)은 영상 서비스를 위한 발신 단말과 수신 단말에서 모두 공통적으로 제공되는 영역으로, 도 17, 도 18 및 도 19에서, 제2 기능 영역(1730)의 객체들(1731, 1733, 1735)은 전술한 도 15 및 도 16을 참조한 설명 부분에서 설명한 객체들(1531, 1533, 1535)에 대응할 수 있다.
다양한 실시 예들에 따라, 도 17은 서비스 연결에 따른 영상 수신을 대기하는 상태의 화면 예시일 수 있다. 이러한 경우, 전자 장치(500)는 프리뷰 영역(1700)을 블랙 아웃(black out) 처리하여 제공할 수 있고, 다른 전자 장치로부터 영상 수신을 대기 중임을 통지하는 객체(1770)(예: 진행 상태를 알리는 아이템(예: 애니메이션 아이콘)과 텍스트(예: Preparing video image... This may take a few seconds due to the network delays.) 중 적어도 하나를 프리뷰 영역(1700)의 일 영역에 제공할 수 있다.
다양한 실시 예들에 따라, 전자 장치(500)는 다른 전자 장치와 음성 통화 중에 다른 전자 장치로부터 서비스 연결 요청이 수신되면, 사용자에게 팝업 등에 기초하여 서비스 연결 요청이 수신됨을 통지하고, 서비스 연결 여부에 대해 입력 받을 수 있다. 전자 장치(500)는 사용자에 의해 서비스 연결이 허용될 경우, 다른 전자 장치로부터 전송된 영상을 화면에 표시할 수 있다. 이의 예시가 도 18 및 도 19에 도시되어 있다.
도 18을 참조하면, 다양한 실시 예들에서, 제1 기능 영역(1710)은 영상 서비스 연결된 상대방 전자 장치와 영상 서비스를 사용한 사용 시간 및 상대 정보(예: 이름, 별칭) 등을 포함하는 서비스 정보(1740)를 제공할 수 있다. 다양한 실시 예들에서, 제1 기능 영역(1710)은 음성 통화 중에 실행하는 영상 서비스와 관련된 다양한 기능(또는 어플리케이션)들에 대한 객체(예: 아이콘, 텍스트)를 표시(예: 메뉴 호출)하도록 하는 메뉴 버튼(1750)을 제공할 수 있다. 한 실시 예에 따르면, 사용자에 의해 메뉴 버튼(1750)이 선택(예: 클릭, 터치)되면, 제1 기능 영역(1710)에, 영상 서비스와 관련된 다양한 기능(또는 어플리케이션)들에 대한 객체(예: 아이콘, 텍스트)가 표시될 수 있다.
한 실시 예에 따르면, 제1 기능 영역(1710)은, 도 19에 도시한 바와 같이, 프리뷰 영역(1500) 상에 포인터(pointer)를 호출하여 표시(예: 화면 내 포인팅(pointing) 기능을 수행)하기 위한 객체(1760)(예: Pointer 버튼)를 표시하여 제공할 수 있다.
다양한 실시 예들에 따라, 객체(1760)이 선택(예: 클릭, 터치)되면, 포인팅 기능이 실행되어 포인터가 프리뷰 영역(1700)에 표시되어 제공(예: 포인터 구동)될 수 있다. 다양한 실시 예들에 따라, 포인터 구동 시 화면 정지(pause)(예: 카메라를 통해 획득하는 스틸 이미지 또는 실시간으로 표시되는 프리뷰 이미지의 캡쳐) 될 수 있다.
도 19를 참조하면, 도 19는 전자 장치(500)에서 음성 통화 중에 다른 전자 장치로부터 서비스 연결에 따라 수신되는 영상을 제공하는 서비스 유저 인터페이스의 화면 예시를 나타낼 수 있다. 다양한 실시 예들에서, 도 19는 전자 장치(500)가 영상을 수신하는 수신 단말의 화면 예시일 수 있다.
다양한 실시 예들에 따라, 영상을 수신하는 전자 장치(500)의 경우 전술한 도 15 및 도 16을 참조한 설명 부분에서 설명한 바와 같은 제1 기능 영역(1510)의 일부 객체는 생략될 수 있다. 예를 들어, 수신 단말의 전자 장치(500)에서는, 제1 기능 영역(1710)에 포인팅 기능을 위한 객체(1760)만을 표시하여 제공할 수 있다.
다양한 실시 예들에서, 프리뷰 영역(1700)을 통해 표시되는 영상은 다른 전자 장치의 프리뷰 영역(예: 도 16의 프리뷰 영역(1500))에 표시되는 영상과 동일한 영상이 표시될 수 있다.
다양한 실시 예들에 따르면, 전자 장치들(제1 전자 장치(510)와 제2 전자 장치(520)) 간에 음성 통화 중에 영상 송수신(또는 영상 공유)를 위한 영상 서비스 연결 시, 영상을 전송하는 발신 단말과 영상을 수신하는 수신 단말의 유저 인터페이스를 구분하여 제공할 수 있다. 예를 들어, 도 15 내지 도 19에 도시한 바와 같이, 발신 단말과 수신 단말의 유저 인터페이스는 공통적으로 프리뷰 영역(1500, 1700)을 통해 영상을 표시할 수 있고, 프리뷰 영역(1500, 1700)의 일 영역 상에 제2 기능 영역(1530, 1730)을 제공할 수 있다. 추가적으로 또는 대체적으로, 발신 단말의 유저 인터페이스는 수신 단말의 유저 인터페이스에 비해, 전송하는 영상에 대한 저장, 선택 또는 설정 변경 등을 수행하기 위한 다양한 객체들을 제1 기능 영역(1510)에 더 포함할 수 있다.
도 20은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
다양한 실시 예들에서, 도 20은 영상 전송을 위한 서비스 연결 시 유저 인터페이스의 서비스 객체(예: 서비스 버튼, 영상 통신 아이콘)를 활성화 하는 동작을 나타낼 수 있다. 예를 들면, 전자 장치(500)가 영상 전송을 위한 발신 단말에서 서비스 객체를 활성화 하는 동작 예시를 나타낼 수 있다.
도 20을 참조하면, 동작 2001에서, 전자 장치(500)의 제어부(580)(예: 발신 단말로 동작하는 전자 장치의 프로세서)는 사용자 입력에 기반하여 어플리케이션(예: 통신 어플리케이션(예: Call App))을 구동할 수 있다. 다양한 실시 예들에 따르면, 제어부(580)는 영상 서비스의 가용 여부를 서비스 객체를 통해 표시할 수 있다. 한 실시 예에 따르면, 제어부(580)는 영상 서비스가 가용하지 않은 경우 서비스 객체를 비활성화 상태로 표시할 수 있고, 영상 서비스가 가용한 경우 서비스 객체를 활성화 상태로 표시할 수 있다. 다양한 실시 예들에 따라, 서비스 객체를 선택(예: 터치, 클릭)하는 사용자 입력에 기반하여 어플리케이션이나 영상 서비스 모듈(예: thread, 태스크 등)이 구동될 수 있고, 또는 인커밍 콜(incoming call) 수신에 대응하여 자동으로 소정의 영상 서비스 모듈이나 해당 모듈이 포함된 어플리케이션이 구동될 수도 있다. 다양한 실시 예들에서, 서비스 객체의 활성화 또는 비활성화 상태 표시와 관련하여, 후술하는 도면들(예: 도 21, 도 22)을 참조하여 구체적으로 설명된다.
동작 2003에서, 제어부(580)는 영상 서비스를 위한 연결 셋업(connection setup) 상태 동안 영상 서비스 기능을 비활성화 처리할 수 있다. 예를 들면, 제어부(580)는 영상 서비스 기능 비활성화 처리를 위해 영상 서비스 관련 기능과 관련한 서비스 객체 선택, 음성 인식, 제스처 인식 등의 사용자 입력을 감지하지 않거나, 감지하더라도 영상 서비스 관련 사용자 입력과 관련한 기능을 처리하지 않거나, 동작이 되지 않도록 하거나, 또는 다른 기능(예: 에러 메시지 표시)으로 대체 수행할 수 있다.
동작 2005에서, 제어부(580)는 상대 전자 장치의 연결 수락에 응답하여, 상대 전자 장치와 연결을 형성할 수 있다.
동작 2007에서, 제어부(580)는 영상 통신의 가능(availability) 여부를 체크할 수 있다. 다양한 실시 예들에 따라, 제어부(5801)는 음성 통화 중인 다른 전자 장치와 영상 통신이 수행 가능한지 여부를 판단할 수 있다.
한 실시 예에 따르면, 제어부(580)는 현재 음성 통화 중인 다른 전자 장치가 영상을 수신할 수 있는 영상 서비스에 가입된 단말인지 아닌지를 서비스 가입 정보에 기초하여 판단할 수 있다. 다른 한 실시 예에 따르면, 제어부(580)는 현재 통화 중인 다른 전자 장치와 관련된 능력(capability)을 확인할 수 있다. 다른 전자 장치와 관련된 능력은 전자 장치의 종류, 다른 전자 장치와 연결된(또는 연결될 수 있는) 적어도 하나의 전자 장치와 관련된 장치 정보를 포함할 수 있다. 다양한 실시 예들에서는, 데이터 통신 연결의 안정성을 높이기 위해, 실제 데이터 통신 연결을 시도하기 전에, 서비스 가입 정보 또는 전자 장치와 관련된 능력 중 적어도 일부에 기반하여, 다른 전자 장치와의 데이터 통신 가능 여부를 판단할 수 있다.
다양한 실시 예들에서, 영상 서비스의 가입 여부 판단을 위한 서비스 가입 정보는, 예를 들면, 연락처 데이터베이스에 기초하여 판단할 수 있다. 다양한 실시 예들에 따르면, 연락처 데이터베이스는 전자 장치(500) 내에 저장된 연락처 데이터베이스 또는 서버에 저장된 연락처 데이터베이스를 포함할 수 있다. 다양한 실시 예들에 따르면, 제어부(580)는 연락처 데이터베이스에 기초하여 다른 전자 장치의 서비스 가입 정보가 확인되면, 다른 전자 장치가 데이터 통신이 가능한 장치(예: 서비스 연결 가능한 장치)인 것으로 결정할 수 있다. 다양한 실시 예들에 따르면, 제어부(580)는 연락처 데이터베이스에 기초하여 다른 전자 장치의 서비스 가입 정보가 확인되지 않으면, 다른 전자 장치가 데이터 통신이 가능하지 않은(불가능한) 장치(예: 서비스 연결이 가능하지 않은 장치)인 것으로 결정할 수 있다.
동작 2009에서, 제어부(580)는 영상 통신 가능 여부에 따라 유저 인터페이스 활성화 여부를 결정할 수 있다. 한 실시 예에 따르면, 제어부(580)는 영상 통신이 가능한 경우 영상 서비스와 관련된 유저 인터페이스를 활성화 처리로(활성화 하도록) 결정할 수 있다. 다른 한 실시 예에 따르면, 제어부(580)는 영상 통신이 가능하지 않은 경우 영상 서비스와 관련된 유저 인터페이스를 비활성화 처리로(활성화 하지 않도록) 결정할 수 있다.
동작 2011에서, 제어부(580)는 활성화 여부 결정에 따라 디스플레이(531) 상에 유저 인터페이스 표시 기능을 수행할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 유저 인터페이스 표시 기능 수행 시, 영상 서비스와 관련된 다양한 기능들에 대한 활성화 여부도 설정할 수 있다.
다양한 실시 예들에 따라, 제어부(580)는 음성 통화 중인 다른 전자 장치와 데이터 통신이 가능하지 않은 것으로 판단하면, 가이드 표시를 제어할 수 있다. 한 실시 예에 따르면, 제어부(580)는 다른 전자 장치의 사용자가 서비스에 가입되지 않은 사용자, 또는 전자 장치의 능력 확인 결과 서비스 지원이 가능하지 않은 장치인 것으로 판단하면, 즉, 다른 전자 장치와 영상 통신이 가능하지 않은 것으로 판단하면, 전자 장치(500) 사용자의 영상 전송 요청에 대해 실행할 수 없음을 안내하는 메시지를 출력할 수 있다. 예를 들면, 제어부(580)는 설정된 안내 메시지(예: 다른 전자 장치의 사용자가 서비스에 가입되지 않은 사용자, 또는 전자 장치의 능력 확인 결과 서비스 지원이 가능하지 않은 장치)를 팝업 창을 통해 표시할 수 있다. 다양한 실시 예들에 따르면, 제어부(580)는 다른 전자 장치와 데이터 통신이 가능하지 않은 것으로 판단하면, 영상 서비스를 위한 서비스 객체를 비활성화 표시하여 제공할 수 있다. 추가적으로 또는 대체적으로, 제어부(580)는 안내 메시지를 음성으로 출력할 수도 있다.
다양한 실시 예들에 따라, 제어부(580)는 음성 통화 중인 다른 전자 장치와 영상 통신이 가능한 것으로 판단하면, 영상 서비스와 관련된 유저 인터페이스 표시를 제어할 수 있다. 한 실시 예에 따르면, 다른 전자 장치의 사용자가 서비스에 가입된 사용자, 또는 전자 장치의 능력 확인 결과 서비스 지원이 가능한 장치인 것으로 판단하면, 즉, 다른 전자 장치와 영상 통신이 가능한 것으로 판단하면, 영상 서비스를 위한 서비스 객체를 활성화 표시할 수 있다. 다양한 실시 예들에서는, 영상 통신 연결의 안정성을 높이기 위해, 실제 영상 통신 연결을 시도하기 전에 영상 서비스 가용 여부를 판단할 수 있다.
동작 2013에서, 제어부(580)는 통신 종료 여부를 판단할 수 있다. 한 실시 예에 따르면, 제어부(580)는 서비스 객체에 기반하여 영상 서비스를 종료하는 사용자 입력에 기반하여 통신 종료 여부를 판단할 수 있다. 한 실시 예에 따르면, 제어부(580)는 다른 전자 장치로부터 통신 연결의 종료에 응답하여 통신 종료를 판단할 수도 있다.
동작 2013에서, 제어부(580)는 통신 종료가 감지되지 않으면(동작 2013의 아니오), 동작 2007로 진행하여, 동작 2007 이하의 동작 수행을 처리할 수 있다.
동작 2013에서, 제어부(580)는 통신 종료를 감지(판단)하면(동작 2013의 예), 영상 통신을 종료 처리할 수 있다. 한 실시 예에 따르면, 제어부(580)는 영상 통신을 종료할 때 음성 통화의 종료 여부도 결정할 수 있다. 다양한 실시 예들에서, 음성 통화의 종료 여부 결정은, 사용자에 의해 미리 설정되는 설정 정보에 기초하여 수행할 수 있다.
다양한 실시 예들에서, 서비스 객체 활성화 조건을 다양하게 설정할 수 있다.
다양한 실시 예들에 따라, 음성 통화 다이얼링(dialing)(예: incoming call, outgoing call) 중에는 비활성화(disabled) 처리할 수 있다.
다양한 실시 예들에 따라, 음성 통화 중 영상 서비스의 가용 여부를 체크(예: availability check)하고, 그 결과에 기반하여 서비스 객체의 활성화 여부를 결정할 수 있다.
한 실시 예에 따르면, 음성 통화 중 제1 전자 장치(610)는 유선이나 무선으로 연결된 제2 전자 장치(620)(예: 원격지의 모바일 장치, 웨어러블 장치, 가전 기기 등)에서 영상 서비스가 사용 가능한 경우에만, 서비스 객체를 활성화 표시하여 사용자에게 제공할 수 있다. 예를 들어, 어플리케이션이나 모듈의 설치 상태, 능력(capability), 또는 서비스 상태 중 하나 이상에 따라 가능 여부(availability)를 확인하고, 이에 따라 GUI를 표시하거나 서비스 할 수 있다.
다양한 실시 예들에서, 어플리케이션이나 모듈 설치 상태 및 능력 체크(capability check)는, 한 실시 예에 따르면, 제1 전자 장치(610)는 제2 전자 장치(620)가 영상 서비스를 위한 어플리케이션이나 모듈의 설치 여부, 또는 사용 가능 여부를 확인하는 가용 여부 체크(availability check)를 수행할 수 있다. 예를 들어, 컨택트 서버(contact server)에 저장된 제2 전자 장치(620) 관련 어플리케이션 설치 상태나 능력(capability) 정보를 기반으로 판단할 수 있다. 다른 예를 들여, 제1 전자 장치(610)에 저장된 전화번호부(phonebook) 또는 컨택트 리스트(contact list)에서 제2 전자 장치(620) 관련 어플리케이션 설치 상태나 제2 전자 장치(620)의 능력 정보 중 하나 이상을 확인하여, 영상 서비스 가능 여부를 확인하는 동작을 수행할 수 있다. 또 다른 예를 들어, 컨택트 서버나 전화번호부의 정보를 기반으로 전자 장치의 능력(예: 해상도, 코덱, 프로세서 성능 중 하나 이상), 가입된 네트워크 사업자의 네트워크 특성 정보 중 하나 이상을 이용하여, 제1 전자 장치(610)가 제2 전자 장치(620)에게 영상 데이터(video data)를 전송할 때, 정상적으로 제2 전자 장치(620)에서 표시할 수 있는지 여부를 판단할 수 있다. 또는, 정상적인 서비스 제공을 위한 조건(예: 해상도, frame rate, encoding 관련정보, bit rate 중 하나 이상)을 판단하고, 이에 기반하여 영상 서비스를 위한 파라미터(parameter) 설정을 수행할 수도 있다.
다양한 실시 예들에 따라, 서비스 상태를 체크하고, 그 결과에 기반하여 서비스 객체의 활성화 여부를 결정할 수 있다.
한 실시 예에 따르면, 제1 전자 장치(610) 또는 제2 전자 장치(620)의 서비스 상태를 확인하는 동작을 수행하고, 서비스 상태에 따른 영상 서비스 가능 여부를 체크하는 동작을 수행하여, 이를 기반으로 서비스 객체를 표시하여 제공할 수 있다.
예를 들어, 제1 전자 장치(610)와 제2 전자 장치(620) 간 네트워크 상태에 따라 서비스가 가능한지 여부를 판단할 수 있다. 다른 예를 들어, 제1 전자 장치(610)의 상태(예: 메모리, 배터리, 카메라, 데이터 정량제 등의 요금 정책 등)에 따라 서비스 가능 여부를 판단할 수 있다. 다양한 실시 예들에서, 데이터 정량제 기반의 요금 정책은, 설정(setting) 등에 기반하여, 전자 장치(500)에서 주기적으로 저장하고 업데이트 하는 기록을 판단할 수도 있고, 사업자 서버를 통해 데이터를 제공할 수도 있다. 또 다른 예를 들어, 사업자 정책에 기반한 데이터 송수신 환경 기반(예: 사업자간 데이터 전송 정책 등)에 따라 서비스가 가능한지 여부를 판단할 수 있다. 또 다른 예를 들어, 제1 전자 장치(610) 또는 제2 전자 장치(620)에 보안 어플리케이션(예: KNOX, MDM 등)이 실행 중인 상태(예: KNOX, MDM 활성화 상태 등)에 따라 서비스가 가능한지 여부를 판단할 수 있다.
다양한 실시 예들에서, 영상 서비스 가능 여부 확인에 따른 동작을 살펴보면 다음과 같다. 다양한 실시 예들에 따르면, 전자 장치(500)는 영상 서비스 가능 여부를 확인하여, 서비스가 가능한지 여부에 따라, 여러 가지 동작을 수행할 수 있다.
한 실시 예에 따르면, 전자 장치(500)는 서비스 객체를 활성화 또는 비활성화 할 수 있다. 한 실시 예에 따르면, 전자 장치(500)는 영상 서비스의 상태가 변화하는 경우 사운드, 음성, 또는 햅틱 등에 적어도 일부에 기반하여 피드백을 제공할 수도 있다. 한 실시 예에 따르면, 전자 장치(500)는 영상 서비스 구동 명령 수신(예: 음성 인식 기반 명령, 유저 인터페이스, 소정의 제스처에 의한 입력 중 하나 이상) 시 영상 서비스 실행 여부를 판단할 수 있다.
다양한 실시 예들에 따르면, 각 전자 장치들(예: 제1 전자 장치(610), 제2 전자 장치(620)) 마다 능력(capability)이나 서비스 상태가 상이할 수 있으며, 이로 인해 각 전자 장치들 마다 활성화(activation) 상태가 다를 수 있다. 예를 들면, 제1 전자 장치(610)는 영상 서비스를 통해, 제2 전자 장치(620)에 영상 전송이 가능하나, 제2 전자 장치(620)는 제1 전자 장치(620)로 영상 전송이 불가능한 경우가 있을 수 있다. 다양한 실시 예들에서, 어느 한 전자 장치에서 서비스가 불가능한 경우, 서비스 불가능에 대한 정보와 서비스 수행 가능한 관련 정보(예: 어플리케이션 설치 정보 등)를 제공할 수도 있다.
도 21 및 도 22는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면들이다.
도 21을 참조하면, 도 21은 전자 장치(500)에서 음성 통화 중에 제공되는 서비스 유저 인터페이스의 화면 예시를 나타낼 수 있다. 다양한 실시 예들에서, 도 21은 영상을 전송하는 발신 단말의 화면 예시일 수 있고, 영상을 수신하는 수신 단말에서도 음성 통화와 관련된 동작에서는 도 21에 대응되는 유저 인터페이스의 화면이 제공될 수 있다.
도 21에 도시한 바와 같이, 서비스 유저 인터페이스는 인디케이터 영역(2110), 통화 정보 영역(2120), 기능 선택 영역(2130)을 포함하여 구현할 수 있다.
다양한 실시 예들에서, 인디케이터 영역(2110)은 전자 장치(500)의 사용과 관련된 정보(예: 충전 상태, 시간, 통화 상태, 알람 등에 대한 정보) 및/또는 외부로부터 수신하는 정보(예: 날씨 정보, 수신 메시지 정보, 피드(feed) 정보 등) 등을 제공할 수 있다.
다양한 실시 예들에서, 통화 정보 영역(2120)은 전자 장치(500)의 음성 통화 수행 중에 통화 상태, 통화 시간, 통화 대상 정보 등을 제공할 수 있다.
다양한 실시 예들에서, 기능 선택 영역(2130)은 음성 통화 중에 전자 장치(500)에 의해 수행(실행)될 수 있는 다양한 기능(또는 어플리케이션)들에 대한 객체(예: 아이콘, 텍스트)를 제공할 수 있다. 한 실시 예에 따르면, 음성 통화 대상을 추가할 수 있는 객체(예: Add call 버튼), 영상 전송을 위한 객체(예: Video Service 버튼, 이하, 서비스 객체)(2150), 블루투스 설정을 위한 객체(예: Bluetooth 버튼), 볼륨 또는 스피커 모드 설정을 위한 객체(예: Speaker 버튼), 키패드 호출을 위한 객체(예: Keypad 버튼), 음소거 여부 선택을 위한 객체(예: Mute 버튼), 통화 종료 여부 선택을 위한 객체(예: End 버튼)(2140) 등이 기능 선택 영역(2130)에 포함될 수 있다.
다양한 실시 예들에 따르면, 전자 장치(500)는 다른 전자 장치(예: 제2 전자 장치(620))와 음성 통화를 수행하는 동안, 서비스 객체(2150)에 기초하여 사용자 입력을 수신(감지)할 수 있다. 전자 장치(500)는 서비스 객체(2150)에 기초하여 사용자 입력을 수신하면, 현재 음성 통화 수행 중인 다른 전자 장치(예: 제2 전자 장치(620))에게 영상(예: 실시간 카메라 영상, 또는 저장된 영상)을 전송하기 위한 영상 서비스 실행으로 판단할 수 있다. 다양한 실시 예들에 따르면, 전자 장치(500)는 영상 서비스 실행을 결정하면, 설정 방식에 따라 카메라(예: 카메라 모듈(570))을 구동할 수 있고, 카메라를 통해 획득하는 영상(예: 프리뷰 영상)을 전송하기 위한 서비스 연결 동작을 개시(예: 관련 유저 인터페이스 표시 및 서비스 연결 요청 전송)할 수 있다. 다양한 실시 예들에 따르면, 전자 장치(500)는 영상 서비스 실행을 결정하면, 설정된 방식에 따라 내부 저장된 영상들을 추출할 수 있고, 추출된 영상(예: 추출된 영상들의 리스트 표시 후 사용자에 의해 선택되는 영상)을 전송하기 위한 서비스 연결 동작을 개시(예: 관련 유저 인터페이스 표시 및 서비스 연결 요청 전송)할 수 있다.
다양한 실시 예들에 따르면, 전자 장치(500)의 연결 상태에 따라 서비스 유저 인터페이스가 다양하게 제공될 수 있다. 이의 예시가 도 22에 도시된다.
도 22를 참조하면, 도 22는 전자 장치(500)가 음성 통화 시 상대 전자 장치와의 서비스 상태 체크(service status check)에 따른 결과(예: 서비스 가능 여부)에 기반하여, 영상 서비스를 위한 서비스 객체(2150)를 활성화 또는 비활성화 표시하는 예시를 나타낼 수 있다. 이에 의해, 사용자는 서비스의 연결 가능 상태에 대한 정보를 직관적으로 확인할 수 있다.
도 22의 (A) 화면 예시는, 전자 장치(500)에서 음성 통화를 시도하는 중(예: 콜 발신 중)의 화면 예시를 나타낼 수 있다. 예를 들면, 도 22의 (A)에 도시한 바와 같이, 영상 서비스를 위한 서비스 객체2150)는 비활성화 상태(예: 그레이(gray) 또는 딤(dim) 처리된 아이콘 등)로 제공될 수 있다. 추가적으로, 전자 장치(500)는 음성 통화를 시도하는 동안, 사용할 수 없는 기능에 대응하는 다른 객체(예: Mute 버튼(2160))에 대해서도 비활성화 상태로 제공할 수 있다.
도 22의 (B) 화면 예시는, 전자 장치(500)에서 음성 통화를 시도하는 중, 또는 음성 통화 동안(예: 음성 통화를 위한 통신이 연결된 상태)에서, 상대 전자 장치와 영상 서비스 수행이 가능하다고 확인된 경우의 화면 예시를 나타낼 수 있다. 예를 들면, 도 22의 (B)에 도시한 바와 같이, 영상 서비스를 위한 서비스 객체(2150)를 비활성화 상태에서 서비스 객체(2150A)와 같이 활성화 상태로 변경하여 제공할 수 있다. 추가적으로, 전자 장치(500)는 음성 통화 시 음성 통화를 위한 통신이 연결될 시 비활성화된 다른 객체(예: Mute 버튼(2160))를 다른 객체(2160A)와 같이 활성화 상태로 변경하여 제공할 수 있다.
도 22의 (C) 화면 예시는, 전자 장치(500)에서 음성 통화를 시도하는 중, 또는 음성 통화 동안(예: 음성 통화를 위한 통신이 연결된 상태)에서, 상대 전자 장치와 영상 서비스 수행이 불가능하다고 확인된 경우의 화면 예시를 나타낼 수 있다. 예를 들면, 도 22의 (C)에 도시한 바와 같이, 영상 서비스를 위한 서비스 객체(2150)를 비활성 상태로 유지할 수 있다. 추가적으로, 전자 장치(500)는 음성 통화 시 음성 통화를 위한 통신이 연결될 시 비활성화된 다른 객체(예: Mute 버튼(2160))를 다른 객체(2160A)와 같이 활성화 상태로 변경하여 제공할 수 있다.
이상에서 살펴본 바와 같이, 다양한 실시 예들에 따르면, 어플리케이션(예: Call App)이나 모듈을 통해 영상 서비스 가용 여부를 서비스 객체를 통해 표시할 수 있다. 일 실시 예에 따르면, 활성화와 비활성화 상태에 따라 서비스 객체는 서비스 객체의 표시 여부, 형상, 색상, 밝기, 입체감, 크기 중 하나 이상의 속성을 이용하여 다르게 표시할 수 있다.
한 실시 예에 따르면, 어플리케이션 등에서 음성 통화(voice call)를 위한 다이얼링(예: ongoing call, outgoing call 또는 incoming call) 시에는 영상 서비스 기능을 비활성화 할 수 있고, 그 예로, 서비스 객체(2150)를 비활성화 상태로 표시하여 제공할 수 있다.
한 실시 예에 따르면, 음성 통화(예: 음성 통화 서비스) 중 영상 통신 가능 여부에 따라, 서비스 객체(2150)의 활성화 또는 비활성화를 결정할 수 있다. 다양한 실시 예들에서, 서비스 객체(2150)의 활성화 또는 비활성화는 도 22의 (A) 내지 (C)에 도시한 바와 같이, 실시간으로 변경될 수 있다.
도 23은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
다양한 실시 예들에서, 도 23은 영상 전송을 위한 서비스 연결을 음성 통화 중인 다른 전자 장치에 요청하고, 서비스 연결 시 영상을 전송하는 발신 단말의 동작을 나타낼 수 있다. 예를 들면, 전자 장치(500)가 발신 단말로 동작하는 경우의 예시를 나타낼 수 있다.
도 23을 참조하면, 동작 2301에서, 전자 장치(500)의 제어부(580)(예: 발신 단말로 동작하는 전자 장치의 프로세서)는 영상 통신 서비스 요청을 감지할 수 있다. 예를 들면, 제어부(580)는 음성 통화 중에, 서비스 객체에 대한 사용자 입력에 대응하여 영상 전송 요청을 감지할 수 있다. 한 실시 예에 따르면, 제어부(580)는 제1 통신에 기초하여 다른 전자 장치(예: 제2 전자 장치(620))와 음성 통화 수행과 관련된 일반적인 동작을 처리할 수 있다. 제어부(580)는 음성 통화 중에 사용자에 의해 영상 서비스를 전송하기 위한 요청(예: 사용자 입력)이 있는지 판단할 수 있다. 예를 들면, 제어부(580)는 음성 통화 중에 전술한 예시와 같이 영상 전송을 위해 제공된 서비스 객체의 선택(예: 클릭, 터치)을 감지하면, 영상 서비스 실행으로 판단할 수 있다. 다양한 실시 예들에서, 영상 통신 서비스 요청은, GUI, 음성, 제스처 등에 따른 사용자 입력에 기반하여 수행될 수 있다.
동작 2303에서, 제어부(580)는 카메라 동작 상태를 확인할 수 있다. 예를 들면, 제어부(580)는 카메라의 온 또는 오프 상태를 판별할 수 있고, 카메라가 오프 상태인 경우, 즉, 카메라 센서나 카메라 프로세서에 전원이 인가되지 않은 경우, 카메라를 턴-온 제어를 통해 대응 프로세서들에 전원을 인가할 수 있다. 한 실시 예에 따라, 카메라가 온 상태인 경우 동작 2303은 수행하지 않을 수도 있다.
동작 2305에서, 제어부(580)는 영상 통신 대기를 표시하여 사용자에게 제공할 수 있다. 한 실시 예에 따르면, 제어부(580)는 프리뷰, 애니메이션, 텍스트, 또는 사운드 중 적어도 일부에 기반하여 영상 통신 대기를 사용자에게 제공할 수 있다.
동작 2307에서, 제어부(580)는 영상 통신 서버(예: 접속 서버)에 영상 통신을 요청하는 연결 요청 메시지를 전송할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 다른 전자 장치와 음성 통화 중에, 영상 전송을 위한 서비스 연결을 실행하는 사용자 입력에 응답하여, 서비스 연결을 위한 연결 요청 메시지를 영상 통신 서버에 전송할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 영상 통신 서버에 연결 요청 메시지를 전송할 때, 어플리케이션 식별자(예: App ID) 또는 수신자 정보 중 적어도 하나를 포함하여 전송할 수 있다.
동작 2309에서, 제어부(580)는 메시지 서버에 영상 통신 관련 메시지(예: 초대 메시지(invite message))를 전송할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 영상 통신 관련 메시지를 전송할 때, 어플리케이션 식별자(예: 어플리케이션 고유 식별자, 어플리케이션 사용자 식별 정보, 혹은 설치된 장치 정보 중 하나 이상) 또는 수신자 정보(예: 주소록 정보, 전화번호, 이메일 주소, 계정 정보, 또는 통신 ID중 하나 이상) 중 적어도 하나를 포함하여 전송할 수 있다.
동작 2311에서, 제어부(580)는 영상 통신 연결 여부를 판단할 수 있다. 한 실시 예에 따르면, 제어부(580)는 대기 시간을 카운트 할 수 있다. 예를 들면, 제어부(580)는 영상 통신 연결 요청에 대응하여, 영상 통신 연결을 대기하는 대기 시간을 설정할 수 있고, 설정된 대기 시간만큼 영상 통신 연결을 대기할 수 있다. 다양한 실시 예들에 따라, 대기 시간은 전자 장치(500)에서 영상 통신 연결 요청을 개시한 이후에 자동 설정되거나, 또는 전자 장치(500)에 미리 설정되어 저장될 수 있다. 다양한 실시 예들에서, 제어부(580)는 영상 통신 연결 요청을 개시한 이후, 설정된 또는 저장된 대기 시간을 카운트 할 수 있다.
동작 2311에서, 제어부(580)는 영상 통신이 연결되지 않으면(동작 2311의 아니오), 동작 2309로 진행하여 영상 통신 연결을 대기하고, 동작 2309 이하의 동작 수행을 처리할 수 있다. 한 실시 예에 따르면, 제어부(580)는 대기 시간이 만료되는 동안 영상 통신이 연결되지 않으면, 영상 통신이 불가능한 상황으로 판단하고 관련 동작을 처리할 수 있다. 예를 들면, 제어부(580)는 제1 통신에 의한 음성 통화는 유지하면서, 제2 통신에 의한 영상 통신 연결(예: 영상 전송을 위한 서비스 연결) 시도를 종료할 수 있다. 다른 예를 들면, 제어부(580)는 다른 전자 장치와의 음성 통화를 종료할 수 있다. 예를 들면, 제어부(580)는 다른 전자 장치가 영상 전송을 위한 서비스에 가입된 상태에서, 다른 전자 장치와 연결이 형성되지 않은 경우, 네트워크 상황의 불안정 등으로 인해 데이터 통신이 수행되지 않는 것으로 판단하고, 영상 통신의 재연결을 위해 다른 전자 장치와의 음성 통화를 종료할 수 있다. 다양한 실시 예들에 따르면, 제어부(580)는 음성 통화를 종료할 시, 음성 통화 종료에 대한 가이드 출력을 처리할 수 있다. 예를 들면, 제어부(580)는 영상 통신 재연결을 위해 음성 통화를 종료함을 알리는 메시지를 GUI, 음성 또는 진동 중 적어도 일부에 기초하여 출력할 수 있다.
동작 2311에서, 제어부(580)는 영상 통신이 연결되면(동작 2311의 예), 동작 2313에서, 통신 상태 판별 및 그의 표시를 수행할 수 있다. 한 실시 예에 따르면, 제어부(580)는 상대 전자 장치의 통신 상태(예: 연결 상태, 통신 프로세스 상태 등)를 표시할 수 있다. 예를 들면, 제어부(580)는 P2P 연결 후 영상을 수신하는 상대 전자 장치의 통신 상태(예: 영상 수신 여부 알림, 영상 통신의 비트 레이트, 프레임 레이트, 해상도 등과 관련한 품질 정보, 혹시 예상되는 송신측과 수신측의 시간차 등)를 표시할 수 있다.
동작 2315에서, 제어부(580)는 영상 이미지 전송을 처리할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 음성 통화 동안 획득되는(또는 사용자 선택에 대응하는) 영상(예: 실시간 영상, 라이브 영상, 저장된 영상)을 음성 통화 중인 다른 전자 장치에 전송할 수 있다.
다양한 실시 예들에 따라, 제어부(580)는 음성 통화를 위한 제1 통신이 아닌, 영상 통신 연결에 따른 제2 통신에 기초하여 다른 전자 장치에 영상을 전송할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 음성 통화와 영상 통신을, 제1 통신, 혹은 새로 연결된 제2 통신에 기초하여 다른 전자 장치에 영상을 전송할 수 있다. 예를 들면, 다양한 실시 예들에 따라, 음성과 영상은 서로 다른 통신을 이용할 수 있고, 또는 음성과 영상은 서로 동일한 통신을 이용할 수도 있다. 한 실시 예에 따르면, 음성이 셀롤러 통신 프로토콜 중 패킷 스위칭을 이용하는 경우, 영상 또는 셀룰러 통신 프로토콜의 패킷 스위칭을 이용하여 전송될 수 있다. 다른 한 실시 예에 따르면, 음성과 영상이 동일한 통신을 이용하도록 전환된 경우, 음성에 사용하던 통신의 연결을 종료하거나, 또는 최소한의 연결만 유지하다가, 이후에 영상 종료(예: 서비스 연결 종료) 시 다시 음성 통화에 사용하도록 할 수도 있다. 다른 한 실시 예에 따르면, 최소한의 연결만 유지된 제1 통신은, 영상 통신 종료 이후, 자동으로 음성 통화를 지원하도록 할 수도 있다.
다양한 실시 예들에 따르면, 전자 장치들 간에 음성 통화 중에, 영상 발신을 위한 전자 장치는 영상 서비스를 상대 전자 장치에 요청할 수 있고, 상대 전자 장치에서 영상 서비스 요청에 대한 수용 여부에 따라 영상 서비스를 수행할 수 있다.
다양한 실시 예들에 따라, 전자 장치(500)는, 통화 중 영상 서비스 연결 가능 상태인 경우 사용자 입력(예: 터치, 음성, 제스처 등)을 통해 영상 서비스 연결을 위한 요청을 감지할 수 있다. 다양한 실시 예들에서, 영상 서비스 연결 가능 상태는, 예를 들면, 영상 서비스가 가능한 상태가 확인되어, 어플리케이션(예: Call App) 상의 서비스 객체가 활성화된 상태 일 수 있다.
전자 장치(500)는, 영상 서비스 연결 요청을 감지하면, 전자 장치(500)의 카메라 상태를 확인하는 동작을 수행할 수 있다. 한 실시 예에 따르면, 카메라 상태 확인 과정은 전자 장치(500)의 전면 또는 후면 카메라가 실행되어 프리뷰가 표시되는 상태일 수 있다.
전자 장치(500)는, 사용자가 영상 서비스 연결을 요청하면, 전자 장치(500)의 디스플레이(531)에 대기 상태를 나타내는 유저 인터페이스(예: 텍스트, 아이콘, 애니메이션 등)를 표시할 수 있다.
전자 장치(500)는, 서버를 통해 상대 전자 장치로 영상 서비스 연결 요청 메시지를 전달할 수 있다. 다양한 실시 예들에서, 서버는, 제1 서버(예: 접속 서버 등)와 제2 서버(예: 메시지 서버 등)로 구성될 수 있다. 전자 장치(500)는, 제1 서버를 통해 상대 전자 장치의 영상 통신을 위한 유용성(availability)(예: 영상 서비스 사용 가능 여부로, 예를 들면, P2P 연결 가능 여부, 네트워크 상태 등)을 확인할 수 있다. 전자 장치(500)는, 제2 서버를 통해 영상 서비스 연결 요청 메시지를 상대 전자 장치에 전달 할 수 있다.
다양한 실시 예들에서, 영상 서비스 연결 요청 메시지는, 전자 장치(500)의 정보(예: 송신 전자 장치의 정보, 송신 전자 장치의 사용자 정보 등), 또는 전자 장치(500)의 영상 서비스 어플리케이션 식별자(예: App ID) 등이 하나 이상 포함될 수 있다.
전자 장치(500)는, 영상 서비스 연결 요청 메시지를 전달한 후, 대기 상태를 표시할 수 있다. 한 실시 예에 따르면, 대기 상태 표시는 영상 통신 연결에 따른 상태와 관련한 텍스트, 소리, 진동, 아이콘, 애니메이션 중 적어도 하나로 제공할 수 있다.
다양한 실시 예들에 따라, 상대 전자 장치에 의해 전자 장치(500)의 영상 서비스 연결 요청에 대해 승낙되면, 전자 장치(500)와 상대 전자 장치 간에 영상 통신 연결이 형성될 수 있다. 한 실시 예에 따르면, 전자 장치들 간에 영상 서비스가 연결 되면 전자 장치(500)의 카메라를 통해 촬영된 영상이 서버를 통해 상대 전자 장치로 전송될 수 있다.
도 24는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
다양한 실시 예들에서, 도 24는 다른 전자 장치와 음성 통화 중에 다른 전자 장치로부터 영상 서비스 연결 요청을 수신하고, 영상 서비스 연결 시 다른 전자 장치의 영상을 수신하는 수신 단말의 동작을 나타낼 수 있다. 예를 들면, 전자 장치(500)가 수신 단말로 동작하는 경우의 예시를 나타낼 수 있다.
도 24를 참조하면, 동작 2401에서, 전자 장치(500)의 제어부(580)(예: 수신 단말로 동작하는 전자 장치의 프로세서)는 음성 통화 중에 영상 서비스 연결을 위한 영상 통신 관련 메시지(예: 초대 메시지(invite message)) 수신을 감지할 수 있다. 예를 들면, 제어부(580)는 제1 통신에 기초하여 다른 전자 장치와 음성 통화 수행과 관련된 일반적인 동작을 처리할 수 있다. 제어부(580)는 음성 통화 중에, 메시지 서버로부터 다른 전자 장치로부터 전송된 영상 통신 관련 메시지(예: 초대 메시지)를 수신할 수 있고, 영상 통신 관련 메시지 수신을, 영상 서비스 연결 요청으로 판단할 수 있다.
동작 2403에서, 제어부(580)는 영상 통신 관련 메시지가 수신되면, 영상 통신 관련 메시지를 표시할 수 있다. 한 실시 예에 따르면, 제어부(580)는 GUI, 사운드, 햅틱 중 적어도 하나에 기반하여 영상 통신 관련 메시지와 관련된 가이드 표시를 처리할 수 있다. 한 실시 예에 따르면, 제어부(580)는, 선택적으로, 어플리케이션 식별자(예: App ID, 파일 확장자, MIME 타입, URL 정보 등)를 이용하여 해당 어플리케이션이나 소프트웨어 모듈을 구동하기 위해 선택하거나 해당하는 복수 개의 후보 어플리케이션이나 소프트 모듈을 표시하고, 유저 인터페이스를 통해 선택할 수 있다. 예를 들면, 영상 통신 어플리케이션이 복수인 경우 사용자가 선택할 수 있도록 후보 어플리케이션들을 표시하고, 표시된 후보 어플리케이션들 중 사용자가 선택(예: 음성, 터치, 포스(force) 입력 등을 통해 선택)할 수 있다.
동작 2405에서, 제어부(580)는 다른 전자 장치의 연결 요청에 대한 승인 또는 거부 여부를 판단할 수 있다. 예를 들면, 제어부(580)는 영상 통신 관련 메시지 수신에 대응하여, 음성 통화 중인 다른 전자 장치로부터 영상 서비스를 위한 연결 요청이 있음을 통지하는 메시지를 적어도 일부의 텍스트 또는 음성 메시지에 기초하는 가이드를 출력할 수 있다. 제어부(580)는 가이드에 기초하여 사용자로부터 연결 요청(예: 영상 수신)에 대한 승인 또는 거부를 입력 받을 수 있다.
동작 2405에서, 제어부(580)는 사용자에 의해 연결 요청에 대응하여 수락 또는 거부를 선택하는 입력이 감지되지 않으면(동작 2405의 아니오), 동작 2403으로 진행하여, 동작 2403 이하의 동작 수행을 처리할 수 있다. 한 실시 예에 따라, 제어부(580)는 사용자에 의해 연결 요청에 대한 거부가 입력되면, 다른 전자 장치에 연결 거부 메시지를 전송할 수도 있다. 이를 위하여, 제어부(580)는 메시지 서버에 기반하여 연결 거부 메시지를 다른 전자 장치에 전달할 수도 있다. 다양한 실시 예들에서, 제어부(580)는 음성 통화는 유지하면서, 연결 요청에 대한 연결 거부 메시지를 전송할 수 있다.
동작 2405에서, 제어부(580)는 사용자에 의해 연결 요청에 대한 승인이 입력되면(동작 2405의 예), 동작 2407에서, 영상 통신 관련 메시지에 대응하여, 연결 응답 메시지(예: 영상 통신 허가 메시지)를 다른 전자 장치에 전송할 수 있다. 한 실시 예에 따르면, 제어부(580)는 영상 통신 서버(예: 접속 서버)에 영상 통신 요청에 대해 허가하는 연결 응답 메시지를 전송할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 영상 통신 서버에 연결 응답 메시지를 전송할 때, 어플리케이션 식별자(예: App ID) 또는 수신자 정보 중 적어도 하나를 포함하여 전송할 수 있다. 다양한 실시 예들에서, 전자 장치(500)는 서비스 연결 요청에 대해 자동으로 응답하도록 설정될 수도 있다. 이러한 경우, 도 24에서 동작 2403과 동작 2405는 수행하지 않을 수 있고, 음성 통화 중인 다른 전자 장치로부터 영상 통신 관련 메시지가 수신되면, 동작 2401에서 동작 2407로 바로 진행하여 연결 응답 메시지를 자동으로 전송할 수도 있다.
동작 2409에서, 제어부(580)는 영상 통신 대기 상태를 표시하여 사용자에게 제공할 수 있다. 한 실시 예에 따르면, 제어부(580)는 애니메이션, 텍스트, 또는 사운드 중 적어도 일부에 기반하여 영상 통신 대기를 사용자에게 제공할 수 있다.
동작 2411에서, 제어부(580)는 영상 통신 연결 여부를 판단할 수 있다. 한 실시 예에 따르면, 제어부(580)는 대기 시간을 카운트 할 수 있다. 예를 들면, 제어부(580)는 영상 통신 연결 요청에 대한 연결 응답 메시지 전송에 대응하여, 영상 통신 연결을 대기하는 대기 시간을 설정할 수 있고, 설정된 대기 시간만큼 영상 통신 연결을 대기할 수 있다. 한 실시 예에 따라, 제어부(580)는 다른 전자 장치와 음성 통화 중에 다른 전자 장치에 연결 응답 메시지를 전송하면, 이후 영상 통신 서버로부터 참여 메시지(예: onJoined message)를 대기하기 위한 대기 시간을 설정할 수 있다. 다양한 실시 예들에서, 대기 시간은 전자 장치에서 연결 응답 메시지를 전송한 이후에 설정되거나, 또는 전자 장치(500)에 미리 설정되어 저장될 수 있다. 다양한 실시 예들에서, 제어부(580)는 연결 응답 메시지를 전송한 이후, 대기 시간을 카운트 할 수 있고, 대기 시간 동안 참여 메시지의 수신 여부를 판단할 수 있다.
동작 2411에서, 제어부(580)는 영상 통신이 연결되지 않으면(동작 2411의 아니오), 동작 2407로 진행하여 영상 통신 연결을 대기하고, 동작 2407 이하의 동작 수행을 처리할 수 있다. 한 실시 예에 따르면, 제어부(580)는 대기 시간이 만료되는 동안 영상 통신이 연결되지 않으면(예: 참여 메시지가 수신되지 않으면), 영상 통신이 불가능한 상황으로 판단하고 관련 동작을 처리할 수 있다. 한 실시 예에 따르면, 제어부(580)는 대기 시간 만료 동안 영상 통신이 연결되지 않으면(예: 참여 메시지가 수신되지 않으면), 영상 통신 연결 실패로 결정할 수 있다.
다양한 실시 예들에 따라, 제어부(580)는 참여 메시지가 수신되지 않을 경우, 데이터 통신은 가능하지만 데이터 통신 품질이 좋지 않은 상황(예: 전자 장치(500) 또는 다른 전자 장치가 음영 지역 등에 존재하거나 교통수단으로 이동하는 경우)으로 판단할 수 있다.
다양한 실시 예들에 따라, 제어부(580)는 데이터 통신 품질이 좋지 않은 것으로 판단할 시, 데이터 통신 연결(예: 영상 수신을 위한 서비스 연결) 실패로 결정하고, 영상 통신 연결을 종료 처리할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 데이터 통신 품질이 좋지 않은 것으로 판단할 시, 데이터 통신 연결(예: 영상 수신을 위한 서비스 연결) 실패로 결정하고, 영상 통신이 불가능함을 알리는 메시지나 연결 요청에 대한 연결 거부 메시지를 다른 전자 장치에 메시지 서버(950)를 통해 전달할 수도 있다. 다양한 실시 예들에 따라, 제어부(580)는 제1 통신에 의한 음성 통화는 유지하면서, 제2 통신에 의한 영상 통신 연결(예: 영상 수신을 위한 서비스 연결)을 종료할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 데이터 통신 연결 종료 시, 그에 대한 가이드 출력을 처리할 수 있다. 예를 들면, 제어부(580)는 영상 통신을 연결할 수 없음을 알리는 메시지를 팝업, 음성 또는 진동 중 적어도 일부에 기초하여 출력할 수 있다.
다양한 실시 예들에 따라, 제어부(580)는 데이터 통신 품질이 좋지 않은 것으로 판단할 시, 데이터 통신 연결(예: 영상 수신을 위한 서비스 연결)을 위해 제어 신호를 통해 수신이 가능한 멀티미디어 데이터의 파라미터(예: 이미지 해상도, 비트레이트, 프레임레이트, 코덱, 통신 대역폭 등)을 상대 전자 장치(예: 상대 전자 장치, 혹은 멀티미디어 스트리밍 서버)에 전송하여 해당 파라미터에 따른 영상 통신을 요청할 수도 있다. 다양한 실시 예들에 따르면, 상기 파라미터를 P2P 통신을 이용하여 상대 전자 장치에 직접 전달할 수도 있다. 다양한 실시 예들에 따르면, 상대 전자 장치에 파라미터를 전달하기 위해서, 메시지 서버를 통해 메시지에 파라미터를 포함하여 전달할 수도 있다. 다양한 실시 예들에 따르면, 상대 전자 장치에 파라미터를 전달하기 위해서, 전자 장치(500)가 접속 서버(예: SCS 서버)에 파라미터를 전송하고, 접속 서버는 이를 상대 전자 장치에 전달할 수도 있다.
동작 2411에서, 제어부(580)는 영상 통신이 연결되면(동작 2411의 예), 동작 2413에서, 통신 상태 판별 및 그의 표시를 수행할 수 있다. 한 실시 예에 따르면, 제어부(580)는 상대 전자 장치의 통신 상태(예: 연결 상태, 작업 상태 등)를 표시할 수 있다. 예를 들면, 제어부(580)는 P2P 연결 후 영상을 송신하는 상대 전자 장치의 통신 상태를 표시할 수 있다. 한 실시 예에 따르면, 제어부(580)는 영상 통신 서버로부터 참여 메시지를 수신하는 경우, 다른 전자 장치와 영상 통신 연결을 수립할 수 있다. 다양한 실시 예들에 따르면, 제어부(580)는 참여 메시지가 수신되면, 데이터 통신 연결이 성공, 예를 들면, 음성 통화 중에 다른 전자 장치로부터 제2 통신을 통해 영상을 수신할 수 있는 서비스 연결이 성립된 것으로 판단할 수 있다.
동작 2415에서, 제어부(580)는 다른 전자 장치로부터 전송되는 영상 이미지를 수신할 수 있다. 한 실시 예에 따라, 제어부(580)는 제2 통신을 통해 영상을 수신할 수 있고, 수신된 영상의 표시하여 사용자에게 제공할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 음성 통화 동안 다른 전자 장치가 전송하는 영상(예: 실시간 영상, 저장된 영상 등)을 음성 통화를 위한 제1 통신이 아닌, 데이터 통신 연결에 따른 제2 통신에 기초하여 수신하고, 프리뷰 영역을 통해 표시할 수 있다.
다양한 실시 예들에 따라, 전자 장치(500)는, 서버(예: 메시지 서버)를 통해 다른 전자 장치의 영상 서비스 연결 요청 메시지가 전달되면, 전자 장치(500)의 사용자(예: 영상 수신자)가 영상 서비스 연결을 수락하거나 거절할 수 있는 유저 인터페이스를 표시하여 사용자에게 제공할 수 있다. 다양한 실시 예들에서, 유저 인터페이스는 팝업 등의 GUI이거나, 소리, 진동 중 하나 이상으로 제공 될 수도 있다. 다양한 실시 예들에서, GUI에는 송신자의 이름, 전화번호 등이 표시될 수 있다.
전자 장치(500)의 사용자는, 일정 시간 이내에 사용자 입력(예: 터치, 음성, 제스처 등)을 통해 영상 서비스 연결을 승낙할 수 있다.
전자 장치(500)는, 영상 서비스 연결이 수락되면, 서버를 통해 다른 전자 장치에 영상 서비스 연결을 수락하는 연결 응답 메시지를 전달할 수 있다.
다양한 실시 예들에서, 연결 응답 메시지에는 전자 장치(500)의 정보(예: 수신 전자 장치의 정보, 수신 전자 장치의 사용자 정보 등), 또는 전자 장치(500)의 어플리케이션 식별자(예: App ID) 등이 하나 이상 포함될 수 있다.
전자 장치(500)는, 연결 응답 메시지를 전달한 후, 다른 전자 장치로부터 영상(예: 실시간 영상 또는 스틸 이미지 등)를 수신하여 표시할 때까지 대기 상태를 표시할 수 있다. 한 실시 예에 따르면, 대기 상태 표시는 영상 통신 연결에 따른 상태와 관련한 텍스트, 소리, 진동, 아이콘, 애니메이션 중 적어도 하나로 제공할 수 있다.
다양한 실시 예들에 따라, 전자 장치(500)는 다른 전자 장치와 영상 서비스가 연결되면, 다른 전자 장치의 카메라를 통해 촬영된 영상을, 서버를 통해 수신하여 표시할 수 있다.
다양한 실시 예들에서, 전자 장치(500)가 음성 통화 중에 영상 서비스 실행에 따라 제공하는 유저 인터페이스의 화면 예시에 대하여 설명한다.
도 25는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면이다.
도 25를 참조하면, 도 25는 전자 장치(500)에서 음성 통화 중에 유저 인터페이스에 기반하여 영상 서비스 가능 여부를 표시하는 예시로, 예를 들면, 서비스 객체를 이용한 서비스 가능 여부를 제공하는 화면 예시를 나타낼 수 있다.
도 25에 도시한 바와 같이, 통화 중인 경우 수신 전자 장치의 상태 정보 및 통화 중 사용 가능한 기능들을 다양한 객체(예: 아이콘, 텍스트) 형태로 표시 할 수 있다. 다양한 실시 예들에 따르면, 통화 중 사용 가능한 기능은 Add call, Video service, Bluetooth 연결, Speaker 모드 전환, Keypad 표시, Mute, End call 등의 다양한 기능을 포함할 수 있다.
전자 장치(500)는, 영상 서비스의 가능 여부를 확인하여, 영상 서비스의 연결이 불가능 상태로 판단되면, 도 25의 (A)에 도시한 바와 같이, 비활성 상태의 서비스 객체(2510)(예: 서비스 객체의 그레이(gray) 또는 딤(dim) 처리된 아이콘)로 표시할 수 있다. 이때, 서비스 객체(2510)가 사용자 입력에 의해 선택되더라도, 영상 서비스를 구동하지 않거나 실행 불가능함을 표시할 수 있다.
전자 장치(500)는, 영상 서비스의 가능 여부를 확인하여, 영상 서비스의 연결이 가능 상태로 판단되면, 도 25의 (B)에 도시한 바와 같이, 활성화 상태의 서비스 객체(2530)(예: 서비스 객체의 컬러 처리된 아이콘)로 표시할 수 있다.
다양한 실시 예들에 따라, 도 25의 (B)에 도시한 바와 같이, 서비스 객체(2530)가 활성화된 경우, 사용자는 다양한 사용자 입력(예: 터치, 음성, 제스처 등)을 통해 영상 서비스 연결을 요청할 수 있다. 예를 들면, 전자 장치(500)는 서비스 객체(2510)가 비활성화 상태에서는 사용자 입력을 처리하지 않도록 동작할 수 있고, 서비스 객체(2530)가 활성화 상태에서는 사용자 입력을 처리하도록 동작할 수 있다.
도 26은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면이다.
도 26을 참조하면, 도 26은 다양한 실시 예들에서 영상 서비스를 위한 유저 인터페이스에서 제공되는 서비스 객체의 다른 예시를 도시한다.
도 26에 도시한 바와 같이, 서비스 객체(2650)를 실시간 영상이나 스틸 이미지로 표시하여 제공할 수 있다. 한 실시 예에 따르면, 전자 장치(500)는 카메라가 항상 활성화(예: 전원 인가 상태) 되어 있는 Always on camera 기능을 제공할 수 있다. 전자 장치(500)는, 영상 서비스의 가능 여부를 확인하여, 영상 통신이 가능 상태로 판단된 경우, 서비스 객체를, 또는 서비스 객체 대신, 카메라의 프리뷰 이미지(화면)를 서비스 객체(2650)로 하여, 표시할 수 있다. 다른 한 실시 예에 따르면, 전자 장치(500)는 어플리케이션(예: Call App)이 구동될 때, 카메라를 구동 모드로 전환하여 이미지를 수신하고, 프리뷰 이미지(화면)를 서비스 객체(2650)로 하여, 표시할 수도 있다.
도 27은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면이다.
도 27을 참조하면, 도 27은 다양한 실시 예들에서 영상 서비스를 위한 유저 인터페이스에서 제공되는 서비스 객체의 다른 예시를 도시한다. 다양한 실시 예들에 따르면, 영상 서비스를 위한 서비스 객체는 다양하게 구현되어 제공될 수 있다. 이의 예시가 도 27에 도시된다.
도 27에 도시한 바와 같이, 영상 서비스를 위한 서비스 객체는, 전술한 바와 같이 전자 장치(500)가 전자 장치(500)의 카메라(예: 카메라 모듈(570))에 기반하여 영상 서비스를 제공하는 경우, 전술한 바와 같은 서비스 객체에 기초하여 제공할 수 있다. 다양한 실시 예들에 따르면, 전자 장치(500)는 내부 카메라 외에 외부의 카메라를 이용하여 영상 서비스를 제공할 수 있다. 한 실시 예에 따르면, 전자 장치(500)는 주변의 다른 주변 장치와 연결(예: 근거리 무선 통신 연결)되어, 영상 서비스를 위한 영상을 주변 장치를 통해 획득하여 제공할 수도 있다. 다양한 실시 예들에서, 전자 장치(500)가 주변 장치와 연동하는 경우, 주변 장치에 대한 정보와 함께 제공할 수 있다. 다양한 실시 예들에서, 주변 장치는, 예를 들면, VR 장치, 360도 촬영이 가능한 360 카메라, 카메라를 구비한 다른 장치(예: 로봇 청소기, TV, 모니터) 등이 포함될 수 있다. 예를 들면, VR 장치로는 HMD(Head Mounted Display)나 3D Display, 홀로그램 디스플레이 등이 포함될 수 있다. 예를 들면, 360 카메라로는 구형이나 원반 형태의 프레임에 다수의 카메라가 장착된 형태이거나, 돔형 거울을 통해 수신된 여러 각도의 이미지를 수신하는 카메라 장치 등이 포함될 수 있다.
한 실시 예에 따르면, 어느 하나의 전자 장치(500)가 VR 장치와 연동하여 영상 서비스를 제공하는 경우, 영상 서비스를 위한 서비스 객체는 도 27의 (A)에 도시한 바와 같이, VR 장치의 장치 정보에 기초하여 관련 서비스 객체(2710)(예: 아이콘, 'VR' 텍스트)로 제공할 수 있다. 이에 따르면, 전자 장치 혹은 다른 전자 장치가 수신한 이미지의 최소 일부를 VR 장치를 통해 표시할 수도 있다.
한 실시 예에 따르면, 어느 하나의 전자 장치(500)가 360 카메라와 연동하여 영상 서비스를 제공하는 경우, 영상 서비스를 위한 서비스 객체는 도 27의 (B)에 도시한 바와 같이 360 카메라의 장치 정보에 기초하여 관련 서비스 객체(2720)(예: 아이콘, '360' 텍스트)로 제공할 수 있다. 이에 따르면, 전자 장치 혹은 다른 전자 장치는 360 카메라의 장치로부터 수신한 이미지의 최소 일부를 제공받을 수 있다.
한 실시 예에 따르면, 어느 하나의 전자 장치(500)(예: 송신 전자 장치)가 VR 장치와 연동하고, 다른 하나의 전자 장치(500)(예: 수신 전자 장치)가 360 카메라와 연동하여 영상 서비스를 제공하는 경우, 영상 서비스를 위한 서비스 객체는 도 27의 (C)에 도시한 바와 같이 VR 장치의 장치 정보에 기초한 관련 서비스 객체(2731)(예: 아이콘, 'VR' 텍스트)와 360 카메라의 장치 정보에 기초한 관련 서비스 객체(2733)(예: 아이콘, '360' 텍스트)로 함께 제공할 수 있다. 이에 따르면, 360 카메라를 통해 수신한 이미지의 최소 일부를 VR 장치를 통해 표시할 수도 있다.
도 28은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면이다.
도 28을 참조하면, 도 28은 음성 통화 중에 영상 서비스를 실행하는 동작을 설명하기 위한 화면 예시를 나타낼 수 있다. 예를 들면, 도 28은 다양한 실시 예들에 따라, 서비스 객체에 기반하여 영상 서비스를 요청하는 예시를 나타낼 수 있다. 다양한 실시 예들에 따르면, 서비스 객체 외에도, 다양한 사용자 입력(예: 음성 인식, 제스처 인식, 모션 인식 등)에 기반하여 영상 서비스의 실행이 요청될 수 있다.
도 28에 도시한 바와 같이, 사용자는 전술한 바와 같이 다양한 형태로 제공되는 서비스 객체(2810)(예: 도 26의 프리뷰 화면이 포함된 서비스 객체(2650), 도 27의 주변 장치 정보가 포함된 서비스 객체(2710, 2720, 2730) 등)가 표시된 상태에서, 서비스 객체(2810)의 선택(예: 터치, 클릭 등)을 통해 영상 서비스 연결을 요청할 수 있다. 다양한 실시 예들에 따르면, 전자 장치(500)는 서비스 객체(2810)를 하이라이트, 색상 변경, 또는 영역 표시 등을 통해 서비스 객체(2810)의 선택 여부를 표시하여 제공할 수도 있다. 예를 들면, 서비스 객체(2810)를 통해 영상 서비스의 실행 가능 여부에 대한 상태를 표시하여 제공할 수 있다.
다양한 실시 예들에서, 서비스 객체(2810)가 활성화 상태로 표시된 경우, 사용자는 서비스 객체(2810)의 선택 외에, 다른 사용자 입력(예: 음성, 제스처, 모션 등 입력)에 기반하여 영상 서비스 실행을 요청할 수도 있다.
도 29는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스 연결 시 영상 통신 대기 상태를 표시하는 화면 예시를 도시하는 도면이다.
도 29를 참조하면, 도 29는 영상을 전송하는 발신 단말 또는 영상을 수신하는 수신 단말의 화면 예시를 나타낼 수 있고, 혹은 영상 서비스로의 전환(transition) 상태를 나타내는 영상 통신 대기(예: 발신 단말의 영상 전송 대기, 또는 수신 단말의 영상 수신 대기) 중일 때의 화면 예시일 수 있다.
도 29에 도시한 바와 같이, 영상을 전송하는 전자 장치(예: 송신 전자 장치)에서 영상 서비스 연결을 요청하면, 영상을 수신하는 전자 장치(예: 수신 전자 장치)는 영상 프리뷰 준비 화면으로 전환될 수 있다. 다양한 실시 예들에 따라, 영상을 전송하는 전자 장치에서도 도 29와 같은 영상 프리뷰 준비 화면으로 전환될 수도 있다.
다양한 실시 예들에 따르면, 영상 프리뷰 준비 화면(2900)에는, 대기 상태 표시, 부가 기능 아이콘, 통화 시간(call duration), 수신자 정보 등과 같은 다양한 정보가 포함되어 제공될 수 있다. 한 실시 예에 따르면, 통화 시간(2910)의 경우 음성 통신이 계속 유지되는 상태이므로 음성 통화 시간을 포함한 총 통화 시간을 표시할 수 있다. 한 실시 예에 따르면, 대기 상태 표시는 텍스트(2920)(예: Preparing video image 등), 아이콘(2930), 또는 애니메이션(예: 텍스트(2920) 또는 아이콘(2930) 중 하나 이상을 애니메이션 동작) 형태로 제공할 수 있다. 한 실시 예에 따르면, 기능 아이콘(2940)은 Speaker 모드 전환(2941), 영상 서비스 종료(2943), Mute 기능(2945) 등과 관련된 아이콘을 포함할 수 있다.
다양한 실시 예들에서, 영상 프리뷰 준비 화면(2900)은, 선택적으로 제공할 수 있다. 예를 들면, 영상 프리뷰 준비 화면(2900)은 표시하여 제공하지 않고, 영상 서비스 연결 동안 내부적 또는 백그라운드로 처리할 수 있고, 실제 영상이 수신되는 경우 영상 화면을 바로 표시할 수도 있다.
도 30은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스 연결 시 영상 통신 대기 상태를 표시하는 화면 예시를 도시하는 도면이다.
도 30을 참조하면, 도 30은 영상을 전송하는 발신 단말의 화면 예시를 나타낼 수 있고, 혹은 영상 서비스로의 전환 상태를 나타내는 영상 통신 대기(예: 영상 전송 대기) 중일 때의 화면 예시일 수 있다.
도 30에 도시한 바와 같이, 도 29를 참조한 설명 부분에서 설명한 바와 같은 영상 프리뷰 준비 화면(2900)이 표시된 이후, 또는 영상 프리뷰 준비 화면(2900)을 제공하지 않는 경우, 전자 장치(500)는 카메라가 정상적으로 구동되면, 카메라를 통해 촬영된 영상을 포함하여, 영상 통신 대기 상태(3000)(예: 영상 통신 대기 화면)를 표시할 수 있다.
다양한 실시 예들에 따라, 전자 장치(500)는 수신 전자 장치에 의해 영상 서비스 연결이 수락되기 이전까지 영상 통신 대기 상태(3000)를 표시할 수 있다. 다양한 실시 예들에서, 영상 통신 대기 상태(3000) 표시는, 텍스트(3010)(예: "Requesting Video Service..." 등), 아이콘(3020), 또는 애니메이션(예: 텍스트(3010) 또는 아이콘(3020) 중 하나 이상을 애니메이션 동작) 형태로 제공할 수 있다. 한 실시 예에 따르면, 영상 통신 대기 상태(3000) 표시는, Speaker 모드 전환(3031), 영상 서비스 종료(3033), Mute 기능(3035) 등과 관련된 기능 아이콘(2940)을 포함하여 제공할 수 있다.
다양한 실시 예들에 따르면, 도 29 및 도 30을 예시로 살펴본 바와 같이, 음성 통화 중 영상 서비스로 전환 시 영상 통신 대기를 표시하여 제공할 수 있고, 전자 장치들 간에 영상 서비스를 위한 영상 통신 연결이 수립될 때까지 관련 정보(예: 메시지, 아이콘 등)를 대응하는 상태에 따라 변경하여 제공할 수 있다.
도 31은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면이다.
도 31을 참조하면, 도 31은 영상을 수신하는 수신 단말의 화면 예시를 나타낼 수 있다. 예를 들면, 도 31은, 전자 장치(500)가 발신 단말로부터 영상 서비스 연결 요청이 수신된 경우의 화면 예시로, 발신 단말의 영상 서비스 연결 요청에 대해, 사용자의 수락 또는 거부를 선택 받기 위해 제공하는 예시를 나타낼 수 있다.
도 31에 도시한 바와 같이, 전자 장치(500)는 음성 통화 중 상대 전자 장치로부터 영상 서비스 연결 요청 메시지가 수신되면, 사용자가 영상 서비스 연결을 수락하거나, 또는 거절할 수 있는 유저 인터페이스를 표시할 수 있다. 한 실시 예에 따르면, 유저 인터페이스는 팝업 등의 GUI를 포함할 수 있다. 다양한 실시 예들에서, GUI는, 영상을 전송하는 상대 전자 장치 사용자의 이름, 전화번호, 사진, 또는 직업 관련 정보 중 하나 이상 등이 포함될 수 있다. 다양한 실시 예들에 따라, 전자 장치(500)는 영상 서비스 연결 요청 메시지 수신에 대해, 유저 인터페이스에 추가적으로 또는 선택적으로, 소리, 진동 등을 함께 제공할 수도 있다.
도 32는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면이다.
도 32를 참조하면, 도 32는 영상을 수신하는 수신 단말의 화면 예시를 나타낼 수 있다. 예를 들면, 도 32는, 도 31의 예시에서, 사용자가 영상 서비스 연결 요청에 대해 수락한 후 표시되는 화면의 예시를 나타낸다.
도 32에 도시한 바와 같이, 전자 장치(500)는 사용자에 의해 상대 전자 장치의 영상 서비스 연결 요청에 대해 수락(예: 도 31에서 "OK"가 선택된 경우)되면, 영상 통신 대기를 표시하여 제공할 수 있다. 도 32는 영상 서비스 연결 수락 후 영상 통신이 대기 중임을 팝업으로 제공하는 예시를 나타낼 수 있다.
한 실시 예에 따르면, 전자 장치(500)는 사용자가 영상 서비스 연결을 수락하면, 서버를 통해 상대 전자 장치(예: 송신 전자 장치)와 영상 서비스 연결을 위한 영상 통신 연결이 완료될 때까지, 대기 상태 표시 화면을 표시하여 사용자에게 제공할 수 있다. 다양한 실시 예들에서, 대기 상태 표시는 텍스트(예: Requesting... 등), 아이콘, 애니메이션 형태로 제공 할 수 있다.
도 33은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스 연결 시 영상 통신 대기를 표시하는 화면 예시를 도시하는 도면이다.
도 33을 참조하면, 도 33은 영상을 전송하는 발신 단말(예: 제1 전자 장치(610))과 영상을 수신하는 수신 단말(예: 제2 전자 장치(620))가 영상 서비스 연결이 수립된 경우, 각 화면 예시를 나타낼 수 있다. 예를 들면, 도 33의 (A)는 영상 서비스가 연결되는 경우, 영상을 전송하는 발신 단말 측의 화면 예시를 나타낼 수 있고, 도 33의 (B)는 영상 서비스가 연결되는 경우, 영상을 수신하는 수신 단말 측의 화면 예시를 나타낼 수 있다.
도 33의 (A)에 도시한 바와 같이, 전자 장치들(예: 제1 전자 장치(610), 제2 전자 장치(620)) 간에 영상 서비스 연결이 완료되면, 제1 전자 장치(610)에 영상(3310)이 표시 될 수 있다. 다양한 실시 예들에 따라, 제1 전자 장치(610)에는 내부 또는 외부 카메라를 통해 촬영한 영상(3310)이 표시 될 수 있다.
도 33의 (B)에 도시한 바와 같이, 전자 장치들(예: 제1 전자 장치(610), 제2 전자 장치(620)) 간에 영상 서비스 연결이 완료되면, 제2 전자 장치(620)에 영상(3320)이 표시될 수 있다. 제2 전자 장치(620)에는 제1 전자 장치(610)에서 전송된 영상(3320)이 표시될 수 있다. 다양한 실시 예들에 따라, 제1 전자 장치(610)의 영상(3310)과 제2 전자 장치(620)의 영상(3320)은 동일한 영상으로 제공될 수 있다.
다양한 실시 예들에 따라, 제1 전자 장치(610)와 제2 전자 장치(620)는 영상(3310, 3320) 외에, 부가 기능 아이콘, 통화 시간(call duration), 송신자 정보 등을 포함하여 함께 제공할 수 있다. 한 실시 예에 따르면, 통화 시간의 경우, 영상 서비스 연결 이전의 음성 통화가 계속 유지되는 상태이므로 음성 통화 시간을 포함한 총 통화 시간을 표시할 수 있다.
도 33의 (A)에 도시한 바와 같이, 제1 전자 장치(610)에 표시되는 부가 기능 아이콘은, Speaker 모드 전환, 영상 서비스 종료(예: End video service), 통화 종료, Mute on/off, Pointer, Capture, Record 등의 기능을 포함 할 수 있다.
한 실시 예에 따르면, 제1 전자 장치(610)의 사용자가 영상 서비스 종료 기능(3311)을 선택하면, 영상 서비스는 종료되고 음성 통화로 전환될 수 있다. 다양한 실시 예들에 따라, 영상 서비스 종료에 따라 영상 전송 혹은 영상 통화 기능은 종료되나 음성 통화는 유지될 수 있다. 다양한 실시 예들에서, 사용자가 통화 종료(예: 음성 통화 종료) 기능을 선택하면 영상 서비스와 음성 통화가 모두 종료될 수 있다.
한 실시 예에 따르면, 사용자가 Pointer 기능(3312)을 선택하면, 영상(3310)이 정지(pause)(예: 캡쳐 및 캡쳐된 캡쳐 이미지 표시)되고, 영상(3310) 위로 사용자가 사용자 입력(예: 글씨 쓰기, 도형 그리기, 텍스트 입력, 이모티콘 선택 혹은 아이콘 선택 등) 시 입력한 객체 혹은 객체 정보가, 상대 전자 장치(예: 제2 전자 장치(620))로 전달된 후, 제2 전자 장치(620)의 정지(pause)된 영상(3320)에 오버레이(overlay) 되어 표시 될 수 있다. 다양한 실시 예들에 따라, 제2 전자 장치(620)에서 입력한 객체 혹은 객체 정보와 관련한 객체가 제1 전자 장치(610)의 정지된 영상(3310)에도 표시하여 제공할 수 있다.
한 실시 예에 따르면, 입력한 객체 정보는 정지된 영상과 관련한 객체의 입력 위치, 입력한 객체(예: 글씨, 도형, 텍스트, 이모티콘, 아이콘 등) 속성(색상, 굵기, 식별 정보 등) 또는 사용자 입력 시 전자 장치(500)의 다양한 센서(예: 지자기 센서, 가속도 센서, 자이로 센서 등) 중 하나 이상을 기반으로 하는 오리엔테이션(orientation) 정보(예: 3차원 상 포즈 정보, 모션 정보, 회전 정보, 디스플레이의 landscape 혹은 horizontal 모드) 중 최소한 하나 이상을 포함할 수 있다.
다양한 실시 예들에 따르면, 제2 전자 장치(620)에서 사용자가 Pointer 기능(3322)을 선택하면, 영상(3320)이 정지(pause)(예: 캡쳐 및 캡쳐된 이미지 표시)되고, 해당 이미지가 제1 전자 장치(610)에 전달되거나 혹은 캡쳐 시점의 시간 정보(예: 영상 통신 전송 시작 후 경과 시간 등)를 제1 전자 장치(610)에 전달함으로써, 두 전자 장치(610, 620)가 동일하거나 유사한 이미지를 표시하고, 해당 이미지 위에서 입력한 객체 혹은 객체 정보를 서로 송수신을 통해 공유할 수도 있다. 다양한 실시 예들에 따라, 캡쳐 시점의 시간 정보를 제1 전자 장치(610)가 수신하고, 카메라 버퍼(예: ring Buffer)나 전자 장치(500)의 메모리에 저장된 영상으로부터 시간 정보에 대응하거나 인접한 프레임 이미지를 추출할 수 있다.
다양한 실시 예에 따르면, 이미지들 위에서 입력한 객체의 객체 정보를 추출하고, 이를 공유함으로써 각각의 전자 장치(610, 620)에 표시할 수 있다. 이와 함께, 전자 장치(500)가 상대 전자 장치에서 입력한 객체 정보를 수신 시에는 객체 정보를 변경하여 표시할 수 있다. 예를 들면, 수신한 전자 장치의 해상도와 전송한 전자 장치의 해상도나 화면 비율이 서로 다른 경우(예: 디스플레이 해상도가 상이하거나 디스플레이의 orientation이 다른 경우(예: landscape mode, portrait mode)), 두 전자 장치(610, 620)에서 이미지가 표시될 해상도 혹은 orientation, 혹은 zoom 상태 정보에 기반하여 표시할 객체의 크기를 상대적으로 변경하고, 해당 비율에 따른 위치에 표시할 수 있다. 다른 예를 들면, 두 전자 장치(610, 620)에서 같은 색상의 객체를 입력할 때, 각 전자 장치(610, 620)에서 표시될 때에는 서로 다른 색상으로 객체를 변경하여 표시할 수도 있다.
한 실시 예에 따르면, 사용자가 Capture 기능(3313)을 선택하면, 현재 촬영 중인 영상이 캡쳐되어 저장될 수 있다.
한 실시 예에 따르면, 사용자가 Record 기능(3315)을 선택하면, 현재 촬영 중인 영상이 녹화되어 저장될 수 있다.
도 33의 (B)에 도시한 바와 같이, 제2 전자 장치(620)에 표시되는 부가 기능 아이콘은, Speaker 모드 전환, 영상 서비스 종료(예: End video service), 통화 종료, Mute on/off, Pointer 등의 기능을 포함 할 수 있다.
한 실시 예에 따르면, 제2 전자 장치(620)의 사용자가 영상 서비스 종료 기능(3321)을 선택하면, 영상 서비스는 종료되고 음성 통화로 전환될 수 있다. 다양한 실시 예들에 따라, 영상 서비스 종료에 따라 영상 전송 혹은 영상 통화 기능은 종료되나 음성 통화는 유지될 수 있다. 다양한 실시 예들에서, 사용자가 통화 종료(예: 음성 통화 종료) 기능을 선택하면 영성 서비스와 음성 통화가 모두 종료될 수 있다.
한 실시 예에 따르면, 사용자가 Pointer 기능(3322)을 선택하면, 영상(3320)이 정지(pause)(예: 캡쳐 및 캡쳐된 이미지 표시)되고, 영상(3320) 위로 사용자가 드로잉(drawing) 한 형태(상태)가 상대 전자 장치(예: 제1 전자 장치(610))로 전달된 후, 제1 전자 장치(610)의 정지(pause)된 영상(3310)에 오버레이 되어 표시 될 수 있다. 다양한 실시 예들에 따라, 드로잉 상태는 제2 전자 장치(620)의 정지된 영상(3320)에도 표시하여 제공할 수 있다.
다양한 실시 예들에 따르면, 영상을 전송하는 제1 전자 장치(610) 또는 영상을 수신하는 제2 전자 장치(620)에 표시되는 화면 상에 제공되는 다양한 기능 아이콘(또는 메뉴)는 표시된 후, 일정 시간이 지나면 표시하지 않을 수 있다. 예를 들면, 기능 아이콘은 화면 상에서 표시/숨김(show/hide) 처리될 수 있다. 또한 다양한 실시 예들에 따르면, 기능 아이콘(또는 메뉴)가 사라진 후 사용자 입력이 인식되면, 사라진 아이콘(또는 메뉴)가 화면 상에 다시 표시될 수 있다. 한 실시 예에 따르면, 특정 아이콘 및 메뉴는 사라지지 않고 계속 표시되어 있을 수 있다. 이러한 동작 수행에 따른 화면 예시가 도 34에 도시된다.
도 34는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면이다.
도 34를 참조하면, 도 34는 영상 서비스를 수행하는 중에 영상과 함께 제공하는 기능 아이콘 또는 메뉴를 자동 또는 수동에 기반하여 화면에 표시하지 않도록 하고, 사용자 입력에 따라 표시하지 않은 기능 아이콘 또는 메뉴를 표시하는 동작 예시를 도시한다.
도 34의 (A)에 도시한 바와 같이, 영상 서비스 연결 요청 중에는 화면 상에 표시되는 아이콘 및 메뉴는 사라지지 않고 계속 표시될 수 있다.
도 34의 (B) 및 (C)에 도시한 바와 같이, 영상 서비스가 연결된 후 사용자 입력이 인식되면 아이콘 및 메뉴는 화면에서 사라지거나 표시할 수 있다.
한 실시 예에 따르면, 영상 서비스가 연결된 후 사용자 입력이 인식되면 아이콘 및 메뉴를 화면에서 사라지도록 제거하고, 이후 다시 사용자 입력이 인식되면 도 34의 (D)에 도시한 바와 같이, 아이콘 및 메뉴가 화면 상에 다시 표시될 수 있다.
한 실시 예에 따르면, 아이콘 및 메뉴는 영상 서비스가 연결된 후 일정 시간(예: N초) 경과 시 자동으로 화면에서 사라지고, 표시하지 않을 수 있다. 예를 들면, 사용자 입력이 인식되어 아이콘 및 메뉴가 표시되어 있는 상태에서 일정 시간이 지나면 아이콘 및 메뉴가 다시 사라질 수 있다. 또한 아이콘 및 메뉴가 사라진 후 사용자 입력이 인식되면, 도 34의 (D)에 도시한 바와 같이, 아이콘 및 메뉴가 화면 상에 다시 표시될 수 있다.
다양한 실시 예들에 따르면, 아이콘 및 메뉴는 선택적으로 표시하거나 표시하지 않도록 설정될 수 있다. 예를 들면, 아이콘 및 메뉴 중 전자 장치(500)에 미리 설정되거나, 또는 사용자에 의해 설정된 적어도 하나의 아이콘 및 메뉴는 사용자 입력(또는 일정 시간)과 관계 없이 화면 상에 계속 표시될 수 있다.
도 35A, 도 35B, 도 35C 및 도 35D는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스 연결 실패에 대한 처리 예시를 도시하는 도면들이다.
도 35A, 도 35B, 도 35C 및 도 35D에 도시한 바와 같이, 다양한 실시 예들에 따르면, 영상 서비스의 가능 여부에 따라, 영상 서비스 연결 상태가 변경되는 경우, 영상을 전송하는 송신 전자 장치와 영상을 수신하는 수신 전자 장치를 통해 관련 상태를 표시(예: 경고 메시지, 오류 팝업, 사운드, 또는 진동 중 하나 이상)할 수 있다. 다양한 실시 예들에 따르면, 상대 전자 장치의 포즈(pose) 상태(예: 귀 인접 모드(at ear mode), 귀와 인접하지 않은 오픈 포지션 모드(open position mode) 등), 또는 근접(proximity) 상태(예: 커버 열림/닫힘 등)에 기반하여 영상 서비스 연결 오류를 판단할 수 있다. 다양한 실시 예들에서, 포즈 상태(예: 귀 인접 모드(at ear mode), 오픈 포지션 모드(open position mode) 등) 또는 근접 상태에 따른 영상 서비스 연결 오류를 판단하고 그에 따른 동작 수행에 대해 후술하는 도면들을 참조하여 상세히 설명된다.
다양한 실시 예들에 따른 영상 서비스 연결 오류에 대한 팝업의 종류는 아래의 예시와 같이 제공할 수 있다.
도 35A에 도시한 바와 같이, 도 35A는 송신 전자 장치에서 제공하는 팝업의 예시를 나타낼 수 있다. 한 실시 예에 따르면, 수신 전자 장치에 영상 서비스 연결을 위한 영상 통신 관련 메시지를 전송하였으나, 수신 전자 장치로부터 응답이 없는 경우(예: 수신 전자 장치의 사용자가 일정 시간(예: 20초) 동안 영상 서비스 연결 요청을 수락(accept)하지 않은 경우 혹은 영상 통신 관련 메시지가 전달되지 않은 경우 등)에 송신 전자 장치는 연결 오류 메시지(예: Unable to start)를 팝업 형태로 표시할 수 있다.
다양한 실시 예들에 따르면, 수신 전자 장치가 영상 통신 관련 메시지를 수신한 후 사용자가 일정 시간(예: 20초) 동안 영상 서비스 연결 요청을 수락(accept)하지 않은 경우 수신 전자 장치는 타임아웃(timeout)으로 거절) 메시지(reject message)를 송신 전자 장치에 자동으로 전달할 수 있다. 이러한 경우, 송신 전자 장치는 수신 전자 장치의 자동 거절 메시지에 대응하여 연결 오류 메시지(예: Unable to start)를 팝업 형태로 표시할 수 있다.
도 35B에 도시한 바와 같이, 도 35B는 수신 전자 장치에서 영상 서비스 연결 요청을 수신하였으나, 네트워크 상태가 영상 서비스를 유지할 수 없는 경우에 제공하는 팝업의 예시를 나타낼 수 있다. 한 실시 예에 따르면, 수신 전자 장치에 영상 서비스 연결을 위한 수신 팝업이 표시된 상태에서, 네트워크 상태를 확인하고 영상 서비스가 불가능하다고 판단한 경우, 수신 전자 장치는 자동으로 송신 전자 장치에 영상 서비스 종료 메시지를 전달할 수 있다. 송신 전자 장치와 수신 전자 장치는 종료 메시지에 대응하여 연결 오류 메시지(예: Unable to start)를 각각 팝업 형태로 표시할 수 있다. 다양한 실시 예들에 따르면, 네트워크 상태에 따라 영상 서비스를 유지할 수 없는 경우에는 영상 서비스 연결 요청에 대한 수락 또는 거절을 위한 팝업 없이 자동으로 연결 오류 메시지를 표시할 수 있다.
도 35C에 도시한 바와 같이, 도 35C는 수신 전자 장치에서 영상 서비스 연결 요청에 대해 수락하였으나, 일정 시간 내에 발신 단말에서 영상이 전송되지 않는 경우에 제공하는 팝업의 예시를 나타낼 수 있다. 한 실시 예에 따르면, 송신 전자 장치의 영상 서비스 연결 요청에 대해, 수신 전자 장치가 수락하였으나, 송신 전자 장치에서 영상을 전송하지 않은 경우 수신 전자 장치는 자동으로 영상 서비스를 종료할 수 있다. 예를 들면, 수신 전자 장치는 영상 서비스 연결 요청에 대해 사용자가 수락하여 영상 서비스가 연결 된 후, 일정 시간(예: 10초) 동안 송신 전자 장치에서 촬영된 영상이 전송되지 않으면 영상 서비스 종료 메시지를 송신 전자 장치에 전달할 수 있다. 송신 전자 장치와 수신 전자 장치는 종료 메시지에 대응하여 연결 오류 메시지(예: Unable to start)를 각각 팝업 형태로 표시할 수 있다. 한 실시 예에 따르면, 송신 전자 장치와 수신 전자 장치는 다른 연결 오류 메시지를 표시할 수 있다. 예를 들면, 송신 전자 장치는 3510의 팝업 형태를 표시하여 사용자에게 제공할 수 있고, 수신 전자 장치는 3530의 팝업 형태를 표시하여 사용자에게 제공할 수 있다.
도 35D에 도시한 바와 같이, 도 35D는 영상 서비스 연결을 시도(발신)하는 중에 상대 전자 장치와 P2P 연결이 일정 시간 내에 수립되지 않은 경우에 제공하는 팝업의 예시를 나타낼 수 있다. 한 실시 예에 따르면, 송신 전자 장치의 영상 서비스 연결 요청 메시지가 수신 전자 장치에 전달되지 않은 경우, 예를 들면, 영상 서비스 연결 요청 메시지가 일정 시간(예: 10초) 동안 수신 전자 장치에 전달되지 않은 경우, 서버가 연결 불가 메시지를 송신 전자 장치에 전달할 수 있다. 송신 전자 장치는 서버의 연결 불가 메시지에 대응하여 연결 오류 메시지(예: Unable to start)를 팝업 형태로 표시할 수 있다. 이러한 경우, 송신 전자 장치는 영상 서비스 연결 대기 화면 상태일 수 있고, 수신 전자 장치는 영상 서비스 연결 요청이 수신되지 않아 그에 대한 수락/거절 팝업이 표시되지 않은 상태일 수 있다.
다양한 실시 예들에 따르면, 도 35D의 예시와 같이 영상 서비스 연결을 시도(발신)하는 중에 P2P 연결이 되어, 수신 전자 장치에 영상 서비스 연결 요청에 대한 수락/거절이 표시된 상태에서, 송신 전자 장치가 일정 시간(예: 15초) 동안 수신 전자 장치로부터 수락/거절에 대한 응답을 수신하지 못할 수 있다. 이러한 경우, 송신 전자 장치는 타임아웃(예: 일정 시간 타이머 만료)에 따라 발신을 취소하고 도 35A의 예시와 같은 연결 오류 메시지(예: Unable to start)를 팝업 형태를 표시할 수 있다.
도 36은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면이다.
도 36을 참조하면, 도 36은 영상 서비스를 수행하는 중에, 영상을 전송하는 송신 전자 장치에서 주밍(zooming)(예: Zoom in/out) 수행에 따른 동작 및 그의 화면 예시를 나타낼 수 있다.
도 36에 도시한 바와 같이, 송신 전자 장치의 사용자는 영상을 촬영하던 도중에, 송신 전자 장치에서 Zoom을 수행할 수 있다. 송신 전자 장치는 사용자의 Zoom 수행에 대응하여, 상대 전자 장치에, Zoom에 대응하는 확대된 영상 전송, 확대되지 않은 원본 영상과 확대된 영역 및 배율 전송, 또는 수신 전자 장치의 디스플레이에 표시될 영역을 지정하여 전송할 수 있다.
한 실시 예에 따르면, Zoom을 수행하는 동작은 프리뷰 화면을 핀치(pinch)하는 동작으로 수행할 수 있다. 송신 전자 장치는 사용자가 핀치(pinch) 하는 동작에서, 사용자의 두 손가락의 거리(예: 터치된 포인트들 간의 거리)의 변경을 Zoom 배율로 계산할 수 있다. 한 실시 예에 따라, 확대가 되는 부분은 사용자의 손가락이 처음 터치되는 부분을 기준으로 하거나, 또는 두 손가락의 중앙 부분을 기준으로 할 수 있다.
다른 한 실시 예에 따르면, Zoom을 수행하는 동작은 디스플레이에 내장된 압력 센서를 이용한 압력을 감지하여 수행할 수도 있다. 예를 들면, 압력 센싱 값이 제1 문턱치 이상으로 소정 시간(예: 0.3sec) 이상 입력되면 줌인(zoom in)을 수행하고, 압력 센싱 값이 제1 문턱치 보다 미만이고 제2 문턱치 이상으로 소정 시간 이상 입력되면, 줌아웃(zoom out)을 수행하고, 압력 센싱 값이 제2 문턱치 미만이면, 줌 기능 종료로 판단할 수도 있다. 다양한 실시 예들에 따라, 하나 이상의 줌 센서의 위치를 통해 압력이 감지된 입력 위치를 판단할 수도 있고, 혹은 터치 센서와 연동하여 입력 위치를 판단할 수도 있다.
송신 전자 장치는 사용자의 입력에 기반하여 Zoom 배율이 적용된 프리뷰 화면에 별도로 Zoom 배율을 표시할 수 있다. 예를 들어, 송신 전자 장치는 도 36의 화면 예시와 같이 Zoom 동작을 시작하기 위한 입력이 시작되는 부분부터, 배율을 적용하는 기준 위치와 배율(예: X1.0, X2.0)을 화면에 추가적으로 표시할 수 있다.
다양한 실시 예들에 따라, 배율을 표시하는 GUI는 디스플레이 상의 일정한 위치를 중심으로 하여 Zoom 되는 화면과는 독립적으로 오버레이 되어 표시될 수 있다. 예를 들면, Zoom 동작을 통해 디스플레이 되는 영상의 중심 위치가 변경되어도, 배율을 표시하는 GUI의 중심점은 항상 디스플레이의 중심점이 될 수 있다.
다양한 실시 예들에 따라, 수신 전자 장치는, 송신 전자 장치가 전송하는 확대된 영상, 확대되지 않은 원본 영상과 확대된 영역 및 배율, 또는 지정된 영역에 기반하여, 송신 전자 장치에서 Zoom이 수행된 결과의 영상과 동일한 영상을 표시할 수 있다.
도 37은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
다양한 실시 예들에서, 도 37은 전자 장치(500)가 영상 전송을 위한 발신 단말로 영상 서비스를 수행하는 중에, 도 36의 예시와 같이, Zoom 동작 수행에 따른 처리 방법의 예시를 나타낼 수 있다.
도 37을 참조하면, 동작 3701에서, 전자 장치(500)의 제어부(580)(예: 발신 단말로 동작하는 전자 장치의 프로세서)는 사용자 입력에 기반하여, Zoom 명령 시작을 감지할 수 있다.
동작 3703에서, 제어부(580)는 사용자 입력에 따라 Zoom 명령을 수신하면, 사용자 입력에 대응하는 Zoom 영역/배율을 결정할 수 있다.
동작 3705에서, 제어부(580)는 Zoom 배율에 따라 Zoom 되는 화면(예: zoomed preview)을 표시하고, Zoom 되는 화면에 대응하는 배율을 표시할 수 있다. 다양한 실시 예들에서, 제어부(580)는 배율을 표시할 때, Zoom 되는 화면과 독립적으로 오버레이 하여 표시할 수 있다.
동작 3707에서, 제어부(580)는 Zoom 되는 화면에 대응하는 영상 인코딩(video encoding)을 처리할 수 있다.
동작 3709에서, 제어부(580)는 인코딩된 영상을 상대 전자 장치(예: 수신 전자 장치)에 전송할 수 있다.
동작 3711에서, 제어부(580)는 Zoom 명령의 종료 여부를 판단할 수 있다.
동작 3711에서, 제어부(580)는 Zoom 명령 종료가 감지되지 않으면(동작 3711의 아니오)(예: Zoom 명령이 계속하여 입력되면), 동작 3703으로 진행하여, 동작 3703 이하의 동작 수행을 처리할 수 있다.
동작 3711에서, 제어부(580)는 Zoom 명령 종료가 감지되면(동작 3711의 예), 동작 3713에서, 이전 배율로 복귀를 위한 GUI를 표시할 수 있다. 다양한 실시 예들에서, 동작 3713의 이전 배율로 복귀를 위한 GUI 표시는 선택적으로 수행하지 않을 수 있다. 예를 들면, 제어부(580)는 Zoom 명령이 종료될 시, 변경된 현재 배율을 유지하여 표시하거나, 또는 자동적으로 원본 영상의 배율의 영상을 표시하도록 동작할 수 있다.
다양한 실시 예들에 따르면, Zoom 동작에 의한 영상의 확대 및 축소에 따른 결과를 상대 전자 장치에도 전송할 수 있다.
한 실시 예에 따르면, 전자 장치(500)는 Zoom이 적용된 프리뷰(preview)를 연속적으로 영상 인코딩을 수행하고, 상대 전자 장치에게 전달 할 수 있다.
한 실시 예에 따르면, 전자 장치(500)는 Zoom 동작이 발생할 때, 카메라를 통해 입력된 전체 영상의 일부에 대해서만 확대나 축소 동작을 처리하여 디스플레이에 프리뷰 영상으로 보여줄 수 있다. 따라서 상대 전자 장치에 전송은 Zoom 여부와 관계없이 동일하게 수행하고, Zoom에 의한 처리를 상대 전자 장치에서 수행할 수 있도록 줌 위치와 함께, 배율, 크기, 표시할 영역 중 하나 이상의 정보를 상대 전자 장치에 전달할 수도 있다. 다양한 실시 예들에 따라, 유저 인터페이스에 의해 줌 위치(예: 중심점이나 표시 경계 등)가 변경되면, 줌 기능에 의해 표시되는 영역도 달라질 수 있다. 다양한 실시 예들에서, Zoom 동작과 같은 영상 처리 작업들은 어플리케이션부(예: 도 6의 618)를 통해 수신한 사용자 입력을 미디어 프로세서(예: 도 8의 840)에 전달하고, 미디어 프로세서(840)는 카메라(예: 도 8의 810), 인코더(예: 도 8의 846), 네트워크부(예: 도 8의 850) 중 하나 이상을 제어하여 수행할 수 있다.
다양한 실시 예들에 따라, 전자 장치(500)는 Zoom 동작이 종료되면, 사용자가 이전 배율로 복귀할 수 있도록 하기 위한 GUI(예: 버튼, 아이콘, 텍스트 중 하나 이상)를 선택적으로 화면에 표시할 수 있다. 선택적으로 표시된 GUI는 특정 시간이 지나면 자동적으로 사라지도록 제공할 수 있다.
도 38은 본 발명의 다양한 실시 예들에 따른 전자 장치들 간에 영상 서비스를 수행하는 방법을 도시하는 도면이다.
다양한 실시 예들에서, 도 38은 전자 장치들(예: 영상을 전송하는 제1 전자 장치(610), 영상을 수신하는 제2 전자 장치(620)) 간에 Zoom 동작에 따라 영상을 처리 및 표시하는 동작 예시를 나타낼 수 있다. 도 38에서는 Zoom 동작을 영상을 수신하는 제2 전자 장치(620)에서 요청되는 경우를 예시로 한다.
도 38을 참조하면, 동작 3801에서, 제2 전자 장치(620)는 사용자 입력에 기반하여 Zoom 명령을 수신할 수 있고, 그에 따른 Zoom 배율을 계산할 수 있다. 예를 들면, 제2 전자 장치(620)는 Zoom 명령에 의한 예측 비율을 계산할 수 있다.
동작 3803에서, 제2 전자 장치(620)는 Zoom Control 정보를, 영상을 제공하는 제1 전자 장치(610)에 전송할 수 있다. 다양한 실시 예들에서, Zoom Control 정보는 Zoom 배율 및 위치 정보(예: 중심 위치 또는 영역 경계 등), 네트워크 상태 정보 등을 포함할 수 있다.
동작 3805에서, 제1 전자 장치(610)는 제2 전자 장치(620)의 Zoom 명령에 대응하여 Zoom 배율을 계산할 수 있다. 예를 들면, 제1 전자 장치(610)는 제2 전자 장치(620)로부터 Zoom Control 정보를 수신할 수 있고, Zoom Control 정보 수신을, 영상의 Zoom 명령 수신으로 판단할 수 있다. 제1 전자 장치(610)는 Zoom Control 정보의 Zoom 배율 및 위치 정보에 기초하여 Zoom 배율을 계산할 수 있다. 예를 들면, 제1 전자 장치(610)는 Zoom 명령에 의한 예측 비율을 계산할 수 있다.
동작 3807에서, 제1 전자 장치(610)는 Zoom 배율 및 위치 정보에 기반하여 Zoom 되는 화면(예: zoomed preview)을 표시할 수 있다. 제1 전자 장치(610)는 Zoom 되는 화면과 독립적으로, Zoom 되는 화면의 배율에 대한 정보를 독립적인 오버레이로 표시할 수 있다.
동작 3809에서, 제1 전자 장치(610)는 Zoom 되는 화면(예: zoomed preview)에 대응하는 영상 인코딩을 처리하여 인코딩된 영상을 생성할 수 있다.
동작 3811에서, 제1 전자 장치(610)는 인코딩된 영상 및 Zoom 배율을 제2 전자 장치(620)에 전송할 수 있다.
동작 3813에서, 제2 전자 장치(620)는 제1 전자 장치(610)로부터 인코딩된 영상을 수신하면, 인코딩된 영상을 디코딩 하여, 프리뷰 이미지를 생성 및 표시할 수 있다.
동작 3815에서, 제2 전자 장치(620)는 프리뷰 이미지를 표시할 때, 제1 전자 장치(610)로부터 수신된 배율 또는 동작 3801에서 계산된 배율에 대한 정보를, 프리뷰 이미지와 독립적으로 오버레이로 표시할 수 있다.
이상에서와 같이, 다양한 실시 예들에 따르면, 영상을 수신하는 수신 측 전자 장치에 의해서도 Zoom in/out을 제공할 수 있다.
다양한 실시 예들에 따라, 수신 측 전자 장치에서, Zoom in이나 Zoom out에 대한 명령을 수신할 경우에는, 송신 측 전자 장치에 해당 명령을 전달하여야 한다. 다양한 실시 예들에서, 수신 측 전자 장치의 Zoom 수행에 따라 송신 측 전자 장치에 전달되는 제어 정보는, 예를 들면, Zoom 배율, 배율을 적용할 기준 위치나 Zoom이 완료된 시점에서의 영역 경계, 네트워크 상태 등이 포함될 수 있다. 한 실시 예에 따르면, 제어 정보는 수신 측 전자 장치에 Zoom을 위한 입력이 들어오는 시점에서 매 프레임(frame) 별로 계산하여 전송할 수 있다. 다른 한 실시 예에 따르면, 수신 측 전자 장치는 Zoom을 위한 입력이 완료되는 시점에 한 번에 제어 정보(신호)를 전송할 수 있다.
다양한 실시 예들에 따라, 송신 측 전자 장치에서는 수신 측 전자 장치로부터 전달받은 제어 정보를 기반으로, 미디어 프로세서를 통해 수신하고, 카메라, 디코더, 네트워크부를 제어하여 Zoom 배율에 해당하는 preview를 생성하고, 이에 대응하는 정보를 별도의 GUI로 제공할 수 있다. 다양한 실시 예들에 따라, 제공되는 GUI는 송신 측 전자 장치에서 Zoom을 수행한 경우와 같은(동일한) GUI일 수 있고, 명령을 입력한 사용자에 기반하여 색상, 모양, 굵기 등을 다르게 표시할 수 있다. 송신 측 전자 장치는 Zoom이 적용된 영상을 인코딩 하고, 이를 수신 측 전자 장치에 전달할 수 있다.
다양한 실시 예들에 따르면, 경우에 따라서, 송신 측 전자 장치는 영상 전송 시의 네트워크 상태 등을 고려하여 Zoom의 시작 Zoom 배율과 최종 Zoom 배율 사이의 어느 하나 이상의 배율에 대한 영상을 생성하여 전달할 수 있다.
다양한 실시 예들에 따라, 수신 측 전자 장치는 송신 측 전자 장치에서 전달된 영상을 수신하여 화면에 표시하고, 선택적으로 배율 정보를 표시할 수 있다. 한 실시 예에 따라, 만약, 송신 측 전자 장치에서 시작 Zoom 배율과 최종 Zoom 배율 사이의 어느 하나의 배율에 대한 영상을 전송할 경우, 송신 측 전자 장치는, 해당 배율 정보도 수신 측 전자 장치에 함께 제공할 수 있고, 수신 측 전자 장치는 배율 정보를 영상과 함께 독립적으로 표시할 수 있다. 또한 수신 측 전자 장치는 최종 Zoom 배율을 화면에 표시할 수 있다.
이상에서와 같이, 다양한 실시 예들에 따르면, 수신 측 전자 장치에서 사용자 입력을 통해 수신하거나, 또는 자동(예: 물건 중심으로 자동 zoom, 얼굴 영역 zoom 등)으로 소정 영역이 Zoom 되도록 설정된 경우에, 송신 측 전자 장치와 함께 Zoom 관련 프로세스를 수행할 수 있다.
다양한 실시 예들에 따라, Zoom 영상 처리 방법은, 카메라 직접 제어(예: Remote control/광학 줌), 이미지 프로세스 모듈 제어(예: 디지털 줌) 등에 기초하여 처리할 수 있다.
다양한 실시 예들에 따라, 인코딩된 영상 처리 방법은, 최대 해상도 영상 데이터(max resolution video data) 전송 유지 및 각 전자 장치에서의 zoom 수행(예: 각 전자 장치에서 디코딩된 결과를 통해 독립적인 Zoom수행), 광학 줌을 통해 광학적으로 Zoom된 최대 해상도 영상 데이터 전송 및 수신, 또는 Zoom 한 영역만 인코딩 하여 송수신 처리 등에 기초하여 수행될 수 있다.
다양한 실시 예들에 따르면, 사용자 입력에 의한 ROI(Region of Interesting)의 자동 Zoom을 제공할 수 있다. 예를 들면, 사용자 입력(예: pointing, drag, 오브젝트 집중 촬영 등)에 의하여 관심 영역 또는 관심 물체 영역을 설정할 수 있고, 관심 영역 또는 관심 물체 영역에 자동으로 맞추어 Zoom을 수행할 수 있다.
다양한 실시 예들에 따르면, 상대방의 Zoom 영역 정보 수신 및 표시를 제공할 수 있다. 예를 들면, 상대방이 지정한 ROI 또는 Zoom 영역을 수신하고, 표시된 영상에 수신된 영역을 표시할 수 있다. 한 실시 예에 따르면, 표시 영역이 현재 표시된 영상의 외곽에 포함된 경우 별도 GUI로 표시할 수 있다.
도 39는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면이다.
도 39를 참조하면, 도 39는 영상 서비스를 수행하는 중에, 표시된 영상을 캡쳐(capture)하는 동작 및 그의 화면 예시를 나타낼 수 있다.
도 39에 도시한 바와 같이, 영상 서비스 중 캡쳐 기능 수행은, 영상 서비스 도중에 캡쳐 버튼(3910)을 사용자가 선택하여 수행할 수 있다. 다양한 실시 예들에 따라, 이미지 캡쳐를 수행하는 예시는 다음과 같다.
한 실시 예에 따르면, 영상 캡쳐가 영상을 제공하는 제1 전자 장치에서 수행되는 경우일 수 있다. 제1 전자 장치는, 사용자가 캡쳐 버튼(3910)을 누르는 상황에서, 카메라를 통해 획득된 고화질 원본 이미지와 동영상을 전송하기 위해 후 처리된 이미지를 획득할 수 있다. 다양한 실시 예들에 따라, 제1 전자 장치는 고화질 원본 이미지를 캡쳐 버튼(3910)이 입력되는 경우에 저장하게 되고, 이를 제2 전자 장치에게 추가로 공유할 수도 있다. 다양한 실시 예들에 따르면, 영상 캡쳐를 위한 입력은, 제1 전자 장치가 아닌, 제2 전자 장치에서 캡쳐 버튼(3910)에 의해 캡쳐가 요청될 수 있으며, 제1 전자 장치는 제2 전자 장치의 요청에 응답하여 카메라를 동작할 수 있다.
한 실시 예에 따르면, 영상 캡쳐가 영상을 수신하는 제2 전자 장치에서 수행되는 경우일 수 있다. 제2 전자 장치는, 캡쳐 버튼(3910)이 선택되는 경우, 네트워크 스트림으로 전송된 동영상에서 캡쳐 버튼(3910)을 누르는 순간의 이미지를 추출해 낼 수 있다. 추출된 이미지는 네트워크 상태에 따라서 품질이 좌우되는 특성을 가질 수 있으며, 사용자의 별도의 요청이 있거나 네트워크 품질이 좋지 않은 경우에는 제1 전자 장치에게 캡쳐 버튼(3910)을 누르는 순간에 저장된 고품질의 이미지를 요청하여 수신 받을 수도 있다.
다양한 실시 예들에 따르면, 수신 측의 제2 전자 장치에서 송신 측의 제1 전자 장치의 고품질의 원본 영상을 요청하는 경우, 제1 전자 장치는, 제2 전자 장치에서 캡쳐 버튼(3910)을 누리는 시점의 타임스탬프(timestamp)를 확인하여, 해당 시점의 원본 영상을 검색할 수 있으며, 검색된 원본 영상을 제2 전자 장치에 전송할 수 있다.
다양한 실시 예들에 따르면, 수신 측의 제2 전자 장치에서 송신 측의 제1 전자 장치의 고품질의 원본 영상을 요청하는 경우, 카메라를 원격 제어 장치(remote controller)로 조작하는 것과 같이, 제1 전자 장치에서 제2 전자 장치의 요청에 대응하여 카메라를 작동하여 촬영된 영상을 획득하고, 획득된 영상을 제2 전자 장치에 전송할 수도 있다.
다양한 실시 예들에 따라, 캡쳐 기능이 수행되는 경우, 카메라 셔터(shutter) 효과음 발생 혹은 화면 깜박임, 화면 흔들림, 화면 fade out 후 fade in 효과 중 하나 이상의 비주얼 이펙트(예: VI, Visual Interaction)를 제공할 수 있으며, 영상이 캡쳐되는 상황에서는 "image captured" 또는 "_filename_saved(예: AAA001 saved)" 등과 같이, 캡쳐된 이미지가 저장됨을 팝업(3930)으로 표시하여 사용자에게 제공할 수 있다.
다양한 실시 예들에 따르면, 제1 전자 장치 및/또는 제2 전자 장치는 캡쳐 동작을 수행할 시, 카메라를 통해 획득되는 영상만을 캡쳐할 수 있다. 예를 들면, 도 39에서 프리뷰 화면만을 캡쳐할 수 있고, 캡쳐된 영상에는 화면에 표시되는 기능 아이콘 또는 메뉴 등을 포함하지 않을 수 있다. 다양한 실시 예들에서 기능 아이콘 또는 메뉴 등은 영상의 캡쳐와 독립적으로 동작할 수 있다. 한 실시 예에 따르면, 통화 시간(call duration)은 계속하여 카운트 되어 표시(예: 00:22 -> 00:23)될 수 있다. 추가적으로 또는 대체적으로, 캡쳐 시 기능 아이콘 또는 메뉴를 포함하여 캡쳐할 수도 있다.
도 40은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면이다.
도 40을 참조하면, 도 40은 영상 서비스를 수행하는 중에, 표시된 영상을 녹화(record)하는 동작 및 그의 화면 예시를 나타낼 수 있다.
도 40에 도시한 바와 같이, 영상 서비스 중에 녹화 기능 수행은, 영상 서비스 도중에 녹화 버튼(4010)을 사용자가 선택하여 수행할 수 있다. 다양한 실시 예들에 따라, 녹화를 수행하는 예시는 다음과 같다.
한 실시 예에 따르면, 녹화가 영상을 제공하는 제1 전자 장치에서 수행되는 경우일 수 있다. 다양한 실시 예들에 따라, 동영상의 경우 네트워크 전송을 위한 인코더를 통해 인코딩되어 네트워크 스트림화 하기 때문에, 제1 전자 장치에서 녹화 기능이 수행되더라도, 네트워크 상황(예: 제1 전자 장치의 업로드 채널 및 제2 전자 장치의 다운로드 채널)이 영상의 품질에 영향을 줄 수 있다. 따라서, 녹화(recording)되는 영상은 네트워크 환경이 좋을 경우에만 최고 품질로 저장할 수 있으며, 이러한 특징(예: 전송용 영상도 카메라에서 일반적으로 촬영하는 영상 대비 초당 전송율(bitrate)의 손실이 있는 상황이기 때문에(up to 3.5Mbps, 1080p 기준))가지는 동영상이 저장될 수 있다.
추가적으로, 제1 전자 장치에서 별도의 원본 동영상 저장용 인코더를 별개로 운용하는 경우, 네트워크 상황에 관계없이 원본 화질의 동영상을 저장할 수 있게 할 수 있다. 예를 들면, 미디어 프로세서를 이용하여 네트워크 전송용 영상 인코딩과 카메라를 통해 수신한 원본 영상을 저장하기 위한 영상 인코딩을 별개로 처리하도록 제어할 수도 있다.
한 실시 예에 따르면, 녹화가 영상을 수신하는 제2 전자 장치에서 수행되는 경우일 수 있다. 제2 전자 장치는, 제1 전자 장치로부터 네트워크 경로의 상황에 따라 가변적인 품질의 영상을 저장할 수 있다. 다양한 실시 예들에 따라, 제2 전자 장치는, 필요에 따라 음성 통화 이후에, 제1 전자 장치에게 녹화된 원본 품질의 동영상을 공유 요청하여, 녹화 영상을 획득할 수도 있다.
다양한 실시 예들에 따르면, 제1 전자 장치는 통화가 끝난 후 제2 전자 장치의 요청에 대응하여 원본 품질의 영상을 획득할 수 있다. 다양한 실시 예들에서, 획득되는 데이터는 제1 전자 장치에 저장된 로컬 데이터일 수 있고, 서버에 저장된 데이터일 수도 있다.
다양한 실시 예들에 따라, 동영상이 Scalable coding을 적용한 경우, 제2 전자 장치의 저장된 동영상 중 품질이 저하된 부분의 enhanced layer 데이터만을 서버에 요청할 수도 있다. 이러한 경우, 서버에서는 누락된 enhanced layer 데이터를 추가적으로 제공할 수도 있다.
다양한 실시 예들에 따라, 동영상이 DASH 방식을 적용한 경우, 제2 전자 장치의 저장된 동영상 중 저품질의 패킷을 요청한 부분에 대해서는 추후에 DASH Playlist를 참조하여 고품질 부분만을 다시 요청하여 품질을 회복할 수 있다.
다양한 실시 예들에 따르면, 제1 전자 장치 및/또는 제2 전자 장치는 녹화 동작을 수행할 시, 녹화 경과 시간(4050)(예: REC 00:01)을 표시할 수 있다. 다양한 실시 예들에 따르면, 녹화 동작을 수행하는 중에, 녹화 경과 시간(4050) 및/또는 녹화 아이콘(4010)의 점멸을 통해 녹화 중임을 사용자에게 제공할 수 있다. 다양한 실시 예들에 따라, 녹화가 완료되는 경우, "_filename_saved(예: BBB003 saved)" 등과 같이, 녹화된 영상이 저장됨을 팝업(4030)으로 표시하여 사용자에게 제공할 수 있다.
다양한 실시 예들에 따르면, 제1 전자 장치 및/또는 제2 전자 장치는 녹화 동작을 수행할 시, 카메라를 통해 획득되는 영상만을 녹화할 수 있다. 예를 들면, 도 40에서 프리뷰 화면만을 녹화할 수 있고, 녹화된 영상에는 화면에 표시되는 기능 아이콘 또는 메뉴 등을 포함되지 않을 수 있다. 다양한 실시 예들에서 기능 아이콘 또는 메뉴 등은 영상의 녹화와 독립적으로 동작할 수 있다. 한 실시 예에 따르면, 통화 시간(call duration)은 계속하여 카운트 되어 표시(예: 00:24 -> 00:30)될 수 있다.
이상에서, 도 39 및 도 40을 예시로 살펴본 바와 같이, 다양한 실시 예들에 따르면, 영상 서비스 수행 시에 캡쳐 또는 녹화되는 컨텐츠를 공유(share)할 수 있다.
다양한 실시 예들에 따르면, 영상 서비스가 종료된 경우에, 영상 서비스 도중에 사용자가 수행했던 캡쳐 이미지 또는 녹화 영상을 썸네일(thumbnail) 형태로 보여주거나, 또는 간략히 요약하여 보여줄 수 있다. 이러한 정보들은 팝업을 통해 제공할 수도 있다. 사용자는 해당 컨텐츠들을 확인하고 공유하고자 하는 대상을 지정하여 공유하고 싶은 컨텐츠를 팝업 메뉴를 통해 다른 사용자에게 공유할 수 있다.
다양한 실시 예들에 따르면, 영상 서비스를 수행하는 도중에도, 이전에 저장한 캡쳐 이미지나 녹화 영상을 공유하거나 조회할 수 있다.
다양한 실시 예들에 따르면, 통화 중 생성된 컨텐츠(예: 캡쳐 이미지 또는 녹화 영상)는 전자 장치 또는 서버에 저장되어 영상 서비스 관련 폴더에 저장될 수 있다. 한 실시 예에 따르면, 폴더 명칭은 통화와 관련된 정보를 포함할 수 있다. 예를 들어, 시간, 날짜, 상대방 정보를 포함할 수 있다. 다양한 실시 예들에 따라, 통화 종료 후에는 통화 정보(예: 시간)과 폴더 명칭을 비교하거나, 또는 최근 생성된 폴더임을 확인하여 생성된 컨텐츠가 어느 상대와의 통화 중에 생성된 것인지 판단할 수 있다.
다양한 실시 예들에 따른 컨텐츠 공유 동작에 대해 후술하는 도면들을 참조하여 설명된다.
도 41은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
다양한 실시 예들에서, 도 41은 전자 장치(500)가 미디어 풋프린트(media footprint) 서비스를 제공하는 동작 예시를 나타낼 수 있다. 다양한 실시 예들에 따르면, 미디어 풋프린트 서비스는, 영상 서비스 수행 중에, 생성되거나 공유되었던 스틸 이미지나 동영상에, 컨택트(contact) 정보를 메타데이터(metadata)의 형태로 추가하여, 이후 사용자가 영상 서비스에 따른 다양한 정보를 유용하게 사용할 수 있도록 하는 기능을 나타낼 수 있다. 다양한 실시 예들에 따르면, 컨택트 정보뿐만 아니라, 영상 서비스 사용 도중의 다양한 상황에 따른 유용한 정보를 추가할 수 있으며, 이를 통해 사용자에게 추가적인 혜택(benefit)을 제공할 수 있다. 다양한 실시 예들에 따르면, 메타 데이터는 이미지 파일에 포함되어 저장되거나 별도의 연관된 파일이나 데이터베이스에 저장될 수 있다. 다양한 실시 예들에 따르면, 이미지는 스틸 이미지, 동영상, 애니메이션, 프리뷰 영상, 베이어(bayer) 이미지 중 하나 이상을 포함하는 의미로 사용할 수 있다.
도 41을 참조하면, 동작 4101에서, 전자 장치(500)의 제어부(580)(예: 프로세서)는 사용자 저장 옵션(user store option)을 확인하여, 동작 4103에서, 사용자의 옵션을 판단할 수 있다. 다양한 실시 예들에서, 사용자의 옵션은 영상 서비스 사용 시에 저장 또는 공유할 데이터의 범위를 설정하는 옵션을 나타낼 수 있다. 사용자의 옵션은 사용자 설정에 따라 미리 저장될 수 있고, 옵션으로는, 예를 들면, 전체 데이터(full data), 하이라이트 데이터(highlighted video) 등의 옵션을 포함할 수 있다. 제어부(580)는 영상 서비스에 따른 영상 통화 시 사용자에 의해 미리 저장된 선택 옵션을 확인할 수 있다. 예를 들면, 제어부(580)는 사용자의 옵션의 저장 여부, 전제 데이터(full data) 이용, 또는 하이라이트 영상(highlighted video) 이용 등의 설정 옵션을 판단할 수 있다.
동작 4103에서, 제어부(580)는 사용자의 옵션이 저장되지 않은 것으로 판단하면(예: 동작 4103의 1), 풋프린트 기능을 수행하지 않도록 하거나, 또는 전자 장치(500)에 의해 설정되는 기본 설정 옵션(예: 전체 데이터)에 기반하여 기능을 수행하도록 할 수 있다.
동작 4103에서, 제어부(580)는 사용자의 옵션이 하이라이트 데이터로 저장(설정)된 것으로 판단하면(동작 4103의 3), 동작 4105에서, 원시 영상 데이터(raw video data)를 획득할 수 있다.
동작 4107 및 동작 4109에서, 제어부(580)는 원시 영상 데이터를 이용하여, 하이라이트 이미지(highlighted image) 및/또는 하이라이트 영상(highlighted video)을 생성할 수 있다. 다양한 실시 예들에서, 동작 4107과 동작 4109는 도시된 선후 관계에 한정되지 않으면, 동작 4107과 동작 4109는 순차적으로, 병렬적으로, 또는 역순차적으로 수행될 수도 있다.
동작 4103에서, 제어부(580)는 사용자의 옵션이 전체 데이터로 저장(설정)된 것으로 판단하면(동작 4103의 2), 동작 4111에서, 원시 영상 데이터를 획득할 수 있고, 동작 4113에서, 획득된 원시 영상 데이터를 이용하여 하이라이트 이미지를 생성할 수 있다.
동작 4121에서, 제어부(580)는, 동작 4109에서 생성된 하이라이트 영상, 또는 동작 4113에서 생성된 하이라이트 이미지에 기반하여, 컨택트(contact)와 관련된 메타데이터(metadata)를 생성할 수 있다.
동작 4123에서, 제어부(580)는 메타데이터와 미디어를 저장할 수 있다.
동작 4125에서, 제어부(580)는 사용자에게 통지(notify)할 수 있다.
전술한 바와 같이, 다양한 실시 예들에서, 영상 서비스에 따른 영상 통화는, 사용자의 선택 옵션에 따라 저장 및 공유가 가능할 수 있다. 다양한 실시 예들에서는 미디어 풋프린트 서비스를 제공할 수 있고, 미디어 풋프린트 서비스는 영상 서비스 상황에서 생성되거나 공유된 이미지나 도영상에 컨택트 정보를 메타데이터의 형태로 추가하여 관리 및 제공하는 서비스를 포함할 수 있다. 이하에서, 사용자의 영상 서비스에 따른 영상 통화 데이터를 저장(또는 공유)하는 도 41의 구체적인 동작 예시에 대하여 살펴보기로 한다.
동작 4101 및 동작 4103에 도시한 바와 같이, 영상 서비스에 의한 영상 통화(이하, 영상 통화)에 따른 영상의 저장(또는 공유)은, 사용자의 옵션 선택에 기초하며, 전자 장치(500)의 능력(capability) 및 서비스 체크 상태에 기초하여 저장할 수 있다.
다양한 실시 예들에서, 사용자의 옵션은, 예를 들면, Not save, Full data, Highlighted video, Image 등으로 구분할 수 있다.
Not save는, 사용자의 영상 통화에 대한 저장을 수행하지 않는 옵션을 나타낼 수 있다. Full data는, 사용자의 영상 통화를 원시 데이터(raw data)로 저장하며, 자동으로 해당 데이터에 대한 하이라이트 이미지(highlighted image)를 생성하는 옵션을 나타낼 수 있다. Highlighted video는, 원시 데이터를 저장하지 않으며, 하이라이트 영상(Highlighted video) 및 하이라이트 이미지(Highlighted image)를 생성한 후 원시 데이터를 삭제하는 옵션을 나타낼 수 있다. Image는, 사용자 입력 동작(예: capture, focusing, pause, pointing 등)을 감지하고, 해당 시점에 카메라를 통해 획득되거나, 화면을 통해 표시되거나, 또는 하나의 메모리(예: 링 버퍼)에 저장된 이미지를 저장하는 옵션을 나타낼 수 있다. 저장되는 이미지는 스틸 이미지일 수도 있고, 애니메이션 이미지(예: gif), 파노라마 이미지, 또는 깊이 센서 값(예: 깊이 정보)을 이용한 3D나 2.5D 이미지일 수도 있다.
다양한 실시 예들에서, 전자 장치의 능력 체크(capability check)는, 예를 들면, Battery states, Memory space 등의 체크로 구분할 수 있다.
전자 장치는, Battery status 체크를 통해, 영상을 저장하기 위한 Battery status가 충분하지 않을 경우(예: 일정 용량 미만) 영상을 저장하지 않을 수 있다. 전자 장치는, Memory space 체크를 통해, 영상을 저장하기 위한 Memory space가 충분하지 않을 경우(예: 일정 크기 미만), 메모리의 상태에 따라, 전체 데이터(Full data)를 저장하거나 또는 하이라이트 영상(Highlight video)을 저장한 후, 원본은 폐기할 수 있으며, 메모리의 상태에 따라, 하이라이트 영상을 저장하기 위해 충분하지 않을 경우 영상을 저장하지 않을 수 있다. 다양한 실시 예들에서, 저장되는 데이터는, 사용자의 음성 통신 내용 및 영상 데이터를 포함할 수 있으며, 발신자(caller)의 위치 정보(location information), 수신자(receiver)의 위치 정보, 통화 시간(예: call date & time) 정보 등과 같이, 전자 장치에 의해 센싱될 수 있는 추가 정보를 포함할 수 있다.
동작 4107 및 동작 4113에 도시된, 하이라이트 이미지를 생성하는 방법은 다음과 같이 수행할 수 있다.
한 실시 예에 따르면, 장면(scene)의 큰 변화를 이용할 수 있다. 예를 들면, 차분 영상 분석에 의한 영상 통화 진행 중 장면의 큰 변화, switching camera를 통한 전면/후면 카메라의 변경 요청, motion sensor를 통한 전자 장치의 큰 움직임 등을 감지(획득)할 시, 영상을 저장하고 있는 링 버퍼(ring buffer) 편집을 통해, 장면의 큰 변화 전후의 블러리스(blurless)한 이미지를 획득할 수 있고, 해당 이미지를 기준으로 하이라이트 이미지를 생성할 수 있다.
한 실시 예에 따르면, 포커스(focus)된 이미지를 이용할 수 있다. 예를 들면, 전자 장치는 영상 통화 도중 사용자가 공유하고자 하는 오브젝트를 감지하는 경우, 해당 오브젝트에 자동으로 포커스를 맞추거나, 또는 사용자의 제스처에 의해 포커스를 맞출 수 있다. 예를 들면, 전자 장치는 카메라 렌즈(camera lens)가 오브젝트에 포커스를 맞추게 될 경우, 해당 오브젝트나 영역의 영상을 기준으로 하이라이트 이미지를 생성할 수 있다.
한 실시 예에 따르면, 블러리스 이미지(blurless image)를 이용할 수 있다. 예를 들면, 영상 통화 진행에 따라 전자 장치가 움직이거나, 또는 전자 장치를 쥐고 있는 손에 미세하거나 혹은 큰 떨림으로 영상의 질이 떨어질 수 있다. 이와 같이, 전자 장치는 영상 통화 중 블러리스한 이미지를 획득하는 경우, 그 순간을 기준으로 하이라이트 이미지를 생성할 수 있다.
한 실시 예에 따르면, 포인트 이미지(pointed image)를 이용할 수 있다. 예를 들면, 사용자의 Pausing gesture를 통해 pausing된 이미지 발생 시 해당 이미지를 기준으로 하이라이트 이미지를 생성할 수 있다.
동작 4109에 도시된, 하이라이트 영상을 생성하는 방법은 다음과 같이 수행할 수 있다.
한 실시 예에 따르면, 장면(scene)의 큰 변화를 이용할 수 있다. 예를 들면, 차분 영상을 통한 모션 변화량, 색상 변화량 등을 기반으로 소정의 변화량 이상이 발생한 것을 감지하는 경우, 하이라이트 영상을 생성할 수 있다.
한 실시 예에 따르면, 음성(voice)의 큰 변화를 이용할 수 있다. 예를 들면, 소정 볼륨 이상의 음이 발생하거나 멀티 마이크를 이용하여 음의 감지 방향이 변화하는 경우를 감지하는 경우, 하이라이트 영상을 생성할 수 있다.
한 실시 예에 따르면, 토픽(topic)의 변화를 이용할 수 있다. 예를 들면, 음성 인식이나 영상 인식(예: 문자 인식, 얼굴 인식을 통한 새로운 등장 인물 감지, 바코드 인식, deep learning 기반 물체 인식 등)을 이용하여 이벤트를 감지하거나 새로운 토픽을 감지하는 경우, 하이라이트 영상을 생성할 수 있다.
동작 4121에 도시된, 컨택트와 관련된 메타데이터를 생성하는 방법은 다음과 같이 수행할 수 있다.
예를 들면, 영상 통화로 인해 생성된 미디어 데이터(media data)에 통화한 상대방의 컨택트 데이터(contact data)를 메타데이터로 생성할 수 있다. 다양한 실시 예들에 따르면, 메타데이터로 추가(삽입)할 수 있는 정보로는, 통화 송수신한 상대방의 caller's name, call date & time, caller's location information, receiver's location information 등을 포함할 수 있다.
동작 4123에 도시된, 미디어와 메타데이터를 저장하는 방법은 다음과 같이 수행할 수 있다.
한 실시 예에 따르면, 콜 로그 상세 보기에 미디어 데이터를 추가(attach the media data to the call log detailed view)할 수 있다. 예를 들면, 영상 통화를 관리하기 위한 콜 로그(call log) 생성 시, 생성된 메타데이터를 기준으로 콜 로그에서 해당 미디어 데이터를 바로 연결하여 관리할 수 있다. 다양한 실시 예들에서, 영상 통화에 따른 콜 로그는 CS(Circuit Switching) call 및 PS(Packet Switching) call 두 종류의 call에 대해 같은 구조로 관리할 수 있다. 한 실시 예에 따라, 영상 통화 종료 후 생성된 메타데이터를 통해 콜 로그의 상세보기(detailed view) 화면에 caller's name, call date & time 정보로, 후술하는 도 42와 같이, 연관된 미디어 데이터의 숏컷(shortcut)(예: 아이콘, 텍스트, 숫자 등)을 생성할 수 있다. 다양한 실시 예들에서, 생성된 숏컷을 선택할 시 해당 숏컷이 포함하는 메타데이터에 따라 분리된 미디어 데이터가 제공될 수 있다. 다양한 실시 예들에서, 미디어 데이터는 일반적인 사진 및 동영상과 같은 형태를 가질 수 있고, 즐겨찾기(favorite)를 지정하거나 공유, 편집, 또는 삭제 등 일반적인 미디어 데이터가 가질 수 있는 파일 속성에 대해 동작이 가능할 수 있다. 이와 관련된 화면 예시에 대해, 후술하는 도 42를 참조하여 설명된다.
한 실시 예에 따르면, 연계된 컨택트(associated contact)를 새로운 메타데이터(new metadata)로 생성할 수 있다. 다양한 실시 예들에 따르면, 영상 통화를 통해 생성된 미디어 파일(media file)에 대한 파일 속성을 확인할 때, 생성된 메타데이터의 내용을 확인할 수 있다. 한 실시 예에 따라, 영상 통화 상대의 contact name을 확인 할 수 있고, 영상 통화 날짜 및 시간, 발신자의 위치 정보, 수신자의 위치 정보 등을 확인할 수 있다. 한 실시 예에 따르면, 확인 가능한 메타데이터의 내용은 생성된 메타데이터의 내용을 모두 포함하지 않을 수 있다. 한 실시 예에 따르면, 영상 통화와 관련되지 않은 미디어 데이터의 일반적인 속성 정보(예: file name, file path, type, size, resolution, orientation 등)도 확인 가능하며, 해당 이미지의 특성으로부터 추출된 속성(예: categories, detected people 등)도 확인 가능하다. 이와 관련된 화면 예시에 대해, 후술하는 도 43을 참조하여 설명된다.
한 실시 예에 따르면, 메타데이터를 기반으로 미디어를 검색할 수 있다. 다양한 실시 예들에 따르면, 영상 통화 종료 후 자동 생성된 하이라이트 영상 및 하이라이트 이미지에 대하여 메타데이터를 통한 검색이 가능하다. 예를 들면, 'Mike와 통화했던 사진', 또는 'Mike와 크리스마스 때 통화했던 내용', 또는 'Mike가 뉴욕으로 출장 가서 걸었던 영상 통화', 또는 '내가 제주도로 여행 갔을 때 했던 영상 통화', 또는 '일주일 전 저녁에 걸었던 영상 통화' 등, 영상 서비스에 기반하여 영상 통화를 수행했던 상대방의 이름, 날짜와 시간, 상대방의 위치 및 나의 위치에 따른 영상 서비스 관련 내용에 대한 미디어 검색이 가능하다. 이를 위하여, 전자 장치(500)는 자연어 처리(natural language processing)를 수행할 수 있으며, 음성 입력이나 문자 입력에 의한 검색을 이용할 수도 있다. 이와 관련된 화면 예시에 대해, 후술하는 도 44를 참조하여 설명된다.
동작 4125에 도시된, 사용자에게 통지하는 방법은 다음과 같이 수행할 수 있다.
한 실시 예에 따르면, 전술한 바와 같이, 영상 통화는 사용자의 저장 옵션(save option)에 따라, 전체 데이터(Full data)를 저장할 수 있고, 또는 하이라이트 미디어 데이터(예: 하이라이트 영상, 하이라이트 이미지)를 저장할 수 있다. 이때, 전자 장치는 생성된 영상에 에 대해, 자동으로 하이라이트 이미지를 생성할 수 있고, 생성된 이미지의 개수 및 사이즈에 대해 통화 종류 후 사용자에게 통지(notification)를 제공할 수 있다. 다양한 실시 예들에 따르면, 전자 장치는, 통화 종료 후 사용자에게, 자동으로 생성된 이미지에 대해, 나중에 보거나 공유할 수 있는 옵션 및 자세히 볼 수 있는 옵션 등을 제공할 수 있다. 다양한 실시 예들에서, 통화 종료 이후에 사용자에게 제공할 수 있는 옵션은, 예를 들면, Dismiss, Share all, View 등의 표시를 포함할 수 있으며, 이들에 대한 화면 예시가 후술하는 도 45, 도 46 및 도 47을 참조하여 설명된다.
이상에서 살펴본 바와 같이, 다양한 실시 예들에 따르면, 전자 장치는 영상 서비스에서 미디어 풋프린트, 예를 들면, 통화와 관련된 영상 파일을 생성하여 제공할 수 있다. 다양한 실시 예들에서, 통화에 관련된 영상 파일을 생성하는 방법은, 파일 타입과 호환 타입을 나타내는 파일 박스(file box)와, 헤더(header) 정보를 포함하는 파일 헤더(file header)와, 스트림 데이터를 포함하는 미디어 데이터를 포함하는 영상 파일을 생성하는 동작, 스트림 데이터가 저장되는 트랙(track) 중 통화에 관련된 위치 정보 및 통화 상대자의 정보가 포함되는 메타데이터를 동적으로 생성하는 동작을 포함할 수 있다. 다양한 실시 예들에서, 메타데이터는 콜 로그와 연관 지을 수 있는 숏컷(예: 아이콘, 텍스트, 숫자 등)으로 표현되며, 이를 통해 상세한 콜 로그를 조회하거나 연관된 기능으로 구동할 수 있다. 다양한 실시 예들에 따르면, 메타데이터를 콜 로그 및 갤러리를 통해 확인하고 표시할 수 있고, 또한 메타데이터를 통해 공유 및 검색 저장을 용이하게 수행할 수 있다.
도 42는 본 발명의 다양한 실시 예들에 따른 전자 장치의 유저 인터페이스의 예시를 도시하는 도면이다.
도 42를 참조하면, 전자 장치(500)에서 영상 서비스 수행에 따라 생성되어 저장된 미디어 데이터(또는 영상 파일)를 조회 및 표시하는 데 제공되는 서비스 유저 인터페이스의 화면 예시를 나타낼 수 있다. 다양한 실시 예들에서, 도 42는 영상을 전송하는 발신 단말 및 영상을 수신하는 수신 단말에서 공통적으로 제공되는 화면 예시일 수 있다.
도 42의 (A)에 도시한 바와 같이, 전자 장치(500)는 영상 서비스에 따른 콜 로그를 기록할 수 있고, 사용자 요청에 대응하여 콜 로그에 대응하는 통신 기록에 대한 정보를 제공할 수 있다. 다양한 실시 예들에서, 통신 기록은, 영상 통신 완료, Missed Call, Reject, Outgoing/Incoming, 통신 시점, 통신 시간(예: date, time 등), 상대방 정보, 상대방 등록 사진 중 하나 이상이 제공될 수 있다. 다양한 실시 예들에 따라, 통신 기록은, 영상 서비스 수행에 따라 영상 통신이 완료된 정보(예: 통신 횟수), 영상 서비스를 발신하거나 수신에 대한 정보, 영상 서비스 실패에 따른 정보, 영상 서비스 요청에 대한 거부 정보, 상대방 정보 등을 포함하여 제공할 수 있다. 다양한 실시 예들에 따라, 통신 기록에서 각 정보는 텍스트, 이미지, 또는 아이콘 등 중 적어도 하나 또는 조합으로 제공될 수 있다.
다양한 실시 예들에 따라, 통신 기록은 시간 순으로 기록될 수 있으며, 사용자(사람) 별로 정리되어(예: 그루핑(grouping)), 예를 들면, 그루핑 로그(grouping log)가 제공될 수도 있다.
다양한 실시 예들에 따라, 영상 서비스에 따른 콜 로그를 생성할 때, 영상 서비스 수행에서 생성된 메타데이터를 기준으로 콜 로그를 연결하여 관리할 수 있다. 예를 들면, 사용자는 영상 서비스에 따른 통화 종료 후, 영상 서비스 수행에서 생성된 메타데이터를 통해 콜 로그의 상세보기를 확인할 수 있다.
다양한 실시 예들에 따라, 사용자가 통신 기록 중 어느 하나(또는 통신 기록 항목)(예: 도 42의 (A)에서 Pragam(4210))을 선택하면, 선택된 통신 기록의 해당 사용자와의 상세 통신 기록을 확인할 수 있는 화면으로 전환되어 표시될 수 있다. 예를 들면, 도 42의 (A)에서 도 42의 (B)로 전환되어 상세보기 화면이 표시될 수 있다.
도 42의 (B)에 도시한 바와 같이, 상세보기는, 사용자 정보(예: 이름, 전화번호, 이미지 등), 사용자와의 영상 서비스 사용에 따른 모든 히스토리, 영상 서비스 종류(예: Outgoing, Incoming), 영상 서비스 수행 여부(예: Missed, Rejected) 등), 통화 시간(예: date, time) 등이 제공될 수 있고, 해당 화면에서 제공되는 다양한 입력 버튼(예: 영상 서비스 발신, 음성 통화, 메시지 전달 등의 버튼) 등이 제공될 수 있다. 다양한 실시 예들에 따르면, 상세보기는, 해당 사용자와 영상 서비스에서 수행 시 생성된 메타데이터의 인디케이터(indicator)(4230, 4250)를 포함하여 사용자에게 제공할 수 있다.
예를 들어, 도 42의 (B)를 참조하면, 통신 기록들 중 해당 영상 통화 동안 생성된 이미지들의 인디케이터(4230, 4250)를 제공할 수 있다. 다양한 실시 예들에 따르면, 인디케이터(4230, 4250)는 생성된 메타데이터의 종류에 따라 다양한 형태의 이미지 또는 아이콘(예: 사진 아이콘, 오디오 아이콘 등)으로 제공될 수 있다. 다양한 실시 예들에 따르면, 인디케이터(4230, 4250)는 포함된 메타데이터의 수치 정보(4235, 4255)를 더 포함하여 제공할 수 있다.
다양한 실시 예들에서, 인디케이터(4230, 4250)는 숏컷 기능을 제공할 수 있다. 예를 들면, 사용자가 인디케이터(4230, 4250)를 선택하면, 선택된 인디케이터(4230, 4250)와 관련된 화면이 표시될 수 있다. 한 실시 예에 따르면, 인디케이터(4230, 4250)가 가지고 있는 메타데이터에 따라 분리된 메타데이터를 제공할 수 있다.
한 실시 예로, 도 42의 (B)에서, 인디케이터(4230)가 선택되면, 인디케이터(4230)이 가지는 메타데이터(예: 관련된 영상 파일)를 검색하여, 도 42의 (C)로 전환되어 메타데이터에 따른 화면이 표시될 수 있다. 예를 들어, 인디케이터(4230)가 선택(예: 터치, 탭)되면, 멀티미디어 뷰어(예: android의 갤러리(gallery), 비디오 플레이어, 비디오 에디터, 웹 브라우저 등)에서 인디케이터(4230)와 관련된 이미지를 검색하고, 검색된 이미지(4276)를 표시할 수 있다.
도 43은 본 발명의 다양한 실시 예들에 따른 전자 장치의 유저 인터페이스의 예시를 도시하는 도면이다.
도 43을 참조하면, 도 43은 전자 장치(500)에서 영상 서비스 수행에 따라 생성되어 저장된 미디어 데이터(또는 영상 파일)를 조회 및 표시하는 데 제공되는 서비스 유저 인터페이스의 화면 예시를 나타낼 수 있다. 다양한 실시 예들에서, 도 43은 영상을 전송하는 발신 단말 및 영상을 수신하는 수신 단말에서 공통적으로 제공되는 화면 예시일 수 있다.
도 43에 도시한 바와 같이, 영상 서비스를 통행 생성된 영상 파일에 대한 상세 정보(예: 파일 속성)를 제공할 수 있다. 한 실시 예에 따르면, 사용자는 전술한 도 42의 (C)와 같은 상태에서 설정된 메뉴 또는 설정된 입력을 통해 영상 파일에 대한 상세 정보를 요청할 수 있다. 전자 장치(500)는 도 42의 (C)와 같은 상태에서, 표시된 영상 파일(4270)의 상세 정보 표시가 요청되면, 도 43과 같이 영상 파일(4270)과 관련된 파일 속성을 제공할 수 있다. 다양한 실시 예들에 따르면, 파일 속성에, 영상 파일(4270)과 관련된 메타데이터의 정보를 함께 제공할 수 있다.
예를 들어, 도 43을 참조하면, 파일 속성은, 파일 자체의 일반적인 속성 정보(예: file name, file path, type, size, resolution, orientation)와 해당 영상 파일의 특성으로부터 추출된 속성(예: categories, detected people) 등을 포함할 수 있다.
다양한 실시 예들에 따르면, 파일 속성에서, 해당 영상 파일의 영상 서비스와 관련된 메타데이터의 내용을 적어도 일부 포함하여 제공할 수 있다. 예를 들면, 해당 영상 파일이 생성된 영상 통화의 상대방 정보(4350)를 포함하여 표시할 수 있다. 또한, 다양한 실시 예들에서는, 상대방 정보(4350) 외에, 해당 상대방과의 영상 통화 시간(call date and time), 발신자 및/또는 수신자의 위치 정보 등의 메타데이터의 내용을 포함하는 제공할 수 있다. 다양한 실시 예들에서, 파일 속성에서 제공 또는 확인 가능한 메타데이터의 내용은 해당 영상 파일의 원본 메타데이터의 내용을 모두 포함하지 않도록 제공될 수 있다.
도 44는 본 발명의 다양한 실시 예들에 따른 전자 장치의 유저 인터페이스의 예시를 도시하는 도면이다.
도 44를 참조하면, 도 44는 도 43을 통해 제공된 메타데이터에 기반하여 관련된 영상 서비스의 미디어 데이터(예: 영상 파일)를 검색하여 표시하는 데 제공되는 서비스 유저 인터페이스의 화면 예시를 나타낼 수 있다.
예를 들어, 도 43에서 사용자가 메타데이터(4350)(예: 상대방 정보)를 선택(예: 터치, 탭)하면, 전자 장치(500)는 선택된 메타데이터(4350)에 기초하여, 해당 메타데이터(4350)와 관련된 미디어 데이터를 검색할 수 있다. 한 실시 예에 따르면, 전자 장치(500)는 상대방 정보(4350)에 기초하여, 해당 상대방과 영상 서비스 수행에 따라 생성된 모든 미디어 데이터(예: 영상 파일)을 검색할 수 있다. 다양한 실시 예들에서, 전자 장치(500)는, 도 44에 도시한 바와 같이, 검색된 미디어 데이터를 표시할 수 있다. 한 실시 예에 따르면, 전자 장치(500)는 영상 파일과 관련된 썸네일를 리스트로 제공할 수 있다.
다양한 실시 예들에 따르면, 전자 장치(500)는 검색된 미디어 데이터를 바로 공유할 수 있는 어플리케이션을 실행하고, 실행된 어플리케이션을 통해 검색된 미디어 데이터를 제공할 수 있다. 한 실시 예에 따르면, 도 44의 예시와 같이, 메시지, 메일 또는 메신저 등의 어플리케이션을 실행할 수 있고, 실행된 어플리케이션을 메타데이터에 따른 상대방을 수신처로 자동 지정하고, 검색된 미디어 데이터를 첨부의 형식으로 포함하여 제공할 수 있다. 다양한 실시 예들에 따라, 실행하는 어플리케이션의 종류에 따라 텍스트 입력을 위한 키패드를 포함하여 제공할 수 있다.
다양한 실시 예들에서는, 메타데이터에 기초하여, 예를 들면, 해당 상대방과 영상 통화 수행 시 생성된 미디어 데이터, 상대방과 특정 기념일(예: 크리스마스)에 영상 통화 수행 시 생성된 미디어 데이터, 상대방이 특정 장소에서 발신 또는 수신한 영상 통화, 또는 사용자가 특정 장소에서 해당 상대방과 발신 또는 수신한 영상 통화, 또는 특정 기간(예: 일주일 전, 한달 동안, 또는 일년 전 저녁 등)에 발신 또는 수신한 영상 통화 등과 같이, 상대방과 영상 통화를 수행했던 다양한 정보를 검색하여 제공할 수 있다. 즉, 전자 장치(500)는 메타데이터에 기반하여, 상대방의 이름, 날짜와 시간, 상대방의 위치 및 사용자의 위치 등에 따라 영상 서비스와 관련된 미디어를 검색할 수 있고, 검색된 미디어를 출력(예: 표시)하여 사용자에게 제공할 수 있다.
도 45, 도 46 및 도 47은 본 발명의 다양한 실시 예들에 따른 전자 장치의 유저 인터페이스의 예시를 도시하는 도면들이다.
도 45, 도 46 및 도 47을 참조하면, 도 45, 도 46 및 도 47은 통화 또는 영상 통화 종료 후, 영상 통화 시 생성된 미디어 데이터(예: 컨텐츠)에 대한 정보를 사용자에게 통지하고, 관련 미디어 데이터를 공유하는 데 제공되는 서비스 유저 인터페이스의 화면 예시를 나타난 것이다. 한 실시 예에 따르면, 통화 또는 영상 통화 종료 후, 영상 통화 중에 생성된 미디어 데이터에 대한 정보를 사용자에게 통지 및 공유 기능을 제공할 수 있다.
다양한 실시 예들에 따르면, 영상 통화에 따른 미디어 데이터는 사용자의 저장 옵션(save option)에 따라 전체 데이터를 저장할 수 있고, 또는 하이라이트 데이터를 저장할 수 있다. 다양한 실시 예들에서, 전자 장치(500)는 생성된 미디어 데이터에 대해 자동으로 하이라이트 이미지를 생성할 수 있고, 생성된 하이라이트 이미지의 개수 및 사이즈 등에 관한 정보를 통화 종료 후, 도 45의 예시와 같이 사용자에게 통지하여 제공할 수 있다.
도 45를 참조하면, 영상 통화 중 생성된 미디어 데이터(예: 컨텐츠)에 대해, 통화 종료 후 생성된 미디어 데이터를 확인하거나 공유할 수 있는 팝업(4500)을 제공할 수 있다. 다양한 실시 예들에 따라, 팝업(4500)은 영상 통화를 수행한 상대방 정보와 해당 영상 통화에서 생성된 미디어 데이터의 개수에 대한 정보(4510) 및 미디어 데이터의 전체 사이즈(4520), 생성된 미디어 데이터(예: 썸네일, 하이라이트 이미지)(4530), 미디어 데이터를 확인 또는 공유하기 위한 다양한 옵션(예: DISMISS(4540), SHARE ALL(4550), VIEW(4560)) 등과 같이 영상 통화와 관련된 다양한 정보를 포함할 수 있다.
다양한 실시 예들에 따라, DISMISS(4540) 옵션은, 팝업(4500)을 제거하고 관련 사항을 나중에 확인하도록 하거나, 또는 자동 생성된 미디어 데이터(4530)를 삭제하는 옵션을 나타낼 수 있다.
다양한 실시 예들에 따라, SHARE ALL(4550) 옵션은, 모든 미디어 데이터(4530)를 썸네일 뷰(thumbnail view) 또는 리스트 뷰(list view)로 한번에 표시, 자동 선택 혹은 공유하기 위한 옵션을 나타낼 수 있다. 예를 들면, 전자 장치(500)는 팝업(4500)의 옵션에서, SHARE ALL(4550) 선택을 감지하면, 도 46의 (A)에 도시한 바와 같이, 미디어 데이터(4530)의 썸네일(예: 하이라이트 이미지(또는 이미지), 하이라이트 영상(또는 동영상))의 리스트를 제공할 수 있다. 도 46의 (A)의 예시에서는 하이라이트 이미지와 하이라이트 영상이 생성된 예시를 나타낼 수 있다.
도 46의 (A)와 같은 상태에서, 사용자는 공유하고자 하는 하나 또는 그 이상의 미디어 데이터를 선택 또는 선택 취소하고, 이후 최종 선택된 미디어 데이터를 공유할 수 있다. 한 실시 예에 따르면, 사용자가 도 45에서 SHARE ALL(4550)을 선택하는 경우, 전자 장치(500)는 모든 미디어 데이터를 자동 선택 설정하여 도 46의 (A)와 같이 제공할 수 있다. 사용자는 도 46의 (A)의 썸네일 뷰에서 선택된 모든 미디어 데이터 또는, 적어도 일부의 미디어 데이터의 선택을 해제할 수 있다. 사용자는 SHARE 버튼(4610) 선택에 의해, 최종 선택된 미디어 데이터 공유할 수 있다. 도 46에서는 미디어 데이터 선택 여부를 썸네일 상의 체크박스를 이용하여 모두 선택된 경우를 표시하고 있으며, 도 47(A)에서는 모두 선택되지 않은 경우를 표시하고 있다.
전자 장치(500)는 SHARE 버튼(4610)이 선택되면, 도 46의 (B)와 같이 미디어 데이터를 공유하기 위한 서비스를 선택할 수 있는 팝업(4630)을 제공할 수 있다. 다양한 실시 예들에 따르면, 전자 장치(500)는 팝업(4630)을 이용한 사용자의 선택에 따라, Message, Android Beam, WiFi Direct, Bluetooth, Drive, Email 등의 서비스를 이용하여 미디어 데이터(예: 이미지 및/또는 동영상)를 공유할 수 있고, 또는 NFC 등의 근거리 통신을 이용하여 미디어 데이터(예: 이미지 및/또는 동영상)를 공유할 수도 있다.
다양한 실시 예들에 따라, VIEW(4560) 옵션은, 썸네일 뷰, 리스트 뷰 또는 아이템 뷰(item view)를 통해 미디어 데이터를 표시하고, 표시된 미디어 데이터를 실행(예: 전체 표시 등)하기 위한 옵션을 나타낼 수 있다. 예를 들면, 전자 장치(500)는 팝업(4500)의 옵션에서, VIEW(4560) 선택을 감지하면, 도 47의 (A)에 도시한 바와 같이, 미디어 데이터(4530)의 썸네일(예: 하이라이트 이미지(또는 이미지), 하이라이트 영상(또는 동영상))의 리스트를 제공할 수 있다. 도 47의 (A)의 예시에서는 하이라이트 이미지(4710)와 하이라이트 영상(4730)이 생성된 예시를 나타낼 수 있다.
도 47의 (A)와 같은 상태에서, 사용자는 실행하고자 하는 미디어 데이터를 선택할 수 있다. 전자 장치(500)는 미디어 데이터가 선택되면, 도 47의 (B)와 같이 선택된 미디어 데이터를 실행할 수 있다. 한 실시 예에 따르면, 사용자가 선택한 미디어 데이터가 이미지(4710) 형식인 경우, 선택된 썸네일 이미지(예: 하이라이트 이미지)의 원본 이미지를 상세보기(detailed view)(예: 전체 화면으로 표시)로 사용자에게 제공할 수 있다. 다른 한 실시 예에 따르면, 사용자가 선택한 미디어 데이터가 동영상(4730) 형식인 경우, 선택된 썸네일 이미지(예: 하이라이트 영상)의 원본 동영상을 상세보기(예: 전체 화면으로 재생 및 표시)로 사용자에게 제공할 수 있다.
다양한 실시 예들에 따르면, 도 47의 (B)와 같은 상태에서, 사용자 입력(예: swipe gesture)를 통해 현재 표시된 미디어 데이터를 기준으로, 이전 또는 이후의 순서로 배치된 미디어 데이터로 전환하여 표시할 수 있다.
도 48 및 도 49는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면들이다.
도 48 및 도 49에 도시한 바와 같이, 도 48 및 도 49는 영상 서비스에 의한 영상 통화를 수행하는 중에, 카메라 전환(camera switching)에 따른 서비스 유저 인터페이스의 화면 예시를 나타낼 수 있다. 다양한 실시 예들에서, 도 48 및 도 49는 영상을 전송하는 발신 단말(예: 제1 전자 장치(4810))과 영상을 수신하는 수신 단말(예: 제2 전자 장치(4820))의 각각에서 제공되는 화면 예시를 나타낼 수 있다.
다양한 실시 예들에 따르면, 제1 전자 장치(4810) 및 제2 전자 장치(4820)의 사용자들은 영상 서비스에 기반하여 통화 및 영상을 공유할 수 있다. 사용자들은 영상 서비스를 이용하는 중에, 사용자의 전자 장치 또는 상대 전자 장치의 카메라를 제어할 수 있다. 한 실시 예에 따르면, 도 48에 도시한 바와 같이, 영상을 수신하는 제2 전자 장치(4820)의 사용자는 영상을 발신하는 제1 전자 장치(4810)의 카메라를 제어할 수 있다. 다양한 실시 예들에 따라, 영상을 획득하는 카메라는 제1 전자 장치(4810)의 카메라일 수 있고, 영상을 수신하는 제2 전자 장치(4820)는 카메라가 오프된 상태일 수 있다. 예를 들어 도 28에 따르면, 제1 전자 장치(4810)와 통신 중인 제2 전자 장치(4820)의 사용자는 Mike이고, 비디오 전송을 하지 않는 상태(예: "Service Off", 혹은 "Camera Off")임을 보여 주며, 제 2 전자 장치(4820)는 제 1 전자 장치(4810)의 사용자 Stacy가 비디오 전송을 하는 상태(예: "Service On", 혹은 "Camera On")임을 보여 준다.
다양한 실시 예들에 따라, 영상 서비스를 수행할 시 영상을 전송하는 제1 전자 장치(4810)의 사용자는 제1 전자 장치(4810)의 카메라 전환을 직접 수행할 수도 있다.
다양한 실시 예들에서, 전자 장치(500)는, 전면 카메라(front camera) 및 후면 카메라(rear camera)를 포함할 수 있고, 추가적으로 또는 대체적으로, 주변 장치를 이용하는 외부 카메라(external camera)를 포함할 수도 있다. 다양한 실시 예들에서, 카메라 전환은, 예를 들면, 전자 장치(예: 제1 전자 장치(4810))의 전면 카메라에서 후면 카메라, 전자 장치의 후면 카메라에서 전면 카메라, 전자 장치의 카메라(예: 전면 또는 후면 카메라)에서 주변 장치의 외부 카메라, 또는 주변 장치의 외부 카메라에서 전자 장치의 카메라(예: 전면 또는 후면 카메라)로 전환 등을 포함할 수 있다.
도 48에서는, 전자 장치들(4810, 4820) 간에 영상 서비스를 수행하는 중에, 영상을 수신하는 제2 전자 장치(4820)가 사용자 입력에 기반하여 제1 전자 장치(4810)의 카메라를 전환하도록 요청하고, 제1 전자 장치(4810)는 제2 전자 장치(4820)의 요청에 대응하여, 제1 전자 장치(4810)의 동작 중인(예: 영상을 획득 중인) 카메라(예: 전면 카메라 또는 후면 카메라)를 전환 또는 실행하는 예시를 도시한다. 다양한 실시 예들에 따르면, 영상을 수신하는 제2 전자 장치(4820)의 카메라는 오프된 상태일 수 있으며, 따라서 제2 전자 장치(4820)의 카메라 제어를 위한 동작을 수행하지 않을 수 있다.
다양한 실시 예들에 따르면, 영상을 수신하는 제2 전자 장치(4820)의 카메라는 on된 상태일 수 있으며, 따라서 제2 전자 장치(4820) 또한 카메라 제어를 위한 동작을 수행할 수 있다. 다양한 실시 예들에 따라, 전자 장치들(4810, 4820)이 모두 영상을 송수신하는 경우에는 복수 개의 영상을 디스플레이에 표시할 수 있다. 예를 들면, PIP(Picture-in-Picture), PBP(Picture-by-Picture), 오버레이(overlay), 멀티 윈도우 방식으로 송신하는 영상과 수신하는 영상을 동시에 표시할 수 있다.
한 실시 예에 따라, PIP나 PBP로 표시되는 경우, 두 전자 장치(4810, 4820)에서 표시되는 영상들의 배치가 동일할 수도 있고, 서로 상이할 수도 있다.
한 실시 예에 따라, 도 48과 도 49의 제2 전자 장치(4820)에서 오버레이로 표시되는 경우, 상대방으로부터 수신되는 이미지 데이터에 연관한 이미지는 배경 이미지(4855, 4875)로서 표시하고, 송신하는 이미지와 관련한 이미지(예: 프리뷰 이미지)는 상대방의 정보가 표시된 영역에 있는 이미지 영역에 표시될 수 있다. 따라서 카메라가 off된 경우에는 주소록에 기 저장된 이미지가 해당 영역에 표시되고, 카메라가 on 되면, 지정된 카메라로부터 수신하여 상대방에서 전송할 이미지와 연관된 이미지로 변경되어 표시될 수 있다. 예를 들면, 도 49에 표시된 작은 이미지 영역은 사용자 입력에 의해 크기와 위치가 변화되어 표시(4900)되는 오버레이 방식으로 배치되어 있으며, 카메라 on 시 작은 이미지 영역에 상대방에게 전송할 이미지와 관련한 이미지를 표시할 수 있다.
다양한 실시 예들에 따르면, 제1 전자 장치(4810)와 제2 전자 장치(4820)는 유저 인터페이스 상에, 카메라 전환을 위한 스위칭 객체(switching object)(4815, 4825)를 각각 제공할 수 있다. 다양한 실시 예들에 따라, 스위칭 객체(4815, 4825)는 구동 중인 카메라가 전면 카메라인지, 후면 카메라인지, 또는 외부 카메라인지, 원격 전자 장치의 카메라, 또는 주변 장치(예: VR 장치, 360 카메라, 카메라를 구비한 다른 장치 등)인지 등과 같이 구동하는 카메라의 종류에 따라 다른 아이콘 형태로 제공될 수도 있다. 다양한 실시 예들에서, 스위칭 객체(4815, 4825)는 유저 인터페이스(또는 영상 서비스에 따라 공유되는 영상) 상에 적어도 어느 일 영역(예: 화면 좌측 상단)에 표시하여 제공될 수 있다. 다양한 실시 예들에서, 제1 전자 장치(4810)와 제2 전자 장치(4820)에 제공되는 유저 인터페이스는, 예를 들어, 아이콘, 메뉴, 또는 팝업 등을 통해 상대 사용자의 정보를 표시할 수 있다.
제2 전자 장치(4820)의 사용자는 카메라 전환을 위한 스위칭 객체(4825)(예: 아이콘 또는 메뉴)를 선택(예: 터치, 탭)할 수 있다. 제2 전자 장치(4820)는 영상 서비스 중에 스위칭 객체(4825)에 의한 사용자 입력을 감지하면, 사용자 입력을 카메라 전환 요청으로 판단하고, 제1 전자 장치(4810)에게 카메라 전환 요청을 네트워크를 통해 전송할 수 있다.
제1 전자 장치(4810)는 영상 서비스 수행 중에, 제2 전자 장치(4820)로부터 카메라 전환 요청이 수신되면, 제1 전자 장치(4810)의 카메라를 다른 방향의 카메라로 전환(실행)할 수 있다. 다양한 실시 예들에 따라, 제1 전자 장치(4810)는 카메라 전환 요청을 수신할 때, 진동, 소리, 깜박임(예: 스위칭 객체 깜박임) 등에 기반하여 GUI적인 피드백(feedback)을 출력하여 사용자에게 제공할 수 있다.
제1 전자 장치(4810)는 제2 전자 장치(4820)의 요청에 대응하여, 전환된 카메라로부터 영상을 획득할 수 있고, 획득된 영상을 제2 전자 장치(4820)로 전달하여 영상을 함께 공유할 수 있다. 이러한 예시가 도 49에 도시된다.
도 49에 도시한 바와 같이, 제1 전자 장치(4810)와 제2 전자 장치(4820)는, 제1 전자 장치(4810)의 전환된 카메라를 통해 획득하는 영상을 공유하여 각각 표시할 수 있다.
한 실시 예에 따르면, 도 48에서는 제1 전자 장치(4810)가 후면 카메라로부터 획득하는 제1 영상(예: 배경 영상)(4850)에 연관된 영상 데이터(예: raw image, resized image, 스트리밍 이미지, 스틸 이미지 등)를 전송하고, 제2 전자 장치(4820)는 수신한 영상 데이터에 기반하여 디스플레이에 표시(4855)하는 상태일 수 있고, 제2 전자 장치(4820)의 카메라 전환 요청에 따라 후면 카메라에서 전면 카메라로 전환할 수 있다. 이러한 경우, 도 49에 도시한 바와 같이, 제1 전자 장치(4810)는 전면 카메라로부터 획득하는 제2 영상(예: 사용자 얼굴)(4870)과 관련한 영상 데이터를 제2 전자 장치(4820)에 전송하여, 제2 전자 장치(4820)에서 표시(4875)할 수 있다. 다양한 실시 예들에 따라, 제1 전자 장치(4810)와 제2 전자 장치(4820)는, 제1 전자 장치(4810)에서 구동하는 카메라로부터 획득된 동일하거나 유사한 영상을 표시하여 제공할 수 있다. 예를 들면, 두 전자 장치(4810, 4820)의 해상도가 다르거나, orientation이 다른 경우, 제1 전자 장치(4810)와 제2 전자 장치(4820)에 각각 표시되는 영상이, 크기나 모양, 또는 해상도가 다르므로, 제1 전자 장치(4810)와 제2 전자 장치(4820)는 서로 다른 형태로 이미지를 표시하여 사용자에게 제공할 수 있다.
도 48 및 도 49의 예시와 같이, 영상 서비스를 수행하는 중에 영상을 수신하는 제2 전자 장치(4820)의 사용자가, 영상을 전송하는 제1 전자 장치(4810)의 카메라 전환 제어를 요청하고, 제1 전자 장치(4810)에서 해당 요청에 대해 승낙하여 카메라를 전환하는 방법에 대하여 도 50에 도시된다.
도 50은 본 발명의 다양한 실시 예들에 따른 전자 장치들에서 영상 서비스를 수행하는 방법을 도시하는 도면이다.
도 50에 도시한 바와 같이, 도 50은 영상을 전송하는 제1 전자 장치(4810)와 영상을 수신하는 제2 전자 장치(4820) 간에 영상 서비스를 수행하는 중에, 제2 전자 장치(4820)에 의한 제1 전자 장치(4810)의 카메라 스위칭 제어 동작을 나타낼 수 있다.
도 50을 참조하면, 동작 5001에서, 제1 전자 장치(4810)는, 영상 서비스가 연결된 제2 전자 장치(4820)에 인코딩된 영상(동영상)과 카메라 종류를 전송할 수 있다. 예를 들면, 제1 전자 장치(4810)는 전술한 바에 대응하여 제2 전자 장치(4820)와 영상 서비스를 시작할 수 있고, 영상 서비스 시작에 대응하여, 구동된 카메라를 통해 획득하는 영상 및, 구동된 카메라에 대한 정보를 제2 전자 장치(4820)에 전송할 수 있다. 다양한 실시 예들에 따라, 제1 전자 장치(4810)는, 인코딩된 영상과 함께, 제1 전자 장치(4810)의 카메라 정보를 함께 전송할 수 있다. 다양한 실시 예들에서, 영상과 함께 전송할 수 있는 카메라 정보는, 제1 전자 장치(4810) 카메라의 해상도, 카메라의 종류(예: 전면 카메라, 후면 카메라, 또는 외부 카메라), 제1 전자 장치(4810)의 방향(예: 가로 모드(landscape mode), 세로 모드(portrait mode)) 등의 정보를 포함할 수 있다.
동작 5003에서, 제2 전자 장치(4820)는, 제1 전자 장치(4810)로부터 전송되는 영상을 수신하여 표시하고, 제1 전자 장치(4810)의 카메라의 정보를 표시할 수 있다. 예를 들면, 제2 전자 장치(4820)는, 전술한 도 48 및 도 49를 참조한 설명 부분에서 설명한 바와 같이, 인코딩된 영상과 함께, 제1 전자 장치(4810)의 카메라의 정보(예: 스위칭 객체를 통해)를 표시할 수 있다. 한 실시 예에 따르면, 제2 전자 장치(4820)는 제1 전자 장치(4810)의 카메라 종류와 연관된 GUI(예: 스위칭 객체(4825))를 표시할 수 있다.
동작 5005에서, 제2 전자 장치(4820)는, 스위칭 명령의 입력 여부를 판단할 수 있다. 예를 들면, 제2 전자 장치(4810)는 유저 인터페이스(예: 스위칭 객체(4825)) 표시를 통해, 제1 전자 장치(4810)의 카메라 정보를 인지 및 사용자에게 제공할 수 있고, 스위칭 객체(4825)를 이용한 사용자 입력에 따라 제1 전자 장치(4810)의 카메라를 제어할 수 있는 스위칭 명령(switching command)을 실행할 수 있다. 제2 전자 장치(4820)의 사용자는 스위칭 객체(4825)(예: 아이콘 또는 메뉴)를 선택하여 제1 전자 장치(4810)의 카메라 전환을 요청할 수 있다.
동작 5005에서, 제2 전자 장치(4820)는, 스위칭 명령이 입력되지 않으면(동작 5005의 아니오), 동작 5003으로 진행하여, 동작 5003 이하의 동작 수행을 처리할 수 있다.
동작 5005에서, 제2 전자 장치(4820)는, 스위칭 명령이 입력되면(동작 5005의 예), 동작 5007에서, 스위칭 요청 상태를 표시할 수 있다. 예를 들면, 제2 전자 장치(4820)는 사용자가 요청한 스위칭 명령을 제1 전자 장치(4810)에서 수행하기 위한 상태 표시(예: 스위칭 상태 인디케이션(switching status indication))를, 제1 전자 장치(4810)에서 수행할 수 있다. 한 실시 예에 따르면, 제2 전자 장치(4820)는, 스위칭 명령의 수행 상태를 표시하기 위해 로딩 팝업(loading popup) 등의 GUI를 표시하거나, 스위칭 객체(4825)의 깜박임 등의 GUI를 표시하거나, 제2 전자 장치(4820)의 진동 또는 소리를 통해 상태를 표시하여 사용자에게 제공할 수 있다. 이에 대한 구체적인 예시에 대해 후술된다.
동작 5009에서, 제2 전자 장치(4820)는, 스위칭 명령에 대응하여, 제1 전자 장치(4810)에 카메라 전환을 위한 스위칭 요청을 전송할 수 있다.
동작 5011에서, 제1 전자 장치(4810)는, 제2 전자 장치(4820)의 스위칭 요청과 관련된 알림(notification)을 표시할 수 있다. 예를 들면, 제1 전자 장치(4810)는 영상 서비스 수행 중에, 제2 전자 장치(4820)로부터 카메라 전환을 위한 스위칭 요청을 수신하면, 해당 알림을, GUI, 깜박임(예: 스위칭 객체(4815) 깜박임), 소리, 또는 진동 중 적어도 하나를 이용하여, 제1 전자 장치(4810)의 사용자에게 피드백을 제공할 수 있다.
동작 5013에서, 제1 전자 장치(4810)는, 스위칭 명령의 입력 여부를 판단할 수 있다. 예를 들면, 제1 전자 장치(4810)는 제공된 알림을 통해 카메라 전환을 승인하는 사용자 입력이 있는지 여부를 판단할 수 있다. 한 실시 예에 따르면, 제1 전자 장치(4810)는, 스위칭 객체(4815)에 의한 사용자 입력이 감지되는지 여부를 판단할 수 있다.
동작 5015에서, 제1 전자 장치(4810)는, 스위칭 명령에 대응하는 사용자 입력이 감지되지 않으면(동작 5015의 아니오), 동작 5011로 진행하여, 동작 5011 이하의 동작 수행을 처리할 수 있다. 한 실시 예에 따르면, 제1 전자 장치(4810)는 일정 시간 내에 스위칭 명령에 따른 사용자 입력을 판단할 수 있고, 일정 시간 경과 시, 제2 전자 장치(4820)의 카메라 전환 요청에 대해 거부 응답을 제2 전자 장치(4820)에 전송할 수도 있다. 또는, 제1 전자 장치(4810)는 사용자로부터 스위칭 명령이 아닌, 카메라 전환을 거부하는 사용자 입력을 감지하면, 제2 전자 장치(4820)의 카메라 전환 요청에 대해 거부 응답을 제2 전자 장치(4820)에 전송할 수도 있다.
동작 5015에서, 제1 전자 장치(4810)는, 스위칭 명령에 대응하는 사용자 입력을 감지하면(동작 5015의 예), 동작 5017에서, 사용자 입력에 응답하여 카메라 전환을 수행할 수 있다. 한 실시 예에 따르면, 제1 전자 장치(4810)는 전면 카메라에서 후면 카메라, 후면 카메라에서 전면 카메라, 제1 전자 장치(4810)의 카메라에서 주변 장치의 외부 카메라, 또는 주변 장치의 외부 카메라에서 제1 전자 장치(4810)의 카메라 등과 같이 현재 구동 중인 카메라에서 구동 가능한 어느 하나의 다른 카메라로의 전환을 수행할 수 있다.
다양한 실시 예들에 따르면, 기 설정된 스위칭 정책에 따라, 동작 5015의 수행 여부가 결정될 수도 있다. 예를 들면, 사용자의 설정에 따라서 제1 전자 장치(4810)는 제2 전자 장치(4820)의 스위칭 요청을 수신하면, 자동으로 스위칭 동작(5017)을 수행할 수 있다. 다양한 실시 예들에 따르면, 스위칭 정책 설정은 제1 전자 장치(4810)의 설정 항목에서 사용자 입력에 의해 지정될 수 있다. 다양한 실시 예들에 따르면, 스위칭 정책 설정은 제1 전자 장치(4810)의 설정 항목에서 제1 전자 장치(4810)와 연결되거나, 또는 연결된 이력이 있는 각각의 다른 전자 장치마다 별도로 설정할 수도 있다. 동작 5019에서, 제1 전자 장치(4810)는, 전환된 카메라로부터 획득된 영상(동영상)과 카메라 종류를 전송할 수 있다. 예를 들면, 제1 전자 장치(4810)는, 전환된 카메라로부터 영상을 획득하고, 획득된 영상을 인코딩하여, 인코딩된 영상(동영상)과 카메라 종류(예: 전환된 카메라에 대한 정보)를 제2 전자 장치(4820)에 전송할 수 있다. 다양한 실시 예들에 따르면, 제1 전자 장치(4810)는 전환된 카메라가 전면 카메라인 경우, 예를 들면, 획득된 영상을 거울 효과와 같이 좌우 반전하는 영상 처리 후 제2 전자 장치(4820)에 전송할 수도 있다.
이상에서 살펴본 바와 같이, 다양한 실시 예들에 따르면, 제2 전자 장치(4820)는 제1 전자 장치(4810)의 카메라 전환에 따른 상태를 표시할 수 있으며, 제1 전자 장치(4810)로부터 카메라 전환에 따른 상태를 수신 받아, 제2 전자 장치(4820)의 상태 표시(예: 스위칭 상태 인디케이션)를 변경하여 표시할 수 있다.
한 실시 예에 따르면, 제2 전자 장치(4820)는 Waiting 상태를 표시할 수 있다. 예를 들면, 제2 전자 장치(4820)는 제1 전자 장치(4810)로부터 카메라 전환 요청에 대한 상태 변경을 수신하지 못하는 경우, 로딩 팝업(loading popup) 등을 표시하여 사용자에게 제공할 수 있다.
한 실시 예에 따르면, 제2 전자 장치(4820)는 Switched 상태를 표시할 수 있다. 예를 들면, 제2 전자 장치(4820)는 제1 전자 장치(4810)의 카메라가 전환(switched) 되었음을 수신하면, 그에 따른 팝업, 진동, 또는 소리 등의 피드백을 출력하여 사용자에게 제공할 수 있다.
한 실시 예에 따르면, 제2 전자 장치(4820)는 Failed 상태를 표시할 수 있다. 예를 들면, 제2 전자 장치(4820)는 제1 전자 장치(4810)의 카메라 전환을 위한 스위칭 요청을 제1 전자 장치(4810)에 전송한 경우에, 제1 전자 장치(4810)의 수신 상태, 제1 전자 장치(4810) 또는 제2 전자 장치(4820)의 신호의 손실(loss) 등의 이유, 또는 제1 전자 장치(4810)의 거절 등의 이유로, 제1 전자 장치(4810)의 카메라 전환이 승낙되지 않을 수 있다. 이와 같이, 제2 전자 장치(4820)는 스위칭 요청에 대해 제1 전자 장치(4810)의 카메라 전환이 실행되지 않는 경우, 팝업, 진동, 또는 소리 등의 피드백을 출력하여 사용자에게 제공할 수 있다.
도 51A, 도 51B, 도 52 및 도 53은 본 발명의 다양한 실시 예들에 따른 전자 장치들에서 영상 서비스를 수행하는 동작 예시를 설명하기 위해 도시하는 도면들이다.
도 51A 및 도 51B에 도시한 바와 같이, 도 51A 및 도 51B는 다양한 실시 예들에 따라, 듀얼 카메라(dual camera)(또는 나레이션 모드(narration mode))를 동작하는 예시를 나타낼 수 있다. 예를 들어, 기존의 일반적인 영상 통화의 경우 콜 개시 포인트(call initiation point)에서 영상 통화 또는 음성 통화를 선택해야 한다. 반면, 다양한 실시 예들에 따르면, 영상 서비스는, 음성 통화 모드에서 영상 통화 모드(예: 영상 서비스 실행 모드)로, 또는 영상 통화 모드에서 음성 통화 모드로 자유롭게 전환할 수 있다. 도 51A 및 도 51B를 참조하여, 영상 서비스 수행에 따른 듀얼 카메라(예: 나레이션 모드) 구동(예: 모드 진입 동작) 및 그에 따른 동작(예: 객체 이동 또는 크기 변환)에 대하여 살펴보기로 한다.
다양한 실시 예들에서, 듀얼 카메라는 적어도 2개의 카메라(예: 전면 카메라 및 후면 카메라, 또는 전자 장치의 카메라 및 전자 장치와 기능적으로 연결된 주변 장치의 외부 카메라 등)를 동시에 실행하는 기능을 나타낼 수 있고, 이를 위한 객체를 유저 인터페이스에 포함하여 제공할 수 있다.
도 51A 및 도 51B를 참조하면, 전자 장치(500)(예: 발신 단말)(이하, 제1 전자 장치)는 영상 서비스가 실행되면, 하나의 카메라, 예를 들어, 후면 카메라가 활성화 되어, 제1 프리뷰 영역(5120)에 후면 카메라를 통해 촬영되는 영상을 표시하고 다른 전자 장치(예: 수신 단말)(이하, 제2 전자 장치)로 전달 할 수 있다.
제1 전자 장치는 사용자가 듀얼 카메라 실행을 위한 듀얼 카메라 객체(5110)(예: Dual camera 아이콘)를 선택(예: 터치, 탭)하거나, 또는 사용자의 음성 입력에 대응하여, Narration mode를 실행할 수 있다. 제1 전자 장치는 Narration mode가 실행되면 후면 카메라가 활성화 되어 있는 상태에서, 동시에 전면 카메라를 구동할 수 있다. 다른 실시 예에 따르면, 듀얼 카메라 객체(5110)는 특정 어플리케이션 내의 아이콘일 수도 있고, 별도 어플리케이션의 아이콘일 수도 있다. 별도 어플리케이션의 경우에는, 해당 어플리케이션이 구동되면서 복수 개의 카메라들이 동시에 영상을 수신할 수도 있다.
제1 전자 장치는 전면 카메라를 통해 촬영되는 영상에 대해, 제2 프리뷰 영역(5130)을 통해 표시할 수 있다. 다양한 실시 예들에서, 제2 프리뷰 영역(5130)은 제1 프리뷰 영역(5120) 상의 어느 일 영역(예: 화면 좌측 상단)에 위치할 수 있다. 제2 프리뷰 영역(5130)은, 예를 들면, 버블 형식으로 표시될 수 있다. 제2 프리뷰 영역(5130)은, 도 51A 및 도 51B에 도시된 원형 형태에 한정되지 않으며, 삼각형, 사각형, 또는 다각형(예: 마름모 모양, 별 모양 등) 등과 같이, 다양한 형태로 제공될 수 있다. 제2 프리뷰 영역(5130)은 발신자에 의해 크기와 위치가 변경될 수 있다. 이에 대한 상세 예시가 도 52에 도시된다.
도 52를 참조하면, 유저 인터페이스(예: 후면 카메라를 통해 획득하는 영상)의 일 영역(예: 전술한 기능 영역)에 듀얼 카메라 실행을 위한 객체(5110)를 포함하여 제공할 수 있다. 추가적으로, 도 52에 도시한 바와 같이, 기능 영역에는, 제1 프리뷰 영역(5120)에 표시된 영상을 캡쳐하여 저장할 수 있는 객체(예: Capture 객체), 제1 프리뷰 영역(5120)에 표시된 영상을 녹화할 수 있는 객체(예: Record 객체), 영상을 획득하는 카메라를 전환(예: 후면 카메라에서 전면 카메라로 전환 또는 전면 카메라에서 후면 카메라로 전환)할 수 있는 객체(예: Switch camera 객체), 적어도 2개의 카메라(예: 전면 카메라 및 후면 카메라, 혹은 원격 카메라를 동시 구동하는 듀얼 카메라)를 실행하기 위한 객체(예: Dual camera 객체), 제1 프리뷰 영역(5120) 상에 포인터(pointer)를 호출하여 표시하기 위한 객체(예: Pointer 객체) 등이 포함될 수 있다. 다양한 실시 예들에 따라, 기능 영역은 영상 서비스에서 발신 단말에서 제공될 수 있고, 제1 프리뷰 영역(5120)을 통해 표시되는 영상과 관련하여 저장, 선택 또는 설정 변경 등을 수행하기 위한 다양한 기능 아이콘들에 의해 구현할 수 있다.
한 실시 예에 따르면, 기능 영역의 객체들(예: 듀얼 카메라 실행을 위한 듀얼 카메라 객체(5110))(및/또는 기능 영역의 다른 객체)은 영상 서비스가 구동되어 있는 상태인 경우, 화면에 계속 표시되어 제공될 수 있다. 한 실시 예에 따르면, 듀얼 카메라 객체(5110)(및/또는 기능 영역의 다른 객체)은 영상 서비스가 구동되면, 화면에 표시된 후 일정 시간 경과 후에 자동으로 사라질 수 있다(예: show/hide 기능). 이러한 경우, 화면 상에 사용자 입력(예: 터치, 탭 등)이 인식되면 대응하는 객체는 다시 표시될 수 있다. 도 52에서, 사용자는 듀얼 카메라 객체(5110) 선택을 통해 추가적인 카메라 구동에 의한 나레이션 모드를 실행할 수 있다.
다양한 실시 예들에 따라, 제1 전자 장치는, 나레이션 모드 실행에 대응하여, 제2 프리뷰 영역(5130)을 표시할 수 있다.
한 실시 예에 따르면, 제2 프리뷰 영역(5130)은, 도 52에 도시한 바와 같이, 제1 프리뷰 영역(5120) 위에 위치할 수 있다. 예를 들면, 제2 프리뷰 영역(5130)은 제1 프리뷰 영역(5120)에 독립적으로 PIP(Picture-in-Picture) 형태로 제공할 수 있다. 다양한 실시 예들에 따르면, 제1 전자 장치의 사용자에 의해, 제1 프리뷰 영역(5120)에 표시되는 화면(영상)과 제2 프리뷰 영역(5130)에 표시되는 화면(영상)이 전환될 수 있다. 이와 관련된 화면 예시가 후술하는 도면을 참조하여 설명된다.
한 실시 예에 따르면, 제2 프리뷰 영역(5130)이 제1 프리뷰 영역(5120) 상에 위치할 때, 고정된 위치(예: 화면 좌측 상단)에 표시될 수 있다.
한 실시 예에 따르면, 제2 프리뷰 영역(5130)이 제1 프리뷰 영역(5120) 상에 위치할 때, 자동으로 특정 객체(예: 제1 프리뷰 영역(5120)에 표시된 영상이 포함하는 객체 등)가 없는 배경 영역에 표시될 수 있다. 이러한 경우, 제1 프리뷰 영역(5120)에 표시되고 있는 화면(영상)이 변경되면, 영상 분석을 통해 제2 프리뷰 영역(5130)의 위치가 자동으로 변경될 수 있다. 예를 들면, 제1 프리뷰 영역(5120)에서 사람의 얼굴이 포함된 영상이 입력될 때, 하나 이상의 이미지 객체(예: 얼굴, 사람의 몸, 바코드, 2D 코드(예: QR code, Data Matrix code, PDF-417 등), 텍스트 등) 영역을 제1 프리뷰 영역(5120)에서 판별하고, 만약 제2 프리뷰 영역(5130)이 객체 영역을 가리거나 소정 시간 내(예: 1초)에 가릴 것으로 판단하는 경우, 제2 프리뷰 영역(5130)이 객체 영역이 아닌 곳으로 이동하여 표시되거나 제2 프리뷰 영역(5130)의 크기나 형태를 조정(예: 축소)하여 표시하도록 변경할 수도 있다.
다양한 실시 예들에 따라, 객체 영역의 판단을 위한 영상 분석 기법으로는, 얼굴 인식, OCR, 2D 코드 인식, 차분 영상 분석 기반 움직임 방향 판단, 실루엣 추출 기법에 의한 몸 영역 및 형상 분석, 색상 분포에 의한 물체 영역 구분, 에지 기반 물체 영역 판별 기법 중 하나 이상을 사용할 수 있다. 한 실시 예에 따르면, 제2 프리뷰 영역(5130)이 제1 프리뷰 영역(5120) 상에 위치 할 때, 제1 전자 장치의 사용자에 의해 그 위치가 변경(예: 이동)될 수 있다. 이와 관련된 화면 예시가 후술하는 도면을 참조하여 설명된다.
한 실시 예에 따르면, 제2 프리뷰 영역(5130)과 제1 프리뷰 영역(5120)은 서로 독립적인 윈도우(window)를 통해 표시될 수 있으며, 각 윈도우 중 하나는 다른 윈도우의 최소 일부와 겹쳐진 오버랩(overlap) 혹은 오버레이(overlay)된 형태로 표시될 수도 있다.
다양한 실시 예들에 따라, 제1 전자 장치는, 제2 프리뷰 영역(5130)이 제1 프리뷰 영역(5120) 상에 위치할 때, 제1 전자 장치의 사용자 또는 제2 전자 장치의 사용자에 의해 그 크기가 변경될 수 있다. 이와 관련된 화면 예시가 도 51A, 도 51B 및 도 53에 도시된다.
도 51A, 도 51B 및 도 53에 도시한 바와 같이, 제2 프리뷰 영역(5130)이 제1 프리뷰 영역(5120) 상에 위치 할 때, 제2 프리뷰 영역(5130)의 크기는 제1 프리뷰 영역(5120)의 크기보다 작거나 같을 수 있다. 다양한 실시 예들에 따라, 제2 프리뷰 영역(5130)의 크기는 제1 전자 장치의 사용자(예: 발신자) 또는 제2 전자 장치의 사용자(예: 수신자)에 의해 변경될 수 있다.
다양한 실시 예들에서, 제2 전자 장치의 사용자가 제2 프리뷰 영역(5130)의 크기를 변경하는 경우, 제2 전자 장치는, 제2 전자 장치의 사용자 입력에 대응하는 제어 신호를 제1 전자 장치에 전송할 수 있다. 제1 전자 장치는, 제2 전자 장치로부터 제어 신호를 수신하면, 미디어 프로세서 혹은 클라이언트(예: 어플리케이션)를 통해 수신된 제어 신호에 대응하는 영역 크기 제어 명령을 수행할 수 있다. 한 실시 예에 따르면, 제1 전자 장치는, 제2 전자 장치로부터 전달된 제어 신호를 수신하면, 제1 전자 장치의 미디어 프로세스 관리 모듈 혹은 클라이언트는 사용자에게 제2 프리뷰 영역(5130)의 크기 변경을 수행할 것인지 여부를 확인할 수 있고, 이후 제1 전자 장치의 사용자의 허가에 대응하여 크기 변경을 수행할 수도 있다.
다양한 실시 예들에서, 제2 프리뷰 영역(5130)의 이동 및/또는 크기를 변경할 때, 도 51B 및 도 53에 도시한 바와 같이, 제2 프리뷰 영역(5130)을 변경(예: 위치 이동 또는 크기 변경)하기 위한 가이드 객체(5135)를 제공할 수 있다. 다양한 실시 예들에 따라, 제2 프리뷰 영역(5130)의 위치 이동 시에는 가이드 객체(5135)를 표시하지 않을 수 있고, 사용자 입력에 대응하여 제2 프리뷰 영역(5130)의 위치를 이동할 수도 있다.
한 실시 예에 따르면, 가이드 객체(5135)는 사각형, 삼각형, 다각형, 또는 원형 등과 같이, 다양한 형태로 제공될 수 있다. 예를 들면, 도 51B 및 도 53에서는, 가이드 객체(5135)가 사각형으로 제공되는 예시를 나타낼 수 있다.
한 실시 예에 따르면, 사용자는, 가이드 객체(5135)의 일 영역(지점)(예: 도 51B 및 도 53에서 네 개의 모서리 또는 꼭지점)을 선택하여 드래그 등과 같은 사용자 입력으로 제2 프리뷰 영역(5130)의 크기를 변경할 수 있다. 한 실시 예에 따라, 사용자는 가이드 객체(5135)의 우측하단 꼭지점을 선택한 상태에서, 어느 일 방향으로 이동하는 것에 의해 제2 프리뷰 영역(5130)의 크기를 확대하거나 축소하여 크기를 변경할 수 있다.
한 실시 예에 따르면, 사용자는, 가이드 객체(5135)의 내부(예: 제2 프리뷰 영역(5130) 자체)를 선택(예: 터치)한 상태에서, 어느 일 방향으로 이동(예: 드래그) 입력으로, 제2 프리뷰 영역(5130)의 위치를 이동 변경할 수 있다.
다양한 실시 예들에 따르면, 제2 프리뷰 영역(5130)은 버블 형태로 표시하여 제공될 수 있다. 한 실시 예에 따르면, 제2 프리뷰 영역(5130)은 제1 전자 장치의 사용자에 의해 형태가 다양하게 변경될 수도 있다. 예를 들면, 제2 프리뷰 영역(5130)은 우표, 흐린 타원형, 즉석 사진, 하트 형태 등과 같이 다양한 형태 중 사용자에 의해 설정되는 어느 하나의 형태의 GUI로 제공할 수 있다.
다양한 실시 예들에 따르면, 제2 프리뷰 영역(5130)의 표시는, 선택적으로 다양한 표시 방식으로 제공될 수 있다. 한 실시 예에 따르면, 제2 프리뷰 영역(5130)은 항상 표시될 수 있다. 한 실시 예에 따르면, 제2 프리뷰 영역(5130)은 제1 전자 장치의 사용자의 음성이 인식된 경우에 표시될 수 있다. 한 실시 예에 따르면, 제2 프리뷰 영역(5130)이 표시된 상태에서, 터치스크린(예: 도 5의 530) 상에 사용자 입력이 인식될 경우, 표시된 제2 프리뷰 영역(5130)은 표시하지 않을 수(예: 사라질 수) 있고, 다시 터치스크린 상에 사용자 입력이 인식되면 제2 프리뷰 영역(5130)이 다시 표시될 수 있다.
다양한 실시 예들에서는, 제2 프리뷰 영역(5130)의 표시/숨김(show/hide)을 적응적으로 제공할 수 있다. 예를 들면 제2 프리뷰 영역(5130)에 대응하는 이미지의 전반적 밝기 값이 소정 기준 이하(예: YUV의 Y값이 최대치의 20% 이하)이거나 물체의 형상이 감지되지 않는 경우, 또는 초점이 잘 맞지 않은 경우 등에 기반하여 제2 프리뷰 영역(5130)을 표시하지 않을 수도 있다.
다양한 실시 예들에 따르면, 나레이션 모드에서 전자 장치의 회전(예: 수평 모드에서 수직 모드, 또는 수직 모드에서 수평 모드로 변경) 시 두 카메라(예: 전면 카메라, 후면 카메라)의 방향은 서로 다를 수 있다. 즉, 전자 장치의 orientation의 변화에 따라 카메라를 통해 수신되는 영상의 방향이 상이해지게 된다. 예를 들면, 전면 카메라 및 후면 카메라가 내장된 전자 장치를, 시계 방향으로 회전시키면, 이를 전자 장치의 가속도 센서나 포즈 센서(예: 지자기 센서, 중력 센서, 자이로 센서 등)에 의해 전면 카메라는 시계 방향, 후면 카메라는 반시계 방향(counterclockwise, anticlockwise)으로 회전이 발생하게 된다. 따라서, 프리뷰 화면은 전자 장치의 회전 상태에 관계없이 사용자에게는 동일하게 보일 수 있으나, 실제로 저장되거나 전송되는 영상(예: 이미지, 동영상)은 카메라의 회전 방향에 따라 회전된 상태로 영상이 저장 또는 전송될 수 있다. 이에, 다양한 실시 예들에서는, 전면 카메라의 영상과 후면 카메라의 영상을 영상 발신 단말(이하, 제1 전자 장치)에서 보상(예: 각 카메라 영상을 바른 방향으로 보이도록 회전)하여 전송하거나 보상된 영상들을 합성하여 전송할 수 있다. 다양한 실시 예들에 따르면, 제1 전자 장치는 전면 카메라의 영상과 후면 카메라의 영상을 각각 전송하고, 영상 수신 단말(이하, 제2 전자 장치)에서 수신된 영상들을 보상(예: 각 수신한 영상들을 바른 방향으로 회전)하여 실제로 보여지는 영상 상태로 저장 또는 표시, 혹은 다른 전자 장치로 전송할 수 있다.
다양한 실시 예들에서, 전후면 카메라 영상을 제1 전자 장치에서 합성하여 전송하는 경우는 다음과 같이 수행될 수 있다.
한 실시 예에 따르면, 제1 전자 장치가 회전할 때, 제2 전자 장치는 이미 합성된 영상을 전송 받아 표시하므로, 제2 전자 장치는 제2 전자 장치의 디스플레이의 orientation을 고려하여 합성된 영상을 회전시킨 후 표시할 수 있다.
한 실시 예에 따르면, 프리뷰 화면에서 표시되는 나레이션 모드 영상을 제1 전자 장치의 회전 방향을 기반으로 정상적으로 보일 수 있도록 보상(예: 회전)하여, 회전시킨 영상을 저장하거나 제2 전자 장치에 전송할 수 있다. 예를 들면, 제1 전자 장치를 시계 방향으로 180도 회전한 경우, 프리뷰 화면에 대응하는 이미지를 반시계 방향으로 180도 회전시켜서 저장하거나 전송할 수 있다. 이러한 동작은 90도, 270도 회전 등의 경우에서도 마찬가지로 적용할 수 있다.
다양한 실시 예들에서, 제1 전자 장치가 제1 전자 장치의 전후면 카메라로 수신한 영상을 각각 전송하고, 제2 전자 장치에서 각각의 영상을 합성하는 경우는 다음과 같이 수행될 수 있다.
한 실시 예에 따르면, 제1 전자 장치가 설정한 제2 프리뷰 영역의 위치, 크기, 형태, 표시 정보(예: 제어 신호, 이미지 정보 내 포함 혹은 별도 메타데이터 파일 중 하나 이상)가 제2 전자 장치로 전송되어, 제2 전자 장치에서 합성 영상을 재구성하여 표시할 수 있다.
한 실시 예에 따르면, 제2 전자 장치에 나레이션 모드가 표시되고 있을 때, 제1 전자 장치의 회전이 발생하면, 제1 전자 장치의 전후면 카메라의 회전 정보가 제2 전자 장치에 전송될 수 있다. 제2 전자 장치는 전송된 제1 전자 장치의 전후면 카메라의 회전 정보에 기반하여 합성 영상을 보정하여 변경된 합성 영상을 저장하거나 표시, 혹은 전송할 수 있다. 예를 들어, 제1 전자 장치가 시계 방향으로 90도 회전한 경우, 전면 카메라와 후면 카메라는 서로 반대방향으로 90도씩 회전된 것으로 판별할 수 있으며, 각각의 영상이 중력 방향을 기준으로 정상적으로 표시될 수 있도록 각각의 영상에 대해 회전을 보상하여 저장하거나 전송할 수 있다. 이때, 추가적으로, 제2 전자 장치 혹은 제2 전자 장치의 디스플레이의 orientation을 고려하여 영상을 회전시킨 후 디스플레이에 표시하거나 저장, 전송할 수도 있다.
한 실시 예에 따르면, 제2 전자 장치의 사용자에 의해 제2 프리뷰 영역의 위치, 크기, 형태, 표시 여부 중 적어도 하나의 속성이 변경될 수 있다.
다양한 실시 예들에 따라, 전면 카메라와 후면 카메라를 전환하는 동작 예시에 대해, 도 54 및 도 55를 참조하여 설명된다.
도 54 및 도 55는 본 발명의 다양한 실시 예들에 따른 전자 장치들에서 영상 서비스를 수행하는 동작 예시를 설명하기 위해 도시하는 도면들이다.
도 54 및 도 55를 참조하면, 도 54 및 도 55는 다양한 실시 예들에서, 듀얼 카메라를 이용하여 나레이션 모드를 수행하고, 나레이션 모드를 수행하는 중에 카메라 전환(또는 회전)하는 동작과 관련된 화면 예시를 나타낼 수 있다.
한 실시 예에 따르면, 제1 전자 장치(5410)(예: 영상 발신 단말)과 제2 전자 장치(5420)(예: 영상 수신 단말)는, 제1 프리뷰 영역(5430)과 제2 프리뷰 영역(5440)을 교환(공유)할 수 있다. 예를 들면, 후면 카메라를 통해 수신된 제1 이미지에 대응하는 제1 프리뷰 영역(5430)과, 전면 카메라에서 수신한 제2 이미지에 대응하는 제2 프리뷰 영역(5440)으로 설정되어 각각의 프리뷰 이미지들(제1 이미지, 제2 이미지)이 표시될 때, 이를 유저 인터페이스(예: 메뉴, 버튼, 터치, swipe 중 하나 이상)를 통해 전환하여, 제1 프리뷰 영역(5430)은 전면 카메라, 제2 프리뷰 영역(5440)은 후면 카메라에 대응하도록 변경할 수 있다.
한 실시 예에 따르면, 나레이션 모드에서 카메라 스위칭이 발생하면, 제1 전자 장치(5410)에서 변경된 프리뷰 영역에 따라 표현된 이미지들을 합성하여 제2 전자 장치(5420)에 전송하거나, 또는 카메라가 스위칭 되었다는 정보를 제2 전자 장치(5420)에 전송하여 프리뷰 영역을 변경하도록 제어할 수 있다.
한 실시 예에 따르면, 제1 전자 장치(5410)의 사용자가 설정한 제2 프리뷰 영역(5440)의 위치, 크기, 형태, 표시 정보가 제2 전자 장치(5420)에 전송되어 제2 전자 장치(5420)에서 합성 영상을 재구성하여 표시할 수 있다.
한 실시 예에 따르면, 제2 전자 장치(5420)는 제1 전자 장치(5410)로부터 전달되는 전후면 카메라의 영상을 이용하여, 나레이션 모드 영상을 표시하는 동안, 나레이션 모드 영상을 구성하는 제1 프리뷰 영역(5430)과 제2 프리뷰 영역(5440)을 제어하여, 제1 전자 장치(5410)의 카메라 영상을 제어하거나, 또는 제2 전자 장치(5420)의 카메라를 구동하고 이를 이용한 영상을 표시, 저장, 혹은 전송할 수도 있다. 이와 관련하여 도 54 및 도 55를 참조하여 살펴보면 다음과 같다.
도 54 및 도 55에서는 제2 프리뷰 영역(5440)이 서비스 윈도우(service window)(5450)를 통해 제공되는 예시를 나타낼 수 있다. 서비스 윈도우(5450)는 제1 프리뷰 영역(5430)과 독립적으로 오버레이 되어 팝업 형식으로 표시될 수 있다. 한 실시 예에 따라, 서비스 윈도우(5450)는 영상 서비스 수행 중인 상대 사용자에 대한 컨택트 정보와, 상대 전자 장치가 발신 단말인지 수신 단말인지에 대한 상태 정보, 및 제2 프리뷰 영역(5440) 등을 포함할 수 있다. 예를 들면, 제2 전자 장치(5420)는 서비스 윈도우(5450)를 통해 제1 전자 장치(5410) 사용자의 컨택트 정보(예: 사용자 이름(예: Stacy), 전화번호(예: 010-2000-XXXX) 등)와, 상대 전자 장치가 영상 발신 단말로 동작 중임을 나타내는 상태 정보(예: Service ON(또는 Video service ON 등))를 표시할 수 있고, 제1 전자 장치(5410)는 서비스 윈도우(5450)를 통해 제2 전자 장치(5420) 사용자의 컨택트 정보(예: 사용자 이름(예: Mike), 전화번호(예: 010-1000-YYYY) 등)와, 상대 전자 장치가 영상 수신 단말로 동작 중임을 나타내는 상태 정보(예: Service OFF(또는 Video service OFF 등)를 표시할 수 있다. 추가적으로, 다양한 실시 예들에 따르면, 영상 서비스 상태를 나타내는 GUI(예: Service ON/FF)와 독립적으로, 별도의 Camera ON/OFF 관련 GUI를 표시하고, 로컬 장치(예: 영상 발신 단말, 제1 전자 장치(5410))의 카메라의 온/오프를 제어함으로써 상대방에게 비디오를 송신할 것인지 여부를 설정하여 구동할 수도 있다. 다양한 실시 예들에 따르면, Service ON/FF GUI는 상대 전자 장치의 영상 송신 여부 표시를 나타낼 수 있고, Camera ON/OFF GUI는 로컬 장치의 영상 송신 여부 표시를 나타낼 수 있다. 예를 들면, 제1 전자 장치(5410)의 서비스 윈도우(5450)을 통해, 제2 전자 장치(5420)의 영상 송신 여부에 따른 Service ON 또는 Service OFF의 GUI와 인접하여(예: 하단), 제1 전자 장치(5410)의 영상 송신 여부에 따른 Camera ON 또는 Camera OFF의 GUI를 표시하여 제공할 수 있다.
도 54 및 도 55에 도시한 바와 같이, 제2 전자 장치(5420)는 제1 전자 장치(5410)에서 전송하는 후면 카메라 영상을 실시간으로 제1 프리뷰 영역(5430)에 표시할 수 있다. 제2 전자 장치(5420)는 제2 프리뷰 영역(5440)이 사용자 입력에 의해 선택되고, 제2 프리뷰 영역(5440)에 제1 전자 장치(5410)의 전면 카메라의 영상이 표시되지 않는 경우, 제2 프리뷰 영역(5440)에 제1 전자 장치(5410)의 전면 카메라 영상을 표시할 수 있도록, 제1 전자 장치(5410)에 영상 전송 요청(예: 전면 카메라 영상 전송을 요청하는 제어 신호)을 송신할 수 있다.
제1 전자 장치(5410)는 제2 전자 장치(5420)부터 영상 전송 요청이 수신되면, 해당 요청에 대해 제1 전자 장치(5410)의 사용자가 허가(accept)나 거절(decline)을 선택할 수 있도록, 제2 프리뷰 영역(5440)을 통해 사용자에게 GUI(예: OK 버튼, NO 버튼)를 제공할 수 있다. 한 실시 예에 따라, 요청에 대한 허가나 거절을 위한 선택 메뉴는 서비스 윈도우(5450)의 일 영역을 통해 대응하는 GUI가 제공되거나, 또는 제1 프리뷰 영역(5430)의 어느 일 영역을 통해 대응하는 GUI가 제공될 수도 있다.
제1 전자 장치(5410)는 사용자 입력(예: 팝업 메뉴, 음성 입력, 제스처 인식 등)을 통해, 제2 전자 장치(5420)의 요청에 대해 허가한 경우, 제1 전자 장치(5410)의 리소스 및 네트워크 상태 등을 확인할 수 있다. 제1 전자 장치(5410)는 확인하는 결과에 기반하여, 제2 전자 장치(5420)의 영상 전송 요청에 대해 전송 가능한 것으로 판단되면, 전면 카메라를 구동하여 영상을 입력 받을 수 있다. 제1 전자 장치(5410)는 전면 카메라를 통해 입력된 영상을 인코딩하여 네트워크를 통해 제2 전자 장치(5420)에 전송할 수 있다. 다양한 실시 예들에 따라, 제1 전자 장치(5410)는 후면 카메라를 통해 입력된 영상을 제2 전자 장치(5420)에 계속 전송 중인 상태일 수 있다. 다양한 실시 예들에 따라, 제1 전자 장치(5410)는 전면 카메라의 영상을 전송할 때, 순차적으로 또는 병렬적으로, 제1 전자 장치(5410)의 제2 프리뷰 영역(5440)을 통해 전면 카메라의 영상을 표시할 수 있다.
제2 전자 장치(5420)는 제1 전자 장치(5410)로부터 영상 전송 요청에 대응하는 전면 카메라의 영상을 수신하여 제2 프리뷰 영역(5440)에 표시할 수 있다. 다양한 실시 예들에 따라, 제2 전자 장치(5420)는 제1 전자 장치(5410)로부터 수신하는 후면 카메라의 영상을 제1 프리뷰 영역(5430)을 통해 계속 표시 중인 상태일 수 있다.
제2 전자 장치(5420)는 제2 프리뷰 영역(5440)을 사용자 입력에 의해 변경할 수 있고, 이에 표시되는 영상도 변경(예: zoom)될 수도 있다. 예를 들어, 제2 전자 장치(5420)는 제2 프리뷰 영역(5440)을 통해 ROI가 설정(예: 사용자 입력에 의한 터치, 영역 설정, 압력 감지 등)된 경우, 제1 전자 장치(5410)에 관련 제어 신호를 전송할 수 있다. 한 실시 예에 따르면, 관련 제어 신호는, 자동 노출이나 자동 포커스, 해상도 변경, bit rate, frame rate, 색 온도 변경, 감마 값 변경, 노이즈 제거, 또는 zoom 기능 중 하나 이상을 수행하도록 하는 제어 명령을 포함할 수도 있다. 한 실시 예에 따르면, 제2 전자 장치(5420)는 제2 프리뷰 영역(5440)에 ROI가 설정된 경우, 미디어 프로세서를 통해 이미지 처리를 수행할 수도 있다. 제2 전자 장치(5420)는 사용자 입력에 따라 제2 프리뷰 영역(5440)을 변경하면, 도 55에 도시한 바와 같이, 제2 전자 장치(5420)의 제2 프리뷰 영역(5440)을 변경 표시하여 사용자에게 제공할 수 있다. 예를 들면, 제2 전자 장치(5420)의 제2 프리뷰 영역(5440)은 사용자 입력에 대응하여 크기 및/또는 위치 등이 변화되어 표시될 수 있고, 오버레이 방식으로 제공할 수 있다.
다양한 실시 예들에 따라, 제1 전자 장치(5410) 또는 제2 전자 장치(5420)는, 제1 프리뷰 영역(5430) 또는 제2 프리뷰 영역(5440)에 사용자 입력을 수신할 수 있고, 사용자 입력에 따라 영상을 다양하게 변경할 수도 있다.
한 실시 예에 따르면, 전술한 바와 같이, 제1 전자 장치(5410)의 구동 중인 전면 카메라와 후면 카메라를 전환하여 다른 영상을 공유하도록 할 수 있다. 예를 들면, 제1 프리뷰 영역(5430)에 표시되는 영상을, 제1 전자 장치(5410)의 후면 카메라가 캡쳐(촬영)한 영상이 아니라, 제1 전자 장치(5410)의 전면 카메라, 또는 제1 전자 장치(5410)에 기능적으로 연결된 하나 이상의 카메라가 캡쳐(촬영)한 영상을 표시하도록 할 수 있다. 다른 예를 들면, 제1 프리뷰 영역(5430)에 표시되는 영상을, 제2 전자 장치(5420)에 내장되거나, 또는 제2 전자 장치(5420)와 기능적으로 연결된 하나 이상의 카메라로부터 수신한 영상을 표시하도록 할 수도 있다. 또한, 제2 전자 장치(5420)는 제2 전자 장치(5420)의 영상을 표시하도록 동작 할 시 제1 전자 장치(5410)에 해당 영상 및/또는 제어 정보를 전송하여, 제1 전자 장치(5410)의 제1 프리뷰 영역(5430)을 통해 대응하는 영상을 표시하도록 할 수도 있다. 이는, 다양한 실시 예들에 따라, 각 영역(예: 제1 프리뷰 영역(5430), 제2 프리뷰 영역(5440))마다, 영상을 표시할 대상 전자 장치(예: 제1 전자 장치(5410), 제2 전자 장치(5420))와 해당 전자 장치에 대응하는 하나 이상의 카메라(예: 전면 카메라, 후면 카메라, 외부 카메라)를 지정할 수 있는 다양한 사용자 입력 방식(예: 버튼, 메뉴, 아이콘, 제스처, 음성 인식 중 하나 이상)을 이용하여 선택하는 동작을 통해 수행될 수도 있다.
이상에서 살펴본 바와 같이, 다양한 실시 예들에 따르면, 영상을 발신하는 제1 전자 장치는, 전면 카메라의 촬영 영상과 후면 카메라의 촬영 영상, 및 각 영상과 관련된 오디오를 개별적으로 전송 할 수 있다. 한 실시 예에 따르면, 제1 전자 장치에서 후면 카메라의 영상은 제1 프리뷰 영역에 표시하고, 예를 들면, 배경과 후면 카메라의 방향과 같거나 유사한 방향으로 배치된 제1 마이크로부터 수신한 배경음을 제공할 수 있다. 한 실시 예에 따르면, 제1 전자 장치에서 전면 카메라의 영상은 제2 프리뷰 영역에 표시하고, 전면 카메라의 방향과 같거나 유사한 방향으로 배치된 제2 마이크로부터 수신한 영상 발신자와 발신자의 음성을 제공할 수 있다.
다양한 실시 예들에 따르면, 영상을 수신하는 제2 전자 장치는, 제1 전자 장치에서 수신한 영상 및 오디오 데이터를 같은 방식으로 표시할 수 있다. 한 실시 예에 따르면, 제2 전자 장치에서 제1 전자 장치의 후면 카메라의 영상은 제1 프리뷰 영역에 표시하고, 예를 들면, 후면 카메라의 방향과 같거나 유사한 방향으로 배치된 제1 마이크로부터 수신한 배경음을 제공할 수 있다. 한 실시 예에 따르면, 제2 전자 장치에서 제1 전자 장치의 전면 카메라의 영상은 제2 프리뷰 영역에 표시하고, 전면 카메라의 방향과 같거나 유사한 방향으로 배치된 제2 마이크로부터 수신한 영상 발신자와 발신자의 음성을 제공할 수 있다.
다양한 실시 예들에 따르면, 영상을 수신하는 제2 전자 장치는, 제1 전자 장치가 전송하는 영상과 오디오를 구분하여 재생할 수 있다. 한 실시 예에 따라, 제2 전자 장치는 사용자의 선택에 의해 제2 프리뷰 영역에 대응하는 영상이 표시된 경우에만 제1 전자 장치 사용자의 오디오(예: 음성)를 재생하도록 할 수 있다. 한 실시 예에 따라, 제2 전자 장치는 제2 프리뷰 영역이 숨김(hide) 되면, 제1 전자 장치 사용자의 오디오(예: 음성) 재생을 수행하지 않을 수 있다. 한 실시 예에 따라, 제2 전자 장치는 프리뷰 영역을 전환하여 제1 프리뷰 영역이 숨김 되면 배경음 재생을 수행하지 않을 수 있다.
도 56 및 도 57은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 동작 예시를 설명하기 위해 도시하는 도면들이다.
다양한 실시 예들에 따라, 도 56 및 도 57은, 영상 서비스 수행 중에, 다른 제3 자 사용자로부터 콜(call)이 수신되는 경우에 수행하는 동작 예시들을 나타낼 수 있다. 예를 들면, 제1 전자 장치와 제2 전자 장치 간에 영상 서비스를 수행하는 중에, 제3 전자 장치로부터, 제1 전자 장치 또는 제2 전자 장치에 콜 수신이 요청될 수 있다. 이와 같이, 영상 서비스 수행 중에 제3 전자 장치로부터 콜이 걸려오는 경우에는 아래와 같이 예외 처리를 수행할 수 있다.
다양한 실시 예들에 따라, 영상을 발신하는 제1 전자 장치에게 제3 전자 장치로부터 콜이 수신될 수 있다. 이러한 경우, 제1 전자 장치는 제3 전자 장치의 콜 수신을 알림 할 수 있다.
한 실시 예에 따라, 제1 전자 장치의 사용자가 제3 전자 장치의 콜을 수락하는 경우, 영상 서비스는 종료되고, 제1 전자 장치와 제2 전자 장치에 영상 서비스가 종료되었음을 UI적으로 표시할 수 있다. 한 실시 예에 따르면, 도 56에 도시한 바와 같이, 영상 서비스 종료를 알리는 팝업(5650)(예: Video Service ended)을 표시하여 사용자에게 제공할 수 있다.
한 실시 예에 따라, 제1 전자 장치의 사용자가 제3 전자 장치의 콜을 거절하는 경우, 영상 서비스는 유지되고, 제3 전자 장치에게 거절 정보를 전송할 수 있고, 거절 정보는 제1 전자 장치가 영상 서비스 중임을 나타내는 정보를 포함할 수 있다.
다양한 실시 예들에 따라, 영상을 수신하는 제2 전자 장치에게 제3 전자 장치로부터 콜이 수신될 수 있다. 이러한 경우, 제2 전자 장치는 제3 전자 장치의 콜 수신을 알림 할 수 있다.
한 실시 예에 따라, 제2 전자 장치의 사용자가 제3 전자 장치의 콜을 수락하는 경우, 제2 전자 장치와 제1 전자 장치는 영상 서비스를 보류(suspend) 할 수 있다. 예를 들면, 제2 전자 장치는 제2 전자 장치가 제3 전자 장치의 콜을 수신하였음을 영상 서비스 화면 상에 표시 및 제1 전자 장치가 표시하도록 동작할 수 있다. 예를 들어, 제2 전자 장치는 도 57에 도시한 바와 같이, 다른 콜을 수신하였음을 영상 서비스 화면에 팝업(5750)(예: Video Service Call suspended) 표시할 수 있고, 제1 전자 장치에도 전달하여 표시할 수도 있다. 이때, 제1 전자 장치는 카메라 영상의 전송(예: 업로드)을 일시 중지할 수도 있고, 영상 송신을 계속 유지할 수도 있다. 예를 들어, 제1 전자 장치는 카메라 영상의 전송을 일시 중지할 경우, P2P나 영상 스트리밍 서버 연결을 해지하지 않도록 연결 상태를 유지하도록 할 수도 있다. 제2 전자 장치가 제3 전자 장치 간 Call 종료 시 제1 전자 장치는 제2 전자 장치의 요청에 따라 카메라 영상 전송을 재개할 수 있다.
한 실시 예에 따라, 제2 전자 장치의 사용자가 제3 전자 장치의 콜을 수락하는 경우, 전술한 도 56을 참조한 설명 부분에서 설명한 바와 같이, 영상 서비스를 종료하고, 영상 서비스가 종료됨을 알리는 팝업(5650)(예: Video Service ended)을 제1 전자 장치 및 제2 전자 장치에서 GUI적으로 표시할 수 있다.
한 실시 예에 따라, 제2 전자 장치의 사용자가 제3 전자 장치의 콜을 거절하는 경우, 영상 서비스는 유지되고, 제3 전자 장치에게 거절 정보를 전송할 수 있고, 거절 정보는 제2 전자 장치가 영상 서비스 중임을 나타내는 정보를 포함할 수 있다.
한편, 다양한 실시 예들에 따르면, 제1 전자 장치의 사용자가 홈 키(Home Key) 등으로, 영상 서비스 화면을 빠져나가는 경우가 발생할 수 있다. 이러한 경우, 제2 전자 장치의 화면에, 제1 전자 장치(또는 제1 전자 장치의 사용자)가 영상 서비스 화면을 벗어나기 직전의 마지막 스틸 이미지를 표시하도록 할 수도 있다.
도 58 및 도 59는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 동작 예시를 설명하기 위해 도시하는 도면들이다.
다양한 실시 예들에 따라, 도 58 및 도 59는, 음성 통화 시 (통화) 음성 녹음 기능을 수행하는 중에, 영상 서비스를 시작하는 경우에 수행하는 동작 예시들을 나타낼 수 있다.
다양한 실시 예들에 따라, 도 58은 영상을 발신하는 제1 전자 장치에서 음성 통화에 따른 음성 녹음 기능을 수행하는 중에, 영상 서비스가 시작되는 경우의 처리 예시를 나타낼 수 있다. 도 58에 도시한 바와 같이, 제1 전자 장치는 음성 녹음 중에 영상 서비스가 시작될 시 음성 녹음의 종료 여부를 팝업(5850)(예: Step recording)을 통해 제공할 수 있다. 한 실시 예에 따르면, 제1 전자 장치는 음성 녹음 중에, 영상 서비스 개시를 위한 서비스 객체(5810)에 의한 사용자 입력을 감지하면, 음성 녹음이 종료되며 음성 녹음 파일이 저장됨을 알리는 팝업(5850)을 표시하여 사용자에게 제공할 수 있다.
한 실시 예에 따라, 제1 전자 장치는 팝업(5850)에서 수락(예: OK)이 선택될 시 음성 녹음 기능(동작)을 종료하고, 영상 서비스를 시작할 수 있다. 예를 들면, 제1 전자 장치에서, 음성 녹음 세션은 종료되고, 음성 녹음 파일은 저장소(예: 메모리)에 저장될 수 있다. 다양한 실시 예들에서, 저장된 음성 녹음 파일은 영상 서비스의 통화와 관련이 있는 통화 녹음일 수 있으므로, 전술한 미디어 풋프린트와 관련한 설명 부분에서 설명한 바와 같이, 해당 영상 서비스 세션과 연관 파일로 보여질 수 있다.
한 실시 예에 따라, 제1 전자 장치는 음성 녹음 세션을 유지하며, 영상 서비스 시작 시 병렬적으로 음성 녹음을 수행할 수도 있다. 예를 들면, 제1 전자 장치는 영상 서비스의 영상을 제외한 음성 정보를 기록하며, 영상 서비스 수행에서 일어나는 부분에 대해 북마크(bookmark) 등을 수행할 수도 있다.
한 실시 예에 따라, 제1 전자 장치는 음성 녹음 세션을 유지하며, 영상 서비스 시작 시 병렬적으로 영상과 음성 녹음을 수행할 수도 있다. 예를 들면, 제1 전자 장치는 영상 및 음성 정보를 기록하며, 영상 녹화가 이루어지기 이전의 음성 녹음 세션에 대해 소정의 스틸 이미지(예: default image나 영상 통신이 시작될 때 입력된 이미지 중 하나)를 해당 구간 동안의 영상 세션 데이터로 처리함으로써 동영상 파일로 저장할 수도 있다. 이와 함께, 음성 및 영상 서비스 시작, 변환, 종료 등이 영상 서비스 수행에서 일어나는 부분에 대해 북마크 등을 수행할 수도 있다.
다양한 실시 예들에 따라, 도 59는 영상을 수신하는 제2 전자 장치에서 음성 통화에 따른 음성 녹음 기능 중에, 제1 전자 장치로부터 영상 서비스가 요청되는 경우의 처리 예시를 나타낼 수 있다. 도 59에 도시한 바와 같이, 제2 전자 장치는 음성 녹음 중에 영상 서비스가 요청될 시 음성 녹음의 종료 여부를 팝업(5950)(예: Video Service)을 통해 제공할 수 있다. 한 실시 예에 따르면, 제2 전자 장치는 음성 녹음 중에, 제1 전자 장치로부터 영상 서비스를 개시하는 요청이 수신되면, 제1 전자 장치로부터 영상 서비스가 요청되었고, 영상 서비스 수락 시 음성 녹음이 종료되며 음성 녹음 파일이 저장됨을 알리는 팝업(5950)을 표시하여 사용자에게 제공할 수 있다.
한 실시 예에 따라, 제2 전자 장치는 팝업(5950)에서 수락(예: OK)이 선택될 시 음성 녹음 기능(동작)을 종료하고, 영상 서비스를 시작할 수 있다. 다양한 실시 예들에서, 저장된 음성 녹음 파일은 영상 서비스의 통화와 관련이 있는 통화 녹음일 수 있으므로, 전술한 미디어 풋프린트와 관련한 설명 부분에서 설명한 바와 같이, 해당 영상 서비스 세션과 연관 파일로 보여질 수 있다.
한 실시 예에 따라, 제2 전자 장치는 음성 녹음 세션을 유지하며, 영상 서비스 시작 시 병렬적으로 음성 녹음을 수행할 수도 있다. 예를 들면, 제2 전자 장치는 영상 서비스의 영상을 제외한 음성 정보를 기록하며, 영상 서비스 수행에서 일어나는 부분에 대해 북마크 등을 수행할 수도 있다.
도 60은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 동작 예시를 설명하기 위해 도시하는 도면이다.
다양한 실시 예들에 따라, 도 60은, CDMA 1x 상황에서 음성 통화 중인 경우와 같이 동시에 데이터 세션(data session) 사용이 불가능한 경우에 수행하는 동작 예시를 나타낼 수 있다.
한 실시 예에 따라, 도 60에 도시한 바와 같이, 제1 전자 장치는 영상 서비스 개시를 위한 서비스 객체에 의한 사용자 입력을 감지하면, 서비스 가능 여부를 판단할 수 있다. 예를 들면, CDMA 1x 상황 및 음성 통화 중 데이터 사용이 불가한 경우인지 판단할 수 있다. 제1 전자 장치는 판단하는 결과에 기반하여, CDMA 1x 또는 음성 통화 중 데이터 사용이 불가한 것으로 판단하면, 해당 결과에 따라 음성 통화를 종료하고 영상 서비스를 시작함을 알리는 팝업(6050)을 표시하여 사용자에게 제공할 수 있다.
한 실시 예에 따라, 제1 전자 장치는 팝업(6050)에서 취소(예: CANCEL)가 선택될 시, 영상 서비스를 시작하지 않고 음성 통화를 유지하도록 동작할 수 있다. 제1 전자 장치는 팝업(6050)에서 수락(예: OK)이 선택될 시 음성 통화를 종료하고, 영상 서비스를 연결할 수 있다. 예를 들면, 음성 통화 종료 후 영상 서비스를 위한 통화 연결을 개시할 수 있다.
한 실시 예에 따라, 제2 전자 장치는 제1 전자 장치와 음성 통화 종료 후, 제2 전자 장치의 영상 서비스에 의한 통화 연결을 수신하고, 통화 연결의 수신 여부를 선택하는 유저 인터페이스(예: 통화 수락 또는 거부 화면)를 표시하여 사용자에게 제공할 수 있다.
도 61은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
도 61에 도시한 바와 같이, 도 61은 음성 통화 중 영상 서비스 연결 요청 시 영상 품질을 결정하는 동작 예시를 나타낼 수 있다. 예를 들면, 도 61은 다양한 실시 예들에 따라, 적응적 스트리밍(adaptive streaming)을 제공하는 동작 예시를 나타낼 수 있다. 다양한 실시 예들에 따르면, 영상 서비스 진행 중 데이터 또는 커넥티비티(connectivity) 특성에 따라, 영상 품질을 설정 및 변경하는 동작을 수행할 수 있다.
도 61을 참조하면, 동작 6101에서, 전자 장치(500)의 제어부(580)(예: 발신 단말로 동작하는 전자 장치의 프로세서)는 유저 인터페이스를 통해 영상 통화(video call)를 개시하기 위한 사용자 입력을 수신할 수 있다. 한 실시 예에 따르면, 제어부(580)는 서비스 객체를 이용한 사용자 입력, 또는 영상 서비스를 개시하기 위해 설정된 음성 명령 또는 제스처 등의 입력을 감지할 수 있다.
동작 6103에서, 제어부(580)는 커넥티비티 정보(connectivity information)를 교환(exchange)할 수 있다. 한 실시 예에 따르면, 제어부(580)는 영상 서비스를 위한 네트워크, 서버, 또는 상대 전자 장치 중 적어도 하나와 커넥티비티 정보를 교환할 수 있다. 다양한 실시 예들에서, 커넥티비티 정보는, 예를 들면, medium, data plan, 또는 remained data 등의 적어도 하나를 포함할 수 있다.
동작 6105에서, 제어부(580)는 교환된 정보(exchanged information)를 기반으로 영상 품질(video quality)을 결정할 수 있다.
동작 6107에서, 제어부(580)는 결정된 영상 품질로 영상 통화를 설정할 수 있다. 예를 들면, 제어부(580)는 결정된 영상 품질에 기반하여, 영상 통화를 수행할 수 있다.
이상에서와 같이, 다양한 실시 예들에 따르면, 영상을 발신하는 제1 전자 장치(또는 영상을 수신하는 제2 전자 장치) 기반의 영상 품질을 고려하여 영상 서비스를 제공할 수 있다.
다양한 실시 예들에 따르면, 영상 서비스를 수행하기 위해, 유저 인터페이스(예: 서비스 객체)를 통해 영상 서비스의 가능 여부 확인 과정을 완료하고, 제2 전자 장치로부터 영상 서비스 요청에 대한 수락 과정(또는 수락 과정 이전에)에서 사용자의 커넥티비티 특성 정보를 확인할 수 있다.
한 실시 예에 따르면, 제1 전자 장치(또는 제1 전자 장치의 사용자)가 LTE 무제한 요금제를 사용하는 경우, 초기 촬영 또는 전송되는 영상 품질을 UHD(Ultra High Definition)/FHD(Full High Definition) 급 화질로 결정할 수 있다. 한 실시 예에 따르면, 제1 전자 장치가 2GB 정액 요금제를 사용하거나, 또는 제1 전자 장치에서 2GB 데이터 사용시 경고 알림(alert)이 설정된 경우, 초기 촬영 또는 전송되는 영상 품질을 HD(High Definition)/SD(Standard Definition) 급 화질로 결정할 수 있다. 다양한 실시 예들에서, 결정된 영상 품질은 일정 시간 유지될 수 있고, 사용자의 데이터 사용량 또는 데이터 잔여량에 따라서 적응적으로 변경될 수 있다. 다양한 실시 예들에 따르면, 아래 <표 1>의 예시와 같이 사용자의 요금제에 따라서 차등적으로 화질을 결정할 수 있으며, 또한 변경되는 정보에 따라서 화질을 변경 할 수 있다.
Figure PCTKR2017001066-appb-I000001
한 실시 예에 따르면, 제1 전자 장치(또는 제1 전자 장치 사용자)가 WiFi network에 연결되어 있으면, 초기 촬영 또는 전송되는 영상 품질을 정해진 기준에 따라서 촬영/전송할 수 있다. 한 실시 예에 따르면, 제1 전자 장치가 WiFi network와 Cellular network를 동시에 이용하여 영상 서비스를 수행하면, WiFi network 또는 Cellular network 중 어느 한 쪽에서 설정된 촬영/전송 화질을 따를 수도 있고, 두 network의 비율에 따라서 화질을 일부 조정하여 변경할 수 있다. 예를 들면, Cellular network가 고려되면 WiFi network 만을 사용하는 기준보다 적어도 일정 레벨(예: 영상 해상도, frame rate 레벨, Color conversion 레벨 등) 낮춰서 진행할 수 있다. 예를 들면, 영상 해상도는 픽셀 수에 따라 8K UHD(Ultra High Definition), 4K UHD, FHD(Full High Definition, 1080p), HD(720p), SD(Standard Definition, 480p), VGA(Video Graphic Array) 등의 순으로 레벨이 낮아진다. 예를 들면, frame rate은 초당 120 프레임, 초당 60 프레임, 초당 30 프레임, 초당 15 프레임 순으로 레벨이 낮아진다. 예를 들면, Color conversion level은 RGB32, RGB, YUV 등의 순으로 픽셀당 비트 수에 따라 레벨이 낮아진다.
한 실시 예에 따르면, 복수의 P2P connection을 이용한 영상 서비스 경우, 제1 전자 장치의 커넥티비티(connectivity)에 따라서 촬영/전송되는 화질이 다르게 설정될 수 있다. 또한, 다양한 실시 예들에 따르면, 사용자의 수가 늘어나고 사용자가 사용하는 요금제로 인한 데이터 잔여량이 줄어들수록 그 화질이 UHD, FHD, HD, SD로 변경 될 수도 있다.
다양한 실시 예들에 따르면, 스트리밍(streaming) 뿐만 아니라 레코딩(recording)을 통한 영상 전송 시에도 전술의 설명에 대응하는 동작과 유사하거나 동일하게 적용될 수 있다.
도 62 및 도 63은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 동작 예시를 설명하기 위해 도시하는 도면들이다.
다양한 실시 예에 따르면, 도 62 및 도 63은, 음성 통화 시 사용자 제스처(또는 전자 장치의 모션)을 기반으로 사용자의 포즈(pose) 변화를 판단하고, 사용자의 포즈 변화에 따라 적합한 통화 모드(call mode)(또는 통신 모드)(예: 음성 통화 모드, 영상 통화 모드)로 전환하여 해당 통화를 수행하는 동작 예시를 나타낼 수 있다. 예를 들면, 도 62 및 도 63은 제스처 기반의 영상 서비스를 제공하는 예시를 나타낼 수 있다. 다양한 실시 예들에 따르면, 음성 통화 중에, 어느 한 사용자에 의한 모션 제스처(motion gesture)를 통해 직관적으로 별도의 추가 동작 없이 바로 영상 서비스로 전환할 수 있다.
도 62를 참조하면, 도 62의 (A)는 영상을 발신하는 제1 전자 장치(6210)와 영상을 수신하는 제2 전자 장치(6220)이 during call 상태인 경우의 예시를 나타낼 수 있다. 한 실시 예에 따르면, 제1 전자 장치(6210)의 사용자와 제2 전자 장치(6220)의 사용자가, 각각 전자 장치(6210, 6220)를 귀에 대고 음성 통화를 수행 중인 상태를 나타낼 수 있다.
도 62의 (B)는 제1 전자 장치(6210)에서 영상 통신 연결을 개시하는 경우의 예시를 나타낼 수 있다. 한 실시 예에 따르면, 제1 전자 장치(6210)의 사용자는 제1 전자 장치(6210)를 귀에서 이탈한 상태 혹은 떼는 동작(예: 오픈 포지션 모드(open position mode))일 수 있고, 제2 전자 장치(6220)의 사용자는 제2 전자 장치(6220)를 귀에 대고 있는 상태(예: 귀 인접 모드(at ear mode))일 수 있다. 제1 전자 장치(6210)는 사용자의 제스처(예: 제1 전자 장치(6210)의 상태 변화)를 감지하여, 영상 통화 모드로 전환하는 동작일 수 있다. 이의 화면 예시가, 도 63의 (A)에 도시된다.
도 63의 (A)를 참조하면, 제1 전자 장치(6210)는 유저 인터페이스의 프리뷰 영역을 통해 제2 전자 장치(6220)의 상태에 대한 정보를 표시하여 사용자에게 제공할 수 있다. 한 실시 예에 따르면, 제1 전자 장치(6210)는 제2 전자 장치(6220)로부터 영상 통신 연결 요청에 대한 응답을 수신하기 전까지, 제2 전자 장치(6220)의 사용자가 제2 전자 장치(6220)를 귀에 대고 있는 상태 정보를 GUI(예: 이미지, 아이콘, 텍스트)로 표시할 수 있다. 제1 전자 장치(6210)는 영상 통화 모드 전환 시, 통신 모드 전환에 따라 제2 전자 장치(6210)에게 영상 통신 연결을 요청하는 상태일 수 있다. 추가적으로, Camera On 상태를 GUI로 표시함으로써 제1 전자 장치(6210)가 카메라에 의한 영상 수신을 수행하고, 수신한 영상을 전송 가능함을 표시할 수 있다. 다양한 실시 예들에 따르면, Service ON/FF GUI는 상대 전자 장치의 영상 송신 여부 표시를 나타낼 수 있고, Camera ON/OFF GUI는 로컬 장치의 영상 송신 여부 표시를 나타낼 수 있다. 예를 들면, 제1 전자 장치(5410)의 서비스 윈도우(5450)을 통해, 제2 전자 장치(5420)의 영상 송신 여부에 따른 Service ON 또는 Service OFF의 GUI와 인접하여(예: 하단), 제1 전자 장치(5410)의 영상 송신 여부에 따른 Camera ON 또는 Camera OFF의 GUI를 표시하여 제공할 수 있다.
도 62의 (C)는 제2 전자 장치(6220)에서 영상 통신 연결을 허가하는 경우의 예시를 나타낼 수 있다. 한 실시 예에 따르면, 제1 전자 장치(6210)의 사용자가 제1 전자 장치(6210)를 귀에서 이탈한 상태일 수 있고, 제2 전자 장치(6220)의 사용자가 제2 전자 장치(6220)를 귀에서 이탈한 상태일 수 있다. 제2 전자 장치(6220)는 사용자의 제스처(예: 제2 전자 장치(6220)의 상태 변화)를 감지하여, 영상 통화 모드로 전환하는 동작일 수 있다. 이의 화면 예시가, 도 63의 (B)에 도시된다.
도 63의 (B)를 참조하면, 제1 전자 장치(6210)와 제2 전자 장치(6220)는 전술한 바와 같이, 유저 인터페이스의 프리뷰 영역을 통해, 제1 전자 장치(6210)의 카메라 영상을 공유하여 동일한 영상을 각각 표시할 수 있다.
이하에서, 도 62 및 도 63에 대응하여, 제스처 기반의 통신 모드 전환 동작에 대하여 설명된다.
다양한 실시 예들에 따르면, 복수의 사용자들이 음성 통화 중, 또는 어플리케이션을 통해 정보를 주고 받을 때, 어느 하나의 전자 장치에서 다른 전자 장치로 실시간 영상을 전달하고자 영상 통신 연결을 요청할 수 있다. 또는, 영상 통신 중 영상 전송을 중지(stop)하거나 일시 중지(pause), 또는 재개(resume)와 같은 작업을 요청할 수도 있다. 다양한 실시 예들에서, 이러한 사용자 입력을 위해 메뉴, 아이콘, 키, 또는 버튼을 이용할 수도 있고, 다른 한 편으로는 간단한 제스처나 물체의 근접도, 또는 전자 장치의 포즈(pose) 중 하나 이상을 이용하여 전술한 기능을 제공할 수도 있다.
다양한 실시 예들에서, 통신 모드 전환에 따른 예시를 살펴보면 다음과 같다.
한 실시 예에 따라, 영상을 전송하는 제1 전자 장치(6210)는, 음성 통화 중 제2 전자 장치(6220)에게 영상을 전달하기 위하여 영상 통신을 연결할 필요가 있다. 제1 전자 장치(6210)는 제2 전자 장치(6220)에 영상 통신 요청 또는 영상 송신을 위해, 제스처 또는 근접도 중 하나 이상을 인식하고, 이에 대응하는 기능을 수행할 수 있다.
한 실시 예에 따라, 영상을 수신하는 제2 전자 장치(6220)는, 음성 통화 중 제1 전자 장치(6210)로부터 영상 통신 연결 요청이 수신된 경우, 영상 통신 요청에 대해 허가하거나 영상 수신을 위해 제스처 또는 근접도 중 하나 이상을 인식하고, 이에 대응하는 기능을 수행할 수 있다.
다양한 실시 예들에서, 통신 모드를 판별(예: 영상 통화 모드, 음성 통화 모드)하는 예시를 살펴보면 다음과 같다. 이하에서는, 영상을 발신하는 제1 전자 장치(6210)을 예시로 설명하지만, 이하에서 설명되는 제1 전자 장치(6210)의 동작은 제2 전자 장치(6220)에서도 동일하게 또는 유사하게 수행될 수 있다.
한 실시 예에 따르면, 제1 전자 장치(6210)는 제1 전자 장치(6210)의 근접 센서(예: 광 센서, 초음파 센서, 카메라, 깊이(depth) 센서 등)에 의해 물체(예: 사용자 얼굴)와의 거리를 계산하고, 제1 임계값(threshold) 이하 거리인 경우 음성 통화 모드로 판별할 수 있다. 한 실시 예에 따르면, 제1 전자 장치(6210)는 제1 전자 장치(6220)의 근접 센서에 의해 물체(예: 사용자 얼굴)와의 거리를 계산하고, 제2 임계값 이상 거리인 경우 영상 통화 모드로 판별할 수 있다.
한 실시 예에 따르면, 제1 전자 장치(6210)에서 움직임이 감지되면, 제1 전자 장치(6210)의 근접 센서에 의해 물체와의 거리의 변화를 계산하고, 움직임이 물체로부터 가까워지고, 동시에 거리가 제1 임계값 이하인 경우 음성 통화 모드로 판별할 수 있다. 한 실시 예에 따르면, 제1 전자 장치(6210)에서 움직임이 감지되면, 제1 전자 장치(6210)의 근접 센서에 의해 물체와의 거리의 변화를 계산하고, 움직임이 물체로부터 멀어지고, 동시에 거리가 제2 임계값 이상인 경우 영상 통화 모드로 판별할 수 있다. 예를 들면, 제1 임계값은 최대 유효 측정값의 70%, 제2 임계값은 최대 유효 측정치의 30%일 수도 있다.
한 실시 예에 따르면, 제1 전자 장치(6210)에서 제1 전자 장치(6210)의 일부(예: TSP, 디스플레이, 광 센서 내장 디스플레이 등)와 물체의 접촉면의 면적의 변화, 또는 정전 용량(capacitance)의 변화를 감지하고, 해당 접촉면의 면적이 제3 임계값(예: 최대 접촉면 면적의 5%) 이하이거나, 정전 용량값과 기준 정전 용량(reference capacitance) 값 간 차이가 제4 임계값(예: 최대 차이값의 0.1%) 이하인 경우 영상 통화 모드로 판별할 수 있다. 한 실시 예에 따르면, 제1 전자 장치(6210)에서 제1 전자 장치(6210)의 일부(예: TSP, 디스플레이)와 물체의 접촉면의 면적의 변화, 또는 정전 용량의 변화를 감지하고, 해당 접촉면의 면적이 제5 임계값(예: 최대 접촉면 면적의 20%) 이상이거나 정전 용량값과 기준 정전 용량값 간 차이가 제6 임계값 (예: 최대 차이값의 30%)이상인 경우 음성 통화 모드로 판별할 수 있다.
한 실시 예에 따르면, 제1 전자 장치(6210)에서 제1 전자 장치(6210)의 일부와 물체의 접촉면의 면적의 변화, 또는 정전 용량의 변화량을 감지하고, 해당 접촉면의 면적 감소량이 제7 임계값 이상이거나, 또는 정전 용량값의 변화량이 제8 임계값 이상이고, 정전 용량값이 기준 정전 용량값에 가까워지는 경우 영상 통신모드로 판별할 수 있다. 한 실시 예에 따르면, 제1 전자 장치(6210)에서 제1 전자 장치(6210)의 일부(예: TSP, 디스플레이)와 물체의 접촉면의 면적의 변화, 또는 정전 용량의 변화량을 감지하고, 해당 접촉면의 면적 증가량이 제9 임계값 이상이거나, 또는 정전 용량값의 변화량이 제10 임계값 이상이고, 정전 용량값이 기준 정전 용량값과 차이가 커지는 경우 음성 통화 모드로 판별할 수 있다.
한 실시 예에 따르면, 제1 전자 장치(6210)에서 제1 전자 장치(6210)의 포스 센서(force sensor)(예: 피에조 센서(piezo sensor))에서 감지된 포스 피드백(force feedback)이 제11 임계값 이하인 경우 영상 통화 모드로 판별할 수도 있다. 한 실시 예에 따르면, 제1 전자 장치(6210)에서 제1 전자 장치(6210)의 포스 센서(예: 피에조 센서)에서 감지된 포스 피드백이 제12 임계값 이상인 경우 음성 통화 모드로 판별할 수도 있다.
한 실시 예에 따르면, 제1 전자 장치(6210)에서 제1 전자 장치(6210)의 GSR(Galvanic skin response, 전기피부반응 센서), ECG(electrocardiogram, 심전도 센서), PPG(photoplethysmogram, 광혈류 센서), 체온 센서 등을 통해 감지한 생체 신호 크기가 제13 임계값 이상이면 음성 통화 모드로 판별하고, 제14 임계값 이하이면 영상 통화 모드로 판별할 수도 있다.
한 실시 예에 따르면, 제1 전자 장치(6210)는 전술한 적어도 하나의 통신 모드를 판별하는 결과에 기반하여, 통신 모드를 영상 통화 모드로 판별한 후, 정보가 표시되는 디스플레이(예: 도 5의 531)와 같은(동일한) 방향으로 배치된 카메라(예: 전면 카메라)를 통해 사용자의 얼굴이나 눈 중 하나 이상이 감지되지 않으면 영상 통화 모드에 따른 기능을 구동하지 않을 수도 있다. 한 실시 예에 따르면, 제1 전자 장치(6210)는 전술한 적어도 하나의 통신 모드를 판별하는 결과에 기반하여, 통신 모드를 음성 통화 모드로 판별한 후, 정보가 표시되는 디스플레이와 같은(동일한) 방향으로 배치된 카메라(예: 전면 카메라)를 통해 사용자의 얼굴이나 눈이 감지되면 음성 통화 모드에 따른 기능을 구동하지 않을 수도 있다.
이상에서와 같이, 다양한 실시 예들에 따르면, 제1 전자 장치(6120)와 제2 전자 장치(6220)는, 상호 간에 음성 통화 도중, 통신 모드 판별을 수행할 수 있다. 한 실시 예에 따르면, 전자 장치들(6210, 6220)은 두 전자 장치들(6210, 6220) 간 다이얼링(dialing) 상태인 경우 통신 모드 판별을 수행하지 않을 수 있다. 한 실시 예에 따르면, 전자 장치들(6210, 6220)은 다이얼링 상태에서 콜 진행 상태(예: during call)로 전환된 경우에도 통신 모드 판별을 수행하지 않을 수 있다. 예를 들어, 전자 장치에서 음성 통화가 연결된 경우에는 통신 모드 판별을 수행하지 않고, 기본 모드(default mode)(예: 음성 통화 모드)를 유지할 수 있다. 다른 예를 들면, 다이얼링 상태에서 콜 진행 상태(예: during call)로 전환된 후 소정의 시간(예: 5초) 이후에는 통신 모드 판별을 수행할 수 있다.
한 실시 예에 따르면, 전자 장치(6210, 6220)는 원격 전자 장치(예: 상대 전자 장치)에 모드 변환을 통지(notification)할 수도 있다. 예를 들면, 제1 전자 장치(6210)는 모드 변환에 대해, 제2 전자 장치(6220)에 통지하여, 제2 전자 장치(6220)에서도 모드 변환이 가능하도록 가이드 하거나 자동 변환이 가능하도록 제공할 수 있다.
다양한 실시 예들에서, 음성 통화 모드에서 영상 통화 모드로 전환하는 동작 예시를 살펴보면 다음과 같다.
한 실시 예에 따라, 영상을 발신하는 제1 전자 장치(6210)는, 음성 통화 모드에서 영상 통화 모드로 전환을 감지하면, 영상 통신 연결이 수립(확립)되어 있는지 평가 동작을 수행할 수 있다.
예를 들면, 제1 전자 장치(6210)는 영상 통신 연결이 되어 있지 않다면 영상 통신 요청을, 원격 전자 장치(예: 영상을 수신하는 제2 전자 장치(6220))에 전송하고, 이에 대응하는 응답으로 수락(acceptance)인 경우, 영상 통신 연결을 수행하고, 미디어 프로세서의 제어를 통해 카메라 영상 수신, 프리뷰 표시, 미디어 인코딩 및 네트워크를 통한 인코딩된 미디어 전송을 개시할 수 있다.
다른 예를 들면, 제1 전자 장치(6210)는 영상 통신 연결이 수립되어 있는 경우에는 다음과 같이 동작할 수 있다. 한 실시 예에 따르면, 제1 전자 장치(6210)는 카메라가 대기 모드(standby mode)(예: 카메라에 전원은 인가되었으나 영상 처리(예: 카메라 버퍼 저장 혹은 전송)를 하지 않는 동작 모드)이거나, 또는 파워 오프(power off) 모드인 경우, 카메라 영상 수신 및 전송의 재개(resume) 동작 수행을 위해 카메라 파워 모드(camera power mode)를 카메라 구동 모드(camera drive mode)로 전환하여, 카메라 영상 수신 및 인코딩, 및 원격 장치(제2 전자 장치(6220))로 전송을 개시할 수 있다. 한 실시 예에 따르면, 제1 전자 장치(6210)는 카메라가 대기 모드인 경우 빠른 영상 수신이 가능하므로, 일시 중지(pause)나 종료(stop) 동작 시에는 대기 모드를 적용할 수도 있다. 한 실시 예에 따르면, 종료(stop) 동작 시에는 파워 오프 모드, 일시 중지 동작 모드에서는 대기 모드를 적용할 수도 있다.
한 실시 예에 따라, 영상을 수신하는 제2 전자 장치(6220)는, 음성 통화 모드에서 영상 통화 모드로 전환을 감지하면, 영상 통신 연결이 수립(확립)되어 있는지 평가 동작을 수행할 수 있다.
예를 들면, 제2 전자 장치(6220)는 영상 통신 연결이 되어 있지 않다면 영상 통신 요청을 원격 전자 장치(예: 영상을 발신하는 제1 전자 장치(6210))에 전송하고, 이에 대응하는 응답으로 제1 전자 장치(6210)가 전송한 인코딩된 미디어를 수신하여 디코딩하고, 디스플레이를 통해 표시 및 오디오 출력 장치를 통해 출력할 수 있다.
다른 예를 들면, 제2 전자 장치(6220)는 영상 통신 연결이 수립되어 있는 경우에는 다음과 같이 동작할 수 있다. 한 실시 예에 따르면, 제2 전자 장치(6220)는 제1 전자 장치(6210)에 영상 재개(resume) 동작 수행을 요청하고, 이에 대응하는 응답으로 제1 전자 장치(6210)가 전송한 인코딩된 미디어를 수신하여 디코딩하고, 디스플레이를 통해 표시 및 오디오 출력 장치를 통해 출력할 수 있다. 한 실시 예에 따르면, 제2 전자 장치(6220)는 제1 전자 장치(6210)로부터 인코딩된 영상이 계속 수신되는 중이라면, 이를 디코딩하고 디스플레이에 표시하도록 미디어 프로세서를 통해 디코더와 디스플레이를 제어할 수도 있다.
다양한 실시 예들에서, 영상 통화 모드에서 음성 통화 모드로 전환하는 동작 예시를 살펴보면 다음과 같다.
한 실시 예에 따라, 영상을 발신하는 제1 전자 장치(6210)는, 영상 통화 모드에서 음성 통화 모드로 전환을 감지하면, 영상 전송을 일시 중지(pause)하는 것인지, 또는 종료(step)하는 것인지 판단하는 평가 동작을 수행할 수 있다.
예를 들면, 제1 전자 장치(6210)는 영상 전송을 종료하는 경우에는, 미디어 프로세서를 통해 카메라를 통한 영상 수신 및 영상 인코딩, 이미지 프로세싱, 영상 전송, 영상 통신 연결을 종료할 수 있다. 다양한 실시 예들에 따라, 영상 전송의 종료는, 종료(stop) 기능을 구동하는 버튼, 아이콘, 키, 음성 명령, 또는 제스처 입력에 따라 종료할 수 있다.
다른 예를 들면, 제1 전자 장치(6210)는 영상 전송을 일시 정지하는 경우에는, 미디어 프로세서를 통해 카메라를 통한 영상 수신 및 영상 인코딩, 이미지 프로세싱, 영상 전송, 영상 통신 연결을 종료하거나, 또는 대기 모드를 적용할 수 있다. 예를 들면, 제1 전자 장치(6210)는 카메라는 대기 모드로 진입시키고, 인코딩, 이미지 프로세싱, 영상 전송을 중지시킬 수 있다. 다양한 실시 예들에 따라, 영상 전송의 일시 정지는, 영상 통신 중 커버를 덮어서 디스플레이를 가리는 동작(예: 자석(예: 홀 센서)이나 근접 센서로 감지), 제1 전자 장치(6210)를 귀에 가져다 대는 동작, 또는 디스플레이를 끄는 동작, 디스플레이를 아래로 하여 바닥에 놓는 동작 등에 따라 일시 정지할 수 있다.
한 실시 예에 따라, 영상을 수신하는 제2 전자 장치(6220)는, 영상 통화 모드에서 음성 통화 모드로 전환을 감지하면, 영상 수신을 일시 정지(pause)하는 것인지, 또는 종료(stop)하는 것인지 판단하는 평가 동작 수행할 수 있다.
예를 들면, 제2 전자 장치(6220)는 영상 수신을 일시 정지하는 경우, 예를 들면, 영상 통신 중 커버를 덮어서 디스플레이를 가리는 동작(예: 자석(예: 홀 센서)이나 근접 센서로 감지), 제2 전자 장치(6220)를 귀에 가져다 대는 행위, 디스플레이를 끄는 동작 등에서, 영상 통신 연결이 수립되어 있는 경우, 다음과 같이 동작할 수 있다. 한 실시 예에 따르면, 제2 전자 장치(6220)는 제1 전자 장치(6210)에 영상 일시 정지 동작 수행을 요청하고, 이후 영상 수신 동작을 수행하지 않을 수 있다. 한 실시 예에 따르면, 제2 전자 장치(6220)는 영상 통신을 유지(예: 영상 수신, 디코딩, 저장 등)하되, 디스플레이를 오프(off)하여 영상을 표시하지 않거나, 또는 소정의 다른 이미지로 대체하여 표시를 수행할 수 있다.
다른 예를 들면, 제2 전자 장치(6220)는 영상 수신을 종료하는 경우에는 제1 전자 장치(6210)에 영상 종료 동작 수행을 요청하거나, 또는 영상 수신이 불가한 상태임을 통지하고, 이후 영상 수신 동작을 수행하지 않을 수 있다.
다양한 실시 예들에서, 통신 모드 변화 시 상대방 전자 장치의 통신 모드 관련 정보를 표시하는 동작 예시를 살펴보면 다음과 같다.
다양한 실시 예들에 따라, 사용자는 전자 장치를 귀에 대고 음성 통화 중 영상 통화 모드로 전환을 하기 위해, 전자 장치를 귀에서 떼는 동작을 수행하거나, 닫혀 있는 커버를 열수 있다. 전자 장치는, 전자 장치가 귀에서 떼어지는 동작, 또는 닫혀 있는 커버의 오픈으로 인한 근접도, 모션, 접촉 면적, 정전 용량, 또는 압력 중 하나 이상의 변화를 감지할 수 있고, 이를 영상 통화 모드 전환으로 판단할 수 있다. 전자 장치는 변화된 센서 값에 의해 영상 통화 모드로 전환된 것을 감지하면 상대방의 전자 장치의 통신 상태(예: 도 63의 (A) 상태)를 표시하여 사용자에게 제공할 수 있다.
도 64는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 설명하기 위해 도시하는 도면이다.
다양한 실시 예들에서, 도 64는 전술한 도 62 및 도 63을 참조한 설명 부분에서 설명한 바와 같이, 전자 장치(500)(예: 영상을 발신하는 제1 전자 장치(6210), 영상을 수신하는 제2 전자 장치(6220))가 음성 통화 중에 제스처 기반으로 영상 통신 요청 및 영상 통신을 수신하는 동작을 나타낼 수 있다.
도 64를 참조하면, 동작 6401에서, 제1 전자 장치(6210)는, 음성 통화 중에, 제1 전자 장치(6210)의 모드(예: at ear mode, open position mode, display off mode, display open mode 등)를 인식할 수 있다.
동작 6403에서, 제1 전자 장치(6210)는, 모드 인식의 결과가 이어 모드(at ear mode)인지 또는 디스플레이 오프 모드(display off mode)인지 여부를 판단할 수 있다. 예를 들면, 제1 전자 장치(6210)는 다양한 센서에 기반하여 제1 전자 장치(6210)의 상태 변화를 감지하고, 감지된 상태 변화가 이어 모드 또는 디스플레이 오프 모드에 대응하는지, 아니면 오픈 포지션 모드(open position mode) 또는 디스플레이 온(또는 오픈) 모드(display on(open) mode)에 대응하는지 판단할 수 있다. 한 실시 예에 따라, 제1 전자 장치(6210)는 음성 통신 중 제1 전자 장치(6210)의 센서(예: 모션 센서, 근접도 센서, 압력 센서, 카메라, 정전 용량 센서 중 하나 이상)를 통해 측정된 센서 정보에 기반하여 사용자가, 제1 전자 장치(6210)를 귀에 대고 음성 통화 중인지, 제1 전자 장치(6210)의 커버가 닫힌 상태인지, 사용자가 음성 통화 중 영상 통화 모드로 전환하기 위해 제1 전자 장치(6210)를 귀에서 떼는 동작을 수행하는지, 또는 닫혀 있는 커버가 오픈되는 동작을 수행하는지 등을 판단할 수 있다. 일 예로, 제1 전자 장치(6210)는 제1 전자 장치(6210)가 귀에서 떼어지는 동작, 또는 닫혀 있는 커버의 오픈으로 인한 근접도, 모션, 접촉 면적, 정전 용량, 또는 압력 중 하나 이상의 변화를 감지할 수 있고, 이를 영상 통화 모드 전환으로 판단할 수 있다.
동작 6403에서, 제1 전자 장치(6210)는, 제1 전자 장치(6210)의 상태 변화가 감지되지 않으면(동작 6403의 예)(예: 이어 모드 또는 디스플레이 오프 모드이면), 동작 6401로 진행하여, 동작 6401 이하의 동작 수행을 처리할 수 있다.
동작 6403에서, 제1 전자 장치(6210)는, 제1 전자 장치(6210)의 상태 변화가 감지되면(동작 6403의 아니오)(예: 오픈 포지션 모드 또는 디스플레이 온(오픈) 모드이면), 동작 6405에서, 영상 서비스 가능 여부 체크 및 기능 대기 모드를 설정할 수 있다.
동작 6407에서, 제1 전자 장치(6210)는, 제2 전자 장치(6220)에게, 영상 통신 요청 및 상태 공유를 요청할 수 있다.
동작 6409에서, 제2 전자 장치(6220)는, 제2 전자 장치(6210)의 모드를 판단 및 영상 수신 요청(예: 영상 통신 연결 요청)을 표시할 수 있다. 다양한 실시 예들에 따라, 제2 전자 장치(6210)는 전술한 동작 6401 및 동작 6403에 대응하는 동작으로 제2 전자 장치(6210)의 모드를 판단할 수 있다.
동작 6411에서, 제2 전자 장치(6220)는, 영상 수신 요청에 대응하는 사용자 응답을 판단할 수 있다. 예를 들면, 제2 전자 장치(6220)는, 영상 수신 요청에 대해, 사용자의, 수락(acceptance), 거절(rejection), 또는 상태(state) 중 어느 하나의 입력을 판단할 수 있다.
동작 6413에서, 제2 전자 장치(6220)는, 사용자 입력에 대응하는 응답(예: 수락(acceptance), 거절(rejection), 또는 상태(state))을 제1 전자 장치(6210)에 전송할 수 있다. 다양한 실시 예들에서, 제2 전자 장치(6220)는 사용자의 입력이 없더라도 특정 조건(예: 사용자의 설정 혹은 소정의 응답 대기 시간의 경과 감지 중 하나 이상)에 따라, 수락(acceptance), 거절(rejection), 또는 상태(state))을 제1 전자 장치(6210)에 전송할 수 있다.
동작 6415에서, 제1 전자 장치(6210)는, 제2 전자 장치(6220)의 응답에 기반하여, 제2 전자 장치(6220)에 의한 전환 요청 상태 판단 및 제2 전자 장치(6220)의 통신 상태를 표시할 수 있다.
동작 6417에서, 제1 전자 장치(6210)는, 제2 전자 장치(6220)의 전환 요청 상태가 수락인지 여부를 판단할 수 있다.
동작 6417에서, 제1 전자 장치(6210)는, 전환 요청 상태가 수락이 아니면(동작 6417의 아니오), 동작 6423에서, 전환 요청 상태가 거절인지 여부를 판단할 수 있다.
동작 6423에서, 제1 전자 장치(6210)는, 전환 요청 상태가 거절이면(동작 6423의 예), 동작 6401로 진행하여, 동작 6401 이하의 동작 수행을 처리할 수 있고, 제1 전자 장치(6210)는 제1 전자 장치(6210)의 상태 변화에 따라 음성 통화 모드를 재개할 수 있다.
동작 6423에서, 제1 전자 장치(6210)는, 전환 요청 상태가 거절이 아니면(동작 6423의 아니오), 동작 6415로 진행하여, 동작 6415 이하의 동작 수행을 처리할 수 있다. 예를 들면, 제1 전자 장치(6210)는 제2 전자 장치(6220)의 통신 상태를 표시하면서, 제2 전자 장치(6220)의 영상 통신 연결 요청에 대한 수락을 대기할 수 있다.
동작 6417에서, 제1 전자 장치(6210)는, 전환 요청 상태가 수락이면(동작 6417의 예), 동작 6419에서, 제2 전자 장치(6220)와 영상 통신 연결을 수행하고, 카메라 영상의 인코딩 및 표시를 수행할 수 있다.
동작 6421에서, 제1 전자 장치(6210)는, 인코딩된 영상을 제2 전자 장치(6220)에 전송할 수 있다. 또한, 제1 전자 장치(6210)는, 영상을 전송할 때, 제1 전자 장치(6210)에 구동 중인 카메라의 종류에 대해 그 정보를 제2 전자 장치(6220)에 제공할 수도 있다.
이상에서 살펴본 바와 같이, 다양한 실시 예들에 따르면, 음성 통화 모드에 의해 제1 전자 장치(6210)와 제2 전자 장치(6220) 간에 음성 통화가 유지되는 상태에서, 통화 모드 변경을 감지할 시 음성 통화 모드에서 영상 통화 모드로 전환할 수 있다. 다양한 실시 예들에 따르면, 영상 통화 모드에 의해 제1 전자 장치(6210)와 제2 전자 장치(6220) 간에 영상 통화가 유지되는 상태에서, 통화 모드 변경을 감지할 시 영상 통화 모드에서 음성 통화 모드로 전환할 수 있다.
다양한 실시 예들에 따르면, 음성 통화 모드에 의해 제1 전자 장치(6210)와 제2 전자 장치(6220) 간에 음성 통화가 유지되는 상태에서, 제1 전자 장치가 영상 통화 모드로 전환되는 것을 감지하면, 제1 전자 장치(6210)는 제2 전자 장치(6220)의 통화 모드(예: 음성 통화 모드 또는 영상 통화 모드)를 표시할 수 있다.
다양한 실시 예들에 따르면, 제2 전자 장치(6220)의 통화 모드는, 음성 통화 모드 또는 영상 통화 모드 중 하나를 포함할 수 있다.
다양한 실시 예들에 따르면, 제1 전자 장치(6210)가 영상 통화 모드로 전환을 감지하는 이벤트의 종류는, 음성 인식 또는 상황 인지, 모션 또는 근접도 변화, 또는 영상 송신 또는 수신을 위한 메뉴, 키, 버튼, 제스처 입력 중 적어도 하나를 포함할 수 있다. 음성 인식은, 예를 들면, "카메라 구동" 등의 음성 명령을 인식하는 것을 포함할 수 있다. 상황 인지는, 예를 들면, "카메라로 보여줄게" 또는 "내가 보고 있는 것을 보여줄게" 등의 음성 입력에 따른 상황을 인식하는 것을 포함할 수 있다. 모션 또는 근접도 변화는, 예를 들면, at ear 포지션에서 open position으로 모션 및 근접도 변화, 또는 커버 오픈에 따른 광 센서에 의한 근접도 변화 감지 등을 포함할 수 있다.
다양한 실시 예들에 따르면, 제1 전자 장치(6210)의 표시 방법은, 디스플레이에 텍스트나 이미지로 표시, 오디오로 표시, 또는 진동으로 표시 중 하나 이상을 이용할 수 있다.
한 실시 예에 따라, 제1 전자 장치(6210)가 영상 통화 모드로 변화 시, 제1 전자 장치(6210)의 카메라를 이용하여, 영상(이미지)를 수신하고, 수신된 영상과, 제2 전자 장치(6220)의 통화 모드 관련 표시를 합성하여 디스플레이에 표시할 수 있다. 예를 들면, 제1 전자 장치(6210)는 미디어 프로세서를 이용하여 오버레이, PIP, 또는 PBP 등으로, 제2 전자 장치(6220)의 통화 모드를 표시할 수 있다.
한 실시 예에 따라, 제1 전자 장치(6210)가 영상 통신 요청을 송신 시, 해당 동작 상황 및 상대방의 응답 여부를 포함하여 순차적으로 이미지나 텍스트로 표시할 수 있다.
한 실시 예에 따라, 제1 전자 장치(6210)가, 영상 통신 기능의 활성화/비활성화(activation/deactivation) 여부를 확인할 수 있다. 예를 들면, 제1 전자 장치(6210)가 영상 통화 모드로 전환 시, 제1 전자 장치(6210) 또는 제2 전자 장치(6220)의 상태 정보에 따라 영상 통신 가능 여부를 표시할 수도 있다. 일 예로, 제1 전자 장치(6210)는 영상 통화 모드로 전환된 것이 판별되면, 제2 전자 장치(6220)에 영상 통신 요청 전송 이전에 두 전자 장치들(6210, 6220)의 능력(capability) 또는 두 전자 장치들(6210, 6220)의 상태 정보에 의해 영상 통신 가능 여부를 판별하고, GUI의 활성화/비활성화를 통해 표시할 수도 있다. 만약, 제1 전자 장치(6210)는 영상 통신이 가능한 경우, 활성화된 GUI가 사용자 입력에 의해 선택 시, 영상 통신 요청을 제2 전자 장치(6220)에 전송할 수 있다. 한 실시 예에 따르면, 영상 통신이 가능한 것으로 판별된 경우, 카메라의 파워 모드를 카메라 구동 모드나 카메라 대기 모드로 전환할 수도 있다.
한 실시 예에 따라, 제1 전자 장치(6210)가 영상 통화 모드로 전환한 경우, 음성 출력을 리시버에서 스피커로 전환하거나, 또는 오디오의 출력 볼륨을 소정 기준 이상으로 증가시킬 수 있다. 예를 들면, 영상 통화 모드인 경우 사용자는 디스플레이를 통해 프리뷰를 조회하기 때문에, 제1 전자 장치(6210)와 사용자 간의 거리가 멀어질 수 있고, 이에 따라, 음성 출력(예: 음압 증가, 스피커 변경)을 변경할 필요가 있다.
다양한 실시 예들에 따르면, 제1 전자 장치(6210)가 영상 통화 모드인 경우, 제2 전자 장치(6220)가 음성 통화 모드에서 영상 통화 모드로 변화하면, 해당 상황을 제1 전자 장치(6220)에 표시할 수 있다.
한 실시 예에 따라, 제2 전자 장치(6220)는, 영상 통화 모드로 전환 시, 자동으로 영상 수신을 허락하고, 이에 대응하여, 제1 전자 장치(6210)로부터 영상을 자동 수신할 수 있다.
한 실시 예에 따라, 제2 전자 장치(6220)는, 영상 통화 모드로 전환을 감지하면, 제1 전자 장치(6210)로부터 전송된 영상 통신 요청 메시지에 대해, 제2 전자 장치(6220)의 디스플레이에 표시하고, 영상 수신을 허가할 것인지 여부를 선택 받고, 허가된 이후에, 영상을 네트워크를 통해 수신하도록 할 수도 있다.
도 65는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
다양한 실시 예들에서, 도 65는 영상을 발신하는 전자 장치(500)(예: 제1 전자 장치(6210))의 처리 동작의 예시로, 예를 들면, 음성 통화 중 사용자의 통신 모드 변화에 따른 영상 통신을 처리하는 동작을 나타낼 수 있다.
도 65를 참조하면, 동작 6501에서, 전자 장치(500)의 제어부(580)(예: 발신 단말로 동작하는 전자 장치의 프로세서)는, 원격 장치(예: 영상을 수신하는 제2 전자 장치(6220))와 음성 통화 연결에 의한 음성 통신 상태일 수 있다.
동작 6503에서, 제어부(580)는 음성 통화 중에, 전자 장치(500)의 모션(motion) 또는 근접도(proximity)를 센싱할 수 있다.
동작 6505에서, 제어부(580)는 센싱하는 결과에 기반하여 전자 장치(500)의 모드 변화를 감지할 수 있다.
동작 6507에서, 제어부(580)는 감지된 모드가, 영상 통신 디스에이블 모드(disable mode)에서 영상 통화 모드 전환인지 여부를 판단할 수 있다. 예를 들면, 제어부(580)는 전자 장치(500)가 음성 통화 모드에서 영상 통화 모드로 전환인지 판단할 수 있다.
동작 6507에서, 제어부(580)는 영상 통화 모드로 전환(예: 영상 통신 불능 모드 -> 영상 통화 모드)으로 판단하면(동작 6507의 예), 동작 6509에서, 영상 통신 연결이 준비(already)(예: 확립, 수립)된 상태인지 여부를 판단할 수 있다.
동작 6509에서, 제어부(580)는 영상 통신 연결이 준비된 상태이면(동작 6509의 예), 동작 6525로 진행하여, 동작 6525에서, 영상 통신 시작(start) 또는 영상 통신 재개(resume) 및 관련 상태 표시를 수행할 수 있다. 예를 들어, 제어부(580)는 영상 인코딩 및 인코딩된 영상을 표시 및 전송하도록 할 수 있다.
동작 6509에서, 제어부(580)는 영상 통신 연결이 준비된 상태가 아니면(동작 6509의 아니오), 동작 6511, 동작 6513 및 동작 6515를 선택적으로 수행할 수 있다. 예를 들면, 제어부(580)는 최초 영상 통신 연결인 경우, 동작 6511에서, 영상 통신 가능 여부를 체크하고, 동작 6513에서, 영상 통신 아이콘(예: 서비스 객체)을 활성화 표시하고, 동작 6515에서, 카메라 구동을 제어할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 모드 변화에 따라 이전에 연결된(또는 일시 정지된) 영상 통신을 재개하는 경우, 동작 6511, 동작 6513 및 동작 6515는 선택적으로 수행하지 않을 수도 있다.
동작 6517에서, 제어부(580)는 영상 통신 요청(request)(또는 초대(invitation))을 원격 장치(예: 통신 중인 제2 전자 장치(6220))에 전송할 수 있다.
동작 6519에서, 제어부(580)는 원격 장치(예: 제2 전자 장치(6220))로부터 원격 장치의 상태를 수신하고, 원격 장치의 상태를 표시할 수 있다.
동작 6521에서, 제어부(580)는 원격 장치로부터 영상 통신 요청(또는 초대)에 대해 수락(acceptance) 되었는지 여부를 판단할 수 있다.
동작 6521에서, 제어부(580)는 원격 장치에 의해 영상 통신 요청(또는 초대)가 수락되지 않은 경우(동작 6521의 아니오), 동작 6519로 진행하여, 동작 6519 이하의 동작 수행을 처리할 수 있다.
동작 6521에서, 제어부(580)는 원격 장치에 의해 영상 통신 요청(또는 초대)가 수락된 경우(동작 6521의 예), 동작 6523에서, 원격 장치와 영상 통신 연결을 형성할 수 있다.
동작 6525에서, 제어부(580)는 영상 통신 시작(start) 또는 영상 통신 재개(resume)를 수행할 수 있고, 관련 상태(예: 연결 상태) 표시를 수행할 수 있다. 예를 들어, 제어부(580)는 영상 인코딩 및 인코딩된 영상을 표시 및 전송하도록 할 수 있다.
동작 6507에서, 제어부(580)는 영상 통화 모드로 전환(예: 영상 통신 불능 모드 -> 영상 통화 모드)이 아니면(동작 6507의 아니오), 동작 6531에서, 영상 통화 모드에서 영상 통신 디스에이블 모드 전환인지 여부를 판단할 수 있다. 예를 들면, 제어부(580)는 전자 장치(500)가 영상 통화 모드에서 음성 통화 모드로 전환인지 판단할 수 있다.
동작 6531에서, 제어부(580)는 전자 장치(500)의 상태 변화가 음성 통화 모드 전환(예: 영상 통화 모드 -> 영상 통신 불능 모드)에 대응하지 않으면(동작 6531의 아니오), 동작 6503으로 진행하여, 동작 6503 이하의 동작 수행을 처리할 수 있다.
동작 6531에서, 제어부(580)는 전자 장치(500)의 상태 변화가 음성 통화 모드 전환(예: 영상 통화 모드 -> 영상 통신 불능 모드)에 대응하면(동작 6531의 예), 동작 6533에서, 영상 전송 유지 상태인지 여부를 판단할 수 있다.
동작 6533에서, 제어부(580)는 영상 전송 유지 상태가 아닌 것을 판단하면(동작 6533의 아니오), 동작 6503으로 진행하여, 동작 6503 이하의 동작 수행을 처리할 수 있다.
동작 6533에서, 제어부(580)는 영상 전송 유지 상태인 것을 판단하면(동작 6533의 예), 동작 6535에서, 영상 전송 유지 상태인 것에 응답하여 영상 일시 정지(pause)를 제어할 수 있다. 예를 들면, 제어부(580)는 카메라 영상의 인코딩 중지, 전송 중지 또는 카메라 모드 변경에 의해 일시 정지 기능을 제어할 수 있다. 다양한 실시 예들에서, 일시 정지 시, 실시간 비디오 영상을 전송하지 않더라도 영상 통신 연결(connectivity)은 유지될 수 있다.
동작 6537에서, 제어부(580)는 영상 통신 연결 종료 요청이 있는지 여부를 판단할 수 있다.
동작 6537에서, 제어부(580)는 영상 통신 연결 종료 요청이 없는 경우(동작 6537의 아니오), 동작 6503으로 진행하여, 동작 6503 이하의 동작 수행을 처리할 수 있다.
동작 6537에서, 제어부(580)는 영상 통신 연결 종료 요청이 있는 경우(동작 6537의 예), 동작 6539에서, 영상 통신 연결을 종료하는 요청에 응답하여 영상 통신 연결을 종료할 수 있다.
이하에서, 도 65를 참조하여 살펴본 바와 같은, 영상을 발신하는 전자 장치에서, 음성 통화 중 사용자의 통신 모드 변화에 대응하여, 영상 서비스를 처리하는 구체적인 예시를 살펴보기로 한다.
다양한 실시 예들에 따르면, 제1 전자 장치(6210)와 제2 전자 장치(6220)는 유무선 통신 중 하나 이상을 이용하여 음성 통신을 수행할 수 있다. 다양한 실시 예들에 따라, 음성 통신 중 제1 전자 장치(6210)에서, 센서(예: 모션 센서, 근접도 센서, 압력 센서, 카메라, 정전 용량 센서 중 하나 이상)를 통해 측정된 센서 정보, 사용자 어플리케이션을 통한 사용자의 입력(예: 아이콘, 메뉴, 제스처), 또는 네트워크를 통해 수신된 통신 모드 변경 요구 신호를 통해 통신 모드의 변화를 감지할 수 있다.
다양한 실시 예들에 따르면, 제1 전자 장치(6210)에서 다른 모드(예: 음성 통화 모드)에서 영상 통화 모드로의 변경이 감지된 경우, 제1 전자 장치(6210)는 네트워크 프로세스 모듈이나 네트워크부를 통해 영상 통신이 연결된 상태인지 여부를 확인할 수 있다.
다양한 실시 예들에 따르면, 제1 전자 장치(6210)는 영상 통신이 연결되어 있지 않다면, 영상 통신을 위한 요구, 예를 들면, invitation 메시지를 제2 전자 장치(6220)에 전송할 수 있다. 한 실시 예에 따르면, 제1 전자 장치(6210)는 영상 통신 관리 서버에 영상 통신 요청을 전송하고, 메시지 서버를 통해 제2 전자 장치(6220)에 영상 통신 요청 메시지를 전송할 수 있다. 다른 한 실시 예에 따르면, 제1 전자 장치(6210)는 서버를 경유하지 않고, 제2 전자 장치(6220)에 직접 영상 통신요청을 전달할 수도 있다.
다양한 실시 예들에 따르면, 제1 전자 장치(6210)는 제2 전자 장치(6220)와 관련한 상태를 제1 전자 장치(6210)의 디스플레이를 통해 표시하거나, 오디오를 통해 출력할 수 있다.
한 실시 예에 따르면, 제1 전자 장치(6210)는, 제1 전자 장치(6210)가 제2 전자 장치(6220)에 전달한 정보(예: "영상 통신 요청 중" 메시지) 또는 제1 전자 장치(6210)에 저장된 제2 전자 장치(6220)의 영상 통신 관련 정보(예: 영상 해상도, 통신 속도, frame rate, 코덱 타입 등)을 표시할 수 있다.
한 실시 예에 따르면, 제1 전자 장치(6210)는, 제2 전자 장치(6220)로부터 수신한 정보(예: 통신 모드 종류, 영상 통신 관련 정보) 또는 네트워크부를 통해 수신한 네트워크 모니터링 결과를 표시할 수 있다.
다양한 실시 예들에 따르면, 제2 전자 장치(6220)가 제1 전자 장치(6210)의 영상 통신 연결 요청에 대한 응답으로 영상 통신을 허가하면, 제1 전자 장치(6210)와 제2 전자 장치(6220)는 영상 통신을 수립할 수 있다.
한 실시 예에 따르면, 제2 전자 장치(6220)가 영상 통신을 허가하면, 제2 전자 장치(6220)는, 영상 통신 관리 서버를 통해 제1 전자 장치(6210)와 영상 통신을 위한 통신 연결을 수립할 수 있다. 예를 들면, 영상 통신 관리 서버를 통해 제1 전자 장치(6210) 및 제2 전자 장치(6220) 간 영상 통신 연결을 위한 정보(예: 대역폭, 코덱 타입, 각 전자 장치들(6210, 6220)의 주소 정보, 포트 정보, 네트워크 요구 정보, 서비스 등록 정보 등)를 서로 공유하거나 알려줌으로써, 두 전자 장치들(6210, 6220) 간의 P2P(peer-to-peer) 통신 연결을 수행할 수 있다.
한 실시 예에 따르면, 제1 전자 장치(6210)와 제2 전자 장치(6220) 간에 직접적인 통신을 통해 영상 통신 연결을 수행할 수도 있다. 예를 들면, 제2 전자 장치(6220)가 영상 통신을 허가하면, 제1 전자 장치(6210)나 제2 전자 장치(6220)에 저장된 상호 간의 정보(예: 어플리케이션 설치 후 정보 등록 시 contact sync agent에 의해 주소록에 저장된 원격 장치들의 정보 등)를 활용할 수도 있다. 이를 위해, 제2 전자 장치(6220)는 영상 통신 허가 메시지 또는 영상 통신 연결을 위한 정보를 제1 전자 장치(6220)에 알려줄 수도 있다.
다양한 실시 예들에 따르면, 제1 전자 장치(6210)는 제2 전자 장치(6220)에 영상 통신을 요청하기 이전이나 이후에, 영상 통신이 가능한지 여부를 확인하는 동작을 수행할 수도 있다. 예를 들면, 영상 통신 연결 가능성(availability)을 확인하기 위해 어플리케이션이나 모듈 설치 상태, 능력(capability), 또는 서비스 상태 중 하나 이상에 따라 영상 통신 가능 여부를 확인하고, 확인하는 결과에 따라 GUI(예: 서비스 아이콘, 텍스트, 이미지 등)를 표시하거나 서비스 여부를 결정할 수 있다. 한 실시 예에 따르면, 영상 통신 가능 여부 확인 결과, 영상 통신이 가능한 것으로 판단되면, 제1 전자 장치(6210)는 카메라를 구동 모드로 변환하고, 카메라를 통해 영상을 수신하며, 관련 GUI를 활성화할 수 있다. 다른 한 실시 예에 따르면, 영상 통신 가능 여부 확인 결과, 영상 통신이 가능하지 않은 것으로 판단하면, 관련 GUI를 비활성화하거나 오류 메시지를 출력하거나, 또는 현재 상태를 그대로 유지할 수도 있다.
다양한 실시 예들에 따르면, 제1 전자 장치(6210)와 제2 전자 장치(6220)가 이미 영상 통신이 연결된 상태이면, 실시간 영상 처리, 또는 영상 송수신 중 하나 이상을 재개(resume)하거나 재시작(restart)할 수 있다. 한 실시 예에 따르면, 제1 전자 장치(6210)는 영상 통신 재개를 위해 카메라 구동 모드가 아닌 경우, 카메라 구동 모드로 변경할 수 있다. 한 실시 예에 따르면, 제1 전자 장치(6210)는 카메라가 구동 모드인 경우, 입력되는 영상을 표시하는 동작을 수행(예: 디스플레이 오프(off), 일시 정지(pause) 이미지 표시 등에서 실시간 카메라 프리뷰 영상 표시 동작)하거나, 실시간 영상 전송을 재개하거나, 또는 영상 인코딩을 수행하는 동작 중 하나 이상을 수행할 수 있다. 한 실시 예에 따르면, 제1 전자 장치(6210)는 영상 통신이 연결된 상태에서, 영상 통신 일시 정지 상태이면, 미디어 프로세서를 통해 실시간 영상 수신, 처리, 및 전송을 위하여 제1 전자 장치(6210)의 상태를 확인하고 불능화된 모듈을 구동하도록 제어할 수 있다.
다양한 실시 예들에 따르면, 제1 전자 장치(6210)에서, 영상 통화 모드에서 다른 모드(예: 음성 통화 모드)로의 변경이 감지된 경우, 제1 전자 장치(6210)는 네트워크 프로세스 모듈이나 네트워크부를 통해 영상 전송 유지 상태인지 확인하고, 사용자 입력에 따라서 영상 통신 종료 여부를 결정하여 동작할 수 있다.
한 실시 예에 따르면, 제1 전자 장치(6210)는, 영상 통신 종료가 요청된 경우, 카메라 구동 모드에서 카메라 오프 모드로 전환하고, 이에 따른 미디어 프로세서의 처리(예: 음성 통신 연결만 유지, 영상 인코딩 중지, 영상 처리 중지 등)를 수행하고, 영상 통신을 위한 연결을 종료 처리할 수 있다.
한 실시 예에 따르면, 제1 전자 장치(6210)와 제2 전자 장치(6220) 간 음성 통화 모드에서 음성 통신이 제1 네트워크로 이루어질 때, 영상 통화 모드로 전환 시, 음성 통신은 제1 네트워크, 영상 통신은 제2 네트워크로 송수신할 수 있다. 다른 한 실시 예에 따르면, 제1 전자 장치(6210)와 제2 전자 장치(6220) 간 음성 통화 모드에서 음성 통신이 제1 네트워크로 이루어질 때, 영상 통화 모드로 전환 시, 음성 통신과 영상 통신은 모두 제2 네트워크로 송수신할 수 있다. 이때, 제1 네트워크는 음성 데이터의 교환 없이 연결 상태만 유지하고, 영상 통화 모드가 종료나 일시 중지 시 음성 통신은 다시 제1 네트워크를 통해 수행될 수 있다. 다양한 실시 예들에 따르면, 영상 통화 모드로 전환 시, 제1 네트워크는 음성 데이터의 교환 없이 연결 상태만 유지하고, 영상 통화 모드가 일시 중지 시 음성 통신은 제2 네트워크를 통해 수행될 수도 있다. 다른 한 실시 예에 따르면, 영상 통신의 일시 중지가 요청된 경우, 제2 네트워크는 실시간 영상 데이터의 교환 없이 연결 상태만 유지하고, 음성 통신은 제1 네트워크를 통해 수행될 수도 있다. 이는 영상 통신 재개 시 P2P 연결 등을 재수행하는 지연 시간을 최소한으로 하기 위함이다. 한 실시 예에 따르면, 제1 전자 장치(6210)는, 영상 통신 일시 정지(pause)가 요청된 경우, 카메라 구동 모드를 대기 모드(standby mode)(예: 카메라에 전원은 인가되었으나 영상 처리(예: 카메라 버퍼 저장 혹은 전송)를 하지 않는 동작 모드)로 전환하거나, 영상 인코딩을 중지하거나, 네트워크 전송을 중지하거나, 디스플레이에 영상을 표시하지 않거나, 또는 스틸 이미지를 제2 전자 장치(6220)에 전송 중 하나 이상을 수행할 수 있다.
한 실시 예에 따르면, 제1 전자 장치(6210)는, 디스플레이를 오프하고 프리뷰를 디스플레이에 표시하지 않되, 카메라 구동 및 인코딩된 이미지 전송을 유지할 수도 있다.
한 실시 예에 따르면, 제1 전자 장치(6210)는, 디스플레이에 스틸 이미지를 출력하고, 카메라 구동 및 인코딩된 영상 전송을 유지할 수도 있다.
한 실시 예에 따르면, 제1 전자 장치(6210)는, 영상 통신의 연결은 유지하되, 실시간 영상 데이터 대신 다른 데이터(예: 최소한의 연결 유지 신호, 스틸 이미지, 프리뷰 이미지, 또는 영상의 I-frame 이미지 중 하나 이상)을 전송할 수도 있다.
도 66은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
다양한 실시 예들에서, 도 66은 영상을 발신하는 전자 장치(500)(예: 제1 전자 장치(6210))의 처리 동작의 예시로, 예를 들면, 제1 전자 장치(6210)에서 근접도 및 모션 기반으로 영상 통신을 시작 및 재개를 처리하는 동작을 나타낼 수 있다.
도 66을 참조하면, 동작 6601에서, 전자 장치(500)의 제어부(580)(예: 발신 단말로 동작하는 전자 장치의 프로세서)는, 원격 장치(예: 영상을 수신하는 제2 전자 장치(6220))와 음성 통화 연결에 의한 음성 통신 상태일 수 있다.
동작 6603에서, 제어부(580)는 음성 인식 기반으로 영상 통신 연결 의도를 파악할 수 있다. 예를 들면, 제어부(580)는 음성 통화 중 영상 통신을 수행하기 위한 의도를 대화 내용에 대한 음성 인식 기법을 통해 파악하고, 이에 따라 영상 통신을 시작하거나 재개하는 동작을 수행할 수 있다. 동작 6605에서, 제어부(580)는 음성 통화 중에, 전자 장치(500)의 근접도(proximity) 또는 가속도(acceleration) 등을 감지할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 근접도 또는 가속도에 기반하여 물체(예: 사용자 얼굴, 사용자 귀)와 거리(distance) 혹은 거리의 변화를 판단할 수 있다.
동작 6607에서, 제어부(580)는 거리가 제1 임계값 보다 크거나, 또는 전자 장치(500)가 오픈 포지션 모션(open position motion)에 해당하는지 판단할 수 있다. 예를 들면, 제어부(580)는 전자 장치(500)의 상태 변화를 감지하고, 상태 변화가 영상 통화를 시작 또는 재개하기 위한 상태 변화에 대응하는지 판단할 수 있다. 한 실시 예에 따르면, 제어부(580)는 감지하는 거리 혹은 거리의 변화에 기반하여 통화 모드 변화(예: 음성 통화 모드에서 영상 통화 모드로 전환)를 감지할 수 있다.
다른 예로, 음성 인식 기반으로 영상 통신 연결 의도가 있는 것으로 파악한 경우, 이를 이후 동작 6607 및 동작 6631에서, 실제로 영상 통신을 위한 제스처가 수행되는지 판별하여 영상 통화 모드로 전환 여부를 결정할 수도 있다.
동작 6607에서, 제어부(580)는 영상 통화를 위한 전자 장치(500)의 상태 변화(예: Distance > threshold 1 or open position motion)에 대응하면(동작 6607의 예), 동작 6609, 동작 6611 및 동작 6613을 선택적으로 수행할 수 있다. 예를 들면, 제어부(580)는 전자 장치(500)의 상태 변화가 통화 모드 변경(예: 음성 통화 모드에서 영상 통화 모드로 전환)인 경우, 동작 6609에서, 영상 통신 가능 여부를 체크하고, 동작 6611에서, 영상 통신 아이콘(예: 서비스 객체)을 활성화 표시하고, 동작 6613에서, 카메라 구동을 제어할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 통신 모드 변화에 따라 이전에 연결된(또는 일시 정지된) 영상 통신을 재개하는 경우, 동작 6609, 동작 6611 및 동작 6613은 선택적으로 수행하지 않을 수도 있다.
동작 6615에서, 제어부(580)는 영상 통신 요청(request)를 원격 장치(예: 통신 중인 제2 전자 장치(6220))에 전송할 수 있다.
동작 6617에서, 제어부(580)는 원격 장치(예: 제2 전자 장치(6220))로부터 원격 장치의 상태를 수신하고, 원격 장치의 상태를 표시할 수 있다.
동작 6619에서, 제어부(580)는 원격 장치에 의해 영상 통신 요청(또는 초대)가 수락(acceptance) 되었는지 여부를 판단할 수 있다.
동작 6619에서, 제어부(580)는 원격 장치에 의해 영상 통신 요청(또는 초대)가 수락되지 않은 경우(동작 6619의 아니오), 동작 6617로 진행하여, 동작 6617 이하의 동작 수행을 처리할 수 있다.
동작 6619에서, 제어부(580)는 원격 장치에 의해 영상 통신 요청(또는 초대)가 수락된 경우(동작 6521의 예), 동작 6521에서, 원격 장치와 영상 통신 연결을 형성할 수 있다.
동작 6523에서, 제어부(580)는 영상 통신 시작(start) 또는 영상 통신 재개(resume)를 수행할 수 있고, 관련 상태(예: 연결 상태) 표시를 수행할 수 있다. 예를 들어, 제어부(580)는 영상 인코딩 및 인코딩된 영상을 표시 및 전송하도록 할 수 있다.
동작 6607에서, 제어부(580)는 영상 통화를 위한 전자 장치(500)의 상태 변화(예: Distance > threshold 1 or open position motion)가 대응하지 않으면(동작 6607의 아니오), 동작 6631에서, 거리가 제2 임계값 보다 작은지, 또는 전자 장치(500)가 이어 포지션 모션(at ear position motion)에 대응하는지 판단할 수 있다. 예를 들면, 제어부(580)는 전자 장치(500)의 상태 변화를 감지하고, 상태 변화가 음성 통화를 시작 또는 재개하기 위한 상태 변화에 대응하는지 판단할 수 있다. 한 실시 예에 따르면, 제어부(580)는 동작 6631에서 감지하는 결과에 기반하여 통화 모드 변화(예: 영상 통화 모드에서 음성 통화 모드로 전환)를 감지할 수 있다.
동작 6631에서, 제어부(580)는 전자 장치(500)의 상태 변화가 음성 통화를 위한 상태 변화(예: Distance < threshold 2 or at ear position motion)에 대응하지 않으면(동작 6631의 아니오), 동작 6603으로 진행하여, 동작 6603 이하의 동작 수행을 처리할 수 있다.
다른 예로, 음성 인식 기반으로 영상 통신 연결 의도가 있는 것으로 파악한 경우, 이를 이후 동작 6709 및 동작 6731에서, 실제로 영상 통신을 위한 제스처가 수행되는지 판별하여 영상 통화 모드로 전환 여부를 결정할 수도 있다.
동작 6631에서, 제어부(580)는 전자 장치(500)의 상태 변화가 음성 통화를 위한 상태 변화(예: Distance < threshold 2 or at ear position motion)에 대응하면(동작 6631의 예), 동작 6633에서, 영상 전송 유지 상태인지 여부를 판단할 수 있다.
동작 6633에서, 제어부(580)는 영상 전송 유지 상태가 아닌 것을 판단하면(동작 6633의 아니오), 동작 6603으로 진행하여, 동작 6603 이하의 동작 수행을 처리할 수 있다.
동작 6633에서, 제어부(580)는 영상 전송 유지 상태인 것을 판단하면(동작 6633의 예), 동작 6635에서, 영상 전송 유지 상태인 것에 응답하여 영상 일시 정지(pause)를 제어할 수 있다. 예를 들면, 제어부(580)는 카메라 영상의 인코딩 중지, 전송 중지 또는 카메라 모드 변경에 의해 일시 정지 기능을 제어할 수 있다. 다양한 실시 예들에서, 일시 정지 시 영상 통신 연결은 유지될 수 있다.
동작 6637에서, 제어부(580)는 영상 통신 연결 종료 요청이 있는지 여부를 판단할 수 있다.
동작 6637에서, 제어부(580)는 영상 통신 연결 종료 요청이 없는 경우(동작 6637의 아니오), 동작 6603으로 진행하여, 동작 6603 이하의 동작 수행을 처리할 수 있다.
동작 6637에서, 제어부(580)는 영상 통신 연결 종료 요청이 있는 경우(동작 6637의 예), 동작 6639에서, 영상 통신 연결을 종료하는 요청에 응답하여 영상 통신 연결을 종료할 수 있다.
도 67은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
다양한 실시 예들에서, 도 67은 영상을 수신하는 전자 장치(500)(예: 제2 전자 장치(6220))의 처리 동작의 예시로, 예를 들면, 제2 전자 장치(6220)에서 근접도 및 모션 기반으로 영상 통신을 시작 및 재개를 처리하는 동작을 나타낼 수 있다.
도 67을 참조하면, 동작 6701에서, 전자 장치(500)의 제어부(580)(예: 수신 단말로 동작하는 전자 장치의 프로세서)는, 원격 장치(예: 영상을 전송하는 제1 전자 장치(6210))와 음성 통화 연결에 의한 음성 통신 상태일 수 있다.
동작 6703에서, 제어부(580)는 음성 인식 기반으로 영상 통신 연결 의도를 파악할 수 있다. 예를 들면, 제어부(580)는 음성 통화 중 영상 통신을 수행하기 위한 의도를 음성 기반으로 파악하고, 이에 따라 영상 통신을 시작하거나 재개하는 동작을 수행할 수 있다.
동작 6705에서, 제어부(580)는 음성 통화 중에, 전자 장치(500)의 근접도(proximity) 또는 가속도(acceleration) 등을 감지할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 근접도 또는 가속도에 기반하여 물체(예: 사용자 얼굴, 사용자 귀)와 거리(distance)를 판단할 수 있다.
동작 6707에서, 제어부(580)는 전자 장치(500)의 상태를 원격 장치(예: 제1 전자 장치(6210)에 전송할 수 있다.
동작 6709에서, 제어부(580)는 거리가 제1 임계값 보다 크거나, 또는 전자 장치(500)가 오픈 포지션 모션(open position motion)에 대응하는지 판단할 수 있다. 예를 들면, 제어부(580)는 전자 장치(500)의 상태 변화를 감지하고, 상태 변화가 영상 통화를 시작 또는 재개하기 위한 상태 변화에 대응하는지 판단할 수 있다. 한 실시 예에 따르면, 제어부(580)는 감지하는 결과에 기반하여 통화 모드 변화(예: 음성 통화 모드에서 영상 통화 모드로 전환)를 감지할 수 있다.
동작 6709에서, 제어부(580)는 영상 통화를 위한 전자 장치(500)의 상태 변화(예: Distance > threshold 1 or open position motion)에 대응하면(동작 6607의 예), 동작 6711을 선택적으로 수행할 수 있다. 예를 들면, 제어부(580)는 전자 장치(500)의 상태 변화가 통화 모드 변경(예: 음성 통화 모드에서 영상 통화 모드로 전환)인 경우, 영상 통신 가능 여부를 체크하고, 영상 통신 가능한 것에 응답하여 영상 통신 아이콘(예: 서비스 객체)을 활성화 표시할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 통신 모드 변화에 따라 이전에 연결된(또는 일시 정지된) 영상 통신을 재개하는 경우, 동작 6711은 선택적으로 수행하지 않을 수도 있다.
동작 6713에서, 제어부(580)는 영상 통신 요청 수신의 설정을 판단할 수 있다. 한 실시 예에 따르면, 제어부(580)는 영상 통화 모드 전환에 따른 영상 통신 수신을 자동으로 수락할 지, 또는 사용자 입력에 의한 수동으로 수락할 지 여부를 판단할 수 있다.
동작 6713에서, 제어부(580)는 영상 통신 요청이 자동 수신인 경우(동작 6713의 예), 동작 6719로 진행하여, 동작 6719로 진행하여, 동작 6719 이하의 동작 수행을 처리할 수 있다.
동작 6713에서, 제어부(580)는 영상 통신 요청이 수동 수신인 경우(동작 6713의 아니오), 동작 6715에서, 사용자 입력에 따라 영상 통신 요청을 수신할 수 있다. 예를 들면, 제어부(580)는 원격 장치(예: 제1 전자 장치(6210))의 영상 통신 연결 요청(또는 초대)을 표시할 수 있고, 영상 통신 연결 요청에 대한 사용자 입력(예: 영상 수신에 대해 수락(acceptance), 거절(rejection), 또는 상태(state) 중 어느 하나의 입력)을 수신할 수 있다. 한 실시 예에 따라, 동작 6715에서, 사용자에 의해 원격 장치(예: 제1 전자 장치(6210))의 영상을 수신을 수락하는, 즉, 사용자로부터 영상 통신 요청을 수신하는 경우일 수 있다. 다양한 실시 예들에서 제2 전자 장치(6220)는 사용자의 입력이 없더라도 특정 조건(예: 사용자의 설정 혹은 소정의 응답 대기 시간의 경과 감지 중 하나 이상)에 따라, 수락(acceptance), 거절(rejection), 또는 상태(state))을 제1 전자 장치(6210)에 전송할 수 있다.
동작 6717에서, 제어부(580)는 전자 장치(500)의 상태를 원격 장치(예: 제1 전자 장치(6210))에 선택적으로 전송할 수 있다. 다양한 실시 예들에 따라, 동작 6717은 수행하지 않을 수도 있다. 한 실시 예에 따르면, 전자 장치(500)의 상태가 동작 6707의 상태와 같은(동일한) 상태일 시 동작 6717은 수행하지 않을 수 있다. 한 실시 예에 따르면, 전자 장치(500)의 상태가 동작 6707의 상태와 다른 상태일 시 동작 6717을 수행할 수 있다.
동작 6719에서, 제어부(580)는 영상 통신 요청 수신에 대한 수락에 응답하여, 원격 장치(예: 제1 전자 장치(6210))에 영상 통신 요청에 대한 수락 응답을 전송할 수 있다.
동작 6721에서, 제어부(580)는 원격 장치(예: 제1 전자 장치(6210))와 영상 통신 연결을 형성할 수 있다.
동작 6723에서, 제어부(580)는 영상 통신 시작(start) 또는 영상 통신 재개(resume)를 수행할 수 있고, 관련 상태(예: 연결 상태) 표시를 수행할 수 있다. 예를 들어, 제어부(580)는 영상 인코딩 및 인코딩된 영상을 표시 및 전송하도록 할 수 있다.
동작 6709에서, 제어부(580)는 영상 통화를 위한 전자 장치(500)의 상태 변화(예: Distance > threshold 1 or open position motion)가 대응하지 않으면(동작 6709의 아니오), 동작 6731에서, 거리가 제2 임계값 보다 작은지, 또는 전자 장치(500)가 이어 포지션 모션(at ear position motion)에 대응하는지 판단할 수 있다. 예를 들면, 제어부(580)는 전자 장치(500)의 상태 변화를 감지하고, 상태 변화가 음성 통화를 시작 또는 재개하기 위한 상태 변화에 대응하는지 판단할 수 있다. 한 실시 예에 따르면, 제어부(580)는 감지하는 결과에 기반하여 통화 모드 변화(예: 영상 통화 모드에서 음성 통화 모드로 전환)를 감지할 수 있다.
동작 6731에서, 제어부(580)는 전자 장치(500)의 상태 변화가 음성 통화를 위한 상태 변화(예: Distance < threshold 2 or at ear position motion)에 대응하지 않으면(동작 6731의 아니오), 동작 6703으로 진행하여, 동작 6703 이하의 동작 수행을 처리할 수 있다.
동작 6731에서, 제어부(580)는 전자 장치(500)의 상태 변화가 음성 통화를 위한 상태 변화(예: Distance < threshold 2 or at ear position motion)에 대응하면(동작 6731의 예), 동작 6733에서, 영상 수신 유지 상태인지 여부를 판단할 수 있다.
동작 6733에서, 제어부(580)는 영상 수신 유지 상태가 아닌 것을 판단하면(동작 6733의 아니오), 동작 6703으로 진행하여, 동작 6703 이하의 동작 수행을 처리할 수 있다.
동작 6733에서, 제어부(580)는 영상 수신 유지 상태인 것을 판단하면(동작 6733의 예), 동작 6735에서, 영상 수신 유지 상태인 것에 응답하여 영상 일시 정지(pause)를 제어(요청)할 수 있다. 예를 들면, 제어부(580)는 수신되는 영상의 디코딩 중지, 수신 중지 또는 디스플레이 오프 등에 의해 일시 정지 기능을 제어할 수 있다. 다양한 실시 예들에서, 일시 정지 시 영상 통신 연결은 유지될 수 있다.
동작 6737에서, 제어부(580)는 영상 통신 연결 종료 요청이 있는지 여부를 판단할 수 있다.
동작 6737에서, 제어부(580)는 영상 통신 연결 종료 요청이 없는 경우(동작 6737의 아니오), 동작 6703으로 진행하여, 동작 6703 이하의 동작 수행을 처리할 수 있다.
동작 6737에서, 제어부(580)는 영상 통신 연결 종료 요청이 있는 경우(동작 6737의 예), 동작 6739에서, 영상 통신 연결을 종료하는 요청에 응답하여 영상 통신 연결을 종료할 수 있다.
이하에서, 도 66 및 도 67을 참조하여 살펴본 바와 같은, 전자 장치(500)에서 음성 통화 중 사용자의 통신 모드 변화에 대응하여, 영상 서비스를 처리하는 구체적인 예시를 살펴보기로 한다.
다양한 실시 예들에 따르면, 영상을 발신하는 제1 전자 장치(6210)와 영상을 수신하는 제2 전자 장치(6220)는 제스처 및 포즈에 기반하여 영상 송수신을 처리할 수 있다. 예를 들면, 도 66 및 도 67을 참조한 설명 부분에서 설명한 바와 같이, 제1 전자 장치(6210)와 제2 전자 장치(6220)는 음성 통화 중 영상 통신을 수행하기 위한 의도를 파악하고, 그 결과에 따라 영상 통신을 시작하거나 재개하는 동작을 수행할 수 있다.
다양한 실시 예들에 따르면, 제1 전자 장치(6210)는 근접 센서를 통하여 제1 전자 장치(6210)와 물체(예: 사용자의 얼굴) 간 거리를 판단하고, 모션 센서(예: 가속도 센서, 지자기 센서 등)를 통한 모션이나 전자 장치의 포즈(예: 3차원적인 pitch, yaw, roll 기반 정보 등)를 기반으로 전자 장치의 상태를 이어 모드(at ear mode)와 오픈 포지션 모드(open position mode)로 판단할 수 있다. 다양한 실시 예들에서, 이어 모드는 전자 장치가 사용자의 귀 근처에 위치한 모드를 나타낼 수 있고, 오픈 포지션 모드는 이어 모드 외에 다른 모드(예: 사용자가 전자 장치의 디스플레이를 주시하는 경우나 바닥에 내려놓은 경우 등)를 나타낼 수 있다.
다양한 실시 예들에 따르면, 제1 전자 장치(6210)의 근접 센서에 의해 물체(예: 사용자의 얼굴)와의 거리가 제1 임계값 보다 멀고, 모션 센서에 의해 움직임이 감지되면서 거리가 더 멀어지는 것으로 판단되면, 영상 통화 모드로 판단할 수 있다.
다양한 실시 예들에 따르면, 제1 전자 장치(6210)의 근접 센서에 의해 물체(예: 사용자의 얼굴)와의 거리가 제2 임계값 보다 가깝고, 모션 센서에 의해 움직임이 감지되면서 물체와 거리가 더 가까워지는 것이 감지되면, 영상 통신 불능(disable) 모드로 판단할 수 있다.
다양한 실시 예들에 따르면, 이어 모드 또는 오픈 포지션 모드의 조건이 만족되지 않으면, 현재 상태 모드를 유지하거나 모드 상태가 변환 중이라는 메시지를 제1 전자 장치(6210)에 표시하거나, 또는 제2 전자 장치(6220)에 전송할 수도 있다.
다양한 실시 예들에 따르면, 전자 장치(500)는 영상 통화 모드로 전환 감지 시, 제1 전자 장치(6210)와 제2 전자 장치(6220) 모두 동일한 영상 통신 어플리케이션인지 또는 동일한 모듈(예: package)을 사용하는지 확인하는 과정을 더 포함할 수 있다.
다양한 실시 예들에 따르면, 전자 장치(500)는 원격 장치의 제어 신호(control signal)를 상호 교환할 수도 있다.
다양한 실시 예들에 따르면, 어플리케이션 ID와 제어 신호를 이용하여 특정한 어플리케이션의 제어가 가능할 수 있다.
다양한 실시 예들에서, 사용자의 제스처 또는 포즈를 인식하는 방법은 다음을 포함할 수 있다.
한 실시 예에 따르면, 전자 장치를 뒤집는 동작을 통해 동작할 카메라를 식별할 수 있다. 예를 들면, 근접 센서를 통해 전자 장치가 바닥에 놓여 있음을 인지한 경우, 복수 개의 카메라가 내장된 전자 장치를 뒤집는 동작을 카메라 또는 모션 센서를 통해 인식하고, 바닥이 아닌 반대 방향을 지향하는 카메라를 탐지하여 영상 통화 모드 시 이를 동작시킬 수 있다.
한 실시 예에 따르면, 전자 장치의 근접 센서, 광학 센서 중 하나 이상을 이용한 얼굴, 귀, 손, 물체 위치 인식을 수행하고, 근접한 물체가 귀인지 또는 얼굴의 앞면인지 등을 판별하여 영상 통화 모드의 구동 여부를 결정할 수 있다.
한 실시 예에 따르면, 모션이 감지되고, 물체가 전자 장치의 후면에 소정 거리 영역으로 근접하는 경우, 후면을 지향하는 카메라를 구동할 수 있다. 추가적으로, 다양한 실시 예들에 따르면, 후면 근접도에 따라 줌 인과 줌 아웃 기능을 수행할 수도 있다.
한 실시 예에 따르면, 전자 장치의 가스 센서를 이용한 포즈 인식 또는 얼굴 위치 인식, 및 근접도 체크 동작을 수행할 수도 있다. 예를 들면, 전자 장치가 사용자의 입 근처에 근접 시 구취를 가스 센서로 측정함으로써, 전자 장치가 얼굴에 근접한 상태임을 판단할 수 있다.
다양한 실시 예들에 따르면, 거리 기반 모드 인식에 의한 기능을 제공할 수 있다.
한 실시 예에 따르면, 제1 전자 장치(6210) 사용자의 전면 근접도에 따른 기능을 분별할 수 있다. 한 실시 예에 따라, 최 근접도의 경우, 음성 모드(voice mode), 카메라 대기 모드(camera standby mode), 일시 정지 모드(pause mode), 비밀 통화 모드, 또는 수신자 모드(receiver mode)로 판별할 수 있다. 한 실시 예에 따라, 중간 근접도의 경우, 움직임에 따른 영상 모드(video mode) 전환, 카메라 동작 모드 전환, 프리뷰 모드, 비화모드 해제, 또는 스피커 모드 등의 동작 여부를 판별할 수 있다. 한 실시 예에 따라, 원거리 근접도의 경우, 영상 모드, 비화모드 해제, 또는 스피커 모드 등의 동작 여부를 판별할 수 있다.
한 실시 예에 따르면, 제2 전자 장치(6220) 사용자의 전면 근접도에 따른 기능 분별할 수 있다. 한 실시 예에 따라, 최 근접도의 경우, 음성 모드, 카메라 대기 모드, 일시 정지 모드, 비밀 통화 모드, 또는 수신자 모드로 판별할 수 있다. 한 실시 예에 따라, 중간 근접도의 경우, 움직임에 따른 영상 모드 전환, 카메라 동작 모드, 프리뷰 모드, 비화모드 해제, 스피커 모드 등의 동작 여부를 판별할 수 있다. 한 실시 예에 따라, 원거리 근접도의 경우, 영상 모드로 판별할 수 있다.
한 실시 예에 따르면, 동일한 움직임에 대해서도, 영상을 발신하는 전자 장치와 영상을 수신하는 전자 장치에 따라 다른 기능을 제공할 수도 있다.
다양한 실시 예들에 따르면, 다양한 제어 모드에서 사용자 제스처 또는 포인 인식에 따른 다양한 기능을 제공할 수 있다.
한 실시 예에 따르면, 영상 송수신 모드에서 이용될 수 있다. 예를 들면, 제1 전자 장치가, 물체와 거리가 멀어지고, 물체와 소정 이상 거리에 위치하는 경우 영상 통신 관련 유저 인터페이스를 활성화 할 수 있다. 다른 예를 들면, 영상 송수신 통신 중 전면의 근접도에 따라서 소정 거리 미만인 경우 음성 통화 모드, 대기 모드, 일시 정지 모드, 비밀 통화 모드, 또는 리시버 모드를 구분하여 제공할 수 있다. 다른 예를 들면, Non-video 통신 중 전면 근접도가 소정 거리 미만인 경우, 영상 요청(video request) 시 사운드, 진동, 광(light) 신호 등을 통해 노티를 발생할 수 있고, 웨어러블 장치를 통해 노티를 발생할 수도 있다.
한 실시 예에 따르면, 줌(zoom) 모드에서 이용될 수 있다. 예를 들면, 제1 전자 장치의 액션에 따른 제1 전자 장치의 카메라를 제어할 수 있다. 일 예로, 후면 방향의 근접도 또는 제스처에 따른 줌 기능을 제공할 수 있다. 다른 예를 들면, 제2 전자 장치의 액션에 따른 제1 전자 장치의 카메라를 제어할 수 있다. 일 예로, 전면 방향의 근접도 또는 제스처에 따른 줌 제어 명령을 제1 전자 장치에 전송할 수 있다.
한 실시 예에 따르면, ROI(Region of Interesting) 지정에서 이용될 수 있다. 예를 들면, 전자 장치의 움직임이 멈춘 상태에서 일정 방향 또는 일정 영역을 카메라가 집중하는 경우, 또는 유저 인터페이스로 지정을 감지하는 경우에 카메라로 입력된 일정 영역을 ROI로 설정할 수 있다. 예를 들면, 해당 ROI 영역을 기반으로 자동 초점(auto focusing), 자동 노출(auto exposure), 원근 교정(perspective correction), 해당 영역의 bit rate 상승 등을 통한 화질 개선 등을 수행할 수 있다. 다른 예를 들면, 자동 증강 현실(AR, augmented reality) 정보 제공 기능, 예를 들면, 이미지 인식 및 관련 정보를 제공할 수 있다. 다른 예를 들면, 자동 캡쳐(auto capture)를 제공할 수 있다. 일 예로, 일정 시간 경과 후 자동 캡쳐(고해상도), 또는 스틸 샷/영상(still shot/video) 녹화 유저 인터페이스를 발생할 수 있다.
도 68A 및 도 68B는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 동작 예시를 설명하기 위해 도시하는 도면들이다.
다양한 실시 예들에 따르면, 영상 서비스를 수행할 때, 스트리밍 영상을 일시 정지하여, 정지된 화면을 공유할 수 있으며, 정지된 화면에 기초하여 추가적인 인터랙션(interaction)을 제공할 수 있다. 다양한 실시 예들에서, 정지된 화면에서 수행 가능한 인터랙션으로는, 예를 들면, 해당 화면의 특정 부분을 강조하는 포인팅(pointing) 등과 같이 여러 주석(annotation)을 삽입하는 인터랙션 등이 포함될 수 있다. 이러한 동작 예시가, 도 68A, 도 68B, 도 69A 및 도 69B에 도시된다.
도 68A 및 도 68B에 도시한 바와 같이, 영상을 전송하는 제1 전자 장치에서, 영상을 전송하는 도중, 제1 전자 장치나 또는 영상을 수신하는 제2 전자 장치에서는 포인터(pointer) 버튼(6810)을 제공할 수 있다. 다양한 실시 예들에서, 포인터 버튼(6810)과 그에 의한 포인터 모드(또는 포인팅 기능)는 제1 전자 장치와 제2 전자 장치 모두에서 실행 할 수 있다.
제1 전자 장치 또는 제2 전자 장치는, 포인터 버튼(6810)에 의한 사용자 입력(예: 터치, 탭)에 대응하여, 스트리밍 영상의 일시 정지하고, 정지된 화면을 표시할 수 있다. 다양한 실시 예들에 따르면, 정지된 화면을 표시할 때 자동으로 프리뷰 영역의 일 영역에 별도의 이미지(예: 포인터(6850))를 제공할 수 있다. 다양한 실시 예들에 따르면, 정지된 화면이 표시된 후 프리뷰 영역 상에 사용자 입력(예: 터치)가 감지되면, 대응하는 부분에 포인터(6850)를 제공할 수 있다.
다양한 실시 예들에 따르면, 포인터(6850)를 표시(또는 포인터 모드 활성화)하는 경우, 기능 영역에서, 포인터 버튼(6810)을 제외한 다른 버튼(예: 레코드(record) 버튼(6830)) 등은 딤(dim) 처리하여 표시하거나, 화면 상에서 표시하지 않도록 할 수도 있다.
도 68A 및 도 68B를 참조하면, 제1 전자 장치의 사용자는 포인터 버튼(6810)을 선택하여 프리뷰 영역에 표시되는 동영상(또는 카메라를 통해 획득하는 실시간으로 표시되는 프리뷰 이미지, 스트리밍 영상)을 일시 정지할 수 있다. 제1 전자 장치에서 포인터 버튼(6810)을 통하여 동영상을 일시 정지할 경우, 제2 전자 장치에서도 프리뷰 영역의 동영상이 정지되어 표시될 수 있다. 한 실시 예에 따르면, 영상이 일시 정지된 상태에서, 사용자는 포인터 버튼(6810)을 다시 선택하여, 일시 정지된 영상 대신 동영상(예: 스트리밍 영상)을 표시하도록 할 수 있다. 제1 전자 장치는 포인터 버튼(6810)이 다시 선택될 경우, 영상 통신을 재개할 수 있고, 정지된 영상을 다시 동영상으로 하여, 제2 전자 장치에 전송할 수 있고, 제2 전자 장치에서도 자동으로 정지된 영상에서 동영상으로 변경하여 표시할 수 있다.
한 실시 예에 따르면, 사용자는 포인터 버튼(6810)을 통해 동영상을 일시 정지하고, 프리뷰 영역 중 일부를 터치하여, 대응되는 위치에 특정 형태의 아이콘(이하, 포인터)(6850)을 표시하도록 할 수 있다. 다른 한 실시 예에 따르면, 전자 장치는 포인터 버튼(6810)에 의한 사용자 입력에 따라 동영상을 일시 정지할 때 포인터(6850)를 자동으로 표시하여 제공할 수도 있다.
다양한 실시 예들에 따르면, 포인터 버튼(6810)에 의한 포인터 모드 실행에, 추가적으로 또는 대체적으로, 프리뷰 영역에 영상이 동영상으로 표시되는 상태(예: 영상 전송 중인 상태)에서 특정 사용자 입력(예: long press input)에 따라 자동으로 영상을 일시 정지하고, 포인터 모드로 자동 진입하여 사용자 입력에 대응되는 위치(예: long press된 위치)에 포인터(6850)를 표시할 수도 있다.
다양한 실시 예들에 따르면, 제1 전자 장치에서 포인터(6850)를 표시할 때, 제2 전자 장치에서도 포인터(6850)를 표시할 수 있다. 한 실시 예에 따르면, 어느 한쪽의 전자 장치에서 포인터 모드 활성화(예: 기능 on) 또는 포인터(6850) 표시를 수행하면, 다른 한쪽의 전자 장치에서도 자동으로 포인터 모드 활성화 또는 포인터(6850)를 표시할 수 있다. 한 실시 예에 따르면, 어느 한쪽의 전자 장치에서 포인터 모드 비활성화(예: 기능 off) 또는 포인터(6850) 제거를 수행하면, 다른 한쪽의 전자 장치에서도 자동으로 포인터 모드 비활성화 또는 포인터(6850)를 제거할 수 있다.
다양한 실시 예들에 따르면, 포인터(6850)이 표시된 상태에서, 다른 일 영역을 터치할 경우에는, 영상이 재개(resume) 되며, 표시된 포인터(6850)는 화면 상에서 사라질 수 있다. 다양한 실시 예들에 따르면, 영상이 일시 정지된 상태에서 포인터(6850)의 표시 위치만 다른 영역(예: 사용자 입력에 대응하는 영역)으로 변경되어 대응 위치에 바로 표시될 수 있다. 다양한 실시 예들에 따르면, 화면을 연속적으로 터치(또는 드래그)할 경우에는 포인터(6850)의 이동 궤적을 화면 상에 표시할 수 있다. 이러한 경우에도, 영상이 재개(resume) 되는 경우에는 표시된 모든 포인터(6850)와 궤적은 영상 재개(resume)와 동시에 사라질 수 있다.
다양한 실시 예들에 따르면, 포인터(6850)의 위치를 이동할 수 있다. 한 실시 예에 따르면, 포인터(6850)가 표시된 상태에서, 사용자는 포인터(6850)를 선택(예: 터치)한 후 다른 위치로 이동(예: 드래그)하는 입력에 의해 포인터(6850)의 위치 이동을 수행할 수도 있다. 다른 한 실시 예에 따르면, 포인터(6850)가 표시된 상태에서, 사용자는 포인터(6850)과 인접된 영역(예: 프리뷰 영역에서 포인터(6850)이 표시되지 않은 다른 일 영역)을 터치한 후 다른 위치로 이동하는 입력에 의해 포인터(6850)의 위치 이동을 수행할 수도 있다. 다른 한 실시 예에 따르면, 포인터(6850)가 표시된 상태에서, 사용자는 프리뷰 영역에서 포인터(6850)를 이동하고자 하는 위치에 설정된 입력에 의해 포인터(6850)의 위치 이동을 수행할 수도 있다.
도 69A 및 도 69B는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 동작 예시를 설명하기 위해 도시하는 도면들이다.
도 69A 및 도 69B에 도시한 바와 같이, 도 69A 및 도 69B는 전술한 도 68A 및 도 68B를 참조한 설명 부분에서 설명한 바에 대응하는 동작을 포함할 수 있다. 예를 들면, 도 69A 및 도 69B에 도시된 포인터 버튼(6910) 및 포인터(6930, 6950)에 관련된 동작(예: 포인터 모드 진입, 포인터 표시/숨김, 이동, 영상 일시 정지, 사용자 입력에 따른 포인터 모드 자동 진입 등의 동작)은, 도 68A 및 도 68B에 도시된 포인터 버튼(6810) 및 포인터(6850)를 참조한 설명 부분에서 설명한 바에 대응할 수 있다.
도 69A 및 도 69B를 참조하면, 도 69A 및 도 69B는 다중 사용자들에 대응하는 복수의 포인터들을 표시하는 예시를 나타낼 수 있다.
다양한 실시 예들에 따르면, 포인터(6930, 6950)는 영상을 발신하는 제1 전자 장치와 영상을 수신하는 제2 전자 장치에서 독립적으로 온/오프(on/off) 제어할 수 있다.
다양한 실시 예들에 따르면, 포인터를 입력 또는 포인팅 모드를 실행하는 주체에 따라 다른 모양, 다른 크기, 또는 다른 색 등을 가지는 각각의 포인터들(6930, 6950)을 표시하여 제공할 수 있다.
다양한 실시 예들에 따르면, 제1 전자 장치에 의해 실행하는 포인터(6930)와 제2 전자 장치에 의해 실행하는 포인터(6950)는 서로 다른 모양, 다른 크기, 또는 다른 색으로 구분하여 제공할 수 있다. 다양한 실시 예들에서, 제1 전자 장치와 제2 전자 장치에서 보여지는 포인터(6930, 6950)는 동일한 형태를 가질 수도 있다.
한 실시 예에 따르면, 제1 전자 장치에 의해 실행하는 포인터(6930)는 하얀색 포인터로 표시할 수 있고, 제2 전자 장치에 의해 실행하는 포인터(6950)는 검은색 포인터로 표시할 수 있다.
한 실시 예에 따르면, 제1 전자 장치에 의해 실행하는 포인터(6930)는 손 모양 포인터로 표시할 수 있고, 제2 전자 장치에 의해 실행하는 포인터(6950)는 화살표 모양 포인터로 표시할 수 있다.
다양한 실시 예들에 따르면, 제1 전자 장치와 제2 전자 장치에서, 해당 사용자에 의한 포인터(6930, 6950)와 상대 사용자에 의한 포인터(6950, 6930)는 서로 다른 모양, 다른 크기, 또는 다른 색으로 구분하여 제공할 수 있다. 예를 들면, 각 전자 장치가 자신에 의해 실행하는 포인터는 하얀색 포인터로 표시하고, 상대에 의해 실행하는 포인터는 검은색 포인터로 표시할 수 있다. 다양한 실시 예들에서, 제1 전자 장치와 제2 전자 장치에서 보여지는 포인터는 다른 형태를 가질 수 있다.
한 실시 예에 따르면, 제1 전자 장치에 의해 실행하는 포인터(6930)는 제1 전자 장치에서 하얀색 포인터로 표시될 수 있고, 제2 전자 장치에서 검은색 포인터로 표시될 수 있고, 제2 전자 장치에 의해 실행하는 포인터(6950)는 제1 전자 장치에서 검은색 포인터로 표시될 수 있다.
한 실시 예에 따르면, 제2 전자 장치에 의해 실행하는 포인터(6950)는 제1 전자 장치에서 검은색 포인터로 표시될 수 있고, 제2 전자 장치에서 하얀색 포인터로 표시될 수 있고, 제1 전자 장치에 의해 실행하는 포인터(6930)는 제2 전자 장치에서 검은색 포인터로 표시될 수 있다.
다양한 실시 예들에 따르면, 제1 전자 장치 또는 제2 전자 장치는 포인터 실행 후, 화면 터치에 응답하여, 제1 전자 장치 및 제2 전자 장치는 해당 위치에 포인터를 표시할 수 있다.
다양한 실시 예들에 따르면, 제1 전자 장치 또는 제2 전자 장치는 포인터 모드에서 포인터 사용 중에도 레코딩(recording)을 정상 동작 할 수 있다. 예를 들면, 미디어 풋프린트 서비스를 제공할 수 있고, 레코딩 시 포인터를 포함하여 레코딩 할 수 있다.
도 70은 본 발명의 다양한 실시 예들에 따른 전자 장치들에서 영상 서비스를 수행하는 방법을 설명하기 위해 도시하는 도면이다.
도 70에 도시한 바와 같이, 도 70은 전자 장치에서 영상 일시 정지 및 포인팅 모드를 처리하는 동작 예시를 나타낼 수 있다. 예를 들면, 도 70은 전자 장치들 간의 일시 정지를 처리하는 동작 예시를 나타낼 수 있다.
도 70을 참조하면, 동작 7001에서, 제1 전자 장치(7010)는, 인코딩된 영상을 제2 전자 장치(7020)에 전송할 수 있다. 다양한 실시 예들에 따라, 제1 전자 장치(7010)는 인코딩된 영상을 전송할 때, 구동 중인 카메라의 종류에 대한 정보(예: 카메라 ID)를 제2 전자 장치(7020)에 제공할 수도 있다.
동작 7003에서, 제2 전자 장치(7020)는, 제1 전자 장치(7010)로부터 수신하는 인코딩된 영상을 디코딩하여 표시할 수 있다. 다양한 실시 예들에서, 영상 서비스에 복수 개의 카메라 ID들이 사용되는 경우, 각각의 카메라 ID들에 대응하는 복수 개의 영상 데이터들을 디코딩하여, 최소 하나 이상 표시할 수 있다. 다양한 실시 예들에서, 복수 개의 영상들을 표시할 경우에는 PIP, PBP, Overlap, 혹은 Overlay 방식으로 표시 가능하다.
동작 7005에서, 제2 전자 장치(7020)는, 영상의 일시 정지를 위한 사용자 입력을 감지할 수 있다. 한 실시 예에 따르면, 제2 전자 장치(7020)는, 사용자에 의해 long press input을 감지할 시 일시 정지로 판단할 수 있다. 한 실시 예에 따르면, 제2 전자 장치(7020)는, 포인터 버튼에 의한 사용자 입력을 감지할 시 일시 정지로 판단할 수 있다. 한 실시 예에 따르면, 제2 전자 장치(7020)는, 일정 세기 이상의 압력을 감지할 시 일시 정지로 판단할 수 있다. 다양한 실시 예들에 따라, 제2 전자 장치(7020)는 사용자 입력에 응답하여 포인터 모드를 실행 및 포인터를 표시할 수 있다. 다양한 실시 예들에 따르면, 사용자 입력(예: 포인터 버튼, 터치, 압력 등)에 의해 일시 정지할 영상에 대응하는 카메라 ID를 판단할 수 있다.
동작 7007에서, 제2 전자 장치(7020)는, 제1 전자 장치(7010)에 영상의 일시 정지 요청을 전송할 수 있다. 다양한 실시 예들에 따르면, 제2 전자 장치(7020)는 일시 정지 요청과 함께 제2 전자 장치(7020)의 포인터의 위치 및/또는 카메라 ID를 포함하는 일시 정지 명령을 제1 전자 장치(7010)에 전송할 수 있다.
동작 7009에서, 제1 전자 장치(7010)는, 제2 전자 장치(7020)로부터 일시 정지 명령을 수신할 수 있다. 다양한 실시 예들에서, 일시 정지 명령은 클라이언트의 UI를 제어하는데 사용될 수도 있고, 네트워크 관리 모듈을 통해 미디어 프로세스 관리 모듈에 전달됨으로써, 카메라, 인코딩, 혹은 전송 등을 제어하는데 사용될 수도 있다.
동작 7011에서, 제1 전자 장치(7010)는, 레코딩의 계속 여부를 판단할 수 있다.
동작 7011에서, 제1 전자 장치(7010)는, 레코딩의 계속이 아닌 것으로 판단하면(동작 7011의 아니오)(예: 레코딩 종료), 동작 7013에서, 영상의 캡쳐(capturing) 동작을 중지하고, 동작 7015로 진행할 수 있다.
동작 7011에서, 제1 전자 장치(7010)는, 레코딩의 계속인 것으로 판단하면(동작 7011의 예), 동작 7015에서, 일시 정지 영상 생성 및 표시 후, 제1 전자 장치(7010)에서 표시되는 디스플레이 상의 이미지를 계속 레코딩할 수 있다. 예를 들면, 카메라에 의한 실시간 영상의 레코딩이 아니라, 일시 정지 영상 및 이를 기반으로 제1 전자 장치(7010)와 제2 전자 장치(7020)에서 사용자 입력에 의해 제어되는 포인팅 제어와 관련하여 제1 전자 장치(7010)의 디스플레이 상에 표시되는 영상을 계속 레코딩할 수 있다.
다른 실시 예에 따르면, 제1 전자 장치(7010)는, 레코딩의 계속인 것으로 판단하면(동작 7011의 예), 동작 7015에서, 일시 정지 영상 생성 및 표시 후, 카메라를 통해 수신한 동영상을 계속 레코딩할 수도 있다.
동작 7017에서, 제1 전자 장치(7010)는, 일시 정지 영상 또는 일시 정지 요청(예: 제어 신호)을 제2 전자 장치(7020)에 전송할 수 있다. 다양한 실시 예들에 따르면, 제1 전자 장치(7010)는 일시 정지 요청을 전송할 때, 일시 정지에 관련된 시간 정보(예: 일시 정지가 수행된 시간, 또는 일시 정지 영상이 생성된 시간 등)를 제2 전자 장치(7020)에 전송할 수도 있다.
동작 7019에서, 제1 전자 장치(7010)는, 동작 7011에서 레코딩 유지 시, 인코딩된 영상과, 카메라 ID를 제2 전자 장치(7020)에 실시간 전송할 수도 있다. 다양한 실시 예들에 따라, 제1 전자 장치(7010)는, 레코딩 전송을 유지하지 않는 경우(예: 레코딩 종료 시, 혹은 자동 혹은 유저 인터페이스에 의해 레코딩 전송 중지 요청 시), 동작 7019는 수행하지 않을 수도 있다.
동작 7021에서, 제2 전자 장치(7020)는, 일시 정지 영상을 표시할 수 있다. 한 실시 예에 따르면, 제2 전자 장치(7020)는 제1 전자 장치(7010)로부터 일시 정지 영상을 수신하는 것에 응답하여, 수신된 일시 정지 영상을 표시할 수 있다. 한 실시 예에 따르면, 제2 전자 장치(7020)는 일시 정지 영상을 생성하여 표시할 수도 있다. 예를 들면, 제2 전자 장치(7020)는 제1 전자 장치(7010)로부터 일시 정지 요청을 수신하는 것에 응답하여, 영상을 일시 정지(예: 디코딩 중지 등)할 수 있다. 한 실시 예에 따르면, 제2 전자 장치(7020)는 제1 전자 장치(7010)로부터 수신된 동영상에서 시간 정보에 대응하는 영상(예: 추출한 프레임 이미지 혹은 스틸 이미지)을 일시 정지 영상으로 생성하여 제공할 수 있다.
동작 7023에서, 제2 전자 장치(7020)는, 선택적으로, 포인팅 요청(pointing request)을 제1 전자 장치(7010)에 전송할 수 있다. 다양한 실시 예들에 따르면, 제2 전자 장치(7020)는 포인팅 요청과 함께 포인터의 위치 및/또는 카메라 ID를 포함하여 제1 전자 장치(7010)에 전송할 수 있다.
동작 7025에서, 제1 전자 장치(7010)는, 제2 전자 장치(7020)로부터 포인팅 요청 수신에 응답하여, 포인터를 표시하도록 동작 할 수 있다. 다양한 실시 예들에 따라, 제1 전자 장치(7010)는 제1 전자 장치(7010) 또는 제2 전자 장치(7020) 중 적어도 하나에 포인터를 표시하도록 동작 할 수 있다.
동작 7027에서, 제1 전자 장치(7010)는 제1 전자 장치(7010)에 표시되는 포인터의 위치에 대한 위치 정보를 제2 전자 장치(7020)에 전송할 수 있다.
동작 7029에서, 제2 전자 장치(7020)는 일시 정지 영상에 포인터를 표시하여 제공할 수 있다. 다양한 실시 예들에 따라, 제2 전자 장치(7020)는, 일시 정지 영상에서, 제1 전자 장치(7010)로부터 수신된 포인터의 위치 정보에 대응하는 위치에 포인터를 표시할 수 있다.
이상에서 살펴본 바와 같이, 다양한 실시 예들에 따르면, 전자 장치들 간에 공유하는 영상에 포인터 인디케이터(pointer indicator)(예: 아이콘 등)를 표시하여 사용자에게 제공할 수 있다.
한 실시 예에 따르면, 사용자 별(또는 전자 장치 별)로 고유의 포인터 인디케이터(예: 전자 장치 별로 기 설정된 고유 아이콘, 이모티콘 등)로 구분하여 제공할 수 있다.
한 실시 예에 따르면, 포인터 인디케이터가 표시된 상태에서, 포인터 인디케이터를 생성하기 위해 입력된 위치(예: 터치 또는 탭 되는 위치)와 동일한 위치에 재입력(예: 터치 또는 탭)에 응답하여 표시된 포인터 인디케이터를 제거할 수도 있다. 예를 들면, 포인터 인디케이터가 표시된 위치를 선택하면, 해당 포인터 인디케이터 표시가 제거될 수도 있다. 다양한 실시 예들에 따르면, 듀얼 카메라 뷰 모드를 제공할 수 있다. 한 실시 예에 따르면, 영상을 일시 정지 할 카메라 ID를 지정(식별)하여, 해당 카메라 입력만 중지할 수 있다. 한 실시 예에 따르면, 영상을 전송하는 전자 장치에서는, 듀얼 카메라 뷰 모드에 따라 각 카메라로부터의 영상을 합성 이미지(composite image)로 생성하여 전송하거나, 또는 각 카메라의 영상을 각각 독립적으로 전송할 수 있다.
다양한 실시 예들에 따르면, 영상을 일시 정지하는 일시 정지 모드에서, 포인터 모드 또는 줌 모드를 제공할 수 있다. 한 실시 예에 따르면, 일시 정지 모드에서, 사용자 입력(예: 아이콘 기반, 제스처 기반 등)에 의해 포인터 모드 또는 줌 모드를 구분할 수 있다. 한 실시 예에 따르면, 일시 정지 모드에서 포인터 모드 실행인 경우, 일시 정지 영상에 포인터를 부가하여 표시할 수 있다. 한 실시 예에 따르면, 일시 정지 모드에서 줌 모드 실행인 경우, 이미지 프로세싱 및 카메라 제어 동작을 수행할 수 있다.
다양한 실시 예들에 따르면, 줌 모드에서 상대방의 줌 영역에 대한 정보를 수신 및 표시할 수 있다. 한 실시 예에 따르면, 상대 전자 장치 또는 상대 전자 장치의 사용자에 의해 지정된 ROI 또는 줌 영역 관련 정보(예: 위치, 범위, 선택된 물체 등)를 수신하여, 지정된 ROI 또는 줌 영역에 기반하여 해당 영역과 관련한 인디게이터를 디스플레이에 표시할 수 있다. 한 실시 예에 따르면, 줌 인(zoom-in) 동작 시, 줌 인의 해당 영역에 대해, 예를 들면, 재캡쳐(recapture), 해당 블록(block)에 대한 품질(quality) 향상, 또는 bitrate 등을 고려하여 영상 처리를 수행할 수 있다. 예를 들면, 해당 ROI 영역이 지정되고, 해당 영역에 대한 줌 인 동작 시, 해당 영역의 이미지의 영상 처리를 위해 ROI의 이미지 픽셀값이나 ROI와 카메라 간 거리 정보에 기반하여 카메라의 해상도 변경이나 자동 포커스, 자동 노출(exposure) 기능을 수행함으로써, 더 좋은 품질의 영상을 획득할 수 있다. 예를 들면, ROI를 기반으로 이미지 프로세서나 네트워크 관리 모듈을 제어함으로써, 이미지 인코딩 및 전송 품질(예: 코덱, 비트레이트, 프레임레이트, drop rate 등)을 제어 할 수 있다.
다양한 실시 예들에 따르면, 일시 정지 모드에서 전자 장치 및 네트워크 제어를 수행할 수 있다. 한 실시 예에 따르면, 카메라 동작 중지 시, 카메라는 대기 모드(standby mode)로 진입한 후, 일정 시간 경과에 따라 다른 모드(예: 카메라 파워 오프(camera power off) 모드)로 진입할 수 있다. 한 실시 예에 따르면, P2P 연결(connection)을 위한 네트워크와, 예를 들면, 실시간으로 음성이나 영상을 송수신하기 위한 RTSP(real-time streaming protocol) 세션(session)을 유지하도록 동작할 수 있다.
도 71은 본 발명의 다양한 실시 예들에 따른 전자 장치들에서 영상 서비스를 수행하는 방법을 설명하기 위해 도시하는 도면이다.
도 71에 도시한 바와 같이, 도 71은 전자 장치에서 실시간 영상과 일시 정지 영상을 동시에 표시하기 위해 처리하는 동작 예시를 나타낼 수 있다. 예를 들면, 도 71은 전자 장치들 간의 일시 정지 및 포인팅을 처리하는 동작 예시를 나타낼 수 있다.
도 71을 참조하면, 동작 7101에서, 제2 전자 장치(7120)는, 일시 정지 요청을 제1 전자 장치(7110)에 전송할 수 있다. 다양한 실시 예들에 따르면, 제2 전자 장치(7120)는 일시 정지 요청과 함께 제2 전자 장치(7120)의 포인터의 위치 및/또는 카메라 ID를 포함하는 일시 정지 명령을 제1 전자 장치(7110)에 전송할 수 있다.
동작 7103에서, 제1 전자 장치(7110)는, 제2 전자 장치(7120)로부터 일시 정지 요청을 수신할 수 있다.
동작 7105에서, 제1 전자 장치(7110)는, 일시 정지 영상을 생성할 수 있다.
동작 7107에서, 제1 전자 장치(7110)는, 일시 정지 영상과 실시간 영상에 기반하여 합성 이미지(composite image)를 생성할 수 있다.
동작 7109에서, 제1 전자 장치(7110)는, 합성 이미지를 표시할 수 있다. 예를 들면, 제1 전자 장치(7110)는 일시 정지 영상과 실시간 영상이 합성된 영상을 프리뷰 영역에 표시할 수 있다.
동작 7111에서, 제1 전자 장치(7110)는 일시 정지 영상, 일시 정지 요청, 또는 합성 이미지 중 적어도 하나를 제2 전자 장치(7120)에 전송할 수 있다. 다양한 실시 예들에 따르면, 제1 전자 장치(7110)는 일시 정지 요청을 전송할 때, 일시 정지에 관련된 시간 정보(예: 일시 정지가 수행된 시간, 또는 일시 정지 영상이 생성된 시간 등)를 제2 전자 장치(7120)에 전송할 수도 있다.
동작 7113에서, 제1 전자 장치(7110)는, 레코딩 유지 시, 인코딩된 영상과, 카메라 ID를 제2 전자 장치(7120)에 전송할 수도 있다. 다양한 실시 예들에 따라, 제1 전자 장치(7110)는, 레코딩을 유지하지 않는 경우(예: 레코딩 종료 시), 동작 7113은 수행하지 않을 수도 있다.
동작 7115에서, 제2 전자 장치(7120)는, 일시 정지 영상 또는 합성 이미지 중 적어도 하나를 생성할 수 있다. 예를 들면, 제2 전자 장치(7120)는 제1 전자 장치(7110)로부터 일시 정지 요청을 수신하는 것에 응답하여, 영상을 일시 정지(예: 디코딩 중지 등)할 수 있다. 한 실시 예에 따르면, 제2 전자 장치(7120)는 제1 전자 장치(7110)로부터 수신된 시간 정보에 대응하는 영상으로 일시 정지 영상을 생성할 수 있다. 한 실시 예에 따르면, 제2 전자 장치(7120)는 생성된 일시 정지 영상과 실시간 영상을 합성하여 합성 이미지를 생성할 수 있다. 다양한 실시 예들에 따라, 제2 전자 장치(7120)는, 만약, 제1 전자 장치(7110)로부터 일시 정지 영상 또는 합성 이미지 중 적어도 하나를 수신하는 경우, 동작 7115는 수행하지 않을 수도 있다.
동작 7117에서, 제2 전자 장치(7120)는, 일시 정지 영상 또는 합성 이미지 중 적어도 하나를 표시할 수 있다. 한 실시 예에 따르면, 제2 전자 장치(7120)는 제1 전자 장치(7110)로부터 일시 정지 영상을 수신하는 것에 응답하여, 수신된 일시 정지 영상을 표시할 수 있다. 한 실시 예에 따르면, 제2 전자 장치(7120)는 제1 전자 장치(7110)로부터 합성 이미지를 수신하는 것에 응답하여, 수신된 합성 이미지를 표시할 수 있다.
동작 7119에서, 제2 전자 장치(7120)는, 선택적으로, 포인팅 요청(pointing request)을 제1 전자 장치(7110)에 전송할 수 있다. 다양한 실시 예들에 따르면, 제2 전자 장치(7120)는 포인팅 요청과 함께 포인터의 위치 및/또는 카메라 ID를 포함하여 제1 전자 장치(7110)에 전송할 수 있다.
동작 7121에서, 제1 전자 장치(7110)는, 제2 전자 장치(7120)로부터 포인팅 요청 수신에 응답하여, 포인터를 표시하도록 동작 할 수 있다. 다양한 실시 예들에 따라, 제1 전자 장치(7110)는 제1 전자 장치(7110) 또는 제2 전자 장치(7120) 중 적어도 하나에 포인터를 표시하도록 동작 할 수 있다.
동작 7123에서, 제1 전자 장치(7110)는 제1 전자 장치(7110)에 표시되는 포인터의 위치에 대한 위치 정보를 제2 전자 장치(7120)에 전송할 수 있다.
동작 7125에서, 제2 전자 장치(7120)는 일시 정지 영상에 포인터를 표시하여 제공할 수 있다. 다양한 실시 예들에 따라, 제2 전자 장치(7120)는, 일시 정지 영상에서, 제1 전자 장치(7110)로부터 수신된 포인터의 위치 정보에 대응하는 위치에 포인터를 표시할 수 있다.
이상에서 살펴본 바와 같이, 다양한 실시 예들에 따르면, 실시간 영상과 일시 정지 영상을 동시에 표시하여 사용자에게 제공할 수 있다.
다양한 실시 예들에 따르면, 영상 레코딩(video recording)의 경우 녹화되는 영상에 대해 사전 검토(previewing)를 수행할 수도 있다. 한 실시 예에 따르면, 일시 정지 영상으로, 사용자 조작 중 촬영/녹화되고 있는 프리뷰 영상을 백그라운드(background)에 보여줌으로써 실시간 녹화 상황을 조회 가능하도록 할 수 있다.
다양한 실시 예들에 따르면, 포인팅 또는 줌 등의 기능을 수행할 경우, 현재 입력되는 뷰(view)와 일시 정지된 영상의 뷰를 대조할 수 있다. 한 실시 예에 따르면, 사용자가 이전에 본 상품과 현재 보이는 상품을 비교하거나, 또는 사용자가 포인팅한 물체와 현재 프리뷰 상 물체를 대조하여 현 위치를 파악할 수도 있다.
다양한 실시 예들에 따르면, 일시 정지된 영상 상의 포인팅 위치의 물체를 ROI로 지정하여, 현재 보이는 프리뷰 상의 물체에 대해 이미지 처리를 수행할 수 있다.
다양한 실시 예들에 따르면, 일시 정지 영상과 실시간 영상을 제공하는 방법으로, 영상을 전송하는 제1 전자 장치에서, 영상 인코더(video encoder)를 통해 합성 이미지(composite image)를 생성하여 영상을 수신하는 제2 전자 장치에 전달할 수 있다.
다양한 실시 예들에 따르면, 일시 정지 영상과 실시간 영상을 제공하는 방법으로, 제1 전자 장치와 제2 전자 장치에서, 일시 정지된 명령만 수신하여 일시 정지 영상을 생성하고, 각 전자 장치들에서 합성 이미지를 생성하여 표시할 수도 있다.
다양한 실시 예들에 따르면, 일시 정지 영상과 실시간 영상을 제공하는 방법으로, 프리뷰 되는 영상과 일시 정지 영상을 각각 다른 영상 레이어(video layer)에서 처리하여, 투명도를 이용한 오버레이(overlay) 형태로 독립적인 처리를 통해 제공할 수 있다. 한 실시 예에 따르면, video layer + paused image layer + control GUI layer와 같은 형태로 처리할 수 있다.
다양한 실시 예들에 따르면, 일시 정지 영상에 가해진 입력을 프리뷰에 적용할 수 있다. 한 실시 예에 따르면, 일시 정지 영상에서 선택을 통해 지정된 얼굴이 프리뷰 영상에 표시되는 경우, 자동 추적하거나 또는 자동 블러링(blurring)을 처리할 수 있다.
다양한 실시 예들에 따르면, 증강 현실(AR)을 제공할 수 있다. 한 실시 예에 따르면, Indoor 3D map과 일시 정지 영상을 이용한 매칭과 같이 3차원 매핑(3D mapping)을 제공할 수 있다.
도 72 및 도 73은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 동작 예시를 설명하기 위해 도시하는 도면들이다.
도 72 및 도 73에 도시한 바와 같이, 도 72 및 도 73은 전자 장치들 간에 일시 정지 모드 및 포인터 모드에서 수행하는 동작 예시를 나타낼 수 있다. 다양한 실시 예들에 따라, 도 72 및 도 73에서는, 영상을 전송하는 제1 전자 장치(7210)에서 영상을 수신하는 제2 전자 장치(7220)에 영상을 전송하는 중에, 제2 전자 장치(7220)에서 사용자 입력에 기반하여, 일시 정지 모드 및 그에 응답하여 포인터 모드를 실행하는 경우의 예시를 나타낼 수 있다. 다양한 실시 예들에 따르면, 제1 전자 장치(7210)의 사용자에 의해서도 일시 정지 모드 및 그에 응답하여 포인터 모드를 실행할 수도 있다.
도 72를 참조하면, 제2 전자 장치(7220)는 영상을 제1 전자 장치(7210)로부터 수신하는 중에, 일시 정지 모드로 진입하는 설정된 사용자 입력(7230)(예: tap, touch 등)을 감지할 수 있다. 한 실시 예에 따르면, 사용자는 일시 정지를 위해 제1 프리뷰 영역(7270)의 영상 스트림 상에 tap(7230)을 수행할 수 있다. 제2 전자 장치(7220)는 사용자 입력에 응답하여, 영상 스트림을 일시 정지하도록 제1 전자 장치(7210)에 요청할 수 있다. 다양한 실시 예들에 따르면, 제1 전자 장치(7210)와 제2 전자 장치(7220) 모두 스트리밍이 중지될 수 있다.
다양한 실시 예들에 따르면, 일시 정지 모드 진입은, 제스처 인식, 음성 명령 인식, 사용자 상황 인식 등 적어도 하나에 의해서도 수행될 수 있음은 물론이다.
다양한 실시 예들에 따르면, 제1 전자 장치(7210)는 제2 전자 장치(7220)의 영상 일시 정지 요청에 응답하여, 일시 정지 영상 및 관련 정보 표시 및 전송을 처리할 수 있다.
제1 전자 장치(7210)는 제1 프리뷰 영역(7270)을 통해 일시 정지 영상을 표시할 수 있고, 제2 전자 장치(7220)에 일시 정지 영상을 전송할 수 있다. 한 실시 예에 따르면, 제1 전자 장치(7210)는 일시 정지 요청과 그 관련 시간 정보를 제2 전자 장치에(7220)에 전송할 수도 있다. 제2 전자 장치(7220)는 제1 전자 장치(7210)로부터 수신된 일시 정지 영상 또는 관련 시간 정보에 기반하여 일시 정지 영상을 표시할 수 있다.
제1 전자 장치(7210)는 제2 프리뷰 영역(7285)을 통해 일시 정지 상태임을 가이드 할 수 있다. 예를 들면, 제1 전자 장치(7120)는 제2 프리뷰 영역(7285) 상에 "Streaming paused" 정보를 표시하여 사용자에게 제공할 수 있다.
제2 전자 장치(7220)는 제1 전자 장치(7210)로부터 일시 정지 영상 수신에 대응하여, 제1 프리뷰 영역(7270)을 통해 일시 정지 영상을 표시할 수 있다. 한 실시 예에 따르면, 제2 전자 장치(7220)는 제1 전자 장치(7210)로부터 일시 정지 요청을 수신하는 경우, 제2 전자 장치(7220)에 저장된 영상으로, 수신된 시간 정보에 기초하여 제1 전자 장치(7210)의 일시 정지 영상과 동일하거나 유사한 일시 정지 영상을 생성하여, 제1 프리뷰 영역(7270)을 통해 표시할 수 있다.
제2 전자 장치(7220)를 제1 프리뷰 영역(7270)에 일시 정지 영상을 표시하면서, 제2 프리뷰 영역(7280)을 통해 일시 정지 상태임을 가이드 할 수 있다. 예를 들면, 제2 전자 장치(7220)는 제2 프리뷰 영역(7280) 상에 "Streaming paused" 정보를 표시하여 사용자에게 제공할 수 있다.
다양한 실시 예들에 따르면, 제1 전자 장치(7210)의 사용자는, 스트리밍이 일시 정지된 상태에서, 제1 프리뷰 영역(7270) 상에서 사용자 입력을 통해 스트리밍을 재개할 수 있다. 다양한 실시 예들에 따라, 스트리밍 재개는 제2 전자 장치(7220)의 사용자에 의해서도 수행될 수도 있다. 제1 전자 장치(7210)는 사용자의 입력 또는 제2 전자 장치(7220)의 입력에 응답하여, 스트리밍 영상(예: 동영상) 표시 및 영상 전송을 재개할 수 있다.
도 73을 참조하면, 제1 전자 장치(7210)는 일시 정지 모드에서, 포인터 모드로 진입하는 설정된 사용자 입력(예: long press input(또는 long press gesture)) 또는 제2 전자 장치(7220)로부터 포인터 모드 진입 요청을 감지할 수 있다. 한 실시 예에 따르면, 제2 전자 장치(7220)의 사용자는 포인터 모드 진입을 위해 제1 프리뷰 영역(7270)의 일시 정지 영상 상에 long press input을 수행할 수 있다. 제2 전자 장치(7220)는 사용자 입력에 응답하여, 포인터 모드로 진입하도록 제1 전자 장치(7210)에 요청할 수 있다. 제1 전자 장치(7210)는 사용자 입력 또는 제2 전자 장치(7220)의 요청에 응답하여, 포인터 모드로 진입하고 제1 프리뷰 영역(7275)의 어느 일 영역에 포인터(7250)를 표시할 수 있고, 포인터 관련 정보를 제2 전자 장치(7220)에 전송할 수 있다. 제2 전자 장치(7220)는 제1 전자 장치(7210)로부터 수신된 포인터 관련 정보에 기반하여 제1 프리뷰 영역(7270)의 어느 일 영역에 포인터(7240)를 표시할 수 있다.
다양한 실시 예들에 따르면, 제1 전자 장치(7210)와 제2 전자 장치(7220) 모두 포인터(7240)가 표시될 수 있다. 예를 들면, 제2 전자 장치(7220)는 제1 전자 장치(7210)의 제1 프리뷰 영역(7275)에서 포인터(7250)가 표시된 위치에 대응하는 제1 프리뷰 영역(7270)의 위치에 포인터(7240)를 표시할 수 있다.
한 실시 예에 따르면, 포인터(7240, 7250)는 사용자 입력에 대응하는 위치에 표시될 수 있다. 예를 들면, 한 실시 예에 따르면, 포인터(7240, 7250)는 사용자 지정 영역(예: 일시 정지 영상 상에서 특정 물체)에 표시될 수 있다. 한 실시 예에 따르면, 포인터(7240, 7250)는 사용자 입력에 대응하는 위치와 인접된 위치(예: 사용자 입력 위치의 상단 위치)에 표시되거나, 또는 제1 프리뷰 영역(7270, 7275)의 임의의 영역에 표시될 수도 있다.
다양한 실시 예들에 따르면, 포인터 모드 진입은 제1 전자 장치(7210) 또는 제2 전자 장치(7220) 중 적어도 하나에서 수행될 수 있고, 제1 전자 장치(720)와 제2 전자 장치(7220)에서 각각의 포인터들을 생성하여 프리뷰 영역(7270, 7275)에 복수의 포인터들을 표시하여 제공할 수도 있다. 다양한 실시 예들에 따라, 복수의 포인터들을 표시할 시, 해당 포인터를 생성하는 주체(예: 제1 전자 장치(7210), 제2 전자 장치(7220))에 따라 각 주체 별로 다른 모양 또는 다른 색상으로 구분하여 표시할 수 있다. 다양한 실시 예들에 따라, 복수의 포인터들은 각 전자 장치에서 자신의 포인터와 상대방의 포인터를 다른 모양 또는 다른 색상으로 구분하여 표시할 수도 있다.
다양한 실시 예들에 따르면, 포인터 모드에서, 제1 전자 장치(7120) 또는 제2 전자 장치(7220) 중 적어도 하나에 의해, 영상을 저장하는 설정된 사용자 입력(예: 메뉴, 제스처, 음성 명령, 탭, 터치 등)을 감지할 수 있다. 한 실시 예에 따르면, 해당 사용자는 현재 표시되는 영상을 저장하기 위해 프리뷰 영역의 포인터(예: 7240 또는 7250) 상에 탭을 수행할 수 있다. 예를 들면, 사용자는 일시 정지 영상에서 특정 물체에 포인터를 지정한 상태에서 영상 저장을 수행할 수 있다. 다른 한 실시 예에 따르면, 사용자는 영상을 저장하는 메뉴 또는 제스처에 기반한 사용자 입력에 의해 영상을 저장할 수도 있다.
다양한 실시 예들에 따라, 제1 전자 장치(7210) 및 제2 전자 장치(7220)는 사용자 입력에 응답하여, 프리뷰 영역에 표시된 화면을 캡쳐(예: screen shot)하여 저장할 수 있다. 다양한 실시 예들에 따르면, 캡쳐된 영상은, 일시 정지 영상과 포인터를 포함하는 영상일 수 있고, 제1 전자 장치(7210)와 제2 전자 장치(7220) 각각에 공통적으로 저장될 수 있다.
다양한 실시 예들에 따르면, 제1 전자 장치(7210) 및/또는 제2 전자 장치(7220)는 영상을 저장하고, 자동으로, 또는 사용자 입력에 기반하여 캡쳐된 영상(7260)을 표시하여 제공할 수 있다.
다양한 실시 예들에 따르면, 제1 전자 장치(7210) 및/또는 제2 전자 장치(7220)는 캡쳐된 영상을 저장하거나, 저장된 이미지 목록 화면에서 보여줄 중요도 표시(예: 별 아이콘 선택)하고, 공유(예: DLNA, AllShare, BT 아이콘 활용)하고, 편집(예: 연필 아이콘)하고, 또는 삭제(예: 휴지통 아이콘)할 수 있다.
도 74 및 도 75는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 동작 예시를 설명하기 위해 도시하는 도면들이다.
도 74 및 도 75를 참조하면, 도 74 및 도 75는 전자 장치에서 포인팅 앤 캡쳐링(pointing & capturing)을 수행하는 동작 예시를 나타낼 수 있다. 다양한 실시 예들에 따르면, 실시간 영상 또는 일시 정지된 영상에서 사용자 입력(예: long press input)으로 포인팅 기능이 실행될 수 있다.
도 74의 (A)에 도시한 바와 같이, 사용자는 실시간 영상 또는 일시 정지된 영상에서 사용자 입력(예: TSP 터치)에 의해 물체 위치를 지정할 수 있다. 또는 전자 장치의 영상을 수신하는 카메라 앞에 손가락 끝(fingertip)을 인식하도록 하고, 전자 장치는 촬영되는 이미지에서 손가락 끝 이미지를 분석하고, 분석된 이미지와 일시 정지된 영상을 비교하여 손가락 끝에 대응하는 해당 물체 위치를 지정할 수 있다. 예를 들면, 전자 장치는 후면 카메라로 가방이 포함된 영상을 수신하고, 사용자는 후면 카메라와 가방 사이에 손가락 끝을 위치시켜서 지정된 가방 이미지를 지정할 수 있다.
도 74의 (B)에 도시한 바와 같이, 전자 장치는 포인팅 기능 실행에 응답하여, 사용자 입력이 발생한 위치의 이미지 오브젝트 영역을 추출할 수 있다. 예를 들면, 전자 장치는 사용자에 의해 지정된 물체 위치에 대응하는 물체 영역 추출을 수행할 수 있다. 한 실시 예에 따르면, 전자 장치는 미디어 프로세서를 통해 에지(edge) 추출, 깊이(depth) 기반 오브젝트 추출, 또는 색상 기반 영역 추출 등을 수행하여 일시 정지된 영상에서 이미지 오브젝트 영역을 추출할 수 있다.
도 74의 (C)에 도시한 바와 같이, 전자 장치는 추출한 이미지 오브젝트 영역에 기반하여 영상 및/또는 스틸 이미지로 저장할 수 있다. 다양한 실시 예들에 따르면, 전자 장치는 추출된 이미지 오브젝트 영역의 태그 정보와 함께 영상 및/또는 스틸 이미지를 저장할 수 있다. 다양한 실시 예들에서, 줌 기능이 수행된 경우(예: Zoom-in) 원시 이미지/프레임(raw image/frame)을 이용할 수도 있다. 한 실시 예에 따르면, 전자 장치는 미디어 프로세서에 의해 카메라, 인코더, 크기 제어부(예: 리사이저(resizer)), 이미지 프로세스 모듈, 네트워크부 등을 제어하여 영상 처리를 수행할 수 있다.
다양한 실시 예들에 따르면, 포인팅 위치에 기반하여 이미지 오브젝트 영역을 ROI(Region of Interest)로 설정하고, 영상 화질 개선을 위한 동작을 수행할 수 있다. 예를 들면, 노출, 선명도, 또는 포커스 등을 조정할 수 있다. 한 실시 예에 따르면, 광학 또는 디지털 줌(zoom)을 통해 이미지 오브젝트 영역을 캡쳐할 수도 있다. 한 실시 예에 따르면, 카메라 센서를 이용한 가능한 최대 해상도 이미지를 기반으로 해당 이미지 오브젝트 영역을 저장할 수도 있다.
도 75의 (D)에 도시한 바와 같이, 전자 장치는 저장한 이미지 오브젝트 영역과 관련한 이미지나 영상(이하, 스냅샷 영상)을 디스플레이의 일부에 표시할 수 있다. 다양한 실시 예들에서, 이미지 오브젝트 영역은 디스플레이에 표시된 영상(이하, 실물 영상)과는 독립적으로, 오버레이, PBP, 또는 PIP 등으로 표시할 수 있다.
도 75의 (E)에 도시한 바와 같이, 전자 장치는 표시된 스냅샷 영상을 사용자 입력에 의해 확대, 축소 또는 이동할 수 있다. 다양한 실시 예들에 따르면, 포인팅 앤 캡쳐링(pointing & capturing)을 통해, 사용자는 스냅샷 영상을 이용하여 물체(예: 물건) 비교 등에 이용할 수 있다.
도 75의 (F)에 도시한 바와 같이, 전자 장치는 포인팅 앤 캡쳐링 기능의 반복 수행에 응답하여, 디스플레이 상에 복수의 스냅샷 영상들을 순차적으로 표시하여 제공할 수 있다. 예를 들면, 전자 장치는 썸네일 영역(7410)과 실물 영역(7420)으로 구분하여 표시할 수 있고, 썸네일 영역(7410)에 이전에 ROI로 설정되어 저장했던 이미지 오브젝트 영역들을 저장한 순서(또는 역순)에 기초하여 표시하고, 실물 영역(7420)에 실물 영상을 표시할 수 있다.
다양한 실시 예들에 따르면, 영상을 수신하는 제2 전자 장치에 의해 수행하는 경우, 제2 전자 장치는 해당 포인팅 위치 또는 ROI 정보를, 영상을 전송하는 제1 전자 장치에 제어 신호로서 전달하고, 제1 전자 장치는 미디어 프로세서의 제어에 의해 전술한 바에 대응하는 동일한 기능을 수행할 수 있다.
도 76 및 도 77은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 동작 예시를 설명하기 위해 도시하는 도면들이다.
도 76 및 도 77을 참조하면, 도 76 및 도 77은 전자 장치에서 레코딩 앤 포인팅(recording & pointing)을 수행하는 동작 예시를 나타낼 수 있다. 다양한 실시 예들에 따르면, 레코딩 앤 포인팅은, 실시간 영상을 녹화하는 경우에 포인팅 기능 구동 시 이를 캡쳐하고, 이의 인디케이터(indicator)를 녹화되는 영상의 프로그래스바(progress bar)에 표시하여 녹화된 위치를 인덱스(index)화 하는 기능을 나타낼 수 있다. 다양한 실시 예들에 따르면, 전자 장치는 레코딩 앤 포인팅을 위한, 유저 인터페이스를 통해 영상 녹화 버튼(7650)을 표시하여 사용자에게 제공할 수 있다.
다양한 실시 예들에 따르면, 영상 서비스 중에, 영상을 발신하는 전자 장치의 사용자 또는 영상을 수신하는 전자 장치의 사용자가 영상 녹화를 원하고, 또한 일시 정지 앤 포인팅 기능을 원할 경우, 해당 사용자가 포인팅한 영역을 캡쳐 및 재생하여 제공할 수 있다.
도 76의 (A)에 도시한 바와 같이, 사용자는 영상 녹화 버튼(7650)을 통해 현재 실시간 송수신되는 영상 또는 오디오를 녹화할 수 있다.
도 76의 (B)에 도시한 바와 같이, 전자 장치는 영상 녹화 버튼(7650)에 의한 입력을 감지 할 시 프로그래스바(7750)를 유저 인터페이스의 일 영역에 표시하여 사용자에게 제공할 수 있다.
다양한 실시 예들에 따르면, 전자 장치는 녹화를 수행할 시 영상 녹화 버튼(7650)을 통해 녹화 상태임을 사용자에게 알릴 수 있다. 예를 들면, 영상 녹화 버튼(7650)의 색상을 변경하여 표시하거나, 영상 녹화 버튼(7650)의 형태를 변경하여 표시할 수 있다.
다양한 실시 예들에 따르면, 프로그래스바(7750)를 통해, 최대 녹화 가능 시간을 함께 표시할 수도 있다. 다양한 실시 예들에서, 최대 녹화 가능 시간은 설정을 통해 미리 지정된 시간이거나, 또는 메모리나 배터리 잔량에 기반하여 시간을 계산하여 자동 제공할 수도 있다.
다양한 실시 예들에 따르면, 녹화가 진행됨에 따라 현재까지 누적된 녹화 시간을 프로그래스바(7750)에 인디케이터(예: 슬라이더 등)로 표시할 수 있다.
도 76의 (C)에 도시한 바와 같이, 녹화가 진행되는 중에, 사용자는 사용자 입력(예: 터치)을 통해, 영상의 특정 물체의 위치를 지정하거나, 또는 카메라 앞에서 손가락 제스처(예: fingertip)를 통해 특정 물체의 위치를 지정할 수 있다. 한 실시 예에 따르면, 전자 장치는 손가락 제스처를 분석하고 영상에서 해당 물체의 위치를 지정할 수 있다.
다양한 실시 예들에 따르면, 전자 장치는 녹화가 진행되는 중에, 화면에서 특정 위치에 대한 포인팅이 발생하거나, 또는 ROI(Region of Interest) 설정이 발생하면, 해당 포인팅이나 ROI와 연관된 이미지 오브젝트 영역을 추출할 수 있다.
다양한 실시 예들에 따르면, 전자 장치는 추출한 이미지 오브젝트 영역을 영상 및/또는 스틸 이미지로 저장할 수 있다. 다양한 실시 예들에 따르면, 전자 장치는 추출된 이미지 오브젝트 영역의 태그 정보와 함께 영상 및/또는 스틸 이미지를 저장할 수 있다. 다양한 실시 예들에서, 줌 기능이 수행된 경우(예: Zoom-in) 원시 이미지/프레임(raw image/frame)을 이용할 수도 있다. 한 실시 예에 따르면, 전자 장치는 미디어 프로세서에 의해 카메라, 인코더, 크기 제어부(예: 리사이저(resizer)), 이미지 프로세스 모듈, 네트워크부 등을 제어하여 영상 처리를 수행할 수 있다.
다양한 실시 예들에 따르면, 포인팅 위치에 기반하여 이미지 오브젝트 영역을 ROI(Region of Interest)로 설정하고, 영상 화질 개선을 위한 동작을 수행할 수 있다. 예를 들면, 노출, 선명도, 또는 포커스 등을 조정할 수 있다. 이를 위해, 전자 장치는 깊이(depth)에 기반한 물체와 카메라 간 근접도를 계산하여 ROI를 설정할 수도 있다. 예를 들면, 물체가 부분적으로 겹쳐서 디스플레이에 표시되는 경우에도 겹친 물체 중 원하는 물체를 거리 기반으로 영역을 판별할 수 있다. 한 실시 예에 따르면, 광학 또는 디지털 줌(zoom)을 통해 이미지 오브젝트 영역을 캡쳐하거나 녹화할 수도 있다.
도 77의 (D)에 도시한 바와 같이, 전자 장치는 저장한 이미지 오브젝트 영역과 관련한 이미지나 영상(7710)을 프로그래스바(7750)의 일부에 오버레이로 표시하여 제공할 수 있다. 한 실시 예에 따르면, 전자 장치는 이미지나 영상(7710)을 PBP, PIP, thumbnail 등으로 표시 할 수 있다.
도 77의 (E)에 도시한 바와 같이, 전자 장치는 이미지나 영상(7710)을 기호나 도형을 이용한 인디케이터/마커(indicator/marker)(7770) 형태(예: 손 모양, 화살표 등)로 프로그래스바(7750)에 표시할 수 있고, 사용자 입력에 의해 확대 및 조회가 가능하도록 제공할 수 있다. 한 실시 예에 따르면, 사용자는 프로그래스바(7750)에 표시된 마커(marker)(7770)의 이동이나, 또는 썸네일(thumbnail)(7710)의 선택을 통해 캡쳐된 이미지 조회(예: 확대 또는 축소), 또는 해당 부분을 재생하여 표시할 수 있다. 다양한 실시 예들에 따르면, 레코딩 앤 포인팅을 통해, 사용자는 물건 비교 등에 이용할 수 있다.
도 77의 (F)에 도시한 바와 같이, 전자 장치는 레코딩 앤 포인팅(recording & pointing) 기능의 반복 수행에 응답하여, 프로그래스바(7750)의 여러 영역에 관련 이미지나 영상(7710)을 순차적으로 표시하여 제공할 수 있다. 예를 들면, 전자 장치는 실물 영역(7610)과 프로그래스바 영역(7620)으로 구분하여 표시할 수 있고, 실물 영역(7610)에 실물 영상을 표시하고, 프로그래스바 영역(7620)의 프로그래스바(7750)를 통해 복수의 관련 이미지나 영상을 순차적으로 표시할 수 있다.
다양한 실시 예들에 따르면, 사용자는 관심 물품이 녹화된 위치의 영상을 검색 및 조회가 용이하며, 저장된 관련 이미지나 영상(예: 캡쳐 이미지)의 확대를 통해 상세 조회가 가능할 수 있다.
다양한 실시 예들에 따르면, 영상을 수신하는 제2 전자 장치에 의해 수행하는 경우, 제2 전자 장치는 해당 포인팅 위치 또는 ROI 정보를, 영상을 전송하는 제1 전자 장치에 제어 신호로서 전달하고, 제1 전자 장치는 미디어 프로세서의 제어에 의해 전술한 바에 대응하는 동일한 기능을 수행할 수 있다.
이상에서 살펴본 바와 같이, 본 발명의 다양한 실시 예들에 따른 전자 장치(500)는, 다른 전자 장치와 제1 네트워크에 기반하여 음성 통화(voice call)를 수행하는 과정, 상기 다른 전자 장치와 음성 통화를 수행하는 동안, 상기 다른 전자 장치와 영상 통화(video call)를 수행하기 위한 사용자 입력을 감지하는 과정, 상기 사용자 입력에 대응하여, 제2 네트워크에 기반하여 상기 영상 통화 연결 및 디스플레이 상에 상기 영상 통화와 관련된 유저 인터페이스를 표시하는 과정, 및 상기 유저 인터페이스를 통해 카메라를 통해 획득하는 영상을 표시 및 상기 표시하는 영상을 상기 제2 네트워크를 통해 상기 다른 전자 장치에 전송하는 과정을 포함할 수 있다.
다양한 실시 예들에 따라, 상기 제1 네트워크와 제2 네트워크는, 동일한 네트워크이거나, 또는 서로 다른 네트워크를 포함할 수 있다. 다양한 실시 예들에 따르면, 서비스 연결 시, 음성과 영상은 서로 다른 네트워크들을 이용할 수 있고, 또는 음성과 영상은 서로 동일한 네트워크를 이용할 수도 있다. 한 실시 예에 따르면, 음성이 셀롤러 통신 프로토콜 중 패킷 스위칭을 이용하는 경우, 영상 또는 셀룰러 통신 프로토콜의 패킷 스위칭을 이용하여 전송될 수 있다. 다른 한 실시 예에 따르면, 음성과 영상이 동일한 네트워크를 이용하도록 전환된 경우, 음성에 사용하던 통신의 연결을 종료하거나, 또는 최소한의 연결만 유지하다가, 이후에 영상 종료(예: 서비스 연결 종료) 시 다시 음성 통화에 사용하도록 할 수도 있다. 다른 한 실시 예에 따르면, 최소한의 연결만 유지된 제1 네트워크는, 영상 통신 종료 이후, 자동으로 음성 통화를 지원하도록 할 수도 있다.
다양한 실시 예들에 따라, 상기 사용자 입력은, 상기 전자 장치의 포즈(pose) 상태 변화, 근접(proximity) 상태 변화, 제스처 입력, 상황 인지 또는 음성 명령 입력을 포함할 수 있다.
다양한 실시 예들에 따라, 상기 사용자 입력은, 상기 다른 전자 장치로부터 상기 제2 네트워크를 통해 수신하는 상태 변화 신호를 포함할 수 있다.
다양한 실시 예들에 따라, 상기 사용자 입력을 감지하는 과정은, 상기 사용자 입력을 모니터링 하고, 상기 사용자 입력의 변화에 대응하여 통화 모드를 전환하는 과정을 포함할 수 있다.
다양한 실시 예들에 따라, 상기 전환하는 과정은, 상기 통화 모드를 전환하고, 상기 통화 모드 전환에 따라 상기 다른 전자 장치에 영상 통화 연결, 또는 영상 통화 연결 종료를 요청하는 과정을 포함할 수 있다.
다양한 실시 예들에 따라, 상기 영상 통화 연결은, 음성 통화 모드에 의해 상기 다른 전자 장치와 음성 통화를 유지하는 상태에서, 상기 사용자 입력에 따라 영상 통화 모드로 전환하는 과정, 상기 음성 통화를 유지하는 상태에서 상기 영상 통화 모드에 따른 영상 통화를 처리하는 과정을 포함할 수 있다.
다양한 실시 예들에 따라, 상기 유저 인터페이스를 표시하는 과정은, 상기 전자 장치의 영상 통화 모드로 전환을 감지하는 과정, 상기 다른 전자 장치의 통화 모드에 대한 정보를 상기 디스플레이에 표시된 상기 유저 인터페이스를 통해 표시하는 과정을 포함할 수 있다.
다양한 실시 예들에 따라, 상기 유저 인터페이스를 표시하는 과정은, 상기 영상 통화 모드에서, 상기 유저 인터페이스 상에 부가 기능 실행과 관련된 적어도 하나의 객체를 표시하는 과정을 포함할 수 있다.
다양한 실시 예들에 따라, 상기 객체 또는 상기 유저 인터페이스 상에 기능 실행과 관련된 사용자 입력을 감지하는 과정, 사용자 입력에 대응하여 카메라 전환, 영상 일시 중지(pause), 포인팅(pointing), 주밍(zooming), 캡쳐(capture), 또는 녹화(record) 중 적어도 하나를 처리하는 과정을 포함할 수 있다.
다양한 실시 예들에 따라, 상기 포인팅을 처리하는 과정은, 상기 영상 통화 모드에서, 제1 입력에 따라 영상을 일시 정지하는 과정, 제2 입력에 따라 포인터를 일시 정지된 영상에 표시하는 과정을 포함할 수 있다.
다양한 실시 예들에 따라, 상기 제1 입력 및 상기 제2 입력은, 상기 전자 장치 또는 상기 다른 전자 장치 중 적어도 하나에 의한 입력을 포함할 수 있다.
다양한 실시 예들에 따라, 영상이 일시 정지된 상태에서, 제3 입력에 응답하여 일시 정지된 영상을 재개하는 과정을 포함할 수 있다.
다양한 실시 예들에 따라, 상기 유저 인터페이스를 표시하는 과정은, 상기 유저 인터페이스를 통해 상기 다른 전자 장치와 영상 통화의 가능 여부에 대한 인디케이션(indication)을 표시하는 과정을 포함할 수 있다.
다양한 실시 예들에 따라, 상기 인디케이션을 표시하는 과정은, 상기 다른 전자 장치와 상기 영상 통화의 가능 여부를 모니터링 하는 과정, 상기 다른 전자 장치와 영상 통화의 가능 여부에 따라, 상기 인디케이션을 변경하여 표시하는 과정을 포함할 수 있다.
다양한 실시 예들에 따라, 상기 영상 통화의 가능 여부는, 상기 음성 통화 중에 상기 다른 전자 장치의 영상 통화 가능 여부를 판단하는 과정을 포함할 수 있다.
다양한 실시 예들에 따라, 영상 통화 모드로 전환을 판단하면, 상기 다른 전자 장치에 영상을 전송하기 이전에, 상기 전자 장치와 상기 다른 전자 장치의 능력(capability) 또는 상태 정보에 기반하여 영상 통화 가능 여부를 판단하는 과정을 포함할 수 있다.
다양한 실시 예들에 따라, 상기 판단하는 결과에 기반하여, 영상 통화가 가능한 경우, 상기 인디케이션을 활성화 표시하고, 영상 통화가 불가능한 경우, 상기 인디케이션을 비활성화 표시하는 것을 포함할 수 있다.
다양한 실시 예들에 따라, 영상 통화 모드 전환 시, 카메라의 파워 모드를 카메라 구동 모드 또는 카메라 대기 모드로 전환하는 과정을 포함할 수 있다.
다양한 실시 예들에 따라, 상기 다른 전자 장치는, 상기 전자 장치와 음성 통화 중에 사용자 입력을 감지하면, 영상 통화 모드로 전환하고, 상기 전자 장치로부터 전송된 영상을 상기 제2 네트워크를 통해 수신하여 표시하는 과정을 포함할 수 있다.
다양한 실시 예들에 따라, 상기 다른 전자 장치는, 상기 전자 장치에 의해 영상 통화 모드가 요청될 시 자동으로 영상 수신을 허락하고, 상기 전자 장치로부터 전송된 영상을 자동 수신하는 것을 포함할 수 있다.
도 78은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 동작 예시를 설명하기 위해 도시하는 도면이다.
도 78에 도시한 바와 같이, 도 78은 다양한 실시 예들에서, 네트워크 변화에 따른 동작 시나리오의 예시를 나타낼 수 있다.
도 78을 참조하면, 전자 장치(500)는 이동성(mobility)을 가질 수 있다. 전자 장치(500)는 이동성을 가짐에 따라 전자 장치(500)이 사용하는 네트워크가 변화될 수 있다. 한 실시 예에 따르면, 전자 장치(500)가 4G Network(7820)(예: LTE 등)에 접속하여 있다가, 4G Network(7820)의 커버리지(coverage)를 벗어나서 3G Network(7810)(예: WCDMA, HSPA 등)의 커버리지로 이동(진입)하여 3G Network(7810)에 연결될 수 있다. 한 실시 예에 따르면, 전자 장치(500)가 4G Network(7820)(예: LTE 등)에 접속하여 있다가, 4G Network(7820)의 커버리지(Coverage)를 벗어나서 Wi-Fi Network(7830)의 커버리지로 이동(진입)하여 Wi-Fi Network(7830)에 연결될 수 있다.
한 실시 예에 따르면, 전자 장치(500)와 네트워크 간 연결에는 일정한 시간이 소요될 수 있다. 예를 들면, Wi-Fi의 경우 만약 미리 스캔(scan)을 수행해 두지 않은 경우, Scan, Authentication, Association(L2 layer 연결), DHCP(L3 layer 연결) 등의 과정이 순차적으로 일어나며, 대략 2 ~ 3초가 소요될 수 있다. 다른 예를 들면, LTE의 경우에서도 유사하며, 네트워크 환경에 따라 2 ~ 5초가 소요될 수 있다.
다양한 실시 예들에 따르면, 전자 장치(500)의 이동에 따라 접속 네트워크가 변경되고, 접속 네트워크의 특성에 따라 영상 통화 어플리케이션에 제공되는 통신 파이프 품질(예: bandwidth, delay characteristics 등)이 달라질 수 있다.
다양한 실시 예들에 따르면, 전자 장치(500)의 네트워크 관련 모듈(예: Network Component)은, 전술한 바와 같은 변화를 영상 통화 어플리케이션에게 알려줄 수 있다. 영상 통화 어플리케이션은 사용자에게 접속 네트워크의 변화를 알려줄 수 있다. 예를 들면, 영상 통화 어플리케이션은 message 제공, icon 제공, image 제공 등에 기반하여 네트워크의 변화를 사용자에게 제공할 수 있다.
다양한 실시 예들에 따르면, 전자 장치(500)는 접속 네트워크가 변경됨에 따라 다시 통화 세션 연결을 수행해야 할 수도 있다. 예를 들면, 전자 장치(500)는 네트워크와 연결 해제(disconnect)될 수 있다. 이러한 경우, 영상 통화 어플리케이션은 유저 인터페이스의 표시는 유지하면서, 통화 세션만 재연결 할 수도 있다. 한 실시 예에 따르면, 전자 장치(500)는 네트워크와 연결이 해제(disconnect) 되기 전, 마지막 수초의 영상을 반복 재생하여 사용자에게 제공할 수 있다. 다른 한 실시 예에 따르면, 전자 장치(500)는 네트워크와 연결이 해제 되기 전, 캡쳐 영상(또는 스틸 이미지)를 표시하여 사용자에게 제공할 수도 있다.
다양한 실시 예들에 따르면, 전자 장치(500)의 네트워크 관련 모듈(예: Network Component)는, 전자 장치(500)가 이동에 따라 네트워크 신호 세기가 특정 값 이하로 떨어지게 될 경우, 다른 네트워크의 연결을 미리 준비할 수 있다. 한 실시 예에 따르면, 전자 장치(500)는 LTE 신호 세기가 약해지면 Wi-Fi Scan을 미리 수행하거나 또는 미리 연결을 할 수도 있다. 다른 한 실시 예에 따르면, 전자 장치(500)는 Wi-Fi 신호가 약해지면 LTE Scan을 미리 수행하거나 또는 미리 연결을 할 수도 있다.
다양한 실시 예들에 따르면, 전자 장치(500)가 다른 네트워크에 연결이 되면, 네트워크 관련 모듈은 영상 통화 어플리케이션에 다른 네트워크에 연결됨을 알려줄 수 있다. 영상 통화 어플리케이션은 새로운 연결을 통해 영상 통화 데이터를 송수신할 수 있다.
본 명세서와 도면에 개시된 본 발명의 다양한 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 전자 장치에 있어서,
    카메라;
    디스플레이;
    적어도 하나의 프로토콜(protocol)을 이용하여 다른 전자 장치와 무선 통신을 형성하도록 설정된 통신부; 및
    상기 카메라, 상기 디스플레이 및 상기 통신부와 기능적으로 연결된 프로세서를 포함하고,
    상기 프로세서는,
    상기 다른 전자 장치와 제1 네트워크에 기반하여 음성 통화(voice call)를 수행하고,
    상기 다른 전자 장치와 음성 통화를 수행하는 동안, 상기 다른 전자 장치와 영상 통화(video call)를 수행하기 위한 사용자 입력을 감지하고,
    상기 사용자 입력에 대응하여, 제2 네트워크에 기반하여 상기 영상 통화 연결 및 상기 디스플레이 상에 상기 영상 통화와 관련된 유저 인터페이스를 표시하고, 및
    상기 유저 인터페이스를 통해 상기 카메라를 통해 획득하는 영상을 표시 및 상기 표시하는 영상을 상기 제2 네트워크를 통해 상기 다른 전자 장치에 전송하도록 구성된 것을 특징으로 하는 전자 장치.
  2. 제1항에 있어서, 상기 사용자 입력은,
    상기 전자 장치의 포즈(pose) 상태 변화, 근접(proximity) 상태 변화, 제스처 입력, 상황 인지, 음성 명령 입력, 또는 상기 다른 전자 장치로부터 상기 제2 네트워크를 통해 수신하는 상태 변화 신호를 포함하는 것을 특징으로 하는 전자 장치.
  3. 제2항에 있어서, 상기 프로세서는,
    상기 사용자 입력을 모니터링(monitoring) 하고, 상기 사용자 입력의 변화에 대응하여 통화 모드를 전환하고,
    상기 통화 모드 전환에 따라 상기 다른 전자 장치에 영상 통화 연결, 또는 영상 통화 연결 종료를 요청하도록 구성된 것을 특징으로 하는 전자 장치.
  4. 제1항에 있어서, 상기 프로세서는,
    음성 통화 모드에 의해 상기 다른 전자 장치와 음성 통화를 유지하는 상태에서, 상기 사용자 입력에 따라 영상 통화 모드로 전환되는 것을 감지하고,
    상기 전자 장치의 영상 통화 모드로 전환을 감지하면, 상기 음성 통화를 유지하는 상태에서 상기 다른 전자 장치의 통화 모드에 대한 정보를 상기 디스플레이에 표시된 상기 유저 인터페이스를 통해 표시하고,
    상기 영상 통화 모드에서, 상기 유저 인터페이스 상에 부가 기능 실행과 관련된 적어도 하나의 객체를 표시하도록 구성된 것을 특징으로 하는 전자 장치.
  5. 제4항에 있어서, 상기 프로세서는,
    상기 객체 또는 상기 유저 인터페이스 상에 기능 실행과 관련된 사용자 입력을 감지하고,
    사용자 입력에 대응하여 카메라 전환, 영상 일시 중지(pause), 포인팅(pointing), 주밍(zooming), 캡쳐(capture), 또는 녹화(record) 중 적어도 하나를 처리하도록 구성된 것을 특징으로 하는 전자 장치.
  6. 제5항에 있어서, 상기 프로세서는,
    상기 영상 통화 모드에서, 제1 입력에 따라 영상을 일시 정지하고, 제2 입력에 따라 포인터를 일시 정지된 영상에 표시하도록 구성되고,
    상기 제1 입력 및 상기 제2 입력은, 상기 전자 장치 또는 상기 다른 전자 장치 중 적어도 하나에 의해 입력되는 것을 특징으로 하는 전자 장치.
  7. 제6항에 있어서, 상기 프로세서는,
    상기 음성 통화 중에, 상기 다른 전자 장치와 상기 영상 통화의 가능 여부를 모니터링 하고, 상기 다른 전자 장치와 영상 통화의 가능 여부에 따라, 인디케이션(indication)을 변경하여 표시하도록 구성되고,
    상기 프로세서는,
    영상 통화 모드로 전환을 판단하면, 상기 다른 전자 장치에 영상을 전송하기 이전에, 상기 전자 장치와 상기 다른 전자 장치의 능력(capability) 또는 상태 정보에 기반하여 영상 통화 가능 여부를 판단하고,
    상기 판단하는 결과에 기반하여, 영상 통화가 가능한 경우, 상기 인디케이션을 활성화 표시하고, 영상 통화가 불가능한 경우, 상기 인디케이션을 비활성화 표시하도록 구성된 것을 특징으로 하는 전자 장치.
  8. 제1항에 있어서, 상기 전자 장치는,
    상기 다른 전자 장치와 음성 통화 중에 사용자 입력을 감지하면, 영상 통화 모드로 전환하고, 상기 다른 전자 장치로부터 전송된 영상을 상기 제2 네트워크를 통해 수신하여 표시하고,
    상기 다른 전자 장치에 의해 영상 통화 모드가 요청될 시 자동으로 영상 수신을 허락하고, 상기 전자 장치로부터 전송된 영상을 자동 수신하도록 구성된 것을 특징으로 하는 전자 장치.
  9. 전자 장치의 동작 방법에 있어서,
    다른 전자 장치와 제1 네트워크에 기반하여 음성 통화(voice call)를 수행하는 과정,
    상기 다른 전자 장치와 음성 통화를 수행하는 동안, 상기 다른 전자 장치와 영상 통화(video call)를 수행하기 위한 사용자 입력을 감지하는 과정,
    상기 사용자 입력에 대응하여, 제2 네트워크에 기반하여 상기 영상 통화 연결 및 디스플레이 상에 상기 영상 통화와 관련된 유저 인터페이스를 표시하는 과정, 및
    상기 유저 인터페이스를 통해 카메라를 통해 획득하는 영상을 표시 및 상기 표시하는 영상을 상기 제2 네트워크를 통해 상기 다른 전자 장치에 전송하는 과정을 포함하는 것을 특징으로 하는 방법.
  10. 제9항에 있어서, 상기 사용자 입력은,
    상기 전자 장치의 포즈(pose) 상태 변화, 근접(proximity) 상태 변화, 제스처 입력, 상황 인지, 음성 명령 입력, 또는 상기 다른 전자 장치로부터 상기 제2 네트워크를 통해 수신하는 상태 변화 신호를 포함하고,
    상기 사용자 입력을 감지하는 과정은,
    상기 사용자 입력을 모니터링 하고, 상기 사용자 입력의 변화에 대응하여 통화 모드를 전환하는 과정,
    상기 통화 모드 전환에 따라 상기 다른 전자 장치에 영상 통화 연결, 또는 영상 통화 연결 종료를 요청하는 과정을 포함하는 것을 특징으로 하는 방법.
  11. 제9항에 있어서, 상기 영상 통화 연결은,
    음성 통화 모드에 의해 상기 다른 전자 장치와 음성 통화를 유지하는 상태에서, 상기 사용자 입력에 따라 영상 통화 모드로 전환하는 과정,
    상기 음성 통화를 유지하는 상태에서 상기 다른 전자 장치의 통화 모드에 대한 정보를 상기 디스플레이에 표시된 상기 유저 인터페이스를 통해 표시하는 과정을 포함하고,
    상기 유저 인터페이스를 표시하는 과정은,
    상기 영상 통화 모드에서, 상기 유저 인터페이스 상에 부가 기능 실행과 관련된 적어도 하나의 객체를 표시하는 과정을 포함하는 것을 특징으로 하는 방법.
  12. 제11항에 있어서,
    상기 객체 또는 상기 유저 인터페이스 상에 기능 실행과 관련된 사용자 입력을 감지하는 과정,
    사용자 입력에 대응하여 카메라 전환, 영상 일시 중지(pause), 포인팅(pointing), 주밍(zooming), 캡쳐(capture), 또는 녹화(record) 중 적어도 하나를 처리하는 과정을 포함하는 것을 특징으로 하는 방법.
  13. 제12항에 있어서, 상기 포인팅을 처리하는 과정은,
    상기 영상 통화 모드에서, 제1 입력에 따라 영상을 일시 정지하는 과정,
    제2 입력에 따라 포인터를 일시 정지된 영상에 표시하는 과정을 포함하고,
    상기 제1 입력 및 상기 제2 입력은, 상기 전자 장치 또는 상기 다른 전자 장치 중 적어도 하나에 의한 입력을 포함하는 것을 특징으로 하는 방법.
  14. 제13항에 있어서, 상기 인디케이션을 표시하는 과정은,
    상기 음성 통화 중에, 상기 다른 전자 장치와 상기 영상 통화의 가능 여부를 모니터링 하는 과정,
    상기 다른 전자 장치와 영상 통화의 가능 여부에 따라, 인디케이션(indication)을 변경하여 표시하는 과정을 포함하고,
    영상 통화 모드로 전환을 판단하면, 상기 다른 전자 장치에 영상을 전송하기 이전에, 상기 전자 장치와 상기 다른 전자 장치의 능력(capability) 또는 상태 정보에 기반하여 영상 통화 가능 여부를 판단하는 과정,
    상기 판단하는 결과에 기반하여, 영상 통화가 가능한 경우, 상기 인디케이션을 활성화 표시하고, 영상 통화가 불가능한 경우, 상기 인디케이션을 비활성화 표시하는 것을 포함하는 방법.
  15. 제9항에 있어서, 상기 전자 장치는,
    상기 다른 전자 장치와 음성 통화 중에 사용자 입력을 감지하면, 영상 통화 모드로 전환하고, 상기 다른 전자 장치로부터 전송된 영상을 상기 제2 네트워크를 통해 수신하여 표시하는 과정,
    상기 다른 전자 장치에 의해 영상 통화 모드가 요청될 시 자동으로 영상 수신을 허락하고, 상기 전자 장치로부터 전송된 영상을 자동 수신하여 표시하는 과정을 포함하는 것을 특징으로 하는 방법.
PCT/KR2017/001066 2016-02-02 2017-02-01 영상 서비스 제공 방법 및 장치 WO2017135665A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201780016569.9A CN108781271B (zh) 2016-02-02 2017-02-01 用于提供图像服务的方法和装置
EP17747710.6A EP3402186A4 (en) 2016-02-02 2017-02-01 METHOD AND APPARATUS FOR PROVIDING IMAGE SERVICE
US16/075,026 US10715762B2 (en) 2016-02-02 2017-02-01 Method and apparatus for providing image service
US16/883,705 US11032514B2 (en) 2016-02-02 2020-05-26 Method and apparatus for providing image service

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160012793A KR20170091913A (ko) 2016-02-02 2016-02-02 영상 서비스 제공 방법 및 장치
KR10-2016-0012793 2016-02-02

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/075,026 A-371-Of-International US10715762B2 (en) 2016-02-02 2017-02-01 Method and apparatus for providing image service
US16/883,705 Continuation US11032514B2 (en) 2016-02-02 2020-05-26 Method and apparatus for providing image service

Publications (1)

Publication Number Publication Date
WO2017135665A1 true WO2017135665A1 (ko) 2017-08-10

Family

ID=59499949

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/001066 WO2017135665A1 (ko) 2016-02-02 2017-02-01 영상 서비스 제공 방법 및 장치

Country Status (5)

Country Link
US (2) US10715762B2 (ko)
EP (1) EP3402186A4 (ko)
KR (1) KR20170091913A (ko)
CN (1) CN108781271B (ko)
WO (1) WO2017135665A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020023135A1 (en) * 2018-07-23 2020-01-30 Microsoft Technology Licensing, Llc Color conversion for ambient-adaptive digital content
CN112567326A (zh) * 2018-08-08 2021-03-26 三星电子株式会社 用于处理动态图像的方法及其电子设备

Families Citing this family (151)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD805102S1 (en) * 2015-01-27 2017-12-12 Twitter, Inc. Media sharing device with graphical user interface
US20190158724A1 (en) * 2017-11-17 2019-05-23 Seek Thermal, Inc. Network camera with local control bus
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
JP2017151493A (ja) * 2016-02-22 2017-08-31 富士ゼロックス株式会社 画像処理装置、画像読み取り装置及びプログラム
US9820039B2 (en) 2016-02-22 2017-11-14 Sonos, Inc. Default playback devices
US9811314B2 (en) 2016-02-22 2017-11-07 Sonos, Inc. Metadata exchange involving a networked playback system and a networked microphone system
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
CN205656556U (zh) * 2016-05-25 2016-10-19 广东欧珀移动通信有限公司 一种移动终端
US10757377B2 (en) 2016-06-01 2020-08-25 Pixart Imaging Inc. Surveillance system and operation method thereof
TW201743241A (zh) * 2016-06-01 2017-12-16 原相科技股份有限公司 可攜式電子裝置及其運作方法
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
CN113411793A (zh) * 2016-08-18 2021-09-17 华为技术有限公司 一种蓝牙通信的方法及终端
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
KR101893768B1 (ko) * 2017-02-27 2018-09-04 주식회사 브이터치 음성 인식 트리거를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US10453451B2 (en) 2017-07-05 2019-10-22 Comcast Cable Communications, Llc Methods and systems for using voice to control multiple devices
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
WO2019034640A1 (en) * 2017-08-14 2019-02-21 British Telecommunications Public Limited Company METHODS AND APPARATUS FOR ENCODING AUDIO AND / OR VIDEO DATA
US10356234B2 (en) * 2017-08-31 2019-07-16 Uniti, Llc Enhanced calling systems and methods
JP6337186B1 (ja) * 2017-09-01 2018-06-06 株式会社ドワンゴ コンテンツ共有支援装置およびオンラインサービス提供装置
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
USD843442S1 (en) 2017-09-10 2019-03-19 Apple Inc. Type font
US10664524B2 (en) * 2017-09-13 2020-05-26 Facebook, Inc. Highlighting portions of a live video broadcast
US10531157B1 (en) * 2017-09-21 2020-01-07 Amazon Technologies, Inc. Presentation and management of audio and visual content across devices
KR102560689B1 (ko) * 2017-09-26 2023-07-28 삼성전자주식회사 Ar 객체를 표시하기 위한 장치 및 방법
EP3687178B1 (en) 2017-09-26 2023-03-15 LG Electronics Inc. Overlay processing method in 360 video system, and device thereof
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US10586434B1 (en) * 2017-10-25 2020-03-10 Amazon Technologies, Inc. Preventing unauthorized access to audio/video recording and communication devices
WO2019087577A1 (ja) * 2017-10-31 2019-05-09 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム
KR102518167B1 (ko) * 2017-11-30 2023-04-05 삼성전자주식회사 이미지 처리 방법 및 그 전자 장치
USD876458S1 (en) * 2017-12-04 2020-02-25 Samsung Electronics Co., Ltd. Display screen or portion thereof with animated graphical user interface
USD876459S1 (en) * 2017-12-04 2020-02-25 Samsung Electronics Co., Ltd. Display screen or portion thereof with animated graphical user interface
USD868810S1 (en) * 2017-12-04 2019-12-03 Samsung Electronics Co., Ltd. Display screen or portion thereof with animated graphical user interface
USD855059S1 (en) * 2018-03-06 2019-07-30 Google Llc Display screen with animated graphical user interface
USD855635S1 (en) * 2018-03-06 2019-08-06 Google Llc Display screen with animated graphical user interface
KR102076647B1 (ko) * 2018-03-30 2020-02-12 데이터얼라이언스 주식회사 가상 현실과 증강 현실을 이용한 ＩｏＴ 디바이스 제어 시스템 및 방법
US11262903B2 (en) 2018-03-30 2022-03-01 Data Alliance Co., Ltd. IoT device control system and method using virtual reality and augmented reality
KR102472010B1 (ko) * 2018-05-04 2022-11-30 삼성전자주식회사 전자 장치 및 전자 장치의 기능 실행 방법
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10713487B2 (en) 2018-06-29 2020-07-14 Pixart Imaging Inc. Object determining system and electronic apparatus applying the object determining system
USD898751S1 (en) * 2018-07-06 2020-10-13 Beijing Microlive Vision Technology Co., Ltd. Display screen or portion thereof with a graphical user interface
CN108881780B (zh) * 2018-07-17 2021-02-12 聚好看科技股份有限公司 视频通话中动态调整清晰度模式的方法、服务器
FR3084186B1 (fr) * 2018-07-20 2021-06-04 Thales Sa Gestion de donnees avioniques et distribution d'affichages
TWI680661B (zh) * 2018-07-20 2019-12-21 茂傑國際股份有限公司 加值遠端顯示服務的無線路由伺服裝置及方法
USD870140S1 (en) 2018-08-17 2019-12-17 Beijing Microlive Vision Technology Co., Ltd. Display screen or portion thereof with an animated graphical user interface
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
CN109151565B (zh) * 2018-09-04 2019-12-20 北京达佳互联信息技术有限公司 播放语音的方法、装置、电子设备及存储介质
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US11004549B2 (en) * 2018-09-28 2021-05-11 Varian Medical Systems International Ag Patient object mapping techniques
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
USD917528S1 (en) * 2018-10-23 2021-04-27 Yoox Net-A-Porter Group Spa Display screen with graphical user interface
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
USD904456S1 (en) * 2018-11-06 2020-12-08 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11240574B2 (en) * 2018-12-11 2022-02-01 Sony Corporation Networked speaker system with audio network box
KR102088832B1 (ko) * 2018-12-12 2020-03-16 주식회사 디알엠인사이드 네트워크 속도와 리소스 중요도에 따른 epub 전자책 서비스 시스템 및 방법
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
KR20200091278A (ko) * 2019-01-22 2020-07-30 삼성전자주식회사 음성 입력과 관련된 비주얼 정보를 표시하는 방법 및 이를 지원하는 전자 장치
WO2020157183A1 (en) 2019-01-31 2020-08-06 British Telecommunications Public Limited Company Methods and apparatus for the encoding of audio and/or video data
US10674003B1 (en) * 2019-03-29 2020-06-02 Denso International America, Inc. Apparatus and system for identifying occupants in a vehicle
CN110087014B (zh) * 2019-04-29 2022-04-19 努比亚技术有限公司 视频补全方法、终端及计算机可读存储介质
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US10852915B1 (en) * 2019-05-06 2020-12-01 Apple Inc. User interfaces for sharing content with other electronic devices
KR102664820B1 (ko) * 2019-05-28 2024-05-09 삼성에스디에스 주식회사 데이터 전송 방법 및 이를 수행하기 위한 장치
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US11012664B2 (en) * 2019-06-27 2021-05-18 Viewabo, Inc. Remote controlled video messaging session
WO2021002494A1 (ko) * 2019-07-02 2021-01-07 엘지전자 주식회사 디스플레이 장치
CN110177368B (zh) * 2019-07-16 2022-04-15 中国联合网络通信集团有限公司 一种呼叫建立方法和系统、视频通信服务器
CN110381282B (zh) * 2019-07-30 2021-06-29 华为技术有限公司 一种应用于电子设备的视频通话的显示方法及相关装置
USD956771S1 (en) * 2019-08-06 2022-07-05 Twitter, Inc. Display screen with graphical user interface for peeking at a profile
US11335094B2 (en) * 2019-08-13 2022-05-17 Apple Inc. Detecting fake videos
US11283937B1 (en) * 2019-08-15 2022-03-22 Ikorongo Technology, LLC Sharing images based on face matching in a network
JP7290317B2 (ja) * 2019-08-28 2023-06-13 ザインエレクトロニクス株式会社 映像信号送信装置、映像信号受信装置および映像信号送受信システム
USD987652S1 (en) * 2019-09-11 2023-05-30 Ford Global Technologies, Llc Display screen with graphical user interface
USD987666S1 (en) 2019-09-11 2023-05-30 Ford Global Technologies, Llc Display screen or portion thereof with transitional graphical user interface
CN110418298A (zh) * 2019-09-12 2019-11-05 中国联合网络通信集团有限公司 呼叫转移的方法和装置
CN110677584A (zh) * 2019-09-30 2020-01-10 联想(北京)有限公司 一种处理方法及电子设备
USD918244S1 (en) * 2019-10-02 2021-05-04 Google Llc Display screen with graphical user interface
KR20210044025A (ko) * 2019-10-14 2021-04-22 삼성전자주식회사 전자 장치 및 그의 멀티 윈도우를 이용한 팝업 윈도우를 처리하는 방법
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
KR102646276B1 (ko) * 2019-10-29 2024-03-11 라인플러스 주식회사 새로운 사람을 소개해주는 영상통화의 통화시간을 공평하게 과금하는 방법 및 시스템
EP3820106A1 (en) * 2019-11-07 2021-05-12 Nokia Solutions and Networks Oy Method and apparatus for provisioning of internet devices
CN110928305B (zh) * 2019-12-03 2023-08-18 中国铁道科学研究院集团有限公司电子计算技术研究所 用于铁路客运车站巡更机器人的巡更方法及系统
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11417916B2 (en) * 2020-01-13 2022-08-16 Ford Global Technologies, Llc Intelligent vehicle battery charging for high capacity batteries
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US10887633B1 (en) * 2020-02-19 2021-01-05 Evercast, LLC Real time remote video collaboration
CN111259183B (zh) * 2020-02-21 2023-08-01 北京百度网讯科技有限公司 图像识图方法、装置、电子设备和介质
EP3883235A1 (en) 2020-03-17 2021-09-22 Aptiv Technologies Limited Camera control modules and methods
USD944820S1 (en) * 2020-03-24 2022-03-01 Beijing Dajia Internet Information Technology Co., Ltd. Display screen or portion thereof with animated graphical user interface
US11620795B2 (en) * 2020-03-27 2023-04-04 Snap Inc. Displaying augmented reality content in messaging application
USD941843S1 (en) * 2020-03-31 2022-01-25 Beijing Dajia Internet Information Technology Co., Ltd. Display screen or portion thereof with graphical user interface
US11308962B2 (en) * 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
KR20210150882A (ko) * 2020-06-04 2021-12-13 삼성전자주식회사 영상 통화 처리 방법, 그 방법을 수행하는 디스플레이 기기, 그를 수행하는 모바일 기기, 그 방법을 수행하는 서버 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
USD938982S1 (en) * 2020-06-12 2021-12-21 China-Germany(Zhuhai)Artificial Intelligence Institute Co., Ltd Mobile device with graphical user interface for shooting, modeling, and editing of scenes
USD946018S1 (en) * 2020-06-18 2022-03-15 Apple Inc. Display screen or portion thereof with graphical user interface
US11372524B1 (en) * 2020-09-02 2022-06-28 Amazon Technologies, Inc. Multimedia communications with synchronized graphical user interfaces
KR20220031367A (ko) * 2020-09-04 2022-03-11 삼성전자주식회사 디스플레이 기기 및 그의 동작 방법
US11930240B2 (en) 2020-11-11 2024-03-12 Motorola Mobility Llc Media content recording with sensor data
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
CN112492251A (zh) * 2020-11-24 2021-03-12 维沃移动通信有限公司 视频通话方法及装置
CN112558905B (zh) * 2020-12-09 2023-11-10 深圳乐播科技有限公司 一种投屏方法、设备和系统
CN114691061A (zh) 2020-12-29 2022-07-01 摩托罗拉移动有限责任公司 在扩展显示屏幕记录期间管理的个人内容
CN114691060A (zh) 2020-12-29 2022-07-01 摩托罗拉移动有限责任公司 在设备屏幕记录期间管理的个人内容
USD982025S1 (en) * 2020-12-30 2023-03-28 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
USD995560S1 (en) * 2021-01-08 2023-08-15 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD992592S1 (en) * 2021-01-08 2023-07-18 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD992593S1 (en) * 2021-01-08 2023-07-18 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
EP4258686A4 (en) * 2021-01-13 2024-06-05 Samsung Electronics Co Ltd ELECTRONIC DEVICE FOR MEASURING THE POSTURE OF A USER AND METHOD THEREFOR
CN112911387A (zh) * 2021-01-29 2021-06-04 联想(北京)有限公司 处理方法及处理装置
JP1706177S (ja) * 2021-02-09 2022-01-27 動画キャプチャー用画像
USD992567S1 (en) 2021-02-09 2023-07-18 Beijing Bytedance Network Technology Co., Ltd. Display screen or portion thereof with an animated graphical user interface
USD992568S1 (en) 2021-02-09 2023-07-18 Beijing Bytedance Network Technology Co., Ltd. Display screen or portion thereof with an animated graphical user interface
CN114915744A (zh) * 2021-02-09 2022-08-16 摩托罗拉移动有限责任公司 为受限屏幕记录而管理的记录内容
JP1725767S (ja) * 2021-02-09 2022-09-27 動画キャプチャー用画像
JP1706193S (ja) * 2021-02-09 2022-01-27 動画キャプチャー用画像
CN112911620B (zh) * 2021-02-18 2023-05-02 联想(北京)有限公司 信息处理方法、装置及电子设备和存储介质
USD985007S1 (en) * 2021-03-05 2023-05-02 Mobiline, Inc. Smartphone display with missed call graphical user interface
US11094135B1 (en) * 2021-03-05 2021-08-17 Flyreel, Inc. Automated measurement of interior spaces through guided modeling of dimensions
USD985012S1 (en) * 2021-03-05 2023-05-02 Mobiline, Inc. Smartphone display with personalized audio invitations graphical user interface
USD985579S1 (en) * 2021-03-05 2023-05-09 Mobiline, Inc. Smartphone display with personalized video invitations graphical user interface
USD989802S1 (en) * 2021-03-05 2023-06-20 Mobiline, Inc. Smartphone display with missed call graphical user interface
USD985017S1 (en) * 2021-03-05 2023-05-02 Mobiline, Inc. Smartphone display with personalized audio invitation graphical user interface
USD989775S1 (en) * 2021-03-05 2023-06-20 Mobiline, Inc. Smartphone display with personalized video invitation graphical user interface
USD997184S1 (en) * 2021-03-19 2023-08-29 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US11496675B2 (en) * 2021-04-13 2022-11-08 Plantronics, Inc. Region of interest based adjustment of camera parameters in a teleconferencing environment
WO2022231380A1 (ko) * 2021-04-29 2022-11-03 키네마스터 주식회사 미세 조절 제어를 위한 컨텐츠 편집 제어 방법, 장치 및 컴퓨터 프로그램
EP4092379A1 (en) * 2021-05-20 2022-11-23 Hexagon Technology Center GmbH Surveying device with image evaluator for determining a spatial pose of the target axis
USD956810S1 (en) * 2021-05-22 2022-07-05 Airbnb, Inc. Display screen with graphical user interface
CN113034342B (zh) * 2021-05-28 2021-07-30 江西省江咨金发数据科技发展有限公司 基于时间轮转的电子保函认证系统
JP2023008612A (ja) * 2021-07-06 2023-01-19 キヤノン株式会社 通信装置、制御方法およびプログラム
CN113660448B (zh) * 2021-08-23 2022-07-15 珠海格力电器股份有限公司 通话处理方法、装置、终端设备及存储介质
US20230125385A1 (en) * 2021-10-25 2023-04-27 Hologic, Inc. Auto-focus tool for multimodality image review
CN114245055B (zh) * 2021-12-08 2024-04-26 深圳位置网科技有限公司 一种用于紧急呼叫情况下视频通话的方法和系统
USD1009075S1 (en) * 2021-12-21 2023-12-26 Igt Display screen or a portion thereof with a graphical user interface
US20230224402A1 (en) * 2022-01-13 2023-07-13 Joseph A. Charlson System, Method, and Apparatus for Initiating Outbound Communications from a User Device
WO2023156480A1 (en) * 2022-02-15 2023-08-24 Trinamix Gmbh Method for providing user-related and/or process-related information by a display device
CN114510849A (zh) * 2022-04-20 2022-05-17 国家超级计算天津中心 一种仿真处理方法、装置、设备及介质
EP4273669A1 (en) * 2022-05-06 2023-11-08 Nokia Technologies Oy Monitoring of facial characteristics
KR102564659B1 (ko) * 2022-05-31 2023-08-08 강병준 셋탑박스를 위한 서버기반 동적 모드셋 시스템
US20230403415A1 (en) * 2022-06-13 2023-12-14 Advanced Micro Devices, Inc Adaptive Decoder-Driven Encoder Reconfiguration
CN116048436B (zh) * 2022-06-17 2024-03-08 荣耀终端有限公司 应用界面显示方法、电子设备及存储介质
KR20240000690A (ko) * 2022-06-23 2024-01-03 삼성디스플레이 주식회사 터치 패널을 포함하는 표시 장치 및 터치 패널을 포함하는 표시 장치의 구동 방법
JP2024005948A (ja) * 2022-06-30 2024-01-17 キヤノン株式会社 撮像装置、その制御方法及びプログラム
CN117478686A (zh) * 2022-07-22 2024-01-30 华为技术有限公司 共享方法、电子设备及系统
CN117119512A (zh) * 2023-04-07 2023-11-24 荣耀终端有限公司 图标显示控制方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090008719A (ko) * 2007-07-18 2009-01-22 (주)케이티에프테크놀로지스 화이트보드 기능 지원 영상통화 장치 및 그 동작방법
KR20120079010A (ko) * 2011-01-03 2012-07-11 삼성전자주식회사 통화 중 미디어 데이터 전송 시스템 및 방법
KR20140029740A (ko) * 2012-08-29 2014-03-11 삼성전자주식회사 전자장치에서 영상통화중 파일 전송 방법 및 장치
KR20150009103A (ko) * 2013-07-15 2015-01-26 주식회사 엘지유플러스 프라이버시 보호를 위한 단말 간 화면 공유 방법 및 그 단말
KR20150009644A (ko) * 2013-07-16 2015-01-27 주식회사 엘지유플러스 영상통화-음성통화 전환 방법

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7321384B1 (en) * 2003-06-03 2008-01-22 Cisco Technology, Inc. Method and apparatus for using far end camera control (FECC) messages to implement participant and layout selection in a multipoint videoconference
US8373799B2 (en) * 2006-12-29 2013-02-12 Nokia Corporation Visual effects for video calls
US8254828B2 (en) 2007-11-30 2012-08-28 Apple Inc. Methods and systems for mixing media with communications
CN101500126A (zh) 2008-01-28 2009-08-05 德信智能手机技术（北京）有限公司 一种视频通话过程中发送特效场景的方法
KR101460609B1 (ko) 2008-05-23 2014-11-14 삼성전자주식회사 모바일 단말기의 전화 수신 모드 결정 방법 및 장치
WO2010017842A1 (en) * 2008-08-14 2010-02-18 Telefonaktiebolaget Lm Ericsson (Publ) Sharing media in a communication network
US8452020B2 (en) 2008-08-20 2013-05-28 Apple Inc. Adjustment of acoustic properties based on proximity detection
US8189429B2 (en) 2008-09-30 2012-05-29 Apple Inc. Microphone proximity detection
CN101426246A (zh) 2008-12-04 2009-05-06 中兴通讯股份有限公司 可视电话和语音电话的切换方法和装置
US8300082B2 (en) * 2008-12-15 2012-10-30 At&T Intellectual Property I, Lp Apparatus and method for video conferencing
TWI439111B (zh) 2009-06-05 2014-05-21 Htc Corp 切換行動裝置之通話模式之方法以及可自動切換通話模式之行動裝置
US8917632B2 (en) 2010-04-07 2014-12-23 Apple Inc. Different rate controller configurations for different cameras of a mobile device
CN201887888U (zh) * 2010-11-19 2011-06-29 聂新宇 网络视频监控系统
CN102075727A (zh) 2010-12-30 2011-05-25 中兴通讯股份有限公司 一种可视电话中图像处理方法和装置
US8970653B2 (en) * 2011-06-16 2015-03-03 Vtel Products Corporation, Inc. Video conference control system and method
US8767034B2 (en) * 2011-12-01 2014-07-01 Tangome, Inc. Augmenting a video conference
US9292195B2 (en) * 2011-12-29 2016-03-22 Apple Inc. Device, method, and graphical user interface for configuring and implementing restricted interactions for applications
KR101850034B1 (ko) 2012-01-06 2018-04-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN102685241A (zh) * 2012-05-21 2012-09-19 广东威创视讯科技股份有限公司 一种远程维护系统及维护方法
US8947491B2 (en) * 2012-06-28 2015-02-03 Microsoft Corporation Communication system
US9112930B2 (en) 2012-10-26 2015-08-18 Microsoft Technology Licensing, Llc Updating services during real-time communication and sharing-experience sessions
KR102015349B1 (ko) 2012-11-16 2019-08-28 삼성전자 주식회사 통화 전환 방법 및 휴대 단말
JP6097679B2 (ja) 2013-02-28 2017-03-15 エルジー アプラス コーポレーション 端末間機能共有方法及びその端末
CN104065683B (zh) * 2013-03-21 2018-07-03 联想(北京)有限公司 远程控制方法和本地设备
CN203410366U (zh) * 2013-08-16 2014-01-29 长安大学 一种客车安全监控装置
US9961608B2 (en) * 2013-08-19 2018-05-01 Microsoft Technology Licensing, Llc Seamless call transitions
US9372550B2 (en) * 2014-02-10 2016-06-21 Airtime Media, Inc. Automatic audio-video switching
US9516220B2 (en) * 2014-10-02 2016-12-06 Intel Corporation Interactive video conferencing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090008719A (ko) * 2007-07-18 2009-01-22 (주)케이티에프테크놀로지스 화이트보드 기능 지원 영상통화 장치 및 그 동작방법
KR20120079010A (ko) * 2011-01-03 2012-07-11 삼성전자주식회사 통화 중 미디어 데이터 전송 시스템 및 방법
KR20140029740A (ko) * 2012-08-29 2014-03-11 삼성전자주식회사 전자장치에서 영상통화중 파일 전송 방법 및 장치
KR20150009103A (ko) * 2013-07-15 2015-01-26 주식회사 엘지유플러스 프라이버시 보호를 위한 단말 간 화면 공유 방법 및 그 단말
KR20150009644A (ko) * 2013-07-16 2015-01-27 주식회사 엘지유플러스 영상통화-음성통화 전환 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3402186A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020023135A1 (en) * 2018-07-23 2020-01-30 Microsoft Technology Licensing, Llc Color conversion for ambient-adaptive digital content
US10715774B2 (en) 2018-07-23 2020-07-14 Microsoft Technology Licensing, Llc Color conversion for ambient-adaptive digital content
CN112567326A (zh) * 2018-08-08 2021-03-26 三星电子株式会社 用于处理动态图像的方法及其电子设备

Also Published As

Publication number Publication date
KR20170091913A (ko) 2017-08-10
EP3402186A1 (en) 2018-11-14
EP3402186A4 (en) 2019-01-16
US20190037173A1 (en) 2019-01-31
US10715762B2 (en) 2020-07-14
US11032514B2 (en) 2021-06-08
US20200358981A1 (en) 2020-11-12
CN108781271B (zh) 2021-12-28
CN108781271A (zh) 2018-11-09

Similar Documents

Publication Publication Date Title
WO2017135665A1 (ko) 영상 서비스 제공 방법 및 장치
AU2016224180B2 (en) Method and apparatus for supporting communication in electronic device
AU2015354933B2 (en) Electronic device and method for providing map service
WO2017142302A1 (en) Electronic device and operating method thereof
JP5358733B2 (ja) タッチスクリーン機能を変更するためのシステム及び方法
WO2017126858A1 (ko) 음성통화 중 영상을 전송하는 방법 및 장치
WO2016108342A1 (en) Mobile device and method for controlling the same
WO2016085070A1 (ko) 디바이스 제어 시스템, 디지털 디바이스 및 디지털 디바이스 제어 방법
WO2017003022A1 (ko) 디스플레이 디바이스 및 그 제어 방법
WO2018147570A1 (en) Terminal and method of controlling therefor
WO2017111382A1 (en) Electronic device and method for image control thereof
WO2018182279A1 (en) Method and apparatus for providing augmented reality function in electronic device
WO2016186254A1 (ko) 디스플레이 디바이스 및 그 제어 방법
WO2018044073A1 (en) Image streaming method and electronic device for supporting the same
WO2016208845A1 (ko) 이동 단말기 및 그 제어방법
WO2017018579A1 (ko) 이동단말기 및 그 제어방법
WO2016104907A1 (ko) 디지털 디바이스 및 상기 디지털 디바이스에서 데이터 처리 방법
WO2016137290A1 (en) Method of managing one or more notifications and electronic device for same
WO2015182834A1 (ko) 이동단말기 및 그 제어방법
WO2016175356A1 (ko) 디지털 디바이스 및 디지털 디바이스 제어 방법
WO2016017874A1 (en) Mobile terminal controlled by at least one touch and method of controlling therefor
WO2015102338A1 (ko) 이동 단말기 및 그 제어 방법
WO2017052128A1 (en) Electronic device for processing image and method for controlling thereof
AU2017346260B2 (en) Electronic device and computer-readable recording medium for displaying images
EP3525446A1 (en) Photographing method and terminal

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17747710

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017747710

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017747710

Country of ref document: EP

Effective date: 20180810