WO2020045862A1 - 가상 현실에서 정보를 제공하는 전자 장치 및 방법 - Google Patents

가상 현실에서 정보를 제공하는 전자 장치 및 방법 Download PDF

Info

Publication number
WO2020045862A1
WO2020045862A1 PCT/KR2019/010286 KR2019010286W WO2020045862A1 WO 2020045862 A1 WO2020045862 A1 WO 2020045862A1 KR 2019010286 W KR2019010286 W KR 2019010286W WO 2020045862 A1 WO2020045862 A1 WO 2020045862A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
mode
display
image
external electronic
Prior art date
Application number
PCT/KR2019/010286
Other languages
English (en)
French (fr)
Inventor
김민정
최우준
정일회
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US17/272,275 priority Critical patent/US11463486B2/en
Publication of WO2020045862A1 publication Critical patent/WO2020045862A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H04L65/1016—IP multimedia subsystem [IMS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H04L65/1063—Application servers providing network services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • H04L65/1094—Inter-user-equipment sessions transfer or sharing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H04L65/1104—Session initiation protocol [SIP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/54—Presence management, e.g. monitoring or registration for receipt of user log-on information, or the connection status of the users
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working

Definitions

  • Various embodiments of the present disclosure relate to an electronic device and a method for providing information in a virtual reality.
  • the wearable electronic device may be in various forms detachable to a part of a body or a garment, such as a head-mounted device (HMD), a smart watch, and a wristband.
  • HMD head-mounted device
  • smart watch smart watch
  • wristband a part of a body or a garment
  • the display is placed in front of the user's eyes to provide the user with an extra-large screen, and the screen moves with the user's movement, thereby providing a realistic virtual world.
  • the electronic device cannot perform a communication function, for example, a telephone function, with a counterpart electronic device using a mobile communication network (eg, VoLTE, ViLTE) while wearing the VR device.
  • a communication function for example, a telephone function
  • a counterpart electronic device using a mobile communication network (eg, VoLTE, ViLTE) while wearing the VR device.
  • VoLTE Voice over LTE
  • ViLTE a mobile communication network
  • the electronic device may not provide the user with a user interface considering the wearing state of the VR device.
  • the electronic device When the VR mode is activated, the electronic device according to various embodiments of the present disclosure may provide the presence information of the counterpart electronic device through an IMS-based network that provides information related to the VR device (hereinafter, the presence information). Can be received.
  • the electronic device may perform a communication function with the counterpart electronic device in the state where the VR mode is activated based on the presence information received through the IMS-based network.
  • an electronic device includes an IMS framework, a display, a memory, and a processor in communication with an IMS server, wherein the processor is configured to respond to an activation state of a virtual reality (VR) mode.
  • Control the display to display a VR image receive presence information including information on an activation state of the VR mode of at least one external electronic device, from the IMS server, and use the received at least one It may be set to control the display to include the presence information of the external electronic device of the VR image including the rendering information, and to display the rendered VR image including the presence information of the at least one external electronic device.
  • a method of providing information in a virtual reality of an electronic device may include displaying a VR image on a display in response to an activation state of a virtual reality (VR) mode, and at least one external electronic device.
  • VR virtual reality
  • An electronic device may perform a communication function with a counterpart electronic device through an IMS-based network while the VR mode is activated.
  • the electronic device may receive the presence information on the activation state of the VR mode of the counterpart electronic device through the IMS-based network, thereby providing the user with an appropriate user interface based on the presence information.
  • FIG. 1 is a block diagram of an electronic device for providing information in a virtual reality in a network environment according to various embodiments.
  • FIG. 2A is a block diagram illustrating an electronic device and an IMS server according to various embodiments.
  • 2B is a block diagram illustrating a VR device according to various embodiments.
  • FIG. 3 is a diagram illustrating a signal flow between an electronic device, an IMS server, and an external electronic device according to various embodiments of the present disclosure.
  • FIG. 4 is a diagram illustrating a method of subscribing to presence information of an external electronic device according to various embodiments of the present disclosure.
  • FIG. 5 is a diagram for describing a method of transmitting presence information of an electronic device according to various embodiments of the present disclosure.
  • FIG. 6 is a flowchart illustrating a method of performing a communication function with an external electronic device in a VR mode according to various embodiments of the present disclosure.
  • FIGS. 7A and 7B are diagrams for describing a method of displaying presence information of at least one external electronic device in a VR mode according to various embodiments of the present disclosure.
  • FIG. 8 is a flowchart illustrating a method of transmitting presence information of an electronic device according to various embodiments of the present disclosure.
  • FIG. 9 is a flowchart illustrating a method of performing a communication function with an external electronic device in a VR mode according to various embodiments of the present disclosure.
  • FIG. 10 is a diagram illustrating a signal flow between an electronic device, an IMS server, and an external electronic device according to various embodiments of the present disclosure.
  • FIG. 11 is a block diagram illustrating a method of rendering a screen to be displayed on VR according to various embodiments of the present disclosure. Referring to FIG. 11
  • FIG. 12 is a flowchart illustrating a method of rendering a 2D application screen according to various embodiments of the present disclosure.
  • FIG. 1 is a block diagram of an electronic device 101 that provides information in virtual reality in a network environment 100, according to various embodiments.
  • the electronic device 101 communicates with the electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or the second network 199.
  • the electronic device 104 may communicate with the server 108 through a long range wireless communication network.
  • the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • the electronic device 101 may include a processor 120, a memory 130, an input device 150, an audio output device 155, a display device 160, an audio module 170, and a sensor module ( 176, interface 177, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196, or antenna module 197.
  • the components may be included.
  • at least one of the components may be omitted or one or more other components may be added to the electronic device 101.
  • some of these components may be implemented in one integrated circuit.
  • the sensor module 176 eg, fingerprint sensor, iris sensor, or illuminance sensor
  • the display device 160 eg, display
  • the processor 120 executes software (eg, the program 140) to execute at least one other component (eg, hardware or software component) of the electronic device 101 connected to the processor 120. It can control and perform various data processing or operations. According to one embodiment, as at least part of data processing or operation, processor 120 may send instructions or data received from another component (eg, sensor module 176 or communication module 190) to volatile memory 132. Can be loaded into, processed in a command or data stored in the volatile memory 132, and stored in the non-volatile memory (134).
  • software eg, the program 140
  • processor 120 may send instructions or data received from another component (eg, sensor module 176 or communication module 190) to volatile memory 132. Can be loaded into, processed in a command or data stored in the volatile memory 132, and stored in the non-volatile memory (134).
  • the processor 120 may include a main processor 121 (eg, a central processing unit or an application processor), and a coprocessor 123 (eg, a graphics processing unit, an image signal processor) that may be operated independently or together. , Sensor hub processor, or communication processor). Additionally or alternatively, the coprocessor 123 may be configured to use lower power than the main processor 121 or to be specialized for its designated function. The coprocessor 123 may be implemented separately from or as part of the main processor 121.
  • a main processor 121 eg, a central processing unit or an application processor
  • a coprocessor 123 eg, a graphics processing unit, an image signal processor
  • the coprocessor 123 may be configured to use lower power than the main processor 121 or to be specialized for its designated function.
  • the coprocessor 123 may be implemented separately from or as part of the main processor 121.
  • the coprocessor 123 may, for example, replace the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 may be active (eg, execute an application). At least one of the components of the electronic device 101 (eg, the display device 160, the sensor module 176, or the communication module 190) together with the main processor 121 while in the) state. Control at least some of the functions or states associated with the. According to one embodiment, the coprocessor 123 (eg, image signal processor or communication processor) may be implemented as part of another functionally related component (eg, camera module 180 or communication module 190). have.
  • another functionally related component eg, camera module 180 or communication module 190
  • the memory 130 may store various data used by at least one component of the electronic device 101 (for example, the processor 120 or the sensor module 176).
  • the data may include, for example, software (eg, the program 140) and input data or output data for a command related thereto.
  • the memory 130 may include a volatile memory 132 or a nonvolatile memory 134.
  • the program 140 may be stored as software in the memory 130, and may include, for example, an operating system 142, middleware 144, or an application 146.
  • the input device 150 may receive a command or data to be used for a component (for example, the processor 120) of the electronic device 101 from the outside (for example, a user) of the electronic device 101.
  • the input device 150 may include, for example, a microphone, a mouse, or a keyboard, or a digital pen (eg, a stylus pen).
  • the sound output device 155 may output a sound signal to the outside of the electronic device 101.
  • the sound output device 155 may include, for example, a speaker or a receiver.
  • the speaker may be used for general purposes such as multimedia playback or recording playback, and the receiver may be used to receive an incoming call.
  • the receiver may be implemented separately from or as part of a speaker.
  • the display device 160 may visually provide information to the outside (eg, a user) of the electronic device 101.
  • the display device 160 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device.
  • the display device 160 may include touch circuitry configured to sense a touch, or sensor circuit (eg, a pressure sensor) set to measure the strength of the force generated by the touch. have.
  • the audio module 170 may convert sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment, the audio module 170 may acquire sound through the input device 150, or may output an external electronic device (eg, a sound output device 155, or directly or wirelessly connected to the electronic device 101). Sound may be output through the electronic device 102 (for example, a speaker or a headphone).
  • an external electronic device eg, a sound output device 155, or directly or wirelessly connected to the electronic device 101. Sound may be output through the electronic device 102 (for example, a speaker or a headphone).
  • the sensor module 176 detects an operating state (eg, power or temperature) or an external environmental state (eg, a user state) of the electronic device 101, and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an infrared sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 177 may support one or more designated protocols that may be used for the electronic device 101 to be directly or wirelessly connected to an external electronic device (for example, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 may be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that can be perceived by the user through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and videos. According to one embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101.
  • the power management module 388 may be implemented, for example, as at least part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101.
  • the battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 may establish a direct (eg wired) communication channel or wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). Establish and perform communication over established communication channels.
  • the communication module 190 may operate independently of the processor 120 (eg, an application processor) and include one or more communication processors supporting direct (eg, wired) or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a near field communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, A local area network (LAN) communication module, or a power line communication module).
  • GNSS global navigation satellite system
  • the corresponding communication module of these communication modules may be a first network 198 (e.g. a short range communication network such as Bluetooth, WiFi direct or infrared data association (IrDA)) or a second network 199 (e.g. cellular network, the Internet, or Communicate with external electronic devices through a telecommunication network such as a computer network (eg, LAN or WAN).
  • a first network 198 e.g. a short range communication network such as Bluetooth, WiFi direct or infrared data association (IrDA)
  • a second network 199 e.g. cellular network, the Internet, or Communicate with external electronic devices through a telecommunication network such as a computer network (eg, LAN or WAN).
  • a telecommunication network such as a computer network (eg, LAN or WAN).
  • the wireless communication module 192 uses subscriber information (e.g., international mobile subscriber identifier (IMSI)) stored in the subscriber identification module 196 in a communication network such as the first network 198 or the second network 199.
  • subscriber information e.g., international mobile subscriber identifier (IMSI)
  • IMSI international mobile subscriber identifier
  • the antenna module 197 may transmit or receive a signal or power to an external (eg, an external electronic device) or from an external source.
  • the antenna module may be formed of a conductor or a conductive pattern, and in some embodiments, may further include another component (eg, an RFIC) in addition to the conductor or the conductive pattern.
  • the antenna module 197 may comprise one or more antennas, from which at least one suitable for a communication scheme used in a communication network, such as the first network 198 or the second network 199. Antenna may be selected by the communication module 190, for example. The signal or power may be transmitted or received between the communication module 190 and the external electronic device through the selected at least one antenna.
  • At least some of the components are connected to each other and connected to each other through a communication method (eg, a bus, a general purpose input and output (GPIO), a serial peripheral interface (SPI), or a mobile industry processor interface (MIPI)). For example, commands or data).
  • a communication method eg, a bus, a general purpose input and output (GPIO), a serial peripheral interface (SPI), or a mobile industry processor interface (MIPI)
  • a communication method eg, a bus, a general purpose input and output (GPIO), a serial peripheral interface (SPI), or a mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199.
  • Each of the electronic devices 102 and 104 may be a device of the same or different type as the electronic device 101.
  • all or part of operations executed in the electronic device 101 may be executed in one or more external devices of the external electronic devices 102, 104, or 108. For example, when the electronic device 101 needs to perform a function or service automatically or in response to a request from a user or another device, the electronic device 101 instead of executing the function or service itself.
  • one or more external electronic devices may be requested to perform at least a part of the function or the service.
  • the one or more external electronic devices that receive the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 101.
  • the electronic device 101 may process the result as it is or additionally and provide it as at least part of the response to the request.
  • cloud computing distributed computing, or client-server computing technology may be used.
  • FIG. 2A is a block diagram 200 illustrating an electronic device 201 and an IMS server 245, according to various embodiments.
  • the electronic device 201 may include a communication circuit 210 (eg, the communication module 190 of FIG. 1) and a memory 215 (eg, FIG. Memory 130 in FIG. 1, sensor circuit 220 (eg, sensor module 176 in FIG. 1), connector 230 (eg, connection terminal 178 in FIG. 1), touchscreen display 235 (
  • the display device 160 of FIG. 1 and the processor 240 for example, the processor 120 of FIG. 1. may be included.
  • the communication circuit 210 may be connected to a network through wireless and / or wired communication to communicate with an external electronic device (eg, the electronic devices 102 and 104 and the server 108 of FIG. 1). .
  • the communication circuit 210 is electrically connected to the electronic device 201 and the VR device (not shown) (eg, the VR device 251 of FIG. 2B) using wireless and / or wired communication. Transmit and receive can be performed.
  • the communication circuit 210 may connect the electronic device 201 and the IMS server (IP multimedia subsystem) 245 to transmit and receive the presence information.
  • the presence information may include information on the VR mode activation state.
  • the information about the VR mode activation state may include information about a connection state of a VR device (not shown) (for example, the VR device 251 of FIG. 2B), information about a user's wearing state of a VR device, or a 3D VR mode. It can include a state that renders and outputs the screen.
  • the memory 215 may store instructions (or instructions), an algorithm, a program, or an application for controlling the overall operation of the electronic device 201.
  • the memory 215 may store a control operation of the electronic device 201 according to whether the VR mode is activated, for example, whether the device is connected to the VR device and / or the VR device is worn.
  • the memory 215 may store an animation to be applied to an object representing the electronic device 201 and the external electronic device based on context information when performing communication between the electronic device 201 and the external electronic device. .
  • the sensor circuit 220 may detect an operation state inside and outside the electronic device 201 and transmit the detected information to the processor 240.
  • the sensor circuit 220 may include at least one of an acceleration sensor, a geomagnetic sensor, a gyro sensor, a magnetic sensor, a proximity sensor, a gesture sensor, a grip sensor, or a biometric sensor.
  • the sensor circuit 220 for example, the proximity sensor or the grip sensor detects at least one of an IR recognition, a pressure recognition, and a change in capacitance (or dielectric constant) according to the wearing of the VR device, and the processor 240. ) Can be delivered.
  • the sensor circuit 220 for example, the acceleration sensor, the geomagnetic sensor, and the gyro sensor may detect a head movement of a user wearing the VR device 251 and transmit the same to the processor 240.
  • the connector 230 may physically connect the electronic device 201 and the VR device.
  • the connector 230 may include a USB connector 231 and an HDMI connector 233.
  • the touch screen display 235 may be integrally formed to include the display 237 and the touch panel 239.
  • the touch screen display 235 may display various screens according to the transmission and reception of the presence information using the IMS server 245 under the control of the processor 240.
  • the touch screen display 235 may display various screens according to the use of the VR device 251 under the control of the processor 240.
  • the activation state of the VR mode is sensed (for example, a state in which the VR device is connected through the communication circuit 210 or the connector 230 is detected, or a state in which the user wears the VR device through the sensor circuit 220 is detected.
  • the touch screen display 235 may display a VR image under the control of the processor 240.
  • the touch screen display 235 may divide and display one image into two images (eg, a left image and a right image) under the control of the processor 240.
  • the touch screen display 235 may display a VR image in which the presence information received from the IMS server 245 is rendered under the control of the processor 240.
  • the touch screen display 235 may display a VR image in which an object representing an external electronic device is rendered under the control of the processor 240.
  • the touch screen display 235 may display a VR image to which a predefined animation is applied to the object representing the electronic device 201 or the external electronic device based on the context information received under the control of the processor 240.
  • the touch screen display 235 may display various screens according to the performance of the communication function with the external electronic device under the control of the processor 240.
  • the processor 240 controls the overall operation of the electronic device 201 and the signal flow between the internal components of the electronic device 201, performs data processing, and displays a battery (eg, the battery of FIG. 1). 189) may control the supply of power to the components.
  • a battery eg, the battery of FIG. 1). 189
  • the processor 240 may transmit a message to the IMS server 245 requesting subscription of the presence information for the external electronic device. In response to the subscription request, the processor 240 may receive a message authorizing the subscription request from the IMS server 245.
  • the processor 240 may display the VR image in response to the detection of the VR mode activation state.
  • the processor 240 may receive presence information on at least one external electronic device from the IMS server 245.
  • the processor 240 may display the received presence information on the VR image.
  • the processor 240 may perform a communication function with at least one external device based on the displayed presence information.
  • the communication function may include at least one of a video call and a game.
  • the processor 240 may request the detected video call through the communication circuit 210. May be transmitted to the external electronic device.
  • a response signal eg, an acceptance signal
  • the processor 240 may transmit a VR image in which an object representing the electronic device 201 is rendered to the external electronic device.
  • the processor 240 may receive information about an object (eg, a 3D avatar) representing the external electronic device from the external electronic device.
  • the processor 240 may render the object representing the received external electronic device in the VR image.
  • the processor 240 may receive context information on the external electronic device from the external electronic device.
  • the processor 240 may render and display a VR image based on the situation information.
  • the processor 240 may store a screen for the 2D application in the memory 215.
  • the processor 240 executes a program, for example, a 3D application or a VR rendering application, to read the screen for the 2D application from the memory 215, to include the rendered screen in the VR image, and to render the display 237. Can be marked on.
  • the processor 240 is an area corresponding to the gaze of the user based on the gaze and / or head movement of the user tracked through the sensor circuit 220 (eg, acceleration sensor and / or gyro sensor, etc.).
  • the VR image may be rendered and displayed on the display 237.
  • the processor 240 may render a screen about a function corresponding to a user input sensed by the VR device 251 on the display 237 by rendering the screen on the VR image.
  • the external electronic device may include the same components as the above-described electronic device 201.
  • the IMS server 245 may transmit and receive information and presence information about the electronic device 201 based on an IMS protocol supporting communication between the electronic device 201 and the IMS server 245.
  • the IMS protocol may include a session initiation protocol (SIP).
  • the IMS server 245 may manage a contact list for at least one registered electronic device.
  • the IMS server 245 may manage contact lists of at least one registered electronic device, for example, the electronic device 201 and the external electronic device, and whether to subscribe to the presence information on the corresponding contact included in each contact list.
  • 2B is a block diagram 250 illustrating a VR device 251 according to various embodiments.
  • the VR device 251 includes a communication circuit 255, an input device 260, a sensor circuit 265, a connector 270, a gaze tracker 275, a focus adjuster 280, and It may include a processor 285.
  • the communication circuit 255 may be electrically connected to the electronic device 201 using wireless and / or wired communication of the VR device 251 to transmit and receive data, for example, presence information.
  • the input device 260 may include a touch pad and a button.
  • the touch pad may recognize a touch input by at least one of capacitive, resistive, infrared, or ultrasonic methods.
  • the sensor circuit 265 may measure a physical quantity or detect an operation state of the VR device 251 to convert the measured or detected information into an electrical signal.
  • the sensor circuit 265 may include, for example, at least one of an acceleration sensor, a geomagnetic sensor, a gyro sensor, a magnetic sensor, a proximity sensor, a gesture sensor, a grip sensor, and a biometric sensor.
  • the VR device 251 may transmit sensor data sensed through the proximity sensor or the grip sensor to the electronic device 201.
  • the sensor data may include at least one of an IR recognition, a pressure recognition, and a change amount of capacitance (or dielectric constant).
  • the VR device 251 may transmit sensor data sensed through the acceleration sensor, the geomagnetic sensor, and the gyro sensor to the electronic device 201.
  • connector 270 is a USB connector 271 that may be connected to an electrical connection of VR device 251, such as a USB wired interface (eg, including USB circuitry and USB terminals), and / or HDMI And an HDMI connector 273 that may be connected to a wired interface (eg, an HDMI circuit and an HDMI terminal).
  • a USB wired interface eg, including USB circuitry and USB terminals
  • HDMI connector 273 may be connected to a wired interface (eg, an HDMI circuit and an HDMI terminal).
  • the eye tracker 275 may track the eye of the user of the electronic device 201.
  • the eye tracking unit 275 may further include a micro camera (not shown) for eye tracking.
  • the focus adjuster 280 measures an inter-pupil distance (IPD) of both eyes of the user so that the user can view an image suitable for his or her vision, and the distance of the lens and the electronic device 201.
  • IPD inter-pupil distance
  • the processor 285 may control the overall operation of the VR device 251 and the signal flow between internal components of the VR device 251 and perform data processing.
  • the VR device 251 of FIG. 2B may operate stand-alone, and although not shown, may further include a display and a memory.
  • the processor 285 may display the VR image on the display in response to the detection of the VR mode activation state.
  • the processor 285 may include the presence information received from the IMS server in the VR image and render the same, and output the rendered VR image to the display.
  • FIG. 3 is a diagram 300 illustrating a signal flow between the electronic device 310, the IMS server 320, and the external electronic device 330 according to various embodiments of the present disclosure.
  • At least one electronic device may be registered in the IMS server 320 before operation 340.
  • information about the at least one electronic device may be registered in the IMS server 320.
  • the at least one electronic device may transmit information about the at least one electronic device to the IMS server 320 through a SIP register method.
  • the information on the at least one electronic device may include a user ID, a telephone number, an e-mail address, and the like.
  • the electronic device 310 (eg, the electronic device 201 of FIG. 2A) sends a message requesting to subscribe to the presence information with respect to the external electronic device 330. ) can be transmitted to the IMS server 320 through the subscribe method.
  • the presence information may include information about the VR mode activation state of the external electronic device 330.
  • the present invention is not limited thereto and may include at least one of location information of a user of the external electronic device 330, a communication state (for example, an online or offline state), or a content sharing state.
  • the VR mode activation state may include at least one of a state in which a VR device is connected, a state in which a user wears a VR device, or a state in which a screen is rendered in a 3D VR mode and output to a display.
  • the 3D VR mode may include a mode of rendering a 3D screen corresponding to each eye by dividing the screen into regions corresponding to right and left eyes.
  • the presence information will be described on the assumption of information on a VR mode activation state, for example, a wearing state of the VR device.
  • the electronic device 310 may display a user interface for setting whether to receive the presence information for a specific contact on a display (for example, the display 237 of FIG. 2A).
  • the user interface may include a screen displaying a contact list including at least one contact.
  • the contact list may include an item for setting whether to receive presence information for each of the at least one contact.
  • the item may have a toggle function, and the item is controlled on / off according to the selection of the item, so that the presence information of the contact (for example, information on the wearing state of the VR device) is selected.
  • the electronic device 310 when the presence information of the at least one contact is set to be subscribed to (eg, an item included in the contact is set to on), the electronic device 310 requests to subscribe to the presence information of the contact. Message may be transmitted to the IMS server 320.
  • the IMS server 320 in operation 345, the subscription is performed.
  • a message for example, a SIP 200 OK message
  • a message for approving the request may be transmitted to the electronic device 310.
  • the IMS server 320 may manage a contact list for at least one registered electronic device.
  • the IMS server 320 may manage contact lists of at least one registered electronic device, for example, the electronic device 310 and the external electronic device 330, and the presence information of the corresponding contact included in each contact list. You can manage information about whether to subscribe to.
  • the external electronic device 330 may detect an activation state of the VR mode in operation 350.
  • the activation state of the VR mode may include a state in which a VR device is connected, a state in which a user wears a VR device, and / or a state of rendering a screen in a 3D VR mode.
  • the external electronic device 330 may detect the connection of the VR device through a connector (eg, the connector 230 of FIG. 2A), for example, the USB connector 231 or the HDMI connector 233.
  • the external electronic device 330 may detect at least one of an amount of change in IR recognition, pressure recognition, and capacitance (or dielectric constant) according to wearing the VR device through a sensor circuit (eg, the sensor circuit 220 of FIG.
  • the 3D VR mode may include a mode of rendering a 3D screen corresponding to each eye by dividing the screen into regions corresponding to left and right eyes.
  • the external electronic device 330 may transmit the presence information to the IMS server 320 through the SIP publish method in operation 355.
  • the IMS server 320 may transmit the presence information of the external electronic device 330 to the electronic device 310 through the SIP notify method in operation 360.
  • the electronic device 310 may perform a communication function with the external electronic device 330 based on the presence information of the external electronic device 330 received from the IMS server 320.
  • the communication function may include at least one of a video call or a game on VR.
  • the presence information of one external electronic device 330 is received for ease of description.
  • the electronic device 310 may include a plurality of external electronic devices.
  • the presence information of the plurality of external electronic devices may be received from the IMS server 320.
  • FIG. 4 is a diagram 400 illustrating a method of subscribing to presence information for an external electronic device according to various embodiments of the present disclosure.
  • the electronic device 410 may present presence information for a user of at least one external electronic device, such as a VR mode activation state (eg, a connection state of a VR device, a user's VR device).
  • a VR mode activation state eg, a connection state of a VR device, a user's VR device.
  • a contact list 415 including at least one contact may be displayed on a display (for example, the display 237 of FIG. 2A) to set whether to subscribe to a wearing state and a state of rendering a screen in 3D VR mode. .
  • the contact list 415 may include at least one of a contact stored in a phonebook in the electronic device 410 and a contact synchronized with a web server (eg, Google TM , Facebook TM , Twitter TM, etc.). have.
  • the contact list 415 may be displayed as execution of an application related to a contact (eg, a contact application or a phone application).
  • the electronic device 410 may set, for example, whether to subscribe to the presence information of each of at least one contact in the contact list 415.
  • the contact list may include contacts A, C, D, and E.
  • the contact list may receive presence information about each contact, for example, a VR mode activation state (for example, a connection state of a VR device, a wearing state of a VR device, and a state of rendering a screen in a 3D VR mode and outputting the display) It may be provided with an item 420 that can be set.
  • a VR mode activation state for example, a connection state of a VR device, a wearing state of a VR device, and a state of rendering a screen in a 3D VR mode and outputting the display
  • the electronic device 410 sets whether to receive (eg, on) or not receive (eg, off) presence information about each contact through the item 420. Can be. For example, as items 420 for contacts A and E are turned on 421 and items 420 for contacts C and D are turned off 423, the electronic device ( 410 (eg, the processor 240) may transmit 440 a message requesting the subscription of the presence information for the contacts A and E to the IMS server 430 (eg, the IMS server 320 of FIG. 3). have.
  • the IMS server 430 eg, the IMS server 320 of FIG. 3
  • the IMS server 430 may manage information related to the subscription of the presence information for the contacts A and E requested by the electronic device 410 (eg, the processor 240).
  • FIG. 5 is a diagram 500 illustrating a method of transmitting the presence information of the electronic device 510 according to various embodiments of the present disclosure.
  • the electronic device 510 (eg, the external electronic device 330 of FIG. 3) (eg, the processor 240) may detect an activation state of the VR mode.
  • the electronic device 510 is connected to (eg mounted) a VR device 520 (eg, VR device 251 of FIG. 2B) (eg, plug in or plug out). out)).
  • the electronic device 510 eg, the processor 240
  • the electronic device 510 may be connected to a connector (eg, the connector 230 of FIG. 2A) (eg, the USB connector 231 and the HDMI connector 233).
  • the device 520 may detect that the VR mode is activated.
  • control to operate in a mode for example, a VR mode
  • a mode suitable for the connected VR device 520 (for example, driving a VR application and a VR framework). Can be.
  • one image output on the screen is divided into two images (for example, a left image and a right image) and rendered, and an image is generated by a lens (for example, a VR lens) provided in the VR device 520.
  • the plane image may include a mode for generating an image by processing inverse distortion according to the characteristics of the lens.
  • the VR device 520 when the VR device 520 is connected, it has been described as detecting the activation state of the VR mode.
  • the present invention is not limited thereto, and the user may use the VR device 520 on which the electronic device 510 is mounted.
  • the electronic device 510 When worn, or when the screen is rendered in the 3D VR mode, the electronic device 510 (eg, the processor 240) may detect the activated state of the VR mode.
  • the electronic device 510 may determine whether the user wears the VR device 520 on which the electronic device 510 is mounted ( Example: You can detect mount or unmount.
  • the electronic device 510 (eg, the processor 240) is connected to the VR via a sensor circuit (eg, the sensor circuit 220 of FIG. 2A) (eg, proximity sensor, illuminance sensor, magnetic sensor, etc.). It may detect whether the device 520 is worn. For example, the electronic device 510 (eg, the processor 240) may determine the VR device 520 based on at least one of a change in IR recognition, pressure recognition, and capacitance (or dielectric constant) according to the wearing of the VR device 520. ) Can be worn.
  • a sensor circuit eg, the sensor circuit 220 of FIG. 2A
  • the electronic device 510 eg, the processor 240
  • the electronic device 510 may determine the VR device 520 based on at least one of a change in IR recognition, pressure recognition, and capacitance (or dielectric constant) according to the wearing of the VR device 520. ) Can be worn.
  • the electronic device 510 may detect a state in which the screen is rendered in the 3D VR mode and output to the display.
  • the 3D VR mode may include a mode of rendering a 3D screen corresponding to each eye by dividing the screen into regions corresponding to left and right eyes.
  • the electronic device 510 when the activation state of the VR mode is detected, the electronic device 510 (eg, the processor 240) may provide the presence information, for example, information on the VR mode activation state, of the IMS server 530 (eg, FIG. 3). To the IMS server 320). In an embodiment, the electronic device 510 (eg, the processor 240) may include identification information (eg, a phone number) of the electronic device 510 together with the presence information (eg, a publish message of a SIP protocol). May be sent 560 to the IMS server 530.
  • identification information eg, a phone number
  • the presence information eg, a publish message of a SIP protocol
  • the present invention is described as transmitting the presence information to the IMS server 530 when the activation state of the VR mode is detected.
  • the electronic device 510 for example, the processor 240
  • the electronic device 510 is a VR.
  • Information about the inactive state of the mode may be transmitted to the IMS server 530.
  • the deactivation state of the VR mode may include a state in which a non-wear state is detected while the VR device 520 is worn, a state in which the VR device 520 is disconnected, or output of a screen rendered in 3D VR mode is stopped. It may include at least one of the state.
  • the IMS server 530 requests the external electronic device to receive (eg, subscribe to) the presence information of the activation state of the VR mode received from the electronic device 510.
  • the device 540 may transmit 570 (eg, using a publish message of the SIP protocol) to the device 540 (eg, the electronic device 310 of FIG. 3).
  • the IMS server 530 may transmit the presence information of the electronic device 510 only to the external electronic device in which the VR mode is activated among the at least one external electronic device requesting the reception of the presence information of the electronic device 510. Can transmit
  • the electronic device 510 may set whether to transmit the presence information to the IMS server 530. For example, when it is set to transmit the presence information, the electronic device 510 (eg, the processor 240) may perform operation 560 described above. When the presence information is set to not transmitted, the electronic device 510 (eg, the processor 240) may not transmit the presence information to the IMS server 530 even when the activation state of the VR mode is detected.
  • the electronic device 510 when an input for selecting a contact to transmit presence information is detected in the contact list, the electronic device 510 (eg, the processor 240) transmits the presence information and the presence information to transmit the presence information to the selected contact. Identification information about the selected contact may be transmitted to the IMS server 530.
  • the presence information when the user of the electronic device 510 does not want to transmit the presence information on the VR mode activation state, it is possible to set whether to transmit the above-mentioned presence information so that the presence information is transmitted to the external electronic device 540. Can be prevented.
  • the presence information may be transmitted only to a contact selected by the user of the electronic device 510, thereby preventing the presence information from being transmitted to a contact not desired by the user.
  • FIG. 6 is a flowchart illustrating a method of performing a communication function with an external electronic device in a VR mode according to various embodiments of the present disclosure.
  • the electronic device eg, the electronic device 310 of FIG. 3 (eg, the processor 240) may detect an activation state of the VR mode in operation 601.
  • the activation state of the VR mode may include at least one of a state in which a VR device is connected, a user wears a VR device, or a state in which a screen is rendered in a 3D VR mode and output to a display.
  • the operation of detecting the VR mode activation state of the electronic device in operation 601 is the same as operation 550 of FIG. 5, and a description thereof will be replaced with the description related to FIG. 5.
  • the electronic device may display a VR image in response to detecting the activation state of the VR mode.
  • the VR image may display a see-through or virtual reality (VR) that provides augmented reality (AR) through a display (eg, the display 237 of FIG. 2A). It may include an image of at least one of the provided (see-closed).
  • VR virtual reality
  • AR augmented reality
  • the VR image may be represented by separating one image into two images (eg, left image and right image).
  • the image may be distorted by a lens provided in the VR device, the image may be inversely distorted according to the characteristics of the lens to provide a flat image to the user. Can be processed.
  • the electronic device may receive presence information on at least one external electronic device from the IMS server (eg, the IMS server 320 of FIG. 3) in operation 605. .
  • the IMS server eg, the IMS server 320 of FIG. 3
  • the presence information of the at least one external electronic device of operation 605 is received in response to detecting the activation state of the VR mode of operation 603, but is not limited thereto. Presence information regarding at least one external electronic device in operation 605 may be previously received from the IMS server.
  • the presence information of the at least one external electronic device may be subscribed to, and the presence information of the at least one external electronic device according to the subscription may be obtained from the IMS server. Can be received from.
  • the electronic device may display the received presence information on the VR image in operation 607.
  • the presence information may include an activation state of the VR mode of the external electronic device, for example, whether the user wears the VR device.
  • the electronic device may detect a user input for requesting a communication function from at least one external device based on the displayed presence information in operation 609.
  • the communication function may include at least one of a video call or a game.
  • an electronic device eg, the processor 240
  • the electronic device may perform a communication function with at least one external electronic device.
  • FIGS. 7A and 7B are diagrams for describing a method of displaying presence information for at least one external electronic device in a VR mode according to various embodiments of the present disclosure.
  • an electronic device eg, the electronic device 310 of FIG. 3
  • a VR device eg, the VR device of FIG. 2B
  • 251 and / or display the VR image 710 on the display (e.g., display 237 of FIG. 2) in response to the user wearing the VR device equipped with the electronic device.
  • a VR device e.g., the VR device of FIG. 2B
  • the VR image 710 displayed on the display (e.g., display 237 of FIG. 2) in response to the user wearing the VR device equipped with the electronic device.
  • the electronic device eg, the processor 240, the VR application
  • the electronic device is connected to at least one external electronic device received from the IMS server (eg, the IMS server 320 of FIG. 3) in the VR image 710.
  • Presence information can be displayed.
  • the presence information may include information on the VR mode activation state of the at least external electronic device.
  • the information on the VR mode activation state is information on the wearing state of the VR device.
  • the presence information may display a number (for example, 2) of a contact counterpart wearing a VR device as a badge 715 on the contact application icon 711.
  • the present invention is not limited thereto, and the 3D avatar 719 representing the user wearing the VR device may be displayed on the VR image 710 as a method for displaying the presence information.
  • the electronic device may execute a contact application execution screen 720 including at least one contact.
  • the electronic device eg, the processor 240
  • the electronic device eg, the processor 240 or the VR application
  • the electronic device eg, the processor 240 or the VR application
  • the electronic device may have a visual effect (eg, a friend A or a friend E) 725 or 730 on the contact wearing the VR device.
  • a contact application execution screen displayed to be distinguished from a contact not wearing a VR device can be displayed.
  • the contact application may be a 2D application.
  • the electronic device eg, the processor 240 or the VR application
  • the electronic device may include the contact application execution screen 720 in the VR image.
  • the electronic device eg, the processor 240 or the VR application
  • the electronic device may display state information adjacent to a contact wearing the VR device.
  • the status information may include at least one of "VR in use”, “VR in use or interruption prevention”.
  • the electronic device may provide information about a contact wearing the VR device as a notification.
  • the electronic device eg, the processor 240 or the VR application
  • the electronic device may receive the presence information. It may be provided in the form of a 3D avatar in the form of a pop-up window and a corresponding contact.
  • the notification may be provided rendered in the VR image.
  • FIG. 8 is a flowchart 800 illustrating a method of transmitting presence information of an electronic device according to various embodiments of the present disclosure.
  • the electronic device may detect an activation state of the VR mode.
  • the activation state of the VR mode is a state in which a VR device (eg, the VR device 251 of FIG. 2B) is connected, a user wears a VR device, or a state in which a screen is rendered in a 3D VR mode and output to a display. It may include at least one of.
  • the electronic device may display a VR image in response to detecting the activation state of the VR mode.
  • operations 801 and 803 are the same as operations 601 and 603 of FIG. 6 described above, and a detailed description thereof will be replaced with the description related to FIG. 6.
  • the electronic device may transmit the presence information of the electronic device to an IMS server (eg, the IMS server 245 of FIG. 2A).
  • the presence information may include information on a VR mode activation state of the electronic device.
  • the electronic device may transmit identification information (eg, a phone number) of the electronic device to the IMS server together with the presence information.
  • identification information eg, a phone number
  • the electronic device may receive a request related to a communication function from an external electronic device (eg, the electronic device 310 of FIG. 3).
  • the communication function may include a video call, a game, and the like.
  • the electronic device may transmit a signal in response to the request related to the received communication function and perform a communication function with the external electronic device. For example, when a user input for accepting a request related to the received communication function is detected, a signal for accepting the request may be transmitted to the external electronic device.
  • the electronic device may transmit data necessary to perform the communication function together with a signal for accepting the received request.
  • the data may include geometry, material, and motion information about an object (eg, a 3D avatar) representing the electronic device.
  • operations 807 and 809 described above may be omitted.
  • the electronic device detects an inactive state of the VR mode, for example, a state in which the user wears the VR device or detects a non-wear state, or the electronic device.
  • an inactive state of the VR mode for example, a state in which the user wears the VR device or detects a non-wear state, or the electronic device.
  • FIG. 9 is a flowchart illustrating a method of performing a communication function with an external electronic device in a VR mode according to various embodiments of the present disclosure.
  • FIG. 9 illustrates an operation of performing a communication function with an external electronic device, which is described above with reference to operation 611 of FIG. 6 and operation 809 of FIG.
  • the electronic device 310 or the external electronic device 330 (eg, the processor 240) of the electronic device 310 renders an object representing the electronic device on a VR image and performs a video call with the external electronic device in operation 901.
  • the rendered VR image may be transmitted to an external electronic device.
  • the electronic device may select at least one of geometry, material, or motion information about an object (eg, a 3D avatar) representing the electronic device. It may further transmit to the external electronic device.
  • the electronic device may receive 3D modeling information on the object representing the external electronic device from the external electronic device in operation 903.
  • the electronic device may further receive context information about the external electronic device from the external electronic device.
  • the contextual information may include location information of the external electronic device and voice information of a user of the external electronic device.
  • the electronic device eg, the processor 240
  • the information on the VR mode change may include at least one of a state in which a non-wear state is detected while the VR device (for example, the VR device 251 of FIG. 2B) is worn, or the connection of the VR device is disconnected. can do.
  • the electronic device may render and display an object representing the external electronic device on the VR image based on the received 3D modeling information in operation 905.
  • the object representing the external electronic device is assumed to be a 3D avatar.
  • the electronic device eg, processor 240, VR application
  • the electronic device is based on at least one of geometry, material, or motion information for the 3D avatar representing the external electronic device.
  • the 3D avatar representing the external electronic device in the VR image may be displayed.
  • the electronic device may render and display an object representing the external electronic device on the VR image based on context information of the external electronic device.
  • the external electronic device may acquire location information of a user of the external electronic device in a space through a microphone (eg, a 3D microphone) that recognizes spatial information, and transmit the obtained location information to the electronic device.
  • a microphone eg, a 3D microphone
  • each of the multiple users may speak at a different location.
  • the external electronic device may analyze voices of the plurality of users to obtain location information of each of the plurality of users in a space, and transmit the location information of each user to the electronic device. have.
  • the electronic device may determine a location of an object representing the external electronic device in the VR image based on location information of the user of the external electronic device received from the external electronic device. You can decide (e.g. change).
  • the electronic device eg, the processor 240 or the VR application
  • the position of the object representing the external electronic device may be changed in real time within the VR image.
  • the electronic device eg, the processor 240
  • the electronic device eg, the processor 240 or the VR application
  • the electronic device may analyze the voice signal of the user to determine an emotional state of the user of the external electronic device. For example, when the user's voice is louder, for example, when the frequency of the voice signal is increased or the amplitude is widened, the electronic device (eg, the processor 240) may determine that the user is angry or excited.
  • the electronic device eg, the processor 240 or the VR application
  • the emotional state may further include a happy state, a sleepy state, a boring state, and the like.
  • the electronic device may analyze the speech (eg, words or sentences) of the user and determine the motion of the user based on the same. For example, when a user's speech, for example, “hello” or “love” is recognized, the electronic device (eg, the processor 240 or the VR application) may perform a motion defined for the “hello” or “love”.
  • the animation may be applied to an object representing an external electronic device, and may be rendered and displayed in a VR image.
  • the electronic device e.g., processor 240, VR application
  • the electronic device is in a state in which the VR mode is changed (e.g., wearing a VR device, an unwearing state is detected, and / or the VR device is disconnected).
  • the VR mode e.g., wearing a VR device, an unwearing state is detected, and / or the VR device is disconnected.
  • an object representing the external electronic device displayed in the VR image for example, a 3D avatar may be replaced with an object (eg, an item or an avatar) corresponding to the deactivation of the VR mode.
  • the electronic device may perform a communication function with an object representing the external electronic device in operation 907.
  • the user of the electronic device may perform a video call with an object representing the external electronic device displayed in the VR image, for example, a 3D avatar.
  • the VR image may include at least one virtual item in at least some areas.
  • the electronic device eg, the processor 240
  • FIG. 10 is a diagram 1000 illustrating a signal flow between an electronic device 1010, an IMS server 1020, and an external electronic device 1030 according to various embodiments of the present disclosure.
  • operations 1040 to 1050 in FIG. 10 are the same as operations 340 to 350 of FIG. 3 described above, and the description thereof will be replaced with the description related to FIG. 3.
  • operations 1040 to 1050 in FIG. 10 are the same as operations 340 to 350 of FIG. 3 described above, and the description thereof will be replaced with the description related to FIG. 3.
  • only operations different from those of FIG. 3 will be described with reference to FIG. 10.
  • the external electronic device 1030 detects a VR mode activation state (eg, a VR device (eg, the VR device of FIG. 2B). 251)) If the connection is detected, the VR device is worn, and the screen is rendered in the 3D VR mode and the output state is detected), in operation 1055, the electronic device to transmit the presence information (eg, publish) is detected. You can detect the user input you select.
  • a VR mode activation state eg, a VR device (eg, the VR device of FIG. 2B). 251)
  • the electronic device to transmit the presence information eg, publish
  • the external electronic device 1030 may display a contact list including at least one contact by executing an application related to the contact.
  • the external electronic device 1030 may select at least one contact to transmit the presence information of the external electronic device 1030 from the displayed contact list.
  • the external electronic device 1030 may request the IMS server 1020 for identification information about the electronic device (eg, the selected contact) selected by the user, for example, the electronic device 1010.
  • the identification information may include at least one of a user ID, a telephone number, a mail address, and an IP address.
  • the external electronic device 1030 may set an electronic device to transmit the presence information in operation 1047.
  • the external electronic device 1030 renders a screen in the presence information of the external electronic device 1030, for example, a VR mode activation state (for example, a connection state of a VR device, a user's VR device wearing state, and a 3D VR mode).
  • An application related to a contact may be executed to set up a contact to be sent).
  • the external electronic device 1030 may display a contact list including at least one contact on a display (for example, the display 237 of FIG. 2A).
  • the external electronic device 1030 may set the at least one selected contact as a contact to transmit the VR mode activation state of the external electronic device 1030. .
  • the at least one contact when the at least one contact is set as a contact to transmit a VR mode activation state in operation 1047, if the VR mode activation state of operation 1050 is detected, operation 1055 is omitted and the operation of operation 1060 is performed. An operation of requesting the IMS server 1020 for identification information about at least one set contact may be performed.
  • the IMS server 1020 may transmit identification information (eg, an ip address) of the electronic device 1010 requested by the external electronic device 1030.
  • identification information eg, an ip address
  • the IMS server 1020 may provide information about at least one registered electronic device (for example, the electronic device 1010 and the external electronic device 1030), for example, a user ID of the at least one electronic device. ID), phone number, and e-mail address.
  • the IMS server 1020 may transmit identification information about the electronic device 1010 requested by the external electronic device 1030 based on the information on the at least one electronic device.
  • the external electronic device 1030 may transmit the presence information on the external electronic device 1030 to the electronic device 1010 based on the identification information received from the IMS server 1020.
  • the external electronic device 1030 may use the identification information of the at least one electronic device received from the IMS server 1020, for example, an IP address, to present the presence information, for example, VR, to the electronic device corresponding to the IP address.
  • Information about the mode activation status can be sent directly through the SIP publish method.
  • the information on the VR mode activation state may be directly transmitted to the at least one electronic device by using the IP address of the at least one electronic device, so that an additional IMS server 1020 may not be required. have.
  • the information about the VR mode activation state may be transmitted only to a specific contact selected by the user, rather than sending the information about the VR mode activation state to at least one electronic device to which the user subscribed. It can prevent the growth.
  • FIG. 11 is a block diagram 1100 illustrating a method of rendering a screen to be displayed on a VR according to various embodiments of the present disclosure.
  • an electronic device eg, the electronic device 310 of FIG. 3
  • the processor 240 may be activated in a VR mode, for example, a VR device (eg, the electronic device 251 of FIG. 2B).
  • the VR framework 1135 may be driven to control functions related to the operation of the electronic device based on the rendered VR image.
  • the electronic device eg, the processor 240
  • the electronic device responds to the activation state of the VR mode so that one image is displayed by the 3D renderer 1115 by two images (eg, left image and The VR image separated into the right image may be transmitted to the display controller 1120.
  • the separated VR image may be output to the display 1125 by the display controller 1120.
  • the display controller 1120 and the display 1125 may be included in an external electronic device, and the electronic device (eg, the 3D application 1110) may respond to an activation state of the VR mode.
  • a VR image in which one image is divided into two images (eg, a left image and a right image) by a 3D renderer 1115, is displayed on the external electronic device through a display controller of the external electronic device. Can be output to the display.
  • the electronic device may obtain an image of a current space acquired through at least one camera (not shown).
  • the 3D renderer 1115 of the electronic device may render the obtained image of the current space in the VR image.
  • the rendered image may be output to the display 1125 through a display controller 1120.
  • the IMS framework 1145 is configured to display the presence information on the VR mode activation state of the external electronic device, for example, the VR device wearing state, from the external electronic device (eg, the IMS server of FIG. 3). And 320 may be transmitted and / or received.
  • the 3D renderer 1115 may include an object representing the external electronic device in the VR image based on the presence information received through the VR framework 1135 and render the VR image.
  • the 3D renderer 1115 may include an object representing the external electronic device in a VR image by using an open graphics library (OpenGL) and / or a graphic processing unit (GPU).
  • OpenGL open graphics library
  • GPU graphic processing unit
  • the rendered image may be output to the display 1125 through a display controller 1120.
  • a radio interface layer interface (RIL i / f) 1150 of the electronic device may provide a communication connection with an external electronic device (eg, the external electronic device 330 of FIG. 3).
  • the electronic device eg, application 146 and middleware 144) communicates with a communication module (eg, communication module 190, modem) via a RIL interface (RIL i / f) 1150.
  • a communication module eg, communication module 190, modem
  • RIL i / f RIL interface
  • the data is data for performing a communication function (eg, a video call function) between the electronic device and the external electronic device, for example, a shape and a material of an object (eg, a 3D avatar) representing the electronic device and the external electronic device. , And motion information.
  • a communication function eg, a video call function
  • the electronic device may execute the 2D application 1160 or the 2D IMS application 1165 while the VR application 1110 is running. .
  • the electronic device eg, the processor 240
  • Each of the generated surfaces may be a plurality, and the plurality of surfaces may be stored in the graphic buffers 1163 and 1167.
  • Surfaces for the 2D application 1160 and the 2D IMS application 1165 stored in the graphics buffers 1163 and 1167 are frame buffers 1143 of the window compositor 1140. Can be delivered.
  • the window compositor 1140 synthesizes several surfaces of a 2D application 1160 or a 2D IMS application 1165 stored in the frame buffer 1143 into one surface. can do.
  • the VR application 1110 may read one surface synthesized by the window compositor 1140 through the VR framework 1135.
  • the VR app 1110 includes the rendered single surface in a VR image and renders it (e.g., renders using a 3D renderer 1115) and displays it ( 1125).
  • the VR application 1110 may track the eyes of the user through the eye tracker (eg, the eye tracker 275 of FIG. 2B). In one embodiment, the VR application 1110 receives a user input (eg, an object focus input in the VR image, etc.) in the VR image through an input device (eg, the input device 260 of FIG. 2B). Can be received.
  • a user input eg, an object focus input in the VR image, etc.
  • an input device eg, the input device 260 of FIG. 2B.
  • the VR framework 1135 displays a screen for the 2D application 1160 (or the 2D IMS app 1165).
  • the VR framework 1135 may provide user input information of the VR app 1110 (eg, user gaze position information and focus (in a VR image). information about the focused object, etc.) to be converted into user input information (eg, touch coordinates and touch events, etc.) corresponding to the 2D application 1160 and transmitted to the input framework 1130.
  • An input framework 1130 may deliver user input information received from the VR framework to a 2D application 1160 and a 2D IMS app 1165. .
  • the image of the rendered VR app 1110 is transmitted to a display controller 1120 and to a display 1125 via the display controller 1120. Can be displayed.
  • the 2D application 1160 may execute a function according to the received gaze information and / or user input of the user.
  • the electronic device may generate a screen (eg, surface) according to the executed function.
  • Each of the generated surfaces may be a plurality, and the plurality of surfaces may be stored in the graphic buffers 1163 and 1167.
  • Surfaces for the 2D application 1160 and the 2D IMS application 1165 stored in the graphic buffers 1163 and 1167 are one surface by the window compositor 1140. Can be synthesized.
  • the window compositor 1140 may transfer the synthesized surface to the 3D app 1110 through the VR framework 1135.
  • the 3D app 1110 may include the synthesized one surface in a VR image and render it.
  • the 3D app 1110 may 2D render a VR screen using a 3D renderer 1115.
  • the rendered VR image based on the gaze information and / or the user input of the user may be output to the display 1125 by the display controller 1120.
  • a VR app 1110, a 3D renderer 1115, an input framework 1130, a VR framework 1135, a window compositor (window compositor) 1140, IMS framework 1145, RIL interface (RIL i / f) 1150, 2D application (2D app) 1160 or 2D IMS application (2D IMS app) ( 1165 may be included in a program (eg, the program 140 of FIG. 1) operating in a processor (eg, the processor 120 of FIG. 1).
  • FIG. 12 is a flowchart 1200 illustrating a method of rendering a 2D application screen according to various embodiments of the present disclosure.
  • Operations 1201 to 1207 of FIG. 12 are the same as operations 601 to 607 of FIG. 6 described above, and thus description thereof will be replaced with the description related to FIG. 6. Hereinafter, only operations different from those of FIG. 6 will be described with reference to FIG. 12.
  • the electronic device may display a 2D application (eg, in a VR image displayed as execution of a VR application (eg, the VR application 1110 of FIG. 11)).
  • the 2D application 1160 and 2D IMS application 1165 of FIG. 11 may be executed.
  • the electronic device may store a screen of a 2D application executed in the VR image included in the VR application 1110 in a buffer (eg, included in the memory 130).
  • a buffer eg, included in the memory 130.
  • the electronic device may generate a screen (eg, surface) for the 2D application.
  • the electronic device stores the screen for the generated 2D application in a buffer on the memory 130 (eg, the graphic buffer (eg, the graphic buffers 1163 and 1167 of FIG. 11)) and a virtual frame buffer (eg, FIG. 1143 of 11).
  • the electronic device reads the screen for the 2D application from the buffer (eg, the frame buffer 1143 of FIG. 11) in operation 1213, and reads the read screen. It can be rendered and displayed on the VR image.
  • the electronic device may render the screen read from the buffer through a 3D renderer (eg, the 3D renderer 1115 of FIG. 11) by texture streaming and / or texture mapping the VR image. have.
  • the electronic device may use a 2D application (eg, 2D application 1160 of FIG. 11) through a VR framework (eg, VR framework 1135 of FIG. 11) (or a 2D IMS application (eg, 2D IMS application of FIG. 11).
  • the function related to the operation of the electronic device may be controlled based on the VR image in which the screen of FIG. 1165 is rendered.
  • the electronic device may track the gaze of the user through the gaze tracker (eg, the gaze tracker 275 of FIG. 2B).
  • the electronic device (eg, the VR application 1110) may render and display a VR image of an area corresponding to the gaze of the user based on the tracked gaze of the user.
  • the area corresponding to the user's gaze in the VR image of the VR application 1110 is an area representing the 2D application 1160 (eg, a 2D IMS application 1165 such as a contact application or a phone application)
  • the electronic device eg, the VR application 1110) may further display the presence information received from the at least one external electronic device 330 in the VR image.
  • the electronic device may determine the number of at least one external electronic device 330 (eg, 2), etc., in which the VR mode is activated. You can display more in the video.
  • the electronic device may receive a user input detected from a VR device (eg, the VR device 251 of FIG. 2B).
  • the electronic device may receive a signal for at least one of a touch input and a button input detected by the input device (eg, the input device 260 of FIG. 2B) of the VR device from the VR device.
  • the electronic device may convert at least one of a touch input, a key input, and a gesture corresponding to the received input, and render a screen of a function performed by the input on the VR image through the 3D renderer 1115.
  • Electronic devices may be various types of devices.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a camera
  • a wearable device e.g., a smart bracelet
  • a home appliance device e.g., a home appliance
  • a or B at least one of A and B
  • at least one of A or B at least one of A or B
  • A, B, or C at least one of A, B, and C
  • Each of the phrases such as “at least one of A, B, or C” may include any one of the items listed together in the corresponding one of the phrases, or any possible combination thereof.
  • Terms such as “first,” “second,” or “first,” or “second,” may be used to simply distinguish a component from other corresponding components, and to separate the components from other aspects (e.g., importance Or order).
  • Some (eg, first) component may be referred to as “coupled” or “connected” to another (eg, second) component, with or without the term “functionally” or “communically”.
  • any component can be connected directly to the other component (eg, by wire), wirelessly, or via a third component.
  • module may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit.
  • the module may be a minimum unit or part of an integrally configured component or part that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of this document may include one or more instructions stored on a storage medium (eg, internal memory 136 or external memory 138) that can be read by a machine (eg, electronic device 101). It may be implemented as software (eg, program 140) including the.
  • a processor eg, the processor 120 of the device (eg, the electronic device 101) may call and execute at least one command among one or more instructions stored from the storage medium. This enables the device to be operated to perform at least one function in accordance with the at least one command invoked.
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' means only that the storage medium is a tangible device and does not contain a signal (e.g. electromagnetic wave), which is the term used when the data is stored semi-permanently on the storage medium. It does not distinguish cases where it is temporarily stored.
  • a signal e.g. electromagnetic wave
  • a method may be provided included in a computer program product.
  • the computer program product may be traded between the seller and the buyer as a product.
  • the computer program product may be distributed in the form of a device-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play Store TM ) or two user devices ( Example: smartphones) can be distributed (eg downloaded or uploaded) directly or online.
  • a device-readable storage medium such as a server of a manufacturer, a server of an application store, or a memory of a relay server.
  • each component eg, module or program of the above-described components may include a singular or plural entity.
  • one or more of the aforementioned components or operations may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or a program
  • the integrated component may perform one or more functions of the component of each of the plurality of components the same as or similar to that performed by the corresponding component of the plurality of components before the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations may be executed in a different order, or omitted. Or one or more other actions may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명의 다양한 실시예들에 따르면, 전자 장치는, IMS 서버와 통신하는 IMS 프레임 워크, 디스플레이, 메모리, 및 프로세서를 포함하고, 상기 프로세서는, VR(virtual reality) 모드의 활성화 상태에 응답하여, VR 영상을 표시하도록 상기 디스플레이를 제어하고, 적어도 하나의 외부 전자 장치의 상기 VR 모드의 활성화 상태에 대한 정보를 포함하는 프레즌스 정보를 상기 IMS 서버로부터 수신하고, 3D 어플리케이션을 이용하여 상기 수신된 적어도 하나의 외부 전자 장치에 대한 프레즌스 정보를 상기 VR 영상에 포함하여 렌더링하고, 및 상기 적어도 하나의 외부 전자 장치에 대한 프레즌스 정보를 포함하는 상기 렌더링된 VR 영상을 표시하도록 상기 디스플레이를 제어하도록 설정될 수 있다. 본 발명에 개시된 다양한 실시예들 이외의 다른 다양한 실시예가 가능하다.

Description

가상 현실에서 정보를 제공하는 전자 장치 및 방법
본 발명의 다양한 실시예는 가상 현실에서 정보를 제공하는 전자 장치 및 방법에 관한 것이다.
최근 신체에 직접 착용될 수 있는 웨어러블(wearable) 전자 장치들이 개발되고 있다. 예컨대, 웨어러블 전자 장치는 헤드 마운트형 장치(head-mounted device, HMD), 스마트 시계(smart watch), 및 밴드(wristband) 등 신체의 일부 또는 의복에 탈부착 가능한 다양한 형태일 수 있다.
특히, 헤드 마운트형 장치의 경우, 사용자의 눈 앞에 디스플레이를 배치하여, 사용자에게 초대형 화면을 제공하고, 사용자의 움직임에 따라 화면이 함께 움직이므로 사실적인 가상 세계를 제공할 수 있다.
전자 장치는 VR 장치를 착용 중에 이동 통신망(예: VoLTE, ViLTE)을 이용하여 상대방 전자 장치와 통신 기능 예컨대, 전화 기능을 수행할 수 없다. VR 장치 착용 중 상대방 전자 장치와 통신 기능 예컨대, 전화 기능을 수행하고자 하는 경우, 상대방 전자 장치의 사용자가 VR 장치를 착용 중인지 여부를 알지 못할 수 있다. 이에 따라, 전자 장치는 VR 장치의 착용 상태를 고려한 사용자 인터페이스를 사용자에게 제공하지 못할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는, VR 모드가 활성화되면, VR 장치와 관련된 정보(이하, 프레즌스 정보(presence information))를 제공하는 IMS 기반의 네트워크를 통해 상대방 전자 장치에 대한 프레즌스 정보를 수신할 수 있다. 전자 장치는, IMS 기반의 네트워크를 통해 수신한 프레즌스 정보에 기초하여 VR 모드가 활성화된 상태에서 상대방 전자 장치와 통신 기능을 수행할 수 있다.
본 발명의 다양한 실시예들에 따르면, 전자 장치는, IMS 서버와 통신하는 IMS 프레임 워크, 디스플레이, 메모리, 및 프로세서를 포함하고, 상기 프로세서는, VR(virtual reality) 모드의 활성화 상태에 응답하여, VR 영상을 표시하도록 상기 디스플레이를 제어하고, 적어도 하나의 외부 전자 장치의 상기 VR 모드의 활성화 상태에 대한 정보를 포함하는 프레즌스 정보를 상기 IMS 서버로부터 수신하고, 3D 어플리케이션을 이용하여 상기 수신된 적어도 하나의 외부 전자 장치에 대한 프레즌스 정보를 상기 VR 영상에 포함하여 렌더링하고, 및 상기 적어도 하나의 외부 전자 장치에 대한 프레즌스 정보를 포함하는 상기 렌더링된 VR 영상을 표시하도록 상기 디스플레이를 제어하도록 설정될 수 있다.
본 발명의 다양한 실시예들에 따르면, 전자 장치의 가상 현실에서 정보를 제공하는 방법은, VR(virtual reality) 모드의 활성화 상태 응답하여, VR 영상을 디스플레이에 표시하는 동작, 적어도 하나의 외부 전자 장치의 상기 VR 모드의 활성화 상태에 대한 정보를 포함하는 프레즌스 정보를 IMS 서버로부터 수신하는 동작, 3D 어플리케이션을 이용하여 상기 수신된 적어도 하나의 외부 전자 장치에 대한 프레즌스 정보를 상기 VR 영상에 포함하여 렌더링하는 동작, 및 상기 적어도 하나의 외부 전자 장치에 대한 프레즌스 정보를 포함하는 상기 렌더링된 VR 영상을 상기 디스플레이에 표시하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는, VR 모드가 활성화된 상태에서 IMS 기반의 네트워크를 통해 상대방 전자 장치와 통신 기능을 수행할 수 있다. 전자 장치는, IMS 기반의 네트워크를 통해 상대방 전자 장치의 VR 모드의 활성화 상태에 대한 프레즌스 정보를 수신할 수 있어, 프레즌스 정보에 기초한 적절한 사용자 인터페이스를 사용자에게 제공할 수 있다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경 내의 가상 현실에서 정보를 제공하는 전자 장치의 블록도이다.
도 2a는, 다양한 실시예들에 따른, 전자 장치와 IMS 서버를 나타내는 블록도이다.
도 2b는, 다양한 실시예들에 따른, VR 장치를 나타내는 블록도이다.
도 3은, 본 발명의 다양한 실시예들에 따른, 전자 장치, IMS 서버, 외부 전자 장치 간의 신호 흐름을 도시한 도면이다.
도 4는, 본 발명의 다양한 실시예들에 따른, 외부 전자 장치에 대한 프레즌스 정보를 구독하는 방법을 설명하기 위한 도면이다.
도 5는, 본 발명의 다양한 실시예들에 따른, 전자 장치의 프레즌스 정보를 전송하는 방법을 설명하기 위한 도면이다.
도 6은, 본 발명의 다양한 실시예들에 따른, VR 모드에서 외부 전자 장치와 통신 기능을 수행하는 방법을 설명하기 위한 흐름도이다.
도 7a 및 도 7b는, 본 발명의 다양한 실시예들에 따른, VR 모드에서 적어도 하나의 외부 전자 장치에 대한 프레즌스 정보를 표시하는 방법을 설명하기 위한 도면이다.
도 8은, 본 발명의 다양한 실시예들에 따른, 전자 장치의 프레즌스 정보를 전송하는 방법을 설명하기 위한 흐름도이다.
도 9는, 본 발명의 다양한 실시예들에 따른, VR 모드에서 외부 전자 장치와 통신 기능을 수행하는 방법을 설명하기 위한 흐름도이다.
도 10은, 본 발명의 다양한 실시예들에 따른, 전자 장치, IMS 서버, 외부 전자 장치 간의 신호 흐름을 도시한 도면이다.
도 11은, 본 발명의 다양한 실시예들에 따른, VR 상에서 표시할 화면을 렌더링하는 방법을 설명하기 위한 블록도이다.
도 12는, 본 발명의 다양한 실시예들에 따른, 2D 어플리케이션 화면을 렌더링하는 방법을 설명하기 위한 흐름도이다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 가상 현실에서 정보를 제공하는 전자 장치(101)의 블록도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(160)(예: 디스플레이)에 임베디드된 채 구현될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144), 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(150)은, 예를 들면, 마이크, 마우스, 또는 키보드, 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 장치(155)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(160)는 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 표시 장치(160)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(170)은, 입력 장치(150)를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시예에 따르면, 전력 관리 모듈(388)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지, 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 안테나 모듈은, 일 실시예에 따르면, 도전체 또는 도전성 패턴으로 형성될 수 있고, 어떤 실시예에 따르면, 도전체 또는 도전성 패턴 이외에 추가적으로 다른 부품(예: RFIC)을 더 포함할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 하나 이상의 안테나들을 포함할 수 있고, 이로부터, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부 전자 장치 간에 송신되거나 수신될 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호 간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104) 간에 송신 또는 수신될 수 있다. 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2a는, 다양한 실시예들에 따른, 전자 장치(201)와 IMS 서버(245)를 나타내는 블록도(200)이다.
도 2a를 참조하면, 전자 장치(201)(예: 도 1의 전자 장치(101))는 통신 회로(210)(예: 도 1의 통신 모듈(190)), 메모리(215)(예: 도 1의 메모리(130)), 센서 회로(220)(예: 도 1의 센서 모듈(176)), 커넥터(230)(예: 도 1의 연결 단자(178)), 터치스크린 디스플레이(235)(예: 도 1의 표시 장치(160)), 및 프로세서(240)(예: 도 1의 프로세서(120))를 포함할 수 있다.
일 실시예에서, 통신 회로(210)는 무선 및/또는 유선 통신을 통해서 네트워크에 연결되어 외부 전자 장치(예: 도 1의 전자 장치(102, 104), 서버(108))와 통신할 수 있다.
일 실시예에서, 통신 회로(210)는 전자 장치(201)와 VR 장치(미도시)(예: 도 2b의 VR 장치(251))의 무선 및/또는 유선 통신을 이용하여 전기적으로 연결하여 데이터 송수신을 수행할 수 있다.
일 실시예에서, 통신 회로(210)는 전자 장치(201)와 IMS 서버(IP multimedia subsystem)(245)를 연결하여 프레즌스 정보의 송수신을 수행할 수 있다. 예컨대, 상기 프레즌스 정보는 VR 모드 활성화 상태에 대한 정보를 포함할 수 있다. 예컨대, 상기 VR 모드 활성화 상태에 대한 정보는 VR 장치(미도시)(예: 도 2b의 VR 장치(251))의 연결 상태에 대한 정보, 사용자의 VR 장치 착용 상태에 대한 정보, 또는 3D VR 모드로 화면을 렌더링 하여 출력하는 상태를 포함할 수 있다.
일 실시예에서, 메모리(215)는 전자 장치(201)의 동작 전반을 제어하기 위한 명령어들(또는, 인스트럭션들(instructions)), 알고리즘, 프로그램 또는 어플리케이션을 저장할 수 있다.
일 실시예에서, 메모리(215)는 VR 모드의 활성화 여부 예컨대, VR 장치와의 연결 여부 및/또는 VR 장치의 착용 여부에 따른 전자 장치(201)의 제어 동작 등을 저장할 수 있다.
일 실시예에서, 메모리(215)는 전자 장치(201) 및 외부 전자 장치 간 통신 수행 시, 상황 정보에 기초하여 상기 전자 장치(201) 및 외부 전자 장치를 나타내는 오브젝트에 적용할 애니메이션을 저장할 수 있다.
일 실시예에서, 센서 회로(220)는 전자 장치(201)의 내외부에서 작동 상태를 감지하고, 감지된 정보를 프로세서(240)에 전달할 수 있다. 예컨대, 상기 센서 회로(220)는 가속도 센서, 지자계 센서, 자이로 센서, 마그네틱 센서, 근접 센서, 제스처 센서, 그립 센서, 또는 생체 센서 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 센서 회로(220) 예컨대, 상기 근접 센서 또는 상기 그립 센서는 VR 장치 착용에 따른 IR 인식, 가압인식, 캐패시턴스(또는, 유전율)의 변화량 중 적어도 하나를 감지하고, 이를 프로세서(240)에 전달할 수 있다.
일 실시예에서, 센서 회로(220) 예컨대, 상기 가속도 센서, 지자계 센서, 자이로 센서는 상기 VR 장치(251)를 착용한 사용자의 머리 움직임을 감지하고, 이를 프로세서(240)에 전달할 수 있다.
일 실시예에서, 커넥터(230)는 전자 장치(201)와 VR 장치를 물리적으로 연결할 수 있다. 예컨대, 커넥터(230)는 USB 커넥터(231), HDMI 커넥터(233)를 포함할 수 있다.
일 실시예에서, 터치스크린 디스플레이(235)는 디스플레이(237)와 터치패널(239)을 포함하는 일체형으로 형성될 수 있다.
일 실시예에서, 터치스크린 디스플레이(235)는 프로세서(240)의 제어 하에 IMS 서버(245)를 이용한 프레즌스 정보의 송수신 동작에 따른 다양한 화면들을 표시할 수 있다.
일 실시예에서, 터치스크린 디스플레이(235)는 프로세서(240)의 제어 하에 VR 장치(251)의 이용에 따른 다양한 화면들을 표시할 수 있다. 예컨대, VR 모드의 활성화 상태가 감지(예: 통신 회로(210) 또는 커넥터(230)를 통해 VR 장치가 연결된 상태가 감지되거나, 센서 회로(220)를 통해 사용자가 VR 장치를 착용한 상태가 감지되거나, 및/또는 3D VR 모드로 화면을 렌더링 하여 디스플레이에 출력하는 상태가 감지)되면, 터치스크린 디스플레이(235)는 프로세서(240)의 제어 하에 VR 영상을 표시할 수 있다. 예컨대, 터치스크린 디스플레이(235)는 프로세서(240)의 제어 하에 하나의 영상을 두 개의 영상(예: 좌 영상 및 우 영상)으로 분리하여 표시할 수 있다.
일 실시예에서, 터치스크린 디스플레이(235)는 프로세서(240)의 제어 하에 IMS 서버(245)로부터 수신된 프레즌스 정보가 렌더링된 VR 영상을 표시할 수 있다. 터치스크린 디스플레이(235)는 프로세서(240)의 제어 하에 외부 전자 장치를 나타내는 오브젝트가 렌더링된 VR 영상을 표시할 수 있다. 터치스크린 디스플레이(235)는 프로세서(240)의 제어 하에 수신되는 상황 정보에 기초하여 전자 장치(201) 또는 외부 전자 장치를 나타내는 오브젝트에 기 정의된 애니메이션이 적용된 VR 영상을 표시할 수 있다.
일 실시예에서, 터치스크린 디스플레이(235)는 프로세서(240)의 제어 하에 외부 전자 장치와 통신 기능의 수행에 따른 다양한 화면들을 표시할 수 있다.
일 실시예에서, 프로세서(240)는 전자 장치(201)의 전반적인 동작 및 전자 장치(201)의 내부 구성들 간의 신호 흐름을 제어하고, 데이터 처리를 수행하고, 배터리(예: 도 1의 배터리(189))에서 상기 구성들로의 전원 공급을 제어할 수 있다.
일 실시예에서, 프로세서(240)는 외부 전자 장치에 대한 프레즌스 정보의 구독(subscribe)을 요청하는 메시지를 IMS 서버(245)에 전송할 수 있다. 상기 구독 요청에 응답하여, 프로세서(240)는 상기 IMS 서버(245)로부터 상기 구독 요청을 승인(authorization)하는 메시지를 상기 수신할 수 있다.
일 실시예에서, 프로세서(240)는 VR 모드 활성화 상태가 감지됨에 응답하여 VR 영상을 표시할 수 있다. 프로세서(240)는 IMS 서버(245)로부터 적어도 하나의 외부 전자 장치에 대한 프레즌스 정보를 수신할 수 있다. 프로세서(240)는 상기 VR 영상에 상기 수신된 프레즌스 정보를 표시할 수 있다. 프로세서(240)는 상기 표시된 프레즌스 정보에 기초하여 적어도 하나의 외부 장치와 통신 기능을 수행할 수 있다. 예컨대, 상기 통신 기능은, 영상 통화, 게임 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 프로세서(240)는 사용자에 의해 입력되는 외부 전자 장치로의 통신 기능 예컨대, 영상 통화를 요청하는 신호가 감지되면, 통신 회로(210)를 통해 상기 감지된 영상 통화를 요청하는 신호를 상기 외부 전자 장치에 송신할 수 있다. 외부 전자 장치로부터 상기 영상 통화에 대한 응답 신호(예: 수락 신호)가 수신되면, 프로세서(240)는 전자 장치(201)를 나타내는 오브젝트가 렌더링된 VR 영상을 상기 외부 전자 장치에 전송할 수 있다. 프로세서(240)는 상기 외부 전자 장치로부터 상기 외부 전자 장치를 나타내는 오브젝트(예: 3D 아바타)에 대한 정보를 수신할 수 있다. 프로세서(240)는 상기 수신된 외부 전자 장치를 나타내는 오브젝트를 상기 VR 영상에 포함하여 렌더링할 수 있다.
일 실시예에서, 프로세서(240)는 상기 외부 전자 장치로부터 상기 외부 전자 장치에 대한 상황 정보를 수신할 수 있다. 프로세서(240)는 상기 상황 정보에 기초하여 VR 영상을 렌더링하여 표시할 수 있다.
일 실시예에서, 프로세서(240)는 2D 어플리케이션이 실행되면, 상기 2D 어플리케이션에 대한 화면을 메모리(215)에 저장할 수 있다. 프로세서(240)는 프로그램 예컨대, 3D 어플리케이션, 또는 VR 렌더링 어플리케이션을 실행하여 상기 2D 어플리케이션에 대한 화면을 메모리(215)로부터 리드하고, 상기 리드된 화면을 VR 영상에 포함하여 렌더링하고, 디스플레이(237)에 표시할 수 있다.
일 실시예에서, 프로세서(240)는 센서 회로(220)(예: 가속도 센서 및/또는 자이로 센서 등)를 통해 추적된 사용자의 시선 및/또는 머리 움직임에 기초하여 상기 사용자의 시선에 대응하는 영역의 VR 영상을 렌더링하여 디스플레이(237)에 표시할 수 있다. 프로세서(240)는 VR 장치(251)로부터 감지되는 사용자 입력에 대응하는 기능에 대한 화면을 VR 영상에 렌더링하여 디스플레이(237)에 표시할 수 있다.
일 실시예에서, 외부 전자 장치는 전술한 전자 장치(201)와 동일한 구성요소를 포함할 수 있다.
일 실시예에서, IMS 서버(245)는 전자 장치(201)와 상기 IMS 서버(245)의 통신을 지원하는 IMS 프로토콜에 기초하여 전자 장치(201)에 대한 정보 및 프레즌스 정보 등을 송수신할 수 있다. 상기 IMS 프로토콜은 SIP(session initiation protocol)를 포함할 수 있다.
일 실시예에서, IMS 서버(245)는 등록된 적어도 하나의 전자 장치에 대한 컨택(contact) 리스트를 관리할 수 있다. 예컨대, IMS 서버(245)는 등록된 적어도 하나의 전자 장치 예컨대, 전자 장치(201) 및 외부 전자 장치의 컨택 리스트를 관리할 수 있으며, 각 컨택 리스트에 포함된 해당 컨택에 대한 프레즌스 정보의 구독 여부에 대한 정보를 관리할 수 있다.
도 2b는, 다양한 실시예들에 따른, VR 장치(251)를 나타내는 블록도(250)이다.
도 2b를 참조하면, VR 장치(251)는 통신 회로(255), 입력 장치(260), 센서 회로(265), 커넥터(270), 시선 추적부(275), 초점 조절부(280), 및 프로세서(285)를 포함할 수 있다.
일 실시예에서, 통신 회로(255)는 VR 장치(251)의 무선 및/또는 유선 통신을 이용하여 전자 장치(201)와 전기적으로 연결하여 데이터 예컨대, 프레즌스 정보의 송수신을 수행할 수 있다.
일 실시예에서, 입력 장치(260)는 터치패드, 버튼을 포함할 수 있다. 상기 터치패드는 예컨대, 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다.
일 실시예에서, 센서 회로(265)는 물리량을 계측하거나 VR 장치(251)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 상기 센서 회로(265)는 예컨대, 가속도 센서, 지자계 센서, 자이로 센서, 마그네틱 센서, 근접 센서, 제스처 센서, 그립 센서, 생체 센서 중 적어도 하나를 포함할 수 있다.
일 실시예에서, VR 장치(251)는 상기 근접 센서 또는 상기 그립 센서를 통해 센싱된 센서 데이터를 전자 장치(201)에 전달할 수 있다. 예컨대, 상기 센서 데이터는 IR 인식, 가압인식, 캐패시턴스(또는, 유전율)의 변화량 중 적어도 하나를 포함할 수 있다. 또한, VR 장치(251)는 상기 가속도 센서, 지자계 센서, 자이로 센서를 통해 센싱된 센서 데이터를 전자 장치(201)에 전달할 수 있다.
일 실시예에서, 커넥터(270)는 VR 장치(251)의 전기 접속부, 예컨대, USB 유선 인터페이스(예: USB 회로 및 USB 단자를 포함)에 접속될 수 있는 USB 커넥터(271), 및/또는 HDMI 유선 인터페이스(예: HDMI 회로 및 HDMI 단자)에 접속될 수 있는 HDMI 커넥터(273)를 포함할 수 있다.
일 실시예에서, 시선 추적부(275)는 전자 장치(201) 사용자의 시선을 추적할 수 있다. 시선 추적부(275)는 시선 추적을 위한 마이크로 카메라(미도시)를 더 포함할 수도 있다.
일 실시예에서, 초점 조절부(280)는 사용자가 자신의 시력에 적합한 영상을 감상할 수 있도록 사용자의 양안 사이 거리(inter-pupil distance, IPD)를 측정하여 렌즈의 거리 및 전자 장치(201)의 디스플레이(237) 위치를 조정할 수 있다.
일 실시예에서, 프로세서(285)는 VR 장치(251)의 전반적인 동작 및 VR 장치(251)의 내부 구성들 간의 신호 흐름을 제어하고, 데이터 처리를 수행할 수 있다.
다양한 실시예에서, 도 2b의 VR 장치(251)는 독립적(stand-alone)으로 동작할 수 있으며, 미도시 되었으나, 디스플레이, 메모리를 더 구비할 수 있다. 예컨대, VR 장치(251)가 독립적으로 동작하는 경우, 프로세서(285)는 VR 모드 활성화 상태가 감지됨에 응답하여 VR 영상 상기 디스플레이에 표시할 수 있다. 프로세서(285)는 상기 VR 영상에 IMS 서버로부터 수신한 프레즌스 정보를 포함하여 렌더링 하고, 상기 렌더링된 VR 영상을 디스플레이에 출력할 수 있다.
도 3은, 본 발명의 다양한 실시예들에 따른, 전자 장치(310), IMS 서버(320), 외부 전자 장치(330) 간의 신호 흐름을 도시한 도면(300)이다.
일 실시예에서, 도 3에 미도시 되었지만, 340 동작 전에 적어도 하나의 전자 장치(예: 전자 장치(310), 외부 전자 장치(330))는 IMS 서버(320)에 등록될 수 있다. 예컨대, 적어도 하나의 전자 장치가 IMS 기반 서비스에 접속된 경우, 상기 적어도 하나의 전자 장치에 대한 정보는 상기 IMS 서버(320)에 등록될 수 있다. 예컨대, 상기 적어도 하나의 전자 장치는 상기 적어도 하나의 전자 장치에 대한 정보를 SIP 레지스터 메소드(register method)를 통해 IMS 서버(320)에 전송할 수 있다. 예컨대, 상기 적어도 하나의 전자 장치에 대한 정보는 사용자 아이디(ID), 전화번호, 메일 주소 등을 포함할 수 있다.
도 3을 참조하면, 전자 장치(310)(예: 도 2a의 전자 장치(201))는 340동작에서, 외부 전자 장치(330)에 대한 프레즌스 정보의 구독을 요청하는 메시지를 SIP(session initiation protocol) subscribe 메소드(method)를 통해 IMS 서버(320)에 전송할 수 있다.
일 실시예에서, 상기 프레즌스 정보는 외부 전자 장치(330)의 VR 모드 활성화 상태에 대한 정보를 포함할 수 있다. 하지만, 이에 한정하는 것은 아니며, 외부 전자 장치(330)의 사용자의 위치 정보, 통신 상태(예: 온라인 또는 오프라인 상태), 또는 컨텐츠 공유 상태 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 상기 VR 모드 활성화 상태는, VR 장치가 연결된 상태, 또는 사용자가 VR 장치를 착용한 상태, 또는 3D VR 모드로 화면을 렌더링 하여 디스플레이에 출력하는 상태 중 적어도 하나를 포함할 수 있다. 상기 3D VR 모드는 화면을 좌우 양안(right eye and left eye)에 대응하는 영역으로 분할하여 각 눈(eye)에 대응하는 3D 화면을 렌더링 하는 모드를 포함할 수 있다.
이하 실시예에서, 상기 프레즌스 정보는 VR 모드 활성화 상태 예컨대, VR 장치의 착용 상태에 대한 정보로 가정하여 설명한다.
일 실시예에서, 전자 장치(310)는 특정 컨택에 대한 프레즌스 정보의 수신 여부를 설정할 수 있는 사용자 인터페이스를 디스플레이(예: 도 2a의 디스플레이(237))에 표시할 수 있다. 예컨대, 상기 사용자 인터페이스는 적어도 하나의 컨택을 포함하는 컨택 리스트를 표시한 화면을 포함할 수 있다. 예컨대, 상기 컨택 리스트는 상기 적어도 하나의 컨택 각각에 대해 프레즌스 정보의 수신 여부를 설정할 수 있는 아이템을 포함할 수 있다. 예컨대, 상기 아이템은 토글(toggle) 기능을 가질 수 있으며, 상기 아이템을 선택함에 따라 온(on)/오프(off)로 제어되어 해당 컨택에 대한 프레즌스 정보(예: VR 장치의 착용 상태에 대한 정보)의 구독(예: 수신)/미구독(예: 미수신) 여부가 설정될 수 있다.
일 실시예에서, 상기 적어도 하나의 컨택에 대한 프레즌스 정보를 구독하는 것으로 설정(예: 해당 컨택에 구비된 아이템이 온으로 설정)되면, 전자 장치(310)는 해당 컨택의 프레즌스 정보의 구독을 요청하는 메시지를 IMS 서버(320)에 전송할 수 있다.
일 실시예에서, 상기 전자 장치(310)로부터 수신한 해당 컨택 예컨대, 외부 전자 장치(330)에 대한 프레즌스 정보의 구독을 요청하는 메시지가 수신되면, IMS 서버(320)는 345동작에서, 상기 구독 요청을 승인하는 메시지(예를 들어, SIP 200 OK 메시지)를 상기 전자 장치(310)에 전송할 수 있다.
일 실시예에서, IMS 서버(320)는 등록된 적어도 하나의 전자 장치에 대한 컨택 리스트를 관리할 수 있다. 예컨대, IMS 서버(320)는 등록된 적어도 하나의 전자 장치 예컨대, 전자 장치(310) 및 외부 전자 장치(330)의 컨택 리스트를 관리할 수 있으며, 각 컨택 리스트에 포함된 해당 컨택에 대한 프레즌스 정보의 구독 여부에 대한 정보를 관리할 수 있다.
일 실시예에서, 외부 전자 장치(330)는 350동작에서, VR 모드의 활성화 상태를 감지할 수 있다. 상기 VR 모드의 활성화 상태는 VR 장치가 연결된 상태, 사용자가 VR 장치를 착용한 상태, 및/또는 3D VR 모드로 화면을 렌더링 하는 상태를 포함할 수 있다. 예컨대, 외부 전자 장치(330)는 커넥터(예: 도 2a의 커넥터(230)) 예컨대, USB 커넥터(231), 또는 HDMI 커넥터(233)를 통해 VR 장치의 연결을 감지할 수 있다. 외부 전자 장치(330)는 센서 회로(예: 도 2a의 센서 회로(220)) 예컨대, 근접 센서를 통해 VR 장치 착용에 따른 IR 인식, 가압인식, 캐패시턴스(또는, 유전율)의 변화량 중 적어도 하나를 감지하고, 이에 기초하여 VR 장치 착용 상태를 감지할 수 있다. 외부 전자 장치(330)는 상기 3D VR 모드로 화면을 렌더링 하여 디스플레이에 출력하는 상태를 감지할 수 있다. 상기 3D VR 모드는 화면을 좌우 양안에 대응하는 영역으로 분할하여 각 눈에 대응하는 3D 화면을 렌더링 하는 모드를 포함할 수 있다.
일 실시예에서, 상기 VR 모드가 활성화되면, 외부 전자 장치(330)는 355동작에서, 프레즌스 정보를 SIP publish 메소드를 통해 IMS 서버(320)에 전송할 수 있다.
일 실시예에서, IMS 서버(320)는 360동작에서, 외부 전자 장치(330)에 대한 프레즌스 정보를 SIP notify 메소드를 통해 전자 장치(310)에 전송할 수 있다.
일 실시예에서, 전자 장치(310)는 상기 IMS 서버(320)로부터 수신된 외부 전자 장치(330)에 대한 프레즌스 정보에 기초하여 상기 외부 전자 장치(330)와 통신 기능을 수행할 수 있다. 예컨대, 상기 통신 기능은, VR 상에서의 영상 통화 또는 게임 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 도 3에서, 설명을 용이하게 하기 위해 하나의 외부 전자 장치(330)에 대한 프레즌스 정보를 수신하는 것으로 설명하였지만, 이에 한정하는 것은 아니며, 전자 장치(310)는 복수의 외부 전자 장치에 대한 프레즌스 정보를 수신하기 위한 구독 요청에 따라 상기 복수의 외부 전자 장치에 대한 프레즌스 정보를 IMS 서버(320)로부터 수신할 수 있다.
다양한 실시예에 따른 전자 장치(310)의 동작은 도 4, 도 6, 도 7a, 도 7b, 및 도 9에서 살펴보도록 한다.
다양한 실시예에 따른 외부 전자 장치(330)의 동작은 도 5 및 도 8에서 살펴보도록 한다.
도 4는, 본 발명의 다양한 실시예들에 따른, 외부 전자 장치에 대한 프레즌스 정보를 구독하는 방법을 설명하기 위한 도면(400)이다.
일 실시예에서, 전자 장치(410)(예: 프로세서(240))는 적어도 하나의 외부 전자 장치의 사용자에 대한 프레즌스 정보 예컨대, VR 모드 활성화 상태(예: VR 장치의 연결 상태, 사용자의 VR 장치 착용 상태, 3D VR 모드로 화면을 렌더링 하는 상태)의 구독 여부를 설정하기 위해 적어도 하나의 컨택을 포함하는 컨택 리스트(415)를 디스플레이(예: 도 2a의 디스플레이(237))에 표시할 수 있다.
예컨대, 상기 컨택 리스트(415)는 전자 장치(410) 내 폰북(phonebook)에 저장된 컨택 및 웹 서버(예: GoogleTM, FacebookTM, TwitterTM 등)와 동기화되는 컨택 중 적어도 하나 컨택을 포함할 수 있다. 상기 컨택 리스트(415)는 컨택과 관련된 어플리케이션(예: 연락처 어플리케이션 또는 전화 어플리케이션) 실행으로 표시될 수 있다.
일 실시예에서, 전자 장치(410)(예: 프로세서(240))는 상기 컨택 리스트(415)에서 적어도 하나의 컨택 각각에 대한 프레즌스 정보의 구독 예컨대, 수신 여부를 설정할 수 있다. 예컨대, 상기 컨택 리스트는 컨택 A, C, D, 및 E를 포함할 수 있다. 또한, 상기 컨택 리스트는 각 컨택에 대한 프레즌스 정보 예컨대, VR 모드 활성화 상태(예: VR 장치의 연결 상태, VR 장치의 착용 상태, 3D VR 모드로 화면을 렌더링 하여 디스플레이에 출력하는 상태)의 수신 여부를 설정할 수 있는 아이템(420)을 구비할 수 있다. 전자 장치(410)(예: 프로세서(240))는 상기 아이템(420)을 통해 각 컨택에 대한 프레즌스 정보의 수신(예: 온(on))/미수신(예: 오프(off)) 여부를 설정할 수 있다. 예컨대, 컨택 A 및 E에 대한 아이템(420)이 온(on)으로 설정(421)되고, 컨택 C 및 D에 대한 아이템(420)이 오프(off)로 설정(423)됨에 따라, 전자 장치(410)(예: 프로세서(240))는 컨택 A 및 E에 대한 프레즌스 정보의 구독을 요청하는 메시지를 IMS 서버(430)(예: 도 3의 IMS 서버(320))에 전송(440)할 수 있다.
일 실시예에서, IMS 서버(430)는 상기 전자 장치(410)(예: 프로세서(240))가 요청한 컨택 A 및 E에 대한 프레즌스 정보의 구독과 관련된 정보를 관리할 수 있다.
도 5는, 본 발명의 다양한 실시예들에 따른, 전자 장치(510)의 프레즌스 정보를 전송하는 방법을 설명하기 위한 도면(500)이다.
도 5를 참조하면, 전자 장치(510)(예: 도 3의 외부 전자 장치(330))(예: 프로세서(240))는 VR 모드의 활성화 상태를 감지할 수 있다.
일 실시예에서, 전자 장치(510)는 VR 장치(520)(예: 도 2b의 VR 장치(251))의 연결(예: 장착) 여부(예: 플러그 인(plug in) 또는 플러그 아웃(plug out))를 감지할 수 있다. 예컨대, 전자 장치(510)(예: 프로세서(240))는 커넥터(예: 도 2a의 커넥터(230))(예: USB 커넥터(231), HDMI 커넥터(233))에 외부 전자 장치 예컨대, VR 장치(520)가 연결(550)되면, 상기 VR 모드의 활성화 상태로 감지할 수 있다. 일 실시예에서, 상기 VR 장치(520)가 연결되면, 상기 연결된 VR 장치(520)에 적합한 모드(예: VR 모드)로 동작(예: VR 어플리케이션 및 VR 프레임워크(framework) 구동)하도록 제어할 수 있다. 예컨대, 상기 VR 모드는 화면에 출력되는 하나의 영상을 두 개의 영상(예: 좌 영상 및 우 영상)으로 분리하여 렌더링하고, VR 장치(520)에 구비된 렌즈(예: VR 렌즈)에 의해 영상이 왜곡되는 현상을 방지하기 위해 평면의 이미지를 상기 렌즈의 특성에 따라 역 왜곡을 처리하여 이미지를 생성하는 모드를 포함할 수 있다.
일 실시예에서, 상기 VR 장치(520)가 연결되면, 상기 VR 모드의 활성화 상태를 감지하는 것으로 설명하였지만, 이에 한정하는 것은 아니며, 전자 장치(510)가 장착된 VR 장치(520)를 사용자가 착용한 경우, 또는 3D VR 모드로 화면을 렌더링 하는 상태인 경우, 전자 장치(510)(예: 프로세서(240))는 상기 VR 모드의 활성화 상태로 감지할 수 있다.
예컨대, VR 장치(520)가 연결(550)된 후, 전자 장치(510)(예: 프로세서(240))는 사용자가 상기 전자 장치(510)가 장착된 VR 장치(520)를 착용하였는지 여부(예: 마운트(mount) 또는 언 마운트(unmount))를 감지할 수 있다.
일 실시예에서, 전자 장치(510)(예: 프로세서(240))는 센서 회로(예: 도 2a의 센서 회로(220))(예: 근접 센서, 조도 센서, 자기 센서 등)를 통해 상기 VR 장치(520)의 착용 여부를 감지할 수 있다. 예컨대, 전자 장치(510)(예: 프로세서(240))는 VR 장치(520)의 착용에 따른 IR 인식, 가압인식, 캐패시턴스(또는, 유전율)의 변화량 중 적어도 하나에 기초하여 상기 VR 장치(520)의 착용 여부를 감지할 수 있다.
일 실시예에서, 전자 장치(510)(예: 프로세서(240))는 상기 3D VR 모드로 화면을 렌더링 하여 디스플레이에 출력하는 상태를 감지할 수 있다. 상기 3D VR 모드는 화면을 좌우 양안에 대응하는 영역으로 분할하여 각 눈에 대응하는 3D 화면을 렌더링 하는 모드를 포함할 수 있다.
일 실시예에서, VR 모드의 활성화 상태가 감지되면, 전자 장치(510)(예: 프로세서(240))는 프레즌스 정보 예컨대, VR 모드 활성화 상태에 대한 정보를 IMS 서버(530)(예: 도 3의 IMS 서버(320))에 전송(560)할 수 있다. 일 실시예에서, 전자 장치(510)(예: 프로세서(240))는 상기 프레즌스 정보와 함께 상기 전자 장치(510)의 식별 정보(예: 전화번호)를 (예를 들어, SIP 프로토콜의 publish 메시지를 사용하여) 상기 IMS 서버(530)에 전송(560) 할 수 있다.
일 실시예에서, 상기 VR 모드의 활성화 상태가 감지되면 프레즌스 정보를 IMS 서버(530)에 전송하는 것으로 설명하였으나, 이에 한정하는 것은 아니며, 전자 장치(510)(예: 프로세서(240))는 VR 모드의 비활성 상태에 대한 정보를 IMS 서버(530)에 전송할 수 있다. 예컨대, 상기 VR 모드의 비활성화 상태는 상기 VR 장치(520)를 착용한 상태에서 미착용 상태가 감지되거나, VR 장치(520)의 연결이 해제된 상태, 또는 3D VR 모드로 렌더링된 화면의 출력이 중지된 상태 중 적어도 하나를 포함할 수 있다.
일 실시예에서, IMS 서버(530)는 상기 전자 장치(510)로부터 수신한 VR 모드의 활성화 상태에 대한 프레즌스 정보를 상기 전자 장치(510)의 프레즌스 정보의 수신(예: 구독)을 요청한 외부 전자 장치(540)(예컨대, 도 3의 전자 장치(310))에 (예를 들어, SIP 프로토콜의 publish 메시지를 사용하여) 전송(570)할 수 있다.
일 실시예에서, IMS 서버(530)는 전자 장치(510)의 프레즌스 정보의 수신을 요청한 적어도 하나의 외부 전자 장치 중 VR 모드가 활성화 상태인 외부 전자 장치에만 상기 전자 장치(510)의 프레즌스 정보를 전송할 수 있다.
일 실시예에 따른 도 5에서 미도시 되었으나, 전자 장치(510)(예: 프로세서(240))는 IMS 서버(530)로 프레즌스 정보의 전송 여부를 설정할 수 있다. 예컨대, 상기 프레즌스 정보를 전송하는 것으로 설정된 경우, 전자 장치(510)(예: 프로세서(240))는 전술한 560동작을 수행할 수 있다. 상기 프레즌스 정보를 미전송하는 것으로 설정된 경우, 전자 장치(510)(예: 프로세서(240))는 VR 모드의 활성화 상태가 감지되어도 프레즌스 정보를 IMS 서버(530)에 전송하지 않을 수 있다.
일 실시예에서, 전자 장치(510)(예: 프로세서(240))는 컨택 리스트에서 프레즌스 정보를 전송할 컨택을 선택하는 입력이 감지되면, 상기 선택된 컨택에 상기 프레즌스 정보를 전송하도록 상기 프레즌스 정보 및 상기 선택된 컨택에 대한 식별 정보를 IMS 서버(530)에 전송할 수 있다.
일 실시예에서, 전자 장치(510)의 사용자가 VR 모드 활성화 상태에 대한 프레즌스 정보의 전송을 원하지 않는 경우, 전술한 프레즌스 정보의 전송 여부를 설정할 수 있어 프레즌스 정보가 외부 전자 장치(540)에 전송되는 것을 방지할 수 있다. 또한, 전자 장치(510)의 사용자에 의해 선택된 컨택에만 프레즌스 정보를 전송할 수 있어, 상기 사용자가 원하지 않는 컨택에 상기 프레즌스 정보가 전송되는 것을 방지할 수 있다.
도 6은, 본 발명의 다양한 실시예들에 따른, VR 모드에서 외부 전자 장치와 통신 기능을 수행하는 방법을 설명하기 위한 흐름도(600)이다.
도 6을 참조하면, 전자 장치(예: 도 3의 전자 장치(310))(예: 프로세서(240))는 601동작에서, VR 모드의 활성화 상태를 감지할 수 있다. 예컨대, 상기 VR 모드의 활성화 상태는 VR 장치가 연결된 상태, 사용자가 VR 장치를 착용한 상태, 또는 3D VR 모드로 화면을 렌더링 하여 디스플레이에 출력하는 상태 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 상기 601동작의 전자 장치의 VR 모드 활성화 상태를 감지하는 동작은, 상기 도 5의 550동작과 동일하므로, 그에 대한 설명은 상기 도 5와 관련된 설명으로 대신한다.
일 실시예에서, 전자 장치(예: 프로세서(240))는 603동작에서, 상기 VR 모드의 활성화 상태가 감지됨에 응답하여 VR 영상을 표시할 수 있다. 예컨대, 상기 VR 영상은 디스플레이(예: 도 2a의 디스플레이(237))를 통해, 증강 현실(augmented reality, AR)을 제공하는 시-스루(see-through) 또는 가상 현실(virtual reality, VR)을 제공하는 시-클로즈드(see-closed) 중 적어도 하나에 대한 영상을 포함할 수 있다.
일 실시예에서, 상기 VR영상은 하나의 영상이 두 개의 영상(예: 좌 영상 및 우 영상)으로 분리되어 표현될 수 있다.
일 실시예에서, 상기 VR 영상은 VR 장치에 구비된 렌즈에 의해 영상이 왜곡되는 현상이 발생할 수 있기 때문에, 왜곡되지 않은 영상을 사용자에게 제공하기 위하여 평면의 이미지를 렌즈의 특성에 따라 역 왜곡을 처리할 수 있다.
일 실시예에서, 전자 장치(예: 프로세서(240))는 605동작에서, IMS 서버(예: 도 3의 IMS 서버(320))로부터 적어도 하나의 외부 전자 장치에 대한 프레즌스 정보를 수신할 수 있다.
다양한 실시예에서, 상기 605동작의 적어도 하나의 외부 전자 장치에 대한 프레즌스 정보는 상기 603동작의 VR 모드의 활성화 상태가 감지됨에 응답하여 수신하는 것으로 설명하였지만, 이에 한정하는 것은 아니다. 상기 605동작의 적어도 하나의 외부 전자 장치에 대한 프레즌스 정보는 사전에 IMS 서버로부터 수신할 수 있다.
일 실시예에서, 도 3의 340동작 및 350동작을 통해 상기 적어도 하나의 외부 전자 장치에 대한 프레즌스 정보를 구독할 수 있으며, 상기 구독에 따른 상기 적어도 하나의 외부 전자 장치에 대한 프레즌스 정보를 IMS 서버로부터 수신할 수 있다.
일 실시예에서, 전자 장치(예: 프로세서(240), VR 어플리케이션)는 607동작에서, VR 영상에 상기 수신된 프레즌스 정보를 표시할 수 있다. 상기 프레즌스 정보는 외부 전자 장치의 VR 모드의 활성화 상태 예컨대, 사용자가 VR 장치를 착용하였는지 여부에 대한 정보를 포함할 수 있다.
다양한 실시예에 따른 607 동작은, 도 7a 및 7b에서 살펴보도록 한다.
일 실시예에서, 전자 장치(예: 프로세서(240))는 609동작에서, 상기 표시된 프레즌스 정보에 기초하여 적어도 하나의 외부 장치에 통신 기능을 요청하는 사용자 입력을 감지할 수 있다. 예컨대, 상기 통신 기능은, 영상 통화 또는 게임 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 전자 장치(예: 프로세서(240))는 611동작에서, 상기 통신 기능을 요청하는 사용자 입력에 대한 응답이 수신되면, 적어도 하나의 외부 전자 장치와 통신 기능을 수행할 수 있다.
다양한 실시예에 따른 상기 609동작 및 611동작은, 도 9에서 살펴보도록 한다.
도 7a 및 도 7b는, 본 발명의 다양한 실시예들에 따른, VR 모드에서 적어도 하나의 외부 전자 장치에 대한 프레즌스 정보를 표시하는 방법을 설명하기 위한 도면(700)이다.
도 7a를 참조하면, 전자 장치(예: 도 3의 전자 장치(310))(예: 프로세서(240), VR 어플리케이션)는 VR 모드의 활성화 상태 예컨대, VR 장치(예: 도 2b의 VR 장치(251))에 연결(예: 장착) 및/또는 사용자가 상기 전자 장치가 장착된 VR 장치를 착용함에 응답하여, VR 영상(710)을 디스플레이(예: 도 2의 디스플레이(237))에 표시할 수 있다.
일 실시예에서, 전자 장치(예: 프로세서(240), VR 어플리케이션)는 상기 VR 영상(710)에 IMS 서버(예: 도 3의 IMS 서버(320))로부터 수신된 적어도 하나의 외부 전자 장치에 대한 프레즌스 정보를 표시할 수 있다. 상기 프레즌스 정보는 상기 적어도 외부 전자 장치의 VR 모드 활성화 상태에 대한 정보를 포함할 수 있다.
이하 실시예에서, 상기 VR 모드 활성화 상태에 대한 정보는 VR 장치의 착용 상태에 대한 정보인 것으로 가정하여 설명한다.
예컨대, 상기 프레즌스 정보는 연락처 어플리케이션 아이콘(711) 상에 VR 장치를 착용한 컨택 상대방의 숫자(예: 2)를 배지(badge)(715)로 표시할 수 있다. 이에 한정하는 것은 아니며, 상기 프레즌스 정보를 나타내기 위한 방법으로 VR 영상(710) 상에 VR 장치를 착용한 사용자를 나타내는 3D 아바타(719)를 표시할 수 있다.
도 7b를 참조하면, 전자 장치(예: 프로세서(240), VR 어플리케이션)는 상기 연락처 어플리케이션 아이콘(711)을 선택하는 사용자 입력이 감지되면, 적어도 하나의 컨택을 포함하는 연락처 어플리케이션 실행화면(720)을 표시할 수 있다. 예컨대, 전자 장치(예: 프로세서(240))는 상기 적어도 하나의 컨택 중 VR 장치를 착용한 컨택(예: 친구 A, 친구 E)(725, 730)만을 포함하는 연락처 어플리케이션 실행화면(720)을 표시할 수 있다. 이에 한정하는 것은 아니며, 전자 장치(예: 프로세서(240), VR 어플리케이션)는 적어도 하나의 컨택 중 VR 장치를 착용한 컨택(예: 친구 A, 친구 E)(725, 730)에 시각적 효과(예: 우상측에서 좌하측방향으로의 빗금)를 적용하여, VR 장치를 착용하지 않은 컨택과 구별되게 표시한 연락처 어플리케이션 실행화면을 표시할 수 있다.
일 실시예에서, 연락처 어플리케이션은 2D 어플리케이션일 수 있다. VR 영상을 표시하는 중에 2D 어플리케이션인 연락처 어플리케이션이 실행되면, 전자 장치(예: 프로세서(240), VR 어플리케이션)는 상기 VR 영상 내 상기 연락처 어플리케이션 실행화면(720)을 포함하여 표시할 수 있다. 일 실시예에서, 전자 장치(예: 프로세서(240), VR 어플리케이션)는 상기 연락처 어플리케이션 실행화면(720)에 포함된 적어도 하나의 컨택 중 VR 장치를 착용한 컨택(예: 친구 A, 친구 E)(725, 730)에 인접하게 상기 VR 장치의 착용 상태를 나타내는 시각적 효과를 상기 VR 영상 내 표시할 수 있다.
일 실시예에서, 전자 장치(예: 프로세서(240), VR 어플리케이션)는 VR 장치를 착용한 컨택 인접하게 상태 정보를 표시할 수 있다. 예컨대, 상기 상태 정보는 ”VR 사용 중”, “VR 사용 중이나 방해 금지“ 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 도 7a 및 도 7b에 미도시 되었으나, 전자 장치(예: 프로세서(240), VR 어플리케이션)는 상기 VR 장치를 착용한 컨택에 대한 정보를 알림으로 제공할 수 있다. 예컨대, 전자 장치(예: 프로세서(240), VR 어플리케이션)는 상기 VR 장치를 착용한 상태에 대한 프레즌스 정보를 IMS 서버(예: 도 2a의 IMS 서버(245))로부터 수신하면, 상기 프레즌스 정보를 팝업 창, 해당 컨택에 대한 캐릭터 형태의 3D 아바타 형태로 제공할 수 있다. 일 실시예에서, 상기 알림은 VR 영상에 렌더링되어 제공될 수 있다.
도 8은, 본 발명의 다양한 실시예들에 따른, 전자 장치의 프레즌스 정보를 전송하는 방법을 설명하기 위한 흐름도(800)이다.
도 8을 참조하면, 전자 장치(예: 도 3의 외부 전자 장치(330))는 801동작에서, VR 모드의 활성화 상태를 감지할 수 있다. 예컨대, 상기 VR 모드의 활성화 상태는 VR 장치(예: 도 2b의 VR 장치(251))가 연결된 상태, 사용자가 VR 장치를 착용한 상태, 또는 3D VR 모드로 화면을 렌더링 하여 디스플레이에 출력하는 상태 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 전자 장치는 803동작에서, 상기 VR 모드의 활성화 상태가 감지됨에 응답하여 VR 영상을 표시할 수 있다.
일 실시예에 따른, 상기 801동작 및 803동작은, 전술한 도 6의 601동작 및 603동작과 동일하므로 그에 대한 상세한 설명은 상기 도 6과 관련된 설명으로 대신한다.
일 실시예에서, 전자 장치는 805동작에서, 상기 전자 장치에 대한 프레즌스 정보를 IMS 서버(예: 도 2a의 IMS 서버(245))에 전송할 수 있다. 예컨대, 상기 프레즌스 정보는 상기 전자 장치의 VR 모드 활성화 상태에 대한 정보를 포함할 수 있다.
일 실시예에서, 전자 장치는 상기 프레즌스 정보와 함께 상기 전자 장치의 식별 정보(예: 전화번호)를 상기 IMS 서버에 전송할 수 있다.
일 실시예에서, 전자 장치는 807동작에서, 외부 전자 장치(예: 도 3의 전자 장치(310))로부터 통신 기능과 관련된 요청을 수신할 수 있다. 예컨대, 상기 통신 기능은, 영상 통화, 게임 등을 포함할 수 있다.
일 실시예에서, 전자 장치는 809동작에서, 상기 수신된 통신 기능과 관련된 요청에 응답하는 신호를 전송하고, 상기 외부 전자 장치와 통신 기능을 수행할 수 있다. 예컨대, 상기 수신된 통신 기능과 관련된 요청을 수락하는 사용자 입력이 감지되면, 상기 요청을 수락하는 신호를 상기 외부 전자 장치에 전송할 수 있다.
일 실시예에서, 전자 장치는 상기 수신된 요청을 수락하는 신호와 함께 상기 통신 기능을 수행하는데 필요한 데이터를 전송할 수 있다. 예컨대, 상기 데이터는 상기 전자 장치를 나타내는 오브젝트(예: 3D 아바타)에 대한 형상(geometry), 재질(material), 및 움직임(motion) 정보 등을 포함할 수 있다.
다양한 실시예에서, 전술한 807 동작 및 809동작은 생략 가능할 수 있다.
일 실시예에 따른 도 8에서, 미도시 되었으나, 전자 장치(예: 프로세서(240))는 VR 모드의 비활성화 상태가 감지 예컨대, 사용자가 VR 장치를 착용한 상태에서 미착용 상태로 감지되거나, 전자 장치로부터 VR 장치의 연결이 해제된 상태가 감지되거나, 또는 3D VR 모드로 렌더링된 화면의 출력이 중지된 상태가 감지되면, 상기 VR 모드의 비활성화 상태에 대한 정보를 IMS 서버에 전송할 수 있다.
도 9는, 본 발명의 다양한 실시예들에 따른, VR 모드에서 외부 전자 장치와 통신 기능을 수행하는 방법을 설명하기 위한 흐름도(900)이다.
일 실시예에 따른, 도 9는 전술한 도 6의 611동작 및 도 8의 809동작인 외부 전자 장치와 통신 기능을 수행하는 동작을 구체화한 것이다.
이하 실시예에서, 상기 통신 기능은 영상 통화로 가정하여 설명한다.
도 9를 참조하면, 외부 전자 장치(예: 도 3의 외부 전자 장치(330) 또는 전자 장치(310))로부터 영상 통화를 요청하는 신호에 대한 응답 신호가 수신되면, 전자 장치(예: 도 3의 전자 장치(310) 또는 외부 전자 장치(330))(예: 프로세서(240))는 901동작에서, VR 영상에 전자 장치를 나타내는 오브젝트를 렌더링하고, 상기 외부 전자 장치와 영상 통화를 수행하기 위해 상기 렌더링된 VR 영상을 외부 전자 장치에 전송할 수 있다.
일 실시예에서, 전자 장치(예: 프로세서(240))는 상기 전자 장치를 나타내는 오브젝트(예: 3D 아바타)에 대한 형상(geometry), 재질(material), 또는 움직임(motion) 정보 중 적어도 하나를 상기 외부 전자 장치에 더 전송할 수 있다.
일 실시예에서, 전자 장치(예: 프로세서(240))는 903동작에서, 상기 외부 전자 장치를 나타내는 오브젝트에 대한 3D 모델링 정보를 상기 외부 전자 장치로부터 수신할 수 있다. 일 실시예에서, 전자 장치(예: 프로세서(240))는 상기 외부 전자 장치로부터 상기 외부 전자 장치에 대한 상황 정보를 더 수신할 수 있다. 예컨대, 상기 상황 정보는 상기 외부 전자 장치의 위치 정보 및 상기 외부 전자 장치의 사용자의 음성 정보 등을 포함할 수 있다. 일 실시예에서, 전자 장치(예: 프로세서(240))는 VR 모드 변경에 대한 정보를 수신할 수 있다. 예컨대, 상기 VR 모드 변경에 대한 정보는 상기 VR 장치(예: 도 2b의 VR 장치(251))를 착용한 상태에서 미착용 상태가 감지되거나, 또는 VR 장치의 연결이 해제된 상태 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 전자 장치(예: 프로세서(240), VR 어플리케이션)는 905동작에서 상기 수신된 3D 모델링 정보에 기초하여 외부 전자 장치를 나타내는 오브젝트를 VR 영상에 렌더링하여 표시할 수 있다. 예컨대, 상기 외부 전자 장치를 나타내는 오브젝트는 3D 아바타로 가정하여 설명한다.
일 실시예에서, 전자 장치(예: 프로세서(240), VR 어플리케이션)는 상기 외부 전자 장치를 나타내는 3D 아바타에 대한 형상(geometry), 재질(material), 또는 움직임(motion) 정보 중 적어도 하나에 기초하여, VR 영상 내 상기 외부 전자 장치를 나타내는 3D 아바타를 표시할 수 있다.
일 실시예에서, 전자 장치(예: 프로세서(240), VR 어플리케이션)는 외부 전자 장치의 상황 정보에 기초하여 외부 전자 장치를 나타내는 오브젝트를 VR 영상에 렌더링하여 표시할 수 있다.
일 실시예에서, 외부 전자 장치는 공간 정보를 인식하는 마이크(예: 3D 마이크)를 통해 공간 상에서 상기 외부 전자 장치의 사용자의 위치 정보를 획득할 수 있으며, 상기 획득된 위치 정보를 전자 장치에 전송할 수 있다.
일 실시예에서, 스피커 폰을 통해 다수의 사용자들이 발화를 하는 경우, 예컨대, 다수의 사용자들 각각은 다른 위치에서 발화를 할 수 있다. 이 경우, 외부 전자 장치는 상기 다수의 사용자들에 대한 음성을 분석하여 공간 상에서의 상기 다수의 사용자들 각각에 대한 위치 정보를 획득할 수 있으며, 상기 각 사용자에 대한 위치 정보를 전자 장치에 전송할 수 있다.
일 실시예에서, 전자 장치(예: 프로세서(240))는 상기 외부 전자 장치로부터 수신한 외부 전자 장치의 사용자의 위치 정보에 기초하여, VR 영상 내에서의 상기 외부 전자 장치를 나타내는 오브젝트의 위치를 결정(예: 변경)할 수 있다. 전자 장치(예: 프로세서(240), VR 어플리케이션)는 상기 결정된 위치에 기초하여 외부 전자 장치를 나타내는 오브젝트를 VR 영상에 렌더링하여 표시할 수 있다.
일 실시예에서, 상기 외부 전자 장치를 나타내는 오브젝트의 위치는 상기 VR 영상 내에서 실시간으로 변경될 수 있다. 예컨대, 상기 전자 장치(예: 프로세서(240))는 사용자의 음성 신호를 분석하여, 상기 음성 신호의 음량이 점점 커짐을 감지(예: 사용자가 마이크에 가까워짐)하거나, 음량이 점점 작아짐을 감지(예: 사용자가 마이크로부터 멀어짐)할 수 있다. 전자 장치(예: 프로세서(240), VR 어플리케이션)는 상기 음성 신호의 음량에 기초하여 상기 외부 전자 장치를 나타내는 오브젝트의 위치를 상기 VR 영상 내에서 가깝게 걸어오는 동작 또는 멀리 걸어가는 동작으로 표현되도록 렌더링할 수 있다.
일 실시예에서, 전자 장치(예: 프로세서(240))는 사용자의 음성 신호를 분석하여 상기 외부 전자 장치의 사용자에 대한 감정 상태를 결정할 수 있다. 예컨대, 사용자의 음성이 음량이 커짐을 감지 예컨대, 음성 신호의 주파수가 높아지거나 진폭이 넓어진 경우, 전자 장치(예: 프로세서(240))는 사용자가 화난 상태이거나 또는 흥분 상태인 것으로 결정할 수 있다. 전자 장치(예: 프로세서(240), VR 어플리케이션)는 상기 화난 상태 또는 흥분 상태에 대한 정보에 대해 기 정의된 애니메이션을 상기 외부 전자 장치를 나타내는 오브젝트에 적용하고, 이를 VR 영상 내에 렌더링하여 표시할 수 있다. 상기 감정 상태는 기쁜 상태, 졸린 상태, 지루한 상태 등을 더 포함할 수 있다.
일 실시예에서, 전자 장치(예: 프로세서(240))는 사용자의 발화(예: 단어 또는 문장)를 분석하고 이에 기초하여 상기 사용자의 모션(motion)을 결정할 수 있다. 예컨대, 사용자의 발화 예컨대, “안녕”, 또는 “사랑해”가 인식되는 경우, 전자 장치(예: 프로세서(240), VR 어플리케이션)는 상기 “안녕”, 또는 “사랑해”에 대해 기 정의된 모션을 애니메이션(animation)하여 외부 전자 장치를 나타내는 오브젝트에 적용하고, 이를 VR 영상 내에 렌더링하여 표시할 수 있다.
일 실시예에서, 전자 장치(예: 프로세서(240), VR 어플리케이션)는 VR 모드가 변경(예: VR 장치를 착용한 상태에서 미착용 상태가 감지되거나, 및/또는 VR 장치의 연결이 해제된 상태를 감지)된 경우, VR 영상 내 표시되는 상기 외부 전자 장치를 나타내는 오브젝트 예컨대, 3D 아바타를 VR 모드 비활성화에 대응하는 오브젝트(예: 아이템 또는 아바타)로 대체하여 표시할 수 있다.
일 실시예에서, 전자 장치(예: 프로세서(240))는 907동작에서, 외부 전자 장치를 나타내는 오브젝트와 통신 기능을 수행할 수 있다. 예컨대, 전자 장치의 사용자는 VR 영상 내 표시된 외부 전자 장치를 나타내는 오브젝트 예컨대, 3D 아바타와 영상 통화를 수행할 수 있다.
일 실시예에서, 상기 VR 영상은 적어도 일부 영역에 적어도 하나의 가상의 아이템을 포함할 수 있다. 전자 장치(예: 프로세서(240))는 상기 영상 통화 중에 상기 적어도 하나의 가상의 아이템을 제어하는 인터랙션을 외부 전자 장치를 나타내는 3D 아바타와 수행할 수 있다.
도 10은, 본 발명의 다양한 실시예들에 따른, 전자 장치(1010), IMS 서버(1020), 외부 전자 장치(1030) 간의 신호 흐름을 도시한 도면(1000)이다.
일 실시예에 따른, 도 10에서 1040동작 내지 1050동작은 전술한 도 3의 340동작 내지 350동작과 동일하므로, 그에 대한 설명은 상기 도 3과 관련된 설명으로 대신한다. 이하 도 10에서는 도 3과 상이한 동작만을 설명하기로 한다.
도 10을 참조하면, 외부 전자 장치(1030)(예: 도 3의 외부 전자 장치(330))는 1050동작에서, VR 모드 활성화 상태가 감지(예: VR 장치(예: 도 2b의 VR 장치(251))의 연결이 감지, VR 장치의 착용을 감지, 3D VR 모드로 화면을 렌더링 하여 디스플레이에 출력하는 상태가 감지)되면, 1055동작에서, 프레즌스 정보를 전송(예: publish) 할 전자 장치를 선택하는 사용자 입력을 감지할 수 있다.
예컨대, 외부 전자 장치(1030)는 컨택과 관련된 어플리케이션 실행으로 적어도 하나의 컨택을 포함하는 컨택 리스트를 표시할 수 있다. 외부 전자 장치(1030)는 상기 표시된 컨택 리스트에서 상기 외부 전자 장치(1030)의 프레즌스 정보를 전송할 적어도 하나의 컨택을 선택할 수 있다.
일 실시예에서, 외부 전자 장치(1030)는 1060동작에서, 사용자에 의해 선택된 전자 장치(예: 선택된 컨택) 예컨대, 전자 장치(1010)에 대한 식별 정보를 IMS 서버(1020)에 요청할 수 있다. 예컨대, 상기 식별 정보는 사용자 아이디(ID), 전화번호, 메일 주소, IP 주소 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 상기 1050동작 이전에 외부 전자 장치(1030)는 1047동작에서 프레즌스 정보를 전송할 전자 장치를 설정할 수 있다. 예컨대, 외부 전자 장치(1030)는 상기 외부 전자 장치(1030)에 대한 프레즌스 정보 예컨대, VR 모드 활성화 상태(예: VR 장치의 연결 상태, 사용자의 VR 장치 착용 상태, 3D VR 모드로 화면을 렌더링 하여 디스플레이에 출력하는 상태)를 전송할 컨택을 설정하기 위해 컨택과 관련된 어플리케이션 실행할 수 있다. 외부 전자 장치(1030)는 상기 실행에 응답하여 적어도 하나의 컨택을 포함하는 컨택 리스트를 디스플레이(예: 도 2a의 디스플레이(237))에 표시할 수 있다. 상기 컨택 리스트에서 적어도 하나의 컨택을 선택하는 사용자 입력이 감지되면, 외부 전자 장치(1030)는 상기 선택된 적어도 하나의 컨택을 상기 외부 전자 장치(1030)의 VR 모드 활성화 상태를 전송할 컨택으로 설정할 수 있다.
일 실시예에서, 상기 1047동작에서 상기 적어도 하나의 컨택을 VR 모드 활성화 상태를 전송할 컨택으로 설정한 경우, 상기 1050동작의 VR 모드 활성화 상태가 감지되면, 1055동작을 생략하고, 상기 1060동작의 상기 설정된 적어도 하나의 컨택에 대한 식별 정보를 IMS 서버(1020)에 요청하는 동작을 수행할 수 있다.
일 실시예에서, IMS 서버(1020)는 1065동작에서, 상기 외부 전자 장치(1030)가 요청한 전자 장치(1010)에 대한 식별 정보(예: ip address)를 전송할 수 있다.
일 실시예에서, 상기 IMS 서버(1020)는 등록된 적어도 하나의 전자 장치(예: 전자 장치(1010) 및 외부 전자 장치(1030))에 대한 정보 예컨대, 상기 적어도 하나의 전자 장치의 사용자 아이디(ID), 전화번호, 메일 주소 중 적어도 하나를 저장할 수 있다. IMS 서버(1020)는 상기 적어도 하나의 전자 장치에 대한 정보에 기초하여 상기 외부 전자 장치(1030)가 요청한 전자 장치(1010)에 대한 식별 정보를 전송할 수 있다.
일 실시예에서, 외부 전자 장치(1030)는 1070동작에서, 상기 IMS 서버(1020)로부터 수신한 식별 정보에 기초하여 상기 외부 전자 장치(1030)에 대한 프레즌스 정보를 전자 장치(1010)에 전송할 수 있다. 예를 들어, 외부 전자 장치(1030)는 IMS 서버(1020)로부터 수신한 적어도 하나의 전자 장치에 대한 식별 정보 예컨대, IP 주소를 이용하여, 상기 IP 주소에 대응하는 전자 장치에 프레즌스 정보 예컨대, VR 모드 활성화 상태에 대한 정보를 SIP publish 메소드를 통해 직접 전송할 수 있다.
일 실시예에서, 상기 적어도 하나의 전자 장치에 대한 IP 주소를 이용하여 상기 적어도 하나의 전자 장치에 VR 모드 활성화 상태에 대한 정보를 직접 전송할 수 있어, 추가적인 IMS 서버(1020)의 구현이 필요 없을 수 있다.
일 실시예에서, VR 모드 활성화 상태에 대한 정보를 구독 신청한 적어도 하나의 전자 장치에 보내는 것이 아닌, 사용자에 의해 선택된 특정 컨택에만 VR 모드 활성화 상태에 대한 정보를 전송할 수 있어, 전자 장치의 로드가 커지는 것을 방지할 수 있다.
다양한 실시예에서, 전술한 1047 동작 및 1055동작은 생략 가능할 수 있다.
도 11은, 본 발명의 다양한 실시예들에 따른, VR 상에서 표시할 화면을 렌더링하는 방법을 설명하기 위한 블록도(1100)이다.
도 11을 참조하면, 전자 장치(예: 도 3의 전자 장치(310))(예: 프로세서(240))는 VR 모드의 활성화 상태 예컨대, VR 장치(예: 도 2b의 전자 장치(251))의 연결 또는 착용에 응답하여, VR 프레임워크(VR framework)(1135)를 구동하여 렌더링된 VR 영상에 기초한 전자 장치의 동작과 관련된 기능을 제어할 수 있다. 일 실시예에서, 전자 장치(예: 프로세서(240))는 상기 VR 모드의 활성화 상태가 감지되기 전에 VR 어플리케이션(VR app)(1110)을 실행할 수 있다.
일 실시예에서, 전자 장치(예: 3D 어플리케이션(1110))는 VR 모드의 활성화 상태에 응답하여, 하나의 영상이 3D 렌더러(3D renderer)(1115)에 의해 두 개의 영상(예: 좌 영상 및 우 영상)으로 분리된 VR 영상을 디스플레이 컨트롤러(display controller)(1120)에 전달할 수 있다. 상기 분리된 VR 영상은 상기 디스플레이 컨트롤러(display controller)(1120)에 의해 디스플레이(1125)로 출력할 수 있다.
일 실시예에서, 디스플레이 컨트롤러(display controller)(1120) 및 디스플레이(1125)는 외부 전자 장치에 구비될 수 있으며, 전자 장치(예: 3D 어플리케이션(1110))는 VR 모드의 활성화 상태에 응답하여, 하나의 영상이 3D 렌더러(3D renderer)(1115)에 의해 두 개의 영상(예: 좌 영상 및 우 영상)으로 분리된 VR 영상을 상기 외부 전자 장치의 디스플레이 컨트롤러(display controller)를 통해 상기 외부 전자 장치의 디스플레이로 출력할 수 있다.
다양한 실시예에서, 전자 장치(예: 프로세서(240))는 적어도 하나의 카메라(미도시)를 통해 획득되는 현재 공간에 대한 이미지를 획득할 수 있다. 전자 장치의 3D 렌더러(3D renderer)(1115)는 상기 획득되는 현재 공간에 대한 이미지를 VR 영상에 렌더링할 수 있다. 상기 렌더링된 이미지는 디스플레이 컨트롤러(display controller)(1120)를 통해 디스플레이(1125)로 출력될 수 있다.
일 실시예에서, IMS 프레임워크(IMS framework)(1145)는 외부 전자 장치로부터 상기 외부 전자 장치의 VR 모드 활성화 상태 예컨대, VR 장치 착용 상태에 대한 프레즌스 정보를 IMS 서버(예: 도 3의 IMS 서버(320))로부터 전달 및/또는 수신할 수 있다.
일 실시예에서, 3D 렌더러(3D renderer)(1115)는 VR 프레임워크(VR framework)(1135)를 통해 수신된 프레즌스 정보에 기초하여 외부 전자 장치를 나타내는 오브젝트를 VR 영상에 포함하여 렌더링할 수 있다. 예컨대, 3D 렌더러(3D renderer)(1115) 는 오픈지엘(open graphics library, OpenGL) 및/또는 GPU(graphic processing unit)를 이용하여 상기 외부 전자 장치를 나타내는 오브젝트를 VR 영상에 포함하여 렌더링할 수 있다. 상기 렌더링된 이미지는 디스플레이 컨트롤러(display controller)(1120)를 통해 디스플레이(1125)로 출력될 수 있다.
일 실시예에서, 전자 장치의 RIL 인터페이스(radio interface layer interface, RIL i/f)(1150)는 외부 전자 장치(예: 도 3의 외부 전자 장치(330))와의 통신 연결을 제공할 수 있다. 일 실시예에서, 전자 장치(예: 어플리케이션(146) 및 미들웨어(144))는 RIL 인터페이스(RIL i/f)(1150)를 통해 통신 모듈(예: 통신 모듈(190), 모뎀)과 통신을 수행하고, 전자 장치의 통신 연결 요청에 따른 데이터를 외부 전자 장치와 송수신할 수 있다. 예컨대, 상기 데이터는 전자 장치와 외부 전자 장치 간 통신 기능(예: 영상 통화 기능)을 수행하기 위한 데이터 예컨대, 상기 전자 장치 및 상기 외부 전자 장치를 나타내는 오브젝트(예: 3D 아바타)에 대한 형상, 재질, 및 움직임 정보 등을 포함할 수 있다.
일 실시예에서, 전자 장치(예: 프로세서(240))는 VR 어플리케이션(1110)이 실행되는 중에 2D 어플리케이션(2D app)(1160) 또는 2D IMS 어플리케이션(2D IMS app)(1165)을 실행할 수 있다. 전자 장치(예: 프로세서(240))는 상기 2D 어플리케이션(2D app)(1160) 또는 상기 2D IMS 어플리케이션(2D IMS app)(1165)에 대한 화면(예: surface)을 생성할 수 있다. 상기 생성된 각 surface는 복수 개일 수 있으며, 상기 복수 개의 surface는 그래픽 버퍼(1163, 1167)에 저장할 수 있다. 상기 그래픽 버퍼(1163, 1167)에 저장된 2D 어플리케이션(2D app)(1160) 및 2D IMS 어플리케이션(2D IMS app)(1165)에 대한 surface는 윈도우 컴포지터(window compositor)(1140)의 프레임 버퍼(1143)에 전달될 수 있다. 윈도우 컴포지터(window compositor)(1140)는 프레임 버퍼(1143)에 저장된 2D 어플리케이션(2D app)(1160) 또는 2D IMS 어플리케이션(2D IMS app)(1165)에 대한 여러 개의 surface를 하나의 surface로 합성할 수 있다. VR 어플리케이션(VR app)(1110)은 상기 윈도우 컴포지터(window compositor)(1140)에 의해 합성된 하나의 surface를 VR 프레임워크(VR framework)(1135)를 통해 읽어 들일(read) 수 있다.
일 실시예에서, VR 어플리케이션(VR app)(1110)은 상기 합성된 하나의 surface를 VR 영상에 포함하여 렌더링하고(예: 3D 렌더러(3D renderer)(1115)를 사용하여 렌더링), 이를 디스플레이(1125)에 출력할 수 있다.
일 실시예에서, VR 어플리케이션(1110)은 시선 추적부(예: 도 2b의 시선 추적부(275))를 통해 사용자의 시선을 추적할 수 있다. 일 실시예에서, VR 어플리케이션(VR app)(1110)은 입력 장치(예: 도 2b의 입력 장치(260))를 통해 VR 영상 내에서 사용자의 입력(예: VR 영상 내 오브젝트 focus 입력 등)을 수신할 수 있다.
일 실시예에서, VR 프레임워크(VR framework)(1135)는 2D 어플리케이션(2D app)(1160)(또는, 2D IMS 어플리케이션(2D IMS app)(1165)에 대한 화면을 VR 어플리케이션(VR app)(1110)에 제공할 수 있다. 일 실시예에서, VR 프레임워크(VR framework)(1135)는 VR 어플리케이션(VR app)(1110)의 사용자 입력 정보(예: VR 영상 내 사용자 시선 위치 정보, 포커스(focus)된 객체에 대한 정보 등)를 2D 어플리케이션(2D app)(1160)에 대응하는 사용자 입력 정보(예: 터치 좌표 및 터치 이벤트 등)로 변환하여 인풋 프레임워크(input framework)(1130)에 전달할 수 있다. 인풋 프레임워크(input framework)(1130)는 상기 VR 프레임워크로부터 수신된 사용자 입력 정보를 2D 어플리케이션(2D app)(1160) 및 2D IMS 어플리케이션(2D IMS app)(1165)에 전달할 수 있다.
일 실시예에서, 상기 렌더링된 VR 어플리케이션(VR app)(1110)의 영상은 디스플레이 컨트롤러(display controller)(1120)에 전송되고, 상기 디스플레이 컨트롤러(display controller)(1120)를 통해 디스플레이(1125)에 표시될 수 있다.
일 실시예에서, 상기 2D 어플리케이션(2D app)(1160)(또는, 2D IMS 어플리케이션(2D IMS app)(1165))은 상기 수신된 사용자의 시선 정보 및/또는 사용자 입력에 따른 기능을 실행할 수 있다. 전자 장치는 상기 실행된 기능에 따른 화면(예: surface)을 생성할 수 있다. 상기 생성된 각 surface는 복수 개일 수 있으며, 상기 복수 개의 surface는 그래픽 버퍼(1163, 1167)에 저장할 수 있다. 상기 그래픽 버퍼(1163, 1167)에 저장된 2D 어플리케이션(2D app)(1160) 및 2D IMS 어플리케이션(2D IMS app)(1165)에 대한 surface는 윈도우 컴포지터(window compositor)(1140)에 의해 하나의 surface로 합성될 수 있다. 윈도우 컴포지터(window compositor)(1140)는 상기 합성된 하나의 surface를 VR 프레임워크(VR framework)(1135)를 통해 3D 어플리케이션(3D app)(1110)에 전달할 수 있다. 상기 3D 어플리케이션(3D app)(1110)은 상기 합성된 하나의 surface를 VR 영상에 포함하여 렌더링할 수 있다. 상기 3D 어플리케이션(3D app)(1110)은 3D 렌더러(3D renderer)(1115)를 사용하여 VR 화면을 2D 렌더링 할 수 있다. 상기 사용자의 시선 정보 및/또는 사용자 입력에 기초한 렌더링된 VR 영상은 상기 디스플레이 컨트롤러(display controller)(1120)에 의해 디스플레이(1125)로 출력할 수 있다.
일 실시예에서, VR 어플리케이션(VR app)(1110), 3D 렌더러(3D renderer)(1115), 인풋 프레임워크(input framework)(1130), VR 프레임워크(VR framework)(1135), 윈도우 컴포지터(window compositor)(1140), IMS 프레임워크(IMS framework)(1145), RIL 인터페이스(RIL i/f)(1150), 2D 어플리케이션(2D app)(1160) 또는 2D IMS 어플리케이션(2D IMS app)(1165)은 프로세서(예: 도 1의 프로세서(120))에서 동작하는 프로그램(예: 도 1의 프로그램(140))에 포함될 수 있다.
도 12는, 본 발명의 다양한 실시예들에 따른, 2D 어플리케이션 화면을 렌더링하는 방법을 설명하기 위한 흐름도(1200)이다.
일 실시예에 따른 도 12의 1201동작 내지 1207동작은, 전술한 도 6의 601동작 내지 607동작과 동일하므로, 그에 대한 설명은 상기 도 6과 관련된 설명으로 대신한다. 이하 도 12에서는 도 6과 상이한 동작만을 설명하기로 한다.
도 12를 참조하면, 전자 장치(예: 도 3의 전자 장치(310))는 1209동작에서 VR 어플리케이션(예: 도 11의 VR 어플리케이션(1110)) 실행으로 표시된 VR 영상 내에서 2D 어플리케이션(예: 도 11의 2D 어플리케이션(1160), 2D IMS 어플리케이션(1165)) 실행을 수행할 수 있다.
일 실시예에서, 전자 장치는 1211동작에서, VR 어플리케이션(1110)이 포함하는 VR 영상 안에서 실행된 2D 어플리케이션에 대한 화면을 버퍼(예: 메모리(130)에 포함)에 저장할 수 있다. 예컨대, 전자 장치는 2D 어플리케이션이 실행되면, 상기 2D 어플리케이션에 대한 화면(예: surface)을 생성할 수 있다. 전자 장치는 상기 생성된 2D 어플리케이션에 대한 화면을 메모리(130) 상 버퍼(예: 그래픽 버퍼(예: 도 11의 그래픽 버퍼(1163, 1167)))에 저장하고, 가상의 프레임 버퍼(예: 도 11의 1143))에 전송할 수 있다.
일 실시예에서, 전자 장치(예: VR 어플리케이션(1110))는 1213동작에서, 상기 2D 어플리케이션에 대한 화면을 버퍼(예: 도 11의 프레임 버퍼(1143))로부터 리드하고, 상기 리드된 화면을 VR 영상에 렌더링하여 표시할 수 있다. 예컨대, 전자 장치는 3D 렌더러(예: 도 11의 3D 렌더러(1115))를 통해 상기 버퍼로부터 리드된 화면을 VR 영상에 텍스처 스트리밍(texture streaming) 및/또는 텍스처 매핑(texture mapping)하여 렌더링할 수 있다. 전자 장치는 VR 프레임워크(예: 도 11의 VR 프레임워크(1135))를 통해 2D 어플리케이션(예: 도 11의 2D 어플리케이션(1160))(또는, 2D IMS 어플리케이션(예: 도 11의 2D IMS 어플리케이션(1165))에 대한 화면이 렌더링된 VR 영상에 기초하여 전자 장치의 동작과 관련된 기능을 제어할 수 있다.
일 실시예에서, 전자 장치는 시선 추적부(예: 도 2b의 시선 추적부(275))를 통해 사용자의 시선을 추적할 수 있다. 전자 장치(예: VR 어플리케이션(1110))는 상기 추적된 사용자의 시선에 기초하여 상기 사용자의 시선에 대응하는 영역의 VR 영상을 렌더링하여 표시할 수 있다. 다양한 실시예에 따르면, VR 어플리케이션(1110)의 VR 영상 안에서 사용자의 시선에 대응하는 영역이 2D 어플리케이션(1160)(예: 컨택 어플리케이션, 전화 어플리케이션 등 2D IMS 어플리케이션(1165))을 표현하는 영역이면, 전자 장치(예: VR 어플리케이션(1110))는 적어도 하나의 외부 전자 장치(330)로부터 수신한 프레즌스 정보를 VR 영상 안에 더 표시할 수 있다. 예를 들어, 사용자가 컨택 어플리케이션의 목록을 응시할 때, 전자 장치(예: VR 어플리케이션(1110))는 VR 모드가 활성화 된 적어도 하나의 외부 전자 장치(330)의 수(예: 2) 등을 VR 영상 안에 더 표시할 수 있다. 일 실시예에서, 전자 장치는 VR 장치(예: 도 2b의 VR 장치(251))로부터 감지되는 사용자 입력을 수신할 수 있다. 예컨대, 전자 장치는 상기 VR 장치의 입력 장치(예: 도 2b의 입력 장치(260))에 의해 감지되는 터치 입력, 버튼 입력 중 적어도 하나의 입력에 대한 신호를 상기 VR 장치로부터 수신할 수 있다. 전자 장치는 상기 수신된 입력에 대응하는 터치 입력, 키 입력, 제스처 중 적어도 하나로 변환하고, 상기 입력으로 수행되는 기능에 대한 화면을 3D 렌더러(1115)를 통해 VR 영상에 렌더링할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트 폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", “A 또는 B 중 적어도 하나”, "A, B, 또는 C", "A, B, 및 C 중 적어도 하나”, 및 “A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째", 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, “기능적으로” 또는 “통신적으로”라는 용어와 함께 또는 이런 용어 없이, “커플드” 또는 “커넥티드”라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    IMS 서버와 통신하는 IMS 프레임 워크;
    디스플레이;
    메모리; 및
    프로세서를 포함하고, 상기 프로세서는,
    VR(virtual reality) 모드의 활성화 상태에 응답하여, VR 영상을 표시하도록 상기 디스플레이를 제어하고,
    적어도 하나의 외부 전자 장치의 상기 VR 모드의 활성화 상태에 대한 정보를 포함하는 프레즌스 정보를 상기 IMS 서버로부터 수신하고,
    3D 어플리케이션을 이용하여 상기 수신된 적어도 하나의 외부 전자 장치에 대한 프레즌스 정보를 상기 VR 영상에 포함하여 렌더링하고, 및
    상기 적어도 하나의 외부 전자 장치에 대한 프레즌스 정보를 포함하는 상기 렌더링된 VR 영상을 표시하도록 상기 디스플레이를 제어하도록 설정된 전자 장치.
  2. 제 1 항에 있어서,
    상기 VR 모드의 활성화 상태는, 상기 VR 장치가 상기 전자 장치에 연결된 상태, 사용자가 상기 VR 장치를 착용한 상태, 또는 3D VR 모드로 화면을 렌더링 하여 상기 디스플레이에 출력하는 상태 중 적어도 하나를 포함하는 전자 장치.
  3. 제 1 항에 있어서,
    상기 프로세서는,
    상기 VR 모드의 활성화 상태에 대한 정보를 포함하는 프레즌스 정보를 상기 외부 전자 장치를 나타내는 오브젝트로 표시, 상기 VR 영상 내 아이콘으로 표시, 또는 컨택과 관련된 어플리케이션 실행에 따라 표시된 컨택 리스트 내 포함된 적어도 하나의 컨택 중 상기 VR 모드가 활성화된 컨택에 시각적 효과를 적용하여 표시하도록 설정된 전자 장치.
  4. 제 1 항에 있어서,
    상기 프로세서는,
    상기 VR 모드의 비활성화 상태에 대한 프레즌스 정보를 상기 IMS 서버로부터 수신하면, 상기 3D 어플리케이션을 이용하여 상기 비활성화 상태에 대한 프레즌스 정보를 상기 VR 영상에 포함하여 렌더링하고, 및
    상기 VR 모드의 비활성화 상태에 대한 프레즌스 정보를 포함하는 상기 렌더링된 VR 영상을 표시하도록 상기 디스플레이를 제어하도록 설정되고,
    상기 VR 모드의 비활성화 상태는, VR 장치의 연결이 해제된 상태, 사용자가 상기 VR 장치를 착용한 상태에서 미착용 상태로 감지된 상태, 또는 3D VR 모드로 렌더링된 화면의 출력이 중지된 상태 중 적어도 하나를 포함하는 전자 장치.
  5. 제 1 항에 있어서,
    상기 프로세서는,
    상기 3D 어플리케이션을 실행하는 중에 2D 어플리케이션이 실행되면, 상기 2D 어플리케이션에 대한 화면을 상기 메모리에 저장하고,
    상기 3D 어플리케이션을 이용하여 상기 메모리로부터 상기 2D 어플리케이션에 대한 화면을 리드하고, 상기 리드된 화면을 상기 VR 영상에 포함하여 렌더링하여 표시하도록 상기 디스플레이를 제어하고, 및
    상기 VR 모드가 활성화 상태의 전자 장치와 상기 VR 모드가 비활성화 상태의 전자 장치를 구분하여 표시하도록 상기 디스플레이를 제어하도록 설정된 전자 장치.
  6. 제 1 항에 있어서,
    상기 프로세서는,
    상기 전자 장치의 사용자의 시선 정보를 획득하고, 상기 획득된 시선 정보에 대응하는 영역의 상기 VR 영상을 렌더링하여 표시하도록 상기 디스플레이를 제어하거나,
    상기 VR 장치로부터 감지되는 사용자 입력이 수신되면, 상기 수신된 사용자 입력에 대응하는 기능에 대한 화면을 VR 영상에 렌더링하여 표시하도록 상기 디스플레이를 제어하도록 설정된 전자 장치.
  7. 제 1 항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 외부 전자 장치에 대한 프레즌스 정보의 구독을 요청하는 메시지를 상기 IMS 서버로 전송하고, 및
    상기 구독 요청을 승인하는 메시지를 상기 IMS 서버로부터 수신하도록 설정된 전자 장치.
  8. 제 1 항에 있어서,
    상기 프로세서는,
    상기 VR 모드의 활성화 상태에 응답하여, 상기 VR 모드의 활성화 상태에 대한 정보를 포함하는 프레즌스 정보를 상기 IMS 서버에 전송하거나, 또는
    상기 VR 모드의 활성화 상태에 응답하여, 상기 프레즌스 정보를 전송할 적어도 하나의 외부 전자 장치의 선택을 감지하고, 상기 선택된 적어도 하나의 외부 전자 장치에 대한 식별 정보의 요청을 상기 IMS 서버에 전송하고, 및 상기 IMS 서버로부터 상기 선택된 적어도 하나의 외부 전자 장치에 대한 식별 정보가 수신되면, 상기 수신된 식별 정보에 대응하는 외부 전자 장치에 상기 VR 모드의 활성화 상태에 대한 정보를 포함하는 프레즌스 정보를 전송하도록 설정된 전자 장치.
  9. 제 1 항에 있어서,
    상기 프로세서는,
    SIP(session initiation protocol)에 기초하여 VR 모드의 활성화 상태에 대한 정보를 포함하는 상기 프레즌스 정보를 상기 IMS 서버에 전송하거나, 또는 수신하도록 설정된 전자 장치.
  10. 전자 장치의 가상 현실에서 정보를 제공하는 방법에 있어서,
    VR(virtual reality) 모드의 활성화 상태에 응답하여, VR 영상을 디스플레이에 표시하는 동작;
    적어도 하나의 외부 전자 장치의 상기 VR 모드의 활성화 상태에 대한 정보를 포함하는 프레즌스 정보를 IMS 서버로부터 수신하는 동작;
    3D 어플리케이션을 이용하여 상기 수신된 적어도 하나의 외부 전자 장치에 대한 프레즌스 정보를 상기 VR 영상에 포함하여 렌더링하는 동작; 및
    상기 적어도 하나의 외부 전자 장치에 대한 프레즌스 정보를 포함하는 상기 렌더링된 VR 영상을 상기 디스플레이에 표시하는 동작을 포함하는 방법.
  11. 제 10 항에 있어서,
    상기 프레즌스 정보를 포함하는 상기 렌더링된 VR 영상을 표시하는 동작은,
    상기 VR 모드가 활성화 상태인 상기 외부 전자 장치를 나타내는 오브젝트를 상기 VR 영상에 포함하여 렌더링하여 표시하는 동작;
    상기 VR 영상 내 상기 적어도 하나의 외부 전자 장치의 VR 모드의 활성화 상태를 아이콘으로 표시하는 동작; 또는
    컨택과 관련된 어플리케이션 실행에 따라 표시된 컨택 리스트 내 포함된 적어도 하나의 컨택 중 상기 VR 모드가 활성화된 컨택에 시각적 효과를 적용하여 표시하는 동작 중 적어도 하나를 포함하는 방법.
  12. 제 10 항에 있어서,
    상기 VR 모드의 비활성화 상태에 대한 프레즌스 정보를 상기 IMS 서버로부터 수신하는 동작;
    상기 3D 어플리케이션을 이용하여 상기 비활성화 상태에 대한 프레즌스 정보를 상기 VR 영상에 포함하여 렌더링하는 동작; 및
    상기 VR 모드의 비활성화 상태에 대한 프레즌스 정보를 포함하는 상기 렌더링된 VR 영상을 상기 디스플레이에 표시하는 동작을 더 포함하는 방법.
  13. 제 10 항에 있어서,
    상기 3D 어플리케이션을 실행하는 중에 2D 어플리케이션 실행되면, 상기 2D 어플리케이션에 대한 화면을 메모리에 저장하는 동작; 및
    상기 3D 어플리케이션을 이용하여 상기 메모리로부터 상기 2D 어플리케이션에 대한 화면을 리드하고, 상기 리드된 화면을 VR 영상에 포함하여 렌더링하여 상기 디스플레이에 표시하는 동작; 및
    상기 VR 모드가 활성화 상태의 전자 장치와 상기 VR 모드가 비활성화 상태의 전자 장치를 구분하여 표시하는 동작을 더 포함하는 방법.
  14. 제 10 항에 있어서,
    상기 전자 장치의 사용자의 시선 정보가 획득되면, 상기 획득된 시선 정보에 대응하는 영역의 상기 VR 영상을 렌더링하여 표시하는 동작, 또는
    상기 VR 장치로부터 감지되는 사용자 입력이 수신되면, 상기 수신된 사용자 입력에 대응하는 기능에 대한 화면을 VR 영상에 렌더링하여 표시하는 동작을 더 포함하는 방법.
  15. 제 10 항에 있어서,
    상기 VR 모드의 활성화 상태에 응답하여, 상기 프레즌스 정보를 전송할 적어도 하나의 외부 전자 장치의 선택을 감지하는 동작;
    상기 선택된 적어도 하나의 외부 전자 장치에 대한 식별 정보의 요청을 상기 IMS 서버에 전송하는 동작;
    상기 IMS 서버로부터 상기 선택된 적어도 하나의 외부 전자 장치에 대한 식별 정보를 수신하는 동작; 및
    상기 수신된 식별 정보에 대응하는 외부 전자 장치에 상기 VR 모드의 활성화 상태에 대한 정보를 포함하는 프레즌스 정보를 전송하는 동작을 더 포함하는 방법.
PCT/KR2019/010286 2018-08-27 2019-08-13 가상 현실에서 정보를 제공하는 전자 장치 및 방법 WO2020045862A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/272,275 US11463486B2 (en) 2018-08-27 2019-08-13 Electronic device and method for providing information in virtual reality

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180100299A KR102508286B1 (ko) 2018-08-27 2018-08-27 가상 현실에서 정보를 제공하는 전자 장치 및 방법
KR10-2018-0100299 2018-08-27

Publications (1)

Publication Number Publication Date
WO2020045862A1 true WO2020045862A1 (ko) 2020-03-05

Family

ID=69644612

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/010286 WO2020045862A1 (ko) 2018-08-27 2019-08-13 가상 현실에서 정보를 제공하는 전자 장치 및 방법

Country Status (3)

Country Link
US (1) US11463486B2 (ko)
KR (1) KR102508286B1 (ko)
WO (1) WO2020045862A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112214108A (zh) * 2020-09-21 2021-01-12 深圳光启空间技术有限公司 头戴设备的控制方法、头戴设备、存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11612316B2 (en) * 2019-06-20 2023-03-28 Awss Zidan Medical system and method operable to control sensor-based wearable devices for examining eyes
US11481965B2 (en) * 2020-04-10 2022-10-25 Samsung Electronics Co., Ltd. Electronic device for communicating in augmented reality and method thereof
WO2024071632A1 (ko) * 2022-09-30 2024-04-04 삼성전자 주식회사 메타버스 영상을 표시하는 영상 표시 장치 및 그 표시 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150082120A (ko) * 2014-01-06 2015-07-15 삼성전자주식회사 전자 장치 및 가상 현실 모드에서의 이벤트 표시 방법
KR20160133230A (ko) * 2015-05-12 2016-11-22 엘지전자 주식회사 이동 단말기
KR20180017736A (ko) * 2016-08-10 2018-02-21 (주) 씽크브릿지 Hmd 및 그 hmd의 제어 방법
KR101842657B1 (ko) * 2017-04-26 2018-03-27 김동현 가상현실 소셜네트워크 서비스 제공 방법
US20180205773A1 (en) * 2011-10-28 2018-07-19 Magic Leap, Inc. System and method for augmented and virtual reality

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10963648B1 (en) * 2006-11-08 2021-03-30 Verizon Media Inc. Instant messaging application configuration based on virtual world activities
US20090187833A1 (en) * 2008-01-19 2009-07-23 International Business Machines Corporation Deploying a virtual world within a productivity application
KR102460274B1 (ko) 2015-10-29 2022-10-28 삼성전자 주식회사 연락처 정보 제공 방법 및 장치
US10722800B2 (en) * 2016-05-16 2020-07-28 Google Llc Co-presence handling in virtual reality
US11503125B2 (en) * 2016-06-24 2022-11-15 Janet Nassirzadeh Platform for establishing communication and interaction between users and a method thereof
US11058945B2 (en) * 2016-10-18 2021-07-13 Roblox Corporation Virtual reality environment observation system and network
KR102277438B1 (ko) * 2016-10-21 2021-07-14 삼성전자주식회사 단말 장치들 간의 멀티미디어 통신에 있어서, 오디오 신호를 송신하고 수신된 오디오 신호를 출력하는 방법 및 이를 수행하는 단말 장치
US10802683B1 (en) * 2017-02-16 2020-10-13 Cisco Technology, Inc. Method, system and computer program product for changing avatars in a communication application display
WO2019079826A1 (en) * 2017-10-22 2019-04-25 Magical Technologies, Llc DIGITAL ASSISTANT SYSTEMS, METHODS AND APPARATUSES IN AN INCREASED REALITY ENVIRONMENT AND LOCAL DETERMINATION OF VIRTUAL OBJECT PLACEMENT AND SINGLE OR MULTIDIRECTIONAL OBJECTIVES AS GATEWAYS BETWEEN A PHYSICAL WORLD AND A DIGITAL WORLD COMPONENT OF THE SAME ENVIRONMENT OF INCREASED REALITY
US11320958B2 (en) * 2018-05-02 2022-05-03 Apple Inc. Moving about a setting

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180205773A1 (en) * 2011-10-28 2018-07-19 Magic Leap, Inc. System and method for augmented and virtual reality
KR20150082120A (ko) * 2014-01-06 2015-07-15 삼성전자주식회사 전자 장치 및 가상 현실 모드에서의 이벤트 표시 방법
KR20160133230A (ko) * 2015-05-12 2016-11-22 엘지전자 주식회사 이동 단말기
KR20180017736A (ko) * 2016-08-10 2018-02-21 (주) 씽크브릿지 Hmd 및 그 hmd의 제어 방법
KR101842657B1 (ko) * 2017-04-26 2018-03-27 김동현 가상현실 소셜네트워크 서비스 제공 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112214108A (zh) * 2020-09-21 2021-01-12 深圳光启空间技术有限公司 头戴设备的控制方法、头戴设备、存储介质

Also Published As

Publication number Publication date
KR102508286B1 (ko) 2023-03-09
US20210258354A1 (en) 2021-08-19
KR20200023858A (ko) 2020-03-06
US11463486B2 (en) 2022-10-04

Similar Documents

Publication Publication Date Title
WO2020045862A1 (ko) 가상 현실에서 정보를 제공하는 전자 장치 및 방법
WO2019107885A1 (en) Electronic device operating in associated state with external audio device based on biometric information and method therefor
WO2020159147A1 (ko) 전자 장치 및 전자 장치의 그래픽 객체 제어 방법
WO2019050317A1 (ko) 이어폰을 통한 어플리케이션별 오디오 출력 제어 방법 및 이를 구현한 전자 장치
WO2020022780A1 (en) Method and apparatus for establishing device connection
WO2016195147A1 (ko) 헤드 마운티드 디스플레이
WO2020166911A1 (en) Screen providing method and electronic device supporting same
EP3808097A1 (en) Method and apparatus for establishing device connection
WO2017171137A1 (ko) 보청장치, 휴대장치 및 그 제어방법
WO2021085902A1 (ko) 복수의 어플리케이션들의 오디오 데이터를 출력하는 전자 장치 및 그 동작 방법
WO2021206415A1 (en) Electronic device for communicating in augmented reality and method thereof
WO2019103471A1 (en) Method of providing vibration and electronic device for supporting same
WO2020171429A1 (ko) 애니메이티드 이미지를 제공하기 위한 전자 장치 및 그에 관한 방법
WO2022131549A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2020171342A1 (ko) 외부 객체의 정보에 기반하여 시각화된 인공 지능 서비스를 제공하는 전자 장치 및 전자 장치의 동작 방법
WO2020222523A1 (en) Electronic device including actuator configured to output sound and method for operating same
WO2023132459A1 (ko) Ar 객체를 표시하는 전자 장치 및 그 방법
WO2019103413A1 (ko) 진동을 제공하기 위한 장치 및 방법
WO2022098204A1 (ko) 가상현실 서비스를 제공하는 전자 장치 및 방법
WO2022154440A1 (ko) 오디오 데이터를 처리하는 전자 장치 및 그 동작 방법
WO2021187952A1 (ko) 전자 장치의 화면을 홀로그램으로 표시하는 거치 장치
WO2021075752A1 (en) Method for providing screen using foldable display and electronic device for supporting same
WO2021054662A1 (ko) 전자 장치 및 전자 장치의 정보 제공 방법
WO2020159320A1 (ko) 밀리미터 웨이브를 이용한 객체 인식 방법 및 이를 지원하는 전자 장치
WO2020222418A1 (ko) 사용자를 인증하기 위한 방법 및 지원하는 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19856192

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19856192

Country of ref document: EP

Kind code of ref document: A1