WO2024085353A1 - 위치에 기반하여 카메라를 제어하여 위치에 대응하는 미디어를 획득하기 위한 전자 장치 및 그 방법 - Google Patents

위치에 기반하여 카메라를 제어하여 위치에 대응하는 미디어를 획득하기 위한 전자 장치 및 그 방법 Download PDF

Info

Publication number
WO2024085353A1
WO2024085353A1 PCT/KR2023/009674 KR2023009674W WO2024085353A1 WO 2024085353 A1 WO2024085353 A1 WO 2024085353A1 KR 2023009674 W KR2023009674 W KR 2023009674W WO 2024085353 A1 WO2024085353 A1 WO 2024085353A1
Authority
WO
WIPO (PCT)
Prior art keywords
media
wearable device
area
server
camera
Prior art date
Application number
PCT/KR2023/009674
Other languages
English (en)
French (fr)
Inventor
이상훈
방재원
염동현
장문수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220138760A external-priority patent/KR20240055584A/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of WO2024085353A1 publication Critical patent/WO2024085353A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/368—Image reproducers using viewer tracking for two or more viewers

Definitions

  • This disclosure relates to an electronic device and method for controlling a camera based on location to obtain media corresponding to the location.
  • the electronic device may be a wearable device that can be worn by a user.
  • the electronic device may be AR glasses and/or a head-mounted device (HMD).
  • HMD head-mounted device
  • a wearable device may include a display, a camera, a sensor, a communication circuit, and a processor.
  • the processor may be configured to identify the location of the wearable device based on data output from the sensor.
  • the processor controls the display based on identifying the location, included within a first area set by an external electronic device through the communication circuit, to display the display within a field-of-view (FoV) of the wearable device.
  • FoV field-of-view
  • the processor may be configured to adjust the state of the camera to the first state based on an input indicating selection of the visual object.
  • the processor may be configured to identify whether the location of the wearable device has moved to the second area within the first area, based on data from the sensor.
  • the processor based on identifying that the position of the wearable device has moved within the first area and into a second area, based on the state of the camera adjusted to the first state, determines a location associated with the second area.
  • the processor may be configured to transmit the acquired media to the external electronic device through the communication circuit.
  • a method of using a wearable device may include identifying the location of the wearable device based on data output from a sensor of the wearable device.
  • the method controls the display of the wearable device based on identifying the location, contained within a first area established by an external electronic device through a communication circuit of the wearable device, to within the FoV of the wearable device, It may include displaying a visual object for adjusting the state of the camera of the wearable device to a first state for recording media.
  • the method may include adjusting the state of the camera to the first state in response to an input indicating selection of the visual object.
  • the method may include an operation of identifying whether the location of the wearable device has moved to the second area within the first area, based on data from the sensor.
  • the method includes, based on data from the wearable device, identifying that the position has moved into a second area within the first area, and based on the state of the camera adjusted to the first state, It may include an operation of acquiring media related to the second area.
  • the method may include transmitting the acquired media to the external electronic device through the communication circuit.
  • an electronic device may include a communication circuit, memory, and a processor.
  • the processor may be configured to obtain first media for an area and metadata corresponding to the first media from a plurality of external electronic devices, based on the communication circuit.
  • the processor may be configured to identify, among the first media, second media containing an event that occurred within the area, based on the metadata.
  • the processor may be configured to obtain, based on the second media, a third media that includes the event and includes a FoV that is different from one or more FoVs of the second media.
  • the processor may be configured to store the third media in the memory based on a state accessible by at least one of the plurality of external electronic devices.
  • a method of an electronic device includes, based on a communication circuit of the electronic device, receiving first media for an area from a plurality of external electronic devices, and metadata corresponding to the first media. It may include an operation to obtain. The method may include an operation of identifying second media containing an event that occurred within the area among the first media, based on the metadata. The method includes, based on the second media, obtaining third media including the event and including a field-of-view (FoV) different from one or more field-of-views (FoVs) of the second media. can do. The method may include storing the third media in a memory of the electronic device based on a state that is accessible by at least one of the plurality of external electronic devices.
  • FoV field-of-view
  • Figure 1 is an exemplary diagram of a first embodiment environment in which metaverse services are provided through a server.
  • Figure 2 is an exemplary diagram of a second embodiment environment in which a metaverse service is provided through direct connection between user terminals and a second terminal.
  • Figure 3A shows an example of a perspective view of a wearable device, according to one embodiment.
  • FIG. 3B shows an example of one or more hardware deployed within a wearable device, according to one embodiment.
  • 4A to 4B show an example of the appearance of a wearable device, according to an embodiment.
  • FIG. 5 illustrates an example of an operation in which a wearable device controls a camera based on the location of the wearable device, according to an embodiment.
  • Figure 6 is a block diagram of a wearable device and a server connected to the wearable device, according to one embodiment.
  • FIG. 7 illustrates an example of an operation in which a wearable device acquires a location used for recording media, according to an embodiment.
  • FIG. 8 illustrates an example of an operation performed by a wearable device based on movement of the wearable device, according to an embodiment.
  • FIG. 9 illustrates an example of an operation in which a server connected to wearable devices processes media received from the wearable devices, according to an embodiment.
  • FIG. 10 illustrates an example of an operation in which a wearable device displays a list of media captured at a designated location, according to an embodiment.
  • FIG. 11 illustrates an example of an operation in which a wearable device displays a list of media captured at a designated location, according to an embodiment.
  • Figure 12 shows an example of a flow chart for a wearable device, according to one embodiment.
  • Figure 13 shows an example of a flow chart for an electronic device, according to one embodiment.
  • Figure 14 shows an example of a flow chart for an electronic device, according to one embodiment.
  • the components are not limited. When a component (e.g., a first) component is said to be “connected (functionally or communicatively)" or “connected” to another (e.g., second) component, it means that the component is connected to the other component. It may be connected directly to the component or may be connected through another component (e.g., a third component).
  • module used in this document includes a unit comprised of hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit, for example.
  • a module may be an integrated part, a minimum unit that performs one or more functions, or a part thereof.
  • a module may be comprised of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Metaverse is a compound word of the English word 'Meta', meaning 'virtual' or 'transcendence', and 'Universe', meaning universe. It is a three-dimensional world where social, economic and cultural activities similar to the real world take place. refers to the virtual world of Metaverse is a concept that is one step more advanced than virtual reality (VR (virtual reality), a cutting-edge technology that allows people to experience life-like experiences in a virtual world created by a computer), and is a concept that uses avatars to play games or play games. It has the characteristic of not only allowing you to enjoy virtual reality, but also allowing you to engage in social and cultural activities similar to those in real life.
  • VR virtual reality
  • metaverse services can be provided in at least two forms. The first is that services are provided to users using a server, and the second is that services are provided through individual contact between users. Reference to the term “metaverse” is not limited to any known commercial uses of the term.
  • FIG. 1 is an exemplary diagram of a first embodiment environment 101 that receives metaverse services through the server 110.
  • the first embodiment environment 101 includes a server 110 providing a metaverse service, the server 110, and each user terminal (e.g., the first terminal 120-1, and the second terminal 120-1).
  • a network connecting the user terminal 120 including the terminal 120-2 e.g., a network formed by at least one intermediate node 130 including an access point (AP) and/or a base station
  • network It consists of a user terminal that connects to the server through and allows the user to use the service by providing input and output to the metaverse service.
  • the server 110 provides a virtual space so that the user terminal 120 can perform activities in the virtual space.
  • the user terminal 120 accesses the virtual space provided by the server 110 in order to express information provided by the server 110 to the user or transmit information that the user wishes to express in the virtual space to the server.
  • It may include a S/W agent to do this.
  • a S/W agent may provide a view portal that allows a user to view a virtual space or select, add, or delete one or more virtual objects included in the virtual space.
  • the S/W agent can be provided directly through the server 110, downloaded from a public server, or embedded when purchasing a terminal.
  • FIG. 2 is an exemplary diagram of a second embodiment environment 102 in which a metaverse service is provided through direct connection between user terminals (e.g., the first terminal 120-1 and the second terminal 120-2). am.
  • user terminals e.g., the first terminal 120-1 and the second terminal 120-2.
  • the second embodiment environment 102 includes a first terminal 120-1 providing a metaverse service, a network connecting each user terminal (e.g., to at least one intermediate node 130), network formed by a network), and a second terminal (120-2) that connects to the first terminal (120-1) through the network and allows the second user to use the service by inputting and outputting the metaverse service.
  • the second embodiment is characterized in that the first terminal 120-1 performs the role of a server (eg, server 110 in FIG. 1) in the first embodiment to provide a metaverse service.
  • a server eg, server 110 in FIG. 1
  • a metaverse environment can be created just by connecting devices.
  • the user terminal 120 may be made in various form factors. It is characterized in that it includes an output device for providing images and/or sounds to the user and an input device for inputting information into the metaverse service.
  • various form factors of the user terminal 120 include a smartphone (e.g., second terminal 120-2), AR device (e.g., first terminal 120-1), virtual reality (VR) device, and MR. It may include a mixed reality (VST) device, a video see through (VST) device, a TV or projector capable of input/output, or other suitable devices known to those skilled in the art.
  • the network of the present invention (e.g., a network formed by at least one intermediate node 130) includes various broadband networks including 3G, 4G, and 5G, and local area networks including wireless fidelity (WiFi) and bluetooth (BT) (e.g. , a wired network or a wireless network directly connecting the first terminal 120-1 and the second terminal 120-2).
  • WiFi wireless fidelity
  • BT bluetooth
  • FIG. 3A shows an example of a perspective view of a wearable device 300, according to an embodiment.
  • FIG. 3B shows an example of one or more hardware disposed within the wearable device 300, according to one embodiment.
  • the wearable device 300 of FIGS. 3A and 3B may include the first terminal 120-1 of FIGS. 1 and 2 .
  • 3A (as shown in), according to one embodiment, the wearable device 300 may include at least one display 350 and a frame supporting the at least one display 350. .
  • display 350 may be positioned corresponding to the user's line of eyesight.
  • the wearable device 300 may be worn on a part of the user's body.
  • the wearable device 300 provides the user wearing the wearable device 300 with augmented reality (AR), virtual reality (VR), or a mixed reality that combines augmented reality and virtual reality.
  • AR augmented reality
  • VR virtual reality
  • MR mixed reality that combines augmented reality and virtual reality.
  • the wearable device 300 outputs a virtual reality image to the user through at least one display 350 in response to the user's designated gesture acquired through the motion recognition camera 340-2 of FIG. 3B. can do.
  • At least one display 350 in the wearable device 300 may provide visual information to the user.
  • at least one display 350 may include a transparent or translucent lens.
  • At least one display 350 may include a first display 350-1 and/or a second display 350-2 spaced apart from the first display 350-1.
  • the first display 350-1 and the second display 350-2 may be placed at positions corresponding to the user's left eye and right eye, respectively.
  • the first display 350-1 and the second display 350-2 may display duplicate images or display different images.
  • At least one display 350 forms a display area on the lens to display visual information included in external light passing through the lens to a user wearing the wearable device 300. It can provide other visual information that is distinct from visual information.
  • the lens may be formed based on at least one of a Fresnel lens, a pancake lens, or a multi-channel lens.
  • the display area formed by at least one display 350 may be formed on the first surface 331 and the second surface 332 of the lens.
  • external light may be incident on the first surface 331 and transmitted through the second surface 332, thereby being transmitted to the user.
  • at least one display 350 may display a virtual reality image to be combined with a real screen transmitted through external light.
  • the virtual reality image output from at least one display 350 includes one or more hardware (e.g., optical devices 382, 384, and/or at least one waveguides) included in the wearable device 300. )(333, 334)), it can be transmitted to the user's eyes.
  • hardware e.g., optical devices 382, 384, and/or at least one waveguides
  • the wearable device 300 includes waveguides 333 that diffract light transmitted from at least one display 350 and relayed by the optical devices 382 and 384 and deliver it to the user. , 334).
  • the waveguides 333 and 334 may be formed based on at least one of glass, plastic, or polymer.
  • a nanopattern may be formed on the outside or at least a portion of the inside of the waveguides 333 and 334.
  • the nanopattern may be formed based on a polygonal and/or curved grating structure. Light incident on one end of the waveguides 333 and 334 may propagate to the other end of the waveguides 333 and 334 by the nanopattern.
  • the waveguides 333 and 334 may include at least one of a diffractive element (eg, a diffractive optical element (DOE) or a holographic optical element (HOE)) or a reflective element (eg, a reflective mirror).
  • a diffractive element eg, a diffractive optical element (DOE) or a holographic optical element (HOE)
  • a reflective element eg, a reflective mirror.
  • the waveguides 333 and 334 may be disposed within the wearable device 300 to guide the screen displayed by at least one display 350 to the user's eyes.
  • the screen may be transmitted to the user's eyes based on total internal reflection (TIR) generated within the waveguides 333 and 334.
  • TIR total internal reflection
  • the wearable device 300 analyzes objects included in the real-life image collected through the shooting camera 340-1, and selects an object that is the target of providing augmented reality from among the analyzed objects.
  • Corresponding virtual objects can be combined and displayed on at least one display 350.
  • the virtual object may include at least one of text and images for various information related to the object included in the real image. For example, if a user views an item while shopping in a store, a price or information about the item may be displayed on the first and/or second display while the user views the item.
  • the wearable device 300 can analyze objects based on multi-cameras, such as stereo cameras. For the object analysis, the wearable device 300 may execute time-of-flight (ToF) and/or simultaneous localization and mapping (SLAM) supported by multi-cameras. A user wearing the wearable device 300 can watch images displayed on at least one display 350.
  • ToF time-of-flight
  • SLAM simultaneous localization and mapping
  • the frame may be made of a physical structure that allows the wearable device 300 to be worn on the user's body.
  • the frame allows the first display 350-1 and the second display 350-2 to be positioned to correspond to the user's left eye and right eye when the user wears the wearable device 300. It can be configured so that The frame may support at least one display 350.
  • the frame may support the first display 350-1 and the second display 350-2 to be positioned at positions corresponding to the user's left and right eyes.
  • the frame when the user wears the wearable device 300, the frame may include an area 320 at least partially in contact with a part of the user's body.
  • the area 320 of the frame in contact with a part of the user's body includes an area in contact with a part of the user's nose, a part of the user's ear, and a side part of the user's face that the wearable device 300 touches. can do.
  • the frame may include a nose pad 310 that contacts a part of the user's body. When the wearable device 300 is worn by a user, the nose pad 310 may be in contact with a portion of the user's nose.
  • the frame may include a first temple 304 and a second temple 305 that are in contact with another part of the user's body that is distinct from the part of the user's body.
  • the frame may be positioned on the user's forehead, and the first and second displays may be projected downward toward the user's eyes without touching the user's nose. .
  • the frame includes a first rim 301 surrounding at least a portion of the first display 350-1 and a second rim 302 surrounding at least a portion of the second display 350-2. , a bridge 303 disposed between the first rim 301 and the second rim 302, a first pad disposed along a portion of the edge of the first rim 301 from one end of the bridge 303 ( 311), a second pad 312 disposed along a portion of the edge of the second rim 302 from the other end of the bridge 303, a first temple extending from the first rim 301 and fixed to a portion of the wearer's ear ( 304), and a second temple 305 extending from the second rim 302 and fixed to a portion of the ear opposite the ear.
  • the first pad 311 and the second pad 312 may be in contact with a portion of the user's nose, and the first temple 304 and the second temple 305 may be in contact with a portion of the user's face and a portion of the ear. may come into contact with.
  • the temples 304, 305 may be rotatably connected to the rim via the hinge units 306, 307 of FIG. 3B.
  • the first temple 304 may be rotatably connected to the first rim 301 through a first hinge unit 306 disposed between the first rim 301 and the first temple 304.
  • the second temple 305 may be rotatably connected to the second rim 302 through a second hinge unit 307 disposed between the second rim 302 and the second temple 305.
  • the wearable device 300 detects an external object (e.g., a user's fingertip) touching the frame using a touch sensor, a grip sensor, and/or a proximity sensor formed on at least a portion of the surface of the frame. fingertip)), and/or a gesture performed by the external object may be identified.
  • an external object e.g., a user's fingertip
  • the wearable device 300 may include hardware (eg, hardware described above based on the block diagram of FIG. 6) that performs various functions.
  • the hardware includes a battery module 370, an antenna module 375, optical devices 382, 384, speakers 392-1, 392-2, and microphones 394-1, 394- 2, 394-3), a light emitting module, and/or a printed circuit board 390.
  • Various hardware can be placed within the frame.
  • the microphones 394-1, 394-2, and 394-3 of the wearable device 300 may be disposed in at least a portion of the frame to obtain a sound signal.
  • microphones 394-3 are shown in FIG. 3B, the number and placement of microphones 394 are not limited to the embodiment of FIG. 3B. If the number of microphones 394 included in the wearable device 300 is two or more, the wearable device 300 can identify the direction of the sound signal using a plurality of microphones disposed on different parts of the frame. there is.
  • the optical devices 382 and 384 may transmit a virtual object transmitted from at least one display 350 to the wave guides 333 and 334.
  • optical devices 382 and 384 may be projectors.
  • the optical devices 382 and 384 may be disposed adjacent to the at least one display 350 or may be included within the at least one display 350 as part of the at least one display 350 .
  • the first optical device 382 may correspond to the first display 350-1
  • the second optical device 384 may correspond to the second display 350-2.
  • the first optical device 382 can transmit the light output from the first display 350-1 to the first waveguide 333
  • the second optical device 384 can transmit the light output from the first display 350-1 to the first waveguide 333.
  • the light output from -2) can be transmitted to the second waveguide 334.
  • the camera 340 may include an eye tracking camera (ET CAM) 340-1, a motion recognition camera 340-2, and/or an imaging camera 340-3. You can.
  • the shooting camera 340-3, the eye tracking camera 340-1, and the motion recognition camera 340-2 may be placed at different positions on the frame and perform different functions.
  • the gaze tracking camera 340-1 may output data representing the gaze of the user wearing the wearable device 300.
  • the wearable device 300 may detect the gaze from an image including the user's pupils, which can be obtained through the gaze tracking camera 340-1.
  • An example in which the gaze tracking camera 340-1 is positioned toward the user's right eye is shown in FIG. 3B.
  • the present disclosure is not limited to these configurations, and the eye tracking camera 340-1 may be positioned solely toward the user's left eye, or toward both eyes. It can be.
  • the capturing camera 340-3 may capture a real image or background to be matched with a virtual image to implement augmented reality or mixed reality content.
  • the capturing camera may capture an image of a specific object that exists at a location where the user is looking, and provide the image to at least one display 350.
  • At least one display 350 is one in which a real image or background information including the image of the specific object obtained using a photographing camera and a virtual image provided through the optical devices 382 and 384 are overlapped.
  • the video can be displayed.
  • the imaging camera may be placed on the bridge 303 disposed between the first rim 301 and the second rim 302.
  • the gaze tracking camera 340-1 tracks the gaze of a user wearing the wearable device 300, thereby tracking the user's gaze and visual information provided to at least one display 350. By matching them, a more realistic augmented reality can be realized. For example, when the user looks forward, the wearable device 300 may naturally display environmental information related to the user's front view on at least one display 350 at the location where the user is located.
  • the gaze tracking camera 340-1 may be configured to capture an image of the user's pupil to determine the user's gaze. For example, the gaze tracking camera 340-1 may receive gaze detection light reflected from the user's pupil and track the user's gaze based on the position and movement of the received gaze detection light.
  • the eye tracking camera 340-1 may be placed at positions corresponding to the user's left and right eyes.
  • the eye tracking camera 340-1 may be placed within the first rim 301 and/or the second rim 302 to face the direction in which the user wearing the wearable device 300 is located. You can.
  • the motion recognition camera 340-2 specifies the screen provided on at least one display 350 by recognizing the movement of the entire or part of the user's body, such as the user's torso, hands, or face. Events can be provided.
  • the gesture recognition camera 340-2 may recognize a user's gesture, obtain a signal corresponding to the gesture, and provide a display corresponding to the signal to at least one display 350.
  • the processor may identify a signal corresponding to the operation and perform a designated function based on the identification.
  • the motion recognition camera 340-2 may be disposed on the first rim 301 and/or the second rim 302.
  • the camera 340 included in the wearable device 300 is not limited to the eye tracking camera 340-1 and the motion recognition camera 340-2 described above.
  • the wearable device 300 may identify an external object included within the user's FoV using the capturing camera 340-3 disposed toward the user's FoV.
  • the wearable device 300 identifies an external object based on a sensor for identifying the distance between the wearable device 300 and the external object, such as a depth sensor and/or a time of flight (ToF) sensor. It can be.
  • the camera 340 disposed toward the FoV may support an autofocus function and/or an optical image stabilization (OIS) function.
  • the wearable device 300 includes a camera 340 (e.g., a face tracking (FT) camera) disposed toward the face of a user wearing the wearable device 300 to obtain an image including the face. ) may include.
  • FT face tracking
  • the wearable device 300 includes a light source (e.g., a light source that radiates light toward a subject (e.g., the user's eyes, face, and/or an external object within the FoV) captured using the camera 340. LED) may be further included.
  • the light source may include an LED with an infrared wavelength.
  • the light source may be placed in at least one of the frame and hinge units 306 and 307.
  • the battery module 370 may supply power to electronic components of the wearable device 300.
  • the battery module 370 may be disposed within the first temple 304 and/or the second temple 305.
  • the battery module 370 may be a plurality of battery modules 370 .
  • a plurality of battery modules 370 may be disposed on the first temple 304 and the second temple 305, respectively.
  • the battery module 370 may be disposed at an end of the first temple 304 and/or the second temple 305.
  • the antenna module 375 may transmit a signal or power to the outside of the wearable device 300, or may receive a signal or power from the outside.
  • the antenna module 375 may be electrically and/or operationally connected to a communication circuit (e.g., a communication circuit 650 described later with reference to FIG. 6) within the wearable device 300.
  • the antenna module 375 may be disposed within the first temple 304 and/or the second temple 305.
  • the antenna module 375 may be placed close to one surface of the first temple 304 and/or the second temple 305.
  • the speakers 392-1 and 392-2 may output sound signals to the outside of the wearable device 300.
  • the sound output module may be referred to as a speaker.
  • the speakers 392-1 and 392-2 are disposed adjacent to the ears of the user wearing the wearable device 300, the first temple 304, and/or the second temple 305. ) can be placed within.
  • the wearable device 300 is disposed within the first temple 304 and the second speaker 392-2, which is disposed adjacent to the user's left ear, and is disposed within the second temple 305 to listen to the user's hearing. It may include a first speaker 392-1, which is disposed adjacent to the right ear.
  • the light emitting module may include at least one light emitting device. In order to visually provide information about the specific state of the wearable device 300 to the user, the light emitting module may emit light in a color corresponding to a specific state or emit light in an operation corresponding to the specific state. For example, when the wearable device 300 requires charging, it may repeatedly emit red light at designated times. In one embodiment, the light emitting module may be disposed on the first rim 301 and/or the second rim 302.
  • the wearable device 300 may include a printed circuit board (PCB) 390.
  • the PCB 390 may be included in at least one of the first temple 304 or the second temple 305.
  • the PCB 390 may include an interposer disposed between at least two sub-PCBs.
  • one or more hardware included in the wearable device 300 eg, hardware shown by blocks described later with reference to FIG. 6 may be disposed.
  • the wearable device 300 may include a flexible PCB (FPCB) for interconnecting the hardware.
  • FPCB flexible PCB
  • the wearable device 300 includes a gyro sensor for detecting the posture of the wearable device 300 and/or the posture of a body part (e.g., head) of a user wearing the wearable device 300, It may include at least one of a gravity sensor and/or an acceleration sensor.
  • the gravity sensor and acceleration sensor may each measure gravitational acceleration and/or acceleration based on designated three-dimensional axes (eg, x-axis, y-axis, and z-axis) that are perpendicular to each other.
  • a gyro sensor can measure the angular velocity of each of designated three-dimensional axes (e.g., x-axis, y-axis, and z-axis).
  • At least one of the gravity sensor, the acceleration sensor, and the gyro sensor may be referred to as an inertial measurement unit (IMU).
  • the wearable device 300 may identify a user's motion and/or gesture performed to execute or stop a specific function of the wearable device 300 based on the IMU.
  • FIGS. 4A to 4B show an example of the appearance of a wearable device 400, according to an embodiment.
  • the wearable device 400 of FIGS. 4A and 4B may include the first terminal 120-1 of FIGS. 1 and 2 .
  • An example of the appearance of the first side 410 of the housing of the wearable device 400, according to one embodiment, is shown in FIG. 4A, and the second side 420 is opposite to the first side 410. ) can be shown in Figure 4b.
  • the first surface 410 of the wearable device 400 may have a form attachable to a user's body part (e.g., the user's face).
  • wearable device 400 may include a strap for securing on a body part of a user, and/or one or more temples (e.g., first temple 304 of FIGS. 3A-3B , and/or It may further include a second temple (305).
  • a first display 350-1 for outputting an image to the left eye of both eyes of the user, and a second display 350-2 for outputting an image to the right eye of the user's both eyes, have a first surface 410 It can be placed on top.
  • the wearable device 400 is formed on the first surface 410 and emits light (e.g., external light (e.g., external light) different from the light emitted from the first display 350-1 and the second display 350-2. Rubber or silicone packing may be further included to prevent interference due to ambient light.
  • light e.g., external light (e.g., external light) different from the light emitted from the first display 350-1 and the second display 350-2.
  • Rubber or silicone packing may be further included to prevent interference due to ambient light.
  • the wearable device 400 includes a camera for photographing and/or tracking both eyes of a user adjacent to each of the first display 350-1 and the second display 350-2. It may include (440-1, 440-2). The cameras 440-1 and 440-2 may be referred to as ET cameras. According to one embodiment, the wearable device 400 may include cameras 440-3 and 440-4 for photographing and/or recognizing the user's face. The cameras 440-3 and 440-4 may be referred to as FT cameras.
  • a camera for acquiring information related to the external environment of the wearable device 400 -5, 440-6, 440-7, 440-8, 440-9, 440-10)
  • a sensor e.g., depth sensor 430
  • the cameras 440-5, 440-6, 440-7, 440-8, 440-9, and 440-10 are configured to recognize external objects different from the wearable device 400. It may be placed on (420).
  • the wearable device 400 may obtain images and/or media to be transmitted to each of the user's eyes.
  • the camera 440-9 will be disposed on the second side 420 of the wearable device 400 to acquire an image to be displayed through the second display 350-2 corresponding to the right eye among the two eyes. You can.
  • the camera 440-10 may be disposed on the second side 420 of the wearable device 400 to acquire an image to be displayed through the first display 350-1 corresponding to the left eye among the two eyes. there is.
  • the wearable device 400 may include a depth sensor 430 disposed on the second surface 420 to identify the distance between the wearable device 400 and an external object. Using the depth sensor 430, the wearable device 400 acquires spatial information (e.g., depth map) about at least a portion of the FoV of the user wearing the wearable device 400. can do.
  • spatial information e.g., depth map
  • a microphone for acquiring sound output from an external object may be disposed on the second side 420 of the wearable device 400.
  • the number of microphones may be one or more depending on the embodiment.
  • the wearable device 400 may have a form factor to be worn on the user's head.
  • the wearable device 400 may provide a user experience based on augmented reality, virtual reality, and/or mixed reality while worn on the head.
  • a wearable device 400 and a wearable device A server e.g., server 110 in FIG. 1) connected to 400
  • FIG. 5 a wearable device including the wearable device 300 of FIGS. 3A to 3B and/or the wearable device 400 of FIGS. 4A to 4B (e.g., FIGS. 1 to 4B) will be described.
  • An example of an operation in which the first terminal 120-1 of FIG. 2 records media for a specific location and/or a specific place will be described.
  • FIG. 5 illustrates an example of an operation in which the wearable device 520 controls a camera based on the location of the wearable device 520, according to an embodiment.
  • the wearable device 520 of FIG. 5 includes the first terminal 120-1 of FIGS. 1 and 2, the wearable device 300 of FIGS. 3A and 3B, and/or the wearable device 400 of FIGS. 4A and 4B. ) may include.
  • the wearable device 520 may include a head-mounted display (HMD) that is wearable on the user's 530 head.
  • HMD head-mounted display
  • the wearable device 520 includes a camera (e.g., the shooting camera 340-3 in FIG. 3B, and/or cameras 440-9 and 440-10 of FIG. 4B.
  • the front of the user 530 may include the direction in which the head of the user 530 and/or the two eyes included in the head face.
  • the wearable device 520 may control the camera.
  • the UI may be related to the metaverse service provided by the wearable device 520 and/or the server 110 connected to the wearable device 520.
  • the server 110 receives information from a plurality of electronic devices including the wearable device 520 (e.g., the user terminal 120 of FIGS. 1 and 2) at different times and/or at different locations. You can receive media acquired within. Media may include video, images such as photos, audio, or a combination thereof. The media can be superimposed on real world objects. Server 110 may provide video on demand (VOD) service for a specific location and/or specific event based on the received media. The VOD service may be included in the metaverse service provided by the server 110.
  • the server 110 of FIG. 6 may include the server 110 of FIG. 1 . Wearable device 520 and one or more hardware included within server 110 are described with reference to FIG. 6 .
  • the wearable device 520 may conditionally initiate acquisition and/or recording of media to be transmitted to the server 110 based on the location of the wearable device 520. For example, by comparing the locations of the server 110, and/or the geographically specified area 510 by the metaverse service provided by the server 110, and the wearable device 520, The wearable device 520 can identify whether to start recording media.
  • the wearable device 520 may include a sensor (eg, a global positioning system (GPS) sensor) for monitoring the location of the wearable device 520.
  • GPS global positioning system
  • the wearable device 520 may receive information for identifying the area 510 from the server 110 . Based on information received from the server 110 and data from the sensor, the wearable device 520 may adjust the state of the camera and/or perform recording of media.
  • FIG. 5 an example of an area 510 compared to the location of the wearable device 520 is shown.
  • the area 510 may be set by the server 110 connected by the wearable device 520.
  • An example of an operation in which the server 110 receives an input indicating that the area 510 is set from a subscriber (e.g., a user 530) of a service provided by the server 110 is described with reference to FIG. 7. do.
  • a subscriber e.g., a user 530
  • the server 110 may transmit information for identifying the area 510 to the wearable device 520 .
  • the information may include coordinates representing the center point of the area 510 and/or one or more coordinates representing one or more points on the boundary line.
  • the coordinates included in the information may include numerical values indicating the latitude and/or longitude of the point corresponding to the coordinates.
  • the server 110 controls the area 510 formed to control recording of media by the wearable device 520, depending on which of the different functions of controlling the camera is performed, the first It can be subdivided into an area 511 and a second area 512.
  • the first area 511 and the second area 512 may be concentric circles in which the first area 511 includes the second area 512 .
  • the first area 511 is a margin of the second area 512 and may be an area enlarged by a specified distance from the boundary line of the second area 512.
  • the shape of the first area 511 including the second area 512 may be dependent on the shape of the second area 512 or may have a different shape from the second area 512 .
  • the centers of the first area 511 and the second area 512 included in the area 510 may coincide with each other.
  • the embodiment is not limited to this, and the center of the first area 511 may be separated from the center of the second area 512.
  • the first area 511 may be set by the server 110 to execute a function for adjusting media to a designated state for recording using the camera of the wearable device 520.
  • the second area 512 may be set by the server 110 to execute a function for recording media using the camera of the wearable device 520.
  • the wearable device 520 compares the area 510 and the location of the wearable device 520 identified by sensor data to selectively perform at least one of the functions related to recording of media. It can be run.
  • location P0 may correspond to a location spaced apart from the area 510 set by the server 110, for example, a location outside the first area 511.
  • location P1 may be a location within region 510 , located inside first region 511 of first region 511 and second region 512 .
  • location P2 is a location within area 510 , which may be located inside second area 512 . While the user 530 wearing the wearable device 520 sequentially moves to location P0, location P1, and location P2, the wearable device 520 uses a sensor to identify changes in the location of the wearable device 520. can do.
  • wearable device 520 may identify the location of wearable device 520 using a sensor.
  • the wearable device 520 has a It can operate independently of the function (or application) for recording and uploading media to the server 110.
  • the wearable device 520 may execute one or more applications installed on the wearable device 520 based on the interaction between the user 530 and the wearable device 520.
  • wearable device 520 when the user moves from location P0, across the boundary line of first area 511, to location P1 inside first area 511, wearable device 520 uses a sensor to , it can be identified that the position of the wearable device 520 is moved to the position P1 inside the first area 511. By comparing the location P1 of the wearable device 520 and the first area 511, if it is identified or determined that the location P1 is contained within the first area 511, the wearable device 520 is positioned within the first area 511.
  • the function mapped to can be executed. For example, the wearable device 520 may change the state of the camera of the wearable device 520 to a designated state for recording media.
  • the designated state may include, among different applications running by the wearable device 520, a specific application for recording media to be uploaded to the server 110, and a state for matching the camera of the wearable device 520. there is.
  • the designated state may include a state in which the camera is activated based on execution of the specific application. An example of a UI displayed through the wearable device 520 based on execution of the specific application is described with reference to FIG. 8 .
  • wearable device 520 uses a sensor to Using this, it can be identified that the position of the wearable device 520 is moved to the position P2 inside the second area 512.
  • the wearable device 520 may identify or determine a function mapped to the second area 512 .
  • the function mapped to the second area 512 may include a function of recording media 540 by controlling the camera of the wearable device 520.
  • the wearable device 520 may record media 540 by controlling a camera activated by a function mapped to the first area 511 that is larger than the second area 512 . Recording of the media 540 by the wearable device 520 may be performed conditionally based on whether the location of the wearable device 520 is included in the second area 512 . For example, after recording of the media 540 begins, when the position of the wearable device 520 changes to a position outside the second area 512, the wearable device 520 stops recording the media 540. can do. Since the state of the camera is adjusted using the first area 511 larger than the second area 512 for recording media 540, the wearable device 520 controls the second area (512). Based on whether the media 512 enters the interior, recording of the media 540 can be started more quickly.
  • the wearable device 520 may transmit (eg, upload) the media 540 recorded within the second area 512 to the server 110.
  • the server 110 may store the media 540 received from the wearable device 520.
  • the server 110 may include a database for managing media received from a plurality of external electronic devices including the wearable device 520. Based on the database, server 110 determines media 540, the location at which the media 540 was recorded (e.g., second area 512), the time at which the media 540 was recorded, or the media 540. Classification may be based on at least one of the events (or scenes) captured by 540.
  • the server 110 that receives and/or stores the media 540 may synthesize at least one media from one or more media included in the database. For example, the server 110 may combine the media 540 with other media photographed within the second area 512 during another time interval that at least partially overlaps the time interval in which the media 540 was photographed. there is. Based on the server 110 synthesizing the media 540 and the other media, the server 110 creates the media 540 and another media having a field-of-view (FoV) different from the other media. Media can be obtained.
  • An example of an operation in which the server 110 combines different media is described with reference to FIG. 9 .
  • the server 110 is a wearable device 520 and may provide a search service based on a database for managing media collected by the server 110.
  • the server 110 creates a list of at least one of the plurality of media stored in the server 110 based on the text (e.g., query) received from the wearable device 520. ) can be sent.
  • the wearable device 520 may transmit a signal related to the input to the server 110 in response to an input indicating a request for a list of at least one media captured within the second area 512. .
  • the server 110 may transmit a list representing at least one media captured within the second area 512 to the wearable device 520 .
  • An example of a UI that the wearable device 520 displays to search media stored in the server 110 is described with reference to FIGS. 10 and 11 .
  • the wearable device 520 may acquire media 540 based on whether it enters a geographically specified area 510.
  • the wearable device 520 sequentially performs an operation for recording the media 540 using the first area 511 and the second area 512, which are concentrically formed within the area 510.
  • the server 110 may receive and store the media 540 acquired within the area 510 from the wearable device 520 .
  • the server 110 may collect a plurality of media related to the area 510 from a plurality of electronic devices including the wearable device 520. Based on the plurality of collected media, the server 110 can provide a user experience similar to controlling a virtual camera installed in the area 510 to the user 530 using the wearable device 520. . Accordingly, as shown in FIG. 5, the wearable device 520 may perform different actions based on the location of the wearable device 520 within a specific area.
  • an embodiment based on the wearable device 520 is described as an example of an electronic device including a camera for recording media in the area 510, the embodiment is not limited thereto.
  • electronic devices for recording media based on whether they enter the area 510 include not only the wearable device 520 described with reference to FIG. 5 and the drawings described below, but also smartphones, tablet PCs, It may include smart accessories, including smartwatches, unmanned aerial vehicles (UAVs), and/or vehicles (e.g., autonomous vehicles).
  • UAVs unmanned aerial vehicles
  • autonomous vehicles e.g., autonomous vehicles
  • An example of an application is described.
  • FIG. 6 is a block diagram of a wearable device 520 and a server 110 connected to the wearable device 520, according to an embodiment.
  • the wearable device 520 and the server 110 of FIG. 6 may include the wearable device 520 and the server 110 of FIG. 5 .
  • the wearable device 520 and the server 110 may be connected to each other based on a wired network and/or a wireless network.
  • the wired network may include a network such as the Internet, a local area network (LAN), a wide area network (WAN), Ethernet, or a combination thereof.
  • the wireless network is a network such as long term evolution (LTE), 5g new radio (NR), wireless fidelity (WiFi), Zigbee, near field communication (NFC), Bluetooth, bluetooth low-energy (BLE), or a combination thereof. may include.
  • LTE long term evolution
  • NR 5g new radio
  • WiFi wireless fidelity
  • NFC near field communication
  • BLE bluetooth low-energy
  • wearable device 520 and server 110 are shown as being directly connected, wearable device 520 and server 110 are intermediate nodes (e.g., one It can be connected indirectly through one or more routers and/or APs (access points).
  • the wearable device 520 may include at least one of a processor 610, a memory 620, a display 630, a sensor 640, a communication circuit 650, or a camera 660.
  • processor 610, memory 620, display 630, sensor 640, communication circuit 650, and camera 660 are electronic components such as a communication bus 605. may be electrically and/or operably coupled with each other.
  • hardware being operatively combined will mean that a direct connection or an indirect connection between the hardware is established, wired or wireless, such that the second hardware is controlled by the first hardware among the hardware. You can. Although shown based on different blocks, the embodiment is not limited thereto, and some of the hardware in FIG.
  • SoC SoC
  • the type and/or number of hardware included in the wearable device 520 is not limited to that shown in FIG. 6 .
  • wearable device 520 may include only some of the hardware components shown in FIG. 6 .
  • the processor 610 of the wearable device 520 may include hardware for processing data based on one or more instructions.
  • the hardware for processing data includes, for example, an arithmetic and logic unit (ALU), a floating point unit (FPU), a field programmable gate array (FPGA), a central processing unit (CPU), and/or an application processor (AP). ) may include.
  • ALU arithmetic and logic unit
  • FPU floating point unit
  • FPGA field programmable gate array
  • CPU central processing unit
  • AP application processor
  • the processor 610 may have the structure of a single-core processor, or may have the structure of a multi-core processor such as a dual core, quad core, or hexa core.
  • the memory 620 of the wearable device 520 may include a hardware component for storing data and/or instructions that are input and/or output to the processor 610 of the wearable device 520.
  • Memory 620 may include, for example, volatile memory such as random-access memory (RAM) and/or non-volatile memory such as read-only memory (ROM). there is.
  • Volatile memory may include, for example, at least one of dynamic RAM (DRAM), static RAM (SRAM), cache RAM, and pseudo SRAM (PSRAM).
  • Non-volatile memory includes, for example, programmable ROM (PROM), erasable PROM (EPROM), electrically erasable PROM (EEPROM), flash memory, hard disk, compact disk, solid state drive (SSD), and embedded multi media card (eMMC).
  • PROM programmable ROM
  • EPROM erasable PROM
  • EEPROM electrically erasable PROM
  • flash memory hard disk, compact disk, solid state drive (SSD), and embedded multi media card (eMMC).
  • SSD solid state drive
  • eMMC embedded multi media card
  • the display 630 of the wearable device 520 may output visualized information (e.g., visual objects and/or screens shown in FIGS. 7 to 11) to the user 520.
  • the display 630 may be controlled by a processor 610 including a circuit such as a graphic processing unit (GPU) and output visualized information to the user.
  • the display 630 may include a flat panel display (FPD) and/or electronic paper.
  • the FPD may include a liquid crystal display (LCD), a plasma display panel (PDP), and/or one or more light emitting diodes (LED).
  • the LED may include an organic LED (OLED).
  • the display 630 of FIG. 6 may include at least one display 350 of FIGS. 3A to 3B and/or FIGS. 4A to 4B.
  • the sensor 640 of the wearable device 520 may receive information from non-electronic information associated with the wearable device 520, the processor 610 of the wearable device 520, and/or Electrical information that can be processed by memory 620 may be generated.
  • the sensor 640 may include a global positioning system (GPS) sensor for detecting the geographic location of the wearable device 520.
  • GPS global positioning system
  • the sensor 640 may be configured to use a GNSS (global navigation satellite system) such as, for example, Galileo, Beidou (Compass), or other navigation satellite systems known to those skilled in the art. system), information indicating the geographical location of the wearable device 520 can be generated.
  • GNSS global navigation satellite system
  • Galileo Galileo
  • Beidou Compass
  • the information may be stored in memory 620, processed by processor 610, and/or transmitted via communication circuitry 650 to another electronic device (e.g., server 110) that is different from wearable device 520. It can be.
  • the sensor 640 is not limited to the above, and includes an image sensor, an illuminance sensor, and/or a time-of-flight (ToF) sensor for detecting electromagnetic waves including light, and a physical motion of the wearable device 520. It may include an IMU (inertial measurement unit) to do this.
  • communication circuitry 650 of wearable device 520 may include hardware components to support transmission and/or reception of electrical signals between wearable device 520 and server 110. .
  • server 110 is shown as an electronic device connected to the wearable device 520 through the communication circuit 650, the embodiment is not limited to these configurations.
  • the communication circuit 650 may include, for example, at least one of a modem (MODEM), an antenna, and an optical/electronic (O/E) converter.
  • the communication circuit 650 includes Ethernet, local area network (LAN), wide area network (WAN), wireless fidelity (WiFi), Bluetooth, bluetooth low energy (BLE), ZigBee, long term evolution (LTE), It may support transmission and/or reception of electrical signals based on various types of protocols, such as 5G new radio (NR) or other communication protocols known to those skilled in the art.
  • LAN local area network
  • WAN wide area network
  • WiFi wireless fidelity
  • BLE bluetooth low energy
  • ZigBee ZigBee
  • LTE long term evolution
  • It may support transmission and/or reception of electrical signals based on various types of protocols, such as 5G new radio (NR) or other communication protocols known to those skilled in the art.
  • NR 5G new radio
  • the camera 660 of the wearable device 520 is an optical sensor (e.g., a charged coupled device (CCD) sensor, a complementary metal oxide semiconductor (CMOS) sensor that generates an electrical signal representing the color and/or brightness of light. sensor) may be included.
  • a plurality of optical sensors included in the camera 660 may be arranged in the form of a 2-dimensional array.
  • the camera 660 may obtain electrical signals from each of the plurality of optical sensors substantially simultaneously and generate two-dimensional frame data corresponding to light reaching the optical sensors of the two-dimensional grid.
  • photo data captured using the camera 660 may mean one two-dimensional frame data obtained from the camera 660.
  • video data captured using the camera 660 may mean a sequence of a plurality of two-dimensional frame data obtained from the camera 660 according to a frame rate.
  • the camera 660 may be disposed toward a direction in which the camera 660 receives light and may further include a flash light for outputting light toward this direction.
  • the camera 660 is shown based on a single block, the number of cameras 660 included in the wearable device 520 is not limited to the embodiment.
  • Wearable device 520 may include one or more cameras, such as one or more cameras 340 of FIGS. 3A-3B and/or FIGS. 4A-4B.
  • the wearable device 520 may include output means for outputting information in a form other than a visualized form.
  • the wearable device 520 may include speakers (eg, speakers 392-1 and 392-2 in FIGS. 3A and 3B) for outputting an acoustic signal.
  • the wearable device 520 may include a motor to provide haptic feedback based on vibration.
  • the server 110 may include at least one of a processor 610, a memory 620, or a communication circuit 650.
  • processor 610, memory 620, and communications circuitry 650 may be electrically and/or operatively coupled via communications bus 605.
  • the processor 610, memory 620, and communication circuit 650 included in the server 110 correspond to the processor 610, memory 620, and communication circuit 650 of the wearable device 520. It may include hardware components and/or circuits.
  • the description of the processor 610, memory 620, and communication circuit 650 included in the server 110 is similar to the processor 610 and memory 620 in the wearable device 520. , and may be omitted so as not to overlap with the communication circuit 650.
  • one or more instructions indicating an operation and/or operation to be performed on data by the processor 610 of the wearable device 520
  • a set of one or more instructions may be referred to as firmware, operating system, process, routine, sub-routine and/or application.
  • one or more instructions representing operations and/or operations to be performed on data by the processor 610 of the server 110 may be stored.
  • the processor 610 of the wearable device 520 may execute the media transmission application 670 in the memory 620 and perform at least one of the operations of FIG. 12 .
  • the processor 610 of the server 110 may execute the media server application 680 in the memory 620 and perform at least one of the operations shown in FIGS. 13 and 14 .
  • an application is installed in an electronic device (e.g., wearable device 520, and/or server 110) means that one or more instructions provided in the form of an application are stored in the memory of the electronic device, and the one or more instructions are stored in the memory of the electronic device.
  • This may mean that the above applications are stored in an executable format (eg, a file with an extension specified by the operating system of the electronic device) by the processor of the electronic device.
  • one or more instructions included in the media transmission application 670 may be divided into a media recorder 672, a sensor data analyzer 674, and/or a media analyzer 676.
  • the media transmission application 670 is connected to the wearable device 520 through the communication circuit 650 and may be provided through another server (eg, a third-party application store) that is distinct from the server 110. While the media transmission application 670 is running, the processor 610 of the wearable device 520 processes the input of the user 530 based on the location of the wearable device 520 identified by the sensor 640.
  • the camera 660 can be independently controlled to obtain media for the location, or the acquired media can be transmitted to the server 110.
  • the processor 610 of the wearable device 520 determines the location of the wearable device 520 from the data of the sensor 640, based on the execution of the media recorder 672 in the media transmission application 670. can be identified. Based on the location, the processor 610 of the wearable device 520 may determine when to start and/or stop recording media. Based on at least one of the viewpoints, the processor 610 of the wearable device 520 may control the camera 660. For example, based on execution of media recorder 672, wearable device 520 may acquire media 540 of FIG. 5.
  • processor 610 of wearable device 520 receives media from sensors 640, including a GPS sensor, and/or a camera. Data related to (660) can be obtained. The data acquired from the sensor 640 may be processed by the processor 610 of the wearable device 520 based on the execution of the sensor data analyzer 674. For example, based on execution of sensor data analyzer 674, processor 610 of wearable device 520 may determine the location and/or orientation of wearable device 520 (e.g., The azimuth angle can be identified.
  • processor 610 of wearable device 520 controls camera 660 to view media. You can decide whether to stop filming or not. For example, by comparing the area set for recording media (e.g., area 510 in FIG. 5) and the location of the wearable device 520, the wearable device 520 determines whether the wearable device 520 is worn. It may be possible to identify whether a user is approaching, entering, or moving out of the area. The wearable device 520 may obtain a time when recording of media will start and/or end based on a result of comparing the area and the location. The processor 610 of the wearable device 520 determines whether to transmit the media to the server 110 based on the location of the wearable device 520 identified based on execution of the sensor data analyzer 674. Point of view can be obtained.
  • the area set for recording media e.g., area 510 in FIG. 5
  • the wearable device 520 may obtain a time when recording of media will start and/or end based on a result of comparing the area and the location
  • processor 610 of wearable device 520 determines information identified by data from sensor 640 (e.g., acceleration of wearable device 520). , angular velocity, or information indicating at least one of the direction of magnetic north) can be obtained.
  • the information may be stored together with media acquired using the camera 660, or may be stored in metadata corresponding to the media.
  • the information, along with the media, may be transmitted to server 110.
  • the processor 610 of the wearable device 520 may synchronize the acquired information and media acquired by the camera 660.
  • processor 610 of wearable device 520 may remove (e.g., crop) at least a portion of media acquired by camera 660, and/or It can be divided. For example, based on the execution of the sensor data analyzer 674, when it is identified that the location of the wearable device 520 has moved outside the area set for recording media, the processor 610 of the wearable device 520 ) can divide the media based on the identified time point. When the time point is identified, the processor 610 of the wearable device 520 may remove at least a portion of the media included in the time interval after the identified time point.
  • the processor 610 of the wearable device 520 may generate metadata of media acquired from the camera 660.
  • Sensor data analyzer 674 may be referred to as a metadata generator.
  • the processor 610 of the wearable device 520 may generate metadata including text and/or tags obtained from the user 530.
  • the processor 610 of the wearable device 520 may identify events and/or subjects (eg, people) included in the media.
  • the information acquired by the processor 610 of the wearable device 520 is not limited to the above example, and based on the information, the processor 610 of the wearable device 520 displays
  • the UI displayed through 630 is also not limited to the above example.
  • processor 610 of wearable device 520 may configure the FoV of camera 660 to change the FoV of camera 660. You can decide whether to print the guide or not.
  • the processor 610 of the wearable device 520 may execute the media transmission application 670 to obtain media captured by the camera 660 within a specific area.
  • the processor 610 of the wearable device 520 acquires metadata used to classify the media obtained based on the media recorder 672, and/or can be created.
  • the metadata may be used for searching and/or categorizing the media.
  • the metadata includes at least one of a location and/or area included in the media (e.g., an area designated by the server 110), FoV, and/or azimuth of the camera 660 that captured the media. can do.
  • the media analyzer 676 is stored in the memory 620 of the wearable device 520, the embodiment is not limited thereto.
  • the processor 610 of the wearable device 520 may transmit media to the server 110 through the communication circuit 650.
  • the processor 610 of the wearable device 520 communicates with the media through the communication circuit 650. Together, the generated metadata can be transmitted.
  • one or more instructions included in the media server application 680 include a virtual camera manager 681, a media analyzer 682, a media synchronizer 683, a media synthesizer 684, and /Or it can be classified into a media classifier (685).
  • the processor 610 of the server 110 acquires a plurality of media from a plurality of external electronic devices including the wearable device 520 through the communication circuit 650. You can.
  • the processor 610 of the server 110 allows a plurality of external electronic devices connected to the server 110 to capture media based on the execution of the virtual camera manager 681 in the media server application 680. Areas (eg, area 510 in FIG. 5) can be added, deleted, and/or changed. Changing the area may include changing the size and/or shape of the area.
  • the server 110 can collect media from external electronic devices moved into the area. Using the collected media, server 110 can provide subscribers of server 110 with a user experience similar to a virtual camera placed within the area.
  • the virtual camera may be related to information indicating conditions under which a plurality of external electronic devices connected to the server 110 record media based on an area and/or conditions under which the media is shared.
  • a virtual camera may be a unit for controlling transmission and/or reception of media based on the location where the media was recorded.
  • An exemplary operation in which the server 110 creates the virtual camera based on the interaction between the server 110 and an external electronic device is described with reference to FIG. 7 .
  • information representing the virtual cameras associated with the area includes the size of the area, the time to record media in the area, and information related to the FoV (e.g. It may include at least one of the direction and/or view angle of a camera capturing media, an event included in the media, or access rights to media corresponding to the virtual camera.
  • the server 110 may limit the creation of a virtual camera to a specific area or reject a request to create a virtual camera.
  • the information managed by the execution of the virtual camera manager 681 may include the size and range of the area, and/or information (e.g., resolution, and/or type) related to the virtual camera placed within the area. You can.
  • the server 110 may create a virtual camera corresponding to the request based on execution of the virtual camera manager 681. Based on the execution of the virtual camera manager 681, the server 110 can identify the area selected by the request.
  • the server 110 may set another area that includes the area and is concentric with the area as an area for preparing recording of media within the area.
  • the area selected by the request may correspond to the second area 512 of FIG. 5, and the other area may correspond to the first area 511 of FIG. 5.
  • processor 610 of server 110 obtains metadata for media received through communication circuitry 650 based on execution of media analyzer 682 in media server application 680. can do.
  • the processor 610 of the server 110 may conditionally acquire metadata about media based on whether metadata corresponding to the media is received through the communication circuit 650.
  • the processor 610 of the server 110 executes the media analyzer 682 based on failure to receive metadata corresponding to the media from the wearable device 520 that recorded the media, Metadata corresponding to the media can be obtained.
  • the embodiment is not limited to the disclosed embodiments, and the processor 610 of the server 110 changes metadata received from the wearable device 520 that recorded media, or modifies the media to supplement the metadata. Analyzer 682 can be run.
  • the server 110 may add information not included in the metadata generated by the wearable device 520 based on the execution of the media analyzer 682. For example, based on the execution of the media analyzer 682, the server 110 may determine information contained within the metadata of a particular media to be recorded in other media (e.g., at a similar location and/or time point as the particular media). It can be added within the metadata of other media).
  • the metadata acquired by the server 110 based on the execution of the media analyzer 682 includes the location, time, and/or camera that recorded the media corresponding to the metadata.
  • the metadata may include information for identifying events included in the media.
  • the metadata may include information (e.g., a description of the media such as a tag) entered by a user of an external electronic device (e.g., wearable device 520) that captured the media.
  • the metadata obtained based on execution of the media analyzer 682 may be used to classify and/or search media corresponding to the metadata.
  • the processor 610 of the server 110 may compensate for time differences between media based on the execution of the media synchronizer 683 in the media server application 680. Based on compensation for the time difference, the server 110 can perform synchronization of media. For example, the server 110 may compensate for time differences between external electronic devices that transmit the media. Based on the execution of the media synchronizer 683, the server 110 can predict the time at which the media was recorded when no information related to the time of the media is received along with the media. In one or more examples, the time difference may be compensated for by adding the delay of one or more media.
  • the processor 610 of the server 110 may synthesize media based on the execution of the media compositor 684 in the media server application 680. For example, as media synchronized by the execution of the media synchronizer 683 are synthesized by the execution of the media compositor 684, the processor 610 of the server 110 may generate a FoV that is different from the FoVs of the media. You can acquire other media with . For example, the processor 610 of the server 110 may generate, from a plurality of media, the other media having a FoV suitable for expressing an event included in the plurality of media.
  • the server 110 which identifies a subject commonly included in the plurality of media, may generate another media having a different FoV that is different from the FoVs of the plurality of media and includes the subject. You can. An operation in which the server 110 synthesizes another media different from a plurality of media based on execution of the media compositor 684 is described with reference to FIG. 9 .
  • the processor 610 of the server 110 collects media from a plurality of external electronic devices connected to the server 110 through the communication circuit 650 based on execution of the media sorter 685. , and/or media synthesized by the media synthesizer 684 may be classified. For example, based on execution of media sorter 685, processor 610 of server 110 may classify media stored in memory 620 of server 110. The processor 610 of the server 110 may classify the media based on the location where the virtual camera corresponding to each media is installed, the location where the media was filmed, time, and/or metadata.
  • processor 610 of server 110 may manage a database for retrieving media based on the execution of media sorter 685.
  • the database may contain a systematized set of information for retrieval of media. In the set of information, different information may be combined with each other based on units such as type, column, record, and/or table. Combinations of information can be used to add, delete, update, and search for information within the database. For example, when the server 110 is searching for media that meets specified conditions, the server 110 may use a database to identify at least one media that satisfies the conditions. In the above example, the server 110 may search for at least one media that satisfies a specified condition in the database based on a request from an external electronic device such as the wearable device 520.
  • the server 110 assigns the location at which each of the plurality of media was recorded, the time, the event included in each of the plurality of media, and/or to each of the plurality of media.
  • a database in which the plurality of media are classified according to assigned information (eg, tags) can be created.
  • the server 110 stores media acquired based on execution of the media synthesizer 684 in the memory 620 of the server 110 based on the database. You can.
  • the server 110 may group a plurality of media within the database based on the execution of the media sorter 685 and the creation and/or removal of virtual cameras. An example of an operation in which the server 110 provides a media search result to an external electronic device based on the database created by the media classifier 685 is described with reference to FIGS. 10 and 11.
  • applications for collecting and/or retrieving media can be installed.
  • the wearable device 520 can control recording of media by comparing the area set by the server 110 and the location of the wearable device 520.
  • the area set by the server 110 may include an area set for provision of on-demand media based on a virtual camera.
  • the server 110 may receive media recorded by a plurality of external electronic devices, including the wearable device 520 .
  • the server 110 may classify media received from a plurality of external electronic devices based on execution of the media server application 680. Based on the results of classifying the media, the server 110 may provide a service for searching the media.
  • FIG. 7 illustrates an example of an operation in which a wearable device acquires a location used for recording media, according to an embodiment.
  • the wearable device in FIG. 7 may be an example of the wearable device 520 in FIGS. 5 and 6 .
  • screens 701 and 702 that the wearable device displays to add a virtual camera based on the execution of an application including a media transmission application (e.g., the media transmission application 670 of FIG. 6). 703) is shown.
  • the virtual camera may be used as a standard for media classification by a server (eg, server 110 in FIGS. 5 and 6) connected to the wearable device.
  • Screens 701, 702, and 703 are visible through at least a portion of the user's FoV through the display of the wearable device while the user (e.g., user 530 in FIG. 5) is wearing the wearable device. You can lose.
  • the wearable device may display a screen 701 for visualizing a virtual camera based on a map.
  • the wearable device may receive information for visualizing one or more virtual cameras included in the map displayed through the screen 701 from a server connected to the wearable device.
  • the wearable device may display a visual object 710 corresponding to a virtual camera included in the map on the map displayed on the screen 701, based on information received from the server.
  • Visual objects 710 may be overlaid on real world objects.
  • the wearable device may display a location mapped to the virtual camera within the map using a visual object 710 in the form of a pin.
  • the wearable device may include data related to the virtual camera and display a visual object 712 superimposed on the map.
  • the wearable device may display text (eg, virtual camera #101) including an identifier (eg, ID) assigned to the virtual camera within a visual object 712 having the form of a bubble.
  • the wearable device displays the visual objects 710 and 712. 712), information related to the corresponding virtual camera can be displayed.
  • activation or selection of a visual object may be based on a voice command.
  • the wearable device may identify input 714 indicating adding a virtual camera within screen 701. Based on a gesture of touching and/or clicking a location in the map displayed through the screen 701, the wearable device may identify the input 714. In response to input 714 indicating selection of the location within screen 701, the wearable device may display screen 702 for adding a virtual camera to the location.
  • FIG. 7 an example of a screen 702 displayed by a wearable device is shown to add a virtual camera used to collect media for a location selected by input 714.
  • the wearable device may display a map 721 to visualize the location selected by input 714. If the virtual camera exists in another location adjacent to the location selected by input 714, the wearable device may display the virtual camera in conjunction with the other location within map 721.
  • the wearable device may display a visual object 722 that includes a name (e.g., place name, and/or road name) assigned to the location.
  • the wearable device may display a visual object 723 containing information related to the virtual camera selected by the input 714.
  • Information displayed through the visual object 723 is based on the size (e.g., radius) of the area (e.g., area 510 in FIG. 5) formed around the location selected by the input 714 and the location. May include at least one of the following: minimum resolution of media to be collected, type of electronic device (e.g., HMD, and/or vehicle) that will receive media within the location, or access rights to collected media based on the location. You can.
  • the access rights include a first access right (e.g., private) that allows access to limited users, a second access right (e.g., protected) that allows uploading of media, but allows downloading to specific users, and all users. Access may be selected from among permitted third access rights (e.g., public).
  • a virtual camera may be associated with any desired number of access rights.
  • the wearable device may identify an input indicating a change in the information displayed through the visual object 723 within the screen 702 . Based on the input, the wearable device can change the information.
  • the access rights may refer to users who can access media collected by the server based on the virtual camera.
  • the access rights may refer to the sharing level of media.
  • the wearable device can receive the shape of the area formed around the location selected by the input 714 through the screen 702. For example, the wearable device may receive input indicating that the location and another location within the map form a rectangular area with vertices. For example, a wearable device may receive input indicating areas having the shape of concentric circles in FIG. 5 . The wearable device may form the area for collecting media while excluding portions of the building, and/or limited recording of media, from the area.
  • the wearable device confirms adding a virtual camera based on the location selected by input 714 and information displayed through visual object 723.
  • a visual object 724 in the form of a button for approval may be displayed.
  • the wearable device may display a visual object 725 in the form of a button to cancel adding the virtual camera.
  • the wearable device may transmit a signal to the server to add a virtual camera based on the location selected by the input 714. Based on the signal, the server may add a virtual camera for an area with the location as the center and a radius contained within the visual object 723.
  • a user may change any settings shown in visual object 723 through one or more voice commands or one or more inputs within the virtual environment.
  • the addition of the virtual camera by the server may be performed based on execution of the media server application 680 and/or the virtual camera manager 681 of FIG. 6.
  • the wearable device sends a request to the server to add a virtual camera based on information received through screen 702. can be transmitted to a server (eg, server 110 in FIGS. 5 and 6).
  • the server may add a virtual camera that can be used to control recording of media using the area containing the location selected by input 714.
  • the server may add a virtual camera corresponding to the request based on whether the request was sent by a user permitted to add virtual cameras.
  • the server may add a virtual camera corresponding to the request based on whether the area set by the request is an area where media collection is permitted.
  • the server may request recording and collection of media based on the location and/or area set by the request from external electronic devices connected to the server. .
  • the server may transmit a signal indicating that a virtual camera has been added to the wearable device based on the request.
  • the wearable device may display a screen 703 containing the result of adding a virtual camera based on information received through the screen 702.
  • the wearable device may display a visual object 732 representing a virtual camera on a location corresponding to the input 714.
  • the wearable device may display a visual object 734 containing data corresponding to the virtual camera, along with a visual object 732 in the form of a pin.
  • the wearable device may display information including the identifier assigned to the virtual camera within a visual object 734 in the form of a bubble.
  • the wearable device may receive an input indicating adding a virtual camera from the user. Based on the input, the wearable device may request the server to add a virtual camera based on the input.
  • the wearable device may request the server to add a virtual camera based on the input.
  • FIG. 8 illustrates an example of an operation performed by the wearable device 520 based on movement of the wearable device 520, according to an embodiment.
  • the wearable device 520 of FIG. 8 may include the wearable device 520 of FIGS. 5 and 6 .
  • the wearable device 520 of FIG. 8 may conditionally record media based on execution of the media transmission application 670 of FIG. 6.
  • the wearable device 520 may identify and/or monitor the location of the wearable device 520 based on data output from a sensor (eg, sensor 640 in FIG. 6 ).
  • the wearable device 520 may identify or determine the location of the wearable device 520 based on data output from the sensor, which may be a GPS sensor.
  • the wearable device 520 may receive information including an area 510 for conditionally recording media from a server (eg, server 110 in FIGS. 5 and 6).
  • Area 510 may correspond to a virtual camera added based on the example operation of FIG. 7 .
  • the area 510 may be divided into a first area 511 for preparing recording of media, and a second area 512 for performing recording of media.
  • the wearable device 520 identifies or determines whether the location of the wearable device 520, identified or determined based on data from the sensor, has entered the first area 511 within location P1. You can. For example, wearable device 520 may identify or determine whether a position of wearable device 520 crosses a boundary of first area 511 while entering location P1 from outside first area 511 . You can. Based on identifying or determining the location of the wearable device 520 (e.g., location P1) contained within the first area 511 set by an external electronic device such as a server, the wearable device 520 displays ( For example, the display 630 in FIG. 6 can be controlled to display the screen 810 within the FoV of the wearable device 520.
  • the wearable device 520 displays a visual object 811 on the screen ( 810). Within the visual object 811 in the form of a pop-up window, the wearable device 520 displays designated text (e.g., “Arrived in the area where recording of media was requested) to guide that it has entered the first area 511. ”) can be displayed. Within screen 810, wearable device 520 may display visual objects 812 and 813 corresponding to different options for adjusting the state of the camera. In response to an input indicating selection of a visual object 812, the wearable device 520 may adjust the state of the camera to the first state. In response to an input indicating selection of a visual object 813, the wearable device 520 may adjust the state of the camera to a second state that is different from the first state.
  • designated text e.g., “Arrived in the area where recording of media was requested
  • the wearable device 520 can identify the state of the camera. If the state of the camera is different from the first state for recording media, the wearable device 520 displays a visual object 811 on the screen 810 for adjusting the state of the camera to the first state. It can be displayed. Other states different from the first state may include a state in which the camera is being used by another application different from the media transmission application. If the camera is used and/or occupied by the other application, in response to an input indicating selection of a visual object 812, the wearable device 520 at least temporarily suspends use of the camera by the other application. can do.
  • Another state different from the first state may include a state in which the usage of the memory of the wearable device 520 (e.g., the memory 620 in FIG. 6) exceeds a specified ratio compared to the capacity of the memory. there is.
  • Another state different from the first state may include a state in which control of a camera based on the wearable device 520 is conditionally restricted, such as a power saving mode.
  • wearable device 520 monitors the location of wearable device 520 to It is possible to identify whether the location of the device 520 enters the second area 512 for recording media.
  • the wearable device 520 moves to the second location. Movement across the boundary line of area 512 may be identified or determined.
  • the wearable device 520 may control the camera in the first state to start recording media based on identifying the location of the wearable device 520 moved into the second area 512 . Based on the data from the sensor and identifying that the position of the wearable device 520 moves into the second area 512 within the first area 511, the wearable device 520 moves between the second area 512 and the second area 512. You can obtain related media. Referring to FIG.
  • the wearable device 520 while acquiring media, displays a visual object 821 within the screen 820 displayed within the FoV of the user 530 to notify the user that media is being acquired. can do. Within the visual object 821, the wearable device 520 may display a visual object 822 in the form of a button for receiving an input indicating to stop acquiring media.
  • wearable device 520 instructs user 530 to change the FoV of the media based on the orientation of wearable device 520 within second area 512.
  • the wearable device 520 may identify the direction of the FoV requested for recording media based on information corresponding to the virtual camera received from the server.
  • the wearable device 520 may compare the identified direction and the direction of the camera within the wearable device 520 while recording media.
  • the direction of the camera may be determined or identified based on data from a sensor (eg, an acceleration sensor and/or a geomagnetic sensor) of the wearable device 520.
  • the wearable device 520 instructs the user to change the direction of the camera of the wearable device 520 within the screen 820.
  • a visual object 823 (e.g., “Walk east”) may be displayed to provide.
  • the visual object 823 may include text (eg, “Walk east”) to instruct or guide the user to change the direction of the camera of the wearable device 520 by walking in a specific direction.
  • the wearable device 520 may display an image and/or an icon indicating the direction of the camera within the visual object 823. Referring to FIG. 8 , an example of the wearable device 520 displaying an arrow within a visual object 823 is shown.
  • the wearable device 520 may adjust the direction of the arrow displayed within the visual object 823 using the reference direction indicated by data from the geomagnetic sensor included in the wearable device 520.
  • the wearable device 520 determines the location of the wearable device 520 based on receiving information including the area 510 from a server (e.g., server 110 of FIGS. 5-6). , and the area 510 identified by the information, the recording of the media can be controlled. For example, within a state deployed within location P1, wearable device 520 may identify that the location of wearable device 520 is included within first area 511 based on receiving the information. there is. Within the example, the wearable device 520 includes a visual object 811 for adjusting the state of the camera of the wearable device 520 to the first state for recording media, or switching to the first state. can be displayed.
  • wearable device 520 may identify, based on receiving the information, that the location of wearable device 520 is included within second area 512 or You can decide. In one or more examples, the wearable device 520 may adjust the state of the camera of the wearable device 520 to the first state. In one or more examples, based on the state of the camera being adjusted to the first state, the wearable device 520 may control the camera to initiate acquisition of media.
  • recording media based on wearable device 520 entering second area 512, whether it is moved out of second area 512, and/or visual object 822 It can be interrupted by an input indicating a selection (e.g., "abort").
  • wearable device 520 can stop recording media. After being moved out of the second area 512, if it does not enter the first area 511 and/or the second area 512 within a specified period of time, the wearable device 520 may stop recording the media. You can.
  • the wearable device 520 may store the media recorded in the second area 512 in the memory of the wearable device 520 .
  • the wearable device 520 may perform post-processing on the media when the media is stored in the memory of the wearable device 520.
  • the post-processing may include adjusting the brightness of the media and/or compressing the media.
  • the post-processing may include generating metadata corresponding to the media. The above-described post-processing may be performed not only by the wearable device 520 but also by an external electronic device that receives the media (eg, the server 110 of FIGS. 5 and 6).
  • the wearable device 520 may transmit the media to an external electronic device such as a server through a communication circuit (eg, the communication circuit 650 of FIG. 6).
  • the wearable device 520 transmits the media to the server based on input from the user 530 and/or the status of the wearable device 520 (e.g., battery and/or data usage of the wearable device 520). It can be performed conditionally based on The wearable device 520 can automatically control the upload of media based on the access rights set for the virtual camera corresponding to the area 510.
  • the wearable device 520 when recording media based on an area corresponding to a virtual camera with first access rights (e.g., private), the wearable device 520 allows the user 530 of the wearable device 520 to access the first access right (e.g., private).
  • the media can be automatically transmitted to the server.
  • wearable device 520 when recording media based on an area corresponding to a virtual camera of a second access right (e.g., protected), wearable device 520 records the media based on input from user 530. It can be sent conditionally.
  • the wearable device 520 may display a visual object 831 on the screen 830 to confirm whether to transmit the media to the server.
  • visual object 831 may include visual object 832 in the form of a button for transmission of the media.
  • the wearable device 520 may display a visual object 834 to obtain information about the media.
  • the wearable device 520 may display a visual object 833 to stop and/or delay transmission of the media.
  • wearable device 520 may generate metadata corresponding to the media.
  • the wearable device 520 may identify or determine at least one category corresponding to the media among categories for classifying at least one event.
  • the categories can be set to distinguish situations recorded by media, such as vehicle crashes, fires, and/or concerts.
  • the wearable device 520 may store metadata including information indicating the at least one event based on the at least one determined or identified category together with the media.
  • the metadata may include the location where the media was recorded (eg, the location of the wearable device 520 in the second area 512).
  • the metadata may include at least a portion of data from sensors of the wearable device 520 while the media is recorded.
  • the metadata may include information indicating the FoV of the camera while acquiring the media.
  • the metadata may include information about the media received from a user (e.g., a tag for the media, and/or at least one user included in the media) based on an input indicating selection of a visual object 834. name) may be included.
  • the metadata may include access rights to media.
  • the metadata may include the length of the media, the quality of the media, and/or resolution.
  • wearable device 520 may transmit media to a server based on input indicating selection of visual object 832. Along with the media transmitted to the server, the wearable device 520 may transmit at least a portion of metadata corresponding to the media. Transmitting media by the wearable device 520 to the server may include transmitting media that has been stored in memory and streaming media obtained from a camera. The wearable device 520 may request the server to store the media stored in the wearable device 520 as media for the virtual camera corresponding to the second area 512.
  • the embodiment is not limited to these configurations. For example, the recording and uploading of media in FIG. 8 may be performed based on a vehicle's black box, a smartphone's camera, or another device with recording capabilities.
  • the server that receives media from the wearable device 520 may provide compensation to the wearable device 520 and/or the user logged in to the wearable device 520.
  • the compensation may be stored in account information corresponding to the user logged in to the wearable device 520.
  • the compensation may be set by another user who adds a virtual camera corresponding to area 510.
  • the compensation may be provided by virtual currency and/or smart contracts stored in a blockchain.
  • the wearable device 520 may perform automatic recording and upload of media based on the area 510 set by the server.
  • the server may collect media from electronic devices that enter the area 510 , including the wearable device 520 . Based on the media, the server can classify the media based on events included in the media. Based on the media, the server can synthesize other media that are different from the media. Based on the media, the server may support retrieval of media based on a geographically selected area, such as area 510.
  • FIG. 9 illustrates an example of an operation in which a server 110 connected to one or more wearable devices processes media received from the one or more wearable devices, according to an embodiment.
  • the server 110 of FIG. 9 may include the server 110 of FIGS. 5 and 6 .
  • the server 110 displays a plurality of wearable devices 520-1, 520-2, and 520-3 included in an area (e.g., an area corresponding to a virtual camera) set by the server 110. )
  • An example case of receiving media from is shown.
  • Each of the wearable devices 520-1, 520-2, and 520-3 may take the form of an HMD worn by different users 530-1, 530-2, and 530-3.
  • the server 110 can receive media from a plurality of wearable devices 520-1, 520-2, and 520-3 based on execution of the media server application 680 of FIG. 6 for each of the wearable devices. there is.
  • the server 110 is based on a communication circuit (e.g., the communication circuit 650 of FIG. 6) from the wearable devices 520-1, 520-2, and 520-3 in a designated area.
  • Media and metadata corresponding to the media can be obtained.
  • the media may be recorded by each of the wearable devices 520-1, 520-2, and 520-3 based on whether each wearable device has entered the designated area.
  • the server 110 may identify or determine at least one media containing an event that occurred within the designated area among media for the designated area. For example, based on the metadata, the server 110 may identify the media recorded while the event occurred by comparing the time when the media corresponding to the metadata was recorded and the time when the event occurred. there is.
  • the server 110 which has received media from the wearable devices 520-1, 520-2, and 520-3, may perform the post-processing operation described above with reference to FIG. 7 on the media.
  • the server 110 which has received media from the wearable devices 520-1, 520-2, and 520-3, performs synchronization of the media based on execution of the media synchronizer 683 of FIG. 6. can do.
  • the media of each of the wearable devices 520-1, 520-2, and 520-3 may be linked to each time stamp used to synchronize each media.
  • the server 110 identifies or determines media received from the wearable devices 520-1, 520-2, and 520-3 as media containing events that occurred within a designated area. Assume. The server 110 may synthesize new media from the media when the number of media containing the event exceeds the designated threshold or when the number of media recorded within the designated area exceeds the designated threshold. there is. The server 110 may synthesize new media from media based on the number of media having a specified quality and/or resolution. Media received from wearable devices 520-1, 520-2, and 520-3 may have different FoVs.
  • the server 110 creates the shooting areas 910-1, 910-2, and 910-3 based on the shooting areas 910-1, 910-2, and 910-3 formed by the FoVs of each of the media.
  • Other media eg, synchronized media
  • the capturing area 910-4 may be a composite of the capturing areas 910-1, 910-2, and 910-3 to form a composite scene.
  • the server 110 may store the other acquired media together with the wearable devices 520-1, 520-2, and 520-3 in the memory of the server 110.
  • the server 110 stores the other media based on a state that is accessible by at least one external electronic device connected to the server 110 (e.g., a state that is searchable by the at least one external electronic device). You can.
  • the server 110 based on the shooting areas 910-1, 910-2, and 910-3 of the media received from the wearable devices 520-1, 520-2, and 520-3.
  • the server 110 can identify the point where an event occurred within the area where the media was recorded, from the metadata about the media.
  • the server 110 may identify the FoV toward the identified point based on the directions of the FoVs of each of the media.
  • the capturing area 910-4 formed by the FoV identified by the server 110 may have an orientation suitable for recording the event. For example, the capturing area 910-4 may be adjusted by the server 110 based on whether the event is obscured.
  • the server 110 can synthesize the media to synthesize other media having the shooting area 910-4.
  • the server 110 may store the synthesized other media and the media in connection with the event in memory.
  • the server 110 which receives media from a plurality of external electronic devices (eg, wearable devices 520-1, 520-2, and 520-3), may synthesize the media.
  • the synthesized media may have a capturing area 910-4 that overlaps at least two FoVs among the capturing areas 910-1, 910-2, and 910-3 of each of the media.
  • the server 110 synthesizes the media, in addition to the operation of synthesizing media with a new FoV different from the shooting areas 910-1, 910-2, and 910-3 of the media, such as collage. , may include an operation of compositing media in which the media are displayed in parallel through a single frame.
  • the server 110 searches a plurality of media stored in the server 110 based on a request from an external electronic device such as a wearable device.
  • FIG. 10 illustrates an example of an operation in which a wearable device displays a list of media captured at a designated location, according to an embodiment.
  • the wearable device of FIG. 10 may include the wearable device 520 of FIGS. 5 and 6 .
  • a screen 1010 displayed by the wearable device to search for media based on execution of an application including a media transmission application (e.g., the media transmission application 670 of FIG. 6) is shown.
  • the screen 1010 may be displayed by a wearable device connected to the server 110 of FIGS. 5 and 6 .
  • the screen 1010 may be displayed through at least a portion of the user's FoV through the display of the wearable device while the user (e.g., user 530 in FIG. 5) is wearing the wearable device.
  • the wearable device may display one or more virtual cameras provided by a server connected to the wearable device, and/or text entered by the user of the wearable device (e.g., place names, events, and/or Based on the text representing the FoV, a screen 1010 containing a list of media recorded within a geographically specified area may be displayed. Based on receiving a signal for retrieving media stored in the server from the wearable device, the server transmits information for displaying a list including at least one media on the screen 1010 in response to the signal. You can. Within the screen 1010, the wearable device may display a visual object 1020 including the name (eg, place name) of the area corresponding to the list.
  • the wearable device may display a visual object 1020 including the name (eg, place name) of the area corresponding to the list.
  • the wearable device may display a visual object 1015 in the form of a button for switching to another screen that was displayed before the screen 1010.
  • the wearable device may display a visual object 1030 in the form of an icon for receiving text (eg, keywords) for searching media from the user.
  • the wearable device may display a list of media recorded in an area whose name includes the name included in the visual object 1020.
  • the wearable device may display visual objects 1040, 1050, 1060, and 1070 corresponding to each of the media included in the list within the screen 1010.
  • Visual objects 1040, 1050, 1060, and 1070 may be referred to as items and/or cards included in the list.
  • the wearable device may display thumbnails corresponding to each of the media included in the list, such as thumbnails 1042, 1050, 1060, and 1070 that provide a preview of the media.
  • a wearable device may display information about the media included in the list, such as text 1044 included within a visual object 1040.
  • the wearable device may determine the time when media corresponding to visual object 1040 was recorded, the user who recorded the media, and the events included in the media ( At least one of (eg, car crash) and/or the type of electronic device that recorded the media (eg, AR glass) may be displayed.
  • the server collects media from external electronic devices having various form factors
  • the list displayed on the screen 1010 includes the external electronic devices (e.g., AR glass, CCTV, vehicle). It can include media recorded in . Since the server synthesizes new media from the collected media based on the operation described above with reference to FIG. 9, the list displayed through the screen 1010, such as the visual object 1070, is synthesized by the server.
  • the wearable device may display text (eg, “generated”) indicating that the media corresponding to the visual object 1070 is synthesized media.
  • text e.g, “generated”
  • the wearable device may display the FoV (e.g., roll angle, yaw angle, or pitch angle) of the media corresponding to the visual object 1040 within the text 1044.
  • the viewing angle of the displayed FoV may be displayed based on at least one.
  • the wearable device may display a visual object 1080 to display other media not displayed within the screen 1010 among the media included in the list.
  • the wearable device may identify an input indicating playback of media included in the list.
  • the wearable device may display the media corresponding to the input.
  • the wearable device may transmit a signal to a server for streaming and/or transmission of the media corresponding to the input.
  • the wearable device may display the received media.
  • the wearable device searching for media is not limited to the one embodiment of searching for media stored in a server, shown in FIG. 10 .
  • FIG. 11 an example of an operation in which a wearable device searches for media from a server based on an area and/or an event, according to an embodiment, is described.
  • FIG. 11 illustrates an example of an operation in which a wearable device displays a list of media captured at a designated location, according to an embodiment.
  • the wearable device of FIG. 11 may include the wearable device 520 of FIGS. 5 and 6 .
  • a screen 1110 displayed by the wearable device to search for media based on execution of an application including a media transmission application (e.g., the media transmission application 670 of FIG. 6) is shown.
  • the screen 1110 may be displayed by a wearable device connected to the server 110 of FIGS. 5 and 6 .
  • the screen 1110 may be displayed through at least a portion of the user's FoV through the display of the wearable device while the user (e.g., user 530 in FIG. 5) is wearing the wearable device.
  • the wearable device may transmit a signal to a server to search media for an event that has occurred or is occurring in an area.
  • the wearable device may display a list of media received from the server in response to the signal on the screen 1110.
  • the wearable device may display a visual object 1015 for receiving an input indicating switching to another screen before displaying the screen 1110.
  • the wearable device may display a visual object 1120 including the name of an event corresponding to the list.
  • the wearable device displays the name of the event (e.g., the name of a concert, such as “drum sound”) and the name in which the event occurred (e.g., “seoul”) using a designated delimiter. ) (e.g., "@").
  • the wearable device may display a visual object 1030 for receiving keywords from the user.
  • the wearable device may display a list of media including an event specified by the visual object 1120.
  • the list may include media stored in a server connected to the wearable device or streamable by the server.
  • the wearable device may display visual objects 1130, 1140, 1150, and 1160 corresponding to media included in the list.
  • the wearable device may display a visual object 1080 for viewing other media in the list that are different from media in the list displayed through the screen 1110.
  • the wearable device may display thumbnails representing media in the list, such as thumbnail 1132 in visual object 1130, in screen 1110.
  • the wearable device may display information about the media in the list, such as text 1134 in visual object 1130, on screen 1110.
  • the wearable device displays text (e.g., “Live”) indicating that media corresponding to the visual object 1130 is being recorded in real time based on streaming. ”) may be included.
  • the wearable device may request streaming of the media to a server or an external electronic device that records the media corresponding to the visual object 1130. Based on the request, the wearable device may output media corresponding to the visual object 1130. The wearable device's output of media corresponding to the visual object 1130 may be conditionally performed until streaming of the media is completed.
  • the wearable device may determine the time recording of the media began, the user recording the media, the resolution of the media, and/or the type of electronic device recording the media. The text it represents can be displayed.
  • the wearable device may cause media corresponding to the visual object 1160 to be displayed by a person related to an event corresponding to a list displayed on the screen 1110. It may include text (eg, “C”) indicating that the plurality of recorded media is a composite media.
  • the media corresponding to the visual object 1160 may be media synthesized from the plurality of media based on a designated media effect, such as a collage.
  • the server providing the list may synthesize media containing the same person among the media based on similarities between people included in the media.
  • Visual object 1160 may represent media synthesized by a server based on similarities between people.
  • the thumbnail 1162 within the visual object 1160 may be a thumbnail containing the person, a thumbnail of the media with the highest resolution among the media, or a thumbnail of the media being transmitted to the most electronic devices among the media. We can respond.
  • the wearable device in response to an input indicating selection of the visual object 1160, may output a plurality of media corresponding to the visual object 1160 and connected based on a collage.
  • the wearable device's output of the plurality of media may be controlled by a server that transmits the plurality of media to the wearable device. For example, among the plurality of media, media that no longer captures the person corresponding to the visual object 1160 may be excluded.
  • the wearable device and server may execute functions for recording and/or searching media based on a geographically selected area.
  • the server can manage the area for recording media based on virtual cameras.
  • the wearable device may control the camera of the wearable device using concentrically divided areas (eg, the first area 511 and the second area 512 in FIG. 5) within the area.
  • the server may classify media received from a plurality of electronic devices, including a wearable device, based on locations where the media was recorded and different events included in the media. Based on the results of classifying the media, the server can search, download, and/or stream the media.
  • FIG. 12 shows an example of a flow chart for a wearable device, according to one embodiment.
  • the wearable device of FIG. 12 may include the wearable device 520 of FIGS. 5 and 6 .
  • one or more operations of FIG. 12 may be performed by the wearable device 520 of FIG. 6 and/or the processor 610 of the wearable device 520.
  • One or more operations of FIG. 12 may be performed by the wearable device based on execution of the media transmission application 670 of FIG. 6.
  • each operation may be performed sequentially, but is not necessarily performed sequentially.
  • the order of each operation may be changed, and at least two operations may be performed in parallel.
  • the wearable device detects a user wearing the wearable device based on data from a sensor of the wearable device (e.g., sensor 640 in FIG. 6). It may be identified or determined that the user (e.g., user 530 in FIG. 5) moves into a first area (e.g., first area 511 in FIG. 5).
  • the wearable device may receive information representing the first area from an external electronic device (eg, the server 110 of FIGS. 5 and 6) connected to the wearable device before operation 1210.
  • the wearable device may identify whether the GPS coordinates of the wearable device included in the sensor data are included in the first area and/or a geofence associated with the first area. .
  • the wearable device determines the state of the wearable device's camera (e.g., camera 660 in FIG. 6) for recording media. It can be changed based on the first state.
  • the first state may include a state in which the camera is activated for recording media.
  • the first state may include a state in which the camera of the wearable device is occupied by a designated application (e.g., the media transmission application 670 in FIG. 6) that performs recording and uploading of media based on the first area. You can.
  • the wearable device determines whether the user moves into a second area (e.g., second area 512 in FIG. 5) within the first area. You can judge.
  • the wearable device may identify or determine whether a user wearing the wearable device enters the second area by comparing the location of the wearable device and the second area based on sensor data. Before the user moves into the second area (1230-No), the wearable device may maintain the state of the camera in the first state.
  • the wearable device may control a camera to acquire media. . Since the camera has been changed to the first state in the state 1220 before moving into the second area, the wearable device can start recording media more quickly within the operation 1240. Based on operation 1240, the wearable device may acquire media corresponding to the second area independently of the user's input, such as shooting input. In one or more examples, while acquiring media within the second area, the wearable device may use data from sensors to monitor the location of the wearable device and/or the user wearing the wearable device.
  • the wearable device may determine whether the user moves outside the second area. If it is determined that the user has not moved out of the second area (1250-No), then based on action 1280, the wearable device, according to one embodiment, may determine whether there is an input indicating to stop recording the media. there is. The input may be received based on the visual object 822 of FIG. 8. When the user is positioned within the second area and has not identified the input of the action 1280 (1280-No), the wearable device may continue to acquire media based on the action 1240.
  • the wearable device changes the state of the camera to a second state that is different from the first state. By changing this, you can stop acquiring or recording media. For example, based on operation 1260, the wearable device may complete recording of the media based on operation 1240. As recording of the media is completed, the wearable device can perform post-processing operations on the media. As recording of the media is completed, the wearable device can obtain metadata corresponding to the media.
  • the wearable device may transmit media to an external electronic device.
  • the wearable device may transmit media to the server 110 of FIGS. 5 and 6.
  • the wearable device can transmit metadata corresponding to the media along with the media to an external electronic device.
  • Figure 13 shows an example of a flow chart for an electronic device, according to an embodiment.
  • the electronic device of FIG. 13 may include the server 110 of FIGS. 5 and 6 .
  • one or more operations of FIG. 13 may be performed by the server 110 of FIG. 6 and/or the processor 610 of the server 110.
  • the operation of the electronic device in FIG. 13 may be related to at least one of the operations in FIG. 12 .
  • the electronic device of FIG. 13 may include the external electronic device of operation 1270 of FIG. 12 .
  • One or more operations of FIG. 13 may be performed based on execution of the media server application 680 of FIG. 6.
  • each operation may be performed sequentially, but is not necessarily performed sequentially.
  • the order of each operation may be changed, and at least two operations may be performed in parallel.
  • an electronic device may receive first media recorded within a designated area from external electronic devices.
  • the external electronic device of operation 1310 may include the wearable device 520 of FIGS. 5 and 6 .
  • the designated area may include area 510 in FIG. 5.
  • the designated area of operation 1310 may be set based on the operation described above with reference to FIG. 7 .
  • the first media of operation 1310 may be recorded by the operation of wearable device 520 described above with reference to FIGS. 5, 8, and/or 12.
  • the electronic device may identify or determine metadata corresponding to first media.
  • the electronic device may receive metadata from external electronic devices along with the first media received based on operation 1310.
  • the electronic device may obtain metadata corresponding to the first media based on execution of the media analyzer 682 in the media server application 680 of FIG. 6.
  • the electronic device identifies second media containing an event that occurred within a designated area among the first media based on metadata. can do.
  • the electronic device may identify or determine the second media recorded within the time interval in which the event occurred, based on metadata of the first media.
  • the electronic device may acquire third media from second media. Based on the FoVs of the second media, the electronic device may obtain the third media having a different FoV from the FoVs. Based on the operation described above with reference to FIG. 9, the electronic device may acquire the third media having a FoV corresponding to the event of operation 1330, based on synthesis of the second media. .
  • the electronic device may store third media based on a state accessible by external electronic devices.
  • the state may mean storing the third media in a state that can be searched by the external electronic devices connected to the electronic device.
  • the electronic device may store the third media together with the second media.
  • the electronic device may store the third media together with the second media in a category corresponding to the event of operation 1330.
  • Storing the third media by an electronic device may include an operation of matching and storing information used to search for the third media to the third media based on a database.
  • the electronic device sends second media and/or third media to an external electronic device that searches for a designated area and/or event.
  • a list containing it can be sent.
  • the external electronic device may display the screens 1010 and 1110 illustrated with reference to FIGS. 10 and 11 .
  • Figure 14 shows an example of a flow chart for an electronic device, according to one embodiment.
  • the electronic device of FIG. 14 may include the server 110 of FIGS. 5 and 6 .
  • one or more operations of FIG. 14 may be performed by the server 110 of FIG. 6 and/or the processor 610 of the server 110.
  • each operation may be performed sequentially, but is not necessarily performed sequentially.
  • the order of each operation may be changed, and at least two operations may be performed in parallel.
  • the operation of the electronic device in FIG. 14 may be related to at least one of the operations in FIG. 13 .
  • the operation of the electronic device in FIG. 14 may be related to operation 1360 in FIG. 13 .
  • an electronic device may receive a first signal requesting media for a virtual camera matched to a designated location from an external electronic device.
  • the external electronic device in operation 1410 may include the wearable device 520 of FIGS. 5 and 6 .
  • the first signal may include an input received by the external electronic device that displays a UI for selecting a virtual camera based on a map, as shown in screens 701 and 703 of FIG. 7.
  • the first signal may include a keyword and/or text received from the user by an external electronic device, as shown in the screens 1010 and 1110 of FIGS. 10 and 11 .
  • the electronic device may identify FoVs of first media stored in memory and recorded on a designated location.
  • the memory of operation 1420 may include memory 620 in server 110 of FIG. 6 . Based on operation 1420, the electronic device may select the first media recorded on the designated location selected by the first signal of operation 1410 from a plurality of media stored in the memory. The electronic device can identify the FoVs of the first media from metadata corresponding to the first media.
  • the electronic device may identify or determine, from the first media, a second media having the FoV indicated by the first signal. By comparing the FoVs identified based on the operation 1420 with the FoV indicated by the first signal, the electronic device can identify the second media of the operation 1430.
  • the electronic device in response to the first signal, sends the first media, and/ Alternatively, a list of second media may be transmitted.
  • the electronic device may transmit a signal indicating that the list should be visualized, along with the list, to an external electronic device.
  • the external electronic device that receives the signal can visualize the list as shown in the screens 1010 and 1110 of FIGS. 10 and 11.
  • the external electronic device may transmit a signal requesting the electronic device to transmit the media selected by the input.
  • the electronic device based on receiving a third signal indicating selection of a media included in the list from an external electronic device, selects an external electronic device.
  • the device may transmit at least a portion of media corresponding to the third signal.
  • the third signal may be transmitted from the external electronic device to the electronic device based on an input indicating selection of a media identified or determined by the external electronic device and included in the list of operation 1440.
  • the electronic device may transmit and/or stream media included in the third signal to an external electronic device.
  • a method of recording media using a camera of a wearable device, based on the location of the wearable device may be required.
  • a wearable device e.g., wearable device 520 in FIGS. 5 and 6) includes a display (e.g., display 630 in FIG. 6), a camera (e.g. , camera 660 in FIG. 6), sensor (e.g., sensor 640 in FIG. 6), communication circuit (e.g., communication circuit 650 in FIG. 6), and processor (e.g., processor 610 in FIG. 6). ) may include.
  • the processor may be configured to identify or determine the location of the wearable device based on data output from the sensor.
  • the processor displays the display based on identifying or determining the location included in a first area (e.g., first area 511 in FIG. 5) set by an external electronic device through the communication circuit.
  • Controlling a visual object e.g., a visual object (e.g., , may be configured to display the visual object 811 of FIG. 8).
  • the processor may be configured to adjust the state of the camera to the first state in response to an input indicating selection of the visual object.
  • the processor based on the data, identifies that the location is moved into a second area (e.g., second area 512 in FIG. 5) within the first area by the data, It may be configured to obtain media related to the second area based on the camera being adjusted to a state.
  • the processor may be configured to transmit the acquired media to the external electronic device (eg, the server 110 of FIGS. 5 and 6) through the communication circuit.
  • a wearable device can automatically record media for an area based on whether it has entered the area.
  • the processor may be configured to identify or determine at least one category corresponding to the media among categories for classifying at least one event recorded by the media.
  • the processor may be configured to transmit information indicating the at least one event based on the at least one category, along with the media, to the external electronic device.
  • the processor may be configured to transmit the media to the external electronic device along with the data for identifying the location.
  • the processor may be configured, after obtaining the media, to identify or determine another input indicating input of information about the media.
  • the processor may be configured to transmit the information identified or determined by the other input, along with the media, to the external electronic device.
  • the processor may be configured to transmit the media to the external electronic device along with information indicating the FoV of the camera during acquisition of the media.
  • the processor transmits the media to the external electronic device based on an input indicating selection of a second visual object for transmitting the acquired media, which is different from the visual object that is a first visual object. It can be configured to transmit.
  • the processor is configured to identify or determine whether the geographic location of the wearable device crosses a boundary line of the first area based on the data output from the sensor, which is a global positioning system (GPS) sensor. , can be configured.
  • GPS global positioning system
  • the processor may, at least temporarily, control the camera based on another application that is different from the designated application for acquiring the media (e.g., media transmission application 670 in FIG. 6). It may be configured to cease at least temporarily.
  • another application that is different from the designated application for acquiring the media (e.g., media transmission application 670 in FIG. 6). It may be configured to cease at least temporarily.
  • the processor determines that a first visual object is different from the visual object within the FoV through the display based on the orientation of the camera within the second area identified or determined by the data; , It may be configured to display a second visual object (eg, visual object 823 in FIG. 8) for guiding the direction of the camera.
  • a first visual object is different from the visual object within the FoV through the display based on the orientation of the camera within the second area identified or determined by the data; , It may be configured to display a second visual object (eg, visual object 823 in FIG. 8) for guiding the direction of the camera.
  • a method of an electronic device includes, based on a communication circuit of the electronic device, receiving first media for an area from external electronic devices, and corresponding to the first media. It may include an operation to obtain metadata.
  • the method may include an operation of identifying or determining, among the first media, second media containing an event that occurred within the area, based on the metadata.
  • the method may include, based on the second media, obtaining third media including the event and having a field-of-view (FoV) different from the field-of-views (FoVs) of each of the second media. You can.
  • the method may include storing the third media in a memory of the electronic device based on a state that is accessible by at least one of the external electronic devices.
  • the operation of acquiring the meta data may include the operation of identifying or determining the point where the event occurred within the area based on the second media.
  • the operation of acquiring the third media may include, based on the directions of FoVs of each of the second media indicated by the metadata, the third media having the FoV pointing toward the identified or determined point. It may include an operation to acquire media.
  • the storing operation may include storing the second media and the third media in association with the event in the memory.
  • the method may be performed in response to receiving, from an external electronic device, a signal for retrieving media related to at least one of the area or the event, in response to the signal. , the second media, and the third media.
  • the operation of acquiring the meta data may include generating the meta data indicating at least one event included in each of the first media, based on designated categories for classifying events included in the first media. It may include an operation to acquire data.
  • the method of using a wearable device may include an operation of identifying or determining the location of the wearable device based on data output from a sensor of the wearable device.
  • the method controls the display of the wearable device based on identifying the location, contained within a first area established by an external electronic device through a communication circuit of the wearable device, to within the FoV of the wearable device, It may include displaying a visual object for adjusting the state of the camera of the wearable device to a first state for recording media.
  • the method may include adjusting the state of the camera to the first state in response to an input indicating selection of the visual object.
  • the method may further include, based on the data, identifying or determining that the position has been moved within the first area into a second area by the data, based on the camera being adjusted to the first state, It may include an operation of acquiring media related to the second area.
  • the method may include transmitting the acquired media to the external electronic device through the communication circuit.
  • the transmitting operation may include identifying or determining at least one category corresponding to the media among designated categories for classifying at least one event recorded by the media.
  • the transmitting operation may include transmitting information indicating the at least one event based on the at least one category along with the media to the external electronic device.
  • the transmitting operation may include, after obtaining the media, identifying or determining another input indicating input of information about the media.
  • the transmitting operation may include transmitting the information identified or determined by the other input, together with the media, to the external electronic device.
  • the transmitting operation may include transmitting the media to the external electronic device along with information indicating the FoV of the camera while acquiring the media.
  • the acquiring operation may be different from the visual object being a first visual object within the FoV through the display based on the orientation of the camera within the second region identified by the data; , may include an operation of displaying a second visual object to guide the direction of the camera.
  • an electronic device e.g., the server 110 of FIGS. 5 and 6) includes a communication circuit (e.g., the communication circuit 650 of FIG. 6), a memory ( It may include, for example, the memory 620 of FIG. 6), and a processor (e.g., the processor 610 of FIG. 6).
  • the processor acquires first media for an area (e.g., area 510 in FIG. 5) and metadata corresponding to the first media from external electronic devices based on the communication circuit. It can be configured to do so.
  • the processor may be configured to identify or determine, among the first media, second media containing an event that occurred within the area, based on the metadata.
  • the processor may be configured to obtain, based on the second media, a third media including the event and having a different FoV from the FoVs of each of the second media.
  • the processor may be configured to store the third media in the memory based on a state accessible by at least one of the external electronic devices.
  • the processor may be configured to identify or determine the point where the event occurred within the area based on the second media.
  • the processor is configured to obtain the third media with the FoV pointing toward the identified or determined point, based on the directions of the FoVs of each of the second media indicated by the metadata. It can be.
  • the processor may be configured to store the second media and the third media in association with the event in the memory.
  • the processor in response to receiving, from an external electronic device, a signal for searching for media related to at least one of the area or the event, selects the second media , and may be configured to transmit a list including the third media.
  • the processor is configured to obtain the metadata representing at least one event included in each of the first media, based on designated categories for classifying events included in the first media, It can be configured.
  • a wearable device may include a display, a camera, a sensor, a communication circuit, and a processor.
  • the processor may be configured to identify the location of the wearable device based on data output by a sensor.
  • the processor controls the display based on identifying the location within a field-of-view (FoV) of the wearable device and within a first area established by the external electronic device through the communication circuit.
  • FoV field-of-view
  • it may be configured to display a visual object for adjusting the state of the camera to a first state for recording media.
  • the processor may adjust the state of the camera to the first state based on an input indicating selection of the visual object.
  • the processor may be configured to identify whether the location of the wearable device moves to a second area within the first area, based on data from the sensor. the processor to obtain media associated with the second area based on the state of the camera adjusted to the first state based on identifying that the location of the wearable device moves into the second area. , can be configured.
  • the processor may be configured to transmit the acquired media to the external electronic device through the communication circuit.
  • the processor identifies at least one category corresponding to the media among a plurality of categories for classifying at least one event recorded by the media, and communicates the information to the external electronic device through the communication circuit. and transmit information representing the at least one event based on the at least one category together with the media.
  • the processor may be configured to transmit the media along with the data from the sensor for identifying the location to the external electronic device, via the communication circuit.
  • the processor identifies another input for inputting information about the media, and sends the information identified by the other input to the external electronic device through the communication circuit. and may be configured to transmit the media together.
  • the processor may be configured to transmit media along with information indicative of the FoV of the camera during acquisition of the media to the external electronic device via the communication circuit.
  • the processor may, based on an input indicating selection of a second visual object for transmission of the acquired media to the external electronic device via the communication circuit, select a visual object that is different from the visual object that is a first visual object. and be configured to transmit the second visual object.
  • the senor may be GPS, and the processor may be configured to identify whether the geographic location of the wearable device crosses a boundary line of the first area, based on the data output by the sensor. , can be configured.
  • the processor may be configured, based on the input, to stop controlling the camera based on another application that is different from the designated application for acquiring the media for a specified period of time.
  • the processor may be configured to display a second visual object for guiding the direction of the camera based on the direction of the camera within the second area identified based on the data from the sensor.
  • the second visual object may be different from the first visual object, which is the visual object within the FoV, through the display.
  • a method of a wearable device includes acquiring first media for a region and metadata corresponding to the first media from a plurality of external electronic devices based on a communication circuit of the electronic device. It may include actions such as: The method may include an operation of identifying a second media including an event that occurred in the area among the first media based on the metadata. The method may include, based on the second media, obtaining third media that includes the event and that includes a FoV that is different from one or more FoVs of the second media. The method may include storing the third media in a memory of the electronic device based on a state in which it is accessible by at least one of a plurality of external electronic devices.
  • the operation of acquiring the meta data may include the operation of identifying the point where the event occurred within the area based on the second media.
  • the operation of acquiring the third media may include, based on the direction of the one or more FoVs of each of the second media indicated by the metadata, the third media having the FoV pointing toward the identified point. It may include an operation to acquire media.
  • the storing operation may include storing the second media and the third media in association with the event in the memory.
  • the method is based on receiving a signal for searching for media related to at least one of the area or the event from a first external electronic device among the plurality of external electronic devices, In response, the method may include transmitting a list including the second media and the third media to the first external electronic device.
  • the operation of acquiring the meta data may include generating the meta data indicating at least one event included in each of the first media, based on designated categories for classifying events included in the first media. It may include an operation to acquire data.
  • a method performed by at least one processor of a wearable device may include identifying the location of the wearable device based on data output by a sensor of the wearable device. there is.
  • the method controls the display of the wearable device based on identifying the location included within a first area set by an external electronic device through a communication circuit of the wearable device to display a camera within the FoV of the wearable device. It may include an operation of displaying a visual object to adjust the state to a first state for recording media.
  • the method may include adjusting the state of the camera to the first state in response to an input indicating selection of the visual object.
  • the method may include an operation of identifying whether the location of the wearable device moves to a second area within the first area based on data from the sensor.
  • the method includes obtaining media associated with the second area based on identifying that the position of the wearable device has been moved into the second area and based on the state of the camera adjusted to the first state.
  • the method may include transmitting the acquired media to the external electronic device through the communication circuit.
  • the transmitting operation includes identifying at least one category corresponding to the media among designated categories for classifying at least one event recorded by the media, and to the external electronic device,
  • the method may include transmitting information representing at least one event based on the at least one category along with the media.
  • the transmitting operation may include, after obtaining the media, identifying another input indicating input of information about the media, and the information identified by the other input to the external electronic device. It may also include an operation of transmitting the media.
  • the transmitting operation may include transmitting the media along with information indicating the FoV of the camera while transmitting the media to the external electronic device.
  • the acquiring operation may include displaying a second visual object for guiding the direction of the camera, based on the direction of the camera in the second area identified by the data output by the sensor. and the second visual object may be different from the visual object that is the first visual object within the FoV through the display.
  • an electronic device may include a communication circuit, a memory, and a processor.
  • the processor may be configured to obtain first media for the area and metadata corresponding to the first media from the plurality of external electronic devices based on the communication circuit.
  • the processor may be configured to identify a second media including an event that occurred in the area among the first media, based on the metadata.
  • the processor may be configured to obtain, based on the second media, a third media that includes the event and includes a FoV that is different from one or more FoVs of the second media.
  • the processor may be configured to store the third media in the memory based on a state accessible by at least one of the plurality of external electronic devices.
  • the processor may be configured to identify the point where the event occurred within the area based on the second media.
  • the processor may be configured to obtain the third media with a FoV pointing toward the identified point, based on the directions of one or more FoVs of each of the second media indicated by the metadata. You can.
  • the processor may be configured to store the second media and the third media in association with the event in the memory.
  • the processor may, based on receiving a signal for searching media related to the event or at least one area, from a first external electronic device among the plurality of external electronic devices, The device may be configured to transmit a list including the third media and the second media in response to the signal.
  • the processor is configured to obtain metadata representing at least one event included in each of the first media, based on designated categories for classifying the event included in the first media, It can be configured.
  • the device described above may be implemented with hardware components, software components, and/or a combination of hardware components and software components.
  • the devices and components described in the embodiments include a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), and a programmable logic unit (PLU).
  • ALU arithmetic logic unit
  • FPGA field programmable gate array
  • PLU programmable logic unit
  • It may be implemented using one or more general-purpose or special-purpose computers, such as a logic unit, microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • OS operating system
  • a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it may include.
  • a processing device may include a plurality of processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.
  • Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device.
  • the software and/or data may be embodied in any type of machine, component, physical device, computer storage medium or device for the purpose of being interpreted by or providing instructions or data to the processing device. there is.
  • Software may be distributed over networked computer systems and stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer-readable recording media.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium.
  • the medium may continuously store a computer-executable program, or temporarily store it for execution or download.
  • the medium may be a variety of recording or storage means in the form of a single or several pieces of hardware combined. It is not limited to a medium directly connected to a computer system and may be distributed over a network. Examples of media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, and ROM, RAM, flash memory, or other memory structures known to those skilled in the art, configured to store program instructions. Additionally, examples of other media include recording or storage media managed by app stores that distribute applications, sites that supply or distribute various other software, or servers.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

웨어러블 장치의 프로세서는, 센서의 데이터에 기반하여, 제1 영역 내 위치를 식별하는 것에 기반하여, 카메라의 상태를, 시각적 객체를 표시할 수 있다. 상기 프로세서는, 상기 시각적 객체의 선택을 나타내는 입력에 기반하여, 상기 카메라의 상기 상태를 미디어의 레코딩을 위한 상기 제1 상태로 조절할 수 있다. 상기 프로세서는 상기 웨어러블 장치의 상기 위치가 상기 제1 영역 내 상기 제2 영역으로 이동하였는지 여부를 식별할 수 있다. 상기 프로세서는, 상기 웨어러블 장치의 상기 위치가 상기 제2 영역 안으로 이동됨을 식별하는 것에 기반하여, 상기 제1 상태의 상기 카메라에 기반하여, 미디어를 획득할 수 있다. 본 문서는, 실제 객체 및 가상 객체 사이의 상호연결성을 강화하기 위한 메타버스 서비스와 관련될 수 있고, 상기 메타버스 서비스는, 5G(fifth generation), 및/또는 6G(sixth generation)에 기반하는 네트워크를 통해 제공될 수 있다.

Description

위치에 기반하여 카메라를 제어하여 위치에 대응하는 미디어를 획득하기 위한 전자 장치 및 그 방법
본 개시(present disclosure)는 위치에 기반하여 카메라를 제어하여 위치에 대응하는 미디어를 획득하기 위한 전자 장치 및 그 방법에 관한 것이다.
강화된(enhanced) 사용자 경험(user experience)을 제공하기 위해, 실제 세계(real-world) 내 외부 객체와 연계로 컴퓨터에 의해 생성된 정보를 표시하는 증강 현실(augmented reality, AR) 서비스를 제공하는 전자 장치가 개발되고 있다. 상기 전자 장치는, 사용자에 의해 착용될 수 있는 웨어러블 장치일 수 있다. 예를 들면, 상기 전자 장치는, AR 안경(glasses), 및/또는 머리 착용형 장치(head-mounted device, HMD)일 수 있다.
일 실시예(an embodiment)에 따른, 웨어러블 장치(wearable device)는, 디스플레이, 카메라, 센서, 통신 회로, 및 프로세서를 포함할 수 있다. 상기 프로세서는, 상기 센서로부터 출력되는 데이터에 기반하여 상기 웨어러블 장치의 위치를 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 통신 회로를 통하여 외부 전자 장치에 의해 설정된 제1 영역 내에 포함된, 상기 위치를 식별하는 것에 기반하여, 상기 디스플레이를 제어하여, 상기 웨어러블 장치의 FoV(field-of-view) 내에, 상기 카메라의 상태를, 미디어의 레코딩을 위한 제1 상태로 조절하기 위한 시각적 객체를 표시하도록, 구성될 수 있다. 상기 프로세서는, 상기 시각적 객체의 선택을 나타내는 입력에 기반하여, 상기 카메라의 상기 상태를 상기 제1 상태로 조절하도록, 구성될 수 있다. 상기 프로세서는, 상기 센서의 데이터에 기반하여, 상기 웨어러블 장치의 상기 위치가 상기 제1 영역 내 상기 제2 영역으로 이동하였는지 여부를 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 웨어러블 장치의 상기 위치가 상기 제1 영역 내 제2 영역 안으로 이동됨을 식별하는 것에 기반하여, 상기 제1 상태로 조절된 상기 카메라의 상기 상태에 기반하여, 상기 제2 영역과 관련된 미디어를 획득하도록, 구성될 수 있다. 상기 프로세서는, 상기 획득된 미디어를, 상기 통신 회로를 통하여 상기 외부 전자 장치로 송신하도록, 구성될 수 있다.
일 실시예에 따른, 웨어러블 장치의 방법은, 상기 웨어러블 장치의 센서로부터 출력되는 데이터에 기반하여, 상기 웨어러블 장치의 위치를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 웨어러블 장치의 통신 회로를 통하여 외부 전자 장치에 의해 설정된 제1 영역 내에 포함된, 상기 위치를 식별하는 것에 기반하여, 상기 웨어러블 장치의 디스플레이를 제어하여, 상기 웨어러블 장치의 FoV 내에, 상기 웨어러블 장치의 카메라의 상태를, 미디어의 레코딩을 위한 제1 상태로 조절하기 위한 시각적 객체를 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 시각적 객체의 선택을 나타내는 입력에 응답하여, 상기 카메라의 상기 상태를 상기 제1 상태로 조절하는 동작을 포함할 수 있다. 상기 방법은, 상기 센서의 데이터에 기반하여, 상기 웨어러블 장치의 상기 위치가 상기 제1 영역 내 상기 제2 영역으로 이동하였는지 여부를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 웨어러블 장치의 데이터에 기반하여, 상기 위치가 상기 제1 영역 내 제2 영역 안으로 이동됨을 식별하는 것에 기반하여, 상기 제1 상태로 조절된 상기 카메라의 상기 상태에 기반하여, 상기 제2 영역과 관련된 미디어를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 획득된 미디어를, 상기 통신 회로를 통하여 상기 외부 전자 장치로 송신하는 동작을 포함할 수 있다.
일 실시예에 따른, 전자 장치(electronic device)는, 통신 회로, 메모리, 및 프로세서를 포함할 수 있다. 상기 프로세서는, 상기 통신 회로에 기반하여, 복수의 외부 전자 장치들로부터, 일 영역에 대한 제1 미디어들, 및 상기 제1 미디어들에 대응하는 메타 데이터를 획득하도록, 구성될 수 있다. 상기 프로세서는, 상기 메타 데이터에 기반하여, 상기 제1 미디어들 중에서, 상기 영역 내에서 발생된 이벤트가 포함된 제2 미디어들을 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 제2 미디어들에 기반하여, 상기 제2 미디어들의 하나 이상의 FoV들과 상이한 FoV를 포함하고, 상기 이벤트를 포함하는 제3 미디어를 획득하도록, 구성될 수 있다. 상기 프로세서는, 상기 메모리 내에, 상기 복수의 외부 전자 장치들 중 적어도 하나에 의해 액세스가능한(accessible) 상태에 기반하여, 상기 제3 미디어를 저장하도록, 구성될 수 있다.
일 실시예에 따른, 전자 장치의 방법은, 상기 전자 장치의 통신 회로에 기반하여, 복수의 외부 전자 장치들로부터, 일 영역에 대한 제1 미디어들, 및 상기 제1 미디어들에 대응하는 메타 데이터를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 메타 데이터에 기반하여, 상기 제1 미디어들 중에서, 상기 영역 내에서 발생된 이벤트가 포함된 제2 미디어들을 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 제2 미디어들에 기반하여, 상기 제2 미디어들의 하나 이상의 FoV들(field-of-views)과 상이한 FoV를 포함하고, 상기 이벤트를 포함하는 제3 미디어를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 전자 장치의 메모리 내에, 상기 복수의 외부 전자 장치들 중 적어도 하나에 의해 액세스가능한(accessible) 상태에 기반하여, 상기 제3 미디어를 저장하는 동작을 포함할 수 있다.
도 1은, 서버를 통해 메타버스 서비스를 제공받는 제1 실시예 환경에 대한 예시도이다.
도 2는 사용자 단말들 및 제2 단말의 직접 연결을 통해 메타버스 서비스를 제공받는 제2 실시예 환경에 대한 예시도이다.
도 3a는, 일 실시예에 따른, 웨어러블 장치의 사시도(prospective view)의 일 예를 도시한다.
도 3b는, 일 실시예에 따른, 웨어러블 장치 내에 배치된 하나 이상의 하드웨어들의 일 예를 도시한다.
도 4a 내지 도 4b는, 일 실시예에 따른, 웨어러블 장치의 외관의 일 예를 도시한다.
도 5는, 일 실시예에 따른, 웨어러블 장치가, 웨어러블 장치의 위치에 기반하여 카메라를 제어하는 동작의 일 예를 도시한다.
도 6은, 일 실시예에 따른, 웨어러블 장치, 및 웨어러블 장치에 연결된 서버의 블록도이다.
도 7은, 일 실시예에 따른, 웨어러블 장치가 미디어의 레코딩에 이용되는 위치를 획득하는 동작의 일 예를 도시한다.
도 8은, 일 실시예에 따른, 웨어러블 장치가, 웨어러블 장치의 이동에 기반하여 수행하는 동작의 일 예를 도시한다.
도 9는, 일 실시예에 따른, 웨어러블 장치들에 연결된 서버가, 상기 웨어러블 장치들로부터 수신된 미디어들을 처리하는 동작의 일 예를 도시한다.
도 10은, 일 실시예에 따른, 웨어러블 장치가 지정된 위치에서 캡쳐된 미디어들의 리스트를 표시하는 동작의 일 예를 도시한다.
도 11은, 일 실시예에 따른, 웨어러블 장치가 지정된 위치에서 캡쳐된 미디어들의 리스트를 표시하는 동작의 일 예를 도시한다.
도 12는, 일 실시예에 따른, 웨어러블 장치에 대한 흐름도의 일 예를 도시한다.
도 13은, 일 실시예에 따른, 전자 장치에 대한 흐름도의 일 예를 도시한다.
도 14는, 일 실시예에 따른, 전자 장치에 대한 흐름도의 일 예를 도시한다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 설명된다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
메타버스는 '가상', '초월' 을 뜻하는 영어 단어 '메타'(Meta)와 우주를 뜻하는 '유니버스'(Universe)의 합성어로, 현실세계와 같은 사회·경제·문화 활동이 이뤄지는 3차원의 가상세계를 가리킨다. 메타버스는 가상현실(VR(virtual reality), 컴퓨터로 만들어 놓은 가상의 세계에서 사람이 실제와 같은 체험을 할 수 있도록 하는 최첨단 기술)보다 한 단계 더 진화한 개념으로, 아바타를 활용해 단지 게임이나 가상현실을 즐기는 데 그치지 않고 실제 현실과 같은 사회·문화적 활동을 할 수 있다는 특징이 있다.
이와 같은 메타버스 서비스는 적어도 2가지 형태로 제공될 수 있다. 첫번째는 서버를 이용하여 사용자에게 서비스가 제공되는 것이고, 두번째는 사용자 간의 개별 접촉을 통해 서비스가 제공되는 것이다. "메타버스" 용어의 언급은 상기 용어의 어느 알려진 상업적 이용에 제한되지 않는다.
도 1은 서버(110)를 통해 메타버스 서비스를 제공받는 제 1 실시예 환경(101)에 대한 예시도이다.
도 1을 보면, 제 1 실시예 환경(101)은, 메타버스 서비스를 제공하는 서버(110), 서버(110)와 각각의 사용자 단말(예, 제1 단말(120-1), 및 제2 단말(120-2)을 포함하는 사용자 단말(120))을 연결하는 네트워크(예, AP(access point), 및/또는 기지국을 포함하는 적어도 하나의 중간 노드(130)에 의해 형성된 네트워크), 네트워크를 통해 서버로 접속하여 사용자에게 메타버스 서비스에 입출력을 함으로써 서비스를 이용하게 하는 사용자 단말로 구성된다.
이 때, 서버(110)는 가상 공간을 제공하여 사용자 단말(120)이 가상 공간에서 활동을 할 수 있도록 한다. 또한, 사용자 단말(120)은, 서버(110)가 사용자에게 제공하는 정보를 표현하거나, 사용자가 가상 공간에서 표현하고자 하는 정보를 서버로 전송하기 위하여, 서버(110)에 의해 제공된 가상 공간에 접속하기 위한 S/W 에이전트를 포함할 수 있다. 예를 들어, S/W 에이전트는, 사용자가 가상 공간을 보거나, 가상 공간에 포함된 하나 이상의 가상 객체들을 선택, 추가, 또는 삭제하는 것을 가능하게 하는 뷰 포탈을 제공할 수 있다.
상기 S/W 에이전트는 서버(110)를 통해서 직접 제공받거나, 공용 서버로부터 다운로드받거나, 단말 구매시에 임베딩(embedded)되어 제공될 수 있다.
도 2는 사용자 단말들(예, 제1 단말(120-1) 및 제2 단말(120-2))의 직접 연결을 통해 메타버스 서비스를 제공받는 제 2 실시예 환경(102)에 대한 예시도이다.
도 2를 보면, 제 2 실시예 환경(102)은, 메타버스 서비스를 제공하는 제 1 단말(120-1), 각각의 사용자 단말을 연결하는 네트워크(예, 적어도 하나의 중간 노드(130)에 의해 형성된 네트워크), 네트워크를 통해 제 1 단말(120-1)과 접속하여 제 2 사용자에게 메타버스 서비스에 입출력을 함으로써 서비스를 이용하게 하는 제 2 단말(120-2)로 구성된다.
제 2 실시예는 제 1 실시예에서 서버(예, 도 1의 서버(110))의 역할을 제 1 단말(120-1)이 수행함으로써 메타버스 서비스를 제공하는 것을 특징으로 한다. 즉, 디바이스와 디바이스의 연결만으로 메타버스 환경을 구성할 수 있음을 알 수 있다.
제 1 실시예와 제 2 실시예에서, 사용자 단말(120)(혹은 제 1 단말(120-1), 제 2 단말(120-2)을 포함하는 사용자 단말(120))은 다양한 폼팩터로 만들어질 수 있으며, 사용자에게 영상 또는/및 소리를 제공하는 출력 장치와 메타버스 서비스에 정보를 입력하기 위한 입력 장치를 포함하는 것을 특징으로 한다. 사용자 단말(120)의 다양한 폼팩터를 예시하면, 스마트폰(예, 제2 단말(120-2)), AR 기기(예, 제1 단말(120-1)), VR(virtual reality) 기기, MR(mixed reality) 기기, VST(video see through) 기기, 입출력 가능한 TV 또는 프로젝터, 또는 통상의 기술자에게 알려진 다른 적합한 디바이스를 포함할 수 있다.
본 발명의 네트워크(예, 적어도 하나의 중간 노드(130)에 의해 형성된 네트워크)는 3G, 4G, 5G를 포함하는 다양한 광대역 네트워크와 WiFi(wireless fidelity), BT(bluetooth)를 포함하는 근거리 네트워크(예, 제1 단말(120-1), 및 제2 단말(120-2)을 직접적으로 연결하는 유선 네트워크 또는 무선 네트워크)를 다 포함한다.
도 3a는, 일 실시예에 따른, 웨어러블 장치(300)의 사시도(prospective view)의 일 예를 도시한다. 도 3b는, 일 실시예에 따른, 웨어러블 장치(300) 내에 배치된 하나 이상의 하드웨어들의 일 예를 도시한다. 도 3a 내지 도 3b의 웨어러블 장치(300)는, 도 1 내지 도 2의 제1 단말(120-1)을 포함할 수 있다. 도 3a의 도시 내에서(as shown in), 일 실시예에 따른, 웨어러블 장치(300)는, 적어도 하나의 디스플레이(350), 및 적어도 하나의 디스플레이(350)를 지지하는 프레임을 포함할 수 있다. 하나 이상의 예시들에서, 디스플레이(350)는 사용자의 시선(line of eyesight)에 대응하여 위치될 수 있다.
일 실시예에 따른, 웨어러블 장치(300)는 사용자의 신체의 일부 상에 착용될 수 있다. 웨어러블 장치(300)는, 웨어러블 장치(300)를 착용한 사용자에게, 증강 현실(augmented reality, AR), 가상 현실(virtual reality, VR), 또는 증강 현실과 가상 현실을 혼합한 혼합 현실(mixed reality, MR)을 제공할 수 있다. 예를 들면, 웨어러블 장치(300)는, 도 3b의 동작 인식 카메라(340-2)를 통해 획득된 사용자의 지정된 제스처에 응답하여, 적어도 하나의 디스플레이(350)를 통하여 사용자에게 가상 현실 영상을 출력할 수 있다.
일 실시예에 따른, 웨어러블 장치(300) 내 적어도 하나의 디스플레이(350)는, 사용자에게 시각 정보를 제공할 수 있다. 예를 들면, 적어도 하나의 디스플레이(350)는, 투명 또는 반투명한 렌즈를 포함할 수 있다. 적어도 하나의 디스플레이(350)는, 제1 디스플레이(350-1) 및/또는 제1 디스플레이(350-1)로부터 이격된 제2 디스플레이(350-2)를 포함할 수 있다. 예를 들면, 제1 디스플레이(350-1), 및 제2 디스플레이(350-2)는, 사용자의 좌안과 우안에 각각 대응되는 위치에 배치될 수 있다. 제1 디스플레이(350-1), 및 제2 디스플레이(350-2)는, 복제 이미지들을 표시하거나, 또는 상이한 이미지들을 표시할 수 있다.
도 3b를 참조하면, 적어도 하나의 디스플레이(350)는, 렌즈 상에 표시 영역을 형성하여, 웨어러블 장치(300)를 착용한 사용자에게, 렌즈를 통과하는 외부 광에 포함된 시각적 정보와 함께, 상기 시각적 정보와 구별되는, 다른 시각적 정보를 제공할 수 있다. 상기 렌즈는, 프레넬(fresnel) 렌즈, 팬케이크(pancake) 렌즈, 또는 멀티-채널 렌즈 중 적어도 하나에 기반하여 형성될 수 있다. 적어도 하나의 디스플레이(350)에 의해 형성된 표시 영역은, 렌즈의 제1 면(331), 및 제2 면(332) 중 제2 면(332) 상에 형성될 수 있다. 사용자가 웨어러블 장치(300)를 착용하였을 때, 외부 광은 제1 면(331)으로 입사되고, 제2 면(332)을 통해 투과됨으로써, 사용자에게 전달될 수 있다. 다른 예를 들면, 적어도 하나의 디스플레이(350)는, 외부 광을 통해 전달되는 현실 화면에 결합될 가상 현실 영상을 표시할 수 있다. 예를 들어, 네비게이션 어플리케이션이 사용되는 경우, 방향들(예, 화살표, 마커 등)이, 사용자가 현재 보고 있는 실제 세계의 객체들 상에 중첩될 수 있다. 적어도 하나의 디스플레이(350)로부터 출력된 상기 가상 현실 영상은, 웨어러블 장치(300)에 포함된 하나 이상의 하드웨어(예, 광학 장치들(382, 384), 및/또는 적어도 하나의 웨이브가이드들(waveguides)(333, 334))를 통하여, 사용자의 눈으로 송신될 수 있다.
일 실시예에 따른, 웨어러블 장치(300)는 적어도 하나의 디스플레이(350)로부터 송신되고, 광학 장치들(382, 384)에 의해 릴레이된 광을 회절시켜, 사용자에게 전달하는, 웨이브가이드들(333, 334)을 포함할 수 있다. 웨이브가이드들(333, 334)은, 글래스, 플라스틱, 또는 폴리머 중 적어도 하나에 기반하여 형성될 수 있다. 웨이브가이드들(333, 334)의 외부, 또는 내부의 적어도 일부분에, 나노 패턴이 형성될 수 있다. 상기 나노 패턴은, 다각형, 및/또는 곡면 형상의 격자 구조(grating structure)에 기반하여 형성될 수 있다. 웨이브가이드들(333, 334)의 일 단으로 입사된 광은, 상기 나노 패턴에 의해 웨이브가이드들(333, 334)의 타 단으로 전파될 수 있다. 웨이브가이드들(333, 334)은 적어도 하나의 회절 요소(예: DOE(diffractive optical element), HOE(holographic optical element)), 반사 요소(예: 반사 거울) 중 적어도 하나를 포함할 수 있다. 예를 들어, 웨이브가이드들(333, 334)은, 적어도 하나의 디스플레이(350)에 의해 표시되는 화면을, 사용자의 눈으로 가이드하기 위하여, 웨어러블 장치(300) 내에 배치될 수 있다. 예를 들어, 상기 화면은, 웨이브가이드들(333, 334) 내에서 발생되는 전반사(total internal reflection, TIR)에 기반하여, 사용자의 눈으로 송신될 수 있다.
일 실시예에 따른, 웨어러블 장치(300)는, 촬영 카메라(340-1)를 통해 수집된 현실 영상에 포함된 오브젝트(object)를 분석하고, 분석된 오브젝트 중에서 증강 현실 제공의 대상이 되는 오브젝트에 대응되는 가상 오브젝트(virtual object)를 결합하여, 적어도 하나의 디스플레이(350)에 표시할 수 있다. 가상 오브젝트는, 현실 영상에 포함된 오브젝트에 관련된 다양한 정보에 대한 텍스트, 및 이미지 중 적어도 하나를 포함할 수 있다. 예를 들어, 사용자가 가게 내에서 쇼핑을 하는 동안 아이템을 보는 경우, 사용자가 상기 아이템을 보는 동안 상기 아이템에 대한 가격 또는 정보가 상기 제1 및/또는 상기 제2 디스플레이에 표시될 수 있다. 웨어러블 장치(300)는, 스테레오 카메라와 같은 멀티-카메라에 기반하여, 오브젝트를 분석할 수 있다. 상기 오브젝트 분석을 위하여, 웨어러블 장치(300)는 멀티-카메라에 의해 지원되는, ToF(time-of-flight), 및/또는 SLAM(simultaneous localization and mapping)을 실행할 수 있다. 웨어러블 장치(300)를 착용한 사용자는, 적어도 하나의 디스플레이(350)에 표시되는 영상을 시청할 수 있다.
일 실시예에 따르면, 프레임은, 웨어러블 장치(300)가 사용자의 신체 상에 착용될 수 있는 물리적인 구조로 이루어질 수 있다. 일 실시예에 따르면, 프레임은, 사용자가 웨어러블 장치(300)를 착용하였을 때, 제1 디스플레이(350-1) 및 제2 디스플레이(350-2)가 사용자의 좌안 및 우안에 대응되는 위치할 수 있도록, 구성될 수 있다. 프레임은, 적어도 하나의 디스플레이(350)를 지지할 수 있다. 예를 들면, 프레임은, 제1 디스플레이(350-1) 및 제2 디스플레이(350-2)를 사용자의 좌안 및 우안에 대응되는 위치에 위치되도록 지지할 수 있다.
일 실시예에 따른, 도 3a를 참조하면, 프레임은, 사용자가 웨어러블 장치(300)를 착용한 경우, 적어도 일부가 사용자의 신체의 일부분과 접촉되는 영역(320)을 포함할 수 있다. 예를 들면, 프레임의 사용자의 신체의 일부분과 접촉되는 영역(320)은, 웨어러블 장치(300)가 접하는 사용자의 코의 일부분, 사용자의 귀의 일부분 및 사용자의 얼굴의 측면 일부분과 접촉하는 영역을 포함할 수 있다. 일 실시예에 따르면, 프레임은, 사용자의 신체의 일부 상에 접촉되는 노즈 패드(310)를 포함할 수 있다. 웨어러블 장치(300)가 사용자에 의해 착용될 시, 노즈 패드(310)는, 사용자의 코의 일부 상에 접촉될 수 있다. 프레임은, 상기 사용자의 신체의 일부와 구별되는 사용자의 신체의 다른 일부 상에 접촉되는 제1 템플(temple)(304) 및 제2 템플(305)을 포함할 수 있다. 하나 이상의 예시들에서, 프레임은 사용자의 이마 상에 위치될 수 있고, 상기 제1 및 상기 제2 디스플레이는 사용자의 코에 접촉되지 않으면서 사용자의 눈을 향하여 아래로 투영(projected downward)될 수 있다.
일 실시예에서, 프레임은, 제1 디스플레이(350-1)의 적어도 일부를 감싸는 제1 림(rim)(301), 제2 디스플레이(350-2)의 적어도 일부를 감싸는 제2 림(302), 제1 림(301)과 제2 림(302) 사이에 배치되는 브릿지(bridge)(303), 브릿지(303)의 일단으로부터 제1 림(301)의 가장자리 일부를 따라 배치되는 제1 패드(311), 브릿지(303)의 타단으로부터 제2 림(302)의 가장자리 일부를 따라 배치되는 제2 패드(312), 제1 림(301)으로부터 연장되어 착용자의 귀의 일부분에 고정되는 제1 템플(304), 및 제2 림(302)으로부터 연장되어 상기 귀의 반대측 귀의 일부분에 고정되는 제2 템플(305)을 포함할 수 있다. 제1 패드(311), 및 제2 패드(312)는, 사용자의 코의 일부분과 접촉될 수 있고, 제1 템플(304) 및 제2 템플(305)은, 사용자의 안면의 일부분 및 귀의 일부분과 접촉될 수 있다. 템플들(304, 305)은, 도 3b의 힌지 유닛들(306, 307)을 통해 림과 회전 가능하게(rotatably) 연결될 수 있다. 제1 템플(304)은, 제1 림(301)과 제1 템플(304)의 사이에 배치된 제1 힌지 유닛(306)을 통해, 제1 림(301)에 대하여 회전 가능하게 연결될 수 있다. 제2 템플(305)은, 제2 림(302)과 제2 템플(305)의 사이에 배치된 제2 힌지 유닛(307)을 통해 제2 림(302)에 대하여 회전 가능하게 연결될 수 있다. 일 실시예에 따른, 웨어러블 장치(300)는 프레임의 표면의 적어도 일부분 상에 형성된, 터치 센서, 그립 센서, 및/또는 근접 센서를 이용하여, 프레임을 터치하는 외부 객체(예, 사용자의 손끝(fingertip)), 및/또는 상기 외부 객체에 의해 수행된 제스쳐를 식별할 수 있다.
일 실시예에 따르면, 웨어러블 장치(300)는, 다양한 기능들을 수행하는 하드웨어들(예, 도 6의 블록도에 기반하여 상술된 하드웨어들)을 포함할 수 있다. 예를 들면, 상기 하드웨어들은, 배터리 모듈(370), 안테나 모듈(375), 광학 장치들(382, 384), 스피커들(392-1, 392-2), 마이크들(394-1, 394-2, 394-3), 발광 모듈, 및/또는 인쇄 회로 기판(390)을 포함할 수 있다. 다양한 하드웨어들은, 프레임 내에 배치될 수 있다.
일 실시예에 따른, 웨어러블 장치(300)의 마이크들(394-1, 394-2, 394-3)은, 프레임의 적어도 일부분에 배치되어, 소리 신호를 획득할 수 있다. 노즈 패드(310) 상에 배치된 제1 마이크(394-1), 제2 림(302) 상에 배치된 제2 마이크(394-2), 및 제1 림(301) 상에 배치된 제3 마이크(394-3)가 도 3b 내에 도시되지만, 마이크(394)의 개수, 및 배치가 도 3b의 일 실시예에 제한되는 것은 아니다. 웨어러블 장치(300) 내에 포함된 마이크(394)의 개수가 두 개 이상인 경우, 웨어러블 장치(300)는 프레임의 상이한 부분들 상에 배치된 복수의 마이크들을 이용하여, 소리 신호의 방향을 식별할 수 있다.
일 실시예에 따르면, 광학 장치들(382, 384)은, 적어도 하나의 디스플레이(350)로부터 송신된 가상 오브젝트를, 웨이브 가이드들(333, 334)로 송신할 수 있다. 예를 들면, 광학 장치들(382, 384)은, 프로젝터일 수 있다. 광학 장치들(382, 384)은, 적어도 하나의 디스플레이(350)에 인접하여 배치되거나, 적어도 하나의 디스플레이(350)의 일부로써, 적어도 하나의 디스플레이(350) 내에 포함될 수 있다. 제1 광학 장치(382)는, 제1 디스플레이(350-1)에 대응하고, 제2 광학 장치(384)는, 제2 디스플레이(350-2)에 대응할 수 있다. 제1 광학 장치(382)는, 제1 디스플레이(350-1)로부터 출력된 광을, 제1 웨이브가이드(333)로 송출할 수 있고, 제2 광학 장치(384)는, 제2 디스플레이(350-2)로부터 출력된 광을, 제2 웨이브가이드(334)로 송출할 수 있다.
일 실시예에서, 카메라(340)는, 시선 추적 카메라(eye tracking camera, ET CAM)(340-1), 동작 인식 카메라(340-2), 및/또는 촬영 카메라(340-3)를 포함할 수 있다. 촬영 카메라(340-3), 시선 추적 카메라(340-1) 및 동작 인식 카메라(340-2)는, 프레임 상에서 서로 다른 위치에 배치될 수 있고, 서로 다른 기능을 수행할 수 있다. 시선 추적 카메라(340-1)는, 웨어러블 장치(300)를 착용한 사용자의 시선(gaze)을 나타내는 데이터를 출력할 수 있다. 예를 들어, 웨어러블 장치(300)는 시선 추적 카메라(340-1)를 통하여 획득될 수 있는, 사용자의 눈동자가 포함된 이미지로부터, 상기 시선을 탐지할 수 있다. 시선 추적 카메라(340-1)가 사용자의 우측 눈을 향하여 배치된 일 예가 도 3b 내에 도시된다. 통상의 기술자에 의해 이해되는 바와 같이, 본 개시는 이러한 구성들에 제한되는 것은 아니며, 시선 추적 카메라(340-1)는, 사용자의 좌측 눈을 향하여 단독으로 배치되거나, 또는 양 눈들 전부를 향하여 배치될 수 있다.
일 실시예에서, 촬영 카메라(340-3)는, 증강 현실 또는 혼합 현실 콘텐츠를 구현하기 위해서 가상의 이미지와 정합될 실제의 이미지나 배경을 촬영할 수 있다. 촬영 카메라는, 사용자가 바라보는 위치에 존재하는 특정 사물의 이미지를 촬영하고, 그 이미지를 적어도 하나의 디스플레이(350)로 제공할 수 있다. 적어도 하나의 디스플레이(350)는, 촬영 카메라를 이용해 획득된 상기 특정 사물의 이미지를 포함하는 실제의 이미지나 배경에 관한 정보와, 광학 장치들(382, 384)을 통해 제공되는 가상 이미지가 겹쳐진 하나의 영상을 표시할 수 있다. 일 실시예에서, 촬영 카메라는, 제1 림(301) 및 제2 림(302) 사이에 배치되는 브릿지(303) 상에 배치될 수 있다.
일 실시예에서, 시선 추적 카메라(340-1)는, 웨어러블 장치(300)를 착용한 사용자의 시선(gaze)을 추적함으로써, 사용자의 시선과 적어도 하나의 디스플레이(350)에 제공되는 시각 정보를 일치시켜 보다 현실적인 증강 현실을 구현할 수 있다. 예를 들어, 웨어러블 장치(300)는, 사용자가 정면을 바라볼 때, 사용자가 위치한 장소에서 사용자의 정면에 관련된 환경 정보를 자연스럽게 적어도 하나의 디스플레이(350)에 표시할 수 있다. 시선 추적 카메라(340-1)는, 사용자의 시선을 결정하기 위하여, 사용자의 동공의 이미지를 캡쳐하도록, 구성될 수 있다. 예를 들면, 시선 추적 카메라(340-1)는, 사용자의 동공에서 반사된 시선 검출 광을 수신하고, 수신된 시선 검출 광의 위치 및 움직임에 기반하여, 사용자의 시선을 추적할 수 있다. 일 실시예에서, 시선 추적 카메라(340-1)는, 사용자의 좌안과 우안에 대응되는 위치에 배치될 수 있다. 예를 들면, 시선 추적 카메라(340-1)는, 제1 림(301) 및/또는 제2 림(302) 내에서, 웨어러블 장치(300)를 착용한 사용자가 위치하는 방향을 향하도록 배치될 수 있다.
일 실시예에서, 동작 인식 카메라(340-2)는, 사용자의 몸통, 손, 또는 얼굴과 같은 사용자의 신체 전체 또는 일부의 움직임을 인식함으로써, 적어도 하나의 디스플레이(350)에 제공되는 화면에 특정 이벤트를 제공할 수 있다. 동작 인식 카메라(340-2)는, 사용자의 동작을 인식(gesture recognition)하여 상기 동작에 대응되는 신호를 획득하고, 상기 신호에 대응되는 표시를 적어도 하나의 디스플레이(350)에 제공할 수 있다. 프로세서는, 상기 동작에 대응되는 신호를 식별하고, 상기 식별에 기반하여, 지정된 기능을 수행할 수 있다. 일 실시예에서, 동작 인식 카메라(340-2)는, 제1 림(301) 및/또는 제2 림(302)상에 배치될 수 있다.
일 실시예에서, 웨어러블 장치(300) 내에 포함된 카메라(340)는, 상술된 시선 추적 카메라(340-1), 동작 인식 카메라(340-2)에 제한되지 않는다. 예를 들어, 웨어러블 장치(300)는 사용자의 FoV를 향하여 배치된 촬영 카메라(340-3)를 이용하여, 상기 FoV 내에 포함된 외부 객체를 식별할 수 있다. 웨어러블 장치(300)가 외부 객체를 식별하는 것은, 깊이 센서, 및/또는 ToF(time of flight) 센서와 같이, 웨어러블 장치(300), 및 외부 객체 사이의 거리를 식별하기 위한 센서에 기반하여 수행될 수 있다. 상기 FoV를 향하여 배치된 상기 카메라(340)는, 오토포커스 기능, 및/또는 OIS(optical image stabilization) 기능을 지원할 수 있다. 예를 들어, 웨어러블 장치(300)는, 웨어러블 장치(300)를 착용한 사용자의 얼굴을 포함하는 이미지를 획득하기 위하여, 상기 얼굴을 향하여 배치된 카메라(340)(예, FT(face tracking) 카메라)를 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(300)는, 카메라(340)를 이용하여 촬영되는 피사체(예, 사용자의 눈, 얼굴, 및/또는 FoV 내 외부 객체)를 향하여 빛을 방사하는 광원(예, LED)을 더 포함할 수 있다. 상기 광원은 적외선 파장의 LED를 포함할 수 있다. 상기 광원은, 프레임, 힌지 유닛들(306, 307) 중 적어도 하나에 배치될 수 있다.
일 실시예에 따르면, 배터리 모듈(370)은, 웨어러블 장치(300)의 전자 부품들에 전력을 공급할 수 있다. 일 실시예에서, 배터리 모듈(370)은, 제1 템플(304) 및/또는 제2 템플(305) 내에 배치될 수 있다. 예를 들면, 배터리 모듈(370)은, 복수의 배터리 모듈(370)들일 수 있다. 복수의 배터리 모듈(370)들은, 각각 제1 템플(304)과 제2 템플(305) 각각에 배치될 수 있다. 일 실시예에서, 배터리 모듈(370)은 제1 템플(304) 및/또는 제2 템플(305)의 단부에 배치될 수 있다.
일 실시예에서, 안테나 모듈(375)은, 신호 또는 전력을 웨어러블 장치(300)의 외부로 송신하거나, 외부로부터 신호 또는 전력을 수신할 수 있다. 안테나 모듈(375)은, 웨어러블 장치(300) 내 통신 회로(예, 도 6을 참고하여 후술되는 통신 회로(650))와 전기적으로, 및/또는 작동적으로 연결될 수 있다. 일 실시예에서, 안테나 모듈(375)은, 제1 템플(304) 및/또는 제2 템플(305) 내에 배치될 수 있다. 예를 들면, 안테나 모듈(375)은, 제1 템플(304), 및/또는 제2 템플(305)의 일면에 가깝게 배치될 수 있다.
일 실시예에서, 스피커들(392-1, 392-2)은, 음향 신호를 웨어러블 장치(300)의 외부로 출력할 수 있다. 음향 출력 모듈은, 스피커로 참조될 수 있다. 일 실시예에서, 스피커들(392-1, 392-2)은, 웨어러블 장치(300)를 착용한 사용자의 귀에 인접하게 배치되기 위하여, 제1 템플(304), 및/또는 제2 템플(305) 내에 배치될 수 있다. 예를 들면, 웨어러블 장치(300)는, 제1 템플(304) 내에 배치됨으로써 사용자의 좌측 귀에 인접하게 배치되는, 제2 스피커(392-2), 및 제2 템플(305) 내에 배치됨으로써 사용자의 우측 귀에 인접하게 배치되는, 제1 스피커(392-1)를 포함할 수 있다.
일 실시예에서, 발광 모듈은, 적어도 하나의 발광 소자를 포함할 수 있다. 발광 모듈은, 웨어러블 장치(300)의 특정 상태에 관한 정보를 사용자에게 시각적으로 제공하기 위하여, 특정 상태에 대응되는 색상의 빛을 방출하거나, 특정 상태에 대응되는 동작으로 빛을 방출할 수 있다. 예를 들면, 웨어러블 장치(300)가, 충전이 필요한 경우, 적색 광의 빛을 지정된 시점에 반복적으로 방출할 수 있다. 일 실시예에서, 발광 모듈은, 제1 림(301) 및/또는 제2 림(302) 상에 배치될 수 있다.
도 3b를 참고하면, 일 실시예에 따른, 웨어러블 장치(300)는 PCB(printed circuit board)(390)을 포함할 수 있다. PCB(390)는, 제1 템플(304), 또는 제2 템플(305) 중 적어도 하나에 포함될 수 있다. PCB(390)는, 적어도 두 개의 서브 PCB들 사이에 배치된 인터포저를 포함할 수 있다. PCB(390) 상에서, 웨어러블 장치(300)에 포함된 하나 이상의 하드웨어들(예, 도 6을 참고하여 후술되는 블록들에 의하여 도시된 하드웨어들)이 배치될 수 있다. 웨어러블 장치(300)는, 상기 하드웨어들을 상호연결하기 위한, FPCB(flexible PCB)를 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(300)는, 웨어러블 장치(300)의 자세, 및/또는 웨어러블 장치(300)를 착용한 사용자의 신체 부위(예, 머리)의 자세를 탐지하기 위한 자이로 센서, 중력 센서, 및/또는 가속도 센서 중 적어도 하나를 포함할 수 있다. 중력 센서, 및 가속도 센서 각각은, 서로 수직인 지정된 3차원 축들(예, x축, y축 및 z축)에 기반하여 중력 가속도, 및/또는 가속도를 측정할 수 있다. 자이로 센서는 지정된 3차원 축들(예, x축, y축 및 z축) 각각의 각속도를 측정할 수 있다. 상기 중력 센서, 상기 가속도 센서, 및 상기 자이로 센서 중 적어도 하나가, IMU(inertial measurement unit)로 참조될 수 있다. 일 실시예에 따른, 웨어러블 장치(300)는 IMU에 기반하여 웨어러블 장치(300)의 특정 기능을 실행하거나, 또는 중단하기 위해 수행된 사용자의 모션, 및/또는 제스쳐를 식별할 수 있다.
도 4a 내지 도 4b는, 일 실시예에 따른, 웨어러블 장치(400)의 외관의 일 예를 도시한다. 도 4a 내지 도 4b의 웨어러블 장치(400)는, 도 1 내지 도 2의 제1 단말(120-1)을 포함할 수 있다. 일 실시예에 따른, 웨어러블 장치(400)의 하우징의 제1 면(410)의 외관의 일 예가 도 4a에 도시되고, 상기 제1 면(410)의 반대되는(opposite to) 제2 면(420)의 외관의 일 예가 도 4b에 도시될 수 있다.
도 4a를 참고하면, 일 실시예에 따른, 웨어러블 장치(400)의 제1 면(410)은, 사용자의 신체 부위(예, 상기 사용자의 얼굴) 상에 부착가능한(attachable) 형태를 가질 수 있다. 하나 이상의 예시들에서, 웨어러블 장치(400)는, 사용자의 신체 부위 상에 고정되기 위한 스트랩, 및/또는 하나 이상의 템플들(예, 도 3a 내지 도 3b의 제1 템플(304), 및/또는 제2 템플(305))을 더 포함할 수 있다. 사용자의 양 눈들 중에서 좌측 눈으로 이미지를 출력하기 위한 제1 디스플레이(350-1), 및 상기 양 눈들 중에서 우측 눈으로 이미지를 출력하기 위한 제2 디스플레이(350-2)가 제1 면(410) 상에 배치될 수 있다. 웨어러블 장치(400)는 제1 면(410) 상에 형성되고, 상기 제1 디스플레이(350-1), 및 상기 제2 디스플레이(350-2)로부터 방사되는 광과 상이한 광(예, 외부 광(ambient light))에 의한 간섭을 방지하기 위한, 고무, 또는 실리콘 패킹(packing)을 더 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(400)는, 상기 제1 디스플레이(350-1), 및 상기 제2 디스플레이(350-2) 각각에 인접한 사용자의 양 눈들을 촬영, 및/또는 추적하기 위한 카메라들(440-1, 440-2)을 포함할 수 있다. 상기 카메라들(440-1, 440-2)은, ET 카메라로 참조될 수 있다. 일 실시예에 따른, 웨어러블 장치(400)는, 사용자의 얼굴을 촬영, 및/또는 인식하기 위한 카메라들(440-3, 440-4)을 포함할 수 있다. 상기 카메라들(440-3, 440-4)은, FT 카메라로 참조될 수 있다.
도 4b를 참고하면, 도 4a의 제1 면(410)과 반대되는 제2 면(420) 상에, 웨어러블 장치(400)의 외부 환경과 관련된 정보를 획득하기 위한 카메라(예, 카메라들(440-5, 440-6, 440-7, 440-8, 440-9, 440-10)), 및/또는 센서(예, 깊이 센서(430))가 배치될 수 있다. 예를 들어, 카메라들(440-5, 440-6, 440-7, 440-8, 440-9, 440-10)은, 웨어러블 장치(400)와 상이한 외부 객체를 인식하기 위하여, 제2 면(420) 상에 배치될 수 있다. 예를 들어, 카메라들(440-9, 440-10)을 이용하여, 웨어러블 장치(400)는 사용자의 양 눈들 각각으로 송신될 이미지, 및/또는 미디어를 획득할 수 있다. 카메라(440-9)는, 상기 양 눈들 중에서 우측 눈에 대응하는 제2 디스플레이(350-2)를 통해 표시될 이미지를 획득하도록, 웨어러블 장치(400)의 제2 면(420) 상에 배치될 수 있다. 카메라(440-10)는, 상기 양 눈들 중에서 좌측 눈에 대응하는 제1 디스플레이(350-1)를 통해 표시될 이미지를 획득하도록, 웨어러블 장치(400)의제2 면(420) 상에 배치될 수 있다.
일 실시예에 따른, 웨어러블 장치(400)는, 웨어러블 장치(400), 및 외부 객체 사이의 거리를 식별하기 위하여 제2 면(420) 상에 배치된 깊이 센서(430)를 포함할 수 있다. 깊이 센서(430)를 이용하여, 웨어러블 장치(400)는, 웨어러블 장치(400)를 착용한 사용자의 FoV의 적어도 일부분에 대한 공간 정보(spatial information)(예, 깊이 맵(depth map))를 획득할 수 있다.
하나 이상의 예시들에서, 웨어러블 장치(400)의 제2 면(420) 상에, 외부 객체로부터 출력된 소리를 획득하기 위한 마이크가 배치될 수 있다. 마이크의 개수는, 실시예에 따라 하나 이상일 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(400)는 사용자의 머리에 착용되기 위한 폼 팩터를 가질 수 있다. 웨어러블 장치(400)는, 상기 머리에 착용된 상태 내에서, 증강 현실, 가상 현실, 및/또는 혼합 현실에 기반하는 사용자 경험을 제공할 수 있다. 외부 공간에 대한 미디어를 획득하기 위한 카메라들(440-5, 440-6, 440-7, 440-8, 440-9, 440-10)을 이용하여, 웨어러블 장치(400), 및 웨어러블 장치(400)에 연결된 서버(예, 도 1의 서버(110))는 사용자에 의해 선택된 위치(location), 및/또는 장소(place)의 미디어를 제공하는 주문형 서비스, 및/또는 메타버스 서비스를 제공할 수 있다.
이하에서는, 도 5의 일 실시예를 참고하여, 도 3a 내지 도 3b의 웨어러블 장치(300), 및/또는 도 4a 내지 도 4b의 웨어러블 장치(400)를 포함하는 웨어러블 장치(예, 도 1 내지 도 2의 제1 단말(120-1))가, 특정(specific) 위치, 및/또는 특정 장소에 대한 미디어를 레코딩하는 동작의 일 예를 설명한다.
도 5는, 일 실시예에 따른, 웨어러블 장치(520)가, 웨어러블 장치(520)의 위치에 기반하여 카메라를 제어하는 동작의 일 예를 도시한다. 도 5의 웨어러블 장치(520)는, 도 1 내지 도 2의 제1 단말(120-1), 도 3a 내지 도 3b의 웨어러블 장치(300), 및/또는 도 4a 내지 도 4b의 웨어러블 장치(400)를 포함할 수 있다. 예를 들어, 웨어러블 장치(520)는, 사용자(530)의 머리에 착용 가능한(wearable on) HMD(head-mounted display)를 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(520)는, 사용자(530)에 의해 착용된 상태 내에서, 사용자(530)의 전방을 향하여 배치된 카메라(예, 도 3b의 촬영 카메라(340-3), 및/또는 도 4b의 카메라들(440-9, 440-10))를 포함할 수 있다. 사용자(530)의 전방은, 사용자(530)의 머리, 및/또는 상기 머리에 포함된 두 눈들이 향하는 방향을 포함할 수 있다. 웨어러블 장치(520)를 착용한 사용자(530)에게 AR, VR, 및/또는 MR에 기반하는 UI(user interface)를 제공하기 위하여, 웨어러블 장치(520)는 상기 카메라를 제어할 수 있다. 상기 UI는, 웨어러블 장치(520), 및/또는 웨어러블 장치(520)에 연결된 서버(110)에 의해 제공되는 메타버스 서비스와 관련될 수 있다.
일 실시예에 따른, 서버(110)는, 웨어러블 장치(520)를 포함하는 복수의 전자 장치들(예, 도 1 내지 도 2의 사용자 단말(120))로부터, 상이한 시간, 및/또는 상이한 위치 내에서 획득된 미디어들을 수신할 수 있다. 미디어는, 비디오, 사진과 같은 이미지, 오디오, 또는 이들의 조합(or a combination thereof)를 포함할 수 있다. 상기 미디어는, 실제 세계 객체들 상에 중첩될 수 있다. 서버(110)는, 수신된 미디어들에 기반하여, 특정 위치, 및/또는 특정 이벤트에 대한 주문형 비디오(video on demand, VOD) 서비스를 제공할 수 있다. 상기 VOD 서비스는, 서버(110)에 의해 제공되는 상기 메타버스 서비스 내에 포함될 수 있다. 도 6의 서버(110)는 도 1의 서버(110)를 포함할 수 있다. 웨어러블 장치(520), 및 서버(110) 내에 포함된 하나 이상의 하드웨어들이, 도 6을 참고하여 설명된다.
일 실시예에 따른, 웨어러블 장치(520)는 서버(110)로 송신될 미디어의 획득, 및/또는 레코딩을, 웨어러블 장치(520)의 위치에 기반하여 조건부로(conditionally) 개시할 수 있다. 예를 들어, 서버(110), 및/또는 서버(110)에 의해 제공되는 메타버스 서비스에 의해 지리적으로 특정된(geographically specified) 영역(510), 및 웨어러블 장치(520)의 위치를 비교하여, 웨어러블 장치(520)는 미디어의 레코딩을 개시할지 여부를 식별할 수 있다. 웨어러블 장치(520)는, 웨어러블 장치(520)의 위치를 모니터링하기 위한 센서(예, GPS(global positioning system) 센서)를 포함할 수 있다. 웨어러블 장치(520)는, 영역(510)을 식별하기 위한 정보를, 서버(110)로부터 수신할 수 있다. 서버(110)로부터 수신된 정보, 및 상기 센서의 데이터에 기반하여, 웨어러블 장치(520)는 카메라의 상태를 조절하거나, 및/또는 미디어의 레코딩을 수행할 수 있다.
도 5를 참고하면, 웨어러블 장치(520)의 위치와 비교되는 영역(510)의 일 예가 도시된다. 영역(510)은, 웨어러블 장치(520)에 의해 연결된 서버(110)에 의해 설정(set)될 수 있다. 서버(110)가, 서버(110)에 의해 제공되는 서비스의 가입자(예, 사용자(530))로부터 영역(510)을 설정함을 나타내는 입력을 수신하는 동작의 일 예가, 도 7을 참고하여 설명된다. 도 5를 참고하면, 원의 형태를 가지는 영역(510)이 도시되지만, 실시예가 이에 제한되는 것은 아니다. 서버(110)는, 웨어러블 장치(520)로, 영역(510)을 식별하기 위한 정보를 송신할 수 있다. 상기 정보는, 영역(510)의 중심 점을 나타내는 좌표, 및/또는 경계 선 상의 하나 이상의 지점들을 나타내는 하나 이상의 좌표들을 포함할 수 있다. 상기 정보에 포함된 상기 좌표는, 상기 좌표에 대응하는 지점의 위도, 및/또는 경도를 나타내는 수치 값들을 포함할 수 있다.
일 실시예에서, 서버(110)는, 웨어러블 장치(520)에 의한 미디어의 레코딩을 조절하기 위해 형성된 영역(510)을, 카메라를 제어하는 상이한 기능들 중 어느 기능을 수행하는지에 따라, 제1 영역(511), 및 제2 영역(512)으로 세분할(subdivide) 수 있다. 예를 들어, 제1 영역(511) 및 제2 영역(512)은, 제1 영역(511)이 제2 영역(512)을 포함하는 동심원들(concentric circles)일 수 있다. 제1 영역(511)은, 제2 영역(512)의 마진으로, 제2 영역(512)의 경계 선으로부터 지정된 거리만큼 확대된 영역일 수 있다. 제2 영역(512)을 포함하는 제1 영역(511)의 형태는, 제2 영역(512)의 형태에 종속되거나, 또는 제2 영역(512)과 상이한 형태를 가질 수 있다. 영역(510) 내에 포함된 제1 영역(511), 및 제2 영역(512) 각각의 중심들은, 서로 일치할 수 있다. 실시예가 이에 제한되는 것은 아니며, 제1 영역(511)의 중심은, 제2 영역(512)의 중심으로부터 분리될 수 있다. 제1 영역(511)은, 웨어러블 장치(520)의 카메라를 이용하여, 미디어를 레코딩할 수 있는 지정된 상태로 조절하기 위한 기능을 실행하기 위하여, 서버(110)에 의해 설정될 수 있다. 제2 영역(512)은, 웨어러블 장치(520)의 카메라를 이용하여 미디어를 레코딩하기 위한 기능을 실행하기 위하여, 서버(110)에 의해 설정될 수 있다. 일 실시예에 따른, 웨어러블 장치(520)는 영역(510), 및 센서의 데이터에 의해 식별된 웨어러블 장치(520)의 위치를 비교하여, 미디어의 레코딩과 관련된 상기 기능들 중 적어도 하나를 선택적으로 실행할 수 있다.
도 5를 참고하면, 사용자(530)가 위치 P0, 위치 P1, 및 위치 P2를 순차적으로 이동하는 예시적인 케이스가 도시된다. 하나 이상의 예시들에서, 위치 P0는, 서버(110)에 의해 설정된 영역(510)과 이격된 위치로, 예를 들어, 제1 영역(511)의 외부의 위치에 대응할 수 있다. 하나 이상의 예시들에서, 위치 P1은, 영역(510) 내 위치로, 제1 영역(511), 및 제2 영역(512) 중 제1 영역(511)의 내부의 위치될 수 있다. 하나 이상의 예시들에서, 위치 P2는 영역(510) 내 위치로, 제2 영역(512)의 내부의 위치될 수 있다. 웨어러블 장치(520)를 착용한 사용자(530)가 위치 P0, 위치 P1, 및 위치 P2를 순차적으로 이동하는 동안, 웨어러블 장치(520)는 센서를 이용하여 웨어러블 장치(520)의 위치의 변화를 식별할 수 있다.
일 실시예에서, 사용자가 위치 P0에 위치된 동안, 웨어러블 장치(520)는 센서를 이용하여 웨어러블 장치(520)의 위치를 식별할 수 있다. 제1 영역(511)의 외부에 배치된 위치 P0를 식별하거나 또는 결정한 경우, 웨어러블 장치(520)는, 제1 영역(511), 및 제2 영역(512)을 포함하는 영역(510)에 대한 미디어의 레코딩, 및 서버(110)로 업로드하기 위한 기능(또는 어플리케이션)과 독립적으로 동작할 수 있다. 예를 들어, 웨어러블 장치(520)는, 사용자(530), 및 웨어러블 장치(520) 사이의 상호작용(interaction)에 기반하여, 웨어러블 장치(520)에 설치된 하나 이상의 어플리케이션들을 실행할 수 있다.
일 실시예에서, 사용자가 위치 P0로부터, 제1 영역(511)의 경계 선을 가로질러, 제1 영역(511)의 내부의 위치 P1으로 이동하는 경우, 웨어러블 장치(520)는 센서를 이용하여, 웨어러블 장치(520)의 위치가 제1 영역(511)의 내부의 위치 P1으로 이동됨을 식별할 수 있다. 웨어러블 장치(520)의 위치 P1, 및 제1 영역(511)을 비교하여, 위치 P1이 제1 영역(511) 내에 포함됨을 식별하거나 또는 결정된 경우, 웨어러블 장치(520)는 제1 영역(511)에 매핑된 기능을 실행할 수 있다. 예를 들어, 웨어러블 장치(520)는, 웨어러블 장치(520)의 카메라의 상태를, 미디어의 레코딩을 위한 지정된 상태로 변경할 수 있다. 상기 지정된 상태는, 웨어러블 장치(520)에 의해 실행되는 상이한 어플리케이션들 중에서, 서버(110)로 업로드될 미디어를 레코딩하기 위한 특정 어플리케이션, 및 웨어러블 장치(520)의 카메라를 매칭하는 상태를 포함할 수 있다. 상기 지정된 상태는, 상기 카메라가 상기 특정 어플리케이션의 실행에 기반하여 활성화된 상태를 포함할 수 있다. 상기 특정 어플리케이션의 실행에 기반하여, 웨어러블 장치(520)를 통해 표시되는 UI의 일 예가, 도 8을 참고하여 설명된다.
일 실시예에서, 사용자가 위치 P1으로부터, 제2 영역(512)의 경계 선을 가로질러, 제2 영역(512)의 내부의 위치 P2로 이동하는 것으로 결정된 때에, 웨어러블 장치(520)는 센서를 이용하여, 웨어러블 장치(520)의 위치가 제2 영역(512)의 내부의 위치 P2로 이동됨을 식별할 수 있다. 웨어러블 장치(520)의 위치 P2가 제2 영역(512)의 내부에 포함됨을 식별하거나 또는 결정된 경우, 웨어러블 장치(520)는 제2 영역(512)에 매핑된 기능을 식별하거나 또는 결정할 수 있다. 제2 영역(512)에 매핑된 상기 기능은, 웨어러블 장치(520)의 카메라를 제어하여 미디어(540)를 레코딩하는 기능을 포함할 수 있다. 예를 들어, 제2 영역(512) 보다 큰 제1 영역(511)에 매핑된 기능에 의해 활성화된 카메라를 제어하여, 웨어러블 장치(520)는 미디어(540)를 레코딩할 수 있다. 웨어러블 장치(520)가, 미디어(540)를 레코딩하는 것은, 웨어러블 장치(520)의 위치가 제2 영역(512)의 내부에 포함되는 지 여부에 기반하여, 조건부로 수행될 수 있다. 예를 들어, 미디어(540)의 레코딩이 개시된 이후, 웨어러블 장치(520)의 위치가 제2 영역(512)의 외부의 위치로 변경된 때에, 웨어러블 장치(520)는 미디어(540)의 레코딩을 중단할 수 있다. 미디어(540)의 레코딩을 위한 제2 영역(512) 보다 큰 제1 영역(511)을 이용하여 카메라의 상태를 조절하기 때문에, 웨어러블 장치(520)는, 웨어러블 장치(520)가 제2 영역(512)의 내부로 진입하는 지 여부에 기반하여, 미디어(540)의 레코딩을 보다 신속하게 개시할 수 있다.
일 실시예에 따른, 웨어러블 장치(520)는 제2 영역(512) 내에서 레코딩된 미디어(540)를, 서버(110)로 송신(예, 업로드)할 수 있다. 웨어러블 장치(520)가 미디어(540)를 송신하기 위하여 수행하는 동작의 일 예가 도 8을 참고하여 설명된다. 서버(110)는 웨어러블 장치(520)로부터 수신된 미디어(540)를 저장할 수 있다. 서버(110)는 웨어러블 장치(520)를 포함하는 복수의 외부 전자 장치들로부터 수신된 미디어를 관리하기 위한 데이터베이스를 포함할 수 있다. 상기 데이터베이스에 기반하여, 서버(110)는 미디어(540)를, 상기 미디어(540)가 레코딩된 위치(예, 제2 영역(512)), 상기 미디어(540)가 레코딩된 시점, 또는 상기 미디어(540)에 의해 촬영된 이벤트(또는 장면) 중 적어도 하나에 기반하여 분류할 수 있다. 일 실시예에서, 미디어(540)를 수신, 및/또는 저장하는 서버(110)는, 상기 데이터베이스 내에 포함된 하나 이상의 미디어들로부터, 적어도 하나의 미디어를 합성할 수 있다. 예를 들어, 서버(110)는, 미디어(540)가 촬영된 시간 구간과 적어도 일부 중첩된 다른 시간 구간 동안 제2 영역(512) 내에서 촬영된 다른 미디어를, 미디어(540)와 합성할 수 있다. 서버(110)가 미디어(540), 및 상기 다른 미디어를 합성하는 것에 기반하여, 서버(110)는, 미디어(540), 및 상기 다른 미디어와 상이한 FoV(field-of-view)를 가지는 또 다른 미디어를 획득할 수 있다. 서버(110)가 상이한 미디어들을 합성하는 동작의 일 예가, 도 9를 참고하여 설명된다.
일 실시예에서, 서버(110)는 웨어러블 장치(520)로, 서버(110)에 의해 수집된 미디어들을 관리하기 위한 데이터베이스에 기반하는 검색 서비스를 제공할 수 있다. 예를 들어, 서버(110)는, 웨어러블 장치(520)로부터 수신된 텍스트(예, 쿼리)에 기반하여, 서버(110)에 저장된 복수의 미디어들 중 적어도 하나에 대한 리스트를, 웨어러블 장치(520)로 송신할 수 있다. 예를 들어, 웨어러블 장치(520)는 제2 영역(512) 내에서 촬영된 적어도 하나의 미디어의 리스트를 요구함을 나타내는 입력에 응답하여, 서버(110)로 상기 입력과 관련된 신호를 송신할 수 있다. 상기 신호에 대한 응답으로(as a response), 서버(110)는 웨어러블 장치(520)로, 제2 영역(512) 내에서 촬영된 적어도 하나의 미디어를 나타내는 리스트를 송신할 수 있다. 웨어러블 장치(520)가 서버(110)에 저장된 미디어들의 검색을 위해 표시하는 UI의 일 예가 도 10 내지 도 11을 참고하여 설명된다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(520)는 지리적으로 특정된 영역(510)의 안으로 진입하는 지 여부에 기반하여, 미디어(540)를 획득할 수 있다. 영역(510) 내에서 동심으로 형성된(concentrically formed) 제1 영역(511), 및 제2 영역(512)을 이용하여 웨어러블 장치(520)는 미디어(540)의 레코딩을 위한 동작을 순차적으로 수행할 수 있다. 서버(110)는 영역(510) 내에서 획득된 미디어(540)를, 웨어러블 장치(520)로부터 수신, 및 저장할 수 있다. 서버(110)는, 영역(510)과 관련된 복수의 미디어들을, 웨어러블 장치(520)를 포함하는 복수의 전자 장치들로부터 수집할 수 있다. 수집된 복수의 미디어들에 기반하여, 서버(110)는, 영역(510) 내에 설치된 가상 카메라를 제어하는 것과 유사한 사용자 경험을, 웨어러블 장치(520)를 이용하여 사용자(530)에게 제공할 수 있다. 따라서, 도 5에 도시된 바와 같이, 웨어러블 장치(520)는 특정 영역 내 웨어러블 장치(520)의 위치에 기반하여 상이한 액션들을 수행할 수 있다.
비록, 영역(510) 내 미디어를 레코딩하기 위한 카메라를 포함하는 전자 장치의 일 예로, 웨어러블 장치(520)에 기반하는 일 실시예가 설명되지만, 실시예가 이에 제한되는 것은 아니다. 예를 들어, 영역(510) 안으로 진입하는지 여부에 기반하여 미디어를 레코딩하기 위한 전자 장치는, 도 5, 및 후술되는 도면을 참고하여 설명되는 웨어러블 장치(520) 뿐만 아니라, 스마트폰, 태블릿 PC, 스마트워치를 포함하는 스마트 액세서리, UAV(unmanned aerial vehicle), 및/또는 차량(예, 자율 주행 차량(autonomous vehicle))을 포함할 수 있다.
이하에서는, 도 6을 참고하여, 일 실시예에 따른, 웨어러블 장치(520), 및 서버(110)에 포함된 하나 이상의 하드웨어들, 및 웨어러블 장치(520), 및 서버(110) 각각에 의해 실행되는 어플리케이션의 일 예가 설명된다.
도 6은, 일 실시예에 따른, 웨어러블 장치(520), 및 웨어러블 장치(520)에 연결된 서버(110)의 블록도이다. 도 6의 웨어러블 장치(520), 및 서버(110)는, 도 5의 웨어러블 장치(520), 및 서버(110)를 포함할 수 있다. 도 6을 참고하면, 웨어러블 장치(520), 및 서버(110)는 유선 네트워크 및/또는 무선 네트워크에 기반하여 서로 연결될 수 있다. 상기 유선 네트워크는, 인터넷, LAN(local area network), WAN(wide area network), 이더넷 또는 이들의 조합과 같은 네트워크를 포함할 수 있다. 상기 무선 네트워크는, LTE(long term evolution), 5g NR(new radio), WiFi(wireless fidelity), Zigbee, NFC(near field communication), Bluetooth, BLE(bluetooth low-energy) 또는 이들의 조합과 같은 네트워크를 포함할 수 있다. 비록, 웨어러블 장치(520), 및 서버(110)가 직접적으로 연결된(directly connected) 것으로 도시되었으나, 웨어러블 장치(520), 및 서버(110)는, 네트워크 내 중간 노드(intermediate node)(예, 하나 이상의 라우터 및/또는 AP(access point))를 통해 간접적으로 연결될 수 있다.
일 실시예에서, 웨어러블 장치(520)는, 프로세서(610), 메모리(620), 디스플레이(630), 센서(640), 통신 회로(650), 또는 카메라(660) 중 적어도 하나를 포함할 수 있다. 프로세서(610), 메모리(620), 디스플레이(630), 센서(640), 통신 회로(650), 및 카메라(660)는 통신 버스(a communication bus)(605)와 같은 전자 부품(electronical component)에 의해 서로 전기적으로 및/또는 작동적으로 연결될 수 있다(electronically and/or operably coupled with each other). 이하에서, 하드웨어들이 작동적으로 결합된 것은, 하드웨어들 중 제1 하드웨어에 의해 제2 하드웨어가 제어되도록, 하드웨어들 사이의 직접적인 연결, 또는 간접적인 연결이 유선으로, 또는 무선으로 수립된 것을 의미할 수 있다. 상이한 블록들에 기반하여 도시되었으나, 실시예가 이에 제한되는 것은 아니며, 도 6의 하드웨어들 중 일부분(예, 프로세서(610), 메모리(620), 및 통신 회로(650)의 적어도 일부분)이 SoC(system on a chip)와 같이 단일 집적 회로(single integrated circuit)에 포함될 수 있다. 웨어러블 장치(520) 내에 포함된 하드웨어의 타입 및/또는 개수는 도 6에 도시된 바에 제한되지 않는다. 예를 들어, 웨어러블 장치(520)는 도 6에 도시된 하드웨어 컴포넌트 중 일부만 포함할 수 있다.
일 실시예에서, 웨어러블 장치(520)의 프로세서(610)는, 하나 이상의 인스트럭션들에 기반하여 데이터를 처리하기 위한 하드웨어를 포함할 수 있다. 데이터를 처리하기 위한 상기 하드웨어는, 예를 들어, ALU(arithmetic and logic unit), FPU(floating point unit), FPGA(field programmable gate array), CPU(central processing unit), 및/또는 AP(application processor)를 포함할 수 있다. 프로세서(610)는, 싱글-코어 프로세서의 구조를 가지거나, 또는 듀얼 코어(dual core), 쿼드 코어(quad core), 헥사 코어(hexa core)와 같은 멀티-코어 프로세서의 구조를 가질 수 있다.
일 실시예에서, 웨어러블 장치(520)의 메모리(620)는, 웨어러블 장치(520)의 프로세서(610)에 입력 및/또는 출력되는 데이터 및/또는 인스트럭션을 저장하기 위한 하드웨어 컴포넌트를 포함할 수 있다. 메모리(620)는, 예를 들어, RAM(random-access memory)와 같은 휘발성 메모리(volatile memory) 및/또는 ROM(read-only memory)와 같은 비휘발성 메모리(non-volatile memory)를 포함할 수 있다. 휘발성 메모리는, 예를 들어, DRAM(dynamic RAM), SRAM(static RAM), Cache RAM, PSRAM (pseudo SRAM) 중 적어도 하나를 포함할 수 있다. 비휘발성 메모리는, 예를 들어, PROM(programmable ROM), EPROM (erasable PROM), EEPROM (electrically erasable PROM), 플래시 메모리, 하드디스크, 컴팩트 디스크, SSD(solid state drive), eMMC(embedded multi media card) 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 웨어러블 장치(520)의 디스플레이(630)는 사용자(520)에게 시각화된 정보(예를 들어, 도 7 내지 도 11 내에 도시된 시각적 객체, 및/또는 화면)를 출력할 수 있다. 예를 들어, 디스플레이(630)는, GPU(graphic processing unit)와 같은 회로를 포함하는 프로세서(610)에 의해 제어되어, 사용자에게 시각화된 정보(visualized information)를 출력할 수 있다. 디스플레이(630)는 FPD(flat panel display) 및/또는 전자 종이(electronic paper)를 포함할 수 있다. 상기 FPD는 LCD(liquid crystal display), PDP(plasma display panel) 및/또는 하나 이상의 LED(light emitting diode)를 포함할 수 있다. 상기 LED는 OLED(organic LED)를 포함할 수 있다. 도 6의 디스플레이(630)는, 도 3a 내지 도 3b, 및/또는 도 4a 내지 도 4b의 적어도 하나의 디스플레이(350)를 포함할 수 있다.
일 실시예에서, 웨어러블 장치(520)의 센서(640)는, 웨어러블 장치(520)와 관련된 비-전기적 정보(non-electronic information)로부터, 웨어러블 장치(520)의 프로세서(610), 및/또는 메모리(620)에 의해 처리될 수 있는 전기적 정보를 생성할 수 있다. 예를 들어, 센서(640)는 웨어러블 장치(520)의 지리적 위치(geographic location)를 탐지하기 위한 GPS(global positioning system) 센서를 포함할 수 있다. 상기 GPS 방식 외에도, 센서(640)는, 예를 들어, 갈릴레오(galileo), 베이더우(beidou, compass), 또는 통상의 기술자에게 알려진 다른 위성 항법 시스템(navigation satellite system)과 같은 GNSS(global navigation satellite system)에 기반하여 웨어러블 장치(520)의 지리적 위치를 나타내는 정보를 생성할 수 있다. 상기 정보는 메모리(620)에 저장되거나, 프로세서(610)에 의해 처리되거나, 및/또는 통신 회로(650)를 통해 웨어러블 장치(520)와 상이한 다른 전자 장치(예, 서버(110))로 송신될 수 있다. 센서(640)는 상술한 바에 제한되지 않으며, 빛을 포함하는 전자기파를 탐지하기 위한 이미지 센서, 조도 센서 및/또는 ToF(time-of-flight) 센서, 웨어러블 장치(520)의 물리적인 모션을 탐지하기 위한 IMU(inertial measurement unit)을 포함할 수 있다.
일 실시예에서, 웨어러블 장치(520)의 통신 회로(650)는, 웨어러블 장치(520), 및 서버(110) 사이의 전기 신호의 송신 및/또는 수신을 지원하기 위한 하드웨어 부품을 포함할 수 있다. 통신 회로(650)를 통해 웨어러블 장치(520)와 연결된 전자 장치로, 서버(110) 만이 도시되었으나, 실시예가 이러한 구성들에 이에 제한되는 것은 아니다. 통신 회로(650)는, 예를 들어, 모뎀(MODEM), 안테나, O/E(optic/electronic) 변환기 중 적어도 하나를 포함할 수 있다. 통신 회로(650)는, 이더넷(ethernet), LAN(local area network), WAN(wide area network), WiFi(wireless fidelity), Bluetooth, BLE(bluetooth low energy), ZigBee, LTE(long term evolution), 5G NR(new radio) 또는 통상의 기술자에게 알려진 다른 통신 프로토콜과 같은 다양한 타입의 프로토콜에 기반하여 전기 신호의 송신 및/또는 수신을 지원할 수 있다.
일 실시예에서, 웨어러블 장치(520)의 카메라(660)는 빛의 색상 및/또는 밝기를 나타내는 전기 신호를 생성하는 광 센서(예, CCD(charged coupled device) 센서, CMOS(complementary metal oxide semiconductor) 센서)를 하나 이상 포함할 수 있다. 카메라(660)에 포함된 복수의 광 센서는 2차원 격자(2 dimensional array)의 형태로 배치될 수 있다. 카메라(660)는 복수의 광 센서 각각의 전기 신호를 실질적으로 동시에 획득하여, 2차원 격자의 광 센서들에 도달한 빛에 대응하는 2차원 프레임 데이터를 생성할 수 있다. 예를 들어, 카메라(660)를 이용하여 캡쳐한 사진 데이터는 카메라(660)로부터 획득한 하나의 2차원 프레임 데이터를 의미할 수 있다. 예를 들어, 카메라(660)를 이용하여 캡쳐한 비디오 데이터는, 프레임 율(frame rate)을 따라 카메라(660)로부터 획득된, 복수의 2차원 프레임 데이터의 시퀀스(sequence)를 의미할 수 있다. 카메라(660)는, 카메라(660)가 광을 수신하는 방향을 향하여 배치되고, 상기 방향을 향하여 광을 출력하기 위한 플래시 라이트를 더 포함할 수 있다. 비록 단일(single) 블록에 기반하여, 카메라(660)가 도시되었으나, 웨어러블 장치(520) 내에 포함된 카메라(660)의 개수가 실시예에 제한되는 것은 아니다. 도 3a 내지 도 3b, 및/또는 도 4a 내지 도 4b의 하나 이상의 카메라들(340)과 같이, 웨어러블 장치(520)는 하나 이상의 카메라들을 포함할 수 있다.
하나 이상의 예시들에서, 일 실시예에 따른, 웨어러블 장치(520)는 정보를 시각화한 형태 외에 다른 형태로 출력하기 위한 출력 수단을 포함할 수 있다. 예를 들어, 웨어러블 장치(520)는 음성 신호(acoustic signal)를 출력하기 위한 스피커(예, 도 3a 내지 도 3b의 스피커들(392-1, 392-2))를 포함할 수 있다. 예를 들어, 웨어러블 장치(520)는 진동에 기반하는 햅틱 피드백을 제공하기 위한 모터를 포함할 수 있다.
도 6의 일 실시예에서, 서버(110)는, 프로세서(610), 메모리(620), 또는 통신 회로(650) 중 적어도 하나를 포함할 수 있다. 서버(110) 내에서, 프로세서(610), 메모리(620), 및 통신 회로(650)는 통신 버스(605)를 통해 전기적으로, 및/또는 작동적으로 결합될 수 있다. 서버(110) 내에 포함된, 프로세서(610), 메모리(620), 및 통신 회로(650)는, 웨어러블 장치(520)의 프로세서(610), 메모리(620), 및 통신 회로(650)에 대응하는 하드웨어 부품, 및/또는 회로를 포함할 수 있다. 이하에서, 반복을 줄이기 위하여, 서버(110) 내에 포함된 프로세서(610), 메모리(620), 및 통신 회로(650)의 설명은, 웨어러블 장치(520) 내 프로세서(610), 메모리(620), 및 통신 회로(650)와 중복되지 않도록 생략될 수 있다.
일 실시예에 따른, 웨어러블 장치(520)의 메모리(620) 내에서, 웨어러블 장치(520)의 프로세서(610)가 데이터에 수행할 연산, 및/또는 동작을 나타내는 하나 이상의 인스트럭션들(또는 명령어들)이 저장될 수 있다. 하나 이상의 인스트럭션들의 집합은, 펌웨어, 운영 체제, 프로세스, 루틴, 서브-루틴 및/또는 어플리케이션으로 참조될 수 있다. 서버(110)의 메모리(620) 내에서, 서버(110)의 프로세서(610)가 데이터에 수행할 연산, 및/또는 동작을 나타내는 하나 이상의 인스트럭션들이 저장될 수 있다. 도 6을 참고하면, 웨어러블 장치(520)의 프로세서(610)는 메모리(620) 내 미디어 송신 어플리케이션(670)을 실행하여, 도 12의 동작들 중 적어도 하나를 수행할 수 있다. 서버(110)의 프로세서(610)는 메모리(620) 내 미디어 서버 어플리케이션(680)을 실행하여, 도 13 내지 도 14의 동작들 중 적어도 하나를 수행할 수 있다. 이하에서, 어플리케이션이 전자 장치(예, 웨어러블 장치(520), 및/또는 서버(110)) 내에 설치되었다는 것은, 어플리케이션의 형태로 제공된 하나 이상의 인스트럭션들이 상기 전자 장치의 메모리 내에 저장된 것으로써, 상기 하나 이상의 어플리케이션들이 전자 장치의 프로세서에 의해 실행 가능한(executable) 포맷(예, 전자 장치의 운영 체제에 의해 지정된 확장자를 가지는 파일)으로 저장된 것을 의미할 수 있다.
도 6을 참고하면, 미디어 송신 어플리케이션(670) 내에 포함된 하나 이상의 인스트럭션들은, 미디어 레코더(672), 센서 데이터 분석기(analyzer)(674), 및/또는 미디어 분석기(676)로 구분될 수 있다. 미디어 송신 어플리케이션(670)은, 통신 회로(650)를 통해 웨어러블 장치(520)에 연결되고, 서버(110)와 구분되는, 다른 서버(예, 서드-파티 어플리케이션 스토어)를 통해 제공될 수 있다. 미디어 송신 어플리케이션(670)이 실행된 상태 내에서, 웨어러블 장치(520)의 프로세서(610)는 센서(640)에 의하여 식별된 웨어러블 장치(520)의 위치에 기반하여, 사용자(530)의 입력과 독립적으로 카메라(660)를 제어하여 상기 위치에 대한 미디어를 획득하거나, 또는 상기 획득된 미디어를 서버(110)로 송신하는 동작을 수행할 수 있다.
일 실시예에 따른, 웨어러블 장치(520)의 프로세서(610)는 미디어 송신 어플리케이션(670) 내 미디어 레코더(672)의 실행에 기반하여, 센서(640)의 데이터로부터 웨어러블 장치(520)의 위치를 식별할 수 있다. 상기 위치에 기반하여, 웨어러블 장치(520)의 프로세서(610)는 미디어의 레코딩을 개시하는 시점, 및/또는 중단하는 시점을 결정할 수 있다. 상기 시점들 중 적어도 하나에 기반하여, 웨어러블 장치(520)의 프로세서(610)는 카메라(660)를 제어할 수 있다. 예를 들어, 미디어 레코더(672)의 실행에 기반하여, 웨어러블 장치(520)는 도 5의 미디어(540)를 획득할 수 있다.
일 실시예에서, 미디어 레코더(672)의 실행에 기반하여 미디어를 획득하는 동안, 웨어러블 장치(520)의 프로세서(610)는 GPS 센서를 포함하는 센서(640)로부터, 상기 미디어, 및/또는 카메라(660)와 관련된 데이터를 획득할 수 있다. 센서(640)로부터 획득된 상기 데이터는, 센서 데이터 분석기(674)의 실행에 기반하여, 웨어러블 장치(520)의 프로세서(610)에 의해 처리될 수 있다. 예를 들어, 센서 데이터 분석기(674)의 실행에 기반하여, 웨어러블 장치(520)의 프로세서(610)는, 센서(640)의 데이터로부터 웨어러블 장치(520)의 위치, 및/또는 방향(예, 방위각(azimuth angle))을 식별할 수 있다.
일 실시예에서, 센서 데이터 분석기(674)의 실행에 기반하여 식별된 웨어러블 장치(520)의 상기 위치에 기반하여, 웨어러블 장치(520)의 프로세서(610)는 카메라(660)를 제어하여 미디어를 촬영하는 것을 중단할지 여부를 결정할 수 있다. 예를 들어, 미디어의 레코딩을 위해 설정된 영역(예, 도 5의 영역(510)), 및 웨어러블 장치(520)의 위치를 비교하여, 웨어러블 장치(520)는, 웨어러블 장치(520)를 착용한 사용자가 상기 영역 안으로 접근하거나, 진입하거나, 또는 밖으로 이동하는지 여부를 식별할 수 있다. 웨어러블 장치(520)는, 상기 영역, 및 상기 위치를 비교한 결과에 기반하여, 미디어의 레코딩이 시작될 시점, 및/또는 종료될 시점을 획득할 수 있다. 웨어러블 장치(520)의 프로세서(610)는, 센서 데이터 분석기(674)의 실행에 기반하여 식별된 웨어러블 장치(520)의 위치에 기반하여, 서버(110)로 상기 미디어를 송신할지 여부를 확인하는 시점을 획득할 수 있다.
일 실시예에서, 센서 데이터 분석기(674)의 실행에 기반하여, 웨어러블 장치(520)의 프로세서(610)는, 센서(640)의 데이터에 의해 식별된 정보(예, 웨어러블 장치(520)의 가속도, 각속도, 또는 자북(magnetic north)의 방향 중 적어도 하나를 나타내는 정보)를 획득할 수 있다. 상기 정보는, 카메라(660)를 이용하여 획득된 미디어와 함께 저장되거나, 상기 미디어에 대응하는 메타 데이터 내에 저장될 수 있다. 상기 정보는, 상기 미디어와 함께, 서버(110)로 송신될 수 있다. 센서 데이터 분석기(674)의 실행에 기반하여, 웨어러블 장치(520)의 프로세서(610)는 상기 획득된 정보, 및 카메라(660)에 의해 획득된 미디어를 동기화할 수 있다. 센서 데이터 분석기(674)의 실행에 기반하여, 웨어러블 장치(520)의 프로세서(610)는, 카메라(660)에 의해 획득된 미디어의 적어도 일부분을 제거(예, 크롭(crop)), 및/또는 분할할 수 있다. 예를 들어, 센서 데이터 분석기(674)의 실행에 기반하여, 웨어러블 장치(520)의 위치가 미디어의 레코딩을 위해 설정된 영역의 밖으로 이동된 시점을 식별한 경우, 웨어러블 장치(520)의 프로세서(610)는 식별된 시점에 기반하여, 상기 미디어를 분할할 수 있다. 상기 시점을 식별한 경우, 웨어러블 장치(520)의 프로세서(610)는 상기 식별된 시점 이후의 시간 구간 내에 포함된 상기 미디어의 적어도 일부분을 제거할 수 있다.
일 실시예에서, 센서 데이터 분석기(674)의 실행에 기반하여, 웨어러블 장치(520)의 프로세서(610)는, 카메라(660)로부터 획득된 미디어의 메타 데이터를 생성할 수 있다. 센서 데이터 분석기(674)는, 메타 데이터 생성기로 지칭될(referred as) 수 있다. 센서 데이터 분석기(674)의 실행에 기반하여, 웨어러블 장치(520)의 프로세서(610)는 사용자(530)로부터 획득된 텍스트, 및/또는 태그를 포함하는 메타 데이터를 생성할 수 있다. 센서 데이터 분석기(674)의 실행에 기반하여, 웨어러블 장치(520)의 프로세서(610)는 미디어 내에 포함된 이벤트, 및/또는 피사체(예, 사람)를 식별할 수 있다. 센서 데이터 분석기(674)에 기반하여, 웨어러블 장치(520)의 프로세서(610)가 획득하는 정보는 상기 예시에 제한되지 않으며, 상기 정보에 기반하여, 웨어러블 장치(520)의 프로세서(610)가 디스플레이(630)를 통해 표시하는 UI 또한, 상기 예시에 제한되지 않는다. 예를 들어, 센서 데이터 분석기(674)의 실행에 기반하여 식별된 웨어러블 장치(520)의 상기 방향에 기반하여, 웨어러블 장치(520)의 프로세서(610)는 카메라(660)의 FoV를 변경하기 위한 가이드를 출력할지 여부를 결정할 수 있다.
일 실시예에 따른, 웨어러블 장치(520)의 프로세서(610)는, 미디어 송신 어플리케이션(670)을 실행하여, 특정 영역 내에서 카메라(660)에 의해 촬영된, 미디어를 획득할 수 있다. 미디어 송신 어플리케이션(670) 내 미디어 분석기(676)가 실행된 때에, 웨어러블 장치(520)의 프로세서(610)는, 미디어 레코더(672)에 기반하여 획득된 미디어의 분류에 이용되는 메타 데이터를 획득, 및/또는 생성할 수 있다. 상기 메타 데이터는, 상기 미디어의 검색, 및/또는 분류를 위해 이용될 수 있다. 상기 메타 데이터는, 상기 미디어 내에 포함된 위치, 및/또는 영역(예, 서버(110)에 의해 지정된 영역), 상기 미디어를 캡쳐한 카메라(660)의 FoV, 및/또는 방위각 중 적어도 하나를 포함할 수 있다. 미디어 분석기(676)가, 웨어러블 장치(520)의 메모리(620) 내에 저장된 일 실시예가 도시되지만, 실시예가 이에 제한되는 것은 아니다.
일 실시예에서, 미디어 송신 어플리케이션(670)의 실행에 기반하여, 웨어러블 장치(520)의 프로세서(610)는 통신 회로(650)를 통하여 서버(110)로, 미디어를 송신할 수 있다. 미디어 송신 어플리케이션(670) 내에 포함된 미디어 분석기(676)에 기반하여, 상기 미디어에 대응하는 메타 데이터를 획득한 경우, 웨어러블 장치(520)의 프로세서(610)는 통신 회로(650)를 통하여 미디어와 함께, 상기 생성된 메타 데이터를 송신할 수 있다.
도 6을 참고하면, 미디어 서버 어플리케이션(680) 내에 포함된 하나 이상의 인스트럭션들은, 가상 카메라 매니저(681), 미디어 분석기(682), 미디어 싱크로나이저(683), 미디어 합성기(synthesizer)(684), 및/또는 미디어 분류기(classifier)(685)로 구분될 수 있다. 미디어 서버 어플리케이션(680)이 실행된 때에, 서버(110)의 프로세서(610)는 통신 회로(650)를 통하여 웨어러블 장치(520)를 포함하는 복수의 외부 전자 장치들로부터, 복수의 미디어들을 획득할 수 있다.
일 실시예에서, 서버(110)의 프로세서(610)는 미디어 서버 어플리케이션(680) 내 가상 카메라 매니저(681)의 실행에 기반하여, 서버(110)에 연결된 복수의 외부 전자 장치들이 미디어를 촬영하는 영역(예, 도 5의 영역(510))을 추가하거나, 삭제하거나, 및/또는 변경할 수 있다. 상기 영역을 변경하는 것은, 상기 영역의 사이즈 및/또는 형태를 변경하는 것을 포함할 수 있다. 가상 카메라 매니저(681)의 실행에 기반하여, 서버(110)는 상기 영역 안으로 이동된 외부 전자 장치들로부터 미디어들을 수집할 수 있다. 수집된 상기 미디어들을 이용하여, 서버(110)는 상기 영역 안에 배치된 가상 카메라와 유사한 사용자 경험을, 서버(110)의 가입자들에게 제공할 수 있다. 가상 카메라는, 서버(110)에 연결된 복수의 외부 전자 장치들이 영역에 기반하여 미디어를 레코딩하는 조건, 및/또는 상기 미디어가 공유되는 조건을 나타내는 정보와 관련될 수 있다. 가상 카메라는, 미디어가 레코딩된 위치에 기반하여, 상기 미디어의 송신, 및/또는 수신을 제어하기 위한 단위일 수 있다. 서버(110)가, 외부 전자 장치, 및 서버(110) 사이의 상호작용에 기반하여, 상기 가상 카메라를 생성하는 예시적인 동작이 도 7을 참고하여 설명된다.
예를 들어, 가상 카메라 매니저(681)의 실행에 기반하여 관리되고, 영역과 관련된 가상 카메라를 나타내는 정보는, 상기 영역의 크기, 상기 영역에서 미디어를 레코딩하는 시간, FoV와 관련된 정보(예, 상기 미디어를 캡쳐하는 카메라의 방향, 및/또는 시야 각(view angle)), 상기 미디어에 포함된 이벤트, 또는 상기 가상 카메라에 대응하는 미디어에 대한 접근 권한 중 적어도 하나를 포함할 수 있다. 가상 카메라 매니저(681)에 기반하여, 서버(110)는 특정 영역에 대한 가상 카메라의 생성을 제한하거나, 또는 가상 카메라를 생성하는 요청을 거절할 수 있다. 가상 카메라 매니저(681)의 실행에 의해 관리되는 상기 정보는, 상기 영역의 크기, 범위, 및/또는 상기 영역 안에 배치된 상기 가상 카메라와 관련된 정보(예, 해상도, 및/또는 타입)를 포함할 수 있다. 서버(110)는, 외부 전자 장치로부터 가상 카메라의 생성을 위한 요청을 수신하는 것에 응답하여, 가상 카메라 매니저(681)의 실행에 기반하여 상기 요청에 대응하는 가상 카메라를 생성할 수 있다. 가상 카메라 매니저(681)의 실행에 기반하여, 서버(110)는 상기 요청에 의해 선택된 영역을 식별할 수 있다. 서버(110)는, 상기 영역을 포함하고, 상기 영역과 동심인 다른 영역을, 상기 영역 내에서 미디어의 레코딩을 준비하기 위한 영역으로 설정할 수 있다. 예를 들어, 상기 요청에 의해 선택된 상기 영역이 도 5의 제2 영역(512)으로, 상기 다른 영역이, 도 5의 제1 영역(511)에 대응할 수 있다.
일 실시예에서, 서버(110)의 프로세서(610)는 미디어 서버 어플리케이션(680) 내 미디어 분석기(682)의 실행에 기반하여, 통신 회로(650)를 통하여 수신된 미디어들에 대한 메타 데이터를 획득할 수 있다. 서버(110)의 프로세서(610)가 미디어에 대한 메타 데이터를 획득하는 것은, 상기 미디어에 대응하는 메타 데이터를, 통신 회로(650)를 통하여 수신하였는지 여부에 기반하여, 조건부로 수행될 수 있다. 예를 들어, 서버(110)의 프로세서(610)는, 미디어를 레코딩한 웨어러블 장치(520)로부터, 상기 미디어에 대응하는 메타 데이터를 수신하지 못한 것에 기반하여, 미디어 분석기(682)를 실행하여, 상기 미디어에 대응하는 메타 데이터를 획득할 수 있다. 실시예가 개시된 실시예들에 제한되지 않으며, 서버(110)의 프로세서(610)는, 미디어를 레코딩한 웨어러블 장치(520)로부터 수신된 메타 데이터를 변경하거나, 또는 상기 메타 데이터를 보완하기 위하여, 미디어 분석기(682)를 실행할 수 있다. 예를 들어, 서버(110)는 미디어 분석기(682)의 실행에 기반하여, 웨어러블 장치(520)에 의해 생성된 메타 데이터 내에, 상기 메타 데이터 내에 포함되지 않은 정보를 추가할 수 있다. 예를 들어, 서버(110)는 미디어 분석기(682)의 실행에 기반하여, 특정 미디어의 메타 데이터 내에 포함된 정보를, 다른 미디어(예, 상기 특정 미디어와 유사한 위치, 및/또는 시점에서 레코딩된 다른 미디어)의 메타 데이터 내에 추가할 수 있다.
일 실시예에서, 미디어 분석기(682)의 실행에 기반하여, 서버(110)가 획득하는 상기 메타 데이터는, 메타 데이터에 대응하는 미디어가 레코딩된 위치, 시간, 및/또는 상기 미디어를 레코딩한 카메라의 정보를 포함할 수 있다. 상기 메타 데이터는, 상기 미디어 내에 포함된 이벤트를 식별하기 위한 정보를 포함할 수 있다. 상기 메타 데이터는, 상기 미디어를 촬영한 외부 전자 장치(예, 웨어러블 장치(520))의 사용자에 의해 입력된 정보(예, 태그와 같은 상기 미디어의 설명)를 포함할 수 있다. 미디어 분석기(682)의 실행에 기반하여 획득된 상기 메타 데이터는, 상기 메타 데이터에 대응하는 미디어의 분류, 및/또는 검색을 위해 이용될 수 있다.
일 실시예에서, 서버(110)의 프로세서(610)는 미디어 서버 어플리케이션(680) 내 미디어 싱크로나이저(683)의 실행에 기반하여, 미디어들 사이의 시간 차이를 보상할 수 있다. 상기 시간 차이의 보상에 기반하여, 서버(110)는 미디어들에 대한 동기화를 수행할 수 있다. 예를 들어, 서버(110)는, 상기 미디어들을 송신한 외부 전자 장치들 사이의 시간 차이를 보상할 수 있다. 서버(110)는 미디어 싱크로나이저(683)의 실행에 기반하여, 미디어와 함께 상기 미디어의 시간과 관련된 어느(any) 정보도 수신하지 않은 경우, 상기 미디어가 레코딩된 시간을 예측할 수 있다. 하나 이상의 예시들에서, 상기 시간 차이는 하나 이상의 미디어의 지연을 더하여 보상될 수 있다.
일 실시예에서, 서버(110)의 프로세서(610)는 미디어 서버 어플리케이션(680) 내 미디어 합성기(684)의 실행에 기반하여, 미디어들을 합성할 수 있다. 예를 들어, 미디어 싱크로나이저(683)의 실행에 의해 동기화된 미디어들이, 미디어 합성기(684)의 실행에 의해 합성됨에 따라, 서버(110)의 프로세서(610)는 상기 미디어들의 FoV들과 상이한 FoV를 가지는 다른 미디어를 획득할 수 있다. 예를 들어, 서버(110)의 프로세서(610)는 복수의 미디어들로부터, 상기 복수의 미디어들에 포함된 이벤트를 표현하기에 적합한(suitable for) FoV를 가지는 상기 다른 미디어를 생성할 수 있다. 예를 들어, 상기 복수의 미디어들에 공통으로 포함된 일 피사체를 식별한 서버(110)는, 상기 복수의 미디어들의 FoV들과 상이하고, 상기 피사체를 포함하는 다른 FoV를 가지는 다른 미디어를 생성할 수 있다. 서버(110)가 미디어 합성기(684)의 실행에 기반하여, 복수의 미디어들로부터, 상기 복수의 미디어들과 상이한 다른 미디어를 합성하는 동작이 도 9를 참고하여 설명된다.
일 실시예에서, 서버(110)의 프로세서(610)는 미디어 분류기(685)의 실행에 기반하여, 통신 회로(650)를 통하여 서버(110)와 연결된 복수의 외부 전자 장치들로부터 수집된 미디어들, 및/또는 미디어 합성기(684)에 의해 합성된 미디어를 분류할 수 있다. 예를 들어, 미디어 분류기(685)의 실행에 기반하여, 서버(110)의 프로세서(610)는 서버(110)의 메모리(620) 내에 저장된 미디어들을 분류할 수 있다. 서버(110)의 프로세서(610)는, 미디어들 각각에 대응하는 가상 카메라가 설치된 위치, 미디어들이 촬영된 위치, 시간, 및/또는 메타 데이터에 기반하여, 상기 미디어들을 분류할 수 있다.
일 실시예에서, 서버(110)의 프로세서(610)는 미디어 분류기(685)의 실행에 기반하여, 미디어들을 검색하기 위한 데이터베이스를 관리할 수 있다. 상기 데이터베이스는 미디어들의 검색을 위하여 체계화된(systematized) 정보의 집합을 포함할 수 있다. 상기 정보의 집합에서, 서로 다른 정보가 타입, 컬럼(column), 레코드 및/또는 테이블과 같은 단위에 기반하여 서로 조합될 수 있다. 정보의 조합은, 데이터베이스 내에서 정보의 추가, 삭제, 변경(update) 및 검색에 이용될 수 있다. 예를 들어, 서버(110)가 지정된 조건의 미디어를 검색하는 상태에서, 서버(110)는 데이터베이스를 이용하여 상기 조건에 만족하는 적어도 하나의 미디어를 식별할 수 있다. 상기 예시 내에서, 서버(110)는, 웨어러블 장치(520)와 같은 외부 전자 장치의 요청에 기반하여, 데이터베이스 내에서 지정된 조건을 만족하는 적어도 하나의 미디어를 검색할 수 있다. 미디어 분류기(685)의 실행에 기반하여, 서버(110)는 복수의 미디어들 각각이 레코딩된 위치, 시간, 상기 복수의 미디어들 각각에 포함된 이벤트, 및/또는 상기 복수의 미디어들 각각에 할당된(assigned) 정보(예, 태그)에 의해 상기 복수의 미디어들이 분류된 데이터베이스를 생성할 수 있다. 서버(110)는, 복수의 외부 전자 장치들로부터 수신된 미디어들 외에도, 미디어 합성기(684)의 실행에 기반하여 획득된 미디어를, 상기 데이터베이스에 기반하여 서버(110)의 메모리(620) 내에 저장할 수 있다. 서버(110)는 미디어 분류기(685)의 실행에 기반하여, 가상 카메라의 생성, 및/또는 제거에 기반하여, 데이터베이스 내에서 복수의 미디어들을 그룹핑할 수 있다. 서버(110)가 미디어 분류기(685)에 의해 생성된 데이터베이스에 기반하여, 외부 전자 장치로 미디어를 검색한 결과를 제공하는 동작의 일 예가, 도 10 내지 도 11을 참고하여 설명된다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(520), 및 서버(110) 내에, 미디어들의 수집, 및/또는 검색을 위한 어플리케이션들(예, 미디어 송신 어플리케이션(670), 및 미디어 서버 어플리케이션(680))이 설치될 수 있다. 미디어 송신 어플리케이션(670)의 실행에 기반하여, 웨어러블 장치(520)는 서버(110)에 의해 설정된 영역, 및 웨어러블 장치(520)의 위치를 비교하여, 미디어의 레코딩을 제어할 수 있다. 서버(110)에 의해 설정된 상기 영역은, 가상 카메라에 기반하는 주문형 미디어의 제공을 위해 설정된 영역을 포함할 수 있다. 서버(110)는, 웨어러블 장치(520)를 포함하는 복수의 외부 전자 장치들로부터, 복수의 외부 전자 장치들에 의해 레코딩된 미디어들을 수신할 수 있다. 서버(110)는, 미디어 서버 어플리케이션(680)의 실행에 기반하여, 복수의 외부 전자 장치들로부터 수신된 미디어들을 분류할 수 있다. 상기 미디어들을 분류한 결과에 기반하여, 서버(110)는 상기 미디어들을 검색하기 위한 서비스를 제공할 수 있다.
이하에서는, 도 7을 참고하여, 일 실시예에 따른, 웨어러블 장치(520), 및 서버(110) 사이의 상호작용에 기반하여, 미디어의 분류, 및/또는 검색을 위한 가상 카메라가 추가되는 동작의 일 예가 설명된다.
도 7은, 일 실시예에 따른, 웨어러블 장치가 미디어의 레코딩에 이용되는 위치를 획득하는 동작의 일 예를 도시한다. 도 7의 상기 웨어러블 장치는, 도 5 내지 도 6의 웨어러블 장치(520)의 일 예일 수 있다. 도 7을 참고하면, 웨어러블 장치가 미디어 송신 어플리케이션(예, 도 6의 미디어 송신 어플리케이션(670))을 포함하는 어플리케이션의 실행에 기반하여, 가상 카메라를 추가하기 위하여 표시하는 화면들(701, 702, 703)이 도시된다. 상기 가상 카메라는, 상기 웨어러블 장치에 연결된 서버(예, 도 5 내지 도 6의 서버(110))에 의해 미디어의 분류의 기준으로 이용될 수 있다. 화면들(701, 702, 703)은, 사용자(예, 도 5의 사용자(530))가 웨어러블 장치를 착용한 상태 내에서, 상기 웨어러블 장치의 디스플레이를 통해 상기 사용자의 FoV의 적어도 일부분을 통해 보여질 수 있다.
도 7을 참고하면, 웨어러블 장치는 지도에 기반하여 가상 카메라를 시각화하기 위한 화면(701)을 표시할 수 있다. 화면(701)을 표시하는 때에, 웨어러블 장치는 화면(701)을 통해 표시되는 지도 내에 포함된 하나 이상의 가상 카메라들을 시각화하기 위한 정보를, 웨어러블 장치에 연결된 서버로부터 수신할 수 있다. 웨어러블 장치는 화면(701)을 통해 표시되는 지도 내에, 서버로부터 수신한 정보에 기반하여, 상기 지도 내에 포함된 가상 카메라에 대응하는 시각적 객체(710)를 표시할 수 있다. 시각적 객체(710)는 실제 세계 객체 상에 중첩될 수 있다. 웨어러블 장치는 핀의 형태를 가지는 시각적 객체(710)를 이용하여, 상기 지도 내에서 상기 가상 카메라에 매핑되는 위치를 표시할 수 있다. 시각적 객체(710)와 함께, 웨어러블 장치는 상기 가상 카메라와 관련된 데이터를 포함하고, 상기 지도 상에 중첩된 시각적 객체(712)를 표시할 수 있다. 웨어러블 장치는 버블의 형태를 가지는 시각적 객체(712) 내에, 상기 가상 카메라에 할당된 식별자(예, ID)를 포함하는 텍스트(예: 가상 카메라 #101)를 표시할 수 있다. 시각적 객체들(710, 712) 중 적어도 하나를 터치함을 나타내는 입력에 응답하여(예, 가상 공간에서 시각적 객체를 터치하거나 또는 활성화하기 위하여 손을 뻗은 사용자), 웨어러블 장치는 시각적 객체들(710, 712)에 대응하는 가상 카메라와 관련된 정보를 표시할 수 있다. 하나 이상의 예시들에서, 시각적 객체의 활성화 또는 선택은 보이스 커맨드에 기반될 수 있다.
일 실시예에서, 화면(701)이 표시된 상태 내에서, 웨어러블 장치는 화면(701) 내에서 가상 카메라를 추가함을 나타내는 입력(714)을 식별할 수 있다. 화면(701)을 통해 표시되는 지도 내 위치를 터치, 및/또는 클릭하는 제스쳐에 기반하여, 웨어러블 장치는 입력(714)을 식별할 수 있다. 화면(701) 내 상기 위치를 선택함을 나타내는 입력(714)에 응답하여, 웨어러블 장치는 상기 위치에 가상 카메라를 추가하기 위한 화면(702)을 표시할 수 있다.
도 7을 참고하면, 입력(714)에 의해 선택된 위치에 대한 미디어들을 수집하는데 이용되는 가상 카메라를 추가하기 위해 웨어러블 장치에 의해 표시되는 화면(702)의 일 예가 도시된다. 화면(702) 내에서, 웨어러블 장치는 입력(714)에 의해 선택된 위치를 시각화하기 위한 지도(721)를 표시할 수 있다. 가상 카메라가 입력(714)에 의해 선택된 위치에 인접한 다른 위치에 존재하는 경우, 웨어러블 장치는 지도(721) 내에서 상기 다른 위치에 연계로, 상기 가상 카메라를 표시할 수 있다. 화면(702) 내에서, 웨어러블 장치는 상기 위치에 할당된 명칭(예, 지명, 및/또는 도로 명칭)을 포함하는 시각적 객체(722)를 표시할 수 있다.
도 7을 참고하면, 화면(702) 내에서, 웨어러블 장치는 입력(714)에 의해 선택된 가상 카메라와 관련된 정보를 포함하는 시각적 객체(723)를 표시할 수 있다. 시각적 객체(723)를 통해 표시되는 정보는, 입력(714)에 의해 선택된 위치를 중심으로 형성되는 영역(예, 도 5의 영역(510))의 크기(예, 반경), 상기 위치에 기반하여 수집될 미디어의 최소 해상도, 상기 위치 내에서 미디어를 수신할 전자 장치의 타입(예, HMD, 및/또는 차량), 또는 상기 위치에 기반하여 수집된 미디어들에 대한 접근 권한 중 적어도 하나를 포함할 수 있다. 상기 접근 권한은, 제한된 사용자의 접근이 허용된 제1 접근 권한(예, private), 미디어들의 업로드는 허용되지만, 다운로드는 특정 사용자에게 허용된 제2 접근 권한(예, protected), 및 모든 사용자의 접근이 허용된 제3 접근 권한(예, public) 중에서 선택될 수 있다. 통상의 기술자에 의해 이해되는 바와 같이, 가상 카메라는 접근 권한의 요구된 어느 숫자와 관련될 수 있다. 웨어러블 장치는 화면(702) 내에서, 상기 시각적 객체(723)를 통해 표시되는 상기 정보를 변경함을 나타내는 입력을 식별할 수 있다. 상기 입력에 기반하여, 웨어러블 장치는 상기 정보를 변경할 수 있다. 상기 접근 권한은, 상기 가상 카메라에 기반하여 서버에 의해 수집된 미디어들에 대해 접근 가능한 사용자를 의미할 수 있다. 상기 접근 권한은, 미디어의 공유 레벨을 의미할 수 있다. 웨어러블 장치가 화면(702)을 통해 수신하는 정보는, 도 7의 시각적 객체(723)에 제한되는 것은 아니다. 따라서, 상이한 접근 권한들을 가지는 두 사용자들은 같은 영역에서 상이한 가상 환경을 볼 수 있다. 웨어러블 장치는, 입력(714)에 의해 선택된 위치를 중심으로 형성되는 영역의 형태를, 화면(702)을 통해 수신할 수 있다. 예를 들어, 웨어러블 장치는 상기 위치, 및 지도 내 다른 위치를 꼭지점으로 가지는 사각형의 영역을 형성함을 나타내는 입력을 수신할 수 있다. 예를 들어, 웨어러블 장치는, 도 5의 동심원의 형태를 가지는 영역들을 나타내는 입력을 수신할 수 있다. 웨어러블 장치는 미디어를 수집하기 위한 상기 영역을 형성하는 동안, 건물, 및/또는 미디어의 레코딩이 제한된 일부분을, 상기 영역으로부터 제외할 수 있다.
일 실시예에서, 도 7의 화면(702) 내에서, 웨어러블 장치는 입력(714)에 의해 선택된 위치, 및 시각적 객체(723)를 통해 표시되는 정보에 기반하여, 가상 카메라를 추가하는 것을 확인하거나 또는 승인하기 위한 버튼의 형태를 가지는 시각적 객체(724)를 표시할 수 있다. 화면(702) 내에서, 웨어러블 장치는 상기 가상 카메라를 추가하는 것을 취소하기 위한 버튼의 형태를 가지는 시각적 객체(725)를 표시할 수 있다. 시각적 객체(724)를 선택함을 나타내는 입력에 응답하여, 웨어러블 장치는 서버로 입력(714)에 의해 선택된 위치에 기반하여 가상 카메라를 추가하기 위한 신호를 송신할 수 있다. 상기 신호에 기반하여, 서버는, 상기 위치를 중심으로 가지고, 시각적 객체(723) 내에 포함된 반경을 가지는 영역에 대한 가상 카메라를 추가할 수 있다. 하나 이상의 예시들에서, 사용자는 가상 환경 내 하나 이상의 입력들 또는 하나 이상의 보이스 커맨드들을 통해 시각적 객체(723)에 도시된 어느 설정들을 변경할 수 있다. 서버가 상기 가상 카메라를 추가하는 것은, 도 6의 미디어 서버 어플리케이션(680), 및/또는 가상 카메라 매니저(681)의 실행에 기반하여, 수행될 수 있다.
도 7을 참고하면, 화면(702) 내 시각적 객체(724)를 선택함을 나타내는 입력에 응답하여, 웨어러블 장치는 서버로 화면(702)을 통해 수신된 정보에 기반하는 가상 카메라를 추가하기 위한 요청을, 서버(예, 도 5 내지 도 6의 서버(110))로 송신할 수 있다. 서버는 상기 요청에 기반하여, 입력(714)에 의해 선택된 위치를 포함하는 영역을 이용하여 미디어의 레코딩을 제어하는데 이용될 수 있는 가상 카메라를 추가할 수 있다. 서버는, 상기 요청이 가상 카메라의 추가가 허용된 사용자에 의해 송신되었는지 여부에 기반하여, 상기 요청에 대응하는 가상 카메라를 추가할 수 있다. 서버는, 상기 요청에 의해 설정된 영역이, 미디어의 수집이 허용된 영역인지 여부에 기반하여, 상기 요청에 대응하는 가상 카메라를 추가할 수 있다. 서버는 상기 요청에 대응하는 가상 카메라를 추가하는 것에 기반하여, 상기 서버에 연결된 외부 전자 장치들로, 상기 요청에 의해 설정된 위치, 및/또는 영역에 기반하는 미디어의 레코딩, 및 수집을 요청할 수 있다. 서버는, 웨어러블 장치로 상기 요청에 기반하여 가상 카메라를 추가하였음을 나타내는 신호를 송신할 수 있다. 상기 신호를 수신하는 것에 기반하여, 웨어러블 장치는 화면(702)을 통해 수신된 정보에 기반하여 가상 카메라를 추가한 결과를 포함하는 화면(703)을 표시할 수 있다.
도 7을 참고하면, 화면(703)을 통해 표시되는 지도 내에서, 웨어러블 장치는 입력(714)에 대응하는 위치 상에 가상 카메라를 나타내는 시각적 객체(732)를 표시할 수 있다. 웨어러블 장치는 핀의 형태를 가지는 시각적 객체(732)와 함께, 웨어러블 장치는 상기 가상 카메라에 대응하는 데이터를 포함하는 시각적 객체(734)를 표시할 수 있다. 웨어러블 장치는 버블의 형태를 가지는 시각적 객체(734) 내에 상기 가상 카메라에 할당된 식별자를 포함하는 정보를 표시할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치는 사용자로부터 가상 카메라를 추가함을 나타내는 입력을 수신할 수 있다. 상기 입력에 기반하여, 웨어러블 장치는 서버로, 상기 입력에 기반하여 가상 카메라를 추가할 것을 요청할 수 있다. 이하에서는, 도 8을 참고하여, 도 7의 동작에 기반하여 가상 카메라를 추가한 상태 내에서, 웨어러블 장치가 상기 가상 카메라에 의해 형성된 영역 안으로 진입하였는지 여부에 기반하여 미디어를 레코딩하는 동작의 일 예가 설명된다.
도 8은, 일 실시예에 따른, 웨어러블 장치(520)가, 웨어러블 장치(520)의 이동에 기반하여 수행하는 동작의 일 예를 도시한다. 도 8의 웨어러블 장치(520)는, 도 5 내지 도 6의 웨어러블 장치(520)를 포함할 수 있다. 도 8의 웨어러블 장치(520)는 도 6의 미디어 송신 어플리케이션(670)의 실행에 기반하여, 미디어를 조건부로 레코딩할 수 있다.
도 8을 참고하면, 웨어러블 장치(520)는 센서(예, 도 6의 센서(640))로부터 출력되는 데이터에 기반하여 웨어러블 장치(520)의 위치를 식별, 및/또는 모니터링할 수 있다. 웨어러블 장치(520)는 GPS 센서일 수 있는 상기 센서로부터 출력되는 데이터에 기반하여, 웨어러블 장치(520)의 위치를 식별하거나 또는 결정할 수 있다. 웨어러블 장치(520)는 서버(예, 도 5 내지 도 6의 서버(110))로부터, 미디어의 레코딩을 조건부로 수행하기 위한 영역(510)을 포함하는 정보를 수신할 수 있다. 영역(510)은, 도 7의 예시적인 동작에 기반하여 추가된 가상 카메라에 대응할 수 있다. 영역(510)은, 미디어의 레코딩을 준비하기 위한 제1 영역(511), 및 미디어의 레코딩을 수행하기 위한 제2 영역(512)으로 구분될 수 있다.
도 8을 참고하면, 웨어러블 장치(520)는 위치 P1 내에서, 센서의 데이터에 기반하여 식별되거나 또는 결정된 웨어러블 장치(520)의 위치가 제1 영역(511) 안으로 진입하였는지 여부를 식별하거나 또는 결정할 수 있다. 예를 들어, 웨어러블 장치(520)는 제1 영역(511) 밖에서 위치 P1 안으로 진입하는 동안, 웨어러블 장치(520)의 위치가 제1 영역(511)의 경계선을 가로지르는지 여부를 식별하거나 또는 결정할 수 있다. 서버와 같은 외부 전자 장치에 의해 설정된 제1 영역(511) 내에 포함된, 웨어러블 장치(520)의 위치(예, 위치 P1)를 식별하거나 또는 결정하는 것에 기반하여, 웨어러블 장치(520)는 디스플레이(예, 도 6의 디스플레이(630))를 제어하여, 웨어러블 장치(520)의 FoV 내에, 화면(810)을 표시할 수 있다. 웨어러블 장치(520)는, 웨어러블 장치(520)의 카메라(예, 도 6의 카메라(660))의 상태를, 미디어의 레코딩을 위한 제1 상태로 조절하기 위한 시각적 객체(811)를, 화면(810) 내에 표시할 수 있다. 팝업 윈도우의 형태를 가지는 시각적 객체(811) 내에서, 웨어러블 장치(520)는 제1 영역(511) 안으로 진입하였음을 가이드하기 위한 지정된 텍스트(예, "미디어의 레코딩이 요청된 지역에 도착하였습니다.")를 표시할 수 있다. 화면(810) 내에서, 웨어러블 장치(520)는 상기 카메라의 상태를 조절하기 위한 상이한 옵션들에 대응하는 시각적 객체들(812, 813)을 표시할 수 있다. 시각적 객체(812)를 선택함을 나타내는 입력에 응답하여, 웨어러블 장치(520)는 카메라의 상태를 상기 제1 상태로 조절할 수 있다. 시각적 객체(813)를 선택함을 나타내는 입력에 응답하여, 웨어러블 장치(520)는 카메라의 상태를 상기 제1 상태와 상이한 제2 상태로 조절할 수 있다.
제1 영역(511) 안의 위치 P1로 진입한 때에, 웨어러블 장치(520)는 카메라의 상태를 식별할 수 있다. 카메라의 상태가 미디어의 레코딩을 위한 상기 제1 상태와 상이한 다른 상태인 경우, 웨어러블 장치(520)는 화면(810) 내에 상기 카메라의 상태를 상기 제1 상태로 조절하기 위한 시각적 객체(811)를 표시할 수 있다. 상기 제1 상태와 상이한 다른 상태는, 카메라가 미디어 송신 어플리케이션과 상이한 다른 어플리케이션에 의해 이용되고 있는 상태를 포함할 수 있다. 카메라가 상기 다른 어플리케이션에 의해 이용, 및/또는 점유되는 경우, 시각적 객체(812)를 선택함을 나타내는 입력에 응답하여, 웨어러블 장치(520)는 상기 다른 어플리케이션에 의한 카메라의 이용을 적어도 일시적으로 중단할 수 있다. 상기 제1 상태와 상이한 다른 상태는, 웨어러블 장치(520)의 메모리(예: 도 6의 메모리(620))의 사용량(usage)이, 상기 메모리의 용량 대비 지정된 비율을 초과한 상태를 포함할 수 있다. 상기 제1 상태와 상이한 다른 상태는, 절전 모드와 같이, 웨어러블 장치(520)에 기반하는 카메라의 제어가 조건부로 제한된 상태를 포함할 수 있다. 시각적 객체(812)를 선택함을 나타내는 입력에 응답하여, 웨어러블 장치(520)의 카메라를 상기 제1 상태로 조절한 이후, 웨어러블 장치(520)는 웨어러블 장치(520)의 위치를 모니터링하여, 웨어러블 장치(520)의 위치가 미디어를 레코딩하기 위한 제2 영역(512) 안으로 진입하는지 여부를 식별할 수 있다.
도 8을 참고하면, 웨어러블 장치(520)를 착용한 사용자(530)가 제2 영역(512)내 위치 P2로 이동됨에 따라, 웨어러블 장치(520)는, 웨어러블 장치(520)의 위치가 제2 영역(512)의 경계 선을 가로질러 이동됨을 식별하거나 또는 결정할 수 있다. 웨어러블 장치(520)는, 제2 영역(512) 안으로 이동된 웨어러블 장치(520)의 위치를 식별하는 것에 기반하여, 상기 제1 상태 내 카메라를 제어하여 미디어의 레코딩을 개시할 수 있다. 센서의 데이터에 기반하여, 웨어러블 장치(520)의 위치가 제1 영역(511) 내 제2 영역(512) 안으로 이동됨을 식별하는 것에 기반하여, 웨어러블 장치(520)는 제2 영역(512)과 관련된 미디어를 획득할 수 있다. 도 8을 참고하면, 미디어를 획득하는 동안, 웨어러블 장치(520)는 사용자(530)의 FoV 내에 표시되는 화면(820) 내에, 미디어가 획득되고 있음을 사용자에게 알리기 위한 시각적 객체(821)를 표시할 수 있다. 시각적 객체(821) 내에서, 웨어러블 장치(520)는 미디어의 획득을 중단함을 나타내는 입력을 수신하기 위한 버튼의 형태를 가지는 시각적 객체(822)를 표시할 수 있다.
일 실시예에서, 미디어를 레코딩하는 상태 내에서, 웨어러블 장치(520)는 제2 영역(512) 내에서의 웨어러블 장치(520)의 방향에 기반하여, 상기 미디어의 FoV를 변경할 것을, 사용자(530)에게 요청할 수 있다. 예를 들어, 웨어러블 장치(520)는 서버로부터 수신된 가상 카메라에 대응하는 정보에 기반하여, 미디어의 레코딩을 위해 요청된 FoV의 방향을 식별할 수 있다. 웨어러블 장치(520)는, 미디어를 레코딩하는 상태 내에서, 웨어러블 장치(520) 내 카메라의 방향, 및 식별된 방향을 비교할 수 있다. 상기 카메라의 방향은, 웨어러블 장치(520)의 센서(예, 가속도 센서, 및/또는 지자기 센서)의 데이터에 기반하여 결정되거나 또는 식별될 수 있다. 상기 정보에 포함된 FoV의 방향이, 웨어러블 장치(520)의 카메라의 방향과 상이한 경우, 웨어러블 장치(520)는 화면(820) 내에 웨어러블 장치(520)의 카메라의 방향을 변경하기 위하여 사용자에게 지시를 제공하기 위한 시각적 객체(823)(예, "동쪽으로 걸어가세요")를 표시할 수 있다. 시각적 객체(823)는, 특정 방향으로 걷는 것에 의하여 웨어러블 장치(520)의 카메라의 방향을 변경할 것을 사용자에게 지시하거나 또는 가이드하기 위한 텍스트(예, "동쪽으로 걸어가세요")를 포함할 수 있다. 웨어러블 장치(520)는 시각적 객체(823) 내에, 카메라의 방향을 이미지, 및/또는 아이콘을 표시할 수 있다. 도 8을 참고하면, 웨어러블 장치(520)가 시각적 객체(823) 내에 화살표를 표시한 일 예가 도시된다. 웨어러블 장치(520)는, 웨어러블 장치(520) 내에 포함된 지자기 센서의 데이터에 의해 지시되는 기준 방향을 이용하여, 시각적 객체(823) 내에 표시되는 상기 화살표의 방향을 조절할 수 있다.
일 실시예에서, 웨어러블 장치(520)는, 서버(예, 도 5 내지 도 6의 서버(110))로부터 영역(510)을 포함하는 정보를 수신하는 것에 기반하여, 웨어러블 장치(520)의 위치, 및 상기 정보에 의해 식별되는 영역(510)을 비교하여, 미디어의 레코딩을 제어할 수 있다. 예를 들어, 위치 P1 내에 배치된 상태 내에서, 웨어러블 장치(520)는 상기 정보를 수신하는 것에 기반하여, 웨어러블 장치(520)의 위치가 제1 영역(511) 내에 포함됨을 식별하거나 또는할 수 있다. 상기 예시 내에서, 웨어러블 장치(520)는, 웨어러블 장치(520)의 카메라의 상태를, 미디어의 레코딩을 위한 상기 제1 상태로 조절하거나, 또는 상기 제1 상태로 스위칭하기 위한 시각적 객체(811)를 표시할 수 있다. 하나 이상의 예시들에서, 위치 P2 내에 배치된 상태 내에서, 웨어러블 장치(520)는 상기 정보를 수신하는 것에 기반하여, 웨어러블 장치(520)의 위치가 제2 영역(512) 내에 포함됨을 식별하거나 또는 결정할 수 있다. 하나 이상의 예시들 내에서, 웨어러블 장치(520)는, 웨어러블 장치(520)의 카메라의 상태를 상기 제1 상태로 조절할 수 있다. 하나 이상의 예시들에서, 상기 카메라의 상태가 상기 제1 상태로 조절되는 것에 기반하여, 웨어러블 장치(520)는 상기 카메라를 제어하여 미디어의 획득을 개시할 수 있다.
일 실시예에서, 웨어러블 장치(520)가 제2 영역(512)으로 진입하는 것에 기반하여 미디어를 레코딩하는 것은, 상기 제2 영역(512) 밖으로 이동되는지 여부, 및/또는 시각적 객체(822)(예, "중단")를 선택함을 나타내는 입력에 의해 중단될 수 있다. 위치 P3에서, 제2 영역(512) 밖으로 이동됨을 식별하거나 또는 결정하는 것에 기반하여, 웨어러블 장치(520)는 미디어를 레코딩하는 것을 중단할 수 있다. 제2 영역(512) 밖으로 이동된 이후, 지정된 기간 이내에 제1 영역(511), 및/또는 제2 영역(512) 안으로 진입하지 않는 경우, 웨어러블 장치(520)는 상기 미디어를 레코딩하는 것을 중단할 수 있다. 웨어러블 장치(520)는 제2 영역(512) 내에서 레코딩된 미디어를, 웨어러블 장치(520)의 메모리 내에 저장할 수 있다.
일 실시예에서, 웨어러블 장치(520)는, 미디어가 웨어러블 장치(520)의 메모리 내에 저장된 때에, 상기 미디어에 대한 후처리를 수행할 수 있다. 상기 후처리는 상기 미디어의 밝기를 조절하는 동작, 및/또는 상기 미디어를 압축하는 동작을 포함할 수 있다. 상기 후처리는, 상기 미디어에 대응하는 메타 데이터를 생성하는 동작을 포함할 수 있다. 상술된 후처리는, 웨어러블 장치(520) 뿐만 아니라, 상기 미디어를 수신한 외부 전자 장치(예, 도 5 내지 도 6의 서버(110))에 의해 수행될 수 있다.
일 실시예에서, 웨어러블 장치(520)는 상기 미디어를, 통신 회로(예, 도 6의 통신 회로(650))를 통하여 서버와 같은 외부 전자 장치로 송신할 수 있다. 웨어러블 장치(520)가 서버로 상기 미디어를 송신하는 것은, 사용자(530)의 입력, 및/또는 웨어러블 장치(520)의 상태(예, 웨어러블 장치(520)의 배터리, 및/또는 데이터 사용량)에 기반하여 조건부로 수행될 수 있다. 웨어러블 장치(520)는 영역(510)에 대응하는 가상 카메라에 설정된 접근 권한에 기반하여, 미디어의 업로드를 자동적으로 조절할 수 있다. 예를 들어, 제1 접근 권한(예, private)의 가상 카메라에 대응하는 영역에 기반하여 미디어를 레코딩한 때에, 웨어러블 장치(520)는, 웨어러블 장치(520)의 사용자(530)가 상기 제1 접근 권한에 의해 선택된 사용자와 대응하는 경우, 서버로 상기 미디어를 자동적으로 송신할 수 있다. 하나 이상의 예시들에서, 제2 접근 권한(예, protected)의 가상 카메라에 대응하는 영역에 기반하여 미디어를 레코딩한 때에, 웨어러블 장치(520)는 사용자(530)의 입력에 기반하여, 상기 미디어를 조건부로 송신할 수 있다.
도 8을 참고하면, 웨어러블 장치(520)는 상기 서버로 상기 미디어를 송신할지 여부를 확인하기 위한 시각적 객체(831)를, 화면(830) 내에 표시할 수 있다. 하나 이상의 예시들에서, 시각적 객체(831)는 상기 미디어의 송신을 위한 버튼의 형태를 가지는 시각적 객체(832)를 포함할 수 있다. 웨어러블 장치(520)는 상기 미디어에 대한 정보를 획득하기 위한 시각적 객체(834)를 표시할 수 있다. 웨어러블 장치(520)는 상기 미디어의 송신을 중단, 및/또는 지연하기 위한 시각적 객체(833)를 표시할 수 있다.
일 실시예에서, 미디어가 제2 영역(512) 내에서 레코딩된 때에, 웨어러블 장치(520)는 상기 미디어에 대응하는 메타 데이터를 생성할 수 있다. 웨어러블 장치(520)는, 적어도 하나의 이벤트를 분류하기 위한 카테고리들 중에서, 상기 미디어에 대응하는 적어도 하나의 카테고리를 식별하거나 또는 결정할 수 있다. 상기 카테고리들은, 차량 충돌, 화재, 및/또는 콘서트와 같이, 미디어에 의해 레코딩되는 상황을 구분하기 위해 설정될 수 있다. 웨어러블 장치(520)는 상기 미디어와 함께, 결정된 또는 상기 식별된 적어도 하나의 카테고리에 기반하여 상기 적어도 하나의 이벤트를 나타내는 정보를 포함하는 메타 데이터를, 상기 미디어와 함께 저장할 수 있다. 상기 메타 데이터는, 상기 미디어가 레코딩된 위치(예, 제2 영역(512) 내 웨어러블 장치(520)의 위치)를 포함할 수 있다. 상기 메타 데이터는, 상기 미디어가 레코딩된 동안 웨어러블 장치(520)의 센서의 데이터의 적어도 일부분을 포함할 수 있다. 상기 메타 데이터는, 상기 미디어를 획득하는 동안의 카메라의 FoV를 나타내는 정보를 포함할 수 있다. 상기 메타 데이터는, 시각적 객체(834)를 선택함을 나타내는 입력에 기반하여, 사용자로부터 수신된 상기 미디어에 대한 정보(예, 상기 미디어에 대한 태그, 및/또는 상기 미디어에 포함된 적어도 하나의 사용자의 명칭)를 포함할 수 있다. 상기 메타 데이터는 미디어에 대한 접근 권한을 포함할 수 있다. 상기 메타 데이터는, 상기 미디어의 길이, 상기 미디어의 품질, 및/또는 해상도를 포함할 수 있다.
일 실시예에서, 웨어러블 장치(520)는, 시각적 객체(832)를 선택함을 나타내는 입력에 기반하여, 서버로 미디어를 송신할 수 있다. 서버로 송신되는 미디어와 함께, 웨어러블 장치(520)는 미디어에 대응하는 메타 데이터의 적어도 일부분을 송신할 수 있다. 웨어러블 장치(520)가 서버로 미디어를 송신하는 것은, 메모리 내에 저장이 완료된 미디어를 송신하는 동작 및, 카메라로부터 획득되는 미디어를 스트리밍하는 동작을 포함할 수 있다. 웨어러블 장치(520)는 서버로, 웨어러블 장치(520)에 저장된 상기 미디어를, 제2 영역(512)에 대응하는 가상 카메라에 대한 미디어로 저장할 것을, 요청할 수 있다. 비록, 사용자(530)의 머리에 착용가능한 형태를 가지는 웨어러블 장치(520)에 기반하여 미디어의 레코딩, 및 업로드하는 일 실시예가 설명되었지만, 실시예가 이러한 구성들에 제한되는 것은 아니다. 예를 들어, 차량의 블랙박스, 스마트폰의 카메라, 또는 레코딩 능력을 가진 다른 디바이스에 기반하여, 도 8의 미디어의 레코딩, 및 업로드하는 동작이 수행될 수 있다.
일 실시예에 따른, 웨어러블 장치(520)로부터 미디어를 수신한 서버는, 웨어러블 장치(520), 및/또는 웨어러블 장치(520)에 로그인된 사용자에게 보상을 제공할 수 있다. 상기 보상은, 웨어러블 장치(520)에 로그인된 사용자에 대응하는 계정 정보 내에 저장될 수 있다. 상기 보상은, 영역(510)에 대응하는 가상 카메라를 추가한 다른 사용자에 의해 설정될 수 있다. 상기 보상은, 가상 화폐, 및/또는 블록 체인 내에 저장된 스마트 컨트랙트에 의해 제공될 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(520)는 서버에 의해 설정된 영역(510)에 기반하여, 미디어의 자동적인 레코딩, 및 업로드를 수행할 수 있다. 서버는, 웨어러블 장치(520)를 포함하는, 영역(510) 안으로 진입된 전자 장치들로부터 미디어들을 수집할 수 있다. 상기 미디어들에 기반하여, 상기 서버는 상기 미디어들에 포함된 이벤트에 기반하여, 상기 미디어들을 분류할 수 있다. 상기 미디어들에 기반하여, 상기 서버는 상기 미디어들과 상이한 다른 미디어들을 합성할 수 있다. 상기 미디어들에 기반하여, 상기 서버는 영역(510)과 같이 지리적으로 선택된 영역에 기반하는 미디어의 검색을 지원할 수 있다.
이하에서는, 도 9를 참고하여, 웨어러블 장치(520)에 연결된 서버가, 웨어러블 장치(520)로부터 수신된 미디어를 포함하는 복수의 미디어들을 합성하는 동작의 일 예가 설명된다.
도 9는, 일 실시예에 따른, 하나 이상의 웨어러블 장치들에 연결된 서버(110)가, 상기 하나 이상의 웨어러블 장치들로부터 수신된 미디어들을 처리하는 동작의 일 예를 도시한다. 도 9의 서버(110)는 도 5 내지 도 6의 서버(110)를 포함할 수 있다. 도 9를 참고하면, 서버(110)가, 서버(110)에 의해 설정된 영역(예, 가상 카메라에 대응하는 영역) 내에 포함된 복수의 웨어러블 장치들(520-1, 520-2, 520-3)로부터 미디어들을 수신한 예시적인 케이스가 도시된다. 웨어러블 장치들(520-1, 520-2, 520-3) 각각은 상이한 사용자들(530-1, 530-2, 530-3) 각각에 의해 착용되는 HMD의 형태를 가질 수 있다. 서버(110)는 웨어러블 장치들 각각에 대한 도 6의 미디어 서버 어플리케이션(680)의 실행에 기반하여, 복수의 웨어러블 장치들(520-1, 520-2, 520-3)로부터 미디어들을 수신할 수 있다.
일 실시예에 따른, 서버(110)는 통신 회로(예, 도 6의 통신 회로(650))에 기반하여, 웨어러블 장치들(520-1, 520-2, 520-3)로부터, 지정된 영역에 대한 미디어들, 및 상기 미디어들에 대응하는 메타 데이터를 획득할 수 있다. 상기 미디어들은, 각 웨어러블 장치가 상기 지정된 영역 안으로 진입하였는지 여부에 기반하여, 웨어러블 장치들(520-1, 520-2, 520-3) 각각에 의해 레코딩될 수 있다. 서버(110)는 상기 메타 데이터에 기반하여, 지정된 영역에 대한 미디어들 중에서, 상기 지정된 영역 내에서 발생된 이벤트가 포함된 적어도 하나의 미디어를 식별하거나 또는 결정할 수 있다. 예를 들어, 서버(110)는 메타 데이터에 기반하여, 메타 데이터에 대응하는 미디어가 레코딩된 시간, 및 상기 이벤트가 발생된 시간을 비교하여, 상기 이벤트가 발생된 동안 레코딩된 미디어를 식별할 수 있다. 웨어러블 장치들(520-1, 520-2, 520-3)로부터 미디어들을 수신한 서버(110)는, 도 7을 참고하여 상술된 후처리 동작을, 상기 미디어들에 수행할 수 있다. 웨어러블 장치들(520-1, 520-2, 520-3)로부터 미디어들을 수신한 서버(110)는, 도 6의 미디어 싱크로나이저(683)의 실행에 기반하여, 상기 미디어들에 대한 동기화를 수행할 수 있다. 예를 들어, 웨어러블 장치들(520-1, 520-2, 520-3) 각각의 미디어들은 미디어 각각을 동기화하기 위하여 이용되는 타임 스탬프 각각과 연동될 수 있다.
도 9를 참고하면, 서버(110)가 지정된 영역 내에서 발생된 이벤트가 포함된 미디어로써, 웨어러블 장치들(520-1, 520-2, 520-3)로부터 수신된 미디어들을 식별하거나 또는 결정한 것으로 가정한다. 서버(110)는, 상기 이벤트가 포함된 미디어들의 개수가 지정된 임계치를 초과하거나, 상기 지정된 영역 내에서 레코딩된 미디어들의 개수가 상기 지정된 임계치를 초과하는 경우, 상기 미디어들로부터 새로운 미디어를 합성할 수 있다. 서버(110)는 지정된 품질, 및/또는 해상도를 가지는 미디어들의 개수에 기반하여, 상기 미디어들로부터 새로운 미디어를 합성할 수 있다. 웨어러블 장치들(520-1, 520-2, 520-3)로부터 수신된 미디어들은, 상이한 FoV들을 가질 수 있다. 서버(110)는 미디어들 각각의 FoV들에 의해 형성된 촬영 영역들(910-1, 910-2, 910-3)에 기반하여, 촬영 영역들(910-1, 910-2, 910-3)과 상이한 촬영 영역(910-4)을 가지는 다른 미디어(예, 동기화된 미디어)를 획득할 수 있다. 하나 이상의 예시들에서, 촬영 영역(910-4)은 합성 장면(composite scene)을 형성하기 위하여 촬영 영역들(910-1, 910-2, 910-3)의 합성일 수 있다. 서버(110)는 획득된 상기 다른 미디어를, 웨어러블 장치들(520-1, 520-2, 520-3)과 함께, 서버(110)의 메모리 내에 저장할 수 있다. 서버(110)는 상기 다른 미디어를, 서버(110)에 연결된 적어도 하나의 외부 전자 장치에 의해 액세스가능한(accessible) 상태(예, 상기 적어도 하나의 외부 전자 장치에 의해 검색가능한 상태)에 기반하여 저장할 수 있다.
도 9를 참고하면, 서버(110)가 웨어러블 장치들(520-1, 520-2, 520-3)로부터 수신한 미디어들의 촬영 영역들(910-1, 910-2, 910-3)에 기반하여, 상기 미디어들의 합성을 위해 이용될 촬영 영역(910-4)을 선택하는 예시적인 케이스가 도시된다. 서버(110)는 상기 미디어들에 대한 메타 데이터로부터, 상기 미디어들이 레코딩된 영역 내에서, 이벤트가 발생된 지점을 식별할 수 있다. 서버(110)는 상기 미디어들 각각의 FoV들의 방향들에 기반하여, 상기 식별된 지점을 향하는 FoV를 식별할 수 있다. 서버(110)에 의해 식별된 상기 FoV에 의해 형성된 촬영 영역(910-4)은, 상기 이벤트를 레코딩하기에 적합한 방향을 가질 수 있다. 예를 들어, 촬영 영역(910-4)은, 상기 이벤트가 가려지는지 여부에 기반하여, 서버(110)에 의해 조절될 수 있다. 식별된 촬영 영역(910-4)에 기반하여, 서버(110)는 상기 미디어들을 합성하여, 촬영 영역(910-4)을 가지는 다른 미디어를 합성할 수 있다. 서버(110)는 메모리 내에, 상기 합성된 다른 미디어, 및 상기 미디어들을, 상기 이벤트와 연계로 저장할 수 있다.
상술한 바와 같이, 복수의 외부 전자 장치들(예, 웨어러블 장치들(520-1, 520-2, 520-3))로부터 미디어들을 수신한 서버(110)는, 상기 미디어들을 합성할 수 있다. 합성된 미디어는, 상기 미디어들 각각의 촬영 영역들(910-1, 910-2, 910-3) 중 적어도 두 FoV들에 중첩되는 촬영 영역(910-4)를 가질 수 있다. 서버(110)가 상기 미디어들을 합성하는 것은, 상기 미디어들의 촬영 영역들(910-1, 910-2, 910-3)과 상이한 새로운 FoV를 가지는 미디어를 합성하는 동작 외에도, 콜라주(collage)와 같이, 상기 미디어들이 단일 프레임을 통해 병렬로 표시되는 미디어를 합성하는 동작을 포함할 수 있다.
이하에서는, 도 10 내지 도 11을 참고하여, 서버(110)가 웨어러블 장치와 같은 외부 전자 장치의 요청에 기반하여, 서버(110) 내에 저장된 복수의 미디어들을 검색하는 동작의 일 예가 설명된다.
도 10은, 일 실시예에 따른, 웨어러블 장치가 지정된 위치에서 캡쳐된 미디어들의 리스트를 표시하는 동작의 일 예를 도시한다. 도 10의 상기 웨어러블 장치는, 도 5 내지 도 6의 웨어러블 장치(520)를 포함할 수 있다. 도 10을 참고하면, 웨어러블 장치가 미디어 송신 어플리케이션(예, 도 6의 미디어 송신 어플리케이션(670))을 포함하는 어플리케이션의 실행에 기반하여, 미디어를 검색하기 위해 표시하는 화면(1010)이 도시된다. 화면(1010)은, 도 5 내지 도 6의 서버(110)에 연결된 웨어러블 장치에 의해 표시될 수 있다. 예를 들어, 화면(1010)은, 사용자(예, 도 5의 사용자(530))가 웨어러블 장치를 착용한 동안, 웨어러블 장치의 디스플레이를 통해 상기 사용자의 FoV의 적어도 일부분을 통해 보여질 수 있다.
도 10의 일 실시예를 참고하면, 웨어러블 장치는, 웨어러블 장치에 연결된 서버에 의해 제공된 하나 이상의 가상 카메라들, 및/또는 웨어러블 장치의 사용자에 의해 입력된 텍스트(예, 지명, 이벤트, 및/또는 FoV를 표현한 텍스트)에 기반하여, 지리적으로 특정된 일 영역 내에서 레코딩된 미디어들의 리스트를 포함하는 화면(1010)을 표시할 수 있다. 서버는 웨어러블 장치로부터, 서버 내에 저장된 미디어를 검색하기 위한 신호를 수신하는 것에 기반하여, 상기 신호에 대한 응답으로, 적어도 하나의 미디어를 포함하는 리스트를 화면(1010) 내에 표시하기 위한 정보를 송신할 수 있다. 화면(1010) 내에서, 웨어러블 장치는 상기 리스트에 대응하는 영역의 명칭(예, 지명)을 포함하는 시각적 객체(1020)를 표시할 수 있다. 화면(1010) 내에서, 웨어러블 장치는 화면(1010) 이전에 표시되었던 다른 화면으로 스위칭하기 위한 버튼의 형태를 가지는 시각적 객체(1015)를 표시할 수 있다. 화면(1010) 내에서, 웨어러블 장치는 사용자로부터 미디어들의 검색을 위한 텍스트(예, 키워드)를 수신하기 위한 아이콘의 형태를 가지는 시각적 객체(1030)를 표시할 수 있다.
일 실시예를 참고하면, 화면(1010) 내에서, 웨어러블 장치는 시각적 객체(1020)에 포함된 명칭을 지명으로 가지는 영역 내에서 레코딩된 미디어들의 리스트를 표시할 수 있다. 웨어러블 장치는 화면(1010) 내에서 상기 리스트에 포함된 상기 미디어들 각각에 대응하는 시각적 객체들(1040, 1050, 1060, 1070)을 표시할 수 있다. 시각적 객체들(1040, 1050, 1060, 1070)은, 상기 리스트에 포함된 아이템들, 및/또는 카드들로 지칭될 수 있다. 하나 이상의 예시들에서, 웨어러블 장치는 상기 미디어의 프리뷰를 제공하는 썸네일들(1042, 1050, 1060, 1070)과 같이, 상기 리스트에 포함된 상기 미디어들 각각에 대응하는 썸네일들을 표시할 수 있다. 하나 이상의 예시들에서, 웨어러블 장치는 시각적 객체(1040) 내에 포함된 텍스트(1044)와 같이, 상기 리스트에 포함된 상기 미디어들의 정보를 표시할 수 있다.
일 실시예에서, 시각적 객체(1040) 내 텍스트(1044)를 참고하면, 웨어러블 장치는 시각적 객체(1040)에 대응하는 미디어가 레코딩된 시간, 상기 미디어를 레코딩한 사용자, 상기 미디어에 포함된 이벤트(예, 차량 충돌(car crash)), 및/또는 상기 미디어를 레코딩한 전자 장치의 타입(예, AR glass) 중 적어도 하나를 표시할 수 있다. 도 10을 참고하면, 서버가 다양한 폼 팩터를 가지는 외부 전자 장치들로부터 미디어들을 수집하기 때문에, 화면(1010)을 통해 표시되는 리스트는, 상기 외부 전자 장치들(예, AR glass, CCTV, 차량)에서 레코딩된 미디어들을 포함할 수 있다. 서버가 도 9를 참고하여 상술한 동작에 기반하여, 수집된 미디어들로부터 새로운 미디어를 합성하기 때문에, 화면(1010)을 통해 표시되는 리스트는, 시각적 객체(1070)와 같이, 서버에 의해 합성된 미디어를 포함할 수 있다. 시각적 객체(1070) 내에서, 웨어러블 장치는 시각적 객체(1070)에 대응하는 미디어가 합성된 미디어임을 나타내는 텍스트(예, "generated")를 표시할 수 있다. 실시예가 이에 제한되는 것은 아니며, 웨어러블 장치는 텍스트(1044) 내에, 시각적 객체(1040)에 대응하는 미디어의 FoV(예, 롤(roll) 각도, 요(yaw) 각도, 또는 피치(pitch) 각도 중 적어도 하나에 기반하여 표시된 FoV의 시야각)를 표시할 수 있다. 화면(1010) 내에서, 웨어러블 장치는 리스트 내에 포함된 미디어들 중에서 화면(1010) 내에 표시되지 않은 다른 미디어를 표시하기 위한 시각적 객체(1080)를 표시할 수 있다.
일 실시예를 참고하면, 화면(1010) 내에 표시된 리스트에 기반하여, 웨어러블 장치는 상기 리스트 내에 포함된 미디어를 재생함을 나타내는 입력을 식별할 수 있다. 상기 입력에 응답하여, 웨어러블 장치는 상기 입력에 대응하는 상기 미디어를 표시할 수 있다. 사용자의 FoV 내에 상기 미디어를 표시하기 위하여, 웨어러블 장치는 서버로, 상기 입력에 대응하는 상기 미디어의 스트리밍, 및/또는 송신을 위한 신호를 송신할 수 있다. 서버로부터 상기 신호에 대한 응답으로, 상기 미디어를 수신하는 것에 기반하여, 웨어러블 장치는 상기 수신된 미디어를 표시할 수 있다.
일 실시예에 따른, 웨어러블 장치가 미디어들을 검색하는 것은, 도 10에 도시된, 서버에 저장된 미디어들을 검색하는 일 실시예에 제한되지 않는다. 이하에서는 도 11을 참고하여, 일 실시예에 따른, 웨어러블 장치가 서버로부터 영역, 및/또는 이벤트에 기반하여, 미디어를 검색하는 동작의 일 예가 설명된다.
도 11은, 일 실시예에 따른, 웨어러블 장치가 지정된 위치에서 캡쳐된 미디어들의 리스트를 표시하는 동작의 일 예를 도시한다. 도 11의 상기 웨어러블 장치는, 도 5 내지 도 6의 웨어러블 장치(520)를 포함할 수 있다. 도 11을 참고하면, 웨어러블 장치가 미디어 송신 어플리케이션(예, 도 6의 미디어 송신 어플리케이션(670))을 포함하는 어플리케이션의 실행에 기반하여, 미디어를 검색하기 위해 표시하는 화면(1110)이 도시된다. 화면(1110)은, 도 5 내지 도 6의 서버(110)에 연결된 웨어러블 장치에 의해 표시될 수 있다. 예를 들어, 화면(1110)은, 사용자(예, 도 5의 사용자(530))가 웨어러블 장치를 착용한 동안, 웨어러블 장치의 디스플레이를 통해 상기 사용자의 FoV의 적어도 일부분을 통해 보여질 수 있다.
일 실시예에 따른, 웨어러블 장치는 서버로, 일 영역에서 발생되었거나, 또는 발생되고 있는 이벤트에 대한 미디어를 검색하기 위한 신호를 송신할 수 있다.
도 11을 참고하면, 웨어러블 장치는, 서버로부터 상기 신호에 대한 응답으로 수신한, 미디어들의 리스트를, 화면(1110) 내에 표시할 수 있다. 화면(1110) 내에서, 웨어러블 장치는 화면(1110)을 표시하기 이전의 다른 화면으로 전환함을 나타내는 입력을 수신하기 위한 시각적 객체(1015)를 표시할 수 있다. 화면(1110) 내에서, 웨어러블 장치는 상기 리스트에 대응하는 이벤트의 명칭을 포함하는 시각적 객체(1120)를 표시할 수 있다. 시각적 객체(1120) 내에서, 웨어러블 장치는 상기 이벤트의 명칭(예, "drum sound"와 같은 콘서트의 명칭), 및 상기 이벤트가 발생된 명칭(예, "seoul")을, 지정된 구분 문자(delimeter)(예, "@")에 기반하여 연결할 수 있다. 화면(1110) 내에서, 웨어러블 장치는 사용자로부터 키워드를 수신하기 위한 시각적 객체(1030)를 표시할 수 있다.
일 실시예에 따른, 화면(1110) 내에서, 웨어러블 장치는 시각적 객체(1120)에 의해 특정된 이벤트를 포함하는 미디어들의 리스트를 표시할 수 있다. 상기 리스트는, 웨어러블 장치에 연결된 서버에 저장되거나, 또는 상기 서버에 의해 스트리밍 가능한 미디어들을 포함할 수 있다. 화면(1110) 내에서, 웨어러블 장치는 상기 리스트에 포함된 미디어들에 대응하는 시각적 객체들(1130, 1140, 1150, 1160)을 표시할 수 있다. 화면(1110) 내에서, 웨어러블 장치는 화면(1110)을 통해 표시된 리스트 내 미디어들과 상이한 상기 리스트 내 상기 다른 미디어를 열람하기 위한 시각적 객체(1080)를 표시할 수 있다. 하나 이상의 예시들에서, 시각적 객체(1130) 내 썸네일(1132)과 같이, 웨어러블 장치는 상기 리스트 내 미디어들을 표현하는 썸네일들을, 화면(1110) 내에 표시할 수 있다. 하나 이상의 예시들에서, 시각적 객체(1130) 내 텍스트(1134)와 같이, 웨어러블 장치는 상기 리스트 내 미디어들의 정보를, 화면(1110) 내에 표시할 수 있다.
일 실시예에서, 시각적 객체(1130) 내 썸네일(1132)을 참고하면, 웨어러블 장치는 시각적 객체(1130)에 대응하는 미디어가, 스트리밍에 기반하여 실시간으로 레코딩되고 있음을 나타내는 텍스트(예, "Live")를 포함할 수 있다. 시각적 객체(1130)를 선택함을 나타내는 입력에 응답하여, 웨어러블 장치는, 서버, 또는 시각적 객체(1130)에 대응하는 미디어를 레코딩하는 외부 전자 장치로, 상기 미디어의 스트리밍을 요청할 수 있다. 상기 요청에 기반하여, 웨어러블 장치는 시각적 객체(1130)에 대응하는 미디어를 출력할 수 있다. 웨어러블 장치가 시각적 객체(1130)에 대응하는 미디어를 출력하는 것은, 상기 미디어를 스트리밍하는 것이 완료될 때까지 조건부로 수행될 수 있다. 시각적 객체(1130) 내 텍스트(1134)를 참고하면, 웨어러블 장치는 상기 미디어의 레코딩이 시작된 시간, 상기 미디어를 레코딩하는 사용자, 상기 미디어의 해상도, 및/또는 상기 미디어를 레코딩하는 전자 장치의 타입을 나타내는 텍스트를 표시할 수 있다.
일 실시예에서, 시각적 객체(1160) 내 썸네일(1162)을 참고하면, 웨어러블 장치는 시각적 객체(1160)에 대응하는 미디어가, 화면(1110)을 통해 표시되는 리스트에 대응하는 이벤트와 관련된 사람이 레코딩된 복수의 미디어들이 합성된 미디어임을 나타내는 텍스트(예, "C")를 포함할 수 있다. 예를 들어, 시각적 객체(1160)에 대응하는 미디어는, 상기 복수의 미디어들을 콜라주와 같은 지정된 미디어 효과에 기반하여 합성된 미디어일 수 있다. 상기 리스트를 제공하는 서버는, 미디어들에 포함된 사람들 사이의 유사성에 기반하여, 상기 미디어들 중에서 동일한 사람을 포함하는 미디어들을 합성할 수 있다. 시각적 객체(1160)는, 사람들 사이의 유사성에 기반하여 서버에 의해 합성된 미디어를 나타낼 수 있다. 시각적 객체(1160) 내 썸네일(1162)은, 상기 사람을 포함하는 썸네일이거나, 상기 미디어들 중에서 가장 해상도가 높은 미디어의 썸네일이거나, 또는 상기 미디어들 중에서 가장 많은 전자 장치로 송신되고 있는 미디어의 썸네일에 대응할 수 있다.
일 실시예에서, 시각적 객체(1160)를 선택함을 나타내는 입력에 응답하여, 웨어러블 장치는 시각적 객체(1160)에 대응하고, 콜라주에 기반하여 연결된 복수의 미디어들을 출력할 수 있다. 웨어러블 장치가 상기 복수의 미디어들을 출력하는 것은, 상기 웨어러블 장치로 상기 복수의 미디어들을 송신하는 서버에 의해 제어될 수 있다. 예를 들어, 상기 복수의 미디어들 중에서, 시각적 객체(1160)에 대응하는 사람을 더 이상 캡쳐하지 않는 미디어가 제외될 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치, 및 서버는, 지리적으로 선택된 영역에 기반하는 미디어의 레코딩, 및/또는 검색을 위한 기능들을 실행할 수 있다. 서버는, 가상 카메라에 기반하여 미디어의 레코딩을 위한 상기 영역을 관리할 수 있다. 웨어러블 장치는 상기 영역 내에서, 동심으로 세분화된 영역들(예, 도 5의 제1 영역(511), 및 제2 영역(512))을 이용하여, 웨어러블 장치의 카메라를 제어할 수 있다. 서버는, 웨어러블 장치를 포함하는 복수의 전자 장치들로부터 수신된 미디어들을, 상기 미디어들이 레코딩된 위치들, 상기 미디어들에 포함된 상이한 이벤트들에 기반하여, 분류할 수 있다. 상기 미디어들이 분류된 결과에 기반하여, 서버는, 상기 미디어들의 검색, 다운로드, 및/또는 스트리밍을 수행할 수 있다.
이하에서는 도 12 내지 도 14를 참고하여, 상술된 웨어러블 장치, 및 서버의 동작이 설명된다.
도 12는, 일 실시예에 따른, 웨어러블 장치에 대한 흐름도의 일 예를 도시한다. 도 12의 웨어러블 장치는, 도 5 내지 도 6의 웨어러블 장치(520)를 포함할 수 있다. 예를 들어, 도 12의 하나 이상의 동작들은 도 6의 웨어러블 장치(520), 및/또는 웨어러블 장치(520)의 프로세서(610)에 의해 수행될 수 있다. 도 12의 하나 이상의 동작들은 도 6의 미디어 송신 어플리케이션(670)의 실행에 기반하여, 웨어러블 장치에 의해 수행될 수 있다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
도 12를 참고하면, 동작(1210) 내에서, 일 실시예에 따른, 웨어러블 장치는, 웨어러블 장치의 센서(예, 도 6의 센서(640))의 데이터에 기반하여, 웨어러블 장치를 착용한 사용자(예, 도 5의 사용자(530))가 제1 영역(예, 도 5의 제1 영역(511)) 안으로 이동함을 식별하거나 또는 결정할 수 있다. 웨어러블 장치는 상기 제1 영역을 나타내는 정보를, 동작(1210) 이전에, 웨어러블 장치에 연결된 외부 전자 장치(예, 도 5 내지 도 6의 서버(110))로부터 수신할 수 있다. 예를 들어, 웨어러블 장치는, 상기 센서의 데이터에 포함된 웨어러블 장치의 GPS 좌표가, 상기 제1 영역, 및/또는 상기 제1 영역과 관련된 지오펜스(geofence) 내에 포함되는지 여부를 식별할 수 있다.
제1 영역 안으로 이동된 때에, 동작(1220)에 기반하여, 일 실시예에 따른, 웨어러블 장치는, 웨어러블 장치의 카메라(예, 도 6의 카메라(660))의 상태를, 미디어의 레코딩을 위한 제1 상태에 기반하여 변경할 수 있다. 상기 제1 상태는, 미디어의 레코딩을 위하여 카메라를 활성화한 상태를 포함할 수 있다. 상기 제1 상태는, 웨어러블 장치의 카메라가 상기 제1 영역에 기반하여 미디어의 레코딩, 및 업로드를 수행하는 지정된 어플리케이션(예, 도 6의 미디어 송신 어플리케이션(670))에 의해 점유된 상태를 포함할 수 있다.
도 12를 참고하면, 동작(1230) 내에서, 일 실시예에 따른, 웨어러블 장치는, 사용자가 제1 영역 내 제2 영역(예, 도 5의 제2 영역(512)) 안으로 이동하는지 여부를 판단할 수 있다. 웨어러블 장치는 센서의 데이터에 기반하여, 웨어러블 장치의 위치, 및 상기 제2 영역을 비교하여, 상기 웨어러블 장치를 착용한 사용자가 상기 제2 영역 안으로 진입하는지 여부를 식별하거나 또는 결정할 수 있다. 사용자가 상기 제2 영역 안으로 이동하기 이전에(1230-아니오), 웨어러블 장치는 카메라의 상태를 제1 상태로 유지할 수 있다.
사용자가 제2 영역 안으로 이동함을 식별하거나 또는 결정하는 것에 응답하여(1230-예), 동작(1240) 내에서, 일 실시예에 따른, 웨어러블 장치는 카메라를 제어하여, 미디어를 획득할 수 있다. 제2 영역 안으로 이동하기 이전의 상태(1220)에서, 카메라를 제1 상태로 변경하였기 때문에, 웨어러블 장치는 동작(1240) 내에서, 미디어의 레코딩을 보다 신속하게 개시할 수 있다. 동작(1240)에 기반하여, 촬영 입력(shooting input)과 같은 사용자의 입력과 독립적으로 웨어러블 장치는 제2 영역에 대응하는 미디어를 획득할 수 있다. 하나 이상의 예시들에서, 제2 영역 내에서 미디어를 획득하는 동안, 웨어러블 장치는 센서의 데이터를 이용하여 웨어러블 장치, 및/또는 웨어러블 장치를 착용한 사용자의 위치를 모니터링할 수 있다.
도 12를 참고하면, 동작(1250) 내에서, 일 실시예에 따른, 웨어러블 장치는, 사용자가 제2 영역의 밖으로 이동하는지 여부를 판단할 수 있다. 사용자가 제2 영역 밖으로 이동하지 않은 것으로 결정된 경우(1250-아니오), 동작(1280)에 기반하여, 일 실시예에 따른, 웨어러블 장치는 미디어의 레코딩을 중단함을 나타내는 입력의 여부를 판단할 수 있다. 상기 입력은, 도 8의 시각적 객체(822)에 기반하여 수신될 수 있다. 사용자가 제2 영역 안에 배치되고, 동작(1280)의 입력을 식별하지 않은 때에(1280-아니오), 웨어러블 장치는 동작(1240)에 기반하여 미디어를 획득하는 것을 유지할 수 있다.
사용자가 제2 영역 밖으로 이동함을 식별하는 것에 응답하여(1250-예), 동작(1260) 내에서, 일 실시예에 따른, 웨어러블 장치는 카메라의 상태를, 제1 상태와 상이한 제2 상태로 변경하여, 미디어의 획득 또는 레코딩을 중단할 수 있다. 예를 들어, 동작(1260)에 기반하여, 웨어러블 장치는 동작(1240)에 기반하는 미디어의 레코딩을 완료할 수 있다. 미디어의 레코딩이 완료됨에 따라, 웨어러블 장치는 미디어에 대한 후처리 동작을 수행할 수 있다. 미디어의 레코딩이 완료됨에 따라, 웨어러블 장치는 미디어에 대응하는 메타 데이터를 획득할 수 있다.
도 12를 참고하면, 동작(1270) 내에서, 일 실시예에 따른, 웨어러블 장치는 외부 전자 장치로 미디어를 송신할 수 있다. 예를 들어, 웨어러블 장치는 도 5 내지 도 6의 서버(110)로 미디어를 송신할 수 있다. 웨어러블 장치는 외부 전자 장치로, 미디어와 함께, 미디어에 대응하는 메타 데이터를 송신할 수 있다.
도 13은, 일 실시예에 따른, 전자 장치에 대한 흐름도의 일 예를 도시한다. 도 13의 전자 장치는, 도 5 내지 도 6의 서버(110)를 포함할 수 있다. 예를 들어, 도 13의 하나 이상의 동작들은 도 6의 서버(110), 및/또는 서버(110)의 프로세서(610)에 의해 수행될 수 있다. 도 13의 전자 장치의 동작은, 도 12의 동작들 중 적어도 하나와 관련될 수 있다. 예를 들어, 도 13의 전자 장치는, 도 12의 동작(1270)의 외부 전자 장치를 포함할 수 있다. 도 13의 하나 이상의 동작들은 도 6의 미디어 서버 어플리케이션(680)의 실행에 기반하여 수행될 수 있다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
도 13을 참고하면, 동작(1310) 내에서, 일 실시예에 따른, 전자 장치는, 외부 전자 장치들로부터, 지정된 영역 내에서 레코딩된 제1 미디어들을 수신할 수 있다. 동작(1310)의 외부 전자 장치는 도 5 내지 도 6의 웨어러블 장치(520)를 포함할 수 있다. 상기 지정된 영역은, 도 5의 영역(510)을 포함할 수 있다. 예를 들어, 동작(1310)의 지정된 영역은, 도 7을 참고하여 상술된 동작에 기반하여 설정될 수 있다. 동작(1310)의 제1 미디어들은, 도 5, 도 8, 및/또는 도 12를 참고하여 상술된 웨어러블 장치(520)의 동작에 의해 레코딩될 수 있다.
도 13을 참고하면, 동작(1320) 내에서, 일 실시예에 따른, 전자 장치는, 제1 미디어들에 대응하는 메타 데이터를 식별하거나 또는 결정할 수 있다. 전자 장치는, 동작(1310)에 기반하여 수신된, 제1 미디어들과 함께, 외부 전자 장치들로부터 메타 데이터를 수신할 수 있다. 전자 장치는, 도 6의 미디어 서버 어플리케이션(680) 내 미디어 분석기(682)의 실행에 기반하여, 제1 미디어들에 대응하는 메타 데이터를 획득할 수 있다.
도 13을 참고하면, 동작(1330) 내에서, 일 실시예에 따른, 전자 장치는, 메타 데이터에 기반하여, 제1 미디어들 중에서, 지정된 영역 내에서 발생된 이벤트가 포함된 제2 미디어들을 식별할 수 있다. 전자 장치는, 제1 미디어들의 메타 데이터에 기반하여, 상기 이벤트가 발생된 시간 구간 내에서 레코딩된 상기 제2 미디어들을 식별하거나 또는 결정할 수 있다.
도 13을 참고하면, 동작(1340) 내에서, 일 실시예에 따른, 전자 장치는, 제2 미디어들로부터, 제3 미디어를 획득할 수 있다. 전자 장치는 제2 미디어들의 FoV들에 기반하여, 상기 FoV들과 상이한 FoV를 가지는 상기 제3 미디어를 획득할 수 있다. 전자 장치는, 도 9를 참고하여 상술된 동작에 기반하여, 동작(1330)의 이벤트에 대응하는 FoV를 가지는 상기 제3 미디어를, 상기 제2 미디어들에 대한 합성에 기반하여, 획득할 수 있다.
도 13을 참고하면, 동작(1350) 내에서, 일 실시예에 따른, 전자 장치는, 외부 전자 장치들에 의해 액세스가능한 상태에 기반하여, 제3 미디어를 저장할 수 있다. 상기 상태는, 전자 장치에 연결된 상기 외부 전자 장치들에 의해 검색 가능한 상태로 상기 제3 미디어를 저장하는 것을 의미할 수 있다. 동작(1350)에 기반하여, 전자 장치는 상기 제2 미디어들과 함께, 상기 제3 미디어를 저장할 수 있다. 예를 들어, 전자 장치는 동작(1330)의 이벤트에 대응하는 카테고리 내에, 상기 제2 미디어들과 함께 상기 제3 미디어를 저장할 수 있다. 전자 장치가 상기 제3 미디어를 저장하는 것은, 데이터베이스에 기반하여, 상기 제3 미디어의 검색에 이용되는 정보를, 상기 제3 미디어에 매칭하여 저장하는 동작을 포함할 수 있다.
도 13을 참고하면, 동작(1360) 내에서, 일 실시예에 따른, 전자 장치는, 지정된 영역, 및/또는 이벤트를 검색하는 외부 전자 장치로, 제2 미디어들, 및/또는 제3 미디어를 포함하는 리스트를 송신할 수 있다. 전자 장치에 의해 송신된 상기 리스트에 기반하여, 상기 외부 전자 장치는 도 10 내지 도 11을 참고하여 예시된 화면들(1010, 1110)을 표시할 수 있다.
도 14는, 일 실시예에 따른, 전자 장치에 대한 흐름도의 일 예를 도시한다. 도 14의 전자 장치는, 도 5 내지 도 6의 서버(110)를 포함할 수 있다. 예를 들어, 도 14의 하나 이상의 동작들은 도 6의 서버(110), 및/또는 서버(110)의 프로세서(610)에 의해 수행될 수 있다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 도 14의 전자 장치의 동작은, 도 13의 동작들 중 적어도 하나와 관련될 수 있다. 예를 들어, 도 14의 전자 장치의 동작은, 도 13의 동작(1360)과 관련될 수 있다.
도 14를 참고하면, 동작(1410) 내에서, 일 실시예에 따른, 전자 장치는, 외부 전자 장치로부터 지정된 위치에 매칭된 가상 카메라에 대한 미디어를 요청하는 제1 신호를 수신할 수 있다. 동작(1410)의 상기 외부 전자 장치는, 도 5 내지 도 6의 웨어러블 장치(520)를 포함할 수 있다. 상기 제1 신호는, 도 7의 화면들(701, 703)과 같이, 지도에 기반하여 가상 카메라를 선택하기 위한 UI를 표시한 상기 외부 전자 장치가 수신한 입력을 포함할 수 있다. 상기 제1 신호는, 도 10 내지 도 11의 화면들(1010, 1110)과 같이, 외부 전자 장치가 사용자로부터 수신한 키워드, 및/또는 텍스트를 포함할 수 있다.
도 14를 참고하면, 동작(1420) 내에서, 일 실시예에 따른, 전자 장치는, 메모리 내에 저장되고, 지정된 위치 상에서 레코딩된 제1 미디어들의 FoV들을 식별할 수 있다. 동작(1420)의 상기 메모리는, 도 6의 서버(110) 내 메모리(620)를 포함할 수 있다. 동작(1420)에 기반하여, 전자 장치는 동작(1410)의 제1 신호에 의해 선택된 상기 지정된 위치 상에서 레코딩된 상기 제1 미디어들을, 메모리 내에 저장된 복수의 미디어들 중에서 선택할 수 있다. 전자 장치는 상기 제1 미디어들의 FoV들을, 상기 제1 미디어들에 대응하는 메타 데이터로부터 식별할 수 있다.
도 14를 참고하면, 동작(1430) 내에서, 일 실시예에 따른, 전자 장치는, 제1 미디어들로부터, 제1 신호에 의해 나타나는 FoV를 가지는 제2 미디어를 식별하거나 또는 결정할 수 있다. 동작(1420)에 기반하여 식별된 FoV들을, 상기 제1 신호에 의해 나타나는 FoV와 비교하여, 전자 장치는 동작(1430)의 제2 미디어를 식별할 수 있다.
제2 미디어를 식별하거나 또는 결정하는 것에 기반하여, 동작(1440) 내에서, 일 실시예에 따른, 전자 장치는, 외부 전자 장치로, 제1 신호에 대한 응답으로, 제1 미디어들, 및/또는 제2 미디어의 리스트를 송신할 수 있다. 전자 장치는 상기 리스트와 함께, 상기 리스트를 시각화할 것을 나타내는 신호를, 외부 전자 장치로 송신할 수 있다. 상기 신호를 수신한 외부 전자 장치는, 도 10 내지 도 11의 화면들(1010, 1110)과 같이, 상기 리스트를 시각화할 수 있다. 상기 리스트 내에서 특정 미디어를 선택함을 나타내는 입력에 응답하여, 외부 전자 장치는, 전자 장치로 상기 입력에 의해 선택된 상기 미디어를 송신할 것을 요청하는 신호를 송신할 수 있다.
도 14를 참고하면, 동작(1450) 내에서, 일 실시예에 따른, 전자 장치는, 외부 전자 장치로부터 상기 리스트 내에 포함된 일 미디어의 선택을 나타내는 제3 신호를 수신하는 것에 기반하여, 외부 전자 장치로, 제3 신호에 대응하는 미디어의 적어도 일부분을 송신할 수 있다. 상기 제3 신호는, 외부 전자 장치에 의해 식별되거나 또는 결정되고, 동작(1440)의 리스트 내 포함된 일 미디어를 선택함을 나타내는 입력에 기반하여, 외부 전자 장치로부터 전자 장치로 송신될 수 있다. 전자 장치는 상기 제3 신호를 수신하는 것에 기반하여, 상기 제3 신호에 포함된 미디어를, 외부 전자 장치로 송신, 및/또는 스트리밍할 수 있다.
일 실시예에서, 웨어러블 장치의 카메라를 이용하여, 웨어러블 장치의 위치에 기반하여, 미디어를 레코딩하는 방안이 요구될 수 있다. 상술한 바와 같은, 일 실시예에 따른, 웨어러블 장치(wearable device)(예, 도 5 내지 도 6의 웨어러블 장치(520))는, 디스플레이(예, 도 6의 디스플레이(630)), 카메라(예, 도 6의 카메라(660)), 센서(예, 도 6의 센서(640)), 통신 회로(예, 도 6의 통신 회로(650)), 및 프로세서(예, 도 6의 프로세서(610))를 포함할 수 있다. 상기 프로세서는, 상기 센서로부터 출력되는 데이터에 기반하여 상기 웨어러블 장치의 위치를 식별하거나 또는 결정하도록, 구성될 수 있다. 상기 프로세서는, 상기 통신 회로를 통하여 외부 전자 장치에 의해 설정된 제1 영역(예, 도 5의 제1 영역(511)) 내에 포함된, 상기 위치를 식별하거나 또는 결정하는 것에 기반하여, 상기 디스플레이를 제어하여, 상기 웨어러블 장치의 FoV(field-of-view) 내에, 상기 카메라의 상태를, 미디어(예, 도 5의 미디어(540))의 레코딩을 위한 제1 상태로 조절하기 위한 시각적 객체(예, 도 8의 시각적 객체(811))를 표시하도록, 구성될 수 있다. 상기 프로세서는, 상기 시각적 객체를 선택함을 나타내는 입력에 응답하여, 상기 카메라의 상태를 상기 제1 상태로 조절하도록, 구성될 수 있다. 상기 프로세서는, 상기 데이터에 기반하여, 상기 위치가 상기 데이터에 의하여 상기 제1 영역 내 제2 영역(예, 도 5의 제2 영역(512)) 안으로 이동됨을 식별하는 것에 기반하여, 상기 제1 상태로 조절된 상기 카메라에 기반하여, 상기 제2 영역과 관련된 미디어를 획득하도록, 구성될 수 있다. 상기 프로세서는, 상기 획득된 미디어를, 상기 통신 회로를 통하여 상기 외부 전자 장치(예, 도 5 내지 도 6의 서버(110))로 송신하도록, 구성될 수 있다. 웨어러블 장치는 영역 안으로 진입하였는지 여부에 기반하여, 상기 영역에 대한 미디어를 자동적으로 레코딩할 수 있다.
예를 들어, 상기 프로세서는, 상기 미디어에 의해 레코딩된 적어도 하나의 이벤트를 분류하기 위한 카테고리들 중에서, 상기 미디어에 대응하는 적어도 하나의 카테고리를 식별하거나 또는 결정하도록, 구성될 수 있다. 상기 프로세서는, 상기 미디어와 함께, 상기 적어도 하나의 카테고리에 기반하여 상기 적어도 하나의 이벤트를 나타내는 정보를, 상기 외부 전자 장치로 송신하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 미디어를, 상기 위치를 식별하기 위한 상기 데이터와 함께 상기 외부 전자 장치로 송신하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 미디어를 획득한 이후, 상기 미디어에 대한 정보를 입력함을 나타내는 다른 입력을 식별하거나 또는 결정하도록, 구성될 수 있다. 상기 프로세서는, 상기 다른 입력에 의해 식별되거나 또는 결정된 상기 정보를, 상기 미디어와 함께, 상기 외부 전자 장치로 송신하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 미디어를, 상기 미디어를 획득하는 동안의 상기 카메라의 FoV를 나타내는 정보와 함께, 상기 외부 전자 장치로 송신하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 제1 시각적 객체인 상기 시각적 객체와 상이하고, 상기 획득된 미디어를 송신하기 위한 제2 시각적 객체를 선택함을 나타내는 입력에 기반하여, 상기 외부 전자 장치로 상기 미디어를 송신하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, GPS(global positioning system) 센서인 상기 센서로부터 출력되는 상기 데이터에 기반하여, 상기 웨어러블 장치의 지리적 위치가 제1 영역의 경계선을 가로지르는지 여부를 식별하거나 또는 결정하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 입력에 응답하여, 상기 미디어를 획득하기 위한 지정된 어플리케이션(예, 도 6의 미디어 송신 어플리케이션(670))과 상이한 다른 어플리케이션에 기반하는 상기 카메라의 제어를 적어도 일시적으로 중단(cease at least temporary)하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 데이터에 의해 식별되거나 또는 결정된 상기 제2 영역 내에서의 상기 카메라의 방향에 기반하여, 상기 디스플레이를 통하여 상기 FoV 내에, 제1 시각적 객체인 상기 시각적 객체와 상이하고, 상기 카메라의 방향을 가이드하기 위한 제2 시각적 객체(예, 도 8의 시각적 객체(823))를 표시하도록, 구성될 수 있다.
상술한 바와 같은, 일 실시예에 따른, 전자 장치의 방법은, 상기 전자 장치의 통신 회로에 기반하여, 외부 전자 장치들로부터, 일 영역에 대한 제1 미디어들, 및 상기 제1 미디어들에 대응하는 메타 데이터를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 메타 데이터에 기반하여, 상기 제1 미디어들 중에서, 상기 영역 내에서 발생된 이벤트가 포함된 제2 미디어들을 식별하거나 또는 결정하는 동작을 포함할 수 있다. 상기 방법은, 상기 제2 미디어들에 기반하여, 상기 제2 미디어들 각각의 FoV들(field-of-views)과 상이한 FoV를 가지고, 상기 이벤트를 포함하는 제3 미디어를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 전자 장치의 메모리 내에, 상기 외부 전자 장치들 중 적어도 하나에 의해 액세스가능한(accessible) 상태에 기반하여, 상기 제3 미디어를 저장하는 동작을 포함할 수 있다.
예를 들어, 상기 메타 데이터를 획득하는 동작은, 상기 제2 미디어들에 기반하여 상기 영역 내에서 상기 이벤트가 발생된 지점을 식별하거나 또는 결정하는 동작을 포함할 수 있다.
예를 들어, 상기 제3 미디어를 획득하는 동작은, 상기 메타 데이터에 의해 나타나는 상기 제2 미디어들 각각의 FoV들의 방향들에 기반하여, 상기 식별되거나 또는 결정된 지점을 향하는 상기 FoV를 가지는 상기 제3 미디어를 획득하는 동작을 포함할 수 있다.
예를 들어, 상기 저장하는 동작은, 상기 제2 미디어들, 및 상기 제3 미디어를, 상기 메모리 내에서 상기 이벤트와 연계로 저장하는 동작을 포함 할수 있다.
예를 들어, 상기 방법은, 일 외부 전자 장치(an external electronic device)로부터, 상기 영역, 또는 상기 이벤트 중 적어도 하나와 관련된 미디어를 검색하기 위한 신호를 수신하는 것에 응답하여, 상기 신호에 대한 응답으로, 상기 제2 미디어들, 및 상기 제3 미디어를 포함하는 리스트를 송신하는 동작을 포함할 수 있다.
예를 들어, 상기 메타 데이터를 획득하는 동작은, 상기 제1 미디어들에 포함된 이벤트를 분류하기 위한 지정된 카테고리들에 기반하여, 상기 제1 미디어들 각각에 포함된 적어도 하나의 이벤트를 나타내는 상기 메타 데이터를 획득하는 동작을 포함할 수 있다.
상술한 바와 같은, 일 실시예에 따른, 웨어러블 장치의 방법은, 상기 웨어러블 장치의 센서로부터 출력되는 데이터에 기반하여, 상기 웨어러블 장치의 위치를 식별하거나 또는 결정하는 동작을 포함할 수 있다. 상기 방법은, 상기 웨어러블 장치의 통신 회로를 통하여 외부 전자 장치에 의해 설정된 제1 영역 내에 포함된, 상기 위치를 식별하는 것에 기반하여, 상기 웨어러블 장치의 디스플레이를 제어하여, 상기 웨어러블 장치의 FoV 내에, 상기 웨어러블 장치의 카메라의 상태를, 미디어의 레코딩을 위한 제1 상태로 조절하기 위한 시각적 객체를 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 시각적 객체를 선택함을 나타내는 입력에 응답하여, 상기 카메라의 상태를 상기 제1 상태로 조절하는 동작을 포함할 수 있다. 상기 방법은, 상기 데이터에 기반하여, 상기 위치가 상기 데이터에 의하여 상기 제1 영역 내 제2 영역 안으로 이동됨을 식별하거나 또는 결정하는 것에 기반하여, 상기 제1 상태로 조절된 상기 카메라에 기반하여, 상기 제2 영역과 관련된 미디어를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 획득된 미디어를, 상기 통신 회로를 통하여 상기 외부 전자 장치로 송신하는 동작을 포함할 수 있다.
예를 들어, 상기 송신하는 동작은, 상기 미디어에 의해 레코딩된 적어도 하나의 이벤트를 분류하기 위한 지정된 카테고리들 중에서, 상기 미디어에 대응하는 적어도 하나의 카테고리를 식별하거나 또는 결정하는 동작을 포함할 수 있다. 상기 송신하는 동작은, 상기 미디어와 함께, 상기 적어도 하나의 카테고리에 기반하여 상기 적어도 하나의 이벤트를 나타내는 정보를, 상기 외부 전자 장치로 송신하는 동작을 포함할 수 있다.
예를 들어, 상기 송신하는 동작은, 상기 미디어를 획득한 이후, 상기 미디어에 대한 정보를 입력함을 나타내는 다른 입력을 식별하거나 또는 결정하는 동작을 포함할 수 있다. 상기 송신하는 동작은, 상기 다른 입력에 의해 식별되거나 또는 결정된 상기 정보를, 상기 미디어와 함께, 상기 외부 전자 장치로 송신하는 동작을 포함할 수 있다.
예를 들어, 상기 송신하는 동작은, 상기 미디어를, 상기 미디어를 획득하는 동안의 상기 카메라의 FoV를 나타내는 정보와 함께, 상기 외부 전자 장치로 송신하는 동작을 포함할 수 있다.
예를 들어, 상기 획득하는 동작은, 상기 데이터에 의해 식별되는 상기 제2 영역 내에서의 상기 카메라의 방향에 기반하여, 상기 디스플레이를 통하여 상기 FoV 내에, 제1 시각적 객체인 상기 시각적 객체와 상이하고, 상기 카메라의 방향을 가이드하기 위한 제2 시각적 객체를 표시하는 동작을 포함할 수 있다.
상술한 바와 같은, 일 실시예에 따른, 전자 장치(electronic device)(예, 도 5 내지 도 6의 서버(110))는, 통신 회로(예, 도 6의 통신 회로(650)), 메모리(예, 도 6의 메모리(620)), 및 프로세서(예, 도 6의 프로세서(610))를 포함할 수 있다. 상기 프로세서는, 상기 통신 회로에 기반하여, 외부 전자 장치들로부터, 일 영역(예, 도 5의 영역(510))에 대한 제1 미디어들, 및 상기 제1 미디어들에 대응하는 메타 데이터를 획득하도록, 구성될 수 있다. 상기 프로세서는, 상기 메타 데이터에 기반하여, 상기 제1 미디어들 중에서, 상기 영역 내에서 발생된 이벤트가 포함된 제2 미디어들을 식별하거나 또는 결정하도록, 구성될 수 있다. 상기 프로세서는, 상기 제2 미디어들에 기반하여, 상기 제2 미디어들 각각의 FoV들과 상이한 FoV를 가지고, 상기 이벤트를 포함하는 제3 미디어를 획득하도록, 구성될 수 있다. 상기 프로세서는, 상기 메모리 내에, 상기 외부 전자 장치들 중 적어도 하나에 의해 액세스가능한(accessible) 상태에 기반하여, 상기 제3 미디어를 저장하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 제2 미디어들에 기반하여 상기 영역 내에서 상기 이벤트가 발생된 지점을 식별하거나 또는 결정하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 메타 데이터에 의해 나타나는 상기 제2 미디어들 각각의 FoV들의 방향들에 기반하여, 상기 식별되거나 또는 결정된 지점을 향하는 상기 FoV를 가지는 상기 제3 미디어를 획득하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 제2 미디어들, 및 상기 제3 미디어를, 상기 메모리 내에서 상기 이벤트와 연계로 저장하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 일 외부 전자 장치로부터, 상기 영역, 또는 상기 이벤트 중 적어도 하나와 관련된 미디어를 검색하기 위한 신호를 수신하는 것에 응답하여, 상기 신호에 대한 응답으로, 상기 제2 미디어들, 및 상기 제3 미디어를 포함하는 리스트를 송신하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 제1 미디어들에 포함된 이벤트를 분류하기 위한 지정된 카테고리들에 기반하여, 상기 제1 미디어들 각각에 포함된 적어도 하나의 이벤트를 나타내는 상기 메타 데이터를 획득하도록, 구성될 수 있다.
본 개시의 일 실시예에 따르면, 웨어러블 장치는 디스플레이, 카메라, 센서, 통신 회로 및 프로세서를 포함할 수 있다. 상기 프로세서는 센서에 의해 출력된 데이터에 기반하여 상기 웨어러블 장치의 위치를 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 웨어러블 장치의 FoV(field-of-view) 내에, 상기 통신 회로를 통하여 상기 외부 전자 장치에 의해 설정된 제1 영역 내에 포함된, 상기 위치를 식별하는 것에 기반하여, 상기 디스플레이를 제어하여, 상기 카메라의 상태를, 미디어의 레코딩을 위한 제1 상태로 조절하기 위한 시각적 객체를 표시하도록, 구성될 수 있다. 상기 프로세서는, 상기 시각적 객체의 선택을 나타내는 입력에 기반하여, 상기 카메라의 상기 상태를 상기 제1 상태로 조절할 수 있다. 상기 프로세서는, 상기 센서의 데이터에 기반하여, 상기 웨어러블 장치의 상기 위치가 상기 제1 영역 내 제2 영역으로 이동하는지 여부를 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 웨어러블 장치의 상기 위치가 상기 제2 영역 안으로 이동함을 식별하는 것에 기반하여, 상기 제1 상태로 조절된 상기 카메라의 상기 상태에 기반하여 상기 제2 영역과 관련된 미디어를 획득하도록, 구성될 수 있다. 상기 프로세서는 상기 통신 회로를 통하여 상기 외부 전자 장치로 상기 획득된 미디어를 송신하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 미디어에 의해 레코딩된 적어도 하나의 이벤트를 분류하기 위한 복수의 카테고리들 중에서, 상기 미디어에 대응하는 적어도 하나의 카테고리를 식별하고, 상기 통신 회로를 통하여 상기 외부 전자 장치로, 상기 미디어와 함께 상기 적어도 하나의 카테고리에 기반하는 상기 적어도 하나의 이벤트를 나타내는 정보를 송신하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 통신 회로를 통하여, 상기 위치를 식별하기 위한 상기 센서의 상기 데이터와 함께 상기 미디어를, 상기 외부 전자 장치로 송신하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 미디어를 획득한 이후, 상기 미디어에 대한 정보를 입력하기 위한 다른 입력을 식별하고, 상기 통신 회로를 통하여 상기 외부 전자 장치로 상기 다른 입력에 의해 식별된 상기 정보와 함께 상기 미디어를 송신하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 통신 회로를 통하여 상기 외부 전자 장치로, 상기 미디어를 획득하는 동안 상기 카메라의 상기 FoV를 나타내는 정보와 함께 미디어를 송신하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 통신 회로를 통하여 상기 외부 전자 장치로, 상기 획득된 미디어의 송신을 위한 제2 시각적 객체의 선택을 나타내는 입력에 기반하여, 제1 시각적 객체인 상기 시각적 객체와 상이한 상기 제2 시각적 객체를 송신하도록, 구성될 수 있다.
예를 들어, 상기 센서는 GPS일 수 있고, 상기 프로세서는, 상기 센서에 의해 출력된 상기 데이터에 기반하여, 상기 웨어러블 장치의 지리적 위치가 상기 제1 영역의 경계 선을 가로지르는지 여부를 식별하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 입력에 기반하여, 지정된 시간 동안, 상기 미디어를 획득하기 위한 지정된 어플리케이션과 상이한 다른 어플리케이션에 기반하여 상기 카메라를 제어하는 것을 중단하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 센서의 상기 데이터에 기반하여 식별된 상기 제2 영역 내 상기 카메라의 방향에 기반하여, 상기 카메라의 상기 방향을 가이드하기 위한 제2 시각적 객체를 표시하도록, 구성될 수 있고, 상기 제2 시각적 객체는, 상기 디스플레이를 통해 상기 FoV 내의 상기 시각적 객체인 제1 시각적 객체와 상이할 수 있다.
본 개시의 일 실시예에 따르면, 웨어러블 장치의 방법은, 상기 전자 장치의 통신 회로에 기반하여 복수의 외부 전자 장치들로부터, 영역에 대한 제1 미디어 및 상기 제1 미디어에 대응하는 메타 데이터를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 메타 데이터에 기반하여, 상기 제1 미디어 중에서 상기 영역에서 발생된 이벤트를 포함하는 제2 미디어를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 제2 미디어에 기반하여, 상기 이벤트를 포함하고, 및 상기 제2 미디어의 하나 이상의 FoV들과 상이한 FoV를 포함하는 제3 미디어를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 전자 장치의 메모리에, 복수의 외부 전자 장치들 중 적어도 하나에 의해 액세스 가능한 상태에 기반하여, 상기 제3 미디어를 저장하는 동작을 포함할 수 있다.
예를 들어, 상기 메타 데이터를 획득하는 동작은, 상기 제2 미디어들에 기반하여 상기 영역 내에서 상기 이벤트가 발생된 지점을 식별하는 동작을 포함할 수 있다.
예를 들어, 상기 제3 미디어를 획득하는 동작은, 상기 메타 데이터에 의해 나타나는 상기 제2 미디어들 각각의 상기 하나 이상의 FoV들의 방향에 기반하여, 상기 식별된 지점을 향하는 상기 FoV를 가지는 상기 제3 미디어를 획득하는 동작을 포함할 수 있다.
예를 들어, 상기 저장하는 동작은, 상기 제2 미디어들, 및 상기 제3 미디어를, 상기 메모리 내에서 상기 이벤트와 연계로 저장하는 동작을 포함할 수 있다.
예를 들어, 상기 방법은, 상기 복수의 외부 전자 장치들 중 제1 외부 전자 장치로부터, 상기 영역, 또는 상기 이벤트 중 적어도 하나와 관련된 미디어를 검색하기 위한 신호를 수신하는 것에 기반하여, 상기 신호에 대한 응답으로, 상기 제2 미디어들, 및 상기 제3 미디어를 포함하는 리스트를, 상기 제1 외부 전자 장치로 송신하는 동작을 포함할 수 있다.
예를 들어, 상기 메타 데이터를 획득하는 동작은, 상기 제1 미디어들에 포함된 이벤트를 분류하기 위한 지정된 카테고리들에 기반하여, 상기 제1 미디어들 각각에 포함된 적어도 하나의 이벤트를 나타내는 상기 메타 데이터를 획득하는 동작을 포함할 수 있다.
본 개시의 일 실시예에 따른, 웨어러블 장치의 적어도 하나의 프로세서에 의해 수행되는 방법은, 상기 웨어러블 장치의 센서에 의해 출력되는 데이터에 기반하여, 상기 웨어러블 장치의 위치를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 웨어러블 장치의 통신 회로를 통하여 외부 전자 장치에 의해 설정된 제1 영역 내에 포함된 상기 위치를 식별하는 것에 기반하여, 상기 웨어러블 장치의 디스플레이를 제어하여, 상기 웨어러블 장치의 FoV 내에, 카메라의 상태를, 미디어의 레코딩을 위한 제1 상태로 조절하기 위한 시각적 객체를 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 시각적 객체의 선택을 나타내는 입력에 응답하여, 상기 카메라의 상기 상태를 상기 제1 상태로 조절하는 동작을 포함할 수 있다. 상기 방법은, 상기 센서의 데이터에 기반하여, 상기 웨어러블 장치의 상기 위치가 상기 제1 영역 내 제2 영역으로 이동하는지 여부를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 웨어러블 장치의 상기 위치가 상기 제2 영역 안으로 이동됨을 식별하는 것에 기반하여, 상기 제1 상태로 조절된 상기 카메라의 상기 상태에 기반하여, 상기 제2 영역과 관련된 미디어를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 통신 회로를 통하여 상기 외부 전자 장치로 상기 획득된 미디어를 송신하는 동작을 포함할 수 있다.
예를 들어, 상기 송신하는 동작은, 상기 미디어에 의해 레코딩된 적어도 하나의 이벤트를 분류하기 위한 지정된 카테고리들 중에서, 상기 미디어에 대응하는 적어도 하나의 카테고리를 식별하는 동작, 및 상기 외부 전자 장치로, 상기 미디어와 함께, 상기 적어도 하나의 카테고리에 기반하는 적어도 하나의 이벤트를 나타내는 정보를 송신하는 동작을 포함할 수 있다.
예를 들어, 상기 송신하는 동작은, 상기 미디어를 획득한 이후, 상기 미디어에 대한 정보를 입력함을 나타내는 다른 입력을 식별하는 동작, 및 상기 외부 전자 장치로 상기 다른 입력에 의해 식별된 상기 정보와 함께 상기 미디어를 송신하는 동작을 포함할 수 있다.
예를 들어, 상기 송신하는 동작은, 상기 외부 전자 장치로, 상기 미디어를 송신하는 동안 상기 카메라의 상기 FoV를 나타내는 정보와 함께 상기 미디어를 송신하는 동작을 포함할 수 있다.
예를 들어, 상기 획득하는 동작은, 상기 센서에 의해 출력된 상기 데이터에 의해 식별된 상기 제2 영역 내 상기 카메라의 방향에 기반하여, 상기 카메라의 상기 방향을 가이드하기 위한 제2 시각적 객체를 표시하는 동작을 포함하고, 상기 제2 시각적 객체는, 상기 디스플레이를 통한 FoV 내에서, 제1 시각적 객체인 상기 시각적 객체와 상이할 수 있다.
본 개시의 일 실시예에 따른, 전자 장치는 통신 회로, 메모리 및 프로세서를 포함할 수 있다. 상기 프로세서는, 상기 통신 회로에 기반하여 상기 복수의 외부 전자 장치들로부터, 상기 제1 미디어에 대응하는 메타 데이터 및 영역에 대한 제1 미디어를 획득하도록, 구성될 수 있다. 상기 프로세서는, 상기 메타 데이터에 기반하여, 상기 제1 미디어 중에서 상기 영역에서 발생된 이벤트를 포함하는 제2 미디어를 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 제2 미디어에 기반하여, 상기 제2 미디어의 하나 이상의 FoV들과 상이한 FoV를 포함하고 상기 이벤트를 포함하는 제3 미디어를 획득하도록, 구성될 수 있다. 상기 프로세서는, 상기 메모리 내에, 상기 복수의 외부 전자 장치들 중 적어도 하나에 의해 액세스 가능한 상태에 기반하여, 상기 제3 미디어를 저장하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 제2 미디어들에 기반하여 상기 영역 내에서 상기 이벤트가 발생된 지점을 식별하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 메타 데이터에 의해 나타나는 상기 제2 미디어들 각각의 하나 이상의 FoV들의 방향들에 기반하여, 상기 식별된 지점을 향하는 FoV를 가지는 상기 제3 미디어를 획득하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는 상기 제2 미디어들 및 상기 제3 미디어를 상기 메모리 내에서 상기 이벤트와 연계로 저장하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 복수의 외부 전자 장치들 중 제1 외부 전자 장치로부터, 상기 이벤트 또는 적어도 하나의 영역과 관련된 미디어를 검색 하기 위한 신호를 수신하는 것에 기반하여, 상기 제1 외부 전자 장치로, 상기 신호에 대한 응답으로 상기 제3 미디어 및 상기 제2 미디어를 포함하는 리스트를 송신하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 제1 미디어들에 포함된 상기 이벤트를 분류하기 위한 지정된 카테고리들에 기반하여, 상기 제1 미디어들 각각에 포함된 적어도 하나의 이벤트를 나타내는 메타 데이터를 획득하도록, 구성될 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리, 또는 통상의 기술자에게 알려진 다른 메모리 구조를 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 웨어러블 장치(wearable device)에 있어서,
    디스플레이;
    카메라;
    센서;
    통신 회로; 및
    프로세서를 포함하고, 상기 프로세서는,
    상기 센서로부터 출력되는 데이터에 기반하여 상기 웨어러블 장치의 위치를 식별하고;
    상기 통신 회로를 통하여 외부 전자 장치에 의해 설정된(set) 제1 영역 내에 포함된, 상기 위치를 식별하는 것에 기반하여, 상기 디스플레이를 제어하여, 상기 웨어러블 장치의 FoV(field-of-view) 내에, 상기 카메라의 상태를, 미디어의 레코딩을 위한 제1 상태로 조절하기 위한 시각적 객체를 표시하고;
    상기 시각적 객체의 선택을 나타내는 입력에 응답하여, 상기 카메라의 상기 상태를 상기 제1 상태로 조절하고;
    상기 센서의 데이터에 기반하여, 상기 웨어러블 장치의 상기 위치가 상기 제1 영역 내 상기 제2 영역으로 이동하였는지 여부를 식별하고;
    상기 웨어러블 장치의 상기 위치가 상기 제1 영역 내 제2 영역 안으로 이동됨을 식별하는 것에 기반하여, 상기 제1 상태로 조절된 상기 카메라의 상기 상태에 기반하여, 상기 제2 영역과 관련된 미디어를 획득하고; 및
    상기 획득된 미디어를, 상기 통신 회로를 통하여 상기 외부 전자 장치로 송신하도록, 구성된,
    웨어러블 장치.
  2. 제1항에 있어서, 상기 프로세서는,
    상기 미디어에 의해 레코딩된 적어도 하나의 이벤트를 분류하기 위한 카테고리들 중에서, 상기 미디어에 대응하는 적어도 하나의 카테고리를 식별하고;
    상기 미디어와 함께, 상기 적어도 하나의 카테고리에 기반하여 상기 적어도 하나의 이벤트를 나타내는 정보를, 상기 통신 회로를 통해 상기 외부 전자 장치로 송신하도록, 더 구성된,
    웨어러블 장치.
  3. 제1항에 있어서, 상기 프로세서는,
    상기 통신 회로를 통하여, 상기 미디어를, 상기 위치를 식별하기 위한 상기 센서의 상기 데이터와 함께 상기 외부 전자 장치로 송신하도록, 더 구성된,
    웨어러블 장치.
  4. 제1항에 있어서, 상기 프로세서는,
    상기 미디어를 획득한 이후, 상기 미디어에 대한 정보를 입력함을 나타내는 다른 입력을 식별하고;
    상기 통신 회로를 통하여, 상기 다른 입력에 의해 식별된 상기 정보를, 상기 미디어와 함께, 상기 외부 전자 장치로 송신하도록, 더 구성된,
    웨어러블 장치.
  5. 제1항에 있어서, 상기 프로세서는,
    상기 통신 회로를 통하여, 상기 미디어를, 상기 미디어를 획득하는 동안의 상기 카메라의 FoV를 나타내는 정보와 함께, 상기 외부 전자 장치로 송신하도록, 더 구성된,
    웨어러블 장치.
  6. 제1항에 있어서, 상기 프로세서는,
    제1 시각적 객체인 상기 시각적 객체와 상이하고, 상기 획득된 미디어를 송신하기 위한 제2 시각적 객체를 선택함을 나타내는 입력에 기반하여, 상기 통신 회로를 통하여 상기 외부 전자 장치로 상기 미디어를 송신하도록, 더 구성된,
    웨어러블 장치.
  7. 제1항에 있어서, 상기 센서는 GPS(global positioning system) 센서이고,
    상기 프로세서는,
    상기 센서로부터 출력되는 상기 데이터에 기반하여, 상기 웨어러블 장치의 지리적 위치가 제1 영역의 경계선을 가로지르는지 여부를 식별하도록, 더 구성된,
    웨어러블 장치.
  8. 제1항에 있어서, 상기 프로세서는,
    상기 입력에 기반하여, 지정된 기간 동안, 상기 미디어를 획득하기 위한 지정된 어플리케이션과 상이한 다른 어플리케이션에 기반하는 상기 카메라의 제어를 중단(cease)하도록, 더 구성된,
    웨어러블 장치.
  9. 제1항에 있어서, 상기 프로세서는,
    상기 센서의 상기 데이터에 의해 식별되는 상기 제2 영역 내에서의 상기 카메라의 방향에 기반하여, 상기 디스플레이를 통하여 상기 FoV 내에, 제1 시각적 객체인 상기 시각적 객체와 상이하고, 상기 카메라의 방향을 가이드하기 위한 제2 시각적 객체를 표시하도록, 더 구성된,
    웨어러블 장치.
  10. 전자 장치의 방법에 있어서,
    상기 전자 장치의 통신 회로에 기반하여, 복수의 외부 전자 장치들로부터, 일 영역에 대한 제1 미디어들, 및 상기 제1 미디어들에 대응하는 메타 데이터를 획득하는 동작;
    상기 메타 데이터에 기반하여, 상기 제1 미디어들 중에서, 상기 영역 내에서 발생된 이벤트가 포함된 제2 미디어들을 식별하는 동작;
    상기 제2 미디어들에 기반하여, 상기 제2 미디어들의 하나 이상의 FoV들(field-of-views)과 상이한 FoV를 포함하고, 상기 이벤트를 포함하는 제3 미디어를 획득하는 동작; 및
    상기 전자 장치의 메모리 내에, 상기 복수의 외부 전자 장치들 중 적어도 하나에 의해 액세스가능한(accessible) 상태에 기반하여, 상기 제3 미디어를 저장하는 동작을 포함하는,
    방법.
  11. 제10항에 있어서, 상기 메타 데이터를 획득하는 동작은,
    상기 제2 미디어들에 기반하여 상기 영역 내에서 상기 이벤트가 발생된 지점을 식별하는 동작을 포함하는,
    방법.
  12. 제10항에 있어서, 상기 제3 미디어를 획득하는 동작은,
    상기 메타 데이터에 의해 나타나는 상기 제2 미디어들 각각의 상기 하나 이상의 FoV들의 방향들에 기반하여, 상기 식별된 지점을 향하는 상기 FoV를 가지는 상기 제3 미디어를 획득하는 동작을 포함하는,
    방법.
  13. 제10항에 있어서, 상기 저장하는 동작은,
    상기 제2 미디어들, 및 상기 제3 미디어를, 상기 메모리 내에서 상기 이벤트와 연계로 저장하는 동작을 포함하는,
    방법.
  14. 제10항에 있어서,
    상기 복수의 외부 전자 장치들 중 제1 외부 전자 장치(external electronic device)로부터, 상기 영역, 또는 상기 이벤트 중 적어도 하나와 관련된 미디어를 검색하기 위한 신호를 수신하는 것에 기반하여, 상기 신호에 대한 응답으로, 상기 제2 미디어들, 및 상기 제3 미디어를 포함하는 리스트를, 상기 제1 외부 전자 장치로 송신하는 동작을 더 포함하는,
    방법.
  15. 제10항에 있어서, 상기 메타 데이터를 획득하는 동작은,
    상기 제1 미디어들에 포함된 이벤트를 분류하기 위한 지정된 카테고리들에 기반하여, 상기 제1 미디어들 각각에 포함된 적어도 하나의 이벤트를 나타내는 상기 메타 데이터를 획득하는 동작을 포함하는,
    방법.
PCT/KR2023/009674 2022-10-20 2023-07-07 위치에 기반하여 카메라를 제어하여 위치에 대응하는 미디어를 획득하기 위한 전자 장치 및 그 방법 WO2024085353A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0135464 2022-10-19
KR20220135464 2022-10-20
KR10-2022-0138760 2022-10-24
KR1020220138760A KR20240055584A (ko) 2022-10-20 2022-10-25 위치에 기반하여 카메라를 제어하여 위치에 대응하는 미디어를 획득하기 위한 전자 장치 및 그 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/222,235 Continuation US20240134195A1 (en) 2022-10-19 2023-07-13 Electronic device and method for obtaining media corresponding to location by controlling camera based on location

Publications (1)

Publication Number Publication Date
WO2024085353A1 true WO2024085353A1 (ko) 2024-04-25

Family

ID=90738745

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/009674 WO2024085353A1 (ko) 2022-10-20 2023-07-07 위치에 기반하여 카메라를 제어하여 위치에 대응하는 미디어를 획득하기 위한 전자 장치 및 그 방법

Country Status (1)

Country Link
WO (1) WO2024085353A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090086092A (ko) * 2006-12-07 2009-08-10 소니 가부시끼 가이샤 화상 표시 시스템, 표시 장치, 표시 방법
KR20130097423A (ko) * 2012-02-24 2013-09-03 주식회사 팬택 휴대용 단말기에서 동작인식의 처리를 관리하는 장치 및 방법
KR101651472B1 (ko) * 2008-03-03 2016-08-29 아비길론 애널리틱스 코포레이션 비디오 데이터의 컨텐츠 인식 저장
KR101687309B1 (ko) * 2015-04-02 2016-12-28 한국과학기술원 Ｈｍｄ가 구비된 단말의 정보 제공 서비스 방법 및 장치
JP6987728B2 (ja) * 2017-09-04 2022-01-05 株式会社コロプラ ヘッドマウントデバイスによって仮想空間を提供するためのプログラム、方法、および当該プログラムを実行するための情報処理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090086092A (ko) * 2006-12-07 2009-08-10 소니 가부시끼 가이샤 화상 표시 시스템, 표시 장치, 표시 방법
KR101651472B1 (ko) * 2008-03-03 2016-08-29 아비길론 애널리틱스 코포레이션 비디오 데이터의 컨텐츠 인식 저장
KR20130097423A (ko) * 2012-02-24 2013-09-03 주식회사 팬택 휴대용 단말기에서 동작인식의 처리를 관리하는 장치 및 방법
KR101687309B1 (ko) * 2015-04-02 2016-12-28 한국과학기술원 Ｈｍｄ가 구비된 단말의 정보 제공 서비스 방법 및 장치
JP6987728B2 (ja) * 2017-09-04 2022-01-05 株式会社コロプラ ヘッドマウントデバイスによって仮想空間を提供するためのプログラム、方法、および当該プログラムを実行するための情報処理装置

Similar Documents

Publication Publication Date Title
WO2018124662A1 (en) Method and electronic device for controlling unmanned aerial vehicle
WO2021040106A1 (ko) Ar 장치 및 그 제어 방법
WO2019147021A1 (en) Device for providing augmented reality service, and method of operating the same
WO2019132518A1 (en) Image acquisition device and method of controlling the same
WO2019160194A1 (ko) 이동 단말기 및 그 제어방법
WO2017204498A1 (ko) 이동 단말기
WO2017007101A1 (ko) 스마트 디바이스 및 이의 제어방법
WO2016126083A1 (ko) 주변 상황 정보를 통지하기 위한 방법, 전자 장치 및 저장 매체
WO2021040117A1 (en) Electronic device
EP3342162A1 (en) Electronic device and method for displaying and generating panoramic image
WO2021040116A1 (en) Electronic device
WO2017091019A1 (en) Electronic device and method for displaying and generating panoramic image
WO2018182159A1 (ko) 가상 오브젝트의 처리가 가능한 스마트 안경
WO2021049694A1 (ko) 전자 디바이스
WO2016013692A1 (ko) 헤드 마운티드 디스플레이 및 그 제어방법
WO2021246758A1 (ko) 전자 장치 및 그 동작 방법
WO2019208915A1 (ko) 외부 장치의 자세 조정을 통해 복수의 카메라들을 이용하여 이미지를 획득하는 전자 장치 및 방법
WO2024085353A1 (ko) 위치에 기반하여 카메라를 제어하여 위치에 대응하는 미디어를 획득하기 위한 전자 장치 및 그 방법
WO2020171558A1 (en) Method of providing augmented reality contents and electronic device therefor
WO2022010193A1 (ko) 이미지 개선을 위한 전자장치 및 그 전자장치의 카메라 운용 방법
WO2021033790A1 (ko) 전자 기기
WO2024101591A1 (ko) 객체로 액세스하는 사용자들에게 적어도 하나의 멀티미디어 콘텐트를 제공하기 위한 전자 장치 및 그 방법
US20240134195A1 (en) Electronic device and method for obtaining media corresponding to location by controlling camera based on location
WO2021107200A1 (ko) 이동 단말기 및 이동 단말기 제어 방법
WO2015060485A1 (en) Image display apparatus and method of operating the same