WO2023153611A1 - 객체의 영상을 획득하는 방법 및 장치 - Google Patents

객체의 영상을 획득하는 방법 및 장치 Download PDF

Info

Publication number
WO2023153611A1
WO2023153611A1 PCT/KR2022/020173 KR2022020173W WO2023153611A1 WO 2023153611 A1 WO2023153611 A1 WO 2023153611A1 KR 2022020173 W KR2022020173 W KR 2022020173W WO 2023153611 A1 WO2023153611 A1 WO 2023153611A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
target object
image
area
capture area
Prior art date
Application number
PCT/KR2022/020173
Other languages
English (en)
French (fr)
Inventor
최명규
배수정
변광민
최인호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220029608A external-priority patent/KR20230121516A/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US18/102,956 priority Critical patent/US20230262323A1/en
Publication of WO2023153611A1 publication Critical patent/WO2023153611A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • An electronic device may select a target object indicated by a user's gaze direction in an image and obtain an image of the selected target object.
  • An electronic device may obtain an image of a target object by determining a capture area within an image and capturing an image in the determined capture area.
  • An electronic device may determine, as a capture area, an area (eg, an optimized area) for capturing an image of a target object within an image.
  • an area eg, an optimized area
  • An electronic device may change a location and/or size of a capture area within an image.
  • An electronic device includes a camera, a memory storing instructions executable by a computer, and a processor that accesses the memory and executes the instructions, wherein the instructions store images captured by the camera.
  • a capture area may be determined within the selected at least one candidate area, and an image of the target object may be generated based on a partial image captured from the determined capture area among the images.
  • a method implemented by a processor includes dividing an image photographed by a camera into a plurality of regions, and detecting feature points in the image, thereby detecting features included in each of the plurality of divided regions.
  • an operation of generating an image of the target object may be included.
  • FIG. 1 is a block diagram of an exemplary electronic device in a networked environment, in accordance with various embodiments.
  • FIG. 2 is a diagram illustrating the structure of an exemplary wearable augmented reality (AR) device according to various embodiments.
  • AR augmented reality
  • FIG. 3 is a diagram illustrating a camera and eye tracking sensor of an exemplary wearable AR device according to various embodiments.
  • FIG. 4 is a flowchart illustrating an exemplary operation of obtaining an image of a target object according to various embodiments.
  • FIG. 5 is a diagram illustrating an exemplary process of detecting feature points in an image according to various embodiments.
  • FIG. 6 is a diagram illustrating an exemplary process of selecting at least one candidate region based on the number of feature points among a plurality of divided regions according to various embodiments.
  • FIG. 7 is a diagram illustrating an exemplary process of selecting a target object according to various embodiments.
  • FIGS. 8 to 9 are diagrams illustrating exemplary detection of event occurrence related to a user's gesture, according to various embodiments.
  • FIG. 10 is a diagram illustrating an exemplary process of determining a capture area according to various embodiments.
  • FIG. 11 is a diagram illustrating an exemplary process of calculating a noise level in a capture area according to various embodiments.
  • FIG. 12 is a diagram illustrating an exemplary size change of a capture area according to various embodiments.
  • FIG. 13 is a diagram illustrating an exemplary location change of a capture area according to various embodiments.
  • FIG. 14 is a diagram illustrating an exemplary process of providing a rotation guide within a capture area according to various embodiments.
  • 15 is a diagram illustrating an exemplary process of determining a location and size of a capture area according to various embodiments.
  • 16A and 16B are diagrams illustrating an exemplary process of automatically determining a location and size of a capture area according to various embodiments.
  • 17A and 17B are diagrams illustrating an exemplary process of determining a location and size of a capture area based on a user's gesture, according to various embodiments.
  • FIG. 18 is a diagram illustrating an exemplary process of generating an image of a target object based on a partial image captured from a capture area according to various embodiments.
  • 19 to 20 are diagrams illustrating exemplary methods of obtaining an image of a target object according to various embodiments.
  • FIG. 1 is a block diagram of an exemplary electronic device 101 within a networked environment 100, in accordance with various embodiments.
  • an electronic device 101 communicates with an electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or through a second network 199. It may communicate with at least one of the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to one embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • a first network 198 eg, a short-range wireless communication network
  • the server 108 e.g, a long-distance wireless communication network
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, an audio output module 155, a display module 160, an audio module 170, a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or the antenna module 197 may be included.
  • at least one of these components eg, the connection terminal 178) may be omitted or one or more other components may be added.
  • some of these components eg, sensor module 176, camera module 180, or antenna module 197) are combined into one component (eg, display module 160). can be integrated
  • the processor 120 for example, executes software (eg, the program 140) to cause at least one other component (eg, hardware or software component) of the electronic device 101 connected to the processor 120. It can control and perform various data processing or calculations. According to one embodiment, as at least part of data processing or operation, the processor 120 transfers instructions or data received from other components (e.g., sensor module 176 or communication module 190) to volatile memory 132. , processing commands or data stored in the volatile memory 132 , and storing resultant data in the non-volatile memory 134 .
  • software eg, the program 140
  • the processor 120 transfers instructions or data received from other components (e.g., sensor module 176 or communication module 190) to volatile memory 132. , processing commands or data stored in the volatile memory 132 , and storing resultant data in the non-volatile memory 134 .
  • the processor 120 may include a main processor 121 (eg, a central processing unit or an application processor) or a secondary processor 123 (eg, a graphic processing unit, a neural network processing unit ( NPU: neural processing unit (NPU), image signal processor, sensor hub processor, or communication processor).
  • a main processor 121 eg, a central processing unit or an application processor
  • a secondary processor 123 eg, a graphic processing unit, a neural network processing unit ( NPU: neural processing unit (NPU), image signal processor, sensor hub processor, or communication processor.
  • NPU neural network processing unit
  • the secondary processor 123 may be implemented separately from or as part of the main processor 121 .
  • the secondary processor 123 may, for example, take the place of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 is active (eg, running an application). ) state, together with the main processor 121, at least one of the components of the electronic device 101 (eg, the display module 160, the sensor module 176, or the communication module 190) It is possible to control at least some of the related functions or states.
  • the auxiliary processor 123 eg, image signal processor or communication processor
  • the auxiliary processor 123 may include a hardware structure specialized for processing an artificial intelligence model.
  • AI models can be created through machine learning. Such learning may be performed, for example, in the electronic device 101 itself where the artificial intelligence model is performed, or may be performed through a separate server (eg, the server 108).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning or reinforcement learning, but in the above example Not limited.
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the foregoing, but is not limited to the foregoing examples.
  • the artificial intelligence model may include, in addition or alternatively, software structures in addition to hardware structures.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101 .
  • the data may include, for example, input data or output data for software (eg, program 140) and commands related thereto.
  • the memory 130 may include volatile memory 132 or non-volatile memory 134 .
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142 , middleware 144 , or an application 146 .
  • the input module 150 may receive a command or data to be used by a component (eg, the processor 120) of the electronic device 101 from the outside of the electronic device 101 (eg, a user).
  • the input module 150 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101 .
  • the sound output module 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • a receiver may be used to receive an incoming call. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 160 may visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display module 160 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device.
  • the display module 160 may include a touch sensor set to detect a touch or a pressure sensor set to measure the intensity of force generated by the touch.
  • the audio module 170 may convert sound into an electrical signal or vice versa. According to one embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device connected directly or wirelessly to the electronic device 101 (eg: Sound may be output through the electronic device 102 (eg, a speaker or a headphone).
  • the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device connected directly or wirelessly to the electronic device 101 (eg: Sound may be output through the electronic device 102 (eg, a speaker or a headphone).
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, an ultra-wide band (UWB) sensor, a grip sensor, a proximity sensor, A color sensor, an IR (infrared) sensor, a bio sensor, a temperature sensor, a humidity sensor, or an illuminance sensor may be included.
  • the interface 177 may support one or more designated protocols that may be used to directly or wirelessly connect the electronic device 101 to an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 may be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert electrical signals into mechanical stimuli (eg, vibration or motion) or electrical stimuli that a user may perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and moving images. According to one embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101 .
  • the power management module 188 may be implemented as at least part of a power management integrated circuit (PMIC), for example.
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101 .
  • the battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). Establishment and communication through the established communication channel may be supported.
  • the communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, : a local area network (LAN) communication module or a power line communication module).
  • a corresponding communication module is a first network 198 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (eg, a legacy communication module).
  • the wireless communication module 192 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199.
  • IMSI International Mobile Subscriber Identifier
  • the wireless communication module 192 may support a 5G network after a 4G network and a next-generation communication technology, for example, NR access technology (new radio access technology).
  • NR access technologies include high-speed transmission of high-capacity data (enhanced mobile broadband (eMBB)), minimization of terminal power and access of multiple terminals (massive machine type communications (mMTC)), or high reliability and low latency (ultra-reliable and low latency (URLLC)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low latency
  • -latency communications can be supported.
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • the wireless communication module 192 uses various technologies for securing performance in a high frequency band, such as beamforming, massive multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. Technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna may be supported.
  • the wireless communication module 192 may support various requirements defined for the electronic device 101, an external electronic device (eg, the electronic device 104), or a network system (eg, the second network 199).
  • the wireless communication module 192 is a peak data rate for eMBB realization (eg, 20 Gbps or more), a loss coverage for mMTC realization (eg, 164 dB or less), or a U-plane latency for URLLC realization (eg, Example: downlink (DL) and uplink (UL) each of 0.5 ms or less, or round trip 1 ms or less) may be supported.
  • eMBB peak data rate for eMBB realization
  • a loss coverage for mMTC realization eg, 164 dB or less
  • U-plane latency for URLLC realization eg, Example: downlink (DL) and uplink (UL) each of 0.5 ms or less, or round trip 1 ms or less
  • the antenna module 197 may transmit or receive signals or power to the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a radiator formed of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is selected from the plurality of antennas by the communication module 190, for example. can be chosen A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC) may be additionally formed as a part of the antenna module 197 in addition to the radiator.
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • the mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first surface (eg, a lower surface) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, array antennas) disposed on or adjacent to a second surface (eg, a top surface or a side surface) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199 .
  • Each of the external electronic devices 102 or 104 may be the same as or different from the electronic device 101 .
  • all or part of operations executed in the electronic device 101 may be executed in one or more external electronic devices among the external electronic devices 102 , 104 , or 108 .
  • the electronic device 101 when the electronic device 101 needs to perform a certain function or service automatically or in response to a request from a user or another device, the electronic device 101 instead of executing the function or service by itself.
  • one or more external electronic devices may be requested to perform the function or at least part of the service.
  • One or more external electronic devices receiving the request may execute at least a part of the requested function or service or an additional function or service related to the request, and deliver the execution result to the electronic device 101 .
  • the electronic device 101 may provide the result as at least part of a response to the request as it is or additionally processed.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an internet of things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks. According to one embodiment, the external electronic device 104 or server 108 may be included in the second network 199 .
  • the electronic device 101 may be applied to intelligent services (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • FIG. 2 is a diagram illustrating the structure of an exemplary wearable AR device according to various embodiments.
  • the wearable AR device 200 may be worn on a user's face and provide an image related to an augmented reality service and/or a virtual reality service to the user.
  • the wearable AR device 200 includes a first display 205, a second display 210, screen display units 215a and 215b, an optical input member 220, a first transparent member 225a, and a first display unit 215a.
  • 2 transparent member 225b lighting units 230a and 230b, first PCB 235a, second PCB 235b, first hinge 240a, second hinge 240b, and first camera 245a , 245b), a plurality of microphones (eg, the first microphone 250a, the second microphone 250b, and the third microphone 250c), a plurality of speakers (eg, the first speaker 255a, the second speaker 255b) )), a battery 260, second cameras 275a and 275b, third cameras 265, and visors 270a and 270b.
  • the display (eg, the first display 205 and the second display 210) is, for example, a liquid crystal display (LCD), a digital mirror device (DMD) ), a silicon liquid crystal display (LCoS), an organic light emitting diode (OLED), or a micro LED (micro light emitting diode).
  • the wearable AR device 200 may include a light source for radiating light to the screen output area of the display.
  • the wearable AR device 200 if the display can generate light itself, for example, if it is made of either an organic light emitting diode or a micro LED, the wearable AR device 200 provides good quality to the user even if it does not include a separate light source. A virtual image of can be provided.
  • the display if the display is implemented with an organic light emitting diode or a micro LED, since a light source is unnecessary, the wearable AR device 200 can be lightweight.
  • a display capable of generating light by itself is referred to as a self-luminous display, and description is made on the premise of a self-luminous display.
  • Displays according to various embodiments of the present disclosure may include at least one micro light emitting diode (LED).
  • a micro LED can express red (R, red), green (G, green), and blue (B, blue) with its own light emission, and is small (eg, 100 ⁇ m or less), so one chip is one pixel. (e.g., one of R, G, and B) can be implemented. Accordingly, when the display is composed of micro LEDs, high resolution can be provided without the backlight unit (BLU).
  • one pixel may include R, G, and B, and one chip may be implemented with a plurality of pixels including R, G, and B.
  • the display (eg, the first display 205 and the second display 210) is a display area composed of pixels for displaying a virtual image and reflection from eyes disposed between the pixels. It may include light-receiving pixels (eg, photo sensor pixels) that receive light, convert it into electrical energy, and output the light.
  • light-receiving pixels eg, photo sensor pixels
  • the wearable AR device 200 may detect the user's gaze direction (eg, pupil movement) through light-receiving pixels.
  • the wearable AR device 200 provides a visual direction for the user's right eye and a user's left eye through one or more light-receiving pixels constituting the first display 205 and one or more light-receiving pixels constituting the second display 210. It is possible to detect and track the gaze direction for .
  • the wearable AR device 200 may determine the location of the center of the virtual image according to the gaze directions of the user's right and left eyes (eg, directions in which the pupils of the user's right and left eyes gaze) detected through one or more light-receiving pixels. .
  • light emitted from the display passes through a lens (not shown) and a waveguide to face the user's right eye. It may reach the screen display unit 215a formed on the first transparent member 225a and the screen display unit 215b formed on the second transparent member 225b disposed to face the user's left eye.
  • the light emitted from the display passes through a waveguide and passes through the input optical member 220 and the grating area formed on the screen display units 215a and 215b.
  • the first transparent member 225a and/or the second transparent member 225b may be formed of a glass plate, a plastic plate, or a polymer, and may be transparent or translucent.
  • lenses may be disposed in front of the displays (eg, the first display 205 and the second display 210).
  • the lens (not shown) may include a concave lens and/or a convex lens.
  • the lens (not shown) may include a projection lens or a collimation lens.
  • the screen display units 215a and 215b or transparent members include a lens including a waveguide or a reflective lens. can do.
  • the waveguide may be made of glass, plastic, or polymer, and may include a nanopattern formed on an inner or outer surface, for example, a polygonal or curved grating structure. there is.
  • light incident to one end of the waveguide may be propagated inside the display waveguide by nanopatterns and provided to the user.
  • a waveguide composed of a free-form prism may provide incident light to a user through a reflection mirror.
  • the waveguide may include at least one diffractive element, for example, a diffractive optical element (DOE), a holographic optical element (HOE), or a reflective element (eg, a reflective mirror).
  • DOE diffractive optical element
  • HOE holographic optical element
  • the waveguide may guide light emitted from the display 205 or 210 to the user's eyes by using at least one diffractive element or reflective element included in the waveguide.
  • the diffractive element may include an input optical member 220/output optical member (not shown).
  • the input optical member 220 may mean, for example, an input grating area
  • the output optical member (not shown) may mean, for example, an output grating area.
  • the input grating area transmits light output from a display (eg, the first display 205 and the second display 210) (eg, a micro LED) to a transparent member (eg, a micro LED) of the screen display units 215a and 215b. : It may serve as an input terminal for diffracting (or reflecting) light to transfer light to the first transparent member 225a and the second transparent member 225b.
  • the output grating region for example, serves as an outlet for diffracting (or reflecting) light transmitted to the transparent members (eg, the first transparent member 250a and the second transparent member 250b) of the waveguide to the user's eyes. can do.
  • the reflective element may include a total internal reflection optical element or total internal reflection waveguide for total internal reflection (TIR).
  • TIR total internal reflection waveguide for total internal reflection
  • an incident angle is made so that light (e.g., a virtual image) input through an input grating area is 100% reflected on one side (e.g., a specific side) of a waveguide, and the output grating area It may mean that 100% transmission is performed up to.
  • light emitted from the displays 205 and 210 may be guided to a light path through the input optical member 220 to the waveguide.
  • Light moving inside the waveguide may be guided toward the user's eyes through the output optical member.
  • the screen display units 215a and 215b may be determined based on light emitted in the eye direction.
  • the first cameras 245a and 245b may perform 3 degrees of freedom (3DoF), 6DoF head tracking, hand detection and tracking, gesture and/or spatial It may include a camera used for recognition.
  • the first cameras 245a and 245b may include global shutter (GS) cameras to detect and track movements of the head and hand.
  • GS global shutter
  • a stereo camera may be applied to the first cameras 245a and 245b for head tracking and spatial recognition, and cameras of the same standard and performance may be applied.
  • a GS camera having excellent performance eg, image dragging
  • image dragging may be used to detect and track fine movements such as fast hand motions and fingers.
  • the first cameras 245a and 245b may be RS (rolling shutter) cameras.
  • the first cameras 245a and 245b may perform a SLAM function through spatial recognition and depth imaging for 6 Dof.
  • the first cameras 245a and 245b may perform a user gesture recognition function.
  • the second cameras 275a and 275b may be used for detecting and tracking pupils.
  • the second cameras 275a and 275b may be referred to as eye tracking (ET) cameras.
  • the second camera 265a may track the user's gaze direction.
  • the wearable AR device 200 may set the center of the virtual image projected on the screen display units 215a and 215b to be positioned according to the direction in which the user's eyes gaze, considering the direction of the user's gaze.
  • a GS camera may be used to detect a pupil and track a fast movement of the pupil.
  • the second cameras 265a may be installed for the left eye and the right eye, respectively, and cameras having the same performance and standard may be used as the second cameras 265a for the left eye and the right eye.
  • the third camera 265 may be referred to as a high resolution (HR) or photo video (PV) camera, and may include a high resolution camera.
  • the third camera 265 may include a color camera equipped with functions for obtaining high-quality images, such as an auto focus (AF) function and an optical image stabilizer (OIS) function. It is not limited thereto, and the third camera 265 may include a global shutter (GS) camera or a rolling shutter (RS) camera.
  • HR high resolution
  • PV photo video
  • the third camera 265 may include a color camera equipped with functions for obtaining high-quality images, such as an auto focus (AF) function and an optical image stabilizer (OIS) function. It is not limited thereto, and the third camera 265 may include a global shutter (GS) camera or a rolling shutter (RS) camera.
  • GS global shutter
  • RS rolling shutter
  • At least one sensor eg, gyro sensor, acceleration sensor, geomagnetic sensor, ultra-wideband sensor, touch sensor, ambient light sensor, and/or gesture sensor
  • the first camera 245a, 245b is a head for 6DoF.
  • At least one of head tracking, pose estimation & prediction, gesture and/or spatial recognition, and slam functions through depth shooting may be performed.
  • the first cameras 245a and 245b may be divided into a camera for head tracking and a camera for hand tracking.
  • the lighting units 230a and 230b may have different uses depending on where they are attached.
  • the lighting units 230a and 230b are around a frame and a hinge connecting the temple (eg, the first hinge 240a and the second hinge 240b) or a bridge connecting the frames ) may be attached together with the first cameras 245a and 245b mounted around the periphery.
  • the lighting units 230a and 230b may be used as a means of supplementing ambient brightness.
  • the lighting units 230a and 230b may be used when it is not easy to detect a subject to be photographed in a dark environment or due to mixed and reflected light of various light sources.
  • the lighting units 230a and 230b attached to the periphery of the frame of the wearable AR device 200 assist in detecting an eye gaze direction when the pupil is photographed with the second camera 275a and 275b. can be used as a means.
  • an IR (infrared) LED having an infrared wavelength may be included.
  • a processor (not shown), a memory (not shown), and a communication module for controlling the components of the wearable AR device 200 are provided on the PCB (eg, the first PCB 235a and the second PCB 235b). (not shown) may be included.
  • the communication module may be configured in the same way as the communication module 190 of FIG. 1, and the description of the communication module 190 may be equally applied.
  • the communication module may support establishing a direct (eg, wired) communication channel or wireless communication channel between the wearable AR device 200 and an external electronic device, and performing communication through the established communication channel.
  • the PCB may transmit electrical signals to components constituting the wearable AR device 200 .
  • the communication module may include one or more communication processors that operate independently of the processor and support direct (eg, wired) communication or wireless communication.
  • the communication module is a wireless communication module (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module (eg, a local area LAN (LAN)). network) communication module or power line communication module).
  • GNSS global navigation satellite system
  • LAN local area LAN
  • network power line communication module
  • a corresponding communication module is a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA), or a legacy cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network.
  • WiFi wireless fidelity
  • IrDA infrared data association
  • a legacy cellular network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA), or a legacy cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network.
  • LAN or WAN may communicate with an external electronic device through a long-distance communication network.
  • These various types of communication modules may be integrated as one component (eg, a single chip) or implemented as a plurality of separate components (eg, multiple chips).
  • the wireless communication module may support a 5G network after a 4G network and a next-generation communication technology, for example, NR access technology (new radio access technology).
  • NR access technologies include high-speed transmission of high-capacity data (enhanced mobile broadband (eMBB)), minimization of terminal power and access of multiple terminals (massive machine type communications (mMTC)), or high reliability and low latency (ultra-reliable and low latency (URLLC)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low latency
  • -latency communications can be supported.
  • the wireless communication module may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • the wireless communication module uses various technologies for securing performance in a high frequency band, for example, beamforming, massive multiple-input and multiple-output (MIMO), and full-dimensional multiple-output (FD). Technologies such as full dimensional MIMO (MIMO), array antenna, analog beam-forming, or large scale antenna may be supported.
  • MIMO massive multiple-input and multiple-output
  • FD full-dimensional multiple-output
  • the wearable AR device 200 may further include an antenna module (not shown).
  • the antenna module may transmit or receive signals or power to the outside (eg, an external electronic device).
  • the antenna module may include an antenna including a radiator formed of a conductor or a conductive pattern formed on a substrate (eg, the first PCB 235a and the second PCB 235b).
  • the antenna module may include a plurality of antennas (eg, an array antenna).
  • a plurality of microphones may process external sound signals into electrical voice data.
  • the processed voice data may be utilized in various ways according to the function (or application being executed) being performed in the wearable AR device 200 .
  • the plurality of speakers may output audio data received from the communication module or stored in a memory.
  • one or more batteries 260 may be included and power may be supplied to components constituting the wearable AR device 200 .
  • the visors 270a and 270b may adjust the transmittance of external light incident to the user's eyes according to transmittance.
  • the visors 270a and 270b may be located in front or behind the screen display units 215a and 215b.
  • the front of the screen display units 215a and 215b may mean, for example, the opposite direction to the user wearing the wearable AR device 200, and the rear may mean, for example, the direction to the user wearing the wearable AR device 200. there is.
  • the visors 270a and 270b may protect the screen display units 215a and 215b and adjust the transmittance of external light.
  • the visors 270a and 270b may include an electrochromic element that changes color according to applied power to adjust transmittance.
  • Electrochromic is a phenomenon in which the color is changed due to an oxidation-reduction reaction caused by an applied power source.
  • the visors 270a and 270b may adjust transmittance of external light by using the change in color of the electrochromic element.
  • the visors 270a and 270b may include a control module and an electrochromic device.
  • the control module may control transmittance of the electrochromic element by controlling the electrochromic element.
  • FIG. 3 is a diagram illustrating a camera and eye tracking sensor of an exemplary wearable AR device according to various embodiments.
  • a wearable AR device (eg, wearable AR device 200 of FIG. 2 ) according to an embodiment includes displays 305 and 310 (eg, displays 205 and 210 of FIG. 2 ), optical waveguides (or wave guide) 315, input optical member 320 (eg, input optical member 220 of FIG. 2), output optical member 325, ET (eyetracking) optical waveguide (or ET waveguide) 330 ) ET splitter 335, a camera 340 (eg, the second cameras 275a and 275b), an eye tracking sensor 345, and a lighting unit (eg, the lighting units 230a and 230b of FIG. 2 ) can do.
  • displays 305 and 310 eg, displays 205 and 210 of FIG. 2
  • optical waveguides (or wave guide) 315 input optical member 320 (eg, input optical member 220 of FIG. 2)
  • output optical member 325 eg, ET (eyetracking) optical waveguide (or ET waveguide) 330 ) ET splitter 335
  • the light output from the displays 305 and 310 of the wearable AR device is input to the input optical member 320 and transmitted from the output optical member 325 to the user's eyes via the optical waveguide 315. You can check.
  • the camera 340 may acquire an eye image of the user.
  • the user's eye image may be input to the lower ET splitter 335 and transmitted to the upper ET splitter 335 via the ET optical waveguide 330 .
  • the camera 340 may obtain an eye image of the user from the ET splitter 335 on the upper side.
  • the lighting unit may output infrared light to a pupil area of the user.
  • the infrared light may be reflected from the user's pupil and transmitted to the ET splitter 335 together with the user's eye image.
  • the eye image acquired by the camera 340 may include reflected infrared light.
  • the gaze tracking sensor 345 may detect reflected light of infrared light reflected from the user's pupil.
  • An electronic device (e.g., the electronic device 101 of FIG. 1) according to an embodiment may be the wearable AR device 200 shown in FIG. 2 or the wearable AR device shown in FIG. 3, but is not necessarily limited thereto. , may be various types of electronic devices such as a smart watch, a smart phone, and a tablet PC.
  • FIG. 4 is a flowchart illustrating an exemplary operation of obtaining an image of a target object according to various embodiments.
  • the electronic device (eg, the electronic device 101 of FIG. 1 or the wearable AR device 200 of FIG. 2 ) divides the image captured by the camera into a plurality of regions, and identifies feature points in the image ( The number of feature points included in each of the plurality of divided regions may be calculated by detecting feature points, and at least one candidate region may be selected from among the divided regions based on the calculation result.
  • a feature point may indicate, for example, a feature point in an image, and the feature point may be used for comparison between images.
  • a feature point may represent the coordinates of an object in a manner that is not affected by the scale and rotation of an image, and may have at least one information of brightness, color, and size regarding a relationship with neighboring pixels.
  • the electronic device may detect a point corresponding to a corner of an object identified in an image as a feature point.
  • the electronic device may select at least one candidate region including a small number of feature points among the divided regions.
  • the electronic device may track the user's gaze and select a target object corresponding to the user's gaze direction. For example, the electronic device may identify at least one real object from an image captured by a camera (eg, the camera module 180 of FIG. 1 or the first cameras 245a and 245b of FIG. 2 ). and one of the identified at least one real object may be selected as the target object. For another example, the electronic device may generate a new image by augmenting a virtual object on an image captured by a camera, and may identify at least one of a real object and an augmented virtual object in the generated new image. can The electronic device may select at least one of the identified real object and the augmented virtual object as the target object.
  • a camera eg, the camera module 180 of FIG. 1 or the first cameras 245a and 245b of FIG. 2
  • the electronic device may generate a new image by augmenting a virtual object on an image captured by a camera, and may identify at least one of a real object and an augmented virtual object in the generated new image.
  • the electronic device may generate a virtual image including a virtual object and identify at least one virtual object from the generated virtual image.
  • the electronic device may select one virtual object from among the identified at least one virtual object as the target object.
  • the electronic device may select a real object or a virtual object as a target object.
  • the electronic device selects a real object identified from an image captured by a camera as a target object and generates an image related to the target object, but the electronic device is not limited thereto, and the electronic device selects the virtual object identified from the virtual image.
  • An image of the target object may be created by selecting the object as the target object.
  • the electronic device may be a wearable AR device (eg, the wearable AR device 200 of FIG. 2 ) that can be worn on the user's head, but is not necessarily limited thereto.
  • the electronic device may determine a capture area within the selected at least one candidate area based on detecting the occurrence of an event for the target object.
  • the capture area may indicate an area for capturing a target object in an image.
  • the electronic device may set an area optimized for capturing a target object in an image as a capture area.
  • the electronic device may determine the position and/or size of the capture area within the image in various ways, which will be described later.
  • the electronic device may obtain a partial image captured from the determined capture area of the image.
  • the electronic device may generate an image of the target object based on the acquired partial image. For example, the electronic device may acquire a partial image from the point at which the target object enters the capture area, and generate an image of the target object by postprocessing the obtained partial image.
  • FIG. 5 is a diagram illustrating an exemplary process of detecting feature points in an image according to various embodiments.
  • An electronic device (eg, the electronic device 101 of FIG. 1 or the wearable AR device 200 of FIG. 2 ) according to an embodiment includes a camera (eg, the camera module 180 of FIG. 1 or the first camera (eg, the camera module 180 of FIG. 2 )) 245a, 245b)) may divide the image 510 into a plurality of regions 511-1, 511-2, ..., 511-3.
  • a camera eg, the camera module 180 of FIG. 1 or the first camera (eg, the camera module 180 of FIG. 2 )) 245a, 245b
  • the electronic device may divide the image into a ⁇ b regions.
  • a and b may be 1 or more natural numbers.
  • the division of an image into 3 ⁇ 3 regions by an electronic device will be mainly described.
  • the electronic device may detect feature points in the image 510 .
  • the electronic device may detect feature points through a feature point detection algorithm.
  • the electronic device may detect a plurality of feature points 530-1, 530-2, ..., 530-3 in an image 510 through a feature point detection algorithm.
  • the electronic device may detect a plurality of circles 520-1, 520-2, ..., 520-3 in the image 510 through a feature point detection algorithm, and the plurality of detected circles 520-1 , 520-2, ..., 520-3 may be detected as feature points 530-1, 530-2, ..., 530-3.
  • FIG. 6 is a diagram illustrating an exemplary process of selecting at least one candidate region based on the number of feature points among a plurality of divided regions according to various embodiments.
  • An electronic device (eg, the electronic device 101 of FIG. 1 or the wearable AR device 200 of FIG. 2 ) according to an embodiment may divide the image 610 into a plurality of regions.
  • the electronic device may calculate the number of feature points included in each of the divided regions by detecting feature points in the image 610 .
  • the electronic device may select at least one candidate region 612-1 or 612-2 having a small number of feature points from among the plurality of regions.
  • the electronic device may select, as a candidate region, a partial divided region including relatively few feature points among the divided regions.
  • the electronic device may select a region having the smallest number of feature points among all divided regions as a candidate region.
  • the electronic device may calculate the average number of feature points included in each of all the divided regions, and select at least one divided region including the calculated average number of feature points or less as the candidate region.
  • the electronic device may select, as a candidate region, a partial divided region including feature points having a small absolute number among the divided regions. For example, the electronic device may select at least one divided region including a threshold number (eg, 5) or less feature points among all divided regions as a candidate region.
  • a threshold number eg, 5
  • FIG. 7 is a diagram illustrating an exemplary process of selecting a target object according to various embodiments.
  • the electronic device may identify objects 721 , 722 , and 723 in the image 710 .
  • the object may be a real object or a virtual object.
  • an object 721 , an object 722 , and an object 723 may represent a cup, a keyboard, and a monitor, respectively.
  • An electronic device tracks the user's gaze and selects a target object corresponding to the user's gaze direction. You can choose.
  • the electronic device may further include an eye-tracking camera (eg, the second cameras 275a and 275b in FIG. 2 ) that tracks the direction of the user's gaze. , and track the user's gaze direction based on the tracking result.
  • the electronic device may select an object corresponding to the user's gaze direction as a target object.
  • the electronic device may display a display (Example: An image 710 may be output to the display module 160 of FIG. 1.
  • the electronic device tracks the gaze of the user looking at the image 710 output to the display through the eye tracking camera, and the image ( A gaze region 730 corresponding to the gaze direction of the user may be detected in step 710.
  • the electronic device displays object regions 721, 722, and 723 identified in the image 710 output to the display, respectively.
  • the electronic device may detect an object (for example, an object 721) corresponding to an object region overlapping at least a part of the gaze region 730 corresponding to the user's gaze direction. It can be determined as a target object corresponding to the direction.
  • FIGS. 8 to 9 are diagrams illustrating exemplary detection of event occurrence related to a user's gesture, according to various embodiments.
  • An electronic device detects the occurrence of an event based on the detection of a user's gesture related to a target object. can do.
  • the electronic device may detect a user's gesture related to the target object in the image 810 .
  • the user's gesture may represent the user's hand gesture, but is not necessarily limited thereto.
  • the electronic device may extract the user's hand gesture by analyzing the user's hand shape in the image 810 .
  • the electronic device detects a user's gesture for a target object entering an event detection area that surrounds an object area on which the target object is displayed, and detects the user's gesture as a pre-stored hand shape in the electronic device.
  • Event generation may be detected in response to a case having the same shape as one of the gestures.
  • the electronic device may select an object 821 (eg, 'cup') corresponding to the user's gaze direction as a target object.
  • the electronic device may create an event detection area 830 surrounding an object area where a target object (eg, the object 821) is displayed.
  • the event detection area 830 may be an area including an area corresponding to a target object (eg, object 821).
  • the event detection area may have a rectangular shape, but is not limited thereto, and may have other shapes such as a circular shape.
  • the size of the event detection area may be approximately twice as large as the size of the object area where the target object is displayed, but the size of the event detection area is not limited thereto.
  • the electronic device may determine the detected user's gesture as a user's gesture related to the target object before detecting the occurrence of the event. As will be described later, the electronic device may detect the occurrence of an event and determine a user's gesture detected after the capture area is determined as a user's gesture related to the capture area.
  • the electronic device may detect the occurrence of an event in response to a case where the user's gesture 840 related to the detected target object has the same shape as one of hand gestures previously stored in the electronic device.
  • the electronic device may store various types of hand gestures in advance. For example, as shown in FIG. 9 , the electronic device may store various hand gestures 910-1, 910-2, ..., 910-3 in advance. For example, each of the hand gestures 910-1, 910-2, ..., 910-n stored in the electronic device represents a hand gesture of holding or raising an object.
  • can Hand gestures pre-stored in the electronic device are not limited to the hand gestures shown in FIG. 9 .
  • the electronic device may compare the user's gesture with the pre-stored hand gesture shape in consideration of not only the pre-stored hand gesture shape but also a shape transformed according to rotation of the pre-stored hand gesture. For example, the electronic device may detect the occurrence of an event even when a shape deformed according to rotation of one pre-stored hand gesture has the same shape as the user's gesture.
  • FIG. 10 is a diagram illustrating an exemplary process of determining a capture area according to various embodiments.
  • An electronic device selects a capture area within at least one selected candidate area based on detecting an occurrence of an event. can decide The electronic device determines at least one or a combination of two or more of color information of an object area where a target object is displayed, a user's preferred region in an image, feature points detected in an image, and a probability value in which a target object is classified as a corresponding object. Based on this, it is possible to determine a capture area within the at least one candidate area.
  • the electronic device may divide an image 1010 into a plurality of regions, and candidate regions 1012-1, 1012-2, and 1012-3 are selected based on complexity among the divided regions. ) can be selected. Also, the electronic device may select the target object 1020 from the image 1010 . The electronic device may determine the location and size of the capture area 1050 within the selected candidate areas 1012-1, 1012-2, and 1012-3.
  • the electronic device may determine a capture area within the selected candidate areas 1012-1, 1012-2, and 1012-3 based on color information of an object area in which the target object 1020 is displayed. there is.
  • the electronic device may calculate color information of an object area where the target object 1020 is displayed in the image 1010 .
  • the electronic device may calculate an average color of pixels included in the object area where the target object 1020 is displayed as color information, and a color histogram of pixels included in the object area where the target object 1020 is displayed. (histogram) may be calculated as color information.
  • the color histogram may represent a color distribution.
  • the electronic device may designate an area having a predetermined size within the selected candidate areas 1012-1, 1012-2, and 1012-3.
  • the electronic device may calculate color information of a designated area and compare it with color information of an object area in which the target object 1020 is displayed. Based on the comparison result, the electronic device may assign a first score according to color information to the designated area. The electronic device may assign a lower first score as the color information of the designated area is similar to the color information of the object area on which the target object 1020 is displayed, and the color information of the designated area is the object on which the target object 1020 is displayed. As the color information of the region is dissimilar, a higher first score may be assigned. For example, the electronic device sets the first score according to the highest color information in the candidate regions 1012-1, 1012-2, and 1012-3 based on the color information of the object region where the target object 1020 is displayed. An area having may be determined as a capture area.
  • the electronic device may determine a capture area within the selected candidate areas 1012-1, 1012-2, and 1012-3 based on the user's preferred area within the image 1010. For example, the electronic device may receive in advance a region that the user prefers to capture a target object in an image from the user. For example, the electronic device may designate an area having a predetermined size within the selected candidate areas 1012-1, 1012-2, and 1012-3. The electronic device may compare the location of the designated area and the user's preferred area. Based on the comparison result, the electronic device may assign a second score according to user preference to the designated area.
  • the electronic device may assign a higher second score as the designated region is closer to the user's preferred region, and assign a lower second score as the designated region is farther from the user's preferred region. Based on the user's preferred region, the electronic device may determine a region having the highest second score among the candidate regions 1012-1, 1012-2, and 1012-3 as the capture region.
  • the electronic device may determine a capture area within the candidate areas 1012-1, 1012-2, and 1012-3 based on feature points detected in the image 1010. For example, the electronic device may designate an area having a predetermined size within the selected candidate areas 1012-1, 1012-2, and 1012-3. The electronic device may assign a third score according to the number of feature points to the designated area based on the number of feature points detected in the designated area. The electronic device may assign a third score as the number of feature points detected in the designated area increases, and may assign a higher third score as the number of feature points detected in the designated area decreases. For example, the electronic device may determine a region having the highest third score among the candidate regions 1012-1, 1012-2, and 1012-3 as the capture region based on feature points detected in the image.
  • the electronic device calculates a final score based on the first score, the second score, and the third score for each region designated within the candidate regions 1012-1, 1012-2, and 1012-3.
  • the electronic device may calculate the final score by applying the first weight, the second weight, and the third weight to each of the first score, the second score, and the third score calculated for the designated area. For example, the electronic device applies a first weight to a first score, a second weight to a second score, and a third weight to a third score for a designated area, and then sums them all. By doing so, the final score for the designated area can be calculated.
  • the electronic device may determine a region having the highest final score among the candidate regions 1012-1, 1012-2, and 1012-3 as the capture region.
  • the electronic device determines a capture area within the selected candidate areas 1012-1, 1012-2, and 1012-3 by further considering a probability value in which the target object 1020 is classified as a corresponding object.
  • the electronic device may determine the 'wireless charging case' as an object corresponding to the target object 1020 .
  • the electronic device may calculate a probability value in which the target object 1020 is classified as a 'wireless charging case'.
  • the electronic device determines that the target object 1020 is easy to recognize, and is influenced by the background of the image when determining the capture area. can be made smaller.
  • the electronic device determines that it is not easy to recognize the target object 1020, and determines the capture area due to the effect of the background of the image. can be enlarged.
  • the effect of the background of the image may indicate, for example, the effect of the color of the image and feature points in the image.
  • the electronic device may adjust a weight corresponding to each of the first score according to color information and the third score according to the number of feature points. For example, the electronic device may increase weights for the first score and the third score when the effect of the background of the image is increased, and when the effect due to the background is reduced, the first score and the third score are increased.
  • the electronic device may calculate a high probability value to be classified as the corresponding object, and the target object 1020 may calculate the corresponding object with respect to the corresponding object.
  • a probability value of being classified as a corresponding object may be calculated low.
  • an electronic device may re-detect feature points in an image after detecting an event occurrence.
  • the electronic device recalculates the number of feature points included in each of the plurality of divided regions by re-detecting the feature points in the image after detecting the occurrence of the event based on the detection of the movement of the camera, and based on the recalculated result.
  • At least one candidate region may be re-selected from among a plurality of divided regions based on the above.
  • the electronic device re-detects feature points in the image after detecting the occurrence of an event based on detecting global motion in the image, recalculates the number of feature points included in each of a plurality of regions, and area can be reselected.
  • the global motion may represent motions of all objects and backgrounds from an image frame of a first view to an image frame of a second view of an image.
  • the local motion may indicate motion of an object or background in a specific region from an image frame of a first view to an image frame of a second view.
  • global motion may be generated by the movement of a camera, and local motion may be generated regardless of the movement of the camera.
  • the electronic device When the electronic device detects global motion in an image, the positions and backgrounds of objects may be different from each other in an image frame before detecting an event and an image frame after detecting an event. Location and number may change. Therefore, after detecting the occurrence of an event, the electronic device may re-detect feature points in the image frame of the viewpoint and reselect candidate regions to reflect changes in the positions of objects in the image and the background.
  • FIG. 11 is a diagram illustrating an exemplary process of calculating a noise level in a capture area according to various embodiments.
  • An electronic device may determine a capture area 1150 in the image 1110 .
  • the electronic device may calculate the size of noise within the capture area 1150 of the image 1110.
  • noise may represent a degree of difficulty in using the capture area. It can be determined that it is unfavorable to use as a capture area as the noise is large, and it can be determined to be advantageous to use as a capture area as the noise is small.
  • the electronic device may calculate the size of noise in the capture area based on the number of feature points detected in the capture area, color information of the object area where the target object is displayed, and/or a probability value in which the target object is classified as a corresponding object.
  • the electronic device may display at least one of a warning message and information guiding the positional movement of the capture area on the display when the noise level within the capture area is equal to or greater than the threshold noise level.
  • the electronic device may calculate the size of noise within the capture area 1150 determined in the image 1110 .
  • the electronic device may determine that the capture area 1150 is an unfavorable location for object registration when the size of noise calculated in the capture area 1150 is equal to or greater than the threshold noise level.
  • the electronic device may output at least one of a warning message indicating that the capture area 1150 is unfavorable for object registration and information guiding the movement of the capture area 1150 on the display. there is.
  • FIG. 12 is a diagram illustrating a size change of a capture area according to various embodiments by way of example.
  • An electronic device may change the location and size of the capture area.
  • the electronic device may compare an object area where a target object is displayed with a capture area.
  • the electronic device may change at least one of the location and size of the capture area so that the capture area includes the object area where the target object is displayed.
  • the electronic device may select a target object 1221 from the image 1210 and determine a capture area 1251 .
  • the electronic device may compare the object area where the target object 1221 is displayed with the capture area 1251, and when the capture area 1251 does not include at least a part of the object area where the target object 1221 is displayed, It may be determined that the target object 1221 is out of the capture area.
  • the electronic device may change at least one of the position and size of the capture area 1251 so that the capture area 1251 includes an object area in which the target object 1221 is displayed. 12 illustrates that the electronic device changes the capture area 1251 to the capture area 1252 to include the object area where the target object 1221 is displayed.
  • FIG. 13 is a diagram illustratively illustrating a location change of a capture area according to various embodiments.
  • An electronic device may change the location of the capture area.
  • the electronic device may divide the image 1310 into a plurality of regions and select a candidate region from among the plurality of divided regions.
  • the electronic device may identify a boundary region 1380 usable as a capture region among the selected candidate regions.
  • the electronic device may include at least one or a combination of two or more of color information of an object area in which a target object is displayed, a user's preferred region in an image, feature points detected in an image, and a probability value in which a target object is classified as a corresponding object. Based on this, it is possible to identify a boundary region 1380 usable as a capture region among candidate regions.
  • the electronic device may move the capture area within the boundary area 1380 .
  • the electronic device may display information about a movable direction of the capture area 1350 around the capture area 1350 .
  • the electronic device has an arrow-type interface indicating that the capture area 1350 can move up, down, left, and right around the capture area 1350 based on the boundary area 1380 usable as the capture area. objects can be displayed.
  • FIG. 14 is a diagram illustrating an exemplary process of providing a rotation guide within a capture area according to various embodiments.
  • An electronic device includes a rotation guide for acquiring images of a plurality of cross-sections of a target object in a capture area.
  • a rotation guide for acquiring images of a plurality of cross-sections of a target object in a capture area.
  • the electronic device may display a graphic object guiding rotation of the target object on a display outputting the image 1410 .
  • the electronic device may display images of a plurality of sections of the target object captured in the capture area on the display.
  • the electronic device may determine a capture area 1450 in the image 1410.
  • the electronic device may detect the entry of the target object 1420 into the capture area 1450 .
  • the electronic device may display a graphic object guiding rotation of the target object 1420 on the display to obtain an image of the target object 1420.
  • the electronic device may display graphic objects 1471 and 1472 instructing to rotate the target object 1420 in left and right directions.
  • the electronic device detects rotation of the target object 1420 in the image 1410, it may obtain a cross-sectional image of the target object 1420 from the capture area 1450 for each image frame.
  • the electronic device may additionally display images 1481 , 1482 , and 1483 of a plurality of sections of the target object 1420 captured from the capture area 1450 at various angles on the display.
  • the electronic device determines that sufficient images of the cross section of the target object 1420 have been obtained according to the rotation of the target object 1420 in the left and right directions, the electronic device displays the target object 1420 on the display in the other directions (for example, , upward and downward directions) may display graphic objects 1473 and 1474 indicating rotation.
  • the electronic device may end image acquisition of the target object in the capture area 1450.
  • 15 is a diagram illustrating an exemplary process of determining a location and size of a capture area according to various embodiments.
  • An electronic device determines the location and size of a capture area based on the location and size of an object area where a target object is displayed.
  • the electronic device when the electronic device detects a movement of a target object in an image, the electronic device tracks an object area where the target object is displayed, and among the location and size of the capture area, the capture area includes the tracked object area. At least one can be changed.
  • the electronic device may determine a capture area 1551 based on an object area in which a target object 1521 is displayed in an image frame 1510-1, and capture an image frame 1510-2 of another view.
  • a capture area 1552 may be determined based on an object area in which the target object 1522 is displayed.
  • the electronic device may determine the shape of the capture area based on the shape of the object area where the target object is displayed. For example, if the shape of the object area where the target object is displayed is circular, the shape of the capture area may also be determined to be circular.
  • 16A and 16B are diagrams illustrating an exemplary process of automatically determining a location and size of a capture area according to various embodiments.
  • An electronic device may automatically determine the location and size of the capture area.
  • the electronic device may automatically determine a capture area in a pre-specified location and a pre-specified size within an image. For example, the electronic device may determine the capture area so that the center of the capture area in the image coincides with the center of the image. The electronic device may determine a capture area having a predetermined size while the center of the image coincides with the center of the capture area.
  • 16A shows a capture area 1651 having a first size, a capture area 1652 having a second size, or a capture area 1653 having a third size.
  • the second size may be larger than the first size
  • the third size may be larger than the second size.
  • the electronic device may divide an image into a plurality of regions and determine the size of a capture region based on a candidate region selected from among the plurality of divided regions.
  • the electronic device may determine the size of the capture area based on the number of candidate areas selected from the image and the positions of the selected candidate areas. For example, the electronic device may increase the size of the capture region as the number of selected candidate regions increases, and decrease the size of the capture region as the number of adjacent candidate regions decreases. As shown in FIG.
  • the electronic device determines that the number of selected candidate regions 1612-1, 1612-2, 1612-3, and 1612-4 among a plurality of regions of an image 1601 is four, and the selected candidate region If only two candidate regions 1612-3 and 1612-4 of the regions are adjacent to each other, a capture region 1654 of a fourth size may be determined within the selected candidate regions.
  • the number of candidate regions 1613-1, 1613-2, 1613-3, 1613-4, 1613-5, 1613-6, and 1613-7 selected in the image 1602 is seven, and the selected candidate region If all of these regions are adjacent to each other, a capture region 1655 of a fifth size may be determined within the selected candidate regions.
  • the fifth size may be greater than the fourth size.
  • 17A and 17B are diagrams illustrating an exemplary process of determining a location and size of a capture area based on a user's gesture, according to various embodiments.
  • An electronic device may determine the location and size of the capture area based on the user's gesture.
  • the electronic device may change at least one of a location and a size of the capture area based on the recognized user's gesture.
  • the electronic device may determine a capture area 1751 in the image frame 1710 - 1 at point A, and recognize a user's hand gesture 1740 entering the determined capture area 1751 . For example, when the user's hand gesture 1740 entering the capture area 1751 is in the form of two fingers touching each other, the electronic device may initiate a size change of the capture area 1751 . For example, the electronic device may detect points 1791 and 1792 corresponding to the user's two fingers in the image frame 1710-2 of the B viewpoint. The electronic device may increase the size of the capture area so that points 1791 and 1792 corresponding to the user's two fingers are both end points of the capture area 1752 .
  • FIG. 17B illustrates an example in which the electronic device changes the location of a capture area within an image based on a user's gesture.
  • a hand shape in which a capture area 1753 is determined in the image frame 1710-3 at point C and a user's finger enters an area 1793 corresponding to one end point of the determined capture area 1753 Gestures can be recognized.
  • the electronic device adjusts the location of the capture area so that the area 1794 where one finger of the user is located in the image frame 1710-4 at the point of view D is an area corresponding to one end point of the capture area 1754. can be changed In this case, the electronic device may maintain the same size of the capture area.
  • FIG. 18 is a diagram illustrating an exemplary process of generating an image of a target object based on a partial image captured from a capture area according to various embodiments.
  • an electronic device (eg, the electronic device 101 of FIG. 1 or the wearable AR device 200 of FIG. 2 ) generates an image of a target object based on a partial image captured from a determined capture region among images. can do.
  • a partial image captured from a capture area of one image frame constituting an image will be mainly described.
  • the electronic device may obtain a partial image 1811 captured from the capture area in one image frame.
  • the electronic device may identify the remaining area 1830 in the partial image 1811 excluding the object area where the target object 1820 is displayed.
  • the electronic device may obtain an image 1812 in which only the object region in which the target object 1820 is displayed is displayed by removing the remaining region 1830 from the partial image 1811 .
  • the electronic device may identify regions 1841 and 1842 in the image 1812 in which the target object 1820 is covered.
  • the electronic device may restore the areas 1841 and 1842 in which the target object 1820 is obscured by using the object area in which the target object 1820 is displayed. Accordingly, a final image 1813 of the target object 1820 may be generated.
  • the electronic device may improve the quality of the final image 1813 of the target object 1820 .
  • electronics can be used to colorize, noise reduction, upscaling, super-resolution, deblurring, low light, shadows.
  • the quality of the final image 1813 may be improved through at least one method.
  • the electronic device may generate a final image of the target object 1820 for each image frame included in the image.
  • the electronic device may perform 3D modeling of the target object 1820 by combining the generated final images.
  • 19 to 20 are diagrams illustrating exemplary methods of obtaining an image of a target object according to various embodiments.
  • An electronic device instead of generating an image of a target object based on a partial image captured from a capture area , images of the target object may be received from the database.
  • an electronic device may establish communication with a database.
  • the electronic device may identify an object area where the target object 1920 is displayed in the capture area 1950 .
  • the electronic device may recognize the barcode 1970 in the object area where the target object 1920 is displayed, and transmit the recognized barcode 1970 to a database.
  • the database may store images of objects matching each barcode in advance.
  • the electronic device may obtain an image of an object matching the barcode 1970 from the database.
  • the electronic device 20 describes a case where a quick response (QR) code is recognized in an object area where a target object is displayed.
  • the electronic device may identify an object area where the target object 2020 is displayed in the capture area 2050 .
  • the electronic device may recognize the QR code 2070 in the object area where the target object 2020 is displayed, and transmit the recognized QR code 2070 to the database.
  • the database may store information corresponding to the QR code in advance.
  • the electronic device may receive information matching the QR code 2070 from the database.
  • An electronic device includes a camera, a memory storing instructions executable by a computer, and a processor accessing the memory to execute instructions, and the instructions include displaying an image captured by the camera in a plurality of regions. , and by detecting feature points in the image, the number of feature points included in each of the plurality of divided regions is calculated, and at least one candidate region among the plurality of divided regions is calculated based on the calculation result. Select a target object corresponding to the direction of the user's gaze by tracking the user's gaze, and based on detecting the occurrence of an event for the target object, a capture area within the selected at least one candidate region. (capture area) may be determined, and an image of the target object may be generated based on a partial image captured from the determined capture area of the image.
  • the commands may be further configured to detect the occurrence of an event based on a user's gesture related to the target object being detected in the image.
  • a user's gesture related to a target object entering an event detection area surrounding an object area in which the target object is displayed is detected, and the detected user's gesture is one of pre-stored hand gestures in the electronic device. It may be further configured to detect the occurrence of an event in response to having the same (or similar) form as
  • the instructions are based on at least one or a combination of two or more of color information of an object area in which the target object is displayed, a user's preferred region in the image, feature points detected in the image, and a probability value in which the target object is classified as a corresponding object. It may be further configured to determine a capture area within one candidate area.
  • the commands recalculate the number of feature points included in each of a plurality of divided areas by re-detecting the feature points in the image after detecting the occurrence of the event based on sensing the movement of the camera, and based on the recalculated result. It may be further configured to reselect at least one candidate region among a plurality of regions divided based on the above.
  • the commands calculate the size of noise in the capture area based on the number of feature points detected in the capture area, the color information of the object area where the target object is displayed, and the probability value that the target object is classified as a corresponding object, and calculates the size of noise in the capture area.
  • the display may be further configured to display at least one of a warning message and information guiding the positional movement of the capture area.
  • the instructions compare the object area where the target object is displayed with the capture area, and if it is determined that the target object is out of the capture area based on the comparison result, the capture area includes the object area where the target object is displayed. It may be further configured to change at least one of position and size.
  • the commands display a graphic object for guiding rotation of the target object on a display when the target object enters the capture area, and display a plurality of cross-sections of the target object captured in the capture area on the display when detecting rotation of the target object. It may be further configured to display images for .
  • the instructions further include tracking an object area where the target object is displayed and changing at least one of the position and size of the capture area so that the capture area includes the tracked object area. can be configured.
  • the instructions may be further configured to change at least one of a location and a size of the capture area based on the recognized user's gesture when recognizing a user's gesture with respect to the capture area.
  • a method implemented by a processor divides an image captured by a camera into a plurality of regions and detects feature points in the image, such that the number of feature points included in each of the plurality of regions is divided. calculating , and selecting at least one candidate area among a plurality of divided areas based on the calculation result, tracking the user's gaze and selecting a target object corresponding to the user's gaze direction; An operation of determining a capture area in at least one selected candidate area based on detecting an event occurrence of the target object, and generating an image of the target object based on a partial image captured from the determined capture area of the image. Actions may be included.
  • the operation of determining the capture area may include an operation of detecting the occurrence of an event based on a user's gesture related to the target object being detected in the image.
  • the operation of determining the capture area may include detecting a user's gesture related to the target object entering an event detection area surrounding the object area where the target object is displayed, and pre-stored the detected user's gesture in the electronic device.
  • an operation of detecting the occurrence of an event may be included.
  • the operation of determining the capture area may include at least one or two or more of color information of the object area in which the target object is displayed, a user's preferred area in the image, feature points detected in the image, and a probability value in which the target object is classified as a corresponding object.
  • An operation of determining a capture area within the at least one candidate area based on the combination may be included.
  • the number of feature points included in each of a plurality of divided areas is re-detected in an image after detecting an event occurrence based on sensing movement of a camera.
  • the method may further include calculating and reselecting at least one candidate region among a plurality of divided regions based on the recalculated result.
  • noise noise
  • displaying at least one of a warning message and information for guiding the position movement of the capture area on a display when the calculated noise level is greater than or equal to a threshold noise level is greater than or equal to a threshold noise level.
  • a method implemented by a processor includes an operation of comparing an object area where a target object is displayed with a capture area, and when it is determined that the target object is out of the capture area based on the comparison result, the capture area is the target object.
  • An operation of changing at least one of a location and a size of the capture area to include the displayed object area may be further included.
  • a method implemented by a processor includes an operation of displaying a graphic object guiding rotation of the target object on a display when the target object enters the capture area, and capturing on the display when detecting rotation of the target object.
  • An operation of displaying images of a plurality of sections of the target object captured in the region may be further included.
  • a movement of a target object is detected in an image
  • at least one of the location and size of the capture region is tracked to include the tracked object region by tracking an object region where the target object is displayed.
  • An operation of changing one may be further included.
  • the method implemented by the processor according to an embodiment may further include, when recognizing a user's gesture for the capture area, changing at least one of a location and a size of the capture area based on the recognized user's gesture. .

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

일 실시예에 따른 전자 장치는 영상을 복수의 영역들로 분할하고, 영상에서 특징점들(feature points)을 검출함으로써 분할된 복수의 영역들 각각에 포함된 특징점의 개수를 산출하며, 산출 결과에 기초하여 분할된 복수의 영역들 중 적어도 하나의 후보 영역을 선택하고, 선택된 적어도 하나의 후보 영역 내에서 결정된 캡처 영역으로부터 캡처된 부분 영상에 기초하여 대상 객체에 관한 영상을 생성할 수 있다.

Description

객체의 영상을 획득하는 방법 및 장치
아래의 개시의 다양한 실시예들은 객체의 영상을 획득하는 방법 및 장치에 관한 것이다.
디지털 기술의 발달과 함께 스마트 폰, PC(Personal Computer), 웨어러블 장치(wearable device)와 같이 영상을 촬영 및 재생하는 전자 장치들이 다양하게 출시되고 있다. 예를 들어, 전자 장치들은 카메라를 사용하여 영상을 촬영할 수 있다. 최근에는, 카메라를 통해 촬영된 영상으로부터 컵, 책, 모니터, 전등, 사람과 같은 객체(object)를 식별하는 기술 및 영상에서 사용자가 관심 있는 객체를 분할하는 기술이 개발되었다. 한편, 영상에서 색상, 모양, 움직임 및 질감과 같은 관심 있는 객체의 다양한 특징 및 영상 내의 배경의 변화 때문에 관심 있는 객체를 정확히 분할하는 데는 어려움이 따를 수 있다. 또한, 종래의 객체 분할 기술은 전자 장치에 많은 연산량을 요구할 수 있다. 따라서, 영상에서 높은 분할 성능으로 객체를 분할하면서도 객체의 분할에 소요되는 시간 및 연산량을 감소시키는 것이 바람직하다.
일 실시예에 따른 전자 장치는 영상에서 사용자의 시선 방향이 지시하는 대상 객체를 선택하고, 선택된 대상 객체에 관한 영상을 획득할 수 있다.
일 실시예에 따른 전자 장치는 영상 내에서 캡처 영역을 결정하고, 영상을 결정된 캡처 영역에서 캡처하여 대상 객체에 관한 영상을 획득할 수 있다.
일 실시예에 따른 전자 장치는 영상 내에서 대상 객체에 관한 영상을 캡처하기 위한 영역(예를 들어, 최적화된 영역)을 캡처 영역으로 결정할 수 있다.
일 실시예에 따른 전자 장치는 영상 내에서 캡처 영역의 위치 및/또는 크기를 변경할 수 있다.
일 실시예에 따른 전자 장치는 카메라, 컴퓨터로 실행 가능한 명령어들이 저장된 메모리, 및 상기 메모리에 억세스(access)하여 상기 명령어들을 실행하는 프로세서를 포함하고, 상기 명령어들은, 상기 카메라에 의해 촬영된 영상을 복수의 영역들로 분할하고, 상기 영상에서 특징점들(feature points)을 검출함으로써 상기 분할된 복수의 영역들 각각에 포함된 특징점의 개수를 산출하며, 상기 산출 결과에 기초하여 상기 분할된 복수의 영역들 중 적어도 하나의 후보 영역을 선택하고, 사용자의 시선을 추적하여 상기 사용자의 시선 방향에 대응하는 대상 객체(target object)를 선택하며, 상기 대상 객체에 대한 이벤트의 발생을 감지하는 것에 기초하여, 상기 선택된 적어도 하나의 후보 영역 내에서 캡처 영역(capture area)을 결정하고, 상기 영상 중 상기 결정된 캡처 영역으로부터 캡처된 부분 영상에 기초하여 상기 대상 객체에 관한 영상을 생성하도록 구성될 수 있다.
일 실시예에 따른 프로세서로 구현되는 방법은, 카메라에 의해 촬영된 영상을 복수의 영역들로 분할하고, 상기 영상에서 특징점들(feature points)을 검출함으로써 상기 분할된 복수의 영역들 각각에 포함된 특징점의 개수를 산출하며, 상기 산출 결과에 기초하여 상기 분할된 복수의 영역들 중 적어도 하나의 후보 영역을 선택하는 동작, 사용자의 시선을 추적하여 상기 사용자의 시선 방향에 대응하는 대상 객체(target object)를 선택하는 동작, 상기 대상 객체에 대한 이벤트 발생을 감지하는 것에 기초하여, 상기 선택된 적어도 하나의 후보 영역 내에서 캡처 영역을 결정하는 동작, 및 상기 영상 중 상기 결정된 캡처 영역으로부터 캡처된 부분 영상에 기초하여 상기 대상 객체에 관한 영상을 생성하는 동작을 포함할 수 있다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경 내의 예시적인 전자 장치의 블록도이다.
도 2는 다양한 실시예들에 따른 예시적인 웨어러블 증강현실(augmented reality; AR) 장치의 구조를 도시한 도면이다.
도 3은 다양한 실시예들에 따른 예시적인 웨어러블 AR 장치의 카메라 및 시선 추적 센서를 나타낸 도면이다.
도 4는 다양한 실시예들에 따른 대상 객체에 관한 영상을 획득하는 예시적인 동작을 도시한 흐름도이다.
도 5는 다양한 실시예들에 따른 영상에서 특징점들을 검출하는 예시적인 과정을 설명하는 도면이다.
도 6은 다양한 실시예들에 따른 분할된 복수의 영역들 중 특징점의 개수에 기초하여 적어도 하나의 후보 영역을 선택하는 예시적인 과정을 설명하는 도면이다.
도 7은 다양한 실시예들에 따른 대상 객체를 선택하는 예시적인 과정을 설명하는 도면이다.
도 8 내지 도 9은 다양한 실시예들에 따른 사용자의 제스처와 관련된 이벤트 발생의 예시적인 감지를 설명하는 도면이다.
도 10은 다양한 실시예들에 따른 캡처 영역(capture area)을 결정하는 예시적인 과정을 설명하는 도면이다.
도 11는 다양한 실시예들에 따른 캡처 영역에서 노이즈 크기를 산출하는 예시적인 과정을 설명하는 도면이다.
도 12은 다양한 실시예들에 따른 캡처 영역의 예시적인 크기 변경을 설명하는 도면이다.
도 13은 다양한 실시예들에 따른 캡처 영역의 예시적인 위치 변경을 설명하는 도면이다.
도 14는 다양한 실시예들에 따른 캡처 영역 내에서 회전 가이드를 제공하는 예시적인 과정을 설명하는 도면이다.
도 15은 다양한 실시예들에 따른 캡처 영역의 위치 및 크기를 결정하는 예시적인 과정을 설명하는 도면이다.
도 16a 내지 도 16b는 다양한 실시예들에 따른 캡처 영역의 위치 및 크기를 자동으로 결정하는 예시적인 과정을 설명하는 도면이다.
도 17a 내지 도 17b는 다양한 실시예들에 따른 사용자의 제스처에 기초하여 캡처 영역의 위치 및 크기를 결정하는 예시적인 과정을 설명하는 도면이다.
도 18은 다양한 실시예들에 따른 캡처 영역으로부터 캡처된 부분 영상에 기초하여 대상 객체에 관한 영상을 생성하는 예시적인 과정을 설명하는 도면이다.
도 19 내지 도 20은 다양한 실시예들에 따른 대상 객체에 관한 영상을 획득하는 예시적인 방법에 대하여 설명하는 도면이다.
이하, 예시적인 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 예시적인 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 다양한 실시예들에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 다양한 실시예들에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 초광대역(ultra-wide band; UWB) 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2는 다양한 실시예들에 따른 예시적인 웨어러블 AR 장치의 구조를 도시한 도면이다.
도 2를 참조하면, 웨어러블 AR 장치(200)는 사용자의 안면에 착용되어, 사용자에게 증강 현실 서비스 및/또는 가상 현실 서비스와 관련된 영상을 제공할 수 있다.
일 실시 예에서, 웨어러블 AR 장치(200)는 제1 디스플레이(205), 제2 디스플레이(210), 화면 표시부(215a, 215b), 입력광학부재(220), 제1 투명부재(225a), 제2 투명부재(225b), 조명부(230a, 230b), 제1 PCB(235a), 제2 PCB(235b), 제1 힌지(hinge)(240a), 제2 힌지(240b), 제1 카메라(245a, 245b), 복수의 마이크(예: 제1 마이크(250a), 제2 마이크(250b), 제3 마이크(250c)), 복수의 스피커(예: 제1 스피커(255a), 제2 스피커(255b)), 배터리(260), 제2 카메라(275a, 275b), 제3 카메라(265), 및 바이저(270a, 270b)를 포함할 수 있다.
일 실시 예에서, 디스플레이(예: 제1 디스플레이(205) 및 제2 디스플레이(210))는, 예를 들면, 액정 표시 장치(liquid crystal display, LCD), 디지털 미러 표시 장치(digital mirror device, DMD), 실리콘 액정 표시 장치(liquid crystal on silicon, LCoS), 유기 발광 다이오드(organic light emitting diode, OLED) 또는 마이크로 엘이디(micro light emitting diode, micro LED)를 포함할 수 있다. 미도시 되었으나, 디스플레이가 액정 표시 장치, 디지털 미러 표시 장치, 또는 실리콘 액정 표시 장치 중 하나로 이루어지는 경우, 웨어러블 AR 장치(200)는 디스플레이의 화면 출력 영역으로 광을 조사하는 광원을 포함할 수 있다. 다른 실시예에서, 디스플레이가 자체적으로 광을 발생시킬 수 있는 경우, 예를 들어, 유기 발광 다이오드 또는 마이크로 엘이디 중 하나로 이루어지는 경우, 웨어러블 AR 장치(200)는 별도의 광원을 포함하지 않더라도 사용자에게 양호한 품질의 가상 영상을 제공할 수 있다. 일 실시 예에서, 디스플레이가 유기 발광 다이오드 또는 마이크로 엘이디로 구현된다면 광원이 불필요하므로, 웨어러블 AR 장치(200)가 경량화될 수 있다. 이하에서는, 자체적으로 광을 발생시킬 수 있는 디스플레이는 자발광 디스플레이로 지칭되며, 자발광 디스플레이를 전제로 설명된다.
본 발명의 다양한 실시예들에 따른 디스플레이(예: 제1 디스플레이(205) 및 제2 디스플레이(210))는 적어도 하나의 마이크로 LED(micro light emitting diode)로 구성될 수 있다. 예컨대, 마이크로 LED는 자체 발광으로 적색(R, red), 녹색(G, green), 청색(B, blue)을 표현할 수 있으며, 크기가 작아(예: 100㎛ 이하), 칩 하나가 하나의 픽셀(예: R, G, 및 B 중 하나)을 구현할 수 있다. 이에 따라, 디스플레이가 마이크로 LED로 구성되는 경우, 백라이트유닛(BLU) 없이 높은 해상도를 제공할 수 있다.
이에 한정하는 것은 아니며, 하나의 픽셀은 R, G, 및 B를 포함할 수 있으며, 하나의 칩은 R, G, 및 B를 포함하는 픽셀이 복수개로 구현될 수 있다.
일 실시 예에서, 디스플레이(예: 제1 디스플레이(205) 및 제2 디스플레이(210))는 가상의 영상을 표시하기 위한 픽셀(pixel)들로 구성된 디스플레이 영역 및 픽셀들 사이에 배치되는 눈에서 반사되는 광을 수광하여 전기 에너지로 변환하고 출력하는 수광 픽셀(예: 포토 센서 픽셀(photo sensor pixel))들을 포함할 수 있다.
일 실시 예에서, 웨어러블 AR 장치(200)는 수광 픽셀들을 통해 사용자의 시선 방향(예: 눈동자 움직임)을 검출할 수 있다. 예컨대, 웨어러블 AR 장치(200)는 제1 디스플레이(205)를 구성하는 하나 이상의 수광 픽셀들 및 제2 디스플레이(210)를 구성하는 하나 이상의 수광 픽셀들을 통해 사용자의 우안에 대한 시선 방향 및 사용자의 좌안에 대한 시선 방향을 검출하고 추적할 수 있다. 웨어러블 AR 장치(200)는 하나 이상의 수광 픽셀들을 통해 검출되는 사용자의 우안 및 좌안의 시선 방향(예: 사용자의 우안 및 좌안의 눈동자가 응시하는 방향)에 따라 가상 영상의 중심의 위치를 결정할 수 있다.
일 실시 예에서, 디스플레이(예: 제1 디스플레이(205) 및 제2 디스플레이(210))로부터 방출되는 광은 렌즈(미도시) 및 웨이브가이드(waveguide)를 거쳐 사용자의 우안(right eye)에 대면하게 배치되는 제1 투명부재(225a)에 형성된 화면 표시부(215a) 및 사용자의 좌안(left eye)에 대면하게 배치 제2 투명부재(225b)에 형성된 화면 표시부(215b)에 도달할 수 있다. 예컨대, 디스플레이(예: 제1 디스플레이(205) 및 제2 디스플레이(210))로부터 방출되는 광은 웨이브가이드를 거쳐 입력광학부재(220)와 화면 표시부(215a, 215b)에 형성된 그레이팅 영역(grating area)에 반사되어 사용자의 눈에 전달될 수 있다. 제1 투명 부재(225a) 및/또는 제2 투명 부재(225b)는 글래스 플레이트, 플라스틱 플레이트, 또는 폴리머로 형성될 수 있으며, 투명 또는 반투명하게 제작될 수 있다.
일 실시 예에서, 렌즈(미도시)는 디스플레이(예: 제1 디스플레이(205) 및 제2 디스플레이(210))의 전면에 배치될 수 있다. 렌즈(미도시)는 오목 렌즈 및/또는 볼록 렌즈를 포함할 수 있다. 예컨대, 렌즈(미도시)는 프로젝션 렌즈(projection lens) 또는 콜리메이션 렌즈(collimation lens)를 포함할 수 있다.
일 실시 예에서, 화면 표시부(215a, 215b) 또는 투명 부재(예: 제1 투명 부재(225a), 제2 투명 부재(225b))는 웨이브가이드(waveguide)를 포함하는 렌즈, 반사형 렌즈를 포함할 수 있다.
일 실시 예에서, 웨이브가이드는 글래스, 플라스틱, 또는 폴리머로 제작될 수 있으며, 내부 또는 외부의 일표면에 형성된 나노 패턴, 예를 들어, 다각형 또는 곡면 형상의 그레이팅 구조(grating structure)를 포함할 수 있다. 일 실시 예에 따르면, 웨이브가이드의 일단으로 입사된 광은 나노 패턴에 의해 디스플레이 웨이브가이드 내부에서 전파되어 사용자에게 제공될 수 있다. 일 실시 예에서, 프리폼(free-form)형 프리즘으로 구성된 웨이브가이드는 입사된 광을 반사 미러를 통해 사용자에게 제공될 수 있다. 웨이브가이드는 적어도 하나의 회절 요소 예컨대, DOE(diffractive optical element), HOE(holographic optical element)) 또는 반사 요소(예: 반사 거울) 중 적어도 하나를 포함할 수 있다. 일 실시 예에서, 웨이브가이드는 웨이브가이드에 포함된 적어도 하나의 회절 요소 또는 반사 요소를 이용하여 디스플레이(205, 210)로부터 방출되는 광을 사용자의 눈으로 유도할 수 있다.
다양한 실시예들에 따라, 회절 요소는 입력 광학 부재(220)/출력 광학 부재(미도시)를 포함할 수 있다. 예컨대, 입력 광학 부재(220)는, 예를 들어, 입력 그레이팅 영역(input grating area)을 의미할 수 있으며, 출력 광학 부재(미도시)는, 예를 들어, 출력 그레이팅 영역(output grating area)을 의미할 수 있다. 입력 그레이팅 영역은, 예를 들어, 디스플레이(예: 제1 디스플레이(205) 및 제2 디스플레이(210))(예: 마이크로 LED)로부터 출력되는 광을 화면 표시부(215a, 215b)의 투명 부재(예: 제1 투명 부재(225a), 제2 투명 부재(225b))로 광을 전달하기 위해 회절(또는 반사)시키는 입력단 역할을 할 수 있다. 출력 그레이팅 영역은, 예를 들어, 웨이브가이드의 투명 부재(예: 제1 투명 부재(250a), 제2 투명 부재(250b))에 전달된 광을 사용자의 눈으로 회절(또는 반사)시키는 출구 역할을 할 수 있다.
다양한 실시예들에 따라, 반사 요소는 전반사(total internal reflection, TIR)를 위한 전반사 광학 소자 또는 전반사 도파관을 포함할 수 있다. 예컨대, 전반사는 광을 유도하는 하나의 방식으로, 입력 그레이팅 영역을 통해 입력되는 광(예: 가상 영상)이 웨이브가이드의 일면(예: 특정 면)에서 100% 반사되도록 입사각을 만들어, 출력 그레이팅 영역까지 100% 전달되도록 하는 것을 의미할 수 있다.
일 실시 예에서, 디스플레이(205, 210)로부터 방출되는 광은 입력 광학 부재(220)를 통해 웨이브가이드로 광 경로가 유도될 수 있다. 웨이브가이드 내부를 이동하는 광은 출력 광학 부재를 통해 사용자 눈 방향으로 유도될 수 있다. 화면 표시부(215a, 215b)는 눈 방향으로 방출되는 광에 기반하여 결정될 수 있다.
일 실시 예에서, 제1 카메라(245a, 245b)는 3DoF(3 degrees of freedom), 6DoF의 헤드 트래킹(head tracking), 핸드(hand) 검출과 트래킹(tracking), 제스처(gesture) 및/또는 공간 인식을 위해 사용되는 카메라를 포함할 수 있다. 예컨대, 제1 카메라(245a, 245b)는 헤드 및 핸드의 움직임을 검출하고, 움직임을 추적하기 위해 GS(global shutter) 카메라를 포함할 수 있다.
일례로, 제1 카메라(245a, 245b)는 헤드 트래킹과 공간 인식을 위해서 스테레오(stereo) 카메라가 적용될 수 있고, 동일 규격, 동일 성능의 카메라가 적용될 수 있다. 제1 카메라(245a, 245b)는 빠른 손동작과 손가락과 같이 미세한 움직임을 검출하고 움직임을 추적하기 위해서 성능(예: 영상끌림)이 우수한 GS 카메라가 사용될 수 있다.
다양한 실시 예에 따라, 제1 카메라(245a, 245b)는 RS(rolling shutter) 카메라가 사용될 수 있다. 제1 카메라(245a, 245b)는 6 Dof를 위한 공간 인식, 깊이(depth) 촬영을 통한 SLAM 기능을 수행할 수 있다. 제1 카메라(245a, 245b)는 사용자 제스처 인식 기능을 수행할 수 있다.
일 실시 예에서, 제2 카메라(275a, 275b)는 눈동자를 검출하고 추적할 용도로 사용될 수 있다. 제2 카메라(275a, 275b)는 ET(eye tracking)용 카메라로 지칭될 수 있다. 제2 카메라(265a)는 사용자의 시선 방향을 추적할 수 있다. 웨어러블 AR 장치(200)는 사용자의 시선 방향을 고려하여, 화면 표시부(215a, 215b)에 투영되는 가상영상의 중심이 사용자의 눈동자가 응시하는 방향에 따라 위치하도록 할 수 있다.
시선 방향을 추적하기 위한 제2 카메라(275a, 275b)는 눈동자(pupil)를 검출하고 빠른 눈동자의 움직임을 추적할 수 있도록 GS 카메라가 사용될 수 있다. 제2 카메라(265a)는 좌안, 우안용으로 각각 설치될 수 있으며, 좌안용 및 우안용 제2카메라(265a)는 성능과 규격이 동일한 카메라가 사용될 수 있다.
일 실시 예에서, 제3 카메라(265)는 HR(high resolution) 또는 PV(photo video)로 지칭될 수 있으며, 고해상도의 카메라를 포함할 수 있다. 제3 카메라(265)는 AF(auto focus) 기능과 떨림 보정(OIS(optical image stabilizer)) 기능과 같은 고화질의 영상을 얻기 위한 기능들이 구비된 칼라(color) 카메라를 포함할 수 있다. 이에 한정하는 것은 아니며, 제3 카메라(265)는 GS(global shutter) 카메라 또는 RS(rolling shutter) 카메라를 포함할 수 있다.
일 실시 예에서, 적어도 하나의 센서(예: 자이로 센서, 가속도 센서, 지자기 센서, 초광대역 센서, 터치 센서, 조도 센서 및/또는 제스처 센서), 제1 카메라(245a, 245b)는 6DoF를 위한 헤드 트래킹(head tracking), 움직임 감지와 예측(pose estimation & prediction), 제스처 및/또는 공간 인식, 뎁스(depth) 촬영을 통한 슬램(slam) 기능 중 적어도 하나를 수행할 수 있다.
다른 실시예에서, 제1 카메라(245a, 245b)는 헤드 트래킹을 위한 카메라와 핸드 트래킹을 위한 카메라로 구분되어 사용될 수 있다.
일 실시 예에서, 조명부(230a, 230b)는 부착되는 위치에 따라 용도가 상이할 수 있다. 예컨대, 조명부(230a, 230b)는 프레임(frame) 및 템플(temple)을 이어주는 힌지(hinge)(예: 제1 힌지(240a), 제2 힌지(240b)) 주변이나 프레임을 연결해 주는 브릿지(bridge) 주변에 장착된 제1 카메라(245a, 245b)와 함께 부착될 수 있다. GS 카메라로 촬영하는 경우, 조명부(230a, 230b)는 주변 밝기를 보충하는 수단으로 사용될 수 있다. 예컨대, 어두운 환경이나 여러 광원의 혼입 및 반사 광 때문에 촬영하고자 하는 피사체 검출이 용이하지 않을 때, 조명부(230a, 230b)가 사용될 수 있다.
일 실시 예에서, 웨어러블 AR 장치(200)의 프레임 주변에 부착된 조명부(230a, 230b)는 제2 카메라(275a, 275b)로 동공을 촬영할 때 시선 방향(eye gaze) 검출을 용이하게 하기 위한 보조 수단으로 사용될 수 있다. 조명부(230a, 230b)가 시선 방향을 검출하기 위한 보조 수단으로 사용되는 경우 적외선 파장의 IR(infrared) LED를 포함할 수 있다.
일 실시 예에서, PCB(예: 제1 PCB(235a), 제2 PCB(235b))에는 웨어러블 AR 장치(200)의 구성요소들을 제어하는 프로세서(미도시), 메모리(미도시) 및 통신 모듈(미도시)이 포함될 수 있다. 통신 모듈은 도 1의 통신 모듈(190)과 동일하게 구성될 수 있고, 통신 모듈(190)에 대한 설명이 동일하게 적용될 수 있다. 예를 들어, 통신 모듈은 웨어러블 AR 장치(200)와 외부 전자 장치 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. PCB는 웨어러블 AR 장치(200)를 구성하는 구성요소들에 전기적 신호를 전달할 수 있다.
통신 모듈(미도시)은 프로세서와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(미도시)은 무선 통신 모듈(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈(미도시)은 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크 또는 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크를 통하여 외부의 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다.
무선 통신 모듈은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다.
웨어러블 AR 장치(200)는 안테나 모듈(미도시)을 더 포함할 수 있다. 안테나 모듈은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈은 서브스트레이트(예: 제1 PCB(235a), 제2 PCB(235b)) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
일 실시 예에서, 복수의 마이크(예: 제1 마이크(250a), 제2 마이크(250b), 제3 마이크(250c))는 외부의 음향 신호를 전기적인 음성 데이터로 처리할 수 있다. 처리된 음성 데이터는 웨어러블 AR 장치(200)에서 수행 중인 기능(또는 실행 중인 어플리케이션)에 따라 다양하게 활용될 수 있다.
일 실시 예에서, 복수의 스피커(예: 제1 스피커(255a), 제2 스피커(255b))는 통신 모듈로부터 수신되거나 메모리에 저장된 오디오 데이터를 출력할 수 있다.
일 실시 예에서, 배터리(260)는 하나 이상 포함할 수 있으며, 웨어러블 AR 장치(200)를 구성하는 구성요소들에 전원을 공급할 수 있다.
일 실시 예에서, 바이저(270a, 270b)는 투과율에 따라 사용자의 눈으로 입사되는 외부광의 투과량을 조절할 수 있다. 바이저(270a, 270b)는 화면 표시부(215a, 215b)의 앞 또는 뒤에 위치할 수 있다. 화면 표시부(215a, 215b)의 앞은, 예를 들어, 웨어러블 AR 장치(200)를 착용한 사용자측과 반대 방향, 뒤는, 예를 들어, 웨어러블 AR 장치(200)를 착용한 사용자측 방향을 의미할 수 있다. 바이저(270a, 270b)는 화면 표시부(215a, 215b)의 보호 및 외부광의 투과량을 조절할 수 있다.
일례로, 바이저(270a, 270b)는 인가되는 전원에 따라 색이 변경되어 투과율을 조절하는 전기변색 소자를 포함할 수 있다. 전기변색은 인가 전원에 의한 산화-환원 반응이 발생하여 색이 변경되는 현상이다. 바이저(270a, 270b)는 전기변색 소자가 색이 변경되는 것을 이용하여, 외부광의 투과율을 조절할 수 있다.
일례로, 바이저(270a, 270b)는 제어모듈 및 전기변색 소자를 포함할 수 있다. 제어모듈은 전기변색 소자를 제어하여 전기변색 소자의 투과율을 조절할 수 있다.
도 3은 다양한 실시예들에 따른 예시적인 웨어러블 AR 장치의 카메라 및 시선 추적 센서를 나타낸 도면이다.
도 3을 참조하면, 일 실시 예에 따른 웨어러블 AR 장치(예: 도 2의 웨어러블 AR 장치(200))는 디스플레이(305, 310) (예: 도 2의 디스플레이(205, 210)), 광도파로(또는 웨이브 가이드)(315), 입력광학부재(320)(예: 도 2의 입력광학부재(220)), 출력광학부재(325), ET(eyetracking) 광도파로(또는 ET 웨이브 가이드)(330) ET 스플리터(splitter)(335), 카메라(340)(예: 제2 카메라(275a, 275b)), 시선 추적 센서(345) 및 조명부(예: 도 2의 조명부(230a, 230b))를 포함할 수 있다.
도 3을 참조하면, 웨어러블 AR 장치의 디스플레이(305, 310)에서 출력된 광은 입력광학부재(320)에 입력되어 광도파로(315)를 거쳐 출력광학부재(325)에서 사용자의 눈으로 전달됨을 확인할 수 있다.
도 3을 참조하면, 카메라(340)는 사용자의 눈 영상을 획득할 수 있다. 일례로, 사용자의 눈 영상은 하측의 ET 스플리터(335)에 입력되어 ET 광도파로(330)를 거쳐 상측의 ET 스플리터(335)로 전달될 수 있다. 카메라(340)는 상측의 ET 스플리터(335)로부터 사용자의 눈 영상을 획득할 수 있다.
일 실시 예에 따른 조명부는 사용자의 동공 영역으로 적외선 광을 출력할 수 있다. 적외선 광은 사용자의 동공에서 반사되어, 사용자의 눈 영상과 함께 ET 스플리터(335)로 전달될 수 있다. 카메라(340)가 획득하는 눈 영상은 반사된 적외선 광이 포함될 수 있다. 시선 추적 센서(345)는 사용자의 동공에서 반사되는 적외선 광의 반사광을 감지할 수 있다.
일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101))는 도 2에 도시된 웨어러블 AR 장치(200) 또는 도 3에 도시된 웨어러블 AR장치일 수 있으나, 반드시 이로 한정하는 것은 아니며, 스마트 워치(smart watch), 스마트 폰(smart phone), 태플릿 PC 과 같은 다양한 형태의 전자 장치일 수도 있다.
도 4는 다양한 실시예들에 따른 대상 객체에 관한 영상을 획득하는 예시적인 동작을 도시한 흐름도이다.
동작(410)에서 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 웨어러블 AR 장치(200))는 카메라에 의해 촬영된 영상을 복수의 영역들로 분할하고, 영상에서 특징점들(feature points)을 검출함으로써 분할된 복수의 영역들 각각에 포함된 특징점의 개수를 산출하며, 산출 결과에 기초하여 분할된 영역들 중 적어도 하나의 후보 영역을 선택할 수 있다. 특징점은, 예를 들어, 영상 내에서 특징이 되는 지점을 나타낼 수 있고, 특징점은 영상 간의 비교에 사용될 수 있다. 특징점은 영상의 크기(scale) 및 회전(rotation)에 영향을 받지 않는 방식으로 객체의 좌표를 나타낼 수 있고, 주변 픽셀과의 관계에 대한 밝기, 색상, 크기 중 적어도 하나의 정보를 가질 수 있다. 예를 들어, 전자 장치는 영상에서 식별되는 객체의 모서리(corner)에 대응하는 지점을 특징점으로 검출할 수 있다. 전자 장치는 분할된 영역들 중 적은 개수의 특징점을 포함하는 적어도 하나의 후보 영역을 선택할 수 있다.
동작(420)에서 전자 장치는 사용자의 시선을 추적하여 사용자의 시선 방향에 대응하는 대상 객체(target object)를 선택할 수 있다. 예를 들어, 전자 장치는 카메라(예: 도 1의 카메라 모듈(180) 또는 도 2의 제1 카메라(245a, 245b))에 의해 촬영된 영상으로부터 적어도 하나의 실제 객체(real object)를 식별할 수 있고, 식별된 적어도 하나의 실제 객체 중 하나의 실제 객체를 대상 객체로 선택할 수 있다. 다른 예를 들어, 전자 장치는 카메라에 의해 촬영된 영상에 가상 객체(virtual object)를 증강하여 새로운 영상을 생성할 수 있고, 생성된 새로운 영상에서 실제 객체 및 증강된 가상 객체 중 적어도 하나를 식별할 수 있다. 전자 장치는 식별된 실제 객체 및 증강된 가상 객체 중 적어도 하나의 객체를 대상 객체로 선택할 수도 있다. 또 다른 예를 들어, 전자 장치는 가상 객체를 포함하는 가상 영상을 생성할 수 있고, 생성된 가상 영상으로부터 적어도 하나의 가상 객체를 식별할 수 있다. 전자 장치는 식별된 적어도 하나의 가상 객체 중 하나의 가상 객체를 대상 객체로 선택할 수도 있다. 다시 말해, 전자 장치는 실제 객체 또는 가상 객체를 대상 객체로 선택할 수 있다. 이하에서는, 전자 장치가 카메라에 의해 촬영된 영상으로부터 식별된 실제 객체를 대상 객체로 선택하여 대상 객체에 관한 영상을 생성하는 것을 주로 설명하나, 이로 한정하지 않고, 전자 장치는 가상 영상으로부터 식별된 가상 객체를 대상 객체로 선택하여 대상 객체에 관한 영상을 생성할 수도 있다. 예를 들어, 전자 장치는 사용자의 머리에 착용 가능한 웨어러블(wearble) AR 장치(예: 도 2의 웨어러블 AR 장치(200))일 수 있으나, 반드시 이로 한정하는 것은 아니다.
동작(430)에서 전자 장치는 대상 객체에 대한 이벤트의 발생을 감지하는 것에 기초하여, 선택된 적어도 하나의 후보 영역 내에서 캡처 영역(capture area)을 결정할 수 있다. 캡처 영역은 영상 내에서 대상 객체를 캡처하기 위한 영역을 나타낼 수 있다. 전자 장치는 영상 내에서 대상 객체를 캡처하기에 최적화된 영역을 캡처 영역으로 설정할 수 있다. 전자 장치는 영상 내에서 캡처 영역의 위치 및/또는 크기를 다양한 방법으로 결정할 수 있으며, 이와 관련하여서는 후술한다.
동작(440)에서 전자 장치는 영상 중 결정된 캡처 영역으로부터 캡처된 부분 영상을 획득할 수 있다. 전자 장치는 획득된 부분 영상에 기초하여 대상 객체에 관한 영상을 생성할 수 있다. 예를 들어, 전자 장치는 캡처 영역으로 대상 객체가 진입하는 시점부터 부분 영상을 획득할 수 있고, 획득된 부분 영상을 후처리(postprocessing)하여 대상 객체에 관한 영상을 생성할 수 있다.
도 5은 다양한 실시예들에 따른 영상에서 특징점들을 검출하는 예시적인 과정을 설명하는 도면이다.
일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 웨어러블 AR 장치(200))는 카메라(예: 도 1의 카메라 모듈(180) 또는 도 2의 제1 카메라(245a, 245b))에 의해 촬영된 영상(510)을 복수의 영역들(511-1, 511-2, …, 511-3)로 분할할 수 있다. 도 5에서, 전자 장치가 영상(510)을 3×3개의 영역들로 분할하는 예시가 도시되나, 반드시 이로 한정하는 것은 아니다. 전자 장치는 영상을 a×b개의 영역들로 분할할 수 있다. 여기서, a 및 b는 1 이상의 자연수일 수 있다. 이하에서는, 설명의 편의를 위하여, 전자 장치가 영상을 3×3개의 영역들로 분할하는 것을 주로 설명한다.
전자 장치는 영상(510)에서 특징점들(feature points)을 검출할 수 있다. 전자 장치는 특징점 검출 알고리즘을 통해 특징점들을 검출할 수 있다. 도 5을 참조하면, 전자 장치는 영상(510)에서 특징점 검출 알고리즘을 통해 복수의 특징점들(530-1, 530-2, …, 530-3)을 검출할 수 있다. 예를 들어, 전자 장치는 영상(510)에서 특징점 검출 알고리즘을 통해 복수의 원들(520-1, 520-2, …, 520-3)을 검출할 수 있고, 검출된 복수의 원들(520-1, 520-2, …, 520-3) 각각의 중심(center)을 특징점들(530-1, 530-2, …, 530-3)로 검출할 수 있다.
도 6은 다양한 실시예들에 따른 분할된 복수의 영역들 중 특징점의 개수에 기초하여 적어도 하나의 후보 영역을 선택하는 예시적인 과정을 설명하는 도면이다.
일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 웨어러블 AR 장치(200))는 영상(610)을 복수의 영역들로 분할할 수 있다. 전자 장치는 영상(610)에서 특징점들을 검출함으로써 분할된 영역들 각각에 포함된 특징점의 개수를 산출할 수 있다. 전자 장치는 복수의 영역들에서 특징점의 개수가 적은 적어도 하나의 후보 영역(612-1, 612-2)을 선택할 수 있다.
일 실시예에 따르면, 전자 장치는 분할된 영역들 사이에서 상대적으로 적은 특징점을 포함하는 일부 분할된 영역을 후보 영역으로 선택할 수 있다. 전자 장치는 모든 분할된 영역들 중 포함하는 특징점의 개수가 가장 적은 영역을 후보 영역으로 선택할 수 있다. 다른 예를 들어, 전자 장치는 모든 분할된 영역들 각각이 포함하는 특징점의 개수의 평균 개수를 산출할 수 있고, 산출된 평균 개수 이하의 특징점을 포함하는 적어도 하나의 분할된 영역을 후보 영역으로 선택할 수 있다.
다른 일 실시예에 따르면, 전자 장치는 분할된 영역들 사이에서 절대 개수가 적은 특징점들을 포함하는 일부 분할된 영역을 후보 영역으로 선택할 수도 있다. 예를 들어, 전자 장치는 모든 분할된 영역들 중 임계 개수(예를 들어, 5개) 이하의 특징점을 포함하는 적어도 하나의 분할된 영역을 후보 영역으로 선택할 수 있다.
도 7은 다양한 실시예들에 따른 대상 객체를 선택하는 예시적인 과정을 설명하는 도면이다.
전자 장치는 영상(710)에서 객체들(721, 722, 723)을 식별할 수 있다. 전술한 바와 같이, 객체는 실제 객체 또는 가상 객체일 수 있다. 예를 들어, 도 7에 도시된 바와 같이, 객체(721), 객체(722), 객체(723)은 각각 컵(cup), 키보드(keyboard), 모니터(monitor)를 나타낼 수 있다.
일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 웨어러블 AR 장치(200))는 사용자의 시선을 추적하여 사용자의 시선 방향에 대응하는 대상 객체(target object)를 선택할 수 있다. 전자 장치는 사용자의 시선 방향을 추적하는 아이 트래킹(eye-tracking) 카메라(예: 도 2의 제2 카메라(275a, 275b)를 더 포함할 수 있다. 아이 트래킹 카메라는 사용자의 눈동자 또는 사용자의 홍채를 검출하고 추적할 수 있고, 추적 결과에 기초하여 사용자의 시선 방향을 추적할 수 있다. 전자 장치는 사용자의 시선 방향에 대응하는 객체를 대상 객체로 선택할 수 있다. 예를 들어, 전자 장치는 디스플레이(예: 도 1의 디스플레이 모듈(160)에 영상(710)을 출력할 수 있다. 전자 장치는 아이 트래킹 카메라를 통해 디스플레이에 출력된 영상(710)을 바라보는 사용자의 시선을 추적하여, 영상(710)에서 사용자의 시선 방향에 대응하는 시선 영역(730)을 검출할 수 있다. 전자 장치는 디스플레이에 출력된 영상(710)에서 식별되는 객체들(721, 722, 723) 각각이 표시되는 객체 영역을 검출할 수 있다. 전자 장치는 사용자의 시선 방향에 대응하는 시선 영역(730)의 적어도 일부와 오버랩(overlap)되는 객체 영역에 대응하는 객체(예를 들어, 객체(721))를 사용자의 시선 방향에 대응하는 대상 객체로 판단할 수 있다.
도 8 내지 도 9은 다양한 실시예들에 따른 사용자의 제스처와 관련된 이벤트 발생의 예시적인 감지를 설명하는 도면이다.
일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 웨어러블 AR 장치(200))는 대상 객체와 관련된 사용자의 제스처(gesture)가 검출되는 것에 기초하여 이벤트 발생을 감지할 수 있다. 전자 장치는 영상(810)에서 대상 객체와 관련된 사용자의 제스처를 검출할 수 있다. 예를 들어, 사용자의 제스처는 사용자의 손 모양 제스처를 나타낼 수 있으나, 반드시 이로 한정하는 것은 아니다. 전자 장치는 영상(810)에서 사용자의 손 모양을 분석함으로써 사용자의 손 모양 제스처를 추출할 수 있다. 보다 구체적으로, 전자 장치는 대상 객체가 표시되는 객체 영역을 둘러싸는(surround) 이벤트 감지 영역으로 진입하는 대상 객체에 대한 사용자의 제스처가 검출되고, 검출된 사용자의 제스처가 전자 장치에 미리 저장된 손 모양 제스처들 중 하나와 동일한 형태를 갖는 경우에 응답하여 이벤트 발생을 감지할 수 있다.
도 8의 예시에서, 전자 장치는 사용자의 시선 방향에 대응하는 객체(821)(예를 들어, '컵')를 대상 객체로 선택할 수 있다. 전자 장치는 대상 객체(예를 들어, 객체(821))가 표시되는 객체 영역을 둘러싸는 이벤트 감지 영역(830)을 생성할 수 있다. 이벤트 감지 영역(830)은 대상 객체(예를 들어, 객체(821))에 대응하는 영역을 포함하는 영역일 수 있다. 예를 들어, 이벤트 감지 영역은 직사각형 형태일 수 있으나, 이로 한정하는 것은 아니며, 원형과 같은 다른 형태를 가질 수도 있다. 예를 들어, 이벤트 감지 영역의 크기는 대상 객체가 표시되는 객체 영역의 크기와 비교하여 대략 2배만큼 클 수 있으나, 이벤트 감지 영역의 크기를 이로 한정하는 것은 아니다.
전자 장치는 이벤트 발생을 감지하기 이전에 검출되는 사용자의 제스처를 대상 객체와 관련된 사용자의 제스처로 판단할 수 있다. 후술하겠으나, 전자 장치는 이벤트 발생을 감지하고 캡처 영역이 결정된 이후에 검출되는 사용자의 제스처를 캡처 영역과 관련된 사용자의 제스처로 판단할 수 있다.
전자 장치는 검출된 대상 객체와 관련된 사용자의 제스처(840)가 전자 장치에 미리 저장된 손 모양 제스처들 중 하나와 동일한 형태를 갖는 경우에 응답하여 이벤트 발생을 감지할 수 있다. 전자 장치는 다양한 형태의 손 모양 제스처를 미리 저장할 수 있다. 예를 들어, 도 9에 도시된 바와 같이, 전자 장치는 다양한 손 모양 제스처들(910-1, 910-2, …, 910-3)을 미리 저장할 수 있다. 예를 들어, 전자 장치에 저장되는 손 모양 제스처들(910-1, 910-2, …, 910-n) 각각은 객체를 잡는(hold) 형태 또는 들어올리는(raise) 형태의 손 모양 제스처를 나타낼 수 있다. 전자 장치에 미리 저장되는 손 모양 제스처는 도 9에 도시된 손 모양 제스처들로 한정하지는 않는다. 전자 장치는 미리 저장된 손 모양 제스처의 형태 뿐만 아니라, 미리 저장된 손 모양 제스처의 회전에 따라 변형된 형태까지 고려하여 사용자의 제스처와 미리 저장된 손 모양 제스처의 형태를 서로 비교할 수 있다. 예를 들어, 전자 장치는 미리 저장된 하나의 손 모양 제스처의 회전에 따라 변형된 형태가 사용자의 제스처와 동일한 형태를 갖는 경우에도 이벤트의 발생을 감지할 수 있다.
도 10은 다양한 실시예들에 따른 캡처 영역(capture area)을 결정하는 예시적인 과정을 설명하는 도면이다.
일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 웨어러블 AR 장치(200))는 이벤트 발생을 감지하는 것에 기초하여, 선택된 적어도 하나의 후보 영역 내에서 캡처 영역을 결정할 수 있다. 전자 장치는 대상 객체가 표시되는 객체 영역의 색상 정보, 영상 내에서 사용자의 선호 영역, 영상에서 검출되는 특징점들, 대상 객체가 대응하는 객체(object)로 분류될 확률값 중 적어도 하나 또는 둘 이상의 조합에 기초하여 적어도 하나의 후보 영역 내에서 캡처 영역을 결정할 수 있다.
도 10의 예시에서, 전자 장치는 영상(1010)을 복수의 영역들로 분할할 수 있고, 분할된 복수의 영역들 중 복잡도에 기초하여 후보 영역들(1012-1, 1012-2, 1012-3)을 선택할 수 있다. 또한, 전자 장치는 영상(1010)에서 대상 객체(1020)를 선택할 수 있다. 전자 장치는 선택된 후보 영역들(1012-1, 1012-2, 1012-3) 내에서 캡처 영역(1050)의 위치 및 크기를 결정할 수 있다.
다양한 실시예들에 따르면, 전자 장치는 대상 객체(1020)가 표시되는 객체 영역의 색상 정보에 기초하여 선택된 후보 영역들(1012-1, 1012-2, 1012-3) 내에서 캡처 영역을 결정할 수 있다. 전자 장치는 영상(1010)에서 대상 객체(1020)가 표시되는 객체 영역의 색상 정보를 산출할 수 있다. 예를 들어, 전자 장치는 대상 객체(1020)가 표시되는 객체 영역에 포함되는 픽셀들의 평균 색상을 색상 정보로 산출할 수 있고, 대상 객체(1020)가 표시되는 객체 영역에 포함되는 픽셀들의 색상 히스토그램(histogram)을 색상 정보로 산출할 수도 있다. 여기서, 색상 히스토그램은 색상 별 분포를 나타낼 수 있다. 예를 들어, 전자 장치는 선택된 후보 영역들(1012-1, 1012-2, 1012-3) 내에서 일정 크기를 갖는 임의의 영역을 지정할 수 있다. 전자 장치는 지정된 영역의 색상 정보를 산출하여 대상 객체(1020)가 표시되는 객체 영역의 색상 정보와 비교할 수 있다. 전자 장치는 비교 결과에 기초하여 지정된 영역에 색상 정보에 따른 제1 스코어를 부여할 수 있다. 전자 장치는 지정된 영역의 색상 정보가 대상 객체(1020)가 표시되는 객체 영역의 색상 정보와 유사할수록 제1 스코어를 낮게 부여할 수 있고, 지정된 영역의 색상 정보가 대상 객체(1020)가 표시되는 객체 영역의 색상 정보와 비유사할수록 제1 스코어를 높게 부여할 수 있다. 예를 들어, 전자 장치는 대상 객체(1020)가 표시되는 객체 영역의 색상 정보에 기초하여 후보 영역들(1012-1, 1012-2, 1012-3) 내에서 가장 높은 색상 정보에 따른 제1 스코어를 갖는 영역을 캡처 영역으로 결정할 수 있다.
다양한 실시예들에 따르면, 전자 장치는 영상(1010) 내에서 사용자의 선호 영역에 기초하여, 선택된 후보 영역들(1012-1, 1012-2, 1012-3) 내에서 캡처 영역을 결정할 수 있다. 예를 들어, 전자 장치는 사용자로부터 영상 내에서 사용자가 대상 객체를 캡처하는데 선호하는 영역을 미리 수신할 수 있다. 예를 들어, 전자 장치는 선택된 후보 영역들(1012-1, 1012-2, 1012-3) 내에서 일정 크기를 갖는 임의의 영역을 지정할 수 있다. 전자 장치는 지정된 영역과 사용자의 선호 영역의 위치를 비교할 수 있다. 전자 장치는 비교 결과에 기초하여 지정된 영역에 사용자 선호에 따른 제2 스코어를 부여할 수 있다. 예를 들어, 전자 장치는 지정된 영역이 사용자의 선호 영역과 가까울수록 제2 스코어를 높게 부여할 수 있고, 지정된 영역이 사용자의 선호 영역과 멀어질수록 제2 스코어를 낮게 부여할 수 있다. 전자 장치는 사용자의 선호 영역에 기초하여 후보 영역들(1012-1, 1012-2, 1012-3) 내에서 가장 높은 제2 스코어를 갖는 영역을 캡처 영역으로 결정할 수 있다.
다양한 실시예들에 따르면, 전자 장치는 영상(1010)에서 검출되는 특징점들에 기초하여, 후보 영역들(1012-1, 1012-2, 1012-3) 내에서 캡처 영역을 결정할 수 있다. 예를 들어, 전자 장치는 선택된 후보 영역들(1012-1, 1012-2, 1012-3) 내에서 일정 크기를 갖는 임의의 영역을 지정할 수 있다. 전자 장치는 지정된 영역에서 검출되는 특징점들의 개수에 기초하여 지정된 영역에 특징점 개수에 따른 제3 스코어를 부여할 수 있다. 전자 장치는 지정된 영역에서 검출되는 특징점들의 개수가 많을수록 제3 스코어를 부여할 수 있고, 지정된 영역에서 검출되는 특징점들의 개수가 적을수록 제3 스코어를 높게 부여할 수 있다. 예를 들어, 전자 장치는 영상에서 검출되는 특징점들에 기초하여 후보 영역들(1012-1, 1012-2, 1012-3) 내에서 가장 높은 제3 스코어를 갖는 영역을 캡처 영역으로 결정할 수 있다.
다양한 실시예들에 따르면, 전자 장치는 후보 영역들(1012-1, 1012-2, 1012-3) 내에서 지정된 영역 마다 제1 스코어, 제2 스코어, 및 제3 스코어에 기초한 최종 스코어를 산출할 수도 있다. 전자 장치는 지정된 영역에 대하여 산출된 제1 스코어, 제2 스코어, 및 제3 스코어 마다 제1 가중치, 제2 가중치, 및 제3 가중치를 적용하여 최종 스코어를 산출할 수 있다. 예를 들어, 전자 장치는 지정된 영역에 대하여, 제1 스코어에 제1 가중치를 적용하고, 제2 스코어에 제2 가중치를 적용하며, 제3 스코어에 제3 가중치를 적용한 이후에 모두 합(sum)함으로써 지정된 영역에 대한 최종 스코어를 산출할 수 있다. 전자 장치는 후보 영역들(1012-1, 1012-2, 1012-3) 내에서 가장 높은 최종 스코어를 갖는 영역을 캡처 영역으로 결정할 수도 있다.
다양한 실시예들에 따르면, 전자 장치는 대상 객체(1020)가 대응하는 객체로 분류될 확률값을 더 고려하여 선택된 후보 영역들(1012-1, 1012-2, 1012-3) 내에서 캡처 영역을 결정할 수 있다. 예를 들어, 전자 장치는 대상 객체(1020)에 대응하는 객체를 '무선 충전 케이스' 판단할 수 있다. 전자 장치는 대상 객체(1020)가 '무선 충전 케이스'로 분류될 확률값을 산출할 수 있다. 전자 장치는 대상 객체(1020)가 '무선 충전 케이스'로 분류될 확률값이 임계 확률값 보다 큰 경우에는 대상 객체(1020)에 대한 인식이 용이하다고 판단하여, 캡처 영역의 결정시 영상의 배경에 의한 영향을 작게 할 수 있다. 전자 장치는 대상 객체(1020)가 '무선 충전 케이스'로 분류될 확률값이 임계 확률값 이하인 경우에는 대상 객체(1020)에 대한 인식이 용이하지 않다고 판단하여, 캡처 영역의 결정시 영상의 배경에 의한 영향을 크게 할 수 있다. 여기서, 영상의 배경에 의한 영향이란, 예를 들어, 영상의 색상 및 영상 내의 특징점에 의한 영향을 나타낼 수 있다. 다시 말해, 전자 장치는 색상 정보에 따른 제1 스코어 및 특징점 개수에 따른 제3 스코어 각각에 대응하는 가중치를 조절할 수 있다. 예를 들어, 전자 장치는 영상의 배경에 의한 영향을 크게하는 경우에는 제1 스코어 및 제3 스코어에 대한 가중치를 증가시킬 수 있고, 배경에 의한 영향을 작게하는 경우에는 제1 스코어 및 제3 스코어에 대한 가중치를 감소시킬 수 있다. 예를 들어, 전자 장치는 대상 객체(1020)가 대응하는 객체에 대하여 정형화된 형태를 갖는 경우에는 대응하는 객체로 분류될 확률값을 높게 산출할 수 있고, 대상 객체(1020)가 대응하는 객체에 대하여 비정형화된 형태를 갖는 경우에는 대응하는 객체로 분류될 확률값을 낮게 산출할 수 있다.
다양한 실시예들에 따르면, 일 실시예에 따른 전자 장치는 이벤트 발생을 감지한 이후에 영상에서 특징점들을 재검출할 수 있다. 전자 장치는 카메라의 이동을 감지하는 것게 기초하여, 이벤트 발생을 감지한 이후에 영상에서 특징점들을 재검출함으로써 분할된 복수의 영역들 각각에 포함된 특징점의 개수를 재산출하고, 재산출된 결과에 기초하여 분할된 복수의 영역들 중 적어도 하나의 후보 영역을 재선택할 수 있다. 예를 들어, 전자 장치는 영상에서 글로벌 모션을 감지하는 것에 기초하여, 이벤트 발생을 감지한 이후에 영상에서 특징점들을 재검출하고, 복수의 영역들 각각에 포함된 특징점의 개수를 재산출하며, 후보 영역을 재선택할 수 있다. 글로벌 모션은 제1 시점의 영상 프레임으로부터 영상의 제2 시점의 영상 프레임까지 모든 객체 및 배경의 움직임을 나타낼 수 있다. 반대로, 로컬 모션은 제1 시점의 영상 프레임으로부터 제2 시점의 영상 프레임까지 특정 영역에서의 객체 또는 배경의 움직임을 나타낼 수 있다. 예를 들어, 글로벌 모션은 카메라의 이동에 의해 발생하고, 로컬 모션은 카메라의 이동과 무관하게 발생할 수 있다. 전자 장치가 영상에서 글로벌 모션을 감지하는 경우에는 이벤트 발생을 감지하기 이전 시점의 영상 프레임과 이벤트 발생을 감지한 이후 시점의 영상 프레임에서 객체들의 위치 및 배경은 서로 상이할 수 있고, 영상 내의 특징점들의 위치 및 개수는 변경될 수 있다. 따라서, 전자 장치는 이벤트 발생을 감지한 이후 시점의 영상 프레임에서 특징점들을 재검출하여 후보 영역을 재선택함으로써 영상에서의 객체들의 위치 및 배경의 변화를 반영할 수 있다.
도 11는 다양한 실시예들에 따른 캡처 영역에서 노이즈 크기를 산출하는 예시적인 과정을 설명하는 도면이다.
일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 웨어러블 AR 장치(200))는 영상(1110)에서 캡처 영역(1150)을 결정할 수 있다. 전자 장치는 영상(1110)의 캡처 영역(1150) 내에서 노이즈(noise)의 크기를 산출할 수 있다. 여기서, 노이즈는 캡처 영역으로 사용되기 어려운 정도를 나타낼 수 있다. 노이즈가 클수록 캡처 영역으로 사용하기에 불리한 것으로 판단할 수 있고, 노이즈가 작을수록 캡처 영역으로 사용하기에 유리한 것으로 판단할 수 있다. 전자 장치는 캡처 영역에서 검출되는 특징점의 개수, 대상 객체가 표시되는 객체 영역의 색상 정보, 및/또는 대상 객체가 대응하는 객체로 분류될 확률값에 기초하여 캡처 영역 내의 노이즈 크기를 산출할 수 있다. 전자 장치는 캡처 영역 내의 노이즈 크기가 임계 노이즈 크기 이상인 경우, 디스플레이에 경고 메시지 및 캡처 영역의 위치 이동을 가이드하는 정보 중 적어도 하나를 표시할 수 있다.
도 11의 예시에서, 전자 장치는 영상(1110)에서 결정된 캡처 영역(1150) 내에서 노이즈 크기를 산출할 수 있다. 전자 장치는 캡처 영역(1150) 내에서 산출되는 노이즈의 크기가 임계 노이즈 크기 이상인 경우, 캡처 영역(1150)이 객체 등록에 불리한 위치인 것으로 판단할 수 있다. 이러한 경우, 전자 장치는 디스플레이에 캡처 영역(1150)이 객체 등록에 불리함을 나타내는 경고 메시지(warning message) 및 캡처 영역(1150)의 위치 이동을 가이드(guide)하는 정보 중 적어도 하나를 출력할 수 있다.
도 12은 다양한 실시예들에 따른 캡처 영역의 크기 변경을 예시적으로 설명하는 도면이다.
일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 웨어러블 AR 장치(200))는 캡처 영역의 위치 및 크기를 변경할 수 있다. 전자 장치는 대상 객체가 표시되는 객체 영역과 캡처 영역을 서로 비교할 수 있다. 전자 장치는 비교 결과에 기초하여 대상 객체가 캡처 영역을 벗어나는 것으로 판단하는 경우, 캡처 영역이 대상 객체가 표시되는 객체 영역을 포함하도록 캡처 영역의 위치 및 크기 중 적어도 하나를 변경할 수 있다. 도 12의 예시에서, 전자 장치는 영상(1210)에서 대상 객체(1221)를 선택하고 캡처 영역(1251)을 결정할 수 있다. 전자 장치는 대상 객체(1221)가 표시되는 객체 영역과 캡처 영역(1251)을 서로 비교할 수 있고, 캡처 영역(1251)이 대상 객체(1221)가 표시되는 객체 영역의 적어도 일부를 포함하지 않는 경우에는 대상 객체(1221)가 캡처 영역을 벗어나는 것으로 판단할 수 있다. 전자 장치는 캡처 영역(1251)이 대상 객체(1221)가 표시되는 객체 영역을 포함하도록 캡처 영역(1251)의 위치 및 크기 중 적어도 하나를 변경할 수 있다. 도 12에서는, 전자 장치가 캡처 영역(1251)을 대상 객체(1221)가 표시되는 객체 영역을 포함하도록 캡처 영역(1252)으로 변경하는 것을 도시한다.
도 13은 다양한 실시예들에 따른 캡처 영역의 위치 변경을 예시적으로 설명하는 도면이다.
일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 웨어러블 AR 장치(200))는 캡처 영역의 위치를 변경할 수 있다. 전자 장치는 영상(1310)을 복수의 영역들로 분할할 수 있고, 분할된 복수의 영역들 중 후보 영역을 선택할 수 있다. 전자 장치는 선택된 후보 영역 중 캡처 영역으로 사용 가능한 경계 영역(1380)을 식별할 수 있다. 예를 들어, 전자 장치는 대상 객체가 표시되는 객체 영역의 색상 정보, 영상 내에서 사용자의 선호 영역, 영상에서 검출되는 특징점들, 대상 객체가 대응하는 객체로 분류될 확률값 중 적어도 하나 또는 둘 이상의 조합에 기초하여 후보 영역 중 캡처 영역으로 사용 가능한 경계 영역(1380)을 식별할 수 있다. 전자 장치는 캡처 영역을 경계 영역(1380) 내에서 이동시킬 수 있다.
도 13의 예시에서, 전자 장치는 캡처 영역(1350)의 주변에 캡처 영역(1350)이 이동 가능한 방향에 관한 정보를 표시할 수 있다. 예를 들어, 전자 장치는 캡처 영역으로 사용 가능한 경계 영역(1380)에 기초하여, 캡처 영역(1350)의 주변에 캡처 영역(1350)이 상, 하, 좌, 우로 이동 가능함을 나타내는 화살표 형태의 인터페이스 객체들을 표시할 수 있다.
도 14는 다양한 실시예들에 따른 캡처 영역 내에서 회전 가이드를 제공하는 예시적인 과정을 설명하는 도면이다.
일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 웨어러블 AR 장치(200))는 캡처 영역에서 대상 객체의 복수의 단면들에 대한 이미지를 획득하기 위한 회전 가이드를 제공할 수 있다. 전자 장치는 대상 객체가 캡처 영역 내에 진입하는 경우, 영상(1410)을 출력하는 디스플레이에 대상 객체의 회전을 가이드하는 그래픽 객체를 표시할 수 있다. 전자 장치는 대상 객체의 회전을 감지하는 경우, 디스플레이에 캡처 영역에서 캡처된 대상 객체의 복수의 단면들에 대한 이미지들을 표시할 수 있다.
도 14의 예시에서, 전자 장치는 영상(1410)에서 캡처 영역(1450)을 결정할 수 있다. 전자 장치는 캡처 영역(1450)으로의 대상 객체(1420)가 진입하는 것을 감지할 수 있다. 전자 장치는 대상 객체(1420)가 캡처 영역(1450)으로 진입하는 경우, 대상 객체(1420)에 관한 영상 획득을 위하여 디스플레이에 대상 객체(1420)의 회전을 가이드하는 그래픽 객체를 표시할 수 있다. 예를 들어, 전자 장치는 대상 객체(1420)를 왼쪽 방향 및 오른쪽 방향으로 회전할 것을 지시하는 그래픽 객체들(1471, 1472)를 표시할 수 있다. 전자 장치는 영상(1410)에서 대상 객체(1420)의 회전을 감지하는 경우, 영상 프레임 별로 캡처 영역(1450)으로부터 대상 객체(1420)에 대한 단면 이미지를 획득할 수 있다. 전자 장치는 디스플레이에 캡처 영역(1450)으로부터 캡처된 대상 객체(1420)의 다양한 각도에서의 복수의 단면들에 대한 이미지들(1481, 1482, 1483)을 추가로 표시할 수 있다. 전자 장치는 대상 객체(1420)의 왼쪽 방향 및 오른쪽 방향으로의 회전에 따라 대상 객체(1420)의 단면에 대한 이미지가 충분히 획득되었다고 판단한 경우, 디스플레이에 대상 객체(1420)를 나머지 방향(예를 들어, 위쪽 방향 및 아래쪽 방향)으로 회전할 것을 지시하는 그래픽 객체들(1473, 1474)을 표시할 수 있다. 그리고, 전자 장치는 영상(1410)에서 대상 객체(1420)가 회전되기 이전과 동일한 각도로 배치되었다고 판단되면, 캡처 영역(1450)에서 대상 객체에 대한 이미지 획득을 종료할 수 있다.
도 15는 다양한 실시예들에 따른 캡처 영역의 위치 및 크기를 결정하는 예시적인 과정을 설명하는 도면이다.
일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 웨어러블 AR 장치(200))는 캡처 영역의 위치 및 크기를 대상 객체가 표시되는 객체 영역의 위치 및 크기에 기초하여 결정할 수 있다. 예를 들어, 전자 장치는 대상 객체가 표시되는 객체 영역의 크기에 기초하여 캡처 영역의 크기를 결정할 수 있다. 전자 장치는 영상에서 대상 객체가 표시되는 객체 영역의 크기가 커지는 경우에 캡처 영역의 크기도 증가시킬 수 있다. 다른 예를 들어, 전자 장치는 대상 객체가 표시되는 객체 영역의 위치에 기초하여 캡처 영역의 위치를 결정할 수도 있다. 예를 들어, 전자 장치는 영상에서 대상 객체가 표시되는 객체 영역의 위치가 변경되는 경우에 캡처 영역의 위치도 변경시킬 수 있다.
일 실시예에 따르면, 전자 장치는 영상에서 대상 객체의 이동을 감지하는 경우, 대상 객체가 표시되는 객체 영역을 트래킹(tracking)하여 캡처 영역이 트래킹된 객체 영역을 포함하도록 캡처 영역의 위치 및 크기 중 적어도 하나를 변경할 수 있다. 도 15를 참조하면, 전자 장치는 영상 프레임(1510-1)에서 대상 객체(1521)가 표시되는 객체 영역에 기초하여 캡처 영역(1551)을 결정할 수 있고, 다른 시점의 영상 프레임(1510-2)에서 대상 객체(1522)가 표시되는 객체 영역에 기초하여 캡처 영역(1552)을 결정할 수 있다.
일 실시예에 따르면, 전자 장치는 대상 객체가 표시되는 객체 영역의 형태에 기초하여 캡처 영역의 형태를 결정할 수 있다. 예를 들어, 대상 객체가 표시되는 객체 영역의 형태가 원형인 경우, 캡처 영역의 형태도 원형으로 결정할 수 있다.
도 16a 내지 도 16b는 다양한 실시예들에 따른 캡처 영역의 위치 및 크기를 자동으로 결정하는 예시적인 과정을 설명하는 도면이다.
일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 웨어러블 AR 장치(200))는 캡처 영역의 위치 및 크기를 자동으로 결정할 수 있다.
도 16a에서, 전자 장치는 영상 내에서 캡처 영역을 미리 지정된 위치에 미리 지정된 크기로 자동 결정할 수 있다. 예를 들어, 전자 장치는 영상에서 캡처 영역의 중심(center)과 영상의 중심(center)이 일치하도록 캡처 영역을 결정할 수 있다. 전자 장치는 영상에서 영상의 중심과 캡처 영역의 중심이 일치하면서 일정 크기를 갖는 캡처 영역을 결정할 수 있다. 도 16a에는, 제1 크기를 갖는 캡처 영역(1651), 제2 크기를 갖는 캡처 영역(1652), 또는 제3 크기의 캡처 영역(1653)이 도시된다. 여기서, 제1 크기 보다 제2 크기가 클 수 있고, 제2 크기 보다 제3 크기가 클 수 있다.
도 16b에서, 전자 장치는 영상을 복수의 영역들로 분할할 수 있고, 분할된 복수의 영역들 중 선택된 후보 영역에 기초하여 캡처 영역의 크기를 결정할 수도 있다. 전자 장치는 영상에서 선택된 후보 영역의 개수 및 선택된 후보 영역의 위치에 기초하여 캡처 영역의 크기를 결정할 수 있다. 예를 들어, 전자 장치는 선택된 후보 영역의 개수가 많을수록 캡처 영역의 크기를 증가시킬 수 있고, 인접한 후보 영역이 적을수록 캡처 영역의 크기를 감소시킬 수 있다. 도 16b에 도시된 바와 같이, 전자 장치는 영상(1601)의 복수의 영역들 중 선택된 후보 영역들(1612-1, 1612-2, 1612-3, 1612-4)의 개수가 4개이고, 선택된 후보 영역들 중 2개의 후보 영역들(1612-3, 1612-4)만이 서로 인접하고 있는 경우, 선택된 후보 영역들 내에서 제4 크기의 캡처 영역(1654)을 결정할 수 있다. 전자 장치는 영상(1602)에서 선택된 후보 영역들(1613-1, 1613-2, 1613-3, 1613-4, 1613-5, 1613-6, 1613-7)의 개수가 7개이고, 선택된 후보 영역들 모두가 인접하고 있는 경우, 선택된 후보 영역들 내에서 제5 크기의 캡처 영역(1655)을 결정할 수 있다. 여기서, 제4 크기 보다 제5 크기가 클 수 있다.
도 17a 내지 도 17b는 다양한 실시예들에 따른 사용자의 제스처에 기초하여 캡처 영역의 위치 및 크기를 결정하는 예시적인 과정을 설명하는 도면이다.
일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 웨어러블 AR 장치(200))는 사용자의 제스처에 기초하여 캡처 영역의 위치 및 크기를 결정할 수 있다. 전자 장치는 캡처 영역과 관련된 사용자의 제스처를 인식하는 경우, 인식된 사용자의 제스처에 기초하여 캡처 영역의 위치 및 크기 중 적어도 하나를 변경할 수 있다.
도 17a에서는, 전자 장치는 영상 내에서 캡처 영역의 크기를 사용자의 제스처에 기초하여 변경하는 예시를 도시한다. 전자 장치는 A 시점의 영상 프레임(1710-1)에서 캡처 영역(1751)이 결정되고, 결정된 캡처 영역(1751) 내로 진입하는 사용자의 손 모양 제스처(1740)를 인식할 수 있다. 예를 들어, 전자 장치는 캡처 영역(1751) 내로 진입하는 사용자의 손 모양 제스처(1740)의 형태가 두 손가락이 맞닿는 형태인 경우, 캡처 영역(1751)의 크기 변경을 개시할 수 있다. 예를 들어, 전자 장치는 B 시점의 영상 프레임(1710-2)에서 사용자의 두 손가락에 대응하는 지점들(1791, 1792)을 검출할 수 있다. 전자 장치는 사용자의 두 손가락에 대응하는 지점들(1791, 1792)이 캡처 영역(1752)의 양 끝점이 되도록 캡처 영역의 크기를 증가시킬 수 있다.
도 17b에서는, 전자 장치는 영상 내에서 캡처 영역의 위치를 사용자의 제스처에 기초하여 변경하는 예시를 도시한다. 전자 장치는 C 시점의 영상 프레임(1710-3)에서 캡처 영역(1753)이 결정되고, 결정된 캡처 영역(1753)의 하나의 끝점에 대응하는 영역(1793)으로 사용자의 한 손가락이 진입하는 손 모양 제스처를 인식할 수 있다. 예를 들어, 전자 장치는 D 시점의 영상 프레임(1710-4)에서 사용자의 한 손가락이 위치하는 영역(1794)이 캡처 영역(1754)의 하나의 끝점에 대응하는 영역이 되도록 캡처 영역의 위치를 변경할 수 있다. 이때, 전자 장치는 캡처 영역의 크기는 동일하게 유지시킬 수 있다.
도 18은 다양한 실시예들에 따른 캡처 영역으로부터 캡처된 부분 영상에 기초하여 대상 객체에 관한 영상을 생성하는 예시적인 과정을 설명하는 도면이다.
일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 웨어러블 AR 장치(200))는 영상 중 결정된 캡처 영역으로부터 캡처된 부분 영상에 기초하여 대상 객체에 관한 영상을 생성할 수 있다. 이하에서는, 영상을 구성하는 하나의 영상 프레임에 대하여, 캡처 영역으로부터 캡처된 부분 영상에 대하여 주로 설명한다.
전자 장치는 하나의 영상 프레임에서 캡처 영역으로부터 캡처된 부분 영상(1811)를 획득할 수 있다. 전자 장치는 부분 영상(1811)에서 대상 객체(1820)가 표시되는 객체 영역을 제외한 나머지 영역(1830)을 식별할 수 있다. 전자 장치는 부분 영상(1811)에서 나머지 영역(1830)을 제거함으로써 대상 객체(1820)가 표시되는 객체 영역만이 표시된 이미지(1812)를 획득할 수 있다. 그리고, 전자 장치는 이미지(1812)에서 대상 객체(1820)가 가려진 영역들(1841, 1842)을 식별할 수 있다. 전자 장치는 대상 객체(1820)가 가려진 영역들(1841, 1842)을 대상 객체(1820)가 표시되는 객체 영역을 사용하여 복원(restore)할 수 있고, 가려진 영역들(1841, 1842)의 복원에 따라 대상 객체(1820)에 관한 최종 영상(1813)을 생성할 수 있다.
또한, 전자 장치는 대상 객체(1820)에 대한 최종 영상(1813)에 대한 화질을 개선할 수 있다. 예를 들어, 전자 장치는 컬러라이즈(colorize), 노이즈 감소(noise reduction), 업스케일링(upscaling), 초해상화(super-resolution), 디블러링(deblurring), 저조도(low light), 그림자 중 적어도 하나의 방법을 통해 최종 이미지(1813)의 화질을 개선할 수 있다.
전자 장치는 영상에 포함된 영상 프레임 별로 대상 객체(1820)에 관한 최종 영상을 생성할 수 있다. 전자 장치는 생성한 최종 영상을 조합함으로써 대상 객체(1820)에 대한 3D 모델링을 수행할 수 있다.
도 19 내지 도 20은 다양한 실시예들에 따른 대상 객체에 관한 영상을 획득하는 예시적인 방법에 대하여 설명하는 도면이다.
일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 웨어러블 AR 장치(200))는 대상 객체에 관한 영상을 캡처 영역으로부터 캡처된 부분 영상에 기초하여 생성하는 대신에, 대상 객체에 관한 영상을 데이터베이스로부터 수신할 수 있다. 예를 들어, 전자 장치는 데이터베이스와 통신을 수립할 수 있다.
도 19에서는 대상 객체가 표시되는 객체 영역에서 바코드를 인식하는 경우의 예시를 설명한다. 전자 장치는 캡처 영역(1950)에서 대상 객체(1920)가 표시되는 객체 영역을 식별할 수 있다. 전자 장치는 대상 객체(1920)가 표시되는 객체 영역에서 바코드(1970)를 인식할 수 있고, 인식된 바코드(1970)를 데이터베이스에 전송할 수 있다. 예를 들어, 데이터베이스는 바코드 별로 매칭하는 객체에 관한 영상을 미리 저장하고 있을 수 있다. 전자 장치는 데이터베이스로부터 바코드(1970)와 매칭하는 객체에 관한 영상을 획득할 수 있다.
도 20에서는 대상 객체가 표시되는 객체 영역에서 QR(quick response) 코드를 인식하는 경우를 설명한다. 전자 장치는 캡처 영역(2050)에서 대상 객체(2020)가 표시되는 객체 영역을 식별할 수 있다. 전자 장치는 대상 객체(2020)가 표시되는 객체 영역에서 QR 코드(2070)를 인식할 수 있고, 인식된 QR 코드(2070)를 데이터베이스로 전송할 수 있다. 예를 들어, 데이터베이스는 QR 코드와 대응하는 정보를 미리 저장하고 있을 수 있다. 전자 장치는 데이터베이스로부터 QR 코드(2070)와 매칭하는 정보를 수신할 수 있다.
일 실시예에 따른 전자 장치는 카메라, 컴퓨터로 실행 가능한 명령어들이 저장된 메모리, 및 메모리에 억세스(access)하여 명령어들을 실행하는 프로세서를 포함하고, 명령어들은, 카메라에 의해 촬영된 영상을 복수의 영역들로 분할하고, 영상에서 특징점들(feature points)을 검출함으로써 분할된 복수의 영역들 각각에 포함된 특징점의 개수를 산출하며, 산출 결과에 기초하여 분할된 복수의 영역들 중 적어도 하나의 후보 영역을 선택하고, 사용자의 시선을 추적하여 사용자의 시선 방향에 대응하는 대상 객체(target object)를 선택하며, 대상 객체에 대한 이벤트의 발생을 감지하는 것에 기초하여, 선택된 적어도 하나의 후보 영역 내에서 캡처 영역(capture area)을 결정하고, 영상 중 결정된 캡처 영역으로부터 캡처된 부분 영상에 기초하여 대상 객체에 관한 영상을 생성하도록 구성될 수 있다.
명령어들은, 영상에서 대상 객체와 관련된 사용자의 제스처(gesture)가 검출되는 것에 기초하여 이벤트 발생을 감지하도록 더 구성될 수 있다.
명령어들은, 대상 객체가 표시되는 객체 영역을 둘러싸는(surround) 이벤트 감지 영역으로 진입하는 대상 객체와 관련된 사용자의 제스처가 검출되고, 검출된 사용자의 제스처가 전자 장치에 미리 저장된 손 모양 제스처들 중 하나와 동일한 (또는 유사한) 형태를 갖는 경우에 응답하여 이벤트 발생을 감지하도록 더 구성될 수 있다.
명령어들은, 대상 객체가 표시되는 객체 영역의 색상 정보, 영상 내에서 사용자의 선호 영역, 영상에서 검출되는 특징점들, 대상 객체가 대응하는 객체로 분류될 확률값 중 적어도 하나 또는 둘 이상의 조합에 기초하여 적어도 하나의 후보 영역 내에서 캡처 영역을 결정하도록 더 구성될 수 있다.
명령어들은, 카메라의 이동을 감지하는 것에 기초하여, 이벤트 발생을 감지한 이후에 영상에서 특징점들을 재검출함으로써 분할된 복수의 영역들 각각에 포함된 특징점의 개수를 재산출하고, 재산출된 결과에 기초하여 분할된 복수의 영역들 중 적어도 하나의 후보 영역을 재선택하도록 더 구성될 수 있다.
명령어들은, 캡처 영역에서 검출되는 특징점의 개수, 대상 객체가 표시되는 객체 영역의 색상 정보, 및 대상 객체가 대응하는 객체로 분류될 확률값에 기초하여 캡처 영역 내의 노이즈(noise) 크기를 산출하고, 산출된 노이즈 크기가 임계 노이즈 크기 이상인 경우, 디스플레이에 경고 메시지 및 캡처 영역의 위치 이동을 가이드 하는 정보 중 적어도 하나를 표시하도록 더 구성될 수 있다.
명령어들은, 대상 객체가 표시되는 객체 영역과 캡처 영역을 비교하고, 비교 결과에 기초하여 대상 객체가 캡처 영역을 벗어나는 것으로 판단하는 경우, 캡처 영역이 대상 객체가 표시되는 객체 영역을 포함하도록 캡처 영역의 위치 및 크기 중 적어도 하나를 변경하도록 더 구성될 수 있다.
명령어들은, 대상 객체가 캡처 영역에 진입하는 경우, 디스플레이에 대상 객체의 회전을 가이드하는 그래픽 객체를 표시하고, 대상 객체의 회전을 감지하는 경우, 디스플레이에 캡처 영역에서 캡처된 대상 객체의 복수의 단면들에 대한 이미지들을 표시하도록 더 구성될 수 있다.
명령어들은, 영상에서 대상 객체의 이동을 감지하는 경우, 대상 객체가 표시되는 객체 영역을 트래킹(tracking)하여 캡처 영역이 트래킹된 객체 영역을 포함하도록 캡처 영역의 위치 및 크기 중 적어도 하나를 변경하도록 더 구성될 수 있다.
명령어들은, 캡처 영역에 대한 사용자의 제스처를 인식하는 경우, 인식된 사용자의 제스처에 기초하여 캡처 영역의 위치 및 크기 중 적어도 하나를 변경하도록 더 구성될 수 있다.
일 실시예예 따른 프로세서로 구현되는 방법은, 카메라에 의해 촬영된 영상을 복수의 영역들로 분할하고, 영상에서 특징점들(feature points)을 검출함으로써 분할된 복수의 영역들 각각에 포함된 특징점의 개수를 산출하며, 산출 결과에 기초하여 분할된 복수의 영역들 중 적어도 하나의 후보 영역을 선택하는 동작, 사용자의 시선을 추적하여 사용자의 시선 방향에 대응하는 대상 객체(target object)를 선택하는 동작, 대상 객체에 대한 이벤트 발생을 감지하는 것에 기초하여, 선택된 적어도 하나의 후보 영역 내에서 캡처 영역을 결정하는 동작, 및 영상 중 결정된 캡처 영역으로부터 캡처된 부분 영상에 기초하여 대상 객체에 관한 영상을 생성하는 동작을 포함할 수 있다.
캡처 영역을 결정하는 동작은, 영상에서 대상 객체와 관련된 사용자의 제스처가 검출되는 것에 기초하여 이벤트 발생을 감지하는 동작을 포함할 수 있다.
캡처 영역을 결정하는 동작은, 대상 객체가 표시되는 객체 영역을 둘러싸는(surround) 이벤트 감지 영역으로 진입하는 대상 객체와 관련된 사용자의 제스처가 검출되고, 검출된 사용자의 제스처가 전자 장치에 미리 저장된 손 모양 제스처들 중 하나와 동일한 (또는 유사한) 형태를 갖는 경우에 응답하여, 이벤트 발생을 감지하는 동작을 포함할 수 있다.
캡처 영역을 결정하는 동작은, 대상 객체가 표시되는 객체 영역의 색상 정보, 영상 내에서 사용자의 선호 영역, 영상에서 검출되는 특징점들, 대상 객체가 대응하는 객체로 분류될 확률값 중 적어도 하나 또는 둘 이상의 조합에 기초하여 적어도 하나의 후보 영역 내에서 캡처 영역을 결정하는 동작을 포함할 수 있다.
일 실시예예 따른 프로세서로 구현되는 방법은, 카메라의 이동을 감지하는 것에 기초하여, 이벤트 발생을 감지한 이후에 영상에서 특징점들을 재검출함으로써 분할된 복수의 영역들 각각에 포함된 특징점의 개수를 재산출하고, 재산출된 결과에 기초하여 분할된 복수의 영역들 중 적어도 하나의 후보 영역을 재선택하는 동작을 더 포함할 수 있다.
일 실시예예 따른 프로세서로 구현되는 방법은, 캡처 영역에서 검출되는 특징점의 개수, 대상 객체가 표시되는 객체 영역의 색상 정보, 및 대상 객체가 대응하는 객체로 분류될 확률값에 기초하여 캡처 영역 내의 노이즈(noise) 크기를 산출하는 동작, 및 산출된 노이즈 크기가 임계 노이즈 크기 이상인 경우, 디스플레이에 경고 메시지 및 캡처 영역의 위치 이동을 가이드하는 정보 중 적어도 하나를 표시하는 동작을 더 포함할 수 있다.
일 실시예예 따른 프로세서로 구현되는 방법은, 대상 객체가 표시되는 객체 영역과 캡처 영역을 비교하는 동작, 및 비교 결과에 기초하여 대상 객체가 캡처 영역을 벗어나는 것으로 판단하는 경우, 캡처 영역이 대상 객체가 표시되는 객체 영역을 포함하도록 캡처 영역의 위치 및 크기 중 적어도 하나를 변경하는 동작을 더 포함할 수 있다.
일 실시예예 따른 프로세서로 구현되는 방법은, 대상 객체가 캡처 영역에 진입하는 경우, 디스플레이에 대상 객체의 회전을 가이드하는 그래픽 객체를 표시하는 동작, 및 대상 객체의 회전을 감지하는 경우, 디스플레이에 캡처 영역에서 캡처된 대상 객체의 복수의 단면들에 대한 이미지들을 표시하는 동작을 더 포함할 수 있다.
일 실시예예 따른 프로세서로 구현되는 방법은, 영상에서 대상 객체의 이동을 감지하는 경우, 대상 객체가 표시되는 객체 영역을 트래킹(tracking)하여 트래킹된 객체 영역을 포함하도록 캡처 영역의 위치 및 크기 중 적어도 하나를 변경하는 동작을 더 포함할 수 있다.
일 실시예예 따른 프로세서로 구현되는 방법은, 캡처 영역에 대한 사용자의 제스처를 인식하는 경우, 인식된 사용자의 제스처에 기초하여 캡처 영역의 위치 및 크기 중 적어도 하나를 변경하는 동작을 더 포함할 수 있다.
본 개시는 다양한 예시적인 실시예들을 참조하여 설명되고 예시되었으나, 다양한 예시적인 실시예들은 제한이 아닌 예시적인 것으로 의도된 것으로 이해될 것이다. 첨부된 청구범위 및 그 균등물들을 포함하는 본 개시의 진정한 사상(true spirit) 및 전체 범위를 벗어나지 않고 형태 및 세부사항의 다양한 변경이 이루어질 수 있다는 것이 당업자에 의해 추가로 이해될 것이다. 본 명세서에서 설명된 임의의 실시예들은 본 명세서에서 설명된 임의의 다른 실시예들과 함께 사용될 수 있음이 또한 이해될 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    카메라;
    컴퓨터로 실행 가능한 명령어들이 저장된 메모리; 및
    상기 메모리에 억세스(access)하여 상기 명령어들을 실행하는 프로세서
    를 포함하고,
    상기 명령어들은,
    상기 카메라에 의해 촬영된 영상을 복수의 영역들로 분할하고, 상기 영상에서 특징점들(feature points)을 검출함으로써 상기 분할된 복수의 영역들 각각에 포함된 특징점의 개수를 산출하며, 상기 산출 결과에 기초하여 상기 분할된 복수의 영역들 중 적어도 하나의 후보 영역을 선택하고,
    사용자의 시선을 추적하여 상기 사용자의 시선 방향에 대응하는 대상 객체(target object)를 선택하며,
    상기 대상 객체에 대한 이벤트의 발생을 감지하는 것에 기초하여, 상기 선택된 적어도 하나의 후보 영역 내에서 캡처 영역(capture area)을 결정하고,
    상기 영상 중 상기 결정된 캡처 영역으로부터 캡처된 부분 영상에 기초하여 상기 대상 객체에 관한 영상을 생성하도록 구성된,
    전자 장치.
  2. 제1항에 있어서,
    상기 명령어들은,
    상기 영상에서 상기 대상 객체와 관련된 상기 사용자의 제스처(gesture)가 검출되는 것에 기초하여 상기 이벤트 발생을 감지하도록 더 구성된,
    전자 장치.
  3. 제1항 내지 제2항 중 어느 한 항에 있어서,
    상기 명령어들은,
    상기 대상 객체가 표시되는 객체 영역을 둘러싸는(surround) 이벤트 감지 영역으로 진입하는 상기 대상 객체와 관련된 상기 사용자의 제스처가 검출되고, 상기 검출된 상기 사용자의 제스처가 상기 전자 장치에 미리 저장된 손 모양 제스처들 중 하나에 대응하는 형태를 갖는 경우에 응답하여 상기 이벤트 발생을 감지하도록 더 구성된,
    전자 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 명령어들은,
    상기 대상 객체가 표시되는 객체 영역의 색상 정보, 상기 영상 내에서 상기 사용자의 선호 영역, 상기 영상에서 검출되는 특징점들, 상기 대상 객체가 대응하는 객체로 분류될 확률값 중 적어도 하나 또는 둘 이상의 조합에 기초하여 상기 적어도 하나의 후보 영역 내에서 상기 캡처 영역을 결정하도록 더 구성된,
    전자 장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 명령어들은,
    상기 카메라의 이동을 감지하는 것에 기초하여, 상기 이벤트 발생을 감지한 이후에 상기 영상에서 특징점들을 재검출함으로써 상기 분할된 복수의 영역들 각각에 포함된 특징점의 개수를 재산출하고, 상기 재산출된 결과에 기초하여 상기 분할된 복수의 영역들 중 상기 적어도 하나의 후보 영역을 재선택하도록 더 구성된,
    전자 장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 명령어들은,
    상기 캡처 영역에서 검출되는 특징점의 개수, 상기 대상 객체가 표시되는 객체 영역의 색상 정보, 및 상기 대상 객체가 대응하는 객체로 분류될 확률값에 기초하여 상기 캡처 영역 내의 노이즈(noise) 크기를 산출하고,
    상기 산출된 노이즈 크기가 임계 노이즈 크기 이상인 경우, 디스플레이에 경고 메시지 및 상기 캡처 영역의 위치 이동을 가이드 하는 정보 중 적어도 하나를 표시하도록 더 구성된,
    전자 장치.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 명령어들은,
    상기 대상 객체가 표시되는 객체 영역과 상기 캡처 영역을 비교하고, 상기 비교 결과에 기초하여 상기 대상 객체가 상기 캡처 영역을 벗어나는 것으로 판단하는 경우, 상기 캡처 영역이 상기 대상 객체가 표시되는 객체 영역을 포함하도록 상기 캡처 영역의 위치 및 크기 중 적어도 하나를 변경하도록 더 구성된,
    전자 장치.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 명령어들은,
    상기 대상 객체가 상기 캡처 영역에 진입하는 경우, 디스플레이에 상기 대상 객체의 회전을 가이드하는 그래픽 객체를 표시하고,
    상기 대상 객체의 회전을 감지하는 경우, 상기 디스플레이에 상기 캡처 영역에서 캡처된 상기 대상 객체의 복수의 단면들에 대한 이미지들을 표시하도록 더 구성된,
    전자 장치.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 명령어들은,
    상기 영상에서 상기 대상 객체의 이동을 감지하는 경우, 상기 대상 객체가 표시되는 객체 영역을 트래킹(tracking)하여 상기 캡처 영역이 상기 트래킹된 객체 영역을 포함하도록 상기 캡처 영역의 위치 및 크기 중 적어도 하나를 변경하도록 더 구성된,
    전자 장치.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 명령어들은,
    상기 캡처 영역과 관련된 상기 사용자의 제스처를 인식하는 경우, 상기 인식된 사용자의 제스처에 기초하여 상기 캡처 영역의 위치 및 크기 중 적어도 하나를 변경하도록 더 구성된,
    전자 장치.
  11. 프로세서로 구현되는 방법에 있어서,
    카메라에 의해 촬영된 영상을 복수의 영역들로 분할하고, 상기 영상에서 특징점들(feature points)을 검출함으로써 상기 분할된 복수의 영역들 각각에 포함된 특징점의 개수를 산출하며, 상기 산출 결과에 기초하여 상기 분할된 복수의 영역들 중 적어도 하나의 후보 영역을 선택하는 동작;
    사용자의 시선을 추적하여 상기 사용자의 시선 방향에 대응하는 대상 객체(target object)를 선택하는 동작;
    상기 대상 객체에 대한 이벤트 발생을 감지하는 것에 기초하여, 상기 선택된 적어도 하나의 후보 영역 내에서 캡처 영역을 결정하는 동작; 및
    상기 영상 중 상기 결정된 캡처 영역으로부터 캡처된 부분 영상에 기초하여 상기 대상 객체에 관한 영상을 생성하는 동작
    을 포함하는 방법.
  12. 제11항에 있어서,
    상기 캡처 영역을 결정하는 동작은,
    상기 영상에서 상기 대상 객체와 관련된 상기 사용자의 제스처가 검출되는 것에 기초하여 상기 이벤트 발생을 감지하는 동작
    을 포함하는 방법.
  13. 제11항 내지 제12항 중 어느 한 항에 있어서,
    상기 캡처 영역을 결정하는 동작은,
    상기 대상 객체가 표시되는 객체 영역을 둘러싸는(surround) 이벤트 감지 영역으로 진입하는 상기 대상 객체와 관련된 상기 사용자의 제스처가 검출되고, 상기 검출된 상기 사용자의 제스처가 미리 저장된 손 모양 제스처들 중 하나에 대응하는 형태를 갖는 경우에 응답하여, 상기 이벤트 발생을 감지하는 동작
    을 포함하는 방법.
  14. 제11항 내지 제13항 중 어느 한 항에 있어서,
    상기 캡처 영역을 결정하는 동작은,
    상기 대상 객체가 표시되는 객체 영역의 색상 정보, 상기 영상 내에서 상기 사용자의 선호 영역, 상기 영상에서 검출되는 특징점들, 상기 대상 객체가 대응하는 객체로 분류될 확률값 중 적어도 하나 또는 둘 이상의 조합에 기초하여 상기 적어도 하나의 후보 영역 내에서 상기 캡처 영역을 결정하는 동작
    을 포함하는 방법.
  15. 제11항 내지 제14항 중 어느 한 항에 있어서,
    상기 카메라의 이동을 감지하는 것에 기초하여, 상기 이벤트 발생을 감지한 이후에 상기 영상에서 특징점들을 재검출함으로써 상기 분할된 복수의 영역들 각각에 포함된 특징점의 개수를 재산출하고, 상기 재산출된 결과에 기초하여 상기 분할된 복수의 영역들 중 상기 적어도 하나의 후보 영역을 재선택하는 동작
    을 더 포함하는 방법.
PCT/KR2022/020173 2022-02-11 2022-12-12 객체의 영상을 획득하는 방법 및 장치 WO2023153611A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/102,956 US20230262323A1 (en) 2022-02-11 2023-01-30 Method and device for obtaining image of object

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20220018405 2022-02-11
KR10-2022-0018405 2022-02-11
KR1020220029608A KR20230121516A (ko) 2022-02-11 2022-03-08 객체의 영상을 획득하는 방법 및 장치
KR10-2022-0029608 2022-03-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/102,956 Continuation US20230262323A1 (en) 2022-02-11 2023-01-30 Method and device for obtaining image of object

Publications (1)

Publication Number Publication Date
WO2023153611A1 true WO2023153611A1 (ko) 2023-08-17

Family

ID=87564469

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/020173 WO2023153611A1 (ko) 2022-02-11 2022-12-12 객체의 영상을 획득하는 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2023153611A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140090549A (ko) * 2013-12-10 2014-07-17 엘지전자 주식회사 시선 캘리브레이션을 제공하는 헤드 마운트 디스플레이 디바이스 및 그 제어 방법
JP2015149552A (ja) * 2014-02-05 2015-08-20 株式会社ニコン ウェアラブル型電子機器
KR20180109341A (ko) * 2017-03-27 2018-10-08 삼성전자주식회사 이미지 내의 오브젝트를 트래킹하기 위한 방법 및 그 전자 장치
KR20200111144A (ko) * 2020-04-01 2020-09-28 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
KR20210059697A (ko) * 2018-06-27 2021-05-25 센티에이알, 인코포레이티드 증강 현실 환경을 위한 시선 기반 인터페이스

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140090549A (ko) * 2013-12-10 2014-07-17 엘지전자 주식회사 시선 캘리브레이션을 제공하는 헤드 마운트 디스플레이 디바이스 및 그 제어 방법
JP2015149552A (ja) * 2014-02-05 2015-08-20 株式会社ニコン ウェアラブル型電子機器
KR20180109341A (ko) * 2017-03-27 2018-10-08 삼성전자주식회사 이미지 내의 오브젝트를 트래킹하기 위한 방법 및 그 전자 장치
KR20210059697A (ko) * 2018-06-27 2021-05-25 센티에이알, 인코포레이티드 증강 현실 환경을 위한 시선 기반 인터페이스
KR20200111144A (ko) * 2020-04-01 2020-09-28 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치

Similar Documents

Publication Publication Date Title
WO2022108076A1 (ko) 증강 현실 환경의 무선 연결 방법 및 이를 위한 전자 장치
WO2022102954A1 (ko) 디스플레이를 포함하는 웨어러블 전자 장치
WO2023106895A1 (ko) 가상 입력 장치를 이용하기 위한 전자 장치 및 그 전자 장치에서의 동작 방법
WO2023017986A1 (ko) 영상 데이터 및 오디오 데이터 출력 방법 및 전자 시스템
WO2022215895A1 (ko) 복수의 카메라를 포함하는 웨어러블 전자 장치
WO2022169255A1 (ko) 전자 장치 및 그의 사용자 시선을 추적하고 증강 현실 서비스를 제공하는 방법
WO2023153611A1 (ko) 객체의 영상을 획득하는 방법 및 장치
WO2023153607A1 (ko) 주변 조도에 기초한 ar 컨텐츠 표시 방법 및 전자 장치
WO2023085569A1 (ko) Ar 이미지의 휘도를 제어하는 방법 및 장치
WO2023063572A1 (ko) 바이저의 투과율과 디스플레이의 밝기를 조절하는 웨어러블 전자 장치
WO2024029720A1 (ko) 증강 현실에서 사용자를 인증하는 장치 및 방법
WO2023120892A1 (ko) 글린트를 이용한 시선 추적에서 광원을 제어하는 장치 및 방법
WO2024043611A1 (ko) 디스플레이 모듈 제어 방법 및 상기 방법을 수행하는 전자 장치
WO2023080420A1 (ko) 가변형 그라운드를 포함하는 웨어러블 전자 장치
WO2023149671A1 (ko) 입력 모드를 전환하는 증강 현실 장치 및 그 방법
WO2023080419A1 (ko) 비전 정보를 이용하여 전자기기를 제어하는 웨어러블 전자 장치 및 방법
WO2023048466A1 (ko) 전자 장치 및 컨텐츠 표시 방법
WO2023132744A1 (ko) 복수의 어플리케이션 실행 화면들을 그룹화하여 제공하는 웨어러블 디바이스 및 그 제어 방법
WO2024029858A1 (ko) 디스플레이 모듈 제어 방법 및 상기 방법을 수행하는 전자 장치
WO2024043468A1 (ko) 객체들을 이용하여 인증 패턴을 등록 및 해제하는 장치 및 방법
WO2022255625A1 (ko) 영상 통화 중 다양한 커뮤니케이션을 지원하는 전자 장치 및 그의 동작 방법
WO2023121120A1 (ko) 간섭 제거 방법 및 상기 방법을 수행하는 전자 장치
WO2024034825A1 (ko) Ar 장치에게 표시하도록 명령할 컨텐츠를 결정하기 위한 방법 및 장치
WO2023096339A1 (ko) 외부 디스플레이 장치와 연동하여 컨텐츠를 제공하는 전자 장치 및 그 컨텐츠 제공 방법
WO2023136533A1 (ko) 간섭 제거 방법 및 상기 방법을 수행하는 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22926208

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022926208

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022926208

Country of ref document: EP

Effective date: 20240404