WO2021221341A1 - 증강 현실 장치 및 그 제어 방법 - Google Patents

증강 현실 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2021221341A1
WO2021221341A1 PCT/KR2021/004421 KR2021004421W WO2021221341A1 WO 2021221341 A1 WO2021221341 A1 WO 2021221341A1 KR 2021004421 W KR2021004421 W KR 2021004421W WO 2021221341 A1 WO2021221341 A1 WO 2021221341A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
mode
augmented reality
user
changing
Prior art date
Application number
PCT/KR2021/004421
Other languages
English (en)
French (fr)
Inventor
유병욱
이건일
이원우
정지원
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2021221341A1 publication Critical patent/WO2021221341A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Definitions

  • It relates to an augmented reality device and a method for controlling the same.
  • Augmented reality is a technology that projects a virtual image onto a physical environment space of the real world or a real world object and displays it as a single image.
  • the augmented reality device allows both a real scene and a virtual image to be viewed through a see-through display disposed in front of the user's eyes while being worn on the user's face or head.
  • An object of the present invention is to provide an augmented reality device having a camera capable of changing a direction, and a method for controlling the same.
  • the augmented reality apparatus includes a camera capable of changing a direction, a memory storing instructions, and executing the instructions to change the direction of the camera to an angle corresponding to a recognition mode, and then acquire through the camera Recognizes the user's hand posture from the image, and according to the work mode corresponding to the recognized hand posture, changes the direction of the camera to an angle corresponding to the work mode, and then responds to the work mode through the camera and a processor for acquiring at least one image.
  • a method of controlling an augmented reality device includes recognizing a user's hand posture after changing a direction of a camera capable of changing a direction to an angle corresponding to a recognition mode, and and changing the direction of the camera to an angle corresponding to the working mode according to the working mode, and then acquiring at least one image corresponding to the working mode.
  • the computer-readable recording medium includes instructions for recognizing a user's hand posture from an image obtained through the camera after changing a direction of a camera capable of changing a direction to an angle corresponding to a recognition mode , and a command for obtaining at least one image corresponding to the work mode through the camera after changing the direction of the camera to an angle corresponding to the work mode according to the work mode corresponding to the recognized hand posture Write a program for execution on a computer that contains them.
  • FIG. 1 is a diagram illustrating an augmented reality device having a camera capable of changing a direction.
  • FIG. 2 is a diagram for explaining the configuration of an augmented reality device.
  • FIG. 3 is a diagram for explaining operations of a memory, a processor, and a camera of an augmented reality device.
  • FIG. 4 is a diagram for explaining an example of a direction change of a camera provided in an augmented reality device.
  • FIG. 5 is a flowchart illustrating a control method of an augmented reality device.
  • FIG. 6 is a diagram illustrating a state in which an augmented reality device scans a user's hand posture in a recognition mode.
  • FIG. 7 is a diagram for explaining an example in which the augmented reality device recognizes a hand posture after acquiring a depth image by scanning a user's hand posture.
  • FIG. 8 is a diagram for explaining a case in which an augmented reality device recognizes a predetermined hand posture in a recognition mode.
  • FIG. 9 is a diagram for explaining an operation in which an augmented reality device takes a picture according to a picture taking mode.
  • FIG. 10 is a diagram for explaining an operation in which an augmented reality device performs panoramic photographing according to a panoramic photographing mode.
  • 11 is a diagram for explaining an operation of performing object tracking and analysis by an augmented reality device according to an object tracking mode.
  • FIG. 12 is a diagram for explaining an additional configuration of an augmented reality device.
  • the augmented reality device includes a camera capable of changing a direction, a memory storing instructions, and executing the instructions to change the direction of the camera to an angle corresponding to a recognition mode, After recognizing a hand posture and changing the direction of the camera to an angle corresponding to the work mode according to a work mode corresponding to the recognized hand posture, at least one image corresponding to the work mode through the camera and a processor to obtain
  • AR Augmented Reality
  • 'augmented reality means showing a virtual image together in a physical environment space of the real world or showing a real object and a virtual image together.
  • 'augmented reality device is a device capable of expressing 'augmented reality', and is generally an augmented reality glasses device in the form of glasses worn by a user on a face part ( Augmented Reality Glasses), as well as a head mounted display device (HMD: Head Mounted Display Apparatus) worn on the head, and an augmented reality helmet (Augmented Reality Helmet).
  • Augmented Reality Device is a device capable of expressing 'augmented reality', and is generally an augmented reality glasses device in the form of glasses worn by a user on a face part ( Augmented Reality Glasses), as well as a head mounted display device (HMD: Head Mounted Display Apparatus) worn on the head, and an augmented reality helmet (Augmented Reality Helmet).
  • HMD Head Mounted Display Apparatus
  • a 'real scene' is a scene of the real world that a user sees through the augmented reality device, and may include real world object(s).
  • a 'virtual image' is an image generated through an optical engine and may include both a static image and a dynamic image. Such a virtual image is observed together with a real scene, and may be an image representing information about a real object in the real scene, information about an operation of an augmented reality device, or a control menu.
  • a general augmented reality device uses an optical engine for generating a virtual image composed of light generated from a light source, and a transparent material to guide the virtual image generated by the optical engine to the user's eyes and view the scene in the real world together.
  • a formed light guide plate (waveguide, waveguide) is provided.
  • the optical path may be changed by using reflection by a mirror or the like, or the optical path may be changed through diffraction by a diffractive element such as a diffractive optical element (DOE) or a holographic optical element (HOE), but is not limited thereto.
  • DOE diffractive optical element
  • HOE holographic optical element
  • 'hand pose' is a term that includes an appearance or motion of a hand, and collectively refers to various types of hand expressions that can be signals.
  • the shape of the hand refers to the outward appearance of the hand.
  • Hand motion refers to hand movement or movement shape or gesture.
  • FIG. 1 is a diagram illustrating an augmented reality apparatus 1000 including a camera 1300 capable of changing directions.
  • a user wearing the augmented reality apparatus 1000 may experience augmented reality in which a virtual image is projected onto a real scene including a real object (hereinafter, an object).
  • the virtual image is information about an object in a real scene, information about an operation of the augmented reality apparatus 1000, or an image representing a control menu, and the user can observe the real scene and the virtual image together.
  • the user wears the augmented reality device 1000 in the form of glasses, but the present invention is not limited thereto.
  • the augmented reality apparatus 1000 may include a camera 1300 capable of changing a direction.
  • the camera 1300 is designed to have a structure that can change directions, and may be mounted on a predetermined part of the augmented reality apparatus 1000 .
  • the camera 1300 may be mounted in a form embedded in a bridge frame connecting the left eye lens unit and the right eye lens unit, but is not limited thereto.
  • the camera 1300 may be mounted on a predetermined part of the augmented reality apparatus 1000 according to the type and shape of the augmented reality apparatus 1000 .
  • the augmented reality apparatus 1000 changes the direction of the camera 1300 to an angle corresponding to a photographing direction in a recognition mode or an angle corresponding to a photographing direction in a work mode.
  • the recognition mode is a control mode of the augmented reality apparatus 1000 for recognizing a user's hand posture.
  • the work mode is a control mode of the augmented reality apparatus 1000 for performing a predetermined operation or function of the augmented reality apparatus 1000, and there are various modes such as a photo shooting mode, a panoramic shooting mode, an object tracking mode, and a space recognition mode.
  • the angle corresponding to the photographing direction in the recognition mode or the angle corresponding to the photographing direction in the work mode may be a preset value, but may be adaptively changed according to situational information such as the location of the user's hand or the location of an object in the real world. have.
  • the augmented reality apparatus 1000 may scan the user's hand through the camera 1300 in the recognition mode and recognize a predetermined hand posture.
  • the direction of the camera 1300 may be set to an optimal angle for detecting the user's hand.
  • the augmented reality apparatus 1000 may switch the control mode to a work mode corresponding to the recognized hand posture.
  • the augmented reality apparatus 1000 may perform a predetermined operation or function corresponding to the work mode by using the camera 1300 in the work mode, and thus may acquire at least one image.
  • the direction of the camera 1300 may be set at an angle corresponding to each work mode.
  • FIG. 2 is a diagram for explaining the configuration of the augmented reality apparatus 1000 .
  • the augmented reality apparatus 1000 may include a memory 1100 , a processor 1200 , and a camera 1300 .
  • a memory 1100 may be further included.
  • a processor 1200 may be further included.
  • a camera 1300 may be further included.
  • the memory 1100 may store instructions executable by the processor 1200 .
  • the memory 1100 may store a program composed of instructions.
  • the memory 1100 may include, for example, RAM (Random Access Memory), SRAM (Static Random Access Memory), ROM (Read-Only Memory), flash memory, EEPROM (Electrically Erasable Programmable Read-Memory). Only memory), a programmable read-only memory (PROM), a magnetic memory, a magnetic disk, and an optical disk may include at least one type of hardware device.
  • the memory 1100 may store at least one software module including instructions. Each software module is executed by the processor 1200 to cause the augmented reality apparatus 1000 to perform a predetermined operation or function.
  • the memory 1100 may store a recognition mode module, a photo taking mode module, a panoramic shooting mode module, and an object tracking mode module, but is not limited thereto, some of them may store or further include other software modules.
  • the processor 1200 may control an operation or function performed by the augmented reality apparatus 1000 by executing instructions stored in the memory 1100 or a programmed software module.
  • the processor 1200 may be configured as a hardware component that performs arithmetic, logic, input/output operations and signal processing.
  • the processor 1200 is, for example, a central processing unit (Central Processing Unit), a microprocessor (microprocessor), a graphic processor (Graphic Processing Unit), ASICs (Application Specific Integrated Circuits), DSPs (Digital Signal Processors), DSPDs (Digital Signal Processing Devices), PLDs (Programmable Logic Devices), and FPGAs (Field Programmable Gate Arrays) may be configured of at least one hardware, but is not limited thereto.
  • a central processing unit Central Processing Unit
  • microprocessor microprocessor
  • a graphic processor Graphic Processing Unit
  • ASICs Application Specific Integrated Circuits
  • DSPs Digital Signal Processors
  • DSPDs Digital Signal Processing Devices
  • PLDs Programmable Logic Devices
  • FPGAs Field Programmable Gate Arrays
  • the camera 1300 can change direction.
  • the camera 1300 may be a camera 1300 that has a structure in which the direction can be changed in the augmented reality apparatus 1000 and is designed to face a direction of a predetermined angle as well as up and down or left and right.
  • the camera 1300 has a fixed position, and rotates the camera 1300 left and right to take pictures of an object or a camera 1300 while the position of the camera 1300 is fixed. It may be a so-called pan-tilt camera capable of performing a tilt operation of photographing an object by rotating the direction up and down.
  • the camera 1300 may control a photographing direction at a predetermined angle by rotating about a plurality of axes.
  • the camera 1300 may be rotated about a first axis corresponding to a horizontal direction or rotated about a second axis corresponding to a vertical direction.
  • the camera 1300 may rotate with respect to a first axis corresponding to a diagonal direction extending from the upper left to the lower right, or rotated about a second axis corresponding to a diagonal direction extending from the upper right to the lower left.
  • the camera 1300 capable of changing a direction may replace a Time-of-Flight (ToF) sensor and an RGB camera.
  • ToF Time-of-Flight
  • RGB camera RGB camera
  • the camera 1300 acquires an image while changing the direction at various angles to measure depth information and control the direction of the camera 1300 to face the subject to obtain a color image.
  • the size and volume of the augmented reality device 1000 can be reduced, and the weight can be lowered, compared to having a ToF sensor and an RGB camera, respectively, so that the augmented reality device ( 1000) may be miniaturized and lightweight.
  • the ToF sensor generally projects infrared or light and measures the time until it hits an object or object and is reflected back, or is a sensor that uses the phase difference of infrared or light before/after hitting the object. At least for projecting infrared or light Since an emitter composed of one light source is included, it may be possible to reduce power consumption by the emitter when replacing the ToF sensor.
  • the direction of the camera 1300 may be changed according to a recognition mode or an operation mode.
  • the direction of the camera 1300 may be changed at a preset angle according to a recognition mode or an operation mode.
  • the working mode may be a photo taking mode, a panoramic shooting mode, an object tracking mode, and the like, but is not limited thereto.
  • the processor 1200 executes at least one of a recognition mode module, a photo taking mode module, a panoramic shooting mode module, and an object tracking mode module stored in the memory 1100 to control the camera 1300 .
  • the processor 1200 may change the direction of the camera 1300 according to the recognition mode or the operation mode.
  • the processor 1200 may change the direction of the camera 1300 at a preset angle according to the recognition mode or the operation mode.
  • the processor 1200 executes instructions stored in the memory 1100 to change the direction of the camera 1300 to an angle corresponding to the recognition mode, and then recognizes the user's hand posture from the image obtained through the camera 1300 . can do.
  • the angle corresponding to the recognition mode is a preset angle corresponding to the recognition mode, or the angle of the camera 1300 is changed from the current angle of the camera 1300 just before entering the recognition mode to a preset angle corresponding to the recognition mode It can be any angle in the process of becoming.
  • the processor 1200 may acquire information about the user's hand by pre-scanning the user's hand or using a profile corresponding to the user. Since the size, shape, and shape of the hand of each user is different, in order to accurately recognize the user's hand posture, such a preparation process may be performed in the first recognition mode of the augmented reality apparatus 1000 .
  • the processor 1200 may detect the user's hand posture based on the obtained information about the user's hand and the image obtained through the camera 1300 . If the user's hand is modeled in advance using the information on the user's hand through the preparation process, the processor 1200 may recognize the user's hand posture from the image acquired through the camera 1300 later. However, this preparation process is not necessarily required.
  • the processor 1200 acquires a plurality of images by changing the direction of the camera 1300 to the left and right at an angle corresponding to the recognition mode, and measures depth information about the user's hand posture based on the obtained plurality of images can do.
  • the processor 1200 may measure depth information about the user's hand posture by using the acquired plurality of images.
  • the processor 1200 may detect hand region information based on a distance between the camera 1300 and the user's hand from a depth image representing depth information about the user's hand posture.
  • the processor 1200 may recognize a two-dimensional hand posture or a three-dimensional hand posture based on the detected hand region information.
  • the processor 1200 executes the instructions stored in the memory 1100 to change the direction of the camera 1300 to an angle corresponding to the work mode according to the work mode corresponding to the recognized hand posture, and then the camera 1300 At least one image corresponding to the work mode may be acquired through .
  • the angle corresponding to the work mode is a preset angle or a predefined direction corresponding to the work mode, or a preset angle corresponding to the work mode from the current angle of the camera 1300 just before entering the work mode or in advance. It may be any angle in the process of changing the angle of the camera 1300 in the defined direction.
  • the processor 1200 changes the direction of the camera 1300 to the front direction of the augmented reality device 1000, which is a preset angle corresponding to the photo taking mode, , an image corresponding to the photo taking mode may be acquired through the camera 1300 .
  • the processor 1200 changes the direction to the direction toward the starting point of the panoramic shooting, which is a preset angle corresponding to the panoramic shooting mode, A plurality of images corresponding to the panoramic shooting mode may be acquired in a horizontal or vertical direction through the camera 1300 .
  • the processor 1200 when the operation mode is the object tracking mode, the processor 1200 changes the direction to the direction in which the moving object is, which is a predefined direction corresponding to the object tracking mode, and then changes the direction, A plurality of images corresponding to the object tracking mode may be acquired according to the movement of the object through the camera 1300 .
  • the augmented reality device 1000 when the augmented reality device 1000 is provided with a gaze tracking sensor (not shown), the augmented reality device ( 1000) can be used for control.
  • the processor 1200 changes the direction of the camera 1300 to an angle corresponding to the work mode, and then controls the direction of the camera 1300 to the gaze point determined using the eye tracking sensor, so that the camera ( 1300), at least one image corresponding to the work mode may be acquired.
  • the processor 1200 sets the direction of the camera 1300 to the gaze point determined by the gaze tracking sensor. can be controlled
  • the processor 1200 changes the direction of the camera 1300 to an angle corresponding to the work mode, and then controls the direction of the camera 1300 according to the gaze movement detected using the eye tracking sensor, At least one image corresponding to the work mode may be acquired through the camera 1300 .
  • the processor 1200 is the eye tracking sensor. The direction of the camera 1300 may be controlled according to the gaze movement sensed by the .
  • the processor 1200 may control the augmented reality apparatus 1000 in a recognition mode.
  • the processor 1200 may switch from the recognition mode to the work mode to perform a predetermined operation or function of the augmented reality apparatus 1000 .
  • the processor 1200 may switch the augmented reality apparatus 1000 back to the recognition mode.
  • FIG. 3 is a diagram for explaining operations of the memory 1100 , the processor 1200 , and the camera 1300 of the augmented reality apparatus 1000 .
  • the camera 1300 may include a camera driving module 1310 and an image processing module 1330 .
  • the processor 1200 may transmit a driving control signal to the camera driving module 1310 or a shooting control signal to the image processing module 1330 by loading the instructions or a software module stored in the memory 1100 and executing them.
  • the image processing module 1330 may transmit an image obtained according to the shooting control signal to the memory 1100 .
  • the memory 1100 may store the acquired image, and the processor 1200 may retrieve an image used to control the augmented reality apparatus 1000 from the memory 1100 .
  • the camera driving module 1310 may include a lens module including lenses and an auto focus (AF) actuator.
  • the lens module has a structure in which a plurality of lenses are disposed in the barrel, and may allow light incident from the outside to pass through the disposed lenses.
  • the AF actuator may move the lenses to an optimal focus position in order to obtain a clear image.
  • the AF actuator may be a voice coil motor (VCM) type.
  • VCM voice coil motor
  • the VCM method uses a coil and an electromagnet to move the lens module back and forth, thereby determining the positions of the lenses and focusing.
  • the image processing module 1330 may include an image sensor and an image signal processor.
  • the image sensor may be a complementary metal oxide semiconductor (CMOS) sensor or a charge-coupled device (CCD) sensor, and may convert an optical signal into an electrical signal.
  • CMOS complementary metal oxide semiconductor
  • CCD charge-coupled device
  • the image signal processor may convert the electrical signal converted by the image sensor into an image signal.
  • the image sensor of the image processing module 1330 may be connected to the lens module of the camera driving module 1310 .
  • the image sensor may be connected to the lower portion of the lens module.
  • An axis passing vertically through the center of the image sensor may be the same as an optical axis passing through the center of the lenses.
  • the processor 1200 executes the recognition mode module stored in the memory 1100 and sends a driving control signal to the camera driving module 1310 to change the direction of the camera 1300 to an angle corresponding to the recognition mode. can be sent.
  • the processor 1200 sends a shooting control signal to the image processing module 1330 to recognize the user's hand posture. can be sent.
  • the image acquired by the image processing module 1330 is stored in the memory 1100 , and the processor 1200 may recognize the user's hand posture from the image acquired by the image processing module 1330 .
  • the processor 1200 may execute the photo taking mode module stored in the memory 1100 .
  • the processor 1200 may execute the panorama capturing mode module stored in the memory 1100 .
  • the processor 1200 may execute the object tracking mode module stored in the memory 1100 .
  • the processor 1200 executes the photo taking mode module stored in the memory 1100 and transmits a driving control signal to the camera driving module 1310 so that the camera 1300 changes the direction to an angle corresponding to the photo taking mode. have.
  • the processor 1200 displays an image corresponding to the photo taking mode
  • a shooting control signal may be transmitted to the image processing module 1330 .
  • the image acquired by the image processing module 1330 may be stored in the memory 1100 .
  • the processor 1200 executes the panoramic shooting mode module stored in the memory 1100, and transmits a driving control signal to the camera driving module 1310 so that the camera 1300 changes the direction to an angle corresponding to the panoramic shooting mode. have. If, by the camera driving module 1310, the direction of the camera 1300 is changed to the direction toward the starting point of the panoramic shooting, which is an angle corresponding to the panoramic shooting mode, the processor 1200 enters the panoramic shooting mode in the horizontal or vertical direction. In order to acquire a plurality of corresponding images, a shooting control signal may be transmitted to the image processing module 1330 . A plurality of images acquired by the image processing module 1330 may be stored in the memory 1100 .
  • the processor 1200 executes the object tracking mode module stored in the memory 1100 and transmits a driving control signal to the camera driving module 1310 so that the camera 1300 changes the direction to an angle corresponding to the object tracking mode. have. If, by the camera driving module 1310, the direction of the camera 1300 is changed to a direction in which there is a moving object, which is a predefined direction corresponding to the object tracking mode, the processor 1200 may display a plurality of objects corresponding to the object tracking mode. In order to obtain images of the intestine, an imaging control signal may be transmitted to the image processing module 1330 . A plurality of images acquired by the image processing module 1330 may be stored in the memory 1100 .
  • At least one image stored in the memory 1100 may be post-processed by the processor 1200 and used to generate a photo or panoramic image of the object, or analysis information about the object.
  • the processor 1200 may execute the recognition mode module again when the execution of the photo capturing mode module, the panoramic capturing mode module, or the object tracking mode module is completed.
  • FIG. 4 is a diagram for explaining an example of a direction change of the camera 1300 provided in the augmented reality apparatus 1000 .
  • the augmented reality apparatus 1000 may change the direction of the camera 1300 in a direction corresponding to an angle set according to a recognition mode or a work mode.
  • the augmented reality apparatus 1000 may tilt the camera 1300 based on the rotation center of the camera 1300 to change the direction of the camera 1300 below or above the front direction. As shown in FIG. 4 , the camera 1300 may rotate about a first axis corresponding to the horizontal direction.
  • the augmented reality apparatus 1000 may change a direction to an angle corresponding to the recognition mode in order to recognize the user's hand posture in the recognition mode. As illustrated in FIG. 4 , the augmented reality apparatus 1000 may change the direction of the camera 1300 at an angle downward by A° with respect to the front direction. The augmented reality apparatus 1000 may change a direction to an angle corresponding to the work mode in order to acquire at least one image corresponding to the work mode through the camera 1300 in the work mode. For example, when the augmented reality apparatus 1000 is switched from the recognition mode to the photo taking mode, the direction of the camera 1300 may be changed to the front direction.
  • the augmented reality device 1000 may change the direction of the camera 1300 to an angle corresponding to the panoramic shooting mode for panoramic shooting in the vertical direction, and as shown in FIG. 4 , the augmented reality device Reference numeral 1000 may change the direction of the camera 1300 at an angle upward by B° with respect to the front direction, and may change the direction of the camera 1300 up and down while panoramic photographing is in progress in the vertical direction.
  • the augmented reality apparatus 1000 pans the camera 1300 based on the rotation center of the camera 1300 to change the direction of the camera 1300 in the left direction or the right direction.
  • the camera 1300 may rotate about the second axis corresponding to the vertical direction.
  • the entire camera 1300 is shown embedded in the augmented reality device 1000 , but a part or all of the camera 1300 is derived depending on the type and shape of the augmented reality device 1000 . it may have been
  • FIG. 5 is a flowchart illustrating a control method of the augmented reality apparatus 1000 .
  • the augmented reality apparatus 1000 may control the direction of the camera 1300 at an angle corresponding to the recognition mode.
  • the angle corresponding to the recognition mode is a preset angle corresponding to the recognition mode, or the angle of the camera 1300 is changed from the current angle of the camera 1300 just before entering the recognition mode to a preset angle corresponding to the recognition mode It can be any angle in the process of becoming.
  • the augmented reality apparatus 1000 may change the direction of the camera 1300 to an angle corresponding to the recognition mode, and then recognize the user's hand posture from the image obtained through the camera 1300 . If the recognized hand posture corresponds to 'click', the augmented reality apparatus 1000 proceeds to step 530, and if the recognized hand posture corresponds to 'drag', proceeds to step 550, and the recognized hand posture corresponds to 'drag'. In the case of 'double click', the process may proceed to step 570 . However, this is only an example, and processes corresponding to each may be performed according to various hand postures.
  • the augmented reality apparatus 1000 may control the direction of the camera 1300 at an angle corresponding to the photo taking mode.
  • the angle corresponding to the photo taking mode is the front direction of the augmented reality device 1000 , or the angle of the camera 1300 from the current angle of the camera 1300 just before the photo taking mode to the front direction of the augmented reality device 1000 . It may be any angle in the process of being changed.
  • the augmented reality apparatus 1000 may change the direction of the camera 1300 to an angle corresponding to the photo taking mode, and then may take a photo. For example, after changing the direction of the camera 1300 to the front direction of the augmented reality apparatus 1000 , the augmented reality apparatus 1000 may acquire an image corresponding to the photo taking mode through the camera 1300 . .
  • the augmented reality apparatus 1000 may control the direction of the camera 1300 at an angle corresponding to the panoramic shooting mode.
  • the angle corresponding to the panoramic shooting mode is the direction toward the starting point of the panoramic shooting, or the angle of the camera 1300 is changed from the current angle of the camera 1300 just before the panoramic shooting mode to the starting point of the panoramic shooting. It can be any angle on the image.
  • the augmented reality apparatus 1000 may change the direction of the camera 1300 to an angle corresponding to the panoramic photographing mode, and then perform panoramic photographing. For example, the augmented reality apparatus 1000 changes the direction of the camera 1300 in a direction toward the starting point of the panorama photographing, and then horizontally or vertically through the camera 1300 , a plurality of images corresponding to the panoramic photographing mode. can be obtained
  • the augmented reality apparatus 1000 may control the direction of the camera 1300 at an angle corresponding to the object tracking mode.
  • the angle corresponding to the object tracking mode is the direction of the moving object, or any angle in the process of changing the angle of the camera 1300 from the current angle of the camera 1300 just before entering the object tracking mode to the direction of the moving object. can be
  • the augmented reality apparatus 1000 may change the direction of the camera 1300 to an angle corresponding to the object tracking mode, and then perform object tracking photographing. For example, the augmented reality apparatus 1000 changes the direction of the camera 1300 to the direction in which the moving object is, and then acquires a plurality of images corresponding to the object tracking mode according to the movement of the object through the camera 1300 . can do.
  • the augmented reality apparatus 1000 determines whether to terminate the operation mode when the operation mode is terminated.
  • FIG. 6 is a diagram illustrating a state in which the augmented reality apparatus 1000 scans a user's hand posture in a recognition mode.
  • the augmented reality apparatus 1000 may scan the user's hand posture through the camera 1300 in the recognition mode. In order to recognize the user's hand posture, the augmented reality apparatus 1000 may scan the user's hand posture by photographing the user's hand posture in a plurality of directions. Scanning the user's hand posture means continuously observing the user's hand in a plurality of directions, and may include not only continuous sensing but also intermittent sensing.
  • the augmented reality apparatus 1000 may change the direction of the camera 1300 to a preset angle corresponding to the recognition mode.
  • the camera 1300 may start scanning the user's hand posture after the direction is changed to a preset angle corresponding to the recognition mode, and even before the direction is changed to a preset angle corresponding to the recognition mode, the user may start scanning the hand posture of , and may start scanning the user's hand posture when the camera 1300 enters the recognition mode regardless of a change in the direction of the camera 1300 .
  • the augmented reality device 1000 changes the direction of the camera 1300 when the user's hand is sensed through the camera 1300 before completing the change of the direction of the camera 1300 to a preset angle corresponding to the recognition mode. It is also possible to scan the user's hand posture through the camera 1300 tilted to the angle at which the camera 1300 stops changing the direction.
  • changing the direction of the camera 1300 to an angle corresponding to the recognition mode is the angle of the camera 1300 from the current angle of the camera 1300 just before the recognition mode to a preset angle corresponding to the recognition mode. It includes changing the direction of the camera 1300 to an arbitrary angle in the process of being changed.
  • the angle corresponding to the recognition mode may be any angle in the process of changing the angle of the camera 1300 from the current angle of the camera 1300 just before entering the recognition mode to a preset angle corresponding to the recognition mode. have.
  • the camera 1300 of the augmented reality apparatus 1000 scans the user's hand posture at an angle downward from the front direction.
  • the augmented reality apparatus 1000 may scan the user's hand posture at a preset angle corresponding to the recognition mode.
  • the augmented reality apparatus 1000 may scan the user's hand posture even before the preset angle corresponding to the recognition mode is reached.
  • the augmented reality apparatus 1000 may switch to the recognition mode and scan the user's hand posture again.
  • the augmented reality device 1000 may change the direction of the camera 1300 to an angle corresponding to the recognition mode when the operation mode is terminated and switch to the recognition mode, and then perform the operation of scanning the user's hand posture again.
  • the angle corresponding to the recognition mode refers to a preset angle corresponding to the recognition mode from the current angle of the camera 1300 immediately before entering the recognition mode, that is, the current angle of the camera 1300 immediately after the work mode is terminated.
  • the angle of 1300 may be any angle in the process of being changed.
  • FIG. 7 is a diagram for explaining an example in which the augmented reality apparatus 1000 scans a user's hand posture to acquire a depth image and then recognizes a hand posture.
  • the augmented reality apparatus 1000 acquires a plurality of images by changing the direction of the camera 1300 to the left and right at an angle corresponding to the recognition mode, and based on the obtained plurality of images, depth information on the user's hand posture can be measured. For example, the augmented reality device 1000 lowers the camera 1300 to a predetermined angle and then controls the camera 1300 to face the left and right directions at least once, so that a plurality of images for the user's hand are Images can be obtained.
  • the augmented reality apparatus 1000 may measure depth information about the user's hand posture by using the plurality of acquired images, and may generate a depth image based on the measured depth information.
  • the augmented reality device 1000 changes the direction of the camera 1300 to the left and right to obtain the first image and the second image photographed in different directions with respect to the user's hand.
  • the augmented reality apparatus 1000 pans the camera 1300 based on the rotation center of the camera 1300 , the center position of the lens module of the camera 1300 and the second image when the first image is acquired A position difference between the center positions of the lens modules of the camera 1300 when acquiring .
  • the augmented reality apparatus 1000 finds feature points corresponding to each other in the two images based on the stereo vision method based on the position difference as a baseline, calculates a disparity that is an index of depth information at the feature points, and the user's Depth information about the hand posture may be measured, and a depth image may be generated based on the measured depth information.
  • the augmented reality device 1000 acquires images of the user's hand, and according to deep learning analysis using the depth information estimation model of the encoder-decoder structure, By measuring depth information about the user's hand posture, a depth image may be generated based on the measured depth information.
  • the encoder-decoder structure learned from a plurality of images and depth information analyzes the captured images through the encoder to extract depth-related features, and uses the extracted depth features to estimate depth information on the captured image through the decoder can do.
  • the augmented reality apparatus 1000 may detect hand region information based on a distance between the camera 1300 and the user's hand from a depth image indicating depth information on the user's hand posture.
  • the processor 1200 may recognize a hand posture based on the detected hand region information.
  • FIG 8 is a diagram for explaining a case in which the augmented reality apparatus 1000 recognizes a predetermined hand posture in a recognition mode.
  • the augmented reality apparatus 1000 may recognize the user's hand posture from an image obtained through the camera 1300 .
  • the augmented reality apparatus 1000 may recognize the user's hand posture.
  • the augmented reality apparatus 1000 scans the user's hand posture through the camera 1300 to set the user's hand posture in advance. It can be determined whether or not
  • the augmented reality apparatus 1000 may store information about a hand posture set in advance, and the user may define a new type of hand posture and store it in the augmented reality apparatus 1000 .
  • the augmented reality apparatus 1000 may display a virtual image corresponding to the recognized hand posture through a see-through display embedded in the lens unit.
  • a virtual corresponding to 'click' which is a hand posture recognized by the see-through display, is shown in FIG. 8 .
  • An image may be provided.
  • the user may know that the augmented reality apparatus 1000 has recognized the hand posture corresponding to the 'click' taken by the user.
  • the shape of the virtual image or the location where the virtual image is provided on the display is not limited to that illustrated in FIG. 8 , and the virtual image may not be provided on the display according to a setting option.
  • the augmented reality apparatus 1000 may have a work mode corresponding to each preset hand posture. For example, if the user's hand posture corresponds to the first hand posture, the augmented reality apparatus 1000 is switched from the recognition mode to the first working mode corresponding to the first hand posture, and the user's hand posture is the second hand posture If the posture corresponds to the posture, the augmented reality apparatus 1000 may be switched from the recognition mode to the second work mode corresponding to the second hand posture.
  • the recognition mode is switched to each operation mode will be described with reference to FIGS. 9 to 11 .
  • FIG. 9 is a diagram for explaining an operation in which the augmented reality apparatus 1000 takes a picture according to a picture taking mode.
  • the augmented reality device 1000 changes the direction of the camera 1300 to the front direction of the augmented reality device 1000 which is an angle corresponding to the photo taking mode, and then takes a picture through the camera 1300 .
  • a case in which an image corresponding to a mode is acquired is shown.
  • the augmented reality apparatus 1000 may display a virtual image corresponding to the photo taking mode through a see-through display embedded in the lens unit. As shown in FIG. 9 , while the user wearing the augmented reality device 1000 is looking at the object in the real world through the lens unit, a virtual image corresponding to the photo taking mode may be provided on the see-through display. have. Accordingly, the user may know that the augmented reality apparatus 1000 operates according to the photo taking mode and that the photo is being taken through the camera 1300 .
  • the shape of the virtual image corresponding to the photo taking mode or the location where the virtual image is provided on the display is not limited to that illustrated in FIG. 9 .
  • FIG. 10 is a diagram for explaining an operation in which the augmented reality apparatus 1000 performs panoramic photographing according to a panoramic photographing mode.
  • the augmented reality apparatus 1000 acquires the first image by changing the direction of the camera 1300 to acquire the first image, the second image, and the third image corresponding to the panoramic shooting mode. It may be changed from left to right so as to be changed into a shooting direction for obtaining the image, a shooting direction for obtaining a second image, and a shooting direction for obtaining a third image.
  • the augmented reality apparatus 1000 may display a virtual image corresponding to the panoramic photographing mode through a see-through display embedded in the lens unit. As shown in FIG. 10 , while the user wearing the augmented reality apparatus 1000 is looking at the real scene through the lens unit, a virtual image corresponding to the panoramic shooting mode may be provided on the see-through display. Accordingly, the user may know that the augmented reality apparatus 1000 operates according to the panoramic photographing mode, and that the panoramic photographing is being performed through the camera 1300 .
  • the shape of the virtual image corresponding to the panoramic photographing mode or the location at which the virtual image is provided on the display is not limited to that illustrated in FIG. 10 .
  • FIG. 11 is a diagram for explaining an operation in which the augmented reality apparatus 1000 performs object tracking and analysis according to an object tracking mode.
  • the augmented reality device 1000 changes the direction of the camera 1300 to the direction of the moving object, which is an angle corresponding to the object tracking mode, the object according to the movement of the object through the camera 1300 .
  • a case in which a plurality of images corresponding to the tracking mode is acquired is shown.
  • the augmented reality apparatus 1000 uses a camera 1300 to obtain a first image, a second image, a third image, a fourth image, and a fifth image corresponding to the object tracking mode.
  • the direction of the photographing direction for obtaining the first image, the photographing direction for obtaining the second image, the photographing direction for obtaining the third image, the photographing direction for obtaining the fourth image, and obtaining the fifth image It can be changed from right to left to change the shooting direction for
  • the augmented reality apparatus 1000 may display a virtual image corresponding to the object tracking mode through a see-through display embedded in the lens unit. As shown in FIG. 11 , a virtual image corresponding to the object tracking mode is provided on the see-through type display while the user wearing the augmented reality device 1000 is looking at a moving object in the real world through the lens unit. can Accordingly, the user may know that the augmented reality apparatus 1000 operates according to the object tracking mode, and object tracking is being captured through the camera 1300 .
  • the shape of the virtual image corresponding to the object tracking mode or the location where the virtual image is provided on the display is not limited to that illustrated in FIG. 11 .
  • FIG. 12 is a diagram for explaining an additional configuration of the augmented reality apparatus 1000 .
  • the augmented reality apparatus 1000 may further include a display engine unit 1400 , a display 1500 , and an eye tracking sensor 1600 in addition to the memory 1100 , the processor 1200 , and the camera 1300 described above.
  • it may include components such as a position sensor for detecting the position of the augmented reality device 1000, a communication interface unit for wired or wireless connection with other external devices, and a power supply unit for supplying power to the augmented reality device 1000.
  • a description thereof will be omitted.
  • the display engine unit 1400 may include an optical engine that generates and projects a virtual image, and a guide unit that guides the light of the virtual image projected from the optical engine to the display 1500 .
  • the display 1500 may include a see-through light guide plate (waveguide) embedded in the left eye lens unit and/or the right eye lens unit of the augmented reality apparatus 1000 .
  • the display 1500 may display information about an object, information about an operation of the augmented reality apparatus 1000, or a virtual image representing a control menu.
  • the user wearing the augmented reality device 1000 places the user's hand in the camera 1300 to detect the pop-up of the virtual image, and A hand posture of double-clicking a function of the augmented reality device 1000 in the pop-up may be taken.
  • the processor 1200 may change the direction of the camera 1300 according to the moving user's hand to manipulate the pop-up of the virtual image.
  • the gaze tracking sensor 1600 may detect gaze information such as a gaze direction toward which the user's eye is directed, a pupil position of the user's eye, or coordinates of a central point of the pupil.
  • the processor 1200 may determine an eye movement type based on the user's gaze information detected by the gaze tracking sensor 1600 . For example, based on the gaze information obtained from the gaze tracking sensor 1600 , the processor 1200 may perform a fixation of gazing at a certain place, a pursuit of chasing a moving object, and a gaze from one gaze point to another.
  • Various types of gaze movements including a saccade in which the gaze rapidly moves to a point can be determined.
  • the processor 1200 of the augmented reality apparatus 1000 may determine the user's gaze point or the user's gaze movement using the eye tracking sensor 1600 and use it to control the augmented reality apparatus 1000 .
  • the processor 1200 may obtain at least one image corresponding to the work mode through the camera 1300 by controlling the direction of the camera 1300 to the gaze point determined by the eye tracking sensor 1600 .
  • the processor 1200 determines the gaze point determined using a signal obtained from the eye tracking sensor 1600 . to control the direction of the camera 1300 .
  • the processor 1200 may acquire at least one image corresponding to the work mode through the camera 1300 by controlling the direction of the camera 1300 according to the gaze movement detected by the gaze tracking sensor 1600 .
  • the processor 1200 controls the direction of the camera 1300 according to the gaze movement detected by the gaze tracking sensor 1600 to take a panorama, track an object, or record a video according to the user's gaze movement.
  • the processor 1200 may determine the user's gaze point using the eye tracking sensor 1600 .
  • the processor 1200 may measure depth information about the object at the gaze point based on images acquired through the camera 1300 with respect to the gaze point.
  • the augmented reality apparatus 1000 changes the direction of the camera 1300 to the left and right by panning the camera 1300 based on the rotation center of the camera 1300 , so that different directions with respect to the gaze point.
  • the first image and the second image photographed with .
  • Based on the stereo vision method based on the position difference between the central position of the lens module of the camera 1300 when acquiring the first image and the central position of the lens module of the camera 1300 when acquiring the second image as a baseline In this way, it is possible to find feature points corresponding to each other in two images, calculate the variation that is an index of depth information at the feature points, measure depth information about the object at the gaze point, and generate a depth image based on the measured depth information.
  • the augmented reality apparatus 1000 acquires images of the object at the gaze point, and according to deep learning analysis using the depth information estimation model of the encoder-decoder structure, the object of the gaze point is The depth information may be measured to generate a depth image based on the measured depth information.
  • the augmented reality apparatus 1000 may detect an object at a point at which the user gazes based on the depth information through the generated depth image, and may also recognize the surrounding space including the object.
  • the augmented reality apparatus 1000 described in the present disclosure may be implemented as a hardware component, a software component, and/or a combination of a hardware component and a software component.
  • the augmented reality device 1000 described in the disclosed embodiments includes a processor, an arithmetic logic unit (ALU), an application specific integrated circuits (ASICs), a digital signal processors (DSPs), a digital signal processing device (DSPDs), It may be implemented using one or more general purpose or special purpose computers, such as Programmable Logic Devices (PLDs), microcomputers, microprocessors, or any other device capable of executing and responding to instructions.
  • ALU arithmetic logic unit
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing device
  • PLDs Programmable Logic Devices
  • microcomputers microprocessors, or any other device capable of executing and responding to instructions.
  • the software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device.
  • the software may be implemented as a computer program including instructions stored in a computer-readable storage medium.
  • the computer-readable recording medium includes, for example, a magnetic storage medium (eg, read-only memory (ROM), random-access memory (RAM), floppy disk, hard disk, etc.) and an optically readable medium (eg, CD-ROM). (CD-ROM), DVD (Digital Versatile Disc), etc.
  • the computer-readable recording medium is distributed among computer systems connected through a network, so that the computer-readable code can be stored and executed in a distributed manner.
  • the medium may be readable by a computer, stored in a memory, and executed on a processor.
  • the computer may include the augmented reality device 1000 according to the disclosed embodiments as a device capable of calling a stored instruction from a storage medium and operating according to the called instruction according to the disclosed embodiment.
  • the computer-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' means that the storage medium does not include a signal and is tangible, and does not distinguish that data is semi-permanently or temporarily stored in the storage medium.
  • the method for controlling the augmented reality apparatus 1000 may be included in a computer program product and provided.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product may include a software program, a computer-readable storage medium in which the software program is stored.
  • the computer program product is a product (eg, a downloadable application) in the form of a software program distributed electronically through a manufacturer of the augmented reality device 1000 or an electronic market (eg, Google Play Store, App Store). (downloadable application)).
  • a product eg, a downloadable application
  • the storage medium may be a server of a manufacturer, a server of an electronic market, or a storage medium of a relay server temporarily storing a software program.
  • the computer program product may include a storage medium of a server or a storage medium of a terminal in a system including a server and a terminal (eg, an augmented reality device).
  • a terminal eg, an augmented reality device
  • the computer program product may include a storage medium of the third device.
  • the computer program product may include the software program itself transmitted from the server to the terminal or third device, or transmitted from the third device to the terminal.
  • one of the server, the terminal, and the third device may execute the computer program product to perform the method according to the disclosed embodiments.
  • two or more of the server, the terminal, and the third device may execute the computer program product to distribute the method according to the disclosed embodiments.
  • a server may execute a computer program product stored in the server, and may control a terminal communicatively connected with the server to perform the method according to the disclosed embodiments.
  • the third device may execute a computer program product to control the terminal communicatively connected to the third device to perform the method according to the disclosed embodiment.
  • the third device may download the computer program product from the server and execute the downloaded computer program product.
  • the third device may execute the computer program product provided in a preloaded state to perform the method according to the disclosed embodiments.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

증강 현실 장치는 방향 전환이 가능한 카메라, 하나 이상의 명령어들을 저장하는 메모리, 및 메모리에 저장된 하나 이상의 명령어들을 실행하는 프로세서를 포함한다. 프로세서는 카메라를 제어함으로써, 카메라를 인식 모드에 대응되는 각도로 방향을 변경한 후, 카메라를 통해 획득되는 이미지로부터 사용자의 손 자세를 인식하고, 인식된 손 자세에 대응되는 작업 모드에 따라, 카메라를 작업 모드에 대응되는 각도로 방향을 변경한 후, 카메라를 통해 작업 모드에 대응되는 적어도 하나의 이미지를 획득한다.

Description

증강 현실 장치 및 그 제어 방법
증강 현실 장치 및 그 제어 방법에 관한 것이다.
증강 현실(Augmented Reality)은 현실 세계의 물리적 환경 공간이나 현실 객체(real world object) 상에 가상 이미지를 투영시켜 하나의 이미지로 보여주는 기술이다.
증강 현실 장치는 사용자의 안면부나 두부에 착용된 상태에서 사용자의 눈앞에 배치되는, 시스루(see-through) 형태의 디스플레이를 통해 현실 장면과 가상 이미지를 함께 볼 수 있게 한다.
증강 현실 장치를 장시간 착용하거나 잦은 착용이 있더라도, 사용자가 불편함을 느끼지 않도록, 증강 현실 장치를 경량화하고, 소형화하는 것이 중요하다.
방향 전환이 가능한 카메라를 구비하는 증강 현실 장치 및 그 제어 방법을 제공하는 것이다.
제1 측면에 따른 증강 현실 장치는, 방향 전환이 가능한 카메라, 명령어들을 저장하는 메모리, 및 상기 명령어들을 실행하여, 상기 카메라를 인식 모드에 대응되는 각도로 방향을 변경한 후, 상기 카메라를 통해 획득되는 이미지로부터 사용자의 손 자세를 인식하고, 상기 인식된 손 자세에 대응되는 작업 모드에 따라, 상기 카메라를 상기 작업 모드에 대응되는 각도로 방향을 변경한 후, 상기 카메라를 통해 상기 작업 모드에 대응되는 적어도 하나의 이미지를 획득하는 프로세서를 포함한다.
제2 측면에 따른 증강 현실 장치의 제어 방법은, 방향 전환이 가능한 카메라를 인식 모드에 대응되는 각도로 방향을 변경한 후, 사용자의 손 자세를 인식하는 단계, 및 상기 인식된 손 자세에 대응되는 작업 모드에 따라, 상기 카메라를 상기 작업 모드에 대응되는 각도로 방향을 변경한 후, 상기 작업 모드에 대응되는 적어도 하나의 이미지를 획득하는 단계를 포함한다.
제3 측면에 따른 컴퓨터로 읽을 수 있는 기록매체는, 방향 전환이 가능한 카메라를 인식 모드에 대응되는 각도로 방향을 변경한 후, 상기 카메라를 통해 획득되는 이미지로부터 사용자의 손 자세를 인식하는 명령어들, 및 상기 인식된 손 자세에 대응되는 작업 모드에 따라, 상기 카메라를 상기 작업 모드에 대응되는 각도로 방향을 변경한 후, 상기 카메라를 통해 상기 작업 모드에 대응되는 적어도 하나의 이미지를 획득하는 명령어들을 포함하는 컴퓨터에서 실행시키기 위한 프로그램을 기록한다.
도 1은 방향 전환이 가능한 카메라를 구비하는 증강 현실 장치를 나타낸 도면이다.
도 2는 증강 현실 장치의 구성을 설명하기 위한 도면이다.
도 3은 증강 현실 장치의 메모리, 프로세서, 및 카메라의 동작을 설명하기 위한 도면이다.
도 4는 증강 현실 장치에 구비된 카메라의 방향 전환의 일 예를 설명하기 위한 도면이다.
도 5는 증강 현실 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 6은 증강 현실 장치가 인식 모드에서 사용자의 손 자세를 스캔하는 모습을 나타낸 도면이다.
도 7은 증강 현실 장치가 사용자의 손 자세를 스캔하여 깊이 영상을 획득한 후 손 자세를 인식하는 일 예를 설명하기 위한 도면이다.
도 8은 증강 현실 장치가 인식 모드에서 소정의 손 자세를 인식한 경우를 설명하기 위한 도면이다.
도 9는 증강 현실 장치가 사진 촬영 모드에 따라 사진 촬영을 수행하는 작업을 설명하기 위한 도면이다.
도 10은 증강 현실 장치가 파노라마 촬영 모드에 따라 파노라마 촬영을 수행하는 작업을 설명하기 위한 도면이다.
도 11은 증강 현실 장치가 객체 추적 모드에 따라 객체 추적 및 분석을 수행하는 작업을 설명하기 위한 도면이다.
도 12는 증강 현실 장치의 추가 구성을 설명하기 위한 도면이다.
증강 현실 장치는, 방향 전환이 가능한 카메라, 명령어들을 저장하는 메모리, 및 상기 명령어들을 실행하여, 상기 카메라를 인식 모드에 대응되는 각도로 방향을 변경한 후, 상기 카메라를 통해 획득되는 이미지로부터 사용자의 손 자세를 인식하고, 상기 인식된 손 자세에 대응되는 작업 모드에 따라, 상기 카메라를 상기 작업 모드에 대응되는 각도로 방향을 변경한 후, 상기 카메라를 통해 상기 작업 모드에 대응되는 적어도 하나의 이미지를 획득하는 프로세서를 포함한다.
이하에서는 도면을 참조하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 개시에서, '증강 현실(AR : Augmented Reality)'은 현실 세계의 물리적 환경 공간 내에 가상 이미지를 함께 보여주거나 현실 객체와 가상 이미지를 함께 보여주는 것을 의미한다.
아울러, '증강 현실 장치(Augmented Reality Device)'라 함은 '증강 현실(Augmented Reality)'을 표현할 수 있는 장치로서, 일반적으로 사용자가 안면부(顔面部)에 착용하는 안경 형상의 증강 현실 안경 장치(Augmented Reality Glasses) 뿐만 아니라, 두부(頭部)에 착용하는 헤드 마운트 디스플레이 장치(HMD : Head Mounted Display Apparatus)나, 증강 현실 헬멧(Augmented Reality Helmet) 등을 포괄한다.
한편, '현실 장면(real scene)'이란 사용자가 증강 현실 장치를 통해서 보는 현실 세계의 장면으로서, 현실 객체(real world object)(들)를(을) 포함할 수 있다. 또한, '가상 이미지(virtual image)'는 광학 엔진을 통해 생성되는 이미지로 정적 이미지와 동적 이미지를 모두 포함할 수 있다. 이러한 가상 이미지는 현실 장면과 함께 관측되며, 현실 장면 속의 현실 객체에 대한 정보 또는 증강 현실 장치의 동작에 대한 정보나 제어 메뉴 등을 나타내는 이미지일 수 있다.
따라서, 일반적인 증강 현실 장치는 광원에서 생성된 광으로 구성되는 가상 이미지를 생성하기 위한 광학 엔진과 광학 엔진에서 생성된 가상 이미지를 사용자의 눈까지 안내하고 현실 세계의 장면도 함께 볼 수 있도록 투명한 재질로 형성된 도광판(웨이브가이드, Waveguide)를 구비한다. 전술한 바와 같이, 증강 현실 장치는 현실 세계의 장면도 함께 관측할 수 있어야 하므로 광학 엔진에서 생성된 광을 도광판을 통해 사용자의 눈까지 안내하기 위해서는 기본적으로 직진성을 가지는 광의 경로를 변경하기 위한 광학 소자(Optical element)가 필요하다. 이 때, 미러 등에 의한 반사를 이용하여 광 경로를 변경할 수도 있고, DOE(Diffractive optical element), HOE(Holographic optical element) 등과 같은 회절 소자에 의한 회절을 통해 광 경로를 변경할 수도 있으나 이에 한정되는 것은 아니다.
본 개시에서, '손 자세(pose)'는 손의 모습(appearance)이나 손의 동작(motion)을 포함하는 의미이며, 신호가 될 수 있는 다양한 형태의 손의 표현을 통칭하는 용어이다. 손의 모습은 손의 겉으로 나타난 모양을 의미한다. 손의 동작은 손의 움직임(movement) 또는 움직이는 모양이나 손짓(gesture)을 의미한다.
도 1은 방향 전환이 가능한 카메라(1300)을 구비하는 증강 현실 장치(1000)를 나타낸 도면이다.
도 1을 참조하면, 증강 현실 장치(1000)를 착용한 사용자는 현실 객체(이하, 객체)가 포함된 현실 장면에 가상 이미지가 투영된 증강 현실을 경험할 수 있다. 가상 이미지는 현실 장면 속의 객체에 대한 정보 또는 증강 현실 장치(1000)의 동작에 대한 정보이거나 제어 메뉴 등을 나타내는 이미지로서, 사용자는 현실 장면과 가상 이미지를 함께 관측할 수 있다. 도 1에서, 사용자는 안경 형태의 증강 현실 장치(1000)를 착용하고 있으나 이에 한정되는 것은 아니며, 이하, 다양한 형태의 장치들을 고려하여, 증강 현실 장치(1000)라고 통칭한다.
도 1에 도시된 바와 같이, 증강 현실 장치(1000)는 방향 전환이 가능한 카메라(1300)를 구비할 수 있다. 카메라(1300)는 방향 전환이 가능한 구조로 설계되어, 증강 현실 장치(1000)의 소정의 부분에 장착될 수 있다. 도 1에 도시된 바와 같이, 카메라(1300)는 좌안 렌즈부와 우안 렌즈부 사이를 연결하는 브릿지 프레임에 내장된 형태로 장착될 수 있으나, 이에 한정되는 것은 아니다. 카메라(1300)는 증강 현실 장치(1000)의 타입과 형태에 따라, 증강 현실 장치(1000)의 소정의 부분에 장착될 수 있다.
도 1을 참조하면, 증강 현실 장치(1000)는 인식 모드의 촬영 방향에 대응되는 각도 또는 작업 모드의 촬영 방향에 대응되는 각도로 카메라(1300)의 방향을 변경함을 알 수 있다. 인식 모드는 사용자의 손 자세를 인식하기 위한 증강 현실 장치(1000)의 제어 모드이다. 작업 모드는 증강 현실 장치(1000)의 소정의 동작이나 기능을 수행하기 위한 증강 현실 장치(1000)의 제어 모드로서, 사진 촬영 모드, 파노라마 촬영 모드, 객체 추적 모드, 공간 인식 모드 등 다양한 모드들이 있을 수 있다. 인식 모드의 촬영 방향에 대응되는 각도 또는 작업 모드의 촬영 방향에 대응되는 각도는 미리 설정된 값일 수 있으나, 사용자의 손의 위치나 현실 세계의 객체의 위치 등과 같은 상황 정보에 따라 적응적으로 변경될 수 있다.
증강 현실 장치(1000)는 인식 모드에서 카메라(1300)를 통해 사용자의 손을 스캔하며, 소정의 손 자세를 인식할 수 있다. 인식 모드에서는 사용자의 손을 감지하기에 최적인 각도로 카메라(1300)의 방향이 설정될 수 있다. 증강 현실 장치(1000)는 인식 모드에서 소정의 손 자세가 인식되면, 인식된 손 자세에 대응되는 작업 모드로 제어 모드를 전환할 수 있다. 증강 현실 장치(1000)는 작업 모드에서 카메라(1300)를 이용하여 작업 모드에 대응되는 소정의 동작이나 기능을 수행할 수 있으며, 이에 따라 적어도 하나의 이미지를 획득할 수 있다. 작업 모드에서는 각 작업 모드에 대응되는 각도로 카메라(1300)의 방향이 설정될 수 있다.
도 2는 증강 현실 장치(1000)의 구성을 설명하기 위한 도면이다.
도 2를 참조하면, 증강 현실 장치(1000)는 메모리(1100), 프로세서(1200), 및 카메라(1300)를 포함할 수 있다. 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 도 2에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 알 수 있다.
메모리(1100)는 프로세서(1200)에 의해 실행 가능한 명령어들을 저장할 수 있다. 메모리(1100)는 명령어들로 구성된 프로그램을 저장할 수 있다. 메모리(1100)는 예를 들어, 램(RAM, Random Access Memory), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), 플래시 메모리(flash memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 하드웨어 장치를 포함할 수 있다.
메모리(1100)는 명령어들을 포함하는 적어도 하나의 소프트웨어 모듈을 저장할 수 있다. 각 소프트웨어 모듈은 프로세서(1200)에 의해 실행됨으로써, 증강 현실 장치(1000)가 소정의 동작이나 기능을 수행하도록 한다. 예를 들어, 도 2에 도시된 바와 같이, 메모리(1100)는 인식 모드 모듈, 사진 촬영 모드 모듈, 파노라마 촬영 모드 모듈, 및 객체 추적 모드 모듈을 저장할 수 있으나, 이에 한정되는 것은 아니며, 이 중 일부를 저장하거나 다른 소프트웨어 모듈을 더 포함할 수 있다.
프로세서(1200)는 메모리(1100)에 저장된 명령어들이나 프로그램화된 소프트웨어 모듈을 실행함으로써, 증강 현실 장치(1000)가 수행하는 동작이나 기능을 제어할 수 있다. 프로세서(1200)는 산술, 로직 및 입출력 연산과 시그널 프로세싱을 수행하는 하드웨어 구성 요소로 구성될 수 있다.
프로세서(1200)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나의 하드웨어로 구성될 수 있으나, 이에 한정되는 것은 아니다.
카메라(1300)는 방향 전환이 가능하다. 카메라(1300)는 증강 현실 장치(1000)에서 방향 전환이 가능한 구조를 가지며, 상하 또는 좌우뿐만 아니라, 소정의 각도의 방향을 향할 수 있도록 설계된 카메라(1300)일 수 있다. 예를 들어, 카메라(1300)는 위치가 고정된 채, 카메라(1300)를 좌우로 방향을 회전시켜 대상을 촬영하는 팬(pan) 또는 카메라(1300)의 위치가 고정된 채, 카메라(1300)를 상하로 방향을 회전시켜 대상을 촬영하는 틸트(tilt) 동작을 수행할 수 있는 일명 팬틸트 카메라일 수 있다. 카메라(1300)는 복수의 축에 대하여 회동함으로써 소정의 각도로 촬영 방향을 제어할 수 있다. 예를 들어, 카메라(1300)는 가로 방향에 대응되는 제1 축에 대하여 회동하거나, 세로 방향에 대응되는 제2 축에 대하여 회동할 수 있다. 또는, 카메라(1300)는 좌측 상단에서 우측 하단으로 이어지는 대각선 방향에 대응되는 제1 축에 대하여 회동하거나, 우측 상단에서 좌측 하단으로 이어지는 대각선 방향에 대응되는 제2 축에 대하여 회동할 수 있다.
카메라(1300)는 방향 전환이 가능한 카메라(1300)는 ToF(Time-of-Flight) 센서와 RGB 카메라를 대체할 수 있다. 다시 말해, 깊이 정보를 측정하기 위한 ToF 센서와 피사체를 촬영하여 컬러 이미지를 획득하기 위한 RGB 카메라를 각각 구비하지 않더라도, 카메라(1300)를 여러 각도로 방향을 변경하면서 이미지를 획득하여 깊이 정보를 측정하고, 피사체를 향하도록 카메라(1300)의 방향을 제어하여 컬러 이미지를 획득할 수 있다. 방향 전환이 가능한 카메라(1300)를 구비하면, ToF 센서와 RGB 카메라 각각을 구비하는 것에 비해, 증강 현실 장치(1000)의 사이즈 및 부피를 감소시킬 수 있고, 무게도 낮출 수 있어, 증강 현실 장치(1000)의 소형화 및 경량화가 가능할 수 있다. 또한, ToF 센서는 일반적으로 적외선 또는 광을 투사하고 물체 또는 객체에 맞고 반사되어 돌아오기까지의 시간을 측정하거나 객체에 맞기 전/후의 적외선 또는 광의 위상차를 이용하는 센서로 적외선 또는 광을 투사하기 위한 적어도 하나의 광원으로 구성된 에미터(emitter)를 포함하므로 ToF 센서를 대체할 경우, 에미터에 의한 전력 소모 절감이 가능할 수 있다.
카메라(1300)는 인식 모드 또는 작업 모드에 따라 방향이 변경될 수 있다. 카메라(1300)는 인식 모드 또는 작업 모드에 따라 사전에 설정된 각도로 방향이 변경될 수 있다. 작업 모드는 사진 촬영 모드, 파노라마 촬영 모드, 객체 추적 모드 등이 될 수 있으며, 이에 제한되는 것은 아니다.
상기한 구성에 따라, 프로세서(1200)는 메모리(1100)에 저장된 인식 모드 모듈, 사진 촬영 모드 모듈, 파노라마 촬영 모드 모듈, 및 객체 추적 모드 모듈 중 적어도 하나를 실행하여, 카메라(1300)를 제어할 수 있다. 프로세서(1200)는 인식 모드 또는 작업 모드에 따라 카메라(1300)의 방향을 변경할 수 있다. 프로세서(1200)는 인식 모드 또는 작업 모드에 따라 사전에 설정된 각도로 카메라(1300)의 방향을 변경할 수 있다.
프로세서(1200)는 메모리(1100)에 저장된 명령어들을 실행하여, 카메라(1300)를 인식 모드에 대응되는 각도로 방향을 변경한 후, 카메라(1300)를 통해 획득되는 이미지로부터 사용자의 손 자세를 인식할 수 있다. 인식 모드에 대응되는 각도는 인식 모드에 대응되는 사전에 설정된 각도이거나, 인식 모드가 되기 직전의 카메라(1300)의 현재 각도에서 인식 모드에 대응되는 사전에 설정된 각도로 카메라(1300)의 각도가 변경되는 과정상의 임의의 각도일 수 있다.
프로세서(1200)는 사용자의 손을 프리 스캐닝(pre-scanning)하거나 사용자에 대응되는 프로파일을 이용하여 사용자의 손에 대한 정보를 획득할 수 있다. 사용자마다 손의 크기, 형태, 모양 등이 다르기 때문에, 사용자의 손 자세를 정확히 인식하기 위해, 증강 현실 장치(1000)의 최초의 인식 모드 시에 이와 같은 준비 프로세스가 수행될 수 있다. 프로세서(1200)는 획득된 사용자의 손에 대한 정보와 카메라(1300)를 통해 획득되는 이미지에 기초하여, 사용자의 손 자세를 검출할 수 있다. 준비 프로세스를 통해 사용자의 손에 대한 정보를 이용하여 사용자의 손을 미리 모델링해두면, 프로세서(1200)는 이후에 카메라(1300)를 통해 획득되는 이미지에서 사용자의 손 자세를 보다 정확히 인식할 수 있으나, 이와 같은 준비 프로세스가 반드시 요구되는 것은 아니다.
프로세서(1200)는 인식 모드에 대응되는 각도에서 카메라(1300)의 방향을 좌우로 변경하여 복수 장의 이미지들을 획득하고, 획득된 복수 장의 이미지들에 기초하여, 사용자의 손 자세에 대한 깊이 정보를 측정할 수 있다. 프로세서(1200)는 획득된 복수 장의 이미지들을 이용하여 사용자의 손 자세에 대한 깊이 정보를 측정할 수 있다. 프로세서(1200)는 사용자의 손 자세에 대한 깊이 정보를 나타내는 깊이 영상으로부터, 카메라(1300)와 사용자의 손 간의 거리에 기초하여 손 영역 정보를 검출할 수 있다. 프로세서(1200)는 검출한 손 영역 정보에 기초하여, 2차원의 손 자세 또는 3차원의 손 자세를 인식할 수 있다.
프로세서(1200)는 메모리(1100)에 저장된 명령어들을 실행하여, 인식된 손 자세에 대응되는 작업 모드에 따라, 카메라(1300)를 작업 모드에 대응되는 각도로 방향을 변경한 후, 카메라(1300)를 통해 작업 모드에 대응되는 적어도 하나의 이미지를 획득할 수 있다. 작업 모드에 대응되는 각도는 작업 모드에 대응되는 사전에 설정된 각도 또는 사전에 정의된 방향이거나, 작업 모드가 되기 직전의 카메라(1300)의 현재 각도에서 작업 모드에 대응되는 사전에 설정된 각도 또는 사전에 정의된 방향으로 카메라(1300)의 각도가 변경되는 과정상의 임의의 각도일 수 있다.
예를 들어, 프로세서(1200)는 작업 모드가 사진 촬영 모드인 경우, 카메라(1300)를 사진 촬영 모드에 대응되는 사전에 설정된 각도인, 증강 현실 장치(1000)의 정면 방향으로 방향을 변경한 후, 카메라(1300)를 통해 사진 촬영 모드에 대응되는 이미지를 획득할 수 있다.
다른 예를 들어, 프로세서(1200)는 작업 모드가 파노라마 촬영 모드인 경우, 카메라(1300)를 파노라마 촬영 모드에 대응되는 사전에 설정된 각도인, 파노라마 촬영의 시작점을 향하는 방향으로 방향을 변경한 후, 카메라(1300)를 통해 수평 또는 수직 방향으로 파노라마 촬영 모드에 대응되는 복수 장의 이미지들을 획득할 수 있다.
또 다른 예를 들어, 프로세서(1200)는 작업 모드가 객체 추적 모드인 경우, 카메라(1300)를 객체 추적 모드에 대응하여 사전에 정의된 방향인, 움직이는 객체가 있는 방향으로 방향을 변경한 후, 카메라(1300)를 통해 객체의 움직임에 따라 객체 추적 모드에 대응되는 복수 장의 이미지들을 획득할 수 있다.
한편, 증강 현실 장치(1000)에 시선 추적 센서(미도시)가 구비되어 있는 경우, 시선 추적 센서를 이용하여 획득할 수 있는 사용자의 응시 지점이나 사용자의 시선 이동(gaze shift)을 증강 현실 장치(1000)의 제어에 이용할 수 있다.
예를 들어, 프로세서(1200)는 카메라(1300)를 작업 모드에 대응되는 각도로 방향을 변경한 후, 시선 추적 센서를 이용하여 판단되는 응시 지점으로 카메라(1300)의 방향을 제어하여, 카메라(1300)를 통해 작업 모드에 대응되는 적어도 하나의 이미지를 획득할 수 있다. 사용자가 응시하는 객체에 대한 사진을 촬영하거나, 사용자가 응시하는 소정의 지점에 대한 깊이 정보를 획득하기 위해, 프로세서(1200)는 시선 추적 센서에 의해 판단되는 응시 지점으로 카메라(1300)의 방향을 제어할 수 있다.
다른 예를 들어, 프로세서(1200)는 카메라(1300)를 작업 모드에 대응되는 각도로 방향을 변경한 후, 시선 추적 센서를 이용하여 감지되는 시선 이동에 따라서 카메라(1300)의 방향을 제어하여, 카메라(1300)를 통해 작업 모드에 대응되는 적어도 하나의 이미지를 획득할 수 있다. 경치를 바라보는 사용자의 시선 이동에 따라 파노라마 촬영을 하거나, 움직이는 객체에 대한 사용자의 시선 이동에 따라 객체를 추적하거나, 사용자의 시선 이동에 따라 동영상을 촬영하기 위해, 프로세서(1200)는 시선 추적 센서에 의해 감지되는 시선 이동에 따라 카메라(1300)의 방향을 제어할 수 있다.
프로세서(1200)는 증강 현실 장치(1000)의 전원이 켜지거나 사용자가 증강 현실 장치(1000)의 사용을 시작하는 경우, 인식 모드에서 증강 현실 장치(1000)를 제어할 수 있다. 프로세서(1200)는 소정의 조건이 만족되면 인식 모드에서 작업 모드로 전환하여 증강 현실 장치(1000)의 소정의 동작이나 기능을 수행할 수 있다. 프로세서(1200)는 작업 모드가 종료되면, 증강 현실 장치(1000)를 인식 모드로 다시 전환할 수 있다.
도 3은 증강 현실 장치(1000)의 메모리(1100), 프로세서(1200), 및 카메라(1300)의 동작을 설명하기 위한 도면이다.
도 2에서 설명한 메모리(1100)와 프로세서(1200)에 대해 중복되는 내용은 이하 설명을 생략한다. 카메라(1300)는 카메라 구동 모듈(1310)과 이미지 처리 모듈(1330)을 포함할 수 있다. 프로세서(1200)는 메모리(1100)에 저장된 명령어들 또는 소프트웨어 모듈을 로딩하고 이를 실행함으로써, 카메라 구동 모듈(1310)에 구동 제어 신호를 전송하거나 이미지 처리 모듈(1330)에 촬영 제어 신호를 전송할 수 있다. 이미지 처리 모듈(1330)은 촬영 제어 신호에 따라 획득된 이미지를 메모리(1100)에 전송할 수 있다. 메모리(1100)는 획득된 이미지를 저장할 수 있으며, 프로세서(1200)는 증강 현실 장치(1000)의 제어에 사용되는 이미지를 메모리(1100)로부터 불러올 수 있다.
카메라 구동 모듈(1310)은 렌즈들을 포함하는 렌즈 모듈, AF(Auto Focus) 액추에이터를 포함할 수 있다. 렌즈 모듈은 경통부 내에 복수 개의 렌즈들이 배치된 구조를 가지며, 외부로부터 입사되는 광이 배치된 렌즈들을 통과하도록 할 수 있다. AF 액추에이터는 선명한 화질의 영상을 획득하기 위해, 렌즈들을 최적의 초점 위치로 이동시킬 수 있다. 예를 들어, AF 엑추에이터는 VCM(Voice Coil Motor) 방식일 수 있다. VCM 방식은 코일과 전자석을 이용하여, 렌즈 모듈이 앞뒤로 움직이게 함으로써, 렌즈들의 위치를 결정하여, 초점을 잡을 수 있다.
이미지 처리 모듈(1330)은 이미지 센서와 이미지 신호 프로세서를 포함할 수 있다. 이미지 센서는 CMOS(Complementary Metal Oxide Semiconductor) 센서 또는 CCD(Charge-Coupled Device)센서일 수 있으며, 광학 신호를 전기적 신호로 변환할 수 있다. 이미지 신호 프로세서는 이미지 센서에서 변환된 전기적 신호를 이미지 신호로 변환할 수 있다.
본 개시에서, 이미지 처리 모듈(1330)의 이미지 센서는 카메라 구동 모듈(1310)의 렌즈 모듈과 연결된 형태일 수 있다. 이미지 센서는 렌즈 모듈의 하부에 연결된 형태일 수 있다. 이미지 센서의 중심을 수직으로 지나는 축은 렌즈들의 중심을 지나는 광축(optical axis)과 동일한 축일 수 있다. 이미지 센서가 렌즈 모듈과 연결된 형태인 경우, 렌즈 모듈이 렌즈들의 광축 상의 중심점을 기준으로 소정의 각도만큼 움직이면, 이미지 센서 또한 소정의 각도만큼 움직이게 될 수 있다.
상기한 구성에 의하면, 프로세서(1200)는 메모리(1100)에 저장된 인식 모드 모듈을 실행하여, 카메라(1300)가 인식 모드에 대응되는 각도로 방향을 변경하도록 카메라 구동 모듈(1310)에 구동 제어 신호를 송신할 수 있다. 카메라 구동 모듈(1310)에 의해, 카메라(1300)가 인식 모드에 대응되는 각도로 방향이 변경되면, 프로세서(1200)는 사용자의 손 자세를 인식하기 위해, 이미지 처리 모듈(1330)에 촬영 제어 신호를 송신할 수 있다. 이미지 처리 모듈(1330)에 의해 획득된 이미지는 메모리(1100)에 저장되고, 프로세서(1200)는 이미지 처리 모듈(1330)에 의해 획득된 이미지로부터 사용자의 손 자세를 인식할 수 있다. 프로세서(1200)는 인식된 손 자세가 '클릭'에 해당하는 경우, 메모리(1100)에 저장된 사진 촬영 모드 모듈을 실행할 수 있다. 프로세서(1200)는 인식된 손 자세가 '드래그'에 해당하는 경우, 메모리(1100)에 저장된 파노라마 촬영 모드 모듈을 실행할 수 있다. 프로세서(1200)는 인식된 손 자세가 '더블 클릭'에 해당하는 경우, 메모리(1100)에 저장된 객체 추적 모드 모듈을 실행할 수 있다.
프로세서(1200)는 메모리(1100)에 저장된 사진 촬영 모드 모듈을 실행하여, 카메라(1300)가 사진 촬영 모드에 대응되는 각도로 방향을 변경하도록 카메라 구동 모듈(1310)에 구동 제어 신호를 송신할 수 있다. 카메라 구동 모듈(1310)에 의해, 카메라(1300)의 방향이 사진 촬영 모드에 대응되는 각도인, 증강 현실 장치(1000)의 정면 방향으로 변경되면, 프로세서(1200)는 사진 촬영 모드에 대응되는 이미지를 획득하기 위해, 이미지 처리 모듈(1330)에 촬영 제어 신호를 송신할 수 있다. 이미지 처리 모듈(1330)에 의해 획득된 이미지는 메모리(1100)에 저장될 수 있다.
프로세서(1200)는 메모리(1100)에 저장된 파노라마 촬영 모드 모듈을 실행하여, 카메라(1300)가 파노라마 촬영 모드에 대응되는 각도로 방향을 변경하도록 카메라 구동 모듈(1310)에 구동 제어 신호를 송신할 수 있다. 카메라 구동 모듈(1310)에 의해, 카메라(1300)의 방향이 파노라마 촬영 모드에 대응되는 각도인, 파노라마 촬영의 시작점을 향하는 방향으로 변경되면, 프로세서(1200)는 수평 또는 수직 방향으로 파노라마 촬영 모드에 대응되는 복수 장의 이미지들을 획득하기 위해, 이미지 처리 모듈(1330)에 촬영 제어 신호를 송신할 수 있다. 이미지 처리 모듈(1330)에 의해 획득된 복수 장의 이미지들은 메모리(1100)에 저장될 수 있다.
프로세서(1200)는 메모리(1100)에 저장된 객체 추적 모드 모듈을 실행하여, 카메라(1300)가 객체 추적 모드에 대응되는 각도로 방향을 변경하도록 카메라 구동 모듈(1310)에 구동 제어 신호를 송신할 수 있다. 카메라 구동 모듈(1310)에 의해, 카메라(1300)의 방향이 객체 추적 모드에 대응되는 사전에 정의된 방향인, 움직이는 객체가 있는 방향으로 변경되면, 프로세서(1200)는 객체 추적 모드에 대응되는 복수 장의 이미지들을 획득하기 위해, 이미지 처리 모듈(1330)에 촬영 제어 신호를 송신할 수 있다. 이미지 처리 모듈(1330)에 의해 획득된 복수 장의 이미지들은 메모리(1100)에 저장될 수 있다.
메모리(1100)에 저장된 적어도 하나의 이미지는 프로세서(1200)에 의해 후처리되어, 객체에 대한 사진이나 파노라마 영상, 또는 객체에 대한 분석 정보를 생성하는데 이용될 수 있다.
프로세서(1200)는 사진 촬영 모드 모듈이나 파노라마 촬영 모드 모듈, 또는 객체 추적 모드 모듈을 실행 완료한 경우, 다시 인식 모드 모듈을 실행할 수 있다.
도 4는 증강 현실 장치(1000)에 구비된 카메라(1300)의 방향 전환의 일 예를 설명하기 위한 도면이다.
증강 현실 장치(1000)는 인식 모드나 작업 모드에 따라 설정된 각도에 대응되는 방향으로 카메라(1300)의 방향을 변경할 수 있다. 증강 현실 장치(1000)는 카메라(1300)의 회전 중심을 기준으로 카메라(1300)를 틸팅(tilting)하여, 정면 방향보다 아래 또는 위로 카메라(1300)의 방향을 변경할 수 있다. 도 4에 도시된 바와 같이, 카메라(1300)는 가로 방향에 대응되는 제1 축에 대하여 회동할 수 있다.
증강 현실 장치(1000)는 인식 모드에서 사용자의 손 자세를 인식하기 위해, 인식 모드에 대응되는 각도로 방향을 변경할 수 있다. 도 4에 도시된 바와 같이, 증강 현실 장치(1000)는 정면 방향에 대해 A° 만큼 하향된 각도로 카메라(1300)의 방향을 변경할 수 있다. 증강 현실 장치(1000)는 작업 모드에서 카메라(1300)를 통해 작업 모드에 대응되는 적어도 하나의 이미지를 획득하기 위해, 작업 모드에 대응되는 각도로 방향을 변경할 수 있다. 예를 들어, 증강 현실 장치(1000)는 인식 모드에서 사진 촬영 모드로 전환되면, 카메라(1300)의 방향을 정면 방향으로 변경할 수 있다. 다른 예를 들어, 증강 현실 장치(1000)는 수직 방향으로 파노라마 촬영을 위해, 파노라마 촬영 모드에 대응되는 각도로 카메라(1300)의 방향을 변경할 수 있으며, 도 4에 도시된 바와 같이, 증강 현실 장치(1000)는 정면 방향에 대해 B° 만큼 상향된 각도로 카메라(1300)의 방향을 변경할 수 있으며, 수직 방향으로 파노라마 촬영이 진행되는 동안 카메라(1300)의 방향을 상하로 변경할 수 있다.
도 4에 도시된 바와 달리, 증강 현실 장치(1000)는 카메라(1300)의 회전 중심을 기준으로 카메라(1300)를 패닝(panning)하여, 좌측 방향 또는 우측 방향으로 카메라(1300)의 방향을 변경할 수도 있다. 이때, 카메라(1300)는 세로 방향에 대응되는 제2 축에 대하여 회동할 수 있다.
한편, 도 4에서는 카메라(1300) 전체가 증강 현실 장치(1000)에 내재된 모습을 도시하였으나, 카메라(1300)는 증강 현실 장치(1000)의 종류와 형태에 따라 일부가 도출되어 있거나 전부가 도출된 모습일 수도 있다.
도 5는 증강 현실 장치(1000)의 제어 방법을 설명하기 위한 흐름도이다.
510 단계에서, 증강 현실 장치(1000)는 인식 모드에 대응되는 각도로 카메라(1300)의 방향을 제어할 수 있다. 인식 모드에 대응되는 각도는 인식 모드에 대응되는 사전에 설정된 각도이거나, 인식 모드가 되기 직전의 카메라(1300)의 현재 각도에서 인식 모드에 대응되는 사전에 설정된 각도로 카메라(1300)의 각도가 변경되는 과정상의 임의의 각도일 수 있다.
520 단계에서, 증강 현실 장치(1000)는 카메라(1300)를 인식 모드에 대응되는 각도로 방향을 변경한 후, 카메라(1300)를 통해 획득되는 이미지로부터 사용자의 손 자세를 인식할 수 있다. 증강 현실 장치(1000)는 인식된 손 자세가 '클릭'에 해당하는 경우, 530 단계로 진행하고, 인식된 손 자세가 '드래그'에 해당하는 경우, 550 단계로 진행하며, 인식된 손 자세가 '더블 클릭'에 해당하는 경우, 570 단계로 진행할 수 있다. 다만, 이는 일 예일 뿐이며, 다양한 손 자세에 따라 각각에 대응되는 프로세스가 진행될 수 있다.
530 단계에서, 증강 현실 장치(1000)는 사진 촬영 모드에 대응되는 각도로 카메라(1300)의 방향을 제어할 수 있다. 사진 촬영 모드에 대응되는 각도는 증강 현실 장치(1000)의 정면 방향이거나, 사진 촬영 모드가 되기 직전의 카메라(1300)의 현재 각도에서 증강 현실 장치(1000)의 정면 방향으로 카메라(1300)의 각도가 변경되는 과정상의 임의의 각도일 수 있다.
540 단계에서, 증강 현실 장치(1000)는 카메라(1300)를 사진 촬영 모드에 대응되는 각도로 방향을 변경한 후, 사진 촬영을 수행할 수 있다. 예를 들어, 증강 현실 장치(1000)는 증강 현실 장치(1000)의 정면 방향으로 카메라(1300)의 방향을 변경한 후, 카메라(1300)를 통해 사진 촬영 모드에 대응되는 이미지를 획득할 수 있다.
550 단계에서, 증강 현실 장치(1000)는 파노라마 촬영 모드에 대응되는 각도로 카메라(1300)의 방향을 제어할 수 있다. 파노라마 촬영 모드에 대응되는 각도는 파노라마 촬영의 시작점을 향하는 방향이거나, 파노라마 촬영 모드가 되기 직전의 카메라(1300)의 현재 각도에서 파노라마 촬영의 시작점을 향하는 방향으로 카메라(1300)의 각도가 변경되는 과정상의 임의의 각도일 수 있다.
560 단계에서, 증강 현실 장치(1000)는 카메라(1300)를 파노라마 촬영 모드에 대응되는 각도로 방향을 변경한 후, 파노라마 촬영을 수행할 수 있다. 예를 들어, 증강 현실 장치(1000)는 파노라마 촬영의 시작점을 향하는 방향으로 카메라(1300)의 방향을 변경한 후, 카메라(1300)를 통해 수평 또는 수직 방향으로 파노라마 촬영 모드에 대응되는 복수 장의 이미지들을 획득할 수 있다.
570 단계에서, 증강 현실 장치(1000)는 객체 추적 모드에 대응되는 각도로 카메라(1300)의 방향을 제어할 수 있다. 객체 추적 모드에 대응되는 각도는 움직이는 객체가 있는 방향이거나, 객체 추적 모드가 되기 직전의 카메라(1300)의 현재 각도에서 움직이는 객체가 있는 방향으로 카메라(1300)의 각도가 변경되는 과정상의 임의의 각도일 수 있다.
580 단계에서, 증강 현실 장치(1000)는 카메라(1300)를 객체 추적 모드에 대응되는 각도로 방향을 변경한 후, 객체 추적 촬영을 수행할 수 있다. 예를 들어, 증강 현실 장치(1000)는 움직이는 객체가 있는 방향으로 카메라(1300)의 방향을 변경한 후, 카메라(1300)를 통해 객체의 움직임에 따라 객체 추적 모드에 대응되는 복수 장의 이미지들을 획득할 수 있다.
590 단계에서, 증강 현실 장치(1000)는 작업 모드가 종료되면, 종료할 것인지 판단하여, 종료하지 않는 경우, 다시 510 단계로 진행하고, 종료하는 경우, 종료할 수 있다.
도 6은 증강 현실 장치(1000)가 인식 모드에서 사용자의 손 자세를 스캔하는 모습을 나타낸 도면이다.
증강 현실 장치(1000)는 인식 모드에서 카메라(1300)를 통해 사용자의 손 자세를 스캔할 수 있다. 사용자의 손 자세를 인식하기 위해, 증강 현실 장치(1000)는 사용자의 손 자세를 복수의 방향에 따라 촬영함으로써, 사용자의 손 자세를 스캔할 수 있다. 사용자의 손 자세를 스캔하는 것은 사용자의 손을 복수의 방향으로 계속해서 관찰하는 것을 의미하며, 연속적으로 감지하는 경우뿐만 아니라 간헐적으로 감지하는 경우도 포함될 수 있다.
증강 현실 장치(1000)는 인식 모드에 대응되는 사전에 설정된 각도로 카메라(1300)의 방향을 변경할 수 있다. 이때, 카메라(1300)는 인식 모드에 대응되는 사전에 설정된 각도로 방향이 변경된 후 사용자의 손 자세를 스캔하는 것을 시작할 수도 있고, 인식 모드에 대응되는 사전에 설정된 각도로 방향이 변경되기 전이라도 사용자의 손 자세를 스캔하는 것을 시작할 수도 있으며, 카메라(1300)의 방향 변경과 상관없이, 인식 모드가 되면, 사용자의 손 자세를 스캔하는 것을 시작할 수도 있다.
증강 현실 장치(1000)는 인식 모드에 대응되는 사전에 설정된 각도로 카메라(1300)의 방향을 변경 완료하기 전에, 카메라(1300)를 통해 사용자의 손이 감지되면, 카메라(1300)의 방향을 변경하는 것을 중지하고, 카메라(1300)의 방향 변경이 중지된 해당 각도로 틸트된(tilted) 카메라(1300)를 통해 사용자의 손 자세를 스캔할 수도 있다.
따라서, 인식 모드에 대응되는 각도로 카메라(1300)의 방향을 변경하는 것은 인식 모드가 되기 직전의 카메라(1300)의 현재 각도에서 인식 모드에 대응되는 사전에 설정된 각도로 카메라(1300)의 각도가 변경되는 과정상의 임의의 각도로 카메라(1300)의 방향을 변경하는 것을 포함한다. 다시 말해, 인식 모드에 대응되는 각도란 인식 모드가 되기 직전의 카메라(1300)의 현재 각도에서 인식 모드에 대응되는 사전에 설정된 각도로 카메라(1300)의 각도가 변경되는 과정상의 임의의 각도일 수 있다.
도 6을 참조하면, 증강 현실 장치(1000)를 착용한 사용자는 정면 방향을 바라보고 있지만, 증강 현실 장치(1000)의 카메라(1300)는 정면 방향으로부터 하향된 각도에서 사용자의 손 자세를 스캔할 수 있다. 예를 들어, 증강 현실 장치(1000)의 카메라(1300)가 인식 모드에 대응되는 사전에 설정된 각도로 방향이 변경된 후에, 사용자의 손이 카메라(1300)에 감지된 경우, 증강 현실 장치(1000)는 인식 모드에 대응되는 사전에 설정된 각도에서 사용자의 손 자세를 스캔할 수 있다. 다른 예를 들어, 증강 현실 장치(1000)의 카메라(1300)가 인식 모드에 대응되는 사전에 설정된 각도로 방향이 변경 완료되기 전, 사용자가 손을 들어 사용자의 손이 카메라(1300)에 감지된 경우, 증강 현실 장치(1000)는 인식 모드에 대응되는 사전에 설정된 각도가 되기 전이라도, 사용자의 손 자세를 스캔할 수 있다.
한편, 증강 현실 장치(1000)는 작업 모드가 종료되면, 인식 모드로 전환되어 사용자의 손 자세를 다시 스캔할 수 있다. 증강 현실 장치(1000)는 작업 모드가 종료되어 인식 모드로 전환되는 경우, 인식 모드에 대응되는 각도로 카메라(1300)의 방향을 변경한 후, 사용자의 손 자세를 스캔하는 동작을 다시 수행할 수 있다. 이때, 인식 모드에 대응되는 각도란 인식 모드가 되기 직전의 카메라(1300)의 현재 각도 즉, 작업 모드가 종료된 직후의 카메라(1300)의 현재 각도에서 인식 모드에 대응되는 사전에 설정된 각도로 카메라(1300)의 각도가 변경되는 과정상의 임의의 각도일 수 있다.
도 7은 증강 현실 장치(1000)가 사용자의 손 자세를 스캔하여 깊이 영상을 획득한 후 손 자세를 인식하는 일 예를 설명하기 위한 도면이다.
증강 현실 장치(1000)는 인식 모드에 대응되는 각도에서 카메라(1300)의 방향을 좌우로 변경하여 복수 장의 이미지들을 획득하고, 획득된 복수 장의 이미지들에 기초하여, 사용자의 손 자세에 대한 깊이 정보를 측정할 수 있다. 예를 들어, 증강 현실 장치(1000)는 카메라(1300)를 소정의 각도가 되도록 방향을 하향시킨 후 카메라(1300)를 적어도 한 번 이상 좌우 방향을 향하도록 제어하여, 사용자의 손에 대한 복수 장의 이미지들을 획득할 수 있다. 증강 현실 장치(1000)는 획득된 복수 장의 이미지들을 이용하여 사용자의 손 자세에 대한 깊이 정보를 측정하고, 측정된 깊이 정보에 기초한 깊이 영상을 생성할 수 있다.
도 7에 도시된 일 예를 보면, 증강 현실 장치(1000)는 카메라(1300)의 방향을 좌우로 변경하여, 사용자의 손에 대해 서로 다른 방향으로 촬영된 제1 이미지와 제2 이미지를 획득할 수 있다. 증강 현실 장치(1000)가 카메라(1300)의 회전 중심을 기준으로 카메라(1300)를 패닝(panning)하면, 제1 이미지를 획득할 때의 카메라(1300)의 렌즈 모듈의 중심 위치와 제2 이미지를 획득할 때의 카메라(1300)의 렌즈 모듈의 중심 위치 간의 위치 차이가 형성될 수 있다. 증강 현실 장치(1000)는 이와 같은 위치 차이를 베이스라인으로 하는 스테레오 비전 방식에 기초하여, 두 이미지에서 서로 대응되는 특징점을 찾아내고, 특징점에서의 깊이 정보의 지표가 되는 변이를 계산하여, 사용자의 손 자세에 대한 깊이 정보를 측정하고, 측정된 깊이 정보에 기초한 깊이 영상을 생성할 수 있다.
한편, 도 7에 도시된 예와 달리, 증강 현실 장치(1000)는 사용자의 손에 대해 이미지들을 획득하고, 인코더-디코더 구조의 깊이 정보 추정 모델을 활용한 딥 러닝(deep learning) 분석에 따라, 사용자의 손 자세에 대한 깊이 정보를 측정하여, 측정된 깊이 정보에 기초한 깊이 영상을 생성할 수 있다. 복수의 이미지들과 깊이 정보로 학습한 인코더-디코더 구조는 촬영한 이미지들을 인코더를 통해 분석하여 깊이와 관련된 특징들을 추출하고, 추출한 깊이 특징들을 이용하여 디코더를 통해 촬영한 이미지에 대한 깊이 정보를 추정할 수 있다.
증강 현실 장치(1000)는 사용자의 손 자세에 대한 깊이 정보를 나타내는 깊이 영상으로부터, 카메라(1300)와 사용자의 손 간의 거리에 기초하여 손 영역 정보를 검출할 수 있다. 프로세서(1200)는 검출한 손 영역 정보에 기초하여, 손 자세를 인식할 수 있다.
도 8은 증강 현실 장치(1000)가 인식 모드에서 소정의 손 자세를 인식한 경우를 설명하기 위한 도면이다.
증강 현실 장치(1000)는 카메라(1300)를 인식 모드에 대응되는 각도로 방향을 변경한 후, 카메라(1300)를 통해 획득되는 이미지로부터 사용자의 손 자세를 인식할 수 있다. 사용자의 눈의 시선과 증강 현실 장치(1000)의 카메라(1300)의 촬영 방향이 동시에 다른 곳을 향한 상태에서, 증강 현실 장치(1000)는 사용자의 손 자세를 인식할 수 있다. 증강 현실 장치(1000)를 착용한 사용자가 현실 세계의 객체를 보는 상태에서, 증강 현실 장치(1000)는 카메라(1300)를 통해 사용자의 손 자세를 스캔하여 사용자의 손 자세가 사전에 설정된 손 자세에 매칭되는지 판단할 수 있다. 증강 현실 장치(1000)는 사전에 설정된 손 자세에 대한 정보를 저장하고 있을 수 있으며, 사용자는 새로운 형태의 손 자세를 정의하여 증강 현실 장치(1000)에 저장해 둘 수도 있다.
도 8을 참조하면, 증강 현실 장치(1000)가 카메라(1300)를 인식 모드에 대응되는 각도로 방향을 변경한 후, 사용자의 손 자세를 스캔하여 인식한 사용자의 손 자세가 '클릭'에 해당하는 경우를 나타내고 있다. 증강 현실 장치(1000)는 인식된 손 자세에 대응되는 가상 이미지를 렌즈부에 내재된 시스루 형태의 디스플레이를 통해 나타낼 수 있다. 도 8에 도시된 바와 같이, 증강 현실 장치(1000)를 착용한 사용자가 렌즈부를 통해 현실 세계의 객체를 바라보고 있는 상태에서, 시스루 형태의 디스플레이에 인식된 손 자세인 '클릭'에 대응되는 가상 이미지가 제공될 수 있다. 이에 따라, 사용자는 자신이 취한 '클릭'에 해당하는 손 자세를 증강 현실 장치(1000)가 인식하였음을 알 수 있다. 가상 이미지의 모양이나 가상 이미지가 디스플레이에 제공된 위치는 도 8에 도시된 것에 제한되지 않으며, 설정 옵션에 따라 가상 이미지가 디스플레이에 제공되지 않도록 할 수도 있다.
한편, 증강 현실 장치(1000)는 사전에 설정된 손 자세마다 대응되는 작업 모드를 가질 수 있다. 예를 들어, 사용자의 손 자세가 제1 손 자세에 해당하면, 증강 현실 장치(1000)는 인식 모드에서 제1 손 자세에 대응되는 제1 작업 모드로 전환되고, 사용자의 손 자세가 제2 손 자세에 해당하면, 증강 현실 장치(1000)는 인식 모드에서 제2 손 자세에 대응되는 제2 작업 모드로 전환될 수 있다. 이하, 도 9 내지 도 11를 참조하여, 인식 모드에서 각 작업 모드로 전환된 경우에 대해서 설명한다.
도 9는 증강 현실 장치(1000)가 사진 촬영 모드에 따라 사진 촬영을 수행하는 작업을 설명하기 위한 도면이다.
도 9를 참조하면, 증강 현실 장치(1000)가 카메라(1300)를 사진 촬영 모드에 대응되는 각도인 증강 현실 장치(1000)의 정면 방향으로 방향을 변경한 후, 카메라(1300)를 통해 사진 촬영 모드에 대응되는 이미지를 획득하는 경우를 나타내고 있다.
증강 현실 장치(1000)는 사진 촬영 모드에 대응되는 가상 이미지를 렌즈부에 내재된 시스루 형태의 디스플레이를 통해 나타낼 수 있다. 도 9에 도시된 바와 같이, 증강 현실 장치(1000)를 착용한 사용자가 렌즈부를 통해 현실 세계의 객체를 바라보고 있는 상태에서, 시스루 형태의 디스플레이에 사진 촬영 모드에 대응되는 가상 이미지가 제공될 수 있다. 이에 따라, 사용자는 증강 현실 장치(1000)가 사진 촬영 모드에 따라 동작하여, 카메라(1300)를 통해 사진 촬영이 수행되고 있음을 알 수 있다. 사진 촬영 모드에 대응되는 가상 이미지의 모양이나 가상 이미지가 디스플레이에 제공된 위치는 도 9에 도시된 것에 제한되지 않는다.
도 10은 증강 현실 장치(1000)가 파노라마 촬영 모드에 따라 파노라마 촬영을 수행하는 작업을 설명하기 위한 도면이다.
도 10을 참조하면, 증강 현실 장치(1000)가 카메라(1300)를 파노라마 촬영 모드에 대응되는 각도인 파노라마 촬영의 시작점을 향하는 방향으로 방향을 변경한 후, 카메라(1300)를 통해 수평 또는 수직 방향으로 파노라마 촬영 모드에 대응되는 복수 장의 이미지들을 획득하는 경우를 나타내고 있다. 도 10에 도시된 바와 같이, 증강 현실 장치(1000)는 파노라마 촬영 모드에 대응되는 제1 이미지, 제2 이미지, 및 제3 이미지를 획득하기 위해, 카메라(1300)의 방향을 제1 이미지를 획득하기 위한 촬영 방향, 제2 이미지를 획득하기 위한 촬영 방향, 및 제3 이미지를 획득하기 위한 촬영 방향으로 변경되도록 좌측에서 우측으로 변경할 수 있다.
증강 현실 장치(1000)는 파노라마 촬영 모드에 대응되는 가상 이미지를 렌즈부에 내재된 시스루 형태의 디스플레이를 통해 나타낼 수 있다. 도 10에 도시된 바와 같이, 증강 현실 장치(1000)를 착용한 사용자가 렌즈부를 통해 현실 장면을 바라보고 있는 상태에서, 시스루 형태의 디스플레이에 파노라마 촬영 모드에 대응되는 가상 이미지가 제공될 수 있다. 이에 따라, 사용자는 증강 현실 장치(1000)가 파노라마 촬영 모드에 따라 동작하여, 카메라(1300)를 통해 파노라마 촬영이 수행되고 있음을 알 수 있다. 파노라마 촬영 모드에 대응되는 가상 이미지의 모양이나 가상 이미지가 디스플레이에 제공된 위치는 도 10에 도시된 것에 제한되지 않는다.
도 11은 증강 현실 장치(1000)가 객체 추적 모드에 따라 객체 추적 및 분석을 수행하는 작업을 설명하기 위한 도면이다.
도 11을 참조하면, 증강 현실 장치(1000)가 카메라(1300)를 객체 추적 모드에 대응되는 각도인 움직이는 객체가 있는 방향으로 방향을 변경한 후, 카메라(1300)를 통해 객체의 움직임에 따라 객체 추적 모드에 대응되는 복수 장의 이미지들을 획득하는 경우를 나타내고 있다. 도 11에 도시된 바와 같이, 증강 현실 장치(1000)는 객체 추적 모드에 대응되는 제1 이미지, 제2 이미지, 제3 이미지, 제4 이미지, 및 제5 이미지를 획득하기 위해, 카메라(1300)의 방향을 제1 이미지를 획득하기 위한 촬영 방향, 제2 이미지를 획득하기 위한 촬영 방향, 제3 이미지를 획득하기 위한 촬영 방향, 제4 이미지를 획득하기 위한 촬영 방향, 및 제5 이미지를 획득하기 위한 촬영 방향으로 변경되도록 우측에서 좌측으로 변경할 수 있다.
증강 현실 장치(1000)는 객체 추적 모드에 대응되는 가상 이미지를 렌즈부에 내재된 시스루 형태의 디스플레이를 통해 나타낼 수 있다. 도 11에 도시된 바와 같이, 증강 현실 장치(1000)를 착용한 사용자가 렌즈부를 통해 현실 세계의 움직이는 객체를 바라보고 있는 상태에서, 시스루 형태의 디스플레이에 객체 추적 모드에 대응되는 가상 이미지가 제공될 수 있다. 이에 따라, 사용자는 증강 현실 장치(1000)가 객체 추적 모드에 따라 동작하여, 카메라(1300)를 통해 객체 추적 촬영이 수행되고 있음을 알 수 있다. 객체 추적 모드에 대응되는 가상 이미지의 모양이나 가상 이미지가 디스플레이에 제공된 위치는 도 11에 도시된 것에 제한되지 않는다.
도 12는 증강 현실 장치(1000)의 추가 구성을 설명하기 위한 도면이다.
증강 현실 장치(1000)는 앞서 설명한 메모리(1100), 프로세서(1200), 카메라(1300) 외에 디스플레이 엔진부(1400), 디스플레이(1500), 시선 추적 센서(1600)를 더 포함할 수 있다. 그 외에도 증강 현실 장치(1000)의 위치를 감지하는 위치 센서나 다른 외부 기기와 유선 또는 무선으로 연결하기 위한 통신 인터페이스부, 증강 현실 장치(1000)에 전원을 공급하는 전원부와 같은 구성들도 포함할 수 있으나, 이에 대한 설명은 생략한다.
디스플레이 엔진부(1400)는 가상 이미지를 생성하여 투사하는 광학 엔진과 광학 엔진으로부터 투사된 가상 이미지의 광을 디스플레이(1500)까지 안내하는 가이드부를 포함할 수 있다. 디스플레이(1500)는 증강 현실 장치(1000)의 좌안 렌즈부 및/또는 우안 렌즈부에 내재된 시스루 형태의 도광판(웨이브가이드, Waveguide)을 포함할 수 있다. 디스플레이(1500)는 객체에 대한 정보 또는 증강 현실 장치(1000)의 동작에 대한 정보나 제어 메뉴를 나타내는 가상 이미지를 디스플레이할 수 있다.
디스플레이(1500)에 가상 이미지의 팝업이 표시되는 경우, 증강 현실 장치(1000)를 착용한 사용자는 가상 이미지의 팝업을 조작하기 위해 카메라(1300)에 사용자의 손이 검출되도록 위치시키고, 가상 이미지의 팝업에 있는 증강 현실 장치(1000)의 기능을 더블 클릭하는 손 자세를 취할 수 있다. 프로세서(1200)는 가상 이미지의 팝업을 조작하기 위해 이동하는 사용자의 손을 따라 카메라(1300)의 방향을 변경할 수 있다.
시선 추적 센서(1600)는 사용자 눈이 향하는 시선 방향, 사용자 눈의 동공 위치 또는 동공의 중심점 좌표 등 시선 정보를 검출할 수 있다. 프로세서(1200)는 시선 추적 센서(1600)에서 검출된 사용자의 시선 정보에 에 기초하여, 안구 움직임(eye movement) 형태를 판단할 수 있다. 예를 들어, 프로세서(1200)는 시선 추적 센서(1600)로부터 획득된 시선 정보에 기초하여, 어느 한 곳을 주시하는 고정(fixation), 움직이는 객체를 쫓는 추적(pursuit), 한 응시 지점에서 다른 응시 지점으로 신속하게 시선이 이동하는 도약(saccade) 등을 포함한 다양한 형태의 시선 움직임을 판단할 수 있다.
증강 현실 장치(1000)의 프로세서(1200)는 시선 추적 센서(1600)를 이용하여 사용자의 응시 지점이나 사용자의 시선 이동을 판단하여, 증강 현실 장치(1000)의 제어에 이용할 수 있다. 프로세서(1200)는 시선 추적 센서(1600)에 의해 판단되는 응시 지점으로 카메라(1300)의 방향을 제어하여, 카메라(1300)를 통해 작업 모드에 대응되는 적어도 하나의 이미지를 획득할 수 있다. 사용자가 응시하는 객체에 대한 사진을 촬영하거나, 사용자가 응시하는 소정의 지점에 대한 깊이 정보를 획득하기 위해, 프로세서(1200)는 시선 추적 센서(1600)로부터 획득된 신호를 이용하여 판단되는 응시 지점으로 카메라(1300)의 방향을 제어할 수 있다. 프로세서(1200)는 시선 추적 센서(1600)에 의해 감지되는 시선 이동에 따라서 카메라(1300)의 방향을 제어하여, 카메라(1300)를 통해 작업 모드에 대응되는 적어도 하나의 이미지를 획득할 수 있다. 사용자의 시선 이동에 따라 파노라마 촬영을 하거나, 객체를 추적하거나, 동영상을 촬영하기 위해, 프로세서(1200)는 시선 추적 센서(1600)에 의해 감지되는 시선 이동에 따라 카메라(1300)의 방향을 제어할 수 있다.
도 12에 도시된 증강 현실 장치(1000)를 착용한 사용자가 디스플레이 엔진부(1400)와 디스플레이(1500)를 통해 제공되는 가상 이미지의 팝업에서 공간 인식을 위한 깊이 정보 측정 기능을 더블 클릭한 경우, 프로세서(1200)는 카메라(1300)를 공간 인식 모드에 대응되는 각도로 방향을 변경한 후, 시선 추적 센서(1600)를 이용하여 사용자의 응시 지점을 판단할 수 있다. 프로세서(1200)는 응시 지점에 대해서 카메라(1300)를 통해 획득되는 이미지들에 기초하여, 응시 지점의 객체에 대한 깊이 정보를 측정할 수 있다.
예를 들어, 증강 현실 장치(1000)는 카메라(1300)의 회전 중심을 기준으로 카메라(1300)를 패닝(panning)함으로써 카메라(1300)의 방향을 좌우로 변경하여, 응시 지점에 대해 서로 다른 방향으로 촬영된 제1 이미지와 제2 이미지를 획득할 수 있다. 제1 이미지를 획득할 때의 카메라(1300)의 렌즈 모듈의 중심 위치와 제2 이미지를 획득할 때의 카메라(1300)의 렌즈 모듈의 중심 위치 간의 위치 차이를 베이스라인으로 하는 스테레오 비전 방식에 기초하여, 두 이미지에서 서로 대응되는 특징점을 찾아내고, 특징점에서의 깊이 정보의 지표가 되는 변이를 계산하여, 응시 지점의 객체에 대한 깊이 정보를 측정하고, 측정된 깊이 정보에 기초한 깊이 영상을 생성할 수 있다. 다른 예를 들어, 증강 현실 장치(1000)는 응시 지점의 객체에 대한 이미지들을 획득하고, 인코더-디코더 구조의 깊이 정보 추정 모델을 활용한 딥 러닝(deep learning) 분석에 따라, 응시 지점의 객체에 대한 깊이 정보를 측정하여, 측정된 깊이 정보에 기초한 깊이 영상을 생성할 수도 있다.
증강 현실 장치(1000)는 생성된 깊이 영상을 통해, 깊이 정보에 기초하여, 사용자가 응시하는 지점의 객체를 검출할 수 있고, 객체를 포함한 주변의 공간도 인식할 수 있다.
본 개시에서 설명된 증강 현실 장치(1000)는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 개시된 실시예들에서 설명된 증강 현실 장치(1000)는 프로세서, ALU(arithmetic logic unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 마이크로컴퓨터, 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.
소프트웨어는, 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 컴퓨터 프로그램으로 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체로는, 예를 들어 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD, Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
컴퓨터는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 개시된 실시예에 따른 동작이 가능한 장치로서, 개시된 실시예들에 따른 증강 현실 장치(1000)를 포함할 수 있다.
컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 개시된 실시예들에 따른 증강 현실 장치(1000)의 제어 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 소프트웨어 프로그램, 소프트웨어 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 증강 현실 장치(1000)의 제조사 또는 전자 마켓(예를 들어, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 소프트웨어 프로그램 형태의 상품(예를 들어, 다운로드 가능한 애플리케이션(downloadable application))을 포함할 수 있다. 전자적 배포를 위하여, 소프트웨어 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 소프트웨어 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 서버 및 단말(예를 들어, 증강 현실 장치)로 구성되는 시스템에서, 서버의 저장매체 또는 단말의 저장매체를 포함할 수 있다. 또는, 서버 또는 단말과 통신 연결되는 제3 장치(예, 스마트 폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 단말 또는 제3 장치로 전송되거나, 제3 장치로부터 단말로 전송되는 소프트웨어 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 단말 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 단말 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 단말이 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
또 다른 예로, 제3 장치가 컴퓨터 프로그램 제품을 실행하여, 제3 장치와 통신 연결된 단말이 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다.
제3 장치가 컴퓨터 프로그램 제품을 실행하는 경우, 제3 장치는 서버로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제3 장치는 프리로드된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 설명된 전자 장치, 구조, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (15)

  1. 방향 전환이 가능한 카메라;
    하나 이상의 명령어들을 저장하는 메모리; 및
    상기 하나 이상의 명령어들을 실행하는 프로세서를 포함하며,
    상기 프로세서는,
    상기 카메라를 제어함으로써, 상기 카메라를 인식 모드에 대응되는 각도로 방향을 변경한 후, 상기 카메라를 통해 획득되는 이미지로부터 사용자의 손 자세를 인식하고, 상기 인식된 손 자세에 대응되는 작업 모드에 따라, 상기 카메라를 상기 작업 모드에 대응되는 각도로 방향을 변경한 후, 상기 카메라를 통해 상기 작업 모드에 대응되는 적어도 하나의 이미지를 획득하는, 증강 현실 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 인식 모드 또는 상기 작업 모드에 따라 상기 카메라의 방향을 변경하는, 증강 현실 장치.
  3. 제 1 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 인식 모드에 대응되는 각도에서 상기 카메라의 방향을 좌우로 변경하여 복수 장의 이미지들을 획득하고, 상기 획득된 복수 장의 이미지들에 기초하여, 상기 사용자의 손 자세에 대한 깊이 정보를 측정하는, 증강 현실 장치.
  4. 제 1 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 사용자의 손을 프리 스캔닝(pre-scanning)하거나 상기 사용자에 대응되는 프로파일을 이용하여 상기 사용자의 손에 대한 정보를 획득하고, 상기 획득된 상기 사용자의 손에 대한 정보와 상기 카메라를 통해 획득되는 이미지에 기초하여, 상기 손 자세를 인식하는, 증강 현실 장치.
  5. 제 1 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 작업 모드가 사진 촬영 모드인 경우, 상기 카메라를 상기 증강 현실 장치의 정면 방향으로 방향을 변경한 후, 상기 카메라를 통해 상기 사진 촬영 모드에 대응되는 이미지를 획득하는, 증강 현실 장치.
  6. 제 1 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 작업 모드가 파노라마 촬영 모드인 경우, 상기 카메라를 상기 파노라마 촬영의 시작점을 향하는 방향으로 방향을 변경한 후, 상기 카메라를 통해 수평 또는 수직 방향으로 상기 파노라마 촬영 모드에 대응되는 복수 장의 이미지들을 획득하는, 증강 현실 장치.
  7. 제 1 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 작업 모드가 객체 추적 모드인 경우, 상기 카메라를 움직이는 객체가 있는 방향으로 방향을 변경한 후, 상기 카메라를 통해 상기 객체의 움직임에 따라 상기 객체 추적 모드에 대응되는 복수 장의 이미지들을 획득하는, 증강 현실 장치.
  8. 제 1 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 카메라를 상기 작업 모드에 대응되는 각도로 방향을 변경한 후, 시선 추적 센서에 의해 판단되는 응시 지점으로 상기 카메라의 방향을 제어하여, 상기 카메라를 통해 상기 작업 모드에 대응되는 적어도 하나의 이미지를 획득하는, 증강 현실 장치.
  9. 제 1 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 카메라를 상기 작업 모드에 대응되는 각도로 방향을 변경한 후, 시선 추적 센서에 의해 감지되는 시선 이동에 따라서 상기 카메라의 방향을 제어하여, 상기 카메라를 통해 상기 작업 모드에 대응되는 적어도 하나의 이미지를 획득하는, 증강 현실 장치.
  10. 방향 전환이 가능한 카메라를 인식 모드에 대응되는 각도로 방향을 변경한 후, 상기 카메라를 통해 획득되는 이미지로부터 사용자의 손 자세를 인식하는 단계; 및
    상기 인식된 손 자세에 대응되는 작업 모드에 따라, 상기 카메라를 상기 작업 모드에 대응되는 각도로 방향을 변경한 후, 상기 카메라를 통해 상기 작업 모드에 대응되는 적어도 하나의 이미지를 획득하는 단계;
    를 포함하는, 증강 현실 장치의 제어 방법.
  11. 제 10 항에 있어서,
    상기 인식하는 단계는,
    상기 인식 모드에 대응되는 각도에서 상기 카메라의 방향을 좌우로 변경하여 복수 장의 이미지들을 획득하는 단계; 및
    상기 획득된 복수 장의 이미지들에 기초하여, 상기 사용자의 손 자세에 대한 깊이 정보를 측정하는 단계를 포함하는, 방법.
  12. 제 10 항에 있어서,
    상기 획득하는 단계는,
    상기 작업 모드가 사진 촬영 모드인 경우, 상기 카메라를 상기 증강 현실 장치의 정면 방향으로 방향을 변경한 후, 상기 카메라를 통해 상기 사진 촬영 모드에 대응되는 이미지를 획득하는, 방법.
  13. 제 10 항에 있어서,
    상기 획득하는 단계는,
    상기 작업 모드가 파노라마 촬영 모드인 경우, 상기 카메라를 상기 파노라마 촬영의 시작점을 향하는 방향으로 방향을 변경한 후, 상기 카메라를 통해 수평 또는 수직 방향으로 상기 파노라마 촬영 모드에 대응되는 복수 장의 이미지들을 획득하는, 방법.
  14. 제 10 항에 있어서,
    상기 획득하는 단계는,
    상기 작업 모드가 객체 추적 모드인 경우, 상기 카메라를 움직이는 객체가 있는 방향으로 방향을 변경한 후, 상기 카메라를 통해 상기 객체의 움직임에 따라 상기 객체 추적 모드에 대응되는 복수 장의 이미지들을 획득하는, 방법.
  15. 방향 전환이 가능한 카메라를 인식 모드에 대응되는 각도로 방향을 변경한 후, 상기 카메라를 통해 획득되는 이미지로부터 사용자의 손 자세를 인식하는 명령어들; 및
    상기 인식된 손 자세에 대응되는 작업 모드에 따라, 상기 카메라를 상기 작업 모드에 대응되는 각도로 방향을 변경한 후, 상기 카메라를 통해 상기 작업 모드에 대응되는 적어도 하나의 이미지를 획득하는 명령어들;
    을 포함하는, 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2021/004421 2020-04-29 2021-04-08 증강 현실 장치 및 그 제어 방법 WO2021221341A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200052586A KR20210133674A (ko) 2020-04-29 2020-04-29 증강 현실 장치 및 그 제어 방법
KR10-2020-0052586 2020-04-29

Publications (1)

Publication Number Publication Date
WO2021221341A1 true WO2021221341A1 (ko) 2021-11-04

Family

ID=78373641

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/004421 WO2021221341A1 (ko) 2020-04-29 2021-04-08 증강 현실 장치 및 그 제어 방법

Country Status (2)

Country Link
KR (1) KR20210133674A (ko)
WO (1) WO2021221341A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114052327A (zh) * 2021-12-31 2022-02-18 重庆电子工程职业学院 用于智慧工地的智能安全帽
WO2024064130A1 (en) * 2022-09-22 2024-03-28 Snap Inc. Steerable camera for ar hand tracking

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140035861A (ko) * 2013-11-06 2014-03-24 엘지전자 주식회사 헤드 마운트 디스플레이를 위한 사용자 인터페이스 제공 장치 및 방법
KR20150098361A (ko) * 2014-02-20 2015-08-28 엘지전자 주식회사 Hmd 및 그 제어 방법
KR20150141461A (ko) * 2014-06-10 2015-12-18 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
KR20160150565A (ko) * 2015-06-22 2016-12-30 삼성전자주식회사 헤드 마운트 디스플레이를 위한 3차원 사용자 인터페이스
JP2018067773A (ja) * 2016-10-18 2018-04-26 キヤノン株式会社 撮像装置とその制御方法、プログラム及び記憶媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140035861A (ko) * 2013-11-06 2014-03-24 엘지전자 주식회사 헤드 마운트 디스플레이를 위한 사용자 인터페이스 제공 장치 및 방법
KR20150098361A (ko) * 2014-02-20 2015-08-28 엘지전자 주식회사 Hmd 및 그 제어 방법
KR20150141461A (ko) * 2014-06-10 2015-12-18 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
KR20160150565A (ko) * 2015-06-22 2016-12-30 삼성전자주식회사 헤드 마운트 디스플레이를 위한 3차원 사용자 인터페이스
JP2018067773A (ja) * 2016-10-18 2018-04-26 キヤノン株式会社 撮像装置とその制御方法、プログラム及び記憶媒体

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114052327A (zh) * 2021-12-31 2022-02-18 重庆电子工程职业学院 用于智慧工地的智能安全帽
CN114052327B (zh) * 2021-12-31 2023-04-14 重庆电子工程职业学院 用于智慧工地的智能安全帽
WO2024064130A1 (en) * 2022-09-22 2024-03-28 Snap Inc. Steerable camera for ar hand tracking
US12105891B2 (en) 2022-09-22 2024-10-01 Snap Inc. Steerable camera for AR hand tracking

Also Published As

Publication number Publication date
KR20210133674A (ko) 2021-11-08

Similar Documents

Publication Publication Date Title
TWI586167B (zh) 以臉部偵測控制相機
JP5907738B2 (ja) 撮像装置、表示方法、プログラム
WO2021221341A1 (ko) 증강 현실 장치 및 그 제어 방법
CN108603997B (zh) 控制装置、控制方法和控制程序
JP5885395B2 (ja) 撮影機器及び画像データの記録方法
US11450131B2 (en) Electronic device
KR20170118693A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
WO2019139404A1 (ko) 전자 장치 및 그의 영상 처리 방법
US9521329B2 (en) Display device, display method, and computer-readable recording medium
JP5880135B2 (ja) 検出装置、検出方法及びプログラム
WO2022244920A1 (ko) 휴대 단말기 및 단말기 거치대의 제어 방법
JP2017046065A (ja) 情報処理装置
JP2011188258A (ja) カメラシステム
WO2016208833A1 (en) View finder apparatus and method of operating the same
JP5448868B2 (ja) 撮像装置および撮像装置の制御方法
JP2021150760A (ja) 撮像装置およびその制御方法
US20230136191A1 (en) Image capturing system and method for adjusting focus
JP2000132329A (ja) 面認識装置、面認識方法及び仮想画像立体合成装置
JP2022113973A (ja) 表示方法、表示装置、及び、プログラム
WO2019004532A1 (ko) 최적 상황 판단 촬상 방법 및 이러한 방법을 수행하는 장치
JP2000098300A (ja) 仮想画像立体合成装置、仮想画像立体合成方法、ゲーム装置及び記録媒体
WO2022149704A1 (ko) 전자 장치 및 그 제어 방법
JP2580516B2 (ja) 実時間３次元運動測定装置およびその方法
WO2021235693A1 (ko) 이미지 생성 장치 및 방법
WO2023132633A1 (ko) 복수의 카메라를 이용하여 3차원 이미지를 생성하는 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21797824

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21797824

Country of ref document: EP

Kind code of ref document: A1