WO2022145888A1 - 증강 현실 장치를 제어하는 방법 및 이를 수행하는 증강 현실 장치 - Google Patents

증강 현실 장치를 제어하는 방법 및 이를 수행하는 증강 현실 장치 Download PDF

Info

Publication number
WO2022145888A1
WO2022145888A1 PCT/KR2021/019813 KR2021019813W WO2022145888A1 WO 2022145888 A1 WO2022145888 A1 WO 2022145888A1 KR 2021019813 W KR2021019813 W KR 2021019813W WO 2022145888 A1 WO2022145888 A1 WO 2022145888A1
Authority
WO
WIPO (PCT)
Prior art keywords
augmented reality
real object
image processing
specified
image
Prior art date
Application number
PCT/KR2021/019813
Other languages
English (en)
French (fr)
Inventor
한인선
권도일
김지인
천재민
한민석
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP21915686.6A priority Critical patent/EP4254138A4/en
Publication of WO2022145888A1 publication Critical patent/WO2022145888A1/ko
Priority to US18/204,116 priority patent/US20230305635A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Definitions

  • a method of controlling an augmented reality device and an augmented reality device for performing the same is a method of controlling an augmented reality device and an augmented reality device for performing the same.
  • Augmented reality is a technology that projects a virtual image onto a physical environment space of the real world or a real world object and displays it as a single image.
  • the augmented reality device enables viewing of a real scene and a virtual image together through a pop-up of a virtual image in a projection form that is placed in front of the user while being worn on the user's face or head.
  • a method for controlling an augmented reality device includes transmitting gaze coordinates corresponding to a real object to an image processing device that displays the real object, and processing the image according to screen coordinates corresponding to the gaze coordinates. Recognizing a gesture for calling a virtual image of the specified real object in a device, and in response to transmitting an event notification corresponding to the recognized gesture to the image processing device, the specified real object from the image processing device and providing a virtual image corresponding to the object information from among previously prepared virtual images to a depth layer corresponding to the specified type of the real object.
  • a computer-readable recording medium recording a program to be executed by a computer is provided with instructions for transmitting gaze coordinates corresponding to a real object to an image processing device that displays the real object, the gaze coordinates
  • the gaze coordinates In response to transmitting commands for recognizing a gesture for calling up a virtual image of the real object specified in the image processing device according to the corresponding screen coordinates, and an event notification corresponding to the recognized gesture to the image processing device, Commands for receiving object information of the specified real object from the image processing device, and a virtual image corresponding to the object information from among pre-prepared virtual images to a depth layer corresponding to the specified type of real object contains commands.
  • an augmented reality device includes: an eye tracking sensor for obtaining gaze information of a user, a communication interface module, a camera, a display engine unit, a display, a memory for storing one or more commands, and a method for executing the one or more commands a processor, wherein the processor transmits gaze coordinates corresponding to the real object based on the gaze information to an image processing device that displays the real object through the communication interface module, and based on the image captured by the camera to recognize a gesture for calling up a virtual image of the real object specified in the image processing device according to screen coordinates corresponding to the gaze coordinates, and provide an event notification corresponding to the recognized gesture through the communication interface module
  • object information of the specified real object is received from the image processing device, and by controlling the display engine unit, a virtual image corresponding to the object information from among the virtual images prepared in advance is displayed. It is provided to the depth layer of the display corresponding to the specified type of real object.
  • FIG. 1 is a diagram for describing an environment in which an augmented reality apparatus interacts with an image processing apparatus according to an embodiment of the present disclosure.
  • FIG. 2 is a diagram for describing a process in which an augmented reality device according to an embodiment of the present disclosure provides a virtual image of a real object displayed on the image processing device through interaction with the image processing device.
  • FIG. 3 is a diagram for explaining a state in which an image processing apparatus specifies a real object.
  • FIG. 4 is a diagram for explaining a state in which the augmented reality device recognizes a gesture for calling a virtual image of a real object specified in the image processing device.
  • FIG. 5 is a diagram for explaining a state in which the augmented reality device displays a pop-up of a virtual image by providing a virtual image of a real object specified by the image processing device to the display of the augmented reality device.
  • FIG. 6 is a diagram for explaining the configuration and operation of an augmented reality device according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram for explaining the configuration and operation of a server according to an embodiment of the present disclosure.
  • FIG. 8 is a diagram for explaining the configuration and operation of an image processing apparatus according to an embodiment of the present disclosure.
  • FIG. 9 is a flowchart illustrating a method of controlling an augmented reality device according to an embodiment of the present disclosure.
  • the present embodiments relate to a method for controlling an augmented reality device and an augmented reality device for performing the same, and detailed descriptions of matters widely known to those of ordinary skill in the art to which the following embodiments belong will be omitted. .
  • 'augmented reality (AR)' means showing a virtual image together in a physical environment space of the real world or showing a real world object and a virtual image together.
  • An 'Augmented Reality Device' refers to a device capable of expressing 'Augmented Reality', and includes Augmented Reality Glasses in the shape of glasses or a head mounted display device (HMD: Head). It may also be in the form of a Mounted Display Apparatus or Augmented Reality Helmet.
  • FIG. 1 is a diagram for describing an environment in which an augmented reality apparatus 100 interacts with an image processing apparatus 300 according to an embodiment of the present disclosure.
  • the camera when the augmented reality device 100 is an augmented reality glasses device, the camera includes a spectacle frame supporting the left eye lens and the right eye lens, and temples for mounting the augmented reality device 100 on the user's face. It may be installed so as to face forward in a portion in contact with each other, or may be installed to face forward in the central portion of the spectacle frame, but is not limited thereto.
  • the eye tracking sensor may be installed on one side of the eyeglass frame facing the face part so as to detect the user's eyeball, but is not limited thereto.
  • the image processing device 300 may be a generic term for an electronic device capable of generating or processing an image.
  • the image processing apparatus may generate an image including a real object and process and process the image.
  • the image processing apparatus may be a TV, a kiosk, a billboard, or the like.
  • the server 200 is a device that mediates the augmented reality device 100 and the image processing device 300 .
  • the server 200 may store information used for a smooth interaction between the augmented reality apparatus 100 and the image processing apparatus 300 .
  • the server 200 may be implemented as a server of various types according to a place where the augmented reality apparatus 100 and the image processing apparatus 300 interact.
  • a user wearing the augmented reality device 100 is located at a location where the user can easily manipulate or appreciate a real object displayed on the image processing device 300 , for example, a setting user interface or media content. It shows how to experience augmented reality by making it appear as a virtual image.
  • the augmented reality apparatus 100 may display virtual images of real objects to be arranged in different spatial regions suitable for an interaction purpose according to the types of real objects.
  • the virtual image of the setting user interface is provided in the first spatial area where the user can reach out and directly manipulate
  • the media content is provided in the second spatial area where the user can arrange and enjoy various contents. can make it happen
  • FIG. 2 is for explaining a process of providing a virtual image of a real object displayed on the image processing device 300 by the augmented reality device 100 according to an embodiment of the present disclosure through interaction with the image processing device 300 It is a drawing.
  • the augmented reality device 100 may communicate with the image processing device 300 without the mediation of the server 200 , and in this case, the server 200 described in FIG. 2 . operation may be omitted or the augmented reality apparatus 100 or the image processing apparatus 300 may replace it.
  • FIG. 2 when the augmented reality device 100 is connected to the server 200 that mediates the augmented reality device 100 and the image processing device 300 , communication is connected to the image processing device 300 to be displayed from the server 200 .
  • the server 200 is the home network server 200
  • the user enters into an area where the user can communicate with the home network server while wearing the augmented reality device 100 , or augments reality in the corresponding area.
  • virtual images may be received and stored from the server 200 .
  • the augmented reality device 100 may acquire gaze coordinates corresponding to the real object displayed on the image processing apparatus 300 by tracking gaze information of a user wearing the augmented reality device 100 ( S205 )
  • the gaze coordinates may be three-dimensional gaze coordinate information or coordinate information in a three-dimensional space based on an absolute coordinate system. For example, when the augmented reality device 100 is equipped with a stereo camera and the geometric relationship between the first camera coordinate system and the second camera coordinate system is known, according to triangulation, the user's gaze is directed in the first image Based on the gaze coordinates and the gaze coordinates in the second image corresponding thereto, three-dimensional gaze coordinates in a 3D space may be obtained.
  • the augmented reality device 100 transmits gaze coordinates corresponding to the real object to the image processing device 300 for displaying the real object, the gaze coordinates to the server 200 communicating with the image processing device 300 .
  • the server 200 may receive gaze coordinates from the augmented reality device 100 .
  • the server 200 may convert the received gaze coordinates into screen coordinates of the image processing apparatus 300 that displays the real object (S215).
  • the server 200 may transmit the converted screen coordinates to the image processing apparatus 300 ( S220 ).
  • the image processing apparatus 300 may receive screen coordinates corresponding to the gaze coordinates from the server 200 .
  • the image processing apparatus 300 may specify the real object displayed on the image processing apparatus 300 according to screen coordinates corresponding to the gaze coordinates (S225).
  • FIG. 3 is a diagram for explaining a state in which the image processing apparatus 300 specifies a real object.
  • the image processing apparatus 300 may specify a real object currently being displayed on the image processing apparatus 300 according to screen coordinates corresponding to the gaze coordinates obtained by the augmented reality apparatus 100 . As shown in FIG. 3 , the image processing apparatus 300 may specify a setting user interface displayed at a location of screen coordinates corresponding to the user's gaze coordinates. In order to inform the user that the real object to which the user's gaze is directed is specified, the image processing apparatus 300 changes the color of the border area of the setting user interface or shows a separate icon to make the setting user interface in a hovered state. However, the present invention is not limited thereto. The image processing apparatus 300 may indicate that the real object is in a hovered state by giving a display effect to the specified real object so that a three-dimensional effect appears or by changing the color of the background of the specified real object.
  • the augmented reality apparatus 100 may recognize a gesture for calling up a virtual image of a real object specified by the image processing apparatus 300 ( S230 ).
  • the augmented reality apparatus 100 may process an image
  • a gesture for calling up a virtual image of the specified real object may be recognized.
  • Hand pose is a term that includes the appearance or motion of the hand, and is a generic term for various types of hand expressions that can be signals.
  • the shape of the hand refers to the outward appearance of the hand.
  • the motion of the hand means the movement of the hand or the shape of the movement.
  • FIG. 4 is a diagram for explaining a state in which the augmented reality device 100 recognizes a gesture for calling a virtual image of a specified real object in the image processing device 300 .
  • the augmented reality apparatus 100 may detect a predetermined hand posture through the camera of the augmented reality apparatus 100 while the real object specified by the image processing apparatus 300 is hovering. To this end, the augmented reality apparatus 100 may pre-register information about the user's hand and information about a gesture for calling up a virtual image of a real object specified by the image processing apparatus 300 .
  • the augmented reality apparatus 100 may detect the user's hand posture based on the obtained information on the user's hand and the image obtained through the camera.
  • the camera may include a camera module suitable for the shape or specification of the augmented reality device 100 , and may be a mono camera or a stereo camera, but is not limited thereto.
  • the camera may extract depth information using a Time of Flight (ToF) method or a stereo vision method when detecting a user's hand posture according to the type, but is not limited thereto.
  • ToF Time of Flight
  • the augmented reality device 100 based on the image obtained through the camera, A gesture that calls up a virtual image can be recognized. For example, when the user takes a 'grab and pull' gesture to bring the hand toward the user after grabbing the hand while the setting user interface is hovering, the augmented reality device 100 calls up a virtual image of the setting user interface Aura can detect that an event has occurred.
  • the augmented reality device 100 transmits an event notification corresponding to the recognized gesture to the image processing device 300, a server that communicates with the image processing device 300 ( 200).
  • the event notification is a signal that the user wants to experience the real object currently specified by the image processing device 300 as a virtual image through the augmented reality device 100, and the augmented reality Message information in a form previously agreed upon between the apparatus 100 and the image processing apparatus 300 may be included.
  • the server 200 may receive an event notification from the augmented reality device 100 .
  • the server 200 may transmit the received event notification to the image processing apparatus 300 ( S240 ).
  • the image processing apparatus 300 may receive the event notification from the server 200 .
  • the image processing apparatus 300 may transmit object information of the specified real object to the server 200 in response to the event notification received from the server 200 (S245).
  • the object information is It may include identification information and data information of a real object.
  • the image processing apparatus 300 may execute an animation that provides an effect as if the specified real object comes out of the display of the image processing apparatus 300 ( S250 ).
  • the animation thus executed is displayed on the augmented reality apparatus 100 .
  • the server 200 may transmit object information of the specified real object to the augmented reality device 100.
  • the augmented reality device 100 receives the specified object information of the real object from the server 200, Object information of the specified real object transmitted by the image processing apparatus 300 may be received.
  • the augmented reality apparatus 100 may search for a virtual image corresponding to the object information from among the virtual images prepared in advance. (S260) The augmented reality apparatus 100 may search for a virtual image corresponding to the identification information from among the prepared virtual images. You can search.
  • the augmented reality apparatus 100 may provide the searched virtual image to the depth layer corresponding to the specified type of the real object. (S265) The augmented reality apparatus 100 may provide an image processing apparatus ( 300) may be reflected and provided to the depth layer corresponding to the specified type of real object.
  • the augmented reality apparatus 100 may provide virtual images of the specified real objects to different depth layers.
  • the augmented reality apparatus 100 may provide a first virtual image of a first type of real object to a first depth layer, and may provide a second virtual image of a second type of real object to a second depth layer.
  • the first depth layer may be displayed so that the pop-up of the virtual image is observed at a closer position than the second depth layer.
  • the augmented reality device 100 provides a virtual image of the setting user interface to the first depth layer, and if the specified real object is media content, it is to the second depth layer
  • a virtual image of media content may be provided.
  • the augmented reality device 100 may recognize a gesture for manipulating a pop-up of a virtual image.
  • S270 When a pop-up of a virtual image is displayed on the augmented reality device 100, a user wearing the augmented reality device 100
  • the augmented reality device 100 When exposing a hand to the camera of the augmented reality device 100 to manipulate the pop-up of the virtual image, the augmented reality device 100 processes the virtual image so that the pop-up of the virtual image can be manipulated by the exposed hand.
  • FIG. 5 is a diagram for explaining a state in which the augmented reality device 100 displays a pop-up of a virtual image by providing a virtual image of a real object specified by the image processing device 300 to the display of the augmented reality device 100 to be.
  • the augmented reality apparatus 100 After receiving the object information of the setting user interface transmitted by the image processing device 300 , the augmented reality apparatus 100 searches for a virtual image corresponding to the identification information of the setting user interface from among pre-prepared virtual images, and performs image processing A virtual image reflecting data information transmitted from the device 300 may be generated and provided to a depth layer corresponding to the type of the setting user interface.
  • the augmented reality apparatus 100 may provide a virtual image of the setting user interface to the first depth layer.
  • the augmented reality apparatus 100 may provide a virtual image of the media content to the second depth layer.
  • the augmented reality device 100 When the augmented reality device 100 displays a pop-up of a virtual image, the user wearing the augmented reality device 100 places the user's hand on the camera to be detected in order to manipulate the pop-up of the virtual image, and You can take a hand posture to adjust the setting value of the menu in the setting user interface. Accordingly, the augmented reality device 100 may recognize a gesture for manipulating a pop-up of a virtual image. The augmented reality apparatus 100 may display a pop-up of a virtual image of a setting user interface whose setting value is adjusted based on the recognized gesture.
  • the augmented reality device 100 may transmit the changed object information to the server 200 in order to transmit the changed object information to the image processing device 300 according to the pop-up manipulation of the virtual image.
  • the changed object information may include identification information of the specified real object and changed data information.
  • the server 200 may receive the changed data information from the augmented reality device 100 .
  • the server 200 may transmit the changed object information to the image processing apparatus 300 ( S280 ).
  • the image processing apparatus 300 may receive the changed object information from the server 200 .
  • the image processing apparatus 300 may reflect the changed object information received from the server 200 to the operation of the image processing apparatus 300 (S285).
  • FIG. 6 is a diagram for explaining the configuration and operation of the augmented reality apparatus 100 according to an embodiment of the present disclosure.
  • the augmented reality device 100 includes a memory 110 , a processor 120 , a camera 130 , an eye tracking sensor 140 , a communication interface module 150 , a display 160 , and a display engine unit. (170).
  • components such as a position sensor for detecting the position of the augmented reality device 100 or a power supply unit for supplying power to the augmented reality device 100 may be further included, and in the technical field related to an embodiment of the present disclosure, it is common A person having the knowledge of can see that other general-purpose components other than the components shown in FIG. 2 may be further included.
  • the memory 110 may store instructions executable by the processor 120 .
  • the memory 110 may store a program composed of instructions.
  • the memory 110 is, for example, RAM (Random Access Memory), SRAM (Static Random Access Memory), ROM (Read-Only Memory), flash memory (flash memory), EEPROM (Electrically Erasable Programmable Read- Only memory), a programmable read-only memory (PROM), a magnetic memory, a magnetic disk, and an optical disk may include at least one type of hardware device.
  • the memory 110 may store at least one software module including instructions. Each software module is executed by the processor 120 so that the augmented reality device 100 performs a predetermined operation or function. For example, as shown in FIG. 6 , an image analysis module, a gaze coordinate generating module, a gesture recognition module, an event handler module, etc. may be executed by the processor 120 , but is not limited thereto, and other software modules may further include.
  • the processor 120 may control an operation or function performed by the augmented reality apparatus 100 by executing instructions stored in the memory 110 or a programmed software module.
  • the processor 120 may be composed of hardware components that perform arithmetic, logic, input/output operations and signal processing.
  • the processor 120 is, for example, a central processing unit (Central Processing Unit), a microprocessor (microprocessor), a graphic processor (Graphic Processing Unit), ASICs (Application Specific Integrated Circuits), DSPs (Digital Signal Processors), DSPDs (Digital Signal Processing Devices), PLDs (Programmable Logic Devices), and FPGAs (Field Programmable Gate Arrays) may be configured of at least one hardware, but is not limited thereto.
  • a central processing unit Central Processing Unit
  • microprocessor microprocessor
  • a graphic processor Graphic Processing Unit
  • ASICs Application Specific Integrated Circuits
  • DSPs Digital Signal Processors
  • DSPDs Digital Signal Processing Devices
  • PLDs Programmable Logic Devices
  • FPGAs Field Programmable Gate Arrays
  • the camera 130 is a device for capturing a scene in the real world, and may be a stereo camera that acquires a stereo image or a single camera.
  • the camera 130 may include a lens module including lenses, an auto focus (AF) actuator, an image sensor, and an image signal processor.
  • the lens module has a structure in which a plurality of lenses are disposed in the barrel, and may allow light incident from the outside to pass through the disposed lenses.
  • the AF actuator may move the lenses to an optimal focus position in order to obtain a clear image.
  • the image signal processor may convert the electrical signal converted by the image sensor into an image signal.
  • the gaze tracking sensor 140 may detect gaze information, such as a gaze direction toward which the user's eyes face, a pupil position of the user's eye, or coordinates of a central point of the pupil. For example, the eye tracking sensor 140 may detect a pupil from a photographed image by irradiating infrared light to the user's eyes and receiving the reflected light to track the movement thereof.
  • the processor 120 may determine an eye movement shape based on the user's gaze information detected by the gaze tracking sensor 140 . For example, based on the gaze information obtained from the gaze tracking sensor 140 , the processor 120 may perform a fixation of gazing at a certain place, a pursuit of chasing a moving object, and a gaze from one gaze point to another. It is possible to determine various types of gaze movements, including a saccade in which the gaze rapidly moves to a point.
  • the processor 120 of the augmented reality device 100 may determine the user's gaze point or the user's gaze movement using the gaze tracking sensor 140 , and may use it to control the augmented reality device 100 .
  • the processor 120 may acquire at least one image by controlling the direction of the camera 130 according to the gaze point or gaze movement determined by the gaze tracking sensor 140 .
  • the communication interface module 150 is connected to a device located outside the augmented reality device 100 and transmits information acquired or generated by the augmented reality device 100 to an external device, or receives various information from an external device. types of information can be received.
  • the communication interface module 150 may communicate with other devices or networks.
  • the communication interface module 150 may include a communication module supporting at least one of various communication methods. For example, a communication module for performing short-range communication such as Wi-Fi (Wireless Fidelity) and Bluetooth, various types of mobile communication, or ultra-wideband communication may be included.
  • the augmented reality apparatus 100 may provide a pop-up of a virtual image through the display 160 and the display engine unit 170 .
  • the virtual image may be generated through an optical engine and may include both static and dynamic images. This virtual image is observed together with a scene of the real world that the user sees through the augmented reality device, that is, a real scene, and an image corresponding to a real object in the real scene or information on the operation of the augmented reality device 100 . It may be an image representing a control menu or the like.
  • the display engine unit 170 may include an optical engine that generates and projects a virtual image, and a guide unit that guides the light of the virtual image projected from the optical engine to the display 160 .
  • the display 160 may include a see-through light guide plate (waveguide) embedded in the left eye lens and/or the right eye lens of the augmented reality apparatus 100 .
  • the display 160 may display a virtual image of a real object or a virtual image representing information or a control menu on the operation of the augmented reality apparatus 100 .
  • the display 160 may be implemented in a form including a plurality of depth layers, and by providing the virtual image of the real object to the depth layer corresponding to the type of the real object, the virtual image of the real object in augmented reality is used for interaction purposes. It may appear in a suitable location.
  • the display 160 may include a plurality of depth layers having different positions at which the pop-up of the virtual image is observed. For example, the first depth layer may display a pop-up of a virtual image to be observed from a closer position than the second depth layer.
  • the second depth layer may display a pop-up of a virtual image to be disposed and observed in a wider space than that of the first depth layer.
  • the user wearing the augmented reality device 100 exposes the user's hand to the camera 130 to manipulate the pop-up of the virtual image, and the pop-up of the virtual image is displayed. can be operated with exposed hands.
  • the processor 120 of the augmented reality device 100 executes at least one of an image analysis module, a gaze coordinate generation module, a gesture recognition module, and an event handler module stored in the memory 110 to process an image
  • the virtual image of the real object displayed in the device 300 may be provided to the depth layer corresponding to the type of the real object, and the virtual image of the real object may be displayed at a location suitable for an interaction purpose in augmented reality.
  • the processor 1200 may execute instructions stored in the memory 110 to obtain gaze coordinates corresponding to the real object based on gaze information obtained through the gaze tracking sensor 140 .
  • the processor 120 may obtain a coordinate pair of gaze coordinates from a stereo image based on gaze information obtained using the gaze tracking sensor 140 , and obtain three-dimensional gaze coordinates from such a coordinate pair.
  • the processor 120 may transmit gaze coordinates corresponding to the real object to the image processing device 300 that displays the real object through the communication interface module 150 .
  • the image processing apparatus 300 may specify a real object according to screen coordinates corresponding to gaze coordinates.
  • the processor 120 may recognize a gesture for calling a virtual image of a real object specified in the image processing device 300 according to screen coordinates corresponding to gaze coordinates, based on the image captured by the camera 130 . Based on the image captured by the camera 130 , the processor 120 recognizes a gesture for calling up a virtual image when a predetermined hand posture is detected while the real object specified in the image processing apparatus 300 is hovered can do.
  • the processor 120 responds to the object of the real object specified by the image processing device 300 .
  • information can be received.
  • the object information may include identification information and data information of a real object specified by the image processing apparatus 300 .
  • the processor 120 may control the display engine unit 170 to provide a virtual image corresponding to object information among pre-prepared virtual images to a depth layer of the display 160 corresponding to a specified type of real object.
  • the processor 120 may control the display engine unit 170 to reflect data information in a virtual image corresponding to identification information among previously prepared virtual images and provide it to the depth layer of the display 160 .
  • the virtual images prepared in advance are received from the server 200 through the communication interface 150 when the augmented reality device 100 is connected to the server 200 that mediates the augmented reality device 100 and the image processing device 300 . it may have been
  • the processor 120 may provide virtual images of the specified real objects to different depth layers of the display 160 .
  • the processor 120 provides the first virtual image of the first type of real object to the first depth layer of the display 160 , and the second virtual image of the second type of real object is provided with the second depth of the display 160 .
  • Layers can be provided.
  • the first depth layer of the display 160 may display the pop-up of the virtual image to be observed from a closer position than the second depth layer of the display 160 .
  • the processor 120 provides a virtual image of the setting user interface to the first depth layer of the display 160, and if the specified real object is media content, the display A virtual image of the media content may be provided to the second depth layer of 160 .
  • the processor 120 recognizes a gesture for manipulating a pop-up of a virtual image based on the image captured by the camera 130 , and transmits, through the communication interface module 150 , object information changed according to the manipulation to the image processing device ( 300) can be transmitted.
  • FIG. 7 is a diagram for explaining the configuration and operation of the server 200 according to an embodiment of the present disclosure.
  • the server 200 includes a memory 210 , a processor 220 , a communication interface module 230 , and a storage 240 .
  • a processor 220 the server 200 includes a memory 210 , a processor 220 , a communication interface module 230 , and a storage 240 .
  • a storage 240 the server 200 includes a storage 240 .
  • Each component of the block diagram of FIG. 7 may be separated, added, or omitted according to an implementation method of the server 200 . That is, depending on the implementation method, one component may be subdivided into two or more components, two or more components may be combined into one component, and some components may be further added or removed.
  • the memory 210 may store instructions executable by the processor 220 .
  • the memory 210 may store software or a program.
  • the processor 220 may execute instructions stored in the memory 210 .
  • the processor 220 may perform overall control of the server 200 .
  • the processor 220 may obtain information and a request received through the communication interface module 230 , and store the received information in the storage 240 .
  • the processor 220 may process the received information.
  • the processor 220 may acquire information used in the second external device from information received from the first external device or process the received information.
  • the processor 220 may transmit information received from the first external device to the second external device.
  • the communication interface module 230 may communicate with an external device such as the augmented reality apparatus 100 and the image processing apparatus 300 .
  • the server 200 may receive gaze coordinates or an event notification from the augmented reality device 100 , and may transmit screen coordinates or an event notification to the image processing device 300 .
  • the storage 240 may store various types of software and information.
  • the storage 240 may store programs and applications executed in the server 200 , and various data or information used for mediation between the augmented reality apparatus 100 and the image processing apparatus 300 .
  • the storage 240 may store information of the augmented reality device 100 and the image processing device 300 connected to the same network in correspondence with each other.
  • the server 200 may pre-register information on the augmented reality apparatus 100 and the image processing apparatus 300 for each user in the storage 240 . Accordingly, when any information is received from the augmented reality apparatus 100 , the server may determine which image processing apparatus 300 to transmit the information to.
  • FIG. 8 is a diagram for explaining the configuration and operation of the image processing apparatus 300 according to an embodiment of the present disclosure.
  • the image processing apparatus 300 includes a memory 310 , a processor 320 , a communication interface module 330 , and a display 340 .
  • a memory 310 the image processing apparatus 300 includes a memory 310 , a processor 320 , a communication interface module 330 , and a display 340 .
  • Those of ordinary skill in the art related to the present embodiment can see that other general-purpose components other than the components shown in FIG. 8 may be further included.
  • Memory 310 may store software and/or computer programs.
  • the memory 310 may store an application, a program such as an application programming interface (API), and various types of data.
  • the memory 310 may store instructions executable by the processor 320 .
  • the processor 320 may access and use data stored in the memory 310 , or store new data in the memory 310 .
  • the processor 320 may execute instructions stored in the memory 310 .
  • the processor 320 may execute an application installed in the image processing apparatus 300 .
  • the processor 320 may include at least one processing module.
  • the processor 320 may control other components included in the image processing apparatus 300 to perform an operation corresponding to an execution result of an instruction or a computer program.
  • the communication interface module 330 may perform wired/wireless communication with other devices or networks.
  • the communication interface module 330 may include a communication module supporting at least one of various wired and wireless communication methods.
  • a communication module that performs wireless fidelity (Wi-Fi), short-range communication such as Bluetooth, and ultra-wideband communication may be included.
  • the communication interface module 330 may be connected to a device located outside the image processing apparatus 300 to transmit/receive a message including a signal or data.
  • the display 340 may include a display panel and a controller for controlling the display panel, including a liquid crystal display (LCD), an organic light emitting diode (OLED) display, an active-matrix organic light-emitting diode (AM-OLED), and a plasma display panel (PDP) may be implemented in various ways.
  • the display 340 may be provided in the form of a touch screen in which a display panel and a touch panel are combined, and may be implemented to be flexible or rollable.
  • the processor 320 may execute the instructions stored in the memory 310 to perform the following operations.
  • the processor 320 of the image processing apparatus 300 may transmit/receive information to and from an external device through the communication interface module 330 .
  • the processor 320 of the image processing apparatus 300 may display a real object, such as a setting user interface or media content, on the display 340 based on information received from an external device. For example, the processor 320 of the image processing apparatus 300 may specify the displayed real object according to screen coordinates received from the server.
  • the processor 320 of the image processing apparatus 300 may display the specified real object in a hovered state.
  • the processor 320 of the image processing device 300 may transmit object information of the specified real object to the server 200 in response to the event notification received from the server 200, and the specified real object performs image processing. An animation providing the effect of coming out of the display of the device 300 may be executed.
  • the processor 320 of the image processing apparatus 300 may receive the changed object information of the specified real object from the server 200 and reflect the changed object information to the operation of the image processing apparatus 300 .
  • FIG. 9 is a flowchart illustrating a method of controlling the augmented reality apparatus 100 according to an embodiment of the present disclosure. Detailed descriptions of terms and contents overlapping with those described above will be omitted.
  • the augmented reality apparatus 100 may transmit gaze coordinates corresponding to the real object to the image processing apparatus 300 that displays the real object.
  • the augmented reality device 100 and the network-connected server 200 convert the gaze coordinates transmitted by the augmented reality device 100 into screen coordinates usable in the image processing device 300 , and correspond to the gaze coordinates.
  • the screen coordinates may be transmitted to the image processing apparatus 300 .
  • the image processing apparatus 300 may specify a real object according to screen coordinates corresponding to gaze coordinates.
  • the augmented reality apparatus 100 may recognize a gesture for calling up a virtual image of a real object specified in the image processing apparatus 300 according to screen coordinates corresponding to gaze coordinates. Based on the image captured by the camera 130 , the augmented reality device 100 determines that when a predetermined hand posture is detected in a state in which the specified real object is hovered by the image processing device 300 , the A gesture that calls up a virtual image can be recognized.
  • the augmented reality device 100 receives object information of a specified real object from the image processing device 300 in response to transmitting an event notification corresponding to the recognized gesture to the image processing device 300 .
  • the object information may include identification information and data information of a real object specified by the image processing apparatus 300 .
  • the augmented reality apparatus 100 may provide a virtual image corresponding to object information from among previously prepared virtual images to a depth layer corresponding to a specified type of real object.
  • the augmented reality apparatus 100 may reflect data information in a virtual image corresponding to identification information among previously prepared virtual images and provide it to the depth layer of the display 160 .
  • the virtual images prepared in advance are received from the server 200 through the communication interface 150 when the augmented reality device 100 is connected to the server 200 that mediates the augmented reality device 100 and the image processing device 300 . it may have been
  • the augmented reality apparatus 100 may provide a first virtual image of a first type real object to a first depth layer, and may provide a second virtual image of a second type real object to a second depth layer.
  • the first depth layer may be displayed so that the pop-up of the virtual image is observed at a closer position than the second depth layer.
  • the specified real object is a setting user interface
  • a virtual image of the setting user interface is provided to the first depth layer
  • a virtual image of the media content is provided to the second depth layer can be
  • the augmented reality apparatus 100 may recognize a gesture for manipulating a pop-up of a virtual image, and transmit object information changed according to the manipulation to the image processing apparatus 300 .
  • the augmented reality device 100 described in the present disclosure may be implemented as a hardware component, a software component, and/or a combination of a hardware component and a software component.
  • the augmented reality device 100 described in the disclosed embodiments includes a processor, arithmetic logic unit (ALU), application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), It may be implemented using one or more general purpose or special purpose computers, such as Programmable Logic Devices (PLDs), microcomputers, microprocessors, or any other device capable of executing and responding to instructions.
  • ALU arithmetic logic unit
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs Programmable Logic Devices
  • microcomputers microprocessors, or any other device capable of executing and responding to instructions.
  • Software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device.
  • the software may be implemented as a computer program including instructions stored in a computer-readable storage medium.
  • the computer-readable recording medium includes, for example, a magnetic storage medium (eg, read-only memory (ROM), random-access memory (RAM), floppy disk, hard disk, etc.) and an optically readable medium (eg, CD-ROM). (CD-ROM), DVD (Digital Versatile Disc), etc.
  • the computer-readable recording medium may be distributed among network-connected computer systems, so that the computer-readable code may be stored and executed in a distributed manner.
  • the medium may be readable by a computer, stored in a memory, and executed on a processor.
  • the computer may include the augmented reality device 100 according to the disclosed embodiments as a device capable of calling a stored instruction from a storage medium and operating according to the called instruction according to the disclosed embodiment.
  • the computer-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' means that the storage medium does not include a signal and is tangible, and does not distinguish that data is semi-permanently or temporarily stored in the storage medium.
  • the method according to the disclosed embodiments may be provided included in a computer program product (computer program product).
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product may include a software program, a computer-readable storage medium in which the software program is stored.
  • the computer program product is a product in the form of a software program distributed electronically through a manufacturer of the augmented reality device 100 or the image processing device 300 or an electronic market (eg, Google Play Store, App Store).
  • it may include a downloadable application (downloadable application).
  • the storage medium may be a server of a manufacturer, a server of an electronic market, or a storage medium of a relay server temporarily storing a software program.
  • the computer program product may include a storage medium of a server or a storage medium of a terminal in a system including a server and a terminal (eg, an augmented reality apparatus or an image processing apparatus).
  • a terminal eg, an augmented reality apparatus or an image processing apparatus.
  • the computer program product may include a storage medium of the third device.
  • the computer program product may include the software program itself transmitted from the server to the terminal or third device, or transmitted from the third device to the terminal.
  • one of the server, the terminal, and the third device may execute the computer program product to perform the method according to the disclosed embodiments.
  • two or more of the server, the terminal, and the third device may execute the computer program product to distribute the method according to the disclosed embodiments.
  • a server eg, a cloud server or an artificial intelligence server
  • the third device may execute a computer program product to control the terminal communicatively connected to the third device to perform the method according to the disclosed embodiment.
  • the third device may download the computer program product from the server and execute the downloaded computer program product.
  • the third device may execute the computer program product provided in a preloaded state to perform the method according to the disclosed embodiments.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Architecture (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

증강 현실 장치는 현실 객체에 대응되는 시선 좌표를 통신 인터페이스 모듈을 통해 현실 객체를 디스플레이하는 영상 처리 장치로 전송하고, 카메라를 통해 촬영된 영상에 기초하여, 시선 좌표에 대응되는 화면 좌표에 따라 영상 처리 장치에서 특정된 현실 객체의 가상 이미지를 불러오는 제스처를 인식하며, 통신 인터페이스 모듈을 통해, 인식된 제스처에 대응되는 이벤트 알림을 영상 처리 장치로 전송한 것에 대한 응답으로, 영상 처리 장치로부터 특정된 현실 객체의 객체 정보를 수신하며, 디스플레이 엔진부를 제어하여, 미리 준비된 가상 이미지들 중에서 객체 정보에 대응되는 가상 이미지를 특정된 현실 객체의 타입에 대응되는 디스플레이의 뎁스 레이어에 제공한다.

Description

증강 현실 장치를 제어하는 방법 및 이를 수행하는 증강 현실 장치
증강 현실 장치를 제어하는 방법 및 이를 수행하는 증강 현실 장치에 관한 것이다.
증강 현실(Augmented Reality)은 현실 세계의 물리적 환경 공간이나 현실 객체(real world object) 상에 가상 이미지를 투영시켜 하나의 이미지로 보여주는 기술이다.
증강 현실 장치는 사용자의 안면부나 두부에 착용된 상태에서 사용자의 눈앞에 배치되는, 프로젝션 형태의 가상 이미지의 팝업을 통해 현실 장면과 가상 이미지를 함께 볼 수 있게 한다.
영상 처리 장치와의 인터랙션을 통해, 영상 처리 장치에 디스플레이되는 현실 객체의 가상 이미지를 제공하는 증강 현실 장치와 이를 제어하는 방법을 제안하는 것이다.
제 1 측면에 따라, 증강 현실 장치를 제어하는 방법은, 현실 객체에 대응되는 시선 좌표를 상기 현실 객체를 디스플레이하는 영상 처리 장치로 전송하는 단계, 상기 시선 좌표에 대응되는 화면 좌표에 따라 상기 영상 처리 장치에서 특정된 상기 현실 객체의 가상 이미지를 불러오는 제스처를 인식하는 단계, 상기 인식된 제스처에 대응되는 이벤트 알림을 상기 영상 처리 장치로 전송한 것에 대한 응답으로, 상기 영상 처리 장치로부터 상기 특정된 현실 객체의 객체 정보를 수신하는 단계, 및 미리 준비된 가상 이미지들 중에서 상기 객체 정보에 대응되는 가상 이미지를 상기 특정된 현실 객체의 타입에 대응되는 뎁스 레이어에 제공하는 단계를 포함한다.
제 2 측면에 따라, 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체는, 현실 객체에 대응되는 시선 좌표를 상기 현실 객체를 디스플레이하는 영상 처리 장치로 전송하는 명령어들, 상기 시선 좌표에 대응되는 화면 좌표에 따라 상기 영상 처리 장치에서 특정된 상기 현실 객체의 가상 이미지를 불러오는 제스처를 인식하는 명령어들, 상기 인식된 제스처에 대응되는 이벤트 알림을 상기 영상 처리 장치로 전송한 것에 대한 응답으로, 상기 영상 처리 장치로부터 상기 특정된 현실 객체의 객체 정보를 수신하는 명령어들, 및 미리 준비된 가상 이미지들 중에서 상기 객체 정보에 대응되는 가상 이미지를 상기 특정된 현실 객체의 타입에 대응되는 뎁스 레이어에 제공하는 명령어들을 포함한다.
제 3 측면에 따라, 증강 현실 장치는, 사용자의 시선 정보를 획득하는 시선 추적 센서, 통신 인터페이스 모듈, 카메라, 디스플레이 엔진부, 디스플레이, 하나 이상의 명령어들을 저장하는 메모리, 및 상기 하나 이상의 명령어들을 실행하는 프로세서를 포함하며, 상기 프로세서는, 상기 시선 정보에 기초한 현실 객체에 대응되는 시선 좌표를 상기 통신 인터페이스 모듈을 통해 상기 현실 객체를 디스플레이하는 영상 처리 장치로 전송하고, 상기 카메라를 통해 촬영된 영상에 기초하여, 상기 시선 좌표에 대응되는 화면 좌표에 따라 상기 영상 처리 장치에서 특정된 상기 현실 객체의 가상 이미지를 불러오는 제스처를 인식하며, 상기 통신 인터페이스 모듈을 통해, 상기 인식된 제스처에 대응되는 이벤트 알림을 상기 영상 처리 장치로 전송한 것에 대한 응답으로, 상기 영상 처리 장치로부터 상기 특정된 현실 객체의 객체 정보를 수신하며, 상기 디스플레이 엔진부를 제어하여, 미리 준비된 가상 이미지들 중에서 상기 객체 정보에 대응되는 가상 이미지를 상기 특정된 현실 객체의 타입에 대응되는 상기 디스플레이의 뎁스 레이어에 제공한다.
도 1은 본 개시의 실시예에 따른 증강 현실 장치가 영상 처리 장치와 인터랙션하는 환경을 설명하기 위한 도면이다.
도 2는 본 개시의 실시예에 따른 증강 현실 장치가 영상 처리 장치와의 인터랙션을 통해, 영상 처리 장치에 디스플레이되는 현실 객체의 가상 이미지를 제공하는 과정을 설명하기 위한 도면이다.
도 3은 영상 처리 장치가 현실 객체를 특정한 모습을 설명하기 위한 도면이다.
도 4는 증강 현실 장치가 영상 처리 장치에서 특정된 현실 객체의 가상 이미지를 불러오는 제스처를 인식하는 모습을 설명하기 위한 도면이다.
도 5는 영상 처리 장치에서 특정된 현실 객체의 가상 이미지를 증강 현실 장치의 디스플레이에 제공함으로써, 증강 현실 장치가 가상 이미지의 팝업을 디스플레이하는 모습을 설명하기 위한 도면이다.
도 6은 본 개시의 실시예에 따른 증강 현실 장치의 구성 및 동작을 설명하기 위한 도면이다.
도 7은 본 개시의 실시예에 따른 서버의 구성 및 동작을 설명하기 위한 도면이다.
도 8은 본 개시의 실시예에 따른 영상 처리 장치의 구성 및 동작을 설명하기 위한 도면이다.
도 9는 본 개시의 실시예에 따른 증강 현실 장치를 제어하는 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
또한, 본 명세서에서 사용되는 '제 1' 또는 '제 2' 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다.
본 실시예들은 증강 현실 장치를 제어하는 방법 및 이를 수행하는 증강 현실 장치에 관한 것으로서 이하의 실시예들이 속하는 기술 분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서는 자세한 설명을 생략한다.
본 개시에서, '증강 현실(AR: Augmented Reality)'은 현실 세계의 물리적 환경 공간 내에 가상 이미지를 함께 보여주거나 현실 객체(real world object)와 가상 이미지를 함께 보여주는 것을 의미한다. '증강 현실 장치(Augmented Reality Device)'라 함은 '증강 현실(Augmented Reality)'을 표현할 수 있는 장치로서, 안경 형상의 증강 현실 안경 장치(Augmented Reality Glasses)나, 헤드 마운트 디스플레이 장치(HMD: Head Mounted Display Apparatus) 또는 증강 현실 헬멧(Augmented Reality Helmet) 형태도 될 수 있다.
도 1은 본 개시의 실시예에 따른 증강 현실 장치(100)가 영상 처리 장치(300)와 인터랙션하는 환경을 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 증강 현실 장치(100)가 증강 현실 안경 장치인 경우, 카메라는 좌안 렌즈와 우안 렌즈를 지지하는 안경테와 증강 현실 장치(100)를 사용자의 안면에 거치시키기 위한 안경 다리가 서로 접하는 부분에 전방을 향하도록 설치될 수도 있고, 안경테의 중앙부에 전방을 향하도록 설치될 수도 있으나, 이에 제한되는 것은 아니다. 시선 추적 센서는 사용자의 안구를 검출할 수 있도록, 안면부를 향하는 안경테의 일측면에 설치될 수 있으나, 이에 제한되는 것은 아니다.
영상 처리 장치(300)는 영상을 생성하거나 처리할 수 있는 전자 장치를 통칭하는 용어일 수 있다. 영상 처리 장치는 현실 객체가 포함된 영상을 생성하고 영상을 가공 및 처리할 수 있다. 영상 처리 장치는 TV, 키오스크, 광고판 등일 수 있다.
서버(200)는 증강 현실 장치(100)와 영상 처리 장치(300)를 중개하는 장치이다. 서버(200)는 증강 현실 장치(100)와 영상 처리 장치(300) 간의 원활한 인터랙션을 위해 사용되는 정보를 저장하고 있을 수 있다. 서버(200)는 증강 현실 장치(100)와 영상 처리 장치(300)가 인터랙션하는 장소에 따라, 다양한 형태의 서버로 구현될 수 있다.
도 1을 참조하면, 증강 현실 장치(100)를 착용한 사용자가 영상 처리 장치(300)에 디스플레이되는 현실 객체, 예를 들어, 설정 유저 인터페이스 또는 미디어 콘텐츠를 사용자가 조작하거나 감상하기 용이한 위치의 가상 이미지로 나타나도록 하여 증강 현실을 경험하는 모습을 나타내고 있다.
도 1에 도시된 바와 같이, 증강 현실 장치(100)는 현실 객체의 타입에 따라, 현실 객체들의 가상 이미지들을 인터랙션 목적에 적합한 서로 다른 공간 영역에 배치되도록 디스플레이할 수 있다. 예를 들어, 설정 유저 인터페이스의 가상 이미지는 사용자가 손을 뻗어 직접 조작할 수 있는 제1 공간 영역에 제공되도록 하고, 미디어 콘텐츠는 사용자가 여러 콘텐츠들을 늘어놓고 감상할 수 있는 제2 공간 영역에 제공되도록 할 수 있다.
이하, 영상 처리 장치(300)에서 디스플레이되는 현실 객체의 가상 이미지를 증강 현실에서 인터랙션 목적에 적합한 위치에 나타나도록 증강 현실 장치(100)를 제어하는 방법 및 이를 수행하는 증강 현실 장치(100)에 대해 설명한다.
도 2는 본 개시의 실시예에 따른 증강 현실 장치(100)가 영상 처리 장치(300)와의 인터랙션을 통해, 영상 처리 장치(300)에 디스플레이되는 현실 객체의 가상 이미지를 제공하는 과정을 설명하기 위한 도면이다.
도 2에서는 증강 현실 장치(100)가 서버(200)를 통해 영상 처리 장치(300)와 인터랙션을 수행하는 예에 대해 설명한다. 도 2에 도시된 바와 달리, 증강 현실 장치(100)는 서버(200)의 중개 없이 영상 처리 장치(300)와 통신을 수행할 수도 있으며, 이와 같은 경우에는, 도 2에서 설명하는 서버(200)의 동작은 생략되거나 증강 현실 장치(100) 또는 영상 처리 장치(300)가 대신할 수 있다.
도 2에서는 증강 현실 장치(100)가 증강 현실 장치(100)와 영상 처리 장치(300)를 중개하는 서버(200)와 통신이 연결된 때, 서버(200)로부터 영상 처리 장치(300)에 디스플레이될 수 있는 현실 객체들의 가상 이미지들을 수신하여, 증강 현실 장치(100)에 가상 이미지들을 미리 준비하고 있음을 전제한다. 예를 들어, 서버(200)가 홈 네트워크 서버(200)인 경우, 사용자가 증강 현실 장치(100)를 착용한 상태로 홈 네트워크 서버와 통신을 할 수 있는 영역 내로 진입하거나, 해당 영역에서 증강 현실 장치(100)의 전원을 켜면, 서버(200)로부터 가상 이미지들을 수신하여 저장할 수 있다.
증강 현실 장치(100)는 증강 현실 장치(100)를 착용한 사용자의 시선 정보를 추적하여 영상 처리 장치(300)에 디스플레이되는 현실 객체에 대응되는 시선 좌표를 획득할 수 있다.(S205) 이때, 시선 좌표는 3차원의 시선 좌표 정보일 수 있으며, 절대 좌표계에 기반한 3차원 공간 상의 좌표 정보일 수 있다. 예를 들어, 증강 현실 장치(100)가 스테레오 카메라를 구비하고, 제1 카메라 좌표계와 제2 카메라 좌표계 간의 기하하적 관계를 알고 있는 경우, 삼각측량에 따라, 제1 영상에서 사용자의 시선이 향한 시선 좌표와 이에 대응되는 제2 영상에서의 시선 좌표에 기초하여, 3차원 공간 상의 3차원의 시선 좌표를 구할 수 있다.
증강 현실 장치(100)는 현실 객체에 대응되는 시선 좌표를 현실 객체를 디스플레이하는 영상 처리 장치(300)로 전송하기 위해, 영상 처리 장치(300)와 통신을 수행하는 서버(200)에 시선 좌표를 전송할 수 있다.(S210) 서버(200)는 증강 현실 장치(100)로부터 시선 좌표를 수신할 수 있다.
서버(200)는 수신된 시선 좌표를 현실 객체를 디스플레이하는 영상 처리 장치(300)의 화면 좌표로 변환할 수 있다.(S215)
서버(200)는 변환된 화면 좌표를 영상 처리 장치(300)에 전송할 수 있다.(S220) 영상 처리 장치(300)는 시선 좌표에 대응되는 화면 좌표를 서버(200)로부터 수신할 수 있다.
영상 처리 장치(300)는 시선 좌표에 대응되는 화면 좌표에 따라 영상 처리 장치(300)에 디스플레이된 현실 객체를 특정할 수 있다.(S225)
도 3은 영상 처리 장치(300)가 현실 객체를 특정한 모습을 설명하기 위한 도면이다.
영상 처리 장치(300)는 증강 현실 장치(100)가 획득한 시선 좌표에 대응되는 화면 좌표에 따라, 영상 처리 장치(300)에 현재 디스플레이되고 있는 현실 객체를 특정할 수 있다. 도 3에 도시된 바와 같이, 영상 처리 장치(300)는 사용자의 시선 좌표에 대응되는 화면 좌표의 위치에 디스플레이된 설정 유저 인터페이스를 특정할 수 있다. 영상 처리 장치(300)는 사용자의 시선이 향하는 현실 객체가 특정되었음을 사용자에게 알려주기 위해, 설정 유저 인터페이스의 테두리 영역의 색상을 바꾸거나 별도의 아이콘을 보여줌으로서, 설정 유저 인터페이스를 호버링된 상태로 만들 수 있으나, 이에 제한되는 것은 아니다. 영상 처리 장치(300)는 특정된 현실 객체를 입체감이 나타나도록 디스플레이 효과를 주거나 특정된 현실 객체의 배경의 색상을 변경함으로써, 현실 객체가 호버링된 상태임을 나타낼 수도 있다.
다시 도 2를 참조하면, 증강 현실 장치(100)는 영상 처리 장치(300)에 의해 특정된 현실 객체의 가상 이미지를 불러오는 제스처를 인식할 수 있다.(S230) 증강 현실 장치(100)는 영상 처리 장치(300)에 의해 특정된 현실 객체가 호버링된 상태에서 소정의 손 자세(pose)가 검출되는 경우, 특정된 현실 객체의 가상 이미지를 불러오는 제스쳐를 인식할 수 있다. 손 자세(pose)는 손의 모습(appearance)이나 손의 동작(motion)을 포함하는 의미이며, 신호가 될 수 있는 다양한 형태의 손의 표현을 통칭하는 용어이다. 손의 모습은 손의 겉으로 나타난 모양을 의미한다. 손의 동작은 손의 움직임(movement) 또는 움직이는 모양을 의미한다.
도 4는 증강 현실 장치(100)가 영상 처리 장치(300)에서 특정된 현실 객체의 가상 이미지를 불러오는 제스처를 인식하는 모습을 설명하기 위한 도면이다.
증강 현실 장치(100)는 영상 처리 장치(300)에서 특정된 현실 객체가 호버링된 상태에서 증강 현실 장치(100)의 카메라를 통해 소정의 손 자세를 검출할 수 있다. 이를 위해, 증강 현실 장치(100)는 사용자의 손에 대한 정보와 영상 처리 장치(300)에 의해 특정된 현실 객체의 가상 이미지를 불러오는 제스처에 대한 정보를 미리 등록해 둘 수 있다.
증강 현실 장치(100)는 획득된 사용자의 손에 대한 정보와 카메라를 통해 획득되는 이미지에 기초하여, 사용자의 손 자세를 검출할 수 있다. 카메라는 증강 현실 장치(100)의 형태나 사양에 적합한 카메라 모듈을 포함할 수 있고, 모노 카메라 또는 스테레오 카메라가 될 수 있으나, 이에 한정되는 것은 아니다. 카메라는 그 종류에 따라, 사용자의 손 자세를 검출할 때, ToF(Time of Flight) 방식이나 스테레오 비전 방식으로 뎁스 정보를 추출할 수 있으나, 이에 한정되는 것은 아니다.
도 4에 도시된 바와 같이, 영상 처리 장치(300)에서 특정된 현실 객체인 설정 유저 인터페이스가 호버링된 상태에서, 증강 현실 장치(100)는 카메라를 통해 획득되는 영상에 기초하여, 설정 유저 인터페이스의 가상 이미지를 불러오는 제스처를 인식할 수 있다. 예를 들어, 사용자가 설정 유저 인터페이스가 호버링된 상태에서 손을 움켜쥔 후 사용자 쪽으로 손을 가져오는 '그랩 앤 풀' 제스처를 취하면, 증강 현실 장치(100)는 설정 유저 인터페이스의 가상 이미지를 불러오라는 이벤트가 발생하였음을 감지할 수 있다.
다시 도 2를 참조하면, 증강 현실 장치(100)는 인식된 제스처에 대응되는 이벤트 알림(notification)을 영상 처리 장치(300)로 전송하기 위해, 영상 처리 장치(300)와 통신을 수행하는 서버(200)에 이벤트 알림을 전송할 수 있다.(S235) 이벤트 알림은 영상 처리 장치(300)에 의해 현재 특정된 현실 객체를 사용자가 증강 현실 장치(100)를 통해 가상 이미지로 체험하겠다는 신호로써, 증강 현실 장치(100)와 영상 처리 장치(300) 간의 사전 합의된 형태의 메시지 정보를 포함할 수 있다. 서버(200)는 증강 현실 장치(100)로부터 이벤트 알림을 수신할 수 있다.
서버(200)는 수신된 이벤트 알림을 영상 처리 장치(300)에 전송할 수 있다.(S240) 영상 처리 장치(300)는 이벤트 알림을 서버(200)로부터 수신할 수 있다.
영상 처리 장치(300)는 서버(200)로부터 수신된 이벤트 알림에 대한 응답으로, 특정된 현실 객체의 객체 정보를 서버(200)에 전송할 수 있다.(S245) 예를 들어, 객체 정보는 특정된 현실 객체의 식별 정보 및 데이터 정보를 포함할 수 있다.
영상 처리 장치(300)는 특정된 현실 객체가 영상 처리 장치(300)의 디스플레이 밖으로 나오는 듯한 효과를 제공하는 애니메이션을 실행할 수 있다.(S250) 이와 같이 실행된 애니메이션은 증강 현실 장치(100)에서 나타나는 특정된 현실 객체의 가상 이미지의 팝업과 겹쳐보임으로써, 사용자는 현실 객체가 가상 이미지로 자연스럽게 변화하는 듯한 시각 효과를 체험하게 된다.
서버(200)는 특정된 현실 객체의 객체 정보를 증강 현실 장치(100)에 전송할 수 있다.(S255) 증강 현실 장치(100)는 특정된 현실 객체의 객체 정보를 서버(200)로부터 수신함으로써, 영상 처리 장치(300)가 전송한 특정된 현실 객체의 객체 정보를 수신할 수 있다.
증강 현실 장치(100)는 미리 준비된 가상 이미지들 중에서 객체 정보에 대응되는 가상 이미지를 검색할 수 있다.(S260) 증강 현실 장치(100)는 미리 준비된 가상 이미지들 중에서 식별 정보에 대응되는 가상 이미지를 검색할 수 있다.
증강 현실 장치(100)는 검색된 가상 이미지를 특정된 현실 객체의 타입에 대응되는 뎁스 레이어에 제공할 수 있다.(S265) 증강 현실 장치(100)는 식별 정보에 대응되는 가상 이미지에 영상 처리 장치(300)에서 전송된 데이터 정보를 반영하여 특정된 현실 객체의 타입에 대응되는 뎁스 레이어에 제공할 수 있다.
증강 현실 장치(100)는 특정된 현실 객체들의 타입이 서로 다르면, 특정된 현실 객체들의 가상 이미지들은 서로 다른 뎁스 레이어에 제공할 수 있다. 증강 현실 장치(100)는 제1 타입의 현실 객체의 제1 가상 이미지를 제1 뎁스 레이어에 제공하고, 제2 타입의 현실 객체의 제2 가상 이미지를 제2 뎁스 레이어에 제공할 수 있다. 제1 뎁스 레이어는 제2 뎁스 레이어보다 가상 이미지의 팝업이 더 가까운 위치에서 관측되도록 디스플레이할 수 있다. 예를 들어, 증강 현실 장치(100)는 특정된 현실 객체가 설정 유저 인터페이스이면, 제1 뎁스 레이어에 설정 유저 인터페이스의 가상 이미지를 제공하고, 특정된 현실 객체가 미디어 콘텐츠이면, 제2 뎁스 레이어에 미디어 콘텐츠의 가상 이미지를 제공할 수 있다.
증강 현실 장치(100)는 가상 이미지의 팝업을 조작하는 제스처를 인식할 수 있다.(S270) 증강 현실 장치(100)에 가상 이미지의 팝업이 디스플레이되는 경우, 증강 현실 장치(100)를 착용한 사용자가 가상 이미지의 팝업을 조작하기 위해 증강 현실 장치(100)의 카메라에 손을 노출시키면, 증강 현실 장치(100)는 노출된 손에 의해, 가상 이미지의 팝업이 조작될 수 있도록 가상 이미지를 처리할 수 있다.
도 5는 영상 처리 장치(300)에서 특정된 현실 객체의 가상 이미지를 증강 현실 장치(100)의 디스플레이에 제공함으로써, 증강 현실 장치(100)가 가상 이미지의 팝업을 디스플레이하는 모습을 설명하기 위한 도면이다.
증강 현실 장치(100)는 영상 처리 장치(300)가 전송한 설정 유저 인터페이스의 객체 정보를 수신한 후, 미리 준비된 가상 이미지들 중에서 설정 유저 인터페이스의 식별 정보에 대응되는 가상 이미지를 검색하고, 영상 처리 장치(300)에서 전송된 데이터 정보를 반영한 가상 이미지를 생성하여, 설정 유저 인터페이스의 타입에 대응되는 뎁스 레이어에 제공할 수 있다.
도 5에 도시된 바와 같이, 증강 현실 장치(100)는 특정된 현실 객체가 설정 유저 인터페이스이면, 제1 뎁스 레이어에 설정 유저 인터페이스의 가상 이미지를 제공할 수 있다. 도 5에 도시된 바와 달리, 특정된 현실 객체가 미디어 콘텐츠이면, 증강 현실 장치(100)는 제2 뎁스 레이어에 미디어 콘텐츠의 가상 이미지를 제공할 수 있다.
증강 현실 장치(100)가 가상 이미지의 팝업을 디스플레이하면, 증강 현실 장치(100)를 착용한 사용자는 가상 이미지의 팝업을 조작하기 위해 카메라에 사용자의 손이 검출되도록 위치시키고, 가상 이미지의 팝업에 있는 설정 유저 인터페이스 내의 메뉴의 설정 값을 조절하는 손 자세를 취할 수 있다. 이에 따라, 증강 현실 장치(100)는 가상 이미지의 팝업을 조작하는 제스처를 인식할 수 있다. 증강 현실 장치(100)는 인식된 제스처에 기초하여, 설정 값이 조절된 설정 유저 인터페이스의 가상 이미지의 팝업을 디스플레이할 수 있다.
다시 도 2를 참조하면, 증강 현실 장치(100)는 가상 이미지의 팝업 조작에 따라 변경된 객체 정보를 영상 처리 장치(300)로 전송하기 위해, 서버(200)에 변경된 객체 정보를 전송할 수 있다.(S275) 변경된 객체 정보는 특정된 현실 객체의 식별 정보 및 변경된 데이터 정보를 포함할 수 있다. 서버(200)는 변경된 데이터 정보를 증강 현실 장치(100)로부터 수신할 수 있다.
서버(200)는 변경된 객체 정보를 영상 처리 장치(300)에 전송할 수 있다.(S280) 영상 처리 장치(300)는 변경된 객체 정보를 서버(200)로부터 수신할 수 있다.
영상 처리 장치(300)는 서버(200)로부터 수신된, 변경된 객체 정보를 영상 처리 장치(300)의 동작에 반영할 수 있다.(S285)
도 6은 본 개시의 실시예에 따른 증강 현실 장치(100)의 구성 및 동작을 설명하기 위한 도면이다.
도 6을 참조하면, 증강 현실 장치(100)는 메모리(110), 프로세서(120), 카메라(130), 시선 추적 센서(140), 통신 인터페이스 모듈(150), 디스플레이(160), 디스플레이 엔진부(170)를 포함할 수 있다. 그 외에도 증강 현실 장치(100)의 위치를 감지하는 위치 센서나 증강 현실 장치(100)에 전원을 공급하는 전원부와 같은 구성들도 더 포함할 수 있으며, 본 개시의 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 도 2에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 알 수 있다.
메모리(110)는 프로세서(120)에 의해 실행 가능한 명령어들을 저장할 수 있다. 메모리(110)는 명령어들로 구성된 프로그램을 저장할 수 있다. 메모리(110)는 예를 들어, 램(RAM, Random Access Memory), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), 플래시 메모리(flash memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 하드웨어 장치를 포함할 수 있다.
메모리(110)는 명령어들을 포함하는 적어도 하나의 소프트웨어 모듈을 저장할 수 있다. 각 소프트웨어 모듈은 프로세서(120)에 의해 실행됨으로써, 증강 현실 장치(100)가 소정의 동작이나 기능을 수행하도록 한다. 예를 들어, 도 6에 도시된 바와 같이, 프로세서(120)에 의해 영상 분석 모듈, 시선 좌표 생성 모듈, 제스처 인식 모듈, 및 이벤트 핸들러 모듈 등이 실행될 수 있으나, 이에 한정되는 것은 아니며, 다른 소프트웨어 모듈을 더 포함할 수 있다.
프로세서(120)는 메모리(110)에 저장된 명령어들이나 프로그램화된 소프트웨어 모듈을 실행함으로써, 증강 현실 장치(100)가 수행하는 동작이나 기능을 제어할 수 있다. 프로세서(120)는 산술, 로직 및 입출력 연산과 시그널 프로세싱을 수행하는 하드웨어 구성 요소로 구성될 수 있다.
프로세서(120)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나의 하드웨어로 구성될 수 있으나, 이에 한정되는 것은 아니다.
카메라(130)는 현실 세계의 장면을 촬영하는 장치로써, 스테레오 영상을 획득하는 스테레오 카메라이거나 단일 카메라일 수 있다. 카메라(130)는 렌즈들을 포함하는 렌즈 모듈, AF(Auto Focus) 액추에이터, 이미지 센서, 이미지 신호 프로세서를 포함할 수 있다. 렌즈 모듈은 경통부 내에 복수 개의 렌즈들이 배치된 구조를 가지며, 외부로부터 입사되는 광이 배치된 렌즈들을 통과하도록 할 수 있다. AF 액추에이터는 선명한 화질의 영상을 획득하기 위해, 렌즈들을 최적의 초점 위치로 이동시킬 수 있다. 이미지 신호 프로세서는 이미지 센서에서 변환된 전기적 신호를 이미지 신호로 변환할 수 있다.
시선 추적 센서(140)는 사용자 눈이 향하는 시선 방향, 사용자 눈의 동공 위치 또는 동공의 중심점 좌표 등 시선 정보를 검출할 수 있다. 예를 들어, 시선 추적 센서(140)는 적외선 광을 사용자의 눈에 조사하여 반사된 광을 수신함으로써 촬영된 영상으로부터 동공을 검출하여 그 움직임을 추적할 수 있다. 프로세서(120)는 시선 추적 센서(140)에서 검출된 사용자의 시선 정보에 기초하여, 안구 움직임(eye movement) 형태를 판단할 수 있다. 예를 들어, 프로세서(120)는 시선 추적 센서(140)로부터 획득된 시선 정보에 기초하여, 어느 한 곳을 주시하는 고정(fixation), 움직이는 객체를 쫓는 추적(pursuit), 한 응시점에서 다른 응시점으로 신속하게 시선이 이동하는 도약(saccade) 등을 포함한 다양한 형태의 시선 움직임을 판단할 수 있다.
증강 현실 장치(100)의 프로세서(120)는 시선 추적 센서(140)를 이용하여 사용자의 응시점이나 사용자의 시선 이동을 판단하여, 증강 현실 장치(100)의 제어에 이용할 수 있다. 프로세서(120)는 시선 추적 센서(140)에 의해 판단되는 응시점이나 시선 이동에 따라서 카메라(130)의 방향을 제어하여, 적어도 하나의 영상을 획득할 수 있다.
통신 인터페이스 모듈(150)는 증강 현실 장치(100)의 외부에 위치한 장치와 연결되어, 증강 현실 장치(100)에서 획득하거나 생성된 정보를 외부에 위치한 장치에 전송하거나, 외부에 위치한 장치로부터 여러 가지 종류의 정보를 수신할 수 있다. 통신 인터페이스 모듈(150)는 다른 장치 또는 네트워크와 통신을 수행할 수 있다. 이를 위해, 통신 인터페이스 모듈(150)는 다양한 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들어, Wi-Fi(Wireless Fidelity), 블루투스와 같은 근거리 통신이나 다양한 종류의 이동 통신 또는 초광대역 통신을 수행하는 통신 모듈이 포함될 수 있다.
증강 현실 장치(100)는 디스플레이(160)와 디스플레이 엔진부(170)를 통해 가상 이미지의 팝업을 제공할 수 있다. 가상 이미지는 광학 엔진을 통해 생성될 수 있으며, 정적 이미지와 동적 이미지를 모두 포함할 수 있다. 이러한 가상 이미지는 사용자가 증강 현실 장치를 통해서 보는 현실 세계의 장면 즉, 현실 장면(real scene)과 함께 관측되며, 현실 장면 속의 현실 객체에 대응되는 이미지 또는 증강 현실 장치(100)의 동작에 대한 정보나 제어 메뉴 등을 나타내는 이미지일 수 있다.
디스플레이 엔진부(170)는 가상 이미지를 생성하여 투사하는 광학 엔진과 광학 엔진으로부터 투사된 가상 이미지의 광을 디스플레이(160)까지 안내하는 가이드부를 포함할 수 있다. 디스플레이(160)는 증강 현실 장치(100)의 좌안 렌즈 및/또는 우안 렌즈에 내재된 시스루 형태의 도광판(웨이브가이드, Waveguide)을 포함할 수 있다. 디스플레이(160)는 현실 객체의 가상 이미지 또는 증강 현실 장치(100)의 동작에 대한 정보나 제어 메뉴를 나타내는 가상 이미지를 디스플레이할 수 있다.
디스플레이(160)는 복수의 뎁스 레이어를 포함하는 형태로 구현될 수 있으며, 현실 객체의 타입에 대응되는 뎁스 레이어에 현실 객체의 가상 이미지를 제공함으로써, 증강 현실에서 현실 객체의 가상 이미지는 인터랙션 목적에 적합한 위치에 나타날 수 있다. 디스플레이(160)는 가상 이미지의 팝업이 관측되는 위치가 서로 다른 복수의 뎁스 레이어들을 포함할 수 있다. 예를 들어, 제1 뎁스 레이어는 제2 뎁스 레이어보다 가상 이미지의 팝업이 더 가까운 위치에서 관측되도록 디스플레이할 수 있다. 제2 뎁스 레이어는 제1 뎁스 레이어보다 가상 이미지의 팝업이 더 넓은 공간 상에 배치되어 관측되도록 디스플레이할 수 있다.
디스플레이(160)를 통해 가상 이미지의 팝업이 관측되는 경우, 증강 현실 장치(100)를 착용한 사용자는 가상 이미지의 팝업을 조작하기 위해 카메라(130)에 사용자의 손을 노출시키고, 가상 이미지의 팝업을 노출된 손으로 조작할 수 있다.
상기한 구성에 따라, 증강 현실 장치(100)의 프로세서(120)는 메모리(110)에 저장된 영상 분석 모듈, 시선 좌표 생성 모듈, 제스처 인식 모듈, 및 이벤트 핸들러 모듈 중 적어도 하나를 실행하여, 영상 처리 장치(300)에서 디스플레이되는 현실 객체의 가상 이미지를 현실 객체의 타입에 대응되는 뎁스 레이어에 제공하여, 현실 객체의 가상 이미지를 증강 현실에서 인터랙션 목적에 적합한 위치에 나타낼 수 있다.
프로세서(1200)는 메모리(110)에 저장된 명령어들을 실행하여, 시선 추적 센서(140)를 통해 획득된 시선 정보에 기초하여 현실 객체에 대응되는 시선 좌표를 획득할 수 있다. 예를 들어, 프로세서(120)는 시선 추적 센서(140)를 이용하여 회득된 시선 정보에 기초하여, 스테레오 영상에서 시선 좌표의 좌표 쌍을 획득하고, 이와 같은 좌표 쌍으로부터 3차원 시선 좌표를 획득할 수 있다. 프로세서(120)는 통신 인터페이스 모듈(150)를 통해 현실 객체에 대응되는 시선 좌표를 현실 객체를 디스플레이하는 영상 처리 장치(300)로 전송할 수 있다. 그 결과, 영상 처리 장치(300)는 시선 좌표에 대응되는 화면 좌표에 따른 현실 객체를 특정할 수 있다.
프로세서(120)는 카메라(130)를 통해 촬영된 영상에 기초하여, 시선 좌표에 대응되는 화면 좌표에 따라 영상 처리 장치(300)에서 특정된 현실 객체의 가상 이미지를 불러오는 제스처를 인식할 수 있다. 프로세서(120)는 카메라(130)를 통해 촬영된 영상에 기초하여, 영상 처리 장치(300)에서 특정된 현실 객체가 호버링된 상태에서 소정의 손 자세가 검출되는 경우, 가상 이미지를 불러오는 제스처를 인식할 수 있다.
프로세서(120)는 통신 인터페이스 모듈(150)를 통해, 인식된 제스처에 대응되는 이벤트 알림을 영상 처리 장치(300)로 전송한 것에 대한 응답으로, 영상 처리 장치(300)로부터 특정된 현실 객체의 객체 정보를 수신할 수 있다. 예를 들어, 객체 정보는 영상 처리 장치(300)에서 특정된 현실 객체의 식별 정보 및 데이터 정보를 포함할 수 있다. 프로세서(120)는 디스플레이 엔진부(170)를 제어하여, 미리 준비된 가상 이미지들 중에서 객체 정보에 대응되는 가상 이미지를 특정된 현실 객체의 타입에 대응되는 디스플레이(160)의 뎁스 레이어에 제공할 수 있다. 예를 들어, 프로세서(120)는 디스플레이 엔진부(170)를 제어하여, 미리 준비된 가상 이미지들 중에서 식별 정보에 대응되는 가상 이미지에 데이터 정보를 반영하여 디스플레이(160)의 뎁스 레이어에 제공할 수 있다. 미리 준비된 가상 이미지들은 증강 현실 장치(100)가 증강 현실 장치(100)와 영상 처리 장치(300)를 중개하는 서버(200)와 통신이 연결된 때 통신 인터페이스(150)를 통해 서버(200)로부터 수신된 것일 수 있다.
프로세서(120)는 특정된 현실 객체들의 타입이 서로 다르면, 특정된 현실 객체들의 가상 이미지들을 디스플레이(160)의 서로 다른 뎁스 레이어에 제공될 수 있다. 프로세서(120)는 제1 타입의 현실 객체의 제1 가상 이미지는 디스플레이(160)의 제1 뎁스 레이어에 제공하고, 제2 타입의 현실 객체의 제2 가상 이미지는 디스플레이(160)의 제2 뎁스 레이어에 제공할 수 있다. 디스플레이(160)의 제1 뎁스 레이어는 디스플레이(160)의 제2 뎁스 레이어보다 가상 이미지의 팝업이 더 가까운 위치에서 관측되도록 디스플레이할 수 있다. 예를 들어, 프로세서(120)는, 특정된 현실 객체가 설정 유저 인터페이스이면, 디스플레이(160)의 제1 뎁스 레이어에 설정 유저 인터페이스의 가상 이미지를 제공하고, 특정된 현실 객체가 미디어 콘텐츠이면, 디스플레이(160)의 제2 뎁스 레이어에 미디어 콘텐츠의 가상 이미지를 제공할 수 있다.
프로세서(120)는 카메라(130)를 통해 촬영된 영상에 기초하여, 가상 이미지의 팝업을 조작하는 제스처를 인식하고, 통신 인터페이스 모듈(150)을 통해, 조작에 따라 변경된 객체 정보를 영상 처리 장치(300)로 전송할 수 있다.
도 7은 본 개시의 실시예에 따른 서버(200)의 구성 및 동작을 설명하기 위한 도면이다.
도 7를 참조하면, 서버(200)는 메모리(210), 프로세서(220), 통신 인터페이스 모듈(230), 스토리지(240)를 포함한다. 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 도 7에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 알 수 있다.
도 7의 블록도의 각 구성요소는 서버(200)의 구현 방식에 따라 분리, 추가, 또는 생략될 수 있다. 즉, 구현 방식에 따라 하나의 구성요소가 2 이상의 구성요소로 세분화되거나, 2 이상의 구성요소가 하나의 구성요소로 합쳐질 수도 있고, 일부 구성요소가 더 추가되거나 제거될 수 있다.
메모리(210)는 프로세서(220)에 의해 실행 가능한 인스트럭션들을 저장할 수 있다. 메모리(210)는 소프트웨어 또는 프로그램을 저장할 수 있다.
프로세서(220)는 메모리(210)에 저장된 인스트럭션들을 실행할 수 있다. 프로세서(220)는 서버(200)의 전반적인 제어를 수행할 수 있다. 프로세서(220)는 통신 인터페이스 모듈(230)를 통해 수신되는 정보 및 요청 사항을 획득하고, 수신되는 정보를 스토리지(240)에 저장할 수 있다. 또한, 프로세서(220)는 수신되는 정보를 가공할 수 있다. 예를 들어, 프로세서(220)는 제1 외부 장치로부터 수신되는 정보로부터 제2 외부 장치에서 이용되는 정보를 획득하거나, 수신되는 정보를 가공하는 행위를 수행할 수 있다. 또한, 프로세서(220)는 제1 외부 장치로부터 수신되는 정보를 제2 외부 장치로 전달할 수 있다.
통신 인터페이스 모듈(230)는 증강 현실 장치(100), 영상 처리 장치(300) 등과 같은 외부 장치와 통신을 수행할 수 있다. 예를 들어, 서버(200)는 증강 현실 장치(100)로부터 시선 좌표나 이벤트 알림을 수신할 수 있고, 영상 처리 장치(300)에 화면 좌표나 이벤트 알림을 전달할 수 있다.
스토리지(240)는 각종 소프트웨어 및 정보들을 저장할 수 있다. 예를 들어, 스토리지(240)는 서버(200)에서 실행되는 프로그램, 애플리케이션, 및 증강 현실 장치(100)와 영상 처리 장치(300)의 중개에 이용되는 각종 데이터 또는 정보를 저장할 수 있다. 또한, 스토리지(240)는 동일한 네트워크에 연결된 증강 현실 장치(100)와 영상 처리 장치(300)의 정보를 대응시켜 저장할 수 있다. 예를 들어, 서버(200)는 사용자 별로 증강 현실 장치(100)와 영상 처리 장치(300)에 대한 정보를 스토리지(240)에 미리 등록해 둘 수 있다. 이에 따라, 서버는 증강 현실 장치(100)로부터 어떤 정보가 수신되면, 그 정보를 어느 영상 처리 장치(300)로 전달할 것인지 결정할 수 있다.
도 8은 본 개시의 실시예에 따른 영상 처리 장치(300)의 구성 및 동작을 설명하기 위한 도면이다.
도 8을 참조하면, 영상 처리 장치(300)은 메모리(310), 프로세서(320), 통신 인터페이스 모듈(330), 디스플레이(340)를 포함한다. 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 도 8에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 알 수 있다.
메모리(310)는 소프트웨어 및/또는 컴퓨터 프로그램을 저장할 수 있다. 예를 들어, 메모리(310)는 애플리케이션, 애플리케이션 프로그래밍 인터페이스(API) 등과 같은 프로그램 및 다양한 종류의 데이터를 저장할 수 있다. 메모리(310)는 프로세서(320)에 의해 실행 가능한 인스트럭션들을 저장할 수 있다.
프로세서(320)는 메모리(310)에 저장된 데이터에 접근하여 이를 이용하거나, 또는 새로운 데이터를 메모리(310)에 저장할 수 있다. 프로세서(320)는 메모리(310)에 저장된 인스트럭션들을 실행할 수 있다. 프로세서(320)는 영상 처리 장치(300)에 설치된 애플리케이션을 실행할 수 있다.
프로세서(320)는 적어도 하나의 프로세싱 모듈을 포함할 수 있다. 프로세서(320)는 인스트럭션 또는 컴퓨터 프로그램 등의 실행 결과에 대응되는 동작을 수행하도록 영상 처리 장치(300)에 포함된 다른 구성들을 제어할 수 있다.
통신 인터페이스 모듈(330)은 다른 장치 또는 네트워크와 유무선 통신을 수행할 수 있다. 이를 위해, 통신 인터페이스 모듈(330)은 다양한 유무선 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들어, Wi-Fi(Wireless Fidelity), 블루투스와 같은 근거리 통신, 초광대역 통신을 수행하는 통신 모듈이 포함될 수 있다. 통신 인터페이스 모듈(330)은 영상 처리 장치(300)의 외부에 위치한 장치와 연결되어 신호 또는 데이터를 포함하는 메시지를 송수신할 수 있다.
디스플레이(340)는 표시 패널 및 표시 패널을 제어하는 컨트롤러를 포함할 수 있으며, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, AM-OLED(Active-Matrix Organic Light-Emitting Diode), 및 PDP(Plasma Display Panel) 등과 같은 다양한 방식으로 구현될 수 있다. 디스플레이(340)는 표시 패널과 터치 패널이 결합된 터치 스크린 형태로 제공될 수 있으며, 유연하게(flexible) 또는 말 수 있게(rollable) 구현될 수도 있다.
프로세서(320)는 메모리(310)에 저장된 인스트럭션들을 실행하여 다음과 같은 동작을 수행할 수 있다. 영상 처리 장치(300)의 프로세서(320)는 통신 인터페이스 모듈(330)을 통해, 외부 장치와 정보를 송수신 할 수 있다. 영상 처리 장치(300)의 프로세서(320)는 외부 장치로부터 수신된 정보에 기초하여, 설정 유저 인터페이스나 미디어 컨텐츠와 같은 현실 객체를 디스플레이(340)에 디스플레이할 수 있다. 예를 들어, 영상 처리 장치(300)의 프로세서(320)는 서버로부터 수신된 화면 좌표에 따라 디스플레이된 현실 객체를 특정할 수 있다. 영상 처리 장치(300)의 프로세서(320)는 특정된 현실 객체를 호버링된 상태로 나타낼 수 있다. 영상 처리 장치(300)의 프로세서(320)는 서버(200)로부터 수신된 이벤트 알림에 대한 응답으로, 특정된 현실 객체의 객체 정보를 서버(200)에 전송할 수 있고, 특정된 현실 객체가 영상 처리 장치(300)의 디스플레이 밖으로 나오는 듯한 효과를 제공하는 애니메이션을 실행할 수 있다. 영상 처리 장치(300)의 프로세서(320)는 특정된 현실 객체의 변경된 객체 정보를 서버(200)로부터 수신하고, 변경된 객체 정보를 영상 처리 장치(300)의 동작에 반영할 수 있다.
도 9는 본 개시의 실시예에 따른 증강 현실 장치(100)를 제어하는 방법을 설명하기 위한 흐름도이다. 이상에서 설명한 내용과 중복되는 용어 및 내용에 대해서는 이하 상세한 설명은 생략한다.
910 단계에서, 증강 현실 장치(100)는 현실 객체에 대응되는 시선 좌표를 현실 객체를 디스플레이하는 영상 처리 장치(300)로 전송할 수 있다. 이를 위해, 증강 현실 장치(100)와 네트워크 연결된 서버(200)가 증강 현실 장치(100)가 전송한 시선 좌표를 영상 처리 장치(300)에서 이용할 수 있는 화면 좌표로 변환하여, 시선 좌표에 대응되는 화면 좌표를 영상 처리 장치(300)로 전송할 수 있다. 영상 처리 장치(300)는 시선 좌표에 대응되는 화면 좌표에 따른 현실 객체를 특정할 수 있다.
920 단계에서, 증강 현실 장치(100)는 시선 좌표에 대응되는 화면 좌표에 따라 영상 처리 장치(300)에서 특정된 현실 객체의 가상 이미지를 불러오는 제스처를 인식할 수 있다. 증강 현실 장치(100)는 카메라(130)를 통해 촬영된 영상에 기초하여, 영상 처리 장치(300)에서 특정된 현실 객체가 호버링된 상태에서 소정의 손 자세가 검출되는 경우, 특정된 현실 객체의 가상 이미지를 불러오는 제스처를 인식할 수 있다.
930 단계에서, 증강 현실 장치(100)는 인식된 제스처에 대응되는 이벤트 알림을 영상 처리 장치(300)로 전송한 것에 대한 응답으로, 영상 처리 장치(300)로부터 특정된 현실 객체의 객체 정보를 수신할 수 있다. 예를 들어, 객체 정보는 영상 처리 장치(300)에서 특정된 현실 객체의 식별 정보 및 데이터 정보를 포함할 수 있다.
940 단계에서, 증강 현실 장치(100)는 미리 준비된 가상 이미지들 중에서 객체 정보에 대응되는 가상 이미지를 특정된 현실 객체의 타입에 대응되는 뎁스 레이어에 제공할 수 있다. 예를 들어, 증강 현실 장치(100)는 미리 준비된 가상 이미지들 중에서 식별 정보에 대응되는 가상 이미지에 데이터 정보를 반영하여 디스플레이(160)의 뎁스 레이어에 제공할 수 있다. 미리 준비된 가상 이미지들은 증강 현실 장치(100)가 증강 현실 장치(100)와 영상 처리 장치(300)를 중개하는 서버(200)와 통신이 연결된 때 통신 인터페이스(150)를 통해 서버(200)로부터 수신된 것일 수 있다.
특정된 현실 객체들의 타입이 서로 다르면, 특정된 현실 객체들의 가상 이미지들은 디스플레이(160)의 서로 다른 뎁스 레이어에 제공될 수 있다. 증강 현실 장치(100)는 제1 타입의 현실 객체의 제1 가상 이미지는 제1 뎁스 레이어에 제공하고, 제2 타입의 현실 객체의 제2 가상 이미지는 제2 뎁스 레이어에 제공할 수 있다. 제1 뎁스 레이어는 제2 뎁스 레이어보다 가상 이미지의 팝업이 더 가까운 위치에서 관측되도록 디스플레이할 수 있다. 예를 들어, 특정된 현실 객체가 설정 유저 인터페이스이면, 제1 뎁스 레이어에 설정 유저 인터페이스의 가상 이미지가 제공되고, 특정된 현실 객체가 미디어 콘텐츠이면, 제2 뎁스 레이어에 미디어 콘텐츠의 가상 이미지가 제공될 수 있다.
증강 현실 장치(100)는 가상 이미지의 팝업을 조작하는 제스처를 인식하고, 조작에 따라 변경된 객체 정보를 영상 처리 장치(300)로 전송할 수 있다.
본 개시에서 설명된 증강 현실 장치(100)는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 개시된 실시예들에서 설명된 증강 현실 장치(100)는 프로세서, ALU(arithmetic logic unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 마이크로컴퓨터, 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.
소프트웨어는, 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 컴퓨터 프로그램으로 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체로는, 예를 들어 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD, Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
컴퓨터는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 개시된 실시예에 따른 동작이 가능한 장치로서, 개시된 실시예들에 따른 증강 현실 장치(100)를 포함할 수 있다.
컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 개시된 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 소프트웨어 프로그램, 소프트웨어 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 증강 현실 장치(100)나 영상 처리 장치(300)의 제조사 또는 전자 마켓(예를 들어, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 소프트웨어 프로그램 형태의 상품(예를 들어, 다운로드 가능한 애플리케이션(downloadable application))을 포함할 수 있다. 전자적 배포를 위하여, 소프트웨어 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 소프트웨어 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 서버 및 단말(예를 들어, 증강 현실 장치 또는 영상 처리 장치)로 구성되는 시스템에서, 서버의 저장매체 또는 단말의 저장매체를 포함할 수 있다. 또는, 서버 또는 단말과 통신 연결되는 제3 장치(예, 스마트 폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 단말 또는 제3 장치로 전송되거나, 제3 장치로부터 단말로 전송되는 소프트웨어 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 단말 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 단말 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 단말이 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
또 다른 예로, 제3 장치가 컴퓨터 프로그램 제품을 실행하여, 제3 장치와 통신 연결된 단말이 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다.
제3 장치가 컴퓨터 프로그램 제품을 실행하는 경우, 제3 장치는 서버로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제3 장치는 프리로드된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 설명된 전자 장치, 구조, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (15)

  1. 사용자의 시선 정보를 획득하는 시선 추적 센서;
    통신 인터페이스 모듈;
    카메라;
    디스플레이 엔진부;
    디스플레이;
    하나 이상의 명령어들을 저장하는 메모리; 및
    상기 하나 이상의 명령어들을 실행하는 프로세서를 포함하며,
    상기 프로세서는,
    상기 시선 정보에 기초한 현실 객체에 대응되는 시선 좌표를 상기 통신 인터페이스 모듈을 통해 상기 현실 객체를 디스플레이하는 영상 처리 장치로 전송하고, 상기 카메라를 통해 촬영된 영상에 기초하여, 상기 시선 좌표에 대응되는 화면 좌표에 따라 상기 영상 처리 장치에서 특정된 상기 현실 객체의 가상 이미지를 불러오는 제스처를 인식하며, 상기 통신 인터페이스 모듈을 통해, 상기 인식된 제스처에 대응되는 이벤트 알림을 상기 영상 처리 장치로 전송한 것에 대한 응답으로, 상기 영상 처리 장치로부터 상기 특정된 현실 객체의 객체 정보를 수신하며, 상기 디스플레이 엔진부를 제어하여, 미리 준비된 가상 이미지들 중에서 상기 객체 정보에 대응되는 가상 이미지를 상기 특정된 현실 객체의 타입에 대응되는 상기 디스플레이의 뎁스 레이어에 제공하는, 증강 현실 장치.
  2. 제1 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    특정된 현실 객체들의 타입이 서로 다르면, 상기 특정된 현실 객체들의 가상 이미지들을 상기 디스플레이의 서로 다른 뎁스 레이어에 제공하는, 증강 현실 장치.
  3. 제1 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    제1 타입의 현실 객체의 제1 가상 이미지는 상기 디스플레이의 제1 뎁스 레이어에 제공하고, 제2 타입의 현실 객체의 제2 가상 이미지는 상기 디스플레이의 제2 뎁스 레이어에 제공하는, 증강 현실 장치.
  4. 제3 항에 있어서,
    상기 디스플레이의 상기 제1 뎁스 레이어는 상기 디스플레이의 상기 제2 뎁스 레이어보다 가상 이미지의 팝업이 더 가까운 위치에서 관측되도록 디스플레이하는, 증강 현실 장치.
  5. 제1 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 특정된 현실 객체가 설정 유저 인터페이스이면, 상기 디스플레이의 제1 뎁스 레이어에 상기 설정 유저 인터페이스의 가상 이미지를 제공하고, 상기 특정된 현실 객체가 미디어 콘텐츠이면, 상기 디스플레이의 상기 제2 뎁스 레이어에 미디어 콘텐츠의 가상 이미지를 제공하는, 증강 현실 장치.
  6. 제1 항에 있어서,
    상기 객체 정보는 상기 특정된 현실 객체의 식별 정보 및 데이터 정보를 포함하고,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 디스플레이 엔진부를 제어하여, 상기 미리 준비된 가상 이미지들 중에서 상기 식별 정보에 대응되는 가상 이미지에 상기 데이터 정보를 반영하여 상기 디스플레이의 상기 뎁스 레이어에 제공하는, 증강 현실 장치.
  7. 제1 항에 있어서,
    상기 미리 준비된 가상 이미지들은 상기 증강 현실 장치가 상기 증강 현실 장치와 상기 영상 처리 장치를 중개하는 서버와 통신이 연결된 때 상기 통신 인터페이스를 통해 상기 서버로부터 수신된 것인, 증강 현실 장치.
  8. 제1 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 카메라를 통해 촬영된 영상에 기초하여, 상기 특정된 현실 객체가 호버링된 상태에서 소정의 손 자세가 검출되는 경우, 상기 가상 이미지를 불러오는 제스처를 인식하는, 증강 현실 장치.
  9. 제1 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 카메라를 통해 촬영된 영상에 기초하여, 상기 제공된 가상 이미지의 팝업을 조작하는 제스처를 인식하고, 상기 통신 인터페이스 모듈을 통해, 상기 조작에 따라 변경된 객체 정보를 상기 영상 처리 장치로 전송하는, 증강 현실 장치.
  10. 제1 항에 있어서,
    상기 디스플레이는 가상 이미지의 팝업이 관측되는 위치가 서로 다른 복수의 뎁스 레이어들을 포함하는, 증강 현실 장치.
  11. 현실 객체에 대응되는 시선 좌표를 상기 현실 객체를 디스플레이하는 영상 처리 장치로 전송하는 단계;
    상기 시선 좌표에 대응되는 화면 좌표에 따라 상기 영상 처리 장치에서 특정된 상기 현실 객체의 가상 이미지를 불러오는 제스처를 인식하는 단계;
    상기 인식된 제스처에 대응되는 이벤트 알림을 상기 영상 처리 장치로 전송한 것에 대한 응답으로, 상기 영상 처리 장치로부터 상기 특정된 현실 객체의 객체 정보를 수신하는 단계; 및
    미리 준비된 가상 이미지들 중에서 상기 객체 정보에 대응되는 가상 이미지를 상기 특정된 현실 객체의 타입에 대응되는 뎁스 레이어에 제공하는 단계;
    를 포함하는 증강 현실 장치를 제어하는 방법.
  12. 제11 항에 있어서,
    상기 제공하는 단계는,
    특정된 현실 객체들의 타입이 서로 다르면, 상기 특정된 현실 객체들의 가상 이미지들을 서로 다른 뎁스 레이어에 제공하는, 방법.
  13. 제11 항에 있어서,
    상기 제공하는 단계는,
    상기 특정된 현실 객체가 설정 유저 인터페이스이면, 제1 뎁스 레이어에 상기 설정 유저 인터페이스의 가상 이미지를 제공하고, 상기 특정된 현실 객체가 미디어 콘텐츠이면, 제2 뎁스 레이어에 상기 미디어 콘텐츠의 가상 이미지를 제공하는, 방법.
  14. 제11 항에 있어서,
    상기 객체 정보는 상기 특정된 현실 객체의 식별 정보 및 데이터 정보를 포함하고,
    상기 제공하는 단계는,
    상기 미리 준비된 가상 이미지들 중에서 상기 식별 정보에 대응되는 가상 이미지에 상기 데이터 정보를 반영하여 상기 뎁스 레이어에 제공하는, 방법.
  15. 현실 객체에 대응되는 시선 좌표를 상기 현실 객체를 디스플레이하는 영상 처리 장치로 전송하는 명령어들;
    상기 시선 좌표에 대응되는 화면 좌표에 따라 상기 영상 처리 장치에서 특정된 상기 현실 객체의 가상 이미지를 불러오는 제스처를 인식하는 명령어들;
    상기 인식된 제스처에 대응되는 이벤트 알림을 상기 영상 처리 장치로 전송한 것에 대한 응답으로, 상기 영상 처리 장치로부터 상기 특정된 현실 객체의 객체 정보를 수신하는 명령어들; 및
    미리 준비된 가상 이미지들 중에서 상기 객체 정보에 대응되는 가상 이미지를 상기 특정된 현실 객체의 타입에 대응되는 뎁스 레이어에 제공하는 명령어들;
    을 포함하는, 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2021/019813 2020-12-31 2021-12-24 증강 현실 장치를 제어하는 방법 및 이를 수행하는 증강 현실 장치 WO2022145888A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21915686.6A EP4254138A4 (en) 2020-12-31 2021-12-24 METHOD OF CONTROLLING AN AUGMENTED REALITY DEVICE AND AUGMENTED REALITY DEVICE FOR CARRYING OUT THE SAME
US18/204,116 US20230305635A1 (en) 2020-12-31 2023-05-31 Augmented reality device, and method for controlling augmented reality device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0189713 2020-12-31
KR1020200189713A KR20220096877A (ko) 2020-12-31 2020-12-31 증강 현실 장치를 제어하는 방법 및 이를 수행하는 증강 현실 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/204,116 Continuation US20230305635A1 (en) 2020-12-31 2023-05-31 Augmented reality device, and method for controlling augmented reality device

Publications (1)

Publication Number Publication Date
WO2022145888A1 true WO2022145888A1 (ko) 2022-07-07

Family

ID=82259515

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/019813 WO2022145888A1 (ko) 2020-12-31 2021-12-24 증강 현실 장치를 제어하는 방법 및 이를 수행하는 증강 현실 장치

Country Status (4)

Country Link
US (1) US20230305635A1 (ko)
EP (1) EP4254138A4 (ko)
KR (1) KR20220096877A (ko)
WO (1) WO2022145888A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240126373A1 (en) * 2022-10-12 2024-04-18 Attila ALVAREZ Tractable body-based ar system input

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190103094A (ko) * 2019-08-16 2019-09-04 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
KR20190128962A (ko) * 2018-05-09 2019-11-19 서강대학교산학협력단 증강현실 기반의 전자책 제공 방법 및 착용형 디스플레이 장치
US20190377474A1 (en) * 2018-06-06 2019-12-12 Factualvr, Inc. Systems and methods for a mixed reality user interface
KR102165444B1 (ko) * 2013-08-28 2020-10-14 엘지전자 주식회사 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법
KR20200120467A (ko) * 2019-04-11 2020-10-21 삼성전자주식회사 Hmd 장치 및 그 동작 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9104275B2 (en) * 2009-10-20 2015-08-11 Lg Electronics Inc. Mobile terminal to display an object on a perceived 3D space
US20130154913A1 (en) * 2010-12-16 2013-06-20 Siemens Corporation Systems and methods for a gaze and gesture interface
US20200371673A1 (en) * 2019-05-22 2020-11-26 Microsoft Technology Licensing, Llc Adaptive interaction models based on eye gaze gestures

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102165444B1 (ko) * 2013-08-28 2020-10-14 엘지전자 주식회사 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법
KR20190128962A (ko) * 2018-05-09 2019-11-19 서강대학교산학협력단 증강현실 기반의 전자책 제공 방법 및 착용형 디스플레이 장치
US20190377474A1 (en) * 2018-06-06 2019-12-12 Factualvr, Inc. Systems and methods for a mixed reality user interface
KR20200120467A (ko) * 2019-04-11 2020-10-21 삼성전자주식회사 Hmd 장치 및 그 동작 방법
KR20190103094A (ko) * 2019-08-16 2019-09-04 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4254138A4 *

Also Published As

Publication number Publication date
KR20220096877A (ko) 2022-07-07
EP4254138A4 (en) 2024-04-10
US20230305635A1 (en) 2023-09-28
EP4254138A1 (en) 2023-10-04

Similar Documents

Publication Publication Date Title
WO2019182374A1 (en) System and method for utilizing gaze tracking and focal point tracking
WO2018155892A1 (en) Method for displaying virtual image, storage medium and electronic device therefor
RU2488860C2 (ru) Дисплейное приспособление и устройство
WO2019164092A1 (ko) 디스플레이를 통해 표시된 제 1 콘텐트에 대해 제 2 콘텐트를 외부 객체의 움직임에 따라 제공하기 위한 전자 장치 및 그의 동작 방법
WO2019151817A1 (en) Apparatus and method for tracking a focal point in a head mounted display system
WO2019168275A1 (en) A high-speed staggered binocular eye tracking systems
WO2021040107A1 (ko) Ar 장치 및 그 제어 방법
WO2022145888A1 (ko) 증강 현실 장치를 제어하는 방법 및 이를 수행하는 증강 현실 장치
WO2021221341A1 (ko) 증강 현실 장치 및 그 제어 방법
WO2022055204A1 (ko) 증강 현실 장치 및 그 제어 방법
WO2022092762A1 (ko) 스테레오 매칭 방법 및 이를 수행하는 영상 처리 장치
WO2023106895A1 (ko) 가상 입력 장치를 이용하기 위한 전자 장치 및 그 전자 장치에서의 동작 방법
WO2019066323A1 (ko) 전자 장치 및 그의 시선 정보를 이용한 컨텐트 실행 방법
WO2024101593A1 (ko) 웨어러블 장치를 착용한 사용자의 정보를 송신하기 위한 웨어러블 장치, 및 방법
WO2023158171A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2023043022A1 (ko) 모바일 장치의 확장 화면을 표시하는 장치 및 방법
WO2024117649A1 (ko) 외부 객체에 대한 그립 형태에 기반하여 미디어 콘텐트를 표시하기 위한 웨어러블 장치 및 그 방법
WO2024101591A1 (ko) 객체로 액세스하는 사용자들에게 적어도 하나의 멀티미디어 콘텐트를 제공하기 위한 전자 장치 및 그 방법
WO2023090846A1 (ko) 증강 현실 객체의 앵커링을 위한 전자 장치 및 방법
WO2024101579A1 (ko) 멀티미디어 콘텐트를 표시하기 위한 전자 장치 및 그 방법
WO2023132744A1 (ko) 복수의 어플리케이션 실행 화면들을 그룹화하여 제공하는 웨어러블 디바이스 및 그 제어 방법
WO2023085847A1 (ko) 트리거 이벤트에 따라 적어도 하나의 상대방 디바이스와 통신을 수행하는 웨어러블 디바이스 및 그 제어 방법
WO2024117524A1 (ko) 미디어 콘텐트를 표시하기 위한 전자 장치 및 그 방법
WO2024106995A1 (ko) 가상 현실 공간 상에 가상 객체를 제공하기 위한 전자 장치 및 방법
WO2024090825A1 (ko) 센서에 의해 식별된 데이터를 이용하여 시각적 객체를 변경하기 위한 웨어러블 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21915686

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021915686

Country of ref document: EP

Effective date: 20230630

NENP Non-entry into the national phase

Ref country code: DE