WO2023096038A1 - 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법 및 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템 - Google Patents

증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법 및 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템 Download PDF

Info

Publication number
WO2023096038A1
WO2023096038A1 PCT/KR2022/005833 KR2022005833W WO2023096038A1 WO 2023096038 A1 WO2023096038 A1 WO 2023096038A1 KR 2022005833 W KR2022005833 W KR 2022005833W WO 2023096038 A1 WO2023096038 A1 WO 2023096038A1
Authority
WO
WIPO (PCT)
Prior art keywords
palm
virtual menu
augmented reality
menu
wearer
Prior art date
Application number
PCT/KR2022/005833
Other languages
English (en)
French (fr)
Inventor
최치원
조성동
김정환
백지엽
민경진
Original Assignee
주식회사 피앤씨솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피앤씨솔루션 filed Critical 주식회사 피앤씨솔루션
Publication of WO2023096038A1 publication Critical patent/WO2023096038A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • the present invention relates to a method for providing a virtual menu for an augmented reality glasses device and an augmented reality glasses system for providing a virtual menu, and more particularly, to a method for providing a virtual menu based on hand recognition for an augmented reality glasses device and a method for providing a virtual menu based on hand recognition for an augmented reality glasses device. It relates to an augmented reality glasses system that provides a virtual menu.
  • a head mounted display which is a kind of wearable device, refers to various devices that can be worn on a user's head to receive multimedia contents and the like.
  • the head mounted display (HMD) is worn on the user's body and provides images to the user in various environments as the user moves.
  • Head-mounted displays (HMDs) are classified into see-through and see-closed types.
  • the see-through type is mainly used for Augmented Reality (AR), and the closed type is mainly used for virtual reality (VR). reality, VR).
  • an input method such as a conventional touch screen in a head-mounted display
  • an input method optimized for user interaction is required.
  • an input method that can be used in the augmented reality of the head-mounted display there may be buttons provided in the HMD, a separate input device connected to the HMD, gesture recognition, voice recognition, and the like.
  • a head-mounted display for augmented reality displays a menu similar to a smartphone or smart watch, and selects an icon on the menu to display various functions can be executed.
  • AR glasses do not have control aids and are mainly controlled based on gesture recognition, so controlling and manipulating menus using hand gestures is one of the most important tasks in using AR glasses.
  • Patent Registration No. 10-1700569 Title of Invention: HMD device capable of gesture-based user authentication and gesture-based user authentication method of the HMD device, registration date: January 2017 23), etc. have been disclosed.
  • the present invention has been proposed to solve the above problems of the previously proposed methods, by recognizing the wearer's palm and displaying a virtual menu determined based on the palm direction on the palm, thereby providing quick menus and quick menus according to the palm direction. Since the entire menu is selectively displayed, the desired menu can be easily provided to the wearer with only the direction of the palm, and by inputting an input signal for the virtual menu with the opposite finger, the wearer can intuitively and conveniently control the virtual menu, augmented reality.
  • An object of the present invention is to provide a method for providing a virtual menu based on hand recognition for a glass device and an augmented reality glasses system that provides a virtual menu based on hand recognition.
  • a hand recognition-based virtual menu providing method for an augmented reality glasses device for achieving the above object is,
  • step (3) More preferably, in the step (3),
  • step (2) If the direction of the palm identified in step (2) is horizontal, a quick virtual menu is displayed, and the position of the palm is tracked to move the quick virtual menu according to the movement of the palm so that the quick virtual menu is displayed on the palm. can do.
  • step (3) Even more preferably, after step (3),
  • the fast virtual menu may not be displayed.
  • step (3) More preferably, in the step (3),
  • step (2) If the direction of the palm identified in step (2) is vertical, the entire virtual menu is displayed based on the palm, and after displaying the entire virtual menu, the entire virtual menu is displayed within the wearer's field of view regardless of the position change of the palm.
  • the position of the virtual menu can be fixed and displayed.
  • the input signal may be a signal using a finger of the hand opposite to the palm recognized in step (1).
  • An augmented reality glasses system that provides a virtual menu based on hand recognition to achieve the above object
  • an optical display unit disposed in front of both eyes of the wearer to provide augmented reality to the wearer
  • Recognition unit for recognizing the wearer's palm located within the wearer's field of view
  • an identification unit for identifying the direction of the palm recognized by the recognition unit
  • It is characterized in that it includes a menu providing unit that displays and provides a virtual menu determined based on the identified palm direction on the recognized palm.
  • the identification unit Preferably, the identification unit, the identification unit, the identification unit, and
  • a fast virtual menu is displayed, the position of the palm is tracked and the fast virtual menu is moved according to the movement of the palm, so that the fast virtual menu is displayed on the palm; If the direction of the palm identified by the identification unit is vertical, the entire virtual menu is displayed based on the palm, and after displaying the entire virtual menu, the entire virtual menu is displayed within the wearer's field of view regardless of a change in position of the palm. position can be fixed.
  • a wearer's palm is recognized and determined based on the direction of the palm
  • quick menus and full menus are selectively displayed according to the direction of the palm, so the desired menu can be easily provided to the wearer only with the direction of the palm.
  • the wearer can intuitively and conveniently control the virtual menu.
  • FIG. 1 is a diagram showing the configuration of an augmented reality glasses system that provides a virtual menu based on hand recognition according to an embodiment of the present invention.
  • FIG. 2 is a view showing, for example, an appearance of an augmented reality glasses device that provides a virtual menu based on hand recognition according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a method of providing a virtual menu based on hand recognition for an augmented reality glasses device according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a state in which a quick virtual menu is provided when the direction of a palm is vertical in the method of providing a virtual menu based on hand recognition for an augmented reality glass device according to an embodiment of the present invention.
  • FIG. 5 is a view showing how a fast virtual menu is moved and displayed according to a movement of a palm in a method of providing a virtual menu based on hand recognition for an augmented reality glass device according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a state in which an entire virtual menu is provided when the direction of a palm is horizontal in the method of providing a virtual menu based on hand recognition for an augmented reality glasses device according to an embodiment of the present invention.
  • FIG. 7 is a view showing how an entire virtual menu is provided regardless of palm movement in the method of providing a virtual menu based on hand recognition for an augmented reality glass device according to an embodiment of the present invention.
  • FIG. 8 is a view showing how an input signal for a virtual menu is input in a method for providing a virtual menu based on hand recognition for an augmented reality glasses device according to an embodiment of the present invention.
  • an augmented reality glasses system for providing a virtual menu based on hand recognition includes an optical display unit disposed in front of both eyes of a wearer to provide augmented reality to the wearer ( 100); Recognition unit 200 for recognizing the wearer's palm located within the wearer's field of view; an identification unit 300 for identifying the direction of the palm recognized by the recognition unit 200; and a menu providing unit 400 that displays and provides a virtual menu determined based on the direction of the identified palm on the recognized palm, including a controller 500, a camera unit 600, and a sensor unit 700. ) and a communication unit 800 may be further included.
  • the identification unit 300 identifies whether the orientation of the recognized palm is horizontal or vertical, and the menu providing unit 400 provides a fast virtual menu if the orientation of the palm identified by the identification unit 300 is horizontal. , If the direction of the palm is vertical, the entire virtual menu can be displayed respectively based on the palm. That is, by selectively displaying and providing quick menus and full menus as images on the palm of the wearer according to the direction of the wearer's palm, desired menus can be easily provided to the wearer only by the direction of the palm of the wearer's hand.
  • FIG. 2 is a view showing, for example, an appearance of an augmented reality glasses device 10 providing a virtual menu based on hand recognition according to an embodiment of the present invention.
  • the augmented reality glasses device 10 providing a virtual menu based on hand recognition according to an embodiment of the present invention includes goggles with closed eyes or glasses with open sides. etc. can be implemented.
  • An augmented reality glasses system providing a virtual menu based on hand recognition may be configured with the augmented reality glasses device 10 and a server, but may also be implemented by the augmented reality glasses device 10 alone.
  • the optical display unit 100 and the camera unit 600 may be implemented as components of the augmented reality glass device 10
  • the recognition unit 200 and identification unit 300 may be implemented as components of a server, respectively.
  • the image captured by the camera unit 600 of the augmented reality glasses device 10 is transmitted to the server, and the recognition unit 200 and identification unit 300 of the server recognize, calculate and After analyzing and generating a control event, a virtual menu according to the control event may be provided to the wearer in augmented reality through the optical display unit 100 of the augmented reality glasses device 10 .
  • each function performed by the augmented reality glasses device 10 and the server may be implemented in various ways.
  • the optical display unit 100 may be disposed in front of both eyes of the wearer to provide augmented reality to the wearer. That is, the optical display unit 100 corresponds to the AR glasses of the augmented reality glasses device 10 and may include a display 110 and an optical system 120 as shown in FIG. 1 .
  • the display 110 may output image light so that image information may be provided to the wearer. More specifically, the display 110 is coupled to the optical system 120 to be described in detail below so that image information can be provided to the wearer, and outputs image light transmitted in the direction of the wearer's eyes by the optical system 120. And, it may be composed of a pair of displays 110 for binocular display.
  • the display 110 may be variously configured with an OLED or the like.
  • the optical system 120 may be disposed in front of both eyes of the wearer wearing the augmented reality glasses device 10 to provide augmented reality by combining real world light and image light. More specifically, the optical system 120 transmits at least a portion of the light of the real world through the wearer's field of view and transfers the image light output from the display 110 to the wearer's eye direction to provide augmented reality. can do. That is, the optical system 120 may be configured so that a wearer wearing the augmented reality glasses device 10 can experience augmented reality.
  • the optical system 120 is composed of a plurality of lenses and mirrors and may be implemented in various ways, such as an optical diffraction method, a beam splitter method, a pin mirror method, and the like.
  • a method for providing a virtual menu based on hand recognition for an augmented reality glasses device 10 according to an embodiment of the present invention is a method for providing a virtual menu in which each step is performed in an augmented reality glasses system. , Recognizing the wearer's palm (S110), identifying the direction of the palm (S120), and displaying and providing a virtual menu determined based on the direction of the palm on the recognized palm (S130). It may be implemented by further including the step of controlling the virtual menu using an input signal for the virtual menu (S140).
  • the recognizing unit 200 may recognize the wearer's palm located within the wearer's field of view. More specifically, the recognizing unit 200 may recognize the palm of the wearer's gaze direction image obtained from the camera unit 600 . For example, when the wearer looks at his hand, the recognizing unit 200 may identify a palm by recognizing a hand shape from a camera image. At this time, the object to be recognized in step S110 may be the palm of the wearer's left hand, and a form in which the palm of the left hand is exposed may be recognized.
  • the recognition unit 200 may estimate a hand shape or feature point using vision recognition technology based on image processing or artificial intelligence, and recognize a palm or a gesture using the estimated hand shape or feature point.
  • the recognizing unit 200 may use a hand image obtained from an RGB camera, an infrared image camera, a depth sensor, or the like of the augmented reality glasses device 10 .
  • the recognition unit 200 may use an infrared hand image obtained from an infrared image camera of the augmented reality glasses device 10 .
  • the infrared image is a single-channel image, and if the gesture recognition is performed using the infrared hand image, the calculation cost used for image processing can be reduced, so the gesture recognition can be effectively performed even in the embedded environment of the augmented reality glass device 10 .
  • the augmented reality glass device 10 is heavy, it is difficult to wear it for a long time due to burden on the neck and shoulders and restriction of head movement, so it is important to reduce the weight and size.
  • step S110 is performed on the augmented reality glass device (not a server) 10) can be dealt with.
  • the identification unit 300 may identify the direction of the palm recognized in step S110. More specifically, in step S120, it is possible to identify whether the direction of the recognized palm is horizontal or vertical.
  • the identification unit 300 calculates the angle of the palm based on the hand shape or feature points estimated by the recognizing unit 200, and determines whether the angle of the palm falls within a predetermined horizontal angular range or vertical angular range. So, the direction of the palm can be identified as horizontal or vertical.
  • the menu provider 400 may display and provide the virtual menu determined based on the direction of the palm identified by the identification unit 300 on the recognized palm. That is, when the direction of the palm identified in step S120 is horizontal and vertical, different virtual menus may be provided.
  • step S130 of the method for providing the virtual menu 20 based on hand recognition for the augmented reality glasses device 10 according to an embodiment of the present invention is a drawing showing As shown in FIG. 4 , in step S130 of the method for providing the virtual menu 20 based on hand recognition for the augmented reality glasses device 10 according to an embodiment of the present invention, the direction of the palm identified in step S120 is If it is horizontal, the fast virtual menu 20 can be displayed. That is, as shown on the left side of FIG.
  • the quick virtual menu 20 determined according to the vertical direction may be displayed as a pop-up on the palm of the left hand.
  • the quick virtual menu 20 may be a basic function menu or a favorites menu, for example, a menu composed of frequently used functions and/or applications such as phone, web browser, album, and camera.
  • the type, order, and arrangement of functions and/or applications constituting the quick virtual menu 20 can be directly edited by the wearer. Therefore, each wearer can customize and use the fast virtual menu 20 .
  • FIG. 5 shows how a fast virtual menu 20 is moved and displayed according to a movement of a palm in a method of providing a virtual menu 20 based on hand recognition for an augmented reality glass device 10 according to an embodiment of the present invention.
  • the position of the palm is tracked to move the palm.
  • the menu providing unit 400 may move the fast virtual menu 20 so that the fast virtual menu 20 is displayed on the palm of the hand. That is, the augmented reality glasses device 10 tracks the position of the palm on which the quick virtual menu 20 is popped up, and when the palm moves, the quick virtual menu 20 on the palm can move together as if it were fixed.
  • the quick virtual menu 20 may not be displayed. That is, when the left palm leaves the field of view, the fast virtual menu 20 also disappears.
  • FIG. 6 is a view in which the entire virtual menu 20 is provided when the direction of the palm is horizontal in the method of providing the virtual menu 20 based on hand recognition for the augmented reality glasses device 10 according to one embodiment of the present invention. is a drawing showing As shown in FIG. 6 , in step S130 of the method for providing the virtual menu 20 based on hand recognition for the augmented reality glasses device 10 according to an embodiment of the present invention, the direction of the palm identified in step S120 is If it is vertical, the entire virtual menu 20 can be displayed based on the palm. That is, as shown on the left side of FIG.
  • the palm is recognized and the direction of the palm is identified, and the direction of the palm ( As shown in the right side of FIG. 6 , the entire virtual menu 20 determined according to the horizontal direction may be pop-up displayed on the palm of the left hand.
  • the entire virtual menu 20 may be a list menu of all functions and applications provided by the augmented reality glasses device 10 or installed in the augmented reality glasses device 10 .
  • the type, order, and arrangement of functions and/or applications constituting the entire virtual menu 20 can be directly edited by the wearer. Therefore, each wearer can customize and use the entire virtual menu 20 in a desired order and arrangement.
  • the full virtual menu 20 Since the full virtual menu 20 has a larger number of icons than the fast virtual menu 20, it can be displayed on the entire screen of the view field as shown on the right side of FIG. 6. At this time, the entire virtual menu 20 can be displayed based on the identified position of the left palm, for example, the left palm is located in the center of the entire virtual menu 20, or As shown, the left corner of the entire virtual menu 20 can be displayed aligned with the beginning of the left palm.
  • FIG. 7 shows how the entire virtual menu 20 is provided regardless of palm movement in the method of providing the virtual menu 20 based on hand recognition for the augmented reality glasses device 10 according to an embodiment of the present invention. It is a drawing As shown in FIG. 7 , in step S130 of the method for providing the virtual menu 20 based on hand recognition for the augmented reality glasses device 10 according to an embodiment of the present invention, after displaying the entire virtual menu 20 can be displayed by fixing the position of the entire virtual menu 20 within the wearer's field of view regardless of the position change of the palm. That is, unlike the fast virtual menu 20 , the entire virtual menu 20 can be fixed and provided within the field of view regardless of the wearer's left hand or head movement.
  • step S130 even if the palm of the hand deviates from the wearer's field of view, the entire virtual menu 20 can be maintained within the wearer's field of view. That is, unlike the quick virtual menu 20, even if the left palm is out of the field of view, the entire virtual menu 20 can be output as it is. In order to remove the entire virtual menu 20 from view, a separate input signal for termination may be required.
  • the menu provider 400 and the controller 500 may control the virtual menu 20 using an input signal to the virtual menu 20.
  • the controller 500 can execute a selected function or application in response to an input signal, and can edit the virtual menu 20 or terminate output of the virtual menu 20 in conjunction with the menu providing unit 400 .
  • FIG. 8 is a view showing how an input signal for the virtual menu 20 is input in the method of providing the virtual menu 20 based on hand recognition for the augmented reality glasses device 10 according to an embodiment of the present invention. am.
  • the palm recognized in step S110 and the opposite hand The virtual menu 20 can be controlled by using a signal using a finger as an input signal. That is, the wearer can select an icon from the virtual menu 20 (quick virtual menu 20 or full virtual menu 20) displayed on the left hand with the forefinger of the right hand to execute the corresponding function, change the arrangement of icons, and the like. You can also perform menu editing.
  • each gesture may consist of at least one of a hand shape (posture) and a motion.
  • the recognition unit 200 detects the shape of the right hand (a shape with only the index finger extended as shown in FIG. 8) from the image captured by the camera, and extracts the coordinates of the end point of the index finger by estimating key points of the hand.
  • the icon pointed by the wearer can be specified.
  • the augmented reality glasses device 10 providing the virtual menu 20 based on hand recognition further includes a camera unit 600, a sensor unit 700, and a communication unit 800. can be configured.
  • control unit 500 generates image information to be provided to the wearer based on the information collected by the camera unit 600 and the sensor unit 700 and controls the image information to be transmitted to the display 110 so that the wearer can enjoy augmented reality. It is possible to receive the virtual menu 20 and additional information on the external environment through an optimized screen.
  • the camera unit 600 may capture an image in the direction of the wearer's field of view and transmit the image to the recognizing unit 200 to recognize a palm and a gesture based on vision recognition. More specifically, the camera unit 600 may include an RGB camera, an infrared image camera, a depth sensor, and the like according to a palm and gesture recognition algorithm of the recognition unit 200 to provide a hand image necessary for palm and gesture recognition. there is.
  • the sensor unit 700 may include at least one or more sensors, and more specifically, may include a pupil tracking sensor and an iris recognition sensor. According to the embodiment, by tracking the wearer's gaze using the pupil tracking sensor and configuring the recognizing unit 200 to recognize the wearer's palm when the wearer looks at the palm, the virtual menu 20 in a situation unintended by the wearer ) may not be displayed. At this time, when looking at the palm for a predetermined period of time or more, step S110 is performed so that malfunction can be minimized.
  • the controller 500 provides the virtual menu 20 customized by each wearer, the motion gesture usage pattern of the individual wearer, the preferred illuminance, and the IPD (Inter- Pupillary distance), interface, and various user-specific settings can be automatically applied.
  • user authentication may use an iris recognition sensor included in the sensor unit 700 .
  • the communication unit 800 is installed on one side of the augmented reality glasses device 10 and can transmit/receive various signals and data with other augmented reality glasses devices 10 or servers.
  • the network used by the communication unit 800 is a wired network or a mobile communication network such as a Local Area Network (LAN), a Wide Area Network (WAN), or a Value Added Network (VAN).
  • radio communication network such as a Local Area Network (LAN), a Wide Area Network (WAN), or a Value Added Network (VAN).
  • radio communication network such as a Local Area Network (LAN), a Wide Area Network (WAN), or a Value Added Network (VAN).
  • radio communication network such as a Local Area Network (LAN), a Wide Area Network (WAN), or a Value Added Network (VAN).
  • radio communication network such as a Local Area Network (LAN), a Wide Area Network (WAN), or a Value Added Network (VAN).
  • satellite communication network such as a Wibro (Wireless Broadband Internet), HSDPA (High Speed Downlink Pack
  • the method of providing the virtual menu 20 based on hand recognition for the augmented reality glasses device 10 and the augmented reality glasses system providing the virtual menu 20 based on hand recognition proposed in the present invention By recognizing the wearer's palm and displaying and providing the virtual menu 20 determined based on the palm direction on the palm, quick menus and full menus are selectively displayed according to the palm direction, so the desired menu is easily provided to the wearer only by the palm direction. and by inputting an input signal for the virtual menu 20 with the opposite finger, the wearer can intuitively and conveniently control the virtual menu 20 .
  • the present invention may include a computer-readable medium including program instructions for performing operations implemented in various communication terminals.
  • computer-readable media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD_ROMs and DVDs, and floptical disks. It may include hardware devices specially configured to store and execute program instructions, such as magneto-optical media and ROM, RAM, flash memory, and the like.
  • Such computer-readable media may include program instructions, data files, data structures, etc. alone or in combination.
  • program instructions recorded on a computer-readable medium may be specially designed and configured to implement the present invention, or may be known and usable to those skilled in computer software.
  • it may include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes generated by a compiler.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명에서 제안하고 있는 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법 및 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템에 따르면, 착용자의 손바닥을 인식하고 손바닥 방향에 기초하여 결정되는 가상메뉴를 손바닥 위에 표시해 제공함으로써, 손바닥 방향에 따라 빠른 메뉴와 전체 메뉴가 선택적으로 표시되므로 손바닥 방향만으로 원하는 메뉴를 착용자에게 쉽게 제공할 수 있고, 반대쪽 손가락으로 가상메뉴에 대한 입력 신호를 입력함으로써, 착용자가 직관적이고 편리하게 가상메뉴를 제어할 수 있다.

Description

증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법 및 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템
본 발명은 증강현실 글래스 장치를 위한 가상메뉴 제공 방법 및 가상메뉴를 제공하는 증강현실 글래스 시스템에 관한 것으로서, 보다 구체적으로는 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법 및 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템에 관한 것이다.
디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 이러한 웨어러블 디바이스의 일종인 헤드 마운티드 디스플레이(Head Mounted Display)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠 등을 제공받을 수 있는 각종 디바이스를 의미한다. 여기서 헤드 마운티드 디스플레이(HMD)는 사용자의 신체에 착용 되어 사용자가 이동함에 따라서 다양한 환경에서 사용자에게 영상을 제공하게 된다. 이러한 헤드 마운티드 디스플레이(HMD)는 투과(see-through)형과 밀폐(see-closed)형으로 구분되고 있으며, 투과형은 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형은 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다.
헤드 마운티드 디스플레이는 기존의 터치스크린과 같은 입력 방식을 사용하기 어려우므로, 사용자 상호작용을 위한 최적화된 입력 방식이 필요하다. 헤드 마운티드 디스플레이의 증강현실에서 사용할 수 있는 입력 방식으로, HMD에 구비된 버튼이나 HMD와 연결된 별도의 입력 장치, 제스처 인식, 음성인식 등이 있을 수 있다.
증강현실용 헤드 마운티드 디스플레이(이하, ‘AR 글래스’또는 ‘증강현실 글래스’라 한다.)는 스마트폰(Smartphone), 스마트 워치(Smart Watch)와 비슷하게 메뉴를 표시하고, 메뉴 상의 아이콘을 선택하여 여러 가지 기능을 실행할 수 있다. 그런데 AR 글래스는 VR과 달리 제어 보조장치가 없고 주로 제스처 인식을 기반으로 제어되므로, 손 제스처를 사용한 메뉴의 제어 및 조작은 AR 글래스의 활용에서 가장 중요한 과제 중 하나이다.
따라서 제스처 위주의 입력 방식을 사용하는 AR 글래스에서, 조작 오작동 우려를 최소화하고 직관적으로 사용할 수 있는 가상메뉴 제공 및 조작 방법의 개발이 요구된다.
한편, 본 발명과 관련된 선행기술로서, 등록특허 제10-1700569호(발명의 명칭: 제스처 기반의 사용자 인증이 가능한 HMD 장치 및 상기 HMD 장치의 제스처 기반의 사용자 인증 방법, 등록일자: 2017년 01월 23일) 등이 개시된 바 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 착용자의 손바닥을 인식하고 손바닥 방향에 기초하여 결정되는 가상메뉴를 손바닥 위에 표시해 제공함으로써, 손바닥 방향에 따라 빠른 메뉴와 전체 메뉴가 선택적으로 표시되므로 손바닥 방향만으로 원하는 메뉴를 착용자에게 쉽게 제공할 수 있고, 반대쪽 손가락으로 가상메뉴에 대한 입력 신호를 입력함으로써, 착용자가 직관적이고 편리하게 가상메뉴를 제어할 수 있는, 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법 및 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템을 제공하는 것을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법은,
증강현실 글래스 시스템에서 각 단계가 수행되는 가상메뉴 제공 방법으로서,
(1) 착용자의 시야 내에 위치하는 착용자의 손바닥을 인식하는 단계;
(2) 상기 단계 (1)에서 인식한 손바닥의 방향을 식별하는 단계; 및
(3) 상기 식별한 손바닥의 방향에 기초하여 결정되는 가상메뉴를 상기 인식한 손바닥 위에 표시해 제공하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 단계 (2)에서는,
상기 인식한 손바닥의 방향이 가로인지 세로인지를 식별할 수 있다.
더욱 바람직하게는, 상기 단계 (3)에서는,
상기 단계 (2)에서 식별한 손바닥의 방향이 가로이면 빠른 가상메뉴를 표시하며, 상기 손바닥의 위치를 추적해 손바닥의 이동에 따라 상기 빠른 가상메뉴를 이동시켜, 상기 빠른 가상메뉴가 손바닥에 표시되도록 할 수 있다.
더더욱 바람직하게는, 상기 단계 (3) 이후에는,
상기 손바닥이 상기 착용자의 시야에서 이탈하면, 상기 빠른 가상메뉴를 표시하지 않을 수 있다.
더욱 바람직하게는, 상기 단계 (3)에서는,
상기 단계 (2)에서 식별한 손바닥의 방향이 세로이면 상기 손바닥을 기준으로 전체 가상메뉴를 표시하며, 상기 전체 가상메뉴의 표시 후에는 상기 손바닥의 위치 변화와 관계없이 상기 착용자의 시야 내에서 상기 전체 가상메뉴의 위치를 고정해 표시할 수 있다.
바람직하게는, 상기 단계 (3) 이후에는,
(4) 상기 표시한 가상메뉴에 대한 입력 신호를 이용해 상기 가상메뉴를 제어하는 단계를 더 포함하며,
상기 입력 신호는, 상기 단계 (1)에서 인식한 손바닥과 반대쪽 손의 손가락을 사용한 신호일 수 있다.
상기한 목적을 달성하기 위한 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템은,
증강현실 글래스 시스템으로서,
착용자의 양안의 전방에 배치되어 착용자에게 증강현실을 제공하는 광학 디스플레이부;
착용자의 시야 내에 위치하는 착용자의 손바닥을 인식하는 인식부;
상기 인식부에서 인식한 손바닥의 방향을 식별하는 식별부; 및
상기 식별한 손바닥의 방향에 기초하여 결정되는 가상메뉴를 상기 인식한 손바닥 위에 표시해 제공하는 메뉴 제공부를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 식별부는,
상기 인식한 손바닥의 방향이 가로인지 세로인지를 식별하며,
상기 메뉴 제공부는,
상기 식별부에서 식별한 손바닥의 방향이 가로이면 빠른 가상메뉴를 표시하며, 상기 손바닥의 위치를 추적해 손바닥의 이동에 따라 상기 빠른 가상메뉴를 이동시켜, 상기 빠른 가상메뉴가 손바닥에 표시되도록 하고, 상기 식별부에서 식별한 손바닥의 방향이 세로이면 상기 손바닥을 기준으로 전체 가상메뉴를 표시하며, 상기 전체 가상메뉴의 표시 후에는 상기 손바닥의 위치 변화와 관계없이 상기 착용자의 시야 내에서 상기 전체 가상메뉴의 위치를 고정해 표시할 수 있다.
본 발명에서 제안하고 있는 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법 및 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템에 따르면, 착용자의 손바닥을 인식하고 손바닥 방향에 기초하여 결정되는 가상메뉴를 손바닥 위에 표시해 제공함으로써, 손바닥 방향에 따라 빠른 메뉴와 전체 메뉴가 선택적으로 표시되므로 손바닥 방향만으로 원하는 메뉴를 착용자에게 쉽게 제공할 수 있고, 반대쪽 손가락으로 가상메뉴에 대한 입력 신호를 입력함으로써, 착용자가 직관적이고 편리하게 가상메뉴를 제어할 수 있다.
도 1은 본 발명의 일실시예에 따른 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 장치의 모습을 예를 들어 도시한 도면.
도 3은 본 발명의 일실시예에 따른 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법의 흐름을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법에서, 손바닥의 방향이 세로일 때 빠른 가상메뉴가 제공되는 모습을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법에서, 손바닥 이동에 따라 빠른 가상메뉴가 이동해 표시되는 모습을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법에서, 손바닥의 방향이 가로일 때 전체 가상메뉴가 제공되는 모습을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법에서, 손바닥 이동과 관계없이 전체 가상메뉴가 제공되는 모습을 도시한 도면.
도 8은 본 발명의 일실시예에 따른 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법에서, 가상메뉴에 대한 입력 신호를 입력하는 모습을 도시한 도면.
<부호의 설명>
10: 증강현실 글래스 장치
20: 가상메뉴
100: 광학 디스플레이부
110: 디스플레이
120: 광학계
200: 인식부
300: 식별부
400: 메뉴 제공부
500: 제어부
600: 카메라부
700: 센서부
800: 통신부
S110: 착용자의 손바닥을 인식하는 단계
S120: 손바닥의 방향을 식별하는 단계
S130: 손바닥의 방향에 기초하여 결정되는 가상메뉴를 인식한 손바닥에 표시해 제공하는 단계
S140: 가상메뉴에 대한 입력 신호를 이용해 가상메뉴를 제어하는 단계
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템은, 착용자의 양안의 전방에 배치되어 착용자에게 증강현실을 제공하는 광학 디스플레이부(100); 착용자의 시야 내에 위치하는 착용자의 손바닥을 인식하는 인식부(200); 인식부(200)에서 인식한 손바닥의 방향을 식별하는 식별부(300); 및 식별한 손바닥의 방향에 기초하여 결정되는 가상메뉴를 인식한 손바닥 위에 표시해 제공하는 메뉴 제공부(400)를 포함하여 구성될 수 있으며, 제어부(500), 카메라부(600), 센서부(700) 및 통신부(800)를 더 포함하여 구성될 수 있다.
보다 구체적으로, 식별부(300)는, 인식한 손바닥의 방향이 가로인지 세로인지를 식별하며, 메뉴 제공부(400)는 식별부(300)에서 식별한 손바닥의 방향이 가로이면 빠른 가상메뉴를, 손바닥의 방향이 세로이면 손바닥을 기준으로 전체 가상메뉴를 각각 표시할 수 있다. 즉, 착용자의 손바닥 방향에 따라 빠른 메뉴와 전체 메뉴를 선택적으로 손바닥 위에 영상으로 표시해 제공하여, 손바닥 방향만으로 원하는 메뉴를 착용자에게 쉽게 제공할 수 있다.
도 2는 본 발명의 일실시예에 따른 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 장치(10)의 모습을 예를 들어 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 장치(10)는, 눈 주변이 밀폐된 형태의 고글 또는 측면이 개방된 형태의 안경 등으로 구현될 수 있다.
본 발명의 일실시예에 따른 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템은 증강현실 글래스 장치(10)와 서버로 구성될 수 있으나, 증강현실 글래스 장치(10) 단독으로 구현될 수도 있다. 예를 들어, 광학 디스플레이부(100)와 카메라부(600) 등은 증강현실 글래스 장치(10)의 구성요소로, 인식부(200), 식별부(300) 등은 서버의 구성요소로 각각 구현할 수 있다. 즉, 증강현실 글래스 장치(10)의 카메라부(600)에서 촬영된 영상이 서버에 전달되고, 서버의 인식부(200) 및 식별부(300)가 인공지능 모델 기반으로 손바닥을 인식, 연산 및 분석하고 제어 이벤트를 생성하면, 증강현실 글래스 장치(10)의 광학 디스플레이부(100)를 통해 제어 이벤트에 따른 가상메뉴가 증강현실로 착용자에게 제공될 수 있다. 이와 같이, 본 발명의 일실시예에 따른 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템에서, 증강현실 글래스 장치(10)와 서버가 담당하는 각각의 기능은 다양하게 구현될 수 있다.
이하에서는, 본 발명의 일실시예에 따른 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템의 각 구성에 대해 상세히 설명하도록 한다.
여기서, 광학 디스플레이부(100)는, 착용자의 양안의 전방에 배치되어 착용자에게 증강현실을 제공할 수 있다. 즉, 광학 디스플레이부(100)는 증강현실 글래스 장치(10)의 AR 글래스에 해당하는 구성으로서, 도 1에 도시된 바와 같이 디스플레이(110) 및 광학계(120)를 포함하여 구성될 수 있다.
디스플레이(110)는, 영상 정보가 착용자에게 제공될 수 있도록 영상 광을 출력할 수 있다. 보다 구체적으로, 디스플레이(110)는, 영상 정보가 착용자에게 제공될 수 있도록, 이하에서 상세히 설명할 광학계(120)에 결합해, 광학계(120)에 의해 착용자의 눈 방향으로 전달되는 영상 광을 출력하며, 양안 디스플레이를 위해 한 쌍의 디스플레이(110)로 구성될 수 있다. 디스플레이(110)는 OLED 등으로 다양하게 구성될 수 있다.
광학계(120)는, 증강현실 글래스 장치(10)를 착용한 착용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공할 수 있다. 보다 구체적으로, 광학계(120)는, 착용자의 시야를 통한 실제 세계(real world)의 광의 적어도 일부를 투과시키고, 디스플레이(110)에서 출력되는 영상 광을 착용자의 눈 방향으로 전달하여 증강현실을 제공할 수 있다. 즉, 광학계(120)는 증강현실 글래스 장치(10)를 착용한 착용자가 증강현실을 경험할 수 있도록 구성될 수 있다.
또한, 광학계(120)는 복수의 렌즈와 미러 등으로 구성되며 다양한 방식으로 구현될 수 있는데, 예를 들어 광학 회절 방식, 빔 스플리터 방식, 핀 미러 방식 등으로 구현될 수 있다.
인식부(200), 식별부(300), 메뉴 제공부(400) 및 제어부(500)에 대해서는, 이하에서 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴 제공 방법과 관련해 상세히 설명하도록 한다.
도 3은 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴 제공 방법의 흐름을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴 제공 방법은, 증강현실 글래스 시스템에서 각 단계가 수행되는 가상메뉴 제공 방법으로서, 착용자의 손바닥을 인식하는 단계(S110), 손바닥의 방향을 식별하는 단계(S120) 및 손바닥의 방향에 기초하여 결정되는 가상메뉴를 인식한 손바닥에 표시해 제공하는 단계(S130)를 포함하여 구현될 수 있으며, 가상메뉴에 대한 입력 신호를 이용해 가상메뉴를 제어하는 단계(S140)를 더 포함하여 구현될 수 있다.
단계 S110에서는, 인식부(200)가 착용자의 시야 내에 위치하는 착용자의 손바닥을 인식할 수 있다. 보다 구체적으로, 인식부(200)는 카메라부(600)로부터 획득한 착용자의 시선 방향 영상으로부터 손바닥을 인식할 수 있다. 예를 들어, 착용자가 손을 바라보면 인식부(200)는 카메라 영상에서 손 형태를 인식해 손바닥을 특정할 수 있다. 이때, 단계 S110에서 인식하는 대상은 착용자의 왼손 손바닥일 수 있으며, 왼손을 펼쳐 손바닥이 보이게 한 형태를 인식할 수 있다.
여기서, 인식부(200)는, 영상 처리, 인공지능 등을 기반으로 하는 비전 인식 기술을 사용해 손 형상이나 특징점 등을 추정할 수 있으며, 추정된 손 형상이나 특징점을 사용해 손바닥이나 제스처 등을 인식할 수 있다. 실시예에 따라서, 인식부(200)는, 증강현실 글래스 장치(10)의 RGB 카메라, 적외선 이미지 카메라, 깊이 센서 등에서 획득한 손 영상을 사용할 수 있다.
보다 구체적으로, 인식부(200)는, 증강현실 글래스 장치(10)의 적외선 이미지 카메라로부터 획득한 적외선 손 영상을 사용할 수 있다. 적외선 영상은 단일채널 이미지로, 적외선 손 영상을 사용해 제스처 인식을 하면 이미지 처리에 사용되는 계산 비용을 줄일 수 있으므로, 증강현실 글래스 장치(10)의 임베디드 환경에서도 제스처 인식을 효과적으로 수행할 수 있다. 특히, 증강현실 글래스 장치(10)는 무게가 무거우면 목과 어깨에 부담이 되고 머리 움직임이 제한되어 장시간 착용이 어려우므로, 경량화 및 소형화가 중요하다. 따라서 증강현실 글래스 장치(10)에 많은 계산 자원을 탑재할 수 없으므로, 단일채널 이미지인 적외선 영상을 사용해 임베디드 환경에서 사용할 수 있도록 계산 비용을 줄이면, 단계 S110의 연산을 서버가 아닌 증강현실 글래스 장치(10)에서 처리할 수도 있다.
단계 S120에서는, 식별부(300)가 단계 S110에서 인식한 손바닥의 방향을 식별할 수 있다. 보다 구체적으로, 단계 S120에서는, 인식한 손바닥의 방향이 가로인지 세로인지를 식별할 수 있다. 여기서, 식별부(300)는 인식부(200)가 추정한 손 형상이나 특징점 등을 기초로 손바닥의 각도를 계산하고, 손바닥의 각도가 미리 정해진 가로 방향 각도 범위 또는 세로 방향 각도 범위에 속하는지를 판단해, 손바닥의 방향을 가로 또는 세로로 식별할 수 있다.
단계 S130에서는, 메뉴 제공부(400)가, 식별부(300)가 식별한 손바닥의 방향에 기초하여 결정되는 가상메뉴를 인식한 손바닥 위에 표시해 제공할 수 있다. 즉, 단계 S120에서 식별한 손바닥 방향이 가로일 때와 세로일 때, 서로 다른 가상메뉴를 제공할 수 있다.
도 4는 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴(20) 제공 방법에서, 손바닥의 방향이 세로일 때 빠른 가상메뉴(20)가 제공되는 모습을 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴(20) 제공 방법의 단계 S130에서는, 단계 S120에서 식별한 손바닥의 방향이 가로이면 빠른 가상메뉴(20)를 표시할 수 있다. 즉, 도 4의 좌측에 도시된 바와 같이 착용자가 증강현실 글래스 장치(10)를 착용한 상태에서 왼손을 세로 방향으로 펼쳐서 손바닥을 바라보면, 손바닥이 인식되고 손바닥의 방향이 식별되며, 손바닥 방향(세로)에 따라 결정된 빠른 가상메뉴(20)가 도 4의 우측에 도시된 바와 같이 왼손바닥 위에 팝업(pop-up) 디스플레이 될 수 있다.
여기서, 빠른 가상메뉴(20)는 기본 기능 메뉴 또는 즐겨찾기 메뉴 등일 수 있는데, 예를 들어 전화, 웹 브라우저, 앨범, 카메라 등 자주 쓰는 기능 및/또는 애플리케이션들로 구성된 메뉴일 수 있다. 이와 같은 빠른 가상메뉴(20)를 구성하는 기능 및/또는 애플리케이션의 종류와 순서, 배치 등은 착용자가 직접 편집할 수 있다. 따라서 각 착용자가 빠른 가상메뉴(20)를 커스터마이징하여 사용할 수 있다.
도 5는 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴(20) 제공 방법에서, 손바닥 이동에 따라 빠른 가상메뉴(20)가 이동해 표시되는 모습을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴(20) 제공 방법의 단계 S130에서는, 손바닥의 위치를 추적해 손바닥의 이동에 따라 메뉴 제공부(400)가 빠른 가상메뉴(20)를 이동시켜서, 빠른 가상메뉴(20)가 손바닥에 표시되도록 할 수 있다. 즉, 증강현실 글래스 장치(10)는 빠른 가상메뉴(20)가 팝업 표시된 손바닥의 위치를 추적하며, 손바닥이 움직이면 손바닥 위에 빠른 가상메뉴(20)가 고정된 것처럼 함께 이동할 수 있다.
또한, 단계 S130에서 빠른 가상메뉴(20)를 표시한 이후에, 손바닥이 착용자의 시야에서 이탈하면 빠른 가상메뉴(20)를 표시하지 않을 수 있다. 즉, 왼손바닥이 시야에서 이탈하면 빠른 가상메뉴(20)도 함께 사라지게 된다.
도 6은 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴(20) 제공 방법에서, 손바닥의 방향이 가로일 때 전체 가상메뉴(20)가 제공되는 모습을 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴(20) 제공 방법의 단계 S130에서는, 단계 S120에서 식별한 손바닥의 방향이 세로이면 손바닥을 기준으로 전체 가상메뉴(20)를 표시할 수 있다. 즉, 도 6의 좌측에 도시된 바와 같이 착용자가 증강현실 글래스 장치(10)를 착용한 상태에서 왼손을 가로 방향으로 펼쳐서 손바닥을 바라보면, 손바닥이 인식되고 손바닥의 방향이 식별되며, 손바닥 방향(가로)에 따라 결정된 전체 가상메뉴(20)가 도 6의 우측에 도시된 바와 같이 왼손바닥 위에 팝업 디스플레이 될 수 있다.
여기서, 전체 가상메뉴(20)는 증강현실 글래스 장치(10)가 제공하거나 증강현실 글래스 장치(10)에 설치된 모든 기능과 애플리케이션의 목록 메뉴일 수 있다. 이와 같은 전체 가상메뉴(20)를 구성하는 기능 및/또는 애플리케이션의 종류와 순서, 배치 등은 착용자가 직접 편집할 수 있다. 따라서 각 착용자가 원하는 순서와 배치로 전체 가상메뉴(20)를 커스터마이징하여 사용할 수 있다.
이와 같은 전체 가상메뉴(20)는 빠른 가상메뉴(20)에 비해 포함된 아이콘 개수가 많으므로, 도 6의 우측에 도시된 바와 같이 뷰 필드(view field)의 전체 화면으로 출력할 수 있다. 이때, 식별한 왼손바닥의 위치를 기준으로 하여 전체 가상메뉴(20)를 표시할 수 있으며, 예를 들어 왼손바닥이 전체 가상메뉴(20)의 중심에 위치하도록 하거나, 도 6의 우측에 도시된 바와 같이 전체 가상메뉴(20)의 좌측 모서리를 왼손바닥의 시작 부분에 맞추어 표시할 수 있다.
도 7은 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴(20) 제공 방법에서, 손바닥 이동과 관계없이 전체 가상메뉴(20)가 제공되는 모습을 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴(20) 제공 방법의 단계 S130에서는, 전체 가상메뉴(20)의 표시 후에는 손바닥의 위치 변화와 관계없이 착용자의 시야 내에서 전체 가상메뉴(20)의 위치를 고정해 표시할 수 있다. 즉, 빠른 가상메뉴(20)와 달리, 전체 가상메뉴(20)는 착용자가 왼손이나 고개를 움직이는 것과 관계없이 뷰 필드 내에 고정되어 제공될 수 있다.
또한, 단계 S130에서는, 손바닥이 착용자의 시야에서 이탈해도, 착용자의 시야 내에 전체 가상메뉴(20)를 유지할 수 있다. 즉, 빠른 가상메뉴(20)와는 달리, 왼손바닥이 시야에서 이탈하더라도 전체 가상메뉴(20)는 그대로 출력될 수 있다. 전체 가상메뉴(20)를 시야에서 제거하기 위해서는 종료를 위한 별도의 입력 신호가 필요할 수 있다.
단계 S140에서는, 메뉴 제공부(400) 및 제어부(500)가, 가상메뉴(20)에 대한 입력 신호를 이용해 가상메뉴(20)를 제어할 수 있다. 제어부(500)는 입력 신호에 대응해 선택된 기능 또는 애플리케이션을 실행할 수 있으며, 메뉴 제공부(400)와 연동해 가상메뉴(20)를 편집하거나 가상메뉴(20)의 출력을 종료할 수도 있다.
도 8은 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴(20) 제공 방법에서, 가상메뉴(20)에 대한 입력 신호를 입력하는 모습을 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴(20) 제공 방법의 단계 S140에서는, 단계 S110에서 인식한 손바닥과 반대쪽 손의 손가락을 사용한 신호를 입력 신호로 하여, 가상메뉴(20)를 제어할 수 있다. 즉, 착용자는 왼손 위에 표시된 가상메뉴(20)(빠른 가상메뉴(20) 또는 전체 가상메뉴(20))에서, 오른손 집게손가락으로 아이콘을 선택해 해당 기능을 실행할 수 있고, 아이콘 배치를 변경하는 등의 메뉴 편집을 수행할 수도 있다.
한편, 인식부(200)는 착용자가 메뉴 제어를 위해 사용하는 다양한 제스처를 인식하고 입력 신호를 추출해 제어부(500)에 전달함으로써, 가상메뉴(20)가 제어되도록 할 수 있다. 여기서, 각각의 제스처는 손의 모습(자세)과 동작 중 적어도 하나로 구성될 수 있다.
예를 들어, 인식부(200)는 카메라에서 촬영된 영상에서 오른손의 모습(도 8에 도시된 바와 같이 집게손가락만 편 형상)을 검출하고, 손의 키포인트를 추정해 검지 끝점의 좌표값을 추출하여, 가상메뉴(20)를 구성하는 아이콘 중에서 착용자가 가리키는 아이콘을 특정할 수 있다. 또한, 검지 끝점의 뎁스를 추정해 해당 아이콘에 대한 터치 여부를 판별할 수 있다.
한편, 본 발명의 일실시예에 따른 손 인식 기반의 가상메뉴(20)를 제공하는 증강현실 글래스 장치(10)는, 카메라부(600), 센서부(700) 및 통신부(800)를 더 포함하여 구성될 수 있다.
즉, 제어부(500)는, 카메라부(600) 및 센서부(700)에서 수집한 정보에 기초하여, 착용자에게 제공할 영상 정보를 생성해 디스플레이(110)로 전송되도록 제어함으로써, 착용자가 증강현실을 통해 가상메뉴(20)와 외부 환경에 대한 추가 정보 등을 최적화된 화면으로 전달받도록 할 수 있다.
카메라부(600)는, 착용자의 시야 방향의 영상을 촬영해 인식부(200)에 전달하여 비전 인식 기반으로 손바닥과 제스처 등을 인식할 수 있다. 보다 구체적으로, 카메라부(600)는, 인식부(200)의 손바닥 및 제스처 인식 알고리즘에 따라 RGB 카메라, 적외선 이미지 카메라, 깊이 센서 등을 포함하여, 손바닥 및 제스처 인식에 필요한 손 영상을 제공할 수 있다.
센서부(700)는, 적어도 하나 이상의 센서를 포함할 수 있으며, 보다 구체적으로 동공 추적 센서, 홍채 인식 센서 등을 포함할 수 있다. 실시예에 따라서, 동공 추적 센서를 사용해 착용자의 시선을 추적하여, 착용자가 손바닥을 바라볼 때 인식부(200)에서 착용자의 손바닥을 인식하도록 구성함으로써, 착용자가 의도하지 않은 상황에서 가상메뉴(20)가 표시되지 않도록 할 수 있다. 이때, 미리 정해진 시간 이상 손바닥을 바라볼 때 단계 S110이 수행되도록 하여 오작동을 최소화할 수 있다.
한편, 착용자가 증강현실 글래스 장치(10)를 착용하고 사용자 인증을 하면, 제어부(500)는 각 착용자가 커스터마이징 한 가상메뉴(20), 개별 착용자의 동작 제스처 사용 패턴, 선호 조도, IPD(Inter-Pupillary Distance), 인터페이스 등 여러 가지 사용자별 설정 내용을 자동으로 적용할 수도 있다. 이때, 사용자 인증은 센서부(700)에 포함된 홍채 인식 센서 등을 사용할 수 있다.
통신부(800)는, 증강현실 글래스 장치(10)의 일측에 설치되며, 다른 증강현실 글래스 장치(10)나 서버 등과 각종 신호 및 데이터를 송수신할 수 있다. 여기서, 통신부(800)가 사용하는 네트워크는, 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network), 위성 통신망, 블루투스(Bluetooth), Wibro(Wireless Broadband Internet), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution), 3/4/5/6G(3/4/5/6th Generation Mobile Telecommunication) 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.
전술한 바와 같이, 본 발명에서 제안하고 있는 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴(20) 제공 방법 및 손 인식 기반의 가상메뉴(20)를 제공하는 증강현실 글래스 시스템에 따르면, 착용자의 손바닥을 인식하고 손바닥 방향에 기초하여 결정되는 가상메뉴(20)를 손바닥 위에 표시해 제공함으로써, 손바닥 방향에 따라 빠른 메뉴와 전체 메뉴가 선택적으로 표시되므로 손바닥 방향만으로 원하는 메뉴를 착용자에게 쉽게 제공할 수 있고, 반대쪽 손가락으로 가상메뉴(20)에 대한 입력 신호를 입력함으로써, 착용자가 직관적이고 편리하게 가상메뉴(20)를 제어할 수 있다.
한편, 본 발명은 다양한 통신 단말기로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터에서 판독 가능한 매체를 포함할 수 있다. 예를 들어, 컴퓨터에서 판독 가능한 매체는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD_ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
이와 같은 컴퓨터에서 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이때, 컴퓨터에서 판독 가능한 매체에 기록되는 프로그램 명령은 본 발명을 구현하기 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예를 들어, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.

Claims (8)

  1. 증강현실 글래스 시스템에서 각 단계가 수행되는 가상메뉴(20) 제공 방법으로서,
    (1) 착용자의 시야 내에 위치하는 착용자의 손바닥을 인식하는 단계;
    (2) 상기 단계 (1)에서 인식한 손바닥의 방향을 식별하는 단계; 및
    (3) 상기 식별한 손바닥의 방향에 기초하여 결정되는 가상메뉴(20)를 상기 인식한 손바닥 위에 표시해 제공하는 단계를 포함하는 것을 특징으로 하는, 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴(20) 제공 방법.
  2. 제1항에 있어서, 상기 단계 (2)에서는,
    상기 인식한 손바닥의 방향이 가로인지 세로인지를 식별하는 것을 특징으로 하는, 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴(20) 제공 방법.
  3. 제2항에 있어서, 상기 단계 (3)에서는,
    상기 단계 (2)에서 식별한 손바닥의 방향이 가로이면 빠른 가상메뉴(20)를 표시하며, 상기 손바닥의 위치를 추적해 손바닥의 이동에 따라 상기 빠른 가상메뉴(20)를 이동시켜, 상기 빠른 가상메뉴(20)가 손바닥에 표시되도록 하는 것을 특징으로 하는, 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴(20) 제공 방법.
  4. 제3항에 있어서, 상기 단계 (3) 이후에는,
    상기 손바닥이 상기 착용자의 시야에서 이탈하면, 상기 빠른 가상메뉴(20)를 표시하지 않는 것을 특징으로 하는, 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴(20) 제공 방법.
  5. 제2항에 있어서, 상기 단계 (3)에서는,
    상기 단계 (2)에서 식별한 손바닥의 방향이 세로이면 상기 손바닥을 기준으로 전체 가상메뉴(20)를 표시하며, 상기 전체 가상메뉴(20)의 표시 후에는 상기 손바닥의 위치 변화와 관계없이 상기 착용자의 시야 내에서 상기 전체 가상메뉴(20)의 위치를 고정해 표시하는 것을 특징으로 하는, 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴(20) 제공 방법.
  6. 제1항에 있어서, 상기 단계 (3) 이후에는,
    (4) 상기 표시한 가상메뉴(20)에 대한 입력 신호를 이용해 상기 가상메뉴(20)를 제어하는 단계를 더 포함하며,
    상기 입력 신호는, 상기 단계 (1)에서 인식한 손바닥과 반대쪽 손의 손가락을 사용한 신호인 것을 특징으로 하는, 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴(20) 제공 방법.
  7. 증강현실 글래스 시스템으로서,
    착용자의 양안의 전방에 배치되어 착용자에게 증강현실을 제공하는 광학 디스플레이부(100);
    착용자의 시야 내에 위치하는 착용자의 손바닥을 인식하는 인식부(200);
    상기 인식부(200)에서 인식한 손바닥의 방향을 식별하는 식별부(300); 및
    상기 식별한 손바닥의 방향에 기초하여 결정되는 가상메뉴(20)를 상기 인식한 손바닥 위에 표시해 제공하는 메뉴 제공부(400)를 포함하는 것을 특징으로 하는, 손 인식 기반의 가상메뉴(20)를 제공하는 증강현실 글래스 시스템.
  8. 제7항에 있어서, 상기 식별부(300)는,
    상기 인식한 손바닥의 방향이 가로인지 세로인지를 식별하며,
    상기 메뉴 제공부(400)는,
    상기 식별부(300)에서 식별한 손바닥의 방향이 가로이면 빠른 가상메뉴(20)를 표시하며, 상기 손바닥의 위치를 추적해 손바닥의 이동에 따라 상기 빠른 가상메뉴(20)를 이동시켜, 상기 빠른 가상메뉴(20)가 손바닥에 표시되도록 하고, 상기 식별부(300)에서 식별한 손바닥의 방향이 세로이면 상기 손바닥을 기준으로 전체 가상메뉴(20)를 표시하며, 상기 전체 가상메뉴(20)의 표시 후에는 상기 손바닥의 위치 변화와 관계없이 상기 착용자의 시야 내에서 상기 전체 가상메뉴(20)의 위치를 고정해 표시하는 것을 특징으로 하는, 손 인식 기반의 가상메뉴(20)를 제공하는 증강현실 글래스 시스템.
PCT/KR2022/005833 2021-11-29 2022-04-24 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법 및 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템 WO2023096038A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210167494A KR102636996B1 (ko) 2021-11-29 2021-11-29 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법 및 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템
KR10-2021-0167494 2021-11-29

Publications (1)

Publication Number Publication Date
WO2023096038A1 true WO2023096038A1 (ko) 2023-06-01

Family

ID=86539968

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/005833 WO2023096038A1 (ko) 2021-11-29 2022-04-24 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법 및 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템

Country Status (2)

Country Link
KR (1) KR102636996B1 (ko)
WO (1) WO2023096038A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140048440A (ko) * 2012-10-15 2014-04-24 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
KR20150144100A (ko) * 2014-06-16 2015-12-24 한국과학기술정보연구원 손목 움직임 기반 가상현실 메뉴 제어 시스템 및 방법
KR20160067573A (ko) * 2014-12-04 2016-06-14 엘지전자 주식회사 멀티미디어 디바이스 및 그 제어 방법
KR101708455B1 (ko) * 2015-09-08 2017-02-21 엠더블유엔테크 주식회사 핸드 플로트 입체 메뉴 시스템
KR20200051937A (ko) * 2018-11-06 2020-05-14 한길씨앤씨 주식회사 가상현실 환경에서 사용자의 동작에 따른 gui 객체의 자동 표시방법 및 이를 이용한 vr 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140048440A (ko) * 2012-10-15 2014-04-24 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
KR20150144100A (ko) * 2014-06-16 2015-12-24 한국과학기술정보연구원 손목 움직임 기반 가상현실 메뉴 제어 시스템 및 방법
KR20160067573A (ko) * 2014-12-04 2016-06-14 엘지전자 주식회사 멀티미디어 디바이스 및 그 제어 방법
KR101708455B1 (ko) * 2015-09-08 2017-02-21 엠더블유엔테크 주식회사 핸드 플로트 입체 메뉴 시스템
KR20200051937A (ko) * 2018-11-06 2020-05-14 한길씨앤씨 주식회사 가상현실 환경에서 사용자의 동작에 따른 gui 객체의 자동 표시방법 및 이를 이용한 vr 시스템

Also Published As

Publication number Publication date
KR102636996B1 (ko) 2024-02-16
KR20230080081A (ko) 2023-06-07

Similar Documents

Publication Publication Date Title
WO2019143117A1 (en) Method and apparatus for adjusting augmented reality content
WO2018155892A1 (en) Method for displaying virtual image, storage medium and electronic device therefor
WO2018128526A1 (en) System and method for augmented reality control
WO2020036343A1 (en) Electronic device and control method thereof
WO2015108234A1 (en) Detachable head mount display device and method for controlling the same
WO2020153810A1 (en) Method of controlling device and electronic device
WO2016200102A1 (ko) 카메라의 초점을 변경하는 방법 및 장치
WO2015122566A1 (en) Head mounted display device for displaying augmented reality image capture guide and control method for the same
WO2017126741A1 (ko) Hmd 디바이스 및 그 제어 방법
WO2015199288A1 (en) Glass-type terminal and method of controling the same
WO2016182090A1 (ko) 안경형 단말기 및 이의 제어방법
WO2020159302A1 (ko) 증강 현실 환경에서 다양한 기능을 수행하는 전자 장치 및 그 동작 방법
WO2016021907A1 (ko) 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법
WO2016027932A1 (en) Glass-type mobile terminal and control method thereof
WO2021172832A1 (ko) 제스처 인식 기반의 영상 편집 방법 및 이를 지원하는 전자 장치
WO2018097483A1 (ko) 움직임 정보 생성 방법 및 이를 지원하는 전자 장치
WO2023096038A1 (ko) 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법 및 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템
WO2019004531A1 (ko) 사용자 신호 처리 방법 및 이러한 방법을 수행하는 장치
WO2023063515A1 (ko) 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치
WO2023282446A1 (ko) 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치 및 손 마디 인식을 이용한 착용형 증강현실 장치의 인터페이스 제공 방법
WO2019074228A2 (ko) 가상 멀미 저감을 위한 헤드 마운티드 디스플레이 및 그 동작 방법
WO2018093075A1 (ko) 전자 장치 및 그의 제어 방법
WO2023219254A1 (ko) 증강현실 글래스 장치의 손 거리 추정 방법 및 장치
WO2023058833A1 (ko) 터치 제스처를 이용한 사용자 인증 패턴 형성 방법 및 터치 제스처를 이용해 사용자 인증을 하는 머리 착용형 디스플레이 장치
WO2022231224A1 (ko) 파노라마 멀티 화면을 제공하는 증강현실 글라스 및 증강현실 글라스를 위한 파노라마 멀티 화면 제공 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22898726

Country of ref document: EP

Kind code of ref document: A1