WO2023282446A1 - 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치 및 손 마디 인식을 이용한 착용형 증강현실 장치의 인터페이스 제공 방법 - Google Patents

손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치 및 손 마디 인식을 이용한 착용형 증강현실 장치의 인터페이스 제공 방법 Download PDF

Info

Publication number
WO2023282446A1
WO2023282446A1 PCT/KR2022/005826 KR2022005826W WO2023282446A1 WO 2023282446 A1 WO2023282446 A1 WO 2023282446A1 KR 2022005826 W KR2022005826 W KR 2022005826W WO 2023282446 A1 WO2023282446 A1 WO 2023282446A1
Authority
WO
WIPO (PCT)
Prior art keywords
hand
augmented reality
knuckle
reality device
interface
Prior art date
Application number
PCT/KR2022/005826
Other languages
English (en)
French (fr)
Inventor
최치원
이원석
Original Assignee
주식회사 피앤씨솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피앤씨솔루션 filed Critical 주식회사 피앤씨솔루션
Publication of WO2023282446A1 publication Critical patent/WO2023282446A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display

Definitions

  • the present invention relates to a wearable augmented reality device and a method for providing an interface of the wearable augmented reality device, and more specifically, to a wearable augmented reality device that provides an interface using hand motion recognition and a wearable augmented reality device using hand motion recognition. It relates to a method of providing an interface of a device.
  • a head mounted display which is a kind of wearable device, refers to various devices that can be worn on a user's head to receive multimedia contents and the like.
  • the head mounted display (HMD) is worn on the user's body and provides images to the user in various environments as the user moves.
  • Head-mounted displays (HMDs) are classified into see-through and see-closed types.
  • the see-through type is mainly used for Augmented Reality (AR), and the closed type is mainly used for virtual reality (VR). reality, VR).
  • an input method optimized for user interaction is required.
  • an input method that can be used in the augmented reality of the head-mounted display there may be a button provided in the HMD, a separate input device connected to the HMD, or gesture recognition.
  • UIs user interfaces of existing head-mounted displays for augmented reality mostly use a form similar to a smartphone, and use complex gestures or voice recognition, so there are limitations that are inconvenient for users to learn.
  • Patent Registration No. 10-1700569 Title of Invention: HMD device capable of gesture-based user authentication and gesture-based user authentication method of the HMD device, registration date: January 2017 23), etc. have been disclosed.
  • the present invention has been proposed to solve the above problems of the previously proposed methods, recognizing the wearer's knuckles and displaying the functions of the wearable augmented reality device registered in each knuckle as an augmented reality image,
  • a wearable augmented reality device that provides an interface using hand motion recognition and a wearable augmented reality device using hand motion recognition, which can provide a more convenient and intuitive interface than conventional methods by executing a function selected from displayed functions. Its purpose is to provide an interface providing method.
  • a wearable augmented reality device that provides an interface using hand knuckle recognition according to the features of the present invention for achieving the above object is,
  • a hand recognition unit that recognizes the wearer's hand motion and hand joints
  • a registration unit registering a function of the wearable augmented reality device to a knuckle of the first hand recognized by the hand recognition unit;
  • an interface display unit displaying and providing the function registered to the knuckle of the first hand recognized by the hand recognition unit as an augmented reality image
  • It is characterized in that it consists of a space between the fingertips of the wearer's first hand and a plurality of joints constituting the fingers, or a space between the fingertips of the wearer's first hand and a plurality of joints constituting the fingers.
  • the hand recognition unit The hand recognition unit,
  • Hand motions and hand joints of the wearer may be recognized from hand images captured by the camera unit.
  • the hand recognition unit Preferably, the hand recognition unit, the hand recognition unit, the hand recognition unit, and
  • a hand gesture and knuckle of a first hand of both hands of the wearer may be recognized, and a hand gesture of a second hand for selecting a function displayed as an augmented reality image on the knuckle of the first hand may be recognized.
  • a mode switching unit for switching to a UI use mode for the first hand when the hand recognizing unit recognizes a preset hand motion of the first hand;
  • the interface display unit The interface display unit,
  • the registered function When switched to the UI use mode, the registered function may be displayed as an augmented reality image on the knuckle of the first hand recognized by the hand recognizer and provided.
  • the register Preferably, the register,
  • a library display module for displaying a library in which functions of the wearable augmented reality device are listed as an augmented reality image for function registration;
  • an allocation area recognizing module configured to set the knuckle of the first hand recognized by the hand recognizing unit as an allocation area to which the function is allocated
  • a function registration module for allocating and registering a function selected from the library to one of the allocation areas by a hand motion of the second hand may be included.
  • the hand recognition unit More preferably, the hand recognition unit,
  • the knuckle of the first hand may be recognized.
  • the function registration module More preferably, the function registration module,
  • a function selected and dragged from the library may be allocated and registered in a dropped assignment area by a drag-and-drop type hand motion of the second hand recognized by the hand recognizer.
  • a method of providing an interface for a wearable augmented reality device
  • Each step is performed by the wearable augmented reality device including a hand recognition unit that recognizes the wearer's hand motion and hand knuckles,
  • It is characterized in that it consists of a space between the fingertips of the wearer's first hand and a plurality of joints constituting the fingers, or a space between the fingertips of the wearer's first hand and a plurality of joints constituting the fingers.
  • each knuckle of the wearer is recognized.
  • a more convenient and intuitive interface can be provided.
  • FIG. 1 is a diagram showing the configuration of a wearable augmented reality device that provides an interface using hand knuckle recognition according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing, for example, a state in which an interface is provided in a wearable augmented reality device that provides an interface using hand joint recognition according to an embodiment of the present invention.
  • FIG. 3 is a view showing a detailed configuration of a registration unit in a wearable augmented reality device that provides an interface using knuckle recognition according to an embodiment of the present invention.
  • FIG. 4 is a diagram showing, for example, a state in which a function is registered to a hand joint in a registration unit of a wearable augmented reality device that provides an interface using hand joint recognition according to an embodiment of the present invention.
  • FIGS. 5 and 6 are diagrams showing, for example, a state in which a registered interface is provided in a wearable augmented reality device that provides an interface using knuckle recognition according to an embodiment of the present invention.
  • FIG. 7 is a view showing the overall configuration of a wearable augmented reality device that provides an interface using hand knuckle recognition according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating a method for providing an interface of a wearable augmented reality device using hand joint recognition according to an embodiment of the present invention.
  • S140 Executing the selected function when the function displayed as an augmented reality image on the knuckle of the first hand is selected by the second hand according to the wearer's hand motion recognition
  • the wearable augmented reality device 10 that provides an interface using knuckle recognition according to an embodiment of the present invention includes a hand recognition unit 110, a register unit 120, and a mode switching unit. 130, an interface display unit 140, and a control unit 400, and may further include a camera unit 600 for hand recognition.
  • the hand recognition unit 110, the registration unit 120, the mode switching unit 130, and the interface display unit 140 constitute the interface providing device 100
  • the interface providing device 100 is a wearable augmented reality device
  • the controller 400 can receive various input signals through the interface provided by the interface providing device 100 and perform the functions of the wearable augmented reality device 10.
  • the interface providing device 100 may provide an interface of the wearable augmented reality device 10 as an augmented reality image.
  • the wearable augmented reality device 10 is worn on the head or head of the user, and the real world and the display in which the user wearing the wearable augmented reality device 10 is transmitted through the optical system are output to the wearer through the optical system. It may be a device that allows users to experience augmented reality by receiving image information delivered to the pupil of the child.
  • the wearable augmented reality device 10 may be of various types such as glass type and goggle type, and if it is worn on the user's body to experience augmented reality through the wearer's field of view, the present invention regardless of its specific form or type It can serve as a wearable augmented reality device 10 of.
  • FIG. 2 is a diagram showing, for example, a state in which an interface is provided in the wearable augmented reality device 10 that provides an interface using knuckle recognition according to an embodiment of the present invention.
  • the wearable augmented reality device 10 that provides an interface using knuckle recognition according to an embodiment of the present invention recognizes the knuckles of the first hand 1 and recognizes the recognized hand.
  • Functions assigned and registered to nodes can be displayed as augmented reality images to provide an interface.
  • the wearer can select one of the displayed functions using the first hand 1 and the other hand, that is, the second hand 2, on which the interface is displayed (camera function selection in FIG. 2), and the controller 400 selects the selected function. function can be executed.
  • the knuckles of the first hand 1 are a plurality of joints constituting the fingertips and fingers of the wearer's first hand 1, or the fingertips and fingers of the wearer's first hand 1. It may consist of a space between a plurality of joints. That is, when the interface is provided, function icons may be disposed on the fingertips and finger joints of the first hand 1 and provided, and function icons may be provided on the fingertips of the first hand 1 and spaces between joints. can be placed and provided. In particular, if the space between the knuckles is defined as a knuckle and a function is allocated, function selection using the second hand 2 may be more convenient because the allocation area occupies a certain range.
  • the interface may be provided as an augmented reality image on the finger in a state in which the palm is visible, as shown in FIG. 2, but may also be provided on the finger in a state in which the back of the hand is visible.
  • an interface in a state in which the palm is visible, an interface is displayed and provided at a knuckle composed of a space between the fingertips of the first hand 1 and the knuckles, and in a state in which the back of the hand is visible, the interface of the first hand 1 is displayed.
  • An interface may be displayed and provided on a knuckle composed of fingertips and finger joints.
  • the composition of the hand joints or the display of the interface are not limited to the above-described forms, and whether to display on the joints or in the space between joints with the palm or back of the hand visible can be designed in various ways during the interface optimization process.
  • the right hand serves as the first hand 1 and the left hand serves as the second hand 2, but the first hand 1 is the hand displaying the interface and the second hand 2
  • the first hand (1) and the second hand (2) can be changed, and the interface is displayed on the left hand (first hand (1)) and the right hand You can also choose (second hand (2)).
  • the hand recognition unit 110 may recognize the wearer's hand motion and hand knuckles. More specifically, the hand recognition unit 110 recognizes the hand gesture and knuckle of the first hand 1 of both hands of the wearer, and selects a function displayed as an augmented reality image on the knuckle of the first hand 1. A hand gesture of the second hand 2 may be recognized.
  • the wearable augmented reality device 10 providing an interface using hand knuckle recognition includes a camera unit 600 for capturing a hand image
  • the recognition unit 110 may recognize the wearer's hand motion and hand joints from the hand image captured by the camera unit 600 . That is, the hand recognizer 110 may estimate hand joints using vision recognition technology based on image processing and artificial intelligence, and may recognize hand motions and knuckles using the estimated hand joints.
  • the hand recognition unit 110 may recognize the knuckles of the first hand 1 of the wearer when the wearer's first hand 1 is in a predetermined pose in the UI registration mode or the UI use mode.
  • the UI registration mode is a mode in which various functions are registered to the knuckles of the first hand 1 in the registration unit 120, which will be described in detail below, and a desired function can be registered to the knuckles desired by the wearer.
  • the UI use mode may be a mode in which an interface is displayed on a knuckle according to registration in the UI registration mode and an input is performed using the displayed interface.
  • the hand recognition unit (110) can recognize the knuckles. For example, knuckle recognition may not be performed in a fisted state or the like.
  • the registration unit 120 may register the function of the wearable augmented reality device 10 to the knuckle of the first hand 1 recognized by the hand recognition unit 110 .
  • the registration unit 120 may allocate and register functions to the recognized knuckles as desired by the wearer.
  • FIG. 3 is a diagram showing a detailed configuration of a registration unit 120 in the wearable augmented reality device 10 that provides an interface using knuckle recognition according to an embodiment of the present invention.
  • the registration unit 120 of the wearable augmented reality device 10 that provides an interface using knuckle recognition according to an embodiment of the present invention includes a library display module 121 and allocation area recognition. module 122 and function registration module 123.
  • FIGS. 3 and 4 are views showing, for example, a state in which a function is registered to a hand joint in the registration unit 120 of the wearable augmented reality device 10 that provides an interface using hand joint recognition according to an embodiment of the present invention. to be.
  • each component of the registration unit 120 will be described in detail. let it do
  • the library display module 121 may display a library in which functions of the wearable augmented reality device 10 are listed as augmented reality images for function registration.
  • the library may list various functions provided by the wearable augmented reality device 10 and icons such as various installed applications for function registration.
  • the library may be displayed as an augmented reality image on the side of the wearer's field of view, or may be displayed around the first hand 1 .
  • the allocation area recognition module 122 may set the knuckle of the first hand 1 recognized by the hand recognition unit 110 as an allocation area to which functions are allocated. That is, as shown in FIG. 4 , the hand recognizer 110 performs a first pose in the UI registration mode when the first hand 1 of the wearer is in a predetermined pose such as a stretched state so that the palm is visible and the fingers do not touch each other. It is possible to recognize the knuckles of the hand 1, and the allocation area recognition module 122 is composed of a space between the fingertips of the wearer's first hand 1 and a plurality of joints constituting the fingers. The hand nodes of (1) can be set as the allocation area.
  • the function registration module 123 may assign and register a function selected from the library to any one of the allocation areas by a hand motion of the second hand 2 . More specifically, the function registration module 123 allocates the dragged function selected from the library by the drag-and-drop hand motion of the second hand 2 recognized by the hand recognition unit 110 to the dropped position. It can be registered by assigning it to an area.
  • the library provides a search function so that when a function desired by the wearer is not displayed or is difficult to find, the function can be found through search and registered in a desired allocation area.
  • the wearer may add a new function icon to the interface through the function registration module 123, delete a registered function, or change an assigned area, and perform various types of editing.
  • the mode switching unit 130 may switch to a UI use mode for the first hand 1 when the hand recognizing unit 110 recognizes a preset hand motion of the first hand 1 . That is, continuously displaying functions on the first hand 1 even in daily activities may cause inconvenience to the wearer, and recognizing the knuckles of the first hand 10 may consume a lot of resources and be uneconomical. Therefore, when a preset hand gesture is taken with the first hand 1, the interface can be displayed by switching to the UI use mode.
  • the preset hand gesture may be a gesture of closing and opening a fist, and the preset hand gesture may be set to end with a predetermined pose taken when registering a function to the first hand 1 in the registration unit 120. That is, when a preset hand gesture, which is a gesture of clenching a fist and taking a predetermined pose as shown in FIG. 4 , is recognized, the mode can be switched to the UI use mode.
  • the interface display unit 140 may display and provide the function registered to the knuckle of the first hand 1 recognized by the hand recognition unit 110 as an augmented reality image. More specifically, when the interface display unit 140 is switched to the UI use mode, the function registered in the registration unit 120 is transmitted to the knuckle of the first hand 1 recognized by the hand recognition unit 110 as an augmented reality image. can be displayed and provided.
  • FIG. 5 and 6 are diagrams showing, for example, how a registered interface is provided in the wearable augmented reality device 10 that provides an interface using knuckle recognition according to an embodiment of the present invention.
  • the hand recognition unit 110 determines the position of the first hand 1 in the predetermined pose.
  • the hand joints are recognized, and the interface display unit 140 may display a function icon registered to each hand joint as an augmented reality image.
  • different interfaces may be provided to the left hand and the right hand, respectively, and different interfaces may be provided depending on the direction of the palm and the back of the hand.
  • An interface may be provided. For example, as shown in FIG. 6 , when the left hand is the first hand 1 , an interface using the knuckles as a numeric keypad may be provided.
  • the control unit 400 when the function displayed as an augmented reality image on the knuckle of the first hand 1 is selected by the second hand 2 , the selected function can be executed. That is, as shown in FIG. 2 , when a function icon displayed as an augmented reality image by the interface display unit 140 is selected by the second hand 2 , the controller 400 may execute the selected function camera application. To this end, the controller 400 may specify the selected function by receiving the hand shape and finger position of the second hand 2 in conjunction with the hand recognition unit 110 .
  • the controller 400 may execute a function through a combination of selection by the second hand 2 and hand motions of the first hand 1 and/or the second hand 2 .
  • a call function (call icon)
  • an interface using the knuckles of the left hand as a numeric keypad as shown in FIG. 6 may be provided.
  • the wearer inputs a phone number by selecting a number with the right hand (second hand (2)) on the interface of the left hand (first hand (1)), and after completing the input, the hand gesture of making a fist with the left hand (first hand (1)) is performed. If recognized, the control unit 400 may implement a call connection to the input phone number.
  • the wearable augmented reality device 10 that provides an interface using knuckle recognition according to an embodiment of the present invention includes a gesture input device 100 and a controller 400. and may further include an HMD frame 200, an optical display unit 300, a GPS module 500, a camera unit 600, a sensor unit 700, and a communication unit 800.
  • the HMD frame 200 is a frame configuration of the wearable augmented reality device 10 that can be worn on the head or head by the user.
  • the HMD frame 200 may be configured in the form of a helmet or goggles having a frame structure through which light may enter while worn on the head by a user.
  • the HMD frame 200 when the HMD frame 200 is formed in the form of a helmet, it may be composed of a helmet (not shown) worn on the user's head and a display frame (not shown) disposed in front of the helmet.
  • the HMD frame 200 when the HMD frame 200 is configured in the form of goggles, it may be configured with a band frame (not shown) that can be worn on the user's head and a goggle frame (not shown) fastened and fixed to the band frame.
  • the optical display unit 300 may be disposed in front of both eyes of the wearer to provide augmented reality or mixed reality to the wearer. That is, the optical display unit 300 is a component corresponding to the AR, VR or MR glasses of the wearable augmented reality device 10, and displays and wears an OLED that outputs image light so that image information can be provided to the wearer. It may be configured to include an optical system that is disposed in front of both eyes of the wearer wearing the type augmented reality device 10 and provides augmented reality by combining real world light and image light. In addition, the optical system is composed of a plurality of lenses and mirrors and may be implemented in various ways, such as an optical diffraction method, a beam splitter method, a pin mirror method, and the like.
  • the GPS module 500 may provide location information of the wearer, and the camera unit 600 may capture an image in the direction of the wearer's gaze.
  • the camera unit 600 may capture a hand image and transmit it to the hand recognizing unit 110 to recognize a hand motion and hand knuckles based on vision recognition.
  • the control unit 400 generates image information to be provided to the wearer based on information collected by the GPS module 500, the camera unit 600, and other various sensors, and controls the image information to be transmitted to the display, so that the wearer can enjoy augmented reality. Through this, it is possible to receive additional information about the external environment through an optimized screen.
  • the sensor unit 700 may include at least one or more sensors, and more specifically, an iris recognition sensor or the like.
  • the controller 400 registers the stored illuminance, Inter-Pupillary Distance (IPD), and registration unit 120 according to each wearer. It is also possible to automatically apply various user-specific settings, such as the user-defined interface. In this case, user authentication may use an iris recognition sensor included in the sensor unit 700 .
  • the communication unit 800 is installed on one side of the wearable augmented reality device 10 and can transmit and receive various signals and data to and from other wearable augmented reality devices 10 or servers.
  • the network used by the communication unit 800 is a wired network or a mobile communication network such as a Local Area Network (LAN), a Wide Area Network (WAN), or a Value Added Network (VAN).
  • radio communication network such as a Local Area Network (LAN), a Wide Area Network (WAN), or a Value Added Network (VAN).
  • radio communication network such as a Local Area Network (LAN), a Wide Area Network (WAN), or a Value Added Network (VAN).
  • radio communication network such as Wibro (Wireless Broadband Internet), HSDPA (High Speed Downlink Packet Access), LTE (Long Term Evolution), 3/4/5G (3/4/5th Generation Mobile Telecommunication ) can be implemented in all types of wireless networks, such as
  • FIG. 8 is a flowchart illustrating a method for providing an interface of the wearable augmented reality device 10 using hand joint recognition according to an embodiment of the present invention. As shown in FIG. 8 , in the method of providing an interface of the wearable augmented reality device 10 using knuckle recognition according to an embodiment of the present invention, the wearable augmented reality device is applied to the knuckle of the first hand 1.
  • the wearable augmented reality device 10 that provides an interface using knuckle recognition and the interface providing method of the wearable augmented reality device 10 using knuckle recognition proposed in the present invention
  • the wearer By recognizing the hand joints, displaying the function of the wearable augmented reality device 10 registered in each hand joint as an augmented reality image, and executing a function selected from the displayed functions, a more convenient and intuitive interface than the existing method can provide
  • the present invention may include a computer-readable medium including program instructions for performing operations implemented in various communication terminals.
  • computer-readable media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD_ROMs and DVDs, and floptical disks. It may include hardware devices specially configured to store and execute program instructions, such as magneto-optical media and ROM, RAM, flash memory, and the like.
  • Such computer-readable media may include program instructions, data files, data structures, etc. alone or in combination.
  • program instructions recorded on a computer-readable medium may be specially designed and configured to implement the present invention, or may be known and usable to those skilled in computer software.
  • it may include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes generated by a compiler.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명에서 제안하고 있는 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치 및 손 마디 인식을 이용한 착용형 증강현실 장치의 인터페이스 제공 방법에 따르면, 착용자의 손 마디를 인식해 각각의 손 마디에 등록된 착용형 증강현실 장치의 기능을 증강현실 영상으로 표시하고, 표시된 기능 중에서 선택된 기능을 실행함으로써, 기존의 방식보다 편리하고 직관적인 인터페이스를 제공할 수 있다.

Description

손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치 및 손 마디 인식을 이용한 착용형 증강현실 장치의 인터페이스 제공 방법
본 발명은 착용형 증강현실 장치 및 착용형 증강현실 장치의 인터페이스 제공 방법에 관한 것으로서, 보다 구체적으로는 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치 및 손 마디 인식을 이용한 착용형 증강현실 장치의 인터페이스 제공 방법에 관한 것이다.
디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 이러한 웨어러블 디바이스의 일종인 헤드 마운티드 디스플레이(Head Mounted Display)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠 등을 제공받을 수 있는 각종 디바이스를 의미한다. 여기서 헤드 마운티드 디스플레이(HMD)는 사용자의 신체에 착용 되어 사용자가 이동함에 따라서 다양한 환경에서 사용자에게 영상을 제공하게 된다. 이러한 헤드 마운티드 디스플레이(HMD)는 투과(see-through)형과 밀폐(see-closed)형으로 구분되고 있으며, 투과형은 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형은 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다.
헤드 마운티드 디스플레이는 기존의 터치스크린과 같은 입력 방식을 사용하기 어려우므로, 사용자 상호작용을 위한 최적화된 입력 방식이 필요하다. 헤드 마운티드 디스플레이의 증강현실에서 사용할 수 있는 입력 방식으로, HMD에 구비된 버튼이나 HMD와 연결된 별도의 입력 장치, 제스처 인식 등이 있을 수 있다.
그러나 기존의 증강현실을 위한 헤드 마운티드 디스플레이의 유저 인터페이스(User Interface, UI)는 대부분 스마트폰과 유사한 형태를 사용하고 있고, 복잡한 제스처나 음성인식을 사용하므로 사용자가 익히기 불편한 한계가 있다.
한편, 본 발명과 관련된 선행기술로서, 등록특허 제10-1700569호(발명의 명칭: 제스처 기반의 사용자 인증이 가능한 HMD 장치 및 상기 HMD 장치의 제스처 기반의 사용자 인증 방법, 등록일자: 2017년 01월 23일) 등이 개시된 바 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 착용자의 손 마디를 인식해 각각의 손 마디에 등록된 착용형 증강현실 장치의 기능을 증강현실 영상으로 표시하고, 표시된 기능 중에서 선택된 기능을 실행함으로써, 기존의 방식보다 편리하고 직관적인 인터페이스를 제공할 수 있는, 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치 및 손 마디 인식을 이용한 착용형 증강현실 장치의 인터페이스 제공 방법을 제공하는 것을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치는,
착용형 증강현실 장치로서,
착용자의 손동작 및 손 마디를 인식하는 손 인식부;
상기 손 인식부에서 인식된 제1 손의 손 마디에 상기 착용형 증강현실 장치의 기능을 등록하는 등록부;
상기 손 인식부에서 인식된 상기 제1 손의 손 마디에 등록된 기능을 증강현실 영상으로 표시하여 제공하는 인터페이스 표시부; 및
상기 손 인식부에 의해 인식되는 착용자의 손동작 인식에 따라, 상기 제1 손의 손 마디에 증강현실 영상으로 표시된 기능이 제2 손에 의해 선택되면, 선택된 기능을 실행하는 제어부를 포함하며,
상기 제1 손의 손 마디는,
상기 착용자의 제1 손의 손가락 끝과 손가락을 구성하는 복수의 관절, 또는 상기 착용자의 제1 손의 손가락 끝과 손가락을 구성하는 복수의 관절 사이의 공간으로 구성되는 것을 그 구성상의 특징으로 한다.
바람직하게는,
손 영상을 촬영하는 카메라부를 더 포함하며,
상기 손 인식부는,
상기 카메라부에서 촬영된 손 영상으로부터 상기 착용자의 손동작 및 손 마디를 인식할 수 있다.
바람직하게는, 상기 손 인식부는,
상기 착용자의 양손 중 제1 손의 손동작 및 손 마디를 인식하며, 상기 제1 손의 손 마디에 증강현실 영상으로 표시된 기능을 선택하는 제2 손의 손동작을 인식할 수 있다.
바람직하게는,
상기 손 인식부에서 상기 제1 손의 미리 설정된 손동작이 인식되면 상기 제1 손에 대한 UI 사용 모드로 전환하는 모드 전환부를 더 포함하며,
상기 인터페이스 표시부는,
상기 UI 사용 모드로 전환되면, 상기 손 인식부에서 인식된 상기 제1 손의 손 마디에 상기 등록된 기능을 증강현실 영상으로 표시하여 제공할 수 있다.
바람직하게는, 상기 등록부는,
UI 등록 모드로 전환되면, 기능 등록을 위해 상기 착용형 증강현실 장치의 기능이 나열된 라이브러리를 증강현실 영상으로 표시하는 라이브러리 표시 모듈;
상기 손 인식부에서 인식된 상기 제1 손의 손 마디를 상기 기능이 할당되는 할당 영역으로 설정하는 할당 영역 인식 모듈; 및
상기 제2 손의 손동작에 의해, 상기 라이브러리에서 선택된 기능을 상기 할당 영역 중 어느 하나에 할당해 등록하는 기능 등록 모듈을 포함할 수 있다.
더욱 바람직하게는, 상기 손 인식부는,
UI 등록 모드 또는 UI 사용 모드에서 상기 착용자의 제1 손이 미리 정해진 포즈일 때 상기 제1 손의 손 마디를 인식할 수 있다.
더욱 바람직하게는, 상기 기능 등록 모듈은,
상기 손 인식부에서 인식되는 상기 제2 손의 드래그 앤 드롭 방식의 손동작에 의해, 상기 라이브러리에서 선택되어 드래그된 기능을 드롭된 할당 영역에 할당해 등록할 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명의 특징에 따른 손 마디 인식을 이용한 착용형 증강현실 장치의 인터페이스 제공 방법은,
착용형 증강현실 장치의 인터페이스 제공 방법으로서,
착용자의 손동작 및 손 마디를 인식하는 손 인식부를 포함하는 상기 착용형 증강현실 장치에 의해 각 단계가 수행되며,
(1) 상기 손 인식부에서 인식된 제1 손의 손 마디에 상기 착용형 증강현실 장치의 기능을 등록하는 단계;
(2) 상기 손 인식부에서 상기 제1 손의 미리 설정된 손동작이 인식되면 상기 제1 손에 대한 UI 사용 모드로 전환하는 단계;
(3) 상기 UI 사용 모드로 전환되면, 상기 손 인식부에서 인식된 상기 제1 손의 손 마디에 등록된 기능을 증강현실 영상으로 표시하여 제공하는 단계; 및
(4) 상기 손 인식부에 의해 인식되는 착용자의 손동작 인식에 따라, 상기 제1 손의 손 마디에 증강현실 영상으로 표시된 기능이 제2 손에 의해 선택되면, 선택된 기능을 실행하는 단계를 포함하며,
상기 제1 손의 손 마디는,
상기 착용자의 제1 손의 손가락 끝과 손가락을 구성하는 복수의 관절, 또는 상기 착용자의 제1 손의 손가락 끝과 손가락을 구성하는 복수의 관절 사이의 공간으로 구성되는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치 및 손 마디 인식을 이용한 착용형 증강현실 장치의 인터페이스 제공 방법에 따르면, 착용자의 손 마디를 인식해 각각의 손 마디에 등록된 착용형 증강현실 장치의 기능을 증강현실 영상으로 표시하고, 표시된 기능 중에서 선택된 기능을 실행함으로써, 기존의 방식보다 편리하고 직관적인 인터페이스를 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치에서 인터페이스가 제공된 모습을 예를 들어 도시한 도면.
도 3은 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치에서, 등록부의 세부적인 구성을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치의 등록부에서, 손 마디에 기능을 등록하는 모습을 예를 들어 도시한 도면.
도 5 및 도 6은 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치에서, 등록된 인터페이스가 제공되는 모습을 예를 들어 도시한 도면.
도 7은 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치의 전체적인 구성을 도시한 도면.
도 8은 본 발명의 일실시예에 따른 손 마디 인식을 이용한 착용형 증강현실 장치의 인터페이스 제공 방법의 흐름을 도시한 도면.
<부호의 설명>
1: 제1 손
2: 제2 손
10: 착용형 증강현실 장치
100: 인터페이스 제공 장치
110: 손 인식부
120: 등록부
121: 라이브러리 표시 모듈
122: 할당 영역 인식 모듈
123: 기능 등록 모듈
130: 모드 전환부
140: 인터페이스 표시부
200: HMD 프레임
300: 광학 디스플레이부
400: 제어부
500: GPS 모듈
600: 카메라부
700: 센서부
800: 통신부
S110: 제1 손의 손 마디에 착용형 증강현실 장치의 기능을 등록하는 단계
S120: 제1 손의 미리 설정된 손동작이 인식되면 제1 손에 대한 UI 사용 모드로 전환하는 단계
S130: 인식된 제1 손의 손 마디에 등록된 기능을 증강현실 영상으로 표시하여 제공하는 단계
S140: 착용자의 손동작 인식에 따라 제1 손의 손 마디에 증강현실 영상으로 표시된 기능이 제2 손에 의해 선택되면 선택된 기능을 실행하는 단계
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10)의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10)는, 손 인식부(110), 등록부(120), 모드 전환부(130), 인터페이스 표시부(140) 및 제어부(400)를 포함하여 구성될 수 있으며, 손 인식을 위한 카메라부(600)를 더 포함하여 구성될 수 있다.
즉, 손 인식부(110), 등록부(120), 모드 전환부(130), 인터페이스 표시부(140)는 인터페이스 제공 장치(100)를 구성하고, 인터페이스 제공 장치(100)는 착용형 증강현실 장치(10)의 구성요소 중 하나로서, 인터페이스 제공 장치(100)에 의해 제공된 인터페이스를 통해 제어부(400)가 각종 입력 신호를 수신하고 착용형 증강현실 장치(10)의 기능을 수행할 수 있다. 인터페이스 제공 장치(100)는, 착용형 증강현실 장치(10)의 인터페이스를 증강현실 영상으로 제공할 수 있다.
여기서, 착용형 증강현실 장치(10)는 사용자의 머리 또는 두부에 착용 되며, 착용형 증강현실 장치(10)를 착용한 사용자가 광학계를 통해 투과되어 보이는 현실 세계와 디스플레이에서 출력되어 광학계를 통해 착용자의 동공으로 전달되는 영상 정보를 함께 제공받아 증강현실을 경험할 수 있도록 하는 장치일 수 있다. 여기서, 착용형 증강현실 장치(10)는 글라스형, 고글형 등 다양할 수 있으며, 사용자의 신체에 착용 되어 착용자의 시야를 통한 증강현실을 경험할 수 있도록 한다면 그 구체적인 형태나 종류와 관계없이 본 발명의 착용형 증강현실 장치(10)의 역할을 할 수 있다.
도 2는 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10)에서 인터페이스가 제공된 모습을 예를 들어 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10)는, 제1 손(1)의 손 마디를 인식해 인식된 손 마디에 할당 및 등록된 기능을 증강현실 영상으로 표시해 인터페이스를 제공할 수 있다. 착용자는 양손 중에서 인터페이스가 표시된 제1 손(1)과 다른 손 즉, 제2 손(2)을 사용해 표시된 기능 중 어느 하나를 선택할 수 있고(도 2에서는 카메라 기능 선택), 제어부(400)는 선택된 기능을 실행할 수 있다.
여기서, 제1 손(1)의 손 마디는, 착용자의 제1 손(1)의 손가락 끝과 손가락을 구성하는 복수의 관절, 또는 착용자의 제1 손(1)의 손가락 끝과 손가락을 구성하는 복수의 관절 사이의 공간으로 구성될 수 있다. 즉, 인터페이스 제공 시 제1 손(1)의 손가락 끝과 손가락 관절들에 기능 아이콘을 배치해 제공할 수 있고, 제1 손(1)의 손가락 끝 및 관절과 관절 사이의 공간들에 기능 아이콘을 배치해 제공할 수도 있다. 특히, 손가락 관절과 관절 사이의 공간을 손 마디로 정의하고 기능을 할당하면, 할당 영역이 일정한 범위를 차지하므로 제2 손(2)을 사용한 기능 선택이 더 편리할 수 있다.
또한, 인터페이스는, 도 2에 도시된 바와 같이 손바닥이 보이는 상태에서 손가락 위에 증강현실 영상으로 제공될 수 있으나, 손등이 보이는 상태에서 손가락 위에 제공될 수도 있다. 실시예에 따라서, 손바닥이 보이는 상태에서는 제1 손(1)의 손가락 끝과 손가락 관절 사이의 공간으로 구성되는 손 마디에 인터페이스가 표시되어 제공되고, 손등이 보이는 상태에서는 제1 손(1)의 손가락 끝과 손가락 관절들로 구성되는 손 마디에 인터페이스가 표시되어 제공될 수 있다. 다만, 손 마디의 구성이나 인터페이스의 표시가 전술한 형태로 제한되는 것은 아니고, 손바닥이나 손등이 보이는 상태에서 관절에 표시할지, 관절 사이 공간에 표시할지는 인터페이스 최적화 과정에서 다양하게 설계될 수 있다.
한편, 도 2에는 오른손이 제1 손(1), 왼손이 제2 손(2)의 역할을 하는 것으로 도시되었으나, 제1 손(1)은 인터페이스가 표시되는 손이고 제2 손(2)은 표시된 기능 아이콘 등을 선택해 입력을 수행하는 손으로 상황에 따라 제1 손(1)과 제2 손(2)은 변경될 수 있으며, 왼손에 인터페이스가 표시되고(제1 손(1)) 오른손으로 선택할 수도 있다(제2 손(2)).
이하에서는, 도 1 및 도 2를 참조하여 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10)의 각 구성에 대해 상세히 설명하도록 한다.
손 인식부(110)는, 착용자의 손동작 및 손 마디를 인식할 수 있다. 보다 구체적으로, 손 인식부(110)는, 착용자의 양손 중 제1 손(1)의 손동작 및 손 마디를 인식하며, 제1 손(1)의 손 마디에 증강현실 영상으로 표시된 기능을 선택하는 제2 손(2)의 손동작을 인식할 수 있다.
도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10)는, 손 영상을 촬영하는 카메라부(600)를 포함하며, 손 인식부(110)는 카메라부(600)에서 촬영된 손 영상으로부터 착용자의 손동작 및 손 마디를 인식할 수 있다. 즉, 손 인식부(110)는 영상 처리, 인공지능 등을 기반으로 하는 비전 인식 기술을 사용해 손 관절을 추정할 수 있으며, 추정된 손 관절을 사용해 손동작과 손 마디를 인식할 수 있다.
손 인식부(110)는, UI 등록 모드 또는 UI 사용 모드에서 착용자의 제1 손(1)이 미리 정해진 포즈일 때 제1 손(1)의 손 마디를 인식할 수 있다. 여기서, UI 등록 모드는, 이하에서 상세히 설명할 등록부(120)에서 제1 손(1)의 손 마디에 각종 기능을 등록하는 모드로서, 착용자가 원하는 손 마디에 원하는 기능을 등록할 수 있다. 또한, UI 사용 모드는, UI 등록 모드에서 등록된 바에 따라 손 마디에 인터페이스를 표시하고 표시된 인터페이스를 사용해 입력을 수행하는 모드일 수 있다. 이와 같은 UI 등록 모드 또는 UI 사용 모드에서, 착용자의 제1 손(1)이 도 1에 도시된 바와 같이 손바닥이 보이도록 편 상태이거나 손 등이 보이도록 편 상태 등 미리 정해진 포즈일 때 손 인식부(110)가 손 마디를 인식할 수 있다. 예를 들어, 주먹을 쥔 상태 등에서는 손 마디 인식을 수행하지 않을 수 있다.
등록부(120)는, 손 인식부(110)에서 인식된 제1 손(1)의 손 마디에 착용형 증강현실 장치(10)의 기능을 등록할 수 있다. 등록부(120)는, UI 등록 모드에서 손 인식부(110)가 제1 손(1)의 손 마디를 인식하면, 인식된 손 마디에 착용자가 원하는 바에 따라 기능을 할당해 등록할 수 있다.
도 3은 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10)에서, 등록부(120)의 세부적인 구성을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10)의 등록부(120)는, 라이브러리 표시 모듈(121), 할당 영역 인식 모듈(122) 및 기능 등록 모듈(123)을 포함하여 구성될 수 있다.
도 4는 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10)의 등록부(120)에서, 손 마디에 기능을 등록하는 모습을 예를 들어 도시한 도면이다. 이하에서는, 도 3 및 도 4를 참조하여, 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10)에서, 등록부(120)의 각 구성에 대해 상세히 설명하도록 한다.
라이브러리 표시 모듈(121)은, UI 등록 모드로 전환되면, 기능 등록을 위해 착용형 증강현실 장치(10)의 기능이 나열된 라이브러리를 증강현실 영상으로 표시할 수 있다. 여기서, 라이브러리는 착용형 증강현실 장치(10)가 제공하는 여러 가지 기능과 설치된 각종 애플리케이션 등의 아이콘을 기능 등록을 위해 나열한 것일 수 있다. 도 4에 도시된 바와 같이, 라이브러리는 착용자의 뷰 필드의 측면에 증강현실 영상으로 표시될 수 있으며, 제1 손(1)의 주변에 표시될 수도 있다.
할당 영역 인식 모듈(122)은, 손 인식부(110)에서 인식된 제1 손(1)의 손 마디를 기능이 할당되는 할당 영역으로 설정할 수 있다. 즉, 도 4에 도시된 바와 같이, 손 인식부(110)는, UI 등록 모드에서 착용자의 제1 손(1)이 손바닥이 보이면서 손가락이 서로 닿지 않도록 편 상태와 같은 미리 정해진 포즈일 때 제1 손(1)의 손 마디를 인식할 수 있으며, 할당 영역 인식 모듈(122)은, 착용자의 제1 손(1)의 손가락 끝과 손가락을 구성하는 복수의 관절 사이의 공간으로 구성되는 제1 손(1)의 손 마디들을 할당 영역으로 설정할 수 있다.
기능 등록 모듈(123)은, 제2 손(2)의 손동작에 의해, 라이브러리에서 선택된 기능을 할당 영역 중 어느 하나에 할당해 등록할 수 있다. 보다 구체적으로, 기능 등록 모듈(123)은, 손 인식부(110)에서 인식되는 제2 손(2)의 드래그 앤 드롭 방식의 손동작에 의해, 라이브러리에서 선택되어 드래그된 기능을 드롭된 위치의 할당 영역에 할당해 등록할 수 있다.
또한, 라이브러리는 검색 기능을 제공해 착용자가 원하는 기능이 표시되지 않거나 찾기 어려울 때, 검색을 통해 기능을 찾아서 원하는 할당 영역에 등록할 수 있다. 착용자는 기능 등록 모듈(123)을 통해 인터페이스에 새로운 기능 아이콘을 추가하거나, 등록된 기능 삭제, 할당 영역 변경 등 각종 편집을 수행할 수 있다.
모드 전환부(130)는, 손 인식부(110)에서 제1 손(1)의 미리 설정된 손동작이 인식되면 제1 손(1)에 대한 UI 사용 모드로 전환할 수 있다. 즉, 일상적인 행동에서도 지속해서 제1 손(1)에 기능이 표시되는 것은 착용자에게 불편을 줄 수 있고, 제1 손(10)의 손 마디를 인식하는 것은 리소스를 많이 소모하여 비경제적일 수 있으므로, 제1 손(1)으로 미리 설정된 손동작을 취하면 UI 사용 모드로 전환해 인터페이스를 표시할 수 있다.
여기서, 미리 설정된 손동작은, 주먹을 쥐었다 펴는 동작 등일 수 있으며, 미리 설정된 손동작은 등록부(120)에서 제1 손(1)에 기능을 등록할 때 취했던 미리 정해진 포즈로 끝나도록 설정될 수 있다. 즉, 주먹을 쥐었다가 도 4에 도시된 바와 같은 미리 정해진 포즈를 취하는 동작인 미리 설정된 손동작이 인식되면, UI 사용 모드로 전환할 수 있다.
인터페이스 표시부(140)는, 손 인식부(110)에서 인식된 제1 손(1)의 손 마디에 등록된 기능을 증강현실 영상으로 표시하여 제공할 수 있다. 보다 구체적으로, 인터페이스 표시부(140)는, UI 사용 모드로 전환되면, 손 인식부(110)에서 인식된 제1 손(1)의 손 마디에, 등록부(120)에서 등록된 기능을 증강현실 영상으로 표시하여 제공할 수 있다.
도 5 및 도 6은 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10)에서, 등록된 인터페이스가 제공되는 모습을 예를 들어 도시한 도면이다. 도 5에 도시된 바와 같이, 제1 손(1)으로 주먹을 쥐었다가 펴면서 미리 정해진 포즈를 취하면(미리 설정된 손동작), 손 인식부(110)가 미리 정해진 포즈의 제1 손(1)의 손 마디를 인식하고 인터페이스 표시부(140)가 각각의 손 마디에 등록된 기능 아이콘을 증강현실 영상으로 표시할 수 있다.
본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10)에서는, 왼손, 오른손에 각각 다른 인터페이스가 제공될 수 있고, 손바닥 방향, 손등 방향에 따라서도 서로 다른 인터페이스가 제공될 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 왼손이 제1 손(1)일 때 손 마디를 숫자 키패드로 활용하는 인터페이스를 제공할 수 있다.
제어부(400)는, 손 인식부(110)에 의해 인식되는 착용자의 손동작 인식에 따라, 제1 손(1)의 손 마디에 증강현실 영상으로 표시된 기능이 제2 손(2)에 의해 선택되면, 선택된 기능을 실행할 수 있다. 즉, 도 2에 도시된 바와 같이, 인터페이스 표시부(140)가 증강현실 영상으로 표시한 기능 아이콘이 제2 손(2)으로 선택되면, 제어부(400)는 선택된 기능인 카메라 애플리케이션을 실행할 수 있다. 이를 위해 제어부(400)는, 손 인식부(110)와 연동해 제2 손(2)의 손 모양, 손가락 위치 등을 전달받아 선택된 기능을 특정할 수 있다.
한편, 제어부(400)는, 제2 손(2)에 의한 선택과 제1 손(1) 및/또는 제2 손(2)의 손동작의 조합을 통해 기능을 실행할 수도 있다. 예를 들어, 도 5에 도시된 바와 같은 오른손 인터페이스에서 통화 기능(통화 아이콘)이 선택되면, 도 6에 도시된 바와 같은 왼손의 손 마디를 숫자 키패드로 활용한 인터페이스가 제공될 수 있다. 착용자는 왼손(제1 손(1))의 인터페이스에서 오른손(제2 손(2))으로 숫자를 선택해 전화번호를 입력하고, 입력 완료 후 왼손(제1 손(1))을 주먹 쥐는 손동작이 인식되면 제어부(400)가 입력된 전화번호로 통화 연결하도록 구현할 수 있다.
도 7은 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10)의 전체적인 구성을 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10)는, 제스처 입력 장치(100) 및 제어부(400)를 포함하여 구성될 수 있으며, HMD 프레임(200), 광학 디스플레이부(300), GPS 모듈(500), 카메라부(600), 센서부(700) 및 통신부(800)를 더 포함하여 구성될 수 있다.
HMD 프레임(200)은, 사용자가 머리나 두부에 착용할 수 있는 착용형 증강현실 장치(10)의 프레임 구성이다. 이러한 HMD 프레임(200)은, 사용자가 머리에 착용한 상태에서 빛이 들어올 수 있는 프레임 구조를 갖는 헬멧(helmet) 형태 또는 고글(goggles) 형태로 구성될 수 있다. 여기서, HMD 프레임(200)이 헬멧 형태로 이루어지는 경우, 사용자의 머리에 착용되는 헬멧(미도시)과 헬멧의 전방에 배치되는 디스플레이 프레임(미도시) 구조로 구성될 수 있다. 또한, HMD 프레임(200)이 고글 형태로 구성되는 경우, 사용자의 머리에 착용될 수 있는 밴드 프레임(미도시)과, 밴드 프레임에 체결 고정되는 고글 프레임(미도시) 구조로 구성될 수 있다.
광학 디스플레이부(300)는, 착용자의 양안의 전방에 배치되어 착용자에게 증강현실 또는 혼합현실을 제공할 수 있다. 즉, 광학 디스플레이부(300)는 착용형 증강현실 장치(10)의 AR, VR 또는 MR 글라스에 해당하는 구성으로서, 영상 정보가 착용자에게 제공될 수 있도록 영상 광을 출력하는 OLED 등의 디스플레이 및 착용형 증강현실 장치(10)를 착용한 착용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하는 광학계를 포함하여 구성될 수 있다. 또한, 광학계는 복수의 렌즈와 미러 등으로 구성되며 다양한 방식으로 구현될 수 있는데, 예를 들어 광학 회절 방식, 빔 스플리터 방식, 핀 미러 방식 등으로 구현될 수 있다.
GPS 모듈(500)은 착용자의 위치 정보를 제공하고, 카메라부(600)는 착용자가 바라보는 시선 방향의 영상을 촬영할 수 있다. 특히, 카메라부(600)는 손 영상을 촬영해 손 인식부(110)에 전달하여 비전 인식 기반으로 손동작과 손 마디를 인식할 수 있다.
제어부(400)는, GPS 모듈(500), 카메라부(600), 그 외 각종 센서에서 수집한 정보에 기초하여, 착용자에게 제공할 영상 정보를 생성해 디스플레이로 전송되도록 제어함으로써, 착용자가 증강현실을 통해 외부 환경에 대한 추가 정보 등을 최적화된 화면으로 전달받도록 할 수 있다.
센서부(700)는, 적어도 하나 이상의 센서를 포함할 수 있으며, 보다 구체적으로 홍채 인식 센서 등을 포함할 수 있다. 실시예에 따라서, 착용자가 착용형 증강현실 장치(10)를 착용하고 사용자 인증을 하면, 제어부(400)는 각 착용자에 따라 저장된 조도, IPD(Inter-Pupillary Distance), 등록부(120)를 통해 등록된 인터페이스 등 여러 가지 사용자별 설정 내용을 자동으로 적용할 수도 있다. 이때, 사용자 인증은 센서부(700)에 포함된 홍채 인식 센서 등을 사용할 수 있다.
통신부(800)는, 착용형 증강현실 장치(10)의 일측에 설치되며, 다른 착용형 증강현실 장치(10)나 서버 등과 각종 신호 및 데이터를 송수신할 수 있다. 여기서, 통신부(800)가 사용하는 네트워크는, 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network), 위성 통신망, 블루투스(Bluetooth), Wibro(Wireless Broadband Internet), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution), 3/4/5G(3/4/5th Generation Mobile Telecommunication) 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.
도 8은 본 발명의 일실시예에 따른 손 마디 인식을 이용한 착용형 증강현실 장치(10)의 인터페이스 제공 방법의 흐름을 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 손 마디 인식을 이용한 착용형 증강현실 장치(10)의 인터페이스 제공 방법은, 제1 손(1)의 손 마디에 착용형 증강현실 장치(10)의 기능을 등록하는 단계(S110), 제1 손(1)의 미리 설정된 손동작이 인식되면 제1 손(1)에 대한 UI 사용 모드로 전환하는 단계(S120), 인식된 제1 손(1)의 손 마디에 등록된 기능을 증강현실 영상으로 표시하여 제공하는 단계(S130), 및 착용자의 손동작 인식에 따라 제1 손(1)의 손 마디에 증강현실 영상으로 표시된 기능이 제2 손(2)에 의해 선택되면 선택된 기능을 실행하는 단계(S140)를 포함하여 구현될 수 있다.
각각의 단계들과 관련된 상세한 내용들은, 앞서 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10)와 관련하여 충분히 설명되었으므로, 상세한 설명은 생략하기로 한다.
전술한 바와 같이, 본 발명에서 제안하고 있는 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10) 및 손 마디 인식을 이용한 착용형 증강현실 장치(10)의 인터페이스 제공 방법에 따르면, 착용자의 손 마디를 인식해 각각의 손 마디에 등록된 착용형 증강현실 장치(10)의 기능을 증강현실 영상으로 표시하고, 표시된 기능 중에서 선택된 기능을 실행함으로써, 기존의 방식보다 편리하고 직관적인 인터페이스를 제공할 수 있다.
한편, 본 발명은 다양한 통신 단말기로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터에서 판독 가능한 매체를 포함할 수 있다. 예를 들어, 컴퓨터에서 판독 가능한 매체는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD_ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
이와 같은 컴퓨터에서 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이때, 컴퓨터에서 판독 가능한 매체에 기록되는 프로그램 명령은 본 발명을 구현하기 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예를 들어, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.

Claims (8)

  1. 착용형 증강현실 장치(10)로서,
    착용자의 손동작 및 손 마디를 인식하는 손 인식부(110);
    상기 손 인식부(110)에서 인식된 제1 손(1)의 손 마디에 상기 착용형 증강현실 장치(10)의 기능을 등록하는 등록부(120);
    상기 손 인식부(110)에서 인식된 상기 제1 손(1)의 손 마디에 등록된 기능을 증강현실 영상으로 표시하여 제공하는 인터페이스 표시부(140); 및
    상기 손 인식부(110)에 의해 인식되는 착용자의 손동작 인식에 따라, 상기 제1 손(1)의 손 마디에 증강현실 영상으로 표시된 기능이 제2 손(2)에 의해 선택되면, 선택된 기능을 실행하는 제어부(400)를 포함하며,
    상기 제1 손(1)의 손 마디는,
    상기 착용자의 제1 손(1)의 손가락 끝과 손가락을 구성하는 복수의 관절, 또는 상기 착용자의 제1 손(1)의 손가락 끝과 손가락을 구성하는 복수의 관절 사이의 공간으로 구성되는 것을 특징으로 하는, 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10).
  2. 제1항에 있어서,
    손 영상을 촬영하는 카메라부(600)를 더 포함하며,
    상기 손 인식부(110)는,
    상기 카메라부(600)에서 촬영된 손 영상으로부터 상기 착용자의 손동작 및 손 마디를 인식하는 것을 특징으로 하는, 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10).
  3. 제1항에 있어서, 상기 손 인식부(110)는,
    상기 착용자의 양손 중 제1 손(1)의 손동작 및 손 마디를 인식하며, 상기 제1 손(1)의 손 마디에 증강현실 영상으로 표시된 기능을 선택하는 제2 손(2)의 손동작을 인식하는 것을 특징으로 하는, 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10).
  4. 제1항에 있어서,
    상기 손 인식부(110)에서 상기 제1 손(1)의 미리 설정된 손동작이 인식되면 상기 제1 손(1)에 대한 UI 사용 모드로 전환하는 모드 전환부(130)를 더 포함하며,
    상기 인터페이스 표시부(140)는,
    상기 UI 사용 모드로 전환되면, 상기 손 인식부(110)에서 인식된 상기 제1 손(1)의 손 마디에 상기 등록된 기능을 증강현실 영상으로 표시하여 제공하는 것을 특징으로 하는, 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10).
  5. 제1항에 있어서, 상기 등록부(120)는,
    UI 등록 모드로 전환되면, 기능 등록을 위해 상기 착용형 증강현실 장치(10)의 기능이 나열된 라이브러리를 증강현실 영상으로 표시하는 라이브러리 표시 모듈(121);
    상기 손 인식부(110)에서 인식된 상기 제1 손(1)의 손 마디를 상기 기능이 할당되는 할당 영역으로 설정하는 할당 영역 인식 모듈(122); 및
    상기 제2 손(2)의 손동작에 의해, 상기 라이브러리에서 선택된 기능을 상기 할당 영역 중 어느 하나에 할당해 등록하는 기능 등록 모듈(123)을 포함하는 것을 특징으로 하는, 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10).
  6. 제4항 또는 제5항에 있어서, 상기 손 인식부(110)는,
    UI 등록 모드 또는 UI 사용 모드에서 상기 착용자의 제1 손(1)이 미리 정해진 포즈일 때 상기 제1 손(1)의 손 마디를 인식하는 것을 특징으로 하는, 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10).
  7. 제5항에 있어서, 상기 기능 등록 모듈(123)은,
    상기 손 인식부(110)에서 인식되는 상기 제2 손(2)의 드래그 앤 드롭 방식의 손동작에 의해, 상기 라이브러리에서 선택되어 드래그된 기능을 드롭된 할당 영역에 할당해 등록하는 것을 특징으로 하는, 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10).
  8. 착용형 증강현실 장치(10)의 인터페이스 제공 방법으로서,
    착용자의 손동작 및 손 마디를 인식하는 손 인식부(110)를 포함하는 상기 착용형 증강현실 장치(10)에 의해 각 단계가 수행되며,
    (1) 상기 손 인식부(110)에서 인식된 제1 손(1)의 손 마디에 상기 착용형 증강현실 장치(10)의 기능을 등록하는 단계;
    (2) 상기 손 인식부(110)에서 상기 제1 손(1)의 미리 설정된 손동작이 인식되면 상기 제1 손(1)에 대한 UI 사용 모드로 전환하는 단계;
    (3) 상기 UI 사용 모드로 전환되면, 상기 손 인식부(110)에서 인식된 상기 제1 손(1)의 손 마디에 등록된 기능을 증강현실 영상으로 표시하여 제공하는 단계; 및
    (4) 상기 손 인식부(110)에 의해 인식되는 착용자의 손동작 인식에 따라, 상기 제1 손(1)의 손 마디에 증강현실 영상으로 표시된 기능이 제2 손(2)에 의해 선택되면, 선택된 기능을 실행하는 단계를 포함하며,
    상기 제1 손(1)의 손 마디는,
    상기 착용자의 제1 손(1)의 손가락 끝과 손가락을 구성하는 복수의 관절, 또는 상기 착용자의 제1 손(1)의 손가락 끝과 손가락을 구성하는 복수의 관절 사이의 공간으로 구성되는 것을 특징으로 하는, 손 마디 인식을 이용한 착용형 증강현실 장치(10)의 인터페이스 제공 방법.
PCT/KR2022/005826 2021-07-09 2022-04-24 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치 및 손 마디 인식을 이용한 착용형 증강현실 장치의 인터페이스 제공 방법 WO2023282446A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0090570 2021-07-09
KR1020210090570A KR102585343B1 (ko) 2021-07-09 2021-07-09 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치 및 손 마디 인식을 이용한 착용형 증강현실 장치의 인터페이스 제공 방법

Publications (1)

Publication Number Publication Date
WO2023282446A1 true WO2023282446A1 (ko) 2023-01-12

Family

ID=84801884

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/005826 WO2023282446A1 (ko) 2021-07-09 2022-04-24 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치 및 손 마디 인식을 이용한 착용형 증강현실 장치의 인터페이스 제공 방법

Country Status (2)

Country Link
KR (1) KR102585343B1 (ko)
WO (1) WO2023282446A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101502085B1 (ko) * 2013-10-04 2015-03-12 주식회사 매크론 안경형 디스플레이 디바이스의 동작인식 입력방법
KR101548872B1 (ko) * 2014-06-13 2015-09-02 세종대학교산학협력단 영상처리를 이용한 손가락 인식 방법 및 시스템
KR20150104769A (ko) * 2014-03-06 2015-09-16 엘지전자 주식회사 글래스 타입의 이동 단말기
KR20160137253A (ko) * 2015-05-22 2016-11-30 한국전자통신연구원 증강 현실 디바이스 및 상기 증강 현실 디바이스를 위한 사용자 인터랙션 장치 및 방법
KR20210041402A (ko) * 2019-10-07 2021-04-15 (주)유즈브레인넷 센서 검사 기능을 구비한 글러브형 모션인식 장치 및 검사방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10533850B2 (en) * 2013-07-12 2020-01-14 Magic Leap, Inc. Method and system for inserting recognized object data into a virtual world
WO2019079790A1 (en) * 2017-10-21 2019-04-25 Eyecam, Inc ADAPTIVE GRAPHIC USER INTERFACE SYSTEM

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101502085B1 (ko) * 2013-10-04 2015-03-12 주식회사 매크론 안경형 디스플레이 디바이스의 동작인식 입력방법
KR20150104769A (ko) * 2014-03-06 2015-09-16 엘지전자 주식회사 글래스 타입의 이동 단말기
KR101548872B1 (ko) * 2014-06-13 2015-09-02 세종대학교산학협력단 영상처리를 이용한 손가락 인식 방법 및 시스템
KR20160137253A (ko) * 2015-05-22 2016-11-30 한국전자통신연구원 증강 현실 디바이스 및 상기 증강 현실 디바이스를 위한 사용자 인터랙션 장치 및 방법
KR20210041402A (ko) * 2019-10-07 2021-04-15 (주)유즈브레인넷 센서 검사 기능을 구비한 글러브형 모션인식 장치 및 검사방법

Also Published As

Publication number Publication date
KR20230009766A (ko) 2023-01-17
KR102585343B1 (ko) 2023-10-06

Similar Documents

Publication Publication Date Title
WO2018128526A1 (en) System and method for augmented reality control
WO2015190666A1 (en) Mobile terminal and method for controlling the same
WO2016175429A1 (ko) 웨어러블 스마트 디바이스 및 이의 제어방법
WO2014157897A1 (en) Method and device for switching tasks
WO2016175412A1 (en) Mobile terminal and controlling method thereof
WO2020036343A1 (en) Electronic device and control method thereof
WO2015183033A1 (en) Data processing method and electronic device thereof
WO2015076531A1 (en) Head-mounted display apparatus
WO2016114444A1 (ko) 이동 단말기 및 이의 제어방법
WO2018066782A1 (en) Mobile terminal
WO2016200102A1 (ko) 카메라의 초점을 변경하는 방법 및 장치
WO2015122566A1 (en) Head mounted display device for displaying augmented reality image capture guide and control method for the same
WO2015108234A1 (en) Detachable head mount display device and method for controlling the same
EP2673688A2 (en) Method and apparatus for inputting user commands using relative movements of device panels
EP3072009A1 (en) Head-mounted display apparatus
WO2017104941A1 (en) Mobile terminal and method for controlling the same
WO2017007090A1 (en) Display device and method of controlling therefor
WO2017126741A1 (ko) Hmd 디바이스 및 그 제어 방법
EP3804286A1 (en) Electronic device and operating method of controlling brightness of light source
EP3542523A1 (en) Mobile terminal and method for controlling the same
WO2020153766A1 (en) Method for displaying visual information associated with voice input and electronic device supporting the same
WO2017126709A1 (ko) 이동 단말기 및 그 제어 방법
WO2018128227A1 (en) Mobile terminal
WO2021085663A1 (ko) 어플리케이션을 구동하는 전자 장치 및 그 제어 방법
WO2016027932A1 (en) Glass-type mobile terminal and control method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22837800

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE