WO2023063515A1 - 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치 - Google Patents

손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치 Download PDF

Info

Publication number
WO2023063515A1
WO2023063515A1 PCT/KR2022/005830 KR2022005830W WO2023063515A1 WO 2023063515 A1 WO2023063515 A1 WO 2023063515A1 KR 2022005830 W KR2022005830 W KR 2022005830W WO 2023063515 A1 WO2023063515 A1 WO 2023063515A1
Authority
WO
WIPO (PCT)
Prior art keywords
gesture
app
wrist
library
wearer
Prior art date
Application number
PCT/KR2022/005830
Other languages
English (en)
French (fr)
Inventor
최치원
이원석
Original Assignee
주식회사 피앤씨솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피앤씨솔루션 filed Critical 주식회사 피앤씨솔루션
Publication of WO2023063515A1 publication Critical patent/WO2023063515A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display

Definitions

  • the present invention relates to a method for operating an app library and a head-worn display device in which the app library operates, and more particularly, a method for operating an app library through gradual recognition of wrist and trigger gestures, and a head-mounted display device in which the app library operates. It is about.
  • a head mounted display which is a kind of wearable device, refers to various devices that can be worn on a user's head to receive multimedia contents and the like.
  • the head mounted display (HMD) is worn on the user's body and provides images to the user in various environments as the user moves.
  • Head-mounted displays (HMDs) are classified into see-through and see-closed types.
  • the see-through type is mainly used for Augmented Reality (AR), and the closed type is mainly used for virtual reality (VR). reality, VR).
  • an input method such as a conventional touch screen in a head-mounted display
  • an input method optimized for user interaction is required.
  • an input method that can be used in the augmented reality of the head-mounted display there may be buttons provided in the HMD, a separate input device connected to the HMD, gesture recognition, voice recognition, and the like.
  • a head-mounted display for augmented reality (hereinafter referred to as 'AR glasses') is similar to a smartphone or smart watch, allowing various activities through an application program (hereinafter referred to as an "app"). can do. Therefore, there is a need for an app library function configured to organize, view, and run apps installed on AR glasses.
  • Patent Registration No. 10-1700569 Title of Invention: HMD device capable of gesture-based user authentication and gesture-based user authentication method of the HMD device, registration date: January 2017 23), etc. have been disclosed.
  • the present invention is proposed to solve the above problems of the previously proposed methods, and passes through a plurality of recognition steps through step-by-step processing of wrist recognition and gesture recognition, and is displayed on the wrist as a gesture type that is not generally used.
  • An app library operation method and app library operation method through step-by-step recognition of wrist and trigger gestures that can minimize malfunctions, increase recognition rates, and drive the app library with comfortable and intuitive motions due to the body structure using trigger gestures associated with the first content Its object is to provide a head-mounted display device that operates.
  • an app library operating method through step-by-step recognition of wrist and trigger gestures according to the features of the present invention and a head-mounted display device in which the app library operates,
  • apps As an app library operation method in which each step is performed in a head-mounted display device in which a plurality of application programs (hereinafter referred to as “apps”) are installed,
  • step (1) (2) displaying the first content based on augmented reality on the wrist recognized in step (1);
  • the trigger gesture is a gesture
  • It is characterized in that it is an operation of traversing the first content displayed on the wrist from the arm side to the hand or from the hand side to the arm.
  • App library operation method through step-by-step recognition of the wrist and trigger gesture.
  • At least one action selected from the group including selecting and executing an app included in the app library and scrolling an app icon may be performed.
  • step (4) More preferably, in the step (4),
  • the app library may be terminated and the corresponding app may be executed.
  • an operation of the app library may be ended in response to the end gesture.
  • the end gesture comprises:
  • an app library operating method through step-by-step recognition of wrist and trigger gestures according to the features of the present invention and a head-mounted display device in which the app library operates,
  • a head-mounted display device in which a plurality of application programs (hereinafter referred to as “apps”) are installed,
  • an optical display unit disposed in front of both eyes of the wearer to provide augmented reality to the wearer
  • a gesture recognition unit that recognizes a wearer's wrist and gesture
  • a lock screen display unit for displaying first content on the wearer's wrist recognized by the gesture recognition unit based on augmented reality through the optical display unit;
  • a library driving unit for driving an app library by arranging an app icon based on augmented reality on the wearer's arm in response to the trigger gesture when the gesture recognition unit recognizes a trigger gesture associated with the displayed first content
  • a control unit controlling the app library in response to an operation gesture associated with the app library driven by the library driving unit;
  • the trigger gesture is a gesture
  • It is characterized in that it is an operation of traversing the first content displayed on the wrist from the arm side to the hand or from the hand side to the arm.
  • the library driving unit Preferably, the library driving unit, the library driving unit, and
  • the control unit controls the driving unit
  • At least one action selected from the group including selecting and executing an app included in the app library and scrolling an app icon may be performed.
  • a plurality of recognition steps are performed through step-by-step processing of wrist recognition and gesture recognition,
  • a trigger gesture associated with the first content displayed on the wrist as a gesture type that is not generally used can be used to minimize malfunction, increase the recognition rate, and drive the app library with a comfortable and intuitive operation given the body structure.
  • FIG. 1 is a diagram showing the configuration of a head-mounted display device in which an app library operates through phased recognition of a wrist and a trigger gesture according to an embodiment of the present invention.
  • FIGS. 2 and 3 are diagrams illustrating, for example, a state of a head-mounted display device in which an app library operates through step-by-step recognition of a wrist and a trigger gesture according to an embodiment of the present invention.
  • FIG. 4 is a flow diagram illustrating a method of operating an app library through step-by-step recognition of a wrist and a trigger gesture according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating steps S110 and S120 of a method for operating an app library through step-by-step recognition of a wrist and a trigger gesture according to an embodiment of the present invention.
  • FIG. 7 is a view showing, for example, how an app library is driven by the method of operating an app library through phased recognition of a wrist and a trigger gesture according to an embodiment of the present invention.
  • step S140 is a view showing, for example, how an app is selected in step S140 of the method for operating an app library through stepwise recognition of a wrist and a trigger gesture according to an embodiment of the present invention.
  • FIGS. 9 and 10 are diagrams showing, for example, how to scroll an app icon in step S140 of the method for operating an app library through stepwise recognition of a wrist and a trigger gesture according to an embodiment of the present invention.
  • FIG. 1 is a diagram showing the configuration of a head-mounted display device 10 in which an app library operates through phased recognition of wrist and trigger gestures according to an embodiment of the present invention.
  • the head-mounted display device 10 in which an app library operates through step-by-step recognition of wrist and trigger gestures according to an embodiment of the present invention includes a plurality of application programs (hereinafter referred to as “apps”).
  • an optical display unit 100 disposed in front of both eyes of the wearer to provide augmented reality to the wearer; a gesture recognition unit 200 recognizing a wearer's wrist and gesture;
  • the gesture recognition unit 200 recognizes the wearer's wrist located within the wearer's field of view, the first content is displayed on the wearer's wrist recognized by the gesture recognition unit 200 through the optical display unit 100 based on augmented reality.
  • a lock screen display unit 300 When the gesture recognition unit 200 recognizes a trigger gesture associated with the displayed first content, a library drive unit 400 that drives an app library by placing an app icon on the wearer's arm based on augmented reality in response to the trigger gesture; and a control unit 500 that controls the app library in response to an operation gesture associated with the app library driven by the library driving unit 400, and includes a camera unit 600, a sensor unit 700, and a communication unit ( 800) may be further included.
  • FIGS. 2 and 3 are diagrams illustrating, for example, the state of the head-mounted display device 10 in which an app library operates through step-by-step recognition of a wrist and a trigger gesture according to an embodiment of the present invention.
  • the head-mounted display device 10 in which an app library operates through step-by-step recognition of wrist and trigger gestures according to an embodiment of the present invention has a closed eye area. It may be implemented as goggles or glasses with open sides.
  • the optical display unit 100 may be disposed in front of both eyes of the wearer to provide augmented reality to the wearer. More specifically, the optical display unit 100 may be disposed in front of both eyes of the wearer to provide at least one of augmented reality, mixed reality, and virtual reality to the wearer. That is, the optical display unit 100 is a configuration corresponding to the AR, VR or MR glasses of the head-mounted display device 10, and includes the display 110 and the optical system 120 as shown in FIG. It can be.
  • the display 110 may output image light so that image information may be provided to the wearer. More specifically, the display 110 is coupled to the optical system 120 to be described in detail below so that image information can be provided to the wearer, and outputs image light transmitted in the direction of the wearer's eyes by the optical system 120. And, it may be composed of a pair of displays 110 for binocular display.
  • the display 110 may be variously configured with an OLED or the like.
  • the optical system 120 may be disposed in front of both eyes of a wearer wearing the head-mounted display device 10 to provide augmented reality by combining real world light and image light. More specifically, the optical system 120 transmits at least a portion of the light of the real world through the wearer's field of view and transfers the image light output from the display 110 to the wearer's eye direction to provide augmented reality. can do. That is, the optical system 120 may be configured so that a wearer wearing the head-mounted display device 10 can experience augmented reality.
  • the optical system 120 is composed of a plurality of lenses and mirrors and may be implemented in various ways, such as an optical diffraction method, a beam splitter method, a pin mirror method, and the like.
  • the gesture recognition unit 200 may recognize the wearer's wrist and gesture. More specifically, the gesture recognition unit 200 may recognize a hand and a gesture from an image of the wearer's gaze direction obtained from the camera unit 600 . For example, when the wearer looks at the wrist, the gesture recognition unit 200 may recognize a change in thickness of the hand and arm in the camera image to specify the wrist portion. The wrist is a part where the thickness changes rapidly between the hand and the arm, and the recognition process can be processed quickly and accurately compared to hand or gesture recognition, which requires recognition of detailed hand skeletons. In addition, the gesture recognition unit 200 may recognize various gestures used by the wearer to drive and control the app library, and each gesture may consist of at least one of a hand shape (posture) and motion.
  • the gesture recognition unit 200 may estimate a hand shape or feature point using vision recognition technology based on image processing, artificial intelligence, etc., and recognize a gesture using the estimated hand shape or feature point. .
  • the gesture recognition unit 200 may use a hand image obtained from an RGB camera, an infrared image camera, a depth sensor, or the like of the head-mounted display device 10 . More specifically, the gesture recognition unit 200 may use an infrared hand image acquired from an infrared image camera of the head-mounted display device 10 .
  • An infrared image is a single-channel image, and if gesture recognition is performed using an infrared hand image, calculation cost used for image processing can be reduced, so gesture recognition can be effectively performed even in an embedded environment of the head-mounted display device 10.
  • the head wearable display device 10 is heavy, it is difficult to wear it for a long time because a burden is placed on the neck and shoulders and head movement is restricted, so light weight and miniaturization are important. Therefore, since many computational resources cannot be mounted on the head-mounted display device 10, computational costs can be reduced so that the infrared image, which is a single-channel image, can be used in an embedded environment.
  • FIG. 4 is a diagram illustrating a flow of a method for operating an app library through step-by-step recognition of a wrist and a trigger gesture according to an embodiment of the present invention.
  • the method for operating an app library through step-by-step recognition of a wrist and a trigger gesture according to an embodiment of the present invention is a head-mounted type in which a plurality of application programs (hereinafter referred to as “apps”) are installed.
  • apps application programs
  • each step is performed in the display device 10
  • recognizing the wearer's wrist S110
  • displaying first content on the wrist based on augmented reality S120
  • It may be implemented including driving the app library in response to the trigger gesture (S130) and controlling the app library in response to the motion gesture (S140).
  • the gesture recognition unit 200 may recognize the wearer's wrist located within the wearer's field of view. That is, when the wearer wears the head-mounted display device 10 and looks at the wrist, the gesture recognition unit 200 may recognize a change in thickness of the hand and wrist to specify the wrist portion. In this case, the wrist may be outside (back of the hand) or inside (palm side) of the wrist, and the gesture recognition unit 200 may determine whether the wrist is outside or inside from the shape of the hand.
  • the lock screen display unit 300 may display the first content based on augmented reality on the wrist recognized in step S110. That is, if the outside of the wrist (the back of the hand) is recognized and specified in step S110, the first content may be output as an augmented reality image light to the specified outside of the wrist through the optical display unit 100.
  • the first content is predetermined content, and may be content corresponding to a lock screen of a smart phone, or may be general information checking content.
  • FIG. 5 is a diagram illustrating steps S110 and S120 of the method for operating an app library through step-by-step recognition of wrist and trigger gestures according to an embodiment of the present invention.
  • a wearer touches the outside of the wrist while wearing the head-mounted display device 10.
  • the wrist is recognized (step S110, left drawing), and information confirmation content in the form of a virtual wristwatch capable of checking the time or weather, etc. can be displayed as the first content on the recognized wrist (step S120, right drawing). ).
  • the library drive unit 400 may drive the app library by arranging an app icon based on augmented reality on the wearer's arm in response to a trigger gesture associated with the displayed first content.
  • the trigger gesture may be a motion of crossing the first content displayed on the wrist from the arm side to the hand or from the hand side to the arm.
  • FIG. 6 is a diagram for explaining step S130 of the method for operating an app library through phased recognition of a wrist and a trigger gesture according to an embodiment of the present invention.
  • a wearer selects first content displayed on the outside of one wrist (left wrist) with the other hand. You can use two fingers of your (right hand) to swipe across from the arm side to the hand as a trigger gesture.
  • the trigger gesture is associated with the first content, is distinguished from other gestures, is configured to serve as a trigger for driving the app library, and can be defined in various ways. For example, one finger, four fingers, the palm, etc.
  • the first content can be crossed from the hand side to the arm side, the first content is swept down so as to be perpendicular to the length direction of the arm, or the first content is swept down.
  • Various actions such as moving to a specific direction or position, can be defined as trigger gestures.
  • an app library may be driven in response to the wearer's trigger gesture. More specifically, when the trigger gesture is recognized by the gesture recognition unit 200, the first content displayed on the wrist may be removed, and the app library may be driven using a space from the wrist to the elbow of the wearer's arm.
  • FIG. 7 is a diagram showing, for example, how an app library is driven by the method of operating an app library through phased recognition of a wrist and a trigger gesture according to an embodiment of the present invention.
  • the library drive unit 400 recognizes in step S110 from the wearer's wrist to the elbow.
  • App icons may be placed at predetermined intervals in the length direction of the arm on the space up to. At this time, as shown in FIG.
  • the app icons may be listed in one line or in multiple lines, and the size of the icon set by the developer or the wearer, the length of the wearer's arm, the position of the arm in the wearer's field of view, posture, length, Depending on the width, etc., the size and arrangement of app icons may be changed.
  • step S140 the controller 500 may control the app library in response to an operation gesture associated with the app library. More specifically, in step S140, at least one operation selected from the group including selecting and executing an app included in the app library and scrolling an app icon may be performed in response to the operation gesture.
  • step S140 is a diagram showing, for example, how an app is selected in step S140 of the method for operating an app library through stepwise recognition of a wrist and a trigger gesture according to an embodiment of the present invention.
  • an app icon can be selected from the left arm where the app library is displayed using a finger of the right hand.
  • the operation gesture is an app execution gesture
  • the app library may be terminated and the corresponding app may be executed.
  • the app execution gesture may be a gesture of touching a virtual app icon displayed in augmented reality as shown in FIG. 8 .
  • step S140 if the app library is terminated by the app execution gesture in step S140 and the wrist recognition of step S110 is performed by the wearer looking out of the wrist while the app is running, driving the app library in steps S110 to S140 is executed step by step. , You can easily and conveniently run the app library even while the app is running.
  • FIG. 9 and 10 are diagrams illustrating, for example, how to scroll an app icon in step S140 of the method for operating an app library through stepwise recognition of a wrist and a trigger gesture according to an embodiment of the present invention.
  • a sweep operation of an arm driven by an app library is converted into a left and right scroll gesture. Recognizable. Therefore, in response to a scroll gesture in which the wearer scrolls the app library left and right using the finger of the right hand, app icons that were not displayed due to the length of the arm may be moved and the “message” icon may be displayed.
  • the app library may be searched using a scroll gesture in an up and down direction.
  • an operation of the app library may be terminated in response to the end gesture.
  • the ending gesture may be an operation of recognizing the other side by turning the wrist recognized in step S110.
  • the display of the first content may end without driving the app library.
  • the app library is terminated. To drive the app library again, the outside of the wrist in step S110 recognition can be performed.
  • the head-mounted display device 10 in which the app library operates through step-by-step recognition of wrist and trigger gestures includes a camera unit 600, a sensor unit 700, and a communication unit 800. It may be configured to further include.
  • control unit 500 generates image information to be provided to the wearer based on the information collected by the camera unit 600 and the sensor unit 700 and controls the image information to be transmitted to the display 110 so that the wearer can enjoy augmented reality. You can receive the app library and additional information about the external environment through the optimized screen.
  • the camera unit 600 may capture an image in the direction of the wearer's field of view and transmit the image to the gesture recognition unit 200 to recognize a wrist and a gesture based on vision recognition. More specifically, the camera unit 600 includes an RGB camera, an infrared image camera, and a depth sensor according to the wrist and gesture recognition algorithm of the gesture recognition unit 200 to provide hand images necessary for wrist and gesture recognition. can
  • the sensor unit 700 may include at least one or more sensors, and more specifically, may include a pupil tracking sensor and an iris recognition sensor. According to the embodiment, by tracking the wearer's gaze using the pupil tracking sensor and configuring the gesture recognition unit to recognize the wearer's wrist when the wearer looks at the wearer's wrist, driving an app library or operating an app library in a situation unintended by the wearer. It is possible not to display the first content or the like. At this time, when looking at the wrist for more than a predetermined time, step S110 is performed so that malfunction can be minimized.
  • the control unit 500 controls app library setting contents such as app icon size and arrangement according to each wearer, motion gesture usage pattern of each wearer, and preferences.
  • app library setting contents such as app icon size and arrangement according to each wearer, motion gesture usage pattern of each wearer, and preferences.
  • Various user-specific settings such as illuminance, Inter-Pupillary Distance (IPD), and interface can be automatically applied.
  • user authentication may use an iris recognition sensor included in the sensor unit 700 .
  • the communication unit 800 is installed on one side of the wearable augmented reality device 10 and can transmit and receive various signals and data to and from other wearable augmented reality devices 10 or servers.
  • the network used by the communication unit 800 is a wired network or a mobile communication network such as a Local Area Network (LAN), a Wide Area Network (WAN), or a Value Added Network (VAN).
  • radio communication network such as a Local Area Network (LAN), a Wide Area Network (WAN), or a Value Added Network (VAN).
  • radio communication network such as a Local Area Network (LAN), a Wide Area Network (WAN), or a Value Added Network (VAN).
  • radio communication network such as a Local Area Network (LAN), a Wide Area Network (WAN), or a Value Added Network (VAN).
  • radio communication network such as a Local Area Network (LAN), a Wide Area Network (WAN), or a Value Added Network (VAN).
  • satellite communication network such as a Wibro (Wireless Broadband Internet), HSDPA (High Speed Down
  • step-by-step processing of wrist recognition and gesture recognition is performed.
  • a trigger gesture associated with the first content displayed on the wrist as a gesture type that is not generally used, and to drive the app library with a comfortable and intuitive operation due to the body structure.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명에서 제안하고 있는 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치에 따르면, 손목 인식과 제스처 인식의 단계적 처리를 통해 복수의 인식 단계를 거치고, 일반적으로 사용하지 않는 제스처 유형으로 손목에 표시되는 제1 콘텐츠와 연관된 트리거 제스처를 사용해 오작동을 최소화하고 인식률을 높이며, 신체 구조상 편안하고 직관적인 동작으로 앱 라이브러리를 구동할 수 있다.

Description

손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치
본 발명은 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치에 관한 것으로서, 보다 구체적으로는 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치에 관한 것이다.
디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 이러한 웨어러블 디바이스의 일종인 헤드 마운티드 디스플레이(Head Mounted Display)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠 등을 제공받을 수 있는 각종 디바이스를 의미한다. 여기서 헤드 마운티드 디스플레이(HMD)는 사용자의 신체에 착용 되어 사용자가 이동함에 따라서 다양한 환경에서 사용자에게 영상을 제공하게 된다. 이러한 헤드 마운티드 디스플레이(HMD)는 투과(see-through)형과 밀폐(see-closed)형으로 구분되고 있으며, 투과형은 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형은 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다.
헤드 마운티드 디스플레이는 기존의 터치스크린과 같은 입력 방식을 사용하기 어려우므로, 사용자 상호작용을 위한 최적화된 입력 방식이 필요하다. 헤드 마운티드 디스플레이의 증강현실에서 사용할 수 있는 입력 방식으로, HMD에 구비된 버튼이나 HMD와 연결된 별도의 입력 장치, 제스처 인식, 음성인식 등이 있을 수 있다.
증강현실용 헤드 마운티드 디스플레이(이하, ‘AR 글라스’라 한다.)는 스마트폰(Smartphone), 스마트 워치(Smart Watch)와 비슷하게 애플리케이션 프로그램(이하, “앱”이라 한다.)을 통해 여러 가지 활동을 할 수 있다. 따라서, AR 글라스에 설치된 앱을 정리해 놓고 열람하고 실행할 수 있도록 구성된 앱 라이브러리 기능이 필요하다.
전술한 바와 같이, 제스처 위주의 입력 방식을 사용하는 AR 글라스의 특성상 앱 라이브러리를 동작하기 위해서도 특정한 제스처가 필요하다. 그러나 일상적인 동작 시에 앱 라이브러리가 구동되어서는 안 되므로, 오작동 우려를 최소화하고 인식률도 높은 앱 라이브러리의 구동 방법의 개발이 요구된다.
한편, 본 발명과 관련된 선행기술로서, 등록특허 제10-1700569호(발명의 명칭: 제스처 기반의 사용자 인증이 가능한 HMD 장치 및 상기 HMD 장치의 제스처 기반의 사용자 인증 방법, 등록일자: 2017년 01월 23일) 등이 개시된 바 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 손목 인식과 제스처 인식의 단계적 처리를 통해 복수의 인식 단계를 거치고, 일반적으로 사용하지 않는 제스처 유형으로 손목에 표시되는 제1 콘텐츠와 연관된 트리거 제스처를 사용해 오작동을 최소화하고 인식률을 높이며, 신체 구조상 편안하고 직관적인 동작으로 앱 라이브러리를 구동할 수 있는, 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치를 제공하는 것을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치는,
복수의 애플리케이션 프로그램(이하, “앱”이라 한다.)이 설치된 머리 착용형 디스플레이 장치에서 각 단계가 수행되는 앱 라이브러리 동작 방법으로서,
(1) 착용자의 시야 내에 위치하는 착용자의 손목을 인식하는 단계;
(2) 상기 단계 (1)에서 인식한 손목에 제1 콘텐츠를 증강현실 기반으로 표시하는 단계;
(3) 상기 표시된 제1 콘텐츠와 연관된 트리거 제스처에 대응해, 착용자의 팔 위에 증강현실 기반으로 앱 아이콘을 배치하여 앱 라이브러리를 구동하는 단계; 및
(4) 상기 앱 라이브러리와 연관된 동작 제스처에 대응해, 상기 앱 라이브러리를 제어하는 단계를 포함하며,
상기 트리거 제스처는,
상기 손목에 표시된 제1 콘텐츠를 팔쪽에서 손쪽으로 또는 손쪽에서 팔쪽으로 가로지르는 동작인 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 단계 (3)에서는,
상기 단계 (1)에서 인식한 착용자의 손목부터 팔꿈치까지의 공간 위에 팔의 길이 방향으로 미리 정해진 간격으로 앱 아이콘을 배치하는 것을 특징으로 하는, 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법.
바람직하게는, 상기 단계 (4)에서는,
상기 동작 제스처에 대응해 상기 앱 라이브러리에 포함된 앱의 선택, 실행 및 앱 아이콘 스크롤을 포함하는 군에서 선택된 적어도 하나의 동작을 수행할 수 있다.
더욱 바람직하게는, 상기 단계 (4)에서는,
상기 동작 제스처가 앱의 실행 제스처이면 상기 앱 라이브러리를 종료하고 해당 앱을 실행할 수 있다.
바람직하게는, 상기 단계 (2) 내지 단계 (4) 중 어느 하나에서는,
종료 제스처가 인식되면, 상기 종료 제스처에 대응해 상기 앱 라이브러리의 동작을 종료할 수 있다.
더욱 바람직하게는, 상기 종료 제스처는,
상기 단계 (1)에서 인식된 손목을 뒤집어 반대쪽을 인식하는 동작일 수 있다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치는,
복수의 애플리케이션 프로그램(이하, “앱”이라 한다.)이 설치된 머리 착용형 디스플레이 장치로서,
착용자의 양안의 전방에 배치되어 착용자에게 증강현실을 제공하는 광학 디스플레이부;
착용자의 손목 및 제스처를 인식하는 제스처 인식부;
상기 제스처 인식부에서 착용자의 시야 내에 위치하는 착용자의 손목을 인식하면, 상기 광학 디스플레이부를 통해 상기 제스처 인식부가 인식한 착용자의 손목에 제1 콘텐츠를 증강현실 기반으로 표시하는 잠금화면 표시부;
상기 표시된 제1 콘텐츠와 연관된 트리거 제스처를 상기 제스처 인식부에서 인식하면, 상기 트리거 제스처에 대응해 착용자의 팔 위에 증강현실 기반으로 앱 아이콘을 배치하여 앱 라이브러리를 구동하는 라이브러리 구동부; 및
상기 라이브러리 구동부에서 구동한 앱 라이브러리와 연관된 동작 제스처에 대응해, 상기 앱 라이브러리를 제어하는 제어부를 포함하며,
상기 트리거 제스처는,
상기 손목에 표시된 제1 콘텐츠를 팔쪽에서 손쪽으로 또는 손쪽에서 팔쪽으로 가로지르는 동작인 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 라이브러리 구동부는,
상기 제스처 인식부가 인식한 착용자의 손목부터 팔꿈치까지의 공간 위에 팔의 길이 방향으로 미리 정해진 간격으로 앱 아이콘을 배치하며,
상기 제어부는,
상기 동작 제스처에 대응해 상기 앱 라이브러리에 포함된 앱의 선택, 실행 및 앱 아이콘 스크롤을 포함하는 군에서 선택된 적어도 하나의 동작을 수행할 수 있다.
본 발명에서 제안하고 있는 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치에 따르면, 손목 인식과 제스처 인식의 단계적 처리를 통해 복수의 인식 단계를 거치고, 일반적으로 사용하지 않는 제스처 유형으로 손목에 표시되는 제1 콘텐츠와 연관된 트리거 제스처를 사용해 오작동을 최소화하고 인식률을 높이며, 신체 구조상 편안하고 직관적인 동작으로 앱 라이브러리를 구동할 수 있다.
도 1은 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통해 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치의 구성을 도시한 도면.
도 2 및 도 3은 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통해 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치의 모습을 예를 들어 도시한 도면.
도 4는 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법의 흐름을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법의 단계 S110 및 단계 S120을 설명하기 위해 도시한 도면.
도 6은 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법의 단계 S130을 설명하기 위해 도시한 도면.
도 7은 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법에 의해 앱 라이브러리가 구동된 모습을 예를 들어 도시한 도면.
도 8은 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법의 단계 S140에서 앱을 선택하는 모습을 예를 들어 도시한 도면.
도 9 및 도 10은 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법의 단계 S140에서 앱 아이콘을 스크롤하는 모습을 예를 들어 도시한 도면.
<부호의 설명>
10: 머리 착용형 디스플레이 장치
100: 광학 디스플레이부
110: 디스플레이
120: 광학계
200: 제스처 인식부
300: 잠금화면 표시부
400: 라이브러리 구동부
500: 제어부
600: 카메라부
700: 센서부
800: 통신부
S110: 착용자의 손목을 인식하는 단계
S120: 손목에 제1 콘텐츠를 증강현실 기반으로 표시하는 단계
S130: 제1 콘텐츠와 연관된 트리거 제스처에 대응해 앱 라이브러리를 구동하는 단계
S140: 동작 제스처에 대응해 앱 라이브러리를 제어하는 단계
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통해 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치(10)의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통해 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치(10)는, 복수의 애플리케이션 프로그램(이하, “앱”이라 한다.)이 설치된 머리 착용형 디스플레이 장치(10)로서, 착용자의 양안의 전방에 배치되어 착용자에게 증강현실을 제공하는 광학 디스플레이부(100); 착용자의 손목 및 제스처를 인식하는 제스처 인식부(200); 제스처 인식부(200)에서 착용자의 시야 내에 위치하는 착용자의 손목을 인식하면, 광학 디스플레이부(100)를 통해 제스처 인식부(200)가 인식한 착용자의 손목에 제1 콘텐츠를 증강현실 기반으로 표시하는 잠금화면 표시부(300); 표시된 제1 콘텐츠와 연관된 트리거 제스처를 제스처 인식부(200)에서 인식하면, 트리거 제스처에 대응해 착용자의 팔 위에 증강현실 기반으로 앱 아이콘을 배치하여 앱 라이브러리를 구동하는 라이브러리 구동부(400); 및 라이브러리 구동부(400)에서 구동한 앱 라이브러리와 연관된 동작 제스처에 대응해, 앱 라이브러리를 제어하는 제어부(500)를 포함하여 구성될 수 있으며, 카메라부(600), 센서부(700) 및 통신부(800)를 더 포함하여 구성될 수 있다.
도 2 및 도 3은 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통해 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치(10)의 모습을 예를 들어 도시한 도면이다. 도 2 및 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통해 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치(10)는, 눈 주변이 밀폐된 형태의 고글 또는 측면이 개방된 형태의 안경 등으로 구현될 수 있다.
여기서, 광학 디스플레이부(100)는, 착용자의 양안의 전방에 배치되어 착용자에게 증강현실을 제공할 수 있다. 보다 구체적으로, 광학 디스플레이부(100)는, 착용자의 양안의 전방에 배치되어 착용자에게 증강현실, 혼합현실 및 가상현실 중 적어도 어느 하나를 제공할 수 있다. 즉, 광학 디스플레이부(100)는 머리 착용형 디스플레이 장치(10)의 AR, VR 또는 MR 글라스에 해당하는 구성으로서, 도 1에 도시된 바와 같이 디스플레이(110) 및 광학계(120)를 포함하여 구성될 수 있다.
디스플레이(110)는, 영상 정보가 착용자에게 제공될 수 있도록 영상 광을 출력할 수 있다. 보다 구체적으로, 디스플레이(110)는, 영상 정보가 착용자에게 제공될 수 있도록, 이하에서 상세히 설명할 광학계(120)에 결합해, 광학계(120)에 의해 착용자의 눈 방향으로 전달되는 영상 광을 출력하며, 양안 디스플레이를 위해 한 쌍의 디스플레이(110)로 구성될 수 있다. 디스플레이(110)는 OLED 등으로 다양하게 구성될 수 있다.
광학계(120)는, 머리 착용형 디스플레이 장치(10)를 착용한 착용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공할 수 있다. 보다 구체적으로, 광학계(120)는, 착용자의 시야를 통한 실제 세계(real world)의 광의 적어도 일부를 투과시키고, 디스플레이(110)에서 출력되는 영상 광을 착용자의 눈 방향으로 전달하여 증강현실을 제공할 수 있다. 즉, 광학계(120)는 머리 착용형 디스플레이 장치(10)를 착용한 착용자가 증강현실을 경험할 수 있도록 구성될 수 있다.
또한, 광학계(120)는 복수의 렌즈와 미러 등으로 구성되며 다양한 방식으로 구현될 수 있는데, 예를 들어 광학 회절 방식, 빔 스플리터 방식, 핀 미러 방식 등으로 구현될 수 있다.
제스처 인식부(200)는, 착용자의 손목 및 제스처를 인식할 수 있다. 보다 구체적으로는, 제스처 인식부(200)는 카메라부(600)로부터 획득한 착용자의 시선 방향 영상으로부터 손과 제스처를 인식할 수 있다. 예를 들어, 착용자가 손목을 바라보면, 제스처 인식부(200)는 카메라 영상에서 손과 팔의 두께 변화를 인식해 손목 부분을 특정할 수 있다. 손목은 손과 팔 사이에서 두께가 급격히 변하는 부위로, 세부적인 손의 골격을 인식해야 하는 손 또는 제스처 인식에 비해 빠르고 정확하게 인식 프로세스를 처리할 수 있다. 또한, 제스처 인식부(200)는 착용자가 앱 라이브러리를 구동하고 제어하는 데 사용하는 다양한 제스처를 인식할 수 있으며, 각각의 제스처는 손의 모습(자세)과 동작 중 적어도 하나로 구성될 수 있다.
이때, 제스처 인식부(200)는, 영상 처리, 인공지능 등을 기반으로 하는 비전 인식 기술을 사용해 손 형상이나 특징점 등을 추정할 수 있으며, 추정된 손 형상이나 특징점을 사용해 제스처를 인식할 수 있다.
실시예에 따라서, 제스처 인식부(200)는, 머리 착용형 디스플레이 장치(10)의 RGB 카메라, 적외선 이미지 카메라, 깊이 센서 등에서 획득한 손 영상을 사용할 수 있다. 보다 구체적으로, 제스처 인식부(200)는, 머리 착용형 디스플레이 장치(10)의 적외선 이미지 카메라로부터 획득한 적외선 손 영상을 사용할 수 있다.
적외선 영상은 단일채널 이미지로, 적외선 손 영상을 사용해 제스처 인식을 하면 이미지 처리에 사용되는 계산 비용을 줄일 수 있으므로, 머리 착용형 디스플레이 장치(10)의 임베디드 환경에서도 제스처 인식을 효과적으로 수행할 수 있다. 특히, 머리 착용형 디스플레이 장치(10)는 무게가 무거우면 목과 어깨에 부담이 되고 머리 움직임이 제한되어 장시간 착용이 어려우므로, 경량화 및 소형화가 중요하다. 따라서 머리 착용형 디스플레이 장치(10)에 많은 계산 자원을 탑재할 수 없으므로, 단일채널 이미지인 적외선 영상을 사용해 임베디드 환경에서 사용할 수 있도록 계산 비용을 줄일 수 있다.
잠금화면 표시부(300), 라이브러리 구동부(400) 및 제어부(500)에 대해서는, 이하에서 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법과 관련해 상세히 설명하도록 한다.
도 4는 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법의 흐름을 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법은, 복수의 애플리케이션 프로그램(이하, “앱”이라 한다.)이 설치된 머리 착용형 디스플레이 장치(10)에서 각 단계가 수행되는 앱 라이브러리 동작 방법으로서, 착용자의 손목을 인식하는 단계(S110), 손목에 제1 콘텐츠를 증강현실 기반으로 표시하는 단계(S120), 제1 콘텐츠와 연관된 트리거 제스처에 대응해 앱 라이브러리를 구동하는 단계(S130), 및 동작 제스처에 대응해 앱 라이브러리를 제어하는 단계(S140)를 포함하여 구현될 수 있다.
단계 S110에서는, 제스처 인식부(200)에서 착용자의 시야 내에 위치하는 착용자의 손목을 인식할 수 있다. 즉, 착용자가 머리 착용형 디스플레이 장치(10)를 착용하고 손목을 바라보면, 제스처 인식부(200)가 손과 손목의 두께 변화를 인식해 손목 부분을 특정할 수 있다. 이때, 손목은 손목의 바깥쪽(손등 쪽) 또는 안쪽(손바닥 쪽)일 수 있으며, 제스처 인식부(200)는 손의 모습으로부터 바깥쪽 손목인지 안쪽 손목인지를 특정할 수 있다.
단계 S120에서는, 잠금화면 표시부(300)에서 단계 S110에서 인식한 손목에 증강현실 기반으로 제1 콘텐츠를 표시할 수 있다. 즉, 단계 S110에서 손목 바깥쪽(손등 쪽)이 인식 및 특정되면, 광학 디스플레이부(100)를 통해 특정된 손목 바깥쪽 부위에 제1 콘텐츠를 증강현실 영상 광으로 출력할 수 있다. 여기서, 제1 콘텐츠는 미리 정해진 콘텐츠로, 스마트폰의 잠금화면에 해당하는 콘텐츠일 수 있으며, 일반적인 정보확인용 콘텐츠일 수 있다.
도 5는 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법의 단계 S110 및 단계 S120을 설명하기 위해 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법에서는, 착용자가 머리 착용형 디스플레이 장치(10)를 착용한 상태에서 손목 바깥쪽을 바라보면 손목이 인식되고(단계 S110, 좌측 도면), 인식된 손목에 시간이나 날씨 등을 확인할 수 있는 가상 손목시계 형태의 정보확인용 콘텐츠가 제1 콘텐츠로 표시될 수 있다(단계 S120, 우측 도면).
단계 S130에서는, 라이브러리 구동부(400)가, 표시된 제1 콘텐츠와 연관된 트리거 제스처에 대응해, 착용자의 팔 위에 증강현실 기반으로 앱 아이콘을 배치하여 앱 라이브러리를 구동할 수 있다. 여기서, 트리거 제스처는, 손목에 표시된 제1 콘텐츠를 팔쪽에서 손쪽으로 또는 손쪽에서 팔쪽으로 가로지르는 동작일 수 있다.
도 6은 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법의 단계 S130을 설명하기 위해 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법에서는, 착용자가 한쪽 손목(왼쪽 손목)의 바깥쪽에 표시된 제1 콘텐츠를 다른 쪽 손(오른손)의 손가락 2개를 사용해 팔쪽에서 손쪽으로 가로질러 쓸어넘기는 동작을 트리거 제스처로 수행할 수 있다. 이때, 트리거 제스처는 제1 콘텐츠와 연관된 것으로 다른 제스처들과 구별되어 앱 라이브러리를 구동하기 위한 트리거(trigger) 역할을 할 수 있도록 구성되며, 다양하게 정의될 수 있다. 예를 들어, 손가락 1개, 손가락 4개, 손바닥 등을 사용할 수 있고, 제1 콘텐츠를 손쪽에서 팔쪽으로 가로지르거나, 팔의 길이 방향과 수직이 되도록 제1 콘텐츠를 쓸어내리거나, 제1 콘텐츠를 특정 방향 또는 위치로 이동시키는 등 다양한 동작을 트리거 제스처로 정의할 수 있다.
한편, 단계 S130에서는, 착용자의 트리거 제스처에 대응해 앱 라이브러리를 구동할 수 있다. 보다 구체적으로, 제스처 인식부(200)에서 트리거 제스처를 인식하면 손목에 표시된 제1 콘텐츠를 제거하고, 착용자 팔의 손목부터 팔꿈치까지의 공간을 사용해 앱 라이브러리를 구동할 수 있다.
도 7은 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법에 의해 앱 라이브러리가 구동된 모습을 예를 들어 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법의 단계 S130에서는, 라이브러리 구동부(400)가 단계 S110에서 인식한 착용자의 손목부터 팔꿈치까지의 공간 위에 팔의 길이 방향으로 미리 정해진 간격으로 앱 아이콘을 배치할 수 있다. 이때, 도 7에 도시된 바와 같이 앱 아이콘이 한 줄로 나열될 수 있으나 여러 줄로 나열될 수도 있고, 개발자 또는 착용자가 설정한 아이콘 크기와 착용자의 팔 길이, 착용자의 시야 내의 팔 위치, 자세, 길이, 넓이 등에 따라 앱 아이콘의 크기와 배치는 변경될 수 있다.
단계 S140에서는, 제어부(500)에서 앱 라이브러리와 연관된 동작 제스처에 대응해, 앱 라이브러리를 제어할 수 있다. 보다 구체적으로, 단계 S140에서는, 동작 제스처에 대응해 앱 라이브러리에 포함된 앱의 선택, 실행 및 앱 아이콘 스크롤을 포함하는 군에서 선택된 적어도 하나의 동작을 수행할 수 있다.
도 8은 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법의 단계 S140에서 앱을 선택하는 모습을 예를 들어 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법에서는, 오른손 손가락을 사용해 앱 라이브러리가 표시된 왼팔에서 앱 아이콘을 선택할 수 있다. 단계 S140에서는, 동작 제스처가 앱의 실행 제스처이면 앱 라이브러리를 종료하고 해당 앱을 실행할 수 있다. 여기서, 앱의 실행 제스처는, 도 8에 도시된 바와 같이 증강현실로 표시된 가상의 앱 아이콘을 터치하는 제스처일 수 있다.
한편, 단계 S140에서 앱의 실행 제스처에 의해 앱 라이브러리가 종료되고 앱 실행 중에 착용자가 손목 바깥쪽을 바라보아 단계 S110의 손목 인식이 수행되면, 단계 S110 내지 단계 S140의 앱 라이브러리 구동을 단계적으로 실행함으로써, 앱 실행 중에도 쉽고 편리하게 앱 라이브러리를 구동할 수 있다.
도 9 및 도 10은 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법의 단계 S140에서 앱 아이콘을 스크롤하는 모습을 예를 들어 도시한 도면이다. 도 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법에서는, 앱 라이브러리가 구동된 팔을 좌우로 쓰는(sweep) 동작을 좌우 스크롤 제스처로 인식할 수 있다. 따라서 착용자가 오른손 손가락을 사용해 앱 라이브러리를 좌우로 스크롤하는 스크롤 제스처에 대응해, 팔의 길이로 인해 표시되지 않던 앱 아이콘들이 이동해 “메시지” 아이콘이 표시될 수 있다. 또한, 도 10에 도시된 바와 같이, 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법에서는, 상하 방향의 스크롤 제스처를 사용해 앱 라이브러리를 탐색할 수도 있다.
한편, 단계 S120 내지 단계 S140 중 어느 하나에서는, 종료 제스처가 인식되면, 종료 제스처에 대응해 앱 라이브러리의 동작을 종료할 수 있다. 여기서, 종료 제스처는, 단계 S110에서 인식된 손목을 뒤집어 반대쪽을 인식하는 동작일 수 있다.
예를 들어, 단계 S120에서 제1 콘텐츠가 손목 바깥쪽에 표시된 상태에서 착용자가 손목을 뒤집어 손목 안쪽을 인식시키면, 앱 라이브러리 구동 없이 제1 콘텐츠의 표시는 종료될 수 있다. 또한, 단계 S130에서 앱 라이브러리가 구동된 상태에서, 단계 S130 또는 단계 S140의 언제라도 착용자가 손목을 뒤집어 손목 안쪽이 인식되면 앱 라이브러리가 종료되며, 다시 앱 라이브러리를 구동하기 위해서는 단계 S110의 손목 바깥쪽 인식을 수행할 수 있다.
한편, 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통해 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치(10)는, 카메라부(600), 센서부(700) 및 통신부(800)를 더 포함하여 구성될 수 있다.
즉, 제어부(500)는, 카메라부(600) 및 센서부(700)에서 수집한 정보에 기초하여, 착용자에게 제공할 영상 정보를 생성해 디스플레이(110)로 전송되도록 제어함으로써, 착용자가 증강현실을 통해 앱 라이브러리, 외부 환경에 대한 추가 정보 등을 최적화된 화면으로 전달받도록 할 수 있다.
카메라부(600)는, 착용자의 시야 방향의 영상을 촬영해 제스처 인식부(200)에 전달하여 비전 인식 기반으로 손목 및 제스처를 인식할 수 있다. 보다 구체적으로, 카메라부(600)는, 제스처 인식부(200)의 손목 및 제스처 인식 알고리즘에 따라 RGB 카메라, 적외선 이미지 카메라, 깊이 센서 등을 포함하여, 손목 및 제스처 인식에 필요한 손 영상을 제공할 수 있다.
센서부(700)는, 적어도 하나 이상의 센서를 포함할 수 있으며, 보다 구체적으로 동공 추적 센서, 홍채 인식 센서 등을 포함할 수 있다. 실시예에 따라서, 동공 추적 센서를 사용해 착용자의 시선을 추적하여, 착용자가 착용자의 손목을 바라볼 때 제스처 인식부에서 착용자의 손목을 인식하도록 구성함으로써, 착용자가 의도하지 않은 상황에서 앱 라이브러리 구동 또는 제1 콘텐츠 표시 등이 되지 않도록 할 수 있다. 이때, 미리 정해진 시간 이상 손목을 바라볼 때 단계 S110이 수행되도록 하여, 오작동을 최소화할 수 있다.
한편, 착용자가 착용형 증강현실 장치(10)를 착용하고 사용자 인증을 하면, 제어부(500)는 각 착용자에 따라 앱 아이콘 크기 및 배치 등의 앱 라이브러리 설정 내용, 개별 착용자의 동작 제스처 사용 패턴, 선호 조도, IPD(Inter-Pupillary Distance), 인터페이스 등 여러 가지 사용자별 설정 내용을 자동으로 적용할 수도 있다. 이때, 사용자 인증은 센서부(700)에 포함된 홍채 인식 센서 등을 사용할 수 있다.
통신부(800)는, 착용형 증강현실 장치(10)의 일측에 설치되며, 다른 착용형 증강현실 장치(10)나 서버 등과 각종 신호 및 데이터를 송수신할 수 있다. 여기서, 통신부(800)가 사용하는 네트워크는, 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network), 위성 통신망, 블루투스(Bluetooth), Wibro(Wireless Broadband Internet), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution), 3/4/5/6G(3/4/5/6th Generation Mobile Telecommunication) 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.
전술한 바와 같이, 본 발명에서 제안하고 있는 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치(10)에 따르면, 손목 인식과 제스처 인식의 단계적 처리를 통해 복수의 인식 단계를 거치고, 일반적으로 사용하지 않는 제스처 유형으로 손목에 표시되는 제1 콘텐츠와 연관된 트리거 제스처를 사용해 오작동을 최소화하고 인식률을 높이며, 신체 구조상 편안하고 직관적인 동작으로 앱 라이브러리를 구동할 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.

Claims (8)

  1. 복수의 애플리케이션 프로그램(이하, “앱”이라 한다.)이 설치된 머리 착용형 디스플레이 장치(10)에서 각 단계가 수행되는 앱 라이브러리 동작 방법으로서,
    (1) 착용자의 시야 내에 위치하는 착용자의 손목을 인식하는 단계;
    (2) 상기 단계 (1)에서 인식한 손목에 제1 콘텐츠를 증강현실 기반으로 표시하는 단계;
    (3) 상기 표시된 제1 콘텐츠와 연관된 트리거 제스처에 대응해, 착용자의 팔 위에 증강현실 기반으로 앱 아이콘을 배치하여 앱 라이브러리를 구동하는 단계; 및
    (4) 상기 앱 라이브러리와 연관된 동작 제스처에 대응해, 상기 앱 라이브러리를 제어하는 단계를 포함하며,
    상기 트리거 제스처는,
    상기 손목에 표시된 제1 콘텐츠를 팔쪽에서 손쪽으로 또는 손쪽에서 팔쪽으로 가로지르는 동작인 것을 특징으로 하는, 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법.
  2. 제1항에 있어서, 상기 단계 (3)에서는,
    상기 단계 (1)에서 인식한 착용자의 손목부터 팔꿈치까지의 공간 위에 팔의 길이 방향으로 미리 정해진 간격으로 앱 아이콘을 배치하는 것을 특징으로 하는, 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법.
  3. 제1항에 있어서, 상기 단계 (4)에서는,
    상기 동작 제스처에 대응해 상기 앱 라이브러리에 포함된 앱의 선택, 실행 및 앱 아이콘 스크롤을 포함하는 군에서 선택된 적어도 하나의 동작을 수행하는 것을 특징으로 하는, 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법.
  4. 제3항에 있어서, 상기 단계 (4)에서는,
    상기 동작 제스처가 앱의 실행 제스처이면 상기 앱 라이브러리를 종료하고 해당 앱을 실행하는 것을 특징으로 하는, 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법.
  5. 제1항에 있어서, 상기 단계 (2) 내지 단계 (4) 중 어느 하나에서는,
    종료 제스처가 인식되면, 상기 종료 제스처에 대응해 상기 앱 라이브러리의 동작을 종료하는 것을 특징으로 하는, 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법.
  6. 제5항에 있어서, 상기 종료 제스처는,
    상기 단계 (1)에서 인식된 손목을 뒤집어 반대쪽을 인식하는 동작인 것을 특징으로 하는, 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법.
  7. 복수의 애플리케이션 프로그램(이하, “앱”이라 한다.)이 설치된 머리 착용형 디스플레이 장치(10)로서,
    착용자의 양안의 전방에 배치되어 착용자에게 증강현실을 제공하는 광학 디스플레이부(100);
    착용자의 손목 및 제스처를 인식하는 제스처 인식부(200);
    상기 제스처 인식부(200)에서 착용자의 시야 내에 위치하는 착용자의 손목을 인식하면, 상기 광학 디스플레이부(100)를 통해 상기 제스처 인식부(200)가 인식한 착용자의 손목에 제1 콘텐츠를 증강현실 기반으로 표시하는 잠금화면 표시부(300);
    상기 표시된 제1 콘텐츠와 연관된 트리거 제스처를 상기 제스처 인식부(200)에서 인식하면, 상기 트리거 제스처에 대응해 착용자의 팔 위에 증강현실 기반으로 앱 아이콘을 배치하여 앱 라이브러리를 구동하는 라이브러리 구동부(400); 및
    상기 라이브러리 구동부(400)에서 구동한 앱 라이브러리와 연관된 동작 제스처에 대응해, 상기 앱 라이브러리를 제어하는 제어부(500)를 포함하며,
    상기 트리거 제스처는,
    상기 손목에 표시된 제1 콘텐츠를 팔쪽에서 손쪽으로 또는 손쪽에서 팔쪽으로 가로지르는 동작인 것을 특징으로 하는, 손목과 트리거 제스처의 단계적 인식을 통해 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치(10).
  8. 제7항에 있어서, 상기 라이브러리 구동부(400)는,
    상기 제스처 인식부(200)가 인식한 착용자의 손목부터 팔꿈치까지의 공간 위에 팔의 길이 방향으로 미리 정해진 간격으로 앱 아이콘을 배치하며,
    상기 제어부(500)는,
    상기 동작 제스처에 대응해 상기 앱 라이브러리에 포함된 앱의 선택, 실행 및 앱 아이콘 스크롤을 포함하는 군에서 선택된 적어도 하나의 동작을 수행하는 것을 특징으로 하는, 손목과 트리거 제스처의 단계적 인식을 통해 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치(10).
PCT/KR2022/005830 2021-10-14 2022-04-24 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치 WO2023063515A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210136973A KR102633495B1 (ko) 2021-10-14 2021-10-14 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치
KR10-2021-0136973 2021-10-14

Publications (1)

Publication Number Publication Date
WO2023063515A1 true WO2023063515A1 (ko) 2023-04-20

Family

ID=85988348

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/005830 WO2023063515A1 (ko) 2021-10-14 2022-04-24 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치

Country Status (2)

Country Link
KR (1) KR102633495B1 (ko)
WO (1) WO2023063515A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101502085B1 (ko) * 2013-10-04 2015-03-12 주식회사 매크론 안경형 디스플레이 디바이스의 동작인식 입력방법
KR101548872B1 (ko) * 2014-06-13 2015-09-02 세종대학교산학협력단 영상처리를 이용한 손가락 인식 방법 및 시스템
KR20150104769A (ko) * 2014-03-06 2015-09-16 엘지전자 주식회사 글래스 타입의 이동 단말기
KR20160137253A (ko) * 2015-05-22 2016-11-30 한국전자통신연구원 증강 현실 디바이스 및 상기 증강 현실 디바이스를 위한 사용자 인터랙션 장치 및 방법
US20200387286A1 (en) * 2019-06-07 2020-12-10 Facebook Technologies, Llc Arm gaze-driven user interface element gating for artificial reality systems

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102463383B1 (ko) * 2015-02-27 2022-11-04 삼성전자주식회사 생체 신호 측정을 위한 방법 및 이를 위한 착용형 전자 장치
KR20190063156A (ko) * 2017-11-29 2019-06-07 상명대학교산학협력단 제스처 인식 장치 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101502085B1 (ko) * 2013-10-04 2015-03-12 주식회사 매크론 안경형 디스플레이 디바이스의 동작인식 입력방법
KR20150104769A (ko) * 2014-03-06 2015-09-16 엘지전자 주식회사 글래스 타입의 이동 단말기
KR101548872B1 (ko) * 2014-06-13 2015-09-02 세종대학교산학협력단 영상처리를 이용한 손가락 인식 방법 및 시스템
KR20160137253A (ko) * 2015-05-22 2016-11-30 한국전자통신연구원 증강 현실 디바이스 및 상기 증강 현실 디바이스를 위한 사용자 인터랙션 장치 및 방법
US20200387286A1 (en) * 2019-06-07 2020-12-10 Facebook Technologies, Llc Arm gaze-driven user interface element gating for artificial reality systems

Also Published As

Publication number Publication date
KR102633495B1 (ko) 2024-02-06
KR20230053452A (ko) 2023-04-21

Similar Documents

Publication Publication Date Title
WO2018128526A1 (en) System and method for augmented reality control
WO2017095006A1 (en) Head-mounted display device with detachable device
WO2020017927A1 (en) System and method for hybrid eye tracker
WO2015076531A1 (en) Head-mounted display apparatus
WO2019143117A1 (en) Method and apparatus for adjusting augmented reality content
EP3072009A1 (en) Head-mounted display apparatus
WO2016200102A1 (ko) 카메라의 초점을 변경하는 방법 및 장치
WO2015122566A1 (en) Head mounted display device for displaying augmented reality image capture guide and control method for the same
EP3161546A1 (en) Glasses-type mobile terminal
WO2017126741A1 (ko) Hmd 디바이스 및 그 제어 방법
WO2021040076A1 (ko) 전자 디바이스
WO2020159302A1 (ko) 증강 현실 환경에서 다양한 기능을 수행하는 전자 장치 및 그 동작 방법
WO2022131549A1 (ko) 전자 장치 및 전자 장치의 동작 방법
JP3487237B2 (ja) ポインティング装置とそれを用いたコンピュータシステム
WO2023063515A1 (ko) 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치
WO2018097483A1 (ko) 움직임 정보 생성 방법 및 이를 지원하는 전자 장치
WO2023096038A1 (ko) 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법 및 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템
WO2023282446A1 (ko) 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치 및 손 마디 인식을 이용한 착용형 증강현실 장치의 인터페이스 제공 방법
WO2019074228A2 (ko) 가상 멀미 저감을 위한 헤드 마운티드 디스플레이 및 그 동작 방법
WO2018093075A1 (ko) 전자 장치 및 그의 제어 방법
WO2020171098A1 (ja) 視線とジェスチャを用いた情報表示装置
WO2022231224A1 (ko) 파노라마 멀티 화면을 제공하는 증강현실 글라스 및 증강현실 글라스를 위한 파노라마 멀티 화면 제공 방법
WO2021029448A1 (ko) 전자 디바이스
WO2023058833A1 (ko) 터치 제스처를 이용한 사용자 인증 패턴 형성 방법 및 터치 제스처를 이용해 사용자 인증을 하는 머리 착용형 디스플레이 장치
KR102522142B1 (ko) 양손 제스처를 이용해 조작 신호를 입력하는 착용형 증강현실 장치 및 양손 제스처를 이용한 착용형 증강현실 장치의 조작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22881147

Country of ref document: EP

Kind code of ref document: A1