WO2016017931A1 - Nui 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법 및 제공장치 - Google Patents

Nui 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법 및 제공장치 Download PDF

Info

Publication number
WO2016017931A1
WO2016017931A1 PCT/KR2015/006431 KR2015006431W WO2016017931A1 WO 2016017931 A1 WO2016017931 A1 WO 2016017931A1 KR 2015006431 W KR2015006431 W KR 2015006431W WO 2016017931 A1 WO2016017931 A1 WO 2016017931A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
information
motion
interface
icon
Prior art date
Application number
PCT/KR2015/006431
Other languages
English (en)
French (fr)
Inventor
전수영
권지용
Original Assignee
스타십벤딩머신 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스타십벤딩머신 주식회사 filed Critical 스타십벤딩머신 주식회사
Publication of WO2016017931A1 publication Critical patent/WO2016017931A1/ko
Priority to US15/414,609 priority Critical patent/US20170131785A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Definitions

  • the rotation motion information generation unit 231 calculates values related to the rotation direction and the degree of rotation for rotating the plurality of icons intended by the user, and generates rotation motion information including the rotation direction and the degree of rotation.
  • Equation 2 Equation 2
  • the rotational direction and the degree of rotation of the plurality of icons intended by the user may be calculated by substituting the center position of the circle and the position sequence information H in Equation 6.
  • the rotation motion information generation unit 231 grasps the rotation motion information and the degree of rotation intended by the user to provide the rotation motion information.
  • the selection motion information generation unit 232 grasps the position where the acceleration is rapidly increased from the continuous position information of the user's hand, finger or joint included in the recognition information, and selects when the magnitude of the acceleration is equal to or greater than the reference value. It generates the operation information, otherwise it is determined that there is no input operation for the interaction interface.
  • the pole having the highest magnitude of acceleration is found from the acceleration city sequence information A, and when the pole is equal to or higher than the reference value, the direction of the user's motion (that is, the hand or the finger to select the icon) is expressed using Equation 9 below. Calculate the direction of movement).
  • (x, y) is the coordinate of the position sequence information H , and t means the direction angle.
  • the value of the pole with the highest magnitude of acceleration is smaller than the reference value, it is treated as no input operation to the interactive interface.
  • a virtual opaque space is defined in the spiral interaction interface HI.
  • the virtual opaque space is an area within a predetermined distance from the screen of the image display device 300.
  • icons arranged in the virtual opaque space are clearly outlined and are not arranged in the virtual opaque space.
  • the icons (the F icon to the H icon and the icon placed under the H icon) appear translucent. The reason why the display is semi-transparent is to show a sense of distance from the screen of the image display device 300 and to increase the concentration of the icon placed near the user.
  • the spiral interaction interface HI when the user rotates the spiral interaction interface HI counterclockwise through a hand gesture, it is shown as in FIG. 11. That is, referring to FIG. 12, the spiral interaction interface HI is raised in the screen direction of the image display device 300 according to the user's motion. Accordingly, the A and B icons are translucent (or may be displayed completely transparent) out of the virtual opaque space. The F and G icons are drawn into the virtual opaque space and are clearly displayed. That is, the spiral interaction interface HI moves up or down in the screen direction of the image display device 300 according to the user's rotational hand gesture to display the icons with a sense of distance.
  • FIG. 15 includes the steps of time series processing in the interface providing apparatus 200. Therefore, even if omitted below, the above description of the interface providing apparatus 200 may be applied to the method according to the embodiment of FIG. 15.
  • the interface providing apparatus 200 provides an interactive interface to the image display apparatus 300 (S101).
  • the interaction interface is composed of a circular shape as shown in FIGS. 4 to 8, a three-dimensional spiral as shown in FIGS. 9 to 13, or 14, and is an interface for arranging a plurality of icons to allow a user to select any one icon. .
  • the interface providing apparatus 200 provides execution information for executing the interactive interface according to the operation information to the image display apparatus 300 (S108).
  • the image display apparatus 300 provides execution information for moving a plurality of icons in a clockwise direction according to the rotation operation information or execution information for activating an icon disposed on the right side according to the selection operation information.
  • step S105 if the position information that has an acceleration and the change is not in the recognition information, or the magnitude of the acceleration is less than the reference value, the interaction of the user can not recognize the interface or the state of the user does not exist Therefore, the interface providing apparatus 200 processes that there is no input operation (S109).
  • One embodiment of the present invention described above by providing an interactive interface that allows the user to select an icon with a simple input such as rotating the hand gesture or moving the hand gesture in one direction, a user-friendly and optimized interface environment Can be provided.
  • a user-friendly and optimized interface environment Can be provided.
  • the interactive interface in a three-dimensional spiral, it is possible to include a myriad of icons and provide an intuitive interface environment to the user.
  • Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media.
  • Computer readable media may include both computer storage media and communication media.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • Communication media typically includes computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transmission mechanism, and includes any information delivery media.
  • a method according to an embodiment of the present invention may be implemented as a computer program (or computer program product) including instructions executable by a computer.
  • the computer program includes programmable machine instructions processed by the processor and may be implemented in a high-level programming language, an object-oriented programming language, an assembly language, or a machine language. .
  • the computer program may also be recorded on tangible computer readable media (eg, memory, hard disks, magnetic / optical media or solid-state drives, etc.).
  • a method according to an embodiment of the present invention may be implemented by executing a computer program as described above by a computing device.
  • the computing device may include at least a portion of a processor, a memory, a storage device, a high speed interface connected to the memory and a high speed expansion port, and a low speed interface connected to the low speed bus and the storage device.
  • a processor may include at least a portion of a processor, a memory, a storage device, a high speed interface connected to the memory and a high speed expansion port, and a low speed interface connected to the low speed bus and the storage device.
  • Each of these components are connected to each other using a variety of buses and may be mounted on a common motherboard or otherwise mounted in a suitable manner.
  • the processor may process instructions within the computing device, such as to display graphical information for providing a graphical user interface (GUI) on an external input, output device, such as a display connected to a high speed interface. Instructions stored in memory or storage. In other embodiments, multiple processors and / or multiple buses may be used with appropriately multiple memories and memory types.
  • the processor may also be implemented as a chipset consisting of chips comprising a plurality of independent analog and / or digital processors.
  • the storage device can provide a large amount of storage space to the computing device.
  • the storage device may be a computer readable medium or a configuration including such a medium, and may include, for example, devices or other configurations within a storage area network (SAN), and may include a floppy disk device, a hard disk device, an optical disk device, Or a tape device, flash memory, or similar other semiconductor memory device or device array.
  • SAN storage area network

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 일실시예에 따르는 NUI 장치를 통하여 사용자와 상호작용하는 인터페이스 제공장치는 사용자의 손의 위치와 영상표시장치의 화면 상의 커서 위치 간의 관계를 최소화하면서 직관적인 애플리케이션 이용이 가능하도록 하는 인터페이스를 제공한다. 그에 따라, 사용자는 손동작을 회전시키거나, 손동작을 일 방향으로 이동시키는 것과 같은 단순한 입력만으로 아이콘을 선택할 수 있게 되어, 사용자에게 편리하고 최적화된 인터페이스 환경이 제공된다.

Description

NUI 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법 및 제공장치
본 발명은 NUI 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법 및 제공장치에 관한 것으로, 보다 상세하게는 NUI 장치를 통하여 사용자의 동작을 수신하고 이를 인터페이스 작동에 반영하는 NUI 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법 및 제공장치에 관한 것이다.
자연 사용자 상호작용 장치(Natural User Interface Device, 이하, ‘NUI 장치’)는 장착되어 있는 이미지 센서 및 깊이 감지 센서 등을 이용하여 사용자의 동작과 포즈를 인식하거나 장착되어 있는 마이크를 통해 사용자의 음성을 인식하여 임의의 장치 혹은 소프트웨어와의 상호작용 명령에 이용하는 모든 장치를 일컫는다.
이러한 NUI 장치를 이용한 종래기술로서, 공개특허공보 제10-2014-0028064호 (공개일 : 2014.03.07)는 펼친 손이나 오므린 손을 인식하여 그에 대응하는 소프트웨어를 구동하는 개념을 개시하고 있다. 이러한 방식은 현대 컴퓨터 등에서 광범위하게 활용되고 있는 마우스/트랙패드/트랙볼을 이용한 상호작용 방식의 연장선으로도 볼 수 있다.
이러한 상호작용방식을 용이하게 하기 위해서, 애플리케이션 내에 수행할 수 있는 명령들을 바둑판식으로 나열된 버튼들로 나타내고, 사용자의 동작에 의해 커서를 이동시킴으로써 애플리케이션을 실행시킬 수 있는 인터페이스가 제공되고 있다. 그러나, 이러한 방식은 사용자가 자신의 손의 위치와 화면 상의 커서 위치간의 관계를 끊임없이 학습해야 하며, 화면 가장자리에 표시된 버튼을 입력하고자 할 경우, 자신의 팔을 크게 움직여야만 입력하게 되는 불편함이 야기되고 있어, 사용자에게 최적화된 인터페이스라고 볼 수 없다.
한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 발명의 일실시예는 사용자의 손의 위치와 영상표시장치의 화면 상의 커서 위치 간의 관계를 최소화하면서 직관적인 애플리케이션 이용이 가능하도록 하는 인터페이스를 제공하는 데에 목적이 있다.
상술한 목적을 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따르면, 인터페이스 제공장치에 의해 수행되는, NUI 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법에 있어서, (a) 복수의 애플리케이션에 대한 아이콘이 원형으로 배열되는 상호작용 인터페이스를 영상표시장치로 제공하는 단계; (b) NUI (Natural User Interface) 장치가 상기 인터페이스 제공장치와 떨어져 있는 사용자의 동작을 인식하여, 상기 NUI 장치로부터 상기 사용자의 동작에 대한 인식정보를 수신하는 단계; (c) 상기 인식정보를 분석하여, 상기 원형으로 배열된 상기 복수의 아이콘을 회전시키는 사용자의 동작 및 상기 복수의 아이콘 중 어느 하나의 아이콘을 선택하는 사용자의 동작 중 어느 하나에 대한 동작정보를 생성하는 단계; 및 (d) 상기 동작정보에 따르는 명령이 실행된 상호작용 인터페이스를 상기 영상표시장치로 제공하는 단계;를 포함한다.
한편, 본 발명의 제 2 측면에 따르는 NUI 장치를 통하여 사용자와 상호작용하는 인터페이스 제공장치는, 복수의 애플리케이션에 대한 아이콘이 원형으로 배열되는 상호작용 인터페이스를 영상표시장치로 제공하는 인터페이스 제공부; NUI (Natural User Interface) 장치가 상기 인터페이스 제공장치와 떨어져 있는 사용자의 동작을 인식하여, 상기 NUI 장치로부터 상기 사용자의 동작에 대한 인식정보를 수신하는 인식정보 수신부; 상기 인식정보를 분석하여, 상기 원형으로 배열된 상기 복수의 아이콘을 회전시키는 사용자의 동작 및 상기 복수의 아이콘 중 어느 하나의 아이콘을 선택하는 사용자의 동작 중 어느 하나에 대한 동작정보를 생성하는 동작정보 생성부; 및 상기 동작정보에 따라 상기 상호작용 인터페이스를 실행시키는 실행정보를 상기 영상표시장치로 제공하는 실행정보 제공부;를 포함한다.
한편, 제 3 측면에 따르면, 제 1 측면의 NUI 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법을 수행하기 위하여 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램이 제공될 수 있다.
또 한편, 제 4 측면에 따르면, 제 1 측면의 NUI 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법을 수행하기 위한 컴퓨터 프로그램 코드가 저장된 컴퓨터 판독가능 기록매체가 제공될 수 있다.
본 발명의 일실시예는, 손동작을 회전시키거나, 손동작을 일 방향으로 이동시키는 것과 같은 단순한 입력만으로 아이콘을 선택할 수 있게 하는 상호작용 인터페이스를 제공함으로써, 사용자에게 편리하고 최적화된 인터페이스 환경을 제공할 수 있다. 또한, 상호작용 인터페이스를 입체 나선형으로 형성함으로써 무수히 많은 아이콘들을 포함시키고 사용자에게 직관적인 인터페이스 환경을 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 NUI 장치를 통하여 사용자와 상호작용하는 인터페이스 제공시스템의 구성도이다.
도 2는 본 발명의 일실시예에 따른 NUI 장치를 통하여 사용자와 상호작용하는 인터페이스 제공장치의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 동작정보 생성부의 구성을 나타낸 블록도이다.
도 4 내지 도 8은 본 발명의 일실시예에 따르는 원형 상호작용 인터페이스의 동작을 설명하기 위한 예시도이다.
도 9 내지 도 13은 본 발명의 일실시예에 따르는 나선형 상호작용 인터페이스의 동작을 설명하기 위한 예시도이다.
도 14는 본 발명의 다른 실시예에 따르는 나선형 상호작용 인터페이스의 동작을 설명하기 위한 예시도이다.
도 15는 본 발명의 일실시예에 따른 NUI 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법을 설명하기 위한 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1을 참조하면, 본 발명의 일실시예에 따른 시스템(10)은 NUI 장치(100), 인터페이스 제공장치(200) 및 영상표시장치(300)를 포함한다.
NUI 장치(100)는 이미지 센서, 깊이감지 센서 및 음성인식 센서 중 적어도 하나를 이용하여 사용자의 동작이나 포즈 또는 음성을 인식하여, 소프트웨어 프로그램이나 애플리케이션의 명령에 이용할 수 있는 모든 장치를 의미한다. 대표적인 NUI 장치(100)로서, 터치 스크린이 탑재된 태블릿 PC, 스마트폰, 깊이 카메라 등을 들 수 있다. 본 발명의 일실시예의 NUI 장치(100)는 깊이 카메라와 같은 사용자의 동작을 촬영하고 동작 인식정보를 추출할 수 있는 장치인 것이 바람직하다.
NUI 장치(100)는 사용자의 신체의 전체 또는 일부를 촬영함으로써 사용자의 손, 손가락 또는 관절의 위치정보, 사용자의 손, 손가락 또는 관절의 회전정보 및 사용자의 손 펼침 또는 주먹쥠 정보 중 적어도 하나를 포함하는 인식정보를 생성하여 인터페이스 제공장치(200)로 유/무선 통신 수단을 통해 전송한다.
인터페이스 제공장치(200)는 상호작용 인터페이스를 영상표시장치(300)를 통하여 제공한다. 그리고 인터페이스 제공장치(200)는 NUI 장치(100)로부터 수신한 인식정보를 통해 사용자의 동작을 분석하여 동작정보를 생성하며, 생성된 동작정보에 포함된 명령에 따라 상호작용 인터페이스를 실행시키는 실행정보를 영상표시장치(300)로 전달한다. 즉, 인터페이스 제공장치(200)는 사용자의 동작을 분석하여 사용자의 동작에 부합하는 상호작용 인터페이스의 동작결과를 유/무선 통신수단을 통해 영상표시장치(300)로 전송한다.
이러한 인터페이스 제공장치(200)는 타 단말 및 서버와 연결 가능한 컴퓨터나 휴대용 단말기, 텔레비전, 웨어러블 디바이스(Wearable Device) 등으로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop)등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 스마트폰(Smart Phone)과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 나아가 웨어러블 디바이스는 예를 들어, 시계, 안경, 액세서리, 의복, 신발 등 인체에 직접 착용 가능한 타입의 정보처리장치로서, 직접 또는 다른 정보처리장치를 통해 네트워크를 경유하여 원격지의 서버에 접속하거나 타 단말과 연결될 수 있다.
영상표시장치(300)는 인터페이스 제공장치(200)로부터 수신한 실행정보에 따라 상호작용 인터페이스를 표시하는 장치로서, 컴퓨터 모니터, TV, 프로젝터, 구글 글래스 등 영상을 표시할 수 있는 모든 종류의 기기가 될 수 있다.
한편, 인터페이스 제공장치(200)는 영상표시장치(300)를 포함하여 구성될 수도 있다. 예를 들어, 인터페이스 제공장치(200)가 노트북, 스마트폰, 태블릿 PC 등과 같이 표시 모듈을 탑재하는 경우를 들 수 있다.
이하, 도 2 및 도 3을 참조하여, 본 발명의 일실시예에 따르는 인터페이스 제공장치(200)의 구성에 대하여 구체적으로 설명한다.
인터페이스 제공부(210)는 영상표시장치(300)로 상호작용 인터페이스 정보를 전송하여 사용자에게 상호작용 인터페이스를 제공한다. 도 4를 참고하면, 본 발명의 일실시예에 따르는 원형 상호작용 인터페이스(CI)가 영상표시장치(300)의 화면 상에 도시되어 있다. 원형 상호작용 인터페이스(CI)는 원형 테두리 내에서 원형으로 배열된 복수의 아이콘을 포함한다. 각 아이콘은 임의의 애플리케이션에 대한 실행명령을 포함하는 명령 버튼으로서, 예를 들어, exe 파일에 포함된 실행명령을 포함하거나, exe 파일과 링크된 버튼일 수 있다. 또한, 각각의 아이콘은 모두 서로 다른 애플리케이션의 실행명령을 포함하고 있다. 이때, 애플리케이션이란 소프트웨어 프로그램 또는 소프트웨어 프로그램의 내부 기능을 실행하는 프로그램이나 그 밖의 하드웨어에 관한 다른 기능을 실행하는 프로그램을 포함하는 것이다. 또한, 각 아이콘은 어느 하위 그룹의 아이콘에 대한 상위 아이콘일 수도 있으며, 이 경우, 상위 아이콘 클릭시 하위 그룹의 아이콘들이 나타나게 된다.
인식정보 수신부(220)는 NUI 장치(100)로부터 사용자의 동작을 인식한 인식정보를 수신한다. 사용자가 검지손가락으로 다이얼을 돌리는 듯한 동작을 수행하는 경우, NUI 장치(100)는 이에 대한 인식정보를 생성하여 인식정보 수신부(220)로 전송한다. 인식정보는 앞서 설명한 바와 같이 사용자의 손, 손가락 또는 관절에 대한 위치, 회전 정보 등을 포함하는 정보이다. 예를 들어, 인식정보는 검지손가락의 위치변화에 대한 정보, 검지손가락을 제외한 나머지 손가락의 주먹쥠 형태에 대한 정보 등을 포함한다. 또한, 인식정보 수신부(220)는 일정한 시간 주기(예를 들어, 0.5초 이상)마다 특정 개수 미만의 인식정보(즉, 특정 용량 미만의 데이터)를 수신하여 저장한다.
동작정보 생성부(230)는 수신된 인식정보를 바탕으로 사용자의 동작이 ① 복수의 아이콘을 회전시키는 사용자의 동작, ② 상기 복수의 아이콘 중 어느 하나의 아이콘을 선택하는 사용자의 동작 중 어느 것인지 또는 ③ 상호작용 인터페이스가 인식할 수 있는 동작이 입력되지 않은 상태인지 판단하여 해당하는 동작정보를 생성한다.
구체적으로, 도 3을 참조하면 동작정보 생성부(230)는 회전동작정보 생성부(231)와 선택동작정보 생성부(232)를 포함한다.
동작정보 생성부(230)는 수신된 인식정보 내에 미리 설정된 회전동작 인식정보와 대응하는 인식정보가 포함되어 있는 경우, 사용자의 동작이 ① 동작(즉, 복수의 아이콘을 회전시키는 사용자의 동작)이라 판단하여 인식정보를 회전동작정보 생성부(231)로 전달한다. 반면, 미리 설정된 회전동작 인식정보와 대응하는 인식정보가 포함되어 있지 않은 경우, ② 또는 ③의 상태라고 판단하여, 인식정보를 선택동작정보 생성부(232)로 전달한다. 여기서 미리 설정된 회전동작 인식정보는 손의 주먹쥠, 엄지손가락과 검지손가락 간의 맞닿음 동작과 같이 사용자의 관절의 위치와 무관하게 일정시간 이상 그 형태가 지속될 수 있는 인식정보일 수 있다.
회전동작정보 생성부(231)는 사용자가 의도한 복수의 아이콘을 회전시키는 회전방향과 회전정도에 관한 값을 계산하여, 회전방향 및 회전정도가 포함된 회전동작정보를 생성한다.
구체적으로, 회전동작정보 생성부(231)는 인식정보에 포함된 사용자의 손, 손가락 또는 관절의 연속된 위치정보를 아래 수학식 1과 같이 위치시퀀스정보로 표현한다.
<수학식 1>
Figure PCTKR2015006431-appb-I000001
H는 위치시퀀스정보의 좌표 정보로서, 위의 식에서 pi는 좌표를 나타내는 열벡터이다.
이어서, 회전동작정보 생성부(231)는 회전방향과 회전정도를 계산하기 위해서, 최소자승법을 통한 원형 근사법(Circular approximation via least-square method)에 위치시퀀스정보(H)를 대입하여, 위치시퀀스정보(H)를 통하여 근사화되는 원의 중심위치와 원의 반지름을 계산한다. 위치시퀀스정보(H)를 통하여 근사화되는 원의 중심위치와 원의 반지름이란, 사용자의 손, 손가락 또는 관절의 동작에 의해 그려지는 원 또는 호의 중심위치와 반지름을 의미한다.
이를 구체적으로 설명하면, 먼저, 원의 수식을 아래와 같이 수학식 2와 같다고 가정한다.
<수학식 2>
Figure PCTKR2015006431-appb-I000002
여기서, a ≠ 0 이다. 이어서, 수학식 3의 에너지 함수가 최소값을 갖게 하는 a, b, c값을 구함으로써, 위치시퀀스정보(H)를 최대한 근사하는 원의 계수 a, b, c를 획득할 수 있다.
<수학식 3>
Figure PCTKR2015006431-appb-I000003
구체적으로, 수학식 3의 에너지함수를 최소화하는 원의 계수 a, b, c는 수학식 3의 에너지함수를 a, b, c로 각각 편미분하였을 때 0이되는 지점을 찾음으로써 획득될 수 있다. 수학식 3의 에너지함수를 a, b, c별로 편미분한 방정식은 수학식 4와 같다.
<수학식 4>
Figure PCTKR2015006431-appb-I000004
수학식 4는 아래 수학식 5와 같은 선형대수 방정식으로 정리될 수 있다.
<수학식 5>
Figure PCTKR2015006431-appb-I000005
수학식 5의 선형대수 방정식의 해를 구할 경우, a, b, c값이 획득되므로, 사용자가 손, 손가락 또는 관절 등을 통하여 그리고 있는 원의 중심위치와 원의 반지름을 획득할 수 있다.
이어서, 수학식 6에, 원의 중심위치와 위치시퀀스정보(H)를 대입하여 사용자가 의도하는 복수의 아이콘의 회전방향 및 회전정도를 계산할 수 있다.
<수학식 6>
Figure PCTKR2015006431-appb-I000006
위 식에서 (rx, ry)는 원의 중심위치이며, (x, y)는 위치시퀀스정보(H)를 구성하는 좌표이다. 그리고 수학식 6은 부호있는 삼각형 면적의 총합을 계산하는 수식으로서, 오른손 좌표계를 기준으로 할 때, 사용자의 손, 손가락 또는 관절이 z축의 시계방향으로 회전할 경우, s는 음수값을 나타내며, z축의 반시계방향으로 회전할 경우, s는 양수값을 나타낸다. 그리고, s의 절대값은 회전정도를 의미한다. 즉, (회전방향, 회전정도) = (s의 부호, |s|)로 간단하게 정의될 수 있다.
정리하면, 회전동작정보 생성부(231)는 사용자가 손 또는 손가락을 시계방향 또는 반시계방향으로 그리는 것과 같은 동작을 수행한 경우, 사용자가 의도한 회전방향과 회전정도를 파악하여 회전동작정보를 생성한다.
이어서, 선택동작정보 생성부(232)는 인식정보에 포함된 사용자의 손, 손가락 또는 관절의 연속된 위치정보로부터 가속도가 급격히 증가하는 위치를 파악하여, 가속도의 크기가 기준치와 같거나 클 경우 선택동작정보를 생성하며 그렇지 않을 경우, 상호작용 인터페이스에 대한 입력동작이 없는 것으로 판단한다.
선택동작정보 생성부(232)가 급격한 가속도 증가 위치를 찾아내는 방법은 다음과 같다. 먼저, 수학식 1을 통해 좌표화된 위치시퀀스정보(H)에 대하여, 아래 수학식 7과 같은 가우시안 커널 콘볼루션을 적용한다. 가우시안 커널 콘볼루션 적용결과 산출된 시퀀스정보(H’ )는 노이즈가 제거된 부드러운 위치시퀀스정보이다.
<수학식 7>
Figure PCTKR2015006431-appb-I000007
위 식에서 g(j-i)는 가우시안 커널 함수를 의미하며, k는 가우시안 커널의 크기를 의미하고, σ는 가우시안 커널의 표준편차를 의미하는 것으로서, k와 σ은 인터페이스 제공장치(200) 내에서 미리 정의된다.
이어서, 노이즈제거된 위치시퀀스정보(H’ )를 두 번 미분하여 아래 수학식 8과 같이 가속도(ai)에 관한 수식을 구하고, 가속도의 크기에 관한 가속도시퀀스정보(A)를 획득한다. 이때, 미분은 가속도시퀀스정보(A)의 특성상 유한 미분(finite difference)으로 수행한다.
<수학식 8>
Figure PCTKR2015006431-appb-I000008
이어서, 가속도시퀀스정보(A)로부터 가속도의 크기가 가장 높은 극점을 찾고, 이러한 극점이 기준치와 같거나 높을 경우 아래 수학식 9를 이용하여 사용자의 동작의 방향(즉, 아이콘 선택을 위해 손이나 손가락을 이동시키는 방향)을 계산한다.
<수학식 9>
Figure PCTKR2015006431-appb-I000009
(x, y)는 위치시퀀스정보(H)의 좌표로서, t는 방향각을 의미한다.
그러나, 가속도의 크기가 가장 높은 극점의 값이 기준치보다 작은 경우, 상호작용 인터페이스에 대한 입력동작이 없는 것으로 처리한다.
정리하면, 선택동작정보 생성부(232)는 사용자가 손가락, 손 등을 어느 일 방향으로 빠른 시간 내에 이동시키는 경우, 상기 일 방향의 정보를 파악하여 선택동작정보를 생성한다.
실행정보 제공부(240)는 동작정보에 따라 상호작용 인터페이스를 실행시키는 실행정보를 생성하여 영상표시장치(300)로 제공한다.
예를 들어, 회전동작정보는 도 5에 도시된 바와 같이 시계방향으로 화살표의 길이 정도만큼 복수의 아이콘을 회전시키는 명령을 포함할 수 있다. 이에 대하여, 실행정보 제공부(240)는 원형 상호작용 인터페이스(CI)를 도 5와 같이 회전시키는 실행정보를 생성하여 영상표시장치(300)로 제공한다. 또한, 선택동작정보는 도 6에 도시된 바와 같이, 우측방향에 배치된 아이콘의 실행을 요청하는 명령을 포함할 수 있다. 이에 대하여, 실행정보 제공부(240)는 우측방향에 배치된 A 아이콘을 실행하는 실행정보를 생성하여 영상표시장치(300)로 제공한다.
또한, A 아이콘이 A 애플리케이션 실행파일과 링크된 아이콘인 경우, 실행정보 제공부(240)는 A 애플리케이션의 실행정보를 영상표시장치(300)로 제공한다. 그러나, A 아이콘이 하위 그룹 아이콘을 포함하는 상위 그룹 아이콘인 경우, 도 7과 같이, 실행정보 제공부(240)는 하위 그룹 아이콘을 표시하게 하는 실행정보를 영상표시장치(300)로 제공한다. 도 7에서는 A 아이콘에 대한 하위 그룹으로서 A-1, A-2, A-3 아이콘이 별도로 표시되어 있다.
한편, 추가 실시예로서, 아이콘 선택은 도 6과 같은 선택동작에 의하지 않고, 도 8과 같이, 미리 설정된 위치(예를 들어, 원형의 최상단 영역)에 배치된 G아이콘을 자동으로 선택하는 방식으로 이루어질 수도 있다. 또는, 미리 설정된 위치에 배치된 G 아이콘이 선택 대상이 된다는 예비정보(G 아이콘 영역을 겹줄로 표시)만 제공한 후, 사용자로부터 손을 임의의 방향으로 이동시키는 동작정보를 입력받은 경우, G 아이콘을 선택완료하는 것으로 처리할 수도 있다.
또한, 다른 추가 실시예로서, 아이콘 선택은 주먹쥐는 동작이나 주먹을 펼치는 동작을 통해 수행될 수도 있다. 예를 들어, 선택동작정보 생성부(232)는 다섯 손가락이 가속도를 가지며 이동하는 것으로부터 선택동작임을 인식하여 선택동작정보를 생성하거나, 별도로 주먹쥠과 펼침 동작의 정보를 미리 저장해 두고 매칭되는 정보가 수신되는 경우 선택동작임으로 인식할 수도 있다.
나아가, 또 다른 추가 실시예로서, 원형 상호작용 인터페이스(CI)에 아이콘을 모두 포괄시키기 어려운 경우, 인터페이스 제공부(210)는 나선형 상호작용 인터페이스(HI)를 제공할 수도 있다. 도 9를 참고하면, 나선형 상호작용 인터페이스(HI)는 정면에서 바라볼 때는 복수의 아이콘들이 원형으로 배열된 것처럼 나타나지만, 도 10에 도시된 나선형 상호작용 인터페이스(HI)의 측면을 참고하면, 아이콘들이 지그재그의 나선형 단면에 따라 배열되도록 나타난다. 도 10는 영상표시장치(300)에 표시되는 가상 공간의 측면을 나타낸 것으로서, 사용자에게는 나선형 상호작용 인터페이스(HI)가 입체 나선형으로 제공됨을 의미하는 것이다. 또한, 실제로는 많은 아이콘들이 표시됨에도 불구하고, 아이콘들의 배치가 겹침에 따라 도 9에서는 최상단의 아이콘들만이 원형으로 배열되도록 나타난다.
또한, 도 10을 참고하면, 나선형 상호작용 인터페이스(HI)에는 가상 불투명 공간이 정의된다. 가상 불투명 공간은 영상표시장치(300)의 화면으로부터 소정의 거리 이내에 해당하는 영역이다. 도 9와 도 10을 함께 참고하면, 가상 불투명 공간에 배치된 아이콘들(나선형의 최상단으로부터 소정의 거리 이내에 배치된 아이콘 : A 아이콘 ~ E 아이콘)은 그 윤곽선이 뚜렷하게 나타나며 가상 불투명 공간에 배치되지 않은 아이콘들(F 아이콘 ~ H 아이콘 및 H 아이콘 밑에 배치된 아이콘)은 반투명하게 나타난다. 반투명하게 도시하는 이유는 영상표시장치(300)의 화면으로부터의 거리감을 나타내고 사용자에게 가까이 배치된 아이콘에 대한 집중도를 증가시키기 위해서이다.
여기서 아이콘의 투명도는 위치에 따라 조절될 수 있다. 예를 들어, 입체 나선형의 깊이감을 나타내기 위하여, 각각의 아이콘의 투명도가 다르게 설정될 수도 있으며, 또는, 하나의 아이콘 내에서도 투명도가 다르게 설정될 수도 있다.
이어서, 사용자가 손 동작을 통해 나선형 상호작용 인터페이스(HI)를 시계 반대방향으로 회전시킬 경우, 도 11과 같이 도시된다. 즉, 도 12를 참고하여 분석해보면, 사용자의 동작에 따라 나선형 상호작용 인터페이스(HI)는 영상표시장치(300)의 화면 방향으로 상승하게 된다. 그에 따라, A, B 아이콘은 가상 불투명 공간을 벗어나게 되어 반투명하게 표시된다(또는 완전 투명하게 표시될 수도 있다). 그리고, F, G 아이콘은 가상 불투명 공간으로 인입하게 되어 뚜렷하게 표시된다. 즉, 사용자의 회전 손동작에 따라 나선형 상호작용 인터페이스(HI)가 영상표시장치(300)의 화면 방향으로 상승하거나 하강하여 아이콘들을 거리감이 있게 표시하여 준다.
그리고, 도 13과 같이, 사용자가 하위 그룹 아이콘을 가진 C 아이콘을 선택하는 경우, 실행정보 제공부(240)는 하위 그룹 아이콘 역시 입체 나선형으로 표시되도록 실행정보를 생성할 수 있다.
또 한편, 인터페이스 제공부(210)는 도 14와 같은 나선형 상호작용 인터페이스(NHI)를 제공할 수도 있다. 도 14의 인터페이스(NHI)는 영상표시장치(300)의 화면에서 멀어질수록 입체 나선형의 직경이 작아지는 형태를 갖는다는 점이 도 9 내지 도 13의 인터페이스와 다르다.
이하, 도 15를 참조하여, 본 발명의 일실시예에 따르는 NUI 장치(100)를 통하여 사용자와 상호작용하는 인터페이스 제공방법에 대하여 구체적으로 설명한다. 도 15에 도시된 방법은 인터페이스 제공장치(200)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하에서 생략된 내용이라고 하더라도 인터페이스 제공장치(200)에 관하여 이상에서 기술한 내용은 도 15의 실시예에 의한 방법에도 적용될 수 있다.
먼저, 인터페이스 제공장치(200)는 상호작용 인터페이스를 영상표시장치(300)로 제공한다(S101). 상호작용 인터페이스는 도 4 내지 도 8과 같은 원형, 도 9 내지 도 13, 또는 도 14와 같은 입체 나선형으로 구성되는 것으로, 복수의 아이콘을 배열하여 사용자가 어느 하나의 아이콘을 선택할 수 있게 하는 인터페이스이다.
이어서, 인터페이스 제공장치(200)는 NUI 장치(100)로부터 사용자의 동작에 대한 인식정보를 수신한다(S102). 예를 들어, 인터페이스 제공장치(200)는 깊이 카메라로부터 사용자의 손, 손가락 또는 관절에 대한 연속된 위치정보를 포함하는 인식정보를 수신할 수 있다.
인터페이스 제공장치(200)는 인식정보 중 미리 설정된 회전동작 인식정보와 대응하는 인식정보가 존재하는지 판단한다(S103). 예를 들어, 주먹쥠, 손가락끼리의 맞닿음 등과 같이 일정시간 동안 지속될 수 있는 정보가 회전동작 인식정보로 미리 설정될 수 있다.
미리 설정된 회전동작 인식정보와 대응하는 인식정보가 존재하는 경우, 인터페이스 제공장치(200)는 인식정보가 연속된 회전동작에 관한 정보를 포함하는 것으로 판단하여, 사용자가 의도한 복수의 아이콘의 회전방향 및 회전정도를 계산하여 회전동작정보를 생성한다(S104). 예를 들어, 사용자가 손동작으로 원이나 호를 그리는 경우, 인터페이스 제공장치(200)는 이에 대하여 원이나 호를 그리는 방향과 그린 정도를 포함하는 회전동작정보를 생성한다.
반면, 미리 설정된 회전동작 인식정보와 대응하는 인식정보가 존재하지 않는 경우, 인터페이스 제공장치(200)는 인식정보 중 가속도를 가지며 변화되는 위치정보가 존재하는지 판단한다(S105).
가속도를 가지며 변화되는 위치정보가 존재하는 경우, 인터페이스 제공장치(200)는 가속도의 크기가 기준치와 같거나 큰지 판단한다(S106).
가속도의 크기가 기준치보다 큰 경우, 인터페이스 제공장치(200)는 가속도의 방향을 계산하여 선택동작정보를 생성한다(S107). 예를 들어, 사용자가 손가락을 우측으로 급격하게 이동시키는 경우, 인터페이스 제공장치(200)는 우측에 배치된 아이콘을 선택할 것을 요청하는 선택동작정보를 생성한다.
마지막으로, 인터페이스 제공장치(200)는 각 동작정보에 따라 상호작용 인터페이스를 실행시키는 실행정보를 영상표시장치(300)로 제공한다(S108). 예를 들어, 회전동작정보에 따라 복수의 아이콘을 시계방향으로 일정 길이만큼 이동시키는 실행정보나 선택동작정보에 따라 우측에 배치된 아이콘을 활성화시키는 실행정보를 영상표시장치(300)로 제공한다.
한편, S105 단계에서, 가속도를 가지며 변화되는 위치정보가 인식정보에 없거나, 가속도의 크기가 기준치에 미달되는 경우, 상호작용 인터페이스가 인식할 수 없는 사용자의 동작이거나, 사용자의 동작이 존재하지 않는 상태이므로, 인터페이스 제공장치(200)는 입력동작이 없는 것으로 처리한다(S109).
이상으로 설명한 본 발명의 일실시예는, 손동작을 회전시키거나, 손동작을 일 방향으로 이동시키는 것과 같은 단순한 입력만으로 아이콘을 선택할 수 있게 하는 상호작용 인터페이스를 제공함으로써, 사용자에게 편리하고 최적화된 인터페이스 환경을 제공할 수 있다. 또한, 상호작용 인터페이스를 입체 나선형으로 형성함으로써 무수히 많은 아이콘들을 포함시키고 사용자에게 직관적인 인터페이스 환경을 제공할 수 있다.
도 15를 통해 설명된 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
또한 본 발명의 일실시예에 따르는 방법은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 제품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다.
따라서 본 발명의 일실시예에 따르는 방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다.
여기서 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및(또는) 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및(또는) 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다.
또한 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다.
그리고 저장장치는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (23)

  1. 인터페이스 제공장치에 의해 수행되는, NUI 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법에 있어서,
    (a) 복수의 아이콘이 원형으로 배열되는 상호작용 인터페이스를 영상표시장치로 제공하는 단계;
    (b) NUI (Natural User Interface) 장치가 상기 사용자의 동작을 인식하여, 상기 NUI 장치로부터 상기 사용자의 동작에 대한 인식정보를 수신하는 단계;
    (c) 상기 인식정보를 분석하여, 상기 원형으로 배열된 상기 복수의 아이콘을 회전시키는 사용자의 동작 및 상기 복수의 아이콘 중 어느 하나의 아이콘을 선택하는 사용자의 동작 중 어느 하나에 대한 동작정보를 생성하는 단계; 및
    (d) 상기 동작정보에 따르는 명령이 실행된 상호작용 인터페이스를 상기 영상표시장치로 제공하는 단계;를 포함하며,
    상기 (d) 단계는,
    상기 동작정보가 상기 하나의 아이콘을 선택하는 동작에 대응하는 것인 경우, 상기 동작정보에 포함된 방향을 추출하고, 상기 방향에 대응하는 위치에 배치된 아이콘을 실행하되, 상기 실행된 아이콘이 애플리케이션에 대한 실행명령을 포함하는 아이콘인 경우, 상기 애플리케이션을 실행하는 실행정보를 상기 영상표시장치로 제공하거나, 상기 실행된 아이콘이 하위 그룹 아이콘을 포함하는 상위 그룹 아이콘인 경우, 상기 하위 그룹 아이콘을 표시하게 하는 실행정보를 상기 영상표시장치로 제공하는 단계를 포함하는, NUI 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법.
  2. 제 1 항에 있어서,
    상기 (a) 단계는,
    입체 나선형으로 배열된 상기 복수의 아이콘을 일 방향에서 바라볼 때 원형으로 배열된 것으로 나타나는 나선형 상호작용 인터페이스를 제공하는, NUI 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법.
  3. 제 2 항에 있어서,
    상기 (a) 단계는,
    가상 불투명 공간이 상기 복수의 아이콘이 배열된 입체 나선형이 표시된 가상 공간 상에서 정의되며,
    상기 입체 나선형 상에 배열된 아이콘이 상기 가상 불투명 공간에 포함되는지 여부에 따라 아이콘의 투명도를 조절하여 표시하도록 상기 상호작용 인터페이스를 제공하는, NUI 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법.
  4. 제 3 항에 있어서,
    상기 (d) 단계는,
    (d-1) 상기 동작정보에 따라 상기 입체 나선형이 회전 이동하는 경우, 상기 입체 나선형의 회전에 따라 상기 가상 불투명 공간에 포함되어 있다가 벗어나게 되는 아이콘은 투명도가 상승되도록 표시하고, 상기 가상 불투명 공간에 벗어나 있다가 인입하게 되는 아이콘은 투명도가 낮아지도록 표시하게 하는 실행정보를 상기 영상표시장치로 제공하는 단계를 포함하는, NUI 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법.
  5. 제 1 항에 있어서,
    상기 (b) 단계는,
    사용자의 손 또는 관절의 위치정보, 사용자의 손 또는 관절의 회전정보 및 사용자의 손 펼침 또는 주먹쥠 정보 중 적어도 하나를 포함하는 인식정보를 상기 NUI 장치로부터 수신하는, NUI 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법.
  6. 제 1 항에 있어서,
    상기 (c) 단계는,
    (c-1) 상기 인식정보 중 미리 설정된 회전동작 인식정보와 대응하는 인식정보가 존재하는 경우, 상기 복수의 아이콘을 회전시키는 사용자의 동작에 대한 동작정보를 생성하는 단계; 및
    (c-2) 상기 인식정보 중 미리 설정된 회전동작 인식정보와 대응하는 인식정보가 존재하지 않는 경우, 상기 복수의 아이콘 중 어느 하나의 아이콘을 선택하는 사용자의 동작에 대한 동작정보를 생성하는 단계;
    를 포함하는, NUI 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법.
  7. 제 6 항에 있어서,
    상기 (c-1) 단계는,
    상기 인식정보를 통하여 상기 사용자가 의도한 상기 복수의 아이콘의 회전방향 및 회전정도를 계산하여, 상기 회전방향 및 회전정도에 대한 명령을 포함하는 동작정보를 생성하는, NUI 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법.
  8. 제 7 항에 있어서,
    상기 (c-1) 단계는,
    상기 인식정보에 포함된 상기 사용자의 손 또는 관절의 연속된 위치정보를 좌표로 표현하는 단계;
    상기 좌표로 표현된 상기 위치정보를 최소자승법을 통한 원형 근사법(Circular approximation via least-square method)에 대입하여 상기 사용자의 손 또는 관절이 그리는 원 또는 호의 중심위치와 원 또는 호의 반지름을 계산하는 단계; 및
    상기 원 또는 호의 중심위치와 반지름 및 상기 위치정보의 좌표를 이용하여 상기 복수의 아이콘의 회전방향 및 회전정도를 계산하여 상기 동작정보를 생성하는 단계;
    를 포함하는, NUI 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법.
  9. 제 6 항에 있어서,
    상기 (c-2) 단계는,
    (c-3) 상기 인식정보 중 사용자의 손 및 관절 중 어느 한 지점의 위치가 소정의 가속도를 가지며 변화되는 정보가 존재하는 경우, 상기 가속도의 크기가 기준치와 같거나 크다면, 아이콘을 선택하는 사용자의 동작에 대한 동작정보를 생성하고, 상기 가속도의 크기가 상기 기준치보다 작다면, 사용자의 입력동작이 없는 것으로 처리하는 단계; 및
    (c-4) 상기 인식정보 중 사용자의 손 및 관절 중 어느 한 지점의 위치가 소정의 가속도를 가지며 변화되는 정보가 존재하지 않는 경우, 사용자의 입력동작이 없는 것으로 처리하는 단계;를 포함하는, NUI 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법.
  10. 제 9 항에 있어서,
    상기 (c-3) 단계는,
    상기 인식정보에 포함된 상기 사용자의 손 또는 관절의 연속된 위치정보를 좌표로 표현하는 단계;
    상기 좌표로 표현된 위치정보에 가우시안 커널 콘볼루션을 적용하여 노이즈를 제거하는 단계;
    상기 노이즈 제거된 위치정보를 미분하여 가속도의 크기에 대한 수식을 획득하는 단계;
    상기 가속도의 크기에 대한 수식으로부터 상기 가속도의 크기가 가장 높은 극점을 구하여, 상기 극점이 상기 기준치보다 높은지 판단하는 단계; 및
    상기 가속도의 크기가 기준치와 같거나 클 경우, 상기 사용자의 동작의 방향을 계산하여 아이콘을 선택하는 사용자의 동작에 대한 동작정보를 생성하고, 상기 가속도의 크기가 상기 기준치보다 작을 경우, 사용자의 입력동작이 없는 것으로 처리하는 단계;를 포함하는, NUI 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법.
  11. 제 1 항에 있어서,
    상기 NUI 장치는,
    이미지 센서, 깊이감지 센서 및 음성인식 센서 중 적어도 하나를 통하여 상기 사용자의 동작이나 음성을 인식하는 장치인, NUI 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법.
  12. 복수의 아이콘이 원형으로 배열되는 상호작용 인터페이스를 영상표시장치로 제공하는 인터페이스 제공부;
    NUI (Natural User Interface) 장치가 사용자의 동작을 인식하여, 상기 NUI 장치로부터 상기 사용자의 동작에 대한 인식정보를 수신하는 인식정보 수신부;
    상기 인식정보를 분석하여, 상기 원형으로 배열된 상기 복수의 아이콘을 회전시키는 사용자의 동작 및 상기 복수의 아이콘 중 어느 하나의 아이콘을 선택하는 사용자의 동작 중 어느 하나에 대한 동작정보를 생성하는 동작정보 생성부; 및
    상기 동작정보에 따라 상기 상호작용 인터페이스를 실행시키는 실행정보를 상기 영상표시장치로 제공하는 실행정보 제공부;를 포함하며,
    상기 실행정보 제공부는, 상기 동작정보가 상기 하나의 아이콘을 선택하는 동작에 대응하는 것인 경우, 상기 동작정보에 포함된 방향을 추출하고, 상기 방향에 대응하는 위치에 배치된 아이콘을 실행하되, 상기 실행된 아이콘이 애플리케이션에 대한 실행명령을 포함하는 아이콘인 경우, 상기 애플리케이션을 실행하는 실행정보를 상기 영상표시장치로 제공하거나, 상기 실행된 아이콘이 하위 그룹 아이콘을 포함하는 상위 그룹 아이콘인 경우, 상기 하위 그룹 아이콘을 표시하게 하는 실행정보를 상기 영상표시장치로 제공하는, NUI 장치를 통하여 사용자와 상호작용하는 인터페이스 제공장치.
  13. 제 12 항에 있어서,
    상기 인터페이스 제공부는,
    입체 나선형으로 배열된 상기 복수의 아이콘을 일 방향에서 바라볼 때 원형으로 배열된 것으로 나타나는 나선형 상호작용 인터페이스를 제공하는, NUI 장치를 통하여 사용자와 상호작용하는 인터페이스 제공장치.
  14. 제 13 항에 있어서,
    상기 인터페이스 제공부는,
    가상 불투명 공간이 상기 복수의 아이콘이 배열된 입체 나선형이 표시된 가상 공간 상에서 정의되며,
    상기 입체 나선형 상에 배열된 아이콘이 상기 가상 불투명 공간에 포함되는지 여부에 따라 아이콘의 투명도를 조절하여 표시하도록 상기 상호작용 인터페이스를 제공하는, NUI 장치를 통하여 사용자와 상호작용하는 인터페이스 제공장치.
  15. 제 14 항에 있어서,
    상기 실행정보 제공부는,
    상기 동작정보에 따라 상기 입체 나선형이 회전 이동하는 경우, 상기 입체 나선형의 회전에 따라 상기 가상 불투명 공간에 포함되어 있다가 벗어나게 되는 아이콘은 투명도가 상승되도록 표시하고, 상기 가상 불투명 공간에 벗어나 있다가 인입하게 되는 아이콘은 투명도가 낮아지도록 표시하게 하는 실행정보를 상기 영상표시장치로 제공하는, NUI 장치를 통하여 사용자와 상호작용하는 인터페이스 제공장치.
  16. 제 12 항에 있어서,
    상기 인식정보 수신부는,
    사용자의 손 또는 관절의 위치정보, 사용자의 손 또는 관절의 회전정보 및 사용자의 손 펼침 또는 주먹쥠 정보 중 적어도 하나를 포함하는 인식정보를 상기 NUI 장치로부터 수신하는, NUI 장치를 통하여 사용자와 상호작용하는 인터페이스 제공장치.
  17. 제 12 항에 있어서,
    상기 동작정보 생성부는,
    상기 인식정보 중 미리 설정된 회전동작 인식정보와 대응하는 인식정보가 존재하는 경우, 상기 복수의 아이콘을 회전시키는 사용자의 동작에 대한 동작정보를 생성하는 회전동작정보 생성부; 및
    상기 인식정보 중 미리 설정된 회전동작 인식정보와 대응하는 인식정보가 존재하지 않는 경우, 상기 복수의 아이콘 중 어느 하나의 아이콘을 선택하는 사용자의 동작에 대한 동작정보를 생성하는 선택동작정보 생성부;를 포함하는, NUI 장치를 통하여 사용자와 상호작용하는 인터페이스 제공장치.
  18. 제 17 항에 있어서,
    상기 회전동작정보 생성부는,
    상기 인식정보를 통하여 상기 사용자가 의도한 상기 복수의 아이콘의 회전방향 및 회전정도를 계산하여, 상기 회전방향 및 회전정도에 대한 명령을 포함하는 동작정보를 생성하는, NUI 장치를 통하여 사용자와 상호작용하는 인터페이스 제공장치.
  19. 제 18 항에 있어서,
    상기 회전동작정보 생성부는,
    상기 인식정보에 포함된 상기 사용자의 손 또는 관절의 연속된 위치정보를 좌표로 표현하고,
    상기 좌표로 표현된 상기 위치정보를 최소자승법을 통한 원형 근사법(Circular approximation via least-square method)에 대입하여 상기 사용자의 손 또는 관절이 그리는 원 또는 호의 중심위치와 원 또는 호의 반지름을 계산하며,
    상기 원 또는 호의 중심위치와 반지름 및 상기 위치정보의 좌표를 이용하여 상기 복수의 아이콘의 회전방향 및 회전정도를 계산하여 상기 동작정보를 생성하는, NUI 장치를 통하여 사용자와 상호작용하는 인터페이스 제공장치.
  20. 제 17 항에 있어서,
    상기 선택동작정보 생성부는,
    상기 인식정보 중 사용자의 손 및 관절 중 어느 한 지점의 위치가 소정의 가속도를 가지며 변화되는 정보를 포함하는 경우, 상기 가속도의 크기가 기준치와 같거나 클 경우, 아이콘을 선택하는 사용자의 동작에 대한 동작정보를 생성하고, 상기 가속도의 크기가 상기 기준치보다 작을 경우, 사용자의 입력동작이 없는 것으로 처리하는, NUI 장치를 통하여 사용자와 상호작용하는 인터페이스 제공장치.
  21. 제 20 항에 있어서,
    상기 선택동작정보 생성부는,
    상기 인식정보에 포함된 상기 사용자의 손 또는 관절의 연속된 위치정보를 좌표로 표현하고,
    상기 좌표로 표현된 위치정보에 가우시안 커널 콘볼루션을 적용하여 노이즈를 제거하며,
    상기 노이즈 제거된 위치정보를 미분하여 가속도의 크기에 대한 수식을 획득하고,
    상기 가속도의 크기에 대한 수식으로부터 상기 가속도의 크기가 가장 높은 극점을 구하여, 상기 극점이 상기 기준치보다 높은지 판단하며,
    상기 가속도의 크기가 기준치와 같거나 클 경우, 상기 사용자의 동작의 방향을 계산하여 아이콘을 선택하는 사용자의 동작에 대한 동작정보를 생성하고, 상기 가속도의 크기가 상기 기준치보다 작을 경우, 사용자의 입력동작이 없는 것으로 처리하는, NUI 장치를 통하여 사용자와 상호작용하는 인터페이스 제공장치.
  22. 제 1 항 내지 제 11 항 중 어느 한 항에 따르는 NUI 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법을 수행하기 위하여 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램.
  23. 제 1 항 내지 제 11 항 중 어느 한 항에 따르는 NUI 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법을 수행하기 위한 컴퓨터 프로그램 코드가 저장된 컴퓨터 판독가능 기록매체.
PCT/KR2015/006431 2014-07-31 2015-06-24 Nui 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법 및 제공장치 WO2016017931A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/414,609 US20170131785A1 (en) 2014-07-31 2017-01-24 Method and apparatus for providing interface interacting with user by means of nui device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0098129 2014-07-31
KR20140098129A KR101488662B1 (ko) 2014-07-31 2014-07-31 Nui 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법 및 제공장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/414,609 Continuation US20170131785A1 (en) 2014-07-31 2017-01-24 Method and apparatus for providing interface interacting with user by means of nui device

Publications (1)

Publication Number Publication Date
WO2016017931A1 true WO2016017931A1 (ko) 2016-02-04

Family

ID=52590030

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/006431 WO2016017931A1 (ko) 2014-07-31 2015-06-24 Nui 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법 및 제공장치

Country Status (3)

Country Link
US (1) US20170131785A1 (ko)
KR (1) KR101488662B1 (ko)
WO (1) WO2016017931A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111710314A (zh) * 2020-06-23 2020-09-25 深圳创维－Rgb电子有限公司 一种显示画面的调整方法、智能终端及可读存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD978909S1 (en) * 2020-07-02 2023-02-21 Orpheus Mind Technologies Limited Display screen or portion thereof with icon
US20220253148A1 (en) * 2021-02-05 2022-08-11 Pepsico, Inc. Devices, Systems, and Methods for Contactless Interfacing
CN114911384B (zh) * 2022-05-07 2023-05-12 青岛海信智慧生活科技股份有限公司 镜子显示器及其远程控制方法
CN116880726B (zh) * 2023-09-06 2023-12-19 深圳有咖互动科技有限公司 3d空间的图标交互方法、装置、电子设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002074322A (ja) * 2000-08-31 2002-03-15 Sony Corp 情報処理装置及び情報処理方法並びにデータ記録媒体
JP2010092505A (ja) * 2006-10-13 2010-04-22 Sony Corp 表示制御装置、表示制御方法、およびプログラム
KR20110008313A (ko) * 2008-06-03 2011-01-26 시마네켄 화상인식장치 및 조작판정방법과 이를 위한 프로그램을 기록한 컴퓨터 판독가능한 기록매체
US20120229377A1 (en) * 2011-03-09 2012-09-13 Kim Taehyeong Display device and method for controlling the same

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6333753B1 (en) * 1998-09-14 2001-12-25 Microsoft Corporation Technique for implementing an on-demand display widget through controlled fading initiated by user contact with a touch sensitive input device
GB2485218A (en) * 2010-11-05 2012-05-09 Promethean Ltd A method of navigating radial menu options
KR101800182B1 (ko) * 2011-03-16 2017-11-23 삼성전자주식회사 가상 객체 제어 장치 및 방법
US20130080976A1 (en) * 2011-09-28 2013-03-28 Microsoft Corporation Motion controlled list scrolling
TWI450128B (zh) * 2011-12-05 2014-08-21 Wistron Corp 手勢偵測方法、手勢偵測系統及電腦可讀取儲存媒體
US8994827B2 (en) * 2012-11-20 2015-03-31 Samsung Electronics Co., Ltd Wearable electronic device
CN105210115B (zh) * 2013-06-10 2020-10-30 英特尔公司 使用2d图像数据来执行手势识别
US20150046878A1 (en) * 2013-08-08 2015-02-12 Sony Electronics Inc. Information processing apparatus and information processing method
JP2015099574A (ja) * 2013-11-20 2015-05-28 株式会社東芝 認識装置、認識方法、認識プログラム及び端末装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002074322A (ja) * 2000-08-31 2002-03-15 Sony Corp 情報処理装置及び情報処理方法並びにデータ記録媒体
JP2010092505A (ja) * 2006-10-13 2010-04-22 Sony Corp 表示制御装置、表示制御方法、およびプログラム
KR20110008313A (ko) * 2008-06-03 2011-01-26 시마네켄 화상인식장치 및 조작판정방법과 이를 위한 프로그램을 기록한 컴퓨터 판독가능한 기록매체
US20120229377A1 (en) * 2011-03-09 2012-09-13 Kim Taehyeong Display device and method for controlling the same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111710314A (zh) * 2020-06-23 2020-09-25 深圳创维－Rgb电子有限公司 一种显示画面的调整方法、智能终端及可读存储介质

Also Published As

Publication number Publication date
US20170131785A1 (en) 2017-05-11
KR101488662B1 (ko) 2015-02-04

Similar Documents

Publication Publication Date Title
WO2016017932A1 (ko) 사용자의 시점을 고려하여 동작인식하는 인터페이스 제공방법 및 제공장치
WO2016017931A1 (ko) Nui 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법 및 제공장치
EP2905679B1 (en) Electronic device and method of controlling electronic device
WO2015016585A1 (en) Electronic device and method of recognizing input in electronic device
WO2014030902A1 (en) Input method and apparatus of portable device
WO2019083324A1 (en) TOUCH INPUT METHOD AND ELECTRONIC DEVICE THEREFOR
WO2011081371A1 (en) Password processing method and apparatus
WO2015099293A1 (en) Device and method for displaying user interface of virtual input device based on motion recognition
WO2015161653A1 (zh) 一种终端操作方法及终端设备
WO2012141352A1 (en) Gesture recognition agnostic to device orientation
JP4900361B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2014186361A (ja) 情報処理装置、操作制御方法及びプログラム
WO2012154001A2 (ko) 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법
JP2012018600A (ja) 表示制御装置および表示制御方法、表示制御プログラム、記録媒体
US10754446B2 (en) Information processing apparatus and information processing method
KR20140100547A (ko) 모바일 장치상의 풀 3d 상호작용
WO2020216106A1 (zh) 一种穿戴式计算设备和一种人机交互方法
WO2016035940A1 (en) Display device and method of controlling therefor
US20180210597A1 (en) Information processing device, information processing method, and program
US10936148B1 (en) Touch interaction in augmented and virtual reality applications
WO2021244650A1 (zh) 控制方法、装置、终端及存储介质
CN110717993A (zh) 一种分体式ar眼镜系统的交互方法、系统及介质
US20150205360A1 (en) Table top gestures for mimicking mouse control
CN103279189A (zh) 一种便携式电子设备的交互装置及其交互方法
Lakshmi et al. A novel air writing recognition system using Raspberry Pi for the control and interaction of digital systems

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15826974

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 11.05.2017)

122 Ep: pct application non-entry in european phase

Ref document number: 15826974

Country of ref document: EP

Kind code of ref document: A1