KR20110116487A - Method and apparatus for hand-gesture based user interaction technique for 3-dimensional user interface - Google Patents

Method and apparatus for hand-gesture based user interaction technique for 3-dimensional user interface Download PDF

Info

Publication number
KR20110116487A
KR20110116487A KR1020100035933A KR20100035933A KR20110116487A KR 20110116487 A KR20110116487 A KR 20110116487A KR 1020100035933 A KR1020100035933 A KR 1020100035933A KR 20100035933 A KR20100035933 A KR 20100035933A KR 20110116487 A KR20110116487 A KR 20110116487A
Authority
KR
South Korea
Prior art keywords
input
metaphor
dimensional
user
hand gesture
Prior art date
Application number
KR1020100035933A
Other languages
Korean (ko)
Other versions
KR101121746B1 (en
Inventor
박진아
김재일
Original Assignee
한국과학기술원
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원, 한국전자통신연구원 filed Critical 한국과학기술원
Priority to KR1020100035933A priority Critical patent/KR101121746B1/en
Publication of KR20110116487A publication Critical patent/KR20110116487A/en
Application granted granted Critical
Publication of KR101121746B1 publication Critical patent/KR101121746B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Abstract

본 발명의 손동작 기반 사용자 인터랙션 방법은 사용자가 손동작 입력으로 3차원 사용자 인터페이스(UI)를 통해 컴퓨터 기반의 3차원 응용 시스템을 조작하는 손동작 기반 사용자 인터랙션 방법으로서, 적어도 하나의 메타포 템플릿들을 제공하는 단계, 사용자의 손동작 입력을 메타포 템플릿에 정의된 변환 규칙에 따라 UI 입력으로 변환하는 단계 및 UI 입력을 3차원 사용자 인터페이스를 통해 3차원 응용 시스템에 제공하는 단계를 포함할 수 있다.A hand gesture-based user interaction method of the present invention is a hand gesture-based user interaction method in which a user manipulates a computer-based three-dimensional application system through a three-dimensional user interface (UI) as a hand gesture input, providing at least one metaphor template, The method may include converting a user's hand gesture input into UI input according to a conversion rule defined in the metaphor template and providing the UI input to the 3D application system through the 3D user interface.

Description

3차원 사용자 인터페이스를 위한 손동작 기반 사용자 인터랙션 방법 및 장치{METHOD AND APPARATUS FOR HAND-GESTURE BASED USER INTERACTION TECHNIQUE FOR 3-DIMENSIONAL USER INTERFACE}Hand gesture-based user interaction method and device for three-dimensional user interface {METHOD AND APPARATUS FOR HAND-GESTURE BASED USER INTERACTION TECHNIQUE FOR 3-DIMENSIONAL USER INTERFACE}

본 발명은 3차원 사용자 인터페이스에 관한 것으로, 더욱 상세하게는, 사용자의 손동작 인식 기술을 이용한 3차원 사용자 인터페이스에 관한 것이다.The present invention relates to a three-dimensional user interface, and more particularly, to a three-dimensional user interface using a user gesture recognition technology.

손동작 인식 및 활용에 관련된 기존 3차원 인터페이스 기술들은 손동작 인식을 위한 장치 및 인식 알고리즘 혹은 인식된 손동작 입력 저장 및 특정 패턴으로 변형하는 방법에 관한 것으로, 손동작 입력을 다양한 사용자 인터페이스를 조작하기 위해 처리하거나 응용하는 방법은 제대로 정의되어 있지 않았다. Existing three-dimensional interface technologies related to hand gesture recognition and utilization are related to a device for hand gesture recognition and a recognition algorithm or a method for storing recognized hand gesture input and transforming it into a specific pattern. How to do it was not well defined.

설령 그러한 방법이 정의되어 있더라도 특정한 사용자 인터페이스를 위하여 손동작을 정의하거나, 손동작 입력에 의존하여 사용자 인터페이스를 설계하는 방법으로 구성되어 있어, 개발된 사용자 인터페이스가 해당 분야나 해당 기술에만 제한적으로 사용 가능한 문제점이 있다.Even if such a method is defined, it is composed of a method of defining a hand gesture for a specific user interface or designing a user interface based on a hand gesture input, so that the developed user interface is limited to the relevant field or technology. have.

이에 대해 다양한 손동작 인식 장치와 3차원 사용자 인터페이스마다 손동작 처리 및 피드백 전달 방식을 개발해야 하는 단점이 있어 왔다.On the other hand, there have been disadvantages in developing hand gesture processing and feedback transmission methods for various hand gesture recognition apparatuses and three-dimensional user interfaces.

본 발명이 해결하고자 하는 과제는 다양한 손동작 인식 장치와 3차원 사용자 인터페이스마다 손동작 처리 및 피드백 전달 방식을 개발하는 대신에, 손동작 처리 및 피드백 전달을 수행하는 부분을 템플릿 형태로 3차원 사용자 인터페이스와 분리함으로써 위와 같은 단점들을 해결할 수 있는 방법 및 장치를 제공하는 데에 있다.The problem to be solved by the present invention is to separate the parts for performing hand gesture processing and feedback transmission from the three-dimensional user interface in the form of a template, instead of developing a hand gesture processing and feedback transmission method for each of the various gesture recognition apparatus and three-dimensional user interface It is to provide a method and apparatus that can solve the above disadvantages.

본 발명의 일 측면에 따른 손동작 기반 사용자 인터랙션 방법은,Hand gesture-based user interaction method according to an aspect of the present invention,

사용자가 손동작 입력으로 3차원 사용자 인터페이스(UI)를 통해 컴퓨터 기반의 3차원 응용 시스템을 조작하는 손동작 기반 사용자 인터랙션 방법으로서,A hand gesture-based user interaction method in which a user manipulates a computer-based three-dimensional application system through a three-dimensional user interface (UI) using a gesture input.

적어도 하나의 메타포 템플릿들을 제공하는 단계;Providing at least one metaphor template;

상기 사용자의 손동작 입력을 상기 메타포 템플릿에 정의된 변환 규칙에 따라 UI 입력으로 변환하는 단계; 및Converting the user's hand gesture input into UI input according to a conversion rule defined in the metaphor template; And

상기 UI 입력을 상기 3차원 사용자 인터페이스를 통해 상기 3차원 응용 시스템에 제공하는 단계를 포함할 수 있다.The UI input may be provided to the 3D application system through the 3D user interface.

일 실시예에서, 상기 메타포 템플릿은 사용자의 손동작 입력과 상기 3차원 사용자 인터페이스의 UI 입력들 사이의 변환 규칙일 수 있다.In one embodiment, the metaphor template may be a conversion rule between a hand gesture input of a user and UI inputs of the 3D user interface.

일 실시예에서, 상기 사용자의 손동작 입력은 손가락의 굽힘 여부, 손목의 롤(roll), 피치(pitch) 및 요(yaw) 회전 동작의 각도 측정값 중 적어도 하나의 정보를 포함하고, In one embodiment, the user's hand gesture input includes at least one of an angle measurement value of whether a finger is bent, a roll of a wrist, a pitch, and a yaw rotation movement.

상기 UI 입력은 상기 손동작 입력의 각각에 상응하는 기본 UI 입력과, 상기 기본 입력들을 조합한 확장 UI 입력을 포함할 수 있다.The UI input may include a basic UI input corresponding to each of the hand gesture input and an expanded UI input combining the basic inputs.

일 실시예에서, 상기 사용자의 손동작 입력을 메타포 템플릿에 정의된 변환 규칙에 따라 UI 입력으로 변환하는 단계는,In one embodiment, converting the user's hand gesture input into the UI input according to the conversion rule defined in the metaphor template,

상기 사용자의 적어도 하나의 손동작 입력을 손가락의 굽힘 여부에 관한 논리 값과, 손목의 롤, 피치 및 요 회전 동작 중 적어도 한 동작의 회전 각도에 관한 스칼라 값으로 입력받아, 상기 선택된 메타포 템플릿에 정의된 변환 규칙에 따라, 상기 3차원 응용 시스템이 구동 중인 3차원 가상 공간 및 가상 물체를 조작하기 위해 요구되는, 위치, 회전, 크기 정보 및 각각의 변화 정보에 관한 스칼라 값 또는 선택/해제에 관한 논리 값 및 이들의 조합을 포함하는 UI 입력으로 변환하는 단계를 포함할 수 있다.The at least one gesture input of the user is input as a logical value regarding whether the finger is bent and a scalar value regarding the rotation angle of at least one of the roll, the pitch, and the yaw rotation of the wrist, and is defined in the selected metaphor template. According to the conversion rule, a scalar value regarding position, rotation, size information, and respective change information required for manipulating the three-dimensional virtual space and the virtual object in which the three-dimensional application system is driven, or a logical value related to selection / deselection And it may include the step of converting to a UI input including a combination thereof.

일 실시예에서, 상기 손동작 기반 사용자 인터랙션 방법은In one embodiment, the gesture-based user interaction method is

상기 적어도 하나의 메타포 템플릿 중에 상기 UI 입력을 생성하기에 적합한 메타포 템플릿을 상기 3차원 사용자 인터페이스에 의해 선택하는 단계; 및Selecting, by the three-dimensional user interface, a metaphor template suitable for generating the UI input among the at least one metaphor template; And

상기 UI 입력을 생성하기에 적합하도록 상기 선택된 메타포 템플릿을 상기 3차원 사용자 인터페이스에 의해 설정하는 단계를 더 포함할 수 있다.And setting the selected metaphor template by the three-dimensional user interface to be suitable for generating the UI input.

일 실시예에서, 상기 3차원 사용자 인터페이스에 의한 메타포 템플릿의 설정은 상기 손동작 입력 값의 범위, 정밀도, 차원에 관한 설정을 포함할 수 있다.In one embodiment, the setting of the metaphor template by the 3D user interface may include setting regarding a range, precision, and dimension of the hand gesture input value.

일 실시예에서, 상기 손동작 기반 사용자 인터랙션 방법은,In one embodiment, the gesture-based user interaction method,

상기 3차원 응용 시스템이 상기 UI 입력에 따라 구동되고 그 구동 결과가 상기 3차원 사용자 인터페이스에 피드백될 경우에, 상기 3차원 사용자 인터페이스로부터 상기 피드백을 스칼라 값의 형태로 출력하는 단계; 및Outputting the feedback in the form of a scalar value from the three-dimensional user interface when the three-dimensional application system is driven according to the UI input and the driving result is fed back to the three-dimensional user interface; And

상기 스칼라 값 형태의 피드백을 가중치로 하는 감각적 효과를 사용자에게 전달하는 단계를 더 포함할 수 있다.The method may further include transmitting a sensory effect of the feedback in the form of a scalar value to the user.

본 발명의 다른 측면에 따른 손동작 기반 사용자 인터랙션 방법은, 사용자가 손동작 입력으로 3차원 사용자 인터페이스(UI)를 통해 컴퓨터 기반의 3차원 응용 시스템을 조작하는 손동작 기반 사용자 인터랙션 방법으로서,A hand gesture-based user interaction method according to another aspect of the present invention is a hand gesture-based user interaction method in which a user manipulates a computer-based three-dimensional application system through a three-dimensional user interface (UI) with a hand gesture input.

적어도 하나의 메타포 템플릿들을 제공하는 단계;Providing at least one metaphor template;

상기 사용자의 적어도 하나의 손동작 입력을 손가락의 굽힘 여부에 관한 논리 값과, 손목의 롤, 피치 및 요 회전 동작 중 적어도 한 동작의 회전 각도에 관한 스칼라 값으로 입력받아, 상기 선택된 메타포 템플릿에 정의된 변환 규칙에 따라, 상기 3차원 응용 시스템이 구동 중인 3차원 가상 공간 및 가상 물체를 조작하기 위해 요구되는, 위치, 회전, 크기 정보 및 각각의 변화 정보에 관한 스칼라 값 또는 선택/해제에 관한 논리 값 및 이들의 조합을 포함하는 UI 입력으로 변환하는 단계;The at least one gesture input of the user is input as a logical value regarding whether the finger is bent and a scalar value regarding the rotation angle of at least one of the roll, the pitch, and the yaw rotation of the wrist, and is defined in the selected metaphor template. According to the conversion rule, a scalar value regarding position, rotation, size information, and respective change information required for manipulating the three-dimensional virtual space and the virtual object in which the three-dimensional application system is driven, or a logical value related to selection / deselection And converting the UI input to a combination thereof.

상기 UI 입력을 상기 3차원 사용자 인터페이스를 통해 상기 3차원 응용 시스템에 제공하는 단계;Providing the UI input to the three-dimensional application system via the three-dimensional user interface;

상기 UI 입력에 따른 상기 3차원 응용 시스템의 구동 결과가 상기 3차원 사용자 인터페이스에 피드백될 경우에, 상기 3차원 사용자 인터페이스로부터 상기 피드백을 스칼라 값의 형태로 출력하는 단계; 및Outputting the feedback in the form of a scalar value from the three-dimensional user interface when a driving result of the three-dimensional application system according to the UI input is fed back to the three-dimensional user interface; And

상기 스칼라 값 형태의 피드백을 가중치로 하는 감각적 효과를 사용자에게 전달하는 단계를 포함할 수 있다.The method may include transmitting a sensory effect to the user by weighting the feedback in the form of a scalar value.

일 실시예에서, 상기 메타포 템플릿은 사용자의 손동작 입력과 상기 3차원 사용자 인터페이스의 UI 입력들 사이의 변환 규칙일 수 있다.In one embodiment, the metaphor template may be a conversion rule between a hand gesture input of a user and UI inputs of the 3D user interface.

일 실시예에서, 상기 손동작 기반 사용자 인터랙션 방법은In one embodiment, the gesture-based user interaction method is

상기 적어도 하나의 메타포 템플릿 중에 상기 UI 입력을 생성하기에 적합한 메타포 템플릿을 상기 3차원 사용자 인터페이스에 의해 선택하는 단계; 및Selecting, by the three-dimensional user interface, a metaphor template suitable for generating the UI input among the at least one metaphor template; And

상기 UI 입력을 생성하기에 적합하도록 상기 선택된 메타포 템플릿을 상기 3차원 사용자 인터페이스에 의해 설정하는 단계를 더 포함할 수 있다.And setting the selected metaphor template by the three-dimensional user interface to be suitable for generating the UI input.

본 발명의 일 측면에 따른 기록 매체는 컴퓨터에서 본 발명의 다양한 실시예들에 따른 손동작 기반 사용자 인터랙션 방법의 각 단계들을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체일 수 있다.The recording medium according to an aspect of the present invention may be a computer-readable recording medium that records a program for executing each step of a hand gesture-based user interaction method according to various embodiments of the present invention on a computer.

본 발명의 일 측면에 따른 손동작 기반 사용자 인터랙션 장치는, 사용자가 손동작 입력으로 3차원 사용자 인터페이스(UI)를 통해 컴퓨터 기반의 3차원 응용 시스템을 조작하는 손동작 기반 사용자 인터랙션 장치로서,A hand gesture-based user interaction apparatus according to an aspect of the present invention is a hand gesture-based user interaction apparatus in which a user manipulates a computer-based three-dimensional application system through a three-dimensional user interface (UI) as a hand gesture input.

상기 사용자의 손동작 입력을 적어도 하나의 메타포 템플릿 중에서 선택된 메타포 템플릿에 정의된 변환 규칙에 따라 UI 입력으로 변환하는 메타포 변환부; 및A metaphor converter converting the user's hand gesture input into a UI input according to a conversion rule defined in a metaphor template selected from at least one metaphor template; And

상기 UI 입력을 상기 3차원 응용 시스템에 제공하는 3차원 사용자 인터페이스를 포함할 수 있다.It may include a three-dimensional user interface for providing the UI input to the three-dimensional application system.

일 실시예에서, 상기 메타포 템플릿은 사용자의 손동작 입력과 상기 3차원 사용자 인터페이스의 UI 입력들 사이의 변환 규칙일 수 있다.In one embodiment, the metaphor template may be a conversion rule between a hand gesture input of a user and UI inputs of the 3D user interface.

일 실시예에서, 상기 사용자의 손동작 입력은 손가락의 굽힘 여부, 손목의 롤(roll), 피치(pitch) 및 요(yaw) 회전 동작의 각도 측정값 중 적어도 하나의 기본 입력을 포함하고, 상기 UI 입력은 상기 기본 입력과, 상기 기본 입력들을 조합한 확장 입력을 포함할 수 있다.In one embodiment, the hand gesture input of the user includes a basic input of at least one of angle measurement values of whether a finger is bent, a roll of a wrist, a pitch, and a yaw rotation movement, and the UI The input may include the basic input and an extended input combining the basic inputs.

일 실시예에서, 상기 메타포 변환부는,In one embodiment, the metaphor converter,

상기 사용자의 적어도 하나의 손동작 입력을 손가락의 굽힘 여부에 관한 논리 값과, 손목의 롤, 피치 및 요 회전 동작 중 적어도 한 동작의 회전 각도에 관한 스칼라 값으로 입력받고, 또한Receiving at least one hand gesture input of the user as a logical value regarding whether the finger is bent and a scalar value regarding a rotation angle of at least one of the roll, the pitch, and the yaw rotation of the wrist;

상기 선택된 메타포 템플릿에 정의된 변환 규칙에 따라, 상기 3차원 응용 시스템이 구동 중인 3차원 가상 공간 및 가상 물체를 조작하기 위해 요구되는, 위치, 회전, 크기 정보 및 각각의 변화 정보에 관한 스칼라 값 또는 선택/해제에 관한 논리 값 및 이들의 조합을 포함하는 UI 입력으로 변환하도록 동작할 수 있다.A scalar value relating to position, rotation, size information, and respective change information required for manipulating a three-dimensional virtual space and a virtual object in which the three-dimensional application system is driven, according to a conversion rule defined in the selected metaphor template, or And convert to UI inputs including logical values regarding selection / deselection and combinations thereof.

일 실시예에서, 상기 3차원 사용자 인터페이스는In one embodiment, the three-dimensional user interface is

상기 적어도 하나의 메타포 템플릿 중에 상기 UI 입력을 생성하기에 적합한 메타포 템플릿을 선택하고, 또한 상기 UI 입력을 생성하기에 적합하도록 상기 선택된 메타포 템플릿을 설정할 수 있는 설정 정보를 상기 메타포 변환부에 제공하는 메타포 설정부를 포함할 수 있다.A metaphor that selects a metaphor template suitable for generating the UI input among the at least one metaphor template, and provides the metaphor converting unit with setting information for setting the selected metaphor template suitable for generating the UI input. It may include a setting unit.

일 실시예에서, 상기 3차원 사용자 인터페이스에 의한 메타포 템플릿의 설정 정보는 상기 손동작 입력 값의 범위, 정밀도, 차원에 관한 설정 정보를 포함할 수 있다.In one embodiment, the setting information of the metaphor template by the 3D user interface may include setting information regarding the range, precision, and dimension of the hand gesture input value.

일 실시예에서, 상기 3차원 사용자 인터페이스는,In one embodiment, the three-dimensional user interface,

상기 3차원 응용 시스템이 상기 UI 입력에 따라 구동되고 그 구동 결과가 상기 3차원 사용자 인터페이스에 피드백될 경우에, 상기 피드백을 상기 선택된 메타포 템플릿에 전달하도록 동작하고,When the three-dimensional application system is driven according to the UI input and the driving result is fed back to the three-dimensional user interface, the feedback is transmitted to the selected metaphor template,

상기 메타포 변환부는, The metaphor converter,

상기 피드백을 감각적으로 인지할 수 있는 형태로 사용자에게 전달하도록 동작할 수 있다.The feedback may be operable to be delivered to the user in a sensory perceptible form.

일 실시예에서, 상기 컴퓨터 기반의 3차원 응용 시스템은 In one embodiment, the computer-based three-dimensional application system

가상 환경을 3차원 가상 공간 안에 구현하고, 가상 물체를 가상 환경 안에 구현하며, 상기 3차원 사용자 인터페이스를 통해 사용자가 가상 물체, 가상 환경 및 상기 3차원 응용 시스템의 상태를 선택하고 조작할 수 있도록 동작할 수 있다.Implement a virtual environment in a three-dimensional virtual space, implement a virtual object in the virtual environment, and allow the user to select and manipulate the state of the virtual object, the virtual environment, and the three-dimensional application system through the three-dimensional user interface. can do.

본 발명의 일 측면에 따른 기록 매체는 컴퓨터를 본 발명의 다양한 실시예들에 따른 손동작 기반 사용자 인터랙션 장치로서 기능시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체일 수 있다.The recording medium according to an aspect of the present invention may be a computer-readable recording medium that records a program for operating a computer as a hand gesture-based user interaction device according to various embodiments of the present disclosure.

본 발명의 장치 및 방법에 따르면, 3차원 사용자 인터페이스 설계와 손동작 처리 방법 설계를 분리하고, 3차원 사용자 인터페이스가 자신의 목적에 맞도록 사전에 정의/개발된 메타포 템플릿들을 선택하고 활용함으로써, 3차원 사용자 인터랙션 시스템 개발의 효율성을 향상시켰다.According to the apparatus and method of the present invention, by separating the three-dimensional user interface design and the hand gesture processing method design, and by selecting and utilizing the meta-template templates previously defined / developed to suit the purpose of the three-dimensional user interface, Improved efficiency of user interaction system development.

또한 사용자는 사전에 정의되고 개발된 몇 개의 메타포 템플릿에 대한 손동작 입력 방식을 학습하면, 해당 메타포 템플릿을 사용하는 다양한 3차원 사용자 인터페이스를 일관된 손동작으로 조작하게 됨으로써 사용자의 3차원 응용 시스템에 대한 학습 시간을 줄이고, 사용자는 손동작 입력에 대한 결과(3차원 사용자 인터페이스의 반응)를 직관적으로 예측할 수 있게 되어, 편리성이 증대될 수 있다.In addition, when the user learns how to input hand gestures for several predefined and developed metaphor templates, the user can manipulate various three-dimensional user interfaces using the metaphor templates with consistent hand gestures. As a result, the user can intuitively predict a result (response of the three-dimensional user interface) to the hand gesture input, thereby increasing convenience.

도 1은 본 발명의 일 실시예에 따른 3차원 사용자 인터페이스를 이용한 손동작 기반 사용자 인터랙션 방법을 예시한 개념도이다.
도 2, 도 3, 도 4 및 도 5는 본 발명의 일 실시예에 따른 손동작 메타포가 각각 두 종류의 그리드 선택 메타포, 위치 이동 메타포, 조그 다이얼 메타포일 경우에 사용자의 손동작 입력과 3차원 사용자 인터페이스에 입력되는 UI 입력을 각각 예시한 개념도이다.
도 6은 본 발명의 일 실시예에 따른 3차원 사용자 인터페이스를 이용한 손동작 기반 사용자 인터랙션 방법을 예시한 순서도이다.
도 7 및 8은 본 발명의 일 실시예에 따라 각각 위치 입력 메타포와 그리드 선택 메타포를 통해 사용자가 손동작으로 의료 영상 컨텐츠를 조작하는 동작을 구체적으로 예시한 도면이다.1 is a conceptual diagram illustrating a hand gesture based user interaction method using a 3D user interface according to an embodiment of the present invention.
2, 3, 4, and 5 illustrate a hand gesture input and a three-dimensional user interface when the hand gesture metaphors are two types of grid selection metaphors, a position movement metaphor, and a jog dial metaphor, respectively, according to an exemplary embodiment. A conceptual diagram illustrating UI input input to each.
6 is a flowchart illustrating a hand gesture based user interaction method using a 3D user interface according to an embodiment of the present invention.
7 and 8 are diagrams specifically illustrating an operation in which a user manipulates medical image content by hand gestures through a position input metaphor and a grid selection metaphor according to one embodiment of the present invention.

본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다. With respect to the embodiments of the present invention disclosed in the text, specific structural to functional descriptions are merely illustrated for the purpose of describing embodiments of the present invention, embodiments of the present invention may be implemented in various forms and It should not be construed as limited to the embodiments described in.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다. Hereinafter, with reference to the accompanying drawings, it will be described in detail a preferred embodiment of the present invention. The same reference numerals are used for the same constituent elements in the drawings and redundant explanations for the same constituent elements are omitted.

도 1은 본 발명의 일 실시예에 따른 3차원 사용자 인터페이스를 이용한 손동작 기반 사용자 인터랙션 방법을 예시한 개념도이다.1 is a conceptual diagram illustrating a hand gesture based user interaction method using a 3D user interface according to an embodiment of the present invention.

도 1을 참조하면, 먼저 사용자가 손동작 입력 장치(11), 예를 들어 장갑형 센서 장치, 센서 위치 인식 카메라 장치를 통해 손동작을 취함으로써 손동작 입력을 생성한다. 장갑형 센서 장치의 경우에는, 장갑의 각 관절 부위에 손가락 굽힘 여부를 판정할 수 있는 센서와 손목 부위에 손목의 방위를 판정할 수 있는 센서가 장착되어 사용자가 장갑형 센서 장치를 손에 끼우고 손을 움직이면 손동작을 입력할 수 있다. 센서 위치 인식 카메라 장치의 경우에는, 카메라로 손을 촬영한 영상에서 손의 형태와 방향을 추출하여 사용자가 카메라 앞에서 손을 움직이면 손동작을 입력할 수 있다.Referring to FIG. 1, first, a user generates a hand gesture input by performing a hand gesture through a hand gesture input device 11, for example, an armored sensor device or a sensor position recognition camera device. In the case of a glove-type sensor device, a sensor for determining whether a finger is bent at each joint portion of the glove and a sensor for determining the azimuth of a wrist are mounted on the wrist, so that the user can put the glove-type sensor device on his hand and As you move, you can enter hand gestures. In the case of the sensor position-aware camera apparatus, the shape and the direction of the hand are extracted from the image of the hand photographed by the camera, and the user may input the hand gesture when the user moves the hand in front of the camera.

손동작 입력 장치(11)는 사용자가 특정 손동작을 취하면 사용자의 손동작 입력을 디지털 정보로 획득한다. 예시적으로, 손동작 입력은 간략화 골격 기반 모델(simplified skeleton based)인 경우 5 개 손가락의 굽힘 여부, 3 개 축방향(롤(roll), 피치(pitch), 요(yaw))을 가지는 연속적인 손목 회전 정보, 손 위치 정보로 표현될 수 있다. 본 발명은 이러한 손동작 입력 데이터를 취득하기 위한 손동작의 모델링 방식에 의존적이지 않으며, 손목 대신 손등의 회전 정보를 이용하는 등 다른 모델링 방식도 적용 가능하다.The hand gesture input device 11 obtains the user's hand gesture input as digital information when the user takes a specific hand gesture. By way of example, the hand gesture input is a continuous wrist with five fingers bent and three axial directions (roll, pitch, yaw) in the case of a simplified skeleton based model. Rotation information, hand position information may be represented. The present invention is not dependent on the modeling method of the hand gesture for acquiring the hand gesture input data, and other modeling methods may be applied, such as using rotation information of the back of the hand instead of the wrist.

본 발명에서, 실시예에 따라, 손 전체의 위치 정보는 이용하지 않을 수도 있다. 이 경우, 손가락 굽힘 및 손목 회전 정보는 사용자 인터랙션을 필요로 하는 응용 시스템(14)과 손동작 입력 장치(11)의 물리적이고 상대적인 위치에 관계없이 어느 위치에서나 같은 데이터를 응용 시스템(14)에 전달할 수 있다.In the present invention, according to the embodiment, the position information of the entire hand may not be used. In this case, the finger bending and wrist rotation information may transmit the same data to the application system 14 at any position regardless of the physical and relative positions of the application system 14 and the hand gesture input device 11 requiring user interaction. have.

손동작 입력 데이터는 손동작 입력 장치(11)로부터 메타포(metaphor) 인터페이스(12)로 입력된다. 메타포 변환부(12)는, 3차원 응용 시스템(14)의 기능과 목적에 적합하도록, 미리 설정된 변환 규칙에 따라 손동작 입력을 3차원 사용자 인터페이스(13)가 이해하고 필요로 하는 기본 UI 입력 및 확장 UI 입력으로 변환하여, 3차원 사용자 인터페이스(13)에 제공한다. Hand gesture input data is input from the hand gesture input device 11 to the metaphor interface 12. The metaphor transform unit 12 is a basic UI input and extension that the 3D user interface 13 understands and needs the hand gesture input according to a preset conversion rule so as to suit the function and purpose of the 3D application system 14. It is converted into UI input and provided to the three-dimensional user interface 13.

본 발명에서 3차원 사용자 인터페이스(13)는 컴퓨터 기반 3차원 응용 시스템에 구현된 가상 환경 및 그 안의 가상 물체들에 대한 사용자의 탐색, 선택 및 조작, 시스템 컨트롤의 기능을 제공하는 역할을 담당하는 소프트웨어를 의미한다.In the present invention, the three-dimensional user interface 13 is a software that plays a role of providing the functions of the user's search, selection and manipulation of the virtual environment and the virtual objects in the computer-based three-dimensional application system and system control. Means.

3차원 응용 시스템(14)에서 하나의 가상 물체를 선택하는 3차원 사용자 인터페이스(13)는 물체와 사용자가 동작시키는 포인터의 접촉 여부를 판단하기 위해 3차원 공간의 X, Y, Z 축에 따른 값으로 표현되는 포인터의 위치 정보와 사용자의 지시를 요구한다. 다른 예로, 다수의 가상 물체를 선택하는 경우 다수의 가상 물체가 포함되는 3차원 공간의 영역 정보를 입력으로 요구한다. 일반적으로 영역 정보는 위치 정보를 조합하여 생성할 수 있다.In the three-dimensional application system 14, the three-dimensional user interface 13 which selects a virtual object has a value along the X, Y, and Z axes of the three-dimensional space in order to determine whether the object is in contact with a pointer operated by the user. It asks for the location information of the pointer and the user's instructions. As another example, when a plurality of virtual objects is selected, area information of a three-dimensional space including a plurality of virtual objects is requested as an input. In general, area information may be generated by combining location information.

응용 시스템(14)의 3차원 사용자 인터페이스(13)에서 요구하는 기본 및 확장 입력을 생성하기 위해, 본 발명에서는 사용자의 손동작 입력을 3차원 공간에서의 위치, 회전, 크기 정보와 그에 대한 변화 정보, 선택/해제, 스칼라 값 등으로 분류하고, 메타포 변환부(12)에서 위와 같이 분류된 정보를 조합하여 3차원 사용자 인터페이스(13)에 제공한다.In order to generate the basic and extended input required by the three-dimensional user interface 13 of the application system 14, the present invention uses the user's hand gesture input to position, rotate, and size information in three-dimensional space, and change information thereof. The information is classified into a selection / deselection, a scalar value, and the like, and the information classified as described above in the metaphor converter 12 is combined and provided to the 3D user interface 13.

본 발명에서, 메타포 변환부(12)는 손동작 입력 장치(11)로부터 제공되는 손동작 입력을 기본 UI 입력 및 확장 UI 입력으로 변환하기 위해 메타포 템플릿(metaphor templates)을 이용한다. 메타포 템플릿들은 사용자의 손동작의 의미와 3차원 사용자 인터페이스에 입력될 디지털화된 UI 입력 사이의 변환 규칙을 정의해 놓은 일종의 라이브러리이다.In the present invention, the metaphor converter 12 uses metaphor templates to convert the hand gesture input provided from the hand gesture input device 11 into basic UI input and extended UI input. Metaphor templates are a library that defines the conversion rules between the meaning of the user's hand gestures and the digitized UI input to be input to the three-dimensional user interface.

손동작 입력으로부터 기본 UI 입력을 생성하는 메타포 템플릿은 위치 메타포(position selection metaphor), 위치 이동 메타포(position movement metaphor), 확대-축소 메타포(scale metaphor), 회전 메타포(rotation metaphor) 등이 있으며, 손가락의 굽힘 정보와 손목 회전 정보과 같은 사용자의 손동작 입력을 단편적으로 이용한다. Metaphor templates that generate basic UI input from hand gesture input include position selection metaphor, position movement metaphor, scale metaphor, rotation metaphor, and the like. The user's hand inputs such as bending information and wrist rotation information are used in pieces.

예를 들어, 위치 선택 메타포는 사용자가 검지와 같은 손가락 하나가 순간적으로 굽혀졌다가 펴지는 손동작(클릭 동작)을 하면 그러한 손동작 입력을 해당 포인터의 위치를 선택하는 기본 UI 입력으로 변환하여 3차원 사용자 인터페이스(13)에 제공하라는 메타포 템플릿이다. For example, a position selection metaphor is a three-dimensional user that converts such hand gesture input into basic UI input that selects the location of the pointer when the user makes a hand gesture (click gesture) that is momentarily bent and extended. It is a metaphor template to provide to the interface 13.

위치 이동 메타포는 사용자가 손목을 몸통 쪽 또는 바깥쪽으로 회전하는 손동작(요)을 하면 그러한 손동작 입력 정보를 해당 포인터의 위치를 회전각에 비례하는 소정의 거리만큼 이동시키라는 기본 UI 입력으로 변환하는 메타포 템플릿이다. The position shift metaphor is a metaphor that converts such hand gesture input information into basic UI input to move the position of the pointer by a predetermined distance proportional to the rotation angle when the user makes a hand gesture (yaw) that rotates the wrist toward or outside the body. It is a template.

확대-축소 메타포는, 사용자가 엄지와 검지가 함께 굽혀졌다가 펴지거나 또는 함께 펴져있다가 굽혀지는 손동작을 하면, 그러한 손동작 입력 정보를 해당 포인터의 위치에서 확대 또는 축소하라는 기본 UI 입력으로 변환하는 메타포 템플릿이다. A zoom metaphor is a metaphor that converts such hand gesture input information into basic UI input to zoom in or out at the location of the pointer when the thumb and index finger are bent and stretched together or bent together. It is a template.

회전 메타포는 사용자가 손목이 손목 축을 중심으로 돌아가는 손동작(롤), 손목이 손등 쪽과 손바닥 쪽으로 회전하는 손동작(피치), 손목이 몸통 쪽과 바깥쪽으로 회전하는 손동작(요)을 하면, 그러한 손동작 입력 정보를 해당 포인터의 위치에서 물체 또는 시각을 3차원으로 회전하라는 기본 UI 입력으로 변환하는 메타포 템플릿이다. Rotation metaphors allow the user to input such hand gestures when the wrist rotates around the wrist axis, when the wrist rotates toward the back and palm of the hand (pitch), and when the wrist rotates toward the body and outwards (yaw). Metaphor template that transforms information into basic UI input to rotate an object or sight in three dimensions at the location of the pointer.

앞서 위치 이동 메타포와 회전 메타포는 요 회전 손동작을 이용하는 부분적인 공통점이 있는데, 이러한 예에서 알 수 있듯이, 동일한 손동작이라도 메타포 변환부(12)에서 어떤 메타포 템플릿이 이용되느냐에 따라 전혀 다른 기본 UI 입력으로 변환되어 3차원 사용자 인터페이스(13)에 제공될 수 있다.The position movement metaphor and the rotation metaphor have a part in common using yaw rotation hand gestures. As can be seen from this example, even if the same hand gesture is different from the basic UI input depending on which metaphor template is used in the metaphor converter 12, It can be converted and provided to the three-dimensional user interface 13.

손동작 입력을 확장 UI 입력으로 변환하는 메타포 템플릿들은 손동작들의 조합을 통해 복잡한 UI 입력으로 해석하기 위한 템플릿으로서, 예를 들어, 조그 다이얼 메타포(jog dial metaphor)는 사용자가 조그 다이얼을 회전시키는 손동작을 하면 손목의 롤 동작과 손가락들의 굽힘을 조합하여 소정의 범위 내에서 어떤 값을 증감시키는 확장 UI 입력으로 변환하여 3차원 사용자 인터페이스(13)에 제공하는 메타포 템플릿이다.Metaphor templates that convert hand gesture input to extended UI input are templates for interpreting complex UI input through a combination of hand gestures. For example, a jog dial metaphor is a hand gesture that rotates a jog dial. It is a metaphor template that combines the roll motion of the wrist and the bending of the fingers to convert to an expanded UI input that increases or decreases a value within a predetermined range and provides it to the 3D user interface 13.

그리드 선택 메타포(grid selection metaphor)는 m*n 격자로 배열된 선택 아이템들 중 원하는 아이템을 예를 들어 손목의 요 동작, 손 위치 및 검지 손가락의 굽힘을 이용하여 포인터로 선택하거나 드래그(drag)하는 확장 UI 입력으로 변환하는 메타포 템플릿이다. 특히, 이 경우 사용자의 손동작은 위치 이동 메타포와 같은 기본 입력 메타포와 다르지 않지만, 메타포 변환부(12)에서 손동작 입력뿐 아니라, 그리드의 좌표와 같은 부가 정보도 함께 3차원 사용자 인터페이스(13)에 전달할 수 있다.The grid selection metaphor is used to select or drag a desired item from the m * n grid arranged with a pointer using, for example, wrist yaw motion, hand position and index finger bending. Metaphor template to convert to expanded UI input. In particular, in this case, the user's hand gesture is not different from the basic input metaphor, such as the position movement metaphor, but the metaphor converter 12 transmits not only the hand gesture input but also additional information such as the coordinates of the grid to the 3D user interface 13. Can be.

이러한 메타포 템플릿들은 앞서 예시된 것을 포함하여 3차원 사용자 인터페이스(13) 및 응용 시스템(14)이 필요로 하는 바에 따라 다양하게 구성될 수 있다.These metaphor templates may be variously configured as needed by the 3D user interface 13 and the application system 14, including those illustrated above.

메타포 변환부(12)는 이렇듯 다양하게 정의된 메타포 템플릿들을 포함하고 있고, 선택된 메타포 템플릿에 따라 사용자가 입력한 손동작 입력을 3차원 사용자 인터페이스(13)가 이해하는 기본 및 확장 UI 입력으로 변환하여 제공한다.The metaphor converter 12 includes variously defined metaphor templates and converts the hand gesture input input by the user into basic and extended UI inputs understood by the 3D user interface 13 according to the selected metaphor template. do.

한편, 메타포 변환부(12)가 사용자의 손동작 입력을 변환하기 위해 선택되는 메타포 템플릿은 사용자에 의해 선택될 수도 있지만, 바람직하게는 3차원 사용자 인터페이스(13)가 요구하는 UI 입력에 따라 선택될 수 있다. 예를 들어, 응용 시스템(14)에서 현재 어떤 두 3차원 지점 사이의 거리를 측정하고자 한다면, 3차원 사용자 인터페이스(13)는 사용자로부터 먼저 첫 3차원 지점을 지정받고 두 번째 3차원 지점까지 포인터를 이동시켜기 위한 회전 지시를 받아야 것이며 두 번째 3차원 지점을 지정받아야 할 것이다. 이 경우, 3차원 사용자 인터페이스(13)는 메타포 변환부(12)에 대해 예를 들어 위치 메타포, 회전 메타포, 위치 메타포를 차례로 준비할 것을 요구할 수 있다. 이때, 3차원 사용자 인터페이스(13)의 메타포 설정부(131)는 위치 메타포와 회전 메타포에 적절한 설정 정보들, 예를 들어 최초의 축적비, 사용자 손동작 입력과 회전 각도의 관계, 손동작 입력의 제한 범위 등의 설정 정보들을 제공할 수 있다. Meanwhile, although the metaphor template selected by the metaphor converter 12 to convert the user's hand gesture input may be selected by the user, it may be preferably selected according to the UI input required by the 3D user interface 13. have. For example, if the application system 14 wants to measure the distance between any two three-dimensional points currently, the three-dimensional user interface 13 first receives the first three-dimensional point from the user and then points the pointer to the second three-dimensional point. You will be given a rotation instruction to move it and a second three-dimensional point. In this case, the 3D user interface 13 may request the metaphor converting unit 12 to prepare a position metaphor, a rotation metaphor, and a position metaphor in order. At this time, the metaphor setting unit 131 of the three-dimensional user interface 13 includes setting information suitable for the position metaphor and the rotation metaphor, for example, an initial accumulation ratio, a relationship between the user's hand input and the rotation angle, and a restriction range of the hand gesture input. Setting information, and the like can be provided.

예를 들어, 손동작 입력을 위치 이동 지시로 변환하는 위치 이동 메타포 템플릿은 손목 회전 손동작(요 동작)을 포인터의 3차원 위치 이동을 위한 UI 입력으로 직접 변환할 수 있다. 사용자의 손목 회전 손동작 입력은 손동작 입력 장치(11)에 의해 손목 중심의 수직축들에 대한 회전 상태를 나타내는 스칼라 값으로 표현될 수 있다. 이 스칼라 손동작 입력은 손목 관절이 움직이는 범위를 맵핑하기 위해 손동작 입력 장치(11)에 설정된 설정 범위(예를 들어 -180° ~ 180° 회전) 안에 존재하게 된다. 메타포 변환부(12)는 이러한 스칼라 손동작 입력를 손동작 입력 장치(11)가 받아들일 수 있는 입력 범위의 크기로 나누어 예를 들어 -1.0 ~ 1.0의 범위의 값으로 정규화(normalization)한다. 메타포 변환부(12)는 이러한 정규화된 값에 3차원 사용자 인터페이스(13)가 설정한 위치 정보의 범위 크기와 지정된 가중치(weight)를 곱함으로써 위치 이동 정보를 생성한다. 위치의 변화(속도)나 가속도 정보도 회전의 변화 정보나 다른 기본 UI 입력들로부터 위의 같은 과정으로 변환하여 생성할 수 있다.For example, the position movement metaphor template for converting a hand gesture input into a position movement instruction may directly convert a wrist rotation hand gesture (yaw gesture) into a UI input for three-dimensional position movement of the pointer. The user's wrist rotation hand gesture input may be represented by a scalar value indicating a rotation state of the wrist axis about the vertical axes of the wrist center. This scalar hand gesture input is within a set range (eg, -180 ° to 180 ° rotation) set in the hand gesture input device 11 to map a range in which the wrist joint moves. The metaphor converting unit 12 divides the scalar hand gesture input into a size of an input range that the hand gesture input device 11 can accept and normalizes it to a value in the range of -1.0 to 1.0, for example. The metaphor converter 12 generates position movement information by multiplying this normalized value by a range size of the position information set by the 3D user interface 13 and a designated weight. Position change (velocity) or acceleration information may also be generated by converting rotation change information or other basic UI inputs into the same process as described above.

다시 말해, 3차원 사용자 인터페이스(13)는 메타포 설정부(131)에서 자신이 요구하는 UI 입력을 생성하는 메타포 템플릿을 선택하고, 선택된 메타포 템플릿에 상응하는 설정 정보들을 제공한다. 상기 3차원 사용자 인터페이스에 의해 제공되는 메타포 템플릿의 설정 정보는 상기 손동작 입력 값의 범위, 정밀도, 차원에 관한 설정을 포함한다. 메타포 변환부(12)는 선택된 메타포 템플릿을 제공된 설정 정보에 따라 설정하고, 선택된 메타포 템플릿에 의해 사용자의 손동작 입력 정보를 UI 입력으로 변환하여 3차원 사용자 인터페이스(13)에 제공한다.In other words, the 3D user interface 13 selects a metaphor template for generating a UI input requested by the metaphor setting unit 131 and provides setting information corresponding to the selected metaphor template. The setting information of the metaphor template provided by the three-dimensional user interface includes a setting regarding a range, precision, and dimension of the hand gesture input value. The metaphor conversion unit 12 sets the selected metaphor template according to the provided setting information, and converts the user's hand gesture input information into the UI input by the selected metaphor template and provides it to the 3D user interface 13.

이어서, 3차원 사용자 인터페이스(13)는 메타포 변환부(12)로부터 제공된 UI 입력을 응용 시스템(14)에 인가한다.Subsequently, the three-dimensional user interface 13 applies the UI input provided from the metaphor converter 12 to the application system 14.

응용 시스템(14)이 소정의 3차원 조작을 수행하고 그 결과에 따른 피드백 정보를 3차원 사용자 인터페이스(13)에 전달하고, 이어서 3차원 사용자 인터페이스(13)는 피드백 정보를 메타포 변환부(12)에 전달한다. 피드백 정보는 예를 들어, 일정한 위치 변화마다 사용자에게 시각, 진동, 촉감, 소리 등의 감각을 통해 알리기 위한 정보로서, 스칼라 값이거나 논리 값일 수 있다. 3차원 사용자 인터페이스(13)는 적절한 피드백 정보를 메타포 변환부(12)에 전달한다.The application system 14 performs a predetermined three-dimensional operation and transmits the feedback information according to the result to the three-dimensional user interface 13, and then the three-dimensional user interface 13 transmits the feedback information to the metaphor converter 12. To pass on. The feedback information is, for example, information for informing the user through a sense of vision, vibration, touch, sound, etc. at every constant position change, and may be a scalar value or a logical value. The three-dimensional user interface 13 transmits appropriate feedback information to the metaphor converter 12.

메타포 변환부(12)는 전달된 피드백 정보의 값에 따라 예를 들어 손목에 부착한 촉감 전달 장치를 통해 힘을 발생시키거나, 진동 모터에서 진동을 일으키거나, 크기에 따라 다른 소리를 내는 등의 효과를 이용하여 사용자에게 3차원 조작의 결과를 전달한다.The metaphor converter 12 may generate a force through a tactile transmission device attached to a wrist, generate a vibration in a vibration motor, or make a different sound according to the size according to the value of the feedback information transmitted. The effect is used to convey the result of the three-dimensional manipulation to the user.

이렇게 하여, 사용자의 손동작은 손동작 입력 장치(11)에서 손동작 입력 정보로 취득되고, 메타포 변환부(12)에서 기본 또는 확장 UI 입력으로 변환되어 3차원 사용자 인터페이스(13)에 인가되며, UI 입력은 3차원 사용자 인터페이스(13)를 통해 응용 시스템(14)에 인가된다. 응용 시스템(14)의 구동 결과로서 소정의 피드백이 있을 경우, 사용자 인터페이스(13)는 피드백 정보를 메타포 변환부(12)에 전달하고, 사용자에게 적절한 감각 효과를 통해 조작의 결과를 인지시킨다.In this way, the user's hand gesture is acquired as hand gesture input information by the hand gesture input device 11, converted into basic or extended UI input by the metaphor converter 12, and applied to the three-dimensional user interface 13. Is applied to the application system 14 via a three-dimensional user interface 13. When there is a predetermined feedback as a result of the driving of the application system 14, the user interface 13 transmits the feedback information to the metaphor converter 12, and makes the user recognize the result of the operation through an appropriate sensory effect.

본 발명의 손동작 기반 사용자 인터랙션 방법은 사용자는 서로 다른 응용 시스템(14)마다 서로 다른 손동작, 즉 3차원 조작을 익히지 않고도, 메타포 변환부(12)에 간단한 기본적이고 공통적인 손동작을 입력하는 것만으로, 메타포 변환부(12)가 그러한 기본적 손동작을 적절하게 선택된 메타포 템플릿을 통해 기본 또는 확장 3차원 UI 입력으로 변환함으로써, 3차원 사용자 인터페이스(13) 및 응용 시스템(14)에 맞는 3차원 조작을 수행할 수 있다.In the hand gesture-based user interaction method of the present invention, a user inputs a simple basic and common hand gesture to the metaphor converter 12 without having to learn different hand gestures, that is, three-dimensional manipulations, for different application systems 14. The metaphor converter 12 converts such basic hand gestures into basic or extended three-dimensional UI inputs through an appropriately selected metaphor template, thereby performing three-dimensional manipulations for the three-dimensional user interface 13 and the application system 14. Can be.

도 2, 도 3, 도 4 및 도 5는 본 발명의 일 실시예에 따른 손동작 메타포가 각각 두 종류의 그리드 선택 메타포, 위치 이동 메타포, 조그 다이얼 메타포일 경우에 사용자의 손동작 입력과 3차원 사용자 인터페이스에 입력되는 UI 입력을 각각 예시한 개념도이다.2, 3, 4, and 5 illustrate a hand gesture input and a three-dimensional user interface when the hand gesture metaphors are two types of grid selection metaphors, a position movement metaphor, and a jog dial metaphor, respectively, according to an embodiment of the present invention. A conceptual diagram illustrating UI input input to each.

도 2를 참조하면, 화면을 m*n의 구획으로 나눈 그리드에서 포인터를 이동시키고 한 그리드 영역을 선택하는 손동작을 사용자로부터 입력받는 그리드 물체 선택 메타포가 나타나 있다. 사용자는 메타포 변환부(12)가 보여주는 그리드를 보고 손동작을 입력하지만, 이 그리드는 3차원 사용자 인터페이스(13)나 응용 시스템(14)이 직접 사용자에게 표시한 것이 아니다.Referring to FIG. 2, there is shown a grid object selection metaphor that receives a user's hand gesture of moving a pointer and selecting a grid area in a grid divided into m * n sections. The user sees the grid displayed by the metaphor converter 12 and inputs a hand gesture, but the grid is not directly displayed to the user by the 3D user interface 13 or the application system 14.

사용자로부터 손동작을 입력받기 전에, 3차원 사용자 인터페이스(13)가 그리드의 가로 및 세로 구획 수나, 그리드에 할당될 항목들을 결정하여 메타포 변환부(12)에 전달한다. 사용자는 화면에 나타난 그리드 메타포를 보면서 손동작 입력 장치(11)에 예를 들어 손목의 회전을 입력하여 포인터를 이동시키고, 손가락 굽힘을 입력하여 특정 그리드 영역을 선택한다. 그리드 물체 선택 메타포를 동작시키는 메타포 변환부(12)는 그러한 사용자의 손동작 입력을 조합하여 포인터의 이동 경로, 그리드 영역의 식별값(스칼라 인덱스)과 그리드 영역의 선택 여부에 관한 논리 값 등을 확장 UI 입력으로서 3차원 사용자 인터페이스(13)에 전달한다.Before receiving a hand gesture from the user, the 3D user interface 13 determines the number of horizontal and vertical partitions of the grid or items to be allocated to the grid and transmits the items to the metaphor converter 12. While the user views the grid metaphor displayed on the screen, the user inputs the rotation of the wrist, for example, by inputting the rotation of the wrist, and selects a specific grid area by inputting the finger bending. The metaphor converting unit 12 that operates the grid object selection metaphor combines such user's hand gesture input to expand the UI's movement path, an identification value (scalar index) of the grid region, a logic value about whether the grid region is selected, and the like. Passed to the three-dimensional user interface 13 as input.

예를 들어, 도 2에서 가상 공간에 구, 직각육각형, 원뿔 등이 배치되어 있고 사용자가 그 중 한 물체를 선택하는 경우에, 3차원 사용자 인터페이스(13)는 사용자에게 보이는 2차원 렌더링 화면을 5*5 그리드로 나누고 메타포 변환부(12)로 하여금 그리드 물체 선택 메타포를 준비하도록 한다. 사용자가 메타포 변환부(12)가 제공하는 5*5 그리드 중의 한 그리드 영역으로 포인터를 움직이고 그 그리드 영역을 선택하면, 메타포 변환부(12)는 포인터의 이동, 포인터가 위치한 그리드 영역의 좌표, 선택된 그리드 영역의 좌표 등의 3차원 UI 입력으로 변환하여 3차원 사용자 인터페이스(13)에 전달한다. 3차원 사용자 인터페이스(13)는 3차원 UI 입력으로부터 생성한 3차원 조작 명령을 응용 시스템(14)에 제공한다. 도 2에서, 사용자는 그리드 물체 선택 메타포를 통해 2차원 렌더링된 화면의 좌표 (2,3)에 있는 그리드 영역을 선택할 뿐이지만, 응용 시스템(14)은 마치 사용자가 3차원 사용자 인터페이스(13)를 통해 3차원 가상 공간의 가운데에 있는 직육면체를 직접 선택한 것과 동일한 조작 명령을 받을 수 있다.For example, if a sphere, a rectangular hexagon, a cone, or the like is disposed in the virtual space in FIG. 2 and the user selects one of the objects, the 3D user interface 13 may display a 2D rendering screen shown to the user. * 5 Divide into grids and let the metaphor converter 12 prepare a grid object selection metaphor. When the user moves the pointer to one of the 5 * 5 grids provided by the metaphor converter 12 and selects the grid area, the metaphor converter 12 moves the pointer, coordinates of the grid area where the pointer is located, and selects the grid area. 3D UI inputs, such as coordinates of the grid area, are converted to the 3D user interface 13. The three-dimensional user interface 13 provides the application system 14 with three-dimensional manipulation commands generated from three-dimensional UI inputs. In FIG. 2, the user only selects the grid area at coordinates (2,3) of the two-dimensional rendered screen via the grid object selection metaphor, but the application system 14 is as if the user is displaying the three-dimensional user interface 13. This allows you to receive the same manipulation commands as selecting a cuboid in the middle of a three-dimensional virtual space.

이어서 도 3을 참조하면, m*n의 구획으로 나뉜 그리드의 각 영역에 아이템을 할당하고, 포인터를 이동시켜 메뉴 아이템을 선택하는 손동작을 사용자로부터 입력받는 그리드 메뉴 선택 메타포가 나타나 있다.Referring to FIG. 3, a grid menu selection metaphor for allocating an item to each area of a grid divided into m * n sections and moving a pointer to select a menu item from a user is shown.

사용자는 메타포 변환부(12)가 보여주는 그리드 메뉴를 보고 손동작을 입력하지만, 이 그리드 메뉴는 3차원 사용자 인터페이스(13)나 응용 시스템(14)이 직접 사용자에게 표시한 것은 아니다. 다만 3차원 사용자 인터페이스(13)가 그리드 메뉴의 버튼 아이콘, 메뉴, 격자 형태 등을 설정하여 메타포 변환부(12)에 그러한 그리드 메뉴를 사용자에게 표시할 것을 요청하고, 요청에 따라 메타포 변환부(12)가 그리드 메뉴를 사용자에게 표시한다. 화면에 그리드 메뉴가 표시되면 사용자는 표시된 그리드 메뉴의 메뉴 아이템을 선택함으로써 궁극적으로 3차원 응용 시스템(14)을 제어할 수 있을 것임을 직감할 수 있다.The user sees the grid menu displayed by the metaphor converter 12 and inputs a hand gesture, but the grid menu is not directly displayed to the user by the 3D user interface 13 or the application system 14. However, the 3D user interface 13 sets a button icon, menu, grid type, etc. of the grid menu to request the metaphor converter 12 to display such grid menu to the user, and upon request, the metaphor converter 12 ) Displays the grid menu to the user. When the grid menu is displayed on the screen, the user may intuitively select the menu item of the displayed grid menu to ultimately control the three-dimensional application system 14.

사용자로부터 손동작을 입력받기 전에, 그리드의 가로 및 세로 구획 수나 그리드마다 그려질 이미지는 3차원 사용자 인터페이스(13)가 결정하여 메타포 변환부(12)에 전달한다. 사용자는 손동작 입력 장치(11)에 예를 들어 손목의 회전을 입력하여 포인터를 이동시키고, 손가락 굽힘을 입력하여 특정 그리드 영역을 선택한다. 그리드 메뉴 선택 메타포로 동작하는 메타포 변환부(12)는 그러한 사용자의 손동작 입력을 조합하여 포인터의 이동 경로, 그리드 영역의 식별값(스칼라 인덱스)과 메뉴 선택의 여부에 관한 논리 값 등을 UI 입력으로서 생성하고 3차원 사용자 인터페이스(13)에 전달한다.Before receiving a hand gesture from the user, the number of horizontal and vertical sections of the grid or the image to be drawn for each grid is determined by the 3D user interface 13 and transmitted to the metaphor converter 12. The user inputs a rotation of the wrist, for example, on the hand gesture input device 11 to move the pointer, and inputs a finger bending to select a specific grid area. The metaphor converting unit 12, which operates as a grid menu selection metaphor, combines such user's hand gesture inputs as UI inputs such as a movement path of a pointer, an identification value (scalar index) of a grid area, a logical value relating to whether a menu is selected, or the like. Create and pass to the 3D user interface 13.

도 3에서, 사용자는 그리드 메뉴 선택 메타포를 통해 2차원 렌더링된 화면의 좌표 (1,3)에 있는 그리드 영역을 선택할 뿐이지만, 응용 시스템(14)은 마치 사용자가 3차원 사용자 인터페이스(13)를 통해 3차원 가상 공간에서 해당 아이템을 직접 선택한 것과 동일한 조작 명령을 수신할 수 있다.In FIG. 3, the user only selects the grid area at coordinates (1,3) of the two-dimensional rendered screen via the grid menu selection metaphor, but the application system 14 is as if the user is displaying the three-dimensional user interface 13. Through the 3D virtual space, the same operation command as that of directly selecting the item can be received.

도 4를 참조하면, 손목의 요 회전 손동작을 입력받아 3차원 가상 공간의 한 위치에서 다른 위치로 포인터를 이동하는 3차원 UI 입력으로 변환하는 위치 이동 메타포가 예시되어 있다. 사용자가 손목을 수평으로 놓고 회전하면 그 요 회전 각도를 손동작 입력 장치(11)가 입력받고, 그러한 손동작 입력을 위치 입력 메타포에서 위치 변화에 관한 스칼라 값을 가진 UI 입력으로 변환하여 3차원 사용자 인터페이스(13)에 전달하면, 3차원 사용자 인터페이스(13)는 이를 포인터의 3차원 가상 공간 내의 위치 이동에 관한 3차원 조작 명령으로 변환하여 응용 시스템(14)에 인가한다.Referring to FIG. 4, a position movement metaphor for receiving a yaw rotation hand gesture of a wrist and converting the movement into a three-dimensional UI input for moving a pointer from one position to another in the three-dimensional virtual space is illustrated. When the user rotates the wrist horizontally, the yaw rotation angle is inputted by the hand gesture input device 11, and the hand gesture input is converted into a UI input having a scalar value regarding the change of position in the position input metaphor. 3), the three-dimensional user interface 13 converts it into a three-dimensional manipulation command regarding the movement of the pointer in the three-dimensional virtual space and applies it to the application system 14.

다음으로 도 5를 참조하면, 엄지 및 검지의 손가락 폄 동작과 손목의 롤 회전 손동작을 입력받아 조그 다이얼(jog dial)을 회전시킴으로써 소정 범위 내의 어떤 값 또는 가상 공간의 다수의 개별 객체들 중 하나를 선택하는 조그 다이얼 메타포가 예시되어 있다. 사용자가 조그 다이얼을 쥐듯이 엄지와 검지를 펴고 손목을 돌리면, 손동작 입력 장치(11)가 그 롤 회전 각도를 입력받고, 메타포 변환부(12)가 회전 각도를 특정 스칼라 값으로 변환하여 3차원 사용자 인터페이스(13)에 전달한다. 3차원 사용자 인터페이스(12)는 이를 소정 범위 중의 어떤 입력 값 또는 가상 공간 내 여러 개별 객체들 중 하나를 선택하는 3차원 조작 명령으로 변환하여 응용 시스템(14)에 인가한다.Next, referring to FIG. 5, a finger jog gesture of a thumb and an index finger and a roll rotation hand gesture of a wrist are input to rotate one jog dial to select one of a plurality of individual objects in a predetermined range or virtual space. The jog dial metaphor to select is illustrated. When the user rotates his wrist with his thumb and index finger as if he is holding the jog dial, the hand gesture input device 11 receives the roll rotation angle, and the metaphor converter 12 converts the rotation angle into a specific scalar value so that the user can turn the wrist. To interface 13. The three-dimensional user interface 12 converts it into a three-dimensional manipulation command that selects any input value in a predetermined range or one of several individual objects in the virtual space and applies it to the application system 14.

도 6은 본 발명의 일 실시예에 따른 3차원 사용자 인터페이스를 이용한 손동작 기반 사용자 인터랙션 방법을 예시한 순서도이다.6 is a flowchart illustrating a hand gesture based user interaction method using a 3D user interface according to an embodiment of the present invention.

도 6을 참조하면 손동작 기반 사용자 인터랙션 방법은 단계(S61)에서 3차원 사용자 인터페이스(13)가 현재 필요한 메타포 템플릿을 선택하고, 선택된 메타포 템플릿을 설정할 수 있는 설정 정보를 메타포 변환부(12)에 전달하는 단계로 시작한다.Referring to FIG. 6, in the gesture-based user interaction method, in step S61, a metaphor template that is currently required by the 3D user interface 13 is selected, and setting information for setting the selected metaphor template is transmitted to the metaphor converter 12. Start with the steps.

이어서, 단계(S62)에서 메타포 변환부(12)가 선택된 메타포 템플릿을 상기 설정 정보로 설정한다.Subsequently, in step S62, the metaphor conversion unit 12 sets the selected metaphor template as the setting information.

단계(S63)에서, 사용자가 선택된 메타포 템플릿에 맞춰 손동작을 취하면, 사용자의 손동작을 손동작 입력 장치(11)가 입력받아 손동작 입력을 생성한다. 손동작 입력은 손가락 굽힘, 세 축의 손목 회전과 같은 손동작 입력으로 생성될 수 있다. 생성된 손동작 입력은 메타포 변환부(12)에 인가된다.In operation S63, when the user makes a hand gesture in accordance with the selected metaphor template, the hand gesture input device 11 receives the hand gesture of the user and generates a hand gesture input. The hand gesture input may be generated by hand gesture input such as finger bending or wrist rotation of three axes. The generated hand gesture input is applied to the metaphor converter 12.

단계(S64)에서, 메타포 변환부(12)는 사용자의 손동작 입력을 메타포 템플릿에 따라 3차원 사용자 인터페이스(13)가 요구하는 기본 UI 또는 확장 UI 입력으로 변환하여 전달한다.In step S64, the metaphor converter 12 converts a user's hand gesture input into a basic UI or an extended UI input required by the 3D user interface 13 according to the metaphor template.

단계(S65)에서, 3차원 사용자 인터페이스(13)는 전달된 UI 입력을 기초로 3차원 조작 명령을 생성하여 응용 시스템(14)에 인가한다. 단계(S66)에서 3차원 사용자 인터페이스(13)는 응용 시스템(14)으로부터 처리 결과의 피드백이 있을 경우에 그 피드백을 수신하고, 단계(S67)에서 상기 수신한 피드백을 메타포 변환부(12)에 전달한다. 메타포 변환부(12)는 전달된 피드백을 선택된 메타포 템플릿에 따라 적절히 변환하여 사용자에게 시각, 촉각, 음향, 진동 등을 통해 인지시킬 수 있다.In step S65, the three-dimensional user interface 13 generates and applies a three-dimensional manipulation command to the application system 14 based on the delivered UI input. In step S66, the 3D user interface 13 receives the feedback of the processing result from the application system 14, and in step S67, the received feedback is sent to the metaphor converter 12. To pass. The metaphor converter 12 may appropriately convert the transmitted feedback according to the selected metaphor template to recognize the user through visual, tactile, sound, and vibration.

도 7 및 도 8은 본 발명의 일 실시예에 따라 각각 위치 입력 메타포와 그리드 선택 메타포를 통해 사용자가 손동작으로 의료 영상 컨텐츠를 조작하는 동작을 구체적으로 예시한 도면이다.7 and 8 are diagrams specifically illustrating an operation in which a user manipulates medical image content by hand gestures through a position input metaphor and a grid selection metaphor according to one embodiment of the present invention.

도 7을 참조하면, 3차원 가상 공간에 인체 일부를 묘사한 3차원 볼륨 모델이 놓여 있고, 사용자가 특정한 두 부위(A, B) 사이의 거리를 측정하고자 하는 화면이 나타나 있다. 3차원 사용자 인터페이스(13)는 위치 입력 메타포를 가동시킬 것을 메타포 변환부(12)에 통지하고, 메타포 변환부(12)는 위치 입력 메타포를 통해 사용자가 두 부위의 위치를 선택할 수 있도록 손동작 입력 장치(11)로부터 손동작 입력을 입력받는다.Referring to FIG. 7, a 3D volume model depicting a part of a human body is placed in a 3D virtual space, and a screen for a user to measure a distance between two specific areas A and B is shown. The three-dimensional user interface 13 notifies the metaphor converter 12 to activate the position input metaphor, and the metaphor converter 12 allows the user to select a location of two sites through the position input metaphor. Receive a hand gesture input from (11).

도 8을 참조하면, 3차원 가상 공간에 인체 일부를 묘사한 3차원 볼륨 모델이 렌더링되어 있고, 사용자가 특정한 각도의 단면을 보고자 하는 화면이 나타나 있다. 3차원 사용자 인터페이스(13)는 화면에 그리드 선택 메타포를 가동할 것과 그리드 이미지들을 메타포 변환부(12)에 통지한다. 메타포 변환부(12)는 화면 좌측 상부에 그리드를 나타내고 그리드 선택 메타포를 통해 사용자가 한 그리드 영역을 선택할 수 있도록 손동작 입력 장치(11)로부터 손동작 입력을 입력받는다.Referring to FIG. 8, a 3D volume model depicting a part of a human body is rendered in a 3D virtual space, and a screen for a user to view a cross section of a specific angle is shown. The three-dimensional user interface 13 notifies the metaphor converter 12 of the grid selection metaphor on the screen and the grid images. The metaphor converter 12 displays a grid on the upper left of the screen and receives a hand gesture input from the hand gesture input device 11 so that the user can select a grid area through a grid selection metaphor.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명이 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이와 균등하거나 또는 등가적인 변형 모두는 본 발명 사상의 범주에 속한다 할 것이다. As described above, although the present invention has been described by way of limited embodiments and drawings, the present invention is not limited to the above-described embodiments, which can be variously modified and modified by those skilled in the art to which the present invention pertains. Modifications are possible. Accordingly, the spirit of the invention should be understood only by the claims set forth below, and all equivalent or equivalent modifications will fall within the scope of the invention.

또한, 본 발명에 따른 장치는 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, 광학 디스크, 자기 테이프, 플로피 디스크, 하드 디스크, 비휘발성 메모리 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.In addition, the apparatus according to the present invention can be embodied as computer readable codes on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of the recording medium include ROM, RAM, optical disk, magnetic tape, floppy disk, hard disk, nonvolatile memory, and the like, and also include a carrier wave (for example, transmission through the Internet). The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

11 손동작 입력 장치
12 메타포 변환부
13 3차원 사용자 인터페이스
14 3차원 응용 시스템11 Hand gesture input device
12 metaphor converter
13 3-D User Interface
14 Three Dimensional Application System

Claims (20)

사용자가 손동작 입력으로 3차원 사용자 인터페이스(UI)를 통해 컴퓨터 기반의 3차원 응용 시스템을 조작하는 손동작 기반 사용자 인터랙션 방법에 있어서,
적어도 하나의 메타포 템플릿들을 제공하는 단계;
상기 사용자의 손동작 입력을 상기 메타포 템플릿에 정의된 변환 규칙에 따라 UI 입력으로 변환하는 단계; 및
상기 UI 입력을 상기 3차원 사용자 인터페이스를 통해 상기 3차원 응용 시스템에 제공하는 단계를 포함하는 손동작 기반 사용자 인터랙션 방법.In a hand gesture-based user interaction method in which a user manipulates a computer-based three-dimensional application system through a three-dimensional user interface (UI) with a hand gesture input,
Providing at least one metaphor template;
Converting the user's hand gesture input into UI input according to a conversion rule defined in the metaphor template; And
And providing the UI input to the 3D application system through the 3D user interface. 청구항 1에 있어서, 상기 메타포 템플릿은 사용자의 손동작 입력과 상기 3차원 사용자 인터페이스의 UI 입력들 사이의 변환 규칙인 것을 특징으로 하는 손동작 기반 사용자 인터랙션 방법.The method of claim 1, wherein the metaphor template is a conversion rule between a user's hand gesture input and UI inputs of the 3D user interface. 청구항 1에 있어서, 상기 사용자의 손동작 입력은 손가락의 굽힘 여부, 손목의 롤(roll), 피치(pitch) 및 요(yaw) 회전 동작의 각도 측정값 중 적어도 하나의 정보를 포함하고,
상기 UI 입력은 상기 손동작 입력의 각각에 상응하는 기본 UI 입력과, 상기 기본 입력들을 조합한 확장 UI 입력을 포함하는 것을 특징으로 하는 손동작 기반 사용자 인터랙션 방법.The method of claim 1, wherein the user's hand gesture input includes at least one of angle measurement values of whether a finger is bent, a roll of a wrist, a pitch, and a yaw rotation movement.
And the UI input comprises a basic UI input corresponding to each of the hand gesture inputs, and an expanded UI input combining the basic inputs. 청구항 1에 있어서, 상기 사용자의 손동작 입력을 메타포 템플릿에 정의된 변환 규칙에 따라 UI 입력으로 변환하는 단계는,
상기 사용자의 적어도 하나의 손동작 입력을 손가락의 굽힘 여부에 관한 논리 값과, 손목의 롤, 피치 및 요 회전 동작 중 적어도 한 동작의 회전 각도에 관한 스칼라 값으로 입력받아, 상기 선택된 메타포 템플릿에 정의된 변환 규칙에 따라, 상기 3차원 응용 시스템이 구동 중인 3차원 가상 공간 및 가상 물체를 조작하기 위해 요구되는, 위치, 회전, 크기 정보 및 각각의 변화 정보에 관한 스칼라 값 또는 선택/해제에 관한 논리 값 및 이들의 조합을 포함하는 UI 입력으로 변환하는 단계를 포함하는 것을 특징으로 하는 손동작 기반 사용자 인터랙션 방법.The method of claim 1, wherein converting the user's hand gesture input into UI input according to a conversion rule defined in a metaphor template includes:
The at least one gesture input of the user is input as a logical value regarding whether the finger is bent and a scalar value regarding the rotation angle of at least one of the roll, the pitch, and the yaw rotation of the wrist, and is defined in the selected metaphor template. According to the conversion rule, a scalar value regarding position, rotation, size information, and respective change information required for manipulating the three-dimensional virtual space and the virtual object in which the three-dimensional application system is driven, or a logical value related to selection / deselection And converting them into UI inputs including a combination thereof. 청구항 1에 있어서,
상기 적어도 하나의 메타포 템플릿 중에 상기 UI 입력을 생성하기에 적합한 메타포 템플릿을 상기 3차원 사용자 인터페이스에 의해 선택하는 단계; 및
상기 UI 입력을 생성하기에 적합하도록 상기 선택된 메타포 템플릿을 상기 3차원 사용자 인터페이스에 의해 설정하는 단계를 더 포함하는 것을 특징으로 하는 손동작 기반 사용자 인터랙션 방법.The method according to claim 1,
Selecting, by the three-dimensional user interface, a metaphor template suitable for generating the UI input among the at least one metaphor template; And
And setting, by the three-dimensional user interface, the selected metaphor template to be suitable for generating the UI input. 청구항 1에 있어서, 상기 3차원 사용자 인터페이스에 의한 메타포 템플릿의 설정은 상기 손동작 입력 값의 범위, 정밀도, 차원에 관한 설정을 포함하는 것을 특징으로 하는 손동작 기반 사용자 인터랙션 방법.The method of claim 1, wherein the setting of the metaphor template by the three-dimensional user interface includes a setting about a range, precision, and dimension of the hand gesture input value. 청구항 1에 있어서, 상기 3차원 응용 시스템이 상기 UI 입력에 따라 구동되고 그 구동 결과가 상기 3차원 사용자 인터페이스에 피드백될 경우에, 상기 3차원 사용자 인터페이스로부터 상기 피드백을 스칼라 값의 형태로 출력하는 단계; 및
상기 스칼라 값 형태의 피드백을 가중치로 하는 감각적 효과를 사용자에게 전달하는 단계를 더 포함하는 것을 특징으로 하는 손동작 기반 사용자 인터랙션 방법.The method of claim 1, wherein when the 3D application system is driven according to the UI input and the driving result is fed back to the 3D user interface, outputting the feedback in the form of a scalar value from the 3D user interface. ; And
And transmitting the sensory effect to the user by using the feedback in the form of a scalar value as a weight. 사용자가 손동작 입력으로 3차원 사용자 인터페이스(UI)를 통해 컴퓨터 기반의 3차원 응용 시스템을 조작하는 손동작 기반 사용자 인터랙션 방법에 있어서,
적어도 하나의 메타포 템플릿들을 제공하는 단계;
상기 사용자의 적어도 하나의 손동작 입력을 손가락의 굽힘 여부에 관한 논리 값과, 손목의 롤, 피치 및 요 회전 동작 중 적어도 한 동작의 회전 각도에 관한 스칼라 값으로 입력받아, 상기 선택된 메타포 템플릿에 정의된 변환 규칙에 따라, 상기 3차원 응용 시스템이 구동 중인 3차원 가상 공간 및 가상 물체를 조작하기 위해 요구되는, 위치, 회전, 크기 정보 및 각각의 변화 정보에 관한 스칼라 값 또는 선택/해제에 관한 논리 값 및 이들의 조합을 포함하는 UI 입력으로 변환하는 단계;
상기 UI 입력을 상기 3차원 사용자 인터페이스를 통해 상기 3차원 응용 시스템에 제공하는 단계;
상기 UI 입력에 따른 상기 3차원 응용 시스템의 구동 결과가 상기 3차원 사용자 인터페이스에 피드백될 경우에, 상기 3차원 사용자 인터페이스로부터 상기 피드백을 스칼라 값의 형태로 출력하는 단계; 및
상기 스칼라 값 형태의 피드백을 가중치로 하는 감각적 효과를 사용자에게 전달하는 단계를 포함하는 손동작 기반 사용자 인터랙션 방법.In a hand gesture-based user interaction method in which a user manipulates a computer-based three-dimensional application system through a three-dimensional user interface (UI) with a hand gesture input,
Providing at least one metaphor template;
The at least one gesture input of the user is input as a logical value regarding whether the finger is bent and a scalar value regarding the rotation angle of at least one of the roll, the pitch, and the yaw rotation of the wrist, and is defined in the selected metaphor template. According to the conversion rule, a scalar value regarding position, rotation, size information, and respective change information required for manipulating the three-dimensional virtual space and the virtual object in which the three-dimensional application system is driven, or a logical value related to selection / deselection And converting the UI input to a combination thereof.
Providing the UI input to the three-dimensional application system via the three-dimensional user interface;
Outputting the feedback in the form of a scalar value from the three-dimensional user interface when a driving result of the three-dimensional application system according to the UI input is fed back to the three-dimensional user interface; And
And handing the sensory effect of the scalar value type feedback to the user. 청구항 8에 있어서, 상기 메타포 템플릿은 사용자의 손동작 입력과 상기 3차원 사용자 인터페이스의 UI 입력들 사이의 변환 규칙인 것을 특징으로 하는 손동작 기반 사용자 인터랙션 방법.The method of claim 8, wherein the metaphor template is a conversion rule between a user's hand gesture input and UI inputs of the 3D user interface. 청구항 8에 있어서,
상기 적어도 하나의 메타포 템플릿 중에 상기 UI 입력을 생성하기에 적합한 메타포 템플릿을 상기 3차원 사용자 인터페이스에 의해 선택하는 단계; 및
상기 UI 입력을 생성하기에 적합하도록 상기 선택된 메타포 템플릿을 상기 3차원 사용자 인터페이스에 의해 설정하는 단계를 더 포함하는 것을 특징으로 하는 손동작 기반 사용자 인터랙션 방법.The method according to claim 8,
Selecting, by the three-dimensional user interface, a metaphor template suitable for generating the UI input among the at least one metaphor template; And
And setting, by the three-dimensional user interface, the selected metaphor template to be suitable for generating the UI input. 컴퓨터에서 청구항 1 내지 청구항 10 중 어느 한 청구항의 손동작 기반 사용자 인터랙션 방법의 각 단계들을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.A computer-readable recording medium having recorded thereon a program for executing respective steps of the method for hand gesture-based user interaction according to any one of claims 1 to 10 on a computer. 사용자가 손동작 입력으로 3차원 사용자 인터페이스(UI)를 통해 컴퓨터 기반의 3차원 응용 시스템을 조작하는 손동작 기반 사용자 인터랙션 장치에 있어서,
상기 사용자의 손동작 입력을 적어도 하나의 메타포 템플릿 중에서 선택된 메타포 템플릿에 정의된 변환 규칙에 따라 UI 입력으로 변환하는 메타포 변환부; 및
상기 UI 입력을 상기 3차원 응용 시스템에 제공하는 3차원 사용자 인터페이스를 포함하는 손동작 기반 사용자 인터랙션 장치.In a hand gesture-based user interaction device that a user manipulates a computer-based three-dimensional application system through a three-dimensional user interface (UI) with a hand gesture input,
A metaphor converter converting the user's hand gesture input into a UI input according to a conversion rule defined in a metaphor template selected from at least one metaphor template; And
Hand gesture-based user interaction device including a three-dimensional user interface for providing the UI input to the three-dimensional application system. 청구항 12에 있어서, 상기 메타포 템플릿은 사용자의 손동작 입력과 상기 3차원 사용자 인터페이스의 UI 입력들 사이의 변환 규칙인 것을 특징으로 하는 손동작 기반 사용자 인터랙션 장치.The apparatus of claim 12, wherein the metaphor template is a conversion rule between a user's hand gesture input and UI inputs of the 3D user interface. 청구항 12에 있어서, 상기 사용자의 손동작 입력은 손가락의 굽힘 여부, 손목의 롤(roll), 피치(pitch) 및 요(yaw) 회전 동작의 각도 측정값 중 적어도 하나의 기본 입력을 포함하고, 상기 UI 입력은 상기 기본 입력과, 상기 기본 입력들을 조합한 확장 입력을 포함하는 것을 특징으로 하는 손동작 기반 사용자 인터랙션 장치.The apparatus of claim 12, wherein the user's hand input includes at least one basic input of an angle measurement value of whether a finger is bent, a roll of a wrist, a pitch, and a yaw rotation motion, and the UI is input. And the input includes the basic input and an extended input combining the basic inputs. 청구항 12에 있어서, 상기 메타포 변환부는,
상기 사용자의 적어도 하나의 손동작 입력을 손가락의 굽힘 여부에 관한 논리 값과, 손목의 롤, 피치 및 요 회전 동작 중 적어도 한 동작의 회전 각도에 관한 스칼라 값으로 입력받고, 또한
상기 선택된 메타포 템플릿에 정의된 변환 규칙에 따라, 상기 3차원 응용 시스템이 구동 중인 3차원 가상 공간 및 가상 물체를 조작하기 위해 요구되는, 위치, 회전, 크기 정보 및 각각의 변화 정보에 관한 스칼라 값 또는 선택/해제에 관한 논리 값 및 이들의 조합을 포함하는 UI 입력으로 변환하도록 동작하는 것을 특징으로 하는 손동작 기반 사용자 인터랙션 장치.The method of claim 12, wherein the metaphor conversion unit,
Receiving at least one hand gesture input of the user as a logical value regarding whether the finger is bent and a scalar value regarding a rotation angle of at least one of the roll, the pitch, and the yaw rotation of the wrist;
A scalar value relating to position, rotation, size information, and respective change information required for manipulating a three-dimensional virtual space and a virtual object in which the three-dimensional application system is driven, according to a conversion rule defined in the selected metaphor template, or Hand gesture-based user interaction device, characterized in that it is operable to convert to a UI input including a logic value relating to selection / deselection and combinations thereof. 청구항 12에 있어서, 상기 3차원 사용자 인터페이스는
상기 적어도 하나의 메타포 템플릿 중에 상기 UI 입력을 생성하기에 적합한 메타포 템플릿을 선택하고, 또한 상기 UI 입력을 생성하기에 적합하도록 상기 선택된 메타포 템플릿을 설정할 수 있는 설정 정보를 상기 메타포 변환부에 제공하는 메타포 설정부를 포함하는 것을 특징으로 하는 손동작 기반 사용자 인터랙션 장치.The system of claim 12, wherein the three-dimensional user interface is
A metaphor that selects a metaphor template suitable for generating the UI input among the at least one metaphor template, and provides the metaphor converting unit with setting information for setting the selected metaphor template suitable for generating the UI input. Hand gesture-based user interaction device comprising a setting unit. 청구항 12에 있어서, 상기 3차원 사용자 인터페이스에 의한 메타포 템플릿의 설정 정보는 상기 손동작 입력 값의 범위, 정밀도, 차원에 관한 설정 정보를 포함하는 것을 특징으로 하는 손동작 기반 사용자 인터랙션 장치.The apparatus of claim 12, wherein the setting information of the metaphor template by the 3D user interface includes setting information about a range, precision, and dimension of the hand gesture input value. 청구항 12에 있어서, 상기 3차원 사용자 인터페이스는,
상기 3차원 응용 시스템이 상기 UI 입력에 따라 구동되고 그 구동 결과가 상기 3차원 사용자 인터페이스에 피드백될 경우에, 상기 피드백을 상기 선택된 메타포 템플릿에 전달하도록 동작하고,
상기 메타포 변환부는,
상기 피드백을 감각적으로 인지할 수 있는 형태로 사용자에게 전달하도록 동작하는 것을 특징으로 하는 손동작 기반 사용자 인터랙션 장치.The method of claim 12, wherein the three-dimensional user interface,
When the three-dimensional application system is driven according to the UI input and the driving result is fed back to the three-dimensional user interface, the feedback is transmitted to the selected metaphor template,
The metaphor converter,
And handing the feedback to a user in a sensibly perceptible form. 청구항 12에 있어서, 상기 컴퓨터 기반의 3차원 응용 시스템은
가상 환경을 3차원 가상 공간 안에 구현하고, 가상 물체를 가상 환경 안에 구현하며, 상기 3차원 사용자 인터페이스를 통해 사용자가 가상 물체, 가상 환경 및 상기 3차원 응용 시스템의 상태를 선택하고 조작할 수 있도록 동작하는 것을 특징으로 하는 손동작 기반 사용자 인터랙션 장치.The system of claim 12, wherein the computer-based three-dimensional application system
Implement a virtual environment in a three-dimensional virtual space, implement a virtual object in the virtual environment, and allow the user to select and manipulate the state of the virtual object, the virtual environment, and the three-dimensional application system through the three-dimensional user interface. Hand gesture-based user interaction device, characterized in that. 컴퓨터를 청구항 12 내지 청구항 19의 어느 한 청구항의 손동작 기반 사용자 인터랙션 장치로서 기능시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.A computer-readable recording medium having recorded thereon a program for causing a computer to function as a hand gesture-based user interaction device according to any one of claims 12 to 19.
KR1020100035933A 2010-04-19 2010-04-19 Method and apparatus for hand-gesture based user interaction technique for 3-dimensional user interface KR101121746B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100035933A KR101121746B1 (en) 2010-04-19 2010-04-19 Method and apparatus for hand-gesture based user interaction technique for 3-dimensional user interface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100035933A KR101121746B1 (en) 2010-04-19 2010-04-19 Method and apparatus for hand-gesture based user interaction technique for 3-dimensional user interface

Publications (2)

Publication Number Publication Date
KR20110116487A true KR20110116487A (en) 2011-10-26
KR101121746B1 KR101121746B1 (en) 2012-03-22

Family

ID=45030756

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100035933A KR101121746B1 (en) 2010-04-19 2010-04-19 Method and apparatus for hand-gesture based user interaction technique for 3-dimensional user interface

Country Status (1)

Country Link
KR (1) KR101121746B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10180766B2 (en) 2012-10-30 2019-01-15 Samsung Electronics Co., Ltd. Three-dimensional display device and user interfacing method therefor

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102306392B1 (en) * 2019-08-19 2021-09-30 한국과학기술연구원 Method for control interaction interface and device supporting the same

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100244523B1 (en) 1997-05-02 2000-02-01 정선종 Real-time interfacing for virtual environment
US6501515B1 (en) 1998-10-13 2002-12-31 Sony Corporation Remote control system
KR20000032308A (en) * 1998-11-13 2000-06-15 정선종 Method for generating commends of continuous gesture by using gloves and its system
KR100962569B1 (en) * 2008-05-29 2010-06-11 고려대학교 산학협력단 Virtual mouse device controlled based on variation of hand posture and driving method thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10180766B2 (en) 2012-10-30 2019-01-15 Samsung Electronics Co., Ltd. Three-dimensional display device and user interfacing method therefor

Also Published As

Publication number Publication date
KR101121746B1 (en) 2012-03-22

Similar Documents

Publication Publication Date Title
KR102219912B1 (en) Remote hover touch system and method
CN110603509B (en) Joint of direct and indirect interactions in a computer-mediated reality environment
US10901518B2 (en) User-defined virtual interaction space and manipulation of virtual cameras in the interaction space
EP2972669B1 (en) Depth-based user interface gesture control
KR101318244B1 (en) System and Method for Implemeting 3-Dimensional User Interface
Smith et al. Digital foam interaction techniques for 3D modeling
KR20140003149A (en) User customizable interface system and implementing method thereof
Lubos et al. Touching the Cloud: Bimanual annotation of immersive point clouds
KR101121746B1 (en) Method and apparatus for hand-gesture based user interaction technique for 3-dimensional user interface
Chen et al. An integrated framework for universal motion control
Kulik et al. The groovepad: ergonomic integration of isotonic and elastic input for efficient control of complementary subtasks
EP3374847B1 (en) Controlling operation of a 3d tracking device
CN116204945B (en) Object observation method, device, terminal and medium based on three-dimensional observation body
Burkhardt et al. Classifying interaction methods to support intuitive interaction devices for creating user-centered-systems
Ughini et al. EyeScope: a 3D interaction technique for accurate object selection in immersive environments
Wang et al. A Virtual Menu Using Gesture Recognition for 3D Object Manipulation in Mixed Reality
Donchyts et al. Benefits of the use of natural user interfaces in water simulations
Güneş Viewpoint manipulations for 3D visualizations of smart buildings
Jarsaillon et al. Flexible visualization framework for head-mounted display with gesture interaction interface
JP4513620B2 (en) Information processing apparatus and data presentation method in information processing apparatus
JPH0793088A (en) Device and method for virtual operation
Volk et al. A Generic User Interface Framework
Lee et al. A real-time hand interaction system for image sensor based interface
Havig et al. Evaluation of tangible user interfaces for command and control in virtual environments

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160128

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190201

Year of fee payment: 8