KR20150025090A - 제스처 기반 인터랙션의 적응형 변환을 위한 프레임워크 시스템 - Google Patents
제스처 기반 인터랙션의 적응형 변환을 위한 프레임워크 시스템 Download PDFInfo
- Publication number
- KR20150025090A KR20150025090A KR20130102252A KR20130102252A KR20150025090A KR 20150025090 A KR20150025090 A KR 20150025090A KR 20130102252 A KR20130102252 A KR 20130102252A KR 20130102252 A KR20130102252 A KR 20130102252A KR 20150025090 A KR20150025090 A KR 20150025090A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- gesture
- information
- interaction
- conversion
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 제스처 기반 인터랙션의 적응형 변환을 위한 프레임워크 시스템에 관한 것으로서,
이러한 목적을 달성하기 위한 본 발명은, 응용 프로그램(application)을 조작하기 위한 인터랙션(interaction) 방법으로서, 사용자의 제스처 정보, 기기 및 사용자 정보를 입력받는 정보 입력부; 사용자 프로파일(user profile), 기기 프로파일(device profile), 인터랙션 프로파일(interaction profile)을 저장하는 프로파일 데이터베이스; 상기 프로파일 데이터베이스에 저장된 프로파일과, 정보 입력부를 통해 입력된 정보를 매핑하여, 발생되는 액션(Action) 레벨에 대한 적응형 변환이 이루어지도록 하는 적응형 변환 서버; 및 상기 적응형 변환 서버를 통해 생성된 변환 정보를 이용하여 실제 사용자가 사용하는 응용 프로그램에서 사용자의 제스처를 이용한 객체 조작이 이루어지도록 처리하는 제스처 처리부; 를 포함한다.
이러한 목적을 달성하기 위한 본 발명은, 응용 프로그램(application)을 조작하기 위한 인터랙션(interaction) 방법으로서, 사용자의 제스처 정보, 기기 및 사용자 정보를 입력받는 정보 입력부; 사용자 프로파일(user profile), 기기 프로파일(device profile), 인터랙션 프로파일(interaction profile)을 저장하는 프로파일 데이터베이스; 상기 프로파일 데이터베이스에 저장된 프로파일과, 정보 입력부를 통해 입력된 정보를 매핑하여, 발생되는 액션(Action) 레벨에 대한 적응형 변환이 이루어지도록 하는 적응형 변환 서버; 및 상기 적응형 변환 서버를 통해 생성된 변환 정보를 이용하여 실제 사용자가 사용하는 응용 프로그램에서 사용자의 제스처를 이용한 객체 조작이 이루어지도록 처리하는 제스처 처리부; 를 포함한다.
Description
본 발명은 제스처 기반 인터랙션의 적응형 변환을 위한 프레임워크 시스템에 관한 것으로서, 더욱 상세하게는 다양한 기기 및 인터랙션 환경에서, 사용자 의도를 기반으로 한 제스처 기반의 적응형 변환 프레임워크 시스템에 관한 것이다.
적응형 사용자 인터페이스와 관련해서는, 한국공개특허 10-2013-0053441호(이하, '선행문헌') 외에 다수 출원 및 공개되어 있다.
상기한 선행문헌은, 사용자 입력들을 수신하도록 구성된 적응형 사용자 인터페이스 디바이스를 구성하는 방법으로서, 상기 적응형 사용자 인터페이스 디바이스의 동작 모드를 적응시키는 단계를 포함하며, 상기 적응형 사용자 인터페이스 디바이스의 동작 모드를 적응시키는 단계는, 사용자 입력들에 대한 상기 적응형 사용자 인터페이스 디바이스의 감도를 조절하는 단계, 및 상기 적응형 사용자 인터페이스 디바이스의 형상을 변경시키는 단계로 구성된 그룹으로부터 선택되는 것을 특징으로 한다.
최근 다양한 스마트 기기의 발달 및 상용화로 사용자는 자신이 선호하는 방법을 이용하여 기기와의 인터랙션이 가능하게 되었다. 이러한 인터랙션 방법으로는 전통적으로 사용된 마우스나 키보드를 통한 명령 방법 외에 음성 인식, 제스처 인식, 얼굴 표정 인식 등을 이용한 방법이 있다.
그 중 제스처 인터랙션은 센서가 사용자의 움직임을 감지하여 기기를 제어하도록 하는 직관적인 인터랙션 방법의 하나로 연구가 꾸준히 진행되어 왔으며, 인식 카메라, 터치스크린, 자이로 센서, 가속도 센서와 같이 사용자의 움직임을 인식하는 센서들의 발전과 함께 현재는 스마트 가전, 스마트 TV, 스마트 폰에도 적용되고 있다.
제스처 인터랙션 방법을 이용하면 사용자는 자신의 신체 움직임을 통하여 스마트 가전의 시스템 제어 및 세부 기능 조절이 가능해지고, 특정 동작만으로 게임 속의 아바타를 제어 할 수 있게 된다. 또한, 신체적 특성상 기기를 사용하여 섬세한 조작이 불가능한 사용자도 간단한 움직임만으로 기기를 제어할 수 있어 콘텐츠 이용 격차를 줄일 수 있다.
하지만, 이러한 제스처 인터랙션 방법의 경우, 사용자 상황이나 경험에 대한 고려 없이 특정 응용프로그램 내의 기능을 수행할 수 있는 가장 적절한 제스처를 기준으로 제공하고 있으며, 각 입력 기기에서 지원 가능한 제스처를 제공하고 있다.
한편, 사용자의 인지 공간에서는 동일한 작업을 수행하는데 있어 사용자 특성, 환경 및 경험이 존재하기 때문에 같은 목적을 가진 사용자라도 실제 시스템을 사용할 때 다양한 행동양식이 존재할 수 있다. 이 때문에 기기에서 일방적으로 제공되는 제스처를 사용하는 경우 사용자의 학습 및 수행과정에 혼란을 가져올 수 있고, 사용자가 의도한 목표를 수행하는데 어려움을 느낄 수 있다.
인간과 컴퓨터 인터랙션 연구의 중요한 목표인 최상의 사용자 경험을 고려한다면 사용자에게 제공되는 인터랙션 방법들은 사용자의 특성 및 경험을 극대화하고 이를 통하여 인터랙션 방법의 사용성을 강화해야 한다.
이에 다양한 특성을 가진 사용자와 기기 사이에서 발생할 수 있는 인터랙션 방법의 차이를 극복하기 위한 방안으로 사용자에게 일관된 제스처 인터랙션을 유지하기위한 제스처 인터페이스 표준화가 대두되고 있다.
하지만, 이 또한 마우스 및 터치 제스처와 같은 2차원의 소수 기기에만 적용되고 있으며, 3차원을 포함하여 사용자의 다양한 환경을 지원할 수 있는 표준화에 대해서는 지속적인 논의가 필요한 상태이며, 3차원 제스처의 표준화 규정 및 상용화에 걸리는 과정 및 시간을 생각한다면 표준화가 이루어지기전, 사용자와 제스처 인터랙션 방법의 차이를 극복할 수 있는 대안이 필요하다.
본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로, 사용자의 특성 및 기기를 고려하여 같은 목적을 달성하기 위해 발생하는 사용자 사이의 다양한 제스처를 사용자 목적에 맞게 변환하고, 이를 통해 사용자의 편리함, 실수 비율 감소, 빠른 작업이 가능하도록 하며, 새로운 사용자 및 인터랙션이 발생하더라도 간단한 정보와 프레임워크에 따라 제스처의 적절한 변환이 이루어질 수 있는 시스템을 제공함에 그 목적이 있다.
이러한 기술적 과제를 달성하기 위한 본 발명은 제스처 기반 인터랙션의 적응형 변환을 위한 프레임워크 시스템에 관한 것으로서, 응용 프로그램(application)을 조작하기 위한 인터랙션(interaction) 방법으로서, 사용자의 제스처 정보, 기기 및 사용자 정보를 입력받는 정보 입력부; 사용자 프로파일(user profile), 기기 프로파일(device profile), 인터랙션 프로파일(interaction profile)을 저장하는 프로파일 데이터베이스; 상기 프로파일 데이터베이스에 저장된 프로파일과, 정보 입력부를 통해 입력된 정보를 매핑하여, 발생되는 액션(Action) 레벨에 대한 적응형 변환이 이루어지도록 하는 적응형 변환 서버; 및 상기 적응형 변환 서버를 통해 생성된 변환 정보를 이용하여 실제 사용자가 사용하는 응용 프로그램에서 사용자의 제스처를 이용한 객체 조작이 이루어지도록 처리하는 제스처 처리부; 를 포함한다.
또한 상기 정보 입력부를 통해 입력되는 사용자의 제스처 정보는, 사용자의 2차원 포인팅 제스처, 2차원 싱글/멀티(Single/Mult)i 터치 제스처, 3차원 싱글/멀티(Single/Multi) 포인팅 제스처, 3차원 싱글/멀티(Single/Multi) 손(handing) 제스처를 포함하는 것을 특징으로 한다.
또한 상기 프로파일 데이터베이스는, 사용자 프로파일 데이터베이스를 구별하기 위한 ID 정보, 사용자 나이(age) 정보, 성별(gender) 정보, 신체적 능력(physical condition) 정보 및 작업 능숙도(proficiency) 정보를 포함하는 사용자 프로파일 데이터베이스부; 기기의 특징을 나타낼 수 있는 요소로 분류한 정보로서, 기기 프로파일 데이터베이스를 구별하기 위한 기기 프로파일 ID 정보, 사용자의 기기를 구분하기 위한 기기 타입(device type) 정보, 기기를 조작하기 위한 입력 타입인 입력 기기 타입(input device type) 정보, 기기에서 지원이 가능한 차원(Dimension) 정보 및 기기에서 지원 가능한 포인트 개수(Available number of point) 정보를 포함하는 기기 프로파일 데이터베이스부; 및 프로파일 데이터베이스를 구별하기 위한 ID 정보, 인터랙션의 단위 요소 구분을 위한 액션(Action) 정보, 방향을 나타내는 방향(Direction) 정보, 인터랙션에서 사용하는 포인트 개수(Number of point) 정보 및 시간(time) 정보를 포함하는 인터랙션 프로파일(interaction profile) 데이터베이스부; 를 포함하는 것을 특징으로 한다.
또한 상기 적응형 변환 서버는, 사용자 상호작용 모델을 정의하고, 정의된 사용자 상호작용 모델을 응용 프로그램(applacation)에서 지원하는 객체의 이동, 회전, 확대, 축소 기능에 적용하는 모델링부; 상기 사용자 상호작용 모델을 기반으로, 사용자 의도에 맞는 액션(Action)의 매핑을 수행하는 매핑부; 및 사용자 고유 액션(Action)의 파라미터를 적용하여, 입력에 대한 적응형 변환을 수행하는 적응형 변환부; 를 포함하는 것을 특징으로 한다.
또한 상기 매핑부는, 초기 사용자로부터 받은 제스처에 대하여 제스처의 궤적, 클릭, 터치를 포함하는 포인팅 제스처 인식을 수행하는 인식모듈; 인식된 제스처에 대한 시작점 및 끝점 분석을 통해 제스처의 방향과 사용자 제스처가 어떤 입력 타입에 속하는지에 대한 단위 요소 분석을 수행하는 단위 분석모듈; 및 상기 모델링부를 통해 정의된 사용자 상호작용 모델을 바탕으로, 최종적인 사용자 의도를 파악하여 매핑하되, 시간에 따른 연속적인 사용자 입력을 조합하고, 시맨틱(Semantic) 정보를 구축하는 시맨틱 정보 구축모듈; 을 포함하는 것을 특징으로 한다.
또한 상기 적응형 변환부는, 객체를 이동시키는 작업을 수행하기 위한 사용자 고유 파라메터를 적용하여 객체를 이동하는 행동으로 적응형 변환되도록 하는 인터랙션 변환모듈; 상기 인터랙션 변환모듈을 통해 1차적으로 인터랙션 적응형 변환이 이루어진 결과를 바탕으로, 사용자의 작업 능숙도(proficiency)에 따라, 사용자 그룹을 나누어 적응형 변환을 수행하는 사용자 변환모듈; 인터랙션 및 사용자 정보에 대한 변환을 마친 인터랙션에 대하여 사용자의 기기에서 지원되지 않는 부분에 대한 대체 변환이 이루어지도록 하는 기기 변환모듈; 및 상기 인터랙션 변환모듈, 사용자 변환모듈 및 기기 변환모듈을 통한 변환 정보를 XML 파일로 생성하는 파일 생성모듈; 을 포함하는 것을 특징으로 한다.
또한 상기 사용자 변환모듈은, 사용자 그룹이 3D 모델 뷰어(3D model viewer)인 경우, 제스처에 따른 오브젝트(Object) 변환이 특정 값만큼 이루어지도록 하며, 3D 모델 디자이너(3D model designer)인 경우, 사용자 제스처에 따른 오브젝트(Object)가 사용자의 움직임에 따라 동일하게 움직이게 변환되도록 하는 것을 특징으로 한다.
그리고 상기 기기 변환모듈은, 인터랙션 방법에 대해 사용자의 차원 수와 포인팅 수를 다운 그레이드(Downgrade)시킴으로써 적응형 변환을 수행하는 것을 특징으로 한다.
상기와 같은 본 발명에 따르면, 기기의 특성 뿐 아니라 사용자의 특성 및 상황에 따라 다른 제스처 인터랙션 방법의 적응형 변환을 통해, 기존 연구에서 다루었던 콘텐츠 레이아웃이나 유저 인터페이스 디자인의 변환이 아닌 사용자 입력 부분과 입력에 따른 객체 조작에 대한 적응형 변환이 이루어지는 효과가 있다.
또한 본 발명에 따르면, 사용자의 제스처 인터랙션에 대한 사용성 및 접근성 향상 기기에서 일방적으로 제공하는 인터랙션 방법이 아닌 기기 특성, 사용자의 특성 및 환경에 적합한 제스처를 통해 인터랙션에 대한 사용자의 사용성을 향상시킬수 있으며, 사용자의 작업 성향에 따른 객체 조작 변환이 이루어져 다양한 환경에 대한 사용자 접근성이 향상되는 효과도 있다.
그리고 본 발명에 따르면, 새로운 기기 및 인터랙션 방법이나 새로운 사용자가 추가되었을 경우에도 간단한 프로파일 정보를 통해 제스처 변환을 수행하고, 제스처 인터랙션 조작에 대한 개발의 간소화가 이루어지도록 하는 효과도 있다.
도 1 은 본 발명에 따른 제스처 기반 인터랙션의 적응형 변환을 위한 프레임워크 시스템을 개념적으로 도시한 전체 구성도.
도 2 는 본 발명에 따른 홈 디자인을 위한 사용자의 Goal, Sub-goal, Task, Sub-task의 실제 예.
도 3 은 본 발명에 따른 홈 디자인에서 Task에 따른 액션 레벨(Action Level)을 보이는 일예시도.
도 4 는 본 발명에 따른 Task 수행을 위한 사용자의 제스처를 보이는 일예시도.
도 5 는 본 발명에 따른 매핑부에 관한 세부 구성도.
도 6 은 본 발명에 액션 매핑(Action Mapping)이 이루어지는 과정을 보이는 일예시도.
도 7 은 본 발명에 따른 적응형 변환부에 관한 세부 구성도.
도 8 은 본 발명에 따른 사용자마다 다른 행동에 대한 인터랙션 변환 과정을 보이는 일예시도.
도 9 는 본 발명에 따른 사용자 메타포에 따른 적응형 변환을 보이는 일예시도.
도 2 는 본 발명에 따른 홈 디자인을 위한 사용자의 Goal, Sub-goal, Task, Sub-task의 실제 예.
도 3 은 본 발명에 따른 홈 디자인에서 Task에 따른 액션 레벨(Action Level)을 보이는 일예시도.
도 4 는 본 발명에 따른 Task 수행을 위한 사용자의 제스처를 보이는 일예시도.
도 5 는 본 발명에 따른 매핑부에 관한 세부 구성도.
도 6 은 본 발명에 액션 매핑(Action Mapping)이 이루어지는 과정을 보이는 일예시도.
도 7 은 본 발명에 따른 적응형 변환부에 관한 세부 구성도.
도 8 은 본 발명에 따른 사용자마다 다른 행동에 대한 인터랙션 변환 과정을 보이는 일예시도.
도 9 는 본 발명에 따른 사용자 메타포에 따른 적응형 변환을 보이는 일예시도.
본 발명의 구체적 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명을 상세하게 설명한다.
본 발명에 따른 제스처 기반 인터랙션의 적응형 변환을 위한 프레임워크 시스템에 관하여 도 1 내지 도 9 를 참조하여 설명하면 다음과 같다.
도 1 은 본 발명에 따른 제스처 기반 인터랙션의 적응형 변환을 위한 프레임워크 시스템(S)을 개념적으로 도시한 전체 구성도로서, 도시된 바와 같이 정보 입력부(100), 프로파일 데이터베이스(200), 적응형 변환 서버(300) 및 제스처 처리부(400)를 포함하여 이루어진다.
정보 입력부(100)는 응용 프로그램(application)(10)을 조작하기 위한 인터랙션(interaction) 방법으로서, 사용자의 제스처 정보, 기기 및 사용자 정보를 입력받는다.
이때, 사용자의 제스처 정보는, 사용자의 2차원 포인팅 제스처, 2차원 싱글/멀티(Single/Mult)i 터치 제스처, 3차원 싱글/멀티(Single/Multi) 포인팅 제스처, 3차원 싱글/멀티(Single/Multi) 손(handing) 제스처 등의 정보를 포함한다.
프로파일 데이터베이스(200)는 사용자 프로파일(user profile), 기기 프로파일(device profile), 인터랙션 프로파일(interaction profile) 등을 저장하고 있는 바, 상기 도 1 에 도시된 바와 같이, 사용자 프로파일(user profile) 데이터베이스부(210), 기기 프로파일(device profile) 데이터베이스부(220) 및 인터랙션 프로파일(interaction profile) 데이터베이스부(230)를 포함한다.
구체적으로, 사용자 프로파일 데이터베이스부(210)는 사용자 프로파일 데이터베이스를 구별하기 위한 ID 정보, 사용자 나이(age) 정보, 성별(gender) 정보, 신체적 능력(physical condition) 정보 및 작업 능숙도(proficiency) 정보 등을 포함한다.
| ID | 나이 (age) |
성별 (gender) |
신체적 능력 (physical condition) |
작업 능숙도 (proficiency) |
| - 10-20 - 20-30 - 30-40 - 40-50 - 50-60 |
- 남자(male) - 여자(female) |
- 장애가 있는 경우(Specific) - 장애가 없는 경우(Non-specific) |
-3D 모델 뷰어(3D model viewer) - 3D 모델 디자이너(3D model designer) |
[표 1] 은 사용자 프로파일 데이터베이스부(210)를 보이는 표로서, 도시된 바와 같이, 사용자 나이(age) 정보는 사용자 연령대 분류를 위해 10대~20대, 20대~30대, 30대~40대, 40~50대, 50대~60대로 분류한다.
또한, 성별(gender) 정보는 남자, 여자로 분류하고, 또한, 신체적 능력(physical condition) 정보는 장애가 있는 경우(Specific)와, 장애가 없는 경우(Non-specific)로 분류한다.
그리고, 사용자의 메타포에 의한 적응형 변환을 위해 사용자의 작업 성향에 따라, 작업 능숙도(proficiency)를 정한다. 즉, 작업 능숙도(proficiency) 정보는 3차원 모델링 뷰어와 같은 작업에 익숙한 사용자와, 3차원 디자인 툴을 이용하는 작업에 익숙한 사용자를 분류하여 3D 모델 뷰어(3D model viewer)와, 3D 모델 디자이너(3D model designer)로 분류한다.
기기 프로파일 데이터베이스부(220)는 기기의 특징을 나타낼 수 있는 요소로 분류한 정보로서, 기기 프로파일 데이터베이스를 구별하기 위한 기기 프로파일 ID 정보, 사용자의 기기를 구분하기 위한 기기 타입(device type) 정보, 기기를 조작하기 위한 입력 타입인 입력 기기 타입(input device type) 정보, 기기에서 지원이 가능한 차원(Dimension) 정보 및 기기에서 지원 가능한 포인트 개수(Available number of point) 정보 등을 포함한다.
| ID | 기기 타입 (device type) |
입력 기기 타입 (input device type) |
차원 (dimension) |
지원 가능한 포인트 개수(available number of point |
| - 스마트 패드 - 스마트 폰 - 스마트 TV - PC |
- 접촉(Contact) => Touch, Mouse, 3D pointing) - 비접촉(Not contact) => (3D depth camera) |
- 2D - 3D |
- 싱글 포인트(Single point) - 멀티 포인트(Multi point) |
[표 2] 는 기기 프로파일 데이터베이스부(220)를 보이는 표로서, 도시된 바와 같이, 기기 타입(device type) 정보는 사용자의 사용 기기에 따라 스마트 패드(Smart Pad), 스마트 폰(Smart Phone), 스마트 TV(Smart TV), PC 등으로 분류한다.
또한, 이 기기를 조작하기 위한 입력 기기 타입(input device type) 정보는 사용자가 기기와의 접촉이 행해지는 경우와, 사용자와 기기가 비접촉하는 경우로 분류하여 사용자와 기기가 접촉하는 타입은 터치 스크(Touch screen), 마우스(Mouse), 3D 포인팅(Pointing) 기기로, 사용자와 기기가 비 접촉하는 타입은 3D 깊이 카메라(Depth Camera) 기기로 분류한다.
또한, 기기에서 지원 가능한 차원(Dimension) 정보는 마우스 제스처나 터치 스크린(Touch Screen)과 같이 2차원 입력을 가지는 기기 및 3차원 제스처를 지원해주는 기기들로 분류한다.
그리고, 지원 가능한 포인트 개수(Available number of point) 정보는 기기에서 지원해 줄 수 있는 포인팅의 개수를 의미하여, 입력 기기 타입에 따라 싱글 포인트(Single point), 멀티 포인트(Multi point)로 분류한다.
인터랙션 프로파일(interaction profile) 데이터베이스부(230)는 사용자 상호작용 모델에서 정의한 어휘 수준(Lexical Level)의 파라메터를 정의하기 위한 정보들로 구성된다.
먼저, 프로파일 데이터베이스를 구별하기 위한 ID 정보, 인터랙션의 단위 요소 구분을 위한 액션(Action) 정보, 방향을 나타내는 방향(Direction) 정보, 인터랙션에서 사용하는 포인트 개수(Number of point) 정보, 그리고 시간(time) 정보 등을 포함한다.
| ID | 액션 (action) |
방향 (direction) |
시간 (time) |
포인트 개수 (Number of point) |
| - 이동(Move) => Drag, Wave - 줌 인(Zoom in) => Push, Spread -줌 아웃(Zoom out) => Pull, Pinch -회전(Rotation) => Twist, Circle |
- Left - Right - Up - Down - Clockwise - Counterclockwise - Forward - Backward |
- 동시 결합(Simultaneous) -순차적 결합(Sequential) |
- 싱글 포인트(Single point) - 멀티 포인트(Multi point) |
[표 3] 은 인터랙션 프로파일(interaction profile) 데이터베이스부(230)를 보이는 표로서, 도시된 바와 같이, 액션(Action) 정보는 객체 이동을 위한 이동(Move), 객체 확대 및 축소를 위한 줌 인(Zoom in)과 줌 아웃(Zoom out), 객체 회전(Rotation)의 세부 단위로 분류되며, 세부적으로 이 액션(Action)을 수행하기 위한 인터랙션 요소들이 포함된다.
이동(Move)의 경우, 2차원에서의 움직임인 드래그(Drag)와 3차원에서의 웨이브(Wave)가 포함되고, 객체를 확대하고 축소하는 방법으로는 줌 인(Zoom in)과 줌 아웃(Zoom Out)으로 분류하여 푸쉬(Push), 스프레드(Spread), 풀(Pull), 핀치(Pinch)로 분류한다.
회전(Rotation)에는 회전하는 인터랙션 방법이 포함되어 기기를 Y축을 기준으로 회전시키는 트위스트(Twist), 원을 그리는 써클(Circle)이 포함된다. 이때, 새로운 기기가 추가되면 해당하는 세부 단위에 인터랙션 방법을 추가함으로써, 간단한 인터랙션 추가가 이루어지도록 한다.
또한, 방향(Direction) 정보는 제스처의 방향을 의미하는 부분으로 단순 방향인 레프트, 라이트, 업, 다운, 포워드, 백워드(Left, Right, Up, Down, Forward, Backward)와 시계방향(Clockwise)과 반시계방향(Counterclockwise)으로 분류한다.
또한, 시간(time)은 인터랙션의 시간은 대상(객체)+행동(선택+이동)의 예와 같이 다른 행동과 결합이 있는 경우를 나타내주는 정보로 동시에 결합(Simultaneous)이 발생하는 경우와, 순차적으로 결합(Sequential)이 일어나는 경우로 분류한다.
그리고, 인터랙션에서 사용하는 포인트 개수(Number of point) 정보는 사용자 제스처의 포인팅 수를 의미하여 싱글 포인트(Single point)와 멀티 포인트(Multi points)로 분류한다.
적응형 변환 서버(300)는 상기 프로파일 데이터베이스(200)에 저장된 프로파일과, 정보 입력부(100)를 통해 입력된 정보를 매핑하여, 발생되는 액션(Action) 레벨에 대한 적응형 변환이 이루어지도록 하는 기능을 수행하는 바, 상기 도 1 에 도시된 바와 같이 모델링부(310), 매핑부(320) 및 적응형 변환부(330)를 포함한다.
모델링부(310)는 사용자 상호작용 모델을 정의하고, 정의된 사용자 상호작용 모델을 응용 프로그램(applacation)(10)에서 지원하는 객체의 이동, 회전, 확대, 축소 등의 기능에 적용한다.
구체적으로, 모델링부(310)는 응용 프로그램(10)에서 사용자가 성취하고자 하는 목표와, 이 목표를 수행하기 위한 세부 목표가 존재하는데 이를 각각 Goal과 Sub Goal로 분류하고, 이 세부 목표를 수행하기 위한 사용자의 인지과정에서 나타나는 행동 순서 및 계획을 Task라고 정의한다. 또한, Task를 성취하고자 하는 사용자의 실제 행동이 발생하는 부분을 액션(Action)으로 정의하였다.
도 2 는 홈 디자인을 위한 사용자의 Goal, Sub-goal, Task, Sub-task의 실제 예로, 사용자는 최상위 Goal인 집의 디자인을 위해 벽지, 가구, 조명 등을 고르는 Sub-goal을 수행하고, 세부적으로 가구를 고르기 위해 가구의 모양을 확인하거나 가구 재질 확인, 가구 배치 등의 Sub-goal이 발생할 수 있다. 이 Sub-goal을 수행하기 위한 사용자의 계획이 Task와 Sub-task에 속하며 예제에서는 가구의 적절한 배치를 위해 가구를 이동하는 사용자의 행동이 정의될 수 있다.
Goal 레벨에서부터 Task 레벨은 사용자의 행동 모델 중 상위모델에 속하며 사용자, 기기, 응용 프로그램에 비종속적인 특성을 가진다.
한편, 액션(Action) 레벨은 사용자의 실제 행동이 일어나는 레벨로 사용자가 동일한 Task를 수행하려고할 때 사용자, 기기에 따라 다양하게 발생할 수 있는 행동들을 정의한다.
도 3 을 보면, 가구를 이동한다는 사용자의 Sub-task에 따라 사용자의 액션(Action)은 객체를 선택하고 이동하는 방법, 선택 모드 변경 후 이동하는 방법, 바로 이동하는 방법 등이 존재할 수 있다.
액션(Action) 레벨에서는 사용자의 및 기기 특성에 따라 다양한 행동이 발생된다. 여기서, 액션(Action)이 가지는 의미를 시맨틱 레벨(Semantics Level)이라고 정의하고, 이 액션(Action)을 수행하기 위한 다양한 제스처 인터랙션 조합 및 문법을 신택틱 레벨(Syntactic Level), 그리고 조합을 이루는 단위 요소들을 어휘 레벨(Lexical Level)이라고 정의한다.
본 발명에 따른 프레임 워크 시스템에서는, 사용자들의 상황, 특성, 기기의 특성에 따라 어휘 레벨(Lexical Level)에서 발생하는 단위 요소에 대하여 하나의 액션(Action)을 수행하기 위한 신택틱 레벨(Syntactic Level)의 문법을 매칭시킴으로써 사용자 의미와 목표를 파악할 수 있다.
여기서, 신택틱 레벨(Syntactic Level)은 액션(Action)을 수행하기 위한 조합 및 문법으로 어떤 행동에 대해 조작 대상과, 그 조작을 위한 행동으로 정의된다.
행동은 3차원 객체를 조작하는 응용 프로그램에서 객체 이동, 객체 확대, 객체 축소, 객체회전 행동으로 정해지고, 각 행동에는 그 특징에 따라 4가지 파라메터가 존재하는데 이는 시간, 방향, 포인트 수, 차원 수이다.
액션 레벨(Action Level)을 위한 어휘 레벨(Lexical Level)의 4가지 파라메터는 [표 4] 와 같이 표현될 수 있는데 이것은 사용자마다 다양하게 발생하는 행동에 대한 요소이다.
시간은 사용자의 작업이 다른 행동과 결합이 있을 때 동시에 일어나는지 시간차를 두고 일어나는지에 대한 여부에 따라 동시, 시간차, 없음으로 분류된다. 없음은 결합이 일어나지 않는 경우나, 객체 선택과 같이 시간의 요소가 필요하지 않은 경우를 위해 설정된다.
또한, 방향은 사용자의 행동이 가지는 방향에 대한 분류로 어떤 행동을 할 때 포인터가 시작하여 끝나는 지점이 오른쪽, 왼쪽, 위, 아래, 시계방향, 반 시계 방향, 앞, 뒤인지에 대한 정보가 이에 포함된다.
또한, 포인트 수는 기기 지원에 따라 싱글/멀티(Single/Multi)로 차원 수는 기기 지원에따라 2차원, 3차원으로 분류될 수 있다.
| 행동 | |||
| 시간 | 방향 | 포인트 수 | 차원 수 |
| 동시, 시간차, 없음 | 오른쪽, 왼쪽, 위, 아래, 시계방향, 반시계방향, 앞, 뒤 | 싱글 포인트 (Single point) 멀티 포인트 (Multi point) |
2차원, 3차원 |
본 발명에 따른 모델링부(310)는 앞서 서술한 바와 같이 정리된 내용을 바탕으로 실제 사용자 상호 작용 모델링을 수행한다.
사용자 상호작용 모델을 실제 예와 함께 살펴보면, "가구를 이동한다." 는 Task를 수행하기 위해서 액션(Action) 레벨에서는 도 4 와 같은 사용자 행동이 발생한다.
다시 이 행동들을 시맨틱 레벨(Semantics Level), 신택틱 레벨(Syntactic Level), 어휘 레벨(Lexical Level)로 분류하여 보면 [표 5] 와 같이 표현된다.
| A | B | |
| 시맨틱 레벨 (Semantics Level) |
객체 선택, 객체 이동 | 객체 이동 |
| 신택틱 레벨 (Syntactic Level) |
객체+선택+이동[동시, 오른쪽, Single, 2차원] | 객체+이동[없음, 오른쪽, Single, 3차원] |
| 어휘 레벨 (Lexical Level) |
동시, 오른쪽, Single, 2차원 | 없음, 오른쪽, Single, 3차원 |
A는 객체를 선택 후 객체 이동이 발생하고 B는 선택과정 없이 객체 이동이 일어난다. 그렇기 때문에 시맨틱 레벨(Semantic Level)에서 A는 객체 선택, 객체 이동 과정을 거치며, B는 객체 이동의 과정을 거친다.
신택틱 레벨(Syntactic Level)에서는 A의 경우, 객체 선택, 객체 이동에 따른 행동이 4가지 파라메터에 따라 객체+선택+이동[동시, 오른쪽, Single, 2차원] 과 같이 분류되는데 이 조합을 살펴보면, 이동의 과정에서는 객체의 선택과 이동이 동시에 일어남으로 시간에 대한 요소로 동시, 이동에 대한 방향성이 오른쪽이므로 오른쪽, 마우스의 포인팅 수는 Single, 사용자 제스처에 대한 차원 수는 2차원으로 정리된다.
B의 경우도 동일한 방법으로 정의되는데, B 과정에서는 객체 선택이 완료되었다고 가정한 후, 객체 이동이 이루어져 사용자의 행동이 객체+이동[없음, 오른쪽, Single, 3차원]으로 분류된다. 이 경우에는 A와 같은 선택 과정이 빠지고 바로 이동이 수행된다.
이와 같은 사용자 상호작용 모델을 응용 프로그램(10)에서 지원하는 객체 이동, 회전, 확대, 축소 기능에 적용하면 [표 6] 과 같이 표현된다.
다음에서 정의한 모델을 통해, 사용자의 제스처 분석을 통해 사용자가 목표로 하는 작업을 파악이 가능해지고 제스처 파라메터 분석을 통해 사용자의 인터랙션 적응형 변환이 가능해진다.
매핑부(320)는 사용자 입력에 따른 알맞은 어휘(Lexicon) 정보들과, 이를 구성하는 문법(Syntax) 정보를 통해 구체적인 시맨틱(Semantic) 정보를 구축하는 과정을 수행한다.
즉, 매핑부(320)는 상기 사용자 상호작용 모델을 기반으로, 사용자 의도에 맞는 액션(Action)의 매핑을 수행하는 기능을 수행하는 바, 도 5 에 도시된 바와 같이 인식모듈(321), 단위 분석모듈(322) 및 시맨틱 정보 구축모듈(323)을 포함한다.
구체적으로, 인식모듈(321)은 초기 사용자로부터 받은 제스처에 대하여 제스처의 궤적, 클릭, 터치 등과 같은 포인팅 등의 제스처 인식을 수행한다.
단위 분석모듈(322)은 인식된 제스처에 대한 시작점 및 끝점 분석을 통해 제스처의 방향과 사용자 제스처가 어떤 입력 타입에 속하는지에 대한 단위 요소 분석을 수행한다.
만약, 사용자 제스처의 궤적이 '원' 이라면, 이는 인터랙션 프로파일(interaction profile) 데이터베이스부(230)의 액션(Action)에 회전(Rotation)에 해당하는 행동이며, 사용자는 대상을 회전시키려는 동작이 수행됨을 알 수 있다.
이러한 과정을 통해, 사용자의 제스처 인식이 이루어지면, 시맨틱 정보 구축모듈(323)은 시간에 따른 연속적인 사용자 입력을 조합하고, 구체적인 시맨틱(Semantic) 정보를 구축하게 된다.
예를 들어, 사용자 행동에 대하여 시간에 따른 동작의 조합을 통해 대상+행동과 같은 하나의 문장을 만들어 낼 수 있는데, 만약, 사용자의 행동이 객체를 클릭(Click)하고 회전(Rotation)하는 행동을 수행하면, 시맨틱 정보 구축모듈(323)은 이를 객체+선택+회전으로 해석하며, 모델링부(310)를 통해 정의된 사용자 상호작용 모델을 바탕으로, 최종적인 사용자 의도가 객체 회전임을 파악하여 매핑한다(도 6 참조).
적응형 변환부(330)는 사용자 고유 액션(Action)의 파라미터를 적용하여, 입력에 대한 적응형 변환을 수행하는 기능을 수행하는 바, 도 7 에 도시된 바와 같이 인터랙션 변환모듈(331), 사용자 변환모듈(332), 기기 변환모듈(333) 및 파일 생성모듈(334)을 포함한다.
구체적으로, 인터랙션 변환모듈(331)은 객체를 이동시키는 작업을 수행하기 위한 사용자 A가 도 8 의 (a) 에 도시된 바와 같이, [없음, 오른쪽, Single, 3차원] 파라메터 값을 이용할 경우, 이러한 사용자 고유 파라메터를 적용하여 객체를 이동하는 행동으로 적응형 변환되도록 한다.
도 8 의 (b) 에 도시된 바와 같이, 사용자 B와 같이 같은 목표를 가진 사용자라도 작업을 수행하기 위한 행동이 [동시, 오른쪽, Multi, 2차원]로 다를 수 있는데 인터랙션 적응형 변환에서는 이를 사용자 고유의 값을 이용하여 목표 수행을 위한 적응형 변환을 이룬다.
사용자 변환모듈(332)은 인터랙션 변환모듈(331)을 통해 1차적으로 인터랙션 적응형 변환이 이루어진 결과를 바탕으로, 사용자의 작업 능숙도(proficiency)에 따라, 사용자 그룹을 나누어 적응형 변환을 수행한다.
이때, 사용자 그룹은 작업 성향에 따라 섬세한 작업을 수행하는 디자이너(Designer) 성향을 가진 사람과 전체적인 작업을 수행하는 뷰어(Viewer) 성향을 가진 사람으로 나뉠 수 있고, 혹은 주로 사용하는 기기 타입에 따라, 장애 유무에 따라, 시스템 사용 습관이나 나이 등에 따라 서로 다른 사용자 메타포를 설정할 수 있다.
본 발명에서는 사용자 메타포에 대한 분류로 작업의 성향에 따른 사용자 그룹을 분류하여, 디자이너(Designer) 성향과 뷰어(Viewer) 성향을 가진 사람들을 대상으로 적응형 변환을 이루도록 하였다.
작업 성향이 Viewer인 사용자들의 경우, 3D 모델 뷰어(3D model viewer)를 수행하는 응용 프로그램에 경험을 가지고 있으며, 객체를 조작할 때 사용자 입력에 대한 민감도보다 빠른 반응을 중요시하는 사용자로 분류된다.
이에 반해 작업 성향이 디자이너(Designer)인 사용자는 3D 모델 디자인(3D model design) 툴에 사용 경험을 가지고 있으며, 특히 섬세한 작업을 수행하여 응용 프로그램에서의 사용자 입력에 대한 빠른 반응보다는 사용자의 섬세한 입력에 대한 반영을 필요로 하는 사용자로 분류한다.
사용자 변환모듈(332)은 도 9 의 (a) 에 도시된 바와 같이, 사용자 메타포에 따른 적응형 변환을 위해 메타포가 3D 모델 뷰어(3D model viewer)인 사용자의 경우, 제스처에 따른 오브젝트(Object) 변환이 특정 값만큼 이루어지도록 하며, 도 9 의 (b) 에 도시된 바와 같이, 사용자 메타포가 3D 모델 디자이너(3D model designer)인 경우, 사용자 제스처에 따른 오브젝트(Object)가 사용자의 움직임에 따라 동일하게 움직이게 변환되도록 한다. 여기서, 특정 값은 사용자의 기기에 따라 움직임의 범위가 정해질 수 있다.
기기 변환모듈(333)은 인터랙션 및 사용자 정보에 대한 변환을 마친 인터랙션에 대하여 사용자의 기기에서 지원되지 않는 부분에 대한 대체 변환이 이루어지도록 한다.
현재 기기에서 제스처의 지원이 불가능한 경우는 두 가지로 나뉘는데, 2차원 기기에서 3차원 제스처를 수행하려고 하는 부분에서 발생하는 차원에 대한 문제와 싱글(Single) 포인트를 지원하는 기기에서 멀티(Multi) 포인트를 이용하려고 할 때 발생하는 포인팅 수에 대한 문제이다.
이러한 문제에 대하여, 기기 변환모듈(333)은 인터랙션 방법에 대해 사용자의 차원 수와 포인팅 수를 다운 그레이드(Downgrade)시킴으로써 적응형 변환을 수행한다.
파일 생성모듈(334)은 인터랙션 변환모듈(331), 사용자 변환모듈(332) 및 기기 변환모듈(333)을 통한 변환 정보를 XML 파일로 생성한다.
제스처 처리부(400)는 적응형 변환 서버(300)를 통해 생성된 변환 정보, 바람직하게 XML 파일을 이용하여 실제 사용자가 사용하는 응용 프로그램(10)에서 사용자의 제스처를 이용한 객체 조작이 이루어지도록 처리한다.
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
S: 제스처 기반 인터랙션의 적응형 변환을 위한 프레임워크 시스템
100: 정보 입력부 200: 프로파일 데이터베이스
300: 적응형 변환 서버 400: 제스처 처리부
210: 사용자 프로파일 데이터베이스부
220: 기기 프로파일 데이터베이스부
230: 인터랙션 프로파일 데이터베이스부
310: 모델링부 320: 매핑부
330: 적응형 변환부 321: 인식모듈
322: 단위 분석모듈 323: 시맨틱 정보 구축모듈
331: 인터랙션 변환모듈 332: 사용자 변환모듈
333: 기기 변환모듈 334: 파일 생성모듈
100: 정보 입력부 200: 프로파일 데이터베이스
300: 적응형 변환 서버 400: 제스처 처리부
210: 사용자 프로파일 데이터베이스부
220: 기기 프로파일 데이터베이스부
230: 인터랙션 프로파일 데이터베이스부
310: 모델링부 320: 매핑부
330: 적응형 변환부 321: 인식모듈
322: 단위 분석모듈 323: 시맨틱 정보 구축모듈
331: 인터랙션 변환모듈 332: 사용자 변환모듈
333: 기기 변환모듈 334: 파일 생성모듈
Claims (8)
- 제스처 기반 인터랙션의 적응형 변환을 위한 프레임워크 시스템에 있어서,
응용 프로그램(application)(10)을 조작하기 위한 인터랙션(interaction) 방법으로서, 사용자의 제스처 정보, 기기 및 사용자 정보를 입력받는 정보 입력부(100);
사용자 프로파일(user profile), 기기 프로파일(device profile), 인터랙션 프로파일(interaction profile)을 저장하는 프로파일 데이터베이스(200);
상기 프로파일 데이터베이스(200)에 저장된 프로파일과, 정보 입력부(100)를 통해 입력된 정보를 매핑하여, 발생되는 액션(Action) 레벨에 대한 적응형 변환이 이루어지도록 하는 적응형 변환 서버(300); 및
상기 적응형 변환 서버(300)를 통해 생성된 변환 정보를 이용하여 실제 사용자가 사용하는 응용 프로그램(10)에서 사용자의 제스처를 이용한 객체 조작이 이루어지도록 처리하는 제스처 처리부(400); 를 포함하는 제스처 기반 인터랙션의 적응형 변환을 위한 프레임워크 시스템.
- 제 1 항에 있어서,
상기 정보 입력부(100)를 통해 입력되는 사용자의 제스처 정보는,
사용자의 2차원 포인팅 제스처, 2차원 싱글/멀티(Single/Mult)i 터치 제스처, 3차원 싱글/멀티(Single/Multi) 포인팅 제스처, 3차원 싱글/멀티(Single/Multi) 손(handing) 제스처를 포함하는 것을 특징으로 하는 제스처 기반 인터랙션의 적응형 변환을 위한 프레임워크 시스템.
- 제 1 항에 있어서,
상기 프로파일 데이터베이스(200)는,
사용자 프로파일 데이터베이스를 구별하기 위한 ID 정보, 사용자 나이(age) 정보, 성별(gender) 정보, 신체적 능력(physical condition) 정보 및 작업 능숙도(proficiency) 정보를 포함하는 사용자 프로파일 데이터베이스부(210);
기기의 특징을 나타낼 수 있는 요소로 분류한 정보로서, 기기 프로파일 데이터베이스를 구별하기 위한 기기 프로파일 ID 정보, 사용자의 기기를 구분하기 위한 기기 타입(device type) 정보, 기기를 조작하기 위한 입력 타입인 입력 기기 타입(input device type) 정보, 기기에서 지원이 가능한 차원(Dimension) 정보 및 기기에서 지원 가능한 포인트 개수(Available number of point) 정보를 포함하는 기기 프로파일 데이터베이스부(220); 및
프로파일 데이터베이스를 구별하기 위한 ID 정보, 인터랙션의 단위 요소 구분을 위한 액션(Action) 정보, 방향을 나타내는 방향(Direction) 정보, 인터랙션에서 사용하는 포인트 개수(Number of point) 정보 및 시간(time) 정보를 포함하는 인터랙션 프로파일(interaction profile) 데이터베이스부(230); 를 포함하는 것을 특징으로 하는 제스처 기반 인터랙션의 적응형 변환을 위한 프레임워크 시스템.
- 제 1 항에 있어서,
상기 적응형 변환 서버(300)는,
사용자 상호작용 모델을 정의하고, 정의된 사용자 상호작용 모델을 응용 프로그램(applacation)(10)에서 지원하는 객체의 이동, 회전, 확대, 축소 기능에 적용하는 모델링부(310);
상기 사용자 상호작용 모델을 기반으로, 사용자 의도에 맞는 액션(Action)의 매핑을 수행하는 매핑부(320); 및
사용자 고유 액션(Action)의 파라미터를 적용하여, 입력에 대한 적응형 변환을 수행하는 적응형 변환부(330); 를 포함하는 것을 특징으로 하는 제스처 기반 인터랙션의 적응형 변환을 위한 프레임워크 시스템.
- 제 4 항에 있어서,
상기 매핑부(320)는,
초기 사용자로부터 받은 제스처에 대하여 제스처의 궤적, 클릭, 터치를 포함하는 포인팅 제스처 인식을 수행하는 인식모듈(321);
인식된 제스처에 대한 시작점 및 끝점 분석을 통해 제스처의 방향과 사용자 제스처가 어떤 입력 타입에 속하는지에 대한 단위 요소 분석을 수행하는 단위 분석모듈(322); 및
상기 모델링부(310)를 통해 정의된 사용자 상호작용 모델을 바탕으로, 최종적인 사용자 의도를 파악하여 매핑하되, 시간에 따른 연속적인 사용자 입력을 조합하고, 시맨틱(Semantic) 정보를 구축하는 시맨틱 정보 구축모듈(323); 을 포함하는 것을 특징으로 하는 제스처 기반 인터랙션의 적응형 변환을 위한 프레임워크 시스템.
- 제 4 항에 있어서,
상기 적응형 변환부(330)는,
객체를 이동시키는 작업을 수행하기 위한 사용자 고유 파라메터를 적용하여 객체를 이동하는 행동으로 적응형 변환되도록 하는 인터랙션 변환모듈(331);
상기 인터랙션 변환모듈(331)을 통해 1차적으로 인터랙션 적응형 변환이 이루어진 결과를 바탕으로, 사용자의 작업 능숙도(proficiency)에 따라, 사용자 그룹을 나누어 적응형 변환을 수행하는 사용자 변환모듈(332);
인터랙션 및 사용자 정보에 대한 변환을 마친 인터랙션에 대하여 사용자의 기기에서 지원되지 않는 부분에 대한 대체 변환이 이루어지도록 하는 기기 변환모듈(333); 및
상기 인터랙션 변환모듈(331), 사용자 변환모듈(332) 및 기기 변환모듈(333)을 통한 변환 정보를 XML 파일로 생성하는 파일 생성모듈(334); 을 포함하는 것을 특징으로 하는 제스처 기반 인터랙션의 적응형 변환을 위한 프레임워크 시스템.
- 제 6 항에 있어서,
상기 사용자 변환모듈(332)은,
사용자 그룹이 3D 모델 뷰어(3D model viewer)인 경우, 제스처에 따른 오브젝트(Object) 변환이 특정 값만큼 이루어지도록 하며, 3D 모델 디자이너(3D model designer)인 경우, 사용자 제스처에 따른 오브젝트(Object)가 사용자의 움직임에 따라 동일하게 움직이게 변환되도록 하는 것을 특징으로 하는 제스처 기반 인터랙션의 적응형 변환을 위한 프레임워크 시스템.
- 제 6 항에 있어서,
상기 기기 변환모듈(333)은,
인터랙션 방법에 대해 사용자의 차원 수와 포인팅 수를 다운 그레이드(Downgrade)시킴으로써 적응형 변환을 수행하는 것을 특징으로 하는 제스처 기반 인터랙션의 적응형 변환을 위한 프레임워크 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130102252A KR101503373B1 (ko) | 2013-08-28 | 2013-08-28 | 제스처 기반 인터랙션의 적응형 변환을 위한 프레임워크 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130102252A KR101503373B1 (ko) | 2013-08-28 | 2013-08-28 | 제스처 기반 인터랙션의 적응형 변환을 위한 프레임워크 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150025090A true KR20150025090A (ko) | 2015-03-10 |
| KR101503373B1 KR101503373B1 (ko) | 2015-03-18 |
Family
ID=53021400
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130102252A KR101503373B1 (ko) | 2013-08-28 | 2013-08-28 | 제스처 기반 인터랙션의 적응형 변환을 위한 프레임워크 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101503373B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101950408B1 (ko) * | 2017-12-05 | 2019-02-20 | 동서대학교 산학협력단 | 스마트 인터랙션 스페이스 프레임워크 제공 시스템 및 그 방법 |
| KR20190131999A (ko) * | 2018-05-18 | 2019-11-27 | 주식회사 넥슨코리아 | 평가 수신 방법 및 그를 수행하는 게임 제공 장치 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140002353A1 (en) * | 2011-03-17 | 2014-01-02 | Electronics And Telecommunications Research Institute | Advanced user interaction interface method and apparatus |
-
2013
- 2013-08-28 KR KR1020130102252A patent/KR101503373B1/ko active IP Right Grant
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101950408B1 (ko) * | 2017-12-05 | 2019-02-20 | 동서대학교 산학협력단 | 스마트 인터랙션 스페이스 프레임워크 제공 시스템 및 그 방법 |
| KR20190131999A (ko) * | 2018-05-18 | 2019-11-27 | 주식회사 넥슨코리아 | 평가 수신 방법 및 그를 수행하는 게임 제공 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101503373B1 (ko) | 2015-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8866781B2 (en) | Contactless gesture-based control method and apparatus | |
| Bourdot et al. | VR–CAD integration: Multimodal immersive interaction and advanced haptic paradigms for implicit edition of CAD models | |
| KR101522919B1 (ko) | 드로잉 제어 방법, 장치 및 이동 단말기 | |
| CN105468278B (zh) | 虚拟按键的触屏操作识别、响应、游戏操控方法及装置 | |
| JP6631541B2 (ja) | タッチ入力のための方法及びシステム | |
| WO2010006087A9 (en) | Process for providing and editing instructions, data, data structures, and algorithms in a computer system | |
| Xia et al. | Iteratively designing gesture vocabularies: A survey and analysis of best practices in the HCI literature | |
| Nacenta et al. | There and back again: Cross-display object movement in multi-display environments | |
| Badam et al. | Affordances of input modalities for visual data exploration in immersive environments | |
| Kaushik et al. | Natural user interfaces: Trend in virtual interaction | |
| KR101503373B1 (ko) | 제스처 기반 인터랙션의 적응형 변환을 위한 프레임워크 시스템 | |
| KR20150084792A (ko) | 상호 작용 모드 선택 방법 | |
| US11237699B2 (en) | Proximal menu generation | |
| Fikkert et al. | Gestures for large display control | |
| US20170192512A1 (en) | Multimodal interaction using a state machine and hand gestures discrete values | |
| Nguyen et al. | Hand interaction designs in mixed and augmented reality head mounted display: a scoping review and classification | |
| Reibert et al. | Multitouch interaction with parallel coordinates on large vertical displays | |
| Jurewicz et al. | Redefining the human factors approach to 3D gestural HCI by exploring the usability-accuracy tradeoff in gestural computer systems | |
| Biswas et al. | Multimodal adaptation through simulation for digital TV interface | |
| CN104007999B (zh) | 用于控制应用的方法和相关的系统 | |
| Lili et al. | Design of harmonious human-computer interaction based on intelligence technology development | |
| Potts | Exploring the Making, Modifying, & Use of Physical Tools in Augmented Reality | |
| WO2024200676A1 (en) | Emulation of a physical input device for touchless control of a computer device | |
| Bergström et al. | DIRA: A model of the user interface | |
| Berger et al. | Input Strategies for Precise CAD Modelling with Modern Interaction Devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20180223 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20190305 Year of fee payment: 5 |
|
| R401 | Registration of restoration |