WO2012124997A2 - 향상된 사용자 상호작용 인터페이스 방법 및 장치 - Google Patents

향상된 사용자 상호작용 인터페이스 방법 및 장치 Download PDF

Info

Publication number
WO2012124997A2
WO2012124997A2 PCT/KR2012/001889 KR2012001889W WO2012124997A2 WO 2012124997 A2 WO2012124997 A2 WO 2012124997A2 KR 2012001889 W KR2012001889 W KR 2012001889W WO 2012124997 A2 WO2012124997 A2 WO 2012124997A2
Authority
WO
WIPO (PCT)
Prior art keywords
pattern type
information
type
pattern
basic
Prior art date
Application number
PCT/KR2012/001889
Other languages
English (en)
French (fr)
Other versions
WO2012124997A3 (ko
Inventor
임성용
차지훈
이인재
박상현
임영권
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US14/005,492 priority Critical patent/US20140002353A1/en
Priority claimed from KR1020120026389A external-priority patent/KR20120106608A/ko
Publication of WO2012124997A2 publication Critical patent/WO2012124997A2/ko
Publication of WO2012124997A3 publication Critical patent/WO2012124997A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Definitions

  • CompositePatternType is a container type to contain different AUI patterns. Since the user can express several types of AUI patterns at the same time, the composite pattern type is used to deliver the AUI patterns simultaneously expressed in the form of combination patterns.
  • centerPosition indicates the center position of the circle of the circle pattern as two-dimensional or three-dimensional position information
  • Radius indicates radius size information of the circle pattern
  • a symbol pattern type includes a symbol and a symbol as a pattern, including a position and a size.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

향상된 사용자 상호작용 인터페이스(Advanced User Interaction: AUI) 방법은 기본패턴타입 및 합성패턴타입 중에서 객체로부터 입력된 물리적인 정보에 해당하는 패턴타입을 결정하는 단계를 포함하되, 상기 합성패턴타입은 상기 기본패턴타입 중 적어도 두 개의 패턴타입의 조합이고, 상기 기본패턴타입은 기하 도형 기반(geometric) 패턴타입, 심볼(symbolic) 패턴타입, 터치(touch) 패턴타입, 핸드 포스처(hand posture) 패턴타입 및 핸드 제스처(hand gesture) 패턴타입 중 적어도 하나를 포함한다. 상기 합성패턴타입은 동일한 객체(object)에 의해 생성된 합성패턴타입인지 여부를 표시하는 속성정보를 포함할 수 있다. 따라서 멀티 터치 장치, 모션 센싱 리모트 컨트롤러 등과 같은 진화된 타입의 사용자 인터랙션 장치들에 대한 향상된 사용자 인터랙션 인터페이스를 제공할 수 있다.

Description

향상된 사용자 상호작용 인터페이스 방법 및 장치
본 발명은 향상된 사용자 상호작용 인터페이스(Advanced User Interaction: AUI) 방법 및 장치에 관한 것이다.
사용자 인터랙션(user interaction) 장치들이 최근 들어 진화하고 있다. 즉, 기존의 마우스, 키보드, 터치 패드, 터치 스크린, 음성 인식등과 같은 사용자와 상호작용을 위한 장치 외에도 최근에는 멀티 터치 패드, 모션 센싱 리모트 컨트롤러 등과 같은 새로운 타입의 사용자 상호작용(user interaction) 장치들이 등장하고 있다.
상기 진화된 사용자 인터랙션 장치들을 이용하기 위한 어플리케이션 기술을 제공하기 위해 멀티미디어 기술들이 연구되어 왔지만, 현재의 사용자 인터랙션 표준들은 대부분 기존의 전자 제품에서 사용되고 있는 포인팅(pointing) 또는 키입력(keying)과 같은 기본적인 인터랙션 장치들에 집중되고 있는 상황이다.
즉, 상기와 같은 멀티 터치 패드, 모션 센싱 리모트 컨트롤러 등과 같은 진화된새로운 타입의 사용자 인터랙션 장치들에 대한 사용자 인터랜션 표준은 존재하지 않았다. 또한, 기존의 포인팅(pointing) 또는 키입력(keying)과 같은 기본적인 인터랙션 장치들과 상기 진화된 새로운 타입의 사용자 인터랙션 장치들에 모두 적용할 수 있는 사용자 인터랜션 표준도 또한 존재하지 않았다.
따라서 본 발명의 목적은 상기와 같은 멀티 터치 패드, 모션 센싱 리모트 컨트롤러 등과 같은 진화된 새로운 타입의 사용자 인터랙션 장치들에 대한 향상된 사용자 인터랙션 인터페이스를 제공하기 위한 방법 및 장치를 제공하는 것이다.
또한, 본 발명의 목적은 기존의 포인팅(pointing) 또는 키입력(keying)과 같은 기본적인 인터랙션 장치들과 상기 진화된 새로운 타입의 사용자 인터랙션 장치들에 모두 적용할 수 있는 향상된 사용자 인터랙션 인터페이스를 제공하기 위한 방법 및 장치를 제공하는 것이다.
본 발명의 일 실시예에 따른 향상된 사용자 인터랙션 인터페이스 방법은 기본패턴타입 및 합성패턴타입 중에서 객체로부터 입력된 물리적인 정보에 해당하는 패턴타입을 결정하는 단계를 포함하되, 상기 합성패턴타입은 상기 기본패턴타입 중 적어도 두 개의 패턴타입의 조합이고, 상기 기본패턴타입은 기하 도형 기반(geometric) 패턴타입, 심볼(symbolic) 패턴타입, 터치(touch) 패턴타입, 핸드 포스처(hand posture) 패턴타입 및 핸드 제스처(hand gesture) 패턴타입 중 적어도 하나를 포함한다. 여기서, 상기 합성패턴타입은 동일한 객체(object)에 의해 생성된 합성패턴타입인지 여부를 표시하는 속성정보를 포함할 수 있다. 여기서, 상기 기하 도형 기반 패턴타입은 객체로부터 입력된 물리적인 정보를 이차원 또는 삼차원의 위치 정보로 표현하여 이차원 또는 삼차원 기하 도형으로 인식하고, 기본적인 소정 개수의 기하 도형을 기본적 기하 도형 패턴으로 제공하여 상기 기본적 기하 도형 패턴을 조합하여 상기 객체의 물리적인 정보를 표현할 수 있다. 여기서, 상기 기본적 기하도형 패턴을 표현함에 있어서, 시간적인 측면에서 정지된 정적인 정보는 엘리먼트(element)에 기술하고 시간적인 측면에서 동적인 정보는 속성(attribute)에 옵션(option)으로 추가하여 정적인 정보와 동적인 정보를 구분하여 표현할 수 있다. 여기서, 상기 심볼 패턴타입은 상기 물리적인 정보를 상기 물리적인 정보의 크기와 위치를 바탕으로 심볼로 인식할 수 있다. 여기서, 상기 터치 패턴타입은 상기 물리적인 정보를 상기 물리적인 정보의 입력지속시간, 입력횟수, 입력 이동방향 또는 회전방향을 바탕으로 터치 패턴으로 인식할 수 있다. 여기서, 상기 핸드 포스처 패턴타입은 입력 받은 사용자 손의 자세 또는 사용자의 위치를 바탕으로 객체로부터 입력된 동작정보를 새로운 핸드 포스처로 인식할 수 있다. 여기서, 상기 핸드 제스처 패턴타입은 객체로부터 입력된 동적인 동작정보를 바탕으로 상기 동작정보를 핸드 제스처로 인식할 수 있다. 여기서, 상기 기하 도형 기반 패턴타입은 포인트타입, 라인타입, 사각(rect)타입, 아크(arc)타입 및 서클타입 각각의 부가정보 중 적어도 하나를 포함할 수 있다. 여기서, 상기 포인트타입의 부가정보는 좌표를 포함하고, 상기 라인타입의 부가정보는 시작점 좌표, 종착점 좌표, 시작점 타임스탬프, 평균속도 및 최고가속도 중 적어도 하나를 포함하고, 상기 사각타입의 부가정보는 대각하여 위치한 두 모서리의 좌표 및 네 모서리가 인식된 때의 타임스탬프 중 적어도 하나를 포함하고, 상기 아크타입의 부가정보는 원호의 일단 및 타단에 해당하는 좌표, 원호의 중심에 해당하는 좌표 및 원호의 시작점에 대한 각속도, 각가속도 및 타임스탬프 중 적어도 하나를 포함하며, 상기 서클타입의 부가정보는 원의 중심 좌표 및 원의 반지름의 크기 중 적어도 하나를 포함할 수 있다. 여기서, 상기 패턴타입 및 상기 부가정보 중 적어도 하나를 어플리케이션에 제공하고, 상기 어플리케이션에서 상기 제공된 패턴타입 및 부가정보 중 적어도 하나를 이용하여 객체로부터 입력된 동작정보에 해당하는 명령어를 수행할 수 있다. 여기서, 상기 기본패턴타입 및 합성패턴타입 중에서 객체로부터 입력된 물리적인 정보에 해당하는 패턴타입을 결정하는 단계는 기본패턴타입 및 합성패턴타입 중 하나의 타입을 제1 패턴타입으로 결정하는 단계; 및 상기 기본패턴타입 및 상기 합성패턴타입에 속하는 패턴 타입 중에서 상기 객체로부터 입력된 물리적인 정보인 동작정보에 해당하는 하나의 특정한 패턴 타입을 제2 패턴타입으로 판단하는 단계를 포함하되, 상기 제2 패턴타입은 상기 결정된 제1패턴타입에 속하는 패턴 타입일 수 있다. 여기서, 객체의 물리적인 정보를 입력 받는 단계를 더 포함할 수 있다.
본 발명의 다른 실시예에 따른 향상된 사용자 인터랙션 인터페이스 방법은 사용자로부터 동작정보를 입력 받는 단계; 기본패턴타입 및 합성패턴타입 중에서 객체로부터 입력된 물리적인 정보에 해당하는 패턴타입을 결정하는 단계; 및 상기 물리적인 정보가 합성패턴타입에 해당하는 경우, 상기 물리적인 정보가 동일한 객체에 의해 생성된 합성패턴타입인지를 판단하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 향상된 사용자 상호작용 인터페이스 장치는 기본패턴타입 및 합성패턴타입 중에서 객체로부터 입력된 물리적인 정보에 해당하는 패턴타입의 정보를 제공하는 사용자 인터페이스부를 포함하되, 상기 합성패턴타입은 상기 기본패턴타입 중 적어도 두 개의 패턴타입의 조합이고, 상기 기본패턴타입은 기하 도형 기반(geometric) 패턴타입, 심볼(symbolic) 패턴타입, 터치(touch) 패턴타입, 핸드 포스처(hand posture) 패턴타입 및 핸드 제스처(hand gesture) 패턴타입 중 적어도 하나를 포함한다. 여기서, 상기 합성패턴타입은 동일한 객체(object)에 의해 생성된 합성패턴타입인지 여부를 표시하는 속성정보를 포함할 수 있다. 여기서, 상기 사용자 인터페이스부는 기본패턴타입 및 합성패턴타입에 해당하는 시멘틱(semantics)을 생성하는 해석기; 및 상기 기본패턴타입 및 상기 합성패턴타입 중 객체로부터 입력된 물리적인 정보에 해당하는 패턴타입을 판단하여 전달하는 인터페이스를 포함할 수 있다. 여기서, 상기 사용자 인터페이스부는 상기 인터페이스로부터 정보를 전달받아 상기 물리적인 정보에 대응하는 패턴타입의 정보로 상기 물리적인 정보를 변환하는 컨버터를 더 포함할 수 있다. 여기서, 사용자의 물리적인 정보를 인식하는 입력장치; 및 상기 패턴타입의 정보를 전달받아 객체로부터 입력된 물리적인 정보에 대응하는 명령어를 수행하기 위한 지시정보를 생성하는 생성기를 더 포함할 수 있다. 여기서, 상기 지시정보를 전달받아 상기 물리적인 정보에 대응하는 명령어를 수행하는 동작부를 더 포함할 수 있다.
본 발명의 실시예들에 따른 향상된 사용자 인터랙션 인터페이스를 제공하기 위한 방법 및 장치에 따르면, 멀티 터치 장치, 모션 센싱 리모트 컨트롤러 등과 같은 진화된 새로운 타입의 사용자 인터랙션 장치들에 대한 향상된 사용자 인터랙션 인터페이스를 제공할 수 있다.
또한, 기존의 포인팅(pointing) 또는 키입력(keying)과 같은 기본적인 인터랙션 장치들과 상기 진화된 새로운 타입의 사용자 인터랙션 장치들에 모두에 대하여 사용자의 화면 조작에 필요한 시멘틱(semantic) 인터페이스 및 손 자세 등을 활용한 객체 조작 인터랙션 기술을 제공함으로써 향상된 사용자 인터랙션 인터페이스를 제공할 수 있다.
또한, 사용자가 복수의 동작을 동시에 행하거나 연달아 복수의 동작을 행하여 복수의 동작 정보가 입력되는 경우, 소정의 속성정보(sameObject)값을 이용하여 동일한 객체-예를 들어 손(hand), 손가락(finger)-에 의해 상기 동작 정보가 입력되는지 여부를 파악하여 사용자에 의해 입력된 동작 정보의 종류를 더욱 다양하게 인식이 가능하여 사용자에 의해 입력된 동작 정보를 더욱 다양하게 활용함으로써 보다 향상된 사용자 인터랙션 인터페이스를 제공할 수 있다.
또한, 동작 정보에 해당되는 기본 패턴 타입 중 기본적인 기하 도형을 기본적 기하 도형 패턴으로 제공함으로써 상기 기본적 기하 도형 패턴을 이용하여 사용자의 모든 입력을 표현할 수 있다.
또한, 동작 정보에 해당되는 기본 패턴 타입 중 심볼(symbolic) 패턴 타입은 심볼(symbolic)을 하나의 패턴(pattern)으로 위치와 크기를 포함하여 심볼의 종류를 표현할 수 있다.
도 1은 MPEG-U part 2의 전체 구조를 개략적으로 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 향상된 사용자 상호작용 인터페이스 방법의 흐름도이다.
도 3은 MPEG-U 및 MPEG-V간의 관계의 하이-레벨 뷰를 나타낸 것이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서, 객체(object)라 함은, 기존의 포인팅(pointing) 또는 키입력(keying)과 같은 기본적인 인터랙션 장치들과 멀티 터치 패드, 모션 센싱 리모트 컨트롤러 등과 같은 진화된 새로운 타입의 사용자 인터랙션 입력 장치들을 이용하여 사용자와의 인터랙션 인터페이스를 구현할 경우, 사용자의 손가락(finger), 손(hand), 머리(head) 또는 기타 신체의 일부를 포함하는 것으로 정의하며, 또한 상기 객체(object)는 사용자의 신체의 일부이외에도 물리적 접촉에 의한 사용자의 동작을 전달하는 물리적 수단(터치 펜등) 또는 물리적 접촉에 의하지 않고 사용자의 동작을 제공하는 물리적 수단을 모두 포함하는 의미로 정의한다.
이하, 첨부한 도면을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다.
도 1은 MPEG-U part 2의 전체 구조를 보여주고 있고, 도 2는 본 발명의 일 실시예에 따른 향상된 사용자 상호작용 인터페이스 방법의 흐름도를 보여주고 있으며, 도 3은 MPEG-U 및 MPEG-V간의 관계의 하이-레벨 뷰를 보여주고 있다.
본 발명의 일 실시예에 따른 향상된 사용자 상호작용 인터페이스 방법은 사용자로부터 물리적인 정보-예를 들어 동작정보-를 입력 받는 단계(S210)를 포함한다.
사용자는 입력장치에 물리적인 접촉을 가하는 터치(touch)의 방식으로 상기 동작정보를 입력할 수 있고, 또는 특정 포즈를 취하거나 제스처(gesture)를 행함으로써 입력장치에 물리적인 정보-예를 들어 동작정보-를 입력할 수 있다. 상기 동작 정보는 마우스에 의한 동작 정보, 키보드를 이용한 키입력을 통한 동작 정보, 사용자의 터치 동작에 의한 동작 정보, 사용자의 동작 또는 제스처에 의한 동작 정보뿐만 아니라 임의의 입력 장치를 사용하여 전달되는 사용자의 동작을 나타내는 임의의 정보를 포함할 수 있다.
입력장치는 마우스, 키보드, 터치패드, 터치스크린, 터치센서 등 사용자의 물리적 접촉을 인식하거나 또는 사용자의 동작 또는 포즈 등을 물리적인 접촉없이 인식할 수 있는 센서가 장착된 모바일 단말기 또는 TV, 모니터 등의 가전제품을 포함할 수 있다. 여기서, 사용자의 동작 또는 포즈 등을 인식할 수 있는 센서는 모션 센서 또는 카메라가 될 수 있다.
사용자로부터 상기 동작정보를 입력 받은 후, 기본패턴타입 및 합성패턴타입 중 상기 동작정보에 해당하는 패턴타입을 결정한다(S220).
도 1을 참고하면, 본 발명의 일 실시예에 따른 향상된 사용자 상호작용 인터페이스 장치는 사용자 환경으로부터 물리적인 정보(physical information)를 생산해 내고 있다. 이러한 물리정보는 의미 있는 정보로 재생산될 수 있다. 예를 들어, 사용자의 손가락으로부터 얻어낸 위치 정보를 모아서 원을 그리고 있다는 정보를 확인할 수 있다.
본 발명의 일 실시예에 따른 향상된 사용자 상호작용 인터페이스 방법에서는 이러한 기하 도형 기반 패턴타입, 심볼 패턴타입, 터치 패턴타입, 핸드 포스처 패턴타입, 핸드 제스처 패턴타입 등을 포함하는 기본패턴타입과 이들의 조합으로 형성된 합성패턴타입을 기술한다.
이하, 본 발명에서 사용하는 공통 타입을 정의한다.
공통 타입은 공통 데이터 타입으로 x, y, z 로 구성되는 벡터 타입, 다른 AUI(Advanced User Interaction) 패턴의 베이스가 되는 기본패턴타입 그리고 다른 AUI 패턴을 포함하는 조합 패턴 타입 (또는 합성패턴타입)을 포함한다.
Syntax
[규칙 제26조에 의한 보정 15.05.2012]　
Figure WO-DOC-37
[규칙 제26조에 의한 보정 15.05.2012]　
Figure WO-DOC-38
[규칙 제26조에 의한 보정 15.05.2012]　
Figure WO-DOC-39
VectorType은 값들의 집합(a set of values)을 나타내기 위하여 두 개의 부동소수점값(float values)과 하나의 선택적인 값으로 조합되어 이루어진 벡터 타입을 나타낸다.
x, y 및 z는 각각 x축, y축 및 z축 방향의 힘, 토크, 위치 등의 부동 소수점값을 나타낸다.
기본패턴타입(AUIBaseType)은 다른 AUI 패턴 타입들을 받기 위한 베이스 타입이다. capturedTimeStamp는 AUI 패턴이 인식되는 시간정보를 표시하는 것으로, 예를들어 1970년 1월 1일 0시 0분을 기준으로 밀리 세컨드 단위로 표시할 수 있다. 인식된 시간정보의 값이 표현 불가능할 경우, 0 값이 반환된다.
합성패턴타입(CompositePatternType)은 다른 AUI 패턴을 담기 위한 콘테이너 타입으로 사용자는 동시에 여러 종류의 AUI 패턴을 표현해 낼 수 있기 때문에 합성패턴타입을 사용하여 동시에 표현된 AUI 패턴을 조합 패턴 형태로 전달한다.
AUIPattenrns는 동시에 인식되고 전송되는 AUI 패턴들을 지정하는 것으로, 기본패턴타입(AUIBaseType)으로부터 상속(inherit) 받는 모든 패턴들 또는 엘리먼트가 포함될 수 있다.
sameObject는 합성패턴타입에 추가되는 특성 (또는 속성)(attribute)으로서, 구체적인 의미는 후술한다.
기본패턴타입은 기하 도형 기반(geometric interactivity) 패턴타입, 심볼(symbolic)패턴타입, 터치(touch) 패턴타입, 핸드 포스처(hand posture) 패턴타입 및 핸드 제스처(hand gesture) 패턴타입 중 적어도 어느 하나를 포함할 수 있다.
우선, 기하 도형 기반 패턴에 대하여 설명한다.
일반적으로 사용자는 손가락, 손, 그리고 몸을 이용하여 다양한 행위를 할 수 있다. 고급의 물리 센서 장치들은 이러한 기하 정보를 이차원 혹은 삼차원의 카타지언(Cartesian) 위치 정보로 표현할 수 있다. 하지만 위치 정보들이 모여서 새로운 이차원 또는 삼차원 기하 도형으로 인식 될 수 있다. 따라서 본 발명의 일 실시예에 따른 동작정보에 해당되는 기본 패턴 타입 중 기본적인 기하 도형을 기본적 기하 도형 패턴으로 제공함으로써 상기 기본적 기하 도형 패턴을 조합하여 사용자의 모든 입력을 표현할 수 있다.
기하 도형 기반 패턴타입은 포인트(point)타입, 라인(line)타입, 사각(rect)타입, 아크(arc)타입 및 서클(circle)타입 각각의 부가정보 중 적어도 어느 하나를 포함한다.
아래 표에서는 기하 도형 기반 패턴타입에 포함되는 기본적 기하도형 패턴들의 의미와 특징들을 정리하여 나타내었다.
Figure PCTKR2012001889-appb-I000004
Figure PCTKR2012001889-appb-I000005
Figure PCTKR2012001889-appb-I000006
상기 신택스(syntax)를 참조하면, 기본적 기하도형 패턴을 표현함에 있어서, 시간 측면에서 정지된 정적인 정보는 엘리먼트(element)에 넣고 시간적인 측면에서 동적인 정보는 속성(attribute)에 옵션(option)으로 추가하여 정적인 정보와 동적인 정보를 구분하여 하나의 엘리먼트(elelment)에서 표현할 수 있다. 예를 들어, 상기 신택스(syntax)의 "라인 패턴(Line pattern)"를 참조하면 라인(line)의 첫번째 위치(FirstPosition) 및 두번째 위치(SecondPosition)와 같은 시간 측면에서 정적인 정보는 엘리먼트(element)에 기술하고 "시작 타임스탬프(startingTimeStamp)", "평균속도(averageVelocity)", "최대가속도(maxAcceleration)"와 같은 시간적인 측면에서 동적인 정보는 속성(attribute)에 옵션(option)으로 추가하여 정적인 정보와 동적인 정보를 구분하여 표현할 수 있다.
Figure PCTKR2012001889-appb-I000007
Figure PCTKR2012001889-appb-I000008
Figure PCTKR2012001889-appb-I000009
기하 도형 기반 패턴 타입에서 포인트타입(PointType)은 유클리디안 공간에서 이차원 또는 삼차원의 기하학적인 점을 의미하는 것으로, (x, y) 또는 (x, y, z)의 좌표로 표현되는 이차원 또는 삼차원 위치 정보를 포함한다.
위치 정보(Position)는 (x,y) 또는 (x,y,z)로 표현되는 벡터타입을 이용하여 이차원 또는 삼차원의 위치를 표시하는 것으로 손가락, 손, 머리, 또는 신체 일부분 등의 위치에 대한 정보(Position)를 포함한다.
라인타입(LineType)은 두 점을 잇는 직선의 패턴을 지칭하는 것으로, 직선의 양 끝점에 대한 위치 정보(FirstPosition, SecondPosition)와 선택한 직선이 시작된 시간 정보(startingTimeStamp), 속도 정보(averageVelocity) 및 가속도 정보(maxAcceleration)를 포함한다.
FirstPosition은 라인패턴에서 하나의 끝점에 대한 위치를 시작점 좌표로서 이차원 또는 삼차원 위치 정보로 나타내고, SecondPosition은 라인 패턴에서 다른 하나의 끝점에 대한 위치를 종착점 좌표로서 이차원 또는 삼차원 위치 정보로 나타낸다.
StartingTimeStamp는 라인패턴을 그리기 시작한 시점의 시간 정보를 시작점 타임스탬프로 나타내는 어트리뷰트(attribute)이고, 평균속도(averageVelocity)는 라인패턴을 형성하는 동안 평균 속도 정보가 획득되는 경우, 속도 정보를 표시하는 어트리뷰트이며, 최고 가속도(maxAcceleration)는 라인 패턴을 형성하는 동안의 최고 가속도 정보를 표시하는 어트리뷰트이다.
사각타입(Rect-type)은 네 각으로 이루어진 닫힌 도형을 지칭하는 것으로, 상대하는 편의 두 모서리의 위치정보로 표현하거나 또는 네 모서리의 위치정보(TopLeftPosition, BottomRightPosition, TopRightPosition, BottomLeftPosition)로 표현하고 또한 각 모서리가 인식된 때를 알기 위한 시간 정보들(firstTimeStamp, secondTimeStamp, thirdTimeStamp, fourthTimeStamp)을 포함한다.
TopLeftPosition은 사각패턴의 상측-좌측 모서리의 위치 정보를, TopRightPosition은 사각패턴의 상측-우측 모서리의 위치 정보를, BottomLeftPosition은 사각패턴의 하측-좌측 모서리의 위치 정보를, BottomRightPosition은 사각패턴의 하측-우측 모서리의 위치 정보를 나타낸다. 이때 사각패턴의 네 모서리의 위치 정보는 네 모서리의 좌표로서 표현될 수 있다.
firstTimeStamp 내지 forthTimeStamp는 사각패턴을 형성하는 동안 각 모서리가 인식된 시간 정보를 나타내는 것으로 네 모서리가 인식된 때의 타임스탬프로 표현될 수 있다.
아크타입(Arc-type)은 원의 일부인 원호를 지칭하는 것으로, 원호의 시작과 끝 점의 위치 정보(FirstPosition, SecondPosition)와 원의 중심의 위치 정보(CenterPosition), 그리고 각속도(averageAngularVelocy), 각가속도(maxAngularAcceleration) 및 아크패턴이 그려지기 시작한 시간 정보(startingTimeStamp)를 포함한다.
FirstPosition은 아크패턴의 한 끝점의 위치를 이차원 또는 삼차원 위치 정보로 나타내고, SecondPosition은 아크패턴의 다른 끝점의 위치를 이차원 또는 삼차원의 위치 정보로 나타낸다. CenterPosition은 아크패턴의 원의 중심을 이차원 또는 삼차원의 위치 정보로 나타낸다.
Starting TimeStamp는 아크패턴이 형성되기 시작한 시간 정보를 표시하는 어트리뷰트이고, averageAngularVelocy는 아크패턴이 형성되는 동안의 평균 각속도를 나타내는 어트리뷰트이다. maxAangularAcceleration은 아크 패턴이 형성되는 동안의 평균 각속도를 나타낸다.
원호의 시작과 끝 점의 위치 정보는 원호의 일단 및 타단에 해당하는 좌표 및 원호의 중심에 해당하는 좌표로 표현될 수 있고, 시간 정보는 원호의 시작점에 대한 각속도, 각가속도 및 타임스탬프로 표현될 수 있다.
서클타입(Circle-type)은 한 점에서 같은 거리에 있는 점들의 집합으로 공간 또는 평면을 안과 밖으로 구분하는 패턴을 지칭하는 것으로 원 중심의 위치 정보(CenterPosition)와 원의 반지름의 크기 정보(Radius)를 포함한다.
centerPosition은 서클패턴의 원의 중심 위치를 이차원 또는 삼차원 위치 정보로 나타내고, Radius는 서클패턴의 반지름 크기 정보를 나타낸다.
startingTimeStamp는 서클패턴이 형성되기 시작한 시간 정보를 표시하는 어트리뷰트이고, averageAngularVelocity는 서클패턴이 형성되는 동안의 평균 각속도를 나타내는 어트리뷰트이며, maxAngularAcceleration은 서클패턴이 형성되는 동안의 최고 각가속도를 나타내는 어트리뷰트이다.
말을 하거나, 적는 행위와는 별개로 간단한 제스쳐를 통하여 대화를 하는 것은 유용하다. 예를 들어 오케이 또는 브이 사인과 같은 알려진 제스쳐는 다양한 분야에서 활용되고 있다.
본 발명의 일실시예에 따른 동작 정보에 해당되는 기본 패턴 타입 중 심볼(symbolic) 패턴 타입은 심볼(symbolic)을 하나의 패턴(pattern)으로 위치(Position)와 크기(Size)를 포함하여 심볼의 종류(symbolType)를 표현할 수 있다.
이러한 심볼(symbolic) 패턴타입은 상기와 같은 사용자의 동작정보를 동작정보의 크기와 위치를 바탕으로 새로운 심볼로 인식하는 것으로, 심볼패턴을 담기 위한 콘테이너 패턴을 제공한다.
Figure PCTKR2012001889-appb-I000010
심볼 패턴타입(Symbolic PatternType)은 브이 사인 또는 오케이 사인등과 같은 심볼패턴을 담기 위한 콘테이너를 나타내는 것으로, position과 size의 요소를 포함한다.
터치 기술을 활용한 사용자 인터페이스 장치가 널리 상용화되어 있으며, 또한 다양한 응용에서 이러한 터치 패턴을 활용하고 있다.
본 발명의 일실시예에 따른 동작 정보에 해당되는 기본 패턴 타입 중 터치 패턴타입은 기본적인 터치, 위치, 그리고 필요한 값을 터치의 종류에 따라서 표현할 수 있다.
터치 패턴타입은 사용자의 동작정보를 상기 동작정보의 입력지속시간, 입력횟수, 입력 이동방향 및 회전방향을 바탕으로 새로운 터치 패턴으로 인식하는 것으로 이하에서는 이러한 알려진 터치 패턴을 담기 위한 콘테이너 패턴을 제공한다.
Figure PCTKR2012001889-appb-I000011
터치 패턴타입(Symbolic-Touch PatternType)은 두드리기(Tap), 누르기(Flick)등과 같은 터치패턴을 담기 위한 콘테이너를 나타내는 것으로, Position의 요소를 포함한다.
Position은 터치패턴이 인식된 위치 정보를 이차원 또는 삼차원의 위치 정보로 나타낸다.
직관적인 손의 포즈를 인식하여 상호작용을 할 수 있다. 예를 들어 주먹을 쥐거나 손바닥을 펴거나 엄지손가락을 위로 향하는 등의 포즈는 널리 사용되는 포즈이다.
이러한 핸드 포스처 패턴 타입은 입력 받은 사용자 손의 자세 및 사용자의 위치를 바탕으로 상기 동작정보를 새로운 핸드 포스처로 인식한다.
Syntax
[규칙 제26조에 의한 보정 15.05.2012]　
Figure WO-DOC-90
Semantics
Semantics of the HandPosture type:
[규칙 제26조에 의한 보정 15.05.2012]　
Figure WO-DOC-93
핸드 포스처 패턴타입은 사용자 손의 포즈를 설명하는 것으로 Posture는 사용자 손의 포즈의 타입을 의미하는 요소이다.
HandPostureBaseType은 분류 체계에 열거된 포즈들의 집합 중 손의 자세를 설명하며, Chirality는 사용자의 손이 왼손인지 오른손인지 여부를 나타내며 Position은 사용자의 손의 위치 정보를 포함한다.
한편, 상호작용 장치의 빠른 상용화로 인하여 다양한 양상의 상호작용 장비가 널리 사용되고 있다. 상호작용 인터페이스의 또 다른 예로는 사용자의 동적인 동작을 인식하는 것이 있는데, 예를 들어 손을 흔드는 제스처는 모든 인류에게 공통의 의미로 전달된다. 핸드 제스처 패턴타입은 동적인 사용자의 동작정보를 바탕으로 동작정보를 새로운 핸드 제스처로 인식한다.
Syntax
[규칙 제26조에 의한 보정 15.05.2012]　
Figure WO-DOC-98
Semantics
Semantics of the SensedInfoBaseAttributes:
[규칙 제26조에 의한 보정 15.05.2012]　
Figure WO-DOC-101
HandGestureType은 사용자 손의 동작을 의미하는 것으로, Gesture와 Chirality의 요소를 포함한다. Gesture는 손의 동작 타입(gesture type)을 의미하고, Chirality는 왼손 또는 오른손 중 어느 손인지를 나타낸다.
HandGestureDataType은 분류 체계에 열거된 제스처들의 집합 중 손의 동작을 설명한다.
전술한 기하 도형 기반 패턴타입, 심볼 패턴타입, 터치 패턴타입, 핸드 포스처 패턴타입 및 핸드 제스처 패턴타입은 기본패턴타입에 포함되는 것으로, 사용자의 동작정보를 입력 받은 후 사용자의 동작 정보가 복수의 기본패턴타입들 중 어느 패턴타입에 해당하는지 판단하게 된다.
합성패턴타입은 전술한 기본패턴타입 중 적어도 두 개의 패턴타입이 조합되어 있다. 예를 들어, 사용자의 동작정보가 심볼 패턴타입과 터치 패턴타입 모두에 해당하게 되면 동작정보는 합성패턴타입에 속하게 된다.
합성패턴타입에는 사용자의 동작정보가 동일한 객체(object) 에 의해 생성된 합성패턴타입인지 여부를 표시하는 속성정보(sameObject)가 포함된다.
예를 들어, 사용자가 오른손으로 V자의 터치 동작을 수행하여 V자의 터치정보를 입력한 후 동일한 오른 손으로 서클 형태의 터치 동작을 수행하여 서클 형태의 터치정보를 입력하는 경우, 속성정보(sameObject)가 참(true)으로 표시된다. 그러나 오른손으로 V자의 터치 동작을 수행하여 V자의 터치정보를 입력하고, 왼손으로 서클 형상의 터치 동작을 수행하여 서클 형태의 터치정보를 입력하는 경우, 속성정보가 거짓(false)으로 표현된다.
따라서 합성패턴타입에는 속성정보(sameObject)가 포함되어 있어, 사용자가 복수의 동작을 동시에 행하거나 연달아 복수의 동작을 행할 때, 동일한 객체-예를 들어 손(hand), 손가락(finger), 머리(head)등-으로 동작 정보를 입력하는지 여부에 따라서 속성정보(sameObject)가 다르게 표현되게 되어 발생하는 정보가 서로 달라지게 된다. 즉, 속성정보(sameObject)로 인하여 사용자의 동작정보의 종류가 더욱 다양하게 인식되어 동작정보를 활용하는 방안이 다양해지게 된다.
즉, 본 발명의 실시예들에 따른 향상된 사용자 상호작용 인터페이스 방법은 사용자로부터 동작정보를 입력 받아 기본패턴타입과 합성패턴타입 중 입력 받은 동작정보에 대응되는 패턴타입을 결정하여 상기 결정된 패턴타입에 대응하는 정보를 제공한다. 합성패턴타입이 복수의 패턴타입으로 형성된 경우 동작정보에 대응하는 어느 하나의 특정한 패턴타입을 결정하고 이에 해당하는 정보를 제공한다. 이때, 동작정보가 합성패턴타입에 해당하는 경우, 동작정보가 동일한 오브젝트(object)에 의해 생성되었는지 여부에 따라 속성정보(sameObject)가 참 또는 거짓값을 제공함으로써 어플리케이션에 동작정보가 동일한 오브젝트(object)에 의해 생성되었는지 여부에 따라 서로 다른 명령어를 제공함으로써 동작정보가 동일한 오브젝트(object)에 의해 생성되었는지 여부에 따라 사용자의 동작 정보를 보다 더 다양하게 인식할 수 있게 된다.
전술한 바와 같이, 본 발명의 일 실시예에 따른 향상된 사용자 인터랙션 상호작용 인터페이스 방법에서는, 사용자로부터의 동작정보를 입력 받아 기본패턴타입과 합성패턴타입 중 동작정보에 해당하는 패턴타입을 결정한 후, 상기 패턴타입의 정보를 어플리케이션에 제공하고, 상기 어플리케이션에서 상기 제공된 패턴타입을 이용하여 상기 동작정보에 해당하는 명령어를 수행하도록 한다. 동작정보에 대응되는 패턴타입이 어플리케이션에 제공될 때 동작정보가 기하 도형 기반 패턴타입에 해당하는 경우, 기하 도형 기반 패턴타입의 부가정보도 패턴타입과 같이 어플리케이션에 제공될 수 있다.
또는, 본 발명의 다른 실시예에서는, 사용자로부터 입력 받은 동작정보의 패턴타입을 결정할 때, 먼저 기본패턴타입 및 합성패턴타입 중 사용자의 동작정보에 해당하는 제1패턴타입(기본패턴타입 또는 합성패턴타입)을 결정한 후, 상기 결정된 제1 패턴타입(기본패턴타입 또는 합성패턴타입) 중 상기 동작정보에 해당하는 어느 하나의 특정한 제2패턴타입을 판단할 수 있다.
기본패턴타입은 기하 도형 기반 패턴타입 및 심볼 패턴타입을 비롯한 복수의 패턴타입을 포함할 수 있고, 합성패턴타입은 두 개 이상의 기본패턴타입의 조합으로 형성되기 때문에 기본패턴타입과 합성패턴타입은 복수의 패턴타입을 포함할 수 있다.
따라서 사용자의 동작정보에 대응하는 패턴타입을 결정할 때, 우선적으로 사용자의 동작정보가 기본패턴타입과 합성패턴타입 중 어느 패턴타입에 해당하는지 여부를 판단하여 제1패턴타입을 결정할 수 있다. 이후, 입력된 동작정보가 기본패턴타입에 해당하는 경우, 기본패턴타입을 구성하는 복수의 패턴타입 중 구체적으로 어느 하나의 패턴타입에 해당하는지를 판단하여 제2패턴타입을 판단하고, 또는 입력된 동작정보가 합성패턴타입에 해당하는 경우, 합성패턴타입에 해당하는 복수의 패턴타입 중 어느 패턴타입에 해당하는지를 결정하여 제2패턴타입을 판단함으로써 동작정보에 해당하는 패턴타입을 순차적으로 판단하여 결정할 수 있다.
이때, 제2패턴타입은 제1패턴타입이 판단된 이후, 제1패턴타입에 속하는 복수의 패턴타입 중 특정한 패턴타입을 결정하게 되므로 제2패턴타입은 결정된 제1패턴타입에 속하는 패턴타입이 된다.
도 3에는 MPEG-U 및 MPEG-V간의 관계의 하이-레벨 뷰가 도시되어 있다.
본 발명의 일 실시예에 따른 향상된 사용자 상호작용 인터페이스 장치는 입력장치(310), 사용자 인터페이스부(320) 및 생성기(330)를 포함한다.
입력장치(310)는 사용자의 동작정보를 인식한다. 입력장치(310)는 사용자와 물리적 접촉에 의해 사용자의 터치정보를 인식할 수 있고, 또는 사용자와 물리적 접촉을 하지 아니하고 사용자의 정적인 포즈나 동적인 움직임 등을 인식하는 모션센서 또는 카메라 등일 수 있다.
사용자 인터페이스부(320)는 기본패턴타입 및 합성패턴타입 중 전술한 동작정보에 해당하는 패턴타입의 정보를 판단하여 상기 동작정보를 패턴타입의 정보로 변환하여 패턴타입의 정보를 생성기(330)로 전달한다.
기본패턴타입은 전술한 바와 같이 기하 도형 기반(geometric) 패턴타입, 심볼(symbolic)패턴타입, 터치(touch) 패턴타입, 핸드 포스처(hand posture) 패턴타입 및 핸드 제스처(hand gesture) 패턴타입 중 적어도 어느 하나를 포함할 수 있고, 합성패턴타입은 기본패턴타입 중 적어도 두 개의 패턴타입이 조합되어 있는 패턴타입이다.
이때 사용자 인터페이스부(320)는 상기 합성패턴타입이 동일한 오브젝트에 의해 생성된 합성타입인지 여부를 표시하는 속성정보(sameObject)를 제공할 수 있다. 따라서 사용자의 동작정보가 합성패턴타입에 해당하는 경우, 동작정보가 동일한 객체 즉, 동일한 손에 의해 형성되는 패턴타입인지 여부에 따라 변환되는 패턴타입의 정보가 상이하게 된다.
사용자 인터페이스부(320)는 해석기(321) 및 인터페이스(322)를 포함할 수 있다.
해석기(321)는 기본패턴타입 및 합성패턴타입에 해당하는 시멘틱(semantics)을 생성한다. 사용자의 동작정보를 인식하여 시멘틱을 생성하는 과정은 향상된 사용자 상호작용 인터페이스 방법에서 전술한 바와 같다.
인터페이스(322)는 기본패턴타입 및 합성패턴타입 중 상기 동작정보에 해당하는 패턴타입을 판단하여 전달하는 것으로, 하나가 구비될 수 있고 또는 복수가 구비될 수 있다.
생성기(330)는 상기 동작정보에 대응하는 패턴타입의 정보를 전달받아 상기 동작정보에 대응하는 명령어를 수행하기 위한 지시정보를 생성할 수 있다.
동작부(도시하지 아니함)는 생성기(330)에서 생성된 지시정보를 전달받아 동작정보에 대응하는 명령어를 수행하게 된다. 다시 말하면, 사용자가 입력장치에 V자 형의 터치 동작을 행하게 되면 사용자 인터페이스부(320)에서 이를 V자의 심볼 패턴타입으로 인식하여 동작정보를 V자에 해당하는 패턴타입의 정보로 변환하고, 생성기(330)에서 이에 대응하는 지시정보를 생성하여 동작부에 전송하면 동작부에서는 이에 해당하는 명령어를 수행하게 된다.
한편, 사용자 인터페이스부(320)는 컨버터(323)를 더 포함할 수 있다. 컨버터(323)는 상기 인터페이스(322)로부터 상기 동작정보에 대응하는 패턴타입의 정보를 전달받아 상기 패턴 타입의 정보를 위젯용 데이터로 변환하여 위젯 생성기로 전달할 수 있다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (20)

  1. 기본패턴타입 및 합성패턴타입 중에서 객체로부터 입력된 물리적인 정보에 해당하는 패턴타입을 결정하는 단계를 포함하되,
    상기 합성패턴타입은 상기 기본패턴타입 중 적어도 두 개의 패턴타입의 조합이고,
    상기 기본패턴타입은 기하 도형 기반(geometric) 패턴타입, 심볼(symbolic) 패턴타입, 터치(touch) 패턴타입, 핸드 포스처(hand posture) 패턴타입 및 핸드 제스처(hand gesture) 패턴타입 중 적어도 하나를 포함하는 것을 특징으로 하는 향상된 사용자 상호작용 인터페이스 방법.
  2. 제 1 항에 있어서, 상기 합성패턴타입은 동일한 객체(object)에 의해 생성된 합성패턴타입인지 여부를 표시하는 속성정보를 포함하는 것을 특징으로 하는 향상된 사용자 상호작용 인터페이스 방법.
  3. 제 1 항에 있어서, 상기 기하 도형 기반 패턴타입은 객체로부터 입력된 물리적인 정보를 이차원 또는 삼차원의 위치 정보로 표현하여 이차원 또는 삼차원 기하 도형으로 인식하고, 기본적인 소정 개수의 기하 도형을 기본적 기하 도형 패턴으로 제공하여 상기 기본적 기하 도형 패턴을 조합하여 상기 객체의 물리적인 정보를 표현하는 것을 특징으로 하는 향상된 사용자 상호작용 인터페이스 방법.
  4. 제 3 항에 있어서, 상기 기본적 기하도형 패턴을 표현함에 있어서, 시간적인 측면에서 정지된 정적인 정보는 엘리먼트(element)에 기술하고 시간적인 측면에서 동적인 정보는 속성(attribute)에 옵션(option)으로 추가하여 정적인 정보와 동적인 정보를 구분하여 표현하는 것을 특징으로 하는 향상된 사용자 상호작용 인터페이스 방법.
  5. 제 1 항에 있어서, 상기 심볼 패턴타입은 상기 물리적인 정보를 상기 물리적인 정보의 크기와 위치를 바탕으로 심볼로 인식하는 향상된 사용자 상호작용 인터페이스 방법.
  6. 제 1 항에 있어서, 상기 터치 패턴타입은 상기 물리적인 정보를 상기 물리적인 정보의 입력지속시간, 입력횟수, 입력 이동방향 또는 회전방향을 바탕으로 터치 패턴으로 인식하는 향상된 사용자 상호작용 인터페이스 방법.
  7. 제 1 항에 있어서, 상기 핸드 포스처 패턴타입은 입력 받은 사용자 손의 자세 또는 사용자의 위치를 바탕으로 객체로부터 입력된 동작정보를 새로운 핸드 포스처로 인식하는 향상된 사용자 상호작용 인터페이스 방법.
  8. 제 1 항에 있어서, 상기 핸드 제스처 패턴타입은 객체로부터 입력된 동적인 동작정보를 바탕으로 상기 동작정보를 핸드 제스처로 인식하는 향상된 사용자 상호작용 인터페이스 방법.
  9. 제 1 항에 있어서, 상기 기하 도형 기반 패턴타입은 포인트타입, 라인타입, 사각(rect)타입, 아크(arc)타입 및 서클타입 각각의 부가정보 중 적어도 하나를 포함하는 향상된 사용자 상호작용 인터페이스 방법.
  10. 제 9 항에 있어서, 상기 포인트타입의 부가정보는 좌표를 포함하고, 상기 라인타입의 부가정보는 시작점 좌표, 종착점 좌표, 시작점 타임스탬프, 평균속도 및 최고가속도 중 적어도 하나를 포함하고, 상기 사각타입의 부가정보는 대각하여 위치한 두 모서리의 좌표 및 네 모서리가 인식된 때의 타임스탬프 중 적어도 하나를 포함하고, 상기 아크타입의 부가정보는 원호의 일단 및 타단에 해당하는 좌표, 원호의 중심에 해당하는 좌표 및 원호의 시작점에 대한 각속도, 각가속도 및 타임스탬프 중 적어도 하나를 포함하며, 상기 서클타입의 부가정보는 원의 중심 좌표 및 원의 반지름의 크기 중 적어도 하나를 포함하는 향상된 사용자 상호작용 인터페이스 방법.
  11. 제 9 항에 있어서, 상기 패턴타입 및 상기 부가정보 중 적어도 하나를 어플리케이션에 제공하고, 상기 어플리케이션에서 상기 제공된 패턴타입 및 부가정보 중 적어도 하나를 이용하여 객체로부터 입력된 동작정보에 해당하는 명령어를 수행하는 향상된 사용자 상호작용 인터페이스 방법.
  12. 제 1 항에 있어서, 상기 기본패턴타입 및 합성패턴타입 중에서 객체로부터 입력된 물리적인 정보에 해당하는 패턴타입을 결정하는 단계는 기본패턴타입 및 합성패턴타입 중 하나의 타입을 제1 패턴타입으로 결정하는 단계; 및
    상기 기본패턴타입 및 상기 합성패턴타입에 속하는 패턴 타입 중에서 상기 객체로부터 입력된 물리적인 정보인 동작정보에 해당하는 하나의 특정한 패턴 타입을 제2 패턴타입으로 판단하는 단계를 포함하되,
    상기 제2 패턴타입은 상기 결정된 제1패턴타입에 속하는 패턴 타입인 것을 특징으로 하는 향상된 사용자 상호작용 인터페이스 방법.
  13. 제 1 항에 있어서, 객체의 물리적인 정보를 입력 받는 단계를 더 포함하는 것을 특징으로 하는 향상된 사용자 상호작용 인터페이스 방법.
  14. 기본패턴타입 및 합성패턴타입 중에서 객체로부터 입력된 물리적인 정보에 해당하는 패턴타입을 결정하는 단계; 및
    상기 물리적인 정보가 합성패턴타입에 해당하는 경우, 상기 물리적인 정보가 동일한 객체에 의해 생성된 합성패턴타입인지를 판단하는 단계를 포함하는 향상된 사용자 상호작용 인터페이스 방법.
  15. 기본패턴타입 및 합성패턴타입 중에서 객체로부터 입력된 물리적인 정보에 해당하는 패턴타입의 정보를 제공하는 사용자 인터페이스부를 포함하되,
    상기 합성패턴타입은 상기 기본패턴타입 중 적어도 두 개의 패턴타입의 조합이고,
    상기 기본패턴타입은 기하 도형 기반(geometric) 패턴타입, 심볼(symbolic) 패턴타입, 터치(touch) 패턴타입, 핸드 포스처(hand posture) 패턴타입 및 핸드 제스처(hand gesture) 패턴타입 중 적어도 하나를 포함하는 것을 특징으로 하는 향상된 사용자 상호작용 인터페이스 장치.
  16. 제 15 항에 있어서, 상기 합성패턴타입은 동일한 객체(object)에 의해 생성된 합성패턴타입인지 여부를 표시하는 속성정보를 포함하는 것을 특징으로 하는 향상된 사용자 상호작용 인터페이스 장치.
  17. 제 15 항에 있어서, 상기 사용자 인터페이스부는
    기본패턴타입 및 합성패턴타입에 해당하는 시멘틱(semantics)을 생성하는 해석기; 및
    상기 기본패턴타입 및 상기 합성패턴타입 중 객체로부터 입력된 물리적인 정보에 해당하는 패턴타입을 판단하여 전달하는 인터페이스를 포함하는 향상된 사용자 상호작용 인터페이스 장치.
  18. 제 17 항에 있어서, 상기 사용자 인터페이스부는
    상기 인터페이스로부터 정보를 전달받아 상기 물리적인 정보에 대응하는 패턴타입의 정보로 상기 물리적인 정보를 변환하는 컨버터를 더 포함하는 향상된 사용자 상호작용 인터페이스 장치.
  19. 제 15 항에 있어서,
    사용자의 물리적인 정보를 인식하는 입력장치; 및
    상기 패턴타입의 정보를 전달받아 객체로부터 입력된 물리적인 정보에 대응하는 명령어를 수행하기 위한 지시정보를 생성하는 생성기를 더 포함하는 것을 특징으로 하는 향상된 사용자 상호작용 인터페이스 장치.
  20. 제 19 항에 있어서, 상기 지시정보를 전달받아 상기 물리적인 정보에 대응하는 명령어를 수행하는 동작부를 더 포함하는 향상된 사용자 상호작용 인터페이스 장치.
PCT/KR2012/001889 2011-03-17 2012-03-15 향상된 사용자 상호작용 인터페이스 방법 및 장치 WO2012124997A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/005,492 US20140002353A1 (en) 2011-03-17 2012-03-15 Advanced user interaction interface method and apparatus

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR20110023790 2011-03-17
KR10-2011-0023790 2011-03-17
KR20110054881 2011-06-08
KR10-2011-0054881 2011-06-08
KR10-2012-0026389 2012-03-15
KR1020120026389A KR20120106608A (ko) 2011-03-17 2012-03-15 향상된 사용자 상호작용 인터페이스 방법 및 장치

Publications (2)

Publication Number Publication Date
WO2012124997A2 true WO2012124997A2 (ko) 2012-09-20
WO2012124997A3 WO2012124997A3 (ko) 2012-12-27

Family

ID=46831226

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/001889 WO2012124997A2 (ko) 2011-03-17 2012-03-15 향상된 사용자 상호작용 인터페이스 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2012124997A2 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080211766A1 (en) * 2007-01-07 2008-09-04 Apple Inc. Multitouch data fusion
WO2009088561A1 (en) * 2007-12-31 2009-07-16 Motorola, Inc. Method and apparatus for two-handed computer user interface with gesture recognition
KR20100048090A (ko) * 2008-10-30 2010-05-11 삼성전자주식회사 터치와 모션을 통해 제어 명령을 생성하는 인터페이스 장치, 인터페이스 시스템 및 이를 이용한 인터페이스 방법
US20100309140A1 (en) * 2009-06-05 2010-12-09 Microsoft Corporation Controlling touch input modes

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080211766A1 (en) * 2007-01-07 2008-09-04 Apple Inc. Multitouch data fusion
WO2009088561A1 (en) * 2007-12-31 2009-07-16 Motorola, Inc. Method and apparatus for two-handed computer user interface with gesture recognition
KR20100048090A (ko) * 2008-10-30 2010-05-11 삼성전자주식회사 터치와 모션을 통해 제어 명령을 생성하는 인터페이스 장치, 인터페이스 시스템 및 이를 이용한 인터페이스 방법
US20100309140A1 (en) * 2009-06-05 2010-12-09 Microsoft Corporation Controlling touch input modes

Also Published As

Publication number Publication date
WO2012124997A3 (ko) 2012-12-27

Similar Documents

Publication Publication Date Title
WO2013183938A1 (ko) 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치
WO2015088263A1 (ko) 터치 입력의 압력 상태에 따라 동작하는 전자 장치 및 그 방법
WO2014030902A1 (en) Input method and apparatus of portable device
WO2010126321A2 (ko) 멀티 모달 정보를 이용하는 사용자 의도 추론 장치 및 방법
WO2010110573A2 (en) Multi-telepointer, virtual object display device, and virtual object control method
WO2015005606A1 (en) Method for controlling chat window and electronic device implementing the same
WO2014135023A1 (zh) 一种智能终端的人机交互方法及系统
WO2012077922A2 (en) 3 dimensional (3d) display system of responding to user motion and user interface for the 3d display system
WO2014030804A1 (en) Display device and method for controlling the same
WO2012057394A1 (ko) 멀티 터치 특징정보 추출방법 및 그 멀티 터치 특징정보를 이용한 멀티 터치 제스처 인식방법
WO2009157633A1 (en) Registration method of reference gesture data, driving method of mobile terminal, and mobile terminal thereof
WO2013172607A1 (en) Method of operating a display unit and a terminal supporting the same
WO2012141352A1 (en) Gesture recognition agnostic to device orientation
WO2014129828A1 (en) Method for providing a feedback in response to a user input and a terminal implementing the same
CN105528549A (zh) 基于人物识别的相片加/解密方法及系统、移动终端
WO2015174597A1 (ko) 음성제어 영상표시 장치 및 영상표시 장치의 음성제어 방법
WO2018004140A1 (ko) 전자 장치 및 그의 동작 방법
WO2017209568A1 (ko) 전자 장치 및 그의 동작 방법
WO2014178693A1 (ko) 복수의 디바이스를 매칭시키는 방법, 그리고 상기 매칭이 가능하게끔 하여 주는 디바이스 및 서버 시스템
WO2016080596A1 (ko) 프로토타이핑 툴을 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2009110769A2 (ko) 데이터 입력장치
WO2017065450A1 (en) Display apparatus and controlling method thereof
CN107918481A (zh) 基于手势识别的人机交互方法与系统
CN104036167A (zh) 一种信息处理的方法及电子设备
EP3189407A1 (en) Display device and method of controlling therefor

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12756977

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 14005492

Country of ref document: US

NENP Non-entry into the national phase in:

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12756977

Country of ref document: EP

Kind code of ref document: A2