KR100892062B1 - 공간적 유저 인터페이스 장치 및 방법 - Google Patents

공간적 유저 인터페이스 장치 및 방법 Download PDF

Info

Publication number
KR100892062B1
KR100892062B1 KR1020070123166A KR20070123166A KR100892062B1 KR 100892062 B1 KR100892062 B1 KR 100892062B1 KR 1020070123166 A KR1020070123166 A KR 1020070123166A KR 20070123166 A KR20070123166 A KR 20070123166A KR 100892062 B1 KR100892062 B1 KR 100892062B1
Authority
KR
South Korea
Prior art keywords
user interface
space
spatial
icon
input device
Prior art date
Application number
KR1020070123166A
Other languages
English (en)
Inventor
박규호
이주평
박기웅
박성규
유종운
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020070123166A priority Critical patent/KR100892062B1/ko
Application granted granted Critical
Publication of KR100892062B1 publication Critical patent/KR100892062B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 공간적 유저 인터페이스 장치 및 방법에 관한 것이다.
본 발명에 따른 공간적 유저 인터페이스 장치는 실 공간 아이콘을 선택하고 선택된 실 공간 아이콘에 대하여 명령을 지시하는 공간 입력장치, 실 공간 아이콘 정보를 갖는 공간적 유저 인터페이스, 실 공간 아이콘 정보에 대응하는 그래피컬 아이콘 정보를 갖는 그래피컬 유저 인터페이스, 공간적 유저 인터페이스와 상기 그래피컬 유저 인터페이스를 매핑하는 인터페이스 매핑부를 포함하는 사용자 단말을 포함한다.
본 발명에 따르면, 사용자 단말에 대한 유저의 사용 편의성이 향상되는 등의 효과가 있다.
그래피컬 유저 인터페이스(Graphical User Interface, GUI), 공간적 유저 인터페이스(Spatial User Interface, SUI), 아이콘(icon), 인터페이스 매핑(Interface mapping), 드래그 앤 드롭 (drag-and-drop)

Description

공간적 유저 인터페이스 장치 및 방법{SPATIAL USER INTERFACE APPARATUS AND METHOD THEREOF}
본 발명은 공간적 유저 인터페이스 장치 및 방법에 관한 것이다. 보다 구체적으로, 본 발명은 기존에 널리 사용되는 그래피컬 유저 인터페이스 (Graphical User Interface, GUI)의 한계를 극복하기 위한 공간적 유저 인터페이스 장치 및 방법에 관한 것이다.
종래의 그래피컬 유저 인터페이스에 따르면, PC와 같은 개인 컴퓨팅 장치의 화면에 아이콘 (icon), 메뉴 바 (menu bar) 등을 표시하고 사용자가 마우스 입력장치로 아이콘, 메뉴 바 등을 오른쪽 클릭, 또는 왼쪽 클릭함으로써 사용자가 원하는 프로그램을 실행시키거나 사용자가 원하는 동작 수행을 명령할 수 있다. 종래의 그래피컬 유저 인터페이스에서, 아이콘은 주로 바탕화면에 위치하며, 각 아이콘은 일반적으로 아이콘이 상징하는 바를 잘 드러낼 수 있는 형상을 가지고 있다. 예를 들어, 문서폴더 아이콘은 실제의 문서 형상으로 표시하고 휴지통 아이콘은 실제의 휴지통 형상으로 표시한다. 이에 따라, 사용자는 어떤 아이콘이 어떤 동작을 실행할 것인지를 직관적으로 이해할 수 있게 된다. 그래피컬 유저 인터페이스는 그 직관성 과 편리함으로 인해 여러 컴퓨팅 장치에 폭넓게 적용되어 왔다.
이러한 종래의 그래피컬 유저 인터페이스가 핸드폰, PDA(Personal Digital Assistant)와 같이 화면이 작은 휴대형 개인 컴퓨팅 장치에 적용될 경우 여러 문제점들이 발생한다. 이러한 문제점들을 구체적으로 설명하면 다음과 같다. 화면이 비교적 큰 데스크톱 컴퓨터 등의 경우와는 달리, 핸드폰, PDA 등의 작은 화면에는 많은 아이콘을 한 번에 표시할 수 없기 때문에, 한 번에 표시하는 아이콘의 수가 줄어들거나 각 아이콘이 작아져야 한다. 이는 사용자가 휴대형 개인 컴퓨팅 장치를 이용하는데 불편함을 초래한다.
구체적으로, 작은 화면에 그래피컬 유저 인터페이스가 적용될 경우, 아이콘의 수가 감소함에 따라 한 번의 클릭으로 실행할 수 있는 동작의 수도 감소한다. 이에 따라, 사용자가 어떤 동작 수행을 명령하기위하여 일반적으로 더 많은 횟수의 클릭을 하여야 한다. 한편 그래피컬 유저 인터페이스 환경에서는 아이콘과 아이콘 사이의 드래그 앤 드롭 (drag-and-drop) 동작이 빈번하게 이루어진다. 예를 들어 어떤 문서 아이콘을 폴더 아이콘에 드래그 앤 드롭하게 되면 문서 아이콘에 해당하는 문서가 폴더 아이콘에 해당하는 폴더로 복사된다. 그리고 어떤 문서 아이콘을 휴지통 아이콘에 드래그 앤 드롭하게 되면 문서 아이콘에 해당하는 문서가 지워지게 된다. 이러한 드래그 앤 드롭을 수행하려면 그래피컬 유저 인터페이스 화면에 복수개의 아이콘이 동시에 표시되어야 한다. 그러나 작은 그래피컬 유저 인터페이스 화면에 표시할 수 있는 아이콘 수에는 한계가 있기 때문에, 드래그 앤 드롭을 원활하게 수행할 수 없는 문제점이 발생한다.
또한 그래피컬 유저 인터페이스 아이콘은 아이콘이 상징하는 바를 잘 드러내는데 한계가 있다는 문제점이 있다. 예를 들어 폴더 아이콘은 모두가 폴더의 형상을 가지고 이 폴더가 어떤 폴더인지는 폴더 아래에 표기된 폴더명을 보아야 한다. 개인 사용자가 아이콘의 형상을 자신이 직관적으로 잘 이해할 수 있는 형태로 수정하기도 용이하지 않다.
본 발명은 이러한 문제점들을 해결하기 위해 창안된 것이다.
구체적으로, 본 발명은 유저 인터페이스를 사용자 단말의 화면에 국한시키지 않고 사용자가 속한 실제 공간으로 확장시킴으로써, 사용자 단말에 대한 유저의 사용 편의성을 향상시키는 것을 기술적 과제로 한다.
이러한 기술적 과제를 달성하기위한 본 발명에 따른 공간적 유저 인터페이스 장치는 실 공간 아이콘을 선택하고 상기 선택된 실 공간 아이콘에 대하여 명령을 지시하는 공간 입력장치, 상기 실 공간 아이콘 정보를 갖는 공간적 유저 인터페이스, 상기 실 공간 아이콘 정보에 대응하는 그래피컬 아이콘 정보를 갖는 그래피컬 유저 인터페이스, 상기 공간적 유저 인터페이스와 상기 그래피컬 유저 인터페이스를 매핑하는 인터페이스 매핑부를 포함하는 사용자 단말을 포함한다.
상기 공간 입력장치는 상기 공간 입력장치의 위치를 감지하는 위치 감지부, 상기 공간 입력장치가 가리키는 방향을 감지하는 지자기 감지부 및 상기 공간 입력장치의 움직임을 감지하는 가속도 감지부를 포함하는 것이 바람직하다.
상기 공간 입력장치는 적외선 통신을 이용하여 상기 실 공간 아이콘 정보를 감지하는 적외선 감지부 및 상기 공간 입력장치의 움직임을 감지하는 가속도 감지부를 포함하는 것이 바람직하다.
상기 공간 입력장치는 상기 가속도 감지부가 감지한 움직임에 대응하여 상기 실 공간 아이콘에 대하여 명령을 지시하는 것이 바람직하다.
상기 공간 입력장치는 탈부착이 가능한 것이 바람직하다.
상기 공간 입력장치는 상기 사용자 단말에 포함되는 것이 바람직하다.
상기 사용자 단말에는 상기 그래피컬 유저 인터페이스를 사용하는 그래피컬 유저 인터페이스 모드와 상기 공간적 유저 인터페이스와 상기 그래피컬 유저 인터페이스를 매핑하는 매핑 모드간의 모드 전환버튼이 표시되는 것이 바람직하다.
상기 공간 입력장치는 상기 공간적 유저 인터페이스에 새로운 실 공간 아이콘을 추가하는 것이 바람직하다.
본 발명에 따른 공간적 유저 인터페이스 방법은 공간 입력장치로 실 공간 아이콘을 선택하고 상기 선택된 실 공간 아이콘에 대하여 명령을 지시하는 공간 입력단계 및 상기 실 공간상의 아이콘 정보를 갖는 공간적 유저 인터페이스와 상기 실 공간 아이콘 정보에 대응하는 그래피컬 아이콘 정보를 갖는 그래피컬 유저 인터페이스를 매핑하는 인터페이스 매핑단계를 포함한다.
상기 공간 입력단계는 상기 공간 입력장치의 위치를 감지하는 위치 감지단계, 상기 공간 입력장치가 가리키는 방향을 감지하는 지자기 감지단계 및 상기 공간 입력장치의 움직임을 감지하는 가속도 감지단계를 포함하는 것이 바람직하다.
상기 공간 입력단계는 적외선 통신을 이용하여 상기 실 공간 아이콘 정보를 감지하는 적외선 감지단계 및 상기 공간 입력장치의 움직임을 감지하는 가속도 감지단계를 포함하는 것이 바람직하다.
상기 공간 입력장치는 상기 가속도 감지단계에서 감지한 움직임에 대응하여 상기 실 공간 아이콘에 대하여 명령을 지시하는 것이 바람직하다.
상기 그래피컬 유저 인터페이스를 사용하는 그래피컬 유저 인터페이스 모드와 상기 공간적 유저 인터페이스와 상기 그래피컬 유저 인터페이스를 매핑하는 매핑 모드간의 모드 전환 단계를 더 포함하는 것이 바람직하다.
상기 공간적 유저 인터페이스에 새로운 실 공간 아이콘을 추가하는 실 공간 아이콘 추가단계를 더 포함하는 것이 바람직하다.
이하에서는 본 발명의 기본 원리를 설명한다.
사용자의 개인 컴퓨팅 장치의 화면은 그 휴대성을 높이기 위해 작은 경우가 대부분이지만 사용자가 속한 공간, 즉 사용자의 방, 거실, 강의실 등은 그 크기가 개인 컴퓨팅 장치의 화면과 비교할 수 없을 만큼 크다. 이 공간에 그래피컬 유저 인터페이스에서의 아이콘을 분산시켜 두는 것이 본 발명의 핵심이다. 예를 들어, 그래피컬 유저 인터페이스에서의 휴지통 아이콘은 실제 사용자가 속한 공간에 있는 휴지통에 매핑시키고, 그래피컬 유저 인터페이스에서의 음악 폴더는 실제 사용자가 속한 공간에 있는 음악 CD들이 모여있는 공간에 매핑시키고, 그래피컬 유저 인터페이스에서의 일정 아이콘은 실제 사용자가 속한 공간에 있는 달력에 매핑시킨다. 이러한 매핑에 의하여, 사용자가 속한 공간에 있는 휴지통, 악 CD들이 모여있는 공간, 달력 등은 실 공간 아이콘들이 된다. 이와 같이 그래피컬 유저 인터페이스에서의 아이콘을 실제 사용자가 속한 공간에 매핑시켜 실 공간 아이콘을 생성한 후 사용자가 어떤 실 공간 아이콘과 공간적인 상호작용을 하면, 사용자 단말은 이를 사용자 단말 그래피컬 유저 인터페이스에서 실 공간 아이콘에 해당하는 그래피컬 유 저 인터페이스 아이콘이 클릭되었거나 드래그(drag)된 것으로 인지한다. 예를 들어, 공간적 유저 인터페이스에서 사용자가 공간적인 상호작용을 통해 어떤 문서 아이콘을 드래그해서 휴지통 아이콘에 내려놓으면, 사용자 단말은 이를 그래피컬 유저 인터페이스에서 해당 문서 아이콘이 휴지통 아이콘에 드래그된 것으로 인지하여 해당 문서를 삭제한다.
이와 같은 본 발명의 공간적 유저 인터페이스 방식에 따르면, 개인 컴퓨팅 장치의 작은 화면 사이즈로 인하여 발생하는 문제점들을 극복할 수 있다. 구체적으로, 본 발명에 따르면, 여러가지 아이콘을 굳이 개인 컴퓨팅 장치의 화면에 위치시킬 필요 없이 사용자가 속한 공간에 위치시킬 수 있다. 이에 따라 예를 들어, 그래피컬 유저 인터페이스에서의 아이콘과 아이콘 사이의 드래그 앤 드롭 동작이 공간적 유저 인터페이스에서의 실 공간 아이콘들 사이의 드래그 앤 드롭 동작으로 매핑되어, 그 동작이 용이해지고 사용자는 그 동작의 의미를 직관적으로 경험할 수 있다. 또한 각 그래피컬 유저 인터페이스 아이콘을 사용자가 직관적으로 이해할 수 있는 공간에 매핑시킴으로써, 시용자는 각 실 공간 아이콘이 갖는 의미를 명확하게 인식할 수 있다.
이러한 본 발명에 따른 공간적 유저 인터페이스를 실현하려면 사용자와 실 공간 아이콘 사이의 공간적 상호작용이 필수적으로 지원되어야 한다. 보다 구체적으로, 사용자가 현재 어떤 공간을 선택하고 있는지를 센싱할 수 있어야 하고(실 공간아이콘 선택), 사용자가 그 선택된 공간을 향해 어떤 명령을 하는지를 센싱할 수 있어야 한다(실 공간아이콘 명령). 이를 실현하는 데에는 아래와 같은 다양한 방식 들이 적용 가능하다.
<실 공간아이콘 선택>
1) 한 예로, 사용자 단말에 지자기 센서, 가속도 센서, 및 위치 센서를 포함시키는 방식이 적용 가능하다. 사용자는 이 사용자 단말로 사용자가 속한 공간의 어떤 곳을 가리키는 동작을 하여 실 공간 아이콘을 선택한다. 사용자가 사용자 단말로 어떤 곳을 가리키면, 사용자 단말은 위치 센서를 통해 사용자의 위치를 감지하고 지자기 센서를 통해 사용자가 사용자 단말로 어떤 곳을 가리켰는지를 감지한다. 이를 통해 사용자 단말은 사용자가 공간적으로 어디를 가리켰는지를 감지한다. 지자기 센서, 가속도 센서는 손가락 또는 손에 탈, 부착이 가능한 형태로 구현될 수 있다. 이 센서들이 장착된 손가락 또는 손으로 어떤 공간을 향해 가리키면 이 센서들은 센싱된 정보를 단말기에 전달한다.
2) 다른 예로, 사용자 단말에 적외선 트랜시버(tranceiver)를 포함시키고 사용자가 속한 공간의 여러 위치에 적외선 트랜시버를 위치시키는 방식도 적용될 수 있다. 사용자가 사용자 단말로 어떤 공간을 가리키면, 가리킨 공간에 위치한 적외선 트랜시버가 해당 공간의 ID 정보를 사용자 단말에 전달한다. 이에 따라, 사용자 단말은 사용자가 공간적으로 어디를 가리켰는지를 감지한다. 적외선 트랜시버는 손가락 또는 손에 탈, 부착이 가능한 형태로 구현될 수 있다.
<실 공간 아이콘 명령>
1) 예를 들어, 사용자 단말에 가속도 센서를 포함시키고 사용자가 실 공간 아이콘을 선택한 후에 사용자 단말에 임의의 움직임(예를 들어, 사용자 단말을 오른 쪽으로 뒤집는 동작, 왼쪽으로 뒤집는 동작, 사용자 단말을 하늘을 향해 들어올리는 동작)을 주어 실 공간 아이콘에 임의의 명령을 전달한다. 가속도 센서는 손가락 또는 손에 탈, 부착이 가능한 형태로 구현될 수 있다. 위의 동작을 통해 실 공간 아이콘이 선택된 이후의 동작은 사용자 단말의 그래피컬 유저 인터페이스에서 직접 수행할 수도 있다.
본 발명에 따르면, 유저 인터페이스를 사용자 단말의 화면에 국한시키지 않고 사용자가 속한 실제 공간으로 확장시킴으로써, 사용자 단말에 대한 유저의 사용 편의성이 향상되는 효과가 있다.
이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명한다.
상기한 바와 같이 실 공간 아이콘 선택 및 명령을 실현하는 데에는 다양한 방법이 있을 수 있다. 아래에서 설명될 내용은 실시 예일 뿐이며, 본 발명은 이 실시 예에 한정되는 것이 아니다.
도 1은 본 발명의 제1 실시 예에 따른 공간적 유저 인터페이스 장치(1)를 나타낸 도면이다. 도 1을 참조하면, 본 발명의 제1 실시 예에 따른 공간적 유저 인터페이스 장치(1)는 공간 입력장치(11) 및 사용자 단말(20)을 포함한다.
공간 입력장치(11)는 사용자 단말(20)에 포함되어 구성될 수도 있고, 분리되어 구성될 수도 있다. 이하에서는 공간 입력장치(11)가 사용자 단말(20)과 분리되어 구성된 경우를 설명한다.
공간 입력장치(11)는 실 공간 아이콘을 선택하고 선택된 실 공간 아이콘에 대하여 명령을 지시한다.
이러한 공간 입력장치(11)는 공간 입력장치(11)의 위치를 감지하는 위치 감지부(112), 공간 입력장치(11)가 가리키는 방향을 감지하는 지자기 감지부(114) 및 공간 입력장치(11)의 움직임을 감지하는 가속도 감지부(116)를 포함하여 구성될 수 있다.
이러한 공간 입력장치(11)의 동작을 도2를 참조하여 설명한다.
도 2는 사용자가 공간 입력장치(11)로 실 공간내의 특정 방향을 가리켜 실 공간 아이콘을 선택하는 것을 나타낸 도면이다. 도 2를 참조하면, 사용자가 공간 입력장치(11)로 어떤 공간을 가리키면, 공간 입력장치(11)는 위치 감지부(112)를 통해 공간 입력장치(11)의 위치 즉, 사용자의 위치를 감지하고 지자기 감지부(114)를 통해 공간 입력장치(11)가 가리킨 방향을 감지한다. 공간 입력장치(11)는 이 정보들을 사용자 단말(20)에 전송한다. 공간 입력장치(11)에 의해 선택된 공간이 공간적 유저 인터페이스 맵에 표시되어 있다. 이를 통해 사용자 단말(20)은 현재 사용자가 이 공간을 선택했음을 인지한다. 다음으로, 사용자 단말(20)은 공간적 유저 인터페이스 맵에서 현재 사용자가 선택한 공간 내에 이미 등록된 실 공간 아이콘이 있는지를 찾는다. 도 2에서는 시계 모양의 실 공간 아이콘이 선택된 공간 내에 이 미 위치해 있다. 따라서 이 경우는 시계 모양의 실 공간 아이콘이 선택된다. 실 공간 아이콘 선택 이후, 공간 입력장치(11)의 움직임을 통해 선택된 실 공간 아이콘에 명령을 지시한다. 공간 입력장치(11)에는 가속도 감지부(116)가 있기 때문에 공간 입력장치(11)의 기울어짐이나 다양한 움직임을 감지할 수 있다.
선택된 실 공간 아이콘에 명령을 지시하는 데에는 위에 기술했듯이 다양한 방법이 있다.
도 2는 이러한 방법들 중의 하나를 예시한 것이다. 도 2를 참조하면, 공간 입력장치(11)가 부착된 손(이하, 손에는 공간 입력장치(11)가 부착되어 있는 것을 전제로 설명한다.)을 왼쪽으로 기울였다가 다시 원위치로 복귀시키는 동작을 마우스 장치의 오른쪽 클릭과 매핑시키고, 손을 오른쪽으로 기울였다가 다시 원위치로 복귀시키는 것을 마우스 장치의 왼쪽 클릭과 매핑시킨다. 특별히 오른쪽으로 기울이는 것을 왼쪽 클릭과 매핑시킨 이유는 왼쪽 클릭이 더 빈번하게 발생하고 오른손잡이들이 공간 입력장치(11)를 오른손에 부착시켰을 때 오른쪽으로 기울이는 것이 더 편하기 때문이다. 손을 오른쪽으로 뒤집어 손바닥이 하늘을 향하게 하는 동작을 마우스 장치를 왼쪽 클릭한 상태를 유지하는 것으로 매핑한다. 즉 사용자 단말(20)은 드래그 앤 드롭이 시작된 것으로 인지한다. 따라서 이 상태에서 공간적으로 손을 움직이면 마우스 장치의 왼쪽을 클릭한 상태로 마우스 포인터를 움직이는 것으로 매핑된다.
이렇게 공간 입력장치(11)의 동작과 마우스 장치의 동작을 매핑함으로써 각 실 공간 아이콘에 대한 사용자의 명령이 명확해지고 그 의미가 분명해진다. 앞서 기술하였듯이, 구체적인 매핑 방법은 여러 가지가 있을 수 있다.
도 4 및 도 5는 공간 입력장치(11)로 실 공간 아이콘에 대하여 구체적인 명령을 지시하는 것을 나타낸 도면이다.
도 4를 참조하면, 실 공간 아이콘을 선택한 후 선택된 실 공간 아이콘과의 상호작용을 위해 손을 오른쪽으로 기울였다가 다시 원위치로 복귀시킨다. 공간적 유저 인터페이스에서의 이 동작은 마우스 왼쪽 클릭으로 매핑되어 사용자가 그래피컬 유저 인터페이스 환경에서 해당 그래피컬 유저 인터페이스 아이콘을 왼쪽 클릭한 것과 동일한 효과를 낸다. 공간적 유저 인터페이스에서의 공간적 동작과 그래피컬 유저 인터페이스에서의 마우스 동작 사이의 매핑은 인터페이스 매핑부(206)에 의해 이루어진다. 도 4에 도시된 바와 같이, 사용자가 손을 오른쪽으로 기울였다가 다시 원위치로 복귀시킨 경우, 사용자 단말의 그래피컬 유저 인터페이스에서 시계 아이콘위에 마우스 포인터를 올리고 왼쪽 클릭한 것과 동일한 동작이 사용자 단말(20)의 그래피컬 유저 인터페이스에서 이루어진다.
도 5를 참조하면, 사용자가 실 공간 아이콘들을 이용하여 공간적인 드래그 앤 드롭을 수행한다. 사용자가 먼저 손으로 문서 모양의 실 공간 아이콘을 가리킨 후 손을 오른쪽으로 뒤집어 마우스 왼쪽 클릭 효과를 낸다. 이후 손을 움직이면 인터페이스 매핑부(206)는 이를 마우스 드래그 앤 드롭으로 인식한다. 이후 사용자가 손으로 휴지통 모양의 실 공간 아이콘을 가리킨 후 다시 손을 뒤집어 원래대로 하면 왼쪽 클릭이 종료되는 효과를 낸다. 이에 따라, 문서 아이콘에 해당하는 문서가 삭제된다. 도5에 도시된 바와 같이, 이 모든 과정은 인터페이스 매핑에 의해서 사 용자 단말의 그래피컬 유저 인터페이스에서 문서 아이콘을 휴지통 아이콘 위로 드래그 앤 드롭한 명령으로 매핑되어 처리된다.
한편, 사용자 단말(20)에는 그래피컬 유저 인터페이스를 사용하는 그래피컬 유저 인터페이스 모드와 공간적 유저 인터페이스와 그래피컬 유저 인터페이스를 매핑하는 매핑 모드간의 모드 전환버튼이 표시되는 것이 바람직하다.
도 6은 그래피컬 유저 인터페이스 모드와 매핑 모드 간의 모드 전환버튼을 나타낸 도면이다. 사용자가 의도하지 않은 상황에서 공간 입력장치(11)를 움직이는 경우, 이 동작은 공간적 유저 인터페이스에 대한 공간적 입력으로 처리될 수도 있다. 이 문제를 해결하기 위해 사용자 단말(20)의 그래피컬 유저 인터페이스 상에 도 6에 도시된 바와 같은 모드 전환버튼을 위치시킨다. 평소에 사용자 단말(20)의 그래피컬 유저 인터페이스를 통해 명령을 지시할 때는 모드 전환버튼을 GUI모드로 두었다가 공간적 유저 인터페이스를 이용하고자 할 때는 모드 전환버튼을 클릭하여 SUI모드로 전환한다. 이에 따라, 인터페이스 매핑부(206)의 동작이 활성화되어 공간 입력장치(11)를 공간적으로 움직였을 때 이 동작이 공간적 유저 인터페이스에 대한 공간적 입력으로 인지된다. 이후 다시 그래피컬 유저 인터페이스를 사용하고자 하면 모드 전환버튼을 한 번 더 눌러 GUI모드로 전환한다.
한편, 공간 입력장치(11)는 공간적 유저 인터페이스에 새로운 실 공간 아이콘을 추가할 수도 있다. 사용자가 공간적 유저 인터페이스 상에 새로운 실 공간 아이콘을 추가하는 방법은 여러 가지가 있을 수 있지만, 여기서는 사용자 단말(20)의 GUI 환경에서 아이콘을 꺼내어 실제 공간의 임의의 위치에 드롭하는 방법을 통해 설명하고자 한다.
도 7은 공간적 유저 인터페이스에 새로운 실 공간 아이콘을 추가하는 동작을 나타낸 도면이다. 도 7을 참조하면, 사용자는 먼저 사용자 단말(20)의 그래피컬 유저 인터페이스 환경에서 하나의 GUI 아이콘을 선택한다. 이후에 사용자는 사용자 단말(20)의 그래피컬 유저 인터페이스 환경에서 모드 전환버튼을 클릭하여 SUI모드로 전환한다. 이후 사용자가 공간 입력장치(11)를 오른쪽으로 뒤집어 마우스 왼쪽 클릭효과를 내면 가장 최근에 선택된 GUI 아이콘을 왼쪽 클릭한 형태가 되고 이후에 손을 움직이면 마우스 드래그 앤 드롭 효과로 매핑된다. 이후 임의의 공간을 가리킨 상태에서 공간 입력장치(11)를 다시 뒤집어 원래대로 하면 마우스 드래그 앤 드롭이 종료된 효과로 매핑되어 최종적으로 가리킨 공간 상에 처음 선택된 GUI 아이콘이 드롭된다. 이 아이콘의 종류와 위치는 공간적 유저 인터페이스 맵에 등록되어 이후 공간적 유저 인터페이스를 통해 생성된 실 공간 아이콘을 제어할 수 있게 된다. 개념적으로는 사용자가 사용자 단말의 그래피컬 유저 인터페이스 환경에서 사용자 공간으로 아이콘을 꺼내는 듯한 효과를 내는 것이다. 도 7에서는 휴지통 아이콘을 꺼내어 사용자 공간의 휴지통 실물에 휴지통 아이콘을 드롭한 경우로써, 이후에 사용자는 공간적 유저 인터페이스를 통해 휴지통을 선택하고자 할 때 직관적으로 휴지통 실물을 향해 공간 입력장치(11)를 가리키면 된다.
도 8은 본 발명의 제2 실시 예에 따른 공간적 유저 인터페이스 장치를 나타낸 도면이다.
제1 실시 예와 비교하여 제1 실시 예가 갖는 차이점은 실 공간 아이콘을 선택하는 수단이다. 제 2 실시 예는 이 수단으로 적외선 감지부(122)를 채택하였다. 구체적으로 적외선 감지부(122)는 적외선 트랜시버(tranceiver)일 수 있다. 적외선 트랜시버를 공간 입력장치(12)에 포함시키는 한편, 사용자가 속한 공간의 여러 위치에 적외선 트랜시버를 배치한다. 사용자가 공간 입력장치(12)로 어떤 공간을 가리키면, 가리킨 공간에 위치한 적외선 트랜시버가 해당 공간의 ID 정보를 공간 입력장치(12)에 전달한다. 이에 따라, 공간 입력장치(12)는 사용자가 공간적으로 어디를 가리켰는지를 감지한다. 적외선 트랜시버는 손가락 또는 손에 탈, 부착이 가능한 형태로 구현될 수 있다.
도 9는 본 발명의 제1 실시 예에 따른 공간적 유저 인터페이스 방법을 나타낸 도면이다.
도 9를 참조하면, 본 발명의 제1 실시 예에 따른 공간적 유저 인터페이스 방법은 공간 입력장치로 실 공간 아이콘을 선택하고 선택된 실 공간 아이콘에 대하여 명령을 지시하는 공간 입력단계(S11) 및 실 공간상의 아이콘 정보를 갖는 공간적 유저 인터페이스와 실 공간 아이콘 정보에 대응하는 그래피컬 아이콘 정보를 갖는 그래피컬 유저 인터페이스를 매핑하는 인터페이스 매핑단계(S20)를 포함하고, 공간 입력단계(S11)는 공간 입력장치의 위치를 감지하는 위치 감지단계(S112), 공간 입력장치가 가리키는 방향을 감지하는 지자기 감지단계(S114) 및 공간 입력장치의 움직임을 감지하는 가속도 감지단계(S116)를 포함하여 구성될 수 있다.
이러한 본 발명의 제1 실시 예에 따른 공간적 유저 인터페이스 방법의 동작원리는 본 발명의 제1 실시 예에 따른 공간적 유저 인터페이스 장치의 동작원리와 실질적으로 동일하다.
도 10은 본 발명의 제2 실시 예에 따른 공간적 유저 인터페이스 방법을 나타낸 도면이다.
도 10을 참조하면, 본 발명의 제2 실시 예에 따른 공간적 유저 인터페이스 방법은 공간 입력장치로 실 공간 아이콘을 선택하고 선택된 실 공간 아이콘에 대하여 명령을 지시하는 공간 입력단계(S12) 및 실 공간상의 아이콘 정보를 갖는 공간적 유저 인터페이스와 실 공간 아이콘 정보에 대응하는 그래피컬 아이콘 정보를 갖는 그래피컬 유저 인터페이스를 매핑하는 인터페이스 매핑단계(S20)를 포함하고, 공간 입력단계(S12)는 적외선 통신을 이용하여 실 공간 아이콘 정보를 감지하는 적외선 감지단계(S112) 및 공간 입력장치의 움직임을 감지하는 가속도 감지단계(S116)를 포함하여 구성될 수 있다.
이러한 본 발명의 제2 실시 예에 따른 공간적 유저 인터페이스 방법의 동작원리는 본 발명의 제2 실시 예에 따른 공간적 유저 인터페이스 장치의 동작원리와 실질적으로 동일하다.
이상에서 상세히 설명한 바와 같이, 본 발명에 따른 공간적 유저 인터페이스 장치 및 방법은 기존의 그래피컬 유저 인터페이스의 한계를 극복하기 위해 안출된 것으로써, 실제 공간에 아이콘을 분산시켜 놓고 실 공간 아이콘과의 공간적 상호작용을 통해 그래피컬 유저 인터페이스를 간접적으로 제어하게 해 준다. 이를 통해 사용자 단말의 작은 화면의 그래피컬 유저 인터페이스에 제한된 수의 아이콘만이 위치할 수 있는 문제를 해결할 수 있고, 사용자 단말의 작은 화면에서 복수개의 아이콘이 동시에 표시되기가 어려워 드래그 앤 드롭 등이 동작이 불편했던 문제를 공간적 드래그 앤 드롭을 통해 해결해 준다. 또한 사용자가 공간적 아이콘을 그 의미가 분명하게 드러나는 위치에 드롭하게 해 줌으로써 사용자가 어떤 연산을 원할 때 어디를 향해 공간 입력장치를 가리켜서 어떤 공간적 아이콘을 찾아야 하는지를 기억하기가 쉽고 직관적으로 어떤 연산을 수행할 수 있게 된다.
이상에서 보는 바와 같이, 본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 하고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
도 1은 본 발명의 제1 실시 예에 따른 공간적 유저 인터페이스 장치를 나타낸 도면이다.
도 2는 공간 입력장치로 실 공간내의 특정 방향을 가리켜 실 공간 아이콘을 선택하는 것을 나타낸 도면이다.
도 3은 인터페이스 매핑의 한 예를 나타낸 도면이다.
도 4 및 도 5는 공간 입력장치로 실 공간 아이콘에 대하여 명령을 지시하는 것을 나타낸 도면이다.
도 6은 그래피컬 유저 인터페이스 모드와 매핑 모드 간의 모드 전환버튼을 나타낸 도면이다.
도 7은 공간적 유저 인터페이스에 새로운 실 공간 아이콘을 추가하는 것을 나타낸 도면이다.
도 8은 본 발명의 제2 실시 예에 따른 공간적 유저 인터페이스 장치를 나타낸 도면이다.
도 9는 본 발명의 제1 실시 예에 따른 공간적 유저 인터페이스 방법을 나타낸 도면이다.
도 10은 본 발명의 제2 실시 예에 따른 공간적 유저 인터페이스 방법을 나타낸 도면이다.

Claims (14)

  1. 실 공간 아이콘을 선택하고 상기 선택된 실 공간 아이콘에 대하여 명령을 지시하는 공간 입력장치;
    상기 실 공간상의 아이콘 정보를 갖는 공간적 유저 인터페이스, 상기 실 공간 아이콘 정보에 대응하는 그래피컬 아이콘 정보를 갖는 그래피컬 유저 인터페이스, 상기 공간적 유저 인터페이스와 상기 그래피컬 유저 인터페이스를 매핑하는 인터페이스 매핑부를 포함하는 사용자 단말을 포함하는, 공간적 유저 인터페이스 장치.
  2. 제1 항에 있어서,
    상기 공간 입력장치는
    상기 공간 입력장치의 위치를 감지하는 위치 감지부:
    상기 공간 입력장치가 가리키는 방향을 감지하는 지자기 감지부; 및
    상기 공간 입력장치의 움직임을 감지하는 가속도 감지부를 포함하는, 공간적 유저 인터페이스 장치.
  3. 제1 항에 있어서,
    상기 공간 입력장치는
    적외선 통신을 이용하여 상기 실 공간 아이콘 정보를 감지하는 적외선 감지부; 및
    상기 공간 입력장치의 움직임을 감지하는 가속도 감지부를 포함하는, 공간적 유저 인터페이스 장치.
  4. 제2 항 또는 제3 항에 있어서,
    상기 공간 입력장치는
    상기 가속도 감지부가 감지한 움직임에 대응하여 상기 실 공간 아이콘에 대하여 명령을 지시하는, 공간적 유저 인터페이스 장치.
  5. 제1 항에 있어서,
    상기 공간 입력장치는 탈부착이 가능한, 공간적 유저 인터페이스 장치.
  6. 제1 항에 있어서,
    상기 공간 입력장치는 상기 사용자 단말에 포함된, 공간적 유저 인터페이스 장치.
  7. 제1 항에 있어서,
    상기 사용자 단말에는
    상기 그래피컬 유저 인터페이스를 사용하는 그래피컬 유저 인터페이스 모드와 상기 공간적 유저 인터페이스와 상기 그래피컬 유저 인터페이스를 매핑하는 매핑 모드간의 모드 전환버튼이 표시되는, 공간적 유저 인터페이스 장치.
  8. 제1 항에 있어서,
    상기 공간 입력장치는
    상기 공간적 유저 인터페이스에 새로운 실 공간 아이콘을 추가하는, 공간적 유저 인터페이스 장치.
  9. 공간 입력장치로 실 공간 아이콘을 선택하고 상기 선택된 실 공간 아이콘에 대하여 명령을 지시하는 공간 입력단계; 및
    상기 실 공간상의 아이콘 정보를 갖는 공간적 유저 인터페이스와 상기 실 공간 아이콘 정보에 대응하는 그래피컬 아이콘 정보를 갖는 그래피컬 유저 인터페이스를 매핑하는 인터페이스 매핑단계를 포함하는, 공간적 유저 인터페이스 방법.
  10. 제9 항에 있어서,
    상기 공간 입력단계는
    상기 공간 입력장치의 위치를 감지하는 위치 감지단계:
    상기 공간 입력장치가 가리키는 방향을 감지하는 지자기 감지단계; 및
    상기 공간 입력장치의 움직임을 감지하는 가속도 감지단계를 포함하는, 공간적 유저 인터페이스 방법.
  11. 제9 항에 있어서,
    상기 공간 입력단계는
    적외선 통신을 이용하여 상기 실 공간 아이콘 정보를 감지하는 적외선 감지단계; 및
    상기 공간 입력장치의 움직임을 감지하는 가속도 감지단계를 포함하는, 공간적 유저 인터페이스 방법.
  12. 제10 항 또는 제11 항에 있어서,
    상기 공간 입력장치는
    상기 가속도 감지단계에서 감지한 움직임에 대응하여 상기 실 공간 아이콘에 대하여 명령을 지시하는, 공간적 유저 인터페이스 방법.
  13. 제9 항에 있어서,
    상기 그래피컬 유저 인터페이스를 사용하는 그래피컬 유저 인터페이스 모드와 상기 공간적 유저 인터페이스와 상기 그래피컬 유저 인터페이스를 매핑하는 매핑 모드간의 모드 전환 단계를 더 포함하는, 공간적 유저 인터페이스 방법.
  14. 제9 항에 있어서,
    상기 공간적 유저 인터페이스에 새로운 실 공간 아이콘을 추가하는 실 공간 아이콘 추가단계를 더 포함하는, 공간적 유저 인터페이스 방법.
KR1020070123166A 2007-11-30 2007-11-30 공간적 유저 인터페이스 장치 및 방법 KR100892062B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070123166A KR100892062B1 (ko) 2007-11-30 2007-11-30 공간적 유저 인터페이스 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070123166A KR100892062B1 (ko) 2007-11-30 2007-11-30 공간적 유저 인터페이스 장치 및 방법

Publications (1)

Publication Number Publication Date
KR100892062B1 true KR100892062B1 (ko) 2009-04-07

Family

ID=40757321

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070123166A KR100892062B1 (ko) 2007-11-30 2007-11-30 공간적 유저 인터페이스 장치 및 방법

Country Status (1)

Country Link
KR (1) KR100892062B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140034624A (ko) * 2012-09-12 2014-03-20 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001109569A (ja) 1999-10-08 2001-04-20 Nec Corp ポインティングデバイス装置
KR20020096807A (ko) * 2001-06-15 2002-12-31 삼성전자 주식회사 장갑형 데이터 입력장치 및 그 인식 방법
US20040012564A1 (en) 2002-07-11 2004-01-22 Frank Zngf Glove mouse with virtual tracking ball
KR20050077364A (ko) * 2004-01-27 2005-08-02 삼성전자주식회사 공간에서 클릭 동작에 따른 포인팅 위치 조절 방법 및이를 위한 공간형 입력 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001109569A (ja) 1999-10-08 2001-04-20 Nec Corp ポインティングデバイス装置
KR20020096807A (ko) * 2001-06-15 2002-12-31 삼성전자 주식회사 장갑형 데이터 입력장치 및 그 인식 방법
US20040012564A1 (en) 2002-07-11 2004-01-22 Frank Zngf Glove mouse with virtual tracking ball
KR20050077364A (ko) * 2004-01-27 2005-08-02 삼성전자주식회사 공간에서 클릭 동작에 따른 포인팅 위치 조절 방법 및이를 위한 공간형 입력 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140034624A (ko) * 2012-09-12 2014-03-20 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
KR101973622B1 (ko) * 2012-09-12 2019-04-29 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법

Similar Documents

Publication Publication Date Title
US11314407B2 (en) Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
US10969945B2 (en) Device, method, and graphical user interface for selecting user interface objects
EP2701054B1 (en) Method and apparatus for constructing a home screen in a terminal having a touch screen
US9256351B2 (en) Method and electronic device for facilitating user control of a menu
US20140040826A1 (en) Method for operating screen and electronic device thereof
KR102058990B1 (ko) 모바일 디바이스 및 그 제어 방법
US9459704B2 (en) Method and apparatus for providing one-handed user interface in mobile device having touch screen
US9182900B2 (en) User terminal apparatus and control method thereof
US20110060986A1 (en) Method for Controlling the Display of a Touch Screen, User Interface of the Touch Screen, and an Electronic Device using The Same
EP2410413A1 (en) Method for text input, apparatus, and computer program
US20140157169A1 (en) Clip board system with visual affordance
KR20090029670A (ko) 제스처를 수행함으로써 사용자 인터페이스 내 오브젝트를 선택하기 위한 방법 및 장치
KR20130108843A (ko) 휴대단말기의 스크린 관리 방법 및 장치
WO2012160829A1 (ja) タッチスクリーン装置、タッチ操作入力方法及びプログラム
US20150248213A1 (en) Method to enable hard keys of a device from the screen
KR20060112471A (ko) 이동통신 단말기와 포인팅 디바이스를 이용한 지향성 인터페이스 방법
US20170255357A1 (en) Display control device
KR100931926B1 (ko) 자세를 감지하여 메뉴 아이콘이 움직이는 이동통신 단말기
KR20130030727A (ko) 힘을 이용한 인터페이스 제어 장치 및 방법
KR101332708B1 (ko) 배면 터치 보조 입력 장치를 갖는 모바일 단말기 및 배면 터치 보조 입력 장치를 탑재한 모바일 단말기용 보호 케이스
WO2005096132A1 (en) Method of navigating, electronic device, user interface and computer program product
KR100892062B1 (ko) 공간적 유저 인터페이스 장치 및 방법
KR20140019531A (ko) 홈 화면의 오브젝트 메뉴 관리 방법 및 장치
KR20110011845A (ko) 터치 스크린이 구비된 이동통신 단말기 및 그 제어 방법
KR100966848B1 (ko) 회전식 직육면체 메뉴 바 디스플레이 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130304

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140303

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee