KR20120036445A - 휴대기기의 ｕｉ를 위한 모션 센서 제어 시스템 및 그 방법 - Google Patents

휴대기기의 ｕｉ를 위한 모션 센서 제어 시스템 및 그 방법 Download PDF

Info

Publication number
KR20120036445A
KR20120036445A KR1020100098116A KR20100098116A KR20120036445A KR 20120036445 A KR20120036445 A KR 20120036445A KR 1020100098116 A KR1020100098116 A KR 1020100098116A KR 20100098116 A KR20100098116 A KR 20100098116A KR 20120036445 A KR20120036445 A KR 20120036445A
Authority
KR
South Korea
Prior art keywords
motion
axis
information
value
event information
Prior art date
Application number
KR1020100098116A
Other languages
English (en)
Other versions
KR101231105B1 (ko
Inventor
김동오
조남혁
전윤기
Original Assignee
엔그램테크놀로지(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔그램테크놀로지(주) filed Critical 엔그램테크놀로지(주)
Priority to KR1020100098116A priority Critical patent/KR101231105B1/ko
Publication of KR20120036445A publication Critical patent/KR20120036445A/ko
Application granted granted Critical
Publication of KR101231105B1 publication Critical patent/KR101231105B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 휴대기기의 UI를 위한 모션 센서 기반의 벡터용 소프트웨어 엔진 및 그 제어 방법에 관한 것으로서, 지자계 센서, 가속 센서, 자이로 센서를 통해 위치와 동작을 감지하여 운동 상태 변화를 측정하고, 측정된 X, Y, Z 축의 로우(RAW) 데이터, 방위각, 롤(Roll) 및 피치(Pitch)에 대한 정보가 포함된 모션 감지 결과를 산출하여 모션 센싱정보를 생성하는 센싱모듈; 모션 센싱정보를 인가받아 모션의 센싱에 따른 변화량을 추출하여 휴대기기에서 발생한 해당 모션을 인식하되, 추출된 변화량이 축방향 움직임 데이터인 경우, 축(Axis)모션 인식정보를 생성하고, 추출된 변화량이 회전 기울기 데이터인 경우, 기울기(Tilt)모션 인식정보를 생성하는 모션데이터 필터링모듈; 축(Axis)모션 인식정보 또는 기울기(Tilt)모션 인식정보를 인가받아 각각 단방향 모션인지 회귀 모션인지 여부를 판단하여, 축(Axis)모션 인식정보가 단방향인 경우, 해당 가속도를 산출하여 단방향 축(Axis)모션 이벤트 정보를 생성하고, 축(Axis)모션 인식정보가 양방향인 경우, 해당 가속도를 산출하여 양방향 축(Axis)모션 이벤트 정보를 생성하며, 판단결과, 기울기(Tilt)모션 인식정보가 단방향 모션인 경우, 해당 변위각을 산출하여 단방향 기울기(Tilt)모션 이벤트정보를 생성하고, 기울기(Tilt)모션 인식정보가 양방향 모션인 경우, 해당 변위각을 산출하여 양방향 기울기(Tilt)모션 이벤트정보를 생성하는 모션이벤트 생성모듈; 및 단방향 축(Axis)모션 이벤트정보, 양방향 축(Axis)모션 이벤트정보, 단방향 기울기(Tilt)모션 이벤트정보 또는 양방향 기울기(Tilt)모션 이벤트정보 중에 어느 하나의 정보를 인가받고, 인가받은 이벤트정보가 화면전환 상태, 제1 커서운용 상태 및 제2 커서운용 상태 중에 어느 상태인지 여부를 판단하여 각각 화면 디스플레이정보, 제1 커서 디스플레이정보 또는 제2 커서 디스플레이정보를 생성하는 디스플레이 제어모듈;을 포함한다.

Description

휴대기기의 ＵＩ를 위한 모션 센서 기반의 소프트웨어 엔진 및 그 제어 방법{THE UI FOR MOBILE DEVICES BASED ON MOTION SENSORS AND A CONTROL METHOD SOFTWARE ENGINE}
본 발명은 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진 및 그 제어 방법에 관한 것으로서, 더욱 상세하게는 사용자에 의한 휴대용 단말기의 위치 및 동작에 따라 사용자 인터페이스 메뉴를 제어하거나 콘텐츠를 제어하는 기술에 관한 것이다.
종래 휴대용 단말기의 사용자 인터페이스는 사용자가 특정한 기능키를 이용하여 사용자가 이용하려는 메뉴를 선택하는 메뉴 방식의 사용자 인터페이스가 널리 사용되고 있다. 이러한 메뉴 방식의 사용자 인터페이스는 특정한 기능키를 이용한 조작으로만 이용이 가능하기 때문에 사용자 인터페이스를 단순한 나열식으로 구성할 수밖에 없게 되며, 이와 같은 단순한 나열식 구조로 인하여 사용자 인터페이스의 확장성이나 직관성이 떨어지는 문제점이 발생한다.
도 1은 종래의 사용자 인터페이스 메뉴를 제어하는 동작을 나타낸 도면이다. 이러한 특정한 기능키에 의존한 메뉴 방식을 보완하기 위하여 사용자가 손 또는 터치펜을 통해 화면을 직접 터치하여 사용자 인터페이스를 조작하는 도 1과 같은 터치스크린 방식이 이용되고 있으며, 이와 같은 터치스크린 방식은 기존의 버튼 방식에 비해 메뉴 선택이나 조작에 대한 확장성이 향상되어 사용자 인터페이스의 확장성을 향상시키는데 도움이 된다.
하지만, 이러한 터치스크린 방식은 사용자가 터치할 수 있는 화면 공간이 한정되어 있기 때문에 사용자가 메뉴를 선택하거나 조작하기 불편하고 인식 오류율이 높다는 문제가 있다.
또한, 이러한 터치스크린 방식은 한정된 화면 공간에 메뉴 선택하거나 조작을 위한 메뉴를 구현하기 때문에 휴대용 단말기의 특성상 협소한 화면 공간을 더욱더 협소하게 하여 사용자가 볼 수 있는 문자나 정보량이 줄어드는 문제점이 있고, 특히 사용자가 화면에 손이나 터치펜을 이용하여 화면의 줌인, 줌아웃, 화면 이동, 화면 회전을 조작할 때 도 1의 'A'부분처럼 손으로 화면 대부분을 가리게 되는 문제점이 있다.
또한, 종래의 인터페이스 메뉴 또는 콘텐츠를 제어하는 방식은 센서에서 측정된 데이터를 이용하여 이미지를 처리하는 이미지 처리부와 처리된 인터페이스 메뉴 또는 콘텐츠에 반영하여 출력하는 플레이어가 일체화된 구성이므로, 추가로 설치한 다른 플레이어가 처리부를 공유할 수 없기 때문에 각각의 플레이어마다 이미지 처리부를 구성해야 하는 비효율성이 발생한다.
본 발명의 목적은, 버튼과 화면상의 아이콘을 터치하여 top-down 형태로 화면 또는 메뉴를 전환하는 기존의 UI구동 방식을 탈피하여, 기기 내의 지자계 센서와 가속도 센서를 이용하여 기기의 움직임에 따라 휴대폰의 메뉴와 컨텐츠를 핸들링하는 새로운 방식의 사용자 인터페이스 구동 방식을 제공함에 있다.
이러한 기술적 과제를 달성하기 위한 본 발명의 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진은, 지자계 센서, 가속 센서, 자이로 센서를 통해 위치와 동작을 감지하여 운동 상태 변화를 측정하고, 측정된 X, Y, Z 축의 로우(RAW) 데이터, 방위각, 롤(Roll) 및 피치(Pitch)에 대한 정보가 포함된 모션 감지 결과를 산출하여 모션 센싱정보를 생성하는 센싱모듈; 모션 센싱정보를 인가받아 모션의 센싱에 따른 변화량을 추출하여 휴대기기에서 발생한 해당 모션을 인식하되, 추출된 변화량이 축방향 움직임 데이터인 경우, 축(Axis)모션 인식정보를 생성하고, 추출된 변화량이 회전 기울기 데이터인 경우, 기울기(Tilt)모션 인식정보를 생성하는 모션데이터 필터링모듈; 축(Axis)모션 인식정보 또는 기울기(Tilt)모션 인식정보를 인가받아 각각 단방향 모션인지 회귀 모션인지 여부를 판단하여, 축(Axis)모션 인식정보가 단방향인 경우, 해당 가속도를 산출하여 단방향 축(Axis)모션 이벤트 정보를 생성하고, 축(Axis)모션 인식정보가 양방향인 경우, 해당 가속도를 산출하여 양방향 축(Axis)모션 이벤트 정보를 생성하며, 판단결과, 기울기(Tilt)모션 인식정보가 단방향 모션인 경우, 해당 변위각을 산출하여 단방향 기울기(Tilt)모션 이벤트정보를 생성하고, 기울기(Tilt)모션 인식정보가 양방향 모션인 경우, 해당 변위각을 산출하여 양방향 기울기(Tilt)모션 이벤트정보를 생성하는 모션이벤트 생성모듈; 및 단방향 축(Axis)모션 이벤트정보, 양방향 축(Axis)모션 이벤트정보, 단방향 기울기(Tilt)모션 이벤트정보 또는 양방향 기울기(Tilt)모션 이벤트정보 중에 어느 하나의 정보를 인가받고, 인가받은 이벤트정보가 화면전환 상태, 제1 커서운용 상태 및 제2 커서운용 상태 중에 어느 상태인지 여부를 판단하여 각각 화면 디스플레이정보, 제1 커서 디스플레이정보 또는 제2 커서 디스플레이정보를 생성하는 디스플레이 제어모듈;을 포함한다.
또한, 상술한 시스템을 기반으로 하는 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진 제어 방법은, 센싱모듈이 X, Y, Z 축의 로우(RAW) 데이터, 방위각, 롤(Roll), 피치(Pitch)에 대한 정보가 포함된 모션 감지 결과를 산출하여 모션 센싱정보를 생성하는 (a) 단계; 모션데이터 필터링모듈이 모션 센싱정보를 인가받아 모션의 센싱에 따른 변화량을 추출하여 추출된 변화량이 축방향 움직임 데이터인지 회전 기울기 데이터인지 여부를 판단하는 (b) 단계; (b) 단계의 판단결과, 추출된 변화량이 축방향 움직임 데이터인 경우, 모션데이터 필터링모듈이 축(Axis)모션 인식정보를 생성하는 (c) 단계; 모션이벤트 생성모듈이 축(Axis)모션 인식정보가 단방향 모션인지 회귀 모션인지 여부를 확인하는 (d) 단계; (d) 단계의 확인결과, 축(Axis)모션 인식정보가 단방향 모션인 경우, 모션이벤트 생성모듈이 해당 정보에 대한 가속도를 산출하여 단방향 축(Axis)모션 이벤트정보를 생성하고, 축(Axis)모션 인식정보가 양방향 모션인 경우, 양방향 축(Axis)모션 이벤트정보를 생성하는 (e) 단계; 디스플레이 제어모듈이 단방향 축(Axis)모션 이벤트정보 또는 양방향 축(Axis)모션 이벤트정보를 인가받아 화면전환 상태, 제1 커서운용 상태 및 제2 커서운용 상태 중에 어느 상태인지 여부를 판단하는 (f) 단계; (f) 단계의 판단결과 화면전환 상태인 경우, 디스플레이 제어모듈이 단방향 축(Axis)모션 이벤트정보 또는 양방향 축(Axis)모션 이벤트정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 화면 디스플레이정보를 생성하고, 제1 커서운용 상태인 경우, 단방향 축(Axis)모션 이벤트정보 또는 양방향 축(Axis)모션 이벤트정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제1 커서 디스플레이정보를 생성하며, 제2 커서운용 상태인 경우, 단방향 축(Axis)모션 이벤트정보 또는 양방향 축(Axis)모션 이벤트정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제2 커서 디스플레이정보를 생성하는 (g) 단계; 및 디스플레이 출력모듈 화면 디스플레이정보, 제1 커서 디스플레이정보 또는 제2 커서 디스플레이정보 중에 (f) 단계의 판단결과와 대응하는 어느 하나의 정보를 출력하는 (h) 단계;를 포함한다.
그리고, 상술한 시스템을 기반으로 하는 본 발명의 또 다른 실시예에 따른 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진 제어 방법은, 센싱모듈이 X, Y, Z 축의 로우(RAW) 데이터, 방위각, 롤(Roll), 피치(Pitch)에 대한 정보가 포함된 모션 감지 결과를 산출하여 모션 센싱정보를 생성하는 (a) 단계; 모션데이터 필터링모듈이 모션 센싱정보를 인가받아 모션의 센싱에 따른 변화량을 추출하여 추출된 변화량이 축방향 움직임 데이터인지 회전 기울기 데이터인지 여부를 판단하는 (b) 단계; (b) 단계의 판단결과, 추출된 변화량이 회전 기울기 데이터인 경우, 모션데이터 필터링모듈이 기울기(Tilt)모션 인식정보를 생성하는 (c) 단계; 모션이벤트 생성모듈이 인가받은 기울기(Tilt)모션 인식정보가 단방향 모션인지 회귀 모션인지 여부를 확인하는 (d) 단계; (c) 단계의 확인결과 기울기(Tilt)모션 인식정보가 단방향 모션인 경우, 모션이벤트 생성모듈이 해당 정보에 대한 변위각을 산출하여 단방향 기울기(Tilt)모션 이벤트정보를 생성하고, 기울기(Tilt)모션 인식정보가 양방향 모션인 경우, 양방향 기울기(Tilt)모션 이벤트정보를 생성하는 (e) 단계; 디스플레이 제어모듈이 단방향 기울기(Tilt)모션 이벤트정보 또는 양방향 기울기(Tilt)모션 이벤트정보를 인가받아 화면전환 상태, 제1 커서운용 상태 및 제2 커서운용 상태 중에 어느 상태인지 여부를 판단하는 (f) 단계; (e) 단계의 판단결과 화면전환 상태인 경우, 디스플레이 제어모듈이 단방향 기울기(Tilt)모션 이벤트정보 또는 양방향 기울기(Tilt)모션 이벤트정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 화면 디스플레이정보를 생성하고, 제1 커서운용 상태인 경우, 단방향 기울기(Tilt)모션 이벤트정보 또는 양방향 기울기(Tilt)모션 이벤트정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제1 커서 디스플레이정보를 생성하며, 제2 커서운용 상태인 경우, 단방향 기울기(Tilt)모션 이벤트정보 또는 양방향 기울기(Tilt)모션 이벤트정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제2 커서 디스플레이정보를 생성하는 (g) 단계; 및 디스플레이 출력모듈이 화면 디스플레이정보, 제1 커서 디스플레이정보 또는 제2 커서 디스플레이정보 중에 (g) 단계의 판단결과와 대응하는 어느 하나의 정보를 출력하는 (h) 단계;를 포함한다.
상기와 같은 본 발명에 따르면, 사용자가 휴대용 단말기의 버튼을 누르거나 화면을 터치하는 별도의 과정없이 휴대용 단말기를 움직여 사용자가 원하는 사용자 인터페이스 메뉴를 선택할 수 있는 효과가 있고, 사용자가 콘텐츠를 이용하는 경우 사용자가 콘텐츠를 원하는 각도나 비율로 볼 수 있도록 하는 효과가 있다.
또한, 본 발명에 따르면 사용자가 단순히 휴대용 단말기에 움직임을 가하여 사용자 인터페이스 메뉴나 콘텐츠를 조작할 수 있기 때문에 조작키를 누르는 방식과 비교하여 별도의 조작키를 누르는 과정에 따른 조작의 번거로움을 줄이는 효과가 있고, 스크린터치 방식에 비해 사용자가 사용자 인터페이스 메뉴 또는 콘텐츠를 제어하는 과정에서 화면을 가리는 불편함을 줄이는 효과가 있다.
또한, 본 발명에 따르면 휴대용 단말기의 구조상 한정된 버튼 입력 방법과 한정된 화면 내에서 조작해야하는 기존의 방식을 휴대용 단말기의 움직임에 따른 모션을 통해 제어하도록 함으로써, 보다 간결하고 다양한 방식의 사용자 인터페이스 제어가 가능한 효과가 있다.
또한, 본 발명에 따르면 휴대용 단말기의 움직임에 따라 실시간으로 센싱된 모션 데이터(위치값 및 동작값)을 API(Application Programming Interface) 형태의 모션 벡터로 제공함으로써, 사용자 인터페이스와 어플리케이션이 쉽게 사용할 수 있도록 구현성과 직관성을 향상시키는 효과가 있다.
또한, 본 발명에 따르면 API 형태로 제공되는 모션 벡터에 따라 실행된 콘텐츠를 조작하기 위한 명령을 생성하고, 콘텐츠를 조작하기 위한 명령을 실행될 콘텐츠와의 적용에 필요한 이미지를 생성하며, 생성된 이미지를 콘텐츠에 적용하는 각각의 구성이 상호 독립적으로 동작하도록 함으로써, 시스템이 느려지거나 이상 작동하는 것을 최소화할 수 있는 효과가 있다.
또한, 본 발명에 따르면 각각의 모듈이 독립적이기 때문에 써드파티에서도 각각의 독립된 모듈을 이용할 수 있어 프로그램 설계의 효율성이 증대되는 효과가 있다.
도 1은 종래의 사용자 인터페이스 메뉴를 제어하는 동작을 나타낸 도면.
도 2는 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진을 도시한 구성도.
도 3은 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진이 휴대기기의 모션 상태에 따라 생성하는 단방향 축(Axis)모션 인식정보 및 양방향 축(Axis)모션 인식정보를 도시한 예시도.
도 4는 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진이 휴대기기의 모션 상태에 따라 생성하는 단방향 기울기(Tilt)모션 인식정보 및 양방향 기울기(Tilt)모션 인식정보를 도시한 예시도.
도 5는 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진이 휴대기기의 모션 상태에 따라 생성하는 노킹(Knocking)모션 인식정보 및 흔들기(Shaking)모션 인식정보를 도시한 예시도.
도 6은 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진의 단방향 축(Axis)모션 인식정보, 양방향 축(Axis)모션 인식정보, 단방향 기울기(Tilt)모션 인식정보, 양방향 기울기(Tilt)모션 인식정보, 노킹(Knocking)모션 인식정보 및 흔들기(Shaking)모션 인식정보들과 대응하는 벡터 데이터 값을 도시한 예시도.
도 7은 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진의 구성요소들 간의 관계를 도시한 도면.
도 8은 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진 제어 방법을 도시한 순서도.
도 9는 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진 제어 방법의 제S5-1단계의 세부과정을 도시한 순서도.
도 10은 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진 제어 방법의 제S9-1단계의 세부과정을 도시한 순서도.
도 11은 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 기반의 벡터용 소프트웨어 엔진 제어 방법의 제S5-1단계 또는 제S9-1단계에 따라 생성된 화면 디스플레이정보가 출력되는 것을 도시한 예시도.
도 12는 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진 제어 방법의 제S5-2단계의 세부과정을 도시한 순서도.
도 13은 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진 제어 방법의 제S9-2단계의 세부과정을 도시한 순서도.
도 14는 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 기반의 벡터용 소프트웨어 엔진 제어 방법의 제S5-2단계 또는 제S9-2단계에 따라 생성된 제1 커서 디스플레이정보가 출력되는 것을 도시한 예시도.
도 15는 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진 제어 방법의 제S5-3단계의 세부과정을 도시한 순서도.
도 16은 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진 제어 방법의 제S9-3단계의 세부과정을 도시한 순서도.
도 17은 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 기반의 벡터용 소프트웨어 엔진 제어 방법의 제S5-3단계 또는 제S9-3단계에 따라 생성된 제2 커서 디스플레이정보가 출력되는 것을 도시한 예시도.
도 18은 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 기반의 벡터용 소프트웨어 엔진 제어 방법의 제S1단계 이후에 수행되는 또 다른 과정을 도시한 순서도.
본 발명의 구체적인 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다. 또한, 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.
도 2 내지 도 7에 도시된 바와 같이 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진(100)은 센서모듈(110), 모션데이터 필터링모듈(120), 모션이벤트 생성모듈(130), 디스플레이 제어모듈(140) 및 디스플레이 출력모듈(150)을 포함하여 구성된다.
구체적으로, 센싱모듈(110)은 지자계 센서(111), 가속 센서(112), 자이로 센서(113)를 통해 위치와 동작을 감지하여 운동 상태 변화를 측정하고, 측정된 X, Y, Z 축의 로우(RAW) 데이터, 방위각, 롤(Roll) 및 피치(Pitch)에 대한 정보가 포함된 모션 감지 결과를 산출하여 모션 센싱정보를 생성한다.
또한, 모션데이터 필터링모듈(120)은 센싱모듈(110)로부터 모션 센싱정보를 인가받아 모션의 센싱에 따른 변화량을 추출하여 휴대기기에서 발생한 해당 모션을 인식하되, 추출된 변화량이 축방향 움직임 데이터인 경우, 축(Axis)모션 인식정보를 생성하고, 추출된 변화량이 회전 기울기 데이터인 경우, 기울기(Tilt)모션 인식정보를 생성하며, 추출된 변화량이 휴대기기를 2회 내지 3회 두드리는 움직임인 경우, 노킹(Knocking)모션 인식정보를 생성하고, 추출된 변화량이 좌우로 2회 내지 3회 흔드는 움직임 데이터인 경우, 흔들기(Shaking)모션 인식정보를 생성한다.
또한, 모션이벤트 생성모듈(130)은 모션데이터 필터링모듈(120)로부터 축(Axis)모션 인식정보 또는 기울기(Tilt)모션 인식정보를 인가받아 각각 단방향 모션인지 회귀 모션인지 여부를 판단하여, 축(Axis)모션 인식정보가 단방향인 경우, 해당 가속도를 산출하여 단방향 축(Axis)모션 이벤트 정보를 생성하고, 축(Axis)모션 인식정보가 양방향인 경우, 해당 가속도를 산출하여 양방향 축(Axis)모션 이벤트 정보를 생성한다.
또한, 모션이벤트 생성모듈(130)은 상기 판단결과, 기울기(Tilt)모션 인식정보가 단방향 모션인 경우, 해당 변위각을 산출하여 단방향 기울기(Tilt)모션 이벤트정보를 생성하고, 기울기(Tilt)모션 인식정보가 양방향 모션인 경우, 해당 변위각을 산출하여 양방향 기울기(Tilt)모션 이벤트정보를 생성한다.
또한, 모션이벤트 생성모듈(130)은 모션데이터 필터링모듈(120)로부터 노킹(Knocking)모션 인식정보를 인가받은 경우 아이콘을 클릭 또는 선택하도록 하는 노킹(Knocking)모션 이벤트정보를 생성하고, 모션데이터 필터링모듈(120)로부터 흔들기(Shaking)모션 이식정보를 인가받은 경우 휴대기기의 모드를 변환(삭제, 리턴 또는 종료)하는 흔들기(Shaking)모션 이벤트정보를 생성한다.
여기서, 단방향 축(Axis)모션 이벤트 정보, 양방향 축(Axis)모션 이벤트 정보, 단방향 기울기(Tilt)모션 이벤트정보, 양방향 기울기(Tilt)모션 이벤트정보, 노킹(Knocking)모션 이벤트정보 및 흔들기(Shaking)모션 이벤트정보는 산출되는 변위각 또는 가속도에 따라 기 설정된 화면을 디스플레이 하기 위한 정보로 이해하는 것이 바람직하다.
구체적으로 도 3을 참조하여 본 발명에 따른 단방향 축(Axis)모션 인식정보 및 양방향 축(Axis)모션 인식정보의 데이터 값에 대해 살피면 아래와 같다.
먼저, 단방향 축(Axis)모션 인식정보는 중심좌표로부터 단일방향으로의 모션이후 정지되는 (1) -X축 싱글값(Move(s):Left), (2) +X축 싱글값(Move(s):Right), (3) -Y축 싱글값(Move(s):Down), (4) +Y축 싱글값(Move(s):Up), (5) -X-Y축 싱글값(Move(s)LeftDown), (6) -X+Y축 싱글값(Move(s):LeftUp), (7) +X-Y축 싱글값(Move(s)RightDown), (8) +X축+Y축 싱글값(Move(s):RightUp), (9) -Z축 싱글값(Move(s):FaceDown) 및 (10) +Z축 싱글값(Move(s):FaceUp) 중에 어느 하나의 값을 포함한다.
그리고, 양방향 축(Axis)모션 인식정보는 중심좌표로부터 단일방향으로의 모션이후 중심좌표로 회기하는, (11) -X축 리턴값(Move(r):Left), (12) +X축 리턴값(Move(r):Right), (13) -Y축 리턴값(Move(r):Down), (14) +Y축 리턴값(Move(r):Up), (15) -X-Y축 리턴값(Move(r)LeftDown), (16) -X+Y축 리턴값(Move(r)LeftUp), (17) +X-Y축 리턴값(Move(r)RightDown), (18) +X축+Y축 리턴값(Move(r)RightUp), (19) -Z축 리턴값(Move(r):FaceDown) 및 (20) +Z축 리턴값(Move(r):FaceUp) 중에 어느 하나의 값을 포함한다.
또한, 도 4를 참조하여 본 발명에 따라 생성되는 단방향 기울기(Tilt)모션 인식정보 및 양방향 기울기(Tilt)모션 인식정보의 데이터 값에 대해 살피면 아래와 같다.
먼저, 단방향 기울기(Tilt)모션 인식정보는 중심좌표로부터 사용자 얼굴을 향해 단일방향으로 회전하는 모션이후 정지하는 (1) -X축 Roll 싱글값(Roll(s):Left), (2) +X축 Roll 싱글값(Roll(s):Right), (3) -Y축 Pitch 싱글값(Pitch(s):Down) 및 (4) +Y축 Pitch 싱글값(Pitch(s):Up) 중에 어느 하나의 값을 포함한다.
또한, 단방향 기울기(Tilt)모션 인식정보는 중심좌표로부터 좌측 상단의 모서리와 우측 하단의 모서리를 기준으로 사용자 얼굴을 향해 단일방향으로 회전하는 모션이후 정지하는 (5) -X축 Edge 싱글값(Edge(s):Left) 및 (6) +X축 Edge 싱글값(Edge(s):Right) 중에 어느 하나의 값을 포함한다.
그리고, 단방향 기울기(Tilt)모션 인식정보는 중심좌표로부터 좌우 한방향으로 회전하는 모션이후 정지하는 (7) -X축 Yaw 싱글값(Yaw(s):Left) 및 (8) +X축 Yaw 싱글값(Yaw(s):Right) 중에 어느 하나의 값을 포함한다.
한편, 양방향 기울기(Tilt)모션 인식정보는 중심좌표로부터 단일방향으로 회전하는 모션이후 중심좌표로 회기하는 (9) -X축 Roll 리턴값(Roll(r):Left), (10) +X축 Roll 리턴값(Roll(r):Right), (11) -Y축 Pitch 리턴값(Pitch(r):Down) 및 (12) +Y축 Pitch 리턴값(Pitch(r):Up) 중에 어느 하나의 값을 포함한다.
또한, 양방향 기울기(Tilt)모션 인식정보는 중심좌표로부터 좌측 상단의 모서리와 우측 하단의 모서리를 기준으로 사용자 얼굴을 향해 단일방향으로 회전하는 모션이후 중심좌표로 회기하는 (13) -X축 Edge 리턴값(Edge(r):Left) 및 (14) +X축 Edge 리턴값(Edge(r):Right) 중에 어느 하나의 값을 포함한다.
그리고, 양방향 기울기(Tilt)모션 인식정보는 중심좌표로부터 좌우 한방향으로 회전하는 모션이후 중심좌표로 회기하는 (15) -X축 Yaw 리턴값(Yaw(r):Left) 및 (16) +X축 Yaw 리턴값(Yaw(r):Right) 중에 어느 하나의 값을 포함한다.
또한, 도 5에 도시된 바와 같이 본 발명에 따른 노킹(Knocking)모션 인식정보는 아이콘을 클릭 또는 선택하도록 하는 Knocking(r):Touch 값을 포함하고, 흔들기(Shaking)모션 인식정보는 휴대기기의 모드를 변환(삭제, 리턴 또는 종료)하는 Shaking(r):Double 값을 포함한다.
아울러, 본 발명에 따른 단방향 축(Axis)모션 인식정보, 양방향 축(Axis)모션 인식정보, 단방향 기울기(Tilt)모션 인식정보, 양방향 기울기(Tilt)모션 인식정보, 노킹(Knocking)모션 인식정보 및 흔들기(Shaking)모션 인식정보에 포함되는 값에 표시된 '-' 및 '+'는 기 설정된 중심좌표를 기준으로 3축의 좌표를 구분하기 위한 방향값으로 이해함이 바람직하나, 본 발명이 이에 국한되는 것은 아니다.
또한, 본 발명에 따른 단방향 축(Axis)모션 인식정보, 양방향 축(Axis)모션 인식정보, 단방향 기울기(Tilt)모션 인식정보 및 양방향 기울기(Tilt)모션 인식정보는 도 6의 (a)에 도시된 바와 같이 센싱된 모션 데이터를 도 6의 (b)에 도시된 바와 같이 API 형태의 모션 벡터로 생성하여 실시간 제공함으로써, 사용자 인터페이스와 어플리케이션이 쉽게 사용 할 수 있도록 구현성과 직관성을 향상시킨다.
한편, 디스플레이 제어모듈(140)은 도 7에 도시된 바와 같이, 모션이벤트 생성모듈(130)로부터 단방향 축(Axis)모션 이벤트정보, 양방향 축(Axis)모션 이벤트정보, 단방향 기울기(Tilt)모션 이벤트정보 또는 양방향 기울기(Tilt)모션 이벤트정보 중에 어느 하나의 정보를 인가받고, 인가받은 이벤트정보가 화면전환 상태, 제1 커서운용 상태 및 제2 커서운용 상태 중에 어느 상태인지 여부를 판단한다.
상기 판단결과 화면전환 상태인 경우, 디스플레이 제어모듈(140)이 모션이벤트 생성모듈(130)로부터 인가받은 모션 인식정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 화면 디스플레이정보를 생성하여 디스플레이 출력모듈(150)로 인가하고, 디스플레이 출력모듈(150)이 인가받은 화면 디스플레이정보를 출력한다.
또한, 상기 판단결과 제1 커서운용 상태인 경우, 디스플레이 제어모듈(140)이 모션이벤트 생성모듈(130)로부터 인가받은 모션 인식정보에 포함된 값과 대응하도록 기 설정된 제1 커서이동 이미지를 출력하는 제1 커서 디스플레이정보를 생성하여 디스플레이 출력모듈(150)로 인가하고, 디스플레이 출력모듈(150)이 인가받은 제1 커서 디스플레이정보를 출력한다.
그리고, 상기 판단결과 제2 커서운용 상태인 경우, 디스플레이 제어모듈(140)이 모션이벤트 생성모듈(130)로부터 인가받은 모션 인식정보에 포함된 값과 대응하도록 기 설정된 제2 커서이동 이미지를 출력하는 제2 커서 디스플레이정보를 생성하여 디스플레이 출력모듈(150)로 인가하고, 디스플레이 출력모듈(150)이 인가받은 제2 커서 디스플레이정보를 출력한다.
아울러, 디스플레이 제어모듈(140)은 모션이벤트 생성모듈(130)로부터 노킹(Knocking)모션 이벤트정보를 인가받아 휴대기기상의 커서에 위치한 아이콘을 클릭 또는 선택한 이후화면을 출력하는 실행 디스플레이정보를 생성하여 디스플레이 출력모듈(150)로 인가하고, 디스플레이 출력모듈(150)이 인가받은 실행 디스플레이정보를 출력한다.
또한, 디스플레이 제어모듈(140)은 모션이벤트 생성모듈(130)로부터 흔들기(Shaking)모션 이벤트정보를 인가받아 휴대기기상에 디스플레이되던 화면의 모드(삭제, 리턴 또는 종료)를 변경하여 출력하는 모드변경 디스플레이정보를 생성하고, 디스플레이 출력모듈(150)이 인가받은 실행 디스플레이정보를 출력한다.
이하, 도 8을 참조하여 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진 제어 방법에 대해 살피면 아래와 같다.
먼저, 센싱모듈(110)이 X, Y, Z 축의 로우(RAW) 데이터, 방위각, 롤(Roll), 피치(Pitch)에 대한 정보가 포함된 모션 감지 결과를 산출하여 모션 센싱정보를 생성한다(S1).
이어서, 모션데이터 필터링모듈(120)이 센싱모듈(110)로부터 모션 센싱정보를 인가받아 모션의 센싱에 따른 변화량을 추출하여 추출된 변화량이 축방향 움직임 데이터인지 회전 기울기 데이터인지 여부를 판단한다(S2).
상기 제S2단계의 판단결과 추출된 변화량이 축방향 움직임 데이터인 경우, 모션데이터 필터링모듈(120)이 축(Axis)모션 인식정보를 생성한다(S2-1).
뒤이어, 모션이벤트 생성모듈(130)이 인가받은 축(Axis)모션 인식정보가 단방향 모션인지 회귀 모션인지 여부를 확인한다(S3).
상기 제S3단계의 확인결과 확인결과 축(Axis)모션 인식정보가 단방향 모션인 경우, 모션이벤트 생성모듈(130)이 해당 정보에 대한 가속도를 산출하여 단방향 축(Axis)모션 이벤트정보를 생성하고, 축(Axis)모션 인식정보가 양방향 모션인 경우, 양방향 축(Axis)모션 이벤트정보를 생성한다(S4).
이어서, 디스플레이 제어모듈(140)이 단방향 축(Axis)모션 이벤트정보 또는 양방향 축(Axis)모션 이벤트정보를 인가받아 화면전환 상태, 제1 커서운용 상태 및 제2 커서운용 상태 중에 어느 상태인지 여부를 판단한다(S5).
제S5단계의 판단결과 화면전환 상태인 경우, 디스플레이 제어모듈(140)이 단방향 축(Axis)모션 이벤트정보 또는 양방향 축(Axis)모션 이벤트정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 화면 디스플레이정보를 생성한다(S5-1).
제S5단계의 판단결과 제1 커서운용 상태인 경우, 디스플레이 제어모듈(140)이 단방향 축(Axis)모션 이벤트정보 또는 양방향 축(Axis)모션 이벤트정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제1 커서 디스플레이정보를 생성한다(S5-2).
제S5단계의 판단결과 제2 커서운용 상태인 경우, 디스플레이 제어모듈(140)이 단방향 축(Axis)모션 이벤트정보 또는 양방향 축(Axis)모션 이벤트정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제2 커서 디스플레이정보를 생성한다(S5-3).
그리고, 디스플레이 출력모듈(150)이 인가받은 화면 디스플레이정보, 제1 커서 디스플레이정보 또는 제2 커서 디스플레이정보를 상기 제S5단계의 판단결과에 따라 생성된 어느 하나의 정보를 출력한다(S6).
한편, 상기 제S2단계의 판단결과 추출된 변화량이 회전 기울기 데이터인 경우, 모션데이터 필터링모듈(120)이 기울기(Tilt)모션 인식정보를 생성한다(S2-2).
이어서, 모션이벤트 생성모듈(130)이 인가받은 기울기(Tilt)모션 인식정보가 단방향 모션인지 회귀 모션인지 여부를 확인한다(S7).
상기 제S7단계의 확인결과 기울기(Tilt)모션 인식정보가 단방향 모션인 경우, 모션이벤트 생성모듈(130)이 해당 정보에 대한 변위각을 산출하여 단방향 기울기(Tilt)모션 이벤트정보를 생성하고, 기울기(Tilt)모션 인식정보가 양방향 모션인 경우, 양방향 기울기(Tilt)모션 이벤트정보를 생성한다(S8).
뒤이어, 디스플레이 제어모듈(140)이 단방향 기울기(Tilt)모션 이벤트정보 또는 양방향 기울기(Tilt)모션 이벤트정보를 인가받아 화면전환 상태, 제1 커서운용 상태 및 제2 커서운용 상태 중에 어느 상태인지 여부를 판단한다(S9).
제S9단계의 판단결과 화면전환 상태인 경우, 디스플레이 제어모듈(140)이 단방향 기울기(Tilt)모션 이벤트정보 또는 양방향 기울기(Tilt)모션 이벤트정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 화면 디스플레이정보를 생성한다(S9-1).
제S9단계의 판단결과 제1 커서운용 상태인 경우, 디스플레이 제어모듈(140)이 단방향 기울기(Tilt)모션 이벤트정보 또는 양방향 기울기(Tilt)모션 이벤트정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제1 커서 디스플레이정보를 생성한다(S9-2).
제S5단계의 판단결과 제2 커서운용 상태인 경우, 디스플레이 제어모듈(140)이 단방향 기울기(Tilt)모션 이벤트정보 또는 양방향 기울기(Tilt)모션 이벤트정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제2 커서 디스플레이정보를 생성한다(S9-3).
그리고, 디스플레이 출력모듈(150)이 인가받은 화면 디스플레이정보, 제1 커서 디스플레이정보 또는 제2 커서 디스플레이정보를 상기 제S9단계의 판단결과에 따라 생성된 어느 하나의 정보를 출력한다(S10).
구체적으로 도 9 및 도 11을 참조하여 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 기반의 벡터용 소프트웨어 엔진 제어 방법의 제S5-1단계의 세부과정에 대해 살피면 아래와 같다.
먼저, 디스플레이 제어모듈(140)이 인가받은 이벤트정보가 단방향 축(Axis)모션 이벤트정보인지 양방향 축(Axis)모션 이벤트정보인지 여부를 확인한다(S5-1-1).
제S5-1-1 단계의 확인 결과, 이벤트정보가 단방향 축(Axis)모션 이벤트정보인 경우, 단방향 축(Axis)모션 이벤트정보에 포함된 값인 -X축 싱글값(Move(s):Left), +X축 싱글값(Move(s):Right), -Y축 싱글값(Move(s):Down), +Y축 싱글값(Move(s):Up), -X-Y축 싱글값(Move(s)LeftDown), -X+Y축 싱글값(Move(s):LeftUp), +X-Y축 싱글값(Move(s)RightDown), +X축+Y축 싱글값(Move(s):RightUp), -Z축 싱글값(Move(s):FaceDown) 및 +Z축 싱글값(Move(s):FaceUp)들 중에 축(Axis)모션 인식정보와 대응하는 값을 추출한다(S5-1-1a).
반면에, 제S5-1-1 단계의 확인 결과, 이벤트정보가 양방향 축(Axis)모션 이벤트정보인 경우, 양방향 축(Axis)모션 이벤트정보에 포함된 값인 -X축 리턴값(Move(r):Left), +X축 리턴값(Move(r):Right), -Y축 리턴값(Move(r):Down), +Y축 리턴값(Move(r):Up), -X-Y축 리턴값(Move(r)LeftDown), -X+Y축 리턴값(Move(r):LeftUp), +X-Y축 리턴값(Move(r)RightDown), +X축+Y축 리턴값(Move(r):RightUp), -Z축 리턴값(Move(r):FaceDown) 및 +Z축 리턴값(Move(r):FaceUp)들 중에 축(Axis)모션 인식정보와 대응하는 값을 추출한다(S5-1-1b).
그리고, 디스플레이 제어모듈(140)이 추출된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 화면 디스플레이정보를 생성한다(S5-1-2).
또한, 도 10 및 도 11을 참조하여 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 기반의 벡터용 소프트웨어 엔진 제어 방법의 제S9-1단계의 세부과정에 대해 살피면 아래와 같다.
먼저, 디스플레이 제어모듈(140)이 인가받은 이벤트정보가 단방향 기울기(Tilt)모션 이벤트정보인지 양방향 기울기(Tilt)모션 이벤트정보인지 여부를 확인한다(S9-1-1).
제S9-1-1 단계의 확인 결과, 이벤트정보가 단방향 기울기(Tilt)모션 이벤트정보인 경우, 단방향 기울기(Tilt)모션 이벤트정보에 포함된 값인 -X축 Roll 싱글값(Roll(s):Left), +X축 Roll 싱글값(Roll(s):Right), -Y축 Pitch 싱글값(Pitch(s):Down) 및 +Y축 Pitch 싱글값(Pitch(s):Up) 들 중에 기울기(Tilt)모션 인식정보와 대응하는 값을 추출한다(S9-1-1a).
반면에, 제S9-1-1 단계의 확인 결과, 이벤트정보가 양방향 기울기(Tilt)모션 이벤트정보인 경우, 양방향 기울기(Tilt)모션 이벤트정보에 포함된 값인 -X축 Roll 리턴값(Roll(r):Left), +X축 Roll 리턴값(Roll(r):Right), -Y축 Pitch 리턴값(Pitch(r):Down) 및 +Y축 Pitch 리턴값(Pitch(r):Up) 들 중에 기울기(Tilt)모션 인식정보와 대응하는 값을 추출한다(S9-1-1b).
그리고, 디스플레이 제어모듈(140)이 추출된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 화면 디스플레이정보를 생성한다(S9-1-2).
즉, 상기 도 9 및 도 10에 도시된 제S5-1단계 또는 제S9-1단계에 따라 생성된 화면 디스플레이정보들은, 도 11에 도시된 바와 같이 각각의 모션 이벤트정보와 대응하도록 좌측메뉴 화면출력, 우측메뉴 화면출력, 상측메뉴 화면출력, 하측메뉴 화면출력, 이전메뉴 화면출력, 상위메뉴 화면출력, 이후메뉴 화면출력 및 출력메뉴 화면선택 중에 어느 하나의 화면이 출력된다.
한편, 도 12 및 도 14를 참조하여 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 기반의 벡터용 소프트웨어 엔진 제어 방법의 제S5-2단계의 세부과정에 대해 살피면 아래와 같다.
먼저, 디스플레이 제어모듈(140)이 인가받은 이벤트정보가 단방향 축(Axis)모션 이벤트정보인지 양방향 축(Axis)모션 이벤트정보인지 여부를 확인한다(S5-2-1).
제S5-2-1 단계의 확인 결과, 이벤트정보가 단방향 축(Axis)모션 이벤트정보인 경우, 단방향 축(Axis)모션 이벤트정보에 포함된 값인 -X축 싱글값(Move(s):Left), +X축 싱글값(Move(s):Right), -Y축 싱글값(Move(s):Down), +Y축 싱글값(Move(s):Up), -X-Y축 싱글값(Move(s)LeftDown), -X+Y축 싱글값(Move(s):LeftUp), +X-Y축 싱글값(Move(s)RightDown), +X축+Y축 싱글값(Move(s):RightUp), -Z축 싱글값(Move(s):FaceDown) 및 +Z축 싱글값(Move(s):FaceUp)들 중에 축(Axis)모션 인식정보와 대응하는 값을 추출한다(S5-2-1a).
반면에, 제S5-2-1 단계의 확인 결과, 이벤트정보가 양방향 축(Axis)모션 이벤트정보인 경우, 양방향 축(Axis)모션 이벤트정보에 포함된 값인 -X축 리턴값(Move(r):Left), +X축 리턴값(Move(r):Right), -Y축 리턴값(Move(r):Down), +Y축 리턴값(Move(r):Up), -X-Y축 리턴값(Move(r)LeftDown), -X+Y축 리턴값(Move(r):LeftUp), +X-Y축 리턴값(Move(r)RightDown), +X축+Y축 리턴값(Move(r):RightUp), -Z축 리턴값(Move(r):FaceDown) 및 +Z축 리턴값(Move(r):FaceUp)들 중에 축(Axis)모션 인식정보와 대응하는 값을 추출한다(S5-2-1b).
그리고, 디스플레이 제어모듈(140)이 추출된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제1 커서 디스플레이정보를 생성한다(S5-2-2).
또한, 도 13 및 도 14를 참조하여 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 기반의 벡터용 소프트웨어 엔진 제어 방법의 제S9-2단계의 세부과정에 대해 살피면 아래와 같다.
먼저, 디스플레이 제어모듈(140)이 인가받은 이벤트정보가 단방향 기울기(Tilt)모션 이벤트정보인지 양방향 기울기(Tilt)모션 이벤트정보인지 여부를 확인한다(S9-2-1).
제S9-2-1 단계의 확인 결과, 이벤트정보가 단방향 기울기(Tilt)모션 이벤트정보인 경우, 단방향 기울기(Tilt)모션 이벤트정보에 포함된 값인 -X축 Roll 싱글값(Roll(s):Left), +X축 Roll 싱글값(Roll(s):Right), -Y축 Pitch 싱글값(Pitch(s):Down) 및 +Y축 Pitch 싱글값(Pitch(s):Up) 들 중에 기울기(Tilt)모션 인식정보와 대응하는 값을 추출한다(S9-2-1a).
반면에, 제S9-2-1 단계의 확인 결과, 이벤트정보가 양방향 기울기(Tilt)모션 이벤트정보인 경우, 양방향 기울기(Tilt)모션 이벤트정보에 포함된 값인 -X축 Roll 리턴값(Roll(r):Left), +X축 Roll 리턴값(Roll(r):Right), -Y축 Pitch 리턴값(Pitch(r):Down) 및 +Y축 Pitch 리턴값(Pitch(r):Up) 들 중에 기울기(Tilt)모션 인식정보와 대응하는 값을 추출한다(S9-2-1b).
그리고, 디스플레이 제어모듈(140)이 추출된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제1 커서 디스플레이정보를 생성한다(S9-2-2).
즉, 상기 도 12 및 도 13에 도시된 제S5-2단계 또는 제S9-2단계에 따라 생성된 제1 커서 디스플레이정보들은, 도 14에 도시된 바와 같이 각각의 모션 이벤트정보와 대응하도록 커서그룹 좌측이동, 커서그룹 우측이동, 커서그룹 상측이동, 커서그룹 하측이동, 커서그룹 내의 커서 선택, 선택된 커서에서 이전 커서그룹으로 이동, 커서그룹 내의 커서 선택, 커서 우측으로 이동, 커서 하측으로 이동, 커서 좌측으로 이동 및 선택된 커서 실행 중에 어느 하나의 화면이 출력된다.
한편, 한편, 도 15 및 도 17을 참조하여 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 기반의 벡터용 소프트웨어 엔진 제어 방법의 제S5-3단계의 세부과정에 대해 살피면 아래와 같다.
먼저, 디스플레이 제어모듈(140)이 인가받은 이벤트정보가 단방향 축(Axis)모션 이벤트정보인지 양방향 축(Axis)모션 이벤트정보인지 여부를 확인한다(S5-3-1).
제S5-3-1 단계의 확인 결과, 이벤트정보가 단방향 축(Axis)모션 이벤트정보인 경우, 단방향 축(Axis)모션 이벤트정보에 포함된 값인 -X축 싱글값(Move(s):Left), +X축 싱글값(Move(s):Right), -Y축 싱글값(Move(s):Down), +Y축 싱글값(Move(s):Up), -X-Y축 싱글값(Move(s)LeftDown), -X+Y축 싱글값(Move(s):LeftUp), +X-Y축 싱글값(Move(s)RightDown), +X축+Y축 싱글값(Move(s):RightUp), -Z축 싱글값(Move(s):FaceDown) 및 +Z축 싱글값(Move(s):FaceUp)들 중에 축(Axis)모션 인식정보와 대응하는 값을 추출한다(S5-3-1a).
반면에, 제S5-3-1 단계의 확인 결과, 이벤트정보가 양방향 축(Axis)모션 이벤트정보인 경우, 양방향 축(Axis)모션 이벤트정보에 포함된 값인 -X축 리턴값(Move(r):Left), +X축 리턴값(Move(r):Right), -Y축 리턴값(Move(r):Down), +Y축 리턴값(Move(r):Up), -X-Y축 리턴값(Move(r)LeftDown), -X+Y축 리턴값(Move(r):LeftUp), +X-Y축 리턴값(Move(r)RightDown), +X축+Y축 리턴값(Move(r):RightUp), -Z축 리턴값(Move(r):FaceDown) 및 +Z축 리턴값(Move(r):FaceUp)들 중에 축(Axis)모션 인식정보와 대응하는 값을 추출한다(S5-3-1b).
그리고, 디스플레이 제어모듈(140)이 추출된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제2 커서 디스플레이정보를 생성한다(S5-3-2).
즉, 제2 커서 디스플레이정보는, 도 16에 도시된 바와 같이 아이콘을 가리키는 커서가 기 설정된 위치좌표 6개의 어느 하나의 위치로부터 추출된 값에 따라 6개의 어느 하나의 위치좌표에 해당하는 아이콘으로 커서를 이동시킨다.
또한, 도 16 및 도 17을 참조하여 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 기반의 벡터용 소프트웨어 엔진 제어 방법의 제S9-3단계의 세부과정에 대해 살피면 아래와 같다.
먼저, 디스플레이 제어모듈(140)이 인가받은 이벤트정보가 단방향 기울기(Tilt)모션 이벤트정보인지 양방향 기울기(Tilt)모션 이벤트정보인지 여부를 확인한다(S9-3-1).
제S9-3-1 단계의 확인 결과, 이벤트정보가 단방향 기울기(Tilt)모션 이벤트정보인 경우, 단방향 기울기(Tilt)모션 이벤트정보에 포함된 값인 -X축 Roll 싱글값(Roll(s):Left), +X축 Roll 싱글값(Roll(s):Right), -Y축 Pitch 싱글값(Pitch(s):Down) 및 +Y축 Pitch 싱글값(Pitch(s):Up) 들 중에 기울기(Tilt)모션 인식정보와 대응하는 값을 추출한다(S9-3-1a).
반면에, 제S9-3-1 단계의 확인 결과, 이벤트정보가 양방향 기울기(Tilt)모션 이벤트정보인 경우, 양방향 기울기(Tilt)모션 이벤트정보에 포함된 값인 -X축 Roll 리턴값(Roll(r):Left), +X축 Roll 리턴값(Roll(r):Right), -Y축 Pitch 리턴값(Pitch(r):Down) 및 +Y축 Pitch 리턴값(Pitch(r):Up) 들 중에 기울기(Tilt)모션 인식정보와 대응하는 값을 추출한다(S9-3-1b).
그리고, 디스플레이 제어모듈(140)이 추출된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제2 커서 디스플레이정보를 생성한다(S9-3-2).
즉, 상기 도 15 및 도 16에 도시된 제S5-3단계 또는 제S9-3단계에 따라 생성된 제2 커서 디스플레이정보들은 도 17에 도시된 바와 같이 각각의 모션 이벤트정보와 대응하도록, 아이콘을 가리키는 커서가 기 설정된 위치좌표 6개의 어느 하나의 위치로부터 추출된 값에 따라 6개의 어느 하나의 위치좌표에 해당하는 아이콘으로 커서를 이동시키며, 상위커서 좌측이동, 상위커서 우측이동, 상위커서 상측이동, 상위커서 하측이동, 하위커서 좌측이동, 하위커서 우측이동, 하위커서 상측이동, 하위커서 하측이동 및 선택된 커서 실행 중에 어느 하나의 화면이 출력된다.
또한, 도 18을 참조하여 본 발명에 따른 휴대기기의 UI를 위한 모션 센서 기반의 벡터용 소프트웨어 엔진 제어 방법의 제S1단계 이후에 수행되는 또 다른 과정에 대해 살피면 아래와 같다.
제S1 단계 이후, 모션데이터 필터링모듈(120)이 센싱정보를 인가받아 모션의 센싱에 따른 변화량을 추출하여 추출된 변화량이 휴대기기를 2회 내지 3회 두드리는 움직임인 경우 노킹(Knocking)모션 인식정보를 생성하고, 추출된 변화량이 좌우로 2회 내지 3회 흔드는 움직임 데이터인 경우 흔들기(Shaking)모션 인식정보를 생성한다(S11).
이어서, 모션이벤트 생성모듈(130)이 모션데이터 필터링모듈(120)로부터 노킹(Knocking)모션 인식정보를 인가받은 경우 아이콘을 클릭 또는 선택하도록 하는 노킹(Knocking)모션 이벤트정보를 생성하고, 흔들기(Shaking)모션 이식정보를 인가받은 경우 휴대기기의 모드를 변환(삭제, 리턴 또는 종료)하는 흔들기(Shaking)모션 이벤트정보를 생성한다(S12).
뒤이어, 디스플레이 제어모듈(140)이 모션이벤트 생성모듈(130)로부터 노킹(Knocking)모션 이벤트정보를 인가받은 경우, 휴대기기상의 커서에 위치한 아이콘을 클릭 또는 선택한 이후화면을 출력하는 실행 디스플레이정보를 생성하고, 흔들기(Shaking)모션 이벤트정보를 인가받은 경우, 휴대기기상에 디스플레이되던 화면의 모드(삭제, 리턴 또는 종료)를 변경하여 출력하는 모드변경 디스플레이정보를 생성한다(S13).
그리고, 디스플레이 출력모듈(150)이 상기 디스플레이 제어모듈(140)로부터 인가받은 실행 디스플레이정보 또는 모드변경 디스플레이정보를 출력한다(S14).
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서 그러한 모든 적절한 변경 및 수정과 균등 물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
100: 휴대기기의 UI를 위한 모션 센서 기반의 벡터용 소프트웨어 엔진
110: 센싱모듈 111: 지자계 센서
112: 가속 센서 113: 자이로 센서
120: 모션데이터 필터링모듈 130: 모션이벤트 생성모듈
140: 디스플레이 제어모듈 150: 디스플레이 출력모듈

Claims (20)

  1. 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진에 있어서,
    지자계 센서, 가속 센서, 자이로 센서를 통해 위치와 동작을 감지하여 운동 상태 변화를 측정하고, 측정된 X, Y, Z 축의 로우(RAW) 데이터, 방위각, 롤(Roll) 및 피치(Pitch)에 대한 정보가 포함된 모션 감지 결과를 산출하여 모션 센싱정보를 생성하는 센싱모듈;
    상기 모션 센싱정보를 인가받아 모션의 센싱에 따른 변화량을 추출하여 휴대기기에서 발생한 해당 모션을 인식하되, 추출된 변화량이 축방향 움직임 데이터인 경우 축(Axis)모션 인식정보를 생성하고, 추출된 변화량이 회전 기울기 데이터인 경우 기울기(Tilt)모션 인식정보를 생성하는 모션데이터 필터링모듈;
    상기 축(Axis)모션 인식정보 또는 기울기(Tilt)모션 인식정보를 인가받아 각각 단방향 모션인지 회귀 모션인지 여부를 판단하여, 축(Axis)모션 인식정보가 단방향인 경우, 해당 가속도를 산출하여 단방향 축(Axis)모션 이벤트 정보를 생성하고, 축(Axis)모션 인식정보가 양방향인 경우, 해당 가속도를 산출하여 양방향 축(Axis)모션 이벤트 정보를 생성하며, 상기 판단결과, 기울기(Tilt)모션 인식정보가 단방향 모션인 경우, 해당 변위각을 산출하여 단방향 기울기(Tilt)모션 이벤트정보를 생성하고, 기울기(Tilt)모션 인식정보가 양방향 모션인 경우, 해당 변위각을 산출하여 양방향 기울기(Tilt)모션 이벤트정보를 생성하는 모션이벤트 생성모듈; 및
    상기 단방향 축(Axis)모션 이벤트정보, 양방향 축(Axis)모션 이벤트정보, 단방향 기울기(Tilt)모션 이벤트정보 또는 양방향 기울기(Tilt)모션 이벤트정보 중에 어느 하나의 정보를 인가받고, 인가받은 이벤트정보가 화면전환 상태, 제1 커서운용 상태 및 제2 커서운용 상태 중에 어느 상태인지 여부를 판단하여 각각 화면 디스플레이정보, 제1 커서 디스플레이정보 또는 제2 커서 디스플레이정보를 생성하는 디스플레이 제어모듈;을 포함하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진.
  2. 제 1 항에 있어서,
    상기 모션 센싱정보를 인가받아 모션의 센싱에 따른 변화량을 추출하여 휴대기기에서 발생한 해당 모션을 인식하되, 추출된 변화량이 휴대기기를 2회 내지 3회 두드리는 움직임인 경우 노킹(Knocking)모션 인식정보를 생성하고, 추출된 변화량이 좌우로 2회 내지 3회 흔드는 움직임 데이터인 경우 흔들기(Shaking)모션 인식정보를 생성하는 모션데이터 필터링모듈;
    상기 모션데이터 필터링모듈로부터 노킹(Knocking)모션 인식정보를 인가받은 경우 아이콘을 클릭 또는 선택하도록 하는 노킹(Knocking)모션 이벤트정보를 생성하고, 상기 흔들기(Shaking)모션 이식정보를 인가받은 경우 휴대기기의 모드를 변환(삭제, 리턴 또는 종료)하는 흔들기(Shaking)모션 이벤트정보를 생성하는 모션이벤트 생성모듈;
    상기 모션이벤트 생성모듈로부터 노킹(Knocking)모션 인식정보를 인가받아 휴대기기상의 커서에 위치한 아이콘을 클릭 또는 선택한 이후화면을 출력하는 실행 디스플레이정보를 생성하고, 상기 흔들기(Shaking)모션 인식정보를 인가받아 휴대기기상에 디스플레이되던 화면의 모드(삭제, 리턴 또는 종료)를 변경하여 출력하는 모드변경 디스플레이정보를 생성하는 디스플레이 제어모듈; 및
    상기 디스플레이 제어모듈로부터 인가받은 실행 디스플레이정보 또는 실행 디스플레이정보를 출력하는 디스플레이 출력모듈;을 포함하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진.
  3. 상기 단방향 축(Axis)모션 인식정보는,
    중심좌표로부터 단일방향으로의 모션이후 정지되는 -X축 싱글값(Move(s):Left), +X축 싱글값(Move(s):Right), -Y축 싱글값(Move(s):Down), +Y축 싱글값(Move(s):Up), -X-Y축 싱글값(Move(s)LeftDown), -X+Y축 싱글값(Move(s):LeftUp), +X-Y축 싱글값(Move(s)RightDown), +X축+Y축 싱글값(Move(s):RightUp), -Z축 싱글값(Move(s):FaceDown) 및 +Z축 싱글값(Move(s):FaceUp) 중에 어느 하나의 값을 포함하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진.
  4. 제 1 항에 있어서,
    상기 양방향 축(Axis)모션 인식정보는,
    중심좌표로부터 단일방향으로의 모션이후 중심좌표로 회기하는, -X축 리턴값(Move(r):Left), +X축 리턴값(Move(r):Right), -Y축 리턴값(Move(r):Down), +Y축 리턴값(Move(r):Up), -X-Y축 리턴값(Move(s)LeftDown), -X+Y축 리턴값(Move(s)LeftUp), +X-Y축 리턴값(Move(s)RightDown), +X축+Y축 리턴값(Move(s)RightUp), -Z축 리턴값(Move(r):FaceDown) 및 +Z축 리턴값(Move(r):FaceUp) 중에 어느 하나의 값을 포함을 포함하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진.
  5. 제 1 항에 있어서,
    상기 단방향 기울기(Tilt)모션 인식정보는,
    중심좌표로부터 사용자 얼굴을 향해 단일방향으로 회전하는 모션이후 정지하는 -X축 Roll 싱글값(Roll(s):Left), +X축 Roll 싱글값(Roll(s):Right), -Y축 Pitch 싱글값(Pitch(s):Down) 및 +Y축 Pitch 싱글값(Pitch(s):Up) 중에 어느 하나의 값을 포함하고,
    중심좌표로부터 좌측 상단의 모서리와 우측 하단의 모서리를 기준으로 사용자 얼굴을 향해 단일방향으로 회전하는 모션이후 정지하는 -X축 Edge 싱글값(Edge(s):Left) 및 +X축 Edge 싱글값(Edge(s):Right) 중에 어느 하나의 값을 포함하며,
    중심좌표로부터 좌우 한방향으로 회전하는 모션이후 정지하는 -X축 Yaw 싱글값(Yaw(s):Left) 및 +X축 Yaw 싱글값(Yaw(s):Right) 중에 어느 하나의 값을 포함하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진.
  6. 제 1 항에 있어서,
    상기 양방향 기울기(Tilt)모션 인식정보는 중심좌표로부터 단일방향으로 회전하는 모션이후 중심좌표로 회기하는 -X축 Roll 리턴값(Roll(r):Left), +X축 Roll 리턴값(Roll(r):Right), -Y축 Pitch 리턴값(Pitch(r):Down) 및 +Y축 Pitch 리턴값(Pitch(r):Up) 중에 어느 하나의 값을 포함하고,
    중심좌표로부터 좌측 상단의 모서리와 우측 하단의 모서리를 기준으로 사용자 얼굴을 향해 단일방향으로 회전하는 모션이후 중심좌표로 회기하는 -X축 Edge 리턴값(Edge(r):Left) 및 +X축 Edge 리턴값(Edge(r):Right) 중에 어느 하나의 값을 포함하며,
    중심좌표로부터 좌우 한방향으로 회전하는 모션이후 중심좌표로 회기하는 -X축 Yaw 리턴값(Yaw(r):Left) 및 +X축 Yaw 리턴값(Yaw(r):Right) 중에 어느 하나의 값을 포함하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진.
  7. 제 1 항에 있어서,
    상기 디스플레이 제어모듈은,
    상기 이벤트정보가 화면전환 상태, 제1 커서운용 상태 및 제2 커서운용 상태 중에 어느 상태인지 여부를 판단하되,
    상기 판단결과 화면전환 상태인 경우, 상기 모션이벤트 생성모듈로부터 인가받은 모션 인식정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 화면 디스플레이정보를 생성하고, 이를 디스플레이 출력모듈로 인가하여 출력하도록 제어하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진.
  8. 제 1 항에 있어서,
    상기 디스플레이 제어모듈은,
    상기 이벤트정보가 화면전환 상태, 제1 커서운용 상태 및 제2 커서운용 상태 중에 어느 상태인지 여부를 판단하되,
    상기 판단결과 제1 커서운용 상태인 경우, 상기 모션이벤트 생성모듈로부터 인가받은 모션 인식정보에 포함된 값과 대응하도록 기 설정된 제1 커서이동 이미지를 출력하는 제1 커서 디스플레이정보를 생성하고, 이를 디스플레이 출력모듈로 인가하여 출력하도록 제어하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진.
  9. 제 1 항에 있어서,
    상기 디스플레이 제어모듈은,
    상기 이벤트정보가 화면전환 상태, 제1 커서운용 상태 및 제2 커서운용 상태 중에 어느 상태인지 여부를 판단하되,
    상기 판단결과 제2 커서운용 상태인 경우, 상기 모션이벤트 생성모듈로부터 인가받은 모션 인식정보에 포함된 값과 대응하도록 기 설정된 제2 커서이동 이미지를 출력하는 제2 커서 디스플레이정보를 생성하고, 이를 디스플레이 출력모듈로 인가하여 출력하도록 제어하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진.
  10. 제 2 항에 있어서,
    상기 노킹(Knocking)모션 인식정보는 아이콘을 클릭 또는 선택하도록 하는 Knocking(r):Touch 값을 포함하고, 흔들기(Shaking)모션 인식정보는 휴대기기의 모드를 변환(삭제, 리턴 또는 종료)하는 Shaking(r):Double 값을 포함하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진.
  11. 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진 제어 방법에 있어서,
    (a) 센싱모듈이 X, Y, Z 축의 로우(RAW) 데이터, 방위각, 롤(Roll), 피치(Pitch)에 대한 정보가 포함된 모션 감지 결과를 산출하여 모션 센싱정보를 생성하는 단계;
    (b) 모션데이터 필터링모듈이 상기 모션 센싱정보를 인가받아 모션의 센싱에 따른 변화량을 추출하여 추출된 변화량이 축방향 움직임 데이터인지 회전 기울기 데이터인지 여부를 판단하는 단계;
    (c) 상기 (b) 단계의 판단결과, 추출된 변화량이 축방향 움직임 데이터인 경우, 상기 모션데이터 필터링모듈이 축(Axis)모션 인식정보를 생성하는 단계;
    (d) 모션이벤트 생성모듈이 상기 축(Axis)모션 인식정보가 단방향 모션인지 회귀 모션인지 여부를 확인하는 단계;
    (e) 상기 (d) 단계의 확인결과, 상기 축(Axis)모션 인식정보가 단방향 모션인 경우, 상기 모션이벤트 생성모듈이 해당 정보에 대한 가속도를 산출하여 단방향 축(Axis)모션 이벤트정보를 생성하고, 상기 축(Axis)모션 인식정보가 양방향 모션인 경우, 양방향 축(Axis)모션 이벤트정보를 생성하는 단계;
    (f) 디스플레이 제어모듈이 상기 단방향 축(Axis)모션 이벤트정보 또는 양방향 축(Axis)모션 이벤트정보를 인가받아 화면전환 상태, 제1 커서운용 상태 및 제2 커서운용 상태 중에 어느 상태인지 여부를 판단하는 단계;
    (g) 상기 (f) 단계의 판단결과 화면전환 상태인 경우, 상기 디스플레이 제어모듈이 단방향 축(Axis)모션 이벤트정보 또는 양방향 축(Axis)모션 이벤트정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 화면 디스플레이정보를 생성하고, 제1 커서운용 상태인 경우, 상기 단방향 축(Axis)모션 이벤트정보 또는 양방향 축(Axis)모션 이벤트정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제1 커서 디스플레이정보를 생성하며, 제2 커서운용 상태인 경우, 상기 단방향 축(Axis)모션 이벤트정보 또는 양방향 축(Axis)모션 이벤트정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제2 커서 디스플레이정보를 생성하는 단계; 및
    (h) 디스플레이 출력모듈 상기 화면 디스플레이정보, 제1 커서 디스플레이정보 또는 제2 커서 디스플레이정보 중에 상기 (f) 단계의 판단결과와 대응하는 어느 하나의 정보를 출력하는 단계;를 포함하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진 제어 방법.
  12. 제 11 항에 있어서,
    상기 (g) 단계는,
    (g-1-1) 상기 디스플레이 제어모듈이 인가받은 이벤트정보가 단방향 축(Axis)모션 이벤트정보인지 양방향 축(Axis)모션 이벤트정보인지 여부를 확인하는 단계;
    (g-1-1a) 상기 (g-1-1) 단계의 확인결과, 이벤트정보가 단방향 축(Axis)모션 이벤트정보인 경우, 단방향 축(Axis)모션 이벤트정보에 포함된 값인 -X축 싱글값(Move(s):Left), +X축 싱글값(Move(s):Right), -Y축 싱글값(Move(s):Down), +Y축 싱글값(Move(s):Up), -X-Y축 싱글값(Move(s)LeftDown), -X+Y축 싱글값(Move(s):LeftUp), +X-Y축 싱글값(Move(s)RightDown), +X축+Y축 싱글값(Move(s):RightUp), -Z축 싱글값(Move(s):FaceDown) 및 +Z축 싱글값(Move(s):FaceUp)들 중에 축(Axis)모션 인식정보와 대응하는 값을 추출하는 단계;
    (g-1-1b) 상기 (g-1-1) 단계의 확인결과, 이벤트정보가 양방향 축(Axis)모션 이벤트정보인 경우, 양방향 축(Axis)모션 이벤트정보에 포함된 값인 -X축 리턴값(Move(r):Left), +X축 리턴값(Move(r):Right), -Y축 리턴값(Move(r):Down), +Y축 리턴값(Move(r):Up), -X-Y축 리턴값(Move(r)LeftDown), -X+Y축 리턴값(Move(r):LeftUp), +X-Y축 리턴값(Move(r)RightDown), +X축+Y축 리턴값(Move(r):RightUp), -Z축 리턴값(Move(r):FaceDown) 및 +Z축 리턴값(Move(r):FaceUp)들 중에 축(Axis)모션 인식정보와 대응하는 값을 추출하는 단계; 및
    (g-1-2) 상기 디스플레이 제어모듈이 상기 (g-1-1a) 단계 또는 (g-1-2b) 단계에서 추출된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 화면 디스플레이정보를 생성하는 단계;를 포함하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진 제어 방법.
  13. 제 11 항에 있어서,
    상기 (g) 단계는,
    (g-2-1) 상기 디스플레이 제어모듈이 인가받은 이벤트정보가 단방향 축(Axis)모션 이벤트정보인지 양방향 축(Axis)모션 이벤트정보인지 여부를 확인하는 단계;
    (g-2-1a) 상기 (g-2-1) 단계의 확인결과, 이벤트정보가 단방향 축(Axis)모션 이벤트정보인 경우, 단방향 축(Axis)모션 이벤트정보에 포함된 값인 -Z축 싱글값(Move(s):FaceDown) 및 +Z축 싱글값(Move(s):FaceUp)들 중에 축(Axis)모션 인식정보와 대응하는 값을 추출하는 단계;
    (g-2-1b) 상기 (g-2-1) 단계의 확인결과, 이벤트정보가 양방향 축(Axis)모션 이벤트정보인 경우, 양방향 축(Axis)모션 이벤트정보에 포함된 값인 -Z축 리턴값(Move(r):FaceDown) 및 +Z축 리턴값(Move(r):FaceUp)들 중에 축(Axis)모션 인식정보와 대응하는 값을 추출하는 단계; 및
    (g-2-2) 상기 디스플레이 제어모듈이 상기 (g-2-1a) 단계 또는 (g-2-2b) 단계에서 추출된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제1 커서 디스플레이정보를 생성하는 단계;를 포함하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진 제어 방법.
  14. 제 11 항에 있어서,
    상기 (g) 단계는,
    (g-3-1) 상기 디스플레이 제어모듈이 인가받은 이벤트정보가 단방향 축(Axis)모션 이벤트정보인지 양방향 축(Axis)모션 이벤트정보인지 여부를 확인하는 단계;
    (g-3-1a) 상기 (g-3-1) 단계의 확인결과, 이벤트정보가 단방향 축(Axis)모션 이벤트정보인 경우, 단방향 축(Axis)모션 이벤트정보에 포함된 값인 -X축 싱글값(Move(s):Left), +X축 싱글값(Move(s):Right), -Y축 싱글값(Move(s):Down), +Y축 싱글값(Move(s):Up), -X-Y축 싱글값(Move(s)LeftDown), -X+Y축 싱글값(Move(s):LeftUp), +X-Y축 싱글값(Move(s)RightDown), +X축+Y축 싱글값(Move(s):RightUp), -Z축 싱글값(Move(s):FaceDown) 및 +Z축 싱글값(Move(s):FaceUp)들 중에 축(Axis)모션 인식정보와 대응하는 값을 추출하는 단계;
    (g-3-1b) 상기 (g-3-1) 단계의 확인결과, 이벤트정보가 양방향 축(Axis)모션 이벤트정보인 경우, 양방향 축(Axis)모션 이벤트정보에 포함된 값인 -X축 리턴값(Move(r):Left), +X축 리턴값(Move(r):Right), -Y축 리턴값(Move(r):Down), +Y축 리턴값(Move(r):Up), -X-Y축 리턴값(Move(r)LeftDown), -X+Y축 리턴값(Move(r):LeftUp), +X-Y축 리턴값(Move(r)RightDown), +X축+Y축 리턴값(Move(r):RightUp), -Z축 리턴값(Move(r):FaceDown) 및 +Z축 리턴값(Move(r):FaceUp)들 중에 축(Axis)모션 인식정보와 대응하는 값을 추출하는 단계; 및
    (g-3-2) 상기 디스플레이 제어모듈이 상기 (g-3-1a) 단계 또는 (g-3-2b) 단계에서 추출된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제2 커서 디스플레이정보를 생성하는 단계;를 포함하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진 제어 방법.
  15. 제 11 항에 있어서,
    상기 (a) 단계 이후,
    (i) 상기 모션데이터 필터링모듈이 상기 센싱정보를 인가받아 모션의 센싱에 따른 변화량을 추출하여 추출된 변화량이 휴대기기를 2회 내지 3회 두드리는 움직임인 경우 노킹(Knocking)모션 인식정보를 생성하고, 추출된 변화량이 좌우로 2회 내지 3회 흔드는 움직임 데이터인 경우 흔들기(Shaking)모션 인식정보를 생성하는 단계;
    (j) 상기 모션이벤트 생성모듈은 모션데이터 필터링모듈로부터 노킹(Knocking)모션 인식정보를 인가받은 경우 아이콘을 클릭 또는 선택하도록 하는 노킹(Knocking)모션 이벤트정보를 생성하고, 흔들기(Shaking)모션 이식정보를 인가받은 경우 휴대기기의 모드를 변환(삭제, 리턴 또는 종료)하는 흔들기(Shaking)모션 이벤트정보를 생성하는 단계;
    (k) 상기 디스플레이 제어모듈이 상기 모션이벤트 생성모듈로부터 노킹(Knocking)모션 인식정보를 인가받은 경우, 휴대기기상의 커서에 위치한 아이콘을 클릭 또는 선택한 이후화면을 출력하는 실행 디스플레이정보를 생성하고, 흔들기(Shaking)모션 인식정보를 인가받은 경우, 휴대기기상에 디스플레이되던 화면의 모드(삭제, 리턴 또는 종료)를 변경하여 출력하는 모드변경 디스플레이정보를 생성하는 단계; 및
    (l) 상기 디스플레이 출력모듈이 상기 디스플레이 제어모듈로부터 인가받은 실행 디스플레이정보 또는 모드변경 디스플레이정보를 출력하는 단계;를 포함하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진 제어 방법.
  16. 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진 제어 방법에 있어서,
    (a) 센싱모듈이 X, Y, Z 축의 로우(RAW) 데이터, 방위각, 롤(Roll), 피치(Pitch)에 대한 정보가 포함된 모션 감지 결과를 산출하여 모션 센싱정보를 생성하는 단계;
    (b) 모션데이터 필터링모듈이 상기 모션 센싱정보를 인가받아 모션의 센싱에 따른 변화량을 추출하여 추출된 변화량이 축방향 움직임 데이터인지 회전 기울기 데이터인지 여부를 판단하는 단계;
    (c) 상기 (b) 단계의 판단결과, 추출된 변화량이 회전 기울기 데이터인 경우, 상기 모션데이터 필터링모듈이 기울기(Tilt)모션 인식정보를 생성하는 단계;
    (d) 상기 모션이벤트 생성모듈이 인가받은 기울기(Tilt)모션 인식정보가 단방향 모션인지 회귀 모션인지 여부를 확인하는 단계;
    (e) 상기 (d) 단계의 확인결과 상기 기울기(Tilt)모션 인식정보가 단방향 모션인 경우, 상기 모션이벤트 생성모듈이 해당 정보에 대한 변위각을 산출하여 단방향 기울기(Tilt)모션 이벤트정보를 생성하고, 상기 기울기(Tilt)모션 인식정보가 양방향 모션인 경우, 양방향 기울기(Tilt)모션 이벤트정보를 생성하는 단계;
    (f) 상기 디스플레이 제어모듈이 상기 단방향 기울기(Tilt)모션 이벤트정보 또는 양방향 기울기(Tilt)모션 이벤트정보를 인가받아 화면전환 상태, 제1 커서운용 상태 및 제2 커서운용 상태 중에 어느 상태인지 여부를 판단하는 단계;
    (g) 상기 (f) 단계의 판단결과 화면전환 상태인 경우, 상기 디스플레이 제어모듈이 상기 단방향 기울기(Tilt)모션 이벤트정보 또는 양방향 기울기(Tilt)모션 이벤트정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 화면 디스플레이정보를 생성하고, 제1 커서운용 상태인 경우, 상기 단방향 기울기(Tilt)모션 이벤트정보 또는 양방향 기울기(Tilt)모션 이벤트정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제1 커서 디스플레이정보를 생성하며, 제2 커서운용 상태인 경우, 상기 단방향 기울기(Tilt)모션 이벤트정보 또는 양방향 기울기(Tilt)모션 이벤트정보에 포함된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제2 커서 디스플레이정보를 생성하는 단계; 및
    (h) 상기 디스플레이 출력모듈이 상기 화면 디스플레이정보, 제1 커서 디스플레이정보 또는 제2 커서 디스플레이정보 중에 상기 (f) 단계의 판단결과와 대응하는 어느 하나의 정보를 출력하는 단계;를 포함하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진 제어 방법.
  17. 제 16항에 있어서,
    상기 (g) 단계는,
    (g-1-1) 상기 디스플레이 제어모듈이 인가받은 이벤트정보가 단방향 기울기(Tilt)모션 이벤트정보인지 양방향 기울기(Tilt)모션 이벤트정보인지 여부를 확인하는 단계;
    (g-1-1a) 상기 (g-1-1) 단계의 확인결과, 이벤트정보가 단방향 기울기(Tilt)모션 이벤트정보인 경우, 단방향 기울기(Tilt)모션 이벤트정보에 포함된 값인 -X축 Roll 싱글값(Roll(s):Left), +X축 Roll 싱글값(Roll(s):Right), -Y축 Pitch 싱글값(Pitch(s):Down) 및 +Y축 Pitch 싱글값(Pitch(s):Up) 들 중에 기울기(Tilt)모션 인식정보와 대응하는 값을 추출하는 단계;
    (g-1-1b) 상기 (g-1-1) 단계의 확인결과, 이벤트정보가 양방향 기울기(Tilt)모션 이벤트정보인 경우, 양방향 기울기(Tilt)모션 이벤트정보에 포함된 값인 -X축 Roll 리턴값(Roll(r):Left), +X축 Roll 리턴값(Roll(r):Right), -Y축 Pitch 리턴값(Pitch(r):Down) 및 +Y축 Pitch 리턴값(Pitch(r):Up) 들 중에 기울기(Tilt)모션 인식정보와 대응하는 값을 추출하는 단계; 및
    (g-1-2) 상기 디스플레이 제어모듈이 상기 (g-1-1a) 단계 또는 상기 (g-1-1b) 단계에서 추출된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 화면 디스플레이정보를 생성하는 단계;를 포함하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진 제어 방법.
  18. 제 16항에 있어서,
    상기 (g) 단계는,
    (g-2-1) 상기 디스플레이 제어모듈이 인가받은 이벤트정보가 단방향 기울기(Tilt)모션 이벤트정보인지 양방향 기울기(Tilt)모션 이벤트정보인지 여부를 확인하는 단계;
    (g-2-1a) 상기 (g-2-1) 단계의 확인결과, 이벤트정보가 단방향 기울기(Tilt)모션 이벤트정보인 경우, 단방향 기울기(Tilt)모션 이벤트정보에 포함된 값인 -X축 Roll 싱글값(Roll(s):Left), +X축 Roll 싱글값(Roll(s):Right), -Y축 Pitch 싱글값(Pitch(s):Down) 및 +Y축 Pitch 싱글값(Pitch(s):Up) 들 중에 기울기(Tilt)모션 인식정보와 대응하는 값을 추출하는 단계;
    (g-2-1b) 상기 (g-2-1) 단계의 확인결과, 이벤트정보가 양방향 기울기(Tilt)모션 이벤트정보인 경우, 양방향 기울기(Tilt)모션 이벤트정보에 포함된 값인 -X축 Roll 리턴값(Roll(r):Left), +X축 Roll 리턴값(Roll(r):Right), -Y축 Pitch 리턴값(Pitch(r):Down) 및 +Y축 Pitch 리턴값(Pitch(r):Up) 들 중에 기울기(Tilt)모션 인식정보와 대응하는 값을 추출하는 단계; 및
    (g-2-2) 상기 디스플레이 제어모듈이 상기 (g-2-1a) 단계 또는 상기 (g-2-1b) 단계에서 추출된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제1 커서 디스플레이정보를 생성하는 단계;를 포함하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진 제어 방법.
  19. 제 16항에 있어서,
    상기 (g) 단계는,
    (g-3-1) 상기 디스플레이 제어모듈이 인가받은 이벤트정보가 단방향 기울기(Tilt)모션 이벤트정보인지 양방향 기울기(Tilt)모션 이벤트정보인지 여부를 확인하는 단계;
    (g-3-1a) 상기 (g-3-1) 단계의 확인결과, 이벤트정보가 단방향 기울기(Tilt)모션 이벤트정보인 경우, 단방향 기울기(Tilt)모션 이벤트정보에 포함된 값인 -X축 Roll 싱글값(Roll(s):Left), +X축 Roll 싱글값(Roll(s):Right), -Y축 Pitch 싱글값(Pitch(s):Down) 및 +Y축 Pitch 싱글값(Pitch(s):Up) 들 중에 기울기(Tilt)모션 인식정보와 대응하는 값을 추출하는 단계;
    (g-3-1b) 상기 (g-3-1) 단계의 확인결과, 이벤트정보가 양방향 기울기(Tilt)모션 이벤트정보인 경우, 양방향 기울기(Tilt)모션 이벤트정보에 포함된 값인 -X축 Roll 리턴값(Roll(r):Left), +X축 Roll 리턴값(Roll(r):Right), -Y축 Pitch 리턴값(Pitch(r):Down) 및 +Y축 Pitch 리턴값(Pitch(r):Up) 들 중에 기울기(Tilt)모션 인식정보와 대응하는 값을 추출하는 단계; 및
    (g-3-2) 상기 디스플레이 제어모듈이 상기 (g-3-1a) 단계 또는 상기 (g-3-1b) 단계에서 추출된 값과 대응하도록 기 설정된 화면 이미지를 출력하는 제2 커서 디스플레이정보를 생성하는 단계;를 포함하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진 제어 방법.
  20. 제 16항에 있어서,
    상기 (a) 단계 이후,
    상기 (a) 단계 이후,
    (i) 상기 모션데이터 필터링모듈이 상기 센싱정보를 인가받아 모션의 센싱에 따른 변화량을 추출하여 추출된 변화량이 휴대기기를 2회 내지 3회 두드리는 움직임인 경우 노킹(Knocking)모션 인식정보를 생성하고, 추출된 변화량이 좌우로 2회 내지 3회 흔드는 움직임 데이터인 경우 흔들기(Shaking)모션 인식정보를 생성하는 단계;
    (j) 상기 모션이벤트 생성모듈은 모션데이터 필터링모듈로부터 노킹(Knocking)모션 인식정보를 인가받은 경우 아이콘을 클릭 또는 선택하도록 하는 노킹(Knocking)모션 이벤트정보를 생성하고, 흔들기(Shaking)모션 이식정보를 인가받은 경우 휴대기기의 모드를 변환(삭제, 리턴 또는 종료)하는 흔들기(Shaking)모션 이벤트정보를 생성하는 단계;
    (k) 상기 디스플레이 제어모듈이 상기 모션이벤트 생성모듈로부터 노킹(Knocking)모션 인식정보를 인가받은 경우, 휴대기기상의 커서에 위치한 아이콘을 클릭 또는 선택한 이후화면을 출력하는 실행 디스플레이정보를 생성하고, 흔들기(Shaking)모션 인식정보를 인가받은 경우, 휴대기기상에 디스플레이되던 화면의 모드(삭제, 리턴 또는 종료)를 변경하여 출력하는 모드변경 디스플레이정보를 생성하는 단계; 및
    (l) 상기 디스플레이 출력모듈이 상기 디스플레이 제어모듈로부터 인가받은 실행 디스플레이정보 또는 모드변경 디스플레이정보를 출력하는 단계;를 포함하는 것을 특징으로 하는 휴대기기의 UI를 위한 모션 센서 기반의 소프트웨어 엔진 제어 방법.
KR1020100098116A 2010-10-08 2010-10-08 휴대기기의 ｕｉ를 위한 모션 센서 제어 시스템 및 그 방법 KR101231105B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100098116A KR101231105B1 (ko) 2010-10-08 2010-10-08 휴대기기의 ｕｉ를 위한 모션 센서 제어 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100098116A KR101231105B1 (ko) 2010-10-08 2010-10-08 휴대기기의 ｕｉ를 위한 모션 센서 제어 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20120036445A true KR20120036445A (ko) 2012-04-18
KR101231105B1 KR101231105B1 (ko) 2013-02-07

Family

ID=46138032

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100098116A KR101231105B1 (ko) 2010-10-08 2010-10-08 휴대기기의 ｕｉ를 위한 모션 센서 제어 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101231105B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014075293A1 (en) * 2012-11-16 2014-05-22 Nokia Corporation Transmission of motion data
US9507439B2 (en) 2013-08-05 2016-11-29 Samsung Electronics Co., Ltd. Method of inputting user input by using mobile device, and mobile device using the method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101737829B1 (ko) * 2008-11-10 2017-05-22 삼성전자주식회사 휴대 단말기의 모션 입력 장치 및 그의 운용 방법
KR101530546B1 (ko) * 2008-11-28 2015-06-23 삼성전자주식회사 휴대 단말기의 입력 장치 및 방법
KR101537704B1 (ko) * 2009-03-26 2015-07-20 엘지전자 주식회사 이동 단말기 및 그 제어 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014075293A1 (en) * 2012-11-16 2014-05-22 Nokia Corporation Transmission of motion data
US9507439B2 (en) 2013-08-05 2016-11-29 Samsung Electronics Co., Ltd. Method of inputting user input by using mobile device, and mobile device using the method
US9916016B2 (en) 2013-08-05 2018-03-13 Samsung Electronics Co., Ltd. Method of inputting user input by using mobile device, and mobile device using the method

Also Published As

Publication number Publication date
KR101231105B1 (ko) 2013-02-07

Similar Documents

Publication Publication Date Title
US10521109B2 (en) Touch event model
US8854325B2 (en) Two-factor rotation input on a touchscreen device
US8854320B2 (en) Mobile type image display device, method for controlling the same and information memory medium
US9459704B2 (en) Method and apparatus for providing one-handed user interface in mobile device having touch screen
JP5920869B2 (ja) 入力制御装置、入力制御方法、及び入力制御プログラム
US10599317B2 (en) Information processing apparatus
EP2606416B1 (en) Highlighting of objects on a display
KR102004858B1 (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
WO2014034031A1 (ja) 情報入力装置及び情報表示方法
KR102212830B1 (ko) 휴대 단말기에서 화면을 표시하는 방법 및 장치
JP2010026638A (ja) 携帯型画像表示装置、その制御方法、プログラム及び情報記憶媒体
JP2014109866A (ja) 機器操作装置及びプログラム
EP2538308A2 (en) Motion-based control of a controllled device
KR101725253B1 (ko) 마우스 기능을 구비한 휴대용 단말기
JP2015525927A (ja) 表示装置を制御するための方法及び装置
KR101231105B1 (ko) 휴대기기의 ｕｉ를 위한 모션 센서 제어 시스템 및 그 방법
JP5756682B2 (ja) 情報処理装置
EP3433713B1 (en) Selecting first digital input behavior based on presence of a second, concurrent, input
KR20170124593A (ko) 지능형 상호작용 방법, 장비 및 시스템
AU2020270466B2 (en) Touch event model
AU2019203290B2 (en) Touch event model
KR101165388B1 (ko) 이종의 입력 장치를 이용하여 화면을 제어하는 방법 및 그 단말장치
KR20100055286A (ko) 그래픽 표시 방법 및 이를 이용한 휴대 단말기
AU2011101154B4 (en) Touch event model
AU2011101156B4 (en) Touch event model

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160127

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee