KR101322952B1 - 휴대용 단말기에서 동작인식의 처리를 관리하는 장치 및 방법 - Google Patents

휴대용 단말기에서 동작인식의 처리를 관리하는 장치 및 방법 Download PDF

Info

Publication number
KR101322952B1
KR101322952B1 KR1020120019061A KR20120019061A KR101322952B1 KR 101322952 B1 KR101322952 B1 KR 101322952B1 KR 1020120019061 A KR1020120019061 A KR 1020120019061A KR 20120019061 A KR20120019061 A KR 20120019061A KR 101322952 B1 KR101322952 B1 KR 101322952B1
Authority
KR
South Korea
Prior art keywords
application
portable terminal
sensor
event
managing
Prior art date
Application number
KR1020120019061A
Other languages
English (en)
Other versions
KR20130097423A (ko
Inventor
정우경
Original Assignee
주식회사 팬택
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 팬택 filed Critical 주식회사 팬택
Priority to KR1020120019061A priority Critical patent/KR101322952B1/ko
Priority to US13/563,717 priority patent/US20130222241A1/en
Publication of KR20130097423A publication Critical patent/KR20130097423A/ko
Application granted granted Critical
Publication of KR101322952B1 publication Critical patent/KR101322952B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

휴대용 단말기에서 동작인식의 처리를 관리하는 장치 및 방법을 제안한다. 실시 예에 따른 동작인식의 처리를 관리하는 장치는 프레임워크 계층에서 동작하는 장치로서 동작을 감지하기 위한 적어도 하나 이상의 센서로부터 센싱정보를 수신하고, 수신한 센싱정보를 이용해서 동작 이벤트를 판단하고, 포그라운드(foreground) 어플리케이션의 정보를 수신하고, 동작 이벤트를 상기 포그라운드 어플리케이션에 대응하는 실행 이벤트로 변환해서 어플리케이션 계층에서 동작 중인 포그라운드 어플리케이션으로 전달한다.

Description

휴대용 단말기에서 동작인식의 처리를 관리하는 장치 및 방법{Apparatus and method that manage processing of motion realization in portable terminal}
본 발명은 동작인식 기능을 가진 휴대용 단말기에 관한 것으로 감지된 동작인식 신호를 좀 더 일반적인 이벤트로 변환하는 방법을 제공 함으로서 좀 더 넓은 범위의 어플리케이션에서 동작 인식 기능을 사용할 수 있도록 하며, 각 어플리케이션에서 별도의 동작인식 기능을 개발해야 하는 부담을 줄이는 방법에 관한 것이다.
동작 인식 기능을 가진 휴대용 단말기는 센서를 통해 사용자에 의해 입력되는 동작을 인식하고, 인식된 동작에 대해 사전에 정의된 기능을 수행한다. 이에 따라, 사용자는 단말에 구비된 키 버튼을 직접 누르지 않고도 단말 자체에 동작을 입력함으로써 단말로 하여금 원하는 기능을 수행하도록 할 수 있다. 이와 같은 동작 인식 기능은 게임이나 애플리케이션에 활용될 수 있다.
하지만 이러한 동작 인식 기능은 동작 인식을 지원하는 특정 어플리케이션에서만 사용되었다.
따라서, 동작 인식 기능을 처리할 수 있는 특화된 전용 어플리케이션(예를 들어 이북, 게임, 뮤직 플레이어 등) 만이 동작 인식 관련 이벤트를 처리하는 형태로 설계되었다.
그 결과 다음과 같은 문제가 발생할 수 있다.
첫째, 동작 인식 기능을 고려하지 않은 어플리케이션의 경우 동작 인식을 감지하더라도 어떠한 기능도 수행되지 않음에 따라 동작인식 기능의 적용 범위가 제한적인 문제가 있다.
둘째, 각 어플리케이션 별로 동작 인식 기능을 따로 개발하여야 하므로 개발자의 부담이 커지며 호환성도 떨어지는 문제가 있다.
셋째, 각 어플리케이션 별도 따로 동작 인식 기능을 개발하므로 각 어플리케이션들의 동작 시나리오가 다름에 따라 일관성이 떨어지고 사용자의 경우 별도의 학습이 필요한 문제가 있다.
본 발명의 실시예는 휴대용 단말기에서 동작인식의 처리를 관리하는 장치 및 방법을 제공한다.
본 발명의 실시예는 동작인식 기능을 가진 휴대용 단말기에 관한 것으로 감지된 동작인식 신호를 좀 더 일반적인 이벤트로 변환하는 방법을 제공한다.
본 발명의 실시예에 따른 휴대용 단말기에서 동작인식의 처리를 관리하는 장치는, 동작을 감지하기 위한 적어도 하나 이상의 센서로부터 센싱정보를 수신하는 감지부와, 상기 감지부에서 수신한 센싱정보를 이용해서 동작 이벤트를 판단하고 포그라운드(foreground) 어플리케이션의 정보를 수신하는 판단부와, 상기 동작 이벤트를 상기 포그라운드 어플리케이션에 대응하는 실행 이벤트로 변환하는 변환부 및 상기 실행 이벤트를 상기 포그라운드 어플리케이션으로 전달하는 전달부를 포함한다.
이때, 상기 감지부, 상기 판단부, 상기 변환부 및 상기 전달부는, 프레임워크 계층(framework layer)에서 구동된다.
이때, 상기 판단부는, 어플리케이션을 관리하는 작업 관리부로 상기 포그라운드 어플리케이션의 정보를 요청하고, 상기 작업 관리부로부터 상기 포그라운드 어플리케이션의 정보를 수신할 수 있다.
이때, 상기 변환부는, 어플리케이션의 분류별로 동작 이벤트에 대응하는 실행 이벤트가 기저장된 변환 테이블을 참조해서 상기 동작 이벤트를 상기 실행 이벤트로 변환할 수 있다.
여기서, 상기 변환 테이블은, 어플리케이션의 카테고리 별로 동작 이벤트에 대응하는 실행 이벤트를 포함하고, 상기 카테고리에 분류되지 않은 어플리케이션에 대한 동작 이벤트에 대응하는 실행 이벤트를 포함할 수 있다.
한편, 상기 센서는, 카메라 센서, 적외선 센서, 자이로 센서 및 가속도 센서 중에 적어도 하나 일 수 있다.
여기서, 상기 동작 이벤트는, 상기 휴대용 단말기의 주변에 위치한 물체의 움직임을 인식한 정보 또는 상기 휴대용 단말기의 움직임을 인식한 정보일 수 있다.
한편, 디스플레이부가 활성화 되거나, 기설정된 카테고리에 포함된 어플리케이션이 실행되거나 또는 기설정된 어플리케이션이 실행되면 상기 센서를 구동시키도록 제어하는 센서 관리부를 더 포함할 수 있다.
본 발명의 실시예에 따른 휴대용 단말기에서 동작인식의 처리를 관리하는 방법은, 동작을 감지하기 위한 적어도 하나 이상의 센서로부터 센싱정보를 수신하는 단계와, 상기 센싱정보를 이용해서 동작 이벤트를 판단하는 단계와, 포그라운드(foreground) 어플리케이션의 정보를 수신하는 단계와, 상기 동작 이벤트를 상기 포그라운드 어플리케이션에 대응하는 실행 이벤트로 변환하는 단계 및 상기 실행 이벤트를 상기 포그라운드 어플리케이션으로 전달하는 단계를 포함한다.
본 발명은 동작인식 기능을 가진 휴대용 단말기에 관한 것으로 감지된 동작인식 신호를 좀 더 일반적인 이벤트로 변환하는 방법을 제공 함으로서 좀 더 넓은 범위의 어플리케이션에서 동작인식을 사용할 수 있도록 한다. 따라서, 각 어플리케이션에서 별도의 동작 인식 기능을 개발해야 하는 부담을 줄이고, 사용자는 어플 별로 동작 인식 기능을 사용하기 위한 학습을 줄일 수 있다.
도 1은 본 발명의 실시예에 따른 휴대용 단말기에서 동작인식의 처리를 관리하는 장치의 구성을 도시한 도면,
도 2는 본 발명의 실시예에 따른 휴대용 단말기에서 각 구성요소간 동작인식을 처리하기 위한 과정을 도시한 도면,
도 3은 본 발명의 실시예에 따른 휴대용 단말기의 동작인식 처리부에서 동작인식을 처리하는 과정을 도시한 흐름도,
도 4는 본 발명의 실시예에 따른 동작 인식 처리가 갤러리 어플리케이션에 적용된 예를 도시한 도면,
도 5는 본 발명의 실시예에 따라 동작 인식에 따른 동작 이벤트가 변환될 수 있는 실행 이벤트의 예를 도시한 도면 및,
도 6은 본 발명의 실시예에 따라 어플리케이션의 카테고리에 따라 동작 인식에 따른 동작 이벤트가 변환될 수 있는 실행 이벤트의 예를 도시한 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 휴대용 단말기에서 동작인식의 처리를 관리하는 장치의 구성을 도시한 도면이다.
도 1을 참조하면, 본 발명의 휴대용 단말기는 동작인식 처리부(110), 센서관리부(120), 작업 관리부(130), 센서부(140), 변환 테이블(150) 및 어플 실행부(160)를 포함할 수 있다.
센서부(140)는 동작을 감지할 수 있는 센서를 적어도 하나 포함하고, 센서관리부(120)의 제어에 따라 구동을 시작하거나 종료된다. 센서부(140)에 포함된 센서는 센싱한 센싱정보를 동작인식 처리부(110)로 제공한다. 이때, 센서는 카메라 센서, 적외선 센서, 자이로 센서 및 가속도 센서 중 적어도 하나가 될 수 있다.
센서관리부(120)는 작업 관리부(130)에서 실행되는 작업정보를 수신해서 센서의 시작 조건을 만족하면, 센서부(140)에 포함된 센서를 구동시키도록 제어한다. 이때, 센서의 시작 조건은 디스플레이부가 활성화 되거나, 기설정된 카테고리에 포함된 어플리케이션이 실행되거나 또는 기설정된 어플리케이션이 실행되는 경우 중에서 적어도 하나일 수 있다. 시작 조건의 예로는 디스플레이부가 활성화되어 홈 스크린이 활성화 된 경우, 기설정된 카테고리인 뮤직 플레이 카테고리에 포함된 뮤직 플레이 어플이 실행된 경우, 또는 기설정된 어플리케이션인 갤러리 어플이 실행된 경우 등이 가능하다.
또한, 센서관리부(120)는 센서의 종료 조건을 만족하면, 구동 중인 센서를 정지시키도록 제어한다. 이때, 센서의 종료 조건은 센서가 구동 중에 만족하는 센서의 시작 조건이 없는 경우가 될 수 있다.
작업 관리부(130)는 어플리케이션의 실행과 종료를 관리하고 어플리케이션 간의 메시지 전달도 관리한다. 안드로이드 운영체제의 휴대용 단말기에서는 액티비티 매니저(activity manager)　가 작업 관리부(130)의 기능을 수행한다.
동작인식 처리부(110)는 센서의 센싱정보를 수신해서 포그라운드 어플리케이션에서 처리 가능한 실행 이벤트로 변환한다. 이때, 동작인식 처리부(110)는 감지부(112), 판단부(114), 변환부(116) 및 전달부(118)를 포함할 수 있다.
감지부(112)는 동작을 감지하기 위한 적어도 하나 이상의 센서로부터 센싱정보를 수신한다.
판단부(114)는 감지부(112)에서 수신한 센싱정보를 이용해서 동작 이벤트를 판단하고, 포그라운드(foreground) 어플리케이션의 정보를 수신한다. 이때, 동작 이벤트는 휴대용 단말기의 주변에 위치한 물체의 움직임을 인식한 정보이거나 휴대용 단말기의 움직임을 인식한 정보 중 적어도 하나일 수 있다.
판단부(114)는 포그라운드 어플리케이션의 정보를 작업 관리부(130)로 요청해서 작업 관리부(130)로부터 수신할 수 있다.
변환부(116)는 동작 이벤트를 포그라운드 어플리케이션에 대응하는 실행 이벤트로 변환한다. 이때, 동작 이벤트에 대응하는 실행 이벤트는 아래 도 5의 예와 같을 수 있다. 도 5는 본 발명의 실시예에 따라 동작 인식에 따른 동작 이벤트가 변환될 수 있는 실행 이벤트의 예를 도시한 도면이다.
변환부(116)는 어플리케이션의 분류 별로 동작 이벤트에 대응하는 실행 이벤트가 기저장된 변환 테이블(150)을 참조해서 동작 이벤트를 상기 실행 이벤트로 변환할 수 있다.
변환 테이블(150)은 어플리케이션의 카테고리 별로 동작 이벤트에 대응하는 실행 이벤트를 포함하고, 카테고리에 분류되지 않은 어플리케이션에 대한 동작 이벤트에 대응하는 실행 이벤트를 더 포함할 수 있다. 이때, 카테고리에 분류되지 않은 어플리케이션에 대한 동작 이벤트에 대응하는 실행 이벤트는 도 5에 기재된 바와 같이 터치 스크린의 터치 이벤트(Flicking)가 될 수 있다.
도 6은 본 발명의 실시예에 따라 어플리케이션의 카테고리에 따라 동작 인식에 따른 동작 이벤트가 변환될 수 있는 실행 이벤트의 예를 도시한 도면이다.
도 6을 참조하면, 각 카테고리 별로 동작 이벤트에 대응하는 실행 이벤트가 정의되어 있음을 확인 할 수 있다. 이때, All Programs 은 카테고리로 분류되지 않은 어플리케이션을 나타낸다.
전달부(118)는 실행 이벤트를 어플 실행부(160)를 통해 실행중인 포그라운드 어플리케이션으로 전달한다.
어플 실행부(160)는 포그라운드 어플리케이션의 동작을 수행하고, 전달부(118)로부터 실행 이벤트를 수신하면 실행 이벤트를 포그라운드 어플리케이션에 제공해서 실행 이벤트가 처리되도록 한다.
도 1에서 어플 실행부(160)는 어플리케이션 계층(application layer)(180)에서 동작한다. 그리고, 동작인식 처리부(110), 센서관리부(120), 작업 관리부(130), 센서부(140) 및 변환 테이블(150)은 프레임워크 계층(framework layer)(170)에서 동작하는 것이 바람직하다.
도 2는 본 발명의 실시예에 따른 휴대용 단말기에서 각 구성요소간 동작인식을 처리하기 위한 과정을 도시한 도면이다.
도 2를 참조하면, 센서 관리부(120)는 201단계에서 작업 관리부(130)를 모니터링 하거나 또는 작업 관리부(130)로부터 수행 중인 작업정보를 수신하고, 202단계에서 수신한 작업정보를 이용해서 센서 시작 조건을 감지한다. 이때, 센서의 시작 조건은 디스플레이부가 활성화 되거나, 기설정된 카테고리에 포함된 어플리케이션이 실행되거나 또는 기설정된 어플리케이션이 실행되는 경우 중에서 적어도 하나일 수 있다. 시작 조건의 예로는 디스플레이부가 활성화되어 홈 스크린이 활성화 된 경우, 기설정된 카테고리인 뮤직 플레이 카테고리에 포함된 뮤직 플레이 어플이 실행된 경우, 또는 기설정된 어플리케이션인 갤러리 어플이 실행된 경우 등이 가능하다.
그리고, 센서 관리부(120)는 센서 시작 조건이 감지되면 203단계에서 센서부(140)로 센서 시작을 요청한다.
센서 시작을 요청 받은 센서부(140)는 204단계에서 센싱정보를 동작인식 처리부(110)로 제공한다. 이때, 센서는 카메라 센서, 적외선 센서, 자이로 센서 및 가속도 센서 중 적어도 하나가 될 수 있다. 여기서, 카메라 센서의 센싱정보는 일정기간 동안 촬영된 이미지들이고, 적외선 센서의 센싱정보는 물체의 근접 유무를 나타내는 정보이고, 자이로 센서의 센싱정보는 센서부(140)를 포함하는 단말기의 각축이 회전한 각도를 나타내는 정보이고, 가속도 센서의 센싱정보는 센서부(140)를 포함하는 단말기의 각축에 대한 중력 가속도를 나타내는 정보이다. 카메라 센서와 적외선 센서의 센싱정보로는 센서부(140)를 포함하는 단말기 외부의 물체의 이동을 감지할 수 있고, 자이로 센서 및 가속도 센서의 센싱정보로는 센서부(140)를 포함하는 단말기의 움직임을 감지할 수 있다.
센싱정보를 수신한 동작인식 처리부(110)는 205단계에서 센싱정보를 이용해서 동작 이벤트를 판단한다. 예를 들어 카메라 센서의 센싱정보를 수신한 경우 동작인식 처리부(110)는 촬영된 이미지의 프레임을 분석해서 물체가 이동을 확인하고, 확인된 물체의 이동을 동작 이벤트로 판단한다. 보다 구체적으로 동작인식 처리부(110)는 촬영 이미지 프레임의 각 픽셀의 명도에 의해 음영 영역을 추출하고 추출된 음영영역의 변화를 기반으로 물체의 이동을 확인한다. 이때, 동작인식 처리부(110)는 오류 발생을 방지하기 위해 초기에 촬영된 이미지의 전체 명도 평균값을 산출하고, 상기 산출된 평균값에서 소정 비율 이하의 명도를 가지는 픽셀을 음영 영역으로 추출할 수도 있다.
그리고, 동작인식 처리부(110)는 206단계에서 작업 관리부(130)로 포그라운드 어플리케이션의 정보를 요청하고, 207단계에서 작업 관리부(130)로부터 포그라운드 어플리케이션의 정보를 수신한다.
그리고, 동작인식 처리부(110)는 208단계에서 변환 테이블을 참조해서 동작 이벤트를 포그라운드 어플리케이션에 대응하는 실행 이벤트로 변환하고, 209단계에서 실행 이벤트를 어플 실행부(160)로 제공한다. 이때, 변환 테이블은 어플리케이션의 카테고리 별로 동작 이벤트에 대응하는 실행 이벤트를 포함하고, 카테고리에 분류되지 않은 어플리케이션에 대한 동작 이벤트에 대응하는 실행 이벤트를 더 포함할 수 있다. 이때, 카테고리에 분류되지 않은 어플리케이션에 대한 동작 이벤트에 대응하는 실행 이벤트는 도 5에 기재된 바와 같이 터치 스크린의 터치 이벤트(Flicking)가 될 수 있다. 변환 테이블은 도 5 또는 도 6과 같이 구성될 수 있다.
한편, 센서 관리부(120)는 210단계에서 작업 관리부(130)를 모니터링 하거나 또는 작업 관리부(130)로부터 수행 중이 작업정보를 수신하고, 211단계에서 수신한 작업정보를 이용해서 센서 종료 조건을 감지한다. 이때, 센서 종료 조건은 센서 시작 조건을 만족하지 않을 때가 될 수 있다. 즉, 센서 종료 조건은 디스플레이부가 꺼져서 비활성화 되거나, 센서를 시작하게 했던 어플리케이션의 실행이 종료되거나 백그라운드 어플로 변경된 경우 등이 될 수 있다.
예를 들어 센서 종료 조건은 어떤 입력도 감지도지 않은 상태가 일정시간 지속되어 디스플레이부가 비활성화 된 경우, 슬립모드 전환 입력으로 인해 디스플레이부가 비활성화 된 경우, 센서 시작 조건에 해당하는 어플인 뮤직 플레이 또는 갤러리 어플이 종료되거나 백그라운드에서 동작하는 경우 등이 될 수 있다.
그리고, 센서 관리부(120)는 센서 시작 조건이 감지되면 212단계에서 센서부(140)로 센서의 정지를 요청한다.
그러면, 휴대용 단말기에서 저장된 사진을 검색할 수 있는 갤러리 어플리케이션이 실행된 경우 동작 인식 처리의 예를 아래 도 4를 통해 설명한다.
도 4는 본 발명의 실시예에 따른 동작 인식 처리가 갤러리 어플리케이션에 적용된 예를 도시한 도면이다.
도 4를 참조하면, (a)는 갤러리 어플리케이션이 실행되어 사진이 디스플레이된 상태를 도시한 도면이다. (b)는 갤러리 어플리케이션에 의해 출력되는 사진이 사용자의 손의 동작에 따라 변경되는 것을 도시한 도면이다. (c)는 갤러리 어플리케이션에서 사용자의 손의 동작에 의해 다음 사진으로 전환이 완료된 것을 도시한 도면이다.
도 4의 갤러리 어플리케이션은 어플 자체적으로는 동작 인식에 따른 인터페이스를 서비스하지 않는다.
동작인식 처리부(110)는 갤러리 어플리케이션이 실행되어 사진이 디스플레이되는 (a) 상태에서 사용자가 손을 왼쪽에서 오른쪽으로 이동하는 동작 이벤트를 감지하면, 동작 이벤트를 터치 스크린을 왼쪽에서 오른쪽 플리킹(Flicking)하는 실행 이벤트로 변환한다. 그리고, 동작인식 처리부(110)는 실행 이벤트를 갤러리 어플리케이션으로 제공한다.
갤러리 어플리케이션은 실행 이벤트를 수행해서 (a)의 상태를 (b)의 상태를 거쳐 (c)의 상태와 같이 되도록 전환한다.
즉, 갤러리 어플리케이션은 자체적으로 동작 이벤트를 처리하지 못하나 동작인식 처리부(110)에 의해 플리킹으로 변환된 실행 이벤트를 수신해서 처리함으로써 동작에 대응하는 실행이 가능할 수 있다.
이하, 상기와 같이 구성된 본 발명에 따른 동작 인식 처리 방법을 아래에서 도면을 참조하여 설명한다.
도 3은 본 발명의 실시예에 따른 휴대용 단말기의 동작인식 처리부에서 동작인식을 처리하는 과정을 도시한 흐름도이다.
도 3을 참조하면, 동작인식 처리부(110)는 310단계에서 동작을 감지하기 위한 적어도 하나 이상의 센서로부터 센싱정보를 수신한다.
그리고, 동작인식 처리부(110)는 320단계에서 센싱정보를 이용해서 동작 이벤트를 판단한다.
그리고, 동작인식 처리부(110)는 330단계에서 작업 관리부(130)로 포그라운드(foreground) 어플리케이션의 정보를 요청해서 수신한다.
그리고, 동작인식 처리부(110)는 340단계에서 변환 테이블(150)을 참조해서 동작 이벤트를 포그라운드 어플리케이션에 대응하는 실행 이벤트로 변환한다.
그리고, 동작인식 처리부(110)는 350단계에서 실행 이벤트를 포그라운드 어플리케이션으로 전달한다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

  1. 동작을 감지하기 위한 적어도 하나 이상의 센서로부터 센싱정보를 수신하는 감지부;
    상기 감지부에서 수신한 센싱정보를 이용해서 동작 이벤트를 판단하고 포그라운드(foreground) 어플리케이션의 정보를 수신하는 판단부;
    상기 동작 이벤트를 어플리케이션 분류에 따라 상기 포그라운드 어플리케이션에 대응하는 실행 이벤트로 변환하는 변환부; 및
    상기 실행 이벤트를 상기 포그라운드 어플리케이션으로 전달하는 전달부를 포함하는
    휴대용 단말기에서 동작인식의 처리를 관리하는 장치.
  2. 제1항에 있어서,
    상기 감지부, 상기 판단부, 상기 변환부 및 상기 전달부는,
    프레임워크 계층(framework layer)에서 구동되는
    휴대용 단말기에서 동작인식의 처리를 관리하는 장치.
  3. 제1항에 있어서,
    상기 판단부는,
    어플리케이션을 관리하는 작업 관리부로 상기 포그라운드 어플리케이션의 정보를 요청하고, 상기 작업 관리부로부터 상기 포그라운드 어플리케이션의 정보를 수신하는
    휴대용 단말기에서 동작인식의 처리를 관리하는 장치.
  4. 제1항에 있어서,
    상기 변환부는,
    어플리케이션의 분류별로 동작 이벤트에 대응하는 실행 이벤트가 기저장된 변환 테이블을 참조해서 상기 동작 이벤트를 상기 실행 이벤트로 변환하는
    휴대용 단말기에서 동작인식의 처리를 관리하는 장치.
  5. 제4항에 있어서,
    상기 변환 테이블은,
    어플리케이션의 카테고리 별로 동작 이벤트에 대응하는 실행 이벤트를 포함하는
    휴대용 단말기에서 동작인식의 처리를 관리하는 장치.
  6. 제5항에 있어서,
    상기 변환 테이블은,
    상기 카테고리에 분류되지 않은 어플리케이션에 대한 동작 이벤트에 대응하는 실행 이벤트를 더 포함하는
    휴대용 단말기에서 동작인식의 처리를 관리하는 장치.
  7. 제1항에 있어서,
    상기 센서는,
    카메라 센서, 적외선 센서, 자이로 센서 및 가속도 센서 중에 적어도 하나 인
    휴대용 단말기에서 동작인식의 처리를 관리하는 장치.
  8. 제1항에 있어서,
    상기 동작 이벤트는,
    상기 휴대용 단말기의 주변에 위치한 물체의 움직임을 인식한 정보 또는
    상기 휴대용 단말기의 움직임을 인식한 정보인
    휴대용 단말기에서 동작인식의 처리를 관리하는 장치.
  9. 제1항에 있어서,
    디스플레이부가 활성화 되거나, 기설정된 카테고리에 포함된 어플리케이션이 실행되거나 또는 기설정된 어플리케이션이 실행되면 상기 센서를 구동시키도록 제어하는 센서 관리부를 더 포함하는
    휴대용 단말기에서 동작인식의 처리를 관리하는 장치.
  10. 제9항에 있어서,
    상기 센서 관리부는,
    상기 기설정된 카테고리에 포함된 어플리케이션 또는 상기 기설정된 어플리케이션이 실행 중이 아니거나 또는 상기 디스플레이부가 비활성화 되면 상기 센서의 구동을 정지시키도록 제어하는
    휴대용 단말기에서 동작인식의 처리를 관리하는 장치.
  11. 동작을 감지하기 위한 적어도 하나 이상의 센서로부터 센싱정보를 수신하는 단계;
    상기 센싱정보를 이용해서 동작 이벤트를 판단하는 단계;
    포그라운드(foreground) 어플리케이션의 정보를 수신하는 단계;
    상기 동작 이벤트를 어플리케이션 분류에 따라 상기 포그라운드 어플리케이션에 대응하는 실행 이벤트로 변환하는 단계; 및
    상기 실행 이벤트를 상기 포그라운드 어플리케이션으로 전달하는 단계를 포함하는
    휴대용 단말기에서 동작인식의 처리를 관리하는 방법.
  12. 제11항에 있어서,
    상기 센싱정보를 수신하는 단계, 상기 동작 이벤트를 판단하는 단계, 상기 포그라운드 어플리케이션의 정보를 수신하는 단계, 상기 실행 이벤트로 변환하는 단계 및 상기 포그라운드 어플리케이션으로 전달하는 단계는,
    프레임워크 계층(framework layer)에서 수행하는
    휴대용 단말기에서 동작인식의 처리를 관리하는 방법.
  13. 제11항에 있어서,
    상기 포그라운드 어플리케이션의 정보를 수신하는 단계는,
    어플리케이션을 관리하는 작업 관리부로 상기 포그라운드 어플리케이션의 정보를 요청해서 상기 작업 관리부로부터 상기 포그라운드 어플리케이션의 정보를 수신하는
    휴대용 단말기에서 동작인식의 처리를 관리하는 방법.
  14. 제11항에 있어서,
    상기 실행 이벤트로 변환하는 단계는,
    어플리케이션의 분류별로 동작 이벤트에 대응하는 실행 이벤트가 기저장된 변환 테이블을 참조해서 상기 동작 이벤트를 상기 실행 이벤트로 변환하는
    휴대용 단말기에서 동작인식의 처리를 관리하는 방법.
  15. 제14항에 있어서,
    상기 변환 테이블은,
    어플리케이션의 카테고리 별로 동작 이벤트에 대응하는 실행 이벤트를 포함하는
    휴대용 단말기에서 동작인식의 처리를 관리하는 방법.
  16. 제15항에 있어서,
    상기 변환 테이블은,
    상기 카테고리에 분류되지 않은 어플리케이션에 대한 동작 이벤트에 대응하는 실행 이벤트를 더 포함하는
    휴대용 단말기에서 동작인식의 처리를 관리하는 방법.
  17. 제11항에 있어서,
    상기 센서는,
    카메라 센서, 적외선 센서, 자이로 센서 및 가속도 센서 중에 적어도 하나 인
    휴대용 단말기에서 동작인식의 처리를 관리하는 방법.
  18. 제11항에 있어서,
    상기 동작 이벤트는,
    상기 휴대용 단말기의 주변에 위치한 물체의 움직임을 인식한 정보 또는
    상기 휴대용 단말기의 움직임을 인식한 정보인
    휴대용 단말기에서 동작인식의 처리를 관리하는 방법.
  19. 제11항에 있어서,
    상기 센싱정보를 수신하는 단계 이전에,
    디스플레이부가 활성화 되거나, 기설정된 카테고리에 포함된 어플리케이션이 실행되거나 또는 기설정된 어플리케이션이 실행되면 상기 센서를 구동시키는 단계를 더 포함하는
    휴대용 단말기에서 동작인식의 처리를 관리하는 방법.
  20. 제19항에 있어서,
    상기 센서를 구동시키는 단계 이후에,
    상기 기설정된 카테고리에 포함된 어플리케이션 또는 상기 기설정된 어플리케이션이 실행 중이 아니거나 또는 상기 디스플레이부가 비활성화 되면 상기 센서의 구동을 정지시키는 단계를 더 포함하는
    휴대용 단말기에서 동작인식의 처리를 관리하는 방법.
KR1020120019061A 2012-02-24 2012-02-24 휴대용 단말기에서 동작인식의 처리를 관리하는 장치 및 방법 KR101322952B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120019061A KR101322952B1 (ko) 2012-02-24 2012-02-24 휴대용 단말기에서 동작인식의 처리를 관리하는 장치 및 방법
US13/563,717 US20130222241A1 (en) 2012-02-24 2012-07-31 Apparatus and method for managing motion recognition operation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120019061A KR101322952B1 (ko) 2012-02-24 2012-02-24 휴대용 단말기에서 동작인식의 처리를 관리하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130097423A KR20130097423A (ko) 2013-09-03
KR101322952B1 true KR101322952B1 (ko) 2013-10-29

Family

ID=49002277

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120019061A KR101322952B1 (ko) 2012-02-24 2012-02-24 휴대용 단말기에서 동작인식의 처리를 관리하는 장치 및 방법

Country Status (2)

Country Link
US (1) US20130222241A1 (ko)
KR (1) KR101322952B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9342230B2 (en) * 2013-03-13 2016-05-17 Microsoft Technology Licensing, Llc Natural user interface scrolling and targeting
KR102109618B1 (ko) * 2013-09-17 2020-05-13 주식회사 팬택 단말기 및 단말기의 설정 관리 방법
KR101489619B1 (ko) * 2014-01-21 2015-02-04 한양대학교 에리카산학협력단 전력 절감을 위한 스마트 단말기 3축 가속도계 센싱 방법 및 장치
CN105592261A (zh) * 2014-11-04 2016-05-18 深圳富泰宏精密工业有限公司 辅助拍照系统及方法
CN105975294A (zh) * 2016-03-31 2016-09-28 乐视控股（北京）有限公司 一种移动终端应用程序的启动方法及装置
CN107831987B (zh) * 2017-11-22 2020-06-16 出门问问信息科技有限公司 防手势操作的误触控方法及装置
CN109753209B (zh) 2018-06-21 2020-05-05 北京字节跳动网络技术有限公司 一种应用程序启动方法、装置及设备
SG11202011206UA (en) * 2018-05-11 2020-12-30 Beijing Bytedance Network Technology Co Ltd Interaction method, device and equipment for operable object
WO2024085353A1 (ko) * 2022-10-20 2024-04-25 삼성전자주식회사 위치에 기반하여 카메라를 제어하여 위치에 대응하는 미디어를 획득하기 위한 전자 장치 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100119942A (ko) * 2009-05-04 2010-11-12 삼성전자주식회사 휴대용 단말기에서 사용자 자세에 따른 자동 호 수발신을 위한 장치 및 방법
KR20110080636A (ko) * 2010-01-06 2011-07-13 엘지전자 주식회사 이동단말기 및 그 제어 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5157384A (en) * 1989-04-28 1992-10-20 International Business Machines Corporation Advanced user interface
US7173604B2 (en) * 2004-03-23 2007-02-06 Fujitsu Limited Gesture identification of controlled devices
KR101593598B1 (ko) * 2009-04-03 2016-02-12 삼성전자주식회사 휴대단말에서 제스처를 이용한 기능 실행 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100119942A (ko) * 2009-05-04 2010-11-12 삼성전자주식회사 휴대용 단말기에서 사용자 자세에 따른 자동 호 수발신을 위한 장치 및 방법
KR20110080636A (ko) * 2010-01-06 2011-07-13 엘지전자 주식회사 이동단말기 및 그 제어 방법

Also Published As

Publication number Publication date
KR20130097423A (ko) 2013-09-03
US20130222241A1 (en) 2013-08-29

Similar Documents

Publication Publication Date Title
KR101322952B1 (ko) 휴대용 단말기에서 동작인식의 처리를 관리하는 장치 및 방법
US9043502B1 (en) Portable computing device as control mechanism
KR101356368B1 (ko) 어플리케이션 전환 장치 및 방법
US9268524B2 (en) Information processing apparatus, information processing method, and computer readable medium
EP3413163B1 (en) Method for processing data collected by touch panel, and terminal device
US9363417B2 (en) Information processing system, input/output device, and authentication method
EP3866402B1 (en) Controlling a device based on processing of image data that captures the device and/or an installation environment of the device
EP2927790B1 (en) Photographing method and mobile terminal
US9201503B2 (en) User interface device, image forming apparatus, user interface control method, and computer program product
KR20160114635A (ko) 사용자 입력을 디바이스에 제공하기 위한 기술들
US20130120289A1 (en) Information processing apparatus and method of controlling same
EP3714355B1 (en) Expanding physical motion gesture lexicon for an automated assistant
JP2018503166A (ja) マルチタッチ仮想マウス
JP2016162032A5 (ko)
JP5945926B2 (ja) 操作表示装置
US9104349B2 (en) Electronic apparatus
CN105302404A (zh) 鼠标指针快速移动的方法及系统
TW202004432A (zh) 電子裝置及電子裝置的操作控制方法
US11682392B2 (en) Information processing apparatus
US20230384868A1 (en) Display apparatus
US9069464B2 (en) Data processing apparatus, operation accepting method, and non-transitory computer-readable recording medium encoded with browsing program
TWI592836B (zh) 光標產生系統、方法及電腦程式產品
JP7455764B2 (ja) モバイルデバイスを使用した共有ディスプレイの注釈システム
KR101424562B1 (ko) 공간 인식 장치, 이의 동작 방법 및 이를 포함하는 시스템
WO2017119293A1 (ja) 座標検出装置、制御方法、及び座標検出システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161004

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190327

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191002

Year of fee payment: 7