KR20130124143A - 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말 - Google Patents

공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말 Download PDF

Info

Publication number
KR20130124143A
KR20130124143A KR1020120137740A KR20120137740A KR20130124143A KR 20130124143 A KR20130124143 A KR 20130124143A KR 1020120137740 A KR1020120137740 A KR 1020120137740A KR 20120137740 A KR20120137740 A KR 20120137740A KR 20130124143 A KR20130124143 A KR 20130124143A
Authority
KR
South Korea
Prior art keywords
terminal
gesture
user gesture
user
gestures
Prior art date
Application number
KR1020120137740A
Other languages
English (en)
Inventor
전진영
강지영
이보영
김대성
김진용
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120137740A priority Critical patent/KR20130124143A/ko
Priority to AU2013205613A priority patent/AU2013205613B2/en
Priority to US13/874,510 priority patent/US20130293454A1/en
Priority to EP13166321.3A priority patent/EP2660682A3/en
Priority to EP20185022.9A priority patent/EP3742263A1/en
Priority to CN201910897441.9A priority patent/CN110647244A/zh
Priority to CN2013101629001A priority patent/CN103383598A/zh
Priority to JP2013097719A priority patent/JP2013235588A/ja
Publication of KR20130124143A publication Critical patent/KR20130124143A/ko
Priority to US15/847,112 priority patent/US20180107282A1/en
Priority to US16/859,408 priority patent/US20200257373A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Abstract

본 발명은 공간상의 제스처를 이용한 단말의 제어 방법 및 그 단말에 관한 것이다.

Description

공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말{CONTROL METHOD OF TERMINAL BY USING SPATIAL INTERACTION}
본 발명은 공간상의 제스처를 이용한 단말의 제어 방법 및 그 단말에 관한 것이다.
최근 스마트 전자 기기의 발달로 사용자가 단말을 편리하게 제어하도록 하기 위한 다양한 상호 작용 기술들이 연구되고 있다.
단말 제어를 위한 상호 작용으로는 단말의 터치 입력 또는 운동 상태를 기초로 단말의 동작을 제어하는 기술 또는 손바닥을 이용한 손 동작을 이용하여 단말을 제어하는 기술 등이 있다.
본 발명은, 공간상의 다양한 제스처를 인식하고 이에 반응하는 상호 작용을 이용하여 단말의 기능을 제어할 수 있도록 하는 단말의 제어 방법 및 그 단말을 제공한다.
본 발명에 따른 단말의 제어 방법은, 단말의 상태에 따라 특정 모드로 진입하는 단계; 상기 특정 모드에서 상기 단말에 인접한 공간 내의 사용자 제스처를 감지하는 단계; 및 상기 사용자 제스처에 응답하여 상기 특정 모드에 따른 정보를 표시하는 단계를 포함한다.
본 발명에 의한 단말의 제어 방법 및 그 단말에 따르면, 공간상의 제스처를 이용하여 사용자가 보다 편리하고 직관적으로 단말을 제어할 수 있다.
또한, 본 발명에 의한 단말의 제어 방법 및 그 단말에 따르면, 장갑을 착용하거나 손에 이물질이 묻은 경우 등, 단말에 터치 입력을 할 수 없는 경우에도 공간상의 제스처를 이용하여 효율적으로 단말을 제어할 수 있다.
도 1은 본 발명에 따른 공간상의 제스처를 이용하여 단말 제어 방법을 나타낸 순서도이다.
도 2 내지 도 25는 본 발명에 따른 단말이 감지할 수 있는 다양한 공간상의 제스처를 나타낸 도면이다.
도 26은 공간상의 상호 작용 세트의 일 예를 나타낸 도면이다.
도 27은 본 발명의 제1 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 28은 본 발명의 제2 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 29는 본 발명의 제3 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 30은 본 발명의 제4 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 31은 본 발명의 제5 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 32는 본 발명의 제6 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 33은 본 발명의 제7 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 34는 본 발명의 제8 실시 예에 따른 단말의 제어 방법을 나타낸 도면이다.
도 35는 본 발명의 제9 실시 예에 따른 단말의 제어 방법을 나타낸 도면이다.
도 36은 본 발명에 따른 단말의 구성을 나타낸 블록도이다.
본 발명은 스마트 폰(Smart Phone), 휴대 단말(Portable Terminal), 이동 단말(Mobile Terminal), 개인 정보 단말(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말, 노트북 컴퓨터, 와이브로(Wibro) 단말 등의 일반적인 전자 단말뿐만 아니라, 공간상의 제스처를 감지할 수 있는 모든 장치 또는 서비스를 위하여 적용될 수 있다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명의 사상을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다." 또는 "포함한다." 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예들을 보다 구체적으로 설명하도록 한다.
도 1은 본 발명에 따른 공간상의 제스처를 이용하여 단말 제어 방법을 나타낸 순서도이다.
도 1을 참조하면, 본 발명에 따른 단말 제어 방법은 다음과 같은 순서로 이루어질 수 있다.
먼저, 단말은 공간상의 제스처를 감지할 수 있다(S110).
공간상의 제스처는 사용자의 손(손가락을 포함한다) 등의 입력 수단에 의하여 형성될 수 있다.
단말은 카메라를 통하여 공간상의 제스처에 대한 영상 입력을 감지하거나, 근접 센서를 이용하여 단말에 근접하는 입력 수단의 제스처를 감지할 수 있다. 단말은 복수의 공간상의 제스처를 동시에 또는 순차적으로 감지할 수 있다.
또한, 단말은 공간상의 제스처와 함께 터치 입력을 감지할 수 있다. 단말은 공간상의 제스처와 터치 입력을 동시에 또는 순차적으로 감지할 수 있다. 또한, 단말은 터치 입력이 지속되는 동안 공간상의 제스처를 감지할 수도 있다.
다음으로, 단말은 감지된 공간상의 제스처를 분석할 수 있다(S120).
단말은 입력된 영상을 분석하거나 근접 센서를 이용하여 공간상의 제스처를 감지할 수 있다. 단말은 입력 수단이 하나 이상의 방향을 향하거나 임의의 형태를 형성하는 움직임(쓸어넘기기, sweep 등으로 명명될 수 있음), 움직임의 속도, 움직임의 길이, 입력 수단의 모양(예를 들어 손 또는 손가락의 모양) 또는 입력 수단이 접근하는 하나 이상의 좌표, 접근 속도, 접근 거리 등을 분석할 수 있다.
입력 수단이 손인 경우를 예로 들면, 단말이 감지할 수 있는 다양한 공간상의 제스처는 탭(손을 앞으로 숙였다 올리기), 쓸기(손을 상/항/좌/우 방향으로 쓸어내듯 이동하기), 흔들기(수평 또는 수직으로 흔들기), 돌리기(시계방향, 반시계방향), 움켜쥐기(손을 펴고 있다가 주먹 쥐기), 꼬집기(엄지와 검지를 오므리기), 접근, 추적(손의 움직임을 실시간으로 추적하기), 덮기(손으로 단말을 덮은 상태 유지), 밀기(손을 단말 방향으로 밀기), 양손 밀기, 양손 벌리기, 양손 회전, 양손 모으기, 터치 후 쓸기, 근접하기 중 어느 하나일 수 있다. 상술한 제스처는 도 2 내지 도 25에 간략히 도시되어 있다.
다음으로, 단말은 분석 결과에 대응하는 임의의 동작을 결정할 수 있다(S130).
단말은 분석된 공간상의 제스처에 대응하는 임의의 동작을 결정할 수 있다.
구체적으로, 단말은 단말의 기능 모드를 판단할 수 있다.
단말의 기능 모드는 단말이 지원하는 다양한 기능은 카메라 촬영, 멀티미디어 재생, 문자 송수신, 호 송수신, 독서기능, 내비게이션 등이 실행 중인 모드일 수 있다.
단말은 기능 모드를 기초로 공간상의 제스처에 대응하는 임의의 동작을 결정할 수 있다.
예를 들어, 단말이 멀티미디어 재생 중인 경우, 공간상의 제스처가 임의의 방향을 향하는 움직임으로 판단된 경우, 단말은 임의의 기능으로 재생 목록 중 임의의 방향에 대응하는 곡을 재생하는 동작을 결정할 수 있다.
또한, 예를 들어, 독서기능 중인 경우, 공간상의 제스처가 임의의 방향을 향하는 움직임으로 판단된 경우, 단말은 임의의 기능으로 임의의 방향에 대응하는 책의 페이지를 표시하는 동작을 결정할 수 있다.
단말은 임의의 동작을 결정하기 위하여, 도 26에 도시된 바와 같은 공간상의 상호 작용 세트를 이용할 수 있다.
즉, 단말은 임의의 공간상의 제스처에 대한 설명 및 이를 지시하는 명칭을 정의하고, 해당 공간상의 제스처에 대한 메타포를 저장할 수 있다. 메타포는 해당 공간상의 제스처에 대응하는 임의의 동작을 나타낼 수 있다. 메타포는 예를 들어 단말은 감지된 공간상의 제스처를 분석하고, 분석 결과를 기초로 공간상의 상호 작용 세트를 이용하여 임의의 동작을 결정할 수 있다.
다음으로, 단말은 임의의 동작을 수행할 수 있다(S140).
단말은 결정된 임의의 동작을 수행할 수 있다.
하기에서 공간상의 제스처를 이용하여 단말이 다양한 임의의 동작을 수행하는 구체적인 실시 예를 도면을 참조하여 설명하도록 한다.
도 27은 본 발명의 제1 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 27을 참조하면, 단말은 카메라를 통하여 영상 입력을 감지하고, 이를 분석할 수 있다. 단말은 영상 입력을 통하여 감지된 입력 수단의 움직임에 대하여 적어도 하나의 방향, 속도, 이동 거리 등을 분석할 수 있다. 예를 들어, 단말은 사용자의 손이 좌/우로 향하는 움직임을 감지할 수 있다.
단말은 분석 결과에 따라 임의의 동작을 수행할 수 있다. 예를 들어, 단말은 표시부 상의 아이템을 좌/우로 이동시킬 수 있다.
단말은 움직임의 속도에 따라 아이템을 빠르게 또는 느리게 이동시킬 수 있다. 또한, 단말은 움직임의 속도, 길이를 기초로 책의 복수의 페이지를 넘기거나, 움직임의 속도에 따라 한 챕터를 넘길 수도 있다. 또한, 단말은 사진 앨범의 사진을 넘기거나, 멀티미디어 재생 중 재생되는 멀티미디어를 목록의 다음 멀티미디어를 재생할 수 있다.
도 28은 본 발명의 제2 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 28을 참조하면, 단말은 터치 입력과 공간상의 제스처를 동시에 또는 순차적으로 감지할 수 있다. 또한, 단말은 터치 입력이 지속 되는 동안 공간상의 제스처를 감지할 수 있다. 예를 들어, 단말은 표시부의 임의의 위치에 대한 터치 입력이 발생하고, 터치 입력이 지속되는 상태에서 임의의 방향을 향하는 움직임의 공간상의 제스처를 감지할 수 있다.
이 경우, 단말은 임의의 위치에 대한 터치 입력을 기초로 표시부에 표시된 아이템을 선택하고, 공간상의 제스처를 기초로 표시부에 표시된 아이템을 좌/우로 이동시킬 수 있다. 선택된 아이템은 예를 들어, 배경화면의 아이콘, 위젯, 이미지 등일 수 있다.
반면, 단말은 공간상의 제스처를 기초로, 터치 입력에 의하여 선택된 아이템을 제외한 나머지 아이템들을 좌/우로 이동시킬 수도 있다. 나머지 아이템은 예를 들어, 선택되지 않은 아이콘/위젯 및 배경화면에 표시되는 모든 UI를 포함할 수 있다.
또한, 단말은 공간상의 제스처를 기초로, 터치 입력에 의하여 선택된 사용자에게 호, 문자 메시지, 파일 등을 송신할 수 있다.
도 29는 본 발명의 제3 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 29를 참조하면, 단말은 카메라를 통하여 영상 입력을 감지하고 이를 분석할 수 있다. 단말은 영상 입력을 통하여 감지된 움직임에 대하여 움켜지는 움직임으로 분석할 수 있다.
단말은 분석 결과를 기초로 임의의 동작을 수행할 수 있다.
예를 들어, 단말은 표시부에 표시된 내용을 캡쳐하여 저장하거나, 표시되지 않은 내용을 포함한 전체 콘텐츠의 내용을 캡쳐하여 저장할 수 있다. 단말은 캡쳐된 내용을 이미지로 저장할 수 있다.
단말은 캡쳐된 내용을 이미지로 저장할 경우, 이미지의 크기, 해상도, 배율 등을 변경하거나, 미리 설정된 값으로 설정하거나, 또는 움켜지는 움직임의 속도, 움켜지기 전의 손가락이 펼쳐진 정도, 움겨지고 나서 손가락이 움켜진 정도 등을 기초로 임의의 값으로 설정하여 저장할 수 있다.
도 30은 본 발명의 제4 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 30을 참조하면, 단말은 카메라를 통하여 영상 입력을 감지하고, 이를 분석할 수 있다. 단말은 영상 입력을 분석하여 임의의 방향을 향하는 공간상의 제스처로 판단할 수 있다.
단말은 판단된 공간상의 제스처를 기초로, 복수의 웹 브라우저 간 이동하는 동작을 수행할 수 있다. 단말은 복수의 웹 브라우저가 복수의 탭 형태로 표시된 경우, 복수의 탭 간 이동하는 동작을 수행할 수 있다. 또는 단말은, 복수의 애플리케이션이 구동 중인 경우, 복수의 애플리캐이션 간 이동하는 동작을 수행할 수도 있다.
단말은 표시부에 표시되어 있는 웹 브라우저에 대하여 좌/우/상단/하단 또는 최상단/하단으로 이동된 화면을 표시할 수 있다. 또는 단말은 표시부에 표시되어 있는 웹 브라우저의 새로 고침을 수행하거나, 확대/축소, 페이지 복사, 검색, 인쇄, 이전/다음 페이지로 이동 등의 동작을 수행할 수 있다.
도 31은 본 발명의 제5 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 31을 참조하면, 단말은 카메라를 통하여 영상 입력을 감지하고, 입력 수단의 모양을 분석할 수 있다. 예를 들어, 단말은 손의 모양을 판단할 수 있다. 단말은 펼쳐진 손가락의 수, 손가락의 모양, 손바닥 또는 손등의 형태, 위치, 크기 등을 분석할 수 있다.
단말은 입력 수단의 모양을 기초로 임의의 동작을 수행할 수 있다.
단말은 펼쳐진 손가락의 수를 기초로 카메라의 촬영 시간을 결정할 수 있다. 예를 들어, 단말은 펼쳐진 손가락의 수에 대응하는 시간 후에 카메라 촬영을 수행하거나, 펼쳐진 손가락의 수에 대응하는 시간 동안 영상을 촬영할 수 있다. 또한, 단말은 손 모양을 기초로 즉시 촬영을 수행할 수도 있다.
또한, 단말은 손 모양을 기초로 오토 포커싱을 수행할 수 있다. 예를 들어, 손 모양이 엄지 손가락을 든 모양인 경우, 카메라는 오토 포커싱을 수행할 수 있다.
또한, 단말은 감지된 공간상의 제스처를 기초로 임의의 촬영 효과를 적용할 수도 있다.
도 32는 본 발명의 제6 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 32를 참조하면, 단말은 임의의 방향을 향하는 움직임 또는 단말에 근접하는 입력 수단의 제스처를 감지할 수 있다. 예를 들어, 단말은 임의의 방향으로 이동하는 손의 움직임 또는 단말의 임의의 위치에 근접하는 손가락을 감지할 수 있다.
단말은 감지된 움직임의 방향, 속도 또는 근접하는 손가락의 좌표, 거리 등을 분석할 수 있다.
단말은 분석 결과를 기초로 임의의 동작을 수행할 수 있다.
단말은 임의의 방향 및 속도를 따라 움직이는 수면을 표시할 수 있다. 또는, 단말은 임의의 좌표로 물방울이 떨어지는 화면을 표시할 수 있다. 이 외에도 단말은 다양한 감성적인 효과를 나타내는 화면을 표시할 수 있다. 단말은 2D 또는 3D로 화면을 표시할 수 있으며, 표시되는 화면에 대응하여, 진동, 음향 등을 함께 출력할 수도 있다.
도 33은 본 발명의 제7 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 33을 참조하면, 단말은 단말을 향해 다가오는 움직임 또는 단말에 근접한 입력 수단의 제스처를 감지하고, 이를 분석하여 임의의 동작을 수행할 수 있다.
단말은 기능 모드를 기초로, 간단한 정보를 표시할 수 있다. 예를 들어, 단말이 잠김 모드인 상태 또는 표시부가 절전 모드인 상태인 경우, 단말은 날짜, 시간, 배터리 충전 상태, 경고창 등을 표시할 수 있다.
도 34는 본 발명의 제8 실시 예에 따른 단말의 제어 방법을 나타낸 도면이다.
도 34를 참조하면, 단말은 임의의 방향을 향하는 움직임을 감지하고 이를 분석할 수 있다. 또한, 단말은 단말의 기능 모드를 기초로 임의의 동작을 수행할 수 있다.
단말은 속도/가속도 센서, 자이로 센서 등을 통해 단말이 운전 모드임을 판단할 수 있다. 또한, 단말은 통화가 수신된 경우, 임의의 방향으로 향하는 움직임이 감지된 경우, 호를 수신하거나 또는 호를 거절하고 운전 중임을 알리는 메시지를 호의 상대방에게 송출할 수 있다. 또한, 단말은 운전 모드 중 음악의 볼륨을 조절하거나 메시지를 송수신하는 동작을 수행할 수도 있다.
도 35는 본 발명의 제9 실시 예에 따른 단말의 제어 방법을 나타낸 도면이다.
도 35를 참조하면, 단말은 공간상의 제스처를 기초로 멀티미디어 재생을 제어할 수 있다.
예를 들어, 단말은 카메라를 통하여 영상 입력을 감지하고, 감지된 입력 수단의 움직임, 모양 등을 기초로 멀티미디어 리스트의 이전/이후 파일을 재생하거나, 재생/정지를 제어하거나, 셔플 기능을 수행할 수 있다.
도 36은 본 발명에 따른 단말의 구성을 나타낸 블록도이다.
도 36을 참조하면, 단말(100)은 입력부(110), 센서부(120), 제어부(130), 카메라부(140), 저장부(150) 및 표시부(160)를 포함하여 구성될 수 있다.
입력부(110)는 사용자가 단말(100)의 동작 제어를 위한 입력 데이터를 발생시킨다. 입력부(110)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.
센서부(120)는 터치 센서부(121), 근접 센서부(122), 속도/가속도 센서부(123) 및 자이로 센서부(124)를 포함하여 구성될 수 있다.
터치 센서부(120)는 터치 입력을 감지할 수 있으며, 터치 필름, 터치 시트, 터치 패드 중 적어도 하나로 구성될 수 있다.
터치 센서부(120)는 표시부(160)와 상호 레이어 구조를 가짐으로써 터치 스크린으로 동작할 수 있다. 이때, 터치 센서부(120)는 표시부(160)의 특정 부위에 가해진 압력 또는 표시부(160))의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서부(120)는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다.
터치 센서부(120)에 따라 터치 입력이 감지된 경우, 터치 센서부(120)는 그에 대응하는 신호를 처리하여 제어부(130)로 전송할 수 있다. 이로써, 제어부(130)는 표시부(160)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.
근접 센서부(122)는 표시부(160)에 의해 감싸지는 단말(100)의 내부 영역 또는 표시부(160) 근처에 배치될 수 있다. 근접 센서부(122)는 소정의 검출 면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출할 수 있다. 이때, 표시부(160)는 터치 스크린일 수 있다.
근접 센서부(122)는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 중 적어도 하나로 구성될 수 있다. 표시부(160)가 정전식 터치 스크린 인 경우, 근접 센서부(122)는 포인터의 근접에 따른 전계의 변화로 포인터의 근접을 검출하도록 구성된다.
근접 센서부(122)는 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 표시부(160)에 표시될 수 있다.
속도/가속도 센서부(123)는 단말(100)의 움직임을 감지할 수 있다. 속도/가속도 센서부(123)는 어느 한 방향의 가속도 변화에 대해서 이를 전기 신호로 바꾸어 주는 소자로 구성될 수 있다. 제어부(130)는 속도/가속도 센서부(123)에 의해 감지된 단말(100)의 움직임을 기초로, 단말(100)이 운전 모드인지 판단할 수 있다.
자이로 센서부(124)는 단말의 회전 상태를 감지할 수 있다. 자이로 센서부(124)는 단말(100)의 각속도를 측정하여, 기준 방향에 대하여 회전된 각도를 감지할 수 있다. 예를 들어, 자이로 센서부(124)는 3개 방향의 축을 기준으로 한 각각의 회전 각도, 즉 방위각(azimuth), 피치(pitch) 및 롤(roll)을 감지할 수 있다. 제어부(130)는 자이로 센서부(124)에 의하여 감지된 회전 상태를 기초로 단말(100)이 바닥에 놓여진 상태인지, 도킹 상태인지 판단할 수 있다.
제어부(130)는 단말(100)의 각 구성 요소에 대한 전반적인 동작을 제어할 수 있다. 예를 들어, 제어부(130)는 단말(100)에 대한 공간상의 제스처를 감지하고, 이를 분석하여, 분석 결과를 기초로 임의의 동작을 결정하고, 이를 수행하도록 단말(100)을 제어할 수 있다.
제어부(130)의 상세한 동작은 상술한 바와 같다.
카메라부(140)는 화상 통화 모드 또는 활영 모드에서 이미지 센서에 의해 얻어지는 정지 영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 표시부(160)에 표시될 수 있다.
카메라부(140)에서 처리된 화상 프레임은 저장부(150)에 저장되거나 제어부(130)로 전송될 수 있다. 제어부(130)는 카메라부(140)에 의하여 획득된 영상을 분석하여 영상의 모양, 형태 등을 분석할 수 있다.
저장부(150)는 제어부(130)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다. 저장부(150)는 터치 스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.
또한, 저장부(150)는 공간상의 제스처를 기초로 임의의 동작을 매칭시킨 공간상의 상호 작용 세트를 저장할 수 있다.
저장부(150)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 xD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
표시부(160)는 단말(100)에서 처리되는 정보를 UI 또는 GUI 형태로 표시(출력)할 수 있다.
표시부(160)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
표시부(160)는 터치 센서부(121) 및/또는 근접 센서부(123)와 상호 레이어 구조를 이루어 터치 스크린으로 동작할 수 있다. 이 경우, 표시부(160)는 출력 장치 이외에 입력 장치로도 동작할 수 있다.
본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 단말 110: 입력부
120: 센서부 130: 제어부
140: 카메라부 150: 저장부
160: 표시부

Claims (25)

  1. 단말에 인접한 공간 내의 사용자 제스처를 감지하는 단계; 및
    상기 사용자 제스처의 타입을 분석하는 단계; 및
    상기 사용자 제스처의 타입에 대응하는 상기 단말의 제어 동작을 수행하는 단계를 포함하는 것을 특징으로 하는 단말의 제어 방법.
  2. 제1항에 있어서, 상기 사용자 제스처를 감지하는 단계는,
    상기 사용자 제스처로부터 발생하는 광신호를 감지하는 단계; 및
    상기 사용자 제스처에 대한 영상 데이터를 획득하는 단계를 포함하는 것을 특징으로 하는 단말의 제어 방법.
  3. 제2항에 있어서, 상기 사용자 제스처의 타입을 분석하는 단계는,
    상기 영상 데이터의 특징점을 추출하는 단계;
    기 설정된 사용자 제스처의 특징점 정보와 상기 추출된 특징점을 비교하는 단계; 및
    상기 비교 결과에 따라 상기 사용자 제스처의 타입을 판단하는 단계를 포함하는 것을 특징으로 하는 단말의 제어 방법.
  4. 제1항에 있어서, 상기 사용자 제스처의 타입을 분석하는 단계는,
    상기 사용자 제스처를 형성하는 오브젝트가 사용자의 손, 손가락, 손바닥 및 손목 중 적어도 하나에 대응하는지 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 단말의 제어 방법.
  5. 제1항에 있어서, 상기 단말의 제어 동작을 수행하는 단계는,
    현재 구동 중인 애플리케이션을 기초로 상기 사용자 제스처의 형태에 대응하는 제어 동작을 추출하는 단계; 및
    상기 추출된 제어 동작을 수행하는 단계를 포함하는 단계를 포함하는 것을 특징으로 하는 단말의 제어 방법.
  6. 제1항에 있어서, 상기 사용자 제스처는,
    상기 단말로 접근하거나 상기 단말로부터 멀어지는 제스처, 상기 단말을 덮은 상태에서 기 설정된 시간 동안 유지하는 제스처, 임의의 방향으로 이동하는 제스처, 흔드는 제스처 및 임의의 선 또는 모양을 그리는 제스처 중 어느 하나로 구성되는 것을 특징으로 하는 단말의 제어 방법.
  7. 제1항에 있어서, 상기 단말의 제어 동작을 수행하는 단계는,
    상기 사용자 제스처가 특정 위치를 포인팅하는 제스처인 경우, 상기 특정 위치를 판단하는 단계; 및
    상기 특정 위치에 대응하는 적어도 하나의 콘텐츠에 대한 제어 동작을 수행하는 단계를 포함하는 것을 특징으로 하는 단말의 제어 방법.
  8. 제1항에 있어서, 상기 사용자 제스처는,
    둘 이상의 객체에 의하여 형성되는 것으로, 상기 둘 이상의 객체가 서로 멀어지거나 서로 가까워지는 제스처, 상기 둘 이상의 객체가 상기 단말에 인접한 공간 내로 접근하는 제스처, 상기 둘 이상의 객체가 상기 단말을 덮는 제스처, 상기 둘 이상의 객체가 특정 각도를 형성하는 제스처 및 특정 모양을 형성하는 제스처 중 적어도 하나로 구성되는 것을 특징으로 하는 단말의 제어 방법.
  9. 제1항에 있어서, 상기 사용자 제스처는,
    움켜쥐는 동작 또는 펼치는 동작 중 적어도 하나로 구성되는 것을 특징으로 하는 단말의 제어 방법.
  10. 제9항에 있어서, 상기 단말의 제어 동작을 수행하는 단계는,
    상기 움켜쥐는 동작 또는 상기 펼치는 동작에 대응하여, 화면의 확대, 축소 및 캡쳐 중 적어도 하나의 동작을 수행하는 동작을 수행하는 단계를 포함하는 것을 특징으로 하는 단말의 제어 방법.
  11. 제1항에 있어서, 상기 사용자 제스처는,
    임의의 개수의 손가락을 펼쳐 숫자를 나타내는 넘버링 제스처인 것을 특징으로 하는 단말의 제어 방법.
  12. 제11항에 있어서, 상기 단말의 제어 동작을 수행하는 단계는,
    상기 넘버링 제스처에 대응하여, 상기 숫자에 따라 촬영 대기 시간, 촬영 노출 시간, 필터 효과, 촬영 횟수, 오토 포커싱 중 적어도 하나를 설정하는 단계를 포함하는 것을 특징으로 하는 단말의 제어 방법.
  13. 제1항에 있어서, 상기 사용자 제스처는,
    둘 이상의 연속된 제스처로 구성되고,
    상기 단말의 제어 동작을 수행하는 단계는,
    상기 둘 이상의 연속된 제스처에 대응하는 동작을 수행하는 단계를 포함하는 것을 특징으로 하는 단말의 제어 방법.
  14. 제13항에 있어서, 상기 사용자 제스처는,
    임의의 개수의 손가락을 펼쳐 숫자를 나타내는 넘버링 제스처 및 임의의 모양을 형성하는 모양 제스처의 연속된 제스처로 구성되고,
    상기 단말의 제어 동작을 수행하는 단계는,
    상기 넘버링에 대응하여 연속 촬영 횟수를 설정하는 단계; 및
    상기 모양 제스처에 대응하여, 상기 설정된 연속 촬영 횟수만큼 사진 촬영을 수행하는 단계를 포함하는 것을 특징으로 하는 단말의 제어 방법.
  15. 단말에 인접한 공간 내의 사용자 제스처를 감지하는 센서부;
    상기 사용자 제스처의 타입을 분석하고, 상기 사용자 제스처의 타입에 대응하는 상기 단말의 제어 동작을 수행하도록 상기 단말을 제어하는 제어부; 및
    상기 제어부의 제어에 의해 상기 동작의 수행 결과를 표시하는 표시부를 포함하는 것을 특징으로 하는 단말.
  16. 제15항에 있어서, 상기 센서부는,
    상기 사용자 제스처로부터 발생하는 광신호를 감지하고, 상기 사용자 제스처에 대한 영상 데이터를 획득하는 카메라 센서로 구성되는 것을 특징으로 하는 단말.
  17. 제15항에 있어서, 상기 제어부는,
    상기 사용자 제스처를 형성하는 오브젝트가 사용자의 손, 손가락, 손바닥 및 손목 중 적어도 하나에 대응하는지 여부를 판단하는 것을 특징으로 하는 단말.
  18. 제15항에 있어서, 상기 제어부는,
    현재 구동 중인 애플리케이션을 기초로 상기 사용자 제스처의 형태에 대응하는 제어 동작을 추출하고, 상기 추출된 제어 동작을 수행하는 것을 특징으로 하는 단말.
  19. 제15항에 있어서, 상기 사용자 제스처는,
    상기 단말로 접근하거나 상기 단말로부터 멀어지는 제스처, 상기 단말을 덮은 상태에서 기 설정된 시간 동안 유지하는 제스처, 임의의 방향으로 이동하는 제스처, 흔드는 제스처, 임의의 선 또는 모양을 그리는 제스처, 둘 이상의 객체가 서로 멀어지거나 또는 서로 가까워지는 제스처, 특정 각도를 형성하는 제스처 및 특정 모양을 형성하는 제스처 중 어느 하나로 구성되는 것을 특징으로 하는 단말.
  20. 제15항에 있어서, 상기 제어부는,
    상기 사용자 제스처가 특정 위치를 포인팅하는 제스처인 경우, 상기 특정 위치를 판단하고, 상기 특정 위치에 대응하는 적어도 하나의 콘텐츠에 대한 제어 동작을 수행하는 것을 특징으로 하는 단말.
  21. 제15항에 있어서, 상기 사용자 제스처는,
    움켜쥐는 동작 또는 펼치는 동작 중 적어도 하나로 구성되는 것을 특징으로 하는 단말.
  22. 제21항에 있어서, 상기 제어부는,
    상기 움켜쥐는 동작 또는 상기 펼치는 동작에 대응하여, 화면의 확대, 축소 및 캡쳐 중 적어도 하나의 동작을 수행하는 동작을 수행하는 것을 특징으로 하는 단말.
  23. 제15항에 있어서, 상기 사용자 제스처는,
    임의의 개수의 손가락을 펼쳐 숫자를 나타내는 넘버링 제스처인 것을 특징으로 하는 단말.
  24. 제23항에 있어서, 상기 제어부는,
    상기 넘버링 제스처에 대응하여, 상기 숫자에 따라 촬영 대기 시간, 촬영 노출 시간, 필터 효과, 촬영 횟수, 오토 포커싱 중 적어도 하나를 설정하는 것을 특징으로 하는 단말.
  25. 제15항에 있어서, 상기 사용자 제스처는,
    둘 이상의 연속된 제스처로 구성되고,
    상기 제어부는,
    상기 둘 이상의 연속된 제스처가 상기 센서부를 통하여 감지되면, 상기 둘 이상의 연속된 제스처의 타입을 분석하고, 상기 분석 결과에 따라 상기 타입에 대응하는 동작을 수행하는 것을 특징으로 하는 단말.
KR1020120137740A 2012-05-04 2012-11-30 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말 KR20130124143A (ko)

Priority Applications (10)

Application Number Priority Date Filing Date Title
KR1020120137740A KR20130124143A (ko) 2012-11-30 2012-11-30 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말
AU2013205613A AU2013205613B2 (en) 2012-05-04 2013-05-01 Terminal and method for controlling the same based on spatial interaction
US13/874,510 US20130293454A1 (en) 2012-05-04 2013-05-01 Terminal and method for controlling the same based on spatial interaction
EP13166321.3A EP2660682A3 (en) 2012-05-04 2013-05-02 Terminal and method for controlling the same based on spatial interaction
EP20185022.9A EP3742263A1 (en) 2012-05-04 2013-05-02 Terminal and method for controlling the same based on spatial interaction
CN201910897441.9A CN110647244A (zh) 2012-05-04 2013-05-06 终端和基于空间交互控制所述终端的方法
CN2013101629001A CN103383598A (zh) 2012-05-04 2013-05-06 终端和基于空间交互控制所述终端的方法
JP2013097719A JP2013235588A (ja) 2012-05-04 2013-05-07 空間上の相互作用に基づく端末の制御方法及びその端末
US15/847,112 US20180107282A1 (en) 2012-05-04 2017-12-19 Terminal and method for controlling the same based on spatial interaction
US16/859,408 US20200257373A1 (en) 2012-05-04 2020-04-27 Terminal and method for controlling the same based on spatial interaction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120137740A KR20130124143A (ko) 2012-11-30 2012-11-30 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020120047678A Division KR20130124061A (ko) 2012-05-04 2012-05-04 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말

Publications (1)

Publication Number Publication Date
KR20130124143A true KR20130124143A (ko) 2013-11-13

Family

ID=49853223

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120137740A KR20130124143A (ko) 2012-05-04 2012-11-30 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말

Country Status (1)

Country Link
KR (1) KR20130124143A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106062668A (zh) * 2014-01-22 2016-10-26 Lg伊诺特有限公司 手势设备、用于手势设备的操作方法以及包括手势设备的车辆
WO2017061639A1 (ko) * 2015-10-06 2017-04-13 주식회사 스탠딩에그 사용자 컨텍스트 기반 움직임 카운팅 방법, 이를 수행하는 센서 장치 및 웨어러블 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009260907A (ja) * 2008-03-18 2009-11-05 Nec Corp 携帯端末装置、端末操作方法、プログラム、及び記録媒体
KR20110053396A (ko) * 2009-11-15 2011-05-23 에스케이텔레콤 주식회사 제스처를 이용한 사용자 인터페이스 제공 단말기 및 방법
US20110289456A1 (en) * 2010-05-18 2011-11-24 Microsoft Corporation Gestures And Gesture Modifiers For Manipulating A User-Interface

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009260907A (ja) * 2008-03-18 2009-11-05 Nec Corp 携帯端末装置、端末操作方法、プログラム、及び記録媒体
KR20110053396A (ko) * 2009-11-15 2011-05-23 에스케이텔레콤 주식회사 제스처를 이용한 사용자 인터페이스 제공 단말기 및 방법
US20110289456A1 (en) * 2010-05-18 2011-11-24 Microsoft Corporation Gestures And Gesture Modifiers For Manipulating A User-Interface

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106062668A (zh) * 2014-01-22 2016-10-26 Lg伊诺特有限公司 手势设备、用于手势设备的操作方法以及包括手势设备的车辆
US10108334B2 (en) 2014-01-22 2018-10-23 Lg Innotek Co., Ltd. Gesture device, operation method for same, and vehicle comprising same
WO2017061639A1 (ko) * 2015-10-06 2017-04-13 주식회사 스탠딩에그 사용자 컨텍스트 기반 움직임 카운팅 방법, 이를 수행하는 센서 장치 및 웨어러블 장치

Similar Documents

Publication Publication Date Title
US20200257373A1 (en) Terminal and method for controlling the same based on spatial interaction
US9239674B2 (en) Method and apparatus for providing different user interface effects for different implementation characteristics of a touch event
US9047046B2 (en) Information processing apparatus, information processing method and program
KR102194272B1 (ko) 제스처들을 이용한 터치 입력들의 향상
US8823749B2 (en) User interface methods providing continuous zoom functionality
US8413075B2 (en) Gesture movies
US9448587B2 (en) Digital device for recognizing double-sided touch and method for controlling the same
KR20130099186A (ko) 표시 장치, 유저 인터페이스 방법, 및 프로그램
US20140165013A1 (en) Electronic device and page zooming method thereof
US10182141B2 (en) Apparatus and method for providing transitions between screens
JP2009140368A (ja) 入力装置、表示装置、入力方法、表示方法及びプログラム
US20150033193A1 (en) Methods for modifying images and related aspects
KR20130124061A (ko) 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말
KR102161061B1 (ko) 복수의 페이지 표시 방법 및 이를 위한 단말
US10042445B1 (en) Adaptive display of user interface elements based on proximity sensing
KR20130124139A (ko) 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말
US9256360B2 (en) Single touch process to achieve dual touch user interface
US9626742B2 (en) Apparatus and method for providing transitions between screens
KR102194778B1 (ko) 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말
KR20130124143A (ko) 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말
KR102061254B1 (ko) 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말
KR20130124138A (ko) 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말
KR20200143346A (ko) 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말
KR101165388B1 (ko) 이종의 입력 장치를 이용하여 화면을 제어하는 방법 및 그 단말장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application