KR101237472B1 - 전자 장치 및 그의 제어 방법 - Google Patents

전자 장치 및 그의 제어 방법 Download PDF

Info

Publication number
KR101237472B1
KR101237472B1 KR1020110147457A KR20110147457A KR101237472B1 KR 101237472 B1 KR101237472 B1 KR 101237472B1 KR 1020110147457 A KR1020110147457 A KR 1020110147457A KR 20110147457 A KR20110147457 A KR 20110147457A KR 101237472 B1 KR101237472 B1 KR 101237472B1
Authority
KR
South Korea
Prior art keywords
motion
icon
user
input
unit
Prior art date
Application number
KR1020110147457A
Other languages
English (en)
Inventor
한상진
권용환
김정근
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110147457A priority Critical patent/KR101237472B1/ko
Priority to US13/593,952 priority patent/US20130174099A1/en
Priority to AU2012216583A priority patent/AU2012216583B2/en
Priority to EP12185919.3A priority patent/EP2610705A1/en
Priority to EP15185533.5A priority patent/EP3009919A1/en
Priority to CN2012103949616A priority patent/CN103197862A/zh
Priority to PCT/KR2012/009897 priority patent/WO2013100367A1/en
Priority to JP2012275273A priority patent/JP2013140578A/ja
Priority to US13/737,076 priority patent/US20130174036A1/en
Application granted granted Critical
Publication of KR101237472B1 publication Critical patent/KR101237472B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Abstract

전자 장치 및 이의 제어 방법이 제공된다. 본 전자 장치의 제어 방법은 모션 개시 명령이 입력되면, 모션 태스크 모드를 수행하기 위한 아이콘 및 포인터를 디스플레이하고, 사용자의 제1 모션이 따라 상기 포인터를 이동시키며, 포인터가 아이콘에 위치한 상태에서 사용자의 제2 모션이 입력되면, 아이콘에 대응되는 기능을 실행한다. 이에 의해 사용자는 모션을 이용하여 전자 장치를 더욱 편리하고 직관적으로 제어할 수 있게 된다.

Description

전자 장치 및 그의 제어 방법{Electronic apparatus and Method for controlling electronic apparatus thereof}
본 발명은 전자 장치 및 그의 제어 방법에 관한 것으로, 더욱 상세하게는 모션 입력부를 통해 입력된 모션에 따라 제어되는 전자 장치 및 그의 제어 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 종류의 전자 장치가 개발되어 보급되고 있다. 특히, 최근에는 TV를 비롯한 다양한 유형의 전자 장치들이 일반 가정에서 사용되고 있다. 이들 전자 장치들은 사용자의 요구에 따라 점차 다양한 기능을 구비하게 되었다. 특히, TV의 경우, 최근에는 인터넷과 연결되어 인터넷 서비스까지 지원하고 있다. 또한, 사용자는 TV를 통해 많은 수의 디지털 방송 채널까지 시청할 수 있게 되었다.
이에 따라, 전자 장치의 다양한 기능들을 효율적으로 사용하기 위한 다양한 입력 방법이 요구되고 있다. 예를 들어, 리모컨을 이용한 입력 방법, 마우스를 이용한 입력 방법 및 터치 패드를 이용한 입력 방법 등이 전자 장치에 적용되고 있다.
하지만, 이러한 단순한 입력 방법만으로는, 전자 장치의 다양한 기능을 효과적으로 사용하기에는 어려움이 있었다. 가령, 전자 장치의 모든 기능들을 리모컨만으로 제어하도록 구현하게 되면, 리모컨의 버튼 수를 늘리는 것이 불가피하였다. 이 경우, 일반 사용자가 리모컨의 사용법을 익히는 것은 결코 용이하지 않은 일이었다. 또한, 다양한 메뉴들을 화면상에 표시하여 사용자가 해당 메뉴를 찾아서 선택하도록 하는 방법의 경우, 사용자가 복잡한 메뉴 트리를 일일이 확인하여, 자신이 원하는 메뉴를 선택하여야 한다는 번거로움이 있었다.
따라서, 전자 장치를 조금 더 편리하고 직관적으로 제어하기 위하여 기술의 개발이 요청된다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 모션 입력부를 통해 입력된 사용자 모션, 디스플레이 화면에 디스플레이된 복수의 아이콘 및 포인터를 이용하여 전자 장치의 기능을 실행하는 전자 장치 및 이의 제어 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전자 장치의 제어 방법은 모션 개시 명령(trigger motion)이 입력되면, 모션 태스크 모드를 수행하기 위한 아이콘 및 포인터를 디스플레이하는 단계; 사용자의 제1 모션에 따라 상기 포인터를 이동시키는 단계; 및 상기 포인터가 상기 아이콘에 위치한 상태에서 사용자의 제2 모션이 입력되면, 상기 아이콘에 대응되는 기능을 실행하는 단계;를 포함한다.
그리고, 상기 아이콘에 위치한 상기 포인터는 상기 사용자의 제2 모션이 입력되는 동안 움직이지 않고 고정될 수 있다.
또한, 상기 실행하는 단계는, 상기 포인터가 상기 아이콘에 위치하면서 상기 제2 모션의 입력이 유지되면, 상기 포인터가 위치하는 아이콘의 기능을 연속적으로 실행할 수 있다.
그리고, 상기 사용자의 제1 모션은, 사용자의 손을 편 스프레드(spread) 모션이고, 상기 사용자의 제2 모션은, 상기 사용자의 손을 쥐는 그랩(grab) 모션일 수 있다.
또한, 상기 아이콘은 볼륨-업 아이콘, 볼륨-다운 아이콘, 채널-업 아이콘 및 채널-다운 아이콘 중 적어도 하나를 포함할 수 있다.
그리고, 상기 아이콘은, 디스플레이 화면의 좌측 영역 및 우측 영역 중 하나에 디스플레이되는 볼륨-업 아이콘 및 상기 볼륨-다운 아이콘; 및, 상기 디스플레이 화면의 좌측 영역 및 우측 영역 중 다른 하나에 디스플레이되는 채널-업 아이콘 및 상기 채널-다운 아이콘을 포함할 수 있다.
또한, 상기 볼륨-업 아이콘 및 상기 볼륨-다운 아이콘이 디스플레이되는 영역에는 상기 전자 장치의 현재 설정된 볼륨 레벨 정보가 디스플레이되고, 상기 채널-업 아이콘 및 상기 채널-다운 아이콘이 디스플레이되는 영역에는 상기 전자 장치의 현재 설정된 채널 정보가 디스플레이될 수 있다.
그리고, 모션 종료 모션이 입력되면, 상기 디스플레이된 복수의 아이콘 및 포인터를 디스플레이 화면에서 제거하는 단계;를 더 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전자 장치는, 사용자의 모션을 입력받는 모션 입력부; 디스플레이부; 및 상기 모션 입력부를 통해 모션 개시 명령(trigger motion)이 입력되면, 모션 태스크 모드를 수행하기 위한 아이콘 및 포인터를 디스플레이하고, 상기 모션 입력부에 입력된 사용자의 제1 모션이 따라 상기 포인터를 이동시키도록 상기 디스플레이부를 제어하고, 상기 포인터가 상기 아이콘에 위치한 상태에서 상기 모션 입력부에 사용자의 제2 모션이 입력되면, 상기 아이콘에 대응되는 기능을 실행하는 제어부;를 포함할 수 있다.
그리고, 상기 사용자의 제2 모션이 입력되는 동안 상기 포인터의 위치를 움직이지 않고 고정시킬 수 있다.
또한, 상기 제어부는, 상기 포인터가 상기 아이콘에 위치하면서 상기 제2 모션의 입력이 유지되면, 상기 포인터가 위치하는 아이콘의 기능을 연속적으로 실행할 수 있다.
그리고, 상기 사용자의 제1 모션은, 사용자의 손을 편 스프레드(spread) 모션이고, 상기 사용자의 제2 모션은, 상기 사용자의 손을 쥐는 그랩(grab) 모션일 수 있다.
또한, 상기 아이콘은 볼륨-업 아이콘, 볼륨-다운 아이콘, 채널-업 아이콘 및 채널-다운 아이콘 중 적어도 하나를 포함할 수 있다.
그리고, 상기 아이콘은, 디스플레이 화면의 좌측 영역 및 우측 영역 중 하나에 디스플레이되는 볼륨-업 아이콘 및 상기 볼륨-다운 아이콘; 및, 상기 디스플레이 화면의 좌측 영역 및 우측 영역 중 다른 하나에 디스플레이되는 채널-업 아이콘 및 상기 채널-다운 아이콘을 포함할 수 있다.
또한, 상기 볼륨-업 아이콘 및 상기 볼륨-다운 아이콘이 디스플레이되는 영역에는 상기 전자 장치의 현재 설정된 볼륨 레벨 정보가 디스플레이되고, 상기 채널-업 아이콘 및 상기 채널-다운 아이콘이 디스플레이되는 영역에는 상기 전자 장치의 현재 설정된 채널 정보가 디스플레이될 수 있다.
그리고, 상기 제어부는, 상기 모션 입력부를 통해 모션 종료 모션이 입력되면, 상기 디스플레이된 복수의 아이콘 및 포인터를 상기 디스플레이부의 디스플레이 화면에서 제거할 수 있다.
상술한 바와 같은 본 발명의 다양한 실시예에 의해, 사용자는 모션을 이용하여 편리하고 직관적으로 디스플레이 장치를 제어할 수 있게 된다.
도 1 내지 3은 본 발명의 다양한 실시 예에 따른, 전자 장치의 구성을 설명하기 위한 블럭도,
도 4 내지 도 9는 본 발명의 다양한 실시예에 따른, 사용자 모션을 이용한 채널 제어 및 볼륨 제어를 수행하는 방법을 설명하기 위한 도면, 그리도,
도 10은 본 발명의 일 실시예에 따른, 사용자 모션을 이용한 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 1은 본 발명의 실시 예에 따른 전자 장치를 나타내는 개략적인 블럭도이다.
도 1을 참조하면, 전자 장치(100)는 모션 입력부(120), 저장부(130), 제어부(140) 및 디스플레이부(193)를 포함한다. 전자 장치(100)는 외부의 네트워크와 연결될 수 있는 스마트 TV, 셋탑박스, PC로, 또는 디지털 TV, 휴대폰 등으로 구현될 수 있으나, 이에 한정되는 것은 아니다.
모션 입력부(120)는 사용자의 모션을 촬상한 영상 신호(예를 들어, 연속되는 프레임)를 입력받아 제어부(140)로 제공한다. 예를 들어, 모션 입력부(120)는 렌즈 및 이미지센서로 구성되는 카메라 유닛으로 구현될 수 있다. 또한, 모션 입력부(120)는 전자 장치(100)와 일체형뿐만 아니라 분리된 형태로 구현될 수 있다. 분리된 모션 입력부(120)는 전자 장치(100)와 유선 또는 무선 네트워크를 통하여 연결될 수 있다.
저장부(130)는 전자 장치(100)를 구동하고 제어하기 위한 다양한 데이터 및 프로그램을 저장한다. 저장부(130)는 음성 입력부를 통해 입력된 음성을 인식하기 위한 음성 인식 모듈 및 모션 입력부(120)를 통해 입력된 모션을 인식하기 위한 모션 인식 모듈을 저장한다.
저장부(130)는 음성 데이터베이스 및 모션 데이터베이스를 포함할 수 있다. 음성 데이터베이스는 기 설정된 음성 및 기 설정된 음성에 매칭되는 음성 태스크가 기록된 데이터베이스를 의미한다. 모션 데이터베이스는 기 설정된 모션 및 기 설정된 모션에 매칭되는 모션 태스크가 기록된 데이터베이스를 의미한다.
디스플레이부(193)는 방송 수신부를 통해 수신된 방송 신호에 대응되는 영상을 표시한다. 디스플레이부(193)는 외부 단자 입력부를 통해 입력되는 영상 데이터(예를 들어, 동영상)을 표시할 수 있다. 디스플레이부(193)는 제어부(140)의 제어에 의해 음성 태스크를 수행하기 위한 음성 가이드 정보 및 모션 태스크를 수행하기 위한 모션 가이드 정보를 표시할 수 있다.
제어부(140)는 모션 입력부(120), 저장부(130) 및 디스플레이부(193)를 제어한다. 제어부(140)는 CPU(central processing unit) 및 전자 장치(100)를 제어하기 위한 모듈 및 데이터를 저장하는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
모션 입력부(120)를 통해 모션이 입력되는 경우, 제어부(140)는 모션 감지 모듈 및 모션 데이터베이스를 이용하여 모션을 인식한다. 모션 인식(motion recognition)은 모션 입력부(120)를 통해 입력되는 사용자의 모션에 대응되는 영상(예를 들어, 연속되는 프레임)을 모션 인식 모듈을 이용하여 주위 배경과 손(예를 들어, 손가락을 펴거나 손가락을 오므려 주먹을 쥐는) 영역으로 분리하고, 연속되는 손의 움직임을 인식할 수 있다. 사용자 모션이 입력되는 경우, 제어부(140)는 수신된 영상을 프레임 단위로 저장하고, 저장된 프레임을 이용하여 사용자 모션의 대상인 오브젝트(예를 들어, 사용자의 손)를 감지한다. 제어부(140)는 프레임에 포함된 오브젝트의 형태, 색깔, 움직임 중 적어도 하나를 감지하여 오브젝트를 검출한다. 제어부(140)는 복수 개의 프레임에 포함된 각각의 오브젝트의 위치를 이용하여 검출된 오브젝트의 움직임을 추적할 수 있다.
제어부(140)는 추적된 오브젝트의 형태 및 움직임에 따라 모션을 판단한다. 예를 들어, 제어부(140)는 오브젝트의 형태의 변화, 속도, 위치, 방향 중 적어도 하나를 이용하여 사용자의 모션을 판단한다. 사용자의 모션은 손을 쥐는 모션인 그랩(grab), 표시된 커서를 손으로 이동시키는 모션인 포인팅 이동(pointing move), 손을 일정 속도 이상으로 한쪽 방향으로 움직이는 모션인 슬랩(slap), 손을 좌/우 또는 상/하로 흔드는 모션인 쉐이크(shake) 및 손을 회전하는 모션인 회전을 포함한다. 상술한 실시 예에 이외의 다른 모션에도 본 발명의 기술적 사상이 적용될 수 있다. 예를 들어, 쥐어진 손을 펴는 스프레드(spread) 모션 등이 더 포함될 수 있다.
제어부(140)는 사용자의 모션이 포인팅 이동인지, 슬랩인지 여부를 판단하기 위해, 오브젝트가 결정된 시간(예를 들어, 800ms) 내에 결정된 영역(예를 들어, 40cm x 40cm의 사각형)을 벗어났는지를 판단한다. 오브젝트가 결정된 시간 내에 결정된 영역을 벗어나지 않는 경우, 제어부(140)는 사용자의 모션을 포인팅 이동으로 판단할 수 있다. 오브젝트가 결정된 시간 내에 결정된 영역을 벗어난 경우, 제어부(140)는 사용자의 모션을 슬랩으로 판단할 수 있다. 다른 일 예로, 오브젝트의 속도가 기설정된 속도(예를 들어, 30 cm/s) 이하인 것으로 판단된 경우, 제어부(140)는 사용자의 모션을 포인팅 이동으로 판단한다. 오브젝트의 속도가 기설정된 속도 초과인 것으로 판단되는 경우, 제어부(140)는 사용자의 모션을 슬랩으로 판단한다.
제어부(140)는 상술한 바와 같이, 인식된 음성 및 모션을 이용하여, 전자 장치(100)의 태스크(task)를 수행한다. 전자 장치(100)의 태스크는 채널 변경, 볼륨 조절, 컨텐츠(예를 들어, 동영상, 음악, 사진 등)의 재생 또는 인터넷 브라우징 등과 같이, 전자 장치(100)에 의해 수행될 수 있는 기능 중 적어도 하나를 포함한다.
특히, 모션 입력부(120)를 통해 모션 개시 명령(trigger motion)이 입력되면, 제어부(140)는 전자 장치(100)의 모드를 모션 태스크 모드로 전환한다. 이때, 모션 개시 명령은 사용자의 한 손을 좌우로 복수 회 흔드는 모션일 수 있다. 그리고, 모션 태스크 모드는 전자 장치(100)를 모션 입력부(120)를 통해 입력된 사용자의 모션에 의해 제어되는 모드이다.
모션 태스크 모드로 전환되면, 제어부(140)는 모션 태스크 모드를 수행하기 위한 아이콘 및 포인터를 디스플레이부(193)에 디스플레이한다. 이때, 디스플레이되는 아이콘은 전자 장치(100)의 기능(예를 들어, 볼륨 조절, 채널 변경)을 제어하기 위한 아이콘이다. 그리고, 아이콘은 디스플레이 화면의 좌측 영역 및 우측 영역에 디스플레이될 수 있다. 또한, 포인터는 디스플레이 화면의 중앙 영역에 디스플레이될 수 있다.
그리고, 제어부(140)는 모션 입력부(120)를 통해 입력된 사용자의 제1 모션에 따라 포인터를 이동시킨다. 이때, 사용자의 제1 모션은 사용자의 손이 펴진 상태인 스프레드(spread) 모션을 말한다. 즉, 모션 입력부(120)를 통해 사용자의 손이 펴진 상태에서 이동되는 모션이 입력되면, 제어부(140)는 사용자의 손의 이동에 따라 포인터를 이동시킬 수 있다.
그리고, 포인터가 아이콘에 위치한 상태에서 모션 입력부(120)를 통해 사용자의 제2 모션이 입력되면, 제어부(140)는 아이콘에 대응되는 기능을 실행한다. 이때, 사용자의 제2 모션은 손을 쥐는 그랩(grab) 모션일 수 있다. 예를 들어, 포인터가 볼륨 업 아이콘에 위치한 상태에서 모션 입력부(120)를 통해 사용자의 그랩 모션이 입력되면, 제어부(140)는 현재 볼륨 레벨에서 볼륨 레벨을 "1" 증가시킬 수 있다.
여기서, 제어부(140)는 사용자의 제2 모션이 입력되는 동안 포인터의 위치가 움직이지 않고 고정되도록 제어한다. 이는 사용자의 제2 모션을 입력할 때, 사용자의 손이 움직인 것으로 판단되어 포인터의 위치가 변경되면, 사용자는 전자 장치(100)를 정확하게 제어할 수 없기 때문이다.
또한, 포인터가 아이콘에 위치하면서 제2 모션의 입력이 유지되면, 제어부(140)는 포인터가 위치하는 아이콘의 기능을 연속적으로 실행할 수 있다. 예를 들어, 포인터가 볼륨 다운 아이콘에 위치하면서 제2 모션의 입력이 유지되면, 제어부(140)는 볼륨 레벨을 계속해서 감소시킬 수 있다. 이때, 제2 모션의 입력이 계속 유지되면, 제어부(140)는 포인터가 위치하는 아이콘의 기능을 더욱 빠르게 실행할 수 있다. 예를 들어, 포인터가 볼륨 다운 아이콘에 위치하면서 제2 모션의 입력이 유지되면, 제어부(140)는 볼륨 레벨을 점점 빨리 감소시킬 수 있다.
그리고, 모션 입력부(120)를 통해 모션 종료 모션이 입력되면, 제어부(140)는 디스플레이된 복수의 아이콘 및 포인터를 디스플레이부(110)의 디스플레이 화면에서 제거할 수 있다. 이때, 모션 종료 모션과 모션 개시 모션은 동일한 모션일 수 있다
사용자의 모션, 복수의 아이콘 및 포인터를 이용하여 전자 장치(100)를 제어하는 방법에 대해서는 도 4 내지 도 9를 참조하여 추후에 자세히 설명하기로 한다.
도 2는 본 발명의 또 다른 실시 예에 따른, 전자 장치(100)의 구성을 나타내는 블럭도를 도시한 도면이다. 도 2를 참조하면, 전자 장치(100)는 음성 입력부(110), 모션 입력부(120), 저장부(130), 제어부(140), 방송 수신부(150), 외부단자 입력부(160), 리모컨 신호 수신부(170), 네트워크 인터페이스부(180) 및 영상 출력부(190)를 포함한다. 도 2에 도시된 전자 장치(100)는 셋탑박스(set-top box)로 구현될 수 있다.
한편, 도 2에 도시된 모션 입력부(120), 저장부(130) 및 제어부(140)에 대한 설명은 도 1에서 설명한 모션 입력부(120), 저장부(130) 및 제어부(140)에 대한 설명과 같으므로, 자세한 설명은 생략한다.
음성 입력부(110)는 사용자가 발화(utterance)한 음성을 입력받는다. 음성 입력부(110)는 입력된 음성 신호를 전기 신호로 변환하여 제어부(140)로 출력한다. 이때, 음성 입력부(110)는 마이크로 구현될 수 있다. 또한, 음성 입력부(110)는 전자 장치(100)와 일체형(all-in-one)뿐만 아니라 분리된 형태로 구현될 수 있다. 분리된 음성 입력부(110)는 전자 장치(100)와 유선 또는 무선 네트워크를 통하여 연결될 수 있다.
방송 수신부(150)는 유, 무선으로 외부로부터 방송 신호를 수신한다. 방송 신호는 영상(video), 오디오(audio) 및 부가 데이터(예를 들어, EPG)를 포함한다. 방송 수신부(150)는 지상파 방송, 케이블 방송, 위성 방송, 인터넷 방송 등과 같이 다양한 소스로부터 방송 신호를 수신할 수 있다.
외부단자 입력부(160)는 전자 장치(100)의 외부로부터 영상 데이터(예를 들어, 동영상 사진 등), 오디오 데이터(예를 들어, 음악 등) 등을 수신한다. 외부 단자 입력부(160)는 HDMI입력 단자(High-Definition Multimedia Interface input), 컴포넌트 입력 단자, PC 입력 단자, 또는 USB 입력 단자 중 적어도 하나를 포함할 수 있다. 리모컨 신호 수신부(170)는 외부의 리모컨으로부터 입력되는 리모컨 신호를 수신한다. 리모컨 신호 수신부(170)는 전자 장치(100)가 음성 태스크 모드이거나 모션 태스크 모드에서도 리모컨 신호를 수신할 수 있다.
네트워크 인터페이스부(180)는 제어부(140)의 제어에 의해 전자 장치(100)와 외부 장치(예를 들어, 서버)를 연결할 수 있다. 제어부(140)는 네트워크 인터페이스부(180)를 통해 연결된 외부 장치로부터 어플리케이션을 다운로드 하거나 웹 브라우징을 할 수 있다. 네트워크 인터페이스부(180)는 이더넷(Ethernet), 무선랜(182) 및 블루투스(bluetooth) 중 적어도 하나를 제공할 수 있다.
영상 출력부(190)는 방송 수신부(150)를 통해 수신되는 외부의 방송 신호, 또는 외부단자 입력부(160)에서 입력되는 영상 데이터, 또는 저장부(130)에 저장된 영상 데이터를 외부의 전자 장치(예를 들어, 모니터, TV)로 출력한다. 또한, 영상 출력부(190)는 도 5에 도시된 화각 설정 UI(500)를 외부의 디스플레이 장치에 디스플레이될 수 있도록 출력할 수 있다.
제어부(140)는 음성 입력부(110)로부터 사용자 음성이 입력되면, 음성 인식 모듈 및 음성 데이터베이스를 이용하여 음성을 인식한다. 음성 인식(voice recognition)은 입력되는 음성의 형태에 따라, 각각의 단어를 구분하여 발화한 음성을 인식하는 고립단어 인식(isolated word recognition), 연속단어, 연속문장 및 대화체 음성을 인식하는 연속 음성 인식(continuous speech recognition) 및 고립단어 인식과 연속음성 인식의 중간형태로, 미리 정해진 핵심어를 검출하여 인식하는 핵심어 검출(keyword spotting)으로 구분될 수 있다.
사용자 음성이 입력되는 경우, 제어부(140)는 입력된 음성 신호 내에서 사용자가 발화한 음성의 시작과 끝을 검출하여 음성 구간을 판단한다. 제어부(140)는 입력된 음성 신호의 에너지를 계산하고, 계산된 에너지에 따라 음성 신호의 에너지 레벨을 분류하여, 동적 프로그래밍을 통해 음성 구간을 검출할 수 있다. 제어부(140)은 검출된 음성 구간 내의 음성 신호에서 음향 모델(Acoustic Model)을 기초로 음성의 최소 단위인 음소를 검출하여 음소 데이터를 생성한다. 제어부(140)은 생성된 음소 데이터에 HMM(Hidden Markov Model) 확률 모델을 적용하여 텍스트 정보를 생성한다. 그러나, 상술한 바와 같이, 사용자의 음성을 인식하는 방법은 일 실시예에 불과할 뿐, 다른 방법을 이용하여 사용자 음성을 인식할 수 있다. 이에 따라, 제어부(140)는 음성 신호 중에 포함된 사용자의 음성을 인식할 수 있다.
도 3은 본 발명의 또 다른 실시 예에 따른, 전자 장치(100)의 블럭도를 도시한 도면이다. 도 3에 도시된 바와 같이, 전자 장치(100)는 음성 입력부(110), 모션 입력부(120), 저장부(130), 제어부(140), 방송 수신부(150), 외부단자 입력부(160), 리모컨 신호 수신부(170), 네트워크 인터페이스부(180), 디스플레이부(193) 및 오디오 출력부(196)를 포함한다. 이때, 전자 장치(100)는 디지털 TV일 수 있으나, 이에 한정되는 것은 아니다.
한편, 도 3에서 음성 입력부(110), 모션 입력부(120), 저장부(130), 제어부(140), 방송 수신부(150), 외부단자 입력부(160), 리모컨신호 수신부(170), 네트워크 인터페이스부(180) 및 디스플레이부(193)에 대한 설명은 도 1 및 도 2에서 동일한 참조번호를 가지는 구성에 대한 설명과 같으므로, 자세한 설명은 생략한다.
오디오 출력부(196)는 제어부(140)의 제어에 의해 방송 신호에 대응되는 음성을 출력한다. 오디오 출력부(196)는 스피커(196a), 헤드폰 출력 단자(196b) 또는 S/PDIF 출력 단자(163c) 중 적어도 하나를 포함할 수 있다.
한편, 저장부(130)는 도 3에 도시된 바와 같이, 전원 제어 모듈(130a), 채널 제어 모듈(130b), 볼륨 제어 모듈(130c), 외부입력 제어 모듈(130d), 화면 제어 모듈(130e), 오디오 제어 모듈(130f), 인터넷 제어 모듈(130g), 어플리케이션 모듈(130h), 검색 제어 모듈(130i), UI 처리 모듈(130j), 음성 인식 모듈(130k), 모션 인식 모듈(130l), 음성 데이터베이스(130m) 및 모션 데이터베이스(130n)를 포함한다. 이들 모듈들(130a 내지 130n)은 각각 전원 제어 기능, 채널 제어 기능, 볼륨 제어 기능, 외부 입력 제어 기능, 화면 제어 기능, 오디오 제어 기능, 인터넷 제어 기능, 어플리케이션 실행 기능, 검색 제어 기능, UI 처리 기능을 수행하기 위하여 소프트웨어로 구현될 수 있다. 제어부(140)는 저장부(130)에 저장된 이들 소프트웨어를 실행시켜 해당 기능을 수행할 수 있다.
이하에서는 도 4 내지 도 9를 참조하여, 본 발명의 다양한 실시 예에 대해 설명하기로 한다.
제어부(140)는 방송 수신부(140)를 통해 수신된 방송 신호를 신호처리하여 도 4에 도시된 바와 같이, 방송 영상(400)을 디스플레이 화면에 디스플레이한다.
이때, 모션 입력부(120)를 통해 모션 개시 명령이 입력되면, 제어부(140)는 전자 장치(100)의 모드를 모션 태스크 모드로 전환한다. 이때, 모션 태스크 모드라 함은, 전자 장치(100)를 모션 입력부(120)를 통해 사용자의 모션에 의해 제어하는 모드이다.
모션 태스크 모드로 전환되면, 제어부(140)는 전자 장치(100)의 특정 기능을 수행하기 위한 복수의 아이콘(510,530,540,560) 및 포인터가 디스플레이(570)된다. 구체적으로, 도 5에 도시된 바와 같이, 제어부(140)는 디스플레이 화면의 좌측 영역에 볼륨 레벨 제어를 위한 볼륨 업 아이콘(510) 및 볼륨 다운 아이콘(530)을 디스플레이하고, 디스플레이 화면의 우측 영역에 채널 제어를 위한 채널 업 아이콘(540), 채널 다운 아이콘(560)을 디스플레이하며, 디스플레이 화면의 중앙 영역에 포인터(570)를 디스플레이한다.
이때, 볼륨 업 아이콘(510) 및 볼륨 다운 아이콘(530) 사이에는 현재 전자 장치(100)에 설정된 볼륨 레벨 정보(520)가 디스플레이된다. 그리고, 채널 업 아이콘(540) 및 채널 다운 아이콘(560) 사이에는 현재 전자 장치(100)에 설정된 채널 정보(예를 들어, 채널 명, 채널 번호)(550)가 디스플레이된다. 따라서, 사용자는 현재 설정된 채널 정보 및 볼륨 레벨 정보를 쉽게 확인할 수 있게 된다.
한편, 상술한 실시예에서는 볼륨 레벨 제어를 위한 아이콘(510,530)이 좌측 영역에 디스플레이되고, 채널 제어를 위한 아이콘(540,560)이 우측 영역에 디스플레이되는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 다른 영역에 디스플레이될 수 있다.
또한, 상술한 실시예에서는 볼륨 레벨 제어를 위한 아이콘(510,530) 및 채널 제어를 위한 아이콘(540,560)이 디스플레이되는 것으로 설명하였으나, 전자 장치(100)의 다른 기능을 제어하기 위한 아이콘(예를 들어, 소리 끄기, 전원 끄기 등)를 위한 아이콘이 디스플레이될 수 있다.
복수의 아이콘(510,530,540,560) 및 포인터(570)가 디스플레이된 상태에서 모션 입력부(120)를 통해 사용자의 손이 펴진 상태에서 이동되는 모션이 입력되면, 제어부(140)는 이동 모션에 따라 포인터(570)를 이동시킨다.
그리고, 포인터(570)가 복수의 아이콘(510,530,540,560) 중 하나의 아이콘 상에 위치한 상태에서 모션 입력부(120)를 통해 사용자의 그랩 모션이 입력되면, 제어부(140)는 포인터(570)가 위치한 아이콘에 대응되는 기능을 실행시킬 수 있다.
예를 들어, 모션 입력부(120)를 통해 사용자의 손이 펴진 상태에서 좌측으로 이동되는 모션이 입력되면, 제어부(140)는 이동 모션에 따라 포인터(570)를 좌측으로 이동시킨다. 그리고, 도 6에 도시된 바와 같이, 포인터(570)가 볼륨 다운 아이콘(530) 상에 위치한 상태에서 모션 입력부(120)를 통해 사용자의 그랩 모션이 한 번 입력되면, 제어부(140)는 현재 전자 장치(100)에 설정된 볼륨 레벨을 "1" 줄인다. 즉, 현재 전자 장치(100)에 설정된 볼륨 레벨이 "21"인 경우, 포인터(570)가 볼륨 다운 아이콘(530) 상에 위치한 상태에서 모션 입력부(120)를 통해 사용자의 그랩 모션이 한 번 입력되면, 제어부(140)는 현재 전자 장치(100)의 볼륨 레벨을 "20"으로 설정한다. 그리고, 제어부(140)는 전자 장치(100)의 볼륨 레벨을 조절할 뿐 아니라, 도 7에 도시된 바와 같이, 볼륨 레벨 정보(520) 역시 변경되도록 한다.
이때, 제어부(140)는 모션 입력부(120)를 통해 그랩 모션이 입력되는 경우, 사용자의 손이 움직이더라도 포인터(570)의 위치를 변경시키지 않고 고정시킬 수 있다.
또한, 포인터(570)가 볼륨 다운 아이콘(530) 상에 위치한 상태에서 모션 입력부(120)를 통해 사용자의 그랩 모션이 계속해서 입력되면, 제어부(140)는 현재 전자 장치(100)의 볼륨 레벨을 계속해서 감소할 수 있다.
또 다른 예로, 모션 입력부(120)를 통해 사용자의 손이 펴진 상태에서 우측으로 이동되는 모션이 입력되면, 제어부(140)는 이동 모션에 따라 포인터(570)를 우측으로 이동시킨다. 그리고, 도 8에 도시된 바와 같이, 포인터(570)가 채널 다운 아이콘(560) 상에 위치한 상태에서 모션 입력부(120)를 통해 사용자의 그랩 모션이 두 번 입력되면, 제어부(140)는 현재 전자 장치(100)에 설정된 채널 번호에서 "2" 감소된 방송 영상을 수신하여 디스플레이한다. 즉, 현재 전자 장치(100)에 설정된 채널 번호가 "11"인 경우, 포인터(570)가 채널 다운 아이콘(560) 상에 위치한 상태에서 모션 입력부(120)를 통해 사용자의 그랩 모션이 두 번 입력되면, 제어부(140)는 현재 전자 장치(100)의 채널 번호가 "9"인 방송 영상을 수신하여 디스플레이할 수 있다. 그리고, 제어부(140)는 전자 장치(100)의 채널을 제어할 뿐 아니라, 도 9에 도시된 바와 같이, 채널 정보(550) 역시 변경되도록 한다.
또한, 포인터(570)가 채널 다운 아이콘(560) 상에 위치한 상태에서 모션 입력부(120)를 통해 사용자의 그랩 모션이 계속해서 입력되면, 제어부(140)는 현재 전자 장치(100)의 채널 번호를 계속해서 감소할 수 있다.
상술한 바와 같은 전자 장치(100)에 의해, 사용자는 모션을 이용하여 편리하고 직관적으로 디스플레이 장치를 제어할 수 있게 된다.
이하에서는 도 10을 참조하여, 사용자 모션을 이용한 전자 장치(100)의 제어 방법에 대해 더욱 상세히 설명하도록 한다.
우선, 전자 장치(100)는 모션 입력부(120)를 통해 모션 개시 명령이 입력되었는지 여부를 판단한다(S1010). 이때, 모션 개시 명령은 사용자의 손을 좌우로 복수 회 흔드는 모션일 수 있다.
모션 개시 명령이 입력되면(S1010-Y), 전자 장치(100)는 전자 장치(100)의 모드를 모션 태스크 모드로 전환한다(S1020). 이때, 모션 태스크 모드는 전자 장치(100)를 사용자 모션에 의해 제어하는 모드이다.
모션 태스크 모드로 전환되면, 전자 장치(100)는 디스플레이 화면에 복수의 아이콘 및 포인터를 디스플레이한다(S1030), 이때, 복수의 아이콘은 디스플레이 화면의 좌측 영역 또는 우측 영역에 디스플레이되며, 포인터는 디스플레이 화면의 중앙 영역에 디스플레이될 수 있다. 또한, 복수의 아이콘에는 채널 설정을 위한 아이콘 및 볼륨 레벨 설정을 위한 아이콘이 포함될 수 있다.
그리고, 전자 장치(100)는 모션 입력부(120)를 통해 사용자의 제1 모션이 입력되었는지 여부를 판단한다(S1040). 이때, 사용자 모션은 사용자의 손을 편 상태에서 이동하는 모션일 수 있다.
제1 모션이 입력되었다고 판단되면(S1040-Y), 전자 장치(100)는 제1 모션에 따라 디스플레이 화면의 포인터를 이동시킨다(S1050).
그리고, 전자 장치(100)는 모션 입력부(120)를 통해 사용자의 제2 모션이 입력되었는지 여부를 판단한다(S1060). 이때, 사용자 모션은 사용자의 손을 쥐는 그랩 모션일 수 있다.
제2 모션이 입력되었다고 판단되면(S1060-Y), 전자 장치(100)는 포인터가 위치하는 아이콘에 대응되는 기능을 실행시킨다. 예를 들어, 포인터가 볼륨 업 아이콘에 위치하고, 제2 모션이 입력되었다고 판단되면, 전자 장치(100)는 현재 전자 장치(100)에 설정된 볼륨 레벨을 증가시킨다. 또한, 포인터가 특정 아이콘에 위치한 상태에서 제2 모션이 계속해서 입력되면, 전자 장치(100)는 포인터가 위치하는 아이콘의 기능을 계속해서 실행시킬 수 있게 된다.
그리고, 전자 장치(100)는 제2 모션이 입력되는 경우, 사용자의 손이 움직이더라도, 포인터를 움직이지 않고 고정시킬 수 있게 된다.
상술한 바와 같은 전자 장치의 제어 방법에 의해, 사용자는 사용자 모션을 이용하여 더욱 편리하고 직관적으로 전자 장치(100)를 제어할 수 있게 된다.
이상과 같은 다양한 실시 예에 따른 제어 방법을 수행하기 위한 프로그램 코드는 다양한 유형의 기록 매체에 저장될 수 있다. 구체적으로는, RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110: 음성 입력부 120: 모션 입력부
130: 저장부 140: 제어부
150: 방송 수신부 160: 외부단자 입력부
170: 리모컨 신호 수신부 180: 네트워크 인터페이스부
190: 영상 출력부 193: 디스플레이부
196: 오디오 출력부

Claims (16)

  1. 전자 장치의 제어 방법에 있어서,
    모션 개시 명령(trigger motion)이 입력되면, 모션 태스크 모드를 수행하기 위한 아이콘 및 포인터를 디스플레이하는 단계;
    사용자의 제1 모션에 따라 상기 포인터를 이동시키는 단계; 및
    상기 포인터가 상기 아이콘에 위치한 상태에서 상기 사용자의 제2 모션이 입력되면, 상기 아이콘에 대응되는 기능을 실행하는 단계;를 포함하며,
    상기 아이콘에 위치한 상기 포인터는,
    상기 사용자의 제2 모션이 입력되는 동안 움직이지 않고 고정되는 것을 특징으로 하는 제어 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 실행하는 단계는,
    상기 포인터가 상기 아이콘에 위치하면서 상기 제2 모션의 입력이 유지되면, 상기 포인터가 위치하는 아이콘의 기능을 연속적으로 실행하는 것을 특징으로 하는 제어 방법.
  4. 제1항에 있어서,
    상기 사용자의 제1 모션은,
    사용자의 손을 편 스프레드(spread) 모션이고,
    상기 사용자의 제2 모션은,
    상기 사용자의 손을 쥐는 그랩(grab) 모션인 것을 특징으로 하는 제어 방법.
  5. 제1항에 있어서,
    상기 아이콘은
    볼륨-업 아이콘, 볼륨-다운 아이콘, 채널-업 아이콘 및 채널-다운 아이콘 중 적어도 하나를 포함하는 것을 특징으로 하는 제어 방법.
  6. 제1항에 있어서,
    상기 아이콘은,
    디스플레이 화면의 좌측 영역 및 우측 영역 중 하나에 디스플레이되는 볼륨-업 아이콘 및 볼륨-다운 아이콘; 및,
    상기 디스플레이 화면의 좌측 영역 및 우측 영역 중 다른 하나에 디스플레이되는 채널-업 아이콘 및 채널-다운 아이콘을 포함하는 것을 특징으로 하는 제어 방법.
  7. 제6항에 있어서,
    상기 볼륨-업 아이콘 및 상기 볼륨-다운 아이콘이 디스플레이되는 영역에는 상기 전자 장치의 현재 설정된 볼륨 레벨 정보가 디스플레이되고,
    상기 채널-업 아이콘 및 상기 채널-다운 아이콘이 디스플레이되는 영역에는 상기 전자 장치의 현재 설정된 채널 정보가 디스플레이되는 것을 특징으로 하는 제어 방법.
  8. 제1항에 있어서,
    모션 종료 모션이 입력되면, 상기 디스플레이된 복수의 아이콘 및 포인터를 디스플레이 화면에서 제거하는 단계;를 더 포함하는 제어 방법.
  9. 전자 장치에 있어서,
    사용자의 모션을 입력받는 모션 입력부;
    디스플레이부; 및
    상기 모션 입력부를 통해 모션 개시 명령(trigger motion)이 입력되면, 모션 태스크 모드를 수행하기 위한 아이콘 및 포인터를 디스플레이하고, 상기 모션 입력부에 입력된 사용자의 제1 모션이 따라 상기 포인터를 이동시키도록 상기 디스플레이부를 제어하고, 상기 포인터가 상기 아이콘에 위치한 상태에서 상기 모션 입력부에 사용자의 제2 모션이 입력되면, 상기 아이콘에 대응되는 기능을 실행하는 제어부;를 포함하며,
    상기 제어부는,
    상기 사용자의 제2 모션이 입력되는 동안 상기 포인터의 위치를 움직이지 않고 고정시키는 것을 특징으로 하는 전자 장치.
  10. 삭제
  11. 제9항에 있어서,
    상기 제어부는,
    상기 포인터가 상기 아이콘에 위치하면서 상기 제2 모션의 입력이 유지되면, 상기 포인터가 위치하는 아이콘의 기능을 연속적으로 실행하는 것을 특징으로 하는 전자 장치.
  12. 제9항에 있어서,
    상기 사용자의 제1 모션은,
    사용자의 손을 편 스프레드(spread) 모션이고,
    상기 사용자의 제2 모션은,
    상기 사용자의 손을 쥐는 그랩(grab) 모션인 것을 특징으로 하는 전자 장치.
  13. 제9항에 있어서,
    상기 아이콘은
    볼륨-업 아이콘, 볼륨-다운 아이콘, 채널-업 아이콘 및 채널-다운 아이콘 중 적어도 하나를 포함하는 것을 특징으로 하는 전자 장치.
  14. 제9항에 있어서,
    상기 아이콘은,
    디스플레이 화면의 좌측 영역 및 우측 영역 중 하나에 디스플레이되는 볼륨-업 아이콘 및 볼륨-다운 아이콘; 및,
    상기 디스플레이 화면의 좌측 영역 및 우측 영역 중 다른 하나에 디스플레이되는 채널-업 아이콘 및 채널-다운 아이콘을 포함하는 것을 특징으로 하는 전자 장치.
  15. 제14항에 있어서,
    상기 볼륨-업 아이콘 및 상기 볼륨-다운 아이콘이 디스플레이되는 영역에는 상기 전자 장치의 현재 설정된 볼륨 레벨 정보가 디스플레이되고,
    상기 채널-업 아이콘 및 상기 채널-다운 아이콘이 디스플레이되는 영역에는 상기 전자 장치의 현재 설정된 채널 정보가 디스플레이되는 것을 특징으로 하는 전자 장치.
  16. 제9항에 있어서,
    상기 제어부는,
    상기 모션 입력부를 통해 모션 종료 모션이 입력되면, 상기 디스플레이된 복수의 아이콘 및 포인터를 상기 디스플레이부의 디스플레이 화면에서 제거하는 것을 특징으로 하는 전자 장치.
KR1020110147457A 2011-12-30 2011-12-30 전자 장치 및 그의 제어 방법 KR101237472B1 (ko)

Priority Applications (9)

Application Number Priority Date Filing Date Title
KR1020110147457A KR101237472B1 (ko) 2011-12-30 2011-12-30 전자 장치 및 그의 제어 방법
US13/593,952 US20130174099A1 (en) 2011-12-30 2012-08-24 Electronic apparatus and method for controlling thereof
AU2012216583A AU2012216583B2 (en) 2011-12-30 2012-08-31 Electronic apparatus and method for controlling thereof
EP12185919.3A EP2610705A1 (en) 2011-12-30 2012-09-25 Electronic Apparatus and Method for Controlling Thereof
EP15185533.5A EP3009919A1 (en) 2011-12-30 2012-09-25 Electronic apparatus and method for controlling thereof
CN2012103949616A CN103197862A (zh) 2011-12-30 2012-10-17 电子设备及其控制方法
PCT/KR2012/009897 WO2013100367A1 (en) 2011-12-30 2012-11-22 Electronic apparatus and method for controlling thereof
JP2012275273A JP2013140578A (ja) 2011-12-30 2012-12-18 電子装置及びその制御方法
US13/737,076 US20130174036A1 (en) 2011-12-30 2013-01-09 Electronic apparatus and method for controlling thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110147457A KR101237472B1 (ko) 2011-12-30 2011-12-30 전자 장치 및 그의 제어 방법

Publications (1)

Publication Number Publication Date
KR101237472B1 true KR101237472B1 (ko) 2013-02-28

Family

ID=47290578

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110147457A KR101237472B1 (ko) 2011-12-30 2011-12-30 전자 장치 및 그의 제어 방법

Country Status (7)

Country Link
US (2) US20130174099A1 (ko)
EP (2) EP3009919A1 (ko)
JP (1) JP2013140578A (ko)
KR (1) KR101237472B1 (ko)
CN (1) CN103197862A (ko)
AU (1) AU2012216583B2 (ko)
WO (1) WO2013100367A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2872967B1 (en) 2012-07-13 2018-11-21 Sony Depthsensing Solutions SA/NV Method and system for detecting hand-related parameters for human-to-computer gesture-based interaction
US9582737B2 (en) * 2013-09-13 2017-02-28 Qualcomm Incorporated Context-sensitive gesture classification
EP2891950B1 (en) * 2014-01-07 2018-08-15 Sony Depthsensing Solutions Human-to-computer natural three-dimensional hand gesture based navigation method
US10222866B2 (en) 2014-03-24 2019-03-05 Beijing Lenovo Software Ltd. Information processing method and electronic device
CN104951051B (zh) * 2014-03-24 2018-07-06 联想(北京)有限公司 一种信息处理方法和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US20070252898A1 (en) 2002-04-05 2007-11-01 Bruno Delean Remote control apparatus using gesture recognition
KR20100000734A (ko) * 2008-06-25 2010-01-06 엘지전자 주식회사 디스플레이 장치 및 상기 디스플레이 장치의 동작 방법
KR20100129629A (ko) * 2009-06-01 2010-12-09 엘지전자 주식회사 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4902878A (en) * 1988-11-04 1990-02-20 General Electric Company Data entry and control arrangement for an appliance
US6094188A (en) * 1990-11-30 2000-07-25 Sun Microsystems, Inc. Radio frequency tracking system
JPH05281937A (ja) * 1992-03-31 1993-10-29 Toshiba Corp 情報処理装置及び表示制御方法
US6075575A (en) * 1995-10-02 2000-06-13 Starsight Telecast, Inc. Remote control device and method for using television schedule information
US5825308A (en) * 1996-11-26 1998-10-20 Immersion Human Interface Corporation Force feedback interface having isotonic and isometric functionality
US6078308A (en) * 1995-12-13 2000-06-20 Immersion Corporation Graphical click surfaces for force feedback applications to provide user selection using cursor interaction with a trigger position within a boundary of a graphical object
US5764901A (en) * 1995-12-21 1998-06-09 Intel Corporation Record and playback in a data conference
US6747632B2 (en) * 1997-03-06 2004-06-08 Harmonic Research, Inc. Wireless control device
JPH1195912A (ja) * 1997-09-22 1999-04-09 Sanyo Electric Co Ltd 座標入力装置、座標入力方法及び座標入力プログラムを記録したコンピュータ読み取り可能な記録媒体
US6278443B1 (en) * 1998-04-30 2001-08-21 International Business Machines Corporation Touch screen with random finger placement and rolling on screen to control the movement of information on-screen
TW519836B (en) * 1999-09-24 2003-02-01 United Video Properties Inc Interactive television program guide with enhanced user interface
US6765557B1 (en) * 2000-04-10 2004-07-20 Interlink Electronics, Inc. Remote control having touch pad to screen mapping
US6515687B1 (en) * 2000-05-25 2003-02-04 International Business Machines Corporation Virtual joystick graphical user interface control with one and two dimensional operation
US7340077B2 (en) * 2002-02-15 2008-03-04 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US7352359B2 (en) * 2002-07-27 2008-04-01 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to inertial tracking
EP1408443B1 (en) * 2002-10-07 2006-10-18 Sony France S.A. Method and apparatus for analysing gestures produced by a human, e.g. for commanding apparatus by gesture recognition
US7236156B2 (en) * 2004-04-30 2007-06-26 Hillcrest Laboratories, Inc. Methods and devices for identifying users based on tremor
KR101085917B1 (ko) * 2004-04-30 2011-11-23 삼성전자주식회사 디지털 캡션과 ｏｓｄ를 동일한 스타일의 문자로 표시할수 있는 방송수신장치 및 문자정보 표시방법
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
TWI251163B (en) * 2004-10-29 2006-03-11 Avision Inc Apparatus and method for adjusting a digital setting value at a variable speed
CN101124534A (zh) * 2005-02-24 2008-02-13 诺基亚公司 用于计算终端的运动输入设备及其操作方法
US9201507B2 (en) * 2005-11-15 2015-12-01 Carefusion 303, Inc. System and method for rapid input of data
US20070113207A1 (en) * 2005-11-16 2007-05-17 Hillcrest Laboratories, Inc. Methods and systems for gesture classification in 3D pointing devices
US8537111B2 (en) * 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
JP4151982B2 (ja) * 2006-03-10 2008-09-17 任天堂株式会社 動き判別装置および動き判別プログラム
KR20070103895A (ko) * 2006-04-20 2007-10-25 강남대학교 산학협력단 손 제스쳐 인식 시스템 및 방법
JP2008146243A (ja) * 2006-12-07 2008-06-26 Toshiba Corp 情報処理装置、情報処理方法、及びプログラム
KR100827243B1 (ko) * 2006-12-18 2008-05-07 삼성전자주식회사 3차원 공간상에서 정보를 입력하는 정보 입력 장치 및 그방법
JP5127242B2 (ja) * 2007-01-19 2013-01-23 任天堂株式会社 加速度データ処理プログラムおよびゲームプログラム
US8436948B2 (en) * 2007-03-07 2013-05-07 Rohm Co., Ltd. Remote control system, television set and remote controller using manipulation signals
KR101358767B1 (ko) * 2007-04-02 2014-02-07 삼성전자주식회사 사용자 입력장치의 공간상 이동에 기초한 사용자 명령수행방법 및 이를 적용한 영상기기
KR101391602B1 (ko) * 2007-05-29 2014-05-07 삼성전자주식회사 터치 스크린 기반의 사용자 인터페이스 인터렉션 방법 및 멀티 미디어 단말 기기
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
CN101952818B (zh) * 2007-09-14 2016-05-25 智慧投资控股81有限责任公司 基于姿态的用户交互的处理
JP4569613B2 (ja) * 2007-09-19 2010-10-27 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US8073198B2 (en) * 2007-10-26 2011-12-06 Samsung Electronics Co., Ltd. System and method for selection of an object of interest during physical browsing by finger framing
US7975243B2 (en) * 2008-02-25 2011-07-05 Samsung Electronics Co., Ltd. System and method for television control using hand gestures
US8555207B2 (en) * 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
US20090254855A1 (en) * 2008-04-08 2009-10-08 Sony Ericsson Mobile Communications, Ab Communication terminals with superimposed user interface
US20090284478A1 (en) * 2008-05-15 2009-11-19 Microsoft Corporation Multi-Contact and Single-Contact Input
EP2304527A4 (en) * 2008-06-18 2013-03-27 Oblong Ind Inc GESTIK BASED CONTROL SYSTEM FOR VEHICLE INTERFACES
US8514251B2 (en) * 2008-06-23 2013-08-20 Qualcomm Incorporated Enhanced character input using recognized gestures
JP4720874B2 (ja) * 2008-08-14 2011-07-13 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム
US8264381B2 (en) * 2008-08-22 2012-09-11 Microsoft Corporation Continuous automatic key control
JP5393190B2 (ja) * 2009-02-17 2014-01-22 キヤノン株式会社 表示制御装置、表示制御装置の制御方法、プログラム、及び記録媒体
US20100235786A1 (en) * 2009-03-13 2010-09-16 Primesense Ltd. Enhanced 3d interfacing for remote devices
DE102009017772A1 (de) * 2009-04-16 2010-11-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und System zum Erkennen eines Objektes, und Verfahren und System zum Erzeugen einer Markierung in einer Bildschirmdarstellung mittels eines berührungslos gestikgesteuerten Bildschirmzeigers
US8181123B2 (en) * 2009-05-01 2012-05-15 Microsoft Corporation Managing virtual port associations to users in a gesture-based computing environment
US8428368B2 (en) * 2009-07-31 2013-04-23 Echostar Technologies L.L.C. Systems and methods for hand gesture control of an electronic device
JP4988016B2 (ja) * 2009-08-27 2012-08-01 韓國電子通信研究院 指の動き検出装置およびその方法
US8438503B2 (en) * 2009-09-02 2013-05-07 Universal Electronics Inc. System and method for enhanced command input
US9513798B2 (en) * 2009-10-01 2016-12-06 Microsoft Technology Licensing, Llc Indirect multi-touch interaction
EP2494432B1 (en) * 2009-10-27 2019-05-29 Harmonix Music Systems, Inc. Gesture-based user interface
JP5122544B2 (ja) * 2009-10-30 2013-01-16 京セラドキュメントソリューションズ株式会社 数値入力装置及び該数値入力装置を備えた画像形成装置
CN101853568A (zh) * 2010-04-13 2010-10-06 鸿富锦精密工业（深圳）有限公司 手势遥控装置
JP2011258158A (ja) * 2010-06-11 2011-12-22 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
US20120032877A1 (en) * 2010-08-09 2012-02-09 XMG Studio Motion Driven Gestures For Customization In Augmented Reality Applications
JP4918945B2 (ja) * 2010-09-13 2012-04-18 セイコーエプソン株式会社 画像表示装置、画像表示方法及びプログラム
US8228315B1 (en) * 2011-07-12 2012-07-24 Google Inc. Methods and systems for a virtual input device
US20130100115A1 (en) * 2011-10-21 2013-04-25 Digital Artforms, Inc. Systems and methods for human-computer interaction using a two handed interface

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US20070252898A1 (en) 2002-04-05 2007-11-01 Bruno Delean Remote control apparatus using gesture recognition
KR20100000734A (ko) * 2008-06-25 2010-01-06 엘지전자 주식회사 디스플레이 장치 및 상기 디스플레이 장치의 동작 방법
KR20100129629A (ko) * 2009-06-01 2010-12-09 엘지전자 주식회사 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치

Also Published As

Publication number Publication date
EP2610705A1 (en) 2013-07-03
WO2013100367A1 (en) 2013-07-04
AU2012216583A1 (en) 2013-07-18
US20130174036A1 (en) 2013-07-04
US20130174099A1 (en) 2013-07-04
JP2013140578A (ja) 2013-07-18
EP3009919A1 (en) 2016-04-20
AU2012216583B2 (en) 2014-06-26
CN103197862A (zh) 2013-07-10

Similar Documents

Publication Publication Date Title
JP5535298B2 (ja) 電子装置及びその制御方法
EP2626771B1 (en) Display apparatus and method for controlling a camera mounted on a display apparatus
KR20130078486A (ko) 전자 장치 및 그의 제어 방법
KR102003267B1 (ko) 전자 장치 및 그의 제어 방법
KR101237472B1 (ko) 전자 장치 및 그의 제어 방법
KR20140089858A (ko) 전자 장치 및 그의 제어 방법
US20140195981A1 (en) Electronic apparatus and control method thereof
KR20140085055A (ko) 전자 장치 및 그의 제어 방법
KR20130078483A (ko) 전자 장치 및 그의 제어 방법
KR20130080380A (ko) 전자 장치 및 그의 제어 방법
KR101324232B1 (ko) 전자 장치 및 그의 제어 방법
KR102066564B1 (ko) 전자 장치 및 그의 제어 방법
KR20130078490A (ko) 전자 장치 및 그의 제어 방법
JP2015535971A (ja) ディスプレイ装置及びその制御方法
KR20140089238A (ko) 전자 장치 및 그의 제어 방법
KR20130078489A (ko) 전자 장치 및 이의 화각 설정 방법

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160128

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170125

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180130

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190130

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20200130

Year of fee payment: 8