KR102066564B1 - 전자 장치 및 그의 제어 방법 - Google Patents

전자 장치 및 그의 제어 방법 Download PDF

Info

Publication number
KR102066564B1
KR102066564B1 KR1020120101158A KR20120101158A KR102066564B1 KR 102066564 B1 KR102066564 B1 KR 102066564B1 KR 1020120101158 A KR1020120101158 A KR 1020120101158A KR 20120101158 A KR20120101158 A KR 20120101158A KR 102066564 B1 KR102066564 B1 KR 102066564B1
Authority
KR
South Korea
Prior art keywords
voice
input
electronic device
user
motion
Prior art date
Application number
KR1020120101158A
Other languages
English (en)
Other versions
KR20130092360A (ko
Inventor
한상진
김민형
김정근
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP13154601.2A priority Critical patent/EP2626771B1/en
Priority to US13/763,118 priority patent/US9225891B2/en
Publication of KR20130092360A publication Critical patent/KR20130092360A/ko
Priority to JP2015531021A priority patent/JP2015535971A/ja
Priority to CN201380047392.0A priority patent/CN104620593B/zh
Priority to PCT/KR2013/008262 priority patent/WO2014042445A1/en
Application granted granted Critical
Publication of KR102066564B1 publication Critical patent/KR102066564B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast

Abstract

전자 장치 및 그의 화각 설정 방법이 제공된다. 본 전자 장치의 화각 설정 방법은, 기 설정된 이벤트가 발생되면, 디스플레이 화면의 일 영역에 전자 장치에 연결된 카메라 화각의 설정을 안내하는 화각 안내 UI를 디스플레이하고, 화각 안내 UI를 이용하여 상기 카메라의 화각을 설정한다. 이에 의해, 사용자는 화각 안내 UI를 이용하여 더욱 용이하게 카메라의 화각을 설정할 수 있게 된다.

Description

전자 장치 및 그의 제어 방법{Electronic apparatus and Method for controlling electronic apparatus thereof}
본 발명은 전자 장치 및 그의 제어 방법에 관한 것으로, 더욱 상세하게는 사용자 음성 또는 사용자 모션에 따라 제어되는 전자 장치 및 그의 제어 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 종류의 전자 장치가 개발되어 보급되고 있다. 특히, 최근에는 TV를 비롯한 다양한 유형의 전자 장치들이 일반 가정에서 사용되고 있다. 이들 전자 장치들은 사용자의 요구에 따라 점차 다양한 기능을 구비하게 되었다. 특히, TV의 경우, 최근에는 인터넷과 연결되어 인터넷 서비스까지 지원하고 있다. 또한, 사용자는 TV를 통해 많은 수의 디지털 방송 채널까지 시청할 수 있게 되었다.
이에 따라, 전자 장치의 다양한 기능들을 효율적으로 사용하기 위한 다양한 입력 방법이 요구되고 있다. 예를 들어, 리모컨을 이용한 입력 방법, 마우스를 이용한 입력 방법 및 터치 패드를 이용한 입력 방법 등이 전자 장치에 적용되고 있다.
하지만, 이러한 단순한 입력 방법만으로는, 전자 장치의 다양한 기능을 효과적으로 사용하기에는 어려움이 있었다. 가령, 전자 장치의 모든 기능들을 리모컨만으로 제어하도록 구현하게 되면, 리모컨의 버튼 수를 늘리는 것이 불가피하였다. 이 경우, 일반 사용자가 리모컨의 사용법을 익히는 것은 결코 용이하지 않은 일이었다. 또한, 다양한 메뉴들을 화면상에 표시하여 사용자가 해당 메뉴를 찾아서 선택하도록 하는 방법의 경우, 사용자가 복잡한 메뉴 트리를 일일이 확인하여, 자신이 원하는 메뉴를 선택하여야 한다는 번거로움이 있었다.
따라서, 근래에는 전자 장치를 조금 더 편리하고 직관적으로 제어하기 위하여 음성 인식 및 모션 인식을 이용한 기술이 개발되고 있다. 특히, 사용자가 음성 인식 또는 모션 인식을 이용하여 더욱 효율적으로 전자 장치를 제어하기 위해, 전자 장치는 음성 인식 또는 모션 인식을 안내하는 UI가 필요하게 된다.
그러나, 종래에는 전자 장치를 음성 인식 또는 모션 인식으로 제어하기 위한 적절한 UI가 존재하지 않아, 사용자가 음성 인식 또는 모션 인식을 이용하여 전자 장치를 제어하는 것에 많은 불편함이 존재하였다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 사용자가 음성 인식 또는 모션 인식을 이용하여 더욱 편리하게 전자 장치를 제어하기 위한 다양한 UI를 제공하는 전자 장치 및 그의 제어 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전자 장치의 제어 방법은, 상기 전자 장치를 제어하기 위한 사용자 음성을 안내하는 제1 음성 가이드 정보를 디스플레이하는 단계; 상기 전자 장치에 연결된 외부기기를 제어하기 위한 사용자 명령을 입력받는 단계; 및 상기 사용자 명령이 입력되면, 상기 제1 음성 가이드 정보를 상기 외부기기를 제어하기 위한 사용자 음성을 안내하는 제2 음성 가이드 정보로 변경하여 디스플레이하는 단계;를 포함한다.
그리고, 상기 전자 장치에 기 저장된 복수의 음성 가이드 정보 중 상기 외부기기에 대응되는 제2 음성 가이드 정보를 검색하여 독출하는 단계;를 더 포함할 수 있다.
또한, 상기 전자 장치가 TV인 경우, 상기 제1 음성 가이드 정보는 전원 제어에 관한 음성 명령어, 외부기기 실행에 관한 음성 명령어, 채널 설정에 관한 음성 명령어, 볼륨 설정에 관한 음성 명령어 중 적어도 하나를 포함하고, 상기 외부기기가 DVD 플레이어 및 BD 플레이어 중 하나인 경우, 상기 제2 음성 가이드 정보는 전원 제어에 관한 음성 명령어, 외부기기 실행에 관한 음성 명령어 및 재생 설정에 관한 음성 명령어 중 적어도 하나를 포함할 수 있다.
그리고, 상기 제1 음성 가이드 정보가 디스플레이된 경우, 상기 제1 음성 가이드 정보에 포함된 사용자 음성 명령어가 입력되면, 상기 사용자 음성 명령어에 따라, 상기 전자 장치를 제어하는 단계; 및 상기 제2 음성 가이드 정보가 디스플레이된 경우, 상기 제2 음성 가이드 정보에 포함된 사용자 음성 명령어가 입력되면, 상기 입력된 사용자 음성 명령어에 대응되는 제어 신호를 생성하여 상기 생성된 제어 신호를 상기 외부기기에 전송하는 단계;를 더 포함할 수 있다.
또한, 상기 제2 음성 가이드 정보가 디스플레이된 경우, 상기 제2 음성 가이드 정보에 포함된 음성 명령어 중 하나에 대응되는 사용자 음성 명령어가 입력되면, 상기 입력된 사용자 음성 명령어에 대응되는 제어 신호를 생성하는 단계; 및 상기 생성된 제어 신호를 상기 외부기기에 전송하기 위한 중계기기에 무선으로 전송하는 단계;를 더 포함할 수 있다.
그리고, 상기 생성된 제어 신호는 블루투스 통신에 의해 상기 중계기기로 전송되며, 상기 중계기기는, 상기 전송된 제어 신호를 IR 신호로 변환하여 상기 외부기기에 전송할 수 있다.
또한, 상기 제1 음성 가이드 정보 및 상기 제2 음성 가이드 정보 각각은, 상기 전자 장치의 모드가 음성 제어 모드임을 나타내는 아이콘을 포함할 수 있다.
그리고, 상기 제1 음성 가이드 정보 및 상기 제2 음성 가이드 정보는 컨텐츠가 디스플레이되는 화면 하단에 디스플레이될 수 있다.
또한, 상기 사용자 명령은, 외부기기를 제어하기 위한 음성 입력부를 통해 입력된 사용자 음성 명령일 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전자 장치는, 사용자 음성을 입력받는 음성 입력부; 디스플레이부; 및 상기 전자 장치를 제어하기 위한 사용자 음성을 안내하는 제1 음성 가이드 정보를 상기 디스플레이부에 디스플레이하고, 상기 전자 장치에 연결된 외부기기를 제어하기 위한 사용자 명령이 입력되면, 상기 제1 음성 가이드 정보를 상기 외부기기를 제어하기 위한 사용자 음성을 안내하는 제2 음성 가이드 정보로 변경하여 디스플레이하도록 상기 디스플레이부를 제어하는 제어부;를 포함한다.
그리고, 복수의 음성 가이드 정보를 저장하는 저장부;를 더 포함하며, 상기 제어부는, 상기 저장부에 저장된 복수의 음성 가이드 정보 중 상기 외부기기에 대응되는 제2 음성 가이드 정보를 검색하여 독출할 수 있다.
또한, 상기 전자 장치가 TV인 경우, 상기 제1 음성 가이드 정보는 전원 제어에 관한 음성 명령어, 외부기기 실행에 관한 음성 명령어, 채널 설정에 관한 음성 명령어 및 볼륨 설정에 관한 음성 명령어 중 적어도 하나를 포함하고, 상기 외부기기가 DVD 플레이어 및 BD 플레이어 중 하나인 경우, 상기 제2 음성 가이드 정보는 전원 제어에 관한 음성 명령어, 외부기기 실행에 관한 음성 명령어 및 재생 설정에 관한 음성 명령어 중 적어도 하나를 포함할 수 있다.
그리고, 상기 외부기기와 연결을 수행하는 외부단자 입력부;를 더 포함하며, 상기 제어부는, 상기 제1 음성 가이드 정보가 디스플레이된 경우, 상기 제1 음성 가이드 정보에 포함된 사용자 음성 명령어가 입력되면, 상기 사용자 음성 명령어에 따라, 상기 전자 장치를 제어하고, 상기 제2 음성 가이드 정보가 디스플레이된 경우, 상기 제2 음성 가이드 정보에 포함된 사용자 음성 명령어가 입력되면, 상기 입력된 사용자 음성 명령어에 대응되는 제어 신호를 생성하여 상기 생성된 제어 신호를 상기 외부단자 입력부부를 통해 상기 외부기기에 전송할 수 있다.
또한, 상기 외부기기와 통신을 수행하는 중계기기와 통신을 수행하는 네트워크 인터페이스부;를 더 포함하며, 상기 제어부는, 상기 제2 음성 가이드 정보가 디스플레이된 경우, 상기 제2 음성 가이드 정보에 포함된 음성 명령어 중 하나에 대응되는 사용자 음성 명령어가 입력되면, 상기 입력된 사용자 음성 명령어에 대응되는 제어 신호를 생성하고, 상기 생성된 제어 신호를 상기 네트워크 인터페이스부를 통해 상기 중계기기에 무선으로 전송할 수 있다.
그리고, 상기 생성된 제어 신호는 블루투스 통신에 의해 상기 중계기기로 전송되며, 상기 중계기기는, 상기 전송된 제어 신호를 IR 신호로 변환하여 상기 외부기기에 전송할 수 있다.
또한, 상기 제1 음성 가이드 정보 및 상기 제2 음성 가이드 정보 각각은, 상기 전자 장치의 모드가 음성 제어 모드임을 나타내는 아이콘을 포함할 수 있다.
그리고, 상기 제1 음성 가이드 정보 및 상기 제2 음성 가이드 정보는 컨텐츠가 디스플레이되는 화면 하단에 디스플레이될 수 있다.
또한, 상기 사용자 명령은, 상기 외부기기를 제어하기 위한 상기 음성 입력부를 통해 입력된 사용자 음성 명령일 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전자 장치의 제어 방법은, 상기 전자 장치를 제어하기 위한 사용자 모션을 안내하는 제1 모션 가이드 정보를 디스플레이하는 단계; 상기 전자 장치에 연결된 외부기기를 제어하기 위한 사용자 명령 입력받는 단계; 및 상기 사용자 명령이 입력되면, 상기 제1 모션 가이드 정보를 상기 외부기기를 제어하기 위한 사용자 모션을 안내하는 제2 모션 가이드 정보로 변경하여 디스플레이하는 단계;를 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전자 장치는, 사용자 모션을 입력받는 음성 모션부; 디스플레이부; 및 상기 전자 장치를 제어하기 위한 사용자 모션을 안내하는 제1 모션 가이드 정보를 상기 디스플레이부에 디스플레이하고, 상기 전자 장치에 연결된 외부기기를 제어하기 위한 사용자 명령이 입력되면, 상기 제1 모션 가이드 정보를 상기 외부기기를 제어하기 위한 사용자 모션을 안내하는 제2 모션 가이드 정보로 변경하여 디스플레이하도록 상기 디스플레이부를 제어하는 제어부;를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전자 장치의 화각 설정 방법은, 기 설정된 이벤트가 발생되면, 디스플레이 화면의 일 영역에 상기 전자 장치에 연결된 카메라 화각의 설정을 안내하는 화각 안내 UI를 디스플레이하는 단계; 상기 화각 안내 UI를 이용하여 상기 카메라의 화각을 설정하는 단계;를 포함한다.
그리고, 상기 화각 안내 UI는, 모션 태스크 모드에 진입하는 이벤트가 발생할 때, 디스플레이되지 않을 수 있다.
또한, 상기 화각 안내 UI는, 상기 화각 설정시 상기 카메라에 의해 촬영되고 있는 영상을 디스플레이 하는 화면을 포함할 수 있다.
그리고, 상기 설정하는 단계는, 상기 카메라의 화각이 기설정된 속도 및 방향으로 자동으로 이동하도록 상기 카메라를 조정하는 단계; 상기 카메라를 조정하는 동안 사용자 명령이 입력되면, 상기 사용자 명령이 입력된 시점의 화각을 상기 카메라의 화각으로 설정하는 단계;를 포함할 수 있다.
또한, 상기 설정하는 단계는, 외부기기를 이용한 사용자의 조작에 따라 상기 카메라를 조정하는 단계; 상기 카메라를 조정하는 동안 사용자 명령이 입력되면, 상기 사용자 명령이 입력된 시점의 화각을 상기 카메라의 화각으로 설정하는 단계;를 포함할 수 있다.
그리고, 상기 기설정된 이벤트는, 상기 전자 장치의 최초 설치시 상기 전자 장치에 전원이 인가되는 이벤트, 모션 태스크 모드가 온(on) 된 이벤트, 상기 전자 장치의 제어 메뉴 중 화각 설정 메뉴가 선택된 이벤트 중 하나일 수 있다.
또한, 상기 카메라는, 모션 태스크 모드에서 상기 전자 장치를 제어하기 위한 사용자의 모션을 촬영하는 카메라일 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전자 장치는, 사용자의 모션을 촬영하는 카메라; 디스플레이부; 기 설정된 이벤트가 발생되면, 상기 디스플레이부의 일 영역에 상기 카메라 화각의 설정을 안내하는 화각 안내 UI를 디스플레이하고, 상기 화각 안내 UI를 이용하여 상기 카메라의 화각을 설정하는 제어부;를 포함한다.
그리고, 상기 제어부는, 모션 태스크 모드에 진입하더라도 상기 화각 안내 UI를 디스플레이하지 않고, 상기 전자 장치에서 제공하는 화면을 디스플레이할 수 있다.
또한, 상기 화각 안내 UI는, 상기 화각 설정시 상기 카메라에 의해 촬영되고 있는 영상을 디스플레이하는 화면을 포함할 수 있다.
그리고, 상기 제어부는, 상기 카메라의 화각이 기설정된 속도 및 방향으로 자동으로 이동하도록 상기 카메라를 조정하고, 상기 카메라를 조정하는 동안 사용자 명령이 입력되면, 상기 사용자 명령이 입력된 시점의 화각을 상기 카메라의 화각으로 설정할 수 있다.
또한, 상기 제어부는, 외부기기를 이용한 사용자의 조작에 따라 상기 카메라를 조정하고, 상기 카메라를 조정하는 동안 사용자 명령이 입력되면, 상기 사용자 명령이 입력된 시점의 화각을 상기 카메라의 화각으로 설정할 수 있다.
그리고, 상기 기설정된 이벤트는, 상기 전자 장치의 최초 설치시 상기 전자 장치에 전원이 인가되는 이벤트, 모션 태스크 모드가 온(on) 된 이벤트, 상기 전자 장치의 제어 메뉴 중 화각 설정 메뉴가 선택된 이벤트 중 하나일 수 있다.
또한, 상기 카메라는, 모션 태스크 모드에서 상기 전자 장치를 제어하기 위한 사용자의 모션을 촬영하는 카메라일 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전자 장치의 제어 방법은, 모션 개시 명령이 입력되면, 모션 태스크 모드를 수행하기 위한 아이콘 및 포인터를 디스플레이하는 단계; 사용자의 제1 모션에 따라 상기 포인터를 이동시키는 단계; 및 상기 포인터가 상기 아이콘에 위치한 상태에서 상기 사용자의 제2 모션이 입력되면, 상기 아이콘에 대응되는 기능을 실행하는 단계;를 포함한다.
그리고, 상기 아이콘에 위치한 상기 포인터는, 상기 사용자의 제2 모션이 입력되는 동안 움직이지 않고 고정될 수 있다.
또한, 상기 실행하는 단계는, 상기 포인터가 상기 아이콘에 위치하면서 상기 제2 모션의 입력이 유지되면, 상기 포인터가 위치하는 아이콘의 기능을 연속적으로 실행할 수 있다.
그리고, 상기 사용자의 제1 모션은, 사용자의 손을 편 스프레드(spread) 모션이고, 상기 사용자의 제2 모션은, 상기 사용자의 손을 쥐는 그랩(grab) 모션일 수 있다.
또한, 상기 아이콘은 볼륨-업 아이콘, 볼륨-다운 아이콘, 채널-업 아이콘 및 채널-다운 아이콘 중 적어도 하나를 포함할 수 있다.
그리고, 상기 아이콘은, 디스플레이 화면의 좌측 영역 및 우측 영역 중 하나에 디스플레이되는 볼륨-업 아이콘 및 상기 볼륨-다운 아이콘; 및, 상기 디스플레이 화면의 좌측 영역 및 우측 영역 중 다른 하나에 디스플레이되는 채널-업 아이콘 및 상기 채널-다운 아이콘을 포함할 수 있다.
또한, 상기 볼륨-업 아이콘 및 상기 볼륨-다운 아이콘이 디스플레이되는 영역에는 상기 전자 장치의 현재 볼륨 레벨 정보가 디스플레이되고, 상기 채널-업 아이콘 및 상기 채널-다운 아이콘이 디스플레이되는 영역에는 상기 전자 장치의 현재 채널 정보가 디스플레이될 수 있다.
그리고. 모션 종료 모션이 입력되면, 상기 디스플레이된 복수의 아이콘 및 포인터를 디스플레이 화면에서 제거하는 단계;를 더 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전자 장치는, 사용자의 모션을 입력받는 모션 입력부; 디스플레이부; 및 상기 모션 입력부를 통해 모션 개시 명령이 입력되면, 모션 태스크 모드를 수행하기 위한 아이콘 및 포인터를 디스플레이하고, 상기 모션 입력부에 입력된 사용자의 제1 모션이 따라 상기 포인터를 이동시키도록 상기 디스플레이부를 제어하고, 상기 포인터가 상기 아이콘에 위치한 상태에서 상기 모션 입력부에 사용자의 제2 모션이 입력되면, 상기 아이콘에 대응되는 기능을 실행하는 제어부;를 포함한다.
그리고, 상기 제어부는, 상기 사용자의 제2 모션이 입력되는 동안 상기 포인터의 위치를 움직이지 않고 고정시킬 수 있다.
또한, 상기 제어부는, 상기 포인터가 상기 아이콘에 위치하면서 상기 제2 모션의 입력이 유지되면, 상기 포인터가 위치하는 아이콘의 기능을 연속적으로 실행할 수 있다.
그리고, 상기 사용자의 제1 모션은, 사용자의 손을 편 스프레드(spread) 모션이고, 상기 사용자의 제2 모션은, 상기 사용자의 손을 쥐는 그랩(grab) 모션일 수 잇다.
또한, 상기 아이콘은 볼륨-업 아이콘, 볼륨-다운 아이콘, 채널-업 아이콘 및 채널-다운 아이콘 중 적어도 하나를 포함할 수 있다.
그리고, 상기 아이콘은, 디스플레이 화면의 좌측 영역 및 우측 영역 중 하나에 디스플레이되는 볼륨-업 아이콘 및 상기 볼륨-다운 아이콘; 및, 상기 디스플레이 화면의 좌측 영역 및 우측 영역 중 다른 하나에 디스플레이되는 채널-업 아이콘 및 상기 채널-다운 아이콘을 포함할 수 있다.
또한, 상기 볼륨-업 아이콘 및 상기 볼륨-다운 아이콘이 디스플레이되는 영역에는 상기 전자 장치의 현재 볼륨 레벨 정보가 디스플레이되고, 상기 채널-업 아이콘 및 상기 채널-다운 아이콘이 디스플레이되는 영역에는 상기 전자 장치의 현재 채널 정보가 디스플레이될 수 있다.
그리고, 상기 제어부는, 상기 모션 입력부를 통해 모션 종료 모션이 입력되면, 상기 디스플레이된 복수의 아이콘 및 포인터를 상기 디스플레이부의 디스플레이 화면에서 제거할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 음성 인식이 가능한 전자 장치의 제어 방법은, 음성 개시 명령을 입력받는 단계; 상기 음성 개시 명령이 제1 음성 개시 명령이면, 상기 전자 장치의 음성 입력부에 입력된 사용자 음성에 따라 제어되는 제1 음성 태스크 모드로 전환하고, 상기 음성 개시 명령이 제2 음성 개시 명령이면, 상기 전자 장치와 연동하는 외부기기에 입력된 사용자 음성에 따라 제어되는 제2 음성 태스크 모드로 전환하는 단계; 및 상기 전환된 음성 태스크 모드에 대응되는 음성 가이드 정보를 디스플레이하는 단계;를 포함한다.
그리고, 상기 제1 음성 개시 명령은, 기 설정된 단어가 포함된 사용자의 음성 명령이며, 상기 제2 음성 개시 명령은, 상기 외부기기에 포함된 기 설정된 버튼이 눌러지는 사용자 명령일 수 있다.
또한, 상기 음성 가이드 정보는, 상기 제1 음성 태스크 모드 및 상기 제2 음성 태스크 모드 중 전환된 모드를 나타내는 아이콘 영역을 포함할 수 있다.
그리고, 상기 음성 가이드 정보는, 음성 태스크 모드를 수행하기 위해 사용자 음성을 안내하는 복수 개의 음성 명령어를 포함하며, 상기 제1 음성 태스크 모드의 음성 가이드 정보와 상기 제2 음성 태스크의 음성 가이드 정보에 포함된 음성 명령어는 서로 상이할 수 있다.
또한, 상기 제1 음성 태스크 모드의 음성 가이드 정보는 채널 업/다운 명령을 수행하기 위한 음성 명령어가 포함되고, 상기 제2 음성 태스크 모드의 음성 가이드 정보는 채널 업/다운 명령을 수행하기 위한 음성 명령어가 포함되지 않고, 채널 리스트 제공을 위한 음성 명령어가 포함될 수 있다.
그리고, 상기 제2 음성 태스크 모드는, 상기 외부기기의 기 설정된 제2 버튼이 눌러지고, 상기 외부기기에 입력된 사용자 음성 명령에 의해 제어될 수 있다.
또한, 상기 외부기기는 리모컨일 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전자 장치는, 사용자 음성을 입력받는 음성 입력부; 디스플레이부; 및 상기 음성 입력부를 통해 입력된 음성 개시 명령이 제1 음성 개시 명령이면, 상기 전자 장치의 음성 입력부에 입력된 사용자 음성에 따라 제어되는 제1 음성 태스크 모드로 전환하고, 상기 음성 개시 명령이 제2 음성 개시 명령이면, 상기 전자 장치와 연동하는 외부기기에 입력된 사용자 음성에 따라 제어되는 제2 음성 태스크 모드로 전환하며, 상기 전환된 음성 태스크 모드에 대응되는 음성 가이드 정보를 상기 디스플레이부에 디스플레이하는 제어부;를 포함한다.
그리고, 상기 제1 음성 개시 명령은, 기 설정된 단어가 포함된 사용자의 음성 명령이며, 상기 제2 음성 개시 명령은, 상기 외부기기에 포함된 기 설정된 버튼이 눌러지는 사용자 명령일 수 있다.
또한, 상기 음성 가이드 정보는, 상기 제1 음성 태스크 모드 및 상기 제2 음성 태스크 모드 중 전환된 모드를 나타내는 아이콘 영역을 포함할 수 있다.
그리고, 상기 음성 가이드 정보는, 음성 태스크 모드를 수행하기 위해 사용자 음성을 안내하는 복수 개의 음성 명령어를 포함하며, 상기 제1 음성 태스크 모드의 음성 가이드 정보와 상기 제2 음성 태스크의 음성 가이드 정보에 포함된 음성 명령어는 서로 상이할 수 있다.
또한, 상기 제1 음성 태스크 모드의 음성 가이드 정보는 채널 업/다운 명령을 수행하기 위한 음성 명령어가 포함되고, 상기 제2 음성 태스크 모드의 음성 가이드 정보는 채널 업/다운 명령을 수행하기 위한 음성 명령어가 포함되지 않고, 채널 리스트 제공을 위한 음성 명령어가 포함될 수 있다.
그리고, 상기 제2 음성 태스크 모드는, 상기 외부기기의 기 설정된 제2 버튼이 눌러지고, 상기 외부기기에 입력된 사용자 음성 명령에 의해 제어될 수 있다.
또한, 상기 외부기기는 리모컨일 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전자 장치의 제어 방법은, 양손(two hand)을 이용한 모션 태스크를 수행하기 위한 양손 개시 명령을 입력받는 단계; 상기 양손 개시 명령이 입력되면, 상기 양손을 이용하여 모션 태스크를 수행하는 양손 태스크 모드로 전환하는 단계; 및 상기 양손 태스크 모드로 전환되면, 상기 양손을 이용하는 모션 태스크를 수행하기 위한 양손 입력 가이드 GUI를 디스플레이하는 단계;를 포함한다.
그리고, 상기 입력받는 단계는, 한 손을 이용한 모션 개시 명령이 입력되면, 모션 태스크를 수행하기 위한 모션 태스크 모드로 전환하고, 상기 모션 태스크 모드로 전환된 상태에서 다른 한 손을 이용한 모션 개시 명령이 입력되면, 상기 양손 개시 명령이 입력된 것으로 인식할 수 있다.
또한, 상기 입력받는 단계는, 상기 양손을 동시에 복수 회 흔드는 쉐이크 모션이 입력되면, 상기 양손 개시 명령이 입력된 것으로 인식할 수 있다.
그리고, 상기 양손을 이용하는 모션 태스크는, 디스플레이 화면을 확대하거나 축소하는 태스크일 수 있다.
또한, 상기 양손 입력 가이드 GUI가 상기 디스플레이 화면상의 일 영역에 표시된 상태에서 상기 양손이 서로 멀어지는 모션이 입력되면 상기 양손 입력 가이드 GUI가 표시된 영역 내의 소정 위치를 기준으로 디스플레이 화면을 확대하고, 상기 양손이 서로 가까워지는 모션이 입력되면 상기 양손 입력 가이드 GUI가 표시된 영역 내의 소정 위치를 기준으로 디스플레이 화면을 축소하는 단계;를 더 포함할 수 있다.
그리고, 상기 양손 입력 가이드 GUI를 디스플레이하는 단계는, 상기 디스플레이 화면의 중앙 영역에 원 형상의 양손 입력 가이드 GUI를 디스플레이할 수 있다.
또한, 상기 양손의 이동 모션이 입력되면, 상기 양손의 이동 모션에 대응되도록 상기 원 형상의 양손 입력 가이드 GUI를 이동시키는 단계;를 포함할 수 있다.
그리고, 상기 양손 입력 가이드 GUI는, 상기 사용자 양손의 위치에 대응되는 지점에 디스플레이되는 두 개의 포인터이며. 상기 양손을 이용하는 모션 태스크는, 상기 두 개의 포인터를 이용하여 디스플레이 화면을 확대하거나 축소하는 태스크일 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전자 장치는, 사용자의 모션을 입력받는 모션 입력부; 디스플레이부; 및 상기 모션 입력부에 양손(two hand)을 이용한 모션 태스크를 수행하기 위한 양손 개시 명령이 입력되면, 상기 양손을 이용한 모션 태스크를 수행하는 양손 태스크 모드로 전환하고, 상기 양손을 이용하는 모션 태스크를 수행하기 위한 양손 입력 가이드 GUI를 상기 디스플레이부에 디스플레이 하는 제어부;를 포함한다.
그리고, 상기 제어부는, 상기 모션 입력부에 한 손을 이용한 모션 개시 명령이 입력되면, 모션 태스크를 수행하기 위한 모션 태스크 모드로 전환하고, 상기 모션 태스크 모드로 전환된 상태에서 상기 모션 입력부에 다른 한 손을 이용한 모션 개시 명령이 입력되면, 상기 양손 개시 명령이 입력된 것으로 인식할 수 있다.
또한, 상기 제어부는, 상기 모션 입력부를 통해 상기 양손을 동시에 복수 회 흔드는 쉐이크 모션이 입력되면, 상기 양손 개시 명령이 입력된 것으로 인식할 수 있다.
그리고, 상기 양손을 이용하는 모션 태스크는, 디스플레이 화면을 확대하거나 축소하는 태스크일 수 있다.
또한, 상기 제어부는, 상기 양손 입력 가이드 GUI가 상기 디스플레이 화면상의 일 영역에 표시된 상태에서 상기 양손이 서로 멀어지는 모션이 입력되면 상기 양손 입력 가이드 GUI가 표시된 영역 내의 소정 위치를 기준으로 디스플레이 화면을 확대하고, 상기 양손이 서로 가까워지는 모션이 입력되면 상기 양손 입력 가이드 GUI가 표시된 영역 내의 소정 위치를 기준으로 디스플레이 화면을 축소할 수 있다.
그리고, 상기 양손 입력 가이드 GUI는, 상기 디스플레이 화면의 중앙 영역에 원 형상의 GUI일 수 있다.
또한, 상기 제어부는, 상기 모션 입력부를 통해 상기 양손의 이동 모션이 입력되면, 상기 양손의 이동 모션에 대응되도록 상기 원 형상의 양손 입력 가이드 GUI를 이동시킬 수 있다.
그리고, 상기 양손 입력 가이드 GUI는, 상기 사용자 양손의 위치에 대응되는 지점에 디스플레이 되는 두 개의 포인터이며, 상기 양손을 이용하는 모션 태스크는, 상기 두 개의 포인터를 이용하여 디스플레이 화면을 확대하거나 축소하는 태스크일 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전자 장치의 제어 방법은, 음성 입력부를 통해 음성 개시 명령을 입력받는 단계; 상기 음성 개시 명령이 입력되면, 전자 장치의 모드를 음성 태스크 모드로 전환하는 단계;및 상기 음성 태스크 모드에서 음성 인식 오류가 발생된 경우, 음성 인식 오류 안내를 안내하기 위한 복수의 피드백 메시지 중 하나를 디스플레이하는 단계;를 포함한다.
그리고, 상기 음성 태스크 모드에서 음성 인식 오류가 반복적으로 발생된 경우, 상기 복수의 피드백 메시지 중 하나를 랜덤하게 선택하여 디스플레이하는 단계;를 포함할 수 있다.
또한, 상기 음성 태스크 모드는, 상기 전자 장치의 음성 입력부에 입력된 사용자 음성에 따라 제어되는 제1 음성 태스크 모드 및 상기 전자 장치와 연동하는 외부기기에 입력된 사용자 음성에 따라 제어되는 제2 음성 태스크 모드를 포함할 수 있다.
그리고, 상기 복수의 피드백 메시지는, 상기 음성 태스크 모드의 종류에 따라 상이할 수 있다.
또한, 상기 복수의 피드백 메시지는, 상기 음성 인식 오류의 종류에 따라 상이할 수 있다.
그리고, 상기 음성 인식 오류는, 상기 음성 입력부를 통해 입력된 사용자 음성을 명확히 인지하지 못하는 오류, 사용자 음성을 입력한 후에 기설정된 시간 동안 외부기기의 인식 버튼을 기설정된 시간동안 누르고 있는 오류 및 상기 외부기기의 인식 버튼을 누른 후에 기설정된 시간 동안 사용자 음성이 입력되지 않은 오류 중 적어도 하나를 포함할 수 있다.
또한, 상기 디스플레이하는 단계는, 상기 음성 인식 오류가 처음 발생된 경우, 디폴트(default)된 피드백 메시지를 디스플레이할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전자 장치는, 사용자 음성을 입력받는 음성 입력부; 디스플레이부; 및 상기 음성 입력부를 통해 음성 개시 명령이 입력되면, 전자 장치의 모드를 음성 태스크 모드로 전환하고, 상기 음성 태스크 모드에서 음성 인식 오류가 발생된 경우, 음성 인식 오류 안내를 안내하기 위한 복수의 피드백 메시지 중 하나를 상기 디스플레이부에 디스플레이하는 제어부;를 포함한다.
그리고, 상기 제어부는, 상기 음성 태스크 모드에서 음성 인식 오류가 반복적으로 발생된 경우, 상기 복수의 피드백 메시지 중 하나를 랜덤하게 선택하여 디스플레이할 수 있다.
또한, 상기 음성 태스크 모드는, 상기 전자 장치의 음성 입력부에 입력된 사용자 음성에 따라 제어되는 제1 음성 태스크 모드 및 상기 전자 장치와 연동하는 외부기기에 입력된 사용자 음성에 따라 제어되는 제2 음성 태스크 모드를 포함할 수 있다.
그리고, 상기 복수의 피드백 메시지는, 상기 음성 태스크 모드의 종류에 따라 상이할 수 있다.
또한, 상기 복수의 피드백 메시지는, 상기 음성 인식 오류의 종류에 따라 상이할 수 있다.
그리고, 상기 음성 인식 오류는, 상기 음성 입력부를 통해 입력된 사용자 음성을 명확히 인지하지 못하는 오류, 사용자 음성을 입력한 후에 기설정된 시간 동안 외부기기의 인식 버튼을 기설정된 시간동안 누르고 있는 오류 및 상기 외부기기의 인식 버튼을 누른 후에 기설정된 시간 동안 사용자 음성이 입력되지 않은 오류 중 적어도 하나를 포함할 수 있다.
또한, 상기 제어부는, 상기 음성 인식 오류가 처음 발생된 경우, 디폴트(default)된 피드백 메시지를 상기 디스플레이부에 디스플레이할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전자 장치의 제어 방법는, 음성 입력부를 통해 음성 개시 명령을 입력받는 단계; 상기 음성 개시 명령이 입력되면, 상기 전자 장치의 모드를 사용자 음성에 의해 제어되는 음성 태스크 모드로 전환하고, 상기 전자 장치에서 음성 태스크 모드를 수행하기 위한 복수의 음성 명령어를 포함하는 음성 가이드 정보를 디스플레이하는 단계; 및 사용자 입력에 따라, 상기 복수의 음성 명령어 중 적어도 하나를 다른 음성 명령어로 변경하는 단계;를 포함한다.
그리고, 상기 음성 가이드 정보는, 음성 명령어가 고정적으로 디스플레이되는 고정 명령어 영역 및 음성 명령어가 가변적으로 변경되는 변경 명령어 영역을 포함할 수 있다.
또한, 상기 고정 명령어 영역에는 상기 전자 장치의 전원 끄기를 수행하기 위한 음성 명령어가 포함될 수 있다.
그리고, 상기 변경하는 단계는, 어플리케이션을 실행하기 위한 사용자 명령이 입력되면, 상기 어플리케이션을 실행하는 단계; 상기 어플리케이션이 실행되면, 상기 복수의 음성 명령어 중 적어도 하나를 상기 실행된 어플리케이션에 대응되는 음성 명령어로 변경하는 단계;를 포함할 수 있다.
또한, 상기 변경하는 단계는, 상기 사용자 선호 음성 명령어를 디스플레이하기 위한 사용자 명령을 입력받는 단계; 상기 사용자 명령이 입력되면, 상기 복수의 음성 명령어 중 적어도 하나를 사용자에 의해 설정된 사용자 선호 음성 명령어로 변경하는 단계;를 포함할 수 있다.
그리고, 상기 변경된 음성 가이드 정보에는 변경 전 음성 가이드 정보로 전환을 수행하기 위한 음성 명령어가 포함될 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전자 장치는, 사용자 음성을 입력받는 음성 입력부; 디스플레이부; 및 상기 음성 입력부를 통해 음성 개시 명령이 입력되면, 상기 전자 장치의 모드를 사용자 음성에 의해 제어되는 음성 태스크 모드로 전환하고, 상기 전자 장치에서 음성 태스크 모드를 수행하기 위한 복수의 음성 명령어를 포함하는 음성 가이드 정보를 상기 디스플레이부에 디스플레이하며, 사용자 입력에 따라, 상기 복수의 음성 명령어 중 적어도 하나를 다른 음성 명령어로 변경하는 제어부;를 포함한다.
그리고, 상기 음성 가이드 정보는, 음성 명령어가 고정적으로 디스플레이되는 고정 명령어 영역 및 음성 명령어가 가변적으로 변경되는 변경 명령어 영역을 포함할 수 있다.
또한, 상기 고정 명령어 영역에는 상기 전자 장치의 전원 끄기를 수행하기 위한 음성 명령어가 포함될 수 있다.
그리고, 상기 제어부는, 어플리케이션을 실행하기 위한 사용자 명령이 입력되면, 상기 어플리케이션을 실행하고, 상기 복수의 음성 명령어 중 적어도 하나를 상기 실행된 어플리케이션에 대응되는 음성 명령어로 변경할 수 있다.
또한, 상기 제어부는, 상기 사용자 선호 음성 명령어를 디스플레이 하기 위한 사용자 명령이 입력되면, 상기 복수의 음성 명령어 중 적어도 하나를 사용자에 의해 설정된 사용자 선호 음성 명령어로 변경할 수 있다.
그리고, 상기 변경된 음성 가이드 정보에는 변경 전 음성 가이드 정보로 전환을 수행하기 위한 음성 명령어가 포함될 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전자 장치의 제어 방법는, 모션 입력부를 통해 모션 개시 명령을 입력받는 단계; 상기 모션 개시 명령이 입력되면, 상기 전자 장치의 모드를 사용자 모션에 의해 제어되는 모션 태스크 모드로 전환하고, 상기 전자 장치에서 모션 태스크 모드를 수행하기 위한 복수의 모션 아이템을 포함하는 모션 가이드 정보를 디스플레이하는 단계; 및 어플리케이션 실행 명령이 입력되면, 상기 복수의 모션 아이템 중 적어도 하나를 상기 실행되는 어플리케이션에 대응되는 모션 아이템으로 변경하는 단계;를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전자 장치는, 사용자 모션을 입력받는 모션 입력부; 디스플레이부; 및 상기 모션 입력부를 통해 모션 개시 명령이 입력되면, 상기 전자 장치의 모드를 사용자 모션에 의해 제어되는 모션 태스크 모드로 전환하고, 상기 전자 장치에서 모션 태스크 모드를 수행하기 위한 복수의 모션 아이템을 포함하는 모션 가이드 정보를 상기 디스플레이부에 디스플레이하며, 어플리케이션 실행 명령이 입력되면, 상기 복수의 모션 아이템 중 적어도 하나를 상기 실행되는 어플리케이션에 대응되는 모션 아이템으로 변경하는 제어부;를 포함한다
상술한 바와 같은 본 발명의 다양한 실시예에 따르면, 사용자는 다양한 음성 UI 또는 모션 UI를 이용하여 더욱 쉽고 편리하게 전자 장치를 제어할 수 있게 된다.
도 1 내지 3은 본 발명의 다양한 실시 예에 따른, 전자 장치의 구성을 설명하기 위한 블럭도,
도 4 내지 도 7은 본 발명의 일 실시예에 따른, 전자 장치와 연결된 외부기기에 따라 상이한 음성 가이드 정보를 제공하는 방법을 설명하기 위한 도면,
도 8은 본 발명의 일 실시예에 따른, 전자 장치와 연결된 외부기기에 따라 상이한 음성 가이드 정보를 제공하는 방법을 설명하기 위한 흐름도,
도 9는 본 발명의 일 실시예에 따른, 전자 장치, 외부기기 및 전자 장치와 외부기기를 중계하는 중계기기를 포함하는 시스템을 도시한 도면,
도 10은 본 발명의 실시예에 따른, 전자 장치에 구비된 카메라를 도시한 도면,
도 11은 본 발명의 일 실시예에 따른, 전자 장치에 구비된 카메라의 화각 설정을 위한 화각 설정 UI를 도시한 도면,
도 12는 본 발명의 일 실시예에 따른, 전자 장치의 화각 설정 방법을 설명하기 위한 흐름도이며,
도 13 내지 도 18은 본 발명의 다양한 실시예에 따른, 사용자 모션을 이용한 채널 제어 및 볼륨 제어를 수행하는 방법을 설명하기 위한 도면,
도 19는 본 발명의 일 실시예에 따른, 사용자 모션을 이용한 전자 장치의 제어 방법을 설명하기 위한 흐름도,
도 20은 본 발명의 일 실시 예에 따른, 전자 장치에 구비된 음성 입력부를 통해 사용자 음성이 입력되는 제1 음성 태스크 모드에서 디스플레이되는 제1 음성 가이드 정보를 도시한 도면,
도 21은 본 발명의 일 실시 예에 따른, 전자 장치와 연동하는 외부기기에 구비된 음성 입력부를 통해 사용자 음성이 입력되는 제2 음성 태스크 모드에서 디스플레이되는 제2 음성 가이드 정보를 도시한 도면,
도 22는 본 발명의 일 실시 예에 따른, 음성 입력 방법에 따라 상이한 음성 태스크 모드를 제공하는 방법을 설명하기 위한 흐름도,
도 23 내지 도 26은 본 발명의 다양한 실시예에 따른, 양손을 이용하는 사용자 모션을 이용한 전자 장치를 제어하는 방법을 설명하기 위한 도면,
도 27은 본 발명의 일 실시예에 따른, 양손을 이용하는 사용자 모션을 이용한 전자 장치를 제어하는 방법을 설명하기 위한 흐름도,
도 28은 본 발명의 일 실시예에 따른, 음성 인식 오류가 발생한 경우, 피드백 메시지를 도시한 도면.
도 29 내지 도 32는 본 발명의 다양한 실시예에 따른, 음성 태스크 모드 및 음성 오류 종류에 따라 디스플레이되는 피드백 메시지를 도시한 도면,
도 33은 본 발명의 일 실시예에 따른, 전자 장치의 제어 방법을 설명하기 위한 흐름도,
도 34 및 도 35는 본 발명의 일 실시예에 따른, 음성 태스크 모드에서 일반적인 음성 가이드 정보를 설명하기 위한 도면,
도 36은 본 발명의 일 실시예에 따른, 음성 태스크 모드에서 어플리케이션에 특화된 음성 가이드 정보를 도시한 도면,
도 37은 본 발명의 일 실시예에 따른, 음성 태스크 모드에서 사용자 선호 음성 아이템이 포함된 음성 가이드 정보를 도시한 도면,
도 38은 본 발명의 일 실시예에 따른, 어플리케이션의 일부 음성 명령어를 변경하기 위한 전자 장치의 제어 방법을 설명하기 위한 흐름도, 그리고,
도 39는 본 발명의 또 다른 실시 예에 따른, 전자 장치의 구성을 설명하기 위한 블럭도이다.
이하에서는 도면을 참조하여 본 발명에 대해 더욱 상세히 설명하도록 한다.
도 1은 본 발명의 실시 예에 따른 전자 장치를 나타내는 개략적인 블럭도이다.
도 1을 참조하면, 전자 장치(100)는 음성 입력부(110), 모션 입력부(120), 저장부(130), 제어부(140) 및 디스플레이부(193)를 포함한다. 전자 장치(100)는 외부의 네트워크와 연결될 수 있는 스마트 TV, 셋탑박스, PC로, 또는 디지털 TV, 휴대폰 등으로 구현될 수 있으나, 이에 한정되는 것은 아니다.
음성 입력부(110)는 사용자가 발화(utterance)한 음성을 입력받는다. 음성 입력부(110)는 입력된 음성 신호를 전기 신호로 변환하여 제어부(140)로 출력한다. 예를 들어, 음성 입력부(110)는 마이크로폰으로 구현될 수 있다. 또한, 음성 입력부(110)는 전자 장치(100)와 일체형(all-in-one)뿐만 아니라 분리된 형태로 구현될 수 있다. 분리된 음성 입력부(110)는 전자 장치(100)와 유선 또는 무선 네트워크를 통하여 연결될 수 있다.
모션 입력부(120)는 사용자의 모션을 촬상한 영상 신호(예를 들어, 연속되는 프레임)를 입력받아 제어부(140)로 제공한다. 예를 들어, 모션 입력부(120)는 렌즈 및 이미지센서로 구성되는 카메라 유닛으로 구현될 수 있다. 또한, 모션 입력부(120)는 전자 장치(100)와 일체형뿐만 아니라 분리된 형태로 구현될 수 있다. 분리된 모션 입력부(120)는 전자 장치(100)와 유선 또는 무선 네트워크를 통하여 연결될 수 있다.
저장부(130)는 전자 장치(100)를 구동하고 제어하기 위한 다양한 데이터 및 프로그램을 저장한다. 저장부(130)는 음성 입력부(110)를 통해 입력된 음성을 인식하기 위한 음성 인식 모듈 및 모션 입력부(120)를 통해 입력된 모션을 인식하기 위한 모션 인식 모듈을 저장한다.
저장부(130)는 음성 데이터베이스 및 모션 데이터베이스를 포함할 수 있다. 음성 데이터베이스는 기 설정된 음성 및 기 설정된 음성에 매칭되는 음성 태스크가 기록된 데이터베이스를 의미한다. 모션 데이터베이스는 기 설정된 모션 및 기 설정된 모션에 매칭되는 모션 태스크가 기록된 데이터베이스를 의미한다.
디스플레이부(193)는 방송 수신부를 통해 수신된 방송 신호에 대응되는 영상을 표시한다. 디스플레이부(193)는 외부 단자 입력부를 통해 입력되는 영상 데이터(예를 들어, 동영상)을 표시할 수 있다. 디스플레이부(193)는 제어부(140)의 제어에 의해 음성 태스크를 수행하기 위한 음성 가이드 정보 및 모션 태스크를 수행하기 위한 모션 가이드 정보를 표시할 수 있다.
제어부(140)는 음성 입력부(110), 모션 입력부(120), 저장부(130), 디스플레이부(193)를 제어한다. 제어부(140)는 CPU(central processing unit) 및 전자 장치(100)를 제어하기 위한 모듈 및 데이터를 저장하는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
음성 입력부(110)를 통해 음성이 입력되는 경우, 제어부(140)는 음성 인식 모듈 및 음성 데이터베이스를 이용하여 음성을 인식한다. 음성 인식(voice recognition)은 입력되는 음성의 형태에 따라, 각각의 단어를 구분하여 발화한 음성을 인식하는 고립단어 인식(isolated word recognition), 연속단어, 연속문장 및 대화체 음성을 인식하는 연속 음성 인식(continuous speech recognition) 및 고립단어 인식과 연속음성 인식의 중간형태로, 미리 정해진 핵심어를 검출하여 인식하는 핵심어 검출(keyword spotting)으로 구분될 수 있다.
사용자 음성이 입력되는 경우, 제어부(140)는 입력된 음성 신호 내에서 사용자가 발화한 음성의 시작과 끝을 검출하여 음성 구간을 판단한다. 제어부(140)는 입력된 음성 신호의 에너지를 계산하고, 계산된 에너지에 따라 음성 신호의 에너지 레벨을 분류하여, 동적 프로그래밍을 통해 음성 구간을 검출할 수 있다. 제어부(140)은 검출된 음성 구간 내의 음성 신호에서 음향 모델(Acoustic Model)을 기초로 음성의 최소 단위인 음소를 검출하여 음소 데이터를 생성한다. 제어부(140)은 생성된 음소 데이터에 HMM(Hidden Markov Model) 확률 모델을 적용하여 텍스트 정보를 생성한다. 그러나, 상술한 바와 같이, 사용자의 음성을 인식하는 방법은 일 실시예에 불과할 뿐, 다른 방법을 이용하여 사용자 음성을 인식할 수 있다. 이에 따라, 제어부(140)는 음성 신호 중에 포함된 사용자의 음성을 인식할 수 있다.
모션 입력부(120)를 통해 모션이 입력되는 경우, 제어부(140)는 모션 감지 모듈 및 모션 데이터베이스를 이용하여 모션을 인식한다. 모션 인식(motion recognition)은 모션 입력부(120)를 통해 입력되는 영상(예를 들어, 연속되는 프레임)을 주위 배경과 사용자 모션의 대상인 오브젝트(예를 들어, 사용자의 손) 영역으로 분리하고, 연속되는 오브젝트의 움직임을 인식할 수 있다. 사용자 모션이 입력되는 경우, 제어부(140)는 수신된 영상을 프레임 단위로 저장하고, 저장된 프레임을 이용하여 오브젝트를 검출한다. 제어부(140)는 프레임에 포함된 오브젝트의 형태, 색깔, 움직임 중 적어도 하나를 감지하여 오브젝트를 검출한다. 제어부(140)는 복수 개의 프레임에 포함된 각각의 오브젝트의 위치나 각각의 오브젝트의 형태를 이용하여 검출된 오브젝트의 움직임을 추적할 수 있다.
제어부(140)는 추적된 오브젝트의 움직임에 따라 사용자 모션을 판단한다. 예를 들어, 제어부(140)는 오브젝트의 형태의 변화, 속도, 위치, 방향 중 적어도 하나를 이용하여 사용자의 모션을 판단한다. 사용자의 모션은 손을 쥐는 모션인 그랩(grab), 표시된 커서를 손으로 이동시키는 모션인 포인팅 이동(pointing move), 손을 일정 속도 이상으로 한쪽 방향으로 움직이는 모션인 슬랩(slap), 손을 좌/우 또는 상/하로 흔드는 모션인 쉐이크(shake) 및 손을 회전하는 모션인 회전(rotate)을 포함한다. 상술한 실시 예에 이외의 다른 모션에도 본 발명의 기술적 사상이 적용될 수 있다. 예를 들어, 쥐어진 손을 펴는 스프레드(spread) 모션 등이 더 포함될 수 있으며, 일정 시간 동안 손이 고정된 위치에 있는 경우에도 특정 모션으로 판단할 수 있다.
제어부(140)는 사용자의 모션이 포인팅 이동인지, 슬랩인지 여부를 판단하기 위해, 오브젝트가 일정 시간(예를 들어, 800ms) 내에 일정 영역(예를 들어, 40cm x 40cm의 사각형)을 벗어났는지를 판단한다. 오브젝트가 일정 시간 내에 일정 영역을 벗어나지 않는 경우, 제어부(140)는 사용자의 모션을 포인팅 이동으로 판단할 수 있다. 오브젝트가 결정된 시간 내에 결정된 영역을 벗어난 경우, 제어부(140)는 사용자의 모션을 슬랩으로 판단할 수 있다. 다른 일 예로, 오브젝트의 속도가 기설정된 속도(예를 들어, 30 cm/s) 이하인 것으로 판단된 경우, 제어부(140)는 사용자의 모션을 포인팅 이동으로 판단한다. 오브젝트의 속도가 기설정된 속도 초과인 것으로 판단되는 경우, 제어부(140)는 사용자의 모션을 슬랩으로 판단한다.
제어부(140)는 인식된 음성 및 모션을 이용하여, 전자 장치(100)의 태스크(task)를 수행한다. 전자 장치(100)의 태스크는 전원 제어, 채널 변경, 볼륨 조절, 컨텐츠(예를 들어, 동영상, 음악, 사진 등)의 재생, 화면에 표시되는 GUI(Graphical User Interface)의 선택 또는 인터넷 서비스(예를 들어, 검색, 브라우징 등) 등과 같이, 전자 장치(100)에 의해 수행될 수 있는 기능 중 적어도 하나를 포함한다.
제어부(140)가 전자 장치(100)를 제어하는 구체적인 방법에 대해서는 추후에 자세히 설명하도록 한다.
도 2는 본 발명의 또 다른 실시 예에 따른, 전자 장치(100)의 구성을 나타내는 블럭도를 도시한 도면이다. 도 2를 참조하면, 전자 장치(100)는 음성 입력부(110), 모션 입력부(120), 저장부(130), 제어부(140), 방송 수신부(150), 외부단자 입력부(160), 리모컨 신호 수신부(170), 네트워크 인터페이스부(180) 및 출력부(190)를 포함한다. 도 2에 도시된 전자 장치(100)는 셋탑박스(set-top box), 스마트 TV 등으로 구현될 수 있다.
한편, 도 2에 도시된 음성 입력부(110), 모션 입력부(120), 저장부(130) 및 제어부(140)에 대한 설명은 도 1에서 설명한 음성 입력부(110), 모션 입력부(120), 저장부(130) 및 제어부(140)에 대한 설명과 같으므로, 자세한 설명은 생략한다.
방송 수신부(150)는 유, 무선으로 외부로부터 방송 신호를 수신한다. 방송 신호는 영상(video), 오디오(audio) 및 부가 데이터(예를 들어, EPG, 메타데이터 등)를 포함한다. 방송 수신부(150)는 지상파 방송, 케이블 방송, 위성 방송, 인터넷 방송 등과 같이 다양한 종류의 방송 신호를 수신할 수 있다.
외부단자 입력부(160)는 전자 장치(100)의 외부로부터 영상 데이터(예를 들어, 동영상 사진 등), 오디오 데이터(예를 들어, 음악 등) 등을 수신한다. 외부 단자 입력부(160)는 HDMI입력 단자(High-Definition Multimedia Interface input), 컴포넌트 입력 단자, PC 입력 단자, 또는 USB 입력 단자 중 적어도 하나를 포함할 수 있다. 리모컨 신호 수신부(170)는 외부의 리모컨으로부터 입력되는 리모컨 신호를 수신한다. 리모컨 신호 수신부(170)는 전자 장치(100)가 음성 태스크 모드이거나 모션 태스크 모드에서도 리모컨 신호를 수신할 수 있다. 리모컨 신호 수신부(170)은 유선 또는 무선 통신 인터페이스로 구현 가능하며, 단방향 또는 양방향 통신 인터페이스로 구현 가능하다.
네트워크 인터페이스부(180)는 제어부(140)의 제어에 의해 전자 장치(100)와 외부 장치(예를 들어, 서버, 다른 전자 장치 등)를 연결할 수 있다. 제어부(140)는 네트워크 인터페이스부(180)를 통해 연결된 외부 장치로부터 어플리케이션을 다운로드 하거나 웹 브라우징 등 인터넷 서비스가 사용자에게 제공하도록 제어할 수 있으며, 외부 장치로부터 영상 데이터, 오디오 데이터, 텍스트 데이터 등을 수신하도록 제어할 수 있다. 네트워크 인터페이스부(180)는 유선/무선 통신 인터페이스로 구현 가능하며, 다양한 종류의 양방향 통신 인터페이스로 구현 가능하다. 예를 들면, 이더넷(Ethernet), 무선랜(182) 및 블루투스(bluetooth) 중 적어도 하나를 제공할 수 있다.
출력부(190)는 방송 수신부(150)를 통해 수신되는 외부의 방송 신호, 또는 외부단자 입력부(160)에서 입력되는 데이터, 또는 저장부(130)에 저장된 데이터, 또는 네트워크 인터페이스(180)를 통해 수신되는 데이터를 외부의 전자 장치(예를 들어, 모니터, TV, 스피커 등)로 출력한다. 또한, 전자 장치(100)가 디스플레이나 스피커 등을 구비하고 있는 경우에는 전자장치(100)의 디스플레이나 스피커를 통해 출력할 수 있다.
도 3은 본 발명의 또 다른 실시 예에 따른, 전자 장치(100)의 블럭도를 도시한 도면이다. 도 3에 도시된 바와 같이, 전자 장치(100)는 음성 입력부(110), 모션 입력부(120), 저장부(130), 제어부(140), 방송 수신부(150), 외부단자 입력부(160), 리모컨 신호 수신부(170), 네트워크 인터페이스부(180), 디스플레이부(193) 및 오디오 출력부(196)를 포함한다. 이때, 전자 장치(100)는 디지털 TV일 수 있으나, 이에 한정되는 것은 아니다.
한편, 도 3에서 음성 입력부(110), 모션 입력부(120), 저장부(130), 제어부(140), 방송 수신부(150), 외부단자 입력부(160), 리모컨신호 수신부(170), 네트워크 인터페이스부(180) 및 디스플레이부(193)에 대한 설명은 도 1 및 도 2에서 동일한 참조번호를 가지는 구성에 대한 설명과 같으므로, 자세한 설명은 생략한다.
오디오 출력부(196)는 제어부(140)의 제어에 의해 방송 신호에 대응되는 음향을 출력하거나 네트워크 인터페이스(180)를 통해 수신되는 음향을 출력한다. 오디오 출력부(196)는 스피커(196a), 헤드폰 출력 단자(196b) 또는 S/PDIF 출력 단자(163c) 중 적어도 하나를 포함할 수 있다.
한편, 저장부(130)는 도 3에 도시된 바와 같이, 전원 제어 모듈(130a), 채널 제어 모듈(130b), 볼륨 제어 모듈(130c), 외부입력 제어 모듈(130d), 화면 제어 모듈(130e), 오디오 제어 모듈(130f), 인터넷 제어 모듈(130g), 어플리케이션 모듈(130h), 검색 제어 모듈(130i), UI 처리 모듈(130j), 음성 인식 모듈(130k), 모션 인식 모듈(130l), 음성 데이터베이스(130m) 및 모션 데이터베이스(130n)를 포함한다. 이들 모듈들(130a 내지 130n)은 각각 전원 제어 기능, 채널 제어 기능, 볼륨 제어 기능, 외부 입력 제어 기능, 화면 제어 기능, 오디오 제어 기능, 인터넷 제어 기능, 어플리케이션 실행 기능, 검색 제어 기능, UI 처리 기능을 수행하기 위하여 소프트웨어로 구현될 수 있다. 제어부(140)는 저장부(130)에 저장된 이들 소프트웨어를 실행시켜 해당 기능을 수행할 수 있다.
상술한 바와 같이 각 제어모듈(130a 내지 130n)을 저장부(130)에 저장되어 있는 소프트웨어로 구현될 수 있지만, 각각 별개의 하드웨어를 통해 구현될 수 있다.
이하에서는 도면을 참조하여, 본 발명의 다양한 실시예에 대해 설명하기로 한다.
특히, 도 4 내지 도 8을 참조하여, 연결된 외부기기에 따라 상이한 음성 가이드 정보 또는 모션 가이드 정보를 제공하는 실시예에 대해 설명하기로 한다.
제어부(140)는 음성 태스크 모드에서 전자 장치(100)를 제어하기 위한 음성 명령어를 안내하는 제1 음성 가이드 정보를 디스플레이부(193)에 디스플레이한다. 이때, 음성 태스크 모드는 음성 입력부(110)를 통해 음성 개시 명령이 입력되면 개시되고, 그 이후 입력된 음성 명령어에 의해 전자 장치(100)가 제어되는 모드이다. 또한 음성 태스크 모드는 음성 개시 명령 없이 입력된 음성 명령어에 의해 전자 장치(100)가 제어되는 모드일 수 있다. 이 경우 음성 개시 명령 대신 음성 태스크 모드를 개시하기 위한 다른 종류의 사용자 명령을 이용할 수 있다. 다른 종류의 사용자 명령은 리모컨의 특정 버튼 입력, 전자 장치(100)의 특정 버튼 입력, 사용자의 특정 모션 등을 포함할 수 있다.
그리고, 전자 장치(100)에 연결된 외부기기를 제어하기 위한 사용자 명령이 입력되면, 제어부(140)는 제1 음성 가이드 정보를 외부기기를 제어하기 위한 사용자 음성을 안내하는 제2 음성 가이드 정보로 변경하여 디스플레이하도록 디스플레이부(193)를 제어한다. 특히, 복수의 음성 가이드 정보가 저장부(130)에 저장되어 있으며, 제어부(140)는 저장부(130)에 저장된 복수의 음성 가이드 정보 중 외부기기에 대응되는 제2 음성 가이드 정보를 검색하여 독출하고, 독출된 제2 음성 가이드 정보를 디스플레이부(193)에 디스플레이할 수 있다. 복수의 음성 가이드 정보는 각각 전자 장치(100) 및 전자 장치(100)에 연결된 복수의 외부기기에 대응한다. 만약 사용자가 제어하고자 하는 외부기기에 대한 음성 가이드 정보가 저장부(130)에 저장되어 있지 않는 경우, 외부단자 입력부(160), 네트워크 인터페이스(180)를 통해서 수신할 수 있다.
이때, 제1 음성 가이드 정보와 제2 음성 가이드 정보는 서로 다른 음성 명령어를 포함할 수 있다. 예를 들어, 전자 장치(100)가 TV인 경우, 제1 음성 가이드 정보에는 전원 제어에 관한 음성 명령어, 외부기기 실행에 관한 음성 명령어, 채널 설정에 관한 음성 명령어, 볼륨 설정에 관한 음성 명령어 등이 포함될 수 있다. 그리고, 외부기기가 DVD 플레이어 및 BD 플레이어 중 하나인 경우, 제2 음성 가이드 정보에는 TV 전원 제어에 관한 음성 명령어, 외부기기 전원 제어에 관한 음성 명령어, 외부기기의 기능 실행에 관한 음성 명령어가 포함될 수 있다.
특히, 제1 음성 가이드 정보가 디스플레이된 경우, 음성 입력부(110)를 통해 제1 음성 가이드 정보에 포함된 음성 명령어가 입력되면, 제어부(140)는 입력된 음성 명령어에 따라 전자 장치(100)를 제어한다.
그러나, 제2 음성 가이드 정보가 디스플레이된 경우, 음성 입력부(110)를 통해 제2 음성 가이드 정보에 포함된 음성 명령어가 입력되면, 제어부(130)는 입력된 음성 명령어에 대응되는 제어 신호를 생성하고, 생성된 제어 신호를 외부단자 입력부(160)를 통해 외부기기에 전송할 수 있다.
전자 장치(100)와 외부 기기와의 통신을 위해 마련된 중계기기가 존재하는 경우, 음성 입력부(110)를 통해 제2 음성 가이드 정보에 포함된 음성 명령어가 입력되면, 제어부(140)는 입력된 음성 명령어에 대응되는 제어 신호를 생성하고, 생성된 제어 신호를 중계기기를 통해 외부 기기로 전송할 수 있다. 여기서 중계기기와 전자 장치(100)는 네트워크 인터페이스부(180)를 통해 통신할 수 있으며, 중계기기와 외부 기기는 무선 통신 인터페이스를 통해 통신할 수 있다. 이 경우 생성된 제어 신호는 블루투스 통신에 의해 전자 장치(100)에서 중계기기로 전송될 수 있으며, 중계기기는 전송된 제어 신호를 IR(Infrared) 신호로 변환하여 외부기기에 제어 신호를 전송하도록 구현할 수 있다. 중계기기와 외부 기기가 통신하는데 사용되는 무선 통신 인터페이스는 IR 통신 인터페이스 외에 RF 통신 인터페이스를 포함할 수 있으며, RF(Radio Frequency) 통신 인터페이스는 NFC(near field communication) 통신 인터페이스, 지그비(Zigbe) 통신 인터페이스 및 블루투스 통신 인터페이스 등이 사용될 수 있다.중계기기와 전자 장치(100)간 인터페이스와 중계기기와 외부 기기 간 인터페이스는 상술한 인터페이스로 한정되지 않으며, 유선/무선 통신 인터페이스로 구현 가능하며, 다양한 종류의 양방향 통신 인터페이스로 구현 가능하다. 특히 중계기기와 외부 기기 간 통신을 위해 외부 기기의 리모트 컨트롤에 사용하는 기존의 인터페이스를 사용하는 경우, 본 발명의 전자 장치(100)를 통해 입력되는 음성 명령어나 사용자의 모션을 통해 외부 기기를 제어하도록 구현하기 용이하다.
연결된 외부기기에 따라, 음성 가이드 정보를 제공하는 구체적인 실시예에 대해서는 도 4 내지 도 7을 참조하여 자세히 설명하도록 한다.
제어부(140)는 방송 수신부(150)를 통해 외부의 방송국으로부터 송출되는 방송 신호를 수신하고, 수신된 방송 신호에 대한 신호처리를 수행한다. 그리고, 도 4에 도시된 바와 같이 제어부(140)는 신호처리된 방송 영상을 디스플레이부(193)에 디스플레이하고 신호처리된 방송 신호의 음향을 오디오 출력부(196)를 통해 출력한다.
그리고, 음성 입력부(110)를 통해 음성 개시 명령이 입력되면, 제어부(140)는 음성 개시 명령을 인식하여 음성 태스크 모드로 전환한다. 이때, 음성 개시 명령은 음성 태스크 모드를 개시하기 위한 사용자 명령이며, 음성 태스크 모드는 전자 장치(100)가 음성 입력부(110)에 입력된 음성 명령어에 의해서 제어되는 모드이다. 상술한 대로 음성 개시 명령 대신 음성 태스크 모드를 개시하기 위한 다른 종류의 사용자 명령을 이용할 수 있다. 다른 종류의 사용자 명령은 리모컨의 특정 버튼 입력, 전자 장치(100)의 특정 버튼 입력, 사용자의 특정 모션 등을 포함할 수 있다.
그리고, 음성 태스크 모드로 전환되면, 제어부(140)는 도 5에 도시된 바와 같이, 음성 태스크 모드를 수행하기 위한 제1 음성 가이드 정보(500)를 디스플레이한다. 이때, 제1 음성 가이드 정보(500)는 방송 영상이 디스플레이되는 화면 하단에 디스플레이된다. 또한, 제1 음성 가이드 정보(500)는 현재 디스플레이 장치의 모드가 음성 태스크 모드임을 알리는 아이콘(510) 및 사용자에게 음성 명령어를 안내하는 복수의 음성 명령어(521 내지 526, 530)이 포함된다. 음성 가이드 정보의 디스플레이 위치는 변경 가능하며, 음성 가이드 정보 내의 아이콘(500) 및 복수의 음성 명령어(521 내지 526, 530)가 디스플레이되는 위치는 변경 가능하다.
복수의 음성 명령어에는 전원끄기 음성 명령어(521), 외부입력 음성 명령어(522), 채널 바로가기 음성 명령어(523), 채널 올려/내려(UP/DOWN) 음성 명령어(524), 볼륨 올려/내려(UP/DOWN) 음성 명령어(525), 소리끄기 음성 명령어(526) 및 MORE 음성 명령어(530)가 포함된다. MORE 음성 명령어(530)는 디스플레이된 음성 명령어 이외의 음성 명령어을 더 보기 위한 명령어이다. 그러나, 상술한 바와 같은 제1 음성 가이드 정보(500)에 포함된 음성 명령어는 일 실시예에 불과할 뿐, 다른 음성 명령어(예를 들어, 채널 리스트 음성 명령어 등)가 포함될 수 있다.
제1 음성 가이드 정보(500)가 디스플레이된 상태에서 음성 입력부(110)를 통해 "Universal Control"이라는 음성 명령어가 입력되면, 제어부(140)는 도 6에 도시된 바와 같은, 제어하고자 하는 외부 기기를 선택할 수 있는 제3 음성 가이드 정보(600)가 표시된다. 이때, 제3 음성 가이드 정보(600)에는 현재 디스플레이 장치의 모드가 음성 태스크 모드임을 알리는 아이콘(610) 및 사용자의 음성을 안내하는 복수의 음성 명령어(621 내지 625, 630)가 포함된다. 복수의 음성 명령어에는 Watch TV 음성 명령어(621). Watch Video 음성 명령어 (622), TV 음성 명령어 (623), 셋탑박스(STB) 음성 명령어 (624), 블루레이 디스크 플레이어(BD) 음성 명령어 (625) 및 MORE 음성 명령어 (630)가 포함된다. 그러나, 상술한 바와 같은 제3 음성 가이드 정보(600)에 포함된 음성 명령어는 일 실시예에 불과할 뿐, 다른 음성 명령어(예를 들어, DVD 플레이어 음성 명령어, USB 음성 명령어 등)를 포함될 수 있다.
제3 음성 가이드 정보가 디스플레이된 상태에서 음성 입력부(110)를 통해 "BD"라는 사용자 음성이 입력되면, 제어부(140)는 사용자 음성을 이용하여 BD를 제어할 수 있다. 그리고, 제어부(140)는 저장부(130)에 저장된 복수의 음성 가이드 정보 중에 BD를 제어하기 위한 음성 가이드 정보를 검색하여 도 7에 도시된 바와 같이 디스플레이한다.
즉, 제어부(140)는 방송 수신 기능을 하는 경우, 도 5에 도시된 바와 같은 제1 음성 가이드 정보(500)를 디스플레이하나, 제어하고자 하는 외부기기가 선택되면, 도 7에 도시된 바와 같은 제2 음성 가이드 정보(700)로 변경하여 디스플레이한다. 이때, 제2 음성 가이드 정보(700)에는 현재 디스플레이 장치의 모드가 음성 태스크 모드임을 알리는 아이콘(710) 및 사용자의 음성을 안내하는 복수의 음성 명령어(721 내지 726, 730)가 포함된다. 복수의 음성 명령어에는 전원끄기 음성 명령어 (721), 외부입력 음성 명령어 (722), 재생(일시정지) 음성 명령어 (723), 이전 파일 음성 명령어 (724), 다음 파일 음성 명령어 (725), 볼륨 올려/내려 음성 명령어 (726)가 포함된다. 그러나, 상술한 바와 같은 제2 음성 가이드 정보(700)에 포함된 음성 명령어는 일 실시예에 불과할 뿐, 다른 음성 명령어(예를 들어, 빨리감기 음성 명령어, 뒤로감기 음성 명령어 등)가 포함될 수 있다.
따라서, 상술한 바와 같이, 선택된 외부기기의 종류에 따라, 상이한 음성 가이드 정보를 제공함으로써, 사용자는 음성 인식을 이용하여 더욱 편리하고 직관적으로 외부기기를 제어할 수 있게 된다.
한편, 상술한 실시예에서는 음성 명령어를 통해 제어하고자 하는 외부기기로 BD를 선택하였으나, 이는 일 실시예에 불과할 뿐, 리모컨 등을 이용하여 BD를 선택할 수 있다.또한, 상술한 실시예에서는 선택된 외부기기의 종류에 따라 음성 태스크 모드에서 음성 가이드 정보가 상이하게 제공되는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 선택된 외부기기의 종류에 따라 모션 태스크 모드에서 모션 가이드 정보가 상이하게 제공될 수 있다.
이하에서는 도 8을 참조하여 본 발명의 일 실시예에 따른, 전자 장치의 제어 방법을 설명하도록 한다.
우선, 전자 장치(100)는 음성 태스크 모드로 전환한다(S810). 구체적으로, 전자 장치(100)의 음성 입력부(110)를 통해 음성 개시 명령이 입력되면, 전자 장치(100)는 전자 장치(100)의 제어 모드를 사용자 음성에 의해 전자 장치(100)가 제어되는 음성 태스크 모드로 전환한다.
음성 태스크 모드로 전환되면, 전자 장치(100)는 제1 음성 가이드 정보를 디스플레이한다(S820). 이때, 전자 장치(100)가 방송 수신 기능을 하는 경우, 제1 음성 가이드 정보는 방송 수신 기능을 제어하기 위한 음성 명령어가 포함된다. 예를 들어, 제1 음성 가이드 정보에는 채널 설정을 위한 음성 명령어가 포함될 수 있다.
그리고, 전자 장치(100)는 외부기기를 제어하고자 하는 사용자 명령을 입력받았는지 여부를 판단한다(S830). 이때, 사용자 명령은 도 6에서 설명한 바와 같은 사용자 음성 명령일 수 있으며, 전자 장치(100)와 연동하는 리모컨에 구비된 외부입력 변경 버튼에 의한 명령일 수 있다.
외부기기를 제어하고자 하는 사용자 명령이 입력되면(S830-Y), 전자 장치(100)는 제1 음성 가이드 정보를 제2 음성 가이드 정보로 변경하여 디스플레이한다(S840). 이때, 외부기기의 종류를 선택할 수 있는데 외부기기가 BD(Blue-ray) 플레이어 또는 DVD 플레이어인 경우, 제2 음성 가이드 정보에는 채널 설정을 위한 음성 명령어가 사라지고, 영상 재생을 위한 음성 명령어(예를 들어, 재생 정지를 위한 음성 명령어, 다음 파일 재생을 위한 음성 명령어 등)가 포함될 수 있다.
상술한 바와 같이, 선택된 외부기기의 종류에 따라 음성 가이드 정보가 상이하게 디스플레이됨으로써, 사용자는 음성 인식을 이용하여 연결된 외부기기를 더욱 편리하고 직관적으로 제어할 수 있게 된다.
한편, 상술한 실시예에서는 전자 장치(100)가 외부단자 입력부(160)를 통해 직접 외부기기와 연결되는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 전자 장치(100)가 네트워크 인터페이스부(180)를 통해 연결된 중계기기를 이용하여 외부 기기와 연결되는 실시예 역시 본 발명의 기술적 사상이 적용되며, 외부 단자 입력부(160)와 중계기기를 모두 이용하여 전자 장치(100)와 외부 기기가 연결되는 실시예도 본 발명의 기술적 사상이 적용된다. 구체적으로, 도 9에 도시된 바와 같은 시스템(10)은 전자 장치(100), 중계 기기(200) 및 외부기기(300)를 포함한다. 이때, 전자 장치(100)는 중계기기(200)를 통해 외부기기(300)와 연결될 수 있다.
구체적으로, 음성 입력부(110)를 통해 제2 음성 가이드 정보에 포함된 음성 명령어에 대응하는 사용자 음성이 입력되면, 전자 장치(100)는 입력된 음성 명령어에 대응되는 제어 신호를 생성한다. 그리고, 전자 장치(100)는 네트워크 인터페이스부(180)의 블루투스 통신을 이용하여 중계기기(200)로 제어 신호를 전송한다. 제어 신호가 전송되면, 중계기기(200)는 수신된 제어 신호를 IR 신호 형태로 변환하여 외부기기(300)에 전송한다. 외부기기(300)가 IR 신호를 수신하면, 외부기기(300)는 IR 신호를 복조하고, 전자 장치(100)에 입력된 음성 명령어에 따라 제어된다.
중계기기와 전자 장치(100)간 인터페이스와 중계기기와 외부 기기 간 인터페이스는 상술한 인터페이스로 한정되지 않으며, 유선/무선 통신 인터페이스로 구현 가능하며, 다양한 종류의 양방향 통신 인터페이스로 구현 가능하다.
이하에서는 도 10 내지 도 12를 참조하여, 모션 입력부(120)의 화각을 설정하는 화각 설정 UI에 대한 실시예를 설명하기로 한다.
특히, 본 실시예에서는 모션 입력부(120)가 카메라일 수 있다. 이때, 카메라는 도 10에 도시된 바와 같이, 전자 장치(100)의 디스플레이부(193)를 둘러싸는 베젤(bezel) 중 상단의 베젤에 돌출되도록 배치될 수 있다. 그러나, 이는 일 실시예에 불과할 뿐, 카메라는 상단 베젤에 돌출되지 않도록 배치될 수 있고 카메라의 위치에 대응하는 베젤의 일부는 투명한 재질로 구성되거나 구멍이 형성되도록 구현될 수 있다. 또한 카메라는 베젤의 상단뿐만 아니라 4개 면 어디에도 배치될 수 있다.
기 설정된 이벤트가 발생되면, 제어부(140)는 디스플레이 화면의 일 영역에 카메라의 화각을 안내하는 화각 안내 UI를 디스플레이한다. 그리고, 제어부(140)는 화각 안내 UI를 이용하여 입력된 사용자 명령에 따라 카메라의 화각을 설정할 수 있다.
이때, 기 설정된 이벤트는 전자 장치(100)의 최초 설치시 전자 장치(100)에 전원이 인가되는 이벤트, 모션 태스크 모드가 온(on) 된 이벤트, 전자 장치(100)의 제어 메뉴 중 화각 설정 메뉴가 선택된 이벤트 중 하나일 수 있다. 한편, 기 설정된 이벤트가 발생되면, 제어부(140)는 도 11에 도시된 바와 같이, 디스플레이 화면 중앙 영역에 화각 안내 UI(1100)를 디스플레이한다. 이때, 화각 안내 UI(1100)는 디스플레이 화면 전체에 디스플레이되는 것이 아니라 디스플레이 화면의 일 영역(예를들어, 중앙 영역)에 디스플레이된다. 따라서, 사용자는 현재 시청하고 있는 컨텐츠 영상을 계속해서 시청할 수 있게 된다. 물론 화각 안내 UI(1100)가 화면 전체 영역에 디스플레이되도록 구현할 수 있다.
그리고, 화각 안내 UI(1100)에는 카메라에 의해 촬영되고 있는 영상을 디스플레이하는 카메라 영상 표시 화면(1110)을 포함한다. 따라서, 사용자는 현재 카메라가 촬영하고 있는 영상을 확인하여 카메라의 현재 화각을 안내받을 수 있다.
이때, 화각 안내 UI(1100)는 카메라 영상 표시 화면(1110)과 바람직한 사용자의 위치를 안내하는 가이드 라인을 포함할 수 있다. 또한 화각 안내 UI(1100)는 카메라 영상 표시 화면(1110)과 카메라 영상 표시 화면(1110) 상의 사용자의 위치에 따른 바람직한 카메라의 화각을 안내하는 가이드 라인을 포함할 수 있다.
화각 안내 UI(1100)에 카메라 영상 표시 화면(1110)과 바람직한 카메라의 화각을 안내하는 가이드 라인이 포함되는 경우, 카메라의 화각은 사용자에 의해 수동으로 조정될 수 있으며, 자동으로 조정되도록 구현할 수 있다. 또한 이 경우, 카메라 영상 표시 화면(1110) 내의 사용자의 위치가 변경됨에 따라 바람직한 카메라의 화각을 안내하는 가이드 라인의 위치가 변경될 수 있다.
여기서 카메라의 화각은 실제 카메라의 위치나 각도를 조정하는 것을 통해 조정할 수 있다. 또한, 실제 카메라의 위치나 각도는 조정하지 않은 상태에서 촬영된 영상 중 카메라 영상 표시 화면(1110)으로 표시되는 영상을 선택하는 것을 통해 조정할 수 있으며, 이 경우 카메라 영상 표시 화면(1110)은 촬영된 영상 중 일부이다.카메라의 화각이 조정되는 동안 화각 안내 UI(1100)를 통해 사용자 명령이 입력되면, 제어부(140)는 사용자 명령이 입력된 시점에서의 카메라 영상 표시 화면(1110)의 영상을 사용자의 모션을 인식하는 데 사용하는 영상으로 설정할 수 있다.
특히, 사용자가 리모컨에 구비된 방향 버튼을 이용하여 카메라의 화각을 조정하는 경우, 리모컨은 선택된 방향 버튼 정보가 포함된 신호를 생성하여 전자 장치(100)에 전송하고, 제어부(140)는 리모컨으로부터 전송된 신호에 따라 카메라를 조정할 수 있다.
상술한 바와 같은 화각 안내 UI(1100)는 사용자의 모션을 좀 더 정확히 인식하기 위한 영상을 생성하는 데 이용할 수 있다. 도 12는 본 발명의 일 실시예에 따른, 전자 장치(100)의 카메라 화각 설정 방법을 설명하기 위한 흐름도이다.
우선, 전자 장치(100)는 기설정된 이벤트가 발생되었는지 여부를 판단한다(S1210). 이때, 기 설정된 이벤트는 전자 장치(100)의 최초 설치시 전자 장치(100)에 전원이 인가되는 이벤트, 모션 태스크 모드가 온(on) 된 이벤트, 전자 장치(100)의 제어 메뉴 중 화각 설정 메뉴가 선택된 이벤트 중 하나일 수 있다. 즉, 사용자 모션으로 전자 장치(100)를 제어하기 위한 모션 태스크 모드에 진입하더라도 화각 설정 UI는 디스플레이되지 않고, 기설정된 이벤트가 발생한 경우에만 화각 설정 UI를 디스플레이할 수 있다.
기설정된 이벤트가 발생되면(S1210-Y), 전자 장치(100)는 카메라(120)의 화각을 설정하기 위한 화각 안내 UI를 디스플레이한다(S1220). 이때, 화각 안내 UI(1100)는 도 11에 도시된 바와 같이, 디스플레이 화면의 중앙 영역에 디스플레이될 수 있고, 현재 카메라에 의해 촬영되는 영상을 디스플레이하는 화면(1110)을 포함할 수 있다. 이에 의해, 사용자는 현재 전자 장치(100)에서 출력되는 컨텐츠 영상을 시청하면서, 카메라 화각을 설정할 수 있게 된다. 물론 화각 안내 UI(1100)가 화면 전체 영역에 디스플레이되도록 구현할 수 있다.
그리고, 전자 장치(100)는 디스플레이된 화각 안내 UI를 이용하여 카메라의 화각을 설정할 수 있다(S1230). 이때, 화각 안내 UI(1100)에 카메라 영상 표시 화면(1110)과 바람직한 카메라의 화각을 안내하는 가이드 라인이 포함되는 경우, 카메라의 화각은 사용자에 의해 수동으로 조정될 수 있으며, 자동으로 조정되도록 구현할 수 있다. 또한 이 경우, 카메라 영상 표시 화면(1110) 내의 사용자의 위치가 변경됨에 따라 바람직한 카메라의 화각을 안내하는 가이드 라인의 위치가 변경될 수 있다.
여기서, 카메라의 화각은 실제 카메라의 위치나 각도를 조정하는 것을 통해 조정할 수 있다. 또한, 실제 카메라의 위치나 각도는 조정하지 않은 상태에서 촬영된 영상 중 카메라 영상 표시 화면(1110)으로 표시되는 영상을 선택하는 것을 통해 조정할 수 있으며, 이 경우 카메라 영상 표시 화면(1110)은 촬영된 영상 중 일부이다.
카메라의 화각이 조정되는 동안 화각 안내 UI(1100)를 통해 사용자 명령이 입력되면, 전자 장치(100)는 사용자 명령이 입력된 시점에서의 카메라 영상 표시 화면(1110)의 영상을 사용자의 모션을 인식하는 데 사용하는 영상으로 설정할 수 있다.
특히, 사용자가 리모컨에 구비된 방향 버튼을 이용하여 카메라의 화각을 조정하는 경우, 리모컨은 선택된 방향 버튼 정보가 포함된 신호를 생성하여 전자 장치(100)에 전송하고, 전자 장치(100)는 리모컨으로부터 전송된 신호에 따라 카메라를 조정할 수 있다.
이에 의해, 사용자는 화각 안내 UI를 이용하여 더욱 용이하게 카메라의 화각을 설정할 수 있게 된다. 또한, 모션 태스크 모드로 전환될 때마다 화각을 설정하는 것이 아닌 기 설정된 이벤트가 발생할 때마다 카메라의 화각을 설정함으로써, 사용자는 모션 태스크 모드로 전환될 때마다 카메라의 화각을 설정해야 하는 번거로움을 줄일 수 있게 된다.
이하에서는 도 13 내지 19를 참조하여, 사용자 모션에 의해 전자 장치(100)를 제어하기 위한 모션 UI에 대한 실시예를 설명하기로 한다.
모션 입력부(120)를 통해 모션 개시 명령이 입력되면, 제어부(140)는 전자 장치(100)의 모드를 모션 태스크 모드로 전환한다. 이때, 모션 개시 명령은 사용자의 한 손을 좌우로 복수 회 흔드는 모션일 수 있다. 그리고, 모션 태스크 모드는 전자 장치(100)를 모션 입력부(120)를 통해 입력된 사용자의 모션에 의해 제어되는 모드이다. 모션 개시 명령 대신 음성 태스크 모드를 개시하기 위한 다른 종류의 사용자 명령을 이용할 수 있다. 다른 종류의 사용자 명령은 리모컨의 특정 버튼 입력, 전자 장치(100)의 특정 버튼 입력, 사용자의 특정 음성 등을 포함할 수 있다.
모션 태스크 모드로 전환되면, 제어부(140)는 모션 태스크 모드를 수행하기 위한 아이콘 및 포인터를 디스플레이부(193)에 디스플레이한다. 이때, 디스플레이되는 아이콘은 전자 장치(100)의 기능을 제어하기 위한 아이콘이다. 그리고, 아이콘은 디스플레이 화면의 좌측 영역 및 우측 영역에 디스플레이될 수 있다. 또한, 포인터는 디스플레이 화면의 중앙 영역에 디스플레이될 수 있다.
특히, 모션 태스크 모드로 전환시 방송 신호가 출력되는 경우, 제어부(140)는 불륨 조절, 채널 변경을 위한 아이콘들을 디스플레이한다. 각 아이콘은 디스플레이 화면의 좌측 영역 및 우측 영역에 디스플레이될 수 있다. 볼륨 조절 아이콘은 볼륩 업 아이콘과 볼륨 다운 아이콘을 포함하며, 채널 변경 아이콘은 채널 업 아이콘과 채널 다운 아이콘을 포함한다. 또한 포인터가 디스플레이 화면의 특정 위치(예를 들면, 화면의 중앙 영역)에 디스플레이 될 수 있다.
그리고, 제어부(140)는 모션 입력부(120)를 통해 입력된 사용자의 제1 모션에 따라 포인터를 이동시킨다. 이때, 사용자의 제1 모션은 사용자의 손이 펴진 상태인 스프레드(spread) 모션일 수 있다. 즉, 모션 입력부(120)를 통해 사용자의 손이 펴진 상태에서 이동되는 모션이 입력되면, 제어부(140)는 사용자의 손의 이동에 따라 포인터를 이동시킬 수 있다.
그리고, 포인터가 아이콘에 위치한 상태에서 모션 입력부(120)를 통해 사용자의 제2 모션이 입력되면, 제어부(140)는 아이콘에 대응되는 기능을 실행한다. 이때, 사용자의 제2 모션은 손을 쥐는 그랩(grab) 모션일 수 있다. 예를 들어, 포인터가 볼륨 업 아이콘에 위치한 상태에서 모션 입력부(120)를 통해 사용자의 그랩 모션이 입력되면, 제어부(140)는 현재 볼륨 레벨에서 볼륨 레벨을 "1" 증가시킬 수 있다.
여기서, 제어부(140)는 사용자의 제2 모션이 입력되는 동안 포인터의 위치가 움직이지 않고 고정되도록 제어한다. 이는 사용자의 제2 모션을 입력할 때, 사용자의 손이 움직인 것으로 판단되어 포인터의 위치가 변경되면, 사용자는 전자 장치(100)를 정확하게 제어할 수 없기 때문이다.
또한, 포인터가 아이콘에 위치하면서 제2 모션의 입력이 유지되면, 제어부(140)는 포인터가 위치하는 아이콘의 기능을 연속적으로 실행할 수 있다. 예를 들어, 포인터가 볼륨 다운 아이콘에 위치하면서 제2 모션의 입력이 유지되면, 제어부(140)는 볼륨 레벨을 계속해서 감소시킬 수 있다. 이때, 제2 모션의 입력이 계속 유지되면, 제어부(140)는 포인터가 위치하는 아이콘의 기능을 더욱 빠르게 실행할 수 있다. 예를 들어, 포인터가 볼륨 다운 아이콘에 위치하면서 제2 모션의 입력이 유지되면, 제어부(140)는 볼륨 레벨을 점점 빨리 감소시킬 수 있다.
그리고, 모션 입력부(120)를 통해 모션 종료 모션이 입력될 수 있으며, 모션 종료 모션이 입력되면, 제어부(140)는 디스플레이된 복수의 아이콘 및 포인터를 디스플레이부(110)의 디스플레이 화면에서 제거할 수 있다. 이때, 모션 종료 모션과 모션 개시 모션은 동일한 모션일 수 있다
사용자의 모션, 복수의 아이콘 및 포인터를 이용하여 전자 장치(100)를 제어하는 방법에 대해서는 도 13 내지 도 18을 참조하여 자세히 설명하기로 한다.
제어부(140)는 방송 수신부(140)를 통해 수신된 방송 신호를 신호처리하여 도 13에 도시된 바와 같이, 방송 영상(1300)을 디스플레이 화면에 디스플레이한다.
이때, 모션 입력부(120)를 통해 모션 개시 명령이 입력되면, 제어부(140)는 전자 장치(100)의 제어 모드를 모션 태스크 모드로 전환한다. 이때, 모션 태스크 모드라 함은, 전자 장치(100)를 모션 입력부(120)를 통해 사용자의 모션에 의해 제어하는 모드이다. 모션 개시 명령 대신 모션 태스크 모드를 개시하기 위한 다른 종류의 사용자 명령을 이용할 수 있다. 다른 종류의 사용자 명령은 리모컨의 특정 버튼 입력, 전자 장치(100)의 특정 버튼 입력, 사용자의 특정 음성 등을 포함할 수 있다.
모션 태스크 모드로 전환되면, 제어부(140)는 전자 장치(100)의 특정 기능을 수행하기 위한 복수의 아이콘(1410,1430,1440,1460) 및 포인터가 디스플레이(1470)된다. 구체적으로, 도 14에 도시된 바와 같이, 제어부(140)는 디스플레이 화면의 좌측 영역에 볼륨 레벨 제어를 위한 볼륨 업 아이콘(1410) 및 볼륨 다운 아이콘(1430)을 디스플레이하고, 디스플레이 화면의 우측 영역에 채널 제어를 위한 채널 업 아이콘(1440), 채널 다운 아이콘(1460)을 디스플레이하며, 디스플레이 화면의 중앙 영역에 포인터(1470)를 디스플레이한다.
이때, 볼륨 업 아이콘(1410) 및 볼륨 다운 아이콘(1430) 사이에는 전자 장치(100)의 현재 볼륨 레벨 정보(1420)가 디스플레이된다. 그리고, 채널 업 아이콘(1440) 및 채널 다운 아이콘(1460) 사이에는 전자 장치(100)의 현재 채널 정보(예를 들어, 채널 명, 채널 번호)(1450)가 디스플레이된다. 따라서, 사용자는 현재 설정된 채널 정보 및 볼륨 레벨 정보를 쉽게 확인할 수 있게 된다. 현재 볼륨 레벨 정보(1420)과 현재 채널 정보(1450)의 표시 위치는 상술한 위치와 다른 위치일 수 있으며, 모션 태스크 모드로 전환되면 현재 볼륨 레벨 정보(1420)과 현재 채널 정보(1450)가 바로 표시될 수 있다.
한편, 상술한 실시예에서는 볼륨 레벨 제어를 위한 아이콘(1410,1430)이 좌측 영역에 디스플레이되고, 채널 제어를 위한 아이콘(1440,1460)이 우측 영역에 디스플레이되는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 다른 영역에 디스플레이될 수 있다.
또한, 상술한 실시예에서는 볼륨 레벨 제어를 위한 아이콘(1410,1430) 및 채널 제어를 위한 아이콘(1440,1460)이 디스플레이되는 것으로 설명하였으나, 전자 장치(100)의 다른 기능을 제어하기 위한 아이콘(예를 들어, 소리 끄기, 전원 끄기 등)를 위한 아이콘이 디스플레이될 수 있다.
복수의 아이콘(1410,1430,1440,1460) 및 포인터(1470)가 디스플레이된 상태에서 모션 입력부(120)를 통해 사용자의 손이 펴진 상태에서 이동되는 모션이 입력되면, 제어부(140)는 이동 모션에 따라 포인터(1470)를 이동시킨다.
그리고, 포인터(1470)가 복수의 아이콘(1410,1430,1440,1460) 중 하나의 아이콘 상에 위치한 상태에서 모션 입력부(120)를 통해 사용자의 그랩 모션이 입력되면, 제어부(140)는 포인터(1470)가 위치한 아이콘에 대응되는 기능을 실행시킬 수 있다.
예를 들어, 모션 입력부(120)를 통해 사용자의 손이 펴진 상태에서 좌측으로 이동되는 모션이 입력되면, 제어부(140)는 이동 모션에 따라 포인터(1470)를 좌측으로 이동시킨다. 그리고, 도 15에 도시된 바와 같이, 포인터(1470)가 볼륨 다운 아이콘(1430) 상에 위치한 상태에서 모션 입력부(120)를 통해 사용자의 그랩 모션이 입력되면, 제어부(140)는 현재 전자 장치(100)에 설정된 볼륨 레벨을 "1" 줄인다. 즉, 현재 전자 장치(100)에 설정된 볼륨 레벨이 "21"인 경우, 포인터(1470)가 볼륨 다운 아이콘(1430) 상에 위치한 상태에서 모션 입력부(120)를 통해 사용자의 그랩 모션이 입력되면, 제어부(140)는 현재 전자 장치(100)의 볼륨 레벨을 "20"으로 설정한다. 그리고, 제어부(140)는 전자 장치(100)의 볼륨 레벨을 조절할 뿐 아니라, 도 16에 도시된 바와 같이, 볼륨 레벨 정보(1420) 역시 변경되도록 한다.
이때, 제어부(140)는 모션 입력부(120)를 통해 그랩 모션이 입력되는 경우, 사용자의 손이 움직이더라도 포인터(1470)의 위치를 변경시키지 않고 고정시킬 수 있다.
또한, 포인터(1470)가 볼륨 다운 아이콘(1430) 상에 위치한 상태에서 모션 입력부(120)를 통해 사용자의 그랩 모션이 입력된 횟수에 따라, 제어부(140)는 현재 전자 장치(100)의 볼륨 레벨을 계속해서 감소할 수 있다. 그랩 모션이 입력된 횟수는 스프레스 모션에서 그랩 모션으로 전환된 횟수로 계산할 수 있다.
또 다른 예로, 모션 입력부(120)를 통해 사용자의 손이 펴진 상태에서 우측으로 이동되는 모션이 입력되면, 제어부(140)는 이동 모션에 따라 포인터(1470)를 우측으로 이동시킨다. 그리고, 도 17에 도시된 바와 같이, 포인터(1470)가 채널 다운 아이콘(1460) 상에 위치한 상태에서 모션 입력부(120)를 통해 사용자의 그랩 모션이 두 번 입력되면, 제어부(140)는 현재 전자 장치(100)에 설정된 채널 번호에서 "2" 감소된 방송 영상을 수신하여 디스플레이한다. 즉, 현재 전자 장치(100)에 설정된 채널 번호가 "11"인 경우, 포인터(1470)가 채널 다운 아이콘(1460) 상에 위치한 상태에서 모션 입력부(120)를 통해 사용자의 그랩 모션이 두 번 입력되면, 제어부(140)는 현재 전자 장치(100)의 채널 번호가 "9"인 방송 영상을 수신하여 디스플레이할 수 있다. 그리고, 제어부(140)는 전자 장치(100)의 채널을 제어할 뿐 아니라, 도 18에 도시된 바와 같이, 채널 정보(1450) 역시 변경되도록 한다.
또한, 포인터(1470)가 채널 다운 아이콘(1460) 상에 위치한 상태에서 모션 입력부(120)를 통해 사용자의 그랩 모션이 입력된 횟수에 따라, 제어부(140)는 현재 전자 장치(100)의 채널 번호를 계속해서 감소할 수 있다.
상술한 바와 같은 전자 장치(100)에 의해, 사용자는 모션을 이용하여 편리하고 직관적으로 디스플레이 장치를 제어할 수 있으며, 손의 위치 정보와 손의 형태 변화만을 이용하여 디스플레이 장치의 기능을 제어할 수 있게 되어 사용자의 모션이 인식되는 속도를 향상시킬 수 있다.
도 10은 본 발명의 일 실시예에 따른, 사용자 모션을 이용한 전자 장치(100)의 제어 방법을 설명하기 위한 흐름도이다.
우선, 전자 장치(100)는 모션 입력부(120)를 통해 모션 개시 명령이 입력되었는지 여부를 판단한다(S1910). 이때, 모션 개시 명령은 사용자의 손을 좌우로 복수 회 흔드는 모션일 수 있다. 여기서, 모션 개시 명령 대신 모션 태스크 모드를 개시하기 위한 다른 종류의 사용자 명령을 이용할 수 있다. 다른 종류의 사용자 명령은 리모컨의 특정 버튼 입력, 전자 장치(100)의 특정 버튼 입력, 사용자의 특정 음성 등을 포함할 수 있다.
모션 개시 명령이 입력되면(S1910-Y), 전자 장치(100)는 전자 장치(100)의 모드를 모션 태스크 모드로 전환한다(S1920). 이때, 모션 태스크 모드는 전자 장치(100)를 사용자 모션에 의해 제어하는 모드이다.
모션 태스크 모드로 전환되면, 전자 장치(100)는 디스플레이 화면에 복수의 아이콘 및 포인터를 디스플레이한다(S1930), 이때, 복수의 아이콘은 디스플레이 화면의 좌측 영역 또는 우측 영역에 디스플레이되며, 포인터는 디스플레이 화면의 중앙 영역에 디스플레이될 수 있다. 또한, 복수의 아이콘에는 채널 설정을 위한 아이콘 및 볼륨 레벨 설정을 위한 아이콘이 포함될 수 있다. 이때, 볼륨 레벨 설정을 위한 아이콘 주위에는 전자 장치(100)의 현재 볼륨 레벨 정보가 디스플레이된다. 그리고, 채널 설정을 위한 아이콘 주위에는 전자 장치(100)의 현재 채널 정보(예를 들어, 채널 명, 채널 번호) 가 디스플레이된다.
그리고, 전자 장치(100)는 모션 입력부(120)를 통해 사용자의 제1 모션이 입력되었는지 여부를 판단한다(S1940). 이때, 사용자 모션은 사용자의 손을 편 상태에서 이동하는 모션일 수 있다.
제1 모션이 입력되었다고 판단되면(S1940-Y), 전자 장치(100)는 제1 모션에 따라 디스플레이 화면의 포인터를 이동시킨다(S1950).
그리고, 전자 장치(100)는 모션 입력부(120)를 통해 사용자의 제2 모션이 입력되었는지 여부를 판단한다(S1960). 이때, 사용자 모션은 사용자의 손을 쥐는 그랩 모션일 수 있다.
제2 모션이 입력되었다고 판단되면(S1960-Y), 전자 장치(100)는 포인터가 위치하는 아이콘에 대응되는 기능을 실행시킨다(S1970). 예를 들어, 포인터가 볼륨 업 아이콘에 위치하고, 제2 모션이 입력되었다고 판단되면, 전자 장치(100)는 현재 전자 장치(100)에 설정된 볼륨 레벨을 증가시킨다. 또한, 포인터가 특정 아이콘에 위치한 상태에서 제2 모션이 입력한 횟수에 따라 전자 장치(100)는 포인터가 위치하는 아이콘의 기능을 실행시킬 수 있게 된다. 제2 모션이 입력된 횟수는 제1 모션에서 제2 모션으로 전환된 횟수로 계산할 수 있다.
그리고, 전자 장치(100)는 제2 모션이 입력되는 경우, 사용자의 손이 움직이더라도, 포인터를 움직이지 않고 고정시킬 수 있게 된다.
상술한 바와 같은 전자 장치의 제어 방법에 의해, 사용자는 사용자 모션을 이용하여 더욱 편리하고 직관적으로 전자 장치(100)를 제어할 수 있 으며, 손의 위치 정보와 손의 형태 변화만을 이용하여 디스플레이 장치의 기능을 제어할 수 있게 되어 사용자의 모션이 인식되는 속도를 향상시킬 수 있다.
이하에서는 도 20 내지 도 22를 참조하여, 음성 입력 방법에 따라 상이한 음성 가이드 정보를 제공하는 실시예에 대해 설명하기로 한다.
특히, 음성 개시 명령이 입력되면, 제어부(140)는 입력된 음성 개시 명령이 제1 음성 개시 명령인지 제2 음성 개시 명령인지 여부를 판단한다. 여기서, 음성 개시 명령이라 함은 전자 장치(100)의 제어 모드를 음성 입력부(110)를 통해 입력되는 사용자 음성에 의해 제어되는 음성 태스크 모드로 진입하기 위한 명령이다. 특히, 제1 음성 개시 명령은 전자 장치(100)에 구비된 음성 입력부(110)를 통해 입력된 기설정된 단어가 포함된 사용자 음성 명령이고, 제2 음성 개시 명령은 전자 장치(100)와 연동하는 외부기기(예를 들어, 리모컨)에 포함된 기 설정된 버튼이 눌러지는 사용자 명령일 수 있다. 그러나, 상술한 제1 음성 개시 명령 및 제2 음성 개시 명령은 일 실시 예에 불과할 뿐, 다른 방법의 음성 개시 명령으로도 구현될 수 있다.
음성 개시 명령이 제1 음성 개시 명령이라고 판단되면, 제어부(140)는 전자 장치(100)의 모드를 제1 음성 태스크 모드로 전환한다. 이때, 제1 음성 태스크 모드는 전자 장치(100)의 음성 입력부에 입력된 사용자 음성에 따라 제어되는 음성 태스크 모드이다.
그리고, 음성 개시 명령이 제2 음성 개시 명령이라고 판단되면, 제어부(140)는 전자 장치(100)의 제어 모드를 제2 음성 태스크 모드로 전환한다. 제2 음성 태스크 모드는 전자 장치(100)와 연동하는 외부기기에 입력된 사용자 음성에 따라 제어되는 음성 태스크 모드이다. 특히, 제2 음성 태스크 모드에서는 외부기기에 구비된 음성 입력 버튼을 누르는 동안 사용자의 음성이 입력될 수 있다. 또는, 제2 음성 태스크 모드에서는 외부기기에 구비된 음성 입력 버튼을 한 번 누르고, 사용자 음성을 입력한 후, 다시 한번 음성 입력 버튼을 누름으로써, 사용자의 음성이 입력될 수 있다.
특히, 제1 음성 태스크 모드에서는 외부기기에 의해 입력된 사용자의 음성에 의해 전자 장치(100)가 제어되지 않으며, 제2 음성 태스크 모드에서는 전자 장치(100)에 구비된 음성 입력부에 입력된 사용자 음성에 의해 전자 장치(100)가 제어되지 않을 수 있다.
전자 장치(100)의 제어 모드가 음성 개시 모드로 전환되면, 제어부(140)는 전환된 음성 태스크 모드에 대응되는 음성 가이드 정보를 디스플레이한다. 구체적으로, 전자 장치(100)의 모드가 제1 음성 태스크 모드로 전환되면, 제어부(140)는 제1 음성 태스크 모드에 대응되는 제1 음성 가이드 정보를 디스플레이한다. 그리고, 전자 장치(100)의 제어 모드가 제2 음성 태스크 모드로 전환되면, 제어부(140)는 제2 음성 태스크 모드에 대응되는 제2 음성 가이드 정보를 디스플레이한다.
제1 음성 가이드 정보 및 제2 음성 가이드 정보에 대해서는 도 20 및 도 21을 참조하여 더욱 상세히 설명하기로 한다.
도 20은 본 발명의 일 실시 예에 따른, 제1 음성 가이드 정보를 도시한 도면이다. 도 20에 도시된 바와 같이, 제1 음성 가이드 정보(2000)는 방송 영상이 디스플레이되는 화면 하단에 디스플레이된다. 또한, 제1 음성 가이드 정보(2000)는 현재 디스플레이 장치의 제어 모드가 제1 음성 태스크 모드임을 알리는 아이콘(2010) 및 사용자의 음성을 안내하는 복수의 음성 명령어(2021 내지 2027)이 포함된다. 복수의 음성 명령어에는 전원끄기 음성 명령어(2021), 외부입력 음성 명령어(2022), 채널 바로가기 음성 명령어(2023), 채널 올려/내려(UP/DOWN) 음성 명령어(2024), 볼륨 올려/내려(UP/DOWN) 음성 명령어(2025), 소리끄기 음성 명령어(2026) 및 MORE 음성 명령어(2027)가 포함된다. MORE 음성 명령어(2027)은 디스플레이된 음성 명령어 이외의 음성 명령어을 더 보기 위한 명령어이다.
이때, 제1 음성 태스크 모드임을 알리는 아이콘(2010)은 도 20에 도시된 바와 같이, 마이크 형상일 수 있다.
특히, 제1 음성 가이드 정보(2000)는 리모컨에 구비된 버튼 중 한 번 누름으로써 실행할 수 있는 버튼에 대응되는 음성 명령어가 포함될 수 있다. 예를 들어, 제1 음성 가이드 정보(2000)는 채널 올려/내려 음성 명령어(2024), 볼륨 올려/내려 음성 명령어(2025), 소리끄기 음성 명령어(2026) 등이 포함될 수 있다.
도 21은 본 발명의 일 실시 예에 따른, 제2 음성 가이드 정보(2100)를 도시한 도면이다. 도 21에 도시된 바와 같이, 제2 음성 가이드 정보(2100)는 제1 음성 가이드 정보(2000)가 디스플레이되는 영역과 동일한 영역인 방송 영상이 디스플레이되는 화면 하단에 디스플레이된다. 또한, 제2 음성 가이드 정보(2100)는 현재 디스플레이 장치의 모드가 제2 음성 태스크 모드임을 알리는 아이콘(2110) 및 사용자의 음성을 안내하는 복수의 음성 명령어(2121 내지 2127)이 포함된다. 복수의 음성 명령어에는 채널 바로가기 음성 명령어(2121), 검색 음성 명령어(2122), 외부입력 음성 명령어(2123), 채널 리스트 음성 명령어(2124), 즐겨찾기 음성 명령어(2125) 및 MORE 음성 명령어(2126)가 포함된다. 이때, 즐겨찾기 음성 명령어(2125)는 사용자가 자주 사용하는 기능(예를 들어, 특정 어플리케이션 실행)을 포함하는 메뉴를 디스플레이하기 위한 음성 명령어이다.
이때, 제2 음성 태스크 모드임을 알리는 아이콘(2110)은 도 20에 도시된 제1 음성 태스크 모드를 알리는 아이콘(2010)과 상이한 리모컨 형상일 수 있다. 따라서, 음성 가이드 정보(2000,2100)에 포함된 아이콘(2010,2110)을 통해 사용자는 현재 음성 태스크 모드가 제1 음성 태스크 모드인지 제2 음성 태스크 모드인지 확인할 수 있게 된다.
그리고, 제2 음성 가이드 정보(2100)에 포함된 복수의 음성 명령어는 제1 음성 가이드 정보(2000)에 포함된 복수의 음성 명령어와 일부 상이할 수 있다. 특히, 제2 음성 가이드 정보(2100)는 리모컨에 구비된 버튼 중 한 번 누름으로써 실행될 수 있는 버튼에 대응되는 음성 명령어를 포함하지 않을 수 있다. 예를 들어, 제2 음성 가이드 정보(2100)는 채널 올려/내려 음성 명령어(2024), 볼륨 올려/내려 음성 명령어(2025), 소리끄기 음성 명령어(2026) 등이 포함되지 않을 수 있다. 이는 제2 음성 태스크 모드에서 리모컨을 사용자가 쥐고 있으므로, 사용자가 말하는 것보다는 리모컨 버튼을 누르는 것이 더욱 편리할 수 있기 때문이다.
그 대신, 제2 음성 가이드 정보(2100)에는 검색 음성 명령어(2122), 외부입력 음성 명령어(2123), 채널 리스트 음성 명령어(2124) 및 즐겨찾기 음성 명령어(2125)과 같이, 리모컨의 버튼을 이용하여 기능에 진입하기 위해서 2번 이상의 버튼 입력이 필요한 기능에 대응하는 음성 명령어가 포함될 수 있다.
즉, 상술한 바와 같이, 제1 음성 태스크 모드 및 제2 음성 태스크 모드에 따라 상이한 음성 가이드 정보를 제공함으로써, 사용자는 복수의 음성 태스크 모드에 따라, 효율적이고 편리하게 전자 장치(100)를 제어할 수 있게 된다.
제1 음성 가이드 정보(2000) 및 제2 음성 가이드 정보(2100) 중 하나가 디스플레이되면, 제어부(140)는 해당되는 음성 태스크 모드에서 음성 입력부(110)에 입력된 사용자 음성에 따라 전자 장치(100)를 제어한다. 예를 들어, 제1 음성 가이드 정보(2000)가 디스플레이된 상태에서 음성 입력부(110)를 통해 "소리끄기"라는 사용자 음성이 입력되면, 제어부(140)는 전자 장치(100)의 볼륨 레벨을 "O"으로 설정할 수 있다. 또한, 제2 음성 가이드 정보(2100)가 디스플레이된 상태에서 음성 입력부(110)를 통해 "채널리스트"라는 사용자 음성이 입력되면, 제어부(140)는 디스플레이부(193)에 채널리스트를 디스플레이할 수 있다.
도 22는 본 발명의 일 실시예에 따른, 음성 입력 방식에 따라 상이한 음성 태스크 모드를 제공하는 방법을 설명하기 위한 흐름도이다.
우선, 전자 장치(100)는 음성 개시 명령을 입력받는다(S2210). 이때, 여기서, 음성 개시 명령이라 함은 전자 장치(100)의 모드를 음성 입력부(110)를 통해 입력되는 사용자 음성에 의해 제어되는 음성 태스크 모드로 진입하기 위한 명령이다. 특히, 제1 음성 개시 명령은 전자 장치(100)에 구비된 음성 입력부(110)를 통해 입력된 기설정된 단어가 포함된 사용자 음성 명령이고, 제2 음성 개시 명령은 전자 장치(100)와 연동하는 외부기기(예를 들어, 리모컨)에 포함된 기 설정된 버튼이 눌러지는 사용자 명령일 수 있다.
그리고, 전자 장치(100)는 입력된 음성 개시 명령이 제1 음성 개시 명령인지 여부를 판단한다(S2220).
입력된 음성 개시 명령이 제1 음성 개시 명령이라면(S2220-Y), 전자 장치(100)는 전자 장치(100)의 모드를 제1 음성 태스크 모드로 전환한다(S2230). 여기서, 제1 음성 태크스 모드는 전자 장치(100)에 구비된 음성 입력부(110)를 통해 입력되는 사용자 음성에 따라 전자 장치(100)를 제어하는 모드이다.
특히, 제1 음성 태스크 모드로 전환되면, 전자 장치(100)는 제1 음성 가이드 정보를 디스플레이한다(S2240). 여기서 제1 음성 가이드 정보에는 현재 전자 장치(100)의 모드가 제1 음성 태스크 모드임을 안내하는 아이콘 및 제1 음성 태스크 모드를 수행하기 위한 복수의 음성 명령어가 포함될 수 있다. 이때, 제1 음성 가이드 정보에 포함된 복수의 명령어에는 "채널 올려/내려 음성 명령어", "볼륨 올려/내려 음성 명령어" 및 "소리 끄리 음성 명령어"와 같이, 사용자의 음성이 입력되면 전자 장치(100)의 기능이 바로 실행될 수 있는 음성 명령어가 포함될 수 있다.
그리고, 전자 장치(100)는 제1 음성 가이드 정보를 이용하여 음성 태스크를 수행한다(S2280).
그러나, 음성 개시 명령이 제1 음성 개시 명령이 아니라면(S2220-N), 전자 장치(100)는 입력된 음성 개시 명령이 제2 음성 개시 명령이라고 판단한다(S2250).
그리고, 전자 장치(100)는 전자 장치(100)의 모드를 제2 음성 태크스 모드로 전환한다(S2260). 이때, 제2 음성 태스크 모드는 전자 장치(100)와 연동하는 외부기기(예를 들어, 리모컨)에 포함된 음성 입력부(110)를 통해 입력된 사용자 음성에 따라 전자 장치(100)를 제어하는 모드이다. 특히, 제2 음성 태스크 모드에서는 외부기기의 기 설정된 제2 버튼(예를 들어, 음성 입력 버튼)이 눌러진 후, 외부기기에 입력된 사용자 음성에 의해 제어될 수 있다.
제2 음성 태스크 모드로 전환되면, 전자 장치(100)는 제2 음성 가이드 정보를 디스플레이한다(S2270). 여기서, 제2 음성 가이드 정보에는 현재 전자 장치(100)의 모드가 제2 음성 태스크 모드임을 안내하는 아이콘 및 제2 음성 태스크를 수행하기 위한 복수의 음성 명령어가 포함될 수 있다. 이때, 제2 음성 태스크 모드임을 안내하는 아이콘은 제1 음성 태스크 모드임을 알리는 아이콘과는 상이하다. 그리고, 제2 음성 가이드 정보에 포함된 복수의 명령어에는 "외부입력 음성 명령어", "채널리스트 음성 명령어" 및 "즐겨찾기 음성 명령어"와 같이, 뎁스가 존재하는 음성 명령어가 포함될 수 있다.
그리고, 전자 장치(100)는 제2 음성 가이드 정보를 이용하여 음성 태스크를 수행한다(S2280).
상술한 바와 같은 전자 장치(100)의 제어 방법에 의해, 사용자는 서로 다른 음성 입력 방식을 이용하여 전자 장치(100)를 더욱 효율적으로 제어할 수 있게 된다.
이하에서는 도 23 내지 도 27을 참조하여, 양손 태스크 모드를 수행하기 위한 양손 입력 가이드 GUI에 대한 실시예를 설명하기로 한다.
양손(two hand)을 이용한 모션 태스크(이하 "양손 태스크"라고 함)를 수행하기 위한 양손 개시 명령이 입력되면, 제어부(140)는 양손을 이용하여 모션 태스크를 수행하는 양손 태스크 모드로 전환한다. 여기서, 양손 태스크는 디스플레이 화면의 줌인 또는 줌아웃을 수행하는 태스크일 수 있다. 여기서, 양손 개시 명령 대신 양손 태스크 모드를 개시하기 위한 다른 종류의 사용자 명령을 이용할 수 있다. 다른 종류의 사용자 명령은 리모컨의 특정 버튼 입력, 전자 장치(100)의 특정 버튼 입력, 사용자의 특정 모션 등을 포함할 수 있다.
특히, 양손 태스크를 수행하기 위한 양손 개시 명령은 한 손씩 순차적으로 입력될 수도 있으며 양손이 동시에 입력될 수도 있다.
구체적으로, 모션 입력부(120)를 통해 한 손을 이용한 모션 개시 명령이 입력되면, 제어부(140)는 한 손을 이용하는 모션 태스크를 수행하기 위한 모션 태스크 모드로 전환한다. 그리고, 모션 태스크 모드로 전환된 상태에서 모션 입력부(120)를 통해 다른 한 손을 이용하는 모션 개시 명령이 입력되면, 제어부(140)는 양손 개시 명령이 입력된 것으로 인식할 수 있다. 여기서 한 손을 이용한 모션 개시 명령은 한 손을 좌우 방향으로 복수 회 흔드는 쉐이크 모션일 수 있다.
또는, 리모컨을 이용하여 전자 장치(100)를 제어하는 일반적인 제어 모드에서 모션 입력부(120)를 통해 양손을 동시에 좌우 방향으로 복수 회 흔드는 쉐이크 모션이 입력되면, 제어부(140)는 양손 개시 명령이 입력된 것으로 인식할 수 있다.
양손 태스크 모드로 전환되면, 제어부(140)는 양손 태스크를 수행하기 위한 양손 입력 가이드 GUI를 디스플레이한다.
구체적으로, 양손 입력 가이드 GUI는 양 손의 위치에 대응하는 화면상의 두 지점을 연결한 직선을 지름으로하는 원 형상의 GUI일 수 있다. 이에 대해서는 도 23 내지 도 25를 참조하여 구체적으로 설명하기로 한다.
모션 입력부(120)를 통해 양손 개시 명령이 입력되면, 제어부(140)는 전자 장치(100)의 제어 모드를 양손 태스크 모드로 전환하고, 모션 태스크 모드를 수행하기 위한 모션 가이드 정보(2300)를 디스플레이한다. 이때, 모션 가이드 정보(2300)는 한 손을 이용한 모션 개시 명령이 순차적으로 입력된 경우에만 디스플레이될 수 있으며, 양손을 동시에 이용한 모션 개시 명령이 입력된 경우에는 디스플레이되지 않을 수 있다.
또한, 양손 개시 명령이 입력되면, 제어부(140)는 양손 태스크 모드를 수행하기 위한 양손 입력 가이드 GUI(2330)를 디스플레이한다. 이때, 양손 입력 가이드 GUI(2330)에는 도 23에 도시된 바와 같이, 원 형상의 GUI일 수 있다. 물론 타원, 삼각형, 사각형, 직선 등 사용자의 양 손의 위치를 직관적으로 인식할 수 있는 형상이라면 다른 형상의 GUI일 수 있다. 그리고, 양손 입력 가이드 GUI(2330)의 위치는 사용자의 양손의 위치에 따라 결정되지만, 디스플레이 화면의 중앙 영역에 디스플레이 되도록 설정할수 있다.
그리고, 모션 입력부(120)를 통해 사용자의 두 손이 일정 간격을 유지하면서 이동하는 모션이 입력되면, 제어부(140)는 디스플레이 화면의 양손 입력 가이드 GUI(2330)를 이동시킨다. 예를 들어, 도 23에 도시된 바와 같이, 디스플레이 화면의 중앙 영역에 양손 입력 가이드 GUI(2330)가 디스플레이된 상태에서 모션 입력부(120)를 통해 사용자의 두 손이 일정 간격을 유지하면서 오른쪽으로 이동하는 모션이 입력되면, 제어부(140)는 양손 입력 가이드 GUI(2330)를 도 24에 도시된 바와 같이, 오른쪽으로 이동시킨다.
그리고, 양손 입력 가이드 GUI(2330)가 디스플레이 화면상의 일 영역에 표시된 상태에서 양손이 서로 멀어지는 모션이 입력되면, 제어부(140)는 양손 입력 가이드 GUI(2330)가 표시된 영역 내의 소정 위치를 기준으로 줌-인을 수행한다. 예를 들어, 도 24에 도시된 바와 같이, 양손 입력 가이드 GUI(2330)가 디스플레이 화면상의 우측 영역에 표시된 상태에서 양손이 멀어지는 모션이 입력되면, 제어부(140)는 도 25에 도시된 바와 같이, 양손 입력 가이드 GUI(2330)가 표시된 영역 내의 소정 위치를 기준으로 디스플레이 화면을 확대할 수 있다. 이때, 양손이 멀어지는 모션은 양손이 서로 멀어지는 방향으로 이동하는 모션일 수 있으며, 한 손은 고정되고 다른 한 손만 이동하는 모션일 수도 있다.
또한, 양손 입력 가이드 GUI(2330)가 디스플레이 화면상의 일 영역에 표시된 상태에서 양손이 서로 가까워지는 모션이 입력되면, 제어부(140)는 양손 입력 가이드 GUI(2330)가 표시된 영역 내의 소정 위치를 기준으로 줌-아웃을 수행할 수 있다. 여기서 양손 입력 가이드 GUI(2330)가 표시된 영역 내의 소정 위치는 양손 입력 가이드 GUI가 표시된 영역의 중심점이나 무게중심이 되는 위치일 수 있다.
본 발명의 또 다른 실시예에 따르면, 양손 입력 가이드 GUI는 도 23 내지 도 25에 도시된 바와 같이, 원 형상의 GUI가 아닌 도 26에 도시된 바와 같은 두 개의 포인터(2630-1,2630-2)로 구현될 수 있다. 이때, 두 개의 포인터(2630-1,2630-2) 각각은 원 형상, 타원 형상, 손바닥 형상, 화살표 형상 중 하나일 수 있으나, 이에 한정되는 것은 아니다.
이때 역시 두 개의 포인터(2630-1,2630-2)가 디스플레이 화면상의 일 영역에 표시된 상태에서 양손이 서로 멀어지는 모션이 입력되면, 제어부(140)는 두 개의 포인터(2630-1,2630-2)와 관련된 소정 위치를 기준으로 줌-인을 수행한다. 또한, 두 개의 포인터(2630-1,2630-2)가 디스플레이 화면상의 일 영역에 표시된 상태에서 양손이 서로 가까워지는 모션이 입력되면, 제어부(140)는 두 개의 포인터(2630-1,2630-2)와 관련된 소정 위치를 기준으로 줌-아웃을 수행할 수 있다. 여기서 두 개의 포인터와 관련된 소정 위치는 두 개 포인터를 연결하는 직선의 중심점이거나 두 개의 포인터를 포함하는 외곽선으로 이뤄진 도형(예를 들면, 원, 타원, 삼각형, 사각형 등)의 중심점이나 무게중심점으로 설정할 수 있다. 또한 두 개의 포인터 중 하나의 위치를 소정의 위치로 설정할 수 있다. 이 경우에는 두 개의 포인터에 대응하는 양 손 중 움직이지 않는 손에 대응하는 포인터가 기준이 될 수 있고, 움직이는 손의 움직임에 따라 디스플레이 화면이 확대 또는 축소될 수 있다.
다만, 두 개의 포인터(2630-1,2630-2)가 디스플레이되는 경우, 한 손만 움직이는 경우에는 한 손의 움직임에 따라 움직인 손에 대응되는 포인터의 위치가 이동되고, 두 손이 모두 움직이는 경우에는 두 개의 포인터의 위치가 모두 이동된다. 포인터의 위치가 이동하는 동안 디스플레이 화면은 확대 또는 축소된다.
상술한 바와 같이, 사용자는 양손을 이용하여 화면의 확대/축소를 보다 직관적이고 편리하게 수행할 수 있게 되며, 터치 입력이 가능한 전자 장치에서 수행될 수 있는 멀티 터치를 이용한 화면의 확대/축소와 유사한 사용자 경험을 제공하게 된다.
도 27은 본 발명의 일 실시예에 따른, 양손을 이용한 모션 태스크를 수행하는 방법을 설명하기 위한 흐름도이다.
우선, 전자 장치(100)는 양손 개시 명령이 입력되었는지 여부를 판단한다(S2710). 이때, 양손 개시 명령은 한 손씩 순차적으로 입력될 수도 있으며 양손이 동시에 입력될 수도 있다.
구체적으로, 모션 입력부(120)를 통해 한 손을 이용한 모션 개시 명령이 입력된 후, 다른 한 손을 이용하는 모션 개시 명령이 입력되면, 전자 장치(100)는 양손 개시 명령이 입력된 것으로 인식할 수 있다. 또는, 모션 입력부(120)를 통해 양손을 동시에 좌우 방향으로 복수 회 흔드는 쉐이크 모션이 입력되면, 전자 장치(100)는 양손 개시 명령이 입력된 것으로 인식할 수 있다.
양손 개시 명령이 입력되면(S2710-Y), 전자 장치(100)는 전자 장치(100)의 제어 모드를 양손 태스크 모드로 전환한다(S2720). 이때, 양손 태스크 모드라 함은, 양손의 모션을 이용하여 전자 장치(100)를 제어하는 모드로서, 양손 태스크에는 디스플레이 화면을 확대 또는 축소하는 태스크가 포함될 수 있다.
양손 태스크 모드로 전환되면, 전자 장치(100)는 양손 태스크를 수행하기 위한 양손 입력 가이드 GUI를 생성하여 디스플레이한다(S2730). 이때, 양손 입력 가이드 GUI는 도 23에 도시된 바와 같이, 원 형상의 GUI(2330)일 수 있으며 도 26에 도시된 바와 같이, 두 개의 포인터 GUI(2630-1,2630-2)일 수 있다. 그러나, 이는 일 실시예에 불과할 뿐, 타원, 삼각형, 사각형, 직선 등 사용자의 양 손의 위치를 직관적으로 인식할 수 있는 형상이라면 다른 형상의 GUI일 수 있다.
그리고, 전자 장치(100)는 양손 입력 가이드 GUI를 이용하여 양손 태스크를 수행한다(S2740).
구체적으로, 양손 입력 가이드 GUI가 원형의 GUI인 경우 모션 입력부(120)를 통해 양손이 일정간격 유지되면서 이동되는 모션이 입력되면, 전자 장치(100)는 원형의 GUI를 이동시킬 수 있다. 그리고, 양손이 멀어지거나 가까워지는 모션이 입력되면, 전자 장치(100)는 원형의 GUI가 디스플레이된 지점을 기준으로 디스플레이 화면을 확대하거나 축소할 수 있다.
또는, 양손 입력 가이드 GUI가 두 개의 포인터인 경우 모션 입력부(120)를 통해 한 손이 이동되는 모션이 입력되면, 전자 장치(100)는 두 개의 포인터 중 움직인 손과 대응되는 포인터를 이동시킨다. 그리고, 양손이 멀어지거나 가까워지는 모션이 입력되면, 전자 장치(100)는 두 개의 포인터의 중간 지점을 기준으로 디스플레이 화면을 확대하거나 축소할 수 있다.
상술한 바와 같은 본 발명의 다양한 실시예에 의해, 사용자는 양손 제어 GUI를 이용하여 디스플레이 화면의 확대/축소 기능을 보다 직관적이고 편리하게 수행할 수 있게 되며, 터치 입력이 가능한 전자 장치에서 수행될 수 있는 멀티 터치를 이용한 화면의 확대/축소와 유사한 사용자 경험을 제공하게 된다.
이하에서는 도 28 내지 도 33을 참조하여, 음성 오류를 안내하는 피드백 메시지를 랜덤하게 출력하는 실시예에 대해 설명하기로 한다.
음성 개시 명령이 입력되면, 제어부(140)는 전자 장치(100)의 제어 모드를 음성 태스크 모드로 전환한다. 이때, 음성 태스크 모드는 전자 장치(100)가 음성 입력부(110)를 통해 입력된 사용자 음성에 의해 제어되는 모드이다.
그리고, 음성 개시 명령은 전자 장치(100)에 구비된 음성 입력부(110)를 통해 입력된 기설정된 단어가 포함된 사용자 음성 명령(이하 "제1 음성 개시 명령"이라고 함)이거나 전자 장치(100)와 연동하는 외부기기(예를 들어, 리모컨)에 포함된 기 설정된 버튼이 눌러지는 사용자 명령(이하 "제2 음성 개시 명령이라고 함)일 수 있다. 특히, 제1 음성 개시 명령이 입력되면, 제어부(140)는 전자 장치(100)의 모드를 제1 음성 태스크 모드로 전환한다. 이때, 제1 음성 태스크 모드는 전자 장치(100)의 음성 입력부에 입력된 사용자 음성에 따라 제어되는 음성 태스크 모드이다. 제2 음성 개시 명령이 입력되면, 제어부(140)는 전자 장치(100)의 제어 모드를 제2 음성 태스크 모드로 전환한다. 제2 음성 태스크 모드는 전자 장치(100)와 연동하는 외부기기에 입력된 사용자 음성에 따라 제어되는 음성 태스크 모드이다. 특히, 제2 음성 태스크 모드에서는 외부기기에 구비된 음성 입력 버튼을 누르는 동안 사용자의 음성이 입력될 수 있다.
전자 장치(100)의 모드가 제1 음성 태스크 모드 및 제2 음성 태스크 중 하나로 전환되면, 제어부(140)는 음성 태스크 모드를 수행하기 위한 사용자 음성을 안내하는 음성 가이드 정보를 디스플레이하도록 디스플레이부(193)를 제어한다. 이때, 음성 가이드 정보(400)는 도 28의 하단에 도시된 바와 같이, 현재 디스플레이 장치의 모드를 나타내는 모드 안내 아이콘(2810) 및 사용자의 음성을 안내하는 복수의 음성 명령어(2821 내지 2827)가 포함된다. 복수의 음성 명령어에는 전원끄기 음성 명령어 (2821), 외부입력 음성 명령어 (2822), 채널 바로가기 음성 명령어 (2823), 채널 올려/내려(UP/DOWN) 음성 명령어 (2824), 볼륨 올려/내려(UP/DOWN) 음성 명령어 (2825), 소리끄기 음성 명령어 (2826) 및 MORE 음성 명령어 (2827)이 포함될 수 있다. 여기서, MORE 음성 명령어 (2827)은 디스플레이된 음성 명령어 이외의 음성 명령어을 더 보기 위한 명령어이다.
그리고, 모드 안내 아이콘(2810)은 제1 음성 태스크 모드 및 제2 음성 태스크 모드에 따라 상이하다. 예를 들어, 제1 음성 태스크 모드에서의 모드 안내 아이콘(2810)은 마이크 형태의 아이콘이 포함될 수 있으며, 제2 음성 태스크 모드에서의 모드 안내 아이콘(2810)은 리모컨 형태의 아이콘이 포함될 수 있다.
음성 가이드 정보(2800)를 이용하여 음성 태스크를 수행하는 도중 음성 인식 오류가 발생되면, 제어부(140)는 도 28에 도시된 바와 같이, 음성 인식 오류를 안내하는 복수의 피드백 메시지(2850) 중 하나를 디스플레이한다. 여기서 음성 인식 오류가 발생하는 경우에는 음성 입력부(110)를 통해 입력된 사용자의 음성이 너무 작은 경우, 음성 입력부(110)를 통해 입력된 사용자의 음성을 인식한 결과 음성 데이터베이스에 매칭되는 명령어가 없는 경우 및 사용자의 조작 미숙인 경우 중 적어도 하나를 포함할 수 있다.
특히, 제어부(140)는 음성 태스크의 모드 및 음성 인식 오류의 종류에 따라 상이하게 피드백 메시지(2850)를 디스플레이할 수 있다.
구체적으로, 제어부(140)는 제1 음성 태스크 모드에서 음성 인식 오류가 발생한 경우와 제2 음성 태스크 모드에서 음성 인식 오류가 발생한 경우에 따라 상이하게 피드백 메시지를 디스플레이할 수 있다. 예를 들어, 제1 음성 태스크 모드에서의 음성 인식 오류인 경우, 제어부(140)는 도 29에 도시된 복수의 피드백 메시지(2901 내지 2913) 중 하나를 디스플레이할 수 있다. 제2 음성 태스크 보드에서의 음성 인식 오류인 경우, 제어부(140)는 도 30 내지 도 32에 도시된 바와 같은 복수의 피드백 메시지(3001 내지 3015, 3101 내지 3107, 3201 내지 3206) 중 하나를 디스플레이할 수 있다..
또한, 제어부(140)는 제2 음성 태스크 모드에서 음성 인식 오류의 종류에 따라 상이하게 피드백 메시지(450)를 디스플레이할 수 있다. 예를 들어, 음성 입력부(110)를 통해 입력된 사용자 음성의 인식 결과가 음성 데이터베이스에 매칭되는 명령어가 없거나 사용자의 목소리가 기 설정된 값보다 작아 사용자 음성을 인식할 수 없는 경우, 제어부(140)는 도 30에 도시된 복수의 피드백 메시지(3001 내지 3015) 중 하나를 디스플레이할 수 있다. 사용자 음성이 입력된 후에도 계속해서 외부기기의 음성 입력 버튼을 누르고 있는 경우, 제어부(140)는 도 31에 도시된 복수의 피드백 메시지(3101 내지 3107) 중 하나를 디스플레이할 수 있다. 외부기기의 음성 입력 버튼을 누른 후 기설정된 시간동안 사용자 음성이 입력되지 않는 경우, 제어부(140)는 도 32에 도시된 바와 같은 복수의 피드백 메시지(3201 내지 3206) 중 하나를 디스플레이할 수 있다.
특히, 제어부(140)는 최초 음성 인식 발생시에 음성 태스크 모드 및 음성 인식 오류의 종류에 따라 디폴트(default)된 피드백 메시지를 디스플레이할 수 있다. 예를 들어, 제1 음성 태스크 모드에서 음성 인식 오류가 발생한 경우, 제어부(140)는 도 29에 도시된 복수의 피드백 메시지 중 제1 메시지(2901)인 "다시 한 번 말씀해 주세요"를 디스플레이할 수 있다. 제2 음성 태스크 모드에서 입력된 사용자 음성이 인식되지 못한 경우, 제어부(140)는 도 30에 도시된 복수의 피드백 메시지 중 제1 메시지(3001)인 "다시 한 번 말씀해 주세요"를 디스플레이할 수 있다. 제2 음성 태스크 모드에서 사용자 음성 입력 후에도 기설정된 시간동안 음성 입력 버튼을 누르는 경우, 제어부(140)는 도 31에 도시된 복수의 피드백 메시지 중 제1 메시지(3101)인 "버튼에서 손을 떼 주세요."를 디스플레이할 수 있다.제2 음성 태스크 모드에서 음성 입력 버튼을 누른 후 기설정된 시간동안 사용자 음성이 입력되지 않으면, 제어부(140)는 도 32에 도시된 복수의 피드백 메시지 중 제1 메시지(3201)인 "원하시는 명령을 말씀하세요."를 디스플레이할 수 있다.
한편, 상술한 바와 같이, 음성 태스크 모드 및 음성 인식 오류의 종류에 따라 디폴트된 피드백 메시지는 제조시에 설정될 수 있으며, 사용자의 조작에 의해 변경될 수 있다.
그리고, 반복적으로 음성 인식 오류가 발생되면, 제어부(140)는 디폴트된 피드백 메시지를 제외한 나머지 메시지 중 하나를 랜덤하게 디스플레이할 수 있다. 예를 들어, 제1 음성 태스크 모드에서 반복적으로 음성 인식 오류가 발생하면, 제어부(140)는 도 29에 도시된 제1 메시지(2901)를 제외한 나머지 메시지(2902 내지 2913) 중 하나를 랜덤하게 디스플레이할 수 있다. 그리고, 제2 음성 태스크 모드에서 입력된 사용자 음성이 반복적으로 인식되지 못한 경우, 제어부(140)는 도 30에 도시된 제1 메시지(3001)를 제외한 나머지 메시지(3002 내지 3015) 중 하나를 랜덤하게 디스플레이할 수 있다. 제2 음성 태스크 모드에서 사용자 음성 입력 후에도 계속해서 음성 입력 버튼을 누르는 경우, 제어부(140)는 도 31에 도시된 제1 메시지(3101)를 제외한 나머지 메시지 중 하나(3102 내지 3107)를 기설정된 시간(예를 들어, 10초)마다 랜덤하게 디스플레이할 수 있다. 제2 음성 태스크 모드에서 음성 입력 버튼을 누른 후 기설정된 시간동안 계속해서 사용자 음성이 입력되지 않으면, 제어부(140)는 도 32에 도시된 제1 메시지(3201)를 제외한 나머지 메시지(3202 내지 3206) 중 하나를 기설정된 시간(예를 들어, 10초)마다 랜덤하게 디스플레이할 수 있다.
상술한 바와 같이, 복수의 피드백 메시지가 음성 인식 오류별, 음성 태스크 모드별로 상이하게 제공됨으로써, 사용자는 음성인식의 오류를 정확하게 확인할 수 있게 된다. 또한, 사용자가 마치 전자 장치와 대화하는 듯한 효과를 얻을 수 있어, 엔터테인먼트 요소가 증가될 수 있게 된다.
도 33은 본 발명의 일 실시예에 따른, 전자 장치(100)에서 음성 인식 오류가 발생한 경우, 피드백 메시지를 제공하는 방법을 설명하기 위한 흐름도이다.
우선, 전자 장치(100)는 음성 개시 명령이 입력되었는지 여부를 판단한다(S3310). 이때, 음성 개시 명령은 전자 장치(100)의 제어 모드를 음성 태스크 모드로 전환하기 위한 사용자 명령으로, 전자 장치(100)에 구비된 음성 입력부(110)를 통해 입력된 기설정된 단어가 포함된 사용자 음성 명령인 제1 음성 개시 명령 및 전자 장치(100)와 연동하는 외부기기(예를 들어, 리모컨)에 포함된 기 설정된 버튼이 눌러지는 사용자 명령인 제2 음성 개시 명령이 포함될 수 있다.
음성 개시 명령이 입력되면(S3310-Y), 전자 장치(100)는 전자 장치(100)의 제어 모드를 음성 태스크 모드로 전환한다(S3320). 이때, 입력된 음성 개시 명령이 제1 음성 개시 명령인 경우, 전자 장치(100)는 전자 장치(100)의 음성 입력부(110)를 통해 입력된 사용자 음성에 의해 제어되는 제1 음성 태스크 모드로 전환한다. 그리고, 입력된 음성 개시 명령이 제2 음성 개시 명령인 경우, 전자 장치(100)는 외부기기의 음성 입력부(110)를 통해 입력된 사용자 음성에 의해 제어되는 제2 음성 태스크 모드로 전환한다.
음성 태스크 모드 수행하는 동안, 전자 장치(100)는 음성 인식 오류가 발생하였는지 여부를 판단한다(S3330). 이때, 음성 인식 오류가 발생하는 경우에는 음성 입력부(110)를 통해 입력된 사용자의 음성이 기 설정된 값보다 작은 경우, 음성 입력부(110)를 통해 입력된 사용자의 음성을 인식한 결과 음성 데이터베이스에 매칭되는 명령어가 없는 경우 및 사용자의 조작 미숙인 경우 중 적어도 하나를 포함할 수 있다.
음성 인식 오류가 발생되면(S3330-Y), 전자 장치(100)는 복수의 피드백 메시지 중 하나를 디스플레이한다(S3340). 이때, 피드백 메시지는 음성 태스크 모드 별, 음성 인식 오류별로 상이하게 디스플레이될 수 있다. 예를 들어, 제1 음성 태스크 모드에서 음성 인식 오류가 발생한 경우, 전자 장치(100)는 도 29에 도시된 복수의 피드백 메시지(2901 내지 2913) 중 하나를 디스플레이한다. 또는 제2 음성 태스크 모드에서 음성 인식 오류가 발생한 경우, 전자 장치(100)는 도 30 내지 도 32에 도시된 복수의 피드백 메시지(3001 내지 3015, 3101 내지 3107, 3201 내지 3206) 중 하나를 디스플레이할 수 있다. 이때, 최초로 음성 인식 오류가 발생된 경우, 전자 장치(100)는 복수의 피드백 메시지 중 디폴트된 피드백 메시지를 디스플레이할 수 있다.
그리고, 전자 장치(100)는 음성 인식 오류가 반복적으로 발생하였는지 여부를 판단한다(S3350).
음성 인식 오류가 반복적으로 발생되면(S3350-Y), 전자 장치(100)는 복수의 피드백 메시지 중 다른 피드백 메시지를 랜덤하게 디스플레이할 수 있다(S3360).예를 들어, 제1 음성 태스크 모드에서 반복적으로 음성 인식 오류가 발생하면, 전자 장치(100)는 도 29에 도시된 제1 메시지(2901)를 제외한 나머지 메시지(2902 내지 2913) 중 하나를 랜덤하게 디스플레이할 수 있다. 그리고, 제2 음성 태스크 모드에서 입력된 사용자 음성이 반복적으로 인식되지 못한 경우, 전자 장치(100)는 도 30에 도시된 제1 메시지(3001)를 제외한 나머지 메시지(3002 내지 3015) 중 하나를 랜덤하게 디스플레이할 수 있다. 제2 음성 태스크 모드에서 사용자 음성 입력 후에도 계속해서 음성 입력 버튼을 누르는 경우, 전자 장치(100)는 도 31에 도시된 제1 메시지(3101)를 제외한 나머지 메시지 중 하나(3102 내지 3107)를 기설정된 시간(예를 들어, 10초)마다 랜덤하게 디스플레이할 수 있다. 제2 음성 태스크 모드에서 음성 입력 버튼을 누른 후 기설정된 시간동안 계속해서 사용자 음성이 입력되지 않으면, 전자 장치(100)는 도 32에 도시된 제1 메시지(3201)를 제외한 나머지 메시지(3202 내지 3206) 중 하나를 기설정된 시간(예를 들어, 10초)마다 랜덤하게 디스플레이할 수 있다.
상술한 바와 같이, 복수의 피드백 메시지가 음성 인식 오류별, 음성 태스크 모드별로 상이하게 제공됨으로써, 사용자는 음성인식의 오류를 정확하게 확인할 수 있게 된다. 또한, 사용자가 마치 전자 장치와 대화하는 듯한 효과를 얻을 수 있어, 엔터테인먼트적인 요소가 증가될 수 있게 된다.
이하에서는 도 34 내지 도 38을 참조하여, 어플리케이션에 따라 상이한 가이드 정보를 제공하거나 사용자 선호에 따라 상이한 가이드 정보를 제공하는 실시예를 설명하도록 한다.
제어부(140)는 음성 태스크 모드를 진입하기 위한 음성 개시 명령이 입력되었는지 여부를 판단한다. 음성 개시 명령이 입력되면, 제어부(140)는 전자 장치(100)의 모드를 음성 태스크 모드로 전환한다. 이때, 음성 태스크 모드라 함은, 음성 입력부(110)에 의해 입력된 사용자 음성 명령어에 의해 전자 장치가 제어되는 모드이다. 상술한 대로 음성 개시 명령 대신 음성 태스크 모드를 개시하기 위한 다른 종류의 사용자 명령을 이용할 수 있다. 다른 종류의 사용자 명령은 리모컨의 특정 버튼 입력, 전자 장치(100)의 특정 버튼 입력, 사용자의 특정 모션 등을 포함할 수 있다.음성 태스크 모드로 전환되면, 제어부(150)는 디스플레이 화면에 음성 가이드 정보를 디스플레이한다. 이때, 음성 가이드 정보는 전자 장치(100)에서 음성 태스크 모드를 수행하기 위하여, 사용자 음성 입력을 안내하는 복수의 음성 명령어를포함한다.
그리고, 사용자의 특정 명령이 입력되면, 제어부(140)는 음성 가이드 정보에 포함된 복수의 음성 명령어 중 적어도 하나를 다른 음성 명령어로 변경한다. 이때, 사용자의 특정 명령은, 특정 어플리케이션을 실행시키기 위한 사용자 명령이거나 사용자 선호 음성 명령어를 디스플레이하기 위한 사용자 명령일 수 있다.
특히, 음성 가이드 정보는 복수의 음성 명령어 중 일부의 음성 명령어 (예를 들어, "전원 끄기" 음성 명령어)가 고정적으로 디스플레이되는 고정 명령어 영역 및 음성 명령어가 가변적으로 변경되는 변경 명령어 영역을 포함한다. 따라서, 사용자의 특정 명령이 입력되면, 제어부(140)는 음성 가이드 정보 중 변경 명령어 영역에 포함된 음성 명령어를 다른 명령어로 변경할 수 있다.
본 발명의 일 실시예로, 특정 어플리케이션을 실행시키기 위한 사용자 명령이 입력되면, 제어부(140)는 사용자 명령에 대응되는 어플리케이션을 실행한다. 그리고, 제어부(140)는 음성 가이드 정보에 포함된 복수의 음성 명령어 중 적어도 하나의 명령어를 현재 실행되는 어플리케이션에 필요한 음성 명령어로 변경할 수 있다.
이때, 어플리케이션에 필요한 음성 명령어는 어플리케이션 설치 시에 전자 장치(100)의 저장부(130)에 저장된다. 그리고, 어플리케이션의 실행 명령이 입력되면, 제어부(140)는 저장부(130)에 저장된 어플리케이션에 필요한 음성 명령어를 독출하여 디스플레이부(193)에 디스플레이할 수 있다.
본 발명의 또 다른 실시예로, 사용자 선호 음성 명령어를디스플레이하기 위한 사용자 명령이 입력되면, 제어부(140)는 음성 가이드 정보에 포함된 복수의 음성 명령어 중 적어도 하나의 명령어를 사용자 선호 음성 명령어로 변경할 수 있다. 이때, 사용자 선호 음성 명령어는 음성 명령어 설정 메뉴를 이용하여 사용자에 의해 기 등록된 음성 명령어일 수 있다.
변경된 음성 가이드 정보에는 변경 전 음성 가이드 정보로 전환하기 위한 음성 명령어가 포함될 수 있다. 예를 들어, 변경 전 음성 가이드 정보로 전환하기 위한 음성 명령어로 "종료" 음성 명령어가 포함될 수 있다.
따라서, 사용자는 어플리케이션 별, 사용자 선호 별로 사용자에게 최적화된 음성 가이드 정보를 이용하여 음성 태스크 모드를 수행할 수 있다. 본 발명의 구체적인 실시예에 대해서는 도 34 내지 도 37을 참조하여 추후에 더욱 상세히 설명하기로 한다.
본 발명의 일 실시예로, 제어부(140)는 방송 수신부(150)를 통해 외부의 방송국으로부터 송출되는 방송 신호를 수신하고, 수신된 방송 신호에 대한 신호처리를 수행한다. 그리고, 도 34에 도시된 바와 같이,제어부(140)는 신호처리된 방송 영상을 디스플레이부(193)에 디스플레이한다.
그리고, 음성 입력부(110)를 통해 음성 개시 명령이 입력되면, 제어부(140)는 음성 개시 명령을 인식하여 음성 태스크 모드로 전환한다. 이때, 음성 개시 명령은 음성 태스크 모드로 전환되기 위한 사용자 명령이며, 음성 태스크 모드는 전자 장치(100)가 음성 입력부(110)에 입력된 사용자 음성에 의해서 제어되는 모드이다. 이때, 음성 개시 명령 대신 음성 태스크 모드를 개시하기 위한 다른 종류의 사용자 명령을 이용할 수 있다. 다른 종류의 사용자 명령은 리모컨의 특정 버튼 입력, 전자 장치(100)의 특정 버튼 입력, 사용자의 특정 모션 등을 포함할 수 있다.
그리고, 음성 태스크 모드로 전환되면, 제어부(140)는 도 35에 도시된 바와 같이, 음성 태스크 모드를 수행하기 위한 제1 음성 가이드 정보(3500)를 디스플레이한다. 이때, 제1 음성 가이드 정보(3500)는 방송 영상이 디스플레이되는 화면 하단에 디스플레이된다.
또한, 제1 음성 가이드 정보(3500)는 현재 디스플레이 장치의 모드가 음성 태스크 모드임을 알리는 아이콘(3510) 및 사용자의 음성을 안내하는 복수의 음성 명령어가(3521 내지 3526, 3530) 포함된다. 복수의 음성 명령어에는 전원끄기 음성 명령어 (3521), 외부입력 음성 명령어 (3522), 채널 바로가기 음성 명령어 (3523), 채널 올려/내려(UP/DOWN) 음성 명령어 (3524), 볼륨 올려/내려(UP/DOWN) 음성 명령어 (3525), 소리끄기 음성 명령어 (3526) 및 MORE 음성 명령어 (3530)이 포함된다. MORE 음성 명령어 (3530)은 디스플레이된 음성 명령어 이외의 음성 명령어를 더 보기 위한 명령어이다. 이때, 전원끄기 음성 명령어 (3521) 및 MORE 음성 명령어는(3530) 고정적으로 디스플레이되는 고정 명령어 영역에 위치하며, 외부입력 음성 명령어 (3522), 채널 바로가기 음성 명령어 (3523), 채널 올려/내려(UP/DOWN) 음성 명령어 (3524), 볼륨 올려/내려(UP/DOWN) 음성 명령어 (3525), 소리끄기 음성 명령어는(3526) 가변적으로 변경될 수 있는 변경 명령어 영역에 위치할 수 있다.
그리고, 지도 어플리케이션 실행 명령이 입력되면, 제어부(140)는 도 36에 도시된 바와 같이, 지도 어플리케이션을 실행시키고, 제1 음성 가이드 정보(3500)를 지도 어플리케이션에 대응되는 제2 음성 가이드 정보(3600)로 변경한다.
구체적으로, 지도 어플리케이션이 실행되면, 제어부(140)는 저장부(130)에 저장된 지도 어플리케이션에 대응되는 음성 명령어를 독출한다. 그리고, 제어부(140)는 변경 아이템 영역에 디스플레이되어 있는 음성 명령어를 독출된 음성 명령어로 변경한다.
예를 들어, 도 36에 도시된 바와 같이, 제어부(140)는 고정 명령어 영역에 디스플레이되어 있는 전원끄기 음성 명령어 (3621) 및 MORE 음성 명령어를(3630) 그대로 디스플레이한다. 그리고, 제어부(140)는 변경 명령어 영역에 디스플레이되어 있는 외부입력 음성 명령어 (3522), 채널 바로가기 음성 명령어 (3523), 채널 올려/내려(UP/DOWN) 음성 명령어 (3524), 볼륨 올려/내려(UP/DOWN) 음성 명령어 (3525), 소리끄기 음성 명령어 (3526)를 외부 입력 음성 명령어 (3622), 장소찾기 음성 명령어 (3623), 길찾기 음성 명령어 (3624) 및 종료 음성 명령어 (3625)로 변경할 수 있다. 이때, 종료 음성 명령어 (3625)은 변경 전 음성 가이드 정보로 복귀하기 위한 사용자 음성 입력을 안내하는 음성 명령어이다. 이때, 종료 음성 명령어 (3625)이 실행되면, 제어부(140)는 해당 어플리케이션 역시 함께 종료할 수 있다.
따라서, 사용자는 지도 어플리케이션을 이용하여 사용할 수 있는 기능을 음성 가이드 정보를 통해 쉽게 확인할 수 있게 된다.
본 발명의 또 다른 실시예로, 도 35에 도시된 바와 같이 제1 음성 가이드 정보가 디스플레이된 상태에서 사용자 선호 음성 명령어를 실행하기 위한 사용자 명령(예를 들어, "Favorite"이라는 사용자 음성)이 입력되면, 제어부(140)는 도 37에 도시된 바와 같이, 음성 가이드 정보(3500)를 사용자 선호 음성 명령어가 포함된 제3 음성 가이드 정보(3700)로 변경한다.
구체적으로, 사용자 선호 음성 명령어를 실행하기 위한 사용자 명령이 입력되면, 제어부(140)는 저장부(130)에 저장된 사용자 선호 음성 명령어를 독출한다. 그리고, 제어부(140)는 변경 명령어 영역에 디스플레이되어 있는 음성 명령어를 독출된 음성 명령어로 변경한다.
예를 들어, 도 37에 도시된 바와 같이, 제어부(140)는 고정 명령어 영역에 디스플레이되어 있는 전원끄기 음성 명령어 (3721) 및 MORE 음성 명령어 (3730)을 그대로 디스플레이한다. 그리고, 제어부(140)는 변경 아이템 영역에 디스플레이되어 있는 외부입력 음성 명령어 (3522), 채널 바로가기 음성 명령어 (3523), 채널 올려/내려(UP/DOWN) 음성 명령어 (3524), 볼륨 올려/내려(UP/DOWN) 음성 명령어 (3525), 소리끄기 음성 명령어 (3526)을 사용자 선호 음성 명령어인 인터넷 음성 명령어 (3722), 3D 음성 명령어 (3723), 편성표 음성 명령어 (3724) 및 종료 음성 명령어 (3725)으로 변경할 수 있다. 이때, 종료 음성 명령어 (3725)은 변경 전 제1 음성 가이드 정보로 복귀하기 위한 사용자 음성 입력을 안내하는 음성 명령어이다.
따라서, 사용자는 자신이 선호하는 음성 명령어를을 이용하여 전자 장치(100)를 제어할 수 있게 된다.
도 38은 본 발명의 일 실시예에 따른, 음성 가이드 정보에서 음성 명령어를 변경하기 위한 방법을 설명하기 위한 흐름도이다.
우선, 전자 장치(100)는 음성 개시 명령이 입력되었는지 여부를 판단한다(S3810). 이때, 음성 개시 명령이라 함은 전자 장치(100)의 모드를 음성 태스크 모드로 전환하기 위한 사용자 명령이다.
음성 개시 명령이 입력되면(S3810-Y), 전자 장치(100)는 전자 장치(100)의 제어 모드를 음성 태스크 모드로 전환한다(S3820). 이때, 음성 태스크 모드는 전자 장치(100)가 음성 입력부(110)를 통해 입력된 사용자 음성에 의해 제어되는 모드이다.
음성 태스크 모드로 전환되면, 전자 장치(100)는 음성 가이드 정보를 디스플레이한다(S3830). 이때, 전자 장치(100)가 방송 수신 기능을 하는 경우, 음성 가이드 정보는 방송 수신 기능을 제어하기 위한 음성 명령어가 포함된다.
그리고, 전자 장치(100)는 음성 명령어 변경을 위한 사용자 명령이 입력되었는지 여부를 판단한다(S3840). 예를 들어, 전자 장치(100)는 특정 어플리케이션(예를 들어, 지도 어플리케이션)의 실행을 위한 사용자 명령이 입력되었는지 여부 및 사용자 선호 음성 명령어의 디스플레이를 위한 사용자 명령이 입력되었는지 여부를 판단한다.
음성 명령어 변경을 위한 사용자 명령이 입력되었다고 판단되면(S3840-Y). 전자 장치(100)는 음성 가이드 정보에 포함된 음성 명령어 중 적어도 하나를 변경한다(S3850). 이때, 변경되는 적어도 하나의 음성 명령어는 음성 가이드 정보에 포함된 음성 명령어 중 변경 명령어 영역에 디스플레이된 음성 명령어일 수 있다.
예를 들어, 음성 명령어 변경을 위한 사용자 명령이 특정 어플리케이션의 실행을 위한 사용자 명령인 경우, 전자 장치(100)는 음성 가이드 정보에 포함된 음성 명령어 중 변경 명령어 영역에 디스플레이된 음성 명령어를 특정 어플리케이션에 대응되는 음성 명령어로 변경할 수 있다. 또는 음성 명령어 변경을 위한 사용자 명령이 사용자 선호 음성 명령어의 디스플레이를 위한 사용자 명령인 경우, 전자 장치(100)는 음성 가이드 정보에 포함된 명령어 중 변경 명령어 영역에 디스플레이된 음성 명령어를 사용자 선호 음성 명령어로 변경할 수 있다.
그리고, 전자 장치(100)는 변경된 음성 가이드 정보를 이용하여 음성 태스크를 수행한다(S3860).
상술한 바와 같이 전자 장치에서 실행되는 어플리케이션 및 사용자 선호에 따라 상이한 음성 가이드 정보를 제공함으로써, 사용자는 더욱 편리하고 효율적으로 전자기기를 제어할 수 있게 된다.
한편, 도 34 내지 도 38에서는 음성 가이드 정보가 변경되는 것을 설명하였으나, 이는 일 실시예에 불과할 뿐, 모션 태스크 모드를 수행하기 위한 모션 가이드 정보에 포함된 모션 명령어가 변경되는 실시예 역시 본 발명의 기술적 사상에 포함될 수 있다.
구체적으로, 모션 입력부(120)를 통해 모션 개시 명령이 입력되면, 제어부(140)는 전자 장치의 모드를 사용자 모션에 의해 제어되는 모션 태스크 모드로 전환한다. 그리고, 제어부(140)는 전자 장치(100)에서 모션 태스크 모드를 수행하기 위한 복수의 모션 명령어를 포함하는 모션 가이드 정보를 디스플레이한다.
모션 가이드 정보가 디스플레이된 상태에서 어플리케이션 실행 명령이 입력되면, 제어부(140)는 복수의 모션 명령어 중 적어도 하나를 상기 실행되는 어플리케이션에 대응되는 모션 명령어로 변경할 수 있다.
상술한 바와 같이 전자 장치에서 실행되는 어플리케이션에 따라 음성 명령어를 변경하여 제공함으로써, 사용자는 더욱 편리하고 효율적으로 전자기기를 제어할 수 있게 된다.
한편, 상술한 실시예에서는 전자 장치(100)를 제어하기 위한 외부기기로 리모컨을 상정하였으나, 이는 일 실시예에 불과할 뿐, 스마트 폰, PDA, 등과 같은 휴대용 단말 기기를 이용하여 전자 장치(100)를 제어할 수 있다.
이상과 같은 다양한 실시 예에 따른 제어 방법을 수행하기 위한 프로그램 코드는 다양한 유형의 기록 매체에 저장될 수 있다. 구체적으로는, RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110: 음성 입력부 120: 모션 입력
130: 저장부 140: 제어부
150: 방송 수신부 160: 외부단자 입력부
170: 리모컨 신호 수신부 180: 네트워크 인터페이스부
190: 영상 출력부 193: 디스플레이부
196: 오디오 출력부

Claims (14)

  1. 전자 장치의 화각 설정 방법에 있어서,
    디스플레이 화면 상에 영상 컨텐츠를 디스플레이하는 단계;
    기 설정된 이벤트가 발생되면, 상기 디스플레이 화면의 일 영역에 상기 전자 장치에 연결된 카메라 화각의 설정을 안내하는 화각 안내 UI를 디스플레이하는 단계;
    상기 화각 안내 UI를 이용하여 상기 카메라의 화각을 설정하는 단계;를 포함하고,
    상기 화각 안내 UI는 상기 카메라의 화각을 설정하는 동안에 상기 카메라에 의해 촬영되고 있는 영상 및 화각 설정에 대한 지시를 포함하며,
    상기 화각 안내 UI는 상기 영상 컨텐츠 상의 일 영역에 디스플레이되는 것을 특징으로 하는 화각 설정 방법.
  2. 제1항에 있어서,
    상기 화각 안내 UI는,
    모션 태스크 모드에 진입하는 이벤트가 발생할 때, 디스플레이되지 않는 것을 특징으로 하는 화각 설정 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 설정하는 단계는,
    상기 카메라의 화각이 기설정된 속도 및 방향으로 자동으로 이동하도록 상기 카메라를 조정하는 단계;
    상기 카메라를 조정하는 동안 사용자 명령이 입력되면, 상기 사용자 명령이 입력된 시점의 화각을 상기 카메라의 화각으로 설정하는 단계;를 포함하는 것을 특징으로 하는 화각 설정 방법.
  5. 제1항에 있어서,
    상기 설정하는 단계는,
    외부기기를 이용한 사용자의 조작에 따라 상기 카메라를 조정하는 단계;
    상기 카메라를 조정하는 동안 사용자 명령이 입력되면, 상기 사용자 명령이 입력된 시점의 화각을 상기 카메라의 화각으로 설정하는 단계;를 포함하는 것을 특징으로 하는 화각 설정 방법.
  6. 제1항에 있어서,
    상기 기설정된 이벤트는,
    상기 전자 장치의 최초 설치시 상기 전자 장치에 전원이 인가되는 이벤트, 모션 태스크 모드가 온(on) 된 이벤트, 상기 전자 장치의 제어 메뉴 중 화각 설정 메뉴가 선택된 이벤트 중 하나인 것을 특징으로 하는 화각 설정 방법.
  7. 제1항에 있어서,
    상기 카메라는,
    모션 태스크 모드에서 상기 전자 장치를 제어하기 위한 사용자의 모션을 촬영하는 카메라인 것을 특징으로 하는 화각 설정 방법.
  8. 전자 장치에 있어서,
    사용자의 모션을 촬영하는 카메라;
    디스플레이부;
    디스플레이 화면 상에 영상 컨텐츠를 디스플레이하고,
    기 설정된 이벤트가 발생되면, 상기 디스플레이부의 일 영역에 상기 카메라 화각의 설정을 안내하는 화각 안내 UI를 디스플레이하고, 상기 화각 안내 UI를 이용하여 상기 카메라의 화각을 설정하는 제어부;를 포함하고,
    상기 화각 안내 UI는 상기 카메라의 화각을 설정하는 동안에 상기 카메라에 의해 촬영되고 있는 영상 및 화각 설정에 대한 지시를 포함하고,
    상기 화각 안내 UI는 상기 영상 컨텐츠 상의 일 영역에 디스플레이되는 것을 특징으로 하는 전자 장치.
  9. 제8항에 있어서,
    상기 제어부는,
    모션 태스크 모드에 진입하더라도 상기 화각 안내 UI를 디스플레이하지 않고, 상기 전자 장치에서 제공하는 화면을 디스플레이하는 것을 특징으로 하는 전자 장치.
  10. 삭제
  11. 제8항에 있어서,
    상기 제어부는,
    상기 카메라의 화각이 기설정된 속도 및 방향으로 자동으로 이동하도록 상기 카메라를 조정하고, 상기 카메라를 조정하는 동안 사용자 명령이 입력되면, 상기 사용자 명령이 입력된 시점의 화각을 상기 카메라의 화각으로 설정하는 것을 특징으로 하는 전자 장치.
  12. 제8항에 있어서,
    상기 제어부는,
    외부기기를 이용한 사용자의 조작에 따라 상기 카메라를 조정하고, 상기 카메라를 조정하는 동안 사용자 명령이 입력되면, 상기 사용자 명령이 입력된 시점의 화각을 상기 카메라의 화각으로 설정하는 것을 특징으로 하는 전자 장치.
  13. 제8항에 있어서,
    상기 기설정된 이벤트는,
    상기 전자 장치의 최초 설치시 상기 전자 장치에 전원이 인가되는 이벤트, 모션 태스크 모드가 온(on) 된 이벤트, 상기 전자 장치의 제어 메뉴 중 화각 설정 메뉴가 선택된 이벤트 중 하나인 것을 특징으로 하는 전자 장치.
  14. 제8항에 있어서,
    상기 카메라는,
    모션 태스크 모드에서 상기 전자 장치를 제어하기 위한 사용자의 모션을 촬영하는 카메라인 것을 특징으로 하는 전자 장치.
KR1020120101158A 2012-02-09 2012-09-12 전자 장치 및 그의 제어 방법 KR102066564B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP13154601.2A EP2626771B1 (en) 2012-02-09 2013-02-08 Display apparatus and method for controlling a camera mounted on a display apparatus
US13/763,118 US9225891B2 (en) 2012-02-09 2013-02-08 Display apparatus and method for controlling display apparatus thereof
JP2015531021A JP2015535971A (ja) 2012-09-12 2013-09-12 ディスプレイ装置及びその制御方法
CN201380047392.0A CN104620593B (zh) 2012-02-09 2013-09-12 显示装置及用于控制该显示装置的方法
PCT/KR2013/008262 WO2014042445A1 (en) 2012-02-09 2013-09-12 Display apparatus and method for controlling display apparatus thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261596926P 2012-02-09 2012-02-09
US61/596,926 2012-02-09

Publications (2)

Publication Number Publication Date
KR20130092360A KR20130092360A (ko) 2013-08-20
KR102066564B1 true KR102066564B1 (ko) 2020-01-15

Family

ID=49217219

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120101158A KR102066564B1 (ko) 2012-02-09 2012-09-12 전자 장치 및 그의 제어 방법

Country Status (1)

Country Link
KR (1) KR102066564B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102171817B1 (ko) 2014-03-14 2020-10-29 삼성전자주식회사 디스플레이 장치 및 제어 방법
KR102146858B1 (ko) * 2014-06-03 2020-08-21 삼성전자주식회사 촬영 장치 및 촬영 장치의 비디오 생성방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006033567A (ja) * 2004-07-20 2006-02-02 Hitachi Ltd 撮影装置および撮影方法
JP2006050144A (ja) * 2004-08-03 2006-02-16 Hitachi Kokusai Electric Inc 画像表示方法及び画像表示プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100918094B1 (ko) * 2006-12-05 2009-09-22 한국전자통신연구원 이동식 영상 카메라를 구비한 제스처 인식 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006033567A (ja) * 2004-07-20 2006-02-02 Hitachi Ltd 撮影装置および撮影方法
JP2006050144A (ja) * 2004-08-03 2006-02-16 Hitachi Kokusai Electric Inc 画像表示方法及び画像表示プログラム

Also Published As

Publication number Publication date
KR20130092360A (ko) 2013-08-20

Similar Documents

Publication Publication Date Title
EP2626771B1 (en) Display apparatus and method for controlling a camera mounted on a display apparatus
KR102003267B1 (ko) 전자 장치 및 그의 제어 방법
US9544633B2 (en) Display device and operating method thereof
KR101262700B1 (ko) 음성 인식 및 모션 인식을 이용하는 전자 장치의 제어 방법 및 이를 적용한 전자 장치
JP5535298B2 (ja) 電子装置及びその制御方法
JP5746111B2 (ja) 電子装置及びその制御方法
JP5819269B2 (ja) 電子装置及びその制御方法
JP6111030B2 (ja) 電子装置及びその制御方法
JP2013140359A (ja) 電子装置及びその制御方法
JP2013037689A (ja) 電子装置及びその制御方法
KR101237472B1 (ko) 전자 장치 및 그의 제어 방법
KR102250091B1 (ko) 디스플레이 장치 및 디스플레이 방법
KR102066564B1 (ko) 전자 장치 및 그의 제어 방법
KR20140085055A (ko) 전자 장치 및 그의 제어 방법
JP2015535971A (ja) ディスプレイ装置及びその制御方法
KR20130078483A (ko) 전자 장치 및 그의 제어 방법
KR101324232B1 (ko) 전자 장치 및 그의 제어 방법
JP2013140582A (ja) 電子装置およびその制御方法
KR20130078489A (ko) 전자 장치 및 이의 화각 설정 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant