KR102495326B1 - 전자장치 및 그 제어방법 - Google Patents

전자장치 및 그 제어방법 Download PDF

Info

Publication number
KR102495326B1
KR102495326B1 KR1020180011713A KR20180011713A KR102495326B1 KR 102495326 B1 KR102495326 B1 KR 102495326B1 KR 1020180011713 A KR1020180011713 A KR 1020180011713A KR 20180011713 A KR20180011713 A KR 20180011713A KR 102495326 B1 KR102495326 B1 KR 102495326B1
Authority
KR
South Korea
Prior art keywords
electronic device
image
sensors
external device
color
Prior art date
Application number
KR1020180011713A
Other languages
English (en)
Other versions
KR20190092672A (ko
Inventor
김호연
이상영
조규현
정희석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180011713A priority Critical patent/KR102495326B1/ko
Priority to US16/256,172 priority patent/US11106325B2/en
Priority to CN201980009277.1A priority patent/CN111630833B/zh
Priority to EP19747471.1A priority patent/EP3701709A4/en
Priority to PCT/KR2019/001189 priority patent/WO2019151739A1/en
Publication of KR20190092672A publication Critical patent/KR20190092672A/ko
Application granted granted Critical
Publication of KR102495326B1 publication Critical patent/KR102495326B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/93—Remote control using other portable devices, e.g. mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34—Microprocessors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/38—Displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208—Display device provided on the remote control
    • H04N21/42209—Display device provided on the remote control for displaying non-command information, e.g. electronic program guide [EPG], e-mail, messages or a second television channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42221—Transmission circuitry, e.g. infrared [IR] or radio frequency [RF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device

Abstract

본 발명은 전자장치에 관한 것으로, 외부장치와 통신 가능한 통신부; 복수의 센서; 및 복수의 센서를 통해 감지되는 제1상황에서의 센서값에 기초하여 전자장치의 소정 동작을 수행하고, 복수의 센서를 통해 감지되는 제2상황에서의 센서값에 기초하여, 사용자의 모션의 방향을 판단하고, 판단된 모션의 방향을 나타내는 제어명령을 외부장치로 출력하는 프로세서를 포함한다. 이에 의하면, 별도의 모션 인식 센서에 의하지 않고도 사용자의 모션의 방향을 인식하고, 외부장치의 제어 기능을 수행할 수 있으므로, 사용자가 외부장치로 시선을 유지한 채 외부장치를 제어할 수 있는 편의성을 제공할 수 있다.

Description

전자장치 및 그 제어방법 {ELECTRONIC DEVICE AND CONTROL METHOD THEREOF}
본 발명은 전자장치 및 그 제어방법에 관한 것으로서, 보다 구체적으로, 수신되는 사용자입력에 따라 외부장치의 제어를 수행하는 전자장치 및 그 제어방법에 관한 것이다.
스마트 폰과 같은 전자장치는 이미 현대인의 필수품으로 자리 잡을 만큼 다양한 기능을 제공하고 있으며, 그 기능 중에, 전자 장치를 활용하여 다른 전자장치(이하, '외부장치'라고도 함)를 제어하는 기능이 있다. 즉, 전자장치는 전자장치를 통해 수신되는 사용자의 입력에 따라 외부장치의 제어를 수행할 수 있다.
예를 들어, 전자장치가 외부장치의 다양한 기능을 GUI(Graphic User Interface)의 형태로 화면에 표시하면, 사용자는 전자장치의 화면을 바라보며 GUI에 표시된 다양한 기능 중 하나를 선택하는 터치입력 등을 한다. 그러면, 전자장치는 터치스크린을 통하여 수신된 사용자의 터치입력을 인식하고, 인식된 사용자의 터치입력에 대응하는 GUI 상의 기능을 수행하도록 외부장치를 제어할 수 있다.
그러나, 이러한 종래 기술에 의하면, 사용자는 외부장치의 화면을 보는 도중에 입력을 위하여 전자장치의 화면을 바라봐야 하므로, 외부장치로부터 전자장치로 시선을 전환해야 하는 등 사용자의 편의성을 저해하는 문제가 발생한다. 만일, 이러한 문제를 해소하기 위하여, GUI를 이용한 터치입력이 아닌 자유로운 모션 형태의 사용자입력을 수신하고자 한다면, 전자장치는 사용자의 모션을 인식하기 위한 모션 인식 센서를 별도로 탑재해야 하기 때문에, 비용이 증가되는 문제가 있다.
따라서, 본 발명의 목적은, 별도의 모션 인식 센서에 의하지 않고도 사용자의 모션을 인식하고, 외부장치의 제어 기능을 수행할 수 있는 전자장치 및 그 제어방법을 제공하는 것이다.
상기한 본 발명의 목적은, 전자장치에 있어서, 외부장치와 통신 가능한 통신부; 복수의 센서; 및 상기 복수의 센서를 통해 감지되는 제1상황에서의 센서값에 기초하여 상기 전자장치의 소정 동작을 수행하고, 상기 복수의 센서를 통해 감지되는 제2상황에서의 센서값에 기초하여 사용자의 모션의 방향을 판단하고, 상기 판단된 모션의 방향에 따른 제어명령을 상기 외부장치로 출력하는 프로세서를 포함하는 전자장치에 의해 달성될 수 있다.
여기서, 상기 복수의 센서는 소정 방향으로 나열되어 배치되며, 상기 프로세서는, 상기 복수의 센서에 의해 감지되는 각 센서값의 변화에 기초하여 상기 모션의 방향을 판단할 수 있다.
여기서, 상기 복수의 센서는 근접센서와 광센서를 포함할 수 있다.
여기서, 상기 프로세서는, 상기 복수의 센서에 의해 감지되는 센서값의 형태에 기초하여 상기 모션의 방향을 판단할 수 있다.
여기서, 디스플레이부를 더 포함하고, 상기 프로세서는, 상기 광센서를 통하여 상기 외부장치로부터 출사되는 외부광의 색상을 감지하고, 상기 감지된 색상에 대응하는 적어도 하나의 색상의 영상을 표시하도록 상기 디스플레이부를 제어할 수 있다.
여기서, 상기 프로세서는, 상기 표시되는 영상의 적어도 하나의 색상이 상기 광센서를 통해 감지되는 상기 광의 색상과 다르도록 상기 디스플레이부를 제어할 수 있다.
여기서, 상기 적어도 하나의 색상의 영상은, 서로 다른 복수의 색상을 갖는 영상을 포함하고, 상기 프로세서는, 상기 복수의 센서가 나열되어 배치된 상기 방향에 따라 상기 복수의 색상이 나열되도록 상기 영상을 표시할 수 있다.
여기서, 상기 프로세서는, 상기 외부장치로부터 수신한 제어신호에 기초하여 상기 적어도 하나의 색상의 영상을 표시하도록 상기 디스플레이부를 제어할 수 있다.
상기한 본 발명의 목적은, 외부장치와 통신 가능한 통신부 및 복수의 센서를 포함하는 전자장치의 제어방법에 있어서, 상기 복수의 센서를 통해 감지되는 제1상황에서의 센서값에 기초하여 상기 전자장치의 소정 동작을 수행하는 단계; 및 상기 복수의 센서를 통해 감지되는 제2상황에서의 센서값에 기초하여 사용자의 모션의 방향을 판단하고, 상기 판단된 모션의 방향에 따른 제어명령을 상기 외부장치로 출력하는 단계를 포함하는 전자장치의 제어방법에 의해서도 달성될 수 있다.
여기서, 상기 복수의 센서는 소정 방향으로 나열되어 배치되는 복수의 센서를 포함하며, 상기 모션의 방향을 판단하는 단계는, 상기 복수의 센서에 의해 감지되는 각 센서값의 변화에 기초하여 상기 모션의 방향을 판단하는 단계를 더 포함할 수 있다.
여기서, 상기 복수의 센서는 근접센서와 광센서를 포함할 수 있다.
여기서, 상기 모션의 방향을 판단하는 단계는, 상기 복수의 센서에 의해 감지되는 센서값의 형태에 기초하여 상기 모션의 방향을 판단하는 단계를 더 포함할 수 있다.
여기서, 상기 모션의 방향을 판단하는 단계는, 상기 광센서를 통하여 상기 외부장치로부터 출사되는 외부광의 색상을 감지하고, 상기 감지된 색상에 대응하는 적어도 하나의 색상의 영상을 표시하는 단계를 더 포함할 수 있다.
여기서, 상기 영상을 표시하는 단계는, 상기 표시되는 영상의 적어도 하나의 색상이 상기 광센서를 통해 감지되는 상기 광의 색상과 다르도록 표시하는 단계를 더 포함할 수 있다.
여기서, 상기 적어도 하나의 색상의 영상은, 서로 다른 복수의 색상을 갖는 영상을 포함하고, 상기 영상을 표시하는 단계는, 상기 복수의 센서가 나열되어 배치된 상기 방향에 따라 상기 복수의 색상이 나열되도록 상기 영상을 표시하는 단계를 더 포함할 수 있다.
여기서, 상기 영상을 표시하는 단계는, 상기 외부장치로부터 수신한 제어신호에 기초하여 상기 적어도 하나의 색상의 영상을 표시하는 단계를 더 포함할 수 있다.
상기한 본 발명의 목적은, 컴퓨터가 읽을 수 있는 코드로서 외부장치와 통신 가능한 통신부 및 복수의 센서를 포함하는 전자장치의 제어방법을 수행하는 코드를 포함하는 컴퓨터 프로그램이 저장된 기록매체에 있어서, 상기 전자장치의 제어방법은, 상기 복수의 센서를 통해 감지되는 제1상황에서의 센서값에 기초하여 상기 전자장치의 소정 동작을 수행하는 단계; 및 상기 복수의 센서를 통해 감지되는 제2상황에서의 센서값에 기초하여 사용자의 모션의 방향을 판단하고, 상기 판단된 모션의 방향에 따른 제어명령을 상기 외부장치로 출력하는 단계를 포함하는 것을 특징으로 하는 컴퓨터가 읽을 수 있는 프로그램이 기록된 기록매체에 의해서도 달성될 수 있다.
따라서, 본 발명에 의하면, 전자장치가 별도의 모션 인식 센서에 의하지 않고도 사용자의 모션의 방향을 인식하고, 외부장치의 제어 기능을 수행할 수 있으므로, 사용자가 외부장치로 시선을 유지한 채 외부장치를 제어할 수 있어서 사용자의 편의가 향상된다.
도 1은 본 실시예에 따른 전자장치가 외부장치를 제어하는 예시도이다.
도 2는 본 실시예에 의한 전자장치의 블록도이다.
도 3은 본 실시예에 의한 전자장치의 제어방법에 관한 순서도이다.
도 4는 본 실시예에 의한 전자장치가 제1상황에서 제2상황으로 전환하여 동작하는 예를 나타낸다.
도 5는 본 실시예에 의한 전자장치가 제어영상을 표시하는 예를 나타낸다.
도 6과 7은 본 실시예에 의한 전자장치가 센서값의 변화에 따라 사용자의 모션을 인식하는 예를 나타낸다.
도 8은 본 실시예에 의한 센서의 배열 위치를 나타낸다.
도 9는 본 실시예에 의한 전자장치의 배치 방향을 안내하는 예를 나타낸다.
도 10과 11은 본 실시예에 의한 전자장치가 제2상황에서 센서값의 형태에 따라 사용자의 모션을 인식하는 예시도이다.
도 12는 본 실시예에 의한 전자장치가 제어영상에 대한 센서값의 변화에 기초하여 사용자의 모션을 인식하는 예시도이다.
도 13은 본 실시예에 의한 제어영상의 다른 실시예를 나타낸다.
도 14는 본 실시예에 의한 전자장치가 음성센서와 광센서의 센서값의 변화에 따라 사용자의 모션을 인식하는 예시도이다.
이하에서는 첨부도면을 참조하여 본 발명에 따른 실시예들에 관해 상세히 설명한다. 이하 실시예들의 설명에서는 첨부된 도면들에 기재된 사항들을 참조하는 바, 각 도면에서 제시된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 구성요소를 나타낸다. 본 명세서에서의 복수의 구성 중 적어도 하나(at least one)는, 복수의 구성 전부뿐만 아니라, 복수의 구성 중 나머지를 배제한 각 하나 혹은 이들의 조합 모두를 지칭한다.
도 1은 본 실시예에 따른 전자장치가 외부장치를 제어하는 예시도이다. 도 1은 사용자가 외부장치(200)에 표시되는 영상(210)을 보면서 전자장치(100)를 통하여 외부장치(200)를 제어하는 경우를 가정한다. 외부장치(200)는 TV와 같은 디스플레이장치일 수 있으나, 본 발명에서는 제한 없이 구현될 수 있다. 예를 들어, 외부장치(200)는 컴퓨터, 멀티미디어 재생기, 전자액자, 디지털 광고판, LFD(Large Format Display), 디지털 싸이니지, 셋탑박스, 냉장고 등 다양한 장치로 구현될 수 있다.
전자장치(100)는 외부장치(200)와 별개의 장치로서, 예컨데, 스마트 폰, 스마트 패드, 웨어러블 스마트기기, 휴대폰, 태블릿 PC, 전자책 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 등으로 구현될 수 있으나, 이에 한정되는 것은 아니다.
전자장치(100)는 구현 형태에 따라 다양한 기능을 수행할 수 있다. 예를 들면, 전자장치(100)는 외부장치(200)의 제어 외에, 컨텐츠 재생, 음성 통화, 화상 통화, 동영상 촬영, 사진 촬영, 메시지 전송, 인터넷 브라우징 등 다양한 기능을 수행할 수 있다.
전자장치(100)는 위에서 언급된 기능을 수행하기 위해 센서에 의해 얻어진 센서값을 활용할 수 있다. 예를 들면, 전자장치(100)는 사진 촬영 애플리케이션의 실행에 의해 사진 촬영 기능을 수행할 수 있다. 전자장치(100)는 근접센서를 통해 감지된 근접센서값과 광센서를 통해 감지된 광센서값에 기초하여 카메라의 초점이나 노출 정도를 조절할 수 있다. 이와 같이, 전자장치(100)가 근접센서나, 광센서 등과 같은 센서를 사용하여 사진 촬영 기능과 같은 전자장치(100)의 기능을 수행하는 상황을 제1상황이라 정의한다. 본 실시예에 의한 제1상황은 컨텐츠 재생, 음성 통화, 화상 통화, 동영상 촬영, 사진 촬영, 메시지 전송, 인터넷 브라우징 등 다양한 기능이 수행되는 상황을 포함할 수 있다.
본 실시예에 따른 전자장치(100)는, 사용자의 입력에 따라 외부장치(200)의 기능을 제어할 수 있다. 전자장치(100)가 위에서 언급한 기능 외에 외부장치(200)의 기능을 제어하는 상황을 제2상황이라 정의한다. 전자장치(100)는, 제2상황에서 복수의 센서를 이용하여 외부장치(200)의 기능을 제어하기 위한 사용자의 입력을 인식한다. 제2상황에서의 사용자의 입력은, 사용자의 모션을 포함한다. 즉, 전자장치(100)는 제1상황에서 전자장치(100)의 기능을 실행하기 위해 사용되는 복수의 센서를, 제2상황에서 외부장치(200)의 제어를 위한 사용자의 모션을 인식하는 데에 사용할 수 있다. 본 실시예의 복수의 센서로서, 근접센서와 광센서를 예로 들면, 제1상황에서는 근접센서와 광센서가 사진 촬영 환경을 조성하는 전자장치(100)의 기능을 위해 사용되었지만, 제2상황에서는 외부장치(200)의 제어를 위한 사용자의 모션을 인식하는 데에 활용될 수 있다.
좀더 구체적인 설명은 위해, 사용자의 모션은, 예컨대, 신체의 일부 중 손의 이동이고, 사용자의 손이 좌측에서 우측 방향으로 이동하는 모션이, 외부장치(200)의 볼륨을 증가시키는 제어명령인 것으로 가정한다.
제2상황에서 사용자가 손을 전자장치(100)에 대하여 좌측에서 우측으로 이동시키는 모션을 취하면, 전자장치(100)는 근접센서와 광센서의 각 센서값에 기초하여 모션의 방향이 좌측에서 우측을 향하는 것임을 인식할 수 있다. 전자장치(100)는, 인식된 모션의 정보를 외부장치(200)로 전송하고, 외부장치(200)는 전송된 모션의 정보에 기초하여 제어명령을 인식하고, 제어명령에 따라 볼륨을 증가시키는 동작을 수행한다. 다른 실시예로서, 전자장치(100)는 인식된 모션의 정보에 기초하여 외부장치(200)의 볼륨을 증가시키는 제어명령을 외부장치(200)에 전송하고, 외부장치(200)는 전송된 제어명령에 따라 볼륨을 증가시키는 동작을 수행할 수 있다.
본 실시예의 모션은, 손의 모션에 한정되는 것은 아니며, 전자장치(100)는 사용자의 얼굴, 팔, 몸통, 다리 등 다른 신체에 의한 모션도 감지할 수 있다. 또한, 전자장치(100)는 설계 방법에 따라 다양한 모션의 방향을 인식할 수 있으며, 각 모션의 방향마다 각기 다른 제어명령이 수행될 수 있다. 예를 들어, 전자장치(100)는 전자장치(100)에 대한 좌/우 방향, 상/하 방향, 대각선 방향, 수직하게 들어오거나 나오는 방향 등을 인식할 수 있다. 전자장치(100)는 각 모션의 방향마다 전원 온/오프, 채널 업/다운, 볼륨 업/다운, 컨텐츠 선택, 다운로드, 재생, 정지, 삭제 등의 다양한 제어명령이 수행될 수 있다.
이와 같이 본 실시예에 의한 전자장치(100)에 의하면, 사용자가 터치입력을 위하여 전자장치(100)의 화면을 보지 않고, 모션을 이용하여 제어명령을 입력할 수 있으므로, 사용자가 외부장치(200)로 시선을 유지한 채 외부장치(200)를 제어할 수 있어서 사용자의 편의가 향상된다. 또한, 본 실시예에 의한 전자장치(100)에 의하면, 전자장치(100)의 기능을 수행하기 위해 사용되는 복수의 센서를 활용하여 외부장치(200)의 제어를 위한 사용자의 모션을 인식하므로, 사용자의 모션을 인식하기 위한 별도의 모션 인식 센서를 구비할 필요가 없어서 비용을 절감할 수 있다.
도 2는 도 1에 도시된 본 실시예에 의한 전자장치의 블록도이다. 전자장치(100)는 센서부(110), 디스플레이부(120), 사용자 입력부(130), 음성수신부(140), 음성출력부(150), 통신부(160), 저장부(170) 및 영상획득부(180), 및 프로세서(190)를 포함할 수 있다. 다만, 전자장치(100)는 설계 방법에 따라 적어도 하나의 구성이 배제하거나 다른 구성을 추가할 수 있다.
센서부(110)는 전자장치(100)와 관련된 다양한 센서값을 획득할 수 있는 복수의 센서를 포함할 수 있다. 예를 들어, 센서부(110)는 이미지센서(180), 근접센서(111), 광센서(112), 음성센서, 온도센서, 습도센서, 압력센서, 충격센서, 깊이센서, GPS센서, 자이로센서 등을 포함할 수 있다.
이미지센서(180)는 이미지센서(180) 전방의 캡쳐이미지를 획득한다. 이미지센서(180)는 CMOS(Complementary Metal Oxide Semiconductor) 또는 CCD(Charge Coupled Device) 방식의 카메라로 구현될 수 있다. 이미지센서(180)는 2이상 마련될 수 있다.
근접센서(111)는 주변 물체까지의 거리를 측정할 수 있다. 예를 들어, 근접센서(111)가 적외선 신호에 대한 TOF (time-Of-flight) 측정 방식을 사용하는 경우, 전자장치(100)는 출력된 적외선 신호가 물체에 반사되어 되돌아 올 때까지의 지연 시간을 측정하여, 이동 중인 물체까지의 거리를 측정할 수 있다. 근접센서(111)가 물체의 자성 측정 방식을 이용하는 경우에는, 자기장, 자기장 세기, 자기장 방향, 자기력 등의 변화에 기초하여 이동 중인 물체까지의 거리를 측정할 수 있다. 다만, 근접센서(111)의 종류를 한정하는 것은 아니므로, 근접센서(111)는 자기포화형, 고주파 발진형, 차동 코일형, 및 정전용량형 등으로 구현될 수도 있다.
광센서(112)는 전자장치(100) 주변 광의 세기와 양을 측정한다. 광센서(112)는 예를 들어, 황화납 또는 황화카드뮴 광전도셀(CdS Photoconductive Cells)을 이용하여 구현될 수 있다. 하나의 실시예로서, 이미지센서(180)가 광센서(112)의 역할을 수행할 수도 있다.
디스플레이부(120)는 영상신호에 따라 영상을 표시한다. 디스플레이부(120)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등으로 구현될 수 있다. 디스플레이부(120)는 터치입력을 수신할 수 있는 사용자 입력부(130)와 함께 터치 스크린으로 구성될 수 있다.
사용자 입력부(130)는 전자장치(100)의 동작 제어를 위한 사용자입력을 수신한다. 사용자 입력부(130)는 터치스크린, 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치, 핑거 마우스 등으로 구성될 수 있다.
음성수신부(140)는 음성신호를 입력받아 전기적인 음성신호로 처리한다. 음성수신부(140)는 다양한 잡음 제거 알고리즘을 사용하여 음성신호를 입력받는 과정에서 발생하는 잡음을 제거할 수 있다. 음성수신부(140)는 마이크로 구현될 수 있으며, 마이크는 음성센서로 활용될 수 있다. 음성출력부(150)는 출력 가능하도록 처리된 음성신호를 외부로 출력할 수 있다. 음성출력부(150)는 스피커로 구현될 수 있다.
통신부(160)는 외부장치(200)와 다양한 통신 규격에 따라 무선 통신을 수행할 수 있다. 예를 들어, 통신부(160)는 와이파이(Wi-Fi), 블루투스, 지그비, WFD((Wi-Fi Direct), UWB(Ultra-Wideband), 적외선 통신(IrDA, infrared Data Association), BLE(Bluetooth Low Energy), NFC(Near Field Communication) 등에 따라 무선통신을 수행할 수 있다.
통신부(160)는 이동통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신하기 위한 이동통신모듈(161), 무선인터넷 접속을 위한 무선인터넷모듈(162), 근거리 통신을 위한 모듈을 근거리 통신모듈, 및 GPS모듈 등을 더 포함할 수 있다.
저장부(170)는 전자장치(100)가 수행하는 다양한 기능을 위한 데이터, 프로그램, 또는 애플리케이션을 저장할 수 있다. 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 저장부(170)는 인터넷(internet) 상에서 운영되는 웹 스토리지(web storage)로 구현될 수도 있다.
프로세서(190)는 전자장치(100)의 구성 전반을 제어할 수 있다. 프로세서(190)는 제1상황에서 센서부(110)를 통해 감지되는 센서값에 기초하여 전자장치(100)의 기능을 수행한다. 또한, 프로세서(190)는 제1상황과 다른 제2상황에서는 센서부(110)를 통해 감지되는 센서값에 기초하여, 사용자의 모션을 인식하고, 인식된 모션의 방향을 나타내는 제어명령을 외부장치(200)로 출력하는 제어 기능을 수행할 수 있다.
프로세서(190)는 위에서 언급된 구성 전반에 대한 제어를 수행할 수 있도록 하는 제어프로그램(혹은 인스트럭션)을 실행한다. 전자장치(100)는, 제어프로그램이 설치되는 비휘발성의 메모리와, 설치된 제어프로그램의 적어도 일부가 로드되는 휘발성의 메모리를 더 포함할 수 있다. 또한, 이와 같은 제어프로그램은, 전자장치(100) 이외의 다른 전자기기에도 저장될 수 있다.
제어프로그램은 BIOS, 디바이스드라이버, 운영체계, 펌웨어, 플랫폼 및 응용프로그램(어플리케이션) 중 적어도 하나의 형태로 구현되는 프로그램(들)을 포함할 수 있다. 일 실시예로서, 응용프로그램은, 전자장치(100)의 제조 시에 미리 설치 또는 저장되거나, 혹은 추후 사용 시에 외부로부터 응용프로그램의 데이터를 수신하여 수신된 데이터에 기초하여 설치될 수 있다. 응용프로그램의 데이터는, 예컨대, 어플리케이션 마켓과 같은 외부 서버로부터 다운로드될 수도 있다. 이와 같은 외부 서버는, 컴퓨터프로그램제품의 일례이나, 이에 한정되는 것은 아니다.
전자장치(100)는 신호처리부와 전원공급부를 더 포함할 수 있다. 신호처리부는 입력받은 영상신호나 음성신호에 대해 다양한 프로세스 수행하여, 디스플레이부(120)나 음성출력부(150)를 통해 출력되도록 처리할 수 있다. 신호처리부는 인쇄회로 기판 상에 장착되는 칩셋, 회로, 버퍼 등으로 구현되는 하드웨어 프로세서를 포함하며, 설계 방식에 따라서는 SOC(system on chip)로 구현될 수도 있다. 또한, 전원공급부는 프로세서(190)의 제어에 따라 외부의 전원이나 내부의 전원을 인가받아 전자장치(100)의 각 구성들에 필요한 전원을 공급할 수 있다.
도 3은 본 실시예에 의한 전자장치의 제어방법에 관한 순서도이다. 도 3에 도시된 전자장치의 제어방법은, 도 2에 도시된 전자장치(100)의 프로세서(190)가 적어도 하나의 제어프로그램을 실행함으로써 수행될 수 있다. 이하 설명에서는, 특별한 언급이 없는 한, 프로세서(190)의 동작은 제어프로그램을 실행하여 수행하는 동작인 것으로 한다. 먼저, 프로세서(190)는 제1상황에서, 복수의 센서를 포함하는 센서부(110)를 통해 감지되는 센서값에 기초하여 전자장치(100)의 소정 동작을 수행할 수 있다(S310). 그리고, 프로세서(190)는 제2상황에서, 센서부(110)를 통해 감지되는 센서값에 기초하여, 사용자의 모션의 방향을 판단하고, 판단된 모션의 방향을 나타내는 제어명령을 외부장치(200)로 출력할 수 있다(S320).
위 동작 S310 및 S320에서, 프로세서(190)는 미리 정해진 이벤트가 발생하였는지 여부에 따라 현재의 상황이 제1상황인지 혹은 제2상황인지를 식별할 수 있다. 일 예로서, 프로세서(190)는, 미리 정해진 이벤트가 아직 발생하지 않은 상황에서는 제1상황인 것으로 식별한다. 만일, 제1상황에서 미리 정해진 이벤트가 발생한 경우, 프로세서(190)는, 제2상황인 것으로 식별한다. 즉, 전자장치(100)는 제1상황으로 동작하는 중에, 미리 정해진 이벤트가 발생하는 것에 대응하여 제2상황으로 전환하여 동작할 수 있다.
도 4는 본 실시예에 의한 전자장치(100)가 제1상황에서 제2상황으로 전환하여 동작하는 예를 나타낸다. 도 4에서, 외부장치(200)는 영상(210)을 표시하고 있고, 사용자(300)는 외부장치(200)의 영상(210)의 표시를 제어하고자 하는 것으로 가정한다. 전자장치(100)는 제1상황에서 동작을 수행하고 있는 것으로 가정한다. 제1상황에서의 동작은, 예컨대, 컨텐츠 재생, 통화, 촬영, 메시지 전송, 인터넷 브라우징 등 사용자(300)가 적극적으로 이용할 수 있는 기능을 제공하는 동작뿐만 아니라, 스마트 폰의 대기모드 등 사용자(300)가 적극적으로 이용하고 있지 않는 기능을 수행하는 동작을 포함한다.
프로세서(190)는 제1상황에서 동작하는 중에 미리 정해진 이벤트가 발생되는지 여부를 확인한다. 본 실시예의 미리 정해진 이벤트는, 예컨대, 사용자(300)나, 외부장치(200)가 전자장치(100)로부터 소정 거리 이내로 근접한 것으로 감지되는 것일 수 있다.
일 예로, 사용자(300)가 외부장치(200)의 영상(210)을 시청하기 위하여, 전자장치(100)를 들고 외부장치(200)로 가까이 가면, 프로세서(190)는 통신부(160) 등에 의해 획득되는 정보에 기초하여 외부장치(200)가 전자장치(100)로부터 소정 거리 이내로 근접한 것으로 식별할 수 있다.
다른 예로서, 미리 정해진 이벤트는, 전자장치(100)가 외부장치(200)와 통신 가능하게 연결되는 것일 수 있다. 전자장치(100)와 외부장치(200) 간의 통신 방식은, 예컨대, 와이파이, 블루투스 등일 수 있다. 일 예로, 사용자(300)가 전자장치(100)를 들고 외부장치(200)로 가까이 가면, 프로세서(190)는 통신부(160)를 통하여 블루투스 등의 미리 정해진 통신 방식으로 외부장치(200)와 연결을 수행하도록 제어하고, 이러한 연결 완료에 대응하여 미리 정해진 이벤트가 발생한 것으로 식별할 수 있다.
다른 예로서, 미리 정해진 이벤트는, 사용자 입력부(130)를 통하여 제2상황으로 진입하라는 사용자(300)의 명령을 수신한 것일 수 있다. 일 예로, 프로세서(190)는 제1상황에서의 동작 중에 터치스크린 상의 터치입력, 음성명령 등의 수신에 대응하여, 수신된 터치입력, 음성명령 등이 제2상황으로 진입하라는 명령에 해당하는지를 식별할 수 있다. 이 경우, 프로세서(190)는 디스플레이부(120)에 제2상황으로 진입하라는 사용자(300)의 명령을 수신하기 위한 메뉴항목을 포함하는 UI를 표시하고, UI의 메뉴항목을 이용하여 수신된 터치입력에 따라 미리 정해진 이벤트를 식별할 수도 있다.
다른 예로서, 미리 정해진 이벤트는, 외부장치(200) 또는 외부서버(400)로부터 제2상황으로의 진입 요청을 수신하는 것일 수 있다. 일 예로, 전자장치(100)가 외부장치(200) 또는 외부서버(400)와 통신 연결된 상태에서 제1상황의 동작을 수행하는 도중에, 프로세서(190)는 통신부(160)를 통하여 외부장치(200) 또는 외부서버(400)로부터 신호가 수신되는 것에 대응하여, 수신된 외부장치(200) 또는 외부서버(400)로부터의 신호가 제2상황으로 진입하라는 요청에 대응하는지를 식별할 수 있다. 외부장치(200) 또는 외부서버(400)는, 센서 등을 이용하여 사용자의 의도를 인식하거나, 혹은, 사용자입력을 수신하여, 제2상황으로 진입하라는 요청의 신호를 전자장치(100)로 전송할 수 있다.
다른 예로서, 미리 정해진 이벤트는, 외부장치(200)가 미리 정해진 영상(210)을 표시하는 것일 수 있다. 외부장치(200)가 표시하는 미리 정해진 영상(210)은, 예컨대, 미리 정해진 컨텐츠 혹은 미리 정해진 카테고리의 컨텐츠의 영상(210)일 수 있다. 일 예로서, 프로세서(190)는 통신부(160)를 통하여 외부장치(200)로부터 수신되는 신호에 포함된 정보에 기초하여 외부장치(200)가 미리 정해진 영상(210)을 표시하는 것으로 식별할 수 있다. 이 경우, 외부장치(200)는 현재 표시하고 있는 컨텐츠에 관한 정보를 포함하는 신호를 전자장치(100)에 전송할 수 있다.
다른 예로서, 프로세서(190)는 이미지센서(180) 등과 같이 센서부(110)에 의해 획득되는 정보에 기초하여 외부장치(200)가 미리 정해진 영상(210)을 표시하는지를 식별할 수 있다.
이상과 같이, 본 실시예의 미리 정해진 이벤트는, 앞서 설명한 예시에 한정되는 것은 아니며, 이러한 예시 외에도 다양한 이벤트를 포함한다.
일 실시예로서, 프로세서(190)는, 사용자의 장치 사용 이력에 기초하여 미리 정해진 이벤트의 발생을 식별할 수 있다. 사용자의 장치 사용 이력은, 예컨대, 전자장치(100)나 외부장치(200)의 사용 시간, 사용 장소 등일 수 있다. 장치 사용 이력에 기초한 미리 정해진 이벤트는, 예컨대, 사용자가 특정 시간에 TV를 시청하는 것 등일 수 있다. 나아가, 본 실시예의 미리 정해진 이벤트는, 사용자의 기상 시간, 취침 시간 등 사용자의 일반적인 생활에 기초할 수도 있다. 본 실시예의 사용자의 장치 사용 이력 혹은 사용자의 생활에 관한 정보는 전자장치(100)에 저장되거나, 혹은 외부장치(200)나 외부서버(400)에 저장될 수 있다. 외부장치(200)나 외부서버(400)에 정보가 저장된 경우, 프로세서(190)는, 이들로부터 정보를 수신하거나, 혹은 위에서 설명한 바와 같이, 정보를 저장하고 있는 외부장치(200)나 외부서버(400)으로부터 제2상황으로의 진입 요청을 수신할 수도 있다.
프로세서(190)는, 제1상황으로 동작하는 중에 미리 정해진 이벤트가 발생된 것으로 식별하면, 제2상황으로 전환하여 동작할 수 있다. 구체적으로, 프로세서(190)는, 미리 정해진 이벤트의 발생에 대응하여, 외부장치(200)의 제어를 위한 전용어플리케이션을 실행할 수 있다. 본 실시예의 전용어플리케이션은, 앞서 설명한 적어도 하나의 제어프로그램 중 하나일 수 있다.
일 실시예로서, 프로세서(190)는, 미리 정해진 이벤트가 발생한 경우, 사용자에게 외부장치(200) 제어 모드를 안내하는 UI(User Interface, 121)를 디스플레이부(120)에 표시할 수 있다. UI(121)는 사용자가 외부장치(200) 제어 모드의 실행 여부를 선택할 수 있는 항목을 포함할 수 있다. 프로세서(190)는, UI(121)를 이용하여 제어 모드를 실행하라는 사용자의 터치입력이 수신되면, 전용어플리케이션을 실행하여 제2상황으로 진입할 수 있다.
도 5는 본 실시예에 의한 전자장치가 제어영상을 표시하는 예를 나타낸다. 도 5를 참조하면, 본 실시예에 의한 프로세서(190)는, 제2상황으로의 진입에 대응하여, 외부장치(200)의 제어를 위한 영상(이하, "제어영상"이라고도 함)이 디스플레이부(120)에 표시되도록 제어할 수 있다.
본 실시예의 제어영상(128)은, 미리 정해진 휘도나, 색상을 가지거나, 혹은 주변 상황에 따라 가변적으로 정해질 수 있다. 본 실시예의 제어영상(128)은, 사용자가 외부장치(200)를 제어하기 위하여 외부장치(200)의 화면(210)을 바라보면서 모션을 취할 때, 전자장치(100)로 시선을 전환하지 않고도 전자장치(100)의 위치를 사용자가 직관적으로 알 수 있도록 하는 역할을 한다. 따라서, 본 실시예의 제어영상(128)은, 사용자가 외부장치(200)의 화면(210)을 바라보면서도 전자장치(100)의 위치를 쉽게 가늠할 수 있도록 하는 정도의 휘도나, 그러한 상황에 대응하는 색상을 가질 수 있다.
일 예로서, 프로세서(190)는, 제어영상(128)의 휘도가 주변조도보다 높도록 제어할 수 있다. 프로세서(190)는, 이미지센서(180)나, 광센서(112) 등에 의해 획득되는 정보에 기초하여 주변조도를 식별할 수 있다. 이에 따라, 주변조도보다 밝은 제어영상(128)에 의해, 사용자는 전자장치(100)의 위치를 보다 용이하게 직감할 수 있다.
추가 혹은 대체적인 예로서, 프로세서(190)는, 제어영상(128)의 색상이 주변광의 색상과 구별되도록 제어할 수 있다. 프로세서(190)는, 이미지센서(180)나, 광센서(112) 등에 의해 획득되는 정보에 기초하여 주변광의 색상을 식별할 수 있다. 일 예로서, 프로세서(190)는, 주변광의 색상과 대비될 수 있는 보색을 제어영상(128)의 색상으로 정할 수 있다. 이에 따라, 주변광의 색상과 대비되는 제어영상(128)에 의해, 사용자는 전자장치(100)의 위치를 한층 더 용이하게 직감할 수 있다.
선택적인 예로서, 프로세서(190)는, 외부장치(200)에 표시되는 영상(210)의 휘도 또는 색상(211)에 기초하여 주변조도 혹은 주변광의 색상을 식별할 수 있다. 일 예로서, 프로세서(190)는, 통신부(160)를 통하여 외부장치(200)로부터 외부장치(200)에 표시되는 영상(210)에 관한 정보를 수신하고, 수신된 정보에 기초하여 주변조도 혹은 주변광의 색상을 식별할 수 있다. 선택적인 예로서, 프로세서(190)는, 주변조도 혹은 주변광의 색상의 변화에 대응하여, 제어영상(128)의 휘도 또는 색상을 변경할 수 있다. 선택적인 예로서, 프로세서(190)는, 사용자가 지정한 설정에 따라 제어영상(128)의 휘도 또는 색상을 정할 수 있다. 이 경우, 프로세서(190)는, 제어영상(128)의 휘도 또는 색상을 설정할 수 있는 메뉴항목을 포함하는 UI를 디스플레이부(120)에 표시하고, UI를 이용한 사용자입력에 따라 제어영상(128)의 휘도 또는 색상의 설정을 수행할 수 있다.
본 실시예에 의한 프로세서(190)는, 제2상황에서 센서부(110)에 의해 획득되는 센서값에 기초하여, 외부장치(200)의 제어를 위한 사용자의 모션을 인식하고, 인식된 사용자의 모션에 관한 정보가 외부장치(200)로 전송되도록 제어한다. 이하, 본 실시예에 의한 전자장치(100)가 센서부(110)에 의해 획득되는 센서값에 기초하여 사용자의 모션을 인식하는 예를 상세히 설명한다.
도 6과 7은 본 실시예에 의한 전자장치가 센서값의 변화에 따라 사용자의 모션을 인식하는 예를 나타낸다. 전자장치(100)는 외형을 형성하는 케이스(101)를 갖는다. 케이스(101)는 전자장치(100)의 전면과 후면으로 마련되어, 전자장치(100)의 각 구성들을 수용할 수 있는 공간을 형성할 수 있다.
케이스(101) 상에는, 근접센서(111), 광센서(112), 디스플레이부(120), 사용자 입력부(130), 음성입력부(140), 음성출력부(150), 및 영상획득부(180)가 마련될 수 있다. 다만, 전자장치(100)는 설계 방법에 따라 케이스(101) 상에 마련된 구성들 중 적어도 하나의 구성이 배제되거나 다른 구성이 추가될 수 있다.
전자장치(100)의 근접센서(111)와 광센서(112)는 케이스(101) 상에 소정 간격(D)을 두고 배열될 수 있다. 전자장치(100)의 근접센서(111)는 폭방향을 따라 소정 간격(D)만큼 광센서(112)보다 좌측에 위치하도록 배열될 수 있다. 다만, 배열 순서나 방향에는 제한이 없으므로, 두 센서(111, 112)는 전자장치(100)의 길이방향이나 사선방향으로 배열될 수 있고, 광센서(112)가 소정 간격(D)만큼 근접센서(111)보다 좌측에 배열될 수도 있다.
본 실시예에서 근접센서(111)는 물체가 접근하여, 물체와의 거리가 감소할수록 감소하는 센서값을 출력하고, 광센서(112)는 물체가 광센서(112)로 입사되는 광을 가려서, 광 세기가 감소할수록 증가하는 센서값을 출력하는 것으로 가정한다. 다만, 근접센서(111)와 광센서(112)의 이러한 센싱 특성은 하나의 예에 불과하며, 설계 방법에 따라 그 반대가 될 수도 있다.
도 6은 사용자가 전자장치(100)의 좌측에서 우측으로 손(310)을 움직이는 일반적인 동작을 도 6의 (1)과 (2)로 구분하여 도시한다. 도 6의 (1)은 사용자의 손(310)이 전자장치(100)의 좌측에 위치하는 상태를 도시하며, 도 6의 (2)는 손(310)이 좌측에서부터 이동하여 전자장치(100)의 우측에 위치하는 상태를 도시한다. 그리고, 도 6의 그래프는 손(310)이 전자장치(100)의 좌측에서 우측으로 이동함에 따라 근접센서값과 광센서값의 상대적인 변화 추이를 도시한다.
도 6의 그래프를 참조하면, 근접센서값은 손(310)이 전자장치(100)의 좌측에서 우측으로 이동함에 따라 점점 감소하다가 제1시점(a1)부터 최저값(Ma)이 되고, 최저값(Ma)을 유지하다가 제2시점(a2)부터 증가한다. 여기서, 최저값(Ma)은 손(310)과 근접센서(111) 간의 최단 거리에 대응하는 근접센서값을 의미한다.
광센서값은 점점 증가하다가 손(310)이 광센서(112)를 가리게 되는 제3시점(b1)부터 최대값(Mb)이 되고, 최대값(Mb)를 유지하다가 제4시점(b2)부터 감소한다. 여기서, 최대값(Mb)는 손(310)에 의해 차단되는 최저 세기의 광에 대응하는 광센서값을 의미한다.
근접센서(111)와 광센서(112) 사이의 위치 차이로 인해, 근접센서값이 최저값(Ma)이 되는 제1시점(a1)이 광센서값이 최대값(Mb)이 되는 제3시점(b1)보다 선행한다. 즉, 전자장치(100)는 제1시점(a1)이 제3시점(b1)보다 선행하면, 모션 방향이 전자장치(100)의 좌측에서 우측으로 향하는 것으로 판단할 수 있다.
모션 방향에 대한 보다 정확한 판단을 위해서, 전자장치(100)는 근접센서값이 최저값(Ma)에서 증가되는 제2시점(a2)이 광센서값이 최대값(Mb)에서 감소되는 제4시점(b2)보다 선행하는지를 함께 고려할 수도 있다. 즉, 전자장치(100)는 제2시점(a2)이 제4시점(b2)보다 선행하면, 모션 방향이 전자장치(100)의 좌측에서 우측으로 향하는 것으로 판단할 수 있다.
도 7은 사용자가 전자장치(100)의 우측에서 좌측으로 손(310)을 움직이는 일반적인 동작을 도 7의 (1)과 (2)로 구분하여 도시한다. 도 7의 (1)은 사용자의 손(310)이 전자장치(100)의 우측에 위치한 상태를 도시하며, 도 7의 (2)는 손(310)이 우측에서부터 이동하여 전자장치(100)의 좌측에 위치한 상태를 도시한다. 그리고, 도 7의 그래프는 손(310)이 전자장치(100)의 우측에서 좌측으로 이동함에 따라 근접센서값과 광센서값의 상대적인 변화 추이를 도시한다.
도 7의 그래프를 참조하면, 근접센서(111)와 광센서(112) 사이의 위치 차이로 인해, 근접센서값이 최저값(Ma)이 되는 제1시점(a1)이 광센서값이 최대값(Mb)이 되는 제3시점(b1)보다 후행한다. 즉, 전자장치(100)는 제1시점(a1)이 제3시점(b1)보다 후행하면, 모션 방향이 전자장치(100)의 우측에서 좌측으로 향하는 것으로 판단할 수 있다.
모션 방향에 대한 보다 정확한 판단을 위해서, 전자장치(100)는 근접센서값이 최저값(Ma)에서 증가되는 제2시점(a2)이 광센서값이 최대값(Mb)에서 감소되는 제4시점(b2)보다 후행하는지를 함께 고려할 수도 있다. 즉, 전자장치(100)는 제2시점(a2)이 제4시점(b2)보다 후행하면, 모션 방향이 전자장치(100)의 우측에서 좌측으로 향하는 것으로 판단할 수 있다.
이와 같이, 전자장치(100)는 근접센서값과 광센서값의 변화에 기초하여 사용자의 모션 방향을 판단할 수 있다. 전자장치(100)는 사용자의 모션 방향을 판단하므로, 원격 제어 대상인 외부장치(200)에 집중된 사용자의 시선을 전자장치(200)로 전환하지 않아도 되는 편의성을 제공할 수 있다.
도 8은 본 실시예에 의한 센서의 배열 위치를 나타낸다. 도 6과 7에서는, 근접센서(111)와 광센서(112)가 소정 간격(D)을 두고 폭방향을 따라 배열된 것으로 가정하였으나, 간격(D)과 배열 방향을 한정한 것은 아니며 설계 방법에 따라 다양한 간격(D)과 배열 방향을 갖도록 할 수 있다.
예를 들어, 도 7의 (1)에 도시된 바와 같이, 근접센서(111)와 광센서(112)를 전자장치(100)의 폭방향으로 배열하되, 음성출력부(150)를 중심으로 근접센서(111)를 좌측에 배치하고, 광센서(112)를 우측에 배치할 수 있다. 다른 실시예로서, 근접센서(111)를 우측에 배치하고, 광센서(112)를 좌측에 배치할 수도 있다.
이러한 배열 방식에 의하면, 근접센서(111)와 광센서(112) 간의 소정 간격(D)이 도 6과 7에 비해 더 증가된다. 근접센서(111)와 광센서(112) 간의 소정 간격(D)이 증가될수록, 제1시점(a1)과 제3시점(b1) 간의 선후행 여부 및 제2시점(a2)와 제4시점(b2) 간의 선후행 여부에 대한 판단이 좀더 용이할 수 있다.
또한, 도 8의 (2)에 도시된 바와 같이, 근접센서(111)와 광센서(112)를 전자장치(100)의 높이방향으로 배열하되, 디스플레이부(120)를 중심으로 근접센서(111)를 좌측에 배치하고, 광센서(112)를 우측에 배치할 수 있다. 다른 실시예로서, 설계 방법에 따라 근접센서(111)를 우측에 배치하고, 광센서(112)를 좌측에 배치할 수도 있다.
이러한 배열 방식에 의하면, 근접센서(111)와 광센서(112) 간의 소정 간격(D)이 도 8의 (1)에 비해 더 증가되어, 제1시점(a1)과 제3시점(b1) 간의 선후행 여부 및 제2시점(a2)와 제4시점(b2) 간의 선후행 여부에 대한 판단이 좀더 용이할 수 있다.
도 9는 본 실시예에 의한 전자장치의 배치 방향을 안내하는 예를 나타낸다. 전자장치(100)는 제2상황으로 전환되면, 근접센서(111)와 광센서(112)의 배열 방식에 따라 전자장치(100)의 바람직한 배치 방향을 알려줄 수 있다. 알려주는 방식은 디스플레이부(120)를 통해서 UI를 표시하는 방식이나 음성출력부(150)를 통해서 음성을 출력하는 방식이 있을 수 있다.
일 실시예로서, 도 9의 (1)에 도시된 바와 같이, 근접센서(111)와 광센서(112)가 전자장치(100)의 폭방향을 따라 배열된 경우, 전자장치(100)의 상측 또는 하측이 외부장치(200)를 향하고 있는 UI(123)을 디스플레이부(120)에 표시할 수 있다. UI(123)는 사용자가 전자장치(100)의 바람직하게 배치할 수 있도록 유도할 수 있다. 경우에 따라서, 전자장치(100)가 인식할 수 있는 모션 방향을 나타내는 UI(311)를 더 표시하여, 사용자가 바람직하게 모션을 취할 수 있도록 유도할 수 있다.
또한, 도 9의 (2)에 도시된 바와 같이, 근접센서(111)와 광센서(112)가 전자장치(100)의 높이방향을 따라 배열된 경우, 전자장치(100)의 좌측 또는 우측이 외부장치(200)를 향하고 있는 UI(123)을 디스플레이부(120)에 표시할 수 있으며, 경우에 따라서, 전자장치(100)가 인식할 수 있는 모션 방향을 나타내는 UI(311)를 더 표시할 수 있다.
도 10과 11은 본 실시예에 의한 전자장치가 제2상황에서 센서값의 형태에 따라 사용자의 모션을 인식하는 예시도이다. 도 10과 11의 전자장치(100)는 근접센서(111)와 광센서(112)가 전자장치(100)의 폭방향을 따라 배열된 경우를 가정하지만, 이에 한정되는 것은 아니다.
도 10은 사용자가 전자장치(100)의 하측에서 상측으로 손(310)을 움직이는 일반적인 동작을 도 10의 (1)과 (2)로 구분하여 도시한다. 도 10의 (1)은 사용자의 손(310)이 전자장치(100)의 하측에 위치하는 상태를 도시하며, 도 10의 (2)는 손(310)이 하측에서부터 이동하여 상측에 위치하는 상태를 도시한다. 그리고, 도 10의 그래프는 손(310)이 전자장치(100)의 하측에서 상측으로 이동함에 따라 근접센서값과 광센서값의 상대적인 변화 추이를 도시한다.
도 10의 그래프를 참조하면, 근접센서값은 손(310)이 전자장치(100)의 하측에서 상측으로 이동함에 따라 점점 감소하다가 제1시점(a1)부터 최저값(Ma)을 유지한다. 광센서값은 점점 증가하다가 손(310)이 광센서(112)를 가리게 되는 제3시점(b12)부터 최대값(Mb)을 유지한다.
근접센서(111)와 광센서(112)는 전자장치(100)의 폭방향을 따라 배열되어 있기 때문에, 제1시점(a1)과 제3시점(b12)은 동일할 수 있다. 즉, 전자장치(100)는 제1시점(a1)과 제3시점(b12)이 동일하면, 모션 방향이 전자장치(100)의 하측에서 상측으로 향하는 것으로 판단할 수 있다.
그러나, 손(310) 끝의 불규칙성으로 인해 제1시점(a1)과 제3시점(b12)이 변동될 수 있다. 예를 들어, 손(310)이 전자장치(100)의 하측에서 상측으로 이동하는 경우에도, 제1시점(a1)보다 상대적으로 선행하는 제3시점(b11)이 감지되거나 후행하는 제3시점(b13)이 감지될 수 있다.
이러한 경우에는, 각 센서값의 형태를 통해 모션 방향을 판단할 수 있다. 광센서값의 형태를 통해 모션 방향을 판단하는 경우를 설명하기 위해, 손(310)이 좌측에서 우측으로 이동하는 도 6의 그래프를 다시 참조하면, 도 6의 그래프의 광센서값은 최대값(Mb)이 시작되는 제3시점(b1) 이전에 증가하는 제1구간(w1), 최대값(Mb)이 유지되는 제2구간(w2), 및 최대값(Mb)이 끝나는 제4시점(b2) 이후에는 감소하는 제3구간(w3)으로 구성된다.
그러나, 손(310)이 하측에서 상측으로 이동하는 도 10의 그래프를 참조하면, 광센서값은 최대값(Mb)이 시작되는 제3시점(b12) 이전에 증가하는 제1구간(w1)과 최대값(Mb)이 유지되는 제2구간(w2)만으로 구성된다. 즉, 손(310)이 하측에서 상측으로 이동하는 경우 광센서값은 최대값(Mb)이 끝나는 제4시점(b2) 이후에 감소하는 제3구간(w3)이 결여되어 있다.
즉, 전자장치(100)는 제1시점(a1)과 제3시점(b12)의 변동에 의해 선후행 여부가 불분명한 경우라도, 제1구간(w1)과 제2구간(w2)으로 구성된 광센서값의 형태에 기초하여 손(310)이 하측에서 상측으로 이동하는 것으로 판단할 수 있다. 반면에, 전자장치(100)는 제1구간(w1)과 제2구간(w2)뿐만 아니라 제3구간(w3)으로 구성되는 광센서값의 형태에 기초하여 손(310)이 좌측에서 우측으로 이동하는 것으로 판단할 수 있다.
동일한 방법으로, 전자장치(100)는 근접센서값의 형태에 기초하여 모션 방향을 판단할 수 있다. 즉, 전자장치(100)는 근접센서값의 형태에 도 6의 그래프와 같이 최저값(Ma) 이후 제2시점(a2)부터 증가하는 구간이 결여되어 있는 경우 손(310)이 하측에서 상측으로 이동하는 것으로 판단할 수 있다.
도 11은 사용자가 전자장치(100)의 상측에서 하측으로 손(310)을 움직이는 일반적인 동작을 도 11의 (1), (2), 및 (3)으로 구분하여 도시한다. 도 11의 (1)은 사용자의 손(310)이 전자장치(100)의 하측에 위치하는 상태를 도시하고, 도 11의 (2)는 손(310)이 하측에서부터 이동하여 상측에 위치하는 상태를 도시한다. 여기서, 도 11의 (1)과 (2)는 손(310)을 상측에서 하측으로 이동하기 위한 전제로서, 손(310)을 하측에서 상측으로 이동하는 일반적인 동작을 도시한다. 도 11의 (1)과 (2)은 손(310)을 하측에서 상측으로 이동하는 동안 손(310)의 고저차(H)가 소정 문턱값 이상인 수직적 이동을 동반하는 반면에, 도 10의 (1)과 (2)는 손(310)의 고저차(H)가 소정 문턱값 이하인 수평적 이동인 점에서 구별될 수 있다.
한편, 11의 (3)은 손(310)이 상측에서부터 이동하여 하측에 위치하는 상태를 도시한다. 그리고, 도 11의 그래프는 손(310)이 전자장치(100)의 하측에서 상측으로 이동함에 따라 근접센서값과 광센서값의 상대적인 변화 추이를 도시한다.
도 11의 그래프를 참조하면, 근접센서값은 손(310)이 전자장치(100)의 하측에서 상측으로 이동함에 따라 점점 감소하다가 제1시점(a1)부터 최저값(Ma)이 되고, 최저값(Ma)을 유지하다가 제2시점(a2)부터 증가한다. 광센서값은 점점 증가하다가 손(310)이 광센서(112)를 가리게 되는 제3시점(b1)부터 최대값(Mb)이 되고, 최대값(Mb)를 유지하다가 제4시점(b2)부터 감소한다.
근접센서(111)와 광센서(112)는 전자장치(100)의 폭방향을 따라 배열되어 있기 때문에, 제1시점(a1)과 제3시점(b1), 또는, 제2시점(a2)과 제4시점(b2)는 각각 동일할 수 있으며, 이러한 경우, 전자장치(100)는 모션 방향이 전자장치(100)의 하측에서 상측으로 향하는 것으로 판단할 수 있다.
그러나, 손(310) 끝의 불규칙성으로 인해 제3시점(b1)과 제4시점(b2) 각각은 제1시점(a1)과 제2시점(a2) 각각과 대비하여 상대적으로 변동될 수 있으므로, 전자장치(100)는 각 센서값의 형태를 통해 모션 방향을 판단할 수도 있다.
광센서값의 형태를 통해 모션 방향을 판단하는 경우를 설명하기 위해, 손(310)이 좌측에서 우측으로 이동하는 도 6과 10의 그래프를 다시 참조하면, 도 6의 그래프에서 광센서값은 제1구간(w1)에서 제1변화율(c1)로 증가하며, 도 10의 그래프에서 광센서값은 제1구간(w1)에서 제2변화율(c2)로 증가한다.
그러나, 도 6과 10에서 손(310)의 이동은 고저차(H)가 소정 문턱값 이하인 수평 이동인 반면에, 도 11는 고저차(H)가 소정 문턱값 이상인 수직적 이동을 동반하기 때문에, 도 11의 그래프에서 광센서값은 제1변화율(c1)이나 제2변화율(c2)보다 낮은 제3변화율(c3)로 증가하는 점에서 차이가 있다.
즉, 전자장치(100)는 제1구간(w1)에서 완만한 기울기를 나타내는 광센서값의 형태에 기초하여 손(310)이 상측에서 하측으로 이동하는 것으로 판단할 수 있다. 동일한 방법으로 전자장치(100)는 도 6과 10의 그래프에서 근접센서값의 형태와 다른 형태의 근접센서값에 기초하여 손(310)이 상측에서 하측으로 이동하는 것으로 판단할 수 있다.
도 12는 본 실시예에 의한 전자장치가 제어영상에 대한 센서값의 변화에 기초하여 사용자의 모션을 인식하는 예시도이다. 도 5를 참조하여 설명한 바와 같이, 전자장치(100)는 다양한 이벤트에 따라 제2상황으로 전환되면, 디스플레이부(120)에 소정 휘도나 색상을 갖는 제어영상(128)을 표시할 수 있다.
일 예로서, 프로세서(190)는 디스플레이부(120)에 소정 색상을 갖는 제어영상(125)을 표시하고, 손(310)의 이동에 의해 반사되는 반사광의 센서값의 변화나 변화 형태를 센싱할 수 있다. 제어영상(125)은 디스플레이부(120)의 임의의 영역에 표시될 수 있지만, 광센서(112)에 근접한 영역에 마련되는 것이 바람직할 수 있다.
전자장치(100)가 근접센서값과 반사광에 의한 광센서값의 변화나 변화 형태에 기초하여 손(310)의 이동 방향을 판단하는 과정은 도 6, 7, 10, 및 11과 중복되므로 생략한다. 이와 같이, 디스플레이부(120)에 소정 색상을 갖는 제어영상(125)을 표시하면, 주변 환경에 영향을 받지 않고, 외부장치(200)를 용이하게 원격 제어할 수 있다.
도 13은 본 실시예에 의한 제어영상의 다른 실시예를 나타낸다. 도 12의 전자장치(100)가 하나의 색상을 갖는 제어영상(125)을 디스플레이부(120)의 일 영역에 표시한 반면에, 도 13의 전자장치(100)는 서로 다른 색상을 가지는 적어도 2이상의 영상(126, 127)을 디스플레이부(120)의 일 영역에 표시할 수 있다.
도 13은 제1색상을 갖는 제1제어영상(126)을 전자장치(100)의 폭방향을 따라 제2색상을 갖는 제2제어영상(127)보다 좌측에 표시한 것으로 가정한다. 다만, 제1제어영상(126)과 제2제어영상(127)의 표시 위치나 나열 순서를 한정한 것은 아니며, 근접센서(111)와 광센서(112)의 나열 방향을 따라 광센서(112)에 근접한 영역에 표시하는 것이 바람직하다.
광센서(112)는 제1제어영상(126)에 의한 제1색상값과 제2제어영상(127)에 의한 제2색상값을 감지할 수 있다. 광센서(112)는 2이상의 색상을 감지할 수 있는 하나의 센서로 마련될 수 있으나, 각각 다른 색상을 감지하는 2이상의 광센서로 마련될 수도 있다.
도 13의 그래프는 손(310)이 전자장치(100)의 좌측에서 우측으로 이동함에 따라 제1색상값과 제2색상값의 상대적인 변화 추이를 도시한다. 도 13의 그래프를 참조하면, 제1색상값은 손(310)이 전자장치(100)의 좌측에서 우측으로 이동함에 따라 점점 증가하다가 제1시점(a1)부터 최대값(Ma)이 되고, 최대값(Ma)을 유지하다가 제2시점(a2)부터 감소한다. 여기서, 최대값(Ma)는 손(310)에 의해 반사되는 제1색상의 최대 세기에 대응하는 제1색상값을 의미할 수 있다. 제2색상값도 점점 증가하다가 제3시점(b1)부터 최대값(Mb)이 되고, 최대값(Mb)를 유지하다가 제4시점(b2)부터 감소한다. 여기서, 최대값(Mb)는 손(310)에 의해 반사되는 제2색상의 최대 세기에 대응하는 제2색상값을 의미할 수 있다.
제1제어영상(126)과 제2제어영상(127) 사이의 위치 차이로 인해, 제1시점(a1)이 제3시점(b1)보다 선행한다. 즉, 전자장치(100)는 제1시점(a1)이 제3시점(b1)보다 선행하면, 모션 방향이 전자장치(100)의 좌측에서 우측으로 향하는 것으로 판단할 수 있다. 모션 방향에 대한 보다 정확한 판단을 위해서, 전자장치(100)는 제2시점(a2)이 제4시점(b2)보다 선행하는지를 함께 고려할 수도 있다.
한편, 전자장치(100)가 제1색상값과 제2색상값의 변화나 변화 형태에 기초하여 손(310)의 이동 방향을 판단하는 과정은 도 6, 7, 10, 및 11과 중복되므로 생략한다.
도 14는 본 실시예에 의한 전자장치가 음성센서와 광센서의 센서값의 변화에 따라 사용자의 모션을 인식하는 예시도이다. 도 14의 전자장치(100)는 도 6, 7, 10, 및 11의 전자장치(100)가 사용한 근접센서(111) 대신에 음성센서(140)를 사용한다. 음성센서(140)는 음성출력부(150)를 통하여 출력되는 음성이 손(310)의 이동에 의해 변화되는 세기를 감지한다.
도 14의 그래프를 참조하면, 음성센서값은 손(310)이 전자장치(100)의 좌측에서 우측으로 이동함에 따라 점점 감소하다가 제1시점(a1)부터 최저값(Ma)이 되고, 최저값(Ma)을 유지하다가 제2시점(a2)부터 증가한다. 여기서, 최저값(Ma)은 손(310)과 근접센서(111) 간의 최대 음성 세기에 대응하는 음성센서값을 의미한다. 광센서값은 점점 증가하다가 손(310)이 광센서(112)를 가리게 되는 제3시점(b1)부터 최대값(Mb)이 되고, 최대값(Mb)를 유지하다가 제4시점(b2)부터 감소한다.
음성센서(140)와 광센서(112) 사이의 위치 차이로 인해, 음성센서값이 최저값(Ma)이 되는 제1시점(a1)이 광센서값이 최대값(Mb)이 되는 제3시점(b1)보다 선행하고, 음성센서값이 최저값(Ma)에서 증가되는 제2시점(a2)이 광센서값이 최대값(Mb)에서 감소되는 제4시점(b2)보다 선행한다. 이러한 경우, 전자장치(100)는 모션 방향이 전자장치(100)의 좌측에서 우측으로 향하는 것으로 판단할 수 있다. 전자장치(100)가 음성센서값과 광센서값의 변화나 변화 형태에 기초하여 손(310)의 이동 방향을 판단하는 과정은 도 5, 6, 9, 및 10과 중복되므로 생략한다.
상기의 개시 내용 및 장점들은 특정 실시예 및 도면을 참조하여 설명되었으나, 본 발명의 개시 내용 및 권리의 범위는 이에 한정되는 것은 아니다. 본 발명의 기술 분야에서 통상의 지식을 가진 사람은 청구항에 개시된 본 발명의 범위를 벗어나지 않고 다양한 형태로 변경하여 실시하는 것이 가능하다. 본 발명의 상세한 설명 및 도면은 설명을 위한 예시로 간주되어야 하며, 다양한 형태의 변형된 실시예들도 본 발명의 범위 내에 포함되는 것으로 해석되어야 한다.
100: 전자장치
110: 센서부
111: 근접센서
112: 광센서
120: 디스플레이부
130: 사용자 입력부
140: 음성수신부
150: 음성출력부
160: 통신부
170: 저장부
180: 영상획득부
190: 프로세서

Claims (17)

  1. 전자장치에 있어서,
    외부장치와 통신 가능한 통신부;
    복수의 센서;
    디스플레이부; 및
    상기 복수의 센서를 통해 감지되는 제1센서값에 기초하여 상기 전자장치의 소정 동작을 수행하고,
    상기 외부장치에서 표시되는 컨텐츠 영상에 관한 정보를 상기 외부장치로부터 수신하면, 상기 전자장치의 위치를 나타내는 영상을 상기 디스플레이부에 표시하고, 상기 복수의 센서를 통해 감지되는 제2센서값에 기초하여 사용자의 모션의 방향을 판단하고, 상기 판단된 모션의 방향에 따른 제어명령을 상기 외부장치로 출력하는 프로세서를 포함하며,
    상기 복수의 센서는 광센서를 포함하며,
    상기 프로세서는, 상기 광센서를 통하여 상기 외부장치로부터 출사되는 외부광의 색상을 식별하고, 상기 식별된 색상에 대응하는 적어도 하나의 색상의 상기 영상을 표시하는 전자장치.
  2. 제1항에 있어서,
    상기 복수의 센서는 소정 방향으로 나열되어 배치되며,
    상기 프로세서는, 상기 복수의 센서에 의해 감지되는 각 센서값의 변화에 기초하여 상기 모션의 방향을 판단하는 전자장치.
  3. 제1항에 있어서,
    상기 복수의 센서는 근접센서를 포함하는 전자장치.
  4. 제1항에 있어서,
    상기 프로세서는, 상기 복수의 센서에 의해 감지되는 센서값의 형태에 기초하여 상기 모션의 방향을 판단하는 전자장치.
  5. 삭제
  6. 제1항에 있어서,
    상기 프로세서는, 상기 표시되는 영상의 적어도 하나의 색상이 상기 광센서를 통해 감지되는 상기 외부광의 색상과 다르도록 상기 디스플레이부를 제어하는 전자장치.
  7. 제1항에 있어서,
    상기 적어도 하나의 색상의 영상은, 서로 다른 복수의 색상을 갖는 영상을 포함하고,
    상기 프로세서는, 상기 복수의 센서가 나열되어 배치된 상기 방향에 따라 상기 복수의 색상이 나열되도록 상기 영상을 표시하는 전자장치.
  8. 제1항에 있어서,
    상기 프로세서는, 상기 외부장치로부터 수신한 제어신호에 기초하여 상기 적어도 하나의 색상의 영상을 표시하도록 상기 디스플레이부를 제어하는 전자장치.
  9. 전자장치의 제어방법에 있어서,
    복수의 센서를 통해 감지되는 제1센서값에 기초하여 전자장치의 소정 동작을 수행하는 단계;
    외부장치에서 표시되는 컨텐츠 영상에 관한 정보를 상기 외부장치로부터 수신하면, 상기 전자장치의 위치를 나타내는 영상을 표시하는 단계;
    상기 복수의 센서를 통해 감지되는 제2센서값에 기초하여 사용자의 모션의 방향을 판단하는 단계; 및
    상기 판단된 모션의 방향에 따른 제어명령을 상기 외부장치로 출력하는 단계를 포함하며,
    상기 복수의 센서는 광센서를 포함하며,
    상기 영상을 표시하는 단계는,
    상기 광센서를 통하여 상기 외부장치로부터 출사되는 외부광의 색상을 식별하는 단계; 및
    상기 식별된 색상에 대응하는 적어도 하나의 색상의 상기 영상을 표시하는 단계를 포함하는 전자장치의 제어방법.
  10. 제9항에 있어서,
    상기 복수의 센서는, 소정 방향으로 나열되어 배치되는 복수의 센서를 포함하며,
    상기 모션의 방향을 판단하는 단계는, 상기 복수의 센서에 의해 감지되는 각 센서값의 변화에 기초하여 상기 모션의 방향을 판단하는 단계를 더 포함하는 전자장치의 제어방법.
  11. 제10항에 있어서,
    상기 복수의 센서는, 근접센서를 포함하는 전자장치의 제어방법.
  12. 제9항에 있어서,
    상기 모션의 방향을 판단하는 단계는, 상기 복수의 센서에 의해 감지되는 센서값의 형태에 기초하여 상기 모션의 방향을 판단하는 단계를 더 포함하는 전자장치의 제어방법.
  13. 삭제
  14. 제9항에 있어서,
    상기 영상을 표시하는 단계는, 상기 표시되는 영상의 적어도 하나의 색상이 상기 광센서를 통해 감지되는 상기 외부광의 색상과 다르도록 표시하는 단계를 더 포함하는 전자장치의 제어방법.
  15. 제9항에 있어서,
    상기 적어도 하나의 색상의 영상은, 서로 다른 복수의 색상을 갖는 영상을 포함하고,
    상기 영상을 표시하는 단계는, 상기 복수의 센서가 나열되어 배치된 상기 방향에 따라 상기 복수의 색상이 나열되도록 상기 영상을 표시하는 단계를 더 포함하는 전자장치의 제어방법,
  16. 제9항에 있어서,
    상기 영상을 표시하는 단계는, 상기 외부장치로부터 수신한 제어신호에 기초하여 상기 적어도 하나의 색상의 영상을 표시하는 단계를 더 포함하는 전자장치의 제어방법.
  17. 컴퓨터가 읽을 수 있는 코드로서 전자장치의 제어방법을 수행하는 코드를 포함하는 컴퓨터 프로그램이 저장된 기록매체에 있어서, 상기 전자장치의 제어방법은,
    복수의 센서를 통해 감지되는 제1센서값에 기초하여 전자장치의 소정 동작을 수행하는 단계;
    외부장치에서 표시되는 컨텐츠 영상에 관한 정보를 상기 외부장치로부터 수신하면, 상기 전자장치의 위치를 나타내는 영상을 표시하는 단계;
    상기 복수의 센서를 통해 감지되는 제2센서값에 기초하여 사용자의 모션의 방향을 판단하는 단계; 및
    상기 판단된 모션의 방향에 따른 제어명령을 상기 외부장치로 출력하는 단계를 포함하며,
    상기 복수의 센서는 광센서를 포함하며,
    상기 영상을 표시하는 단계는,
    상기 광센서를 통하여 상기 외부장치로부터 출사되는 외부광의 색상을 식별하는 단계; 및
    상기 식별된 색상에 대응하는 적어도 하나의 색상의 상기 영상을 표시하는 단계를 포함하는 컴퓨터가 읽을 수 있는 프로그램이 기록된 기록매체.
KR1020180011713A 2018-01-31 2018-01-31 전자장치 및 그 제어방법 KR102495326B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020180011713A KR102495326B1 (ko) 2018-01-31 2018-01-31 전자장치 및 그 제어방법
US16/256,172 US11106325B2 (en) 2018-01-31 2019-01-24 Electronic apparatus and control method thereof
CN201980009277.1A CN111630833B (zh) 2018-01-31 2019-01-29 电子设备及其控制方法
EP19747471.1A EP3701709A4 (en) 2018-01-31 2019-01-29 ELECTRONIC APPLIANCE, AND ASSOCIATED CONTROL PROCESS
PCT/KR2019/001189 WO2019151739A1 (en) 2018-01-31 2019-01-29 Electronic apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180011713A KR102495326B1 (ko) 2018-01-31 2018-01-31 전자장치 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20190092672A KR20190092672A (ko) 2019-08-08
KR102495326B1 true KR102495326B1 (ko) 2023-02-02

Family

ID=67393893

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180011713A KR102495326B1 (ko) 2018-01-31 2018-01-31 전자장치 및 그 제어방법

Country Status (5)

Country Link
US (1) US11106325B2 (ko)
EP (1) EP3701709A4 (ko)
KR (1) KR102495326B1 (ko)
CN (1) CN111630833B (ko)
WO (1) WO2019151739A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019108851B4 (de) * 2019-04-04 2020-10-15 Newel AG Einteilige, wasserdichte Wandverkleidungsvorrichtung
USD944830S1 (en) 2020-05-14 2022-03-01 Lutron Technology Company Llc Display screen or portion thereof with graphical user interface

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150326909A1 (en) * 2013-01-29 2015-11-12 Ik Soo EUN Method for remotely controlling smart television

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009041060A1 (ja) * 2007-09-28 2009-04-02 Kyocera Corporation 携帯情報機器及びマナーモード移行プログラム
KR101535486B1 (ko) 2008-10-27 2015-07-09 엘지전자 주식회사 휴대 단말기
US8294105B2 (en) 2009-05-22 2012-10-23 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting offset gestures
KR101590918B1 (ko) * 2009-06-19 2016-02-02 엘지전자 주식회사 이동 단말기 및 이동 단말기의 기능 수행 방법
KR101602461B1 (ko) 2009-09-22 2016-03-15 삼성전자주식회사 디스플레이 장치 및 휴대폰의 제어방법
CN102176728B (zh) * 2009-10-24 2013-12-11 汉达精密电子(昆山)有限公司 依据背景光源变色的电子装置及电致变色层的颜色修正方法
KR101670352B1 (ko) 2009-12-03 2016-10-28 엘지전자 주식회사 이동 단말기, 전자 기기 및 전자 기기의 제어 방법
US20120135783A1 (en) * 2010-11-29 2012-05-31 Google Inc. Mobile device image feedback
KR101924974B1 (ko) 2011-01-04 2018-12-04 삼성전자주식회사 이동통신 단말기에서 주변 디바이스를 원격 제어하기 위한 장치 및 방법
KR101788006B1 (ko) 2011-07-18 2017-10-19 엘지전자 주식회사 원격제어장치 및 원격제어장치로 제어 가능한 영상표시장치
JP2012253716A (ja) 2011-06-07 2012-12-20 Nec Saitama Ltd 携帯端末、携帯端末の操作方法、携帯端末の操作プログラム、動画再生システム
KR101325026B1 (ko) 2011-09-24 2013-11-08 주식회사 인프라웨어테크놀러지 스마트 단말을 이용한 안드로이드 플랫폼 기반의 애플리케이션 실행 단말 제어방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
CN103186234A (zh) * 2011-12-31 2013-07-03 联想(北京)有限公司 控制方法以及电子设备
CN103295560B (zh) * 2012-02-24 2016-01-27 联想(北京)有限公司 终端设备及其显示调整方法
KR101372582B1 (ko) 2012-04-26 2014-03-24 주식회사 플러 무선제어를 위한 스마트폰의 사용자 인터페이스 장치
CN103455134A (zh) 2012-06-01 2013-12-18 腾讯科技（深圳）有限公司 移动设备与被控设备进行交互的方法及系统
CN103713735B (zh) 2012-09-29 2018-03-16 华为技术有限公司 一种使用非接触式手势控制终端设备的方法和装置
US20140380249A1 (en) * 2013-06-25 2014-12-25 Apple Inc. Visual recognition of gestures
KR102034587B1 (ko) * 2013-08-29 2019-10-21 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
US9484001B2 (en) 2013-12-23 2016-11-01 Google Technology Holdings LLC Portable electronic device controlling diffuse light source to emit light approximating color of object of user interest
KR102454196B1 (ko) 2014-05-27 2022-10-14 삼성전자 주식회사 디스플레이 제어 방법 및 이를 제공하는 전자 장치
US9965999B1 (en) * 2014-06-26 2018-05-08 Amazon Technologies, Inc. Adjusting display color based on brightness
CN104111730B (zh) 2014-07-07 2017-11-07 联想(北京)有限公司 一种控制方法及电子设备
WO2016072635A1 (en) 2014-11-03 2016-05-12 Samsung Electronics Co., Ltd. User terminal device and method for control thereof and system for providing contents
US20180060144A1 (en) 2015-01-15 2018-03-01 Snapback S.R.L. Control methods for mobile electronic devices in distributed environments
KR20160143136A (ko) * 2015-06-04 2016-12-14 엘지전자 주식회사 위치 기반 알림 시스템 및 그것의 제어방법
CN204965278U (zh) 2015-09-17 2016-01-13 力智电子股份有限公司 穿戴式电子装置
US10114467B2 (en) * 2015-11-30 2018-10-30 Photopotech LLC Systems and methods for processing image information
US10372892B2 (en) 2016-07-13 2019-08-06 Motorola Mobility Llc Electronic device with gesture actuation of companion devices, and corresponding systems and methods
CN107248272A (zh) * 2017-06-07 2017-10-13 青岛海信电器股份有限公司 一种遥控方法及遥控装置
CN107291334A (zh) * 2017-06-27 2017-10-24 努比亚技术有限公司 一种图标字体颜色确定方法及设备
KR20170087438A (ko) 2017-07-18 2017-07-28 삼성전자주식회사 의료 기기를 제어하는 모바일 단말기 및 이의 의료 기기 제어 방법
CN107645610B (zh) * 2017-10-19 2020-07-03 维沃移动通信有限公司 一种移动终端的控制方法及移动终端

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150326909A1 (en) * 2013-01-29 2015-11-12 Ik Soo EUN Method for remotely controlling smart television

Also Published As

Publication number Publication date
EP3701709A1 (en) 2020-09-02
EP3701709A4 (en) 2020-12-09
KR20190092672A (ko) 2019-08-08
CN111630833B (zh) 2022-08-05
US20190238785A1 (en) 2019-08-01
CN111630833A (zh) 2020-09-04
US11106325B2 (en) 2021-08-31
WO2019151739A1 (en) 2019-08-08

Similar Documents

Publication Publication Date Title
US10564765B2 (en) Terminal and method of controlling therefor
WO2014084224A1 (ja) 電子機器および視線入力方法
JP6105953B2 (ja) 電子機器、視線入力プログラムおよび視線入力方法
CN109656317B (zh) 具有距离感应功能的设备和距离感应方法
US10997928B1 (en) Method, apparatus and storage medium for determining ambient light intensity
KR20170055869A (ko) 이동단말기 및 그 제어방법
KR20180102331A (ko) 카메라 모듈을 구비한 전자 장치 및 전자 장치 제어 방법
EP3754458A1 (en) Method and apparatus for scanning a touch screen, and a medium
US9921796B2 (en) Sharing of input information superimposed on images
CN110519503B (zh) 一种扫描图像的获取方法及移动终端
CN112650405A (zh) 一种电子设备的交互方法及电子设备
EP3435283A1 (en) Method and device for optical fingerprint recognition, and computer-readable storage medium
KR102495326B1 (ko) 전자장치 및 그 제어방법
CN110704145B (zh) 一种热区调整方法与装置、电子设备与存储介质
US20230319724A1 (en) Electronic device and operation method therefor
US11164024B2 (en) Method, apparatus and storage medium for controlling image acquisition component
CN107153448B (zh) 显示模组及其控制方法、电子设备和计算机可读存储介质
KR20170058173A (ko) 이동단말기 및 그 제어방법
WO2022143152A1 (zh) 一种显示方法和电子设备
CN108550182A (zh) 一种三维建模方法和终端
US20210072832A1 (en) Contactless gesture control method, apparatus and storage medium
CN111107271B (zh) 拍摄方法及电子设备
CN108646384B (zh) 一种对焦方法、装置及移动终端
KR20160080538A (ko) 이동 단말기 및 그 제어방법
KR20210058363A (ko) 카메라를 포함하는 전자 장치 및 그의 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant