KR20170027999A - 사용자 단말 장치, 시스템 및 그 제어 방법 - Google Patents

사용자 단말 장치, 시스템 및 그 제어 방법 Download PDF

Info

Publication number
KR20170027999A
KR20170027999A KR1020150124716A KR20150124716A KR20170027999A KR 20170027999 A KR20170027999 A KR 20170027999A KR 1020150124716 A KR1020150124716 A KR 1020150124716A KR 20150124716 A KR20150124716 A KR 20150124716A KR 20170027999 A KR20170027999 A KR 20170027999A
Authority
KR
South Korea
Prior art keywords
user
speakers
control command
controlling
terminal device
Prior art date
Application number
KR1020150124716A
Other languages
English (en)
Inventor
김지혜
전세란
이원희
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150124716A priority Critical patent/KR20170027999A/ko
Priority to PCT/KR2016/007559 priority patent/WO2017039142A1/en
Priority to EP16179624.8A priority patent/EP3139261A1/en
Priority to US15/215,811 priority patent/US20170068507A1/en
Publication of KR20170027999A publication Critical patent/KR20170027999A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3228—Monitoring task completion, e.g. by use of idle timers, stop commands or wait commands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G06F17/3074—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0383—Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/91—Remote control based on location and proximity
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/93—Remote control using other portable devices, e.g. mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/005—Audio distribution systems for home, i.e. multi-room use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

사용자 단말 장치가 개시된다. 사용자 단말 장치는, 복수의 스피커를 제어하는 외부 장치와 통신을 수행하는 통신부, 사용자 터치를 감지하는 감지부 및 사용자 터치 입력의 유형에 따라 복수의 스피커를 제어하기 위한 제어 명령을 생성하여 외부 장치로 전송하도록 통신부를 제어하는 프로세서를 포함한다. 이에 따라, 사용자 단말 장치에 대해 다양한 사용자 조작을 수행하여 복수의 스피커를 제어할 수 있다.

Description

사용자 단말 장치, 시스템 및 그 제어 방법{USER TERMINAL APPARATUS, SYSTEM AND THE CONTROLLING METHOD THEREOF}
본 발명은 사용자 단말 장치, 시스템 및 그 제어 방법에 관한 것으로서, 보다 상세하게는 사용자의 인터렉션에 기초하여 제어 명령을 생성하는 사용자 단말 장치, 시스템 및 그 제어 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자 제품들이 개발 및 보급되고 있다. 특히, TV, 휴대폰, PC, 노트북 PC, PDA 등과 같은 각종 디스플레이 장치들은 대부분의 일반 가정에서도 많이 사용되고 있다. 이와 더불어, 안경, 시계, 의복 등과 같이 착용할 수 있는 형태로 사용자가 거부감 없이 신체의 일부처럼 항상 착용하여 사용할 수 있는 사용자 단말 장치 특히, 웨어러블 장치가 보급화되고 있다.
이에 따라, 사용자 단말 장치에서 수행되는 기능들도 다양해지게 되었다. 특히, 사용자 단말 장치는 사용자의 몸에 주로 착용된다는 점에서 사용자와의 인터렉션 유형이 다양하고, 또한, 사용자의 생체 정보나 행동 반응 정보 등을 수집하고 이에 기초하여 다양한 기능을 수행할 수 있다.
이러한 웨어러블 장치의 보급화에 따라, 웨어러블 장치에 대해 다양한 사용자 조작을 수행하여 복수의 스피커를 제어하고, 웨어러블 장치를 통해 동일한 네트워크에 연결되어 있는 복수의 스피커를 제어하고자 하는 필요성도 증대되었다.
이에 따라, 웨어러블 장치를 통해 복수의 스피커를 제어하기 위한 다양한 방법을 제안하고자 한다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 사용자 터치 입력 유형에 따라 복수의 스피커를 제어하기 위한 제어 명령을 생성하여 전송하는 사용자 다말 장치, 시스템 및 그 제어 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 사용자 단말 장치는 복수의 스피커를 제어하는 외부 장치와 통신을 수행하는 통신부, 사용자 터치를 감지하는 감지부 및 상기 사용자 터치 입력의 유형에 따라 상기 복수의 스피커를 제어하기 위한 제어 명령을 생성하여 상기 외부 장치로 전송하도록 상기 통신부를 제어하는 프로세서를 포함한다.
또한, 본 발명의 일 실시 예에 따른 사용자 단말 장치는 상기 복수의 스피커 중 적어도 일부를 제어하기 위한 유저인터페이스 화면을 디스플레이하는 디스플레이를 더 포함하며, 상기 프로세서는, 상기 유저인터페이스 화면 전체를 감싸는 사용자 터치가 감지되면 상기 복수의 스피커 중 적어도 일부를 뮤트(mute)시키는 제어 명령을 생성하여 상기 외부 장치로 전송할 수 있다.
또한, 상기 프로세서는, 상기 유저인터페이스 화면으로부터 기 설정된 거리 내에 기 설정된 사용자의 모션이 인식되면 상기 복수의 스피커 중 적어도 일부의 볼륨 레벨을 낮추는 제어 명령을 생성하여 상기 외부 장치로 전송할 수 있다.
또한, 상기 프로세서는, 상기 유저인터페이스 화면에 대해 상기 복수의 스피커 중 적어도 일부를 제어하기 위한 사용자 조작이 입력되면 상기 사용자 조작에 대응되는 제어 명령을 상기 외부 장치로 전송할 수 있다.
또한, 본 발명의 일 실시 예에 따른 사용자 단말 장치는 상기 사용자 단말 장치의 위치 정보를 검출하는 센서부를 더 포함하며, 상기 프로세서는, 상기 사용자 단말 장치의 위치 정보에 기초하여 상기 복수의 스피커 중 적어도 하나가 상기 사용자 단말 장치로부터 기 설정된 거리 범위 내에 존재하는 것으로 판단되면, 상기 기 설정된 거리 범위 내에 존재하는 스피커를 제어하기 위한 유저인터페이스 화면을 자동적으로 디스플레이할 수 있다.
또한, 본 발명의 일 실시 예에 따른 사용자 단말 장치는 사용자 발화 음성을 인식하는 인식부를 더 포함하며, 상기 프로세서는, 상기 복수의 스피커 중 적어도 일부를 제어하기 위한 상기 사용자 발화 음성이 인식되면, 상기 사용자 발화 음성에 대응되는 제어 명령을 상기 외부 장치로 전송할 수 있다.
또한, 상기 프로세서는, 상기 사용자 발화 음성이 인식되면 상기 사용자 발화 음성에 기초하여 음향 컨텐츠를 검색하고 상기 사용자 발화 음성에 의해 특정된 스피커에서 상기 음향 컨텐츠가 출력되도록 하는 제어 명령을 상기 외부 장치로 전송할 수 있다.
여기서, 상기 센서부는 시간 정보 및 생체 정보를 검출하며, 상기 프로세서는, 상기 사용자 단말 장치의 위치 정보에 기초하여 상기 복수의 스피커 중 적어도 일부를 특정하고, 상기 시간 정보 및 생체 정보 중 적어도 하나에 기초하여 음향 컨텐츠를 검색하도록 하는 제어 명령을 상기 사용자 단말 장치의 위치 정보, 시간 정보 및 생체 정보와 함께 상기 외부 장치로 전송할 수 있다.
또한, 상기 프로세서는, 상기 사용자 단말 장치의 위치 정보에 기초하여 상기 사용자 단말 장치와 상기 외부 장치 간의 거리가 기 설정된 임계값보다 커지면 상기 외부 장치와 연결된 상기 복수의 스피커를 턴 오프 시키는 제어 명령을 상기 외부 장치로 전송할 수 있다.
한편, 본 발명의 일 실시 예에 따른 시스템은 복수의 네트워크 스피커, 상기 복수의 네트워크 스피커를 제어하기 위한 제어 명령을 제2 단말 장치로 전송하는 제1 단말 장치 및 상기 제어 명령이 수신되면 상기 수신된 제어 명령에 기초하여 상기 복수의 네트워크 스피커를 제어하는 제2 단말 장치를 포함하며, 상기 제1 단말 장치는, 사용자 터치를 감지하고, 상기 사용자 터치 입력의 유형에 따라 상기 복수의 네트워크 스피커를 제어하기 위한 제어 명령을 생성할 수 있다.
여기서, 상기 제1 단말 장치는, 상기 복수의 스피커 중 적어도 일부를 제어하기 위한 유저인터페이스 화면을 디스플레이하고, 상기 유저인터페이스 화면 전체를 감싸는 사용자 터치가 감지되면 상기 복수의 스피커 중 적어도 일부를 뮤트(mute)시키는 제어 명령을 생성하여 상기 제2 단말 장치로 전송할 수 있다.
또한, 상기 제1 단말 장치는, 상기 유저인터페이스 화면으로부터 기 설정된 거리 내에 기 설정된 사용자의 모션이 인식되면 상기 복수의 스피커 중 적어도 일부의 볼륨 레벨을 낮추는 제어 명령을 생성하여 상기 제2 단말 장치로 전송할 수 있다.
한편, 본 발명의 일 실시 예에 따른 복수의 스피커를 제어하는 외부 장치와 통신을 수행하는 사용자 단말 장치의 제어 방법은, 사용자 터치를 감지하는 단계 및 상기 사용자 터치 입력의 유형에 따라 상기 복수의 스피커를 제어하기 위한 제어 명령을 생성하여 상기 외부 장치로 전송하는 단계를 포함한다.
또한, 본 발명의 일 실시 예에 따른 사용자 단말 장치의 제어 방법은 상기 복수의 스피커 중 적어도 일부를 제어하기 위한 유저인터페이스 화면을 디스플레이하는 단계를 더 포함하며, 상기 전송하는 단계는, 상기 유저인터페이스 화면 전체를 감싸는 사용자 터치가 감지되면 상기 복수의 스피커 중 적어도 일부를 뮤트(mute)시키는 제어 명령을 생성하여 상기 외부 장치로 전송할 수 있다.
또한, 상기 전송하는 단계는, 상기 유저인터페이스 화면으로부터 기 설정된 거리 내에 기 설정된 사용자의 모션이 인식되면 상기 복수의 스피커 중 적어도 일부의 볼륨 레벨을 낮추는 제어 명령을 생성하여 상기 외부 장치로 전송할 수 있다.
또한, 상기 전송하는 단계는, 상기 유저인터페이스 화면에 대해 상기 복수의 스피커 중 적어도 일부를 제어하기 위한 사용자 조작이 입력되면 상기 사용자 조작에 대응되는 제어 명령을 상기 외부 장치로 전송할 수 있다.
한편, 본 발명의 일 실시 예에 따른 사용자 단말 장치의 제어 방법은 상기 사용자 단말 장치의 위치 정보를 검출하는 단계를 더 포함하며, 상기 디스플레이하는 단계는, 상기 사용자 단말 장치의 위치 정보에 기초하여 상기 복수의 스피커 중 적어도 하나가 상기 사용자 단말 장치로부터 기 설정된 거리 범위 내에 존재하는 것으로 판단되면, 상기 기 설정된 범위 내에 존재하는 스피커를 제어하기 위한 유저인터페이스 화면을 자동적으로 디스플레이할 수 있다.
또한, 본 발명의 일 실시 예에 따른 사용자 단말 장치의 제어 방법은 사용자 발화 음성을 인식하는 단계를 더 포함하며, 상기 전송하는 단계는, 상기 복수의 스피커 중 적어도 일부를 제어하기 위한 상기 사용자 발화 음성이 인식되면, 상기 사용자 발화 음성에 대응되는 제어 명령을 상기 외부 장치로 전송할 수 있다.
여기서, 상기 전송하는 단계는, 상기 사용자 발화 음성이 인식되면 상기 사용자 발화 음성에 기초하여 음향 컨텐츠를 검색하고 상기 사용자 발화 음성에 의해 특정된 스피커에서 상기 음향 컨텐츠가 출력되도록 하는 제어 명령을 상기 외부 장치로 전송할 수 있다.
한편, 본 발명의 일 실시 예에 따른 사용자 단말 장치의 제어 방법은 시간 정보 및 생체 정보를 검출하는 단계를 더 포함하며, 상기 전송하는 단계는, 사용자 단말 장치의 위치 정보에 기초하여 상기 복수의 스피커 중 적어도 일부를 특정하고, 상기 시간 정보 및 생체 정보 중 적어도 하나에 기초하여 음향 컨텐츠를 검색하도록 하는 제어 명령을 상기 사용자 단말 장치의 위치 정보, 시간 정보 및 생체 정보와 함께 상기 외부 장치로 전송할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 사용자 단말 장치에 대해 다양한 사용자 조작을 수행하여 복수의 스피커를 제어할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 사용자 단말 장치의 구성을 도시한 블럭도이다.
도 2는 본 발명의 다른 실시 예에 따른 사용자 단말 장치의 구성을 도시한 블럭도이다.
도 3은 본 발명의 일 실시 예에 따른 유저인터페이스 화면을 도시한 도면이다.
도 4 및 도 5는 본 발명의 일 실시 예에 따른 사용자 인터렉션을 설명하기 위한 도면이다.
도 6 내지 도 13은 본 발명의 일 실시 예에 따른 다양한 유저인터페이스 화면을 도시한 도면이다.
도 14는 본 발명의 다른 실시 예에 따른 사용자 단말 장치의 구성을 도시한 블럭도이다.
도 15는 본 발명의 일 실시 예에 따른 사용자 단말 장치의 위치 정보에 기초하여 디스플레이되는 스피커 제어 화면을 설명하기 위한 도면이다.
도 16은 본 발명의 또 다른 실시 예에 따른 사용자 단말 장치의 구성을 도시한 블럭도이다.
도 17은 본 발명의 일 실시 예에 따른 생체 정보를 설명하기 위한 도면이다.
도 18은 본 발명의 일 실시 예에 따른 다양한 센서들을 포함하는 사용자 단말 장치를 도시한 도면이다.
도 19는 본 발명의 일 실시 예에 따른 시스템의 구성을 도시한 블럭도이다.
도 20a 및 도 20b는 본 발명의 일 실시 예에 따른 TV에서 복수의 네트워크 스피커의 볼륨 레벨을 조정하는 과정을 설명하기 위한 도면이다.
도 21은 도 1에 도시된 사용자 단말 장치의 구체적인 구성을 나타내는 블럭도이다.
도 22는 본 발명의 일 실시 예에 따른 저장부에 저장된 소프트웨어 모듈에 관한 도면이다.
도 23은 본 발명의 일 실시 예에 따른 사용자 단말 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 발명을 더욱 상세하게 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관계 등에 따라 달라질 수 있다. 그러므로, 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시 예에 따른 사용자 단말 장치의 구성을 도시한 블럭도이다.
도 1을 참조하면, 사용자 단말 장치(100)는 통신부(110), 감지부(120) 및 프로세서(130)를 포함한다. 구체적으로, 본 발명의 일 실시 예에 따른 사용자 단말 장치(100)는 스마트 폰이나 태블릿과 같은 외부 장치와 무선으로 연동하여 사용하는 착용 가능한 장치를 포함할 수 있다.
특히, 본 명세서에서는 사용자 단말 장치(100)가 다양한 형태의 전자 장치들 중에서 스마트 와치로 구현되는 경우를 예로 들어 설명하기로 하며, 후술할 사용자 단말 장치(100)의 동작은 다양한 형태의 웨어러블 장치에 적용 가능함은 당연하다.
또한, 통신부(110)는 복수의 스피커를 제어하는 외부 장치와 통신을 수행할 수 있다. 여기서, 외부 장치라 함은, 복수의 스피커와 동일한 네트워크 즉, 동일한 억세스 포인트(Access Point)를 통해 연결되고 복수의 스피커를 제어 가능한 전자 장치를 의미한다. 예를 들어, 외부 장치는 TV, 노트북, 태블릿, 데스크 톱, 셋톱 박스, 게임 콘솔, 오디오, 휴대폰 등으로 구현될 수 있다.
또한, 통신부(110)는 다양한 유형의 통신 방식에 따라 외부 장치와 통신을 수행할 수 있는데, BT(BlueTooth), WI-FI(Wireless Fidelity), Zigbee, IR(Infrared), Serial Interface, USB(Universal Serial Bus), NFC(Near Field Communication) 등과 같은 통신 방식을 통해 외부 장치와 통신을 수행할 수 있다.
특히 이러한 외부 장치는 고정형 장치와 이동형 장치로 구분될 수 있으며, 상술한 예에서 TV, 데스크 톱, 셋톱 박스, 게임 콘솔, 오디오는 고정형 장치이고, 노트북, 태블릿, 휴대폰은 이동형 장치이다.
그리고, 복수의 스피커는 외부 장치와 유선 통신 방식으로 연결되어 있을 수도 있고 무선 통신 방식으로 연결되어 있을 수도 있으며, 이러한 복수의 스피커는 한 곳에 몰려있을 수도 있지만 서로 거리를 두고 떨어져서 배치될 수도 있다.
또한, 감지부(120)는 사용자 터치를 감지할 수 있다. 이러한 감지부(120)는 사용자의 터치 조작을 감지할 수 있는 터치 패널로 구현될 수 있다. 이러한 터치 패널은 스마트 와치의 디스플레이와 베젤부에 포함될 수 있다.
그리고, 프로세서(130)는 사용자 터치 입력의 유형에 따라 복수의 스피커를 제어하기 위한 제어 명령을 생성하여 외부 장치로 전송하도록 통신부(110)를 제어할 수 있다.
구체적으로, 프로세서(130)는 사용자 터치 입력에 대응되는 제어 명령을 생성하여 외부 장치로 전송하면, 외부 장치는 수신된 제어 명령에 기초하여 복수의 스피커를 제어할 수 있다.
한편, 도 2는 본 발명의 다른 실시 예에 따른 사용자 단말 장치의 구성을 도시한 블럭도이다.
도 2를 참조하면, 사용자 단말 장치(100)는 통신부(110), 감지부(120), 프로세서(130) 및 디스플레이(140)를 포함한다. 여기서, 통신부(110), 감지부(120) 및 프로세서(130)는 이미 설명하였으므로 상세한 설명은 생략하기로 한다.
디스플레이(140)는 복수의 스피커 중 적어도 일부를 제어하기 위한 유저인터페이스 화면을 디스플레이할 수 있다. 또한, 디스플레이(140)는 스틸 이미지, 사진, 문서 등의 다양한 오브젝트를 디스플레이할 수 있다. 이를 위해, 디스플레이(140)는 액정 표시 장치(Liquid Crystal Display,LCD), 유기 전기 발광 다이오드(Organic Light Emiiting Display, OLED) 또는 플라즈마 표시 패널(Plasma Display Panel,PDP) 등으로 구현될 수 있다.
프로세서(130)는 이러한 디스플레이(140)를 통해 복수의 스피커 중 적어도 일부를 제어하기 위한 유저인터페이스 화면을 디스플레이할 수 있는데, 예를 들면, 스피커 1, 2, 3이 존재하는 경우 프로세서(130)는 스피커 1, 2, 3 전체를 제어하기 위한 유저인터페이스 화면을 디스플레이할 수도 있고, 스피커 1, 2만 제어하기 위한 유저인터페이스 화면을 디스플레이할 수도 있으며, 스피커 1만 제어하기 위한 유저인터페이스 화면을 디스플레이할 수도 있다.
구체적으로, 프로세서(130)는 스피커 1, 2, 3 전체를 제어하기 위한 유저인터페이스 화면에 대해 사용자 터치가 감지되면, 감지된 사용자 터치에 대응하여 스피커 1, 2, 3 전체를 제어하기 위한 제어 명령을 외부 장치로 전송할 수 있다.
또한, 프로세서(130)는 사용자 조작에 따라 스피커 1, 2만을 제어하기 위한 유저인터페이스 화면을 디스플레이(140)에 디스플레이할 수 있으며, 스피커 1, 2만을 제어하기 위한 유저인터페이스 화면에 대해 사용자 터치가 감지되면, 감지된 사용자 터치에 대응하여 스피커 1, 2만을 제어하기 위한 제어 명령을 외부 장치로 전송할 수 있다.
한편, 디스플레이(140)에 디스플레이되는 복수의 스피커를 제어하기 위한 유저인터페이스 화면에 대해 도 3을 통해 설명하기로 한다.
도 3은 본 발명의 일 실시 예에 따른 유저인터페이스 화면을 도시한 도면이다.
도 3을 참조하면, 프로세서(130)는 음향 컨텐츠 재생 화면(310)을 디스플레이(140)에 디스플레이할 수 있다. 여기서, 음향 컨텐츠 재생 화면(310)은 스피커의 이름(Speaker Name), 음향 컨텐츠의 이름(Song Title) 및 가수 이름(Artist Name)을 표시할 수 있으며, 음향 컨텐츠를 제어하는데 필요한 다양한 기능의 아이콘(예를 들면, 이전 곡 재생, 다음곡 재생, 일시 정지 등)을 표시할 수 있다.
여기서, 음향 컨텐츠의 이름 항목에 대해 사용자 터치가 감지되면, 프로세서(130)는 음향 컨텐츠 재생 리스트(320)를 디스플레이(140)에 디스플레이할 수 있다. 또한, 음향 컨텐츠 재생 리스트(320)에서 현재 재생 중인 음향 컨텐츠와 다른 음향 컨텐츠가 사용자 터치에 의해 선택되면, 프로세서(130)는 선택된 음향 컨텐츠에 관한 재생 화면을 디스플레이(140)에 디스플레이하고 선택된 음향 컨텐츠를 재생하도록 하는 제어 명령을 생성하여 외부 장치로 전송할 수 있다.
또한, 프로세서(130)는 음향 컨텐츠 재생 화면(310)에 대해 화면 변경을 위한 사용자 터치가 감지되면 음향 컨텐츠 재생 화면(310)에서 음향 컨텐츠의 볼륨 레벨을 조정하는 화면(330)으로 변경하여 디스플레이(140)에 디스플레이할 수 있다. 여기서, 화면 변경을 위한 사용자 터치는 예를 들어, 디스플레이(140)에 사용자 터치가 이루어진 상태에서 왼쪽 방향으로 드래그하거나 오른쪽 방향으로 드래그하는 조작일 수 있다. 즉, 프로세서(130)는 사용자 터치가 이루어진 상태에서 왼쪽 방향으로 드래그하는 사용자 조작이 감지되면, 음향 컨텐츠 재생 화면(310)을 왼쪽 방향으로 밀면서 음향 컨텐츠의 볼륨 레벨을 조정하는 화면(330)으로 변경할 수 있다. 또한, 프로세서(130)는 음향 컨텐츠의 볼륨 레벨을 조정하는 화면(330)이 디스플레이(140)에 디스플레이되고, 사용자 터치가 이루어진 상태에서 오른쪽 방향으로 드래그하는 사용자 조작이 감지되면, 음향 컨텐츠의 볼륨 레벨을 조정하는 화면(330)을 오른쪽 방향으로 밀면서 이전에 디스플레이되었던 음향 컨텐츠 재생 화면(310)으로 변경할 수 있다.
한편, 음향 컨텐츠의 볼륨 레벨을 조정하는 화면(330)은 어디에 위치한 스피커인지를 알려주는 스피커의 이름과 표시된 스피커의 볼륨에 대응되는 아이콘을 함께 표시할 수 있다. 도 3에 도시된 음향 컨텐츠의 볼륨 레벨을 조정하는 화면(330)은 현재 주방에 위치한 스피커의 볼륨을 조정하기 위한 아이콘이 표시되어 있으며, 이러한 스피커의 이름을 변경하는 사용자 조작이 감지되면, 프로세서(130)는 변경된 스피커의 볼륨을 조정하기 위한 아이콘을 표시할 수 있다.
또한, 프로세서(130)는 음향 컨텐츠의 볼륨 레벨을 조정하는 화면(330)이 디스플레이(140)에 디스플레이되고, 사용자 터치가 이루어진 상태에서 왼쪽 방향으로 드래그하는 사용자 조작이 감지되면, 음향 컨텐츠의 볼륨 레벨을 조정하는 화면(330)을 왼쪽 방향으로 밀면서 스피커 리스트 화면(340)으로 변경하여 디스플레이할 수 있다.
여기서, 스피커 리스트 화면(340)은 외부 장치와 동일한 억세스 포인트에 연결된 복수의 스피커를 표시하며, 현재 음향 컨텐츠가 출력되고 있는 스피커가 어떤 스피커인지를 함께 표시할 수 있다. 또한, 스피커 리스트 화면(340)은 복수의 스피커 중 적어도 2개 이상의 스피커를 하나의 그룹으로 그룹핑하여 표시할 수도 있다. 예를 들어, 프로세서(130)는 침실 1에 배치된 제1 스피커와 침실 2에 배치된 제2 스피커를 하나의 그룹으로 그룹핑하여 제1 그룹으로 표시할 수 있으며, 제1 그룹에 대해 볼륨을 조정하거나 음향 컨텐츠를 변경하는 사용자 터치가 감지되면, 제1 스피커 및 제2 스피커의 볼륨을 조정하거나 변경된 음향 컨텐츠를 제1 스피커 및 제2 스피커를 통해 출력하도록 하는 제어 명령을 외부 장치로 전송할 수 있다.
또한, 프로세서(130)는 사용자 조작에 따라 적어도 2개 이상의 스피커를 하나의 그룹으로 그룹핑하여 표시할 수 있다. 예를 들면, 거실에 존재하는 제1 스피커와 주방에 존재하는 제2 스피커 및 침실에 존재하는 제3 스피커 각각에 대응되는 아이콘이 디스플레이(140)에 디스플레이되어 있는 상태에서 제1 스피커, 제2 스피커 및 제3 스피커 각각에 대응되는 아이콘을 하나의 지점으로 모으는 사용자 조작이 감지되면 프로세서(130)는 제1 스피커, 제2 스피커 및 제3 스피커를 하나의 그룹으로 그룹핑하고, 그룹에 대응되는 아이콘에 제1 스피커, 제2 스피커 및 제3 스피커 각각에 대응되는 아이콘에 포함되어 있는 형태로 디스플레이할 수 있다.
그리고, 그룹에 대응되는 아이콘이 디스플레이되어 있는 상태에서 그룹에 대응되는 아이콘에 대해 볼륨 조정이나 음향 컨텐츠 변경과 같은 사용자 조작이 감지되면 프로세서(130)는 상술한 바와 같이, 그룹핑 된 제1 스피커, 제2 스피커 및 제3 스피커 모두에 대해 볼륨 조정이나 음향 컨텐츠를 변경하도록 하는 제어 명령을 외부 장치로 전송할 수 있다.
한편, 본 발명의 일 실시 예에 따른 사용자 단말 장치는 착용 가능한 웨어러블 장치라는 점에서, 사용자가 손쉽게 사용자 단말 장치에 대해 사용자 인터렉션을 수행할 수 있고, 특히, 디스플레이(140)에 디스플레이되는 유저인터페이스 화면에 대해 기 설정된 사용자 인터렉션이 수행되면 프로세서(130)는 사용자 인터렉션에 대응되는 기능을 수행할 수 있다. 이에 대해 도 4 및 도 5를 통해 상세히 설명하기로 한다.
도 4 및 도 5는 본 발명의 일 실시 예에 따른 사용자 인터렉션을 설명하기 위한 도면이다.
도 4를 참조하면, 스마트 와치(400)의 화면(410)을 사용자가 손(420)으로 감싸는 사용자 터치를 수행하고 있음을 알 수 있다.
프로세서(130)는 유저인터페이스 화면 전체를 감싸는 사용자 터치가 감지되면 복수의 스피커 중 적어도 일부를 뮤트(mute)시키는 제어 명령을 생성하여 외부 장치로 전송할 수 있다.
구체적으로, 프로세서(130)는 복수의 스피커 중 제1 스피커 및 제2 스피커를 제어하기 위한 유저인터페이스 화면이 디스플레이되어 있는 상태에서 제1 스피커 및 제2 스피커를 제어하기 위한 유저인터페이스 화면 전체를 감싸는 사용자 터치가 감지되면 제1 스피커 및 제2 스피커를 뮤트시키는 제어 명령을 생성하여 외부 장치로 전송할 수 있다.
예를 들어, 프로세서(130)는 복수의 스피커 중 거실에 배치된 스피커와 주방에 배치된 스피커를 제어하기 위한 유저인터페이스 화면이 디스플레이되어 있는 상태에서 거실에 배치된 스피커와 주방에 배치된 스피커를 제어하기 위한 유저인터페이스 화면 전체를 감싸는 사용자 터치가 감지되면 거실에 배치된 스피커와 주방에 배치된 스피커를 뮤트시키는 제어 명령을 생성하여 외부 장치로 전송할 수 있다. 즉, 복수의 스피커 중 거실과 주방에 배치되지 않은 예를 들면, 침실에 배치된 스피커, 화장실에 배치된 스피커 등은 뮤트되지 않는다.
또한, 프로세서(130)는 복수의 스피커 전체를 제어하기 위한 유저인터페이스 화면이 디스플레이되어 있는 상태에서 복수의 스피커 전체를 제어하기 위한 유저인터페이스 화면 전체를 감싸는 사용자 터치가 감지되면 복수의 스피커 전체를 뮤트시키는 제어 명령을 생성하여 외부 장치로 전송할 수 있다.
한편, 프로세서(130)는 스마트 와치(400)에 디스플레이된 유저인터페이스 화면(410) 전체를 감싸는 사용자 터치를 감지하는데 있어서, 광량 센서 또는 조도 센서를 사용하여 유저인터페이스 화면(410) 전체를 감싸는 사용자 터치인지 여부를 판단할 수 있다.
구체적으로, 프로세서(130)는 스마트 와치(400)에 디스플레이된 유저인터페이스 화면(410)과 베젤 영역의 기 설정된 범위 이상을 감싸는 사용자 터치를 감지하게 되면 유저인터페이스 화면(410) 전체를 감싸는 사용자 터치가 감지된 것으로 판단할 수 있다.
예를 들어, 프로세서(130)는 스마트 와치(400)에 디스플레이된 유저인터페이스 화면(410)과 베젤 영역의 80프로 이상에 대해 동시에 사용자 터치가 감지된 경우 유저인터페이스 화면(410) 전체를 감싸는 사용자 터치인 것으로 판단할 수 있다.
또는, 프로세서(130)는 광량 센서 또는 조도 센서를 통해 스마트 와치(400)의 유저인터페이스 화면(410)으로 조사되는 광이 기 설정된 임계치에 가까운 경우 유저인터페이스 화면(410) 전체를 감싸는 사용자 터치가 감지된 것으로 판단할 수 있다. 여기서, 기 설정된 임계치는 0이 될 수 있다.
특히, 광량 센서 또는 조도 센서를 사용하는 경우 도 4에서는 사용자가 손(420)을 사용하여 스마트 와치(400)에 디스플레이되는 유저인터페이스 화면(410) 전체를 감싸는 경우를 예로 들어 설명하였으나, 스마트 와치(400)에 디스플레이되는 유저인터페이스 화면(410) 전체를 감싸는데 있어서 항상 손(420)을 사용하여야 하는 것은 아니며, 손 이외의 다른 오브젝트를 통해 유저인터페이스 화면(410) 전체를 감싸는 경우에도 적용될 수 있음은 당연하다.
이에 따라, 사용자는 스마트 와치(400)에서 현재 디스플레이된 특정 스피커를 제어하기 위한 유저인터페이스 화면(410) 전체를 감싸는 사용자 터치를 수행함으로써, 특정 스피커를 뮤트시킬 수 있다.
또한, 프로세서(130)는 유저인터페이스 화면으로부터 기 설정된 거리 내에 기 설정된 사용자의 모션이 인식되면 복수의 스피커 중 적어도 일부의 볼륨 레벨을 낮추는 제어 명령을 생성하여 외부 장치로 전송할 수 있다.
도 5를 참조하면, 음향 컨텐츠를 제어하기 위한 유저인터페이스 화면(510)이 스마트 와치(500)에 디스플레이된 상태에서 손(520)이 유저인터페이스 화면(510)으로부터 기 설정된 거리 내에서 유저인터페이스 화면(510)에 가까워지는 경우를 나타내고 있음을 알 수 있다.
프로세서(130)는 음향 컨텐츠를 제어하기 위한 유저인터페이스 화면(510)이 스마트 와치(500)에 디스플레이된 상태에서 손(520)이 유저인터페이스 화면(510)으로부터 기 설정된 거리 내에서 유저인터페이스 화면(510)에 가까워지도록 하는 모션이 인식되면 현재 음향 컨텐츠를 제어하기 위한 유저인터페이스 화면(510)에 표시된 스피커의 볼륨 레벨을 낮추는 제어 명령을 생성하여 외부 장치로 전송할 수 있다.
예를 들어, 프로세서(130)는 주방에 배치된 스피커에서 음향 컨텐츠를 재생하고 있음을 나타내는 유저인터페이스 화면(510)이 스마트 와치(500)에 디스플레이된 상태에서 손(520)이 유저인터페이스 화면(510)으로부터 5Cm 범위 내에서 유저인터페이스 화면(510)으로 가까워지는 모션이 인식되면 주방에 배치된 스피커의 볼륨 레벨을 낮추는 제어 명령을 생성하여 외부 장치로 전송할 수 있다.
또한, 프로세서(130)는 주방에 배치된 스피커 및 거실에 배치된 스피커가 그룹핑되어 있고 음향 컨텐츠를 재생하고 있음을 나타내는 유저인터페이스 화면(510)이 스마트 와치(500)에 디스플레이된 상태에서 손(520)이 유저인터페이스 화면(510)으로부터 5Cm 범위 내에서 유저인터페이스 화면(510)으로 가까워지는 모션이 인식되면 주방에 배치된 스피커 및 거실에 배치된 스피커 모드의 뷸륨 레벨을 낮추는 제어 명령을 생성하여 외부 장치로 전송할 수 있다.
또한, 프로세서(130)는 유저인터페이스 화면(510)으로부터 기 설정된 거리 내에서 유저인터페이스 화면(510)으로 손(520)이 가까워지는 속도 및 유저인터페이스 화면(510)과 손(520) 간의 거리에 기초하여 현재 유저인터페이스 화면(510)에 표시된 스피커의 볼륨 레벨을 낮추는 속도를 증가시킬 수 있다.
예를 들어, 프로세서(130)는 주방에 배치된 스피커에서 음향 컨텐츠를 재생하고 있음을 나타내는 상태에서 손(520)이 유저인터페이스 화면(510)으로부터 5Cm 범위 내에서 유저인터페이스 화면(510)으로 가까워지는 속도가 더 빨라지면 주방에 배치된 스피커의 볼륨 레벨을 낮추는 속도를 증가시킬 수 있고, 또한, 손(520)이 유저인터페이스 화면(510)으로 가까워짐에 따라 손(520)과 유저인터페이스 화면(510) 간의 거리가 줄어듦에 따라 주방에 배치된 스피커의 볼륨 레벨을 낮추는 속도를 증가시킬 수 있다.
또한, 프로세서(130)는 유저인터페이스 화면(510)으로부터 기 설정된 거리 내에서 유저인터페이스 화면(510)으로 손(520)이 멀어지는 모션이 인식되면 현재 유저인터페이스 화면(510)에 표시된 스피커의 볼륨 레벨을 증가시키는 제어 명령을 생성하여 외부 장치로 전송할 수 있다.
한편, 프로세서(130)는 유저인터페이스 화면에 대해 복수의 스피커 중 적어도 일부를 제어하기 위한 사용자 조작이 입력되면, 사용자 조작에 대응되는 제어 명령을 외부 장치로 전송할 수 있다.
구체적으로, 프로세서(130)는 유저인터페이스 화면에 표시된 스피커를 제어하기 위한 사용자 조작이 입력되면, 사용자 조작에 대응되는 제어 명령을 외부 장치로 전송하게 되고, 외부 장치는 수신된 제어 명령에 기초하여 유저인터페이스 화면에 표시된 스피커를 제어할 수 있다. 여기서, 유저인터페이스 화면에 표시되는 스피커는 적어도 하나 이상이 될 수 있다.
또한, 유저인터페이스 화면은 외부 장치와 통신을 연결하기 위한 화면, 음향 컨텐츠의 볼륨 레벨을 조정하기 위한 화면, 음향 컨텐츠를 선택하기 위한 화면 등을 포함할 수 있으며, 이러한 각 화면에 대해 사용자 조작이 입력되면 프로세서(130)는 각 화면에 대해 입력된 사용자 조작에 대응되는 제어 명령을 생성하여 외부 장치로 전송하라 수 있다.
도 6 내지 도 13은 본 발명의 일 실시 예에 따른 다양한 유저인터페이스 화면을 도시한 도면이다.
도 6을 참조하면, 사용자 단말 장치(100)에서 복수의 스피커를 제어하기 위한 어플리케이션이 실행되었을 경우 디스플레이(140)에 디스플레이되는 초기 화면(610)임을 알 수 있다. 구체적으로, 초기 화면(610)은 현재 사용자 단말 장치가 외부 장치와 연결되지 않은 경우 디스플레이될 수 있다.
여기서, 사용자가 외부 장치와 통신 연결을 위한 설정을 수행하는 사용자 조작을 하게 되면, 프로세서(130)는 외부 장치와 통신 연결을 수행하도록 통신부(110)를 제어하고, 이후 음향 컨텐츠 리스트를 구성하는 화면(620)을 디스플레이할 수 있다.
이에 대해, 음향 컨텐츠를 선택하여 리스트를 구성하는 사용자 조작이 입력되고, 음향 컨텐츠 리스트 중 사용자 조작에 따라 하나의 음향 컨텐츠가 선택되면 프로세서(130)는 선택된 음향 컨텐츠가 출력되는 스피커의 이름, 음향 컨텐츠의 이름 및 가수의 이름에 관한 정보를 포함하는 음향 컨텐츠 제어 화면(630)을 디스플레이할 수 있다.
이러한 음향 컨텐츠 제어 화면(630)에 대해 음향 컨텐츠의 이름을 터치하는 사용자 터치가 감지되면 프로세서(130)는 음향 컨텐츠 리스트를 포함하는 화면을 디스플레이할 수 있고, 이전 곡 재생 아이콘을 터치하는 사용자 터치가 감지되면 프로세서(130)는 음향 컨텐츠 리스트 상에서 현재 출력 중인 음향 컨텐츠의 이전 음향 컨텐츠를 재생할 수 있다. 또한, 다음 곡 재생 아이콘을 터치하는 사용자 터치가 감지되면 프로세서(130)는 음향 컨텐츠 리스트 상에서 현재 출력 중인 음향 컨텐츠의 다음 음향 컨텐츠를 재생할 수 있다. 또한, 일시 정지 아이콘을 터치하는 사용자 터치가 감지되면 프로세서(130)는 현재 출력 중인 음향 컨텐츠의 재생을 일시 정지할 수 있다.
한편, 도 7을 참조하면, 사용자 단말 장치(100)가 외부 장치와 통신 연결이 해제된 경우를 나타내고 있다.
구체적으로, 현재 출력 중인 음향 컨텐츠를 제어하기 위한 화면(710)이 디스플레이(140)에 디스플레이되어 있는 상태에서 사용자 단말 장치(100)가 외부 장치와 통신 연결이 해제되면 프로세서(130)는 도 6에서와 같이 초기 화면(720)을 디스플레이할 수 있다. 이러한 초기 화면(720)은 사용자 단말 장치(100)와 외부 장치가 통신 연결이 되어 있지않는 경우 디스플레이되는 화면이다.
이러한 초기 화면(720)이 디스플레이되어 있는 상태에서 사용자가 외부 장치와 통신 연결을 위한 설정을 수행하는 사용자 조작을 하게 되면, 프로세서(130)는 외부 장치와 통신 연결을 수행하도록 통신부(110)를 제어하고, 이후 음향 컨텐츠 리스트를 구성하는 화면(730)을 디스플레이할 수 있다.
즉, 프로세서(130)는 사용자 단말 장치(100)가 외부 장치와 통신 연결이 해제된 경우 현재 출력 중인 음향 컨텐츠를 재생하기 위한 화면(710)에서 초기 화면(720)으로 변경하여 디스플레이하여 사용자로 하여금 사용자 단말 장치(100)와 외부 장치 간의 통신 연결 설정이 필요하다는 점을 알려줄 수 있다.
도 8을 참조하면, 현재 출력 중인 음향 컨텐츠(Song Title 1)를 제어하기 위한 화면(810)이 디스플레이되어 있는 상태에서, 일시 정지 아이콘을 터치하는 사용자 터치(811)가 감지되면 프로세서(130)는 음향 컨텐츠(Song Title 1)의 출력을 중단하도록 하는 제어 명령을 생성하여 외부 장치로 전송하고 일시 정지 아이콘이 재생 아이콘으로 변경된 화면(820)을 디스플레이할 수 있다.
여기서, 다시 사용자가 재생 아이콘에 대해 사용자 터치를 수행하면 프로세서(130)는 다시 음향 컨텐츠(Song Title 1)의 출력을 재개하도록 하는 제어 명령을 생성하여 외부 장치로 전송하고 음향 컨텐츠(Song Title 1)를 제어하기 위하 화면(810)으로 변경하여 디스플레이할 수 있다.
또한, 프로세서(130)는 일시 정지 아이콘이 재생 아이콘으로 변경된 화면(820)을 디스플레이한 상태에서 다음곡 재생 아이콘을 터치하는 사용자 터치(821)가 감지되면 음향 컨텐츠 리스트 상에서 현재 출력 중인 음향 컨텐츠의 다음 곡(Song Title 2)을 출력하도록 하는 제어 명령을 생성하여 외부 장치로 전송하고 다음 곡(Song Title 2)을 제어하기 위한 화면(830)을 디스플레이할 수 있다.
또한, 다음 곡(Song Title 2)을 제어하기 위한 화면(830)이 디스플레이된 상태에서, 프로세서(130)는 다음 곡(Song Title 2)을 제어하기 위한 화면(830)의 배경 영역을 터치하는 사용자 터치(831)가 감지되면 다음 곡(Song Title 2)에 대응되는 앨범 이미지(840)를 전체 화면 형태로 디스플레이할 수 있다.
또한, 다음 곡(Song Title 2)에 대응되는 앨범 이미지(840)가 전체 화면 형태로 디스플레이된 상태에서 프로세서(130)는 디스플레이(140)의 주변에 배치된 베젤 영역에서부터 시작되는 사용자 터치가 감지되면 다음 곡(Song Title 2)을 제어하기 위한 화면(830')을 디스플레이할 수 있다.
물론, 도 8에서는 디스플레이(140)의 주변에 배치된 베젤 영역에서부터 시작되는 사용자 터치가 감지되는 경우를 예로 들어 설명하였으나, 베젤 영역만을 터치하는 사용자 터치가 감지되는 경우에도 프로세서(130)는 다음 곡(Song Title 2)을 제어하기 위한 화면(830')을 디스플레이할 수 있다.
한편, 도 9를 참조하면 복수의 스피커의 볼륨 레벨을 조정하는 과정을 설명하는 것임을 알 수 있다.
구체적으로, 거실에 배치된 스피커에서 출력 중인 음향 컨텐츠를 제어하기 위한 화면(910)이 디스플레이되어 있는 상태에서, 프로세서(130)는 사용자 터치가 유지된 채 드래깅하는 사용자 조작(911)이 감지되면 거실에 배치된 스피커의 볼륨 레벨을 조정하기 위한 화면(920)을 디스플레이할 수 있다. 여기서, 거실에 배치된 스피커의 볼륨 레벨을 조정하기 위한 화면(920)은 거실에 배치된 스피커의 현재 볼륨 레벨, 볼륨 레벨을 조정하기 위한 +/- 형태의 아이콘 및 볼륨 레벨에 대응되는 원형 바 형태의 아이콘을 포함하고 있다. 즉, 사용자가 +형태의 아이콘을 터치하면 거실에 배치된 스피커의 볼륨 레벨은 증가하고 원형 바 형태의 아이콘은 기 설정된 컬러로 증가된 볼륨 레벨에 대응하여 채워지게 된다.
한편, 거실에 배치된 스피커의 볼륨 레벨을 조정하기 위한 화면(920)이 디스플레이된 상태에서, 프로세서(130)는 볼륨 레벨을 증가시키기 위한 + 형태의 아이콘을 터치하는 사용자 터치(921)가 감지되면, 거실에 배치된 스피커의 볼륨 레벨을 23에서 33으로 증가시키는 제어 명령을 생성하여 외부 장치로 전송하고, 이에 따라 볼륨 레벨이 33으로 증가되었음을 나타내는 텍스트 및 증가된 볼륨 레벨에 대응하여 기 설정된 컬러가 채워진 원형 바 형태의 아이콘(931)을 포함하는 화면(930)을 디스플레이할 수 있다.
또한, 볼륨 레벨이 33으로 증가되었음을 나타내는 텍스트 및 증가된 볼륨 레벨에 대응하여 기 설정된 컬러가 채워진 원형 바 형태의 아이콘(931)을 포함하는 화면(930)이 디스플레이된 상태에서, 프로세서(130)는 볼륨 레벨을 감소시키기 위한 - 형태의 아이콘을 터치하는 사용자 터치(932)가 감지되면, 배치된 스피커의 볼륨 레벨을 감소시키는 제어 명령을 생성하여 외부 장치로 전송할 수 있으며, 이에 따라 볼륨 레벨이 0으로 감소되었음을 나타내는 텍스트 및 감소된 볼륨 레벨이 0임에 대응하여 기 설정된 컬러가 전혀 채워지지 않은 원형 바 형태의 아이콘을 포함하는 화면(940)을 디스플레이할 수 있다.
여기서, 볼륨 레벨이 0으로 감소되었음을 나타내는 텍스트를 터치하는 사용자 터치(941)가 감지되면 프로세서(130)는 거실에 배치된 스피커를 뮤트시키는 제어 명령을 생성하여 외부 장치로 전송할 수 있으며, 현재 거실에 배치된 스피커가 뮤트 상태임을 나타내는 화면(950)을 디스플레이할 수 있다. 이러한 거실에 배치된 스피커가 뮤트 상태임을 나타내는 화면(950)은 기 설정된 컬러로 표현될 수 있다.
한편, 거실에 배치된 스피커가 뮤트 상태임을 나타내는 화면(950)이 디스플레이된 상태에서 프로세서(130)는 볼륨 레벨을 증가시키는 + 형태의 아이콘을 터치하는 사용자 터치(951)가 감지되면 거실에 배치된 스피커의 볼륨 레벨을 활성화시키는 화면(960)을 디스플레이할 수 있다. 이러한 거실에 배치된 스피커의 볼륨 레벨을 활성화시키는 화면(960)은 현재 거실에 배치된 스피커의 볼륨 레벨이 0임을 나타내는 텍스트를 기 설정된 컬러로 표시될 수 있다.
그리고, 거실에 배치된 스피커의 볼륨 레벨을 활성화시키는 화면(960)에 대해 볼륨 레벨을 증가시키는 + 형태의 아이콘을 터치하는 사용자 터치(961)가 감지되면, 프로세서(130)는 거실에 배치된 스피커의 볼륨 레벨을 증가시키는 제어 명령을 생성하여 외부 장치로 전송하고, 이에 따라 볼륨 레벨이 1로 증가되었음을 나타내는 텍스트 및 증가된 볼륨 레벨에 대응하여 기 설정된 컬러가 채워진 원형 바 형태의 아이콘을 포함하는 화면(970)을 디스플레이할 수 있다.
또한, 볼륨 레벨이 1로 증가되었음을 나타내는 텍스트 및 증가된 볼륨 레벨에 대응하여 기 설정된 컬러가 채워진 원형 바 형태의 아이콘을 포함하는 화면(970)이 디스플레이된 상태에서, 프로세서(130)는 사용자 터치가 이루어진 상태에서 오른쪽 방향으로 드래깅하는 사용자 조작(971)이 감지되면 거실에 배치된 스피커에서 출력 중인 음향 컨텐츠를 제어하기 위한 화면(980)을 디스플레이할 수 있다. 물론, 이때 출력 중인 음향 컨텐츠의 볼륨 레벨은 화면(970)에서 설정된 방와 같이 1의 크기를 갖을 수 있다.
한편, 도 10을 참조하면, 적어도 2개 이상의 스피커를 포함하는 그룹에 대한 볼륨 레벨을 조정하는 과정을 설명하기 위한 것임을 알 수 있다.
구체적으로, 주방에 배치된 스피커와 거실에 배치된 스피커에서 출력 중인 음향 컨텐츠를 제어하기 위한 화면(1010)이 디스플레이되어 있는 상태에서, 프로세서(130)는 사용자 터치가 유지된 채 드래깅하는 사용자 조작(1011)이 감지되면 주방에 배치된 스피커와 거실에 배치된 스피커의 볼륨 레벨을 조정하기 위한 화면(1020)을 디스플레이할 수 있다. 여기서, 주방에 배치된 스피커와 거실에 배치된 스피커의 볼륨 레벨을 조정하기 위한 화면(1020)은 주방에 배치된 스피커와 거실에 배치된 스피커를 포함하는 그룹의 통합 볼륨 레벨을 표시하는 텍스트, 통합 볼륨 레벨을 조정하기 위한 +/- 형태의 아이콘 및 통합 볼륨 레벨에 대응되는 원형 바 형태의 아이콘을 포함하고 있다. 즉, 사용자가 +형태의 아이콘을 터치하면 주방에 배치된 스피커와 거실에 배치된 스피커를 포함하는 그룹의 통합 볼륨 레벨은 증가하고 원형 바 형태의 아이콘은 기 설정된 컬러로 증가된 통합 볼륨 레벨에 대응하여 채워지게 된다.
한편, 주방에 배치된 스피커와 거실에 배치된 스피커를 포함하는 그룹의 통합 볼륨 레벨을 조정하기 위한 화면(1020)이 디스플레이된 상태에서, 프로세서(130)는 아래 방향으로 표시된 화살표 형태의 아이콘을 터치하는 사용자 터치(1021)가 감지되면, 주방에 배치된 스피커의 볼륨 레벨을 제어하기 위한 화면(1030)을 디스플레이할 수 있다.
또한, 주방에 배치된 스피커의 볼륨 레벨을 제어하기 위한 화면(1030)이 디스플레이된 상태에서, 프로세서(130)는 아래 방향으로 표시된 화살표 형태의 아이콘을 터치하는 사용자 터치(1031)가 감지되면, 거실에 배치된 스피커의 볼륨 레벨을 제어하기 위한 화면(1040)을 디스플레이할 수 있다.
또한, 거실에 배치된 스피커의 볼륨 레벨을 제어하기 위한 화면(1040)이 디스플레이된 상태에서, 프로세서(130)는 아래 방향으로 표시된 화살표 형태의 아이콘을 터치하는 사용자 터치(1041)가 감지되면, 다시 주방에 배치된 스피커와 거실에 배치된 스피커를 포함하는 그룹의 통합 볼륨 레벨을 조정하기 위한 화면(1020')을 디스플레이할 수 있으며, 주방에 배치된 스피커와 거실에 배치된 스피커를 포함하는 그룹의 통합 볼륨 레벨을 조정하기 위한 화면(1020')이 디스플레이된 상태에서 위 방향으로 표시된 화살표 형태의 아이콘을 터치하는 사용자 터치(1021')가 감지되면 다시 거실에 배치된 스피커의 볼륨 레벨을 제어하기 위한 화면(1040')을 디스플레이할 수 있다. 즉, 사용자는 아래 방향으로 표시된 화살표 형태의 아이콘 및 위 방향으로 표시된 화살표 형태의 아이콘을 터치하여 그룹에 포함된 각각의 스피커를 제어하기 위한 화면을 디스플레이하도록 할 수 있다.
한편, 도 11을 참조하면 거실에 배치된 스피커에서 출력 중인 음향 컨텐츠(Song Title 1)를 제어하기 위한 화면(1110)이 디스플레이되어 있는 상태에서, 프로세서(130)는 음향 컨텐츠(Song Title 1) 항목을 터치하는 사용자 터치(1111)가 감지되면 복수의 음향 컨텐츠를 포함하는 음향 컨텐츠 리스트(1120)를 디스플레이할 수 있다. 여기서, 현재 출력 중인 음향 컨텐츠(Song Title 1)는 음향 컨텐츠 리스트 상에서 다른 음향 컨텐츠(Song Title 2, Song Title 3)과 상이한 컬러로 표시될 수 있다.
도 12를 참조하면, 음향 컨텐츠를 출력할 스피커를 변경하는 과정에 관한 것임을 알 수 있다.
구체적으로, 침실에 배치된 스피커의 볼륨 레벨을 조정하기 위한 화면(1210)가 디스플레이되어 있는 상태에서, 프로세서(130)는 사용자 터치가 유지된 채 드래깅하는 사용자 조작(1211)이 감지되면 외부 장치와 연결된 모든 스피커들을 포함하는 스피커 리스트(1220)를 디스플레이할 수 있다.
여기서, 스피커 리스트(1220)는 현재 음향 컨텐츠를 출력하는 스피커는 침실에 배치된 스피커임을 나타내는 이퀄라이저 형태의 아이콘(1222)을 포함하며, 외부 장치와 연결된 모든 스피커들이 하나의 화면 내에 표시될 수 없는 경우 스크롤 바(1221)을 표시할 수 있다.
또한, 스피커 리스트(1220)가 디스플레이되어 있는 상태에서, 프로세서(130)는 거실에 배치된 스피커와 주방에 배치된 스피커를 포함하는 그룹에 대응되는 아이콘을 터치하는 사용자 터치(1231)가 감지되면, 침실에 배치된 스피커의 음향 컨텐츠 출력을 중단하고 거실에 배치된 스피커와 주방에 배치된 스피커에서 음향 컨텐츠가 출력되도록 하는 제어 명령을 외부 장치로 전송할 수 있다. 한편, 스피커 리스트(1220)가 디스플레이되어 있는 상태에서, 프로세서(130)는 사용자 터치가 유지된 채 오른쪽 방향으로 드래깅하는 사용자 조작이 감지되면 다시 침실에 배치된 스피커의 볼륨 레벨을 조정하기 위한 화면(1210)을 디스플레이할 수 있다.
그리고, 프로세서(130)는 거실에 배치된 스피커와 주방에 배치된 스피커에서 현재 출력 중인 음향 컨텐츠(Song Title 2)를 제어하기 위한 화면(1240)을 디스플레이할 수 있다. 여기서, 거실에 배치된 스피커와 주방에 배치된 스피커에서 현재 출력 중인 음향 컨텐츠(Song Title 2)를 제어하기 위한 화면(1240)은 현재 음향 컨텐츠를 출력 중인 스피커가 거실에 배치된 스피커와 주방에 배치된 스피커임을 나타내는 텍스트(1241)를 포함할 수 있다.
또한, 거실에 배치된 스피커와 주방에 배치된 스피커에서 현재 출력 중인 음향 컨텐츠(Song Title 2)를 제어하기 위한 화면(1240)이 디스플레이된 상태에서, 프로세서(130)는 사용자 터치가 유지된 채 왼쪽 방향으로 드래깅하는 사용자 조작(1242)이 감지되면 외부 장치와 연결된 모든 스피커들을 포함하는 스피커 리스트(1250)를 디스플레이할 수 있으며, 여기서, 스피커 리스트(1250)는 현재 음향 컨텐츠를 출력하는 스피커는 거실에 배치된 스피커와 주방에 배치된 스피커임을 나타내는 이퀄라이저 형태의 아이콘(1251)을 포함할 수 있다.
한편, 도 13을 참조하면, 거실에 배치된 스피커에서 출력 중인 음향 컨텐츠를 제어하기 위한 화면(1310)이 디스플레이되어 있는 상태에서 프로세서(130)는 기 설정된 시간을 초과하여 어떠한 사용자 조작이 감지되지 않은 경우 시계 모드로 동작할 수 있으며 시계 모드에 대응하여 현재 시간을 표시하는 시계 화면(1320)을 디스플레이할 수 있다.
그리고, 시계 화면(1320)이 디스플레이되어 있는 상태에서 시계 화면(1320)을 터치하는 사용자 터치(1321)가 감지되면, 프로세서(130)는 제1 시계 모드에 대응되는 제1 시계 화면을 선택할 수 있는 화면(1330)을 디스플레이하며, 여기서, 사용자 터치가 유지된 채 왼쪽 방향으로 드래깅하는 사용자 조작(1331)이 감지되면 제2 시계 모드에 대응되는 제2 시계 화면을 선택할 수 있는 화면(1340)을 디스플레이할 수 있다.
또한, 제2 시계 모드에 대응되는 제2 시계 화면을 선택할 수 있는 화면(1340)이 디스플레이된 상태에서, 프로세서(130)는 제2 시계 화면을 터치하는 사용자 터치(1341)가 감지되면 사용자 터치(1341)에 의해 선택된 제2 시계 화면(1350)을 디스플레이할 수 있다.
한편, 도 14는 본 발명의 다른 실시 예에 따른 사용자 단말 장치의 구성을 도시한 블럭도이다.
도 14를 참조하면, 사용자 단말 장치(100)는 통신부(110), 감지부(120), 프로세서(130), 디스플레이(140) 및 센서부(150)를 포함하며, 통신부(110), 감지부(120), 프로세서(130) 및 디스플레이(140)에 대해서는 이미 설명하였으므로 자세한 설명은 생략하기로 한다.
센서부(150)는 사용자 단말 장치(100)의 위치 정보를 검출할 수 있다. 구체적으로, 센서부(150)는 GPS 센서를 사용하여 사용자 단말 장치(100)의 위치 정보를 검출할 수 있다.
그리고, 프로세서(130)는 사용자 단말 장치(100)의 위치 정보에 기초하여 복수의 스피커 중 적어도 하나가 사용자 단말 장치(100)로부터 기 설정된 거리 범위 내에 존재하는 것으로 판단되면, 기 설정된 거리 범위 내에 존재하는 스피커를 제어하기 위한 유저인터페이스 화면을 자동적으로 디스플레이할 수 있다. 도 15를 통해 상세히 설명하기로 한다.
도 15는 본 발명의 일 실시 예에 따른 사용자 단말 장치의 위치 정보에 기초하여 디스플레이되는 스피커 제어 화면을 설명하기 위한 도면이다.
도 15를 참조하면, 사용자가 집(1500) 내부에서 거실(1510)에 배치된 의자에 앉아 있는 경우, 프로세서(130)는 사용자 단말 장치(100)의 위치 정보에 기초하여 외부 장치와 연결된 복수의 스피커 중 사용자 단말 장치(100)로부터 기 설정된 거리 범위 내에 존재하는 거실에 배치된 스피커를 제어하기 위한 유저인터페이스 화면(1511)을 디스플레이할 수 있다.
또한, 사용자가 거실(1510)에서 부엌(1520)으로 이동한 경우 프로세서(130)는 사용자 단말 장치(100)의 위치 저오에 기초하여 외부 장치와 연결된 복수의 스피커 중 사용자 단말 장치(100)로부터 기 설정된 거리 범위 내에 존재하는 부엌(1520)에 배치된 스피커를 제어하기 위한 유저인터페이스 화면(1521)을 디스플레이할 수 있다.
이와 같이, 프로세서(130)는 사용자 단말 장치(100)의 위치 정보에 기초하여 외부 장치와 연결된 복수의 스피커 중 사용자 단말 장치(100)가 위치한 공간 내의 스피커를 특정하고, 특정된 스피커를 제어하기 위한 유저인터페이스 화면을 자동적으로 디스플레이할 수 있다.
이에 따라, 사용자는 별도로 원하는 스피커를 검색하지 않고도 자동적으로 디스플레이되는 특정된 스피커를 제어하기 위한 유저인터페이스 화면에 대해 사용자 조작을 수행함으로써 특정된 스피커를 제어할 수 있게 된다.
또한, 상술한 다양한 사용자 조작(유저인터페이스 화면을 감싸는 사용자 터치, 유저인터페이스 화면으로부터 기 설정된 거리 내에 기 설정된 사용자의 모션 인식 등)은 사용자 단말 장치(100)의 위치 정보에 기초하여 외부 장치와 연결된 복수의 스피커 중 사용자 단말 장치(100)로부터 기 설정된 거리 범위 내에 존재하는 거실에 배치된 스피커를 제어하기 위한 유저인터페이스 화면(1511)에 동일하게 적용가능하다.
한편, 도 16은 본 발명의 또 다른 실시 예에 따른 사용자 단말 장치의 구성을 도시한 블럭도이다.
도 16을 참조하면, 사용자 단말 장치(100)는 통신부(110), 감지부(120), 프로세서(130) 및 인식부(160)을 포함할 수 있다. 여기서, 통신부(110), 감지부(120) 및 프로세서(130)에 대해서는 이미 설명하였으므로 상세한 설명은 생략하기로 한다.
인식부(160)는 사용자 발화 음성을 인식할 수 있다. 구체적으로, 인식부(160)는 ASR(Automatic Speech Recognition) 모듈을 이용하여 사용자 발화 음성을 텍스트로 변환하여 사용자 발화 음성에 대응되는 텍스트를 생성할 수 있다. ASR 모듈은 음성 신호를 텍스트로 변환하기 위한 모듈로서, 종래 개시되어 있는 다양한 ASR 알고리즘을 이용하여 음성 신호를 텍스트로 변환할 수 있다.
예를 들어, 프로세서(130)는 수신된 음성 신호 내에서 사용자가 발화한 음성의 시작과 끝을 검출하여 음성 구간을 판단한다. 구체적으로, 프로세서(130)는 수신된 음성 신호의 에너지를 계산하고, 계산된 에너지에 따라 음성 신호의 에너지 레벨을 분류하여, 동적 프로그래밍을 통해 음성 구간을 검출할 수 있다. 그리고, 프로세서(130)는 검출된 음성 구간 내에서 음향 모델(Acoustic Model)을 기초로 음성의 최소 단위인 음소를 검출하여 음소 데이터를 생성하고, 생성된 음소 데이터에 HMM(Hidden Markov Model) 확률 모델을 적용하여 사용자의 발화 음성을 텍스트로 변환할 수 있다.
그리고, 프로세서(130)는 SLU(Spoken Language Understanding) 모듈을 이용하여 사용자 발화 음성에 대응되는 텍스트를 프로세서(130)가 이해할 수 있도록 Part of speech, Named entity extraction, information extraction, semantic analytic 등과 같은 여러가지 분석을 수행할 수 있다.
이후, 프로세서(130)는 사용자의 발화 음성이 변환된 텍스트에 매칭되는 대화 패턴이 존재하는 말뭉치 데이터베이스를 검출하여, 사용자의 발화 음성에 대응되는 도메인을 검출하고, 검출된 도메인 내에서 사용자 발화 음성을 인식할 수 있다.
그리고, 프로세서(130)는 복수의 스피커 중 적어도 일부를 제어하기 위한 사용자 발화 음성이 인식되면, 사용자 발화 음성에 대응되는 제어 명령을 외부 장치로 전송할 수 있다.
특히, 프로세서(130)는 사용자 발화 음성이 인식되면 사용자 발화 음성에 기초하여 음향 컨텐츠를 검색할 수 있다. 예를 들어, 프로세서(130)는 사용자 발화 음성에 기초하여 음향 컨텐츠의 이름, 음향 컨텐츠가 포함된 앨범의 이름 및 가수의 이름 등으로 음향 컨텐츠를 검색할 수 있다.
그리고, 프로세서(130)는 사용자 발화 음성에 의해 특정된 스피커에서 검색된 음향 컨텐츠가 출력되도록 하는 제어 명령을 외부 장치로 전송할 수 있다.
예를 들어, "거실에 배치된 스피커에서 ○○○음악을 틀어줘"라는 사용자 발화 음성이 인식되면, 프로세서(130)는 ○○○음악을 검색하고, 검색된 ○○○음악을 거실에 배치된 스피커에서 출력되도록 하는 제어 명령을 외부 장치로 전송할 수 있다.
또는, "TV에서 나오는 소리를 거실에 배치된 스피커에서 나오게 해줘"라는 사용자 발화 음성이 인식되면, 프로세서(130)는 TV에서 나오는 소리가 거실에 배치된 스피커에서 출력되도록 하는 제어 명령을 외부 장치로 전송할 수 있다.
물론, 프로세서(130)는 사용자 단말 장치(100)의 위치 정보에 기초하여 기 설정된 거리 범위 내에 거실에 배치된 스피커가 존재하는 것으로 판단되면, "○○○음악을 틀어줘"라는 사용자 발화 음성이 인식되면 자동적으로 거실에 배치된 스피커에서 ○○○음악이 출력되도록 하는 제어 명령을 생성하여 외부 장치로 전송할 수도 있다.
한편, 센서부(150)는 시간 정보 및 생체 정보를 검출할 수 있다. 여기서, 시간 정보는 현재 사용자 단말 장치(100)가 표시하는 시간을 의미하며, GPS 센서를 사용하여 시간 정보를 검출할 수 있다. 또한, 여기서, 생체 정보는, 인체의 미세한 세포 간의 전기적인 신호를 의미하며 뇌파, 근전도, 심전도 등을 대표적인 예로 들수 있다. 또한, 센서부(150)는 생체 신호로서 심박수, 호흡수, 이동 거리, 걸음 수, 동작 형태별 지속 시간, 손가락 움직임 횟수, 목소리 음량, 특정 단어사용 패턴 횟수, 감정상태 지속 시간 및 감정상태 변화 횟수 등을 검출할 수 있다.
도 17은 본 발명의 일 실시 예에 따른 생체 정보를 설명하기 위한 도면이다.
도 17을 참조하면, 생체 정보는 크게 활동성 항목(1710), 언어 행동 항목(1720) 및 충동성 항목(1730)으로 구별될 수 있으며, 활동성 항목(1710)에는 심박수, 호흡수, 이동 거리, 걸음 수, 동작 형태(뛰기, 걷기, 앉아 있기)별 지속시간 및 손가락 움직임 횟수 등에 관한 정보가 포함되고, 언어 행동 항목(1720)에는 목소리 음량 및 특정 단어 사용 패턴 횟수에 관한 정보가 포함될 수 있으며, 충동성 항목(1730)에는 감정 상태(흥분, 분노) 지속시간 및 감정 상태 변화 횟수 등에 관한 정보가 포함될 수 있다. 물론, 생체 정보는 도 17에 도시된 예에 한정되지 아니하며, 사용자가 착용가능한 사용자 단말 장치를 사용하는데 있어서, 사용자의 생체 신호, 음성, 모션, 감정 변화, 움직임 등에 관한 모든 정보를 포함할 수 있다.
또한, 센서부(150)는 사용자의 생체 정보를 기 설정된 주기로 센싱할 수 있다. 예를 들어, 센서부(150)에 포함된 PPG 센서는 사용자의 심박수가 1분에 몇 회인지 센싱할 수 있고, 또한, 사용자의 호흡수가 1분에 몇 회인지 센싱할 수 있다. 또한, 센서부(150)에 포함된 가속도 센서는 가속도 센서는 사용자의 이동 거리가 1시간에 몇 Km를 가는지 센싱할 수 있고, 사용자의 걸음수가 1시간에 몇 회인지 센싱할 수 있으며, 뛰기, 걷기, 앉아 있기와 같이 동작 형태별 지속시간이 1일에 몇 시간인지 센싱할 수도 있다. 또한, 센서부(150)에 포함된 사용자의 목소리 음량이 1일에 평균 몇 dB 인지 센싱할 수 있고, 특정 단어 사용 패턴 횟수가 1일에 몇 회인지를 센싱할 수 있다.
또한, 센서부(150)에 포함된 GSR 센서는 사용자의 감정 상태(흥분, 분노) 지속 시간이 1일에 몇 시간 되는지 및 사용자의 감정 상태 변화 횟수가 1일에 몇 회인지 등을 센싱할 수 있다.
그리고, 프로세서(130)는 사용자 단말 장치의 위치 정보에 기초하여 복수의 스피커 중 적어도 일부를 특정하고, 시간 정보 및 생체 정보 중 적어도 하나에 기초하여 음향 컨텐츠를 검색하도록 하는 제어 명령을 사용자 단말 장치의 위치 정보, 시간 정보 및 생체 정보와 함께 외부 장치로 전송할 수 있다.
예를 들어, 센서부(150)를 통해 생체 정보 중 심박수, 호흡수, 감정 상태 지속 시간 등이 검출되면, 프로세서(130)는 검출된 심박수, 호흡수, 감정 상태 지속 시간 등에 기초하여 검출된 심박수 및 호흡수가 기 설정된 평균 수치 이상이고 흥분된 감정 상태가 기 설정된 시간 이상 지속되는 경우 빠른 템포의 활동적인 음향 컨텐츠를 검색하도록 하는 제어 명령을 외부 장치로 전송할 수 있다.
또한, 프로세서(130)는 센서부(150)를 통해 검출된 시간 정보 및 생체 정보에 기초하여 음향 컨텐츠를 검색하도록 하는 제어 명령을 외부 장치로 전송할 수 있다.
즉, 프로세서(130)는 음향 컨텐츠를 선택하고 스피커를 지정하여 출력하도록 하는 사용자 조작이 없더라도 검출된 시간 정보, 생체 정보에 기초하여 음향 컨텐츠를 검색하고 사용자 단말 장치(100)의 위치 정보에 기초하여 스피커를 특정하며, 특정된 스피커를 통해 선택된 음향 컨텐츠를 출력하도록 하는 제어 명령을 생성하여 외부 장치로 전송할 수 있다.
예를 들어, 검출된 시간 정보가 오후 2시이고 검출된 심박수 및 호흡수가 기 설정된 평균치 이상인 경우, 프로세서(130)는 다양한 음악 장르 중 락 음악이나 팝 음악과 관련된 음향 컨텐츠를 검색하도록 하는 제어 명령을 외부 장치로 전송할 수 있다.
또한, 검출된 시간 정보가 저녁 8시이고 검출된 심박수 및 호흡수가 기 설정된 평균치 이상인 경우, 프로세서(130)는 다양한 음악 장르 중 재즈 음악과 관련된 음향 컨텐츠를 검색하도록 하는 제어 명령을 외부 장치로 전송할 수 있다.
또한, 검출된 생체 정보가 뇌파에 관한 것인 경우, 프로세서(130)는 검출된 뇌파가 수면 중임을 나타내는 것으로 판단되면 현재 음향 컨텐츠를 출력 중인 스피커를 턴 오프하는 제어 명령을 생성하여 외부 장치로 전송할 수 있다.
또한, 검출된 생체 정보가 뇌파에 관한 것인 경우, 프로세서(130)는 검출된 뇌파가 수면에서 깨어 있음을 나타내는 것으로 판단되면, 알람음 또는 활기찬 장르(락음악, 메탈 음악, 팝 음악 등)의 음향 컨텐츠를 검색하여 출력하도록 하는 제어 명령을 외부 장치로 전송할 수 있다.
또한, 검출된 시간 정보가 오전 8시이고 검출된 뇌파가 수면에서 깨어 있음을 나타내는 것으로 판단되면 프로세서(130)는 시간 정보가 현재 오전을 나타내고 있음을 고려하여 활기찬 분위기의 음향 컨텐츠를 검색하여 출력하도록 하는 제어 명령을 외부 장치로 전송할 수 있고, 검출된 시간 정보가 밤 11시이고 검출된 뇌파가 수면에서 깨어 있음을 나타내는 것으로 판단되면 프로세서(130)는 시간 정보가 현재 밤을 나타내고 있음을 고려하여 조용한 분위기의 음향 컨텐츠를 검색하여 출력하도록 하는 제어 명령을 외부 장치로 전송할 수 있다.
한편, 프로세서(130)는 사용자 단말 장치의 위치 정보에 기초하여 복수의 스피커 중 적어도 일부를 특정할 수 있다. 예를 들어, 현재 사용자가 사용자 단말 장치를 착용한 채 거실에 배치된 소파에 앉아 있다면, 프로세서(130)는 사용자 단말 장치(100)의 위치 정보에 기초하여 거실에 배치된 스피커가 기 설정된 거리 범위 내에 있음을 인식할 수 있다. 그리고, 프로세서(130)는 상술한 바와 같이 검출된 시간 정보 및 생체 정보에 기초하여 음향 컨텐츠를 검색하고 검색된 음향 컨텐츠가 거실에 배치된 스피커에서 출력되도록 하는 제어 명령을 외부 장치로 전송할 수 있다.
예를 들어, 사용자 단말 장치(100)의 위치 정보에 기초하여 사용자 단말 장치로부터 기 설정된 거리 범위 내에 존재하는 스피커가 거실에 배치된 스피커로 판단되고, 검출된 시간 정보가 오후 2시이고 검출된 심박수 및 호흡수가 기 설정된 평균치 이상인 경우, 프로세서(130)는 다양한 음악 장르 중 락 음악이나 팝 음악과 관련된 음향 컨텐츠를 검색하고, 검색된 음향 컨텐츠를 거실에 배치된 스피커에서 출력되도록 하는 제어 명령을 외부 장치로 전송할 수 있다.
한편, 프로세서(130)는 외부 장치가 음향 컨텐츠를 검색하는데 있어서 참조할 수 있도록 사용자 단말 장치(100)의 위치 정보, 시간 정보 및 생체 정보를 제어 명령과 함께 외부 장치로 전송할 수 있다. 이에 따라, 외부 장치는 수신된 사용자 단말 장치(100)의 위치 정보, 시간 정보 및 생체 정보와 제어 명령에 기초하여 음향 컨텐츠를 검색하고, 사용자 단말 장치(100)의 위치 정보에 기초하여 특정된 스피커로 검색된 음향 컨텐츠가 출력되도록 할 수 있다.
한편, 프로세서(130)는 사용자 단말 장치의 위치 정보에 기초하여 사용자 단말 장치와 외부 장치 간의 거리가 기 설정된 임계값보다 커지면 외부 장치와 연결된 복수의 스피커를 턴 오프 시키는 제어 명령을 외부 장치로 전송할 수 있다.
예를 들어, 사용자 단말 장치(100)와 외부 장치 간의 거리가 블루투스 통신이 가능한 거리 범위 이상이 되면 프로세서(130)는 외부 장치와 연결된 복수의 스피커를 턴 오프 시키도록 하는 제어 명령을 외부 장치로 전송할 수 있다.
이에 따라, 사용자는 외출 시 집 내부에 존재하는 복수의 스피커를 개별적으로 턴 오프 시키지 않더라도 사용자가 착용한 사용자 단말 장치(100)와 외부 장치 간의 거리가 기 설정된 임계값보다 커지면 자동적으로 복수의 스피커를 턴 오프 시키는 제어 명령을 외부 장치로 전송함으로써 복수의 스피커를 턴 오프 시킬 수 있다.
한편, 도 18은 본 발명의 일 실시 예에 따른 다양한 센서들을 포함하는 사용자 단말 장치를 도시한 도면이다.
도 18을 참조하면, 사용자 단말 장치(100)는 스마트 와치로 구현되었으며, 3축 가속도 센서나 GPS 센서(1810)는 스마트 와치의 디스플레이 전면부 내에 구비될 수 있고, 마이크(1820)는 스마트 와치의 디스플레이의 일 측면에 구비될 수 있으며, EMG 센서(1830) 및 피부 온도/피부전도도 센서(1850)는 스마트 와치의 밴드에 구비될 수 있다. 또한, PPG 센서(1840)는 스마트 와치의 디스플레이 후면부 내에 구비될 수 있다. 도 18에 도시된 다양한 센서들의 배치는 일 예일 뿐이며, 스마트 와치와 밴드 내의 다양한 위치에 배치될 수 있음은 당연하다.
한편, 도 19는 본 발명의 일 실시 예에 따른 시스템의 구성을 도시한 블럭도이다.
도 19를 참조하면, 시스템(1900)은 복수의 네트워크 스피커(1910), 제1 단말 장치(1920) 및 제2 단말 장치(1930)를 포함할 수 있다. 여기서, 복수의 네트워크 스피커(1910)는 상술한 복수의 스피커에 대응될 수 있고, 제1 단말 장치(1920)는 사용자 단말 장치(100)에 대응될 수 있으며, 제2 단말 장치(1930)는 외부 장치에 대응될 수 있다.
구체적으로, 제2 단말 장치(1930)는 복수의 네트워크 스피커(1910)를 직접 제어할 수 있고, 제2 단말 장치(1930)는 복수의 네트워크 스피커(1910)와 동일한 억세스 포인트에 연결되어 동일 네트워크를 형성하고 있을 수 있다.
또한, 제1 단말 장치(1920)는 복수의 네트워크 스피커(1910)를 제어하기 위한 제어 명령을 제2 단말 장치(1930)에 전송하여 제2 단말 장치(1930)가 복수의 네트워크 스피커(1910)를 직접 제어할 수 있게 할 수 있다.
특히, 제1 단말 장치(1920)는 복수의 네트워크 스피커(1910)를 제어하기 위한 제어 명령을 제2 단말 장치(1930)로 전송하고, 제2 단말 장치(1930)는 제어 명령이 수신되면 수신된 제어 명령에 기초하여 복수의 네트워크 스피커(1910)를 제어할 수 있다.
여기서, 제1 단말 장치(1920)는 사용자 터치를 감지하고, 사용자 터치 입력의 유형에 따라 복수의 네트워크 스피커(1910)를 제어하기 위한 제어 명령을 생성할 수 있다.
구체적으로, 제1 단말 장치(1920)는 복수의 스피커 중 적어도 일부를 제어하기 위한 유저인터페이스 화면을 디스플레이하고, 유저인터페이스 화면 전체를 감싸는 사용자 터치가 감지되면 복수의 스피커 중 적어도 일부를 뮤트시키는 제어 명령을 생성하여 제2 단말 장치(1930)로 전송할 수 있다.
예를 들어, 제1 단말 장치(1920)는 복수의 네트워크 스피커(1910) 중 거실에 배치된 스피커와 주방에 배치된 스피커를 제어하기 위한 유저인터페이스 화면이 디스플레이되어 있는 상태에서 거실에 배치된 스피커와 주방에 배치된 스피커를 제어하기 위한 유저인터페이스 화면 전체를 감싸는 사용자 터치가 감지되면 거실에 배치된 스피커와 주방에 배치된 스피커를 뮤트시키는 제어 명령을 생성하여 제2 단말 장치(1930)로 전송할 수 있다. 즉, 복수의 스피커 중 거실과 주방에 배치되지 않은 예를 들면, 침실에 배치된 스피커, 화장실에 배치된 스피커 등은 뮤트되지 않는다.
또한, 제1 단말 장치(1920)는 복수의 네트워크 스피커(1910) 전체를 제어하기 위한 유저인터페이스 화면이 디스플레이되어 있는 상태에서 복수의 네트워크 스피커(1910) 전체를 제어하기 위한 유저인터페이스 화면 전체를 감싸는 사용자 터치가 감지되면 복수의 네트워크 스피커(1910) 전체를 뮤트시키는 제어 명령을 생성하여 제2 단말 장치(1930)로 전송할 수 있다.
또한, 제1 단말 장치(1920)는 유저인터페이스 화면으로부터 기 설정된 거리 내에 기 설정된 사용자의 모션이 인식되면 복수의 네트워크 스피커 중 적어도 일부의 볼륨 레벨을 낮추는 제어 명령을 생성하여 제2 단말 장치(1930)로 전송할 수 있다.
구체적으로, 제1 단말 장치(1920)는 음향 컨텐츠를 제어하기 위한 유저인터페이스 화면이 디스플레이된 상태에서 손이 유저인터페이스 화면으로부터 기 설정된 거리 내에서 유저인터페이스 화면에 가까워지도록 하는 모션이 인식되면 현재 음향 컨텐츠를 제어하기 위한 유저인터페이스 화면에 표시된 스피커의 볼륨 레벨을 낮추는 제어 명령을 생성하여 제2 단말 장치(1930)로 전송할 수 있다.
예를 들어, 제1 단말 장치(1920)는 주방에 배치된 스피커에서 음향 컨텐츠를 재생하고 있음을 나타내는 유저인터페이스 화면이 디스플레이된 상태에서 손이 유저인터페이스 화면으로부터 5Cm 범위 내에서 유저인터페이스 화면으로 가까워지는 모션이 인식되면 주방에 배치된 스피커의 볼륨 레벨을 낮추는 제어 명령을 생성하여 제2 단말 장치(1930)로 전송할 수 있다.
또한, 제1 단말 장치(1920)는 주방에 배치된 스피커 및 거실에 배치된 스피커가 그룹핑되어 있고 음향 컨텐츠를 재생하고 있음을 나타내는 유저인터페이스 화면이 디스플레이된 상태에서 손이 유저인터페이스 화면으로부터 5Cm 범위 내에서 유저인터페이스 화면으로 가까워지는 모션이 인식되면 주방에 배치된 스피커 및 거실에 배치된 스피커 모드의 뷸륨 레벨을 낮추는 제어 명령을 생성하여 제2 단말 장치(1930)로 전송할 수 있다.
또한, 제1 단말 장치(1920)는 유저인터페이스 화면으로부터 기 설정된 거리 내에서 유저인터페이스 화면으로 손이 가까워지는 속도 및 유저인터페이스 화면과 손 간의 거리에 기초하여 현재 유저인터페이스 화면에 표시된 스피커의 볼륨 레벨을 낮추는 속도를 증가시키는 제어 명령을 생성하여 제2 단말 장치(1930)로 전송할 수 있다.
예를 들어, 제1 단말 장치(1920)는 주방에 배치된 스피커에서 음향 컨텐츠를 재생하고 있음을 나타내는 상태에서 손이 유저인터페이스 화면으로부터 5Cm 범위 내에서 유저인터페이스 화면으로 가까워지는 속도가 더 빨라지면 주방에 배치된 스피커의 볼륨 레벨을 낮추는 속도를 증가시키는 제어 명령을 생성하여 제2 단말 장치(1930)로 전송할 수 있고, 또한, 손이 유저인터페이스 화면으로 가까워짐에 따라 손과 유저인터페이스 화면 간의 거리가 줄어듦에 따라 주방에 배치된 스피커의 볼륨 레벨을 낮추는 속도를 증가시키는 제어 명령을 생성하여 제2 단말 장치(1930)로 전송할 수 있다.
한편, 미리 설명한 사용자 단말 장치(100)의 동작은 도 19에 도시된 제1 단말 장치(1920)에 동일하게 적용할 수 있으며, 제2 단말 장치(1930)는 외부 장치에 대응하여 동일하게 동작할 수 있다.
또한, 제1 단말 장치(1920)는 제2 단말 장치(1930)로 복수의 네트워크 스피커(1910)를 제어하기 위한 제어 명령을 전송하고, 제2 단말 장치(1930)는 수신된 제어 명령에 기초하여 복수의 네트워크 스피커(1910)를 제어할 수 있으나, 제1 단말 장치(1920)는 제2 단말 장치(1930)를 거치지 않고 직접적으로 복수의 네트워크 스피커(1910)와 통신을 수행하여 제어할 수도 있다.
여기서, 제1 단말 장치(1920)는 제2 단말 장치(1930)로 전송하는 복수의 네트워크 스피커(1910)를 제어하기 위한 제어 명령을 제2 단말 장치(1930)로 전송하지 않고, 직접 복수의 네트워크 스피커(1910)로 전송하여 복수의 네트워크 스피커(1910)를 제어할 수 있다. 또한, 여기서 제1 단말 장치(1920)가 복수의 네트워크 스피커(1910)로 전송하는 제어 명령은 미리 설명한 사용자 단말 장치(100)가 외부 장치로 전송하는 제어 명령과 동일하다.
한편, 도 19에 도시된 제1 단말 장치(1920)를 TV로 상정하고 제2 단말 장치(1930)를 스마트 폰으로 상정하기로 한다. 이와 같은 경우, TV는 스마트 폰과 연결된 복수의 네트워크 스피커(1910)를 포함하는 스피커 리스트를 디스플레이하고, 복수의 네트워크 스피커의 볼륨 레벨을 조정할 수 있다. 도 20a 및 도 20b를 참조하여 설명하기로 한다.
도 20a 및 도 20b는 본 발명의 일 실시 예에 따른 TV에서 복수의 네트워크 스피커의 볼륨 레벨을 조정하는 과정을 설명하기 위한 도면이다.
도 20a를 참조하면, TV는 스마트 폰과 연결된 복수의 네트워크 스피커(1910)를 포함하는 스피커 리스트를 디스플레이할 수 있으며, 사용자가 디스플레이된 스피커 리스트 중 일부(2010)를 터치하면 터치가 수행된 스피커와 관련된 정보를 디스플레이할 수 있다. 예를 들면, TV는 스피커의 위치, 스피커의 출력량, 스피커의 모델명, 스피커의 채널에 관한 정보 등을 디스플레이할 수 있다.
또한, TV는 복수의 네트워크 스피커(1910) 중 일부(2010)에 대해 개별적으로 제어 명령을 생성하여 스마트 폰으로 전송할 수 있다.
또한, 도 20b를 참조하면, TV는 복수의 네트워크 스피커(1910) 중 일부(2010)를 그룹핑하는 사용자 조작이 입력되면, 복수의 네트워크 스피커(1910) 중 일부(2010)를 하나의 그룹(2020)으로 그룹핑하여 디스플레이할 수 있다.
여기서, 복수의 네트워크 스피커(1910) 중 두 개의 스피커가 서라운드 2 채널로 그룹핑되면 TV는 두 개의 스피커에 대응되는 아이콘을 하나의 그룹(2030)으로 그룹핑하여 디스플레이할 수 있고, 복수의 네트워크 스피커(1910) 중 4 개의 스피커가 서라운드 4 채널로 그룹핑되면 TV는 4 개의 스피커에 대응되는 아이콘을 하나의 그룹(2040)으로 그룹핑하여 디스플레이할 수 있다.
또한, 복수의 네트워크 스피커(1910) 중 세 개의 스피커가 사운드 바 및 서라운드 2 채널로 그룹핑되면 TV는 세 개의 스피커에 대응되는 아이콘을 하나의 그룹(2050)으로 그룹핑하여 디스플레이할 수 있다.
도 21은 도 1에 도시된 사용자 단말 장치의 구체적인 구성을 나타내는 블럭도이다.
도 21을 참조하면, 사용자 단말 장치(100')는 통신부(110), 감지부(120), 프로세서(130), 디스플레이(140), 센서부(150), 인식부(160) 및 저장부(170)를 포함한다. 여기서, 도 1, 2, 14 및 16에 도시된 구성과 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다.
프로세서(130)는 사용자 단말 장치(100)의 동작을 전반적으로 제어한다.
구체적으로, 프로세서(130)는 RAM(131), ROM(132), 메인 CPU(133), 그래픽 처리부(134), 제1 내지 n 인터페이스(135-1 ~ 135-n), 버스(136)를 포함한다.
RAM(131), ROM(132), 메인 CPU(133), 그래픽 처리부(134), 제1 내지 n 인터페이스(135-1 ~ 135-n) 등은 버스(136)를 통해 서로 연결될 수 있다.
제1 내지 n 인터페이스(135-1 내지 135-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
메인 CPU(133)는 저장부(170)에 액세스하여, 저장부(170)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 저장부(170)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
ROM(132)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(133)는 ROM(132)에 저장된 명령어에 따라 저장부(170)에 저장된 O/S를 RAM(131)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(133)는 저장부(170)에 저장된 각종 어플리케이션 프로그램을 RAM(131)에 복사하고, RAM(131)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(134)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부(미도시)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 특히, 그래픽 처리부(134)는 사용자 발화 음성에 대응하여 생성된 시스템 응답을 텍스트 형태로 변환하면서, 문자의 폰트, 크기, 색상 등을 결정할 수 있다. 렌더링부(미도시)에서 생성된 화면은 디스플레이(140)를 통해 디스플레이될 수 있다.
한편, 상술한 프로세서(130)의 동작은 저장부(170)에 저장된 프로그램에 의해 이루어질 수 있다.
저장부(170)는 사용자 단말 장치(100')를 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, 각종 멀티미디어 컨텐츠와 같은 다양한 데이터를 저장한다.
특히, 저장부(170)는 사용자 터치 입력의 유형에 따라 복수의 스피커를 제어하기 위한 제어 명령을 생성하여 외부 장치로 전송하기 위한 소프트웨어 모듈을 포함한다. 이에 대해서는 도 22를 통해 상세히 설명하기로 한다.
도 22는 본 발명의 일 실시 예에 따른 저장부에 저장된 소프트웨어 모듈에 관한 도면이다.
도 22를 참조하면, 저장부(170)에는 터치 감지 모듈(171), 모션 인식 모듈(172), 위치 검출 모듈(173), 음성 인식 모듈(174), 센싱 모듈(175), 통신 모듈(176) 및 제어 명령 생성 모듈(177) 등의 프로그램이 저장되어 있을 수 있다.
한편, 상술한 프로세서(130)의 동작은 저장부(170)에 저장된 프로그램에 의해 이루어질 수 있다. 이하에서는 저장부(170)에 저장된 프로그램을 이용한 프로세서(130)의 세부 동작에 대해 자세히 설명하기로 한다.
터치 감지 모듈(171)은 사용자 터치를 감지하는 기능을 수행할 수 있다. 특히, 터치 감지 모듈(171)은 사용자 터치 여부, 터치 지점의 좌표 산출 기능 등을 수행할 수 있다.
모션 인식 모듈(172)은 검출된 사용자의 모션을 기 저장된 모션과 비교하여 사용자의 모션을 인식하는 기능을 수행할 수 있다.
위치 검출 모듈(173)은 사용자 단말 장치(100)의 위치 정보에 기초하여 사용자 단말 장치(100)가 현재 어느 위치에 있는지를 검출하는 기능을 수행할 수 있다.
음성 인식 모듈(174)은 사용자 발화 음성을 텍스트로 변환하여 사용자 발화 음성에 대응되는 텍스트를 생성하고, 생성된 텍스트를 분석하여 사용자 발화 음성을 인식하는 기능을 수행할 수 있다.
또한, 센싱 모듈(175)은 각종 센서들로부터 정보를 수집하고, 수집된 정보를 분석 및 관리하는 모듈이다. 구체적으로, 센싱 모듈(175)은 사용자 단말 장치의 위치 정보를 검출하거나, 시간 정보 및 생체 정보를 검출하는 기능을 수행할 수 있다.
또한, 통신 모듈(176)은 외부 장치와 통신 또는 페어링을 수행하기 위한 모듈이다. 통신 모듈(176)은 외부 장치와 통신에 이용되는 디바이스 모듈, 메신저 프로그램, SMS(Short Message Service) & MMS(Multimedia Message Service) 프로그램, 이메일 프로그램 등과 같은 메시징 모듈, 전화 정보 수집기(Call Info Aggregator) 프로그램 모듈, VoIP 모듈 등을 포함하는 전화 모듈을 포함할 수 있다.
또한, 제어 명령 생성 모듈(177)은 사용자 터치 입력의 유형, 사용자 단말 장치(100)의 위치 정보, 시간 정보 및 생체 정보 중 적어도 하나에 기초하여 복수의 네트워크 스피커를 제어하기 위한 제어 명령을 생성하는 기능을 수행할 수 있다.
한편, 도 23은 본 발명의 일 실시 예에 따른 사용자 단말 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 23에 도시된 사용자 단말 장치의 제어 방법에 따르면, 사용자 터치를 감지한다(S2310).
그리고, 사용자 터치 입력의 유형에 따라 복수의 스피커를 제어하기 위한 제어 명령응ㄹ 생성하여 외부 장치로 전송한다(S2320).
또한, 복수의 스피커 중 적어도 일부를 제어하기 위한 유저 인터페이스 화면을 디스플레이하는 단계를 더 포함하며, 전송하는 단계(S2320)는 유저인터페이스 화면 전체를 감싸는 사용자 터치가 감지되면 복수의 스피커 중 적어도 일부를 뮤트시키는 제어 명령을 생성하여 외부 장치로 전송할 수 있다.
또한, 전송하는 단계(S2320)는 유저인터페이스 화면으로부터 기 설정된 거리 내에 기 설정된 사용자의 모션이 인식되면 복수의 스피커 중 적어도 일부의 볼륨 레벨을 낮추는 제어 명령을 생성하여 외부 장치로 전송할 수 있다.
또한, 전송하는 단계(S2320)는 유저인터페이스 화면에 대해 복수의 스피커 중 적어도 일부를 제어하기 위한 사용자 조작이 입력되면, 사용자 조작에 대응되는 제어 명령을 외부 장치로 전송할 수 있다.
또한, 본 발명의 일 실시 예에 따른 사용자 단말 장치의 제어 방법은 사용자 단말 장치의 위치 정보를 검출하는 단계를 더 포함하며, 디스플레이하는 단계는 사용자 단말 장치의 위치 정보에 기초하여 복수의 스피커 중 적어도 하나가 사용자 단말 장치로부터 기 설정된 거리 범위 내에 존재하는 것으로 판단되면, 기 설정된 범위 내에 존재하는 스피커를 제어하기 위한 유저인터페이스 화면을 자동적으로 디스플레이할 수 있다.
또한, 본 발명의 일 실시 예에 따른 사용자 단말 장치의 제어 방법은 사용자 발화 음성을 인식하는 단계를 더 포함하며, 전송하는 단계는, 복수의 스피커 중 적어도 일부를 제어하기 위한 사용자 발화 음성이 인식되면, 사용자 발화 음성에 대응되는 제어 명령을 외부 장치로 전송할 수 있다.
또한, 전송하는 단계는, 사용자 발화 음성이 인식되면 사용자 발화 음성에 기초하여 음향 컨텐츠를 검색하고 사용자 발화 음성에 의해 특정된 스피커에서 음향 컨텐츠가 출력되도록 하는 제어 명령을 외부 장치로 전송할 수 있다.
또한, 본 발명의 일 실시 예에 따른 사용자 단말 장치의 제어 방법은 시간 정보 및 생체 정보를 검출하는 단계를 더 포함하며, 전송하는 단계는, 사용자 단말 장치의 위치 정보에 기초하여 복수의 스피커 중 적어도 일부를 특정하고, 시간 정보 및 생체 정보 중 적어도 하나에 기초하여 음향 컨텐츠를 검색하도록 하는 제어 명령응ㄹ 사용자 단말 장치의 위치 정보, 시간 정보 및 생체 정보와 함께 외부 장치로 전송할 수 있다.
한편, 상술한 본 발명의 다양한 실시 예들에 따른 제1 전자 장치의 제어 방법은 컴퓨터로 실행가능한 프로그램 코드로 구현되어 다양한 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장된 상태로 제어부에 의해 실행되도록 각 장치들에 제공될 수 있다.
일 예로, 사용자 터치를 감지하는 단계 및 사용자 터치 입력의 유형에 따라 복수의 스피커를 제어하기 위한 제어 명령을 생성하여 외부 장치로 전송하는 단계를 포함하는 제어 방법을 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 사용자 단말 장치에 대해 도시한 상술한 블록도에서는 버스(bus)를 미도시하였으나, 사용자 단말 장치에서 각 구성요소 간의 통신은 버스를 통해 이루어질 수도 있다. 또한, 각 디바이스에는 상술한 다양한 단계를 수행하는 CPU, 마이크로 제어부 등과 같은 제어부가 더 포함될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 사용자 단말 장치 110: 통신부
120: 감지부 130: 프로세서
140: 디스플레이 150: 센서부
160: 인식부 170: 저장부

Claims (20)

  1. 사용자 단말 장치에 있어서,
    복수의 스피커를 제어하는 외부 장치와 통신을 수행하는 통신부;
    사용자 터치를 감지하는 감지부; 및
    상기 사용자 터치 입력의 유형에 따라 상기 복수의 스피커를 제어하기 위한 제어 명령을 생성하여 상기 외부 장치로 전송하도록 상기 통신부를 제어하는 프로세서;를 포함하는 사용자 단말 장치.
  2. 제1항에 있어서,
    상기 복수의 스피커 중 적어도 일부를 제어하기 위한 유저인터페이스 화면을 디스플레이하는 디스플레이;를 더 포함하며,
    상기 프로세서는,
    상기 유저인터페이스 화면 전체를 감싸는 사용자 터치가 감지되면 상기 복수의 스피커 중 적어도 일부를 뮤트(mute)시키는 제어 명령을 생성하여 상기 외부 장치로 전송하는 것을 특징으로 하는 사용자 단말 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 유저인터페이스 화면으로부터 기 설정된 거리 내에 기 설정된 사용자의 모션이 인식되면 상기 복수의 스피커 중 적어도 일부의 볼륨 레벨을 낮추는 제어 명령을 생성하여 상기 외부 장치로 전송하는 것을 특징으로 하는 사용자 단말 장치.
  4. 제2항에 있어서,
    상기 프로세서는,
    상기 유저인터페이스 화면에 대해 상기 복수의 스피커 중 적어도 일부를 제어하기 위한 사용자 조작이 입력되면 상기 사용자 조작에 대응되는 제어 명령을 상기 외부 장치로 전송하는 것을 특징으로 하는 사용자 단말 장치.
  5. 제2항에 있어서,
    상기 사용자 단말 장치의 위치 정보를 검출하는 센서부;를 더 포함하며,
    상기 프로세서는,
    상기 사용자 단말 장치의 위치 정보에 기초하여 상기 복수의 스피커 중 적어도 하나가 상기 사용자 단말 장치로부터 기 설정된 거리 범위 내에 존재하는 것으로 판단되면, 상기 기 설정된 거리 범위 내에 존재하는 스피커를 제어하기 위한 유저인터페이스 화면을 자동적으로 디스플레이하는 것을 특징으로 하는 사용자 단말 장치.
  6. 제1항에 있어서,
    사용자 발화 음성을 인식하는 인식부;를 더 포함하며,
    상기 프로세서는,
    상기 복수의 스피커 중 적어도 일부를 제어하기 위한 상기 사용자 발화 음성이 인식되면, 상기 사용자 발화 음성에 대응되는 제어 명령을 상기 외부 장치로 전송하는 것을 특징으로 하는 사용자 단말 장치.
  7. 제6항에 있어서,
    상기 프로세서는,
    상기 사용자 발화 음성이 인식되면 상기 사용자 발화 음성에 기초하여 음향 컨텐츠를 검색하고 상기 사용자 발화 음성에 의해 특정된 스피커에서 상기 음향 컨텐츠가 출력되도록 하는 제어 명령을 상기 외부 장치로 전송하는 것을 특징으로 하는 사용자 단말 장치.
  8. 제5항에 있어서,
    상기 센서부는 시간 정보 및 생체 정보를 검출하며,
    상기 프로세서는,
    상기 사용자 단말 장치의 위치 정보에 기초하여 상기 복수의 스피커 중 적어도 일부를 특정하고, 상기 시간 정보 및 생체 정보 중 적어도 하나에 기초하여 음향 컨텐츠를 검색하도록 하는 제어 명령을 상기 사용자 단말 장치의 위치 정보, 시간 정보 및 생체 정보와 함께 상기 외부 장치로 전송하는 것을 특징으로 하는 사용자 단말 장치.
  9. 제5항에 있어서,
    상기 프로세서는,
    상기 사용자 단말 장치의 위치 정보에 기초하여 상기 사용자 단말 장치와 상기 외부 장치 간의 거리가 기 설정된 임계값보다 커지면 상기 외부 장치와 연결된 상기 복수의 스피커를 턴 오프 시키는 제어 명령을 상기 외부 장치로 전송하는 것을 특징으로 하는 사용자 단말 장치.
  10. 복수의 네트워크 스피커;
    상기 복수의 네트워크 스피커를 제어하기 위한 제어 명령을 제2 단말 장치로 전송하는 제1 단말 장치; 및
    상기 제어 명령이 수신되면 상기 수신된 제어 명령에 기초하여 상기 복수의 네트워크 스피커를 제어하는 제2 단말 장치;를 포함하며,
    상기 제1 단말 장치는,
    사용자 터치를 감지하고, 상기 사용자 터치 입력의 유형에 따라 상기 복수의 네트워크 스피커를 제어하기 위한 제어 명령을 생성하는 것인, 시스템.
  11. 제10항에 있어서,
    상기 제1 단말 장치는,
    상기 복수의 스피커 중 적어도 일부를 제어하기 위한 유저인터페이스 화면을 디스플레이하고, 상기 유저인터페이스 화면 전체를 감싸는 사용자 터치가 감지되면 상기 복수의 스피커 중 적어도 일부를 뮤트(mute)시키는 제어 명령을 생성하여 상기 제2 단말 장치로 전송하는 것을 특징으로 하는 시스템.
  12. 제11항에 있어서,
    상기 제1 단말 장치는,
    상기 유저인터페이스 화면으로부터 기 설정된 거리 내에 기 설정된 사용자의 모션이 인식되면 상기 복수의 스피커 중 적어도 일부의 볼륨 레벨을 낮추는 제어 명령을 생성하여 상기 제2 단말 장치로 전송하는 것을 특징으로 하는 시스템.
  13. 복수의 스피커를 제어하는 외부 장치와 통신을 수행하는 사용자 단말 장치의 제어 방법에 있어서,
    사용자 터치를 감지하는 단계; 및
    상기 사용자 터치 입력의 유형에 따라 상기 복수의 스피커를 제어하기 위한 제어 명령을 생성하여 상기 외부 장치로 전송하는 단계;를 포함하는 사용자 단말 장치의 제어 방법.
  14. 제13항에 있어서,
    상기 복수의 스피커 중 적어도 일부를 제어하기 위한 유저인터페이스 화면을 디스플레이하는 단계;를 더 포함하며,
    상기 전송하는 단계는,
    상기 유저인터페이스 화면 전체를 감싸는 사용자 터치가 감지되면 상기 복수의 스피커 중 적어도 일부를 뮤트(mute)시키는 제어 명령을 생성하여 상기 외부 장치로 전송하는 것을 특징으로 하는 사용자 단말 장치의 제어 방법.
  15. 제14항에 있어서,
    상기 전송하는 단계는,
    상기 유저인터페이스 화면으로부터 기 설정된 거리 내에 기 설정된 사용자의 모션이 인식되면 상기 복수의 스피커 중 적어도 일부의 볼륨 레벨을 낮추는 제어 명령을 생성하여 상기 외부 장치로 전송하는 것을 특징으로 하는 사용자 단말 장치의 제어 방법.
  16. 제14항에 있어서,
    상기 전송하는 단계는,
    상기 유저인터페이스 화면에 대해 상기 복수의 스피커 중 적어도 일부를 제어하기 위한 사용자 조작이 입력되면 상기 사용자 조작에 대응되는 제어 명령을 상기 외부 장치로 전송하는 것을 특징으로 하는 사용자 단말 장치의 제어 방법.
  17. 제14항에 있어서,
    상기 사용자 단말 장치의 위치 정보를 검출하는 단계;를 더 포함하며,
    상기 디스플레이하는 단계는,
    상기 사용자 단말 장치의 위치 정보에 기초하여 상기 복수의 스피커 중 적어도 하나가 상기 사용자 단말 장치로부터 기 설정된 거리 범위 내에 존재하는 것으로 판단되면, 상기 기 설정된 범위 내에 존재하는 스피커를 제어하기 위한 유저인터페이스 화면을 자동적으로 디스플레이하는 것을 특징으로 하는 사용자 단말 장치의 제어 방법.
  18. 제13항에 있어서,
    사용자 발화 음성을 인식하는 단계;를 더 포함하며,
    상기 전송하는 단계는,
    상기 복수의 스피커 중 적어도 일부를 제어하기 위한 상기 사용자 발화 음성이 인식되면, 상기 사용자 발화 음성에 대응되는 제어 명령을 상기 외부 장치로 전송하는 것을 특징으로 하는 사용자 단말 장치의 제어 방법.
  19. 제18항에 있어서,
    상기 전송하는 단계는,
    상기 사용자 발화 음성이 인식되면 상기 사용자 발화 음성에 기초하여 음향 컨텐츠를 검색하고 상기 사용자 발화 음성에 의해 특정된 스피커에서 상기 음향 컨텐츠가 출력되도록 하는 제어 명령을 상기 외부 장치로 전송하는 것을 특징으로 하는 사용자 단말 장치의 제어 방법.
  20. 제17항에 있어서,
    시간 정보 및 생체 정보를 검출하는 단계;를 더 포함하며,
    상기 전송하는 단계는,
    사용자 단말 장치의 위치 정보에 기초하여 상기 복수의 스피커 중 적어도 일부를 특정하고, 상기 시간 정보 및 생체 정보 중 적어도 하나에 기초하여 음향 컨텐츠를 검색하도록 하는 제어 명령을 상기 사용자 단말 장치의 위치 정보, 시간 정보 및 생체 정보와 함께 상기 외부 장치로 전송하는 것을 특징으로 하는 사용자 단말 장치의 제어 방법.
KR1020150124716A 2015-09-03 2015-09-03 사용자 단말 장치, 시스템 및 그 제어 방법 KR20170027999A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020150124716A KR20170027999A (ko) 2015-09-03 2015-09-03 사용자 단말 장치, 시스템 및 그 제어 방법
PCT/KR2016/007559 WO2017039142A1 (en) 2015-09-03 2016-07-12 User terminal apparatus, system, and method for controlling the same
EP16179624.8A EP3139261A1 (en) 2015-09-03 2016-07-15 User terminal apparatus, system, and method for controlling the same
US15/215,811 US20170068507A1 (en) 2015-09-03 2016-07-21 User terminal apparatus, system, and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150124716A KR20170027999A (ko) 2015-09-03 2015-09-03 사용자 단말 장치, 시스템 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20170027999A true KR20170027999A (ko) 2017-03-13

Family

ID=56418404

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150124716A KR20170027999A (ko) 2015-09-03 2015-09-03 사용자 단말 장치, 시스템 및 그 제어 방법

Country Status (4)

Country Link
US (1) US20170068507A1 (ko)
EP (1) EP3139261A1 (ko)
KR (1) KR20170027999A (ko)
WO (1) WO2017039142A1 (ko)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102065310B1 (ko) * 2019-07-31 2020-01-13 이기만 인공 지능 기반 음성 제어를 이용한 구내 방송 제어 시스템
KR20210137221A (ko) * 2019-05-31 2021-11-17 애플 인크. 오디오 미디어 제어를 위한 사용자 인터페이스
US11243740B2 (en) 2017-10-31 2022-02-08 Samsung Electronics Co., Ltd. Electronic device and method for controlling same
US11281711B2 (en) 2011-08-18 2022-03-22 Apple Inc. Management of local and remote media items
US11316966B2 (en) 2017-05-16 2022-04-26 Apple Inc. Methods and interfaces for detecting a proximity between devices and initiating playback of media
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
US11412081B2 (en) 2017-05-16 2022-08-09 Apple Inc. Methods and interfaces for configuring an electronic device to initiate playback of media
US11431836B2 (en) 2017-05-02 2022-08-30 Apple Inc. Methods and interfaces for initiating media playback
US11429402B2 (en) 2019-05-31 2022-08-30 Apple Inc. Multi-user configuration
US11513667B2 (en) 2020-05-11 2022-11-29 Apple Inc. User interface for audio message
US11539831B2 (en) 2013-03-15 2022-12-27 Apple Inc. Providing remote interactions with host device using a wireless device
US11683408B2 (en) 2017-05-16 2023-06-20 Apple Inc. Methods and interfaces for home media control
US11700326B2 (en) 2014-09-02 2023-07-11 Apple Inc. Phone user interface
US11714597B2 (en) 2019-05-31 2023-08-01 Apple Inc. Methods and user interfaces for sharing audio
US11750734B2 (en) 2017-05-16 2023-09-05 Apple Inc. Methods for initiating output of at least a component of a signal representative of media currently being played back by another device
US11755273B2 (en) 2019-05-31 2023-09-12 Apple Inc. User interfaces for audio media control
US11755712B2 (en) 2011-09-29 2023-09-12 Apple Inc. Authentication with secondary approver
US11785387B2 (en) 2019-05-31 2023-10-10 Apple Inc. User interfaces for managing controllable external devices
US11847378B2 (en) 2021-06-06 2023-12-19 Apple Inc. User interfaces for audio routing
US11900372B2 (en) 2016-06-12 2024-02-13 Apple Inc. User interfaces for transactions
US11907013B2 (en) 2014-05-30 2024-02-20 Apple Inc. Continuity of applications across devices
US11907519B2 (en) 2009-03-16 2024-02-20 Apple Inc. Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate
US11960615B2 (en) 2021-06-06 2024-04-16 Apple Inc. Methods and user interfaces for voice-based user profile management
US12001650B2 (en) 2021-10-20 2024-06-04 Apple Inc. Music user interface

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9654821B2 (en) * 2011-12-30 2017-05-16 Sonos, Inc. Systems and methods for networked music playback
US9674587B2 (en) 2012-06-26 2017-06-06 Sonos, Inc. Systems and methods for networked music playback including remote add to queue
US9501533B2 (en) 2013-04-16 2016-11-22 Sonos, Inc. Private queue for a media playback system
US9247363B2 (en) 2013-04-16 2016-01-26 Sonos, Inc. Playback queue transfer in a media playback system
US9361371B2 (en) 2013-04-16 2016-06-07 Sonos, Inc. Playlist update in a media playback system
US9684484B2 (en) 2013-05-29 2017-06-20 Sonos, Inc. Playback zone silent connect
US10715973B2 (en) 2013-05-29 2020-07-14 Sonos, Inc. Playback queue control transition
US10339293B2 (en) 2014-08-15 2019-07-02 Apple Inc. Authenticated device used to unlock another device
WO2016036510A1 (en) 2014-09-02 2016-03-10 Apple Inc. Music user interface
WO2016052876A1 (en) * 2014-09-30 2016-04-07 Samsung Electronics Co., Ltd. Display apparatus and controlling method thereof
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
KR102291021B1 (ko) * 2017-03-17 2021-08-18 삼성전자주식회사 오디오 출력을 제어하기 위한 전자 장치 및 그의 동작 방법
CN106910503A (zh) * 2017-04-26 2017-06-30 海信集团有限公司 用于智能终端显示用户操控指令的方法、装置和智能终端
US10928980B2 (en) 2017-05-12 2021-02-23 Apple Inc. User interfaces for playing and managing audio items
JP7073640B2 (ja) * 2017-06-23 2022-05-24 カシオ計算機株式会社 電子機器、感情情報取得システム、プログラム及び感情情報取得方法
JP7106827B2 (ja) * 2017-09-11 2022-07-27 富士フイルムビジネスイノベーション株式会社 情報処理装置、プログラム及び制御方法
JP6972806B2 (ja) * 2017-09-11 2021-11-24 富士フイルムビジネスイノベーション株式会社 情報処理装置、プログラム及び制御方法
JP7130929B2 (ja) * 2017-09-11 2022-09-06 富士フイルムビジネスイノベーション株式会社 情報処理装置、プログラム及び制御方法
US11134295B2 (en) * 2017-10-27 2021-09-28 Nagrastar Llc External module comprising processing functionality
US11037555B2 (en) 2017-12-08 2021-06-15 Google Llc Signal processing coordination among digital voice assistant computing devices
US10971173B2 (en) 2017-12-08 2021-04-06 Google Llc Signal processing coordination among digital voice assistant computing devices
US10917687B2 (en) * 2017-12-13 2021-02-09 Google Llc Methods, systems, and media for presenting caption information based on volume setting adjustments
WO2019226030A1 (en) * 2018-05-25 2019-11-28 Samsung Electronics Co., Ltd. Method and apparatus for providing an intelligent response
CN109032554B (zh) * 2018-06-29 2021-11-16 联想(北京)有限公司 一种音频处理方法和电子设备
US11462232B1 (en) * 2020-06-30 2022-10-04 Apple Inc. Methods and systems for visualizing audio properties of objects

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080031470A1 (en) * 2006-08-03 2008-02-07 Sony Ericsson Mobile Communications Ab Remote speaker controller with microphone
US9319741B2 (en) * 2006-09-07 2016-04-19 Rateze Remote Mgmt Llc Finding devices in an entertainment system
US8788080B1 (en) * 2006-09-12 2014-07-22 Sonos, Inc. Multi-channel pairing in a media system
US8219936B2 (en) * 2007-08-30 2012-07-10 Lg Electronics Inc. User interface for a mobile device using a user's gesture in the proximity of an electronic device
US8243949B2 (en) * 2009-04-14 2012-08-14 Plantronics, Inc. Network addressible loudspeaker and audio play
JP5421316B2 (ja) * 2011-03-22 2014-02-19 パナソニック株式会社 ポータブル端末、ペアリングシステム、ペアリング方法
KR101992189B1 (ko) * 2012-09-19 2019-06-24 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9035905B2 (en) * 2012-12-19 2015-05-19 Nokia Technologies Oy Apparatus and associated methods
CN104007903B (zh) * 2013-02-27 2017-03-22 联想(北京)有限公司 一种界面调用方法、装置及电子设备
WO2014185808A1 (en) * 2013-05-13 2014-11-20 3Divi Company System and method for controlling multiple electronic devices
US20150081210A1 (en) * 2013-09-17 2015-03-19 Sony Corporation Altering exercise routes based on device determined information
KR102169952B1 (ko) * 2013-10-18 2020-10-26 엘지전자 주식회사 웨어러블 디바이스 및 그 제어 방법
US9513703B2 (en) * 2013-12-27 2016-12-06 Intel Corporation Gesture-based waking and control system for wearable devices
KR20160099399A (ko) * 2015-02-12 2016-08-22 엘지전자 주식회사 와치 타입 단말기

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11907519B2 (en) 2009-03-16 2024-02-20 Apple Inc. Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate
US11281711B2 (en) 2011-08-18 2022-03-22 Apple Inc. Management of local and remote media items
US11893052B2 (en) 2011-08-18 2024-02-06 Apple Inc. Management of local and remote media items
US11755712B2 (en) 2011-09-29 2023-09-12 Apple Inc. Authentication with secondary approver
US11539831B2 (en) 2013-03-15 2022-12-27 Apple Inc. Providing remote interactions with host device using a wireless device
US11907013B2 (en) 2014-05-30 2024-02-20 Apple Inc. Continuity of applications across devices
US11700326B2 (en) 2014-09-02 2023-07-11 Apple Inc. Phone user interface
US11900372B2 (en) 2016-06-12 2024-02-13 Apple Inc. User interfaces for transactions
US11431836B2 (en) 2017-05-02 2022-08-30 Apple Inc. Methods and interfaces for initiating media playback
US11683408B2 (en) 2017-05-16 2023-06-20 Apple Inc. Methods and interfaces for home media control
US11750734B2 (en) 2017-05-16 2023-09-05 Apple Inc. Methods for initiating output of at least a component of a signal representative of media currently being played back by another device
US11316966B2 (en) 2017-05-16 2022-04-26 Apple Inc. Methods and interfaces for detecting a proximity between devices and initiating playback of media
US11412081B2 (en) 2017-05-16 2022-08-09 Apple Inc. Methods and interfaces for configuring an electronic device to initiate playback of media
US11243740B2 (en) 2017-10-31 2022-02-08 Samsung Electronics Co., Ltd. Electronic device and method for controlling same
US11429402B2 (en) 2019-05-31 2022-08-30 Apple Inc. Multi-user configuration
US11853646B2 (en) 2019-05-31 2023-12-26 Apple Inc. User interfaces for audio media control
US11714597B2 (en) 2019-05-31 2023-08-01 Apple Inc. Methods and user interfaces for sharing audio
US11983551B2 (en) 2019-05-31 2024-05-14 Apple Inc. Multi-user configuration
US11755273B2 (en) 2019-05-31 2023-09-12 Apple Inc. User interfaces for audio media control
US11675608B2 (en) 2019-05-31 2023-06-13 Apple Inc. Multi-user configuration
KR20210137221A (ko) * 2019-05-31 2021-11-17 애플 인크. 오디오 미디어 제어를 위한 사용자 인터페이스
US11785387B2 (en) 2019-05-31 2023-10-10 Apple Inc. User interfaces for managing controllable external devices
KR20230039775A (ko) * 2019-05-31 2023-03-21 애플 인크. 오디오 미디어 제어를 위한 사용자 인터페이스
US11620103B2 (en) 2019-05-31 2023-04-04 Apple Inc. User interfaces for audio media control
KR102065310B1 (ko) * 2019-07-31 2020-01-13 이기만 인공 지능 기반 음성 제어를 이용한 구내 방송 제어 시스템
US11513667B2 (en) 2020-05-11 2022-11-29 Apple Inc. User interface for audio message
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
US11782598B2 (en) 2020-09-25 2023-10-10 Apple Inc. Methods and interfaces for media control with dynamic feedback
US11847378B2 (en) 2021-06-06 2023-12-19 Apple Inc. User interfaces for audio routing
US11960615B2 (en) 2021-06-06 2024-04-16 Apple Inc. Methods and user interfaces for voice-based user profile management
US12001650B2 (en) 2021-10-20 2024-06-04 Apple Inc. Music user interface

Also Published As

Publication number Publication date
WO2017039142A1 (en) 2017-03-09
EP3139261A1 (en) 2017-03-08
US20170068507A1 (en) 2017-03-09

Similar Documents

Publication Publication Date Title
KR20170027999A (ko) 사용자 단말 장치, 시스템 및 그 제어 방법
US11172298B2 (en) Systems, methods, and user interfaces for headphone fit adjustment and audio output control
US11683408B2 (en) Methods and interfaces for home media control
US10929099B2 (en) Spatialized virtual personal assistant
JP6365939B2 (ja) 睡眠補助システム
CN103677261B (zh) 用户装置的情景感知服务提供方法和设备
US20160378429A1 (en) Audio systems and related methods and devices
CN108885485A (zh) 基于存在性检测的数字助理体验
JP2014095766A (ja) 情報処理装置、情報処理方法及びプログラム
KR20170124933A (ko) 디스플레이 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
TW201510740A (zh) 隨身電腦以及將隨身電腦功能連接至獨立計算裝置的方法
KR20160060972A (ko) 디스플레이 장치를 제어하기 위한 사용자 단말 및 이의 제어 방법
KR20150012464A (ko) 디스플레이 장치 및 개인화 서비스 제공 방법
CN110830368B (zh) 即时通讯消息发送方法及电子设备
KR20220149570A (ko) 오디오 처리 방법 및 전자 기기
CN105824427A (zh) 基于手势操作进行音量调节的方法及系统
KR20140096573A (ko) 컨텐츠 재생을 제어하기 위한 방법 및 장치
US20140188876A1 (en) Information processing device, information processing method and computer program
KR20140006503A (ko) 휴대 단말기의 사용자 음성 녹음 및 재생 방법 및 장치
WO2017214732A1 (en) Remote control by way of sequences of keyboard codes
KR102428375B1 (ko) 영상 표시 장치 및 그 동작방법
KR20170015039A (ko) 사용자 단말장치, 음향 시스템 및 외부 스피커의 음량 제어 방법
KR102077228B1 (ko) 전자 장치 및 이의 제어 방법
US20230164296A1 (en) Systems and methods for managing captions
EP3502835A1 (en) Gesture control of a data processing apparatus