KR20190051379A - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20190051379A
KR20190051379A KR1020170146934A KR20170146934A KR20190051379A KR 20190051379 A KR20190051379 A KR 20190051379A KR 1020170146934 A KR1020170146934 A KR 1020170146934A KR 20170146934 A KR20170146934 A KR 20170146934A KR 20190051379 A KR20190051379 A KR 20190051379A
Authority
KR
South Korea
Prior art keywords
external device
user
received
voice
response information
Prior art date
Application number
KR1020170146934A
Other languages
English (en)
Other versions
KR102429582B1 (ko
Inventor
안준영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170146934A priority Critical patent/KR102429582B1/ko
Priority to EP18185229.4A priority patent/EP3481072B1/en
Priority to US16/168,408 priority patent/US11340866B2/en
Publication of KR20190051379A publication Critical patent/KR20190051379A/ko
Application granted granted Critical
Publication of KR102429582B1 publication Critical patent/KR102429582B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G06F1/1605—Multimedia displays, e.g. with integrated or attached speakers, cameras, microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/04—Structural association of microphone with electric circuitry therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Social Psychology (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Neurosurgery (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)
  • Selective Calling Equipment (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

전자 장치 및 그 제어 방법이 개시된다. 본 발명은 사용자의 음성을 수신할 수 있는 마이크, 통신부 및 마이크를 통해 제1 음성이 수신되면, 제1 음성에 대응하는 제1 응답 정보를 제공하고, 통신부를 통해 외부 장치로부터 사용자 감지 신호가 수신되면, 제1 응답 정보를 외부 장치로 전송하도록 통신부를 제어하는 프로세서를 포함한다.

Description

전자 장치 및 그 제어 방법 {ELECTRONIC APPARATUS AND METHOD FOR THEROF}
본 발명은, 전자 장치 및 그 제어 방법에 관한 것으로써, 보다 상세하게는 다양한 데이터를 송수신 할 수 있는 전자 장치 및 그 제어 방법에 관한 것이다.
최근 전자 기술의 발전으로, TV, 컴퓨터, 노트북 등의 다양한 전자 장치들이 개발되고 있으며, 이러한 전자 장치들은 소비자의 디테일한 요구 사항을 만족시키기 위해서 다양한 컨텐츠를 제공하고 있다. 예를 들어, DTV(Digital Television)등의 디스플레이 장치는 다양한 방송 프로그램을 고품질의 화면으로 제공할 수 있을 뿐만 아니라, 컴퓨터와 같은 데이터 처리 기능이 추가됨으로써 다양한 방송 서비스를 제공할 수 있게 되었다.
한편, 가정 내에는 복수의 디스플레이 장치가 구비되어 있을 수 있다. 이 경우, 사용자는 Room 1에서 제1 디스플레이 장치를 통해 방송을 시청하다가 Room 2로 위치를 옮겨 동일한 방송을 제2 디스플레이 장치를 통해 시청하고자 할 수 있다.
그런데, 종래의 디스플레이 장치의 사용자는 제1 디스플레이 장치를 통해 시청하던 방송과 동일한 방송을 Room 2의 제2 디스플레이 장치를 통해 시청하기 위해서, 제2 디스플레이 장치의 채널을 별도로 조작해야 하는 번거로움이 있었다.
또한, 종래의 디스플레이 장치는 사용자가 제1 디스플레이 장치에 음성을 입력할 경우, 제1 디스플레이 장치만 음성 인식 결과를 제공할 뿐이었다. 이에 따라, 사용자는 제2 디스플레이 장치에 다시 동일한 음성을 입력해야만 하는 불편함이 있었다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 사용자가 위치를 옮겨 다른 디스플레이 장치를 통해 영상을 시청하고자 하는 경우, 이전의 디스플레이 장치에서 제공되던 영상과 관련된 영상을 계속해서 제공할 수 있는 전자 장치 및 그 제어 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전자 장치는, 사용자의 음성을 수신할 수 있는 마이크, 통신부 및 상기 마이크를 통해 제1 음성이 수신되면, 상기 제1 음성에 대응하는 제1 응답 정보를 제공하고, 상기 통신부를 통해 외부 장치로부터 사용자 감지 신호가 수신되면, 상기 제1 응답 정보를 상기 외부 장치로 전송하도록 상기 통신부를 제어하는 프로세서를 포함한다.
그리고, 본 전자 장치는 센서를 더 포함하고, 상기 프로세서는 상기 센서를 통해 제1 영역에서 상기 제1 영역 외로 이동하는 상기 사용자의 움직임이 감지되고, 상기 외부 장치로부터 상기 사용자 감지 신호가 수신되면, 상기 제1 응답 정보를 상기 외부 장치로 전송할 수 있고, 상기 제1 영역은 상기 전자 장치로부터 기설정된 영역이 될 수 있다.
그리고, 본 전자 장치는 카메라를 더 포함하고, 상기 프로세서는 상기 카메라를 통해 촬영된 영상을 통해 제1 영역에서 상기 제1 영역 외로 이동하는 상기 사용자의 움직임이 감지되고, 상기 외부 장치로부터 상기 사용자 감지 신호가 수신되면, 상기 제1 응답 정보를 상기 외부 장치로 전송할 수 있고, 상기 제1 영역은 상기 전자 장치로부터 기설정된 영역이 될 수 있다.
그리고, 상기 프로세서는 복수의 외부 장치로부터 상기 사용자 감지 신호가 수신되는 경우, 상기 수신한 사용자 감지 신호에 기초해서, 상기 사용자를 기설정된 시간 이상 감지한 외부 장치를 식별하고, 상기 제1 응답 정보를 상기 식별한 외부 장치로 전송할 수 있다.
여기에서, 상기 사용자 감지 신호는 상기 외부 장치의 카메라를 통해 촬영된 영상, 상기 외부 장치의 마이크를 통해 수신된 음성, 상기 외부 장치의 적외선 센서를 통해 감지된 상기 사용자의 움직임 중 적어도 하나에 기초하여 생성될 수 있다.
그리고, 상기 프로세서는 상기 외부 장치로부터, 상기 외부 장치의 마이크를 통해 수신된 제2 음성에 대응하는 제2 음성 신호가 수신되는 경우, 상기 제1 응답 정보 및 상기 제2 음성 신호에 기초하여 생성된 제2 응답 정보를 상기 외부 장치로 전송할 수 있다.
그리고, 상기 프로세서는 상기 제1 응답 정보 및 상기 제2 음성 신호를 서버로 전송하고, 상기 서버로부터 상기 제1 응답 정보 및 상기 제2 음성 신호에 기초하여 생성된 상기 제2 응답 정보를 수신하며, 상기 수신한 제2 응답 정보를 상기 외부 장치로 전송할 수 있다.
그리고, 상기 프로세서는 상기 제1 음성이 수신된 때로부터 기설정된 시간 내 상기 통신부를 통해 상기 제2 음성 신호가 수신되는 경우, 상기 제2 응답 정보를 상기 외부 장치로 전송하고, 상기 제1 음성이 수신된 때로부터 기설정된 시간 후 상기 통신부를 통해 상기 제2 음성 신호가 수신되는 경우, 상기 제2 음성 신호에 대응하는 제3 응답 정보를 상기 외부 장치로 전송할 수 있다.
또한, 상기 프로세서는 상기 제1 음성이 수신된 때로부터 기설정된 시간 내 상기 통신부를 통해 상기 제2 음성 신호가 수신되는 경우, 상기 제1 응답 정보 및 상기 제2 음성 신호를 서버로 전송하고, 상기 서버로부터 상기 제1 응답 정보 및 상기 제2 음성 신호에 기초하여 생성된 상기 제2 응답 정보를 수신하며, 상기 수신한 제2 응답 정보를 상기 외부 장치로 전송하고, 상기 제1 음성이 수신된 때로부터 기설정된 시간 후 상기 통신부를 통해 상기 제2 음성 신호가 수신되는 경우, 상기 제2 음성 신호를 상기 서버로 전송하고, 상기 서버로부터 상기 제2 음성 신호에 대응하는 제3 응답 정보를 수신하며, 상기 수신한 제3 응답 정보를 상기 외부 장치로 전송할 수 있다.
그리고, 상기 프로세서는 상기 외부 장치로부터, 상기 외부 장치의 마이크를 통해 수신된 제2 음성에 대응하는 제2 음성 신호가 수신되면, 상기 제1 음성의 특징 및 상기 제2 음성의 특징을 비교하고, 상기 제1 및 제2 음성을 입력한 사용자가 동일한 사용자라고 판단되면, 상기 제1 응답 정보를 상기 외부 장치로 전송할 수 있다.
또한, 상기 프로세서는 상기 제1 음성의 특징에 기초하여 상기 사용자를 식별하고, 상기 식별한 사용자의 시청 이력 정보를 상기 외부 장치로 전송할 수 있다.
또한, 상기 프로세서는 상기 전자 장치에서 선국된 방송 채널 번호, 방송 장르 및 채널 재핑 특성 중 적어도 하나에 기초해서 상기 사용자를 식별하고, 상기 식별된 사용자의 시청 이력 정보를 상기 외부 장치로 전송할 수 있다.
또한, 상기 프로세서는 상기 전자 장치가 제공 중인 컨텐츠에 대한 정보를 상기 외부 장치로 전송할 수 있고, 상기 컨텐츠에 대한 정보는 상기 전자 장치에서 선국된 방송 채널 정보, 상기 전자 장치에서 실행 중인 어플리케이션 정보 및 상기 전자 장치에서 재생 중인 멀티미디어 컨텐츠 정보 중 적어도 하나가 될 수 있다.
또한, 상기 프로세서는 사용자 단말 장치와 통신을 수행하여, 상기 사용자 단말 장치로부터 수신한 컨텐츠를 제공하고, 상기 사용자 단말 장치와의 통신 연결이 해제되고, 상기 외부 장치로부터 사용자 단말 장치 감지 신호가 수신되면, 상기 컨텐츠와 관련된 정보를 상기 외부 장치로 전송할 수 있다.
한편, 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법은, 마이크를 통해 제1 음성을 수신하는 단계, 상기 제1 음성에 대응하는 제1 응답 정보를 제공하는 단계 및 외부 장치로부터 사용자 감지 신호가 수신되면, 상기 제1 응답 정보를 상기 외부 장치로 전송하는 단계를 포함한다.
그리고, 상기 전송하는 단계는 센서를 통해 제1 영역에서 상기 제1 영역 외로 이동하는 상기 사용자의 움직임이 감지되고 상기 외부 장치로부터 상기 사용자 감지 신호가 수신되면, 상기 제1 응답 정보를 상기 외부 장치로 전송할 수 있고, 상기 제1 영역은 상기 전자 장치로부터 기설정된 영역이 될 수 있다.
그리고, 상기 전송하는 단계는 카메라를 통해 촬영된 영상을 통해 제1 영역에서 상기 제1 영역 외로 이동하는 상기 사용자의 움직임이 감지되고, 상기 외부 장치로부터 상기 사용자 감지 신호가 수신되면, 상기 제1 응답 정보를 상기 외부 장치로 전송할 수 있고, 상기 제1 영역은 상기 전자 장치로부터 기설정된 영역이 될 수 있다.
그리고, 상기 전송하는 단계는 복수의 외부 장치로부터 상기 사용자 감지 신호가 수신되는 경우, 상기 수신한 사용자 감지 신호에 기초해서, 상기 사용자를 기설정된 시간 이상 감지한 외부 장치를 식별하고, 상기 제1 응답 정보를 상기 식별한 외부 장치로 전송할 수 있다.
여기에서, 상기 사용자 감지 신호는 상기 외부 장치의 카메라를 통해 촬영된 영상, 상기 외부 장치의 마이크를 통해 수신된 음성, 상기 외부 장치의 적외선 센서를 통해 감지된 상기 사용자의 움직임 중 적어도 하나에 기초하여 생성될 수 있다.
그리고, 본 방법은 상기 외부 장치로부터, 상기 외부 장치의 마이크를 통해 수신된 제2 음성에 대응하는 제2 음성 신호가 수신하는 단계 및 상기 제1 응답 정보 및 상기 제2 음성 신호에 기초하여 생성된 제2 응답 정보를 상기 외부 장치로 전송하는 단계를 더 포함할 수 있다.
그리고, 상기 전송하는 단계는 상기 제1 응답 정보 및 상기 제2 음성 신호를 서버로 전송하고, 상기 서버로부터 상기 제1 응답 정보 및 상기 제2 음성 신호에 기초하여 생성된 상기 제2 응답 정보를 수신하며, 상기 수신한 제2 응답 정보를 상기 외부 장치로 전송할 수 있다.
그리고, 상기 전송하는 단계는 상기 제1 음성이 수신된 때로부터 기설정된 시간 내 상기 통신부를 통해 상기 제2 음성 신호가 수신되는 경우, 상기 제2 응답 정보를 상기 외부 장치로 전송하고, 상기 제1 음성이 수신된 때로부터 기설정된 시간 후 상기 통신부를 통해 상기 제2 음성 신호가 수신되는 경우, 상기 제2 음성 신호에 대응하는 제3 응답 정보를 상기 외부 장치로 전송할 수 있다.
또한, 상기 제2 응답 정보를 상기 외부 장치로 전송하는 단계는 상기 제1 음성이 수신된 때로부터 기설정된 시간 내 상기 통신부를 통해 상기 제2 음성 신호가 수신되는 경우, 상기 제1 응답 정보 및 상기 제2 음성 신호를 서버로 전송하고, 상기 서버로부터 상기 제1 응답 정보 및 상기 제2 음성 신호에 기초하여 생성된 상기 제2 응답 정보를 수신하며, 상기 수신한 제2 응답 정보를 상기 외부 장치로 전송하고, 상기 제3 응답 정보를 상기 외부 장치로 전송하는 단계는, 상기 제1 음성이 수신된 때로부터 기설정된 시간 후 상기 통신부를 통해 상기 제2 음성 신호가 수신되는 경우, 상기 제2 음성 신호를 상기 서버로 전송하고, 상기 서버로부터 상기 제2 음성 신호에 대응하는 제3 응답 정보를 수신하며, 상기 수신한 제3 응답 정보를 상기 외부 장치로 전송할 수 있다.
그리고, 상기 전송하는 단계는 상기 외부 장치로부터, 상기 외부 장치의 마이크를 통해 수신된 제2 음성에 대응하는 제2 음성 신호가 수신되면, 상기 제1 음성의 특징 및 상기 제2 음성의 특징을 비교하고, 상기 제1 및 제2 음성을 입력한 사용자가 동일한 사용자라고 판단되면, 상기 제1 응답 정보를 상기 외부 장치로 전송할 수 있다.
또한, 본 방법은 상기 제1 음성의 특징에 기초하여 상기 사용자를 식별하고, 상기 식별한 사용자의 시청 이력 정보를 상기 외부 장치로 전송하는 단계를 더 포함할 수 있다.
또한, 본 방법은 상기 전자 장치에서 선국된 방송 채널 번호, 방송 장르 및 채널 재핑 특성 중 적어도 하나에 기초해서 상기 사용자를 식별하고, 상기 식별된 사용자의 시청 이력 정보를 상기 외부 장치로 전송하는 단계를 더 포함할 수 있다.
또한, 본 방법은 상기 전자 장치가 제공 중인 컨텐츠에 대한 정보를 상기 외부 장치로 전송하는 단계를 더 포함하고, 상기 컨텐츠에 대한 정보는 상기 전자 장치에서 선국된 방송 채널 정보, 상기 전자 장치에서 실행 중인 어플리케이션 정보 및 상기 전자 장치에서 재생 중인 멀티미디어 컨텐츠 정보 중 적어도 하나가 될 수 있다.
또한, 본 방법은 사용자 단말 장치와 통신을 수행하여, 상기 사용자 단말 장치로부터 수신한 컨텐츠를 제공하는 단계 및 상기 사용자 단말 장치와의 통신 연결이 해제되고, 상기 외부 장치로부터 사용자 단말 장치 감지 신호가 수신되면, 상기 컨텐츠와 관련된 정보를 상기 외부 장치로 전송하는 단계를 더 포함할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 사용자는 전자 장치를 통해 제공되던 영상과 관련된 영상을, 전지 장치와는 다른 위치에 있는 외부 장치를 통해 연속적으로 시청할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시 예에 따른, 전자 시스템(1000)을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 전자 장치를 설명하기 위한 블록도이다.
도 3은, 사용자가 음성을 발화한 후 위치를 이동한 경우에 있어서, 전자 장치의 동작을 설명하기 위한 흐름도이다.
도 4a 및 도 4b는, 사용자가 음성을 발화한 후 위치를 이동한 경우에 있어서, 전자 장치의 동작을 설명하기 일 실시 예이다.
도 5는 사용자가 위치를 이동한 후 새로운 음성을 발화한 경우에 있어서, 전자 장치의 동작을 설명하기 위한 흐름도이다.
도 6a 및 도 6b는 사용자가 위치를 이동한 후 새로운 음성을 발화한 경우에 있어서, 전자 장치의 동작을 설명하기 일 실시 예이다.
도 7a 및 도 7b는 영상을 시청하던 사용자가 위치를 이동한 경우에 있어서, 전자 장치의 동작을 설명하기 일 실시 예이다.
도 8은, 영상을 시청하던 사용자가 위치를 이동한 경우에 있어서, 전자 장치의 동작을 설명하기 다른 실시 예이다.
도 9는, 식별된 사용자가 위치를 이동한 경우에 있어서, 전자 장치의 동작을 설명하기 위한 흐름도이다.
도 10은, 인공 지능 기술을 이용하여 사용자를 식별하는 전자 장치의 동작을 설명하기 위한 도면이다.
도 11은, 시청 이력 정보를 제공하는 전자 장치의 동작을 설명하기 위한 실시 예이다.
도 12는 시청 이력 정보를 제공하는 전자 장치의 동작을 설명하기 위한 다른 실시 예이다.
도 13은, 본 발명의 일 실시 예에 따른 전자 장치를 설명하기 위한 다른 블록도이다.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 발명의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그에 대한 상세한 설명은 축약하거나 생략한다.
나아가, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시 예를 상세하게 설명하지만, 본 발명이 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시 예에 따른 디스플레이 장치에 대하여 설명한다.
도 1은 본 발명의 일 실시 예에 따른, 전자 시스템(1000)을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 전자 시스템(1000)는 전자 장치(100), 외부 장치(200) 및 서버(300)를 포함한다.
전자 장치(100)는 인터넷이 가능한 장치로써, 도 1에 도시된 바와 같이 전자 장치(100)는 스마트 TV로 구현될 수 있다. 다만, 이는 일 실시 예일 뿐, 전자 장치(100)는 셋톱박스(Set Top Box), 스마트 폰, 데스크 탑 PC, 노트북 등과 같은 다양한 전자 장치로 구현될 수 있다.
전자 장치(100)는 외부 장치(200)와 통신을 수행하여, 다양한 데이터를 송수신 할 수 있다. 예를 들어, 전자 장치(100)는 외부 장치(200)와 통신을 수행하여, 전자 장치(100)가 제공 중인 영상에 대한 정보를 외부 장치로(200) 전송할 수 있다.
여기에서, 전자 장치(100)가 제공 중인 영상에 대한 정보는, 전자 장치(100)가 제공 중인 방송 영상에 대한 정보가 될 수 있음은 물론, 멀티 미디어 컨텐츠 영상에 대한 정보, 어플리케이션 영상에 대한 정보 등 다양한 정보가 될 수 있다.
또한, 사용자가 전자 장치(100)에 음성을 발화한 경우, 제공 중인 영상에 대한 정보는 음성 인식 결과에 대한 정보가 될 수 있다.
이에 따라, 사용자가 외부 장치(200)를 턴 온 하는 경우, 종래의 디스플레이 장치가 턴 오프 직전의 영상을 제공하는 것과 달리, 본 발명의 일 실시 예에 따른 외부 장치(200)는 전자 장치(100)가 제공하던 영상을 제공할 수 있다.
이에 따라, 사용자는 별도의 사용자 명령을 입력할 필요 없이, 전자 장치(100)가 제공하던 영상을 연속적으로 제공 받을 수 있다.
이와 같은 기능을 실행하는 외부 장치(200)는 도 1에 도시된 바와 같이, 스마트 TV로 구현될 수 있다. 다만, 이는 일 실시 예일 뿐, 외부 장치(200)는 스마트 폰, 데스크 탑 PC, 노트북 등과 같은 다양한 전자 장치로 구현될 수 있다.
한편, 도 1에서는 하나의 외부 장치를 도시하였으나, 외부 장치의 개수가 이에 제한되지 않음은 물론이다. 즉, 외부 장치는 복수 개로 구현될 수 있다.
전자 장치(100)는 서버(300)와 통신을 수행하여, 다양한 데이터를 송수신할 수 있다. 예를 들어, 전자 장치(100)는 전자 장치(100)의 마이크를 통해 사용자의 음성이 수신되면, 수신된 음성에 대응하는 음성 신호를 서버(300)로 전송할 수 있다.
그리고, 전자 장치(100)는 서버(300)로부터 음성 신호에 대응하는 음성 인식 결과(이하, 응답 정보라 한다)를 수신할 수 있다.
한편, 전자 장치(100)는 전술한 바와 같이, 서버(300)로부터 수신한 응답 정보를 외부 장치(200)로 전송할 수 있다. 이에 따라, 사용자는 전자 장치(100)에 입력한 음성과 동일한 음성을 외부 장치(200)에 다시 입력하지 않고도, 전자 장치(100)가 제공하던 응답 정보를 제공받을 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 대해 보다 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시 예에 따른 전자 장치를 설명하기 위한 블록도이다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 전자 장치(100)는 마이크(110), 통신부(120) 및 프로세서(130)를 포함한다.
마이크(110)는 사용자 음성을 수신할 수 있다. 여기에서, 사용자 음성은 전자 장치(100)의 특정 기능을 실행시키기 위해 사용자가 발화한 음성이 될 수 있음은 물론, 일상 대화에서 사용자가 발화하는 음성이 될 수 있다.
통신부(120)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 장치와 통신을 수행할 수 있다.
통신부(120)는 방송 컨텐츠(또는, 방송 신호)를 수신할 수 있다. 방송 컨텐츠는 영상, 오디오 및 부가 데이터(예를 들어, EPG)를 포함할 수 있으며, 통신부(130)는 지상파 방송, 케이블 방송, 위성 방송, 인터넷 방송 등과 같이 다양한 소스로부터 방송 컨텐츠를 수신할 수 있다.
이를 위해, 통신부(120)는 튜너(미도시), 복조기(미도시), 등화기(미도시) 등과 같은 구성을 포함할 수 있다.
통신부(120)는 외부 장치(200)와 통신을 수행하여, 다양한 데이터를 송수신할 수 있다. 예를 들어, 통신부(120)는 외부 장치(200)와 통신을 수행하여, 전자 장치(100)가 제공 중인 영상에 대한 정보를 외부 장치로(200) 전송할 수 있다.
여기에서, 전자 장치(100)가 제공 중인 영상에 대한 정보는, 전자 장치(100)가 제공 중인 방송 영상에 대한 정보가 될 수 있음은 물론, 멀티 미디어 컨텐츠 영상에 대한 정보, 어플리케이션 영상에 대한 정보 등 다양한 정보가 될 수 있다.
또한, 사용자가 마이크(110)에 음성을 입력한 경우, 전자 장치(100)가 제공 중인 영상에 대한 정보는 입력한 음성에 대한 응답 정보가 될 수 있다.
이를 위해, 통신부(120)는 와이파이 칩, 블루투스 칩 등을 포함할 수 있다.
통신부(120)는 서버(300)와 통신을 수행하여, 다양한 데이터를 송수신할 수 있다. 예를 들어, 마이크(110)를 통해 사용자의 음성이 수신되면, 통신부(120)는 수신된 사용자 음성에 대응하는 음성 신호를 서버(300)로 전송할 수 있다.
그리고, 통신부(120)는 서버(300)로부터 음성 신호에 대응하는 응답 정보를 수신할 수 있다.
이를 위해, 통신부(120)는 무선 통신 칩을 더 포함할 수 있다.
프로세서(130)는 전자 장치(100)의 전반적인 동작을 제어한다. 이를 위해, 프로세서(130)는 중앙처리장치(central processing unit(CPU)), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다.
이하, 첨부된 도면을 참조하여 프로세서(130)의 동작에 대해 상세히 설명한다.
도 3은, 사용자가 음성을 발화한 후 위치를 이동한 경우에 있어서, 전자 장치의 동작을 설명하기 위한 흐름도이다.
프로세서(130)는 마이크(110)를 통해 사용자 음성이 수신되면, 사용자 음성에 대응하는 응답 정보를 제공(S310)할 수 있다.
구체적으로, 마이크(110)를 통해 사용자 음성이 수신되면, 프로세서(130)는 아날로그 신호인 사용자 음성을 디지털 신호(이하, 음성 신호라 한다)로 변환하여 서버(300)로 전송할 수 있다. 이를 위해, 프로세서(130)는 아날로그/디지털 컨버터(미도시)를 이용할 수 있다.
그리고, 서버(300)는 전자 장치(100)로부터 음성 신호가 수신되면, 이를 텍스트로 변환할 수 있다. 예를 들어, 서버(300)는 음성 신호가 수신되면, STT(Speech to Text) 알고리즘을 통해 음성 신호를 텍스트로 변환될 수 있다.
그리고, 서버(300)는 텍스트에서 발화 요소를 추출할 수 있다. 여기에서, 발화 요소는 사용자 음성 내에서 사용자가 요청한 동작을 수행하기 위한 키워드이다. 예를 들어, "내일 서울 날씨 어때"와 같은 사용자 음성에 대응하는 음성 신호가 전자 장치(100)로부터 수신될 경우, 서버(300)는 음성 신호를 텍스트로 변환한 후, 변환된 텍스트에서 "내일", "서울", "날씨" 및 "어때?"라는 발화 요소를 추출할 수 있다.
이후, 서버(300)는 추출한 발화 요소에 기초해서 날씨 정보를 써치하고, 써치 결과에 대한 정보를 포함하는 응답 정보를 전자 장치(200)로 전송할 수 있다.
이에 따라, 프로세서(130)는 서버(300)로부터 수신한 응답 정보에 기초해서, 서울의 내일 날씨에 대한 정보, 즉 사용자 음성에 대응하는 응답 정보를 제공할 수 있다.
이후, 통신부(120)를 통해 외부 장치(200)로부터 사용자 감지 신호가 수신되면, 프로세서(130)는 서버(300)로부터 수신한 응답 정보를 외부 장치(200)로 전송(S320)할 수 있다.
구체적으로, 프로세서(130)는 제1 영역에서 음성을 발화한 사용자가 제1 영역 외로 이동하는 움직임이 감지되고, 외부 장치(200)로부터 사용자 감지 신호가 수신되는 경우, 서버(300)로부터 수신한 응답 정보를 외부 장치(200)로 전송할 수 있다. 즉, 프로세서(130)는 사용자가 음성을 발화한 후 위치를 이동한 경우 서버(300)로부터 수신한 응답 정보를 외부 장치(200)로 전송할 수 있다.
여기에서, 제1 영역은 전자 장치(100)로부터 기설정된 영역이 될 수 있다. 예를 들어, 제1 영역은 전자 장치(100)의 전방으로 가상의 선을 생성하였을 때, 가상의 선을 기준으로 ±45 °로 생성되는 가상의 선들의 내부 영역이 될 수 있다.
다만, 이는 일 실시 예일 뿐, 제1 영역은 적외선 센서 등 전자 장치(100)에 구비된 센서에 의해 사용자가 감지되는 영역이 될 수도 있다. 이 경우, 프로세서(130)는 센서에 의해 사용자가 감지되지 않으면, 사용자가 기설정된 영역 외로 이동한 것으로 판단할 수 있다.
이를 위해, 프로세서(130)는 센서(미도시)를 통해 음성을 발화한 사용자의 움직임을 감지할 수 있다. 여기에서, 센서(미도시)는 전술한 바와 같이 적외선 센서로 구현될 수 있을 뿐만 아니라, 조도 센서, 컬러 센서 등 전자 장치(100) 전방의 사용자 움직임을 감지할 수 있는 다양한 센서로 구현될 수 있다.
이 경우, 프로세서(130)는 적외선 센서를 통해 감지된 적외선 정보에 기초해 제1 영역 외로 움직이는 사용자를 감지하거나, 조도 센서 또는 컬러 센서를 통해 감지된 조도 값 변화 또는 컬러 값 변화에 기초해서 제1 영역 외로 움직이는 사용자를 감지할 수 있다.
또한, 프로세서(130)는 카메라(미도시)를 통해 촬영된 영상을 통해 제1 영역에서 음성을 발화한 사용자가 제1 영역 외로 이동하는 움직임이 감지되고, 외부 장치(200)로부터 사용자 감지 신호가 수신되는 경우, 서버(300)로부터 수신한 응답 정보를 외부 장치(200)로 전송할 수도 있다.
이 경우, 제1 영역은 전술한 바와 같이, 전자 장치(100)의 전방으로 가상의 선을 생성하였을 때, 가상의 선을 기준으로 ±45 °로 생성되는 가상의 선들의 내부 영역이 될 수 있음은 물론, 카메라를 통해 촬영된 영상에 포함된 영역이 제1 영역이 될 수 있다.
한편, 사용자 감지 신호는 외부 장치(200)에 의해 생성되는 신호가 될 수 있다.
구체적으로, 외부 장치(200)는 외부 장치(200)의 카메라를 통해 촬영된 영상에서 사용자 감지되는 경우, 외부 장치(200)의 마이크를 통해 사용자의 음성이 수신되는 경우 또는 외부 장치(200)의 센서를 통해 사용자의 움직임이 감지되는 경우에, 사용자가 감지되었다는 정보를 포함하는 사용자 감지 신호를 생성할 수 있다. 여기에서, 외부 장치(200)의 센서는 적외선 센서, 조도 센서, 컬러 센서 등 외부 장치(200) 전방의 사용자 움직임을 감지할 수 있는 다양한 센서로 구현될 수 있다.
한편, 여기서는 외부 장치(200)로부터 사용자 감지 신호가 수신되면, 프로세서(130)가 서버(300)로부터 수신한 응답 정보를 외부 장치(200)로 전송하는 것으로 설명하였으나, 프로세서(130)는 외부 장치(200)로부터 사용자 감지 신호가 수신되기 전부터 서버(300)로부터 수신한 응답 정보를 외부 장치(200)와 공유할 수 있다.
즉, 프로세서(130)는 제1 영역 외로 이동하는 사용자의 움직임이 감지되기 전부터, 서버(300)로부터 수신한 응답 정보를 외부 장치(200)와 공유할 수 있다. 이 경우, 외부 장치(200)는 사용자가 감지되면, 별도로 사용자 감지 신호를 전자 장치(100)로 전송하지 않고, 공유 중인 응답 정보를 제공할 수도 있다.
한편, 경우에 따라 프로세서(130)는 복수의 외부 장치로부터 사용자 감지 신호를 수신할 수 있다. 예를 들어, 동일한 Room에 제1 및 제2 외부 장치가 존재하는 상태에서, 사용자가 제1 외부 장치로부터 기설정된 영역을 지나 제2 외부 장치로부터 기설정된 영역으로 이동하는 경우 또는 Room 1에 제1 외부 장치가 존재하고 Room 2에 제2 외부 장치가 존재하는 상태에서, 사용자가 Room 1의 제1 외부 장치로부터 기설정된 영역을 지나 Room 2의 제2 외부 장치로부터 기설정된 영역으로 이동하는 경우, 프로세서(130)는 제1 및 제2 외부 장치 각각으로부터 사용자 감지 신호를 수신할 수 있다.
이 경우, 프로세서(130)는 제1 및 제2 외부 장치로부터 수신한 사용자 감지 신호에 기초해서, 사용자를 기설정된 시간 이상 감지한 외부 장치를 식별할 수 있다. 구체적으로, 프로세서(130)는 사용자 감지 신호에 포함된 사용자 감지 정보를 통해서, 제1 및 제2 외부 장치 각각이 사용자를 감지한 시간을 판단하고, 기설정된 시간 이상 사용자를 감지한 외부 장치를 식별할 수 있다.
예를 들어, 제1 외부 장치로부터 수신한 사용자 감지 신호에 포함된 사용자 감지 정보에는 사용자를 2초간 감지하였다는 정보가 포함되고, 제2 외부 장치로부터 수신한 사용자 감지 신호에 포함된 사용자 감지 정보에는 사용자를 4초간 감지하였다는 정보가 포함되어 있으며, 기설정된 시간이 3초인 경우, 프로세서(130)는 3초 이상 사용자를 감지한 제2 외부 장치를 식별할 수 있다. 그리고, 프로세서(130)는 서버(300)로부터 수신한 응답 정보를 제2 외부 장치로 전송할 수 있다.
한편, 상술한 경우 외에도, 프로세서(130)는 다양한 경우에 있어서 응답 정보를 외부 장치(200)로 전송할 수 있다.
예를 들어, 프로세서(130)는 전자 장치(100)가 턴 오프되고, 기설정된 시간 내 외부 장치(200)가 턴 온되면, 서버(300)로부터 수신한 응답 정보를 외부 장치(200)로 전송할 수 있다. 이를 위해, 프로세서(130)는 외부 장치(200)로부터 외부 장치의 상태 정보를 수신할 수 있다. 여기에서, 상태 정보는 외부 장치 전원의 온/오프에 대한 정보를 포함할 수 있다.
또한, 프로세서(130)는 전자 장치(200)에 블루투스, 와이파이 등의 네트워크를 통해 연결된 사용자 단말 장치가, 전자 장치(200)와의 네트워크 연결을 해제하고, 외부 장치(200)와 네트워크 연결될 경우, 서버(300)로부터 수신한 응답 정보를 외부 장치(200)로 전송할 수 있다. 이를 위해, 프로세서(130)는 외부 장치(200)로부터 사용자 단말 장치 감지 신호를 수신할 수 있다. 여기에서, 사용자 단말 장치 감지 신호는, 사용자 단말 장치가 외부 장치(200)에 통신 연결되었다는 정보를 포함할 수 있다.
이와 같은 다양한 경우에 있어서, 프로세서(130)는 서버(300)로부터 수신한 응답 정보를 외부 장치(200)로 전송할 수 있다.
이에 따라, 외부 장치(200)는 전자 장치(100)로부터 수신한 응답 정보를 제공할 수 있다. 그리고, 사용자는 동일한 음성을 외부 장치(200)에 다시 발화할 필요 없이, 전자 장치(100)에서 제공되던 응답 정보를 외부 장치(200)를 통해 제공 받을 수 있다는 점에서 사용자 편의성이 증대되는 효과가 있다.
한편, 이상에서는 서버(300)로부터부터 전자 장치(100)가 응답 정보를 수신하는 것으로 설명하였으나, 사용자 음성에 대한 응답 정보는 전자 장치(100) 자체에 의해 생성될 수도 있다.
가령, 프로세서(130)는 "오늘 서울 날씨 어때"와 같은 사용자 음성이 마이크(110)를 통해 수신될 경우, 수신된 음성을 텍스트로 변환하고, 변환된 텍스트에서 발화 요소를 추출한 뒤, 발화 요소에 기초해서 날씨 정보를 자체적으로 써치할 수도 있다.
그리고, 전술한 경우와 마찬가지로, 프로세서(130)는 외부 장치(200)로부터 사용자 감지 신호가 수신되면 생성한 응답 정보를 외부 장치(200)로 전송할 수 있다.
도 4a 및 도 4b는, 사용자가 음성을 발화한 후 위치를 이동한 경우에 있어서, 전자 장치의 동작을 설명하기 일 실시 예이다.
사용자는 전자 장치(100)의 음성 인식 모드를 활성화 시킬 수 있다. 가령, "Hi, TV"와 같은 트리거 음성을 발화함으로써, 전자 장치(100)의 음성 인식 모드를 활성화 시킬 수 있다.
그리고, 도 4a 와 같이, 전자 장치(100)의 음성 인식 모드가 활성화 된 상태에서, 사용자는 "내일 서울 날씨 어때?"와 같은 음성을 발화할 수 있다. 이 경우, 프로세서(130)는 인터넷을 통해 자체적으로 써치한 날씨 정보나, 서버(300)와의 통신을 통해 수신한 날씨 정보를 응답 정보로 제공할 수 있다.
그리고, 프로세서(130)는 외부 장치(200)로부터 사용자 감지 신호가 수신되면, 응답 정보를 외부 장치(200)로 전송할 수 있다.
구체적으로, 프로세서(130)는 제1 영역에서 제1 영역 외로 이동하는 상기 사용자의 움직임이 감지되고, 외부 장치(200)로부터 사용자 감지 신호가 수신되면, 응답 정보를 외부 장치(200)로 전송할 수 있다.
여기에서, 사용자의 움직임은 전술한 바와 같이 전자 장치(100)에 구비된 적외선 센서 등의 센서에 의해 감지될 수 있음은 물론, 카메라에 의해 촬영된 영상으로부터 감지될 수 있다.
이에 따라, 도 4b에 도시된 바와 같이, 외부 장치(200)는 전자 장치(100)로부터 수신한 응답 정보를 제공할 수 있다.
한편, 프로세서(130)가 외부 장치(200)로 전송하는 정보는 마이크(110)에입력된 음성에 대한 응답 정보에 한정되지 않는다.
예를 들어, 프로세서(130)는 전자 장치(100)에서 제공 중인 컨텐츠에 대한 정보를 외부 장치(200)로 전송할 수도 있다. 가령, 컨텐츠에 대한 정보는 전자 장치(100)에서 선국된 방송 채널 정보, 전자 장치(100)에서 실행중인 어플리케이션 정보, 전자 장치(100)에서 재생 중인 멀티미디어 컨텐츠 정보 중 적어도 하나가 될 수 있다.
여기에서, 전자 장치(100)에서 선국된 방송 채널 정보는 전자 장치(100)를 통해 사용자가 시청 중인 방송의 채널에 대한 정보를 포함할 수 있고, 어플리케이션 정보는 전자 장치(100)를 통해 사용자가 실행 중인 어플리케이션의 목록에 대한 정보를 포함할 수 있다. 또한, 멀티미디어 컨텐츠 정보는 전자 장치(100)를 통해 사용자가 실행 중인 사진 컨텐츠, 동영상 컨텐츠 등 다양한 유형의 컨텐츠가 될 수 있다.
한편, 이와 같은 컨텐츠 정보는 일 실시 예일 뿐, 전자 장치(100)가 제공하는 다양한 유형의 컨텐츠가 본 발명의 컨텐츠에 대한 정보에 포함될 수 있음은 물론이다.
또한, 컨텐츠에 대한 정보는 전자 장치(100)에 네트워크 연결된 사용자 단말 장치(예를 들어, 스마트 폰, 태블릿 PC 등)로부터 수신한 컨텐츠가 될 수 있다.
그리고, 프로세서(130)는 제1 영역에서 상기 제1 영역 외로 이동하는 상기 사용자의 움직임이 감지되고, 외부 장치(200)로부터 사용자 감지 신호가 수신되면, 컨텐츠에 대한 정보를 외부 장치(200)로 전송하도록 통신부(120)를 제어할 수 있다.
또한, 프로세서(130)는 사용자 단말 장치와 통신을 수행하여, 사용자 단말 장치로부터 수신한 컨텐츠를 제공하고 있던 상태에서, 사용자 단말 장치와의 통신 연결이 해제되고, 외부 장치(200)로부터 사용자 단말 장치 감지 신호가 수신되면, 사용자 단말 장치가 제공하던 컨텐츠와 관련된 정보를 외부 장치(200)로 전송할 수도 있다.
여기에서, 사용자 단말 장치 감지 신호는, 사용자 단말 장치가 외부 장치(200)와 통신 연결되는 경우 생성될 수 있다. 구체적으로, 사용자 단말 장치 감지 신호는, 사용자 단말 장치가 외부 장치(200)에 네트워크 연결되었다는 정보를 포함할 수 있다.
이에 따라, 외부 장치(200)는 전자 장치(100)로부터 수신한 컨텐츠에 대한 정보에 기초해서, 전자 장치(100)가 제공하던 컨텐츠를 외부 장치(200)를 통해 계속해서 제공할 수 있고, 사용자는 외부 장치(200)를 통해, 전자 장치(100)에서 시청하던 채널과 동일한 채널의 영상을 연속적으로 제공받을 수 있다. 또한, 이전에 실행했던 어플리케이션 목록이나 멀티 미디어 컨텐츠를 제공받음으로써 실행하고자 하는 어플리케이션이나 멀티 미디어 컨텐츠를 용이하게 선택할 수 있는 효과가 있다.
도 5는 사용자가 이동 후 새로운 음성을 발화한 경우에 있어서, 전자 장치의 동작을 설명하기 위한 흐름도이다.
전자 장치(100)는 마이크를 통해 제1 음성이 수신되면, 제1 음성에 대응하는 제1 응답 정보를 제공(S510)할 수 있다. 그리고, 전자 장치(100)는 외부 장치(200)로부터 사용자 감지 신호가 수신되면, 제1 응답 정보를 외부 장치로 전송(S520)할 수 있다.
이후, 전자 장치(100)는 외부 장치(200)로부터, 외부 장치(200)의 마이크를 통해 수신된 제2 음성에 대응하는 제2 음성 신호가 수신되는 경우, 제1 응답 정보 및 제2 음성 신호에 기초하여 생성된 제2 응답 정보를 외부 장치(200)로 전송(S530)할 수 있다.
구체적으로, 외부 장치(200)는 외부 장치(200)의 마이크를 통해 제2 음성이 수신되면, 아날로그 신호인 제2 음성을 디지털 신호(이하, 제2 음성 신호라 한다)로 변환하고, 제2 음성 신호를 전자 장치(100)로 전송할 수 있다.
그리고, 프로세서(130)는 외부 장치(200)로부터 제2 음성 신호가 통신부(120)를 통해 수신되면, 제1 응답 정보 및 제2 음성 신호에 기초하여 생성된 제2 응답 정보를 외부 장치(200)로 전송하도록 통신부(120)를 제어할 수 있다.
이를 위해, 프로세서(130)는 서버(300)로부터 수신한 제1 응답 정보 저장부(미도시)에 저장할 수 있다.
예를 들어, 사용자가 전자 장치(100)의 마이크(110)에 "내일 서울 날씨 어때?"라는 제1 음성을 입력하고, 프로세서(130)가 제1 음성에 대한 응답 정보를 서버(300)로부터 수신한 경우, 프로세서(130)는 "내일 서울 날씨 어때?"에 대한 응답 정보를 저장부에 저장할 수 있다.
이 후, 사용자가 외부 장치(200)의 마이크에 "수원은?"이라는 제2 음성을 입력한 경우, 프로세서(130)는 제2 음성에 대응하는 제2 음성 신호를 외부 장치(200)로부터 수신할 수 있다.
그리고, 프로세서(130)는 외부 장치(300)로부터 수신한 제2 음성 신호 및 저장부에 저장된 제1 응답 정보를 서버(300)로 전송할 수 있다.
이 경우, 서버(300)는 제2 음성 신호 및 저장부에 저장된 제1 응답 정보게 기초하여 제2 응답 정보를 생성할 수 있다.
먼저, 서버(300)는 제2 음성 신호로부터 발화 요소를 추출할 수 있다. 상술한 실시 예에서, 서버(300)는 제2 음성 신호를 텍스트로 변환한 뒤, "수원"이라는 발화 요소를 추출할 수 있다.
그리고, 서버(300)는 전자 장치(100)로부터 수신한 제1 응답 정보를 제2 음성 신호와 함께 고려하여 제2 응답 정보를 생성할 수 있다. 상술한 실시 예의 경우, 서버(300)는 "내일 서울 날씨 어때?"에 대한 제1 응답 정보인 '서울의 내일 날씨 정보'와 제2 음성 신호로부터 추출한 발화 요소인 "수원"을 함께 고려하여, '수원의 내일 날씨 정보'를 제2 응답 정보로 생성할 수 있다.
이후, 프로세서(130)는 서버(300)로부터 제2 응답 정보가 통신부(120)를 통해 수신되면, 제2 응답 정보를 외부 장치(200)로 전송하도록 통신부(120)를 제어할 수 있다.
한편, 프로세서(130)는 마이크(100)를 통해 제1 음성이 수신된 때로부터 기 설정된 시간 내 통신부(120)를 통해 제2 음성 신호가 수신되는 경우에는, 전술한 바와 같이 제2 응답 정보를 외부 장치(200)로 전송하고, 마이크(100)를 통해 제1 음성이 수신된 때로부터 기 설정된 시간 후 통신부(120)를 통해 제2 음성 신호가 수신되는 경우에는, 제2 음성 신호에 대응하는 제3 응답 정보를 외부 장치(200)로 전송할 수 있다.
즉, 프로세서(130)는 제1 음성 신호가 수신된 때로부터 기 설정된 시간 내 외부 장치(200)로부터 제2 음성 신호를 수신하는 경우에만, 제1 응답 정보 및 제2 음성 신호에 기초하여 생성된 제2 응답 정보를 외부 장치(300)로 전송할 수도 있다.
이는, 기설정된 시간이 경과한 경우이면 사용자가 제1 응답 정보와 관계 없는 제2 음성 신호에 대한 응답 정보만을 제공받고자 하는 것이 일반적이기 때문이다.
또한, 프로세서(130)는 기설정된 시간이 경과한 경우이면, 저장부에 저장된 제1 응답 정보를 삭제할 수 있다. 즉, 프로세서(130)는 기설정된 시간 동안만 제1 응답 정보를 임시 저장하고, 기설정된 시간이 경과하면 임시 저장한 제1 응답 정보를 삭제함으로써, 전자 장치(100)의 성능 저하를 방지하고 한정된 내부 저장소를 효율적으로 이용할 수 있다.
한편, 전술한 실시 예에서는 서버(300)가 제1 응답 정보 및 제2 음성 신호에 기초하여 제2 응답 정보를 생성하는 경우를 예로 들어 설명하였으나, 이는 전자 장치(100)에 의해 수행될 수도 있다.
구체적으로, 프로세서(130)는 외부 장치(200)로부터 제2 음성 신호가 수신되면, 제2 음성 신호를 텍스트로 변환하여 발화 요소를 추출한 뒤, 제2 음성 신호에 대응되는 동작을 자체적으로 수행할 수 있는지를 판단할 수 있다. 예를 들어, 제1 응답 정보가 '특정 방송 프로그램의 회차별 컨텐츠 정보' 이고, 제2 음성이 "첫번째꺼 선택해 줘"인 경우, 프로세서(130)는 특정 방송 프로그램의 1회차 컨텐츠에 대한 정보를 외부 장치(300)로 전송할 수 있다.
이와 같이, 프로세서(130)가 제1 응답 정보 및 제2 음성 신호에 기초하여 생성된 제2 응답 정보를 외부 장치(300)로 전송함으로써, 사용자는 보다 편리하게 원하는 정보를 얻을 수 있다.
도 6a 및 도 6b는 위치를 이동한 사용자가 이동 후 새로운 음성을 발화한 경우에 있어서, 전자 장치의 동작을 설명하기 일 실시 예이다.
도 6a에 도시된 바와 같이, 전자 장치(100)가 음성 인식 모드를 활성화 한 상태에서, 사용자가 "내일 서울 날씨 어때?"와 같은 제1 음성을 발화한 경우, 프로세서(130)는 제1 음성에 대응하는 제1 음성 신호를 서버(300)로 전송할 수 있다.
그리고, 서버(300)는 제1 음성 신호에서 발화 요소를 추출하여, 서울의 내일 날씨에 대한 정보를 써치한 후, 이를 전자 장치(110)로 전송할 수 있다. 물론, 프로세서(130)는 자체적으로 인터넷을 통해 서울의 내일 날씨에 대한 정보를 써치하여 제공할 수도 있다.
이에 따라, 도 6a에 도시된 바와 같이, 전자 장치(100)가 TV로 구현될 경우, 전자 장치(100)는 서울의 내일 날씨에 대한 정보를 디스플레이 할 수 있다.
이 후, 사용자가 외부 장치(200)로부터 기설정된 영역 내로 이동하여 제2 음성을 발화한 경우, 프로세서(130)는 제2 음성에 대응하는 제2 음성 신호를 외부 장치(200)로부터 수신할 수 있다.
그리고, 프로세서(130)는 제1 응답 정보 및 제2 음성 신호에 기초하여 생성된 제2 응답 정보를 외부 장치(200)로 전송할 수 있다.
예를 들어, 도 6b에 도시된 바와 같이, 사용자가 "수원은?"과 같은 제2 음성을 발화한 경우, 프로세서(130)는 외부 장치(200)로부터 "수원은?"에 대한 제2 음성 신호를 수신할 수 있다.
그리고, 프로세서(130)는 제1 음성 정보인 '내일의 서울 날씨 정보' 및 "수원은?"이라는 제2 음성에 대응하는 제2 음성 신호를 서버(300)로 전송하고, 서버(300)로부터 '수원의 내일 날씨에 대한 정보'라는 제2 응답 정보를 수신할 수 있고, 수신한 제2 응답 정보를 외부 장치(200)로 전송할 수 있다.
물론, 전술한 바와 같이, 프로세서(130)는 자체적으로 수원의 내일 날씨에 대한 정보를 써치한 후, 이를 외부 장치(200)로 전송할 수도 있다.
도 7a 및 도 7b는 영상을 시청하던 사용자가 위치를 이동한 경우에 있어서, 전자 장치의 동작을 설명하기 일 실시 예이다.
프로세서(130)는 전자 장치(200)가 컨텐츠를 출력하는 중에 사용자가 외부 장치(200) 주변으로 이동하면, 컨텐츠에 대한 정보를 외부 장치(200)로 전송할 수 있다.
즉, 프로세서(130)는 컨텐츠를 출력하는 중에 전자 장치(100)로부터 기설정된 영역 외로 이동하는 사용자의 움직임이 감지되고, 외부 장치(200)로부터 사용자 감지 신호가 수신되면, 컨텐츠에 대한 정보를 외부 장치(200)로 전송할 수 있다.
여기에서, 컨텐츠에 대한 정보는 전자 장치(100)에서 선국된 방송의 채널 관련 정보, 전자 장치(100)에서 실행 중인 어플리케이션 관련 정보 및 전자 장치(100)에서 재생 중인 멀티미디어 컨텐츠 관련 정보 중 적어도 하나가 될 수 있다.
도 7a를 참조하면, 사용자는 전자 장치(100)를 통해서 채널 13의 야구 경기를 시청하고 있다.
그리고, 사용자가 외부 장치(200) 주변으로 이동하면, 프로세서(130)는 외부 장치(200)로 채널 13에 대한 컨텐츠 정보를 전송할 수 있다. 이에 따라, 외부 장치(200)는 턴 온 명령이 입력되면, 채널 13으로 채널을 자동으로 변환하여 영상을 출력할 수 있다.
예를 들어, 도 7b를 참조하면, 외부 장치(200)는 턴 온 명령이 입력되면 자동으로 채널 13으로 채널을 이동하여 영상을 출력할 수 있다.
이에 따라, 사용자는 외부 장치(200)의 채널을 별도로 조작하여 이전에 시청하던 방송을 선국하지 않고도, 이전에 시청하던 방송을 계속해서 시청할 수 있으므로, 보다 사용자 편의성이 증대될 수 있다.
도 8은, 영상을 시청하던 사용자가 위치를 이동한 경우에 있어서, 전자 장치의 동작을 설명하기 다른 실시 예이다.
도 8을 참조하면, 프로세서(130)는 사용자가 전자 장치(100)를 통해서 채널 13의 야구 경기를 시청하다가, 외부 장치(200)로 이동한 경우, 동일 채널의 방송을 계속 시청할 것인지에 대한 사용자 선택을 요구하는 UI를 디스플레이하도록 요청하는 신호를 외부 장치(200)로 전송 할 수 있다.
여기에서, 사용자가 YES UI를 선택하면, 외부 장치(200)는 채널 13으로 채널을 변경하여 영상을 출력할 수 있고, NO UI를 선택하면 외부 장치(200)는 외부 장치(200)를 턴 오프 하기 직전에 제공하던 영상을 출력할 수 있다.
도 9는, 사용자의 식별 및 식별된 사용자가 위치를 이동한 경우에 있어서, 전자 장치의 동작을 설명하기 위한 흐름도이다.
프로세서(130)는 마이크(110)를 통해 제1 음성을 수신(S910)할 수 있다. 그리고, 프로세서(130)는 외부 장치(200)로부터, 외부 장치(200)의 마이크를 통해 수신된 제2 음성에 대응하는 제2 음성 신호가 수신(S920)되면, 제1 음성의 특징 및 제2 음성의 특징을 비교(S930)할 수 있다.
구체적으로, 프로세서(130)는 제1 음성이 수신되면, 제1 음성의 에너지, 주파수 대역폭 및 음성 대 잡음 비 등에 기초해서, 제1 음성의 특징을 분석할 수 있다.
그리고, 프로세서(130)는 제2 음성 신호가 수신되면, 디지털/아날로그 컨버터(미도시)를 통해 제2 음성 신호를 아날로그 신호로 변환하고, 변환된 아날로그 신호의 에너지, 주파수 대역폭 및 음성 대 잡음 비 등에 기초해서, 제2 음성의 특징을 분석할 수 있다.
이후, 프로세서(130)는 제1 및 제2 음성의 특징을 비교해서, 제1 및 제2 음성을 입력한 사용자가 동일한 사용자라고 판단되면, 제1 응답 정보를 외부 장치(200)로 전송(S940)할 수 있다.
구체적으로, 프로세서(130)는 제1 및 제2 음성의 특징을 비교해서, 그 일치 정도가 기설정된 임계 값 이상인 경우, 제1 및 제2 음성을 입력한 사용자가 동일한 사용자라고 판단할 수 있다.
이에 따라, 본 발명의 일 실시 예에 따른 전자 장치(100)는 동일한 사용자가 이동한 경우에만, 외부 장치(200)에 제1 응답 정보를 제공함으로써, 사용자 니즈에 부합하는 정보를 제공할 수 있다.
도 10은, 인공 지능 기술을 이용하여 사용자를 식별하는 전자 장치의 동작을 설명하기 위한 도면이다.
프로세서(130)는 인공지능 기술을 이용하여 전자 장치(100)를 이용하는 사용자를 식별할 수 있다. 인공지능 기술은, 인간 수준의 지능을 구현하는 컴퓨터 기계가 스스로 학습하고 판단하는 기술로써, 사용할수록 인식률이 향상되는 기술이다. 프로세서(130)는 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘을 이용하는 딥러닝을 통해 사용자를 식별할 수 있다.
도 10을 참조하면, 프로세서(130)는 전자 장치(100)에서 선국된 방송 채널 번호, 방송 장르 및 채널 재핑 특성 중 적어도 하나에 기초해서 사용자를 식별할 수 있다.
예를 들어, 사용자가 전자 장치(100)에 EMG 방송 편성표를 디스플레이 시킨 후, 야구 경기를 중계 중인 채널 13을 선국했을 경우, 프로세서(130)는 선국된 방송 채널 번호, 방송 장르 및 채널 재핑 특성에 기초해서, 딥러닝을 수행하고 해당 사용자는 주로 EMG 방송 편성표를 통해 스포츠 채널을 선국하는 User A인 것으로 식별할 수 있다.
다른 실시 예로, 사용자가 채널 up/down 버튼을 통해 채널을 재핑하고, 주말 드라마를 선국할 경우, 프로세서(130)는 딥러닝을 통해 해당 사용자는 채널 up/down 버튼을 통해 채널을 재핑하고, 주말 시간대에 주로 드라마 채널을 선국하는 User B인 것으로 식별할 수 있다.
한편, 도 10에서는 입력 데이터들이 선국된 방송 채널 번호, 방송 장르 및 채널 재핑 특성인 것으로 도시하였으나, 입력 데이터가 이에 제한되지 않음은 물론이다. 예를 들어, 입력 데이터에는 멀티 컨텐츠의 이용 빈도, 볼륨 조절 특성, 채널 재핑의 속도 등이 더 포함될 수 있을 것이다.
도 11은, 시청 이력 정보를 제공하는 전자 장치의 동작을 설명하기 위한 실시 예이다.
프로세서(130)는 전자 장치(100)를 사용중인 사용자가 식별되면, 식별된 사용자의 시청 이력 정보를 외부 장치(200)로 전송할 수 있다.
한편, 프로세서(130)는 전술한 바와 같이, 인공지능 기술을 이용해서 사용자를 식별할 수 있음은 물론, 제1 음성의 특징에 기초하여 사용자를 식별할 수 있다.
구체적으로, 프로세서(130)는 제1 음성의 에너지, 주파수 대역폭 및 음성 대 잡음 비 등으로부터 제1 음성 신호의 특징을 분석하고, 저장부(미도시)에 저장된 사용자별 음성의 특징과 제1 음성의 특징을 비교하여, 사용자를 식별할 수 있다.
보다 구체적으로, 프로세서(130)는 저장부(미도시)에 저장된 사용자별 음성의 특징과 제1 음성의 특징을 비교해서 그 일치 정도가 기설정된 임계 값 이상인 음성을 판단함으로써, 전자 장치(100)의 마이크(110)에 음성을 발화한 사용자를 식별할 수 있다.
한편, 여기에서 제1 음성은, 특정 컨텐츠에 대한 정보를 제공 받기 위해 사용자가 전자 장치(100)의 마이크(110)로 발화하는 음성(가령, "내일 서울 날씨 어때" 등) 외에도, 전자 장치(100)의 마이크(110)가 수신한 일상적인 음성 (가령, 다른 사용자와의 대화 등)나 리모컨이나 사용자 단말 장치의 마이크가 수신한 음성이 될 수도 있다.
여기에서, 리모컨이나 사용자 단말 장치의 마이크에 사용자 음성이 입력될 경우, 프로세서(130)는 리모컨이나 사용자 단말 장치로부터 사용자 음성에 대응하는 음성 신호를 수신하고, 음성 신호를 디지털/아날로그 컨버터(미도시)를 통해 아날로그 신호로 변환한 뒤, 변환된 아날로그 신호의 에너지, 주파수 대역폭 및 음성 대 잡음 비 등에 기초해서, 사용자 음성의 특징을 분석할 수 있다.
또한, 사용자 음성의 특징에 기초해서 사용자를 식별하는 경우, 프로세서(130)는 전자 장치(100)에서 출력되는 음향 볼륨을 낮게 제어하거나, 음소거 할 수 있다.
또한, 프로세서(130)는 전자 장치(100)에서 출력되는 음향을 제거하고, 사용자의 음성 신호만을 수신할 수도 있다. 한편, 음향 제거 기술은 일반적인 기술로써 여기에서 구체적인 설명은 생략한다. 예를 들어, 음향 제거는, 노이즈 게이트(미도시)를 이용해 특정 주파수를 변경함으로써 이루어질 수 있다.
그리고, 프로세서(130)는 제1 음성을 입력한 사용자의 위치가 이동되면, 이동된 위치의 외부 장치(200)로 식별된 사용자의 시청 이력 정보를 전송할 수 있다.
이를 위해, 전자 장치(100)는 복수의 사용자의 시청 이력 정보를 저장하는 저장부(미도시)를 더 포함할 수 있다. 여기에서, 시청 이력 정보는 사용자 별로 최근에 시청한 방송 프로그램에 대한 정보, 즐겨찾기 추가한 방송 프로그램에 대한 정보, 외부 장치를 턴 온하는 시간대에 사용자가 주로 시청하던 방송 프로그램에 대한 정보 등 다양한 정보를 포함할 수 있다.
즉, 프로세서(123)는 제1 음성을 발화한 사용자의 위치가 이동되면, 저장부(미도시)에 저장된 복수의 사용자의 시청 이력 정보 중에서 식별된 사용자의 시청 이력 정보를 외부 장치(200)로 전송할 수 있다.
예를 들어, 식별된 사용자가 User A인 경우, 프로세서(130)는 저장부(미도시)에 저장된 복수의 사용자의 시청 이력 정보 중에서 User A의 시청 이력 정보를 외부 장치(200)로 전송할 수 있다.
도 11에 도시된 바와 같이, 시청 이력 정보는 User A가 최근에 시청한 방송 프로그램에 대한 정보를 포함할 수 있다. 한편, User A의 최근 시청 목록은 전자 장치(100)뿐만 아니라 외부 장치(200)에서 User A가 시청한 방송 프로그램에 대한 정보를 더 포함할 수 있다.
이를 위해, 프로세서(130)는 외부 장치(200)가 제공한 방송 이력 정보를 외부 장치(200)로부터 수신할 수 있다.
한편, 도 7에서는 외부 장치(200)가 최근 시청 목록을 디스플레이 하는 경우를 도시하였으나, 반드시 이에 한정되는 것은 아니다. 예를 들어, 프로세서(130)는 User A의 즐겨찾기 시청 목록을 외부 장치(200)로 전송할 수 있고, 외부 장치(200)는 User A의 즐겨찾기 시청 목록을 디스플레이 할 수 있다.
도 12는 시청 이력 정보를 제공하는 전자 장치의 동작을 설명하기 위한 다른 실시 예이다.
전술한 바와 같이, 프로세서(130)는 User A의 시청 이력 정보를 외부 장치(200)로 전송할 수 있다. 이 경우, 프로세서(130)는 사용자 식별 결과에 대한 정보 및/또는 시청 이력 정보를 표시할 것인지를 확인하는 UI를 디스플레이 하도록 요청하는 신호를 외부 장치(200)로 전송할 수 있다.
예를 들어, 도 12에 도시된 바와 같이, 프로세서(130)는 User A가 외부 장치(200)로 이동한 경우, User A가 감지되었다는 UI 및/또는 User A의 최근 시청 목록을 제공받을 것인지 확인하는 UI를 디스플레이 하도록 요청하는 신호를 외부 장치(200)로 전송할 수 있다.
이 경우, 사용자 선택에 따라 사용자는 최근 시청 목록을 통해 이전에 시청했던 채널을 빠르게 선국하여 영상을 감상하거나, 전자 장치(100)를 턴 오프하기 전에 출력하던 영상을 그대로 외부 장치(200)에 출력할 수도 있으므로, 편의성이 증대될 수 있다.
한편, 도 12에는 도시되어 있지 않으나, 프로세서(130)는 사용자가 감지되었다는 UI 및 감지된 사용자가 설정한 패스워드를 입력할 것을 요구하는 UI를 디스플레이 하도록 요청하는 신호를 외부 장치(200)로 전송할 수도 있다. 이에 따라, 개인의 프라이버시를 보호할 수 있다.
한편, 상술한 실시 예에서는 프로세서(130)에 의해 식별된 사용자가 외부 장치(200)로 이동하는 경우를 설명하였다. 그런데, 경우에 따라 복수의 사용자가 전자 장치(100)를 이용하고 있는 상태에서, 프로세서(130)에 의해 식별된 사용자가 아닌, 다른 사용자가 외부 장치(200)로 이동하는 경우가 있을 수 있다.
예를 들어, 복수의 사용자 중 제1 사용자가 전자 장치(100)에 음성을 입력하여, 프로세서(130)가 제1 사용자를 식별한 상태에서, 제1 사용자와는 다른 제2 사용자가 외부 장치(200)로 이동하는 경우가 있을 수 있다.
이 경우, 프로세서(130)는 외부 장치(200)에 입력된 음성의 특징 및 저장부(미도시)에 저장된 복수의 사용자의 음성의 특징을 비교하여, 제2 사용자를 식별하고, 제2 사용자의 시청 이력 정보를 외부 장치(200)로 전송할 수 있다.
구체적으로, 프로세서(130)는 외부 장치(200)로부터, 외부 장치(200)의 마이크에 입력된 음성에 대응하는 음성 신호를 수신하고, 수신한 음성 신호를 아날로그 신호로 변환한 뒤, 음성의 특징을 분석할 수 있다.
그리고, 프로세서(130)는 분석한 음성의 특징과 저장부(미도시)에 저장된 복수의 사용자의 음성의 특징을 비교하여, 제2 사용자를 식별할 수 있다.
또한, 프로세서(130)는 상술한 인공 지능 기술을 이용하여 외부 장치(200)로 이동한 사용자를 식별할 수 있다. 예를 들어, 제2 사용자가 외부 장치(200)로 이동하여 턴 온 시킨 경우, 외부 장치(200)가 턴 온된 시점에 외부 장치(200)를 통해 주로 영상을 시청한 사용자 정보, 외부 장치(200)에 등록된 복수의 사용자의 우선 순위 등에 기초해서, 프로세서(130)는 딥러닝을 수행하고, 외부 장치(200)를 턴 온한 사용자는 제2 사용자인 것으로 식별할 수 있다.
이에 따라, 본 발명의 일 실시 예에 따른 전자 장치(100)는 외부 장치(200)를 사용하는 자에 대한 시청 이력 정보를 제공할 수 있고, 사용자 니즈에 부합할 수 있다.
도 13은, 본 발명의 일 실시 예에 따른 전자 장치를 설명하기 위한 다른 블록도이다.
도 13을 참조하면, 본 발명의 일 실시 예에 따른 전자 장치(100')는 마이크(110), 통신부(120), 프로세서(130), 음성 처리부(140), 저장부(150) 및 추출부(160)를 포함할 수 있다. 이하, 상술한 부분과 중복되는 부분은 그 설명을 생략 내지 축약하기로 한다.
음성 처리부(140)는 마이크(110)를 통해 수신한 음성을 음성 신호로 변환할 수 있고, 음성 신호를 텍스트로 변환할 수 있다. 실시 예에 따라, 음성 처리부(140)는 STT(Speech to Text) 알고리즘을 이용하여 음성 신호를 텍스트로 변환할 수 있다.
저장부(150)는 전자 장치(100')의 구성요소의 전반적인 동작을 제어하기 위한 운영체제(Operating System: OS) 및 전자 장치(100')의 구성요소와 관련된 명령 또는 데이터를 저장할 수 있다.
이에 따라, 프로세서(130)는 저장부(150)에 저장된 다양한 명령 또는 데이터 등을 이용하여 전자 장치(100')의 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 다른 구성요소들 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
특히, 저장부(150)는 마이크(110)를 통해 수신한 음성에 대한 발화 이력 정보를 저장할 수 있다. 여기서, 발화 이력 정보는 마이크(110)를 통해 수신된 음성에 기초하여 생성된 정보이다. 구체적으로, 저장부(150)는 마이크(110)를 통해 음성을 수신한 시간 정보, 수신한 음성에 기초하여 생성된 응답 정보 등을 포함하는 발화 이력 정보를 저장할 수 있다.
프로세서(130)는 전자 장치(100')의 전반적인 동작을 제어하는 구성이다.
구체적으로, 프로세서(130)는 RAM(미도시), ROM(미도시), CPU(미도시), 제1 내지 n 인터페이스(미도시) 및 버스(미도시)를 포함한다. 여기서, RAM(미도시), ROM(미도시), CPU(미도시), 제1 내지 n 인터페이스(미도시) 등은 버스(미도시)를 통해 서로 연결될 수 있다.
추출부(160)는 텍스트로 변환된 음성 신호로부터 발화 요소를 추출한다. 전술한 예와 같이, "내일 서울 날씨 어때?"와 같은 음성 신호가 입력될 경우, 추출부(160)는 변환된 텍스트에서 "내일", "서울", "날씨" 및 "어때?"라는 발화 요소를 추출할 수 있다.
한편, 상술한 본 발명의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어/하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 발명의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버, 또는 외부의 서버를 통해 수행되는 것도 가능하다.
상술한 다양한 실시 예에 따른 전자 장치의 제어 방법은 프로그램으로 구현되어 다양한 기록 매체에 저장될 수 있다. 즉, 각종 프로세서에 의해 처리되어 상술한 다양한 제어 방법을 실행할 수 있는 컴퓨터 프로그램이 기록 매체에 저장된 상태로 사용될 수도 있다.
일 예로, 전자 장치의 마이크를 통해 제1 음성이 수신되면, 제1 음성에 대응하는 제1 응답 정보를 제공하는 단계 및 외부 장치로부터 사용자 감지 신호가 수신되면, 제1 응답 정보를 외부 장치로 전송하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 전자 장치
200: 외부 장치
300: 서버

Claims (28)

  1. 전자 장치에 있어서,
    사용자의 음성을 수신할 수 있는 마이크;
    통신부; 및
    상기 마이크를 통해 제1 음성이 수신되면, 상기 제1 음성에 대응하는 제1 응답 정보를 제공하고, 상기 통신부를 통해 외부 장치로부터 사용자 감지 신호가 수신되면, 상기 제1 응답 정보를 상기 외부 장치로 전송하도록 상기 통신부를 제어하는 프로세서;를 포함하는 전자 장치.
  2. 제1항에 있어서,
    센서;를 더 포함하고,
    상기 프로세서는,
    상기 센서를 통해 제1 영역에서 상기 제1 영역 외로 이동하는 상기 사용자의 움직임이 감지되고, 상기 외부 장치로부터 상기 사용자 감지 신호가 수신되면, 상기 제1 응답 정보를 상기 외부 장치로 전송하고,
    상기 제1 영역은 상기 전자 장치로부터 기설정된 영역인, 전자 장치.
  3. 제1항에 있어서,
    카메라;를 더 포함하고,
    상기 프로세서는,
    상기 카메라를 통해 촬영된 영상을 통해 제1 영역에서 상기 제1 영역 외로 이동하는 상기 사용자의 움직임이 감지되고, 상기 외부 장치로부터 상기 사용자 감지 신호가 수신되면, 상기 제1 응답 정보를 상기 외부 장치로 전송하고,
    상기 제1 영역은 상기 전자 장치로부터 기설정된 영역인, 전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    복수의 외부 장치로부터 상기 사용자 감지 신호가 수신되는 경우, 상기 수신한 사용자 감지 신호에 기초해서, 상기 사용자를 기설정된 시간 이상 감지한 외부 장치를 식별하고, 상기 제1 응답 정보를 상기 식별한 외부 장치로 전송하는, 전자 장치.
  5. 제1항에 있어서,
    상기 사용자 감지 신호는,
    상기 외부 장치의 카메라를 통해 촬영된 영상, 상기 외부 장치의 마이크를 통해 수신된 음성, 상기 외부 장치의 적외선 센서를 통해 감지된 상기 사용자의 움직임 중 적어도 하나에 기초하여 생성되는, 전자 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 외부 장치로부터, 상기 외부 장치의 마이크를 통해 수신된 제2 음성에 대응하는 제2 음성 신호가 수신되는 경우, 상기 제1 응답 정보 및 상기 제2 음성 신호에 기초하여 생성된 제2 응답 정보를 상기 외부 장치로 전송하는, 전자 장치.
  7. 제6항에 있어서,
    상기 프로세서는,
    상기 제1 응답 정보 및 상기 제2 음성 신호를 서버로 전송하고, 상기 서버로부터 상기 제1 응답 정보 및 상기 제2 음성 신호에 기초하여 생성된 상기 제2 응답 정보를 수신하며, 상기 수신한 제2 응답 정보를 상기 외부 장치로 전송하는, 전자 장치.
  8. 제6항에 있어서,
    상기 프로세서는,
    상기 제1 음성이 수신된 때로부터 기설정된 시간 내 상기 통신부를 통해 상기 제2 음성 신호가 수신되는 경우, 상기 제2 응답 정보를 상기 외부 장치로 전송하고,
    상기 제1 음성이 수신된 때로부터 기설정된 시간 후 상기 통신부를 통해 상기 제2 음성 신호가 수신되는 경우, 상기 제2 음성 신호에 대응하는 제3 응답 정보를 상기 외부 장치로 전송하는, 전자 장치.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 제1 음성이 수신된 때로부터 기설정된 시간 내 상기 통신부를 통해 상기 제2 음성 신호가 수신되는 경우, 상기 제1 응답 정보 및 상기 제2 음성 신호를 서버로 전송하고, 상기 서버로부터 상기 제1 응답 정보 및 상기 제2 음성 신호에 기초하여 생성된 상기 제2 응답 정보를 수신하며, 상기 수신한 제2 응답 정보를 상기 외부 장치로 전송하고,
    상기 제1 음성이 수신된 때로부터 기설정된 시간 후 상기 통신부를 통해 상기 제2 음성 신호가 수신되는 경우, 상기 제2 음성 신호를 상기 서버로 전송하고, 상기 서버로부터 상기 제2 음성 신호에 대응하는 제3 응답 정보를 수신하며, 상기 수신한 제3 응답 정보를 상기 외부 장치로 전송하는, 전자 장치.
  10. 제1항에 있어서,
    상기 프로세서는,
    상기 외부 장치로부터, 상기 외부 장치의 마이크를 통해 수신된 제2 음성에 대응하는 제2 음성 신호가 수신되면, 상기 제1 음성의 특징 및 상기 제2 음성의 특징을 비교하고,
    상기 제1 및 제2 음성을 입력한 사용자가 동일한 사용자라고 판단되면, 상기 제1 응답 정보를 상기 외부 장치로 전송하는, 전자 장치.
  11. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 음성의 특징에 기초하여 상기 사용자를 식별하고, 상기 식별한 사용자의 시청 이력 정보를 상기 외부 장치로 전송하는, 전자 장치.
  12. 제1항에 있어서,
    상기 프로세서는,
    상기 전자 장치에서 선국된 방송 채널 번호, 방송 장르 및 채널 재핑 특성 중 적어도 하나에 기초해서 상기 사용자를 식별하고, 상기 식별된 사용자의 시청 이력 정보를 상기 외부 장치로 전송하는, 전자 장치.
  13. 제1항에 있어서,
    상기 프로세서는,
    상기 전자 장치가 제공 중인 컨텐츠에 대한 정보를 상기 외부 장치로 전송하고,
    상기 컨텐츠에 대한 정보는,
    상기 전자 장치에서 선국된 방송 채널 정보, 상기 전자 장치에서 실행 중인 어플리케이션 정보 및 상기 전자 장치에서 재생 중인 멀티미디어 컨텐츠 정보 중 적어도 하나인, 전자 장치.
  14. 제1항에 있어서,
    상기 프로세서는,
    사용자 단말 장치와 통신을 수행하여, 상기 사용자 단말 장치로부터 수신한 컨텐츠를 제공하고,
    상기 사용자 단말 장치와의 통신 연결이 해제되고, 상기 외부 장치로부터 사용자 단말 장치 감지 신호가 수신되면, 상기 컨텐츠와 관련된 정보를 상기 외부 장치로 전송하는, 전자 장치.
  15. 전자 장치의 제어 방법에 있어서,
    마이크를 통해 제1 음성을 수신하는 단계;
    상기 제1 음성에 대응하는 제1 응답 정보를 제공하는 단계; 및
    외부 장치로부터 사용자 감지 신호가 수신되면, 상기 제1 응답 정보를 상기 외부 장치로 전송하는 단계;를 포함하는 전자 장치의 제어 방법.
  16. 제15항에 있어서,
    상기 전송하는 단계는,
    센서를 통해 제1 영역에서 상기 제1 영역 외로 이동하는 상기 사용자의 움직임이 감지되고 상기 외부 장치로부터 상기 사용자 감지 신호가 수신되면, 상기 제1 응답 정보를 상기 외부 장치로 전송하고,
    상기 제1 영역은 상기 전자 장치로부터 기설정된 영역인, 전자 장치의 제어 방법.
  17. 제15항에 있어서,
    상기 전송하는 단계는,
    카메라를 통해 촬영된 영상을 통해 제1 영역에서 상기 제1 영역 외로 이동하는 상기 사용자의 움직임이 감지되고, 상기 외부 장치로부터 상기 사용자 감지 신호가 수신되면, 상기 제1 응답 정보를 상기 외부 장치로 전송하고,
    상기 제1 영역은 상기 전자 장치로부터 기설정된 영역인, 전자 장치의 제어 방법.
  18. 제15항에 있어서,
    상기 전송하는 단계는,
    복수의 외부 장치로부터 상기 사용자 감지 신호가 수신되는 경우, 상기 수신한 사용자 감지 신호에 기초해서, 상기 사용자를 기설정된 시간 이상 감지한 외부 장치를 식별하고, 상기 제1 응답 정보를 상기 식별한 외부 장치로 전송하는, 전자 장치의 제어 방법.
  19. 제15항에 있어서,
    상기 사용자 감지 신호는,
    상기 외부 장치의 카메라를 통해 촬영된 영상, 상기 외부 장치의 마이크를 통해 수신된 음성, 상기 외부 장치의 적외선 센서를 통해 감지된 상기 사용자의 움직임 중 적어도 하나에 기초하여 생성되는, 전자 장치의 제어 방법.
  20. 제15항에 있어서,
    상기 외부 장치로부터, 상기 외부 장치의 마이크를 통해 수신된 제2 음성에 대응하는 제2 음성 신호가 수신하는 단계; 및
    상기 제1 응답 정보 및 상기 제2 음성 신호에 기초하여 생성된 제2 응답 정보를 상기 외부 장치로 전송하는 단계;를 더 포함하는, 전자 장치의 제어 방법.
  21. 제20항에 있어서,
    상기 전송하는 단계는,
    상기 제1 응답 정보 및 상기 제2 음성 신호를 서버로 전송하고, 상기 서버로부터 상기 제1 응답 정보 및 상기 제2 음성 신호에 기초하여 생성된 상기 제2 응답 정보를 수신하며, 상기 수신한 제2 응답 정보를 상기 외부 장치로 전송하는, 전자 장치의 제어 방법.
  22. 제20항에 있어서,
    상기 전송하는 단계는,
    상기 제1 음성이 수신된 때로부터 기설정된 시간 내 상기 제2 음성 신호가 수신되는 경우, 상기 제2 응답 정보를 상기 외부 장치로 전송하고,
    상기 제1 음성이 수신된 때로부터 기설정된 시간 후 상기 제2 음성 신호가 수신되는 경우, 상기 제2 음성 신호에 대응하는 제3 응답 정보를 상기 외부 장치로 전송하는, 전자 장치의 제어 방법.
  23. 제22항에 있어서,
    상기 제2 응답 정보를 상기 외부 장치로 전송하는 단계는,
    상기 제1 음성이 수신된 때로부터 기설정된 시간 내 상기 제2 음성 신호가 수신되는 경우, 상기 제1 응답 정보 및 상기 제2 음성 신호를 서버로 전송하고, 상기 서버로부터 상기 제1 응답 정보 및 상기 제2 음성 신호에 기초하여 생성된 상기 제2 응답 정보를 수신하며, 상기 수신한 제2 응답 정보를 상기 외부 장치로 전송하고,
    상기 제3 응답 정보를 상기 외부 장치로 전송하는 단계는,
    상기 제1 음성이 수신된 때로부터 기설정된 시간 후 상기 제2 음성 신호가 수신되는 경우, 상기 제2 음성 신호를 상기 서버로 전송하고, 상기 서버로부터 상기 제2 음성 신호에 대응하는 제3 응답 정보를 수신하며, 상기 수신한 제3 응답 정보를 상기 외부 장치로 전송하는, 전자 장치의 제어 방법.
  24. 제15항에 있어서,
    상기 전송하는 단계는,
    상기 외부 장치로부터, 상기 외부 장치의 마이크를 통해 수신된 제2 음성에 대응하는 제2 음성 신호가 수신되면, 상기 제1 음성의 특징 및 상기 제2 음성의 특징을 비교하고,
    상기 제1 및 제2 음성을 입력한 사용자가 동일한 사용자라고 판단되면, 상기 제1 응답 정보를 상기 외부 장치로 전송하는, 전자 장치의 제어 방법.
  25. 제15항에 있어서,
    상기 제1 음성의 특징에 기초하여 상기 사용자를 식별하고, 상기 식별한 사용자의 시청 이력 정보를 상기 외부 장치로 전송하는 단계;를 더 포함하는, 전자 장치의 제어 방법.
  26. 제15항에 있어서,
    상기 전자 장치에서 선국된 방송 채널 번호, 방송 장르 및 채널 재핑 특성 중 적어도 하나에 기초해서 상기 사용자를 식별하고, 상기 식별된 사용자의 시청 이력 정보를 상기 외부 장치로 전송하는 단계;를 더 포함하는, 전자 장치의 제어 방법.
  27. 제15항에 있어서,
    상기 전자 장치가 제공 중인 컨텐츠에 대한 정보를 상기 외부 장치로 전송하는 단계;를 더 포함하고,
    상기 컨텐츠에 대한 정보는,
    상기 전자 장치에서 선국된 방송 채널 정보, 상기 전자 장치에서 실행 중인 어플리케이션 정보 및 상기 전자 장치에서 재생 중인 멀티미디어 컨텐츠 정보 중 적어도 하나인, 전자 장치의 제어 방법.
  28. 제15항에 있어서,
    사용자 단말 장치와 통신을 수행하여, 상기 사용자 단말 장치로부터 수신한 컨텐츠를 제공하는 단계; 및
    상기 사용자 단말 장치와의 통신 연결이 해제되고, 상기 외부 장치로부터 사용자 단말 장치 감지 신호가 수신되면, 상기 컨텐츠와 관련된 정보를 상기 외부 장치로 전송하는 단계;를 더 포함하는, 전자 장치의 제어 방법.
KR1020170146934A 2017-11-06 2017-11-06 전자 장치 및 그 제어 방법 KR102429582B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170146934A KR102429582B1 (ko) 2017-11-06 2017-11-06 전자 장치 및 그 제어 방법
EP18185229.4A EP3481072B1 (en) 2017-11-06 2018-07-24 Electronic apparatus and method for controlling thereof
US16/168,408 US11340866B2 (en) 2017-11-06 2018-10-23 Electronic apparatus and method for controlling thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170146934A KR102429582B1 (ko) 2017-11-06 2017-11-06 전자 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20190051379A true KR20190051379A (ko) 2019-05-15
KR102429582B1 KR102429582B1 (ko) 2022-08-05

Family

ID=63041897

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170146934A KR102429582B1 (ko) 2017-11-06 2017-11-06 전자 장치 및 그 제어 방법

Country Status (3)

Country Link
US (1) US11340866B2 (ko)
EP (1) EP3481072B1 (ko)
KR (1) KR102429582B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11769503B2 (en) 2021-01-07 2023-09-26 Samsung Electronics Co., Ltd. Electronic device and method for processing user utterance in the electronic device

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102515023B1 (ko) * 2018-02-23 2023-03-29 삼성전자주식회사 전자 장치 및 그 제어 방법
CN108600911B (zh) 2018-03-30 2021-05-18 联想(北京)有限公司 一种输出方法及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150135218A1 (en) * 2013-11-11 2015-05-14 Samsung Electronics Co., Ltd. Display apparatus and method of controlling the same
US20160037209A1 (en) * 2014-07-31 2016-02-04 Kabushiki Kaisha Toshiba Video audio output device and system
EP3104574A1 (en) * 2015-06-12 2016-12-14 Samsung Electronics Co., Ltd. Operating method of portable device, operating method of content reproducing device, portable device, and content reproducing device
US20170208363A1 (en) * 2016-01-20 2017-07-20 Google Inc. Methods and Systems for Automatic Media Output Based on User Proximity
US20170242651A1 (en) * 2016-02-22 2017-08-24 Sonos, Inc. Audio Response Playback

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070135098A1 (en) * 2005-12-14 2007-06-14 Symbol Technologies, Inc. Interactive voice browsing system for mobile devices on wireless networks
JP5541487B2 (ja) * 2009-11-27 2014-07-09 ソニー株式会社 表示制御装置、及び、表示制御システム
JP2015039094A (ja) 2011-11-24 2015-02-26 シャープ株式会社 コンテンツ提供装置、コンテンツ提供装置にて実行されるプログラム、テレビ受像機、プログラムを記憶した記憶媒体
US20130279706A1 (en) * 2012-04-23 2013-10-24 Stefan J. Marti Controlling individual audio output devices based on detected inputs
KR20120119894A (ko) 2012-09-22 2012-10-31 김재규 단말기를 이용한 지능형 위치 탐색 방법, 시스템 및 그 장치
KR101495297B1 (ko) 2013-04-29 2015-02-27 에이스텔 주식회사 스마트 티비 기반의 상황 인지를 통한 사용자 이력 분석 제공 시스템, 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
US20150128194A1 (en) * 2013-11-05 2015-05-07 Huawei Device Co., Ltd. Method and mobile terminal for switching playback device
JP6326581B2 (ja) 2014-03-24 2018-05-23 Kddi株式会社 コンテンツ提供システムおよびプログラム
EP2950550B1 (en) * 2014-05-28 2017-10-18 Advanced Digital Broadcast S.A. System and method for a follow me television function
KR101762930B1 (ko) 2014-11-28 2017-07-31 이케이웍스 주식회사 근거리 유저 식별을 통한 스마트 tv 시스템
US9584935B2 (en) * 2015-05-29 2017-02-28 Sound United, Llc. Multi-zone media system and method for providing multi-zone media
JP2017117371A (ja) * 2015-12-25 2017-06-29 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 制御方法、制御装置およびプログラム
KR101761631B1 (ko) * 2015-12-29 2017-07-26 엘지전자 주식회사 이동단말기 및 그 제어방법
US9965247B2 (en) * 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
CN109644306A (zh) * 2016-08-29 2019-04-16 宗德工业国际有限公司 音频设备和音频设备的系统
US10983753B2 (en) * 2017-06-09 2021-04-20 International Business Machines Corporation Cognitive and interactive sensor based smart home solution
US10546583B2 (en) * 2017-08-30 2020-01-28 Amazon Technologies, Inc. Context-based device arbitration

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150135218A1 (en) * 2013-11-11 2015-05-14 Samsung Electronics Co., Ltd. Display apparatus and method of controlling the same
US20160037209A1 (en) * 2014-07-31 2016-02-04 Kabushiki Kaisha Toshiba Video audio output device and system
EP3104574A1 (en) * 2015-06-12 2016-12-14 Samsung Electronics Co., Ltd. Operating method of portable device, operating method of content reproducing device, portable device, and content reproducing device
US20170208363A1 (en) * 2016-01-20 2017-07-20 Google Inc. Methods and Systems for Automatic Media Output Based on User Proximity
US20170242651A1 (en) * 2016-02-22 2017-08-24 Sonos, Inc. Audio Response Playback

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11769503B2 (en) 2021-01-07 2023-09-26 Samsung Electronics Co., Ltd. Electronic device and method for processing user utterance in the electronic device

Also Published As

Publication number Publication date
US20190138272A1 (en) 2019-05-09
EP3481072A3 (en) 2019-05-15
KR102429582B1 (ko) 2022-08-05
US11340866B2 (en) 2022-05-24
EP3481072B1 (en) 2021-12-22
EP3481072A2 (en) 2019-05-08

Similar Documents

Publication Publication Date Title
US10720162B2 (en) Display apparatus capable of releasing a voice input mode by sensing a speech finish and voice control method thereof
US9544633B2 (en) Display device and operating method thereof
US9552057B2 (en) Electronic apparatus and method for controlling the same
EP2680596A1 (en) Display apparatus, method for controlling display apparatus, and interactive system
KR102147329B1 (ko) 영상 표시 기기 및 그의 동작 방법
US20230401030A1 (en) Selecting options by uttered speech
JP2007533235A (ja) メディアコンテンツ処理装置の制御方法及びメディアコンテンツ処理装置
KR102429582B1 (ko) 전자 장치 및 그 제어 방법
US20150341694A1 (en) Method And Apparatus For Using Contextual Content Augmentation To Provide Information On Recent Events In A Media Program
KR102066564B1 (ko) 전자 장치 및 그의 제어 방법
KR20150012677A (ko) 멀티미디어 장치 및 그의 사용자 명령 예측 방법
KR102237832B1 (ko) 음성 제어를 수행하는 디스플레이 장치 및 그 음성 제어 방법
KR102420155B1 (ko) 음성 제어를 수행하는 디스플레이 장치 및 그 음성 제어 방법
KR102667407B1 (ko) 음성 제어를 수행하는 디스플레이 장치 및 그 음성 제어 방법
KR20220101591A (ko) 음성 제어를 수행하는 디스플레이 장치 및 그 음성 제어 방법
KR20240078409A (ko) 음성 제어를 수행하는 디스플레이 장치 및 그 음성 제어 방법
KR20210104689A (ko) 정보 처리 장치, 제어 방법, 정보 처리 단말기, 정보 처리 방법
KR20130078489A (ko) 전자 장치 및 이의 화각 설정 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant