KR102092164B1 - 디스플레이 장치, 서버 장치 및 이들을 포함하는 디스플레이 시스템과 그 컨텐츠 제공 방법들 - Google Patents

디스플레이 장치, 서버 장치 및 이들을 포함하는 디스플레이 시스템과 그 컨텐츠 제공 방법들 Download PDF

Info

Publication number
KR102092164B1
KR102092164B1 KR1020130165062A KR20130165062A KR102092164B1 KR 102092164 B1 KR102092164 B1 KR 102092164B1 KR 1020130165062 A KR1020130165062 A KR 1020130165062A KR 20130165062 A KR20130165062 A KR 20130165062A KR 102092164 B1 KR102092164 B1 KR 102092164B1
Authority
KR
South Korea
Prior art keywords
content
screen
voice signal
display
text
Prior art date
Application number
KR1020130165062A
Other languages
English (en)
Other versions
KR20150076629A (ko
Inventor
이희란
류희섭
최성욱
황성필
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020130165062A priority Critical patent/KR102092164B1/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN201480071052.6A priority patent/CN105850145A/zh
Priority to EP20188749.4A priority patent/EP3754999A1/en
Priority to DE202014011461.7U priority patent/DE202014011461U1/de
Priority to EP14875787.5A priority patent/EP3039879A4/en
Priority to EP23174367.5A priority patent/EP4224875A1/en
Priority to PCT/KR2014/010017 priority patent/WO2015099276A1/en
Priority to CN201810366079.8A priority patent/CN108572810A/zh
Priority to US14/584,838 priority patent/US20150189362A1/en
Publication of KR20150076629A publication Critical patent/KR20150076629A/ko
Priority to KR1020200032458A priority patent/KR102326067B1/ko
Application granted granted Critical
Publication of KR102092164B1 publication Critical patent/KR102092164B1/ko
Priority to US17/159,388 priority patent/US20210152870A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet

Abstract

디스플레이 장치가 개시된다. 본 장치는, 적어도 하나의 컨텐츠를 포함하는 화면을 디스플레이하는 디스플레이부, 음성 신호를 입력받기 위한 입력부, 음성 신호에 대응되는 결과 화면을, 화면 내의 컨텐츠의 상태에 따라 상이하게 구성하여 디스플레이부에 디스플레이하는 제어부를 포함한다. 이에 따라, 디스플레이 장치의 상태에 따라 상이한 결과 화면을 제공할 수 있다.

Description

디스플레이 장치, 서버 장치 및 이들을 포함하는 디스플레이 시스템과 그 컨텐츠 제공 방법들 {DISPLAY DEVICE, SERVER DEVICE, DISPLAY SYSTEM COMPRISING THEM AND METHODS THEREOF }
본 발명은 사용자의 음성에 응답하여 각종 정보를 제공하는 디스플레이 장치, 서버 장치 및 이들을 포함하는 디스플레이 시스템과 그 컨텐츠 제공 방법들에 대한 것이다.
전자 기술의 발달에 힘입어 다양한 종류의 전자 장치가 개발되어 보급되고 있다. 특히, 최근에는 TV를 비롯한 다양한 유형의 전자 장치들이 일반 가정에서 사용되고 있다. 이들 전자 장치들은 사용자의 요구에 따라 점차 다양한 기능을 구비하게 되었다.
가령, TV의 경우, 최근에는 인터넷과 연결되어 인터넷 서비스까지 지원하고 있다. 또한, 사용자는 TV를 통해 많은 수의 디지털 방송 채널까지 시청할 수 있게 되었다.
이에 따라, 디스플레이 장치의 다양한 기능들을 보다 편리하게 사용할 수 있도록 하는 제어 방법들이 사용되고 있다. 일 예로, 최근에는 사용자의 음성을 인식하여 그 음성에 따라 제어되는 디스플레이 장치도 개발되고 있다.
하지만, 종래의 디스플레이 장치는 사용자가 발화한 음성 신호 안에 포함되는 키워드에 대응되는 서비스를 제공하는 수준에 그치고 있다. 즉, 제한된 수준의 서비스만을 제공하고 있다.
이에 따라, 사용자의 발화 의도에 맞게 다양한 결과 화면을 제공할 수 있는 기술에 대한 필요성이 대두되었다.
본 발명은 이상과 같은 필요성에 따른 것으로, 본 발명의 목적은 디스플레이 장치에서 표시되고 있는 컨텐츠의 상태에 따라 다양한 결과 화면을 제공할 수 있는 디스플레이 장치, 서버 장치 및 이들을 포함하는 디스플레이 시스템과 그 컨텐츠 제공 방법들을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따르면, 디스플레이 장치는, 적어도 하나의 컨텐츠를 포함하는 화면을 디스플레이하는 디스플레이부, 음성 신호를 입력받기 위한 입력부, 상기 음성 신호에 대응되는 결과 화면을, 상기 화면 내의 컨텐츠의 상태에 따라 상이하게 구성하여 상기 디스플레이부에 디스플레이하는 제어부를 포함한다.
디스플레이 장치는, 서버 장치와 통신을 수행하기 위한 통신부를 더 포함할 수도 있다. 이 경우, 상기 제어부는, 상기 적어도 하나의 컨텐츠에 대한 상태 정보 및 상기 음성 신호에 대응되는 텍스트를 상기 통신부를 통해 상기 서버 장치로 전송하고, 상기 서버 장치로부터 상기 상태 정보 및 상기 텍스트에 대응되는 검색 결과가 수신되면, 상기 검색 결과에 기초하여 상기 결과 화면을 구성할 수 있다.
또는, 상기 제어부는, 상기 음성 신호가 입력되면, 상기 통신부를 통해 상기 음성 신호를 텍스트 변환부로 전송하고, 상기 텍스트 변환부에서 상기 음성 신호를 상기 텍스트로 변환하면, 상기 통신부를 통해 상기 텍스트를 수신할 수도 있다.
또는, 상기 제어부는, 상기 음성 신호에 의해 지정된 컨텐츠가 상기 화면 내에 존재하면, 상기 지정된 컨텐츠를 획득할 수 있는 주소 정보를 상기 서버 장치로부터 수신하고, 상기 주소 정보에 따라 상기 지정된 컨텐츠를 획득하며, 획득된 상기 컨텐츠를 재생하여 상기 결과 화면으로 디스플레이하며, 상기 음성 신호에 의해 지정된 컨텐츠가 상기 화면 내에 비존재하면, 상기 음성 신호에 기초한 검색 결과를 상기 서버 장치로부터 수신하여, 상기 검색 결과에 기초하여 상기 결과 화면을 구성할 수 있다.
또는, 상기 상태 정보는, 상기 디스플레이부에서 디스플레이되고 있는 화면의 종류 정보, 화면 뎁스 정보, 상기 적어도 하나의 컨텐츠에 대한 타이틀 정보, 상기 적어도 하나의 컨텐츠에 대한 얼라이어스 타이틀(alias title) 정보, 상기 적어도 하나의 컨텐츠를 식별하기 위한 식별 정보, 상기 화면 내에 포함된 컨텐츠의 개수 정보 중 적어도 하나의 정보를 포함할 수 있다.
한편, 본 발명의 일 실시 예에 따른 서버 장치는, 디스플레이 장치와 통신을 수행하여, 상기 디스플레이 장치의 상태 정보 및 상기 디스플레이 장치에서 입력된 음성 신호에 대응되는 텍스트를 수신하는 서버 통신부 및 상기 상태 정보 및 상기 텍스트에 기초한 검색을 수행하고, 그 결과 데이터를 상기 디스플레이 장치로 전송하는 서버 제어부를 포함한다.
여기서, 상기 서버 제어부는, 상기 상태 정보에 기초하여 상기 화면 내에 포함된 적어도 하나의 컨텐츠를 식별하고, 상기 텍스트에 의해 지정된 컨텐츠가 상기 디스플레이 장치의 화면 내에 존재하면, 상기 지정된 컨텐츠를 획득할 수 있는 주소 정보를 검색하여 상기 디스플레이 장치로 전송하고, 상기 텍스트에 의해 지정된 컨텐츠가 상기 디스플레이 장치의 화면 내에 비존재하면, 상기 텍스트를 이용한 검색을 수행하여 그 검색 결과를 상기 디스플레이 장치로 전송할 수 있다.
또한, 상기 상태 정보는, 상기 디스플레이 장치에서 디스플레이되고 있는 화면의 종류 정보, 화면 뎁스 정보, 상기 적어도 하나의 컨텐츠에 대한 타이틀 정보, 상기 적어도 하나의 컨텐츠에 대한 얼라이어스 타이틀(alias title) 정보, 상기 적어도 하나의 컨텐츠를 식별하기 위한 식별 정보, 상기 화면 내에 포함된 컨텐츠의 개수 정보 중 적어도 하나의 정보를 포함할 수 있다.
한편, 본 발명의 일 실시 예에 따른 디스플레이 시스템은, 음성 신호 입력이 가능한 디스플레이 장치, 상기 디스플레이 장치에서 입력된 상기 음성 신호를 텍스트로 변환하는 텍스트 변환부, 상기 디스플레이 장치의 상태 정보 및 상기 텍스트에 따라 검색을 수행하여 그 검색 결과를 상기 디스플레이 장치로 제공하는 서버 장치를 포함한다. 상기 디스플레이 장치는 상기 검색 결과가 수신되면, 상기 음성 신호 입력에 대응되는 결과 화면을 디스플레이할 수 있다.
여기서, 상기 서버 장치는, 상기 상태 정보에 기초하여 상기 디스플레이 장치의 현재 화면 내에 포함된 컨텐츠를 식별하고, 상기 음성 신호에 대응되는 상기 텍스트가 상기 화면 내에 포함된 컨텐츠 중 하나를 지정하는 제1 식별어를 포함하면, 상기 지정된 컨텐츠를 획득할 수 있는 주소 정보를 검색하여 상기 디스플레이 장치로 전송하고, 상기 텍스트가 상기 화면 내에 미포함된 컨텐츠를 지정하는 제2 식별어를 포함하면, 상기 제2 식별어에 대응되는 컨텐츠를 검색하여 그 검색 결과를 상기 디스플레이 장치로 전송할 수 있다.
한편, 본 발명의 일 실시 예에 따르면, 디스플레이 장치의 컨텐츠 정보 제공 방법은, 적어도 하나의 컨텐츠를 포함하는 화면을 디스플레이하는 단계, 음성 신호를 입력받는 단계, 상기 음성 신호에 대응되는 결과 화면을, 상기 화면 내의 컨텐츠의 상태에 따라 상이하게 구성하여 디스플레이하는 디스플레이 단계를 포함한다.
또한, 상기 적어도 하나의 컨텐츠에 대한 상태 정보 및 상기 음성 신호에 대응되는 텍스트를 서버 장치로 전송하는 단계, 상기 서버 장치로부터 상기 상태 정보 및 상기 텍스트에 대응되는 검색 결과를 수신하는 단계, 상기 검색 결과에 기초하여 상기 결과 화면을 구성하는 단계;를 더 포함할 수 있다.
또한, 상기 음성 신호가 입력되면, 상기 음성 신호를 텍스트 변환부로 전송하는 단계, 상기 텍스트 변환부에서 상기 음성 신호를 상기 텍스트로 변환하면, 상기 텍스트를 수신하는 단계를 더 포함할 수도 있다.
한편, 상기 디스플레이 단계는, 상기 음성 신호에 지정되는 컨텐츠가 상기 화면 내에 존재하면, 상기 지정된 컨텐츠를 획득할 수 있는 주소 정보를 상기 서버 장치로부터 수신하고, 상기 주소 정보에 따라 상기 지정된 컨텐츠를 획득하며, 획득된 상기 컨텐츠를 재생하여 상기 결과 화면으로 디스플레이하는 단계, 상기 음성 신호에 의해 지정되는 컨텐츠가 상기 화면 내에 비존재하면, 상기 음성 신호에 의해 지정된 컨텐츠에 대한 검색 결과를 상기 서버 장치로부터 수신하여, 상기 검색 결과에 기초하여 상기 결과 화면을 구성하여 디스플레이하는 단계를 포함할 수 있다.
또한, 상기 상태 정보는, 상기 디스플레이 장치에서 디스플레이되고 있는 화면의 종류 정보, 화면 뎁스 정보, 상기 적어도 하나의 컨텐츠에 대한 타이틀 정보, 상기 적어도 하나의 컨텐츠에 대한 얼라이어스 타이틀(alias title) 정보, 상기 적어도 하나의 컨텐츠를 식별하기 위한 식별 정보, 상기 화면 내에 포함된 컨텐츠의 개수 정보 중 적어도 하나의 정보를 포함할 수 있다.
또한, 본 발명의 일 실시 예에 따른 서버 장치의 컨텐츠 정보 제공 방법은, 디스플레이 장치에서 디스플레이 중인 화면 내의 적어도 하나의 컨텐츠에 대한 상태 정보 및 상기 디스플레이 장치에서 입력된 음성 신호에 대응되는 텍스트를 수신하는 단계 및 상기 상태 정보 및 상기 텍스트에 기초한 검색을 수행하고, 그 검색 결과를 상기 디스플레이 장치로 전송하는 단계를 포함한다.
여기서, 상기 검색 결과를 상기 디스플레이 장치로 전송하는 단계는, 상기 텍스트에 의해 지정되는 컨텐츠가 상기 디스플레이 장치의 상기 화면 내에 존재하면, 상기 지정된 컨텐츠를 획득할 수 있는 주소 정보를 상기 디스플레이 장치로 전송하는 단계, 상기 텍스트에 의해 지정되는 컨텐츠가 상기 디스플레이 장치의 상기 화면 내에 비존재하면, 상기 텍스트에 의해 지정되는 컨텐츠에 대한 검색을 수행하고, 그 검색 결과를 상기 디스플레이 장치로 전송하는 단계를 포함할 수 있다.
또한, 상기 상태 정보는, 상기 디스플레이 장치에서 디스플레이되고 있는 화면의 종류 정보, 화면 뎁스 정보, 상기 적어도 하나의 컨텐츠에 대한 타이틀 정보, 상기 적어도 하나의 컨텐츠에 대한 얼라이어스 타이틀(alias title) 정보, 상기 적어도 하나의 컨텐츠를 식별하기 위한 식별 정보, 상기 화면 내에 포함된 컨텐츠의 개수 정보 중 적어도 하나의 정보를 포함할 수 있다.
이상과 같은 다양한 실시 예에 따르면, 디스플레이 장치는 사용자의 음성이 입력되면, 그 음성에 대응되는 결과 화면을 디스플레이 장치의 상태에 따라 다양하게 구성하여 디스플레이할 수 있다. 이에 따라, 사용자의 의도에 맞게 음성 제어를 수행할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도,
도 2 내지 도 11은 본 발명의 다양한 실시 예에 따른 디스플레이 장치의 동작을 설명하기 위한 도면,
도 12는 본 발명의 일 실시 예에 따른 디스플레이 장치의 컨텐츠 정보 제공 방법을 설명하기 위한 흐름도,
도 13은 본 발명의 일 실시 예에 따른 디스플레이 시스템의 구성을 나타내는 블럭도,
도 14는 본 발명의 다양한 실시 예에 따른 디스플레이 장치의 구성을 종합적으로 설명하기 위한 블럭도,
도 15는 본 발명의 일 실시 예에 따른 디스플레이 장치의 소프트웨어 구조를 설명하기 위한 도면,
도 16은 본 발명의 일 실시 예에 따른 서버 장치의 구성을 나타내는 도면, 그리고,
도 17은 본 발명의 일 실시 예에 따른 디스플레이 시스템의 동작을 설명하기 위한 타이밍도이다.
이하에서, 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도이다. 도 1의 디스플레이 장치(100)는 TV, PC, 랩탑 PC, 휴대폰, 태블릿 PC, PDA, MP3 플레이어, 전자 액자, 키오스크 등과 같은 다양한 유형의 장치로 구현될 수 있다. 도 1에 따르면, 디스플레이 장치(100)는 입력부(110), 제어부(120), 디스플레이부(130) 및 그래픽 처리부(140)를 포함한다.
입력부(110)는 사용자의 음성 신호를 입력받기 위한 구성요소이다. 다양한 실시 예들에 따라서, 입력부(110)의 구성은 달라질 수 있다. 가령, 입력부(110)는 자체적으로 마이크를 포함하여 음성을 직접 입력받을 수도 있고, 리모콘 등에 설치된 마이크에서 입력되는 사용자 음성을 리모콘으로부터 간접적으로 입력받을 수도 있다.
제어부(120)는 디스플레이 장치(100)의 동작을 전반적으로 제어하기 위한 구성요소이다. 그래픽 처리부(140)는 각종 화면을 구성하기 위한 구성요소이다. 구체적으로는, 그래픽 처리부(140)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성할 수 있다. 연산부는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성 값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 디스플레이부(130)로 제공될 수 있다.
디스플레이부(130)는 그래픽 처리부(140)에서 생성하는 각종 화면을 디스플레이한다.
디스플레이 장치(100)가 방송 신호를 수신하여 처리하는 방송 수신 장치인 경우에는, 디스플레이부(130)는 방송 프로그램 화면을 디스플레이할 수 있다. 또는, 디스플레이 장치(100)가 IP(Internet Protocol) 서버 등과 같은 각종 컨텐츠 제공 서버로부터 컨텐츠를 다운로드받는 경우에는, 디스플레이부(130)는 컨텐츠 재생 화면을 디스플레이할 수 있다.
그 밖에, 제어부(120)는, 각종 컨텐츠들을 선택할 수 있는 컨텐츠 선택 화면이나, 각종 메뉴를 선택할 수 있는 메인 화면, 사용자가 자주 사용하는 선호 기능 화면, 사용자가 시청한 컨텐츠 정보를 안내하는 시청 이력 화면 등과 같은 다양한 화면을 구성하도록 그래픽 처리부(140)를 제어할 수 있다.
적어도 하나의 컨텐츠를 포함하는 화면이 디스플레이부(130)에 디스플레이되어 있는 상태에서 사용자의 음성 신호가 입력되면, 제어부(120)는 음성 신호에 대응되는 결과 화면을 구성하도록 그래픽 처리부(140)를 제어할 수 있다. 그래픽 처리부(140)에 의해 생성된 화면은 디스플레이부(130)로 제공되어 디스플레이될 수 있다. 이 경우, 제어부(120)는 화면 내에 포함되어 있는 컨텐츠의 정보에 따라 상이한 결과 화면을 구성하도록 그래픽 처리부(140)를 제어할 수 있다.
도 1에서는 그래픽 처리부(140)가 제어부(120)와 별개의 구성요소인 것 처럼 도시 및 설명하였으나, 실시 예에 따라서는 그래픽 처리부(140)는 제어부(120) 내에 마련되는 GPU(Graphic Processing Unit)로 구현될 수도 있다. 이에 대한 별도의 도시는 생략한다.
도 2 내지 도 11은 본 발명의 다양한 실시 예에 따른 디스플레이 장치의 동작을 설명하기 위한 도면이다.
도 2는 사용자가 음성 신호를 이용하여 지정한 컨텐츠가 화면 내에 포함되어 있는지 여부에 따라 상이한 동작을 수행하는 실시 예를 설명하기 위한 도면이다.
도 2에 도시된 바와 같이, 디스플레이 장치(100)는, 방송 중인 컨텐츠들에 대한 정보를 포함하는 화면(210)을 디스플레이할 수 있다. 이러한 화면(210)은 컨텐츠 선택 화면이나 ONTV 패널 등과 같이 다양한 이름으로 명명할 수 있다. 도 2에 따르면, 화면(210)에는 TV 방송망, IP 망 기타 다양한 루트를 통해 시청 가능한 컨텐츠들에 대한 썸네일 이미지(211-1 ~ 211-12)가 기 설정된 레이아웃으로 표시될 수 있다.
이러한 화면(210)이 디스플레이되고 있는 상태에서, 제어부(120)는 사용자(10)가 화면 내의 컨텐츠의 타이틀을 포함하는 음성 신호를 발화하면, 그 음성 신호 및 디스플레이 장치(100)의 상태에 기초하여, 음성 신호에 대한 결과 화면(220)을 디스플레이한다. 가령, 복수의 썸네일 이미지(211-1 ~ 211-12) 중에서 하나(211-9)가 AAA라는 타이틀을 가진 컨텐츠에 대한 썸네일 이미지이고, 사용자(10)가 "AAA 보여줘"라는 말을 했다면, 제어부(120)는 AAA 컨텐츠를 바로 선택하여 재생하기 위한 제어 동작을 수행한다. 구체적으로는, 디스플레이 장치(100)는 컨텐츠 재생을 위한 처리부(미도시)를 더 포함할 수 있다. 제어부(120)는 AAA 컨텐츠를 재생하도록 처리부를 제어할 수 있다.
이에 따라, 디스플레이부(130)는 AAA 컨텐츠의 재생 화면(220)을 디스플레이한다. AAA 컨텐츠는 다양한 소스로부터 제공받을 수 있다. 가령, 디스플레이 장치(100)가 AAA 컨텐츠를 이미 저장하고 있는 경우라면, 저장된 AAA 컨텐츠를 바로 재생할 수 있다. 또는, AAA 컨텐츠가 특정 방송국에서 제공하는 방송 채널을 통해 제공되는 방송 프로그램인 경우라면, 제어부(120)는 튜너(미도시)를 제어하여 해당 방송 채널을 선국하고, 그 방송 채널을 통해 방송 프로그램을 수신할 수도 있다. 또는, AAA 컨텐츠가 컨텐츠 제공 서버(미도시)로부터 제공되는 컨텐츠인 경우라면, 제어부(120)는 통신부(미도시)를 제어하여, AAA 컨텐츠를 획득할 수 있는 주소 정보를 이용하여 컨텐츠 제공 서버로 액세스하여, AAA 컨텐츠를 다운로드받을 수도 있다. 주소 정보는 디스플레이 장치(100)가 사전에 저장해 두고 있는 정보일 수도 있지만, 또 다른 실시 예에 따르면, 디스플레이 장치(100)와 연동하는 서버 장치(미도시)가 주소 정보를 제공할 수도 있다. 이상과 같은 실시 예에서 언급한 처리부 및 통신부에 대해서는 본 명세서 후반부에서 별도의 도면과 함께 구체적으로 설명한다.
한편, 사용자(10)는 화면 내에 미포함된 컨텐츠의 타이틀을 말할 수도 있다. 도 3은 도 2와 동일한 화면(210)이 표시된 상태에서, 사용자가 "BBB 보여줘" 라고 말한 경우를 나타낸다. 제어부(120)는 사용자의 음성 신호에 의해 지정되는 컨텐츠 BBB가 현재 화면(120) 내에 비 존재하면, BBB 컨텐츠를 검색한 검색 결과 화면(310)을 표시한다. 실시 예에 따라서, 검색은 다양한 장치에서 수행될 수 있다. 일 예로, 디스플레이 장치(100)의 제어부(120)가 자체적으로 수행할 수도 있지만, 외부의 서버 장치에서 검색을 수행하고, 그 수행 결과를 제어부(120)로 제공할 수도 있다. 도 3에서의 검색 결과 화면(310)에는 BBB라는 키워드를 포함하는 각종 아이템(311-1 ~ 311-12)들이 포함된 상태를 나타낸다.
제어부(120)는 아이템(311-1 ~ 311-12)들 중 하나가 사용자에 의해 선택되면, 선택된 아이템에 대응되는 컨텐츠를 재생하여 디스플레이부(130)를 통해 출력할 수도 있다.
도 2 및 도 3에서 설명한 실시 예에 따르면, 디스플레이 장치(100)는 사용자의 음성 신호에 의해 지정된 컨텐츠에 대한 정보가 현재 화면에 포함되어 있는지 여부에 따라 상이한 제어 동작을 수행할 수 있다. 이에 따라, 사용자가 특정 컨텐츠를 바로 재생할 수도 있고, 검색을 수행할 수도 있다.
한편, 본 발명의 또 다른 실시 예에 따르면, 디스플레이 장치(100)는 표시 중인 화면의 종류에 따라, 다양한 결과 화면을 제공하여 줄 수도 있다.
가령, 도 2에서 설명한 바와 같이, 현재 시청 가능한 컨텐츠에 대한 정보 포함하는 화면(210)이 표시된 상태에서는, 사용자가 음성 신호를 입력하면, 제어부(120)는 화면(210) 내의 컨텐츠 포함 여부에 따라 상이한 동작을 수행할 수 있다.
반면, 도 4에 도시된 바와 같이, 사용자가 선호하는 컨텐츠에 대한 정보를 포함하는 화면(410)이 표시된 상태에서는, 사용자가 화면(410)에 포함된 특정 컨텐츠를 지정한 음성 신호를 입력하더라도, 해당 컨텐츠를 바로 재생하지 않고, 상이한 제어 동작을 수행할 수 있다.
구체적으로는, 도 4에 도시된 바와 같이, 디스플레이 장치(100)는, 사용자가 예전에 시청하였던 컨텐츠, 그 관련 컨텐츠, 유사 컨텐츠 등을 포함하는 화면(410)을 디스플레이할 수 있다. 이러한 화면(410)은 선호 컨텐츠 화면이나, MYCONTENTS 화면, 시청 이력 화면 등과 같이 다양한 이름으로 명명할 수 있다. 도 4에 따르면, 화면(410)에는 다양한 컨텐츠들에 대한 썸네일 이미지(411-1 ~ 411-8)가 기 설정된 레이아웃으로 표시될 수 있다. 도 4의 화면(410)의 레이아웃은 도 2 및 도 3에서 도시한 화면(210)의 레이아웃과는 상이하게 설정될 수 있다.
이러한 상태에서 사용자가 말한 음성 신호가 입력부(110)를 통해 입력되면, 제어부(120)는 음성 신호에 대응되는 컨텐츠에 대한 정보, 즉, 썸네일 이미지가 현재 화면(410) 내에 포함되어 있는지 여부를 확인한다. 확인 결과, 음성 신호에 대응되는 컨텐츠의 썸네일 이미지(예를 들어, 411-6)가 존재한다면, 제어부(120)는 해당 컨텐츠와 관련된 각종 컨텐츠에 대한 검색 결과 화면(420)을 디스플레이부(130)에 디스플레이할 수 있다. 검색 결과 화면(420)에는 해당 컨텐츠에 대해 이미 시청한 컨텐츠 정보(421-1, 421-2) 및 새로이 시청 가능한 컨텐츠 정보(421-3 ~ 421-5) 등이 포함될 수 있다. 해당 컨텐츠가 복수의 시리즈로 구성된 동영상인 경우, 제어부(120)는 복수의 시리즈 중에서 사용자가 이미 시청한 것(421-1, 421-2)과 시청하지 않은 것(421-3, 421-4, 421-5)을 구분하여 표시할 수 있다. 이러한 화면(420)이 표시된 상태에서 사용자가 특정 회차의 컨텐츠(예를 들어, 421-3)를 지정하는 음성 신호(예를 들어, 3회)를 입력하면, 제어부(120)는 해당 컨텐츠를 바로 재생하여 출력할 수 있다.
도 5는 사용자가 선호하는 컨텐츠에 대한 정보를 포함하는 화면(410)이 표시된 상태에서, 사용자가 입력한 음성 신호에 의해 지정된 컨텐츠가 해당 화면(410)내에 비존재하는 경우를 나타낸다. 가령, 도 5에 도시된 바와 같이 사용자가 화면(410) 내에 존재하지 않는 컨텐츠(예를 들어, DDD)를 지정하기 위한 "DDD 보여줘"라는 음성 신호를 입력하였다면, 제어부(120)는 해당 음성 신호에 포함된 키워드 중에서 식별어 DDD에 대한 검색 결과 화면(510)을 디스플레이한다. 검색 결과 화면(510)에는 DDD라는 텍스트를 포함하는 다양한 타이틀을 가지는 컨텐츠들에 대한 정보(511-1 ~ 511-n)가 포함될 수 있다.
도 6은 특정 컨텐츠의 재생 화면(610)이 표시되고 있는 상태에서 사용자가 음성 신호를 입력한 경우를 설명하기 위한 도면이다. 이 경우, 제어부(120)는 음성 신호에 포함된 컨텐츠(예를 들어, DDD)가 현재 화면내에 포함되지 않은 것으로 판단하여, 음성 신호에 포함된 식별어에 대한 검색 결과 화면을 표시한다. 도 5에서 설명한 식별어 DDD와 동일하다고 가정하면, 도 5와 동일한 내용의 검색 결과 화면(510)이 표시될 수 있다.
이상과 같은 실시 예들에서, 제어부(120)는 타이틀의 풀 네임이 발음되는 경우 이외에도, 타이틀에 대한 줄임말, 별칭 등이 발음되는 경우, 그 줄임말, 별칭 등에 대응되는 컨텐츠들에 대한 정보를 디스플레이할 수도 있다.
도 4 내지 도 6에서 설명한 바와 같이, 디스플레이 장치(100)는 사용자가 동일한 음성 신호를 입력하였다고 하더라도, 현재 표시되고 있는 화면의 종류나, 화면 내의 컨텐츠 표시 상태 등과 같은 다양한 조건에 따라서 다양한 결과 화면을 제공하여 줄 수 있다.
한편, 이상에서는 사용자가 특정 컨텐츠를 지정하기 위한 음성 신호를 입력한 경우를 기준으로 설명하였으나, 디스플레이 장치(100)는 사용자가 임의로 말하는 음성신호를 입력받아 그 의미에 따라 다양한 결과 화면을 제공하여 줄 수도 있다.
도 7은 이러한 실시 예에 따른 디스플레이 장치의 동작을 설명하기 위한 도면이다. 도 7에 따르면, 제어부(120)는 임의의 컨텐츠 화면(710)이 표시되고 있는 상태에서 사용자(10)가 "저거 뭐야?"와 같은 음성 신호를 입력한 상태를 나타낸다. 제어부(120)는 사용자의 음성 신호를 분석하여 그 의미를 판단한다. 이에 따라, 제어부(120)는 "저거"라는 표현이 지칭하는 객체가 무엇인지를 판단하고, 그 판단 결과에 대응되는 응답 메시지(720)를 디스플레이한다. 도 7에서는 EEE라는 이름의 펭귄 캐릭터가 출연한 애니메이션 컨텐츠가 재생되고 있는 상태에서 사용자의 음성 신호가 입력된 경우를 나타낸다. 제어부(120)는 사용자의 질문에 대해 "EEE는 펭귄입니다"라는 응답 메시지(720)를 구성하여 디스플레이할 수 있다.
응답 메시지를 구성하는 방법은 다양하게 구현될 수 있다.
일 예로, 제어부(120)는 현재 디스플레이되고 있는 컨텐츠의 메타 데이터에서, 해당 컨텐츠의 타이틀, 등장 인물 명, 캐릭터 명, 부가 설명 등과 같은 다양한 정보들을 검색할 수 있다. 제어부(120)는 그 검색 결과에 따라 응답 메시지(720)를 구성하도록 그래픽 처리부(140)를 제어할 수 있다.
다른 예로, 제어부(120)는 사용자의 음성 신호가 입력된 시점에 디스플레이된 이미지 프레임을 검출한다. 제어부(120)는 검출된 이미지 프레임 내에 포함된 에지(edge)를 검출한 후, 그 에지에 의해 특정되는 오브젝트의 형상에 대응되는 관련 이미지들을 검색할 수 있다. 제어부(120)는 관련 이미지가 검색되면, 검색된 관련 이미지나 그 관련 이미지에 부가된 텍스트 등을 이용하여 응답 메시지(720)를 구성하도록 그래픽 처리부(140)를 제어할 수 있다.
그 밖에, 해당 컨텐츠에 링크된 주소 정보를 이용하여, 특정 서버 장치에 액세스하여 해당 서버 장치가 제공하는 텍스트에 기초하여 응답 메시지(720)를 구성하도록 그래픽 처리부(140)를 제어할 수도 있다.
도 8은 웹 화면(810)이 디스플레이되고 있는 상태를 나타낸다. 이러한 상태에서 사용자가 "저거 뭐야?"와 같은 음성 신호를 입력하면, 제어부(120)는 현재 표시되고 있는 웹 화면(810)을 제공하는 웹 서버(미도시)에 대한 정보에 기초하여 응답 메시지(820)를 디스플레이할 수 있다. 도 8에서는 현재 표시되고 있는 사이트가 FFF 포털 사이트임을 나타내는 응답 메시지(820)를 도시하였다.
다른 예로는, 제어부(120)는 현재 표시되고 있는 웹 화면(810)의 URL을 포함하는 응답 메시지(820)를 구성하도록 그래픽 처리부(140)를 제어할 수도 있다.
도 9는 적어도 하나의 컨텐츠에 대한 정보를 포함하는 컨텐츠 선택 화면이 디스플레이된 상태에서 사용자가 임의의 음성 신호를 입력한 경우를 설명하기 위한 도면이다. 도 9에 따르면, 컨텐츠 선택 화면(910)에는 시청 가능한 컨텐츠들에 대한 썸네일 이미지들(911-1 ~ 911-12)가 포함될 수 있다.
제어부(120)는 썸네일 이미지들(911-1 ~ 911-12) 중 하나를 하이라이트 표시할 수 있다. 도 9에서는 두 번째 썸네일 이미지(911-2)가 하이라이트 표시된 상태를 나타낸다. 제어부(120)는 사용자가 원격 제어 장치에 구비된 방향 키를 조작하거나, 방향을 나타내는 음성 신호를 입력하는 경우, 그 방향 키 또는 음성 신호에 대응되는 방향으로 하이라이트 표시를 이동시킬 수 있다. 이러한 상태에서, 사용자가 "저거 뭐야?"라는 음성 신호를 입력하면, 제어부(120)는 현재 하이라이트 표시된 썸네일 이미지(911-2)에 링크된 상세 정보 화면(920)을 디스플레이하도록 그래픽 처리부(140) 및 디스플레이부(130)를 제어할 수 있다. 예를 들어, 해당 썸네일 이미지(911-2)가 영화 컨텐츠에 대한 것이라면, 상세 정보 화면(920)에는 영화 제목, 언어, 재생 시간, 줄거리, 주요 장면 등과 같은 다양한 정보들이 포함될 수 있다.
또는, 제어부(120)는 사용자가 "저거 보여줘"라는 음성 신호를 입력하였다면, 현재 하이라이트 표시된 썸네일 이미지(911-2)에 대응되는 컨텐츠를 바로 재생하도록 처리부를 제어하여, 그 재생 화면을 디스플레이부(130)에서 디스플레이할 수도 있다.
이상과 같이, 본 발명의 다양한 실시 예에 따르면, 디스플레이 장치는 사용자가 동일한 음성 신호를 입력하더라도, 디스플레이 장치의 동작 상태에 따라 다양한 결과 화면을 제공하여 줄 수 있다.
이 밖에도, 디스플레이 장치는 사용자가 동일한 음성 신호를 입력하더라도, 디스플레이 장치의 동작 상태에 따라 상이한 제어 동작을 수행할 수도 있다.
도 10 및 도 11은 본 발명의 또 다른 실시 예에 따른 디스플레이 장치의 동작을 설명하기 위한 도면이다. 본 실시 예에 따르면 디스플레이 장치는, 사용자가 동일한 음성 신호를 입력한 경우에도, 디스플레이 장치의 동작 상태에 따라 상이한 제어 동작을 수행할 수 있다.
도 10 및 도 11은 사용자가 "더 크게"라는 음성 신호를 입력한 경우를 나타낸다. 도 10에서는 오디오 볼륨과 상관없는 화면(1010)이 표시되고 있는 상태를 나타낸다. 구체적으로는, 디스플레이 장치(100)는 복수의 오브젝트(1011-1 ~ 1011-8)를 포함하는 화면(1010)을 표시할 수 있다. 가령, 도 2 내지 도 5에서 도시한, 시청 가능한 컨텐츠에 대한 썸네일 이미지를 포함하는 컨텐츠 선택 화면이나, 사용자 선호 컨텐츠에 대한 화면 등을 표시할 수 있다.
이러한 상태에서, 제어부(120)는 "더 크게"라는 음성 신호가 입력되면, 사용자(10)의 의도가 화면(1010)을 확대하여 표시하라는 의도인 것으로 판단할 수 있다. 이에 따라, 확대된 크기의 오브젝트들(1011-1 ~ 1011-8)을 포함하는 화면(1020)을 구성하도록 그래픽 처리부(140)를 제어할 수 있다. 확대 결과, 전체 오브젝트들(1011-1 ~ 1011-8)이 한 화면(1020)에 모두 포함될 수 없으면, 한 화면(1020)에 포함된 오브젝트의 개수를 줄일 수 있다. 도 10에서는 확대 전 화면(1010)에서는 8개의 오브젝트(1011-1 ~ 1011-8)가 포함되다가, 확대 후 화면(1020)에서는 4개의 오브젝트(1011-1, 1011-2, 1011-5, 1011-6)가 포함된 경우를 나타낸다. 제어부(120)는 "더 크게"라는 음성 신호가 복수 횟수 반복 입력되면, 오브젝트(1011-1 ~ 1011-8)의 크기를 지속적으로 확대시키도록 그래픽 처리부(140)를 제어할 수 있다. 또한, 제어부(120)는 기 설정된 횟수 이상 반복 입력되면, 오브젝트(1011-1 ~ 1011-8) 중 하나(예를 들어, 1011-1)를 전체 화면 크기로 구성하도록 그래픽 처리부(140)를 제어할 수도 있다. 도 10에서는 각 오브젝트(1011-1 ~ 1011-8)가 썸네일 이미지 형태인 것으로 도시하였으나, 오브젝트는 텍스트나, 사진, 이미지 등과 같이 다양한 형태로 구현될 수 있다.
도 11은 동영상 컨텐츠를 재생하여 그 재생 화면(1110)을 디스플레이하고 있는 상태를 나타낸다. 이러한 상태에서 사용자(10)가 "더 크게"라는 음성 신호를 입력하면, 제어부(120)는 사용자가 오디오 볼륨을 키우라는 의도인 것으로 판단할 수 있다. 이에 따라, 제어부(120)는 오디오 볼륨을 일정 레벨만큼 증대시킬 수 있다. 또한, 제어부(120)는 오디오 볼륨 상태를 나타내는 GUI(Graphic User Interface)(1120)를 구성하도록 그래픽 처리부(140)를 제어할 수도 있다.
도 10 및 도 11에서는 "더 크게"라는 음성 신호를 예로 들어 설명하였으나, 이 밖에도 "더 작게"라는 음성 신호가 입력되는 경우에는 화면 종류에 따라 사이즈 축소 또는 오디오 볼륨 축소 등과 같이 상이한 동작을 수행할 수 있다.
이상과 같이, 본 발명의 다양한 실시 예에 따르면, 디스플레이 장치는 사용자가 동일한 음성 신호를 입력하더라도, 디스플레이 장치의 동작 상태에 따라 다양한 동작을 수행할 수 있다.
한편, 상술한 실시 예들에서는, 디스플레이 장치(100)에서 음성 신호를 입력받아 처리하는 것을 설명하였으나, 디스플레이부를 갖추지 않은 방송 수신 장치(예를 들어, 셋탑 박스 등)에서 상술한 처리 동작을 수행할 수도 있다. 가령, 셋탑 박스는 외부의 디스플레이 장치에서 적어도 하나의 컨텐츠를 포함하는 화면을 디스플레이하고 있는 상태에서 사용자의 음성 신호가 입력되면, 셋탑 박스는 그 음성 신호에 대응되는 결과 화면을 컨텐츠 상태에 따라 상이하게 구성하여 디스플레이 장치로 제공하여 줄 수 있다. 이에 따라, 음성 신호에 대응되는 결과 화면이 디스플레이 장치에서 디스플레이될 수 있다. 방송 수신 장치에서 구성하는 결과 화면은 상술한 도 2 내지 도 11에서 설명한 바와 같이 다양하게 구성될 수 있다. 방송 수신 장치의 구성 및 동작에 대한 도시 및 설명은 생략한다.
도 12는 본 발명의 일 실시 예에 따른 디스플레이 장치의 컨텐츠 정보 제공 방법을 설명하기 위한 흐름도이다.
도 12에 따르면, 디스플레이 장치(100)는 임의의 화면을 디스플레이하고 있는 상태에서(S1210), 사용자의 음성 신호를 입력받을 수 있다(S1220). 화면은 도 2 내지 도 11에서 설명한 바와 같이 다양하게 구현될 수 있다. 사용자의 음성 신호가 입력되면, 디스플레이 장치(100)는 그 음성 신호에 대응되는 결과 화면을 화면 내의 컨텐츠 상태에 따라 상이하게 구성하여 디스플레이할 수 있다(S1230). 이러한 동작은 디스플레이 장치(100)가 독립적으로 수행할 수 있으나, 반드시 이에 한정되는 것은 아니다. 즉, 본 발명의 일 실시 예에 따르면, 텍스트 변환부, 디스플레이 장치(100) 및 서버 장치를 포함하는 디스플레이 시스템에서 상술한 동작을 수행할 수 있다.
도 13은 본 발명의 일 실시 예에 따른 디스플레이 시스템의 구성을 나타내는 블럭도이다. 도 13에 따르면, 디스플레이 시스템(1300)은 텍스트 변환부(1310), 디스플레이 장치(100), 서버 장치(1400)를 포함한다.
디스플레이 장치(100)는 음성 신호가 입력되면, 외부의 텍스트 변환부(1310)로 음성 신호를 전송할 수 있다. 텍스트 변환부(1310)는 디스플레이 장치(100)를 통해 전송되는 음성 신호를 텍스트로 변환하여 제공하는 일종의 장치를 의미한다. 실시 예에 따라서, 텍스트 변환부(1310)는 별도의 서버 장치로 구현될 수도 있고, 서버 장치(1400) 내부에 포함될 수도 있다.
텍스트 변환부(1310)는 동적정합법(Dynamic time warping method), 은닉 마코프모델(Hidden Markov Model), 신경망(Neural Network) 등과 같은 다양한 인식 알고리즘 중 적어도 하나를 이용하여 음성을 인식하고, 인식된 음성을 텍스트로 변환할 수 있다. 일 예로, 은닉 마코프 모델을 사용하는 경우, 텍스트 변환부(1310)는 사용자 음성의 시간적 변화 및 스펙트럼 변화를 각각 모델링하여, 기 저장된 언어 데이터베이스에서 유사한 어휘를 검출한다. 이에 따라, 검출된 어휘를 텍스트로 출력할 수 있다. 텍스트 변환부(1310)는 변환된 텍스트를 디스플레이 장치(100)로 전송한다. 한편, 상술한 바와 같이, 디스플레이 장치(100)가 텍스트 변환 기능을 갖춘 경우에는, 텍스트 변환부(1310)로 음성 신호를 전송하지 않고, 디스플레이 장치(100)가 직접 음성 신호를 텍스트로 변환할 수 있다.
디스플레이 장치(100)는 텍스트 변환부(1310)로부터 텍스트가 전송되면, 입력된 텍스트에 대응되는 제어 동작을 수행할 수 있다. 가령, 디스플레이 장치(100)는 사용자가 입력한 음성 신호 내에 기 정의된 음성 코맨드가 포함되면, 그 음성 코맨드에 대응되는 동작을 수행할 수 있다. 가령, 디스플레이 장치(100)가 TV인 경우, 턴-온, 턴-오프, 볼륨 업, 볼륨 다운, 채널 업, 채널 다운 등과 같은 다양한 동작들 각각에 대해 음성 코맨드가 지정되어 저장될 수 있다. 디스플레이 장치(100)는 이러한 음성 코맨드가 입력되면, 해당 음성 코맨드에 매칭되는 동작을 수행한다.
반면, 음성 명령어와 텍스트가 일치하지 않으면, 디스플레이 장치(100)는 텍스트를 서버 장치(1400)로 제공한다. 또한, 디스플레이 장치(100)는 음성 신호가 입력되었을 때 디스플레이하고 있던 화면 내에 포함된 컨텐츠에 대한 상태 정보도 서버 장치(1400)로 전송한다.
서버 장치(1400)는 디스플레이 장치(100)로부터 상태 정보 및 텍스트를 수신할 수 있다. 상태 정보 및 텍스트는 한꺼번에 일괄적으로 수신될 수도 있고, 필요에 따라 순차적으로 수신할 수도 있다. 가령, 서버 장치(1400)는 디스플레이 장치(100)로부터 상태 정보를 먼저 수신하고, 그 이후에 텍스트를 후순위로 수신할 수도 있다.
서버 장치(1400)는 수신된 상태 정보 및 텍스트에 기초하여 검색을 수행하고, 그 검색 결과를 디스플레이 장치(100)로 전송한다. 검색 결과에는 다양한 정보가 포함될 수 있다. 예를 들어, 사용자의 음성 신호에 포함된 키워드를 포함하는 다양한 컨텐츠들에 대한 썸네일 이미지나, 타이틀 정보, 컨텐츠 정보를 획득할 수 있는 주소 정보 등과 같은 다양한 정보가 포함될 수 있다.
디스플레이 장치(100)는 검색 결과가 수신되면, 수신된 검색 결과에 기초하여 결과 화면을 구성하여 디스플레이할 수 있다. 상태 정보에는 화면 내에 포함된 컨텐츠의 타이틀 정보, 얼라이어스 타이틀 정보, 식별 정보 중 적어도 하나가 포함될 수 있다. 또는, 상태 정보는, 화면 내에 포함된 컨텐츠의 개수 정보, 컨텐츠 종류 정보, 컨텐츠 설정 정보 중 적어도 하나의 정보를 포함할 수도 있다. 컨텐츠 개수 정보란, 도 2와 같은 화면 내에 표시된 썸네일 이미지의 개수가 몇 개인지를 알리는 정보이고, 컨텐츠 종류 정보는 그 화면 내의 컨텐츠가 동영상, 사진, 웹 페이지, TV, VOD 등과 같은 다양한 컨텐츠 중 어떤 컨텐츠인지를 알리는 정보를 의미한다. 컨텐츠 설정 정보란 사용자가 각 컨텐츠에 대해 설정해 둔 설정 정보를 의미한다. 가령, 3D 컨텐츠인 경우에는 뎁스 정보가 될 수 있다.
일 예로, 디스플레이 장치(100)는 다음과 같은 상태 정보를 전송할 수 있다.
TV_status : recommend, smart-function, web-browser, etc
screen_info : OnTV, Mycontent, Apps, Movies, TV, photo, web page, multimedia, account, recommendation bar, multiscreen, main screen, etc
panel_depth_info : first, second, third, etc
panel_text : title1, title2, command1, command2, etc
contents_title : title-1, title-2, title-3... , title-n
alias-title : a-title-1, a-title-2, a-title-3, ..., title-n
content_num : n
content_id : ID-1, ID-2, ... ID-n
다른 예로, 특정 컨텐츠를 재생하고 있는 경우, 디스플레이 장치(100)는 다음과 같은 상태 정보를 전송할 수 있다.
device_status_type : EPG
content_info : content-id-001
content_time : 20130102-10:00
title : EEE is My friend
user_id : KIM
서버 장치(1400)는 디스플레이 장치(100)에서 상태 정보를 이용하여, 디스플레이 장치(100)의 현재 상태를 판단할 수 있다. 가령, "AAA 보여줘"라는 텍스트가 입력되었다면, 서버 장치(1400)는 상태 정보 내의 타이틀 정보나 얼라이어스 타이틀 정보, 식별 정보 등을 이용하여, 디스플레이 장치(100)의 현재 화면 내에 AAA라는 타이틀을 가지는 컨텐츠가 존재하는지 여부를 판단한다. 판단 결과, AAA 컨텐츠가 존재한다면, 서버 장치(1400)는 AAA 컨텐츠를 직접 디스플레이 장치(100)로 전송할 수 있다. 또 다른 실시 예에 따르면, 서버 장치(1400)는 AAA 컨텐츠를 획득할 수 있는 주소 정보를 디스플레이 장치(100)로 전송하여 줄 수도 있다. 디스플레이 장치(100)는 주소 정보가 수신되면, 그 주소 정보에 기초하여 컨텐츠 제공 서버(미도시)에 액세스하여, AAA 컨텐츠를 획득할 수 있다.
도 13의 디스플레이 시스템(1300)에 포함된 디스플레이 장치(100)는 도 1에서 설명한 구성을 그대로 포함할 수도 있으나, 반드시 이에 한정되는 것은 아니다.
도 14는 상술한 다양한 실시 예들에서 설명한 디스플레이 장치(100)가 텔레비전으로 구현된 경우의 세부 구성 예를 나타내는 도면이다.
도 14에 따르면, 디스플레이 장치(100)는 입력부(110), 제어부(120), 디스플레이부(130), 그래픽 처리부(140), 저장부(150), 통신부(165), 방송 수신부(160), 처리부(170), 스피커부(180), 리모콘 신호 수신부(190)를 포함할 수 있다.
입력부(110)는 상술한 바와 같이 음성 신호를 입력받기 위한 구성요소이다.
그래픽 처리부(140)는 상술한 바와 같이 각종 화면을 구성하기 위한 구성요소이다.
제어부(120)는 입력부(110)를 통해서 입력된 음성 신호를 직접 텍스트로 변환하거나, 또는, 도 13에서 설명한 바와 같이 텍스트 변환부로 전송하여 텍스트로 변환하도록 할 수도 있다.
통신부(165)는 텍스트 변환부(1310) 및 서버 장치(1400)를 비롯한 각종 외부 장치와 통신을 수행하기 위한 구성요소이다. 통신부(165)는 다양한 유형의 통신방식에 따라 통신을 수행할 수 있다. 구체적으로는, 통신부(165)는 와이파이, 블루투스, 지그비, LAN, 3G, 4G, NFC 등과 같은 다양한 유무선 통신 방식에 따라 통신을 수행할 수 있다. 제어부(120)는 통신부(165)를 통해 텍스트 변환부(1310) 및 서버 장치(1400) 등과 통신을 수행할 수 있다. 가령, 제어부(120)는 음성 신호가 입력되면, 그 입력 시점에 디스플레이부(130)에서 디스플레이되고 있는 화면에 대한 상태 정보와, 음성 신호에 대응되는 텍스트를 통신부(165)를 통해 서버 장치(1400)로 전송할 수 있다.
리모콘 신호 수신부(190)는 원격 제어 장치로부터 각종 리모콘 신호를 수신하기 위한 구성요소이다.
방송 수신부(160)는 각종 방송 채널을 선국하여, 선국된 방송 채널을 통해 방송 컨텐츠를 수신하기 위한 구성요소이다.
제어부(120)는 리모콘 신호 수신부(190)를 통해 수신된 리모콘 신호에 따라, 방송 수신부(160)를 제어하여, 방송 채널을 선국할 수 있다.
처리부(170)는 컨텐츠를 처리하기 위한 구성요소이다. 처리부(170)는 방송 수신부(160)를 통해 수신된 방송 컨텐츠나, 인터넷이나 기타 네트워크를 통해 수신되는 컨텐츠, 저장부(150)에 저장된 컨텐츠들과 같이 다양한 컨텐츠를 처리하여, 재생할 수 있다.
처리부(170)는 비디오 프로세서, 오디오 프로세서 등을 포함할 수 있다. 비디오 프로세서는 컨텐츠에 포함된 비디오 데이터를 처리하기 위한 구성요소이다. 비디오 프로세서에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다. 오디오 프로세서는 컨텐츠에 포함된 오디오 데이터를 처리하기 위한 구성요소이다. 오디오 프로세서에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
디스플레이부(130)는 처리부(170)에서 처리된 비디오 데이터를 출력할 수 있다.
또한, 스피커부(180)는 처리부(170)에서 처리한 오디오 데이터를 출력할 수 있다.
저장부(150)는 디스플레이 장치(100)의 동작에 필요한 각종 프로그램이나 데이터, 컨텐츠 등을 저장하기 위한 구성요소이다.
제어부(120)는 저장부(150)에 저장된 프로그램을 이용하여 디스플레이 장치(100)의 전반적인 동작을 제어할 수 있다. 제어부(120)는 다양한 형태로 구성될 수 있다. 일 예로, 제어부(120)는 도 14에 도시된 바와 같이 RAM(121), ROM(122), CPU(123), 버스(125)를 포함한다. RAM(121), ROM(122), CPU(123) 등은 버스(125)를 통해 서로 연결될 수 있다.
CPU(123)는 저장부(150)에 액세스하여, 저장부(150)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 저장부(150)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
ROM(122)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, CPU(123)는 ROM(122)에 저장된 명령어에 따라 저장부(150)에 저장된 O/S를 RAM(121)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(123)는 저장부(150)에 저장된 각종 프로그램을 RAM(121)에 복사하고, RAM(121)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다.
그 밖에, 도 14에서는 도시하지 않았으나, 디스플레이 장치(100)는 마이크, 카메라, USB 포트, 외부 입력 포트 등과 같은 다양한 구성요소들을 더 포함할 수도 있다.
도 15는 디스플레이 장치(100)에 저장된 소프트웨어의 구조를 설명하기 위한 도면이다. 도 15에 따르면, 저장부(150)에는 OS(151), 음성 신호 처리 모듈(152-1), 상태 정보 처리 모듈(152-2), 커맨드 처리 모듈(152-3), UI 프레임워크(152-4), APP 매니저(152-5), 멀티미디어 프레임워크(152-6), 데이터베이스(153) 및 다양한 어플리케이션(154-1 ~ 154-m)이 저장될 수 있다.
운영체제(Operating System: OS, 151)는 하드웨어의 전반적인 동작을 제어하고 관리하는 기능을 수행한다. 즉, OS(151)는 하드웨어 관리와 메모리, 보안 등의 기본적인 기능을 담당하는 소프트웨어이다.
음성 신호 처리 모듈(152-1)은 입력부(110)를 통해 입력된 음성 신호를 텍스트로 변환하기 위한 소프트웨어이다. 텍스트 변환은 상술한 바와 같이 다양한 알고리즘에 따라 수행될 수 있다.
상태 정보 처리 모듈(152-2)은 디스플레이부(130)에서 디스플레이하고 있는 화면에 포함된 각종 컨텐츠에 대한 상태 정보를 생성하기 위한 구성요소이다. 상태 정보는 상술한 바와 같이 다양한 형태로 구성될 수 있다.
커맨드 처리 모듈(152-3)은 서버 장치(1400)에서 전송되는 커맨드를 파싱하기 위한 구성요소이다. 제어부(120)는 커맨드 처리 모듈(152-3)에서 처리된 커맨드에 대응되는 동작을 수행한다.
UI 프레임워크(152-4)는 디스플레이부(110)에 표시할 각종 UI를 제공하기 위한 모듈이다. UI 프레임워크(152-4)는 화면 내에 포함되는 각종 오브젝트를 구성하는 이미지 합성기(Image Compositor module), 오브젝트가 표시될 좌표를 산출하는 좌표 합성기, 구성된 오브젝트를 산출된 좌표에 렌더링하는 렌더링 모듈, 2D 또는 3D 형태의 UI를 구성하기 위한 툴(tool)을 제공하는 2D/3D UI 툴킷 등을 포함할 수 있다. 제어부(120)는 UI 프레임워크(152-3)를 실행시켜, 도 2 내지 도 11에서 설명한 바와 같은 다양한 화면을 디스플레이할 수 있다.
APP 매니저(152-5)는 저장부(150)에 설치(install)된 각종 어플리케이션의 실행 상태를 관리하는 모듈이다. APP 매니저(152-5)는 어플리케이션 실행 이벤트가 감지되면, 해당 이벤트에 대응되는 어플리케이션을 호출하여 실행시킨다.
데이터베이스(143)는 각종 음성 코맨드나 키워드 등을 포함한다. 그 밖에도, 저장부(150)에는 다양한 어플리케이션(145-1 ~ 145-m)이 저장될 수 있다.
도 15에 표시된 소프트웨어 구조는 일 예에 불과하므로, 반드시 이에 한정되어야 하는 것은 아니다. 따라서, 필요에 따라 일부가 생략 또는 변형되거나, 추가될 수도 있음은 물론이다. 가령, 디스플레이 장치(100)가 텍스트 변환 기능을 구비하지 않은 경우에는, 음성 신호 처리 모듈(152-1) 및 데이터베이스(143)는 생략될 수도 있다.
한편, 상술한 바와 같이 디스플레이 장치(100)는 텔레비젼 이외에도 다양한 유형의 장치로 구성될 수 있다. 따라서, 도 14 및 도 15에서 설명한 구성은, 디스플레이 장치(100)의 종류에 따라 다양하게 변형될 수 있다.
도 16은 디스플레이 시스템(1300)에 포함된 서버 장치의 구성의 일 예를 나타내는 블럭도이다. 도 16에 따르면, 서버 장치(1400)는 서버 통신부(1410) 및 서버 제어부(1420)를 포함한다.
서버 통신부(1410)는 디스플레이 장치(100)와 통신을 수행하기 위한 구성요소이다. 서버 통신부(1410)는 디스플레이 장치(100)에서 디스플레이 중인 화면 내의 적어도 하나의 컨텐츠에 대한 상태 정보 및 텍스트를 수신할 수 있다.
서버 제어부(1420)는 수신된 상태 정보 및 텍스트에 기초하여, 디스플레이 장치(100)의 사용 의도에 부합하는 검색을 수행할 수 있다. 구체적으로는, 서버 제어부(1420)는 상태 정보에 기초하여 디스플레이 장치(100)의 화면 내에 포함된 컨텐츠를 식별할 수 있다. 서버 제어부(1420)는 텍스트에 의해 지정된 컨텐츠가 식별된 컨텐츠 중에 존재하면, 지정된 컨텐츠를 획득할 수 있는 주소 정보를 검색하여 디스플레이 장치(100)로 전송할 수 있다. 반면, 서버 제어부(1420)는 텍스트에 의해 지정된 컨텐츠가 디스플레이 장치(100)의 화면 내에 비존재하면, 텍스트를 이용한 검색을 수행하여 그 검색 결과를 디스플레이 장치(100)로 전송할 수 있다.
서버 제어부(1420)는 입력 데이터 처리부(1421), 대화 의도 분석부(1422), 컨텐츠 처리부(1423), 상태 정보 분석부(1424), 명령어 생성부(1425), 출력 데이터 처리부(1426)를 포함한다.
입력 데이터 처리부(1421)는 디스플레이 장치(100)에서 전송된 데이터를 파싱(parsing)하여, 각 구성요소들(1422 ~ 1426)로 제공하기 위한 구성요소이다.
상태 정보 분석부(1422)는 입력 데이터 처리부(1421)에서 처리된 상태 정보를 입력받아, 그 상태 정보를 분석하기 위한 구성요소이다. 상태 정보 분석부(1422)는 상태 정보를 분석하여 디스플레이 장치(100)에서 디스플레이된 화면 내에 어떠한 컨텐츠가 포함되었는지, 화면의 종류가 무엇인지 여부를 판단할 수 있다.
대화 의도 분석부(1423)는 서버 통신부(1410)를 통해 수신된 텍스트와, 상태 정보 정보 분석부(1422)에서 분석된 분석 결과를 바탕으로 사용자의 의도를 분석하는 작업을 수행하는 구성요소이다.
컨텐츠 처리부(1424)는 사용자의 음성 신호에 의해 지정된 컨텐츠에 대한 정보를 포함하는 퀘어리(query)를 생성하기 위한 구성요소이다. 서버 통신부(1410)는 생성된 퀘어리를 컨텐츠 제공 서버(1600)나 기타 데이터베이스 등으로 전송하여, 전송된 퀘어리에 대한 응답 신호를 수신할 수 있다. 응답 신호에는 검색 결과가 포함될 수 있다.
명령어 생성부(1425)는 대화 의도 분석부(1423)의 분석 결과 및 수신된 응답 신호를 바탕으로 디스플레이 장치(100)에 부합하는 명령어를 생성한다.
출력 데이터 처리부(1426)는 생성된 명령어 및 검색 결과를 포함하는 출력 데이터를 생성하기 위한 구성요소이다. 출력 데이터는 디스플레이 장치(100)에서 실행 가능한 형태로 생성될 수 있다.
도 17은 본 발명의 일 실시 예에 따른 디스플레이 시스템의 동작을 설명하기 위한 타이밍도이다. 도 17에 따르면, 디스플레이 장치(100)는 사용자의 음성이 입력되면(S1710), 그 음성 신호를 텍스트 변환부(1310)로 전송한다.
텍스트 변환부(1310)는 음성 신호를 텍스트로 변환하여(S1720), 변환된 텍스트를 디스플레이 장치(100)로 전송한다(S1725). 디스플레이 장치(100)는 수신된 텍스트 및 상태 정보를 서버 장치(1400)로 전송한다(S1730). 상태 정보는 상술한 바와 같이 다양하게 구성될 수 있다.
서버 장치(1400)는 상태 정보에 기초하여 대화 의도를 분석한다(S1735). 서버 장치(1400)는 분석된 대화 의도에 부합되는 검색을 수행한다(S1740). 구체적인 검색 방법은 도 2 내지 도 11에서 설명한 바와 같이 다양하게 수행될 수 있다.
서버 장치(1400)는 검색 결과를 디스플레이 장치(100)로 전송할 수 있다(S1745). 검색 결과에는 다양한 컨텐츠를 획득할 수 있는 주소 정보가 포함될 수 있다. 디스플레이 장치(100)는 검색 결과에 포함된 주소 정보에 따라 컨텐츠 제공 서버(1600)에 액세스한다. 디스플레이 장치(100)는 컨텐츠 제공 서버(1600)에 대해 컨텐츠 정보를 요청한다(S1750).
컨텐츠 제공 서버(1600)는 요청에 따라 컨텐츠나 썸네일 이미지 등을 제공할 수 있다(S1755).
디스플레이 장치(100)는 전송된 데이터에 기초하여 결과 화면을 구성할 수 있다(S1760). 결과 화면은 디스플레이 장치(100)의 상태 및 사용자의 음성 신호에 따라 도 2 내지 도 11에 도시된 바와 같이 다양하게 구성되어 디스플레이될 수 있다.
이상과 같이 디스플레이 장치(100)는 사용자가 입력한 음성 신호 및 디스플레이 장치(100)의 화면 표시 상태에 따라 다양한 결과 화면을 디스플레이할 수 있다.
상술한 다양한 실시 예들에 따른 디스플레이 장치 또는 디스플레이 시스템의 컨텐츠 정보 제공 방법은 비일시적 판독 가능 매체(non-transitory readable medium) 에 저장될 수 있다. 이러한 비일시적 판독 가능 매체는 다양한 장치에 탑재되어 사용될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 될 수 있다.
일 예로, 적어도 하나의 컨텐츠를 포함하는 화면을 디스플레이하는 단계, 음성 신호를 입력받는 단계, 상기 음성 신호에 대응되는 결과 화면을, 상기 컨텐츠의 상태에 따라 상이하게 구성하여 디스플레이하는 디스플레이 단계를 수행하기 위한 프로그램 코드가 비일시적 판독 가능 매체(non-transitory readable medium)에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 입력부 120 : 제어부
130 : 디스플레이부

Claims (20)

  1. 전자 장치에 있어서,
    디스플레이;
    음성 신호를 수신하기 위한 마이크로폰; 및
    컨텐츠와 관련된 정보를 포함하는 화면을 상기 디스플레이에 디스플레이하고,
    상기 마이크로폰을 통해 수신된 음성 신호에 기초한 텍스트가 상기 디스플레이된 화면에 포함된 상기 컨텐츠와 관련된 정보에 대응되지 않으면, 서버로부터 수신된 상기 텍스트와 관련된 적어도 하나의 컨텐츠의 검색 결과를 디스플레이하도록 상기 디스플레이를 제어하고,
    상기 마이크로폰을 통해 수신된 음성 신호에 기초한 텍스트가 상기 디스플레이된 적어도 하나의 컨텐츠의 검색 결과에 포함된 컨텐츠와 관련된 정보에 대응되면, 상기 검색 결과에 포함된 상기 컨텐츠를 실행한 화면을 디스플레이하도록 상기 디스플레이를 제어하는 프로세서;를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 서버와 통신하기 위한 통신부;를 더 포함하고,
    상기 프로세서는,
    상기 서버로부터 상기 텍스트와 관련된 적어도 하나의 컨텐츠의 검색 결과를 수신하도록 상기 통신부를 제어하는 것을 특징으로 하는 전자 장치.
  3. 제1항에 있어서,
    텍스트 변환부와 통신하기 위한 통신부;를 더 포함하고,
    상기 프로세서는,
    상기 마이크로폰을 통해 상기 음성 신호가 수신되면, 상기 음성 신호를 상기 텍스트 변환부로 전송하도록 상기 통신부를 제어하고,
    상기 음성 신호가 상기 텍스트 변환부에 의해 상기 텍스트로 변환되면, 상기 텍스트 변환부로부터 상기 텍스트를 수신하도록 상기 통신부를 제어하는 것을 특징으로 하는 전자 장치.
  4. 제3항에 있어서,
    상기 텍스트 변환부는,
    상기 서버에 포함되는 것을 특징으로 하는 전자 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 음성 신호에 의해 지정되는 컨텐츠와 관련된 정보가 상기 디스플레이에 디스플레이된 화면에 포함된 컨텐츠와 관련된 정보에 포함되지 않으면, 상기 서버로부터 상기 검색 결과를 수신하는 것을 특징으로 하는 전자 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 음성 신호에 의해 지정되는 컨텐츠와 관련된 정보가 상기 검색 결과에 포함된 컨텐츠와 관련된 정보에 포함되면, 상기 검색 결과에 포함된 상기 컨텐츠를 실행하고, 상기 실행한 화면을 디스플레이하도록 상기 디스플레이를 제어하는 것을 특징으로 하는 전자 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 디스플레이에 디스플레이된 화면에 포함된 컨텐츠와 관련된 정보에 대응되지 않는 음성 신호가 수신되면, 상기 대응되지 않는 음성 신호에 대응되는 컨텐츠를 포함하는 상기 검색 결과를 디스플레이하고, 상기 검색 결과가 디스플레이되는 동안 상기 대응되지 않는 음성 신호가 재차 수신되면, 상기 검색 결과에 포함된 상기 컨텐츠를 실행하고, 상기 실행한 화면을 디스플레이하도록 상기 디스플레이를 제어하는 것을 특징으로 하는 전자 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 서버로부터 수신된 검색 결과에 기초하여, 상기 텍스트와 관련된 상기 적어도 하나의 컨텐츠가 나열된 상기 검색 결과를 디스플레이하도록 상기 디스플레이를 제어하는 전자 장치.
  9. 전자 장치에 있어서,
    디스플레이;
    원격 제어 장치로부터 음성 신호를 수신하기 위한 원격 제어 신호 수신부; 및
    컨텐츠와 관련된 정보를 포함하는 화면을 상기 디스플레이에 디스플레이하고,
    상기 원격 제어 신호 수신부를 통해 수신된 음성 신호에 기초한 텍스트가 상기 디스플레이된 화면에 포함된 상기 컨텐츠와 관련된 정보에 대응되지 않으면, 서버로부터 수신된 상기 텍스트와 관련된 적어도 하나의 컨텐츠의 검색 결과를 디스플레이하도록 상기 디스플레이를 제어하고,
    상기 원격 제어 신호 수신부를 통해 수신된 음성 신호에 기초한 텍스트가 상기 디스플레이된 적어도 하나의 컨텐츠의 검색 결과에 포함된 컨텐츠와 관련된 정보에 대응되면, 상기 검색 결과에 포함된 상기 컨텐츠를 실행한 화면을 디스플레이하도록 상기 디스플레이를 제어하는 프로세서;를 포함하는 전자 장치.
  10. 전자 장치의 컨텐츠 정보 제공 방법에 있어서,
    음성 신호를 수신하는 단계;
    컨텐츠와 관련된 정보를 포함하는 화면을 디스플레이하는 단계;
    상기 음성 신호에 기초한 텍스트가 상기 디스플레이된 화면에 포함된 상기 컨텐츠와 관련된 정보에 대응되지 않으면, 서버로부터 수신된 상기 텍스트와 관련된 적어도 하나의 컨텐츠의 검색 결과를 디스플레이하는 단계; 및
    상기 음성 신호에 기초한 텍스트가 상기 디스플레이된 적어도 하나의 컨텐츠의 검색 결과에 포함된 컨텐츠와 관련된 정보에 대응되면, 상기 검색 결과에 포함된 상기 컨텐츠를 실행한 화면을 디스플레이하는 단계;를 포함하는 컨텐츠 정보 제공 방법.
  11. 제10항에 있어서,
    텍스트 변환부로 상기 음성 신호를 전송하는 단계; 및
    상기 텍스트 변환부에 의해 상기 음성 신호가 상기 텍스트로 변환되면, 상기 텍스트 변환부로부터 상기 텍스트를 수신하는 단계;를 더 포함하는 것을 특징으로 하는 컨텐츠 정보 제공 방법.
  12. 제10항에 있어서,
    상기 검색 결과를 디스플레이하는 단계는,
    상기 음성 신호에 의해 지정되는 컨텐츠와 관련된 정보가 상기 전자 장치에 디스플레이된 화면에 포함된 컨텐츠와 관련된 정보에 포함되지 않으면, 상기 서버로부터 상기 적어도 하나의 컨텐츠의 검색 결과를 수신하고, 상기 수신된 검색 결과를 디스플레이하는 것을 특징으로 하는 컨텐츠 정보 제공 방법.
  13. 제10항에 있어서,
    상기 컨텐츠를 실행한 화면을 디스플레이하는 단계는,
    상기 음성 신호에 의해 지정되는 컨텐츠와 관련된 정보가 상기 검색 결과에 포함된 컨텐츠와 관련된 정보에 포함되면, 상기 검색 결과에 포함된 상기 컨텐츠를 실행하고, 상기 실행한 화면을 디스플레이하는 것을 특징으로 하는 컨텐츠 정보 제공 방법.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020130165062A 2013-12-27 2013-12-27 디스플레이 장치, 서버 장치 및 이들을 포함하는 디스플레이 시스템과 그 컨텐츠 제공 방법들 KR102092164B1 (ko)

Priority Applications (11)

Application Number Priority Date Filing Date Title
KR1020130165062A KR102092164B1 (ko) 2013-12-27 2013-12-27 디스플레이 장치, 서버 장치 및 이들을 포함하는 디스플레이 시스템과 그 컨텐츠 제공 방법들
EP20188749.4A EP3754999A1 (en) 2013-12-27 2014-10-23 Display apparatus, server apparatus, display system including them, and method for providing content thereof
DE202014011461.7U DE202014011461U1 (de) 2013-12-27 2014-10-23 Anzeigevorrichtung
EP14875787.5A EP3039879A4 (en) 2013-12-27 2014-10-23 Display apparatus, server apparatus, display system including them, and method for providing content thereof
CN201480071052.6A CN105850145A (zh) 2013-12-27 2014-10-23 显示设备、服务器设备和包括它们的显示系统及其提供内容的方法
EP23174367.5A EP4224875A1 (en) 2013-12-27 2014-10-23 Display apparatus, server apparatus, display system including them, and method for providing content thereof
PCT/KR2014/010017 WO2015099276A1 (en) 2013-12-27 2014-10-23 Display apparatus, server apparatus, display system including them, and method for providing content thereof
CN201810366079.8A CN108572810A (zh) 2013-12-27 2014-10-23 电子设备和提供电子设备的内容信息的方法
US14/584,838 US20150189362A1 (en) 2013-12-27 2014-12-29 Display apparatus, server apparatus, display system including them, and method for providing content thereof
KR1020200032458A KR102326067B1 (ko) 2013-12-27 2020-03-17 디스플레이 장치, 서버 장치 및 이들을 포함하는 디스플레이 시스템과 그 컨텐츠 제공 방법들
US17/159,388 US20210152870A1 (en) 2013-12-27 2021-01-27 Display apparatus, server apparatus, display system including them, and method for providing content thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130165062A KR102092164B1 (ko) 2013-12-27 2013-12-27 디스플레이 장치, 서버 장치 및 이들을 포함하는 디스플레이 시스템과 그 컨텐츠 제공 방법들

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020200032458A Division KR102326067B1 (ko) 2013-12-27 2020-03-17 디스플레이 장치, 서버 장치 및 이들을 포함하는 디스플레이 시스템과 그 컨텐츠 제공 방법들

Publications (2)

Publication Number Publication Date
KR20150076629A KR20150076629A (ko) 2015-07-07
KR102092164B1 true KR102092164B1 (ko) 2020-03-23

Family

ID=53479094

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130165062A KR102092164B1 (ko) 2013-12-27 2013-12-27 디스플레이 장치, 서버 장치 및 이들을 포함하는 디스플레이 시스템과 그 컨텐츠 제공 방법들

Country Status (6)

Country Link
US (2) US20150189362A1 (ko)
EP (3) EP3754999A1 (ko)
KR (1) KR102092164B1 (ko)
CN (2) CN105850145A (ko)
DE (1) DE202014011461U1 (ko)
WO (1) WO2015099276A1 (ko)

Families Citing this family (138)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10255566B2 (en) 2011-06-03 2019-04-09 Apple Inc. Generating and processing task items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
BR112015018905B1 (pt) 2013-02-07 2022-02-22 Apple Inc Método de operação de recurso de ativação por voz, mídia de armazenamento legível por computador e dispositivo eletrônico
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
EP3008641A1 (en) 2013-06-09 2016-04-20 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
JP2015207181A (ja) * 2014-04-22 2015-11-19 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
CN106471570B (zh) 2014-05-30 2019-10-01 苹果公司 多命令单一话语输入方法
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10331312B2 (en) * 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US20180039478A1 (en) * 2016-08-02 2018-02-08 Google Inc. Voice interaction services
KR20180024927A (ko) * 2016-08-31 2018-03-08 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 제어 방법
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) * 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10657599B2 (en) 2016-10-14 2020-05-19 Allstate Insurance Company Virtual collaboration
US11463654B1 (en) 2016-10-14 2022-10-04 Allstate Insurance Company Bilateral communication in a login-free environment
US10742812B1 (en) 2016-10-14 2020-08-11 Allstate Insurance Company Bilateral communication in a login-free environment
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10965899B1 (en) * 2017-04-17 2021-03-30 Alarm.Com Incorporated System and method for integration of a television into a connected-home monitoring system
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
KR102480570B1 (ko) * 2017-11-10 2022-12-23 삼성전자주식회사 디스플레이장치 및 그 제어방법
USD849786S1 (en) * 2017-11-20 2019-05-28 Elements Advisors, LLC Display screen or portion thereof with a graphical user interface
USD844652S1 (en) * 2017-11-26 2019-04-02 Jan Magnus Edman Display screen with graphical user interface
USD851668S1 (en) * 2017-11-27 2019-06-18 Allstate Insurance Company Display screen with graphical user interface
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
CN110556096A (zh) * 2018-05-31 2019-12-10 技嘉科技股份有限公司 声控显示装置及获取语音信号的方法
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10504518B1 (en) 2018-06-03 2019-12-10 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11178464B2 (en) * 2018-12-14 2021-11-16 Roku, Inc. Audio search results in a multi-content source environment
JP2022036352A (ja) * 2018-12-27 2022-03-08 ソニーグループ株式会社 表示制御装置、及び表示制御方法
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
WO2021045243A1 (ko) * 2019-09-03 2021-03-11 엘지전자 주식회사 디스플레이 장치 및 그 제어 방법
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
EP4083779A4 (en) * 2019-12-23 2023-09-06 LG Electronics Inc. DISPLAY DEVICE AND METHOD FOR OPERATING THEREOF
CN111597808B (zh) * 2020-04-24 2023-07-25 北京百度网讯科技有限公司 仪表盘绘制处理方法、装置、电子设备和存储介质
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
CN111885400A (zh) * 2020-07-31 2020-11-03 聚好看科技股份有限公司 媒体数据展示方法、服务器及显示设备
CN113467735A (zh) * 2021-06-16 2021-10-01 荣耀终端有限公司 图像调整方法、电子设备及存储介质
KR20230056452A (ko) * 2021-10-20 2023-04-27 삼성전자주식회사 디스플레이 장치 및 그 동작 방법

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5835667A (en) * 1994-10-14 1998-11-10 Carnegie Mellon University Method and apparatus for creating a searchable digital video library and a system and method of using such a library
US6005565A (en) * 1997-03-25 1999-12-21 Sony Corporation Integrated search of electronic program guide, internet and other information resources
US6870573B2 (en) * 1999-01-22 2005-03-22 Intel Corporation Method and apparatus for dynamically generating a visual program summary from a multi-source video feed
US6862713B1 (en) * 1999-08-31 2005-03-01 International Business Machines Corporation Interactive process for recognition and evaluation of a partial search query and display of interactive results
US7392185B2 (en) * 1999-11-12 2008-06-24 Phoenix Solutions, Inc. Speech based learning/training system using semantic decoding
US9076448B2 (en) * 1999-11-12 2015-07-07 Nuance Communications, Inc. Distributed real time speech recognition system
JP2002041276A (ja) * 2000-07-24 2002-02-08 Sony Corp 対話型操作支援システム及び対話型操作支援方法、並びに記憶媒体
US6748375B1 (en) * 2000-09-07 2004-06-08 Microsoft Corporation System and method for content retrieval
US7757250B1 (en) * 2001-04-04 2010-07-13 Microsoft Corporation Time-centric training, inference and user interface for personalized media program guides
KR100413692B1 (ko) * 2002-01-21 2004-01-03 삼성전자주식회사 채널명 자동 완성 기능을 이용한 채널 선국 방법 및텔레비전 수상기
US7467398B2 (en) * 2002-03-21 2008-12-16 International Business Machines Corproation Apparatus and method of searching for desired television content
JP3627715B2 (ja) * 2002-03-27 2005-03-09 ソニー株式会社 情報処理装置および方法、記録媒体、プログラム、並びに情報処理システム
US20040078189A1 (en) * 2002-10-18 2004-04-22 Say-Ling Wen Phonetic identification assisted Chinese input system and method thereof
KR100468171B1 (ko) * 2002-12-13 2005-01-26 삼성전자주식회사 방송 프로그램 정보검색 시스템 및 방법
US20060041484A1 (en) * 2004-04-01 2006-02-23 King Martin T Methods and systems for initiating application processes by data capture from rendered documents
US9116890B2 (en) * 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US20060075429A1 (en) * 2004-04-30 2006-04-06 Vulcan Inc. Voice control of television-related information
CN1716413B (zh) * 2004-07-02 2010-05-26 深圳市朗科科技股份有限公司 车载语音识别视听播放设备及方法
US20060236343A1 (en) * 2005-04-14 2006-10-19 Sbc Knowledge Ventures, Lp System and method of locating and providing video content via an IPTV network
US8688671B2 (en) * 2005-09-14 2014-04-01 Millennial Media Managing sponsored content based on geographic region
US7953740B1 (en) * 2006-02-13 2011-05-31 Amazon Technologies, Inc. Detection of behavior-based associations between search strings and items
JP4513023B2 (ja) * 2006-04-11 2010-07-28 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10229216B2 (en) * 2006-04-13 2019-03-12 Wgrs Licensing Company, Llc Systems and methods for internet searching
US9021041B2 (en) * 2006-06-29 2015-04-28 Nextpat Limited System to provide integrated on-line support
KR101427686B1 (ko) * 2008-06-09 2014-08-12 삼성전자주식회사 프로그램 선택 방법 및 그 장치
JP2010072507A (ja) * 2008-09-22 2010-04-02 Toshiba Corp 音声認識検索装置及び音声認識検索方法
CN101465994A (zh) * 2008-11-14 2009-06-24 深圳创维数字技术股份有限公司 机顶盒及在机顶盒中实现语音搜索的方法
US20100211605A1 (en) * 2009-02-17 2010-08-19 Subhankar Ray Apparatus and method for unified web-search, selective broadcasting, natural language processing utilities, analysis, synthesis, and other applications for text, images, audios and videos, initiated by one or more interactions from users
US8413188B2 (en) * 2009-02-20 2013-04-02 At&T Intellectual Property I, Lp System and method for processing image objects in video data
JP5431815B2 (ja) * 2009-07-08 2014-03-05 株式会社アサヒ電子研究所 被検索物の検索支援装置
KR101578737B1 (ko) * 2009-07-15 2015-12-21 엘지전자 주식회사 이동 단말기의 음성 처리 장치 및 그 방법
KR101289081B1 (ko) * 2009-09-10 2013-07-22 한국전자통신연구원 음성 인터페이스를 이용한 ｉｐｔｖ 시스템 및 서비스 방법
US20110067059A1 (en) * 2009-09-15 2011-03-17 At&T Intellectual Property I, L.P. Media control
US20110099157A1 (en) * 2009-10-28 2011-04-28 Google Inc. Computer-to-Computer Communications
KR20110052863A (ko) * 2009-11-13 2011-05-19 삼성전자주식회사 모바일 기기 및 그 제어 신호 생성 방법
JPWO2011068170A1 (ja) * 2009-12-04 2013-04-18 ソニー株式会社 検索装置、検索方法、及び、プログラム
KR101622687B1 (ko) * 2010-04-12 2016-05-31 엘지전자 주식회사 이동단말기 및 그의 방송 서비스 가이드 정보를 이용한 연관 컨텐츠 제공 방법
KR20110114997A (ko) * 2010-04-14 2011-10-20 한국전자통신연구원 자동 키워드 검출을 통한 방송서비스 제공장치 및 그 방법
US8522283B2 (en) * 2010-05-20 2013-08-27 Google Inc. Television remote control data transfer
CN102280106A (zh) * 2010-06-12 2011-12-14 三星电子株式会社 用于移动通信终端的语音网络搜索方法及其装置
KR20120010433A (ko) * 2010-07-26 2012-02-03 엘지전자 주식회사 영상표시기기의 동작 방법
US20120030712A1 (en) * 2010-08-02 2012-02-02 At&T Intellectual Property I, L.P. Network-integrated remote control with voice activation
US20120240177A1 (en) * 2011-03-17 2012-09-20 Anthony Rose Content provision
KR101231438B1 (ko) * 2011-05-25 2013-02-07 엔에이치엔(주) 외래어 발음 검색 서비스를 제공하는 검색결과 제공 시스템 및 방법
US9183832B2 (en) * 2011-06-07 2015-11-10 Samsung Electronics Co., Ltd. Display apparatus and method for executing link and method for recognizing voice thereof
WO2013012107A1 (ko) 2011-07-19 2013-01-24 엘지전자 주식회사 전자 기기 및 그 제어 방법
KR101262700B1 (ko) * 2011-08-05 2013-05-08 삼성전자주식회사 음성 인식 및 모션 인식을 이용하는 전자 장치의 제어 방법 및 이를 적용한 전자 장치
WO2013022218A2 (en) * 2011-08-05 2013-02-14 Samsung Electronics Co., Ltd. Electronic apparatus and method for providing user interface thereof
KR20140079798A (ko) * 2011-09-27 2014-06-27 구글 인코포레이티드 입력 키워드 제안 박스
US9098533B2 (en) * 2011-10-03 2015-08-04 Microsoft Technology Licensing, Llc Voice directed context sensitive visual search
CN102591932A (zh) * 2011-12-23 2012-07-18 优视科技有限公司 语音搜索方法及系统、移动终端、中转服务器
US8793136B2 (en) * 2012-02-17 2014-07-29 Lg Electronics Inc. Method and apparatus for smart voice recognition
KR20130125067A (ko) * 2012-05-08 2013-11-18 삼성전자주식회사 전자 장치 및 그의 제어 방법
CN102708185A (zh) * 2012-05-11 2012-10-03 广东欧珀移动通信有限公司 一种图片语音搜索方法
KR20130134545A (ko) * 2012-05-31 2013-12-10 주식회사 다음커뮤니케이션 리모컨을 이용한 디지털ｔｖ 음성 검색 시스템 및 방법
US20150156548A1 (en) * 2012-06-14 2015-06-04 Flextronics Ap, Llc Epg aggregation from multiple sources
CN102833582B (zh) * 2012-08-02 2015-06-17 四川长虹电器股份有限公司 采用语音搜索音视频资源的方法
CN102841772A (zh) * 2012-08-06 2012-12-26 四川长虹电器股份有限公司 语音控制智能终端显示文件的方法
US20140195675A1 (en) * 2013-01-09 2014-07-10 Giga Entertainment Media Inc. Simultaneous Content Data Streaming And Interaction System
US20140223481A1 (en) * 2013-02-07 2014-08-07 United Video Properties, Inc. Systems and methods for updating a search request
CN103108235A (zh) * 2013-03-05 2013-05-15 北京车音网科技有限公司 电视控制方法、装置及系统
TWI520595B (zh) * 2013-03-11 2016-02-01 緯創資通股份有限公司 電子節目表的提供方法、多媒體重現系統和電腦可讀取記錄媒體
US9378741B2 (en) * 2013-03-12 2016-06-28 Microsoft Technology Licensing, Llc Search results using intonation nuances
JP6355312B2 (ja) * 2013-10-09 2018-07-11 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびコンピュータプログラム
KR20150069619A (ko) * 2013-12-13 2015-06-24 삼성전자주식회사 디스플레이장치 및 그 제어방법
KR102496617B1 (ko) * 2016-01-04 2023-02-06 삼성전자주식회사 영상 표시 장치 및 영상 표시 방법

Also Published As

Publication number Publication date
EP3039879A1 (en) 2016-07-06
US20150189362A1 (en) 2015-07-02
EP3039879A4 (en) 2017-01-18
EP4224875A1 (en) 2023-08-09
CN105850145A (zh) 2016-08-10
DE202014011461U1 (de) 2020-12-08
CN108572810A (zh) 2018-09-25
WO2015099276A1 (en) 2015-07-02
EP3754999A1 (en) 2020-12-23
US20210152870A1 (en) 2021-05-20
KR20150076629A (ko) 2015-07-07

Similar Documents

Publication Publication Date Title
KR102092164B1 (ko) 디스플레이 장치, 서버 장치 및 이들을 포함하는 디스플레이 시스템과 그 컨텐츠 제공 방법들
US20140196092A1 (en) Dialog-type interface apparatus and method for controlling the same
US10250935B2 (en) Electronic apparatus controlled by a user's voice and control method thereof
US20170171629A1 (en) Display device and method for controlling the same
CN107636749B (zh) 图像显示设备及其操作方法
WO2019047878A1 (zh) 语音操控终端的方法、终端、服务器和存储介质
EP3024248A1 (en) Broadcasting receiving apparatus and control method thereof
EP3438852B1 (en) Electronic device and control method thereof
US20170026707A1 (en) Electronic device for providing information associated with broadcast content and method thereof
US20170011009A1 (en) Electronic device and method for providing information associated with news content
CN106060641B (zh) 用于搜索的显示装置及其控制方法
US20160337712A1 (en) Display apparatus and method of controlling display apparatus thereof
US20140358901A1 (en) Display apparatus and search result displaying method thereof
KR102326067B1 (ko) 디스플레이 장치, 서버 장치 및 이들을 포함하는 디스플레이 시스템과 그 컨텐츠 제공 방법들
KR102463066B1 (ko) 디스플레이 장치, 서버 장치 및 이들을 포함하는 디스플레이 시스템과 그 컨텐츠 제공 방법들
CN111344664B (zh) 电子设备及其控制方法
KR102496618B1 (ko) 컨텐트를 인식하는 방법 및 장치
US11930236B2 (en) Content playback device using voice assistant service and operation method thereof
US11622157B2 (en) Display apparatus and operating method of the same
KR20170054367A (ko) 전자 장치 및 그 제어 방법
KR20150136315A (ko) 디스플레이 장치 및 이의 제어 방법
CN117896564A (zh) 显示设备、基于语音指令的音频识别方法及装置
CN117812322A (zh) 显示设备、显示控制方法、装置及存储介质
CN117812425A (zh) 显示设备、语音处理方法、装置及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant