KR102527082B1 - 디스플레이장치 및 그 제어방법 - Google Patents

디스플레이장치 및 그 제어방법 Download PDF

Info

Publication number
KR102527082B1
KR102527082B1 KR1020180001164A KR20180001164A KR102527082B1 KR 102527082 B1 KR102527082 B1 KR 102527082B1 KR 1020180001164 A KR1020180001164 A KR 1020180001164A KR 20180001164 A KR20180001164 A KR 20180001164A KR 102527082 B1 KR102527082 B1 KR 102527082B1
Authority
KR
South Korea
Prior art keywords
program
user
programs
voice input
received
Prior art date
Application number
KR1020180001164A
Other languages
English (en)
Other versions
KR20190083476A (ko
Inventor
윤영수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180001164A priority Critical patent/KR102527082B1/ko
Priority to EP19736272.6A priority patent/EP3719631A4/en
Priority to US16/959,493 priority patent/US11488598B2/en
Priority to PCT/KR2019/000108 priority patent/WO2019135623A1/ko
Priority to CN201980007210.4A priority patent/CN111556991A/zh
Publication of KR20190083476A publication Critical patent/KR20190083476A/ko
Application granted granted Critical
Publication of KR102527082B1 publication Critical patent/KR102527082B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/31—Voice input

Abstract

본 발명은 디스플레이장치에 관한 것으로서, 디스플레이장치는, 디스플레이부; 복수의 기기 중 어느 하나를 통하여 사용자의 음성신호를 수신할 수 있는 신호수신부; 및 복수의 프로그램을 실행하여, 상기 복수의 프로그램 중 적어도 하나의 영상을 상기 디스플레이부에 표시하고, 상기 복수의 기기 중 어느 하나를 통해 상기 사용자의 음성신호가 수신되는 것에 대응하여, 상기 복수의 프로그램과 상기 복수의 기기 사이의 상호 대응에 관하여 상기 사용자에 의해 설정된 매칭정보에 기초하여, 상기 복수의 프로그램 중 상기 음성신호가 수신된 기기에 대응하는 프로그램을 결정하고, 상기 수신된 음성신호에 대응하는 사용자명령에 따라 상기 결정된 프로그램이 동작하도록 제어하는 프로세서를 포함한다.
이에 의하여, 음성명령을 입력하는 사용자가 제어 대상 프로그램을 별도로 지정하지 않더라도 사용자의 의도에 맞는 제어 대상 프로그램을 음성 명령에 따라 제어할 수 있다.

Description

디스플레이장치 및 그 제어방법 {DISPLAY APPARATUS AND THE CONTROL METHOD THEREOF}
본 발명은 디스플레이장치 및 그 제어방법에 관한 것으로서, 보다 구체적으로는 음성을 통해 제어할 수 있는 디스플레이장치 및 그 제어방법에 관한 것이다.
음성인식 기술의 도입으로 음성을 통해 전자장치를 제어할 수 있다. 예를 들어 TV를 시청하는 사용자는 TV를 음성으로 제어할 수 있다. 나아가 TV의 경우 사용자는 화면으로부터 일정 거리 떨어져서 시청하므로 리모컨이나 핸드폰 등의 소형 제어장치에 구비된 마이크를 통해 TV에 대한 제어 음성을 입력하는 경우도 많다.
한편, 스마트TV의 등장 등으로 인해 TV는 갈수록 고사양화되고 멀티 태스킹 기능도 지원 가능하다.
TV의 멀티 태스킹 기능과 음성인식 제어 기능이 결합되면, 다소 혼란이 발생할 수 있다. 예를 들어, TV에서 여러 프로그램이 동시에 실행 중인 상황에서 음성을 입력 받은 경우, 화면의 일 부분을 직접 선택하는 터치입력 등을 수신한 경우와 달리, 음성입력을 수신한 TV는 해당 음성이 어떤 프로그램을 제어하기 위한 음성인지 파악하기 어렵다.
이에 본 발명은, 복수의 프로그램 실행 중에 사용자의 음성 명령을 수신하면, 사용자가 제어 대상 프로그램을 별도로 지정하지 않더라도 사용자의 의도에 맞는 제어 대상 프로그램을 음성 명령에 따라 제어하는 디스플레이장치를 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 디스플레이장치는, 디스플레이부; 복수의 기기 중 어느 하나를 통하여 사용자의 음성신호를 수신할 수 있는 신호수신부; 및 복수의 프로그램을 실행하여, 상기 복수의 프로그램 중 적어도 하나의 영상을 상기 디스플레이부에 표시하고, 상기 복수의 기기 중 어느 하나를 통해 상기 사용자의 음성신호가 수신되는 것에 대응하여, 상기 복수의 프로그램과 상기 복수의 기기 사이의 상호 대응에 관하여 상기 사용자에 의해 설정된 매칭정보에 기초하여, 상기 복수의 프로그램 중 상기 음성신호가 수신된 기기에 대응하는 프로그램을 결정하고, 상기 수신된 음성신호에 대응하는 사용자명령에 따라 상기 결정된 프로그램이 동작하도록 제어하는 프로세서를 포함한다.
이에 의하면, 디스플레이장치에서 복수의 프로그램이 실행되는 중에 사용자의 음성 명령이 수신되는 경우, 사용자가 제어 대상 프로그램을 별도로 지정하여 음성 명령을 입력하지 않더라도 사용자의 의도에 맞는 제어 대상 프로그램을 음성 명령에 따라 제어할 수 있다.
또한, 매칭정보를 참조함으로써 기기와 프로그램 사이의 상호 대응관계를 간명하게 판단할 수 있다. 또한, 각 기기마다 그에 대응하는 매칭 프로그램이 설정되어 있으므로, 복수의 기기를 통한 사용자의 음성이 동시에 수신되더라도 충돌 없이 각 음성이 원하는 대상을 제어할 수 있다.
상기 디스플레이장치는 사용자입력부를 포함하고, 상기 프로세서는 상기 매칭정보를 설정할 수 있는 UI를 상기 디스플레이부에 표시하고, 상기 UI에 기초하여 상기 사용자입력부를 통한 사용자의 입력에 따라 상기 매칭정보를 설정할 수 있다.
이에 의하면, 사용자의 의해 기기와 프로그램 사이의 대응관계가 설정되므로, 사용자의 의도를 보다 명확하게 반영하여 음성 제어를 할 수 있다.
상기 매칭정보는 상기 복수의 기기 중 주요 기기로 설정된 기기와 그렇지 않은 기기에 대한 정보를 포함하고, 상기 프로세서는 실행 중인 복수의 프로그램 중 영상이 표시되는 모드로 실행되는 프로그램을 상기 주요 기기에 대응하는 프로그램으로 결정할 수 있다.
이에 의하면, 매칭 정보에 복수의 기기에 관한 추가정보를 반영함으로써 프로그램 제어의 신뢰도가 향상될 수 있다.
상기 프로세서는 제1기기로부터 제1프로그램에 대한 실행명령을 수신하여 상기 제1프로그램을 실행하고, 상기 제1기기를 통하여 상기 음성신호가 수신되면, 상기 제1프로그램을 상기 제1기기에 대응하는 프로그램으로 결정할 수 있다.
이에 의하면, 프로그램에 대한 실행명령을 전송한 기기의 정보를 통하여, 음성신호를 수신한 기기에 대응하는 프로그램을 효율적으로 결정할 수 있다.
상기 프로세서는 상기 음성신호가 수신된 기기의 주된 기능의 카테고리에 기초하여 상기 음성신호가 수신된 기기에 대응하는 프로그램을 결정할 수 있다.
이에 의하면, 사용자의 음성을 수신한 기기의 주된 기능을 고려하여, 사용자의 음성입력 의도에 맞는 제어 대상 프로그램 결정의 신뢰도를 향상시킬 수 있다.
상기 프로세서는 상기 음성신호가 수신된 기기가 상기 디스플레이부에 대하여 위치한 위치정보에 기초하여 상기 음성신호가 수신된 기기에 대응하는 프로그램을 결정할 수 있다.
이에 의하면, 사용자의 음성신호를 수신한 기기의 위치를 반영함으로써, 사용자의 음성입력 의도에 맞는 제어 대상 프로그램을 보다 효율적으로 결정할 수 있다.
상기 프로세서는 상기 음성신호에 대응하는 사용자의 발화 내용을 더 참조하여 상기 음성신호가 수신된 기기에 대응하는 프로그램을 결정할 수 있다.
이에 의하면, 복수의 프로그램 중, 사용자가 발화한 발화 내용을 참조하여 그에 대응하는 프로그램을 결정할 수 있으므로, 프로그램 결정의 신뢰도가 향상될 수 있다.
상기 프로세서는 상기 결정된 프로그램에 관한 정보를 더 참조하여 상기 수신된 음성신호에 대응하는 사용자명령을 결정할 수 있다.
이에 의하면, 음성신호가 수신된 기기에 대응하는 프로그램으로 결정된 프로그램의 정보를 사용자명령을 결정하는 데에도 활용함으로써, 사용자명령의 결정 속도가 향상되고 결과적으로 음성인식을 통한 디스플레이장치의 처리 속도도 향상될 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 디스플레이장치의 제어방법은, 복수의 프로그램을 실행하여, 상기 복수의 프로그램 중 적어도 하나의 영상을 표시하는 단계; 복수의 기기 중 어느 하나를 통하여 사용자의 음성신호를 수신하는 단계; 상기 복수의 기기 중 어느 하나를 통해 상기 사용자의 음성신호가 수신되는 것에 대응하여, 상기 복수의 프로그램과 상기 복수의 기기 사이의 상호 대응에 관하여 상기 사용자에 의해 설정된 매칭정보에 기초하여, 상기 복수의 프로그램 중 상기 음성신호가 수신된 기기에 대응하는 프로그램을 결정하는 단계; 및 상기 수신된 음성신호에 대응하는 사용자명령에 따라 상기 결정된 프로그램이 동작하도록 제어하는 단계를 포함한다.
이에 의하면, 디스플레이장치에서 복수의 프로그램이 실행되는 중에 사용자의 음성 명령이 수신되는 경우, 사용자가 제어 대상 프로그램을 별도로 지정하여 음성 명령을 입력하지 않더라도 사용자의 의도에 맞는 제어 대상 프로그램을 음성 명령에 따라 제어할 수 있다.
또한, 매칭정보를 참조함으로써 기기와 프로그램 사이의 상호 대응관계를 간명하게 판단할 수 있다. 또한, 각 기기마다 그에 대응하는 매칭 프로그램이 설정되어 있으므로, 복수의 기기를 통한 사용자의 음성이 동시에 수신되더라도 충돌 없이 각 음성이 원하는 대상을 제어할 수 있다.
상기 제어방법은, 상기 매칭정보를 설정할 수 있는 UI를 표시하는 단계; 및 상기 UI에 기초한 사용자의 입력에 따라 상기 매칭정보를 설정하는 단계를 포함할 수 있다.
이에 의하면, 사용자의 의해 기기와 프로그램 사이의 대응관계가 설정되므로, 사용자의 의도를 보다 명확하게 반영하여 음성 제어를 할 수 있다.
상기 매칭정보는 상기 복수의 기기 중 주요 기기로 설정된 기기와 그렇지 않은 기기에 대한 정보를 포함하고, 상기 결정하는 단계는, 실행 중인 복수의 프로그램 중 영상이 표시되는 모드로 실행되는 프로그램을 상기 주요 기기에 대응하는 프로그램으로 결정할 수 있다.
이에 의하면, 매칭 정보에 복수의 기기에 관한 추가정보를 반영함으로써 프로그램 제어의 신뢰도가 향상될 수 있다.
상기 결정하는 단계는, 제1기기로부터 제1프로그램에 대한 실행명령을 수신하여 상기 제1프로그램을 실행하고, 상기 제1기기를 통하여 상기 음성신호가 수신되면, 상기 제1프로그램을 상기 제1기기에 대응하는 프로그램으로 결정할 수 있다.
이에 의하면, 프로그램에 대한 실행명령을 전송한 기기의 정보를 통하여, 음성신호를 수신한 기기에 대응하는 프로그램을 효율적으로 결정할 수 있다.
상기 결정하는 단계는, 상기 음성신호가 수신된 기기의 주된 기능의 카테고리에 기초하여 상기 음성신호가 수신된 기기에 대응하는 프로그램을 결정할 수 있다.
이에 의하면, 사용자의 음성을 수신한 기기의 주된 기능을 고려하여, 사용자의 음성입력 의도에 맞는 제어 대상 프로그램 결정의 신뢰도를 향상시킬 수 있다.
상기 결정하는 단계는, 상기 음성신호가 수신된 기기가 상기 디스플레이장치에 대하여 위치한 위치정보에 기초하여 상기 음성신호가 수신된 기기에 대응하는 프로그램을 결정할 수 있다.
이에 의하면, 사용자의 음성신호를 수신한 기기의 위치를 반영함으로써, 사용자의 음성입력 의도에 맞는 제어 대상 프로그램을 보다 효율적으로 결정할 수 있다.
상기 결정하는 단계는, 상기 음성신호에 대응하는 사용자의 발화 내용을 더 참조하여 상기 음성신호가 수신된 기기에 대응하는 프로그램을 결정할 수 있다.
이에 의하면, 복수의 프로그램 중, 사용자가 발화한 발화 내용을 참조하여 그에 대응하는 프로그램을 결정할 수 있으므로, 프로그램 결정의 신뢰도가 향상될 수 있다.
상기 결정하는 단계는, 상기 결정된 프로그램에 관한 정보를 더 참조하여 상기 수신된 음성신호에 대응하는 사용자명령을 결정할 수 있다.
이에 의하면, 음성신호가 수신된 기기에 대응하는 프로그램으로 결정된 프로그램의 정보를 사용자명령을 결정하는 데에도 활용함으로써, 사용자명령의 결정 속도가 향상되고 결과적으로 음성인식을 통한 디스플레이장치의 처리 속도도 향상될 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 컴퓨터프로그램은, 디스플레이장치와 결합되어 위 제어방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램이다.
상기 컴퓨터프로그램은 서버 내의 매체에 저장되고 네트워크를 통해 상기 디스플레이장치에 다운로드 될 수 있다.
상기한 바와 같이, 본 발명에 의하면, 음성명령을 입력하는 사용자가 제어 대상 프로그램을 별도로 지정하지 않더라도 사용자의 의도에 맞는 제어 대상 프로그램을 음성 명령에 따라 제어할 수 있다.
도 1은 본 발명의 일 실시예에 따른 디스플레이장치를 나타내는 도면,
도 2는 본 발명의 일 실시예에 따른 디스플레이장치의 구성을 나타내는 도면,
도 3은 본 발명의 일 실시예에 따른 디스플레이장치의 제어방법을 나타내는 도면,
도 4는 본 발명의 일 실시예에 따른 디스플레이장치 화면의 일 예를 나타내는 도면,
도 5는 본 발명의 일 실시예에 따른 프로세서가 프로그램을 결정하는 일 예를 나타내는 도면,
도 6은 본 발명의 일 실시예에 따른 매칭정보의 일 예를 나타내는 도면,
도 7은 본 발명의 일 실시예에 따른 프로세서가 프로그램을 설정하는 일 예를 나타내는 도면,
도 8은 본 발명의 일 실시예에 따른 프로세서가 프로그램을 설정하는 다른 예를 나타내는 도면,
도 9는 본 발명의 일 실시예에 따른 디스플레이장치를 사용하는 모습의 일 예를 나타내는 도면,
도 10-11은 본 발명의 일 실시예에 따른 프로세서가 프로그램을 결정하는 다른 예를 나타내는 도면,
도 12-14는 본 발명의 일 실시예에 따른 프로세서가 프로그램을 결정하는 또 다른 예들을 나타내는 도면,
도 15-17은 본 발명의 일 실시예에 따른 프로세서가 결정된 프로그램을 표시하는 일 예를 나타내는 도면,
도 18-19는 본 발명의 일 실시예에 따른 프로세서가 프로그램을 설정하는 다른 예를 나타내는 도면,
도 20-23은 본 발명의 일 실시예에 따른 프로세서가 프로그램을 결정하는 또 다른 예들을 나타내는 도면.
이하에서는 첨부 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 도면에서 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 구성요소를 지칭하며, 도면에서 각 구성요소의 크기는 설명의 명료성과 편의를 위해 과장되어 있을 수 있다. 다만, 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 이하의 실시예에 설명된 구성 또는 작용으로만 한정되지는 않는다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
본 발명의 실시예에서, 제1, 제2 등과 같이 서수를 포함하는 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 발명의 실시예에서, '구성되다', '포함하다', '가지다' 등의 용어는 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 또한, 본 발명의 실시예에서, '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있으며, 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다. 또한, 본 발명의 실시예에서, 복수의 요소 중 적어도 하나(at least one)는, 복수의 요소 전부뿐만 아니라, 복수의 요소 중 나머지를 배제한 각 하나 혹은 이들의 조합 모두를 지칭한다. 또한, "~하도록 구성된(또는 설정된)(configured to)"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예를 들어, 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예를 들어, CPU 또는 application processor)를 의미할 수 있다.
도 1은 본 발명의 일 실시예에 따른 디스플레이장치를 도시한다. 본 발명의 일 실시예에 따른 디스플레이장치(100)는, 예컨대, TV로 구현될 수 있다. 또한, 본 발명의 다른 실시예에 따른 디스플레이장치(100)는, 예컨대, 전자액자, 디지털 광고판, LFD(Large Format Display), 디지털 싸이니지, 스마트폰, 태블릿, 모바일폰, 스마트워치, 헤드 마운트형 디스플레이(Head-Mounted Display) 등의 웨어러블 디바이스, 컴퓨터, 멀티미디어 재생기, 셋탑박스, 냉장고 등 컨텐츠의 영상을 출력할 수 있는 장치로 구현될 수 있다. 그러나 본 발명의 일 실시예에 따른 디스플레이장치(100)는 이에 한정되지 않고, 영상을 표시할 수 있는 장치라면 무엇이든 가능하다.
본 발명의 일 실시예에 따른 디스플레이장치(100)는 외부의 기기(110, 120)를 통해 사용자의 음성신호를 수신할 수 있다. 예를 들어 디스플레이장치(100)는 리모컨(110)이나 핸드폰(120)을 통해 사용자의 음성신호를 수신할 수 있다. 그러나 디스플레이장치(100)가 음성 수신의 매개로 사용할 수 있는 기기는 이에 한정되지 않고, 사용자의 음성을 수신하여 디스플레이장치(100)에 전송할 수 있는 기기라면 무엇이든 가능하다. 또한, 디스플레이장치(100)가 음성수신부를 구비하여 사용자의 음성을 직접 수신할 수도 있다.
도 2는 본 발명의 일 실시예에 따른 디스플레이장치의 구성을 나타내는 블록도이다. 본 발명의 일 실시예에 따른 디스플레이장치(100)는 신호수신부(101), 프로세서(102), 디스플레이부(103)를 포함한다. 다만, 도 2에 도시된 본 디스플레이장치(100)의 구성은 하나의 예시일 뿐이며, 본 발명의 일 실시예에 의한 디스플레이장치는 다른 구성으로도 구현될 수 있다. 즉, 본 발명의 일 실시예에 의한 디스플레이장치(100)는 도 2에 도시된 구성 외에 다른 구성이 추가되거나, 혹은 도 2에 도시된 구성 중 일부가 배제되어 구현될 수도 있다. 본 발명의 실시예에서 각 구성은, 적어도 하나의 하드웨어 및/또는 소프트웨어로 구현될 수 있으며, 회로나 칩으로 구현될 수 있다.
신호수신부(101)는 사용자의 음성신호를 수신하여 이를 프로세서(102)에 전송할 수 있다. 신호수신부(101)는 내부에 마이크 등의 음성수신부를 구비하여 사용자의 음성을 직접 수신할 수도 있고, 음성수신부(111, 121) 및 통신부(112, 122)를 구비한 외부의 기기(110, 120)를 통해 사용자의 음성신호를 수신할 수도 있다. 후자의 경우, 신호수신부(101)는 외부의 기기(110, 120)와 유선 또는 무선으로 통신을 할 수 있다. 그 경우 신호수신부(101)와 외부 기기의 통신부(112, 122)는 유선 접속을 위한 커넥터 또는 단자를 포함하는 접속부 이외에도 다양한 다른 통신 모듈을 구비할 수 있다. 예컨대, Wi-Fi, WiFi Direct, 블루투스, BLE(Bluetooth Low Energy), SPP(Serial Port Profile), 지그비(Zigbee), 적외선 통신, Radio Control, UWM(Ultra-Wide Band), Wireless USB, NFC(Near Field Communication) 등의 통신모듈을 포함할 수 있다. 디스플레이장치(100)가 위 외부 기기 이외의 다른 장치(예를 들어, 서버)와도 통신하는 경우, 서버와의 사이에서의 통신을 담당하는 통신부는 위 외부 기기와의 사이에서 통신을 담당하는 통신부와는 서로 다른 통신부일수도 있고, 같은 통신부일수도 있다.
프로세서(102)는 신호수신부(101)에 의해 수신된 음성신호를 처리할 수 있다. 음성신호의 처리와 인식은, 예를 들어, DTW(Dynamic Time Warping) 기반의 음성인식 기술, 은닉 마르코프 모델(HMM; Hidden Markov Model) 기반의 음성인식 기술, 규칙 접근법(Rule-based approach) 기반의 음성인식 기술, 심층신경망(DNN; Deep Neural Network)을 이용한 딥러닝 기반의 음성인식 기술 등을 활용하여 수행할 수 있다.
프로세서(102)는 수신된 음성신호를 음성인식 서버로 전송하여 처리되도록 할 수도 있다. 음성인식 서버는, 예컨대, STT 서버(Speech-To-Text Server)로 구현될 수 있다. STT 서버로 구현될 경우, 음성인식 서버는 STT 서버의 기능만을 수행하는 서버일 수도 있고, STT 서버 이외의 다른 기능을 수행하는 서버일 수도 있다.
음성인식 서버로 전송된 음성신호는 서버에서의 처리에 의해 음성명령의 데이터(예를 들어, 음성신호에 대응하는 텍스트)로 변환된다. 음성인식 서버에서 처리된 음성명령의 데이터는 프로세서(102)로 다시 전송될 수도 있고, 다른 서버로 전송될 수도 있다.
프로세서(102)는 수신된 음성신호를 자체적으로 처리한 데이터, 또는 음성인식 서버에서 처리된 음성명령의 데이터를 이용하여 그에 대응하는 기능을 수행할 수 있다. 음성신호를 처리한 데이터에 대응하는 기능을 수행하는 과정에서 프로세서(102)는 음성인식 서버 또는 다른 서버를 이용할 수도 있다. 예를 들어, 프로세서(102)는 STT 서버에서 수신한, 음성신호에 대응하는 텍스트를, STT 서버 또는 또 다른 서버로 전송하여 처리되도록 한 후, 해당 서버에서 처리되어 전송된 데이터를 기반으로 특정 기능을 수행할 수도 있다.
프로세서(102)는 음성신호가 변환된 텍스트에 대응하는 디스플레이장치(100)의 기능에 관한 정보를 음성인식 서버 혹은 다른 서버로 전송할 수도 있다. 이에 따라, 음성인식 서버 혹은 다른 서버는 음성인식 결과에 대응하는 기능에 관한 정보를 저장부에 저장하고, 이후 동일한 음성명령이 수신되었을 때 저장된 정보를 참조하여 해당 기능을 수행하도록 디스플레이장치(100)로 정보를 제공할 수 있다.
프로세서(102)는 영상을 처리할 수도 있다. 프로세서(102)가 수행할 수 있는 영상처리의 종류는 한정되지 않는다. 프로세서(102)에서 수행하는 영상처리는, 예를 들어, 입력되는 스트림을 영상, 음성, 부가데이터의 각 하위 스트림으로 구분하는 디멀티플렉싱(de-multiplexing), 영상스트림의 영상 포맷에 대응하는 디코딩(decoding), 인터레이스(interlace) 방식의 영상스트림을 프로그레시브(progressive) 방식으로 변환하는 디인터레이싱(de-interlacing), 영상스트림을 기 설정된 해상도로 조정하는 스케일링(scaling), 영상 화질 개선을 위한 노이즈 감소(noise reduction), 디테일 강화(detail enhancement), 프레임 리프레시 레이트(frame refresh rate) 변환 등을 포함할 수 있다.
프로세서(102)는, 디스플레이장치(100)의 제반 구성들이 동작하기 위한 제어를 수행할 수 있다. 프로세서(102)는 이러한 제어 동작을 수행할 수 있도록 하는 제어프로그램(혹은 인스트럭션)과, 제어프로그램이 설치되는 비휘발성의 메모리, 설치된 제어프로그램의 적어도 일부가 로드되는 휘발성의 메모리 및 로드된 제어프로그램을 실행하는 적어도 하나의 프로세서 혹은 CPU(Central Processing Unit)를 포함할 수 있다. 또한, 이와 같은 제어프로그램은, 디스플레이장치(100) 이외의 다른 전자기기에도 저장될 수 있다.
제어프로그램은 BIOS, 디바이스드라이버, 운영체계, 펌웨어, 플랫폼 및 응용프로그램(어플리케이션) 중 적어도 하나의 형태로 구현되는 프로그램(들)을 포함할 수 있다. 일 실시예로서, 응용프로그램은, 디스플레이장치(100)의 제조 시에 디스플레이장치(100)에 미리 설치 또는 저장되거나, 혹은 추후 사용 시에 외부로부터 응용프로그램의 데이터를 수신하여 수신된 데이터에 기초하여 디스플레이장치(100)에 설치될 수 있다. 응용프로그램의 데이터는, 예컨대, 어플리케이션 마켓과 같은 외부 서버로부터 디스플레이장치(100)로 다운로드될 수도 있으나, 이에 한정되는 것은 아니다. 한편, 프로세서(102)는 device, S/W module, circuit, chip 등의 형태 또는 그 조합으로 구현될 수 있다.
프로세서(102)는, 예컨대, 외부의 기기(110, 120)로부터 음성신호를 수신하도록 신호수신부(101)를 제어할 수 있다. 프로세서(102)는 적어도 하나의 프로그램을 실행하여 그 영상이 표시되도록 디스플레이부(103)를 제어할 수 있다. 도 2에 도시된 디스플레이장치(100)는 하나의 프로세서(102)에서 처리와 제어를 함께 수행하는 구성으로 구현된 것을 나타내나, 이는 하나의 예시일 뿐이며, 본 발명의 다른 실시예에 의한 디스플레이장치(100)는 처리부와 별도로 제어부를 추가 구비한 구성으로 구현될 수도 있다.
디스플레이부(103)는, 프로세서(102)에서 처리된 영상을 표시할 수 있다. 디스플레이부(103)의 구현 방식은 한정되지 않으며, 예컨대 액정(Liquid Crystal), 플라즈마(Plasma), 발광 다이오드(Light-Emitting Diode), 유기발광 다이오드(Organic Light-Emitting Diode), 면전도 전자총(Surface-Conduction Electron-Emitter), 탄소 나노 튜브(Carbon Nano-Tube), 나노 크리스탈(Nano-Crystral) 등의 다양한 디스플레이 방식으로 구현될 수 있다. 디스플레이부(103)는, 액정 방식인 경우에, 액정 디스플레이 패널과 액정 디스플레이 패널에 광을 공급하는 백라이트유닛과, 액정 디스플레이 패널을 구동시키는 패널구동부 등을 포함한다. 디스플레이부(103)는, 백라이트 유닛 없이, 자발광 소자인 OLED 패널로 구현될 수 있다.
도 3은 본 발명의 일 실시예에 따른 디스플레이장치(100)의 제어방법을 도시한다.
본 발명의 일 실시예에 따른 디스플레이장치(100)의 프로세서(102)는 복수의 프로그램을 실행하여, 복수의 프로그램 중 적어도 하나의 영상을 디스플레이부(103)에 표시한다(S301). 여기서 프로그램이란, 어플리케이션, 앱, 소프트웨어, 컨텐츠, 모듈 등 그 명칭이나 종류에 한정되지 않고 디스플레이장치(100)에서 실행되고 제어될 수 있는 것이면 무엇이든 해당 가능하다.
도 4는 본 발명의 일 실시예에 따른 디스플레이장치(100)의 디스플레이부(103) 화면의 일 예를 도시한다. 도 4의 디스플레이장치(100)에는 2개의 프로그램이 실행되어 그 영상이 각각 디스플레이부(103)의 화면에 표시되고 있다. 즉, 도 4의 디스플레이장치(100)에는 영상 재생 프로그램(401)과 웹 브라우징 프로그램(402)이 실행되어 각 프로그램의 영상이 표시되고 있다. 그러나 디스플레이장치(100)에서 실행되는 프로그램의 개수와 종류, 화면 배치 방식이 이에 한정되는 것은 아니다. 프로그램의 실행 형태에도 특별한 한정은 없다. 예를 들어, 하나의 프로그램이 실행되는 동안, 다른 프로그램은 실행은 되지만 해당 영상이 표시되지는 않는 백그라운드 모드(Background mode)로 동작할 수도 있다.
다시 도 3을 참조하면, 복수의 기기 중 어느 하나를 통하여 사용자의 음성신호가 수신되는 것에 대응하여, 프로세서(102)는 복수의 기기와 복수의 프로그램 사이의 상호 대응관계에 관한 매칭정보에 기초하여, 복수의 프로그램 중 음성신호가 수신된 기기에 대응하는 프로그램을 결정한다(S302). 음성신호가 수신된 기기와 프로그램 사이의 대응관계에 관한 매칭정보는, 사용자 또는 기기의 특징 등에 의해 미리 설정되어 있을 수도 있고, 그렇지 않을 수도 있다. 후자의 경우, 프로세서(102)는 음성신호가 수신된 기기와 프로그램 사이의 대응성을 상황에 따라 실시간으로 파악하여 프로그램을 결정할 수도 있다. 자세한 내용은 후술한다.
수신된 음성신호에 대응하는 프로그램이 결정되면, 프로세서(102)는 수신된 음성신호에 대응하는 사용자명령에 따라 결정된 프로그램이 동작하도록 제어한다(S303). 여기서 수신된 음성신호에 대응하는 사용자명령은 프로세서(102)가 직접 음성신호를 분석 처리하여 결정할 수도 있고, 외부 장치에서 처리 또는 결정된 사용자명령에 관한 데이터를 이용할 수도 있다. 이하에서는 설명의 편의를 위하여 위 경우를 모두 통틀어 "프로세서(102)가 수신된 음성신호에 대응하는 사용자명령을 결정한다"라고 표현한다. 따라서 이하에서 "프로세서(102)가 수신된 음성신호에 대응하는 사용자명령을 결정한다"는 표현은, 프로세서(102)가 직접 음성신호를 분석 처리하여 그에 대응하는 사용자명령을 결정하는 것을 의미할 수도 있고, 외부 장치에서 결정된 사용자명령에 관한 데이터를 그대로 이용하는 것을 의미할 수도 있으며, 외부 장치에서 처리된 사용자명령에 관한 데이터에 기초하여 프로세서(102)가 음성신호에 대응하는 사용자명령을 결정하는 것을 의미할 수도 있다.
이에 의하면, 디스플레이장치에서 복수의 프로그램이 실행되는 중에 사용자의 음성 명령이 수신되는 경우, 사용자가 제어 대상 프로그램을 별도로 지정하여 음성 명령을 입력하지 않더라도 사용자의 의도에 맞는 제어 대상 프로그램을 음성 명령에 따라 제어할 수 있다.
이하 복수의 프로그램 중에서 음성신호가 수신된 기기에 대응하는 프로그램을 결정하는 방법의 예를 구체적으로 설명한다.
도 5는 본 발명의 일 실시예에 따른 프로세서(102)가 프로그램을 결정하는 일 예를 도시한다. 도 5와 같이 디스플레이장치(100)가 기기1(110)과 기기2(120)로부터 각각 음성신호1과 음성신호2를 수신한 경우, 본 발명의 일 실시예에 따른 디스플레이장치(100)의 프로세서(102)는 복수의 기기와 복수의 프로그램 사이의 상호 대응관계에 관한 매칭정보를 참조하여, 음성신호가 수신된 기기에 대응하는 프로그램을 결정할 수 있다. 여기서 복수의 기기와 복수의 프로그램 사이의 상호 대응관계에 관한 매칭정보는, 도 6과 같이, 각 기기마다 그에 대응하는 프로그램에 관한 정보가 설정된 테이블 또는 데이터베이스 형태일 수 있다. 그러나 형태나 구조, 내용 등에 있어서 매칭정보가 이에 한정되는 것은 아니고, 기기와 프로그램 사이의 대응관계를 나타낼 수 있는 정보라면 무엇이든 가능하다.
매칭정보가 도 6의 테이블과 같은 경우, 프로세서(102)는 위 매칭정보를 참조하여 기기1(110)에는 프로그램 1(501)이 대응하고 기기2(120)에는 프로그램 3(503)이 대응된다는 것을 확인할 수 있다. 따라서 프로세서(102)는 기기1(110)을 통해 수신된 음성신호1에 대응하는 프로그램으로는 프로그램1(501)을, 기기2(120)를 통해 수신된 음성신호2에 대응하는 프로그램으로는 프로그램3(502)을 결정할 수 있다.
이후 프로세서(102)는 음성신호1과 음성신호2에 대응하는 사용자명령을 각각 결정하고, 음성신호1에 대응하는 사용자명령으로는 음성신호1에 대응하는 프로그램인 프로그램1(501)을 제어하는 한편, 음성신호2에 대응하는 사용자명령으로는 음성신호2에 대응하는 프로그램인 프로그램3을 제어한다.
이에 의하면, 매칭정보를 참조함으로써 기기와 프로그램 사이의 상호 대응관계를 간명하게 판단할 수 있다. 또한, 각 기기마다 그에 대응하는 매칭 프로그램이 설정되어 있으므로, 복수의 기기를 통한 사용자의 음성이 동시에 수신되더라도 충돌 없이 각 음성이 원하는 대상을 제어할 수 있다.
기기와 프로그램 사이의 상호 대응관계에 관한 매칭정보는, 사용자에 의해 직접 설정될 수도 있다. 도 7을 참조하여 이를 설명한다.
본 발명의 일 실시예에 따른 디스플레이장치(100)는 사용자입력부를 더 포함할 수 있다. 사용자입력부는 사용자입력의 방식에 따라서 다양한 형태로 구현될 수 있다. 예를 들면, 키보드, 마우스, 터치스크린, 터치패드로 구현될 수 있고, 그 외에도 디스플레이장치(100)의 외측에 설치된 버튼, 리모트 컨트롤러(remote controller)로부터 수신되는 사용자입력의 리모컨신호를 수신하는 리모컨신호수신부, 사용자의 제스처입력을 감지하는 카메라, 사용자의 음성입력을 인식하는 마이크 등으로도 구현될 수 있다.
본 발명의 일 실시예에 따른 디스플레이장치(100)가 위와 같이 사용자입력부를 더 포함하는 경우, 프로세서(102)는 매칭정보를 설정할 수 있는 UI(User Interface)를 디스플레이부(103)에 표시하고, 사용자입력부를 통한 사용자의 입력에 따라 매칭정보를 설정할 수 있다. 예를 들어 프로세서(102)는, 도 7과 같이, 디스플레이장치(100)의 설정을 변경할 수 있는 메뉴 항목 중의 하나의 항목으로서 매칭정보를 설정할 수 있는 메뉴(701)를 구비하고, 해당 메뉴에서 각 기기별로 그에 대응하는 프로그램을 사용자의 선택에 따라 설정할 수 있다. 구체적으로, 프로세서(102)는, 도 7과 같이, 디스플레이장치(100)를 제어할 수 있는 기기로 등록되었거나 인식된 기기(702), 예를 들어 리모컨, 스마트폰1, 스마트폰2 각각에 대해, 해당 기기가 제어할 수 있는 프로그램을 사용자의 입력에 따라 설정할 수 있다. 도 7에서는 각각의 기기에 대해 설정할 수 있는 프로그램의 리스트(703)로, '전체'(디스플레이 장치의 화면 전체에 표시되어 실행되는 프로그램), '화면좌'(디스플레이장치 화면의 좌측에 표시되어 실행되는 프로그램), '화면우'(디스플레이장치 화면의 우측에 표시되어 실행되는 프로그램), '뮤직'(음악 재생과 관련된 어플리케이션), '인터넷'(인터넷 브라우징과 관련된 어플리케이션)을 제시하고 그 중에서 사용자가 각 기기별로 하나의 프로그램을 선택하는 예를 도시하고 있다. 그러나 각 기기에 대응하여 선택지로 제공 가능한 프로그램의 종류 및 선택 가능한 프로그램의 수가 이에 한정되는 것은 아니다. 또한, 매칭정보를 설정할 수 있는 UI가 메뉴 항목 중에 하나로 제공되어야만 하는 것은 아니고, 예를 들어, 별도의 UI 항목을 통해 표시되는 것도 가능하다.
이에 의하면, 사용자의 의해 기기와 프로그램 사이의 대응관계가 설정되므로, 사용자의 의도를 보다 명확하게 반영하여 음성 제어를 할 수 있다.
기기와 프로그램 사이의 상호 대응관계에 관한 매칭정보는, 기기의 특징에 의해 설정될 수도 있다. 이하에서는 기기의 특징에 의해 설정된 매칭정보에 기초하여 음성신호가 수신된 기기에 대응하는 프로그램을 결정하는 여러 실시예들을 설명한다.
매칭정보는 복수의 기기 중 주요 기기로 설정된 기기(이하 '메인 기기'라고 함)와 그렇지 않은 기기(이하 '서브 기기'라고 함)에 대한 정보를 더 포함하고, 본 발명의 일 실시예에 의한 디스플레이장치(100)의 프로세서(102)는 그에 기초하여 음성신호가 수신된 기기에 대응하는 프로그램을 결정할 수도 있다. 도 8과 도 9를 참조하여 이를 설명한다.
복수의 기기를 메인 기기와 서브 기기로 구별하는 방법에는 특별한 제한은 없다. 예를 들어, 이는 사용자에 의해 지정될 수도 있고, 디스플레이장치(100)에 대한 각 기기의 페어링 순서에 따라 정해질 수도 있고, 디스플레이장치(100)와의 관련도에 따라 결정될 수도 있으나(예를 들어, 디스플레이장치 TV인 경우 TV의 기본 리모컨을 메인 기기로 하고 나머지 기기를 서브 기기로 할 수 있음), 이에 한정되는 것은 아니다. 도 8은 그 일 예를 나타내는 도면으로서, UI를 통해 수신된 사용자의 입력에 따라 복수의 기기(801) 중 특정 기기를 메인 기기로 설정하는 예를 도시한다.
메인 기기와 서브 기기에 관한 정보에 기초하여, 음성신호가 수신된 기기에 대응하는 프로그램을 결정하는 방법의 일 예로서, 디스플레이장치(100)에서 실행되고 있는 복수의 프로그램 중에서 영상이 표시되는 모드(이하 '포어그라운드 모드'라고 함)로 실행되는 프로그램을 메인 기기에 대응하는 프로그램으로 결정하고, 영상이 표시되지 않는 모드(이하 '백그라운드 모드'라고 함)로 실행되는 프로그램은 서브 기기에 대응하는 프로그램으로 결정할 수 있다. 예를 들어, 도 9와 같이, 디스플레이장치(100)에서는 영화 재생 프로그램(901)이 포어그라운드 모드로 실행되고 있고, 음악 재생 프로그램이 백그라운드 모드로 실행되고 있으며, 리모컨(910)이 메인 기기로 설정되어 있고, 휴대폰(920)은 서브 기기로 설정되어 있는 경우, 프로세서(102)는 메인 기기에 대응되는 프로그램은 포어그라운드 모드로 실행되고 있는 영화 재생 프로그램(901)으로 결정하고, 서브 기기에 대응되는 프로그램은 백그라운드 모드로 실행되고 있는 음악 재생 프로그램으로 결정한 후, 메인 기기를 통해 입력된 음성신호에 대응하는 사용자명령(911)으로는 영화 재생 프로그램(901)을 제어하고, 서브 기기를 통해 입력된 음성신호에 대응하는 사용자명령(921)으로는 음악 재생 프로그램을 제어할 수 있다. 다만, 메인 기기와 서브 기기에 관한 정보에 기초하여, 음성신호가 수신된 기기에 대응하는 프로그램을 결정하는 방법이 이에 한정되는 것은 아니다. 예를 들어, 프로세서(102)는 실행 중인 프로그램 중에서 화면을 가장 많이 차지하는 프로그램을, 메인 기기에 대응되는 프로그램으로 결정할 수도 있다.
이에 의하면, 매칭 정보에 복수의 기기에 관한 추가정보를 반영함으로써 프로그램 제어의 신뢰도가 향상될 수 있다.
본 발명의 일 실시예에 의한 디스플레이장치(100)의 프로세서(102)가 음성신호가 수신된 기기에 대응하는 프로그램을 결정하는 또 다른 방법으로서, 외부의 기기에 의해 디스플레이장치(100)의 프로그램이 실행된 경우, 프로세서(102)는 위 정보를 참조하여 대응 프로그램을 결정할 수도 있다. 도 10과 도 11을 참조하여 이를 설명한다.
도 10과 도11은 기기1(110)과 기기2(120)로부터 각각 프로그램1(1001)과 프로그램2(1002)에 대한 실행명령을 수신하여 디스플레이장치(100)에서 프로그램1(1001)과 프로그램2(1002)가 실행되고 있는 상황에서, 음성신호를 수신한 기기에 대응하는 프로그램을 결정하는 실시예를 도시한다. 구체적으로, 디스플레이장치(100)의 프로세서(102)는, 기기1(110)로부터 프로그램1에 대한 실행명령을 수신하여(S1001), 그에 따라 프로그램1(1001)을 실행한다(S1002, 도 11의 (1)). 또한, 프로세서(102)는, 기기2(120)로부터 프로그램2에 대한 실행명령을 수신하여(S1003), 그에 따라 프로그램2(1002)을 실행한다(S1003, 도 11의 (2)).
이상의 과정을 거쳐 디스플레이장치(100)에서 프로그램1(1001)과 프로그램2(1002)가 실행되고 있는 상황에서, 사용자가 기기1(110)에 대하여 음성1을 발화(도 11의 (3))함으로써 기기1(110)로부터 음성신호를 수신하면(S1005, 도 11의 (4)), 프로세서(102)는 실행 중인 복수의 프로그램 중에서 기기1(110)에 의해 실행된 프로그램이 프로그램1(1001)임을 판단하여, 위 음성1을 수신한 기기1(110)에 대응하는 프로그램을 프로그램1(1001)로 결정하고(도 11의 (6)), 프로그램1(1001)을 음성1에 기초하여 제어할 수 있다(S1006, 도 11의 (7)). 사용자가 기기2(120)에 대하여 음성2을 발화한 경우에도(S1007), 프로세서(102)는 이와 마찬가지의 판단을 거쳐 음성2을 수신한 기기2(120)에 대응하는 프로그램을 프로그램2(1002)로 결정하고, 프로그램2(1002)를 음성2에 기초하여 제어할 수 있다(S1006). 도 10은 이상의 과정을 시간의 흐름을 기준으로 나타낸 도면이고, 도 11은 같은 과정을 공간적 측면에서 나타낸 도면이다.
이에 의하면, 프로그램에 대한 실행명령을 전송한 기기의 정보를 통하여, 음성신호를 수신한 기기에 대응하는 프로그램을 효율적으로 결정할 수 있다.
본 발명의 일 실시예에 의한 디스플레이장치(100)의 프로세서(102)가 음성신호가 수신된 기기에 대응하는 프로그램을 결정하는 또 다른 방법으로서, 프로세서(102)는 음성신호가 수신된 기기의 주된 기능의 카테고리에 기초하여 음성신호가 수신된 기기에 대응하는 프로그램을 결정할 수 있다. 도 12를 참조하여 이를 설명한다.
본 실시예에 따른 디스플레이장치(100)의 프로세서(102)는, 복수의 프로그램을 실행하여, 복수의 프로그램 중 적어도 하나의 영상을 디스플레이부(103)에 표시한다(S1201). 기기1(110)을 통해 사용자의 음성신호가 수신되면(S1202), 프로세서(102)는 수신한 음성신호에 대응하는 사용자명령을 결정한다(S1203).
한편, 프로세서(102)는 음성신호가 수신된 기기의 주된 기능의 카테고리에 기초하여, 복수의 프로그램 중 기기1(110)에 대응하는 프로그램을 결정한다(S1204). 예를 들어, 디스플레이장치(100)에서 TV 방송 시청 프로그램, 음악 재생 프로그램, 인터넷 검색 프로그램의 세 개의 프로그램이 실행 중인 상황에서, TV 리모컨을 통해 사용자의 음성신호가 수신되면 프로세서(102)는 TV 리모컨의 주된 기능은 TV를 제어하는 것이므로 그 주된 기능의 카테고리를 'TV 방송'으로 파악하여, 실행 중인 위 세 개의 프로그램 중 이와 가장 가까운 TV 방송 시청 프로그램을 TV 리모컨에 대응하는 프로그램으로 결정할 수 있다. 다른 예로, 위 세 개의 프로그램이 실행 중인 상황에서 MP3 플레이어를 통해 사용자의 음성신호가 수신되면, 프로세서(102)는 MP3 플레이어의 주된 기능의 카테고리를 '음악'으로 파악하여, 세 개의 프로그램 중 음악 재생 프로그램을 MP3 플레이어에 대응하는 프로그램으로 결정할 수 있다. 또 다른 예로, 위 세 개의 프로그램이 실행 중인 상황에서 키보드를 구비한 전자기기를 통해 사용자의 음성신호가 수신되면, 프로세서(102)는 위 전자기기의 주된 기능의 카테고리를 '문자입력'으로 파악하여, 세 개의 프로그램 중 인터넷 검색 프로그램을 키보드를 구비한 위 전자기기에 대응하는 프로그램으로 결정할 수 있다. 다만, 복수의 기기 및 실행 중인 프로그램의 종류 등이 위 예에 한정되는 것은 아니다.
이상의 과정을 거쳐 수신된 음성신호에 대응되는 사용자명령과 프로그램이 결정되면, 프로세서(102)는 결정된 사용자명령에 기초하여 결정된 프로그램이 동작하도록 제어한다(S1205).
이에 의하면, 사용자의 음성을 수신한 기기의 주된 기능을 고려하여, 사용자의 음성입력 의도에 맞는 제어 대상 프로그램 결정의 신뢰도를 향상시킬 수 있다.
본 발명의 일 실시예에 의한 디스플레이장치(100)의 프로세서(102)가 음성신호가 수신된 기기에 대응하는 프로그램을 결정하는 또 다른 방법으로서, 프로세서(102)는 화면에 대한 기기의 위치정보에 기초하여 음성신호가 수신된 기기에 대응하는 프로그램을 결정할 수 있다. 도 13를 참조하여 이를 설명한다.
본 실시예에 따른 디스플레이장치(100)의 프로세서(102)는, 복수의 프로그램을 실행하여, 복수의 프로그램을 각각 디스플레이부(103) 화면의 소정 위치에 표시한다(S1301). 즉, 디스플레이장치(100)에서 실행되고 있는 복수의 프로그램이 각각 화면에 표시된 위치에 의해서 구별될 수 있게 표시된다. 이후 기기1(110)을 통해 사용자의 음성신호가 수신되면(S1302), 프로세서(102)는 수신한 음성신호에 대응하는 사용자명령을 결정한다(S1303).
한편, 프로세서(102)는 화면에 대한 기기1(110)의 위치정보에 기초하여, 복수의 프로그램 중 기기1(110)에 대응하는 프로그램을 결정한다(S1304). 예를 들어, 도 14와 같이, 디스플레이장치(100)의 디스플레이부(103) 화면 왼쪽과 오른쪽으로 2개의 TV 방송 시청 프로그램(1401, 1402)이 동시에 실행되고 있는 경우, 디스플레이장치(100) 외부의 기기로부터 사용자의 음성신호가 수신되면, 프로세서(102)는 디스플레이부(103)의 화면을 기준으로 해당 음성신호가 전송된 기기의 상대적 위치를 파악하여 이를 기초로 2개의 TV 방송 시청 프로그램 중 해당 기기에 대응하는 프로그램을 결정한다. 예를 들어, 기기1(110)로부터 사용자의 음성신호가 수신된 경우, 프로세서(102)는 디스플레이장치(100)의 화면을 바라보는 방향에서 왼쪽에 위치한 기기1(110)로부터 위 음성신호가 수신되었음을 파악하여, 실행 중인 프로그램 중에서 화면의 왼쪽에 위치한 제1프로그램(1401)을 기기1(110)에 대응하는 프로그램으로 결정할 수 있다. 다른 예로, 기기2(120)로부터 사용자의 음성신호가 수신된 경우, 프로세서(102)는 마찬가지 방법으로 실행 중인 프로그램 중에서 화면의 오른쪽에 위치한 제2프로그램(1402)을 기기1(1120)에 대응하는 프로그램으로 결정할 수 있다. 다만, 디스플레이장치(100)에서 실행되는 프로그램의 개수 및 화면 배치 방식이 이에 한정되는 것은 아니다.
이상의 과정을 거쳐 수신된 음성신호에 대응되는 사용자명령과 프로그램이 결정되면, 프로세서(102)는 결정된 사용자명령에 기초하여 결정된 프로그램이 동작하도록 제어한다(S1305).
이에 의하면, 사용자의 음성신호를 수신한 기기의 위치를 반영함으로써, 사용자의 음성입력 의도에 맞는 제어 대상 프로그램을 보다 효율적으로 결정할 수 있다.
도 15 내지 도 17은 본 발명의 일 실시예에 따른 디스플레이장치(100)의 프로세서(102)가, 음성신호를 수신한 기기에 대응하는 것으로 결정된 프로그램을 표시하는 일 예를 도시한다.
도 15와 같이, 디스플레이장치(100)의 디스플레이부(103) 화면 왼쪽과 오른쪽으로 2개의 TV 방송 시청 프로그램(1401, 1402)이 동시에 실행되고 있는 경우에, 사용자가 다른 동작 없이 방송 프로그램을 시청만 하는 경우에는 프로세서(102)는, 각 방송 시청 프로그램에 대한 특별한 표시 없이, 방송 신호를 수신하여 이를 각 방송 시청 프로그램을 통해 재생한다.
그러던 중 사용자가 기기1(110)을 통해 음성 명령을 입력하여 TV 방송 시청 프로그램 중 하나를 제어하고자 기기1(110)을 잡거나 더 나아가 사용자의 입 근처로 가져간 경우, 프로세서(102)는 이를 감지하여 위 기기1(110)과 그에 대응하는 프로그램의 관계가 시각적으로 구별되도록 표시할 수 있다. 예를 들어, 도 16과 같이, 프로세서(102)는 디스플레이장치(100)에서 실행 중인 복수의 프로그램(1401, 1402) 중 기기1(110)에 대응하는 프로그램(예를 들어 화면 우측에 표시되는 프로그램(1402))에 대하여는 그 테두리를 소정 색상으로 강조하여 표시하고(1601), 그에 대응하는 기기1(110)의 LED에는 위 테두리 색상과 동일한 색상이 표시되도록 할 수 있다(1602). 이를 통해 실행 중인 복수의 프로그램 중에서 제어 기기(110)에 대응하는 프로그램을 직관적으로 확인한 사용자는, 도 17과 같이, 해당 프로그램에 대한 음성 제어 명령을 발화하여(1701) 그에 대응하는 결과(1702)를 제공받을 수 있다. 다만, 이상의 예에서 음성신호가 수신된 기기와 그에 대응하는 프로그램의 관계가 시각적으로 구별되도록 표시하는 방법이 위 예에 한정되는 것은 아니다.
이에 의하면, 디스플레이장치에서 실행 중인 복수의 프로그램 중에서, 제어하려는 기기에 대응하는 프로그램의 정보를 시각적으로 바로 확인한 상태에서 제어를 할 수 있으므로, 사용자 편의성이 향상된다.
도 18 내지 도 19는 본 발명의 일 실시예에 따른 디스플레이장치(100)의 프로세서(102)가, 음성신호가 수신된 기기에 대응하는 프로그램을 변경하는 다른 예를 도시한다.
앞서 도 7을 참조하여 음성신호가 수신된 기기에 대응하는 프로그램을 UI를 통한 사용자의 선택에 따라 변경하는 예를 설명하였으나, 음성신호가 수신된 기기에 대응하는 프로그램을 변경하는 방법이 이에 한정되는 것은 아니다. 그 다른 예로서, 프로세서(102)는 도 16과 같이 음성신호가 수신된 기기와 그에 대응하는 프로그램의 관계가 시각적으로 구별되도록 표시되고 있는 상태에서 사용자의 입력을 통해 바로 대응되는 프로그램을 변경할 수도 있다.
예를 들어, 도 18과 같이, 기기1(110)와 그에 대응하는 프로그램(1402)이 동일한 색상에 의해 강조되어 표시되고 있는 상태에서(1601, 1602), 사용자로부터 기기1(110)을 통하여 대응 프로그램을 변경할 것을 요청하는 음성(예를 들어 "다른 프로그램으로 매칭 변경")이 수신되면, 프로세서(102)는, 도 19와 같이, 기기1(110)에 기 대응된 프로그램과는 다른 프로그램(1401)에 대해 이를 강조하여 표시하고(1701), 대응 프로그램 설정 변경이 완료되었음을 나타내는 안내 메시지(예를 들어 "매칭이 변경되었습니다"(1902))를 표시할 수 있다. 또는, 프로세서(102)는 위와 같이 바로 대응 프로그램 설정 변경 완료 메시지를 표시하지 않고, 변경된 설정에 대해 사용자에게 한번 더 확인 입력을 요하는 메시지를 표시할 수도 있다. 실행 중인 프로그램이 3개 이상인 경우에는 후자가 보다 적합할 수 있다. 다만, 이상의 예에서 음성신호가 수신된 기기에 대응하는 프로그램을 변경하는 과정의 시각적 표시 방법이 위 예에 한정되는 것은 아니다.
이에 의하면, 디스플레이장치에서 실행 중인 복수의 프로그램 중에서, 제어하려는 기기에 대응하는 프로그램의 정보를 시각적으로 확인 가능한 상태에서 대응 프로그램의 설정을 변경할 할 수 있으므로, 사용자 편의성이 향상된다.
한편, 이상에서는 음성신호가 수신된 기기에 기초하여, 복수의 프로그램 중 그에 대응하는 프로그램을 결정하는 예를 설명하였으나, 본 발명이 이에 한정되는 것은 아니다. 예컨대, 본 발명의 다른 실시예에 따른 디스플레이장치(100)의 프로세서(102)는, 사용자의 발화 내용을 참조하여 복수의 프로그램 중 그에 대응하는 프로그램을 결정할 수 있다. 구체적으로, 디스플레이장치(100)에 복수 개의 프로그램이 실행되어 그 영상이 각각 디스플레이부(103)의 화면에 표시되고 있는 상태에서, 사용자로부터 복수 개의 발화가 입력되면, 본 발명의 다른 실시예에 의한 디스플레이장치(100)의 프로세서(102)는 사용자의 발화 내용을 참조하여 복수의 프로그램 중 각 사용자의 발화에 대응하는 프로그램을 결정할 수 있다. 도 20과 도 21을 참조하여 이를 설명한다.
예를 들어, 도 20과 같이, 영상 재생 프로그램(2001)과 웹 브라우징 프로그램(2002)이 실행되어 각 프로그램의 영상이 디스플레이부(103)의 화면에 함께 표시되고 있는 상태에서, 사용자가 "Volume up"(2003), "위키에서 인공지능 찾아줘"(2004) 두 개의 음성을 연속적으로 발화한 경우, 프로세서(102)는 각 발화의 내용을 토대로, 첫 번째 발화인 "Volume up"(2003)은 두 개의 프로그램(2001, 2002) 중 영상 재생 프로그램(2001)에 대응된다는 것을 판단하고, 그 발화에 기초하여 영상 재생 프로그램(2001)에 대해 볼륨을 높이는 제어를 수행한다. 다음 발화인 "위키에서 인공지능 찾아줘"(2004)에 대해서 프로세서(102)는 역시 그 발화 내용을 토대로, 위 발화가 두 개의 프로그램(2001, 2002) 중 웹 브라우징 프로그램(2002)에 대응된다는 것을 판단하고, 그 발화에 기초하여 웹 브라우징 프로그램(2002)에 대해 '인공지능'을 검색하는 동작을 수행하도록 제어한다.
도 21은 이상의 과정을 도식화한 도면으로서, 기기1(110)을 통해 복수개의 음성신호(예를 들어, 음성신호1과 음성신호2)가 수신되면, 본 발명의 다른 실시예에 따른 디스플레이장치(100)의 프로세서(102)가 발화 내용을 참조하여 각 음성신호에 대응하는 프로그램을 결정한 후, 음성신호1에 대응하는 것으로 결정된 프로그램 1에 대해서는 음성신호 1에 대응하는 사용자명령으로 제어하고, 음성신호2에 대응하는 것으로 결정된 프로그램 2에 대해서는 음성신호 2에 대응하는 사용자명령으로 제어하는 것을 도시한다.
이에 의하면, 복수의 프로그램 중, 사용자가 발화한 발화 내용을 참조하여 그에 대응하는 프로그램을 결정할 수 있으므로, 프로그램 결정의 신뢰도가 향상될 수 있다.
위와 같이 사용자의 발화 내용을 참조하여 복수의 프로그램 중 그에 대응하는 프로그램을 결정하는 실시예는, 앞서 설명한 본 발명의 다른 실시예와 결합될 수도 있다. 예를 들어, 본 발명의 또 다른 실시예에 의한 디스플레이장치(100)의 프로세서(102)는, 1차적으로, 복수의 프로그램 중에서 음성신호를 수신한 기기에 대응하는 프로그램의 결정을 시도한 후, 그에 따라 프로그램이 결정되지 않는 경우 보완적으로 사용자의 발화 내용을 더 참조하여 대응 프로그램을 결정할 수 있다. 도 22를 참조하여 이를 설명한다. 한편, 이상에서는 수신된 음성신호에 대한 인식처리가 서버를 통해 수행되는 실시예는 구체적으로 설명되지 않았으나, 디스플레이장치(100)에 수신된 음성신호에 대한 인식처리는 디스플레이장치(100)에서 자체적으로 수행될 수도 있고, 외부 서버를 통해 수행될 수도 있으므로, 이하에서는 외부 서버를 통해 음성인식 처리를 수행하는 구성를 전제로 설명한다.
기기1(110)을 통해 사용자의 음성신호가 수신되면(도 22의 (1)), 본 발명의 또 다른 실시예에 의한 디스플레이장치(100)의 프로세서(102)는, 복수의 프로그램 중에서 위 기기에 대응하는 프로그램을 결정하는 한편, 위 음성신호를 STT 서버(2210)로 전송하여(도 22의 (2)) 그 음성신호가 텍스트로 변환된 정보를 수신한다(도 22의 (3)). 위 수신된 텍스트 정보를 이용하여 프로세서(102)는 사용자의 음성신호에 대응하는 사용자명령을 결정한다(도 22의 (4)).
복수의 프로그램 중 사용자의 음성신호가 수신된 기기에 대응하는 프로그램이 결정된 경우, 프로세서(102)는 위 결정된 사용자명령을 이용하여 결정된 프로그램을 제어할 수 있다.
그러나 복수의 프로그램 중 사용자의 음성신호가 수신된 기기에 대응하는 프로그램을 결정할 수 없는 경우, 예를 들어 음성신호가 수신된 기기에 대하여 둘 이상의 프로그램이 대응되어 설정되어 있거나, 수신된 기기의 주된 기능의 카테고리 또는 위치정보에 기초하여 분석한 결과 둘 이상의 프로그램이 대응 가능한 경우에는, 위 결정된 사용자명령을 통해 제어할 대상이 결정되지 않은 상태이므로, 프로세서(102)는 사용자의 음성신호에 대응하는 제어를 수행할 수 없다(도 22의 (5)). 그 경우, 프로세서(102)는 STT 서버(2210)로부터 수신한 텍스트 정보를 더 참조하여, 즉 사용자의 발화 내용을 더 참조하여, 사용자의 음성 신호에 대응하는 프로그램을 결정할 수 있다.
사용자의 발화 내용을 더 참조하여 사용자의 음성 신호에 대응하는 프로그램을 결정하는 처리는, 프로세서(102) 자체적으로 수행할 수도 있고, 외부 서버(예를 들어 자연어 처리 서버)를 이용할 수도 있다. 후자의 일 예로, 사용자가 발화한 내용이 자연어에 가까워서 프로세서(102) 자체적으로는 그 내용 분석이 어려운 경우, 프로세서(102)는 위 텍스트 정보를 자연어 처리 서버(2220)로 전송한 후(도 22의 (6)) 그로부터 수신한 처리결과(도 22의 (7))를 참조해 사용자의 음성 신호에 대응하는 프로그램을 결정할 수 있다(도 22의 (8)). 또는, 프로세서(102)는 자연어 처리 서버(2220)로부터, 텍스트 정보를 처리한 데이터에 기초하여 인터넷 검색 등을 수행한 검색결과를 전송받아 이를 참조해 사용자의 음성 신호에 대응하는 프로그램을 결정할 수도 있다.
이에 의하면, 음성신호가 수신된 기기에 관한 정보에 더해, 사용자의 발화 내용을 더 참조하여 대응 프로그램을 결정하므로, 프로그램 결정의 신뢰도가 향상될 수 있다.
이상에서는 사용자의 발화 내용 또는 그에 대응하는 사용자명령에 관한 정보를, 수신된 음성신호에 대응하는 프로그램을 결정하는 데 활용하여 프로그램 결정의 신뢰도를 높이는 실시예를 설명하였으나, 역으로, 수신된 음성신호에 대응하는 것으로 결정된 프로그램에 관한 정보를, 수신된 음성신호에 대응하는 사용자명령을 결정하는 데 활용함으로써 사용자명령 결정의 효율성을 높이는 것도 가능하다. 도 23을 참조하여 이를 설명한다.
기기1(110)을 통해 사용자의 음성신호가 수신되면(도 23의 (1)), 본 발명의 또 다른 실시예에 의한 디스플레이장치(100)의 프로세서(102)는, 위 음성신호를 STT 서버(2210)로 전송하여(도 23의 (2)) 그 음성신호가 텍스트로 변환된 정보를 수신하는 한편(도 23의 (3)), 복수의 프로그램 중에서 위 기기에 대응하는 프로그램을 결정한다(도 23의 (4)).
도 22에서의 프로세서(102)는, 위 수신된 텍스트 정보를 이용하여 사용자의 음성신호에 대응하는 사용자명령을 결정하였다. 그러나 위 음성신호가 어떤 프로그램에 대응하는 음성신호인지를 고려하지 않은 채로 음성신호에 대응하는 사용자명령을 결정하는 것은, 검토 대상이 되는 사용자명령의 범위가 넓어서 비효율적일 수 있다. 사용자의 발화가 단순하고 간단한 명령어에 관한 것이 아니라, 자연어에 가까운 명령어에 관한 것일수록 더욱 그렇다. 이에 본 실시예에 따른 도 23의 프로세서(102)는, 텍스트 정보와 함께, 음성신호가 수신된 기기에 대응하는 프로그램으로 결정된 프로그램의 정보도 참조하여 음성신호에 대응하는 사용자명령을 결정한다.
텍스트 정보와 결정된 프로그램의 정보를 함께 참조하여 음성신호에 대응하는 사용자명령을 결정하는 처리는, 위와 같이 프로세서(102) 자체적으로 수행할 수도 있고, 외부 서버(예를 들어 자연어 처리 서버)를 이용할 수도 있다. 후자의 경우, 프로세서(102)는 음성신호에 대응하는 텍스트 정보와 결정된 프로그램의 정보를 서버(2220)로 전송하여 처리되도록 하고(도 23의 (5)), 그 처리 결과를 수신하여(도 23의 (6)) 사용자명령을 결정할 수 있다. 그 경우, 자연어 처리 서버(2220)에서는 자연어 처리 과정에서 텍스트 정보를 분석함에 있어서, 결정된 프로그램의 정보를 이용하여 검토 대상이 되는 사용자명령의 범위를 줄일 수 있게 되므로, 분석 속도가 향상될 수 있다.
이에 의하면, 음성신호가 수신된 기기에 대응하는 프로그램으로 결정된 프로그램의 정보를 사용자명령을 결정하는 데에도 활용함으로써, 사용자명령의 결정 속도가 향상되고 결과적으로 음성인식을 통한 디스플레이장치의 처리 속도도 향상될 수 있다.
100: 디스플레이장치
101: 신호수신부
102: 프로세서
103: 디스플레이부

Claims (18)

  1. 디스플레이장치에 있어서,
    디스플레이부;
    음성수신부; 및
    복수의 프로그램의 기능을 실행하여, 상기 복수의 프로그램 중 적어도 하나의 영상을 표시하도록 상기 디스플레이부를 제어하고,
    상기 음성수신부를 통해 복수의 기기 중 적어도 하나로부터 사용자 음성 입력을 수신하고,
    상기 복수의 프로그램과 상기 복수의 기기 사이의 상호 대응관계에 관한 매칭정보에 기초하여, 상기 복수의 프로그램 중 상기 사용자 음성 입력을 수신하는 기기에 대응하는 프로그램을 식별하고,
    상기 수신된 사용자 음성 입력에 대응하는 기능을 실행하도록 상기 식별된 프로그램을 제어하는 프로세서를 포함하며,
    상기 프로세서는 상기 사용자 음성 입력을 수신하는 기기의 주 기능의 카테고리에 관한 정보, 또는 상기 사용자 음성 입력을 수신하는 기기가 메인 기기로 설정된 장치인지 또는 서브 기기로 설정된 장치인지에 관한 정보 중 적어도 하나에 기초하여, 상기 복수의 프로그램 중 상기 사용자 음성 입력을 수신하는 기기에 대응하는 프로그램을 식별하는 디스플레이장치.
  2. 제1항에 있어서,
    상기 디스플레이장치는 상기 음성수신부를 포함하는 사용자입력부를 포함하고,
    상기 프로세서는 상기 매칭정보를 설정할 수 있는 UI를 상기 디스플레이부에 표시하고, 상기 UI에 기초하여 상기 사용자입력부를 통한 사용자의 입력에 따라 상기 매칭정보를 설정하는 디스플레이장치.
  3. 제1항에 있어서,
    상기 매칭정보는 상기 복수의 기기 중 상기 메인 기기로 설정된 기기와 그렇지 않은 기기에 대한 정보를 포함하고,
    상기 프로세서는 실행 중인 복수의 프로그램 중 영상이 표시되는 모드로 실행되는 프로그램을 상기 메인 기기에 대응하는 프로그램으로 식별하는 디스플레이장치.
  4. 제1항에 있어서,
    상기 프로세서는 제1기기로부터 제1프로그램에 대한 실행명령을 수신하여 상기 제1프로그램을 실행하고, 상기 제1기기를 통하여 상기 사용자 음성 입력이 수신되면, 상기 제1프로그램을 상기 제1기기에 대응하는 프로그램으로 식별하는 디스플레이장치.
  5. 삭제
  6. 제1항에 있어서,
    상기 프로세서는 상기 사용자 음성 입력을 수신하는 기기가 상기 디스플레이부에 대하여 위치한 위치정보를 더 참조하여 상기 사용자 음성 입력을 수신하는 기기에 대응하는 프로그램을 식별하는 디스플레이장치.
  7. 제1항에 있어서,
    상기 프로세서는 상기 사용자 음성 입력에 대응하는 사용자의 발화 내용을 더 참조하여 상기 사용자 음성 입력을 수신하는 기기에 대응하는 프로그램을 식별하는 디스플레이장치.
  8. 제1항에 있어서,
    상기 프로세서는 상기 식별된 프로그램에 관한 정보를 참조하여 상기 수신된 사용자 음성 입력에 대응하는 사용자명령을 식별하는 디스플레이장치.
  9. 디스플레이장치의 제어방법에 있어서,
    복수의 프로그램의 기능을 실행하여, 상기 복수의 프로그램 중 적어도 하나의 영상을 표시하는 단계;
    복수의 기기 중 어느 하나로부터 상기 디스플레이장치의 음성수신부를 통하여 사용자 음성 입력을 수신하는 단계;
    상기 복수의 프로그램과 상기 복수의 기기 사이의 상호 대응관계에 관한 매칭정보에 기초하여, 상기 복수의 프로그램 중 상기 사용자 음성 입력을 수신하는 기기에 대응하는 프로그램을 식별하는 단계; 및
    상기 수신된 사용자 음성 입력에 대응하는 기능을 실행하도록 상기 식별된 프로그램을 제어하는 단계를 포함하며,
    상기 식별하는 단계는 상기 사용자 음성 입력을 수신하는 기기의 주 기능의 카테고리에 관한 정보, 또는 상기 사용자 음성 입력을 수신하는 기기가 메인 기기로 설정된 장치인지 또는 서브 기기로 설정된 장치인지에 관한 정보 중 적어도 하나에 기초하여, 상기 복수의 프로그램 중 상기 사용자 음성 입력을 수신하는 기기에 대응하는 프로그램을 식별하는 디스플레이장치의 제어방법.
  10. 제9항에 있어서,
    상기 제어방법은,
    상기 매칭정보를 설정할 수 있는 UI를 표시하는 단계; 및
    상기 UI에 기초한 사용자의 입력에 따라 상기 매칭정보를 설정하는 단계를 더 포함하는 디스플레이장치의 제어방법.
  11. 제9항에 있어서,
    상기 매칭정보는 상기 복수의 기기 중 상기 메인 기기로 설정된 기기와 그렇지 않은 기기에 대한 정보를 포함하고,
    상기 식별하는 단계는, 실행 중인 복수의 프로그램 중 영상이 표시되는 모드로 실행되는 프로그램을 상기 메인 기기에 대응하는 프로그램으로 식별하는 디스플레이장치의 제어방법.
  12. 제9항에 있어서,
    상기 식별하는 단계는, 제1기기로부터 제1프로그램에 대한 실행명령을 수신하여 상기 제1프로그램을 실행하고, 상기 제1기기를 통하여 상기 사용자 음성 입력이 수신되면, 상기 제1프로그램을 상기 제1기기에 대응하는 프로그램으로 식별하는 디스플레이장치의 제어방법.
  13. 삭제
  14. 제9항에 있어서,
    상기 식별하는 단계는, 상기 사용자 음성 입력을 수신하는 기기가 상기 디스플레이장치에 대하여 위치한 위치정보를 더 참조하여 상기 사용자 음성 입력을 수신하는 기기에 대응하는 프로그램을 식별하는 디스플레이장치의 제어방법.
  15. 제9항에 있어서,
    상기 식별하는 단계는, 상기 사용자 음성 입력에 대응하는 사용자의 발화 내용을 더 참조하여 상기 사용자 음성 입력을 수신하는 기기에 대응하는 프로그램을 식별하는 디스플레이장치의 제어방법.
  16. 제9항에 있어서,
    상기 식별하는 단계는, 상기 식별된 프로그램에 관한 정보를 참조하여 상기 수신된 사용자 음성 입력에 대응하는 사용자명령을 식별하는 디스플레이장치의 제어방법.
  17. 디스플레이장치와 결합되어 제9항 내지 제12항과 제14항 내지 제16항 중 어느 한 항의 제어방법을 실행시키는, 컴퓨터 판독가능 기록매체에 저장된 컴퓨터프로그램.
  18. 제17항에 있어서,
    상기 컴퓨터프로그램은 서버 내의 기록매체에 저장되고 네트워크를 통해 상기 디스플레이장치에 다운로드 될 수 있는 컴퓨터프로그램.
KR1020180001164A 2018-01-04 2018-01-04 디스플레이장치 및 그 제어방법 KR102527082B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020180001164A KR102527082B1 (ko) 2018-01-04 2018-01-04 디스플레이장치 및 그 제어방법
EP19736272.6A EP3719631A4 (en) 2018-01-04 2019-01-03 DISPLAY DEVICE AND METHOD OF CONTROLLING THEREOF
US16/959,493 US11488598B2 (en) 2018-01-04 2019-01-03 Display device and method for controlling same
PCT/KR2019/000108 WO2019135623A1 (ko) 2018-01-04 2019-01-03 디스플레이장치 및 그 제어방법
CN201980007210.4A CN111556991A (zh) 2018-01-04 2019-01-03 显示设备及控制显示设备的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180001164A KR102527082B1 (ko) 2018-01-04 2018-01-04 디스플레이장치 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20190083476A KR20190083476A (ko) 2019-07-12
KR102527082B1 true KR102527082B1 (ko) 2023-04-28

Family

ID=67144204

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180001164A KR102527082B1 (ko) 2018-01-04 2018-01-04 디스플레이장치 및 그 제어방법

Country Status (5)

Country Link
US (1) US11488598B2 (ko)
EP (1) EP3719631A4 (ko)
KR (1) KR102527082B1 (ko)
CN (1) CN111556991A (ko)
WO (1) WO2019135623A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019135433A1 (ko) * 2018-01-08 2019-07-11 엘지전자 주식회사 디스플레이 장치 및 디스플레이 장치를 포함하는 시스템
KR102576388B1 (ko) * 2018-02-21 2023-09-08 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
WO2020150899A1 (zh) * 2019-01-22 2020-07-30 京东方科技集团股份有限公司 语音控制方法、语音控制装置以及计算机可执行非易失性存储介质
CN112786032A (zh) * 2019-11-01 2021-05-11 富泰华工业（深圳）有限公司 显示内容控制方法、装置、计算机装置及可读存储介质
KR102360011B1 (ko) * 2020-04-07 2022-02-09 아이콘에이아이 주식회사 인공지능 서비스 디바이스 및 그 디스플레이 처리 방법
US20220179619A1 (en) * 2020-12-03 2022-06-09 Samsung Electronics Co., Ltd. Electronic device and method for operating thereof
CN113096668B (zh) * 2021-04-15 2023-10-27 国网福建省电力有限公司厦门供电公司 一种构建协作语音交互引擎簇的方法及装置
KR20240025146A (ko) * 2022-08-18 2024-02-27 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
CN116564280B (zh) * 2023-07-05 2023-09-08 深圳市彤兴电子有限公司 基于语音识别的显示器控制方法、装置以及计算机设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120316876A1 (en) * 2011-06-10 2012-12-13 Seokbok Jang Display Device, Method for Thereof and Voice Recognition System
US20130041665A1 (en) * 2011-08-11 2013-02-14 Seokbok Jang Electronic Device and Method of Controlling the Same

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6727884B1 (en) 1999-04-06 2004-04-27 Microsoft Corporation System and method for mapping input device controls to software actions
KR100768653B1 (ko) 2006-05-26 2007-10-18 주식회사 케이티 음성 인식 기반의 ｉｐ-ｔｖ 서비스 제어 시스템과 그방법 및 기록매체
US7899673B2 (en) * 2006-08-09 2011-03-01 Microsoft Corporation Automatic pruning of grammars in a multi-application speech recognition interface
JP2010277478A (ja) * 2009-05-29 2010-12-09 Fujitsu Frontech Ltd 表示制御プログラム、情報処理装置および方法
GB2485145A (en) * 2010-10-29 2012-05-09 Displaylink Uk Ltd Audio command routing method for voice-controlled applications in multi-display systems
US20130073293A1 (en) 2011-09-20 2013-03-21 Lg Electronics Inc. Electronic device and method for controlling the same
KR101914708B1 (ko) * 2012-06-15 2019-01-14 삼성전자주식회사 서버 및 서버의 제어 방법
JP6051609B2 (ja) * 2012-06-20 2016-12-27 株式会社リコー 情報処理装置、電子機器、情報処理システム、プログラム、方法および記録媒体
KR102052977B1 (ko) * 2013-03-11 2019-12-06 삼성전자 주식회사 다중 입력 제어 방법 및 시스템과 이를 지원하는 전자 장치
KR20140053760A (ko) * 2013-05-21 2014-05-08 삼성전자주식회사 영상처리장치 및 그 제어방법, 영상처리 시스템
KR20150054190A (ko) * 2013-11-11 2015-05-20 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR20150134252A (ko) * 2014-05-21 2015-12-01 삼성전자주식회사 디스플레이 장치, 원격 제어 장치, 시스템 및 그 제어 방법
KR102304052B1 (ko) * 2014-09-05 2021-09-23 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
KR102252072B1 (ko) * 2014-10-14 2021-05-14 삼성전자주식회사 음성 태그를 이용한 이미지 관리 방법 및 그 장치
KR20160071732A (ko) * 2014-12-12 2016-06-22 삼성전자주식회사 음성 입력을 처리하는 방법 및 장치
JP6693066B2 (ja) * 2015-08-18 2020-05-13 ヤマハ株式会社 制御装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120316876A1 (en) * 2011-06-10 2012-12-13 Seokbok Jang Display Device, Method for Thereof and Voice Recognition System
US20130041665A1 (en) * 2011-08-11 2013-02-14 Seokbok Jang Electronic Device and Method of Controlling the Same

Also Published As

Publication number Publication date
WO2019135623A1 (ko) 2019-07-11
CN111556991A (zh) 2020-08-18
US11488598B2 (en) 2022-11-01
EP3719631A1 (en) 2020-10-07
US20210056969A1 (en) 2021-02-25
KR20190083476A (ko) 2019-07-12
EP3719631A4 (en) 2021-01-06

Similar Documents

Publication Publication Date Title
KR102527082B1 (ko) 디스플레이장치 및 그 제어방법
US10939065B2 (en) Display apparatus and method for controlling display of display apparatus
US11449307B2 (en) Remote controller for controlling an external device using voice recognition and method thereof
KR102209519B1 (ko) 음성 제어를 수행하는 디스플레이 장치 및 그 음성 제어 방법
US10678563B2 (en) Display apparatus and method for controlling display apparatus
CN103811007A (zh) 显示装置、语音获取装置及其语音识别方法
JP2014532933A (ja) 電子装置及びその制御方法
US10110843B2 (en) Image display device and operating method of the same
KR20190053725A (ko) 디스플레이장치 및 그 제어방법
KR20150054490A (ko) 음성인식 시스템, 음성인식 서버 및 디스플레이 장치의 제어방법
CN112489691A (zh) 电子装置及其操作方法
KR102229972B1 (ko) 음성 인식 장치 및 그 방법
US20160191841A1 (en) Display device and display method
KR20140116642A (ko) 음성 인식 기반의 기능 제어 방법 및 장치
JP2014132442A (ja) 電子装置およびその制御方法
US20210048895A1 (en) Electronic device and operating method therefor
JP2022036352A (ja) 表示制御装置、及び表示制御方法
CN113079400A (zh) 显示设备、服务器及语音交互方法
US11930236B2 (en) Content playback device using voice assistant service and operation method thereof
JP2021503107A (ja) ディスプレイ装置及びその制御方法
KR102656611B1 (ko) 보이스 어시스턴트 서비스를 이용한 컨텐츠 재생 장치 및 그 동작 방법
KR101508444B1 (ko) 디스플레이 장치 및 이를 이용한 하이퍼링크 실행 방법
CN103218038A (zh) 电子设备及其控制方法
KR102659287B1 (ko) 영상 표시 장치 및 그 동작 방법
KR102359163B1 (ko) 전자 장치 및 이의 음성 인식 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant