KR20210112278A - 음성 인식 시스템, 서버, 디스플레이 장치 및 그 제어 방법 - Google Patents

음성 인식 시스템, 서버, 디스플레이 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20210112278A
KR20210112278A KR1020210115950A KR20210115950A KR20210112278A KR 20210112278 A KR20210112278 A KR 20210112278A KR 1020210115950 A KR1020210115950 A KR 1020210115950A KR 20210115950 A KR20210115950 A KR 20210115950A KR 20210112278 A KR20210112278 A KR 20210112278A
Authority
KR
South Korea
Prior art keywords
display device
display apparatus
server
information
signal
Prior art date
Application number
KR1020210115950A
Other languages
English (en)
Other versions
KR102428470B1 (ko
Inventor
채지은
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210115950A priority Critical patent/KR102428470B1/ko
Publication of KR20210112278A publication Critical patent/KR20210112278A/ko
Priority to KR1020220094268A priority patent/KR102512297B1/ko
Application granted granted Critical
Publication of KR102428470B1 publication Critical patent/KR102428470B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3041—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is an input/output interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/321—Display for diagnostics, e.g. diagnostic result display, self-test user interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/221—Announcement of recognition results
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)

Abstract

음성 인식 시스템이 개시된다. 본 음성 인식 시스템은 복수의 매뉴얼이 저장된 서버 및 사용자의 발화 음성이 입력되면, 특성 정보 및 발화 음성에 대응되는 발화 음성 신호를 서버로 전송하는 디스플레이 장치를 포함하며, 특성 정보는 디스플레이 장치의 특성 정보이고, 서버는, 복수의 매뉴얼 중에서 특성 정보에 대응되는 매뉴얼에 기초하여 발화 음성 신호에 대한 응답 신호를 디스플레이 장치로 전송하고, 디스플레이 장치는, 수신된 응답 신호에 대응되는 동작을 처리한다. 그에 따라, 사용자의 편의성이 증대된다.

Description

음성 인식 시스템, 서버, 디스플레이 장치 및 그 제어 방법 { VOICE RECOGNITION SYSTEM, SERVER, DISPLAY APPARATUS AND CONTROL METHODS THEREOF }
본 발명은 음성 인식 시스템, 서버, 디스플레이 장치 및 그 제어 방법에 대한 것으로, 보다 상세하게는 발화 음성을 입력받아 생성된 응답 신호에 따라 대응되는 동작을 처리하는 음성 인식 시스템, 서버, 디스플레이 장치 및 그 제어 방법에 대한 것이다.
사용자가 발화한 음성을 인식하여 그에 대응되는 기능을 수행하는 전자기기의 사용이 점차 늘어나고 있다. 일반적으로, 음성 인식이 가능한 디스플레이 장치는 사용자의 발화 음성을 수집하고, 그 수집한 발화 음성에 대응되는 발화 음성 신호를 네트워크를 통해 연결된 서버로 전송한다. 발화 음성 신호를 수신한 서버는 발화 음성 신호를 분석하여 사용자의 의도를 파악하고, 그에 따른 응답 신호를 생성하여 디스플레이 장치로 전송한다. 이에 따라, 디스플레이 장치는 서버로부터 수신한 응답 신호에 기초하여 사용자의 발화 음성에 대응되는 기능을 실행하거나 정보를 제공할 수 있다.
그러나, 이 같은 종래의 음성 인식이 가능한 디스플레이 장치는 사용자의 발화 음성을 분석하고, 그 분석 결과에 기초하여 사용자의 의도를 파악하는데 한계가 있다. 예를 들어, "채널 업"과 같이 단순한 기능의 경우, 서버는 이 같은 발화 음성 신호를 분석하여 사용자의 의도를 올바르게 파악하고, 그에 따른 응답 신호를 생성하여 디스플레이 장치로 전송할 수 있다. 따라서, 디스플레이 장치는 응답 신호에 기초하여 사용자가 요청한 채널을 디스플레이할 수 있다.
그러나, 발화 음성이 불분명하게 인식된 경우 또는 사용자의 인터랙션이 요구되는 경우에는 종래의 단순한 기능을 제공하는 것으로는 부족하다. 가령, 사용자가 "녹화 방법을 알려줘."라고 발화한 경우, 사용자에게 녹화를 위해 체크해야할 사항이나 사용자의 조작 등을 단계별로 지시하지 못하고, 단순히 녹화 방법만을 디스플레이하는 문제가 있다.
또한, "화면이 이상해"와 같은 발화 음성이 인식된 경우 디스플레이 장치의 하드웨어적인 성능을 체크하지 않고, 발화 음성에 대한 응답이 없을 수 있다. 즉, 발화 음성으로부터 실행 가능한 응답 신호가 생성되지 않는 경우 오동작을 하거나 응답이 없는 문제가 있다.
그리고, 서버를 이용함에 따라 복잡한 발화 음성에 대한 응답의 정확도가 향상되고 있음에도 각각의 디스플레이 장치의 특성을 반영하지 않고 응답 신호를 생성하는 문제도 있다.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은 기 저장된 매뉴얼에 기초하여 사용자의 발화 음성에 대한 응답 신호를 생성하여 그에 대응되는 동작을 처리하는 음성 인식 시스템, 서버, 디스플레이 장치 및 그 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 음성 인식 시스템은, 복수의 매뉴얼이 저장된 서버 및 사용자의 발화 음성이 입력되면, 특성 정보 및 상기 발화 음성에 대응되는 발화 음성 신호를 상기 서버로 전송하는 디스플레이 장치를 포함하며, 상기 특성 정보는 상기 디스플레이 장치의 특성 정보이고, 상기 서버는, 상기 복수의 매뉴얼 중에서 상기 특성 정보에 대응되는 매뉴얼에 기초하여 상기 발화 음성 신호에 대한 응답 신호를 상기 디스플레이 장치로 전송하고, 상기 디스플레이 장치는, 상기 수신된 응답 신호에 대응되는 동작을 처리할 수 있다.
또한, 상기 디스플레이 장치는, 상기 응답 신호에 안내 메시지 또는 진단 결과가 포함된 경우, 상기 안내 메시지 또는 상기 진단 결과를 디스플레이할 수 있다.
그리고, 상기 디스플레이 장치는, 상기 응답 신호가 상기 디스플레이 장치의 진단에 필요한 동작을 처리하도록 하는 제어 신호이면, 상기 제어 신호에 따른 동작을 처리하고 그 동작 상태를 상기 서버로 전송하고, 상기 서버는, 상기 동작 상태에 기초하여 상기 디스플레이 장치를 진단하고, 진단 결과를 상기 디스플레이 장치로 전송할 수 있다.
한편, 이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 서버는, 복수의 디바이스와 통신이 가능한 적어도 하나의 프로세서 및 복수의 매뉴얼을 저장하는 저장부를 포함하며, 상기 적어도 하나의 프로세서는, 상기 복수의 디바이스 중 하나의 디바이스에서 입력된 발화 음성에 대응되는 발화 음성 신호 및 상기 디바이스의 특성 정보를 수신하고, 상기 저장부의 복수의 매뉴얼 중에서 상기 특성 정보에 대응되는 매뉴얼에 기초하여 상기 발화 음성 신호에 대한 응답 신호를 생성하며, 상기 응답 신호를 상기 디바이스로 전송할 수 있다.
또한, 상기 적어도 하나의 프로세서는, 상기 발화 음성 신호가 상기 디바이스의 기능에 대한 신호이면, 상기 디바이스에 대응되는 매뉴얼에 따라 상기 기능을 실행하는 방법을 안내하는 안내 메시지를 상기 응답 신호에 포함시켜 상기 디바이스로 전송할 수 있다.
그리고, 상기 적어도 하나의 프로세서는, 상기 발화 음성 신호가 상기 디바이스의 동작 상태에 대한 신호이면, 상기 디바이스를 진단하고, 진단 결과를 상기 디바이스로 전송할 수 있다.
또한, 상기 적어도 하나의 프로세서는, 상기 디바이스의 동작 상태가 자체 해결 가능한 에러 상태라고 진단되면, 상기 진단 결과에 대한 해결 방법을 안내하는 안내 메시지를 상기 디바이스로 전송할 수 있다.
그리고, 상기 적어도 하나의 프로세서는, 상기 디바이스의 동작 상태가 자체 해결 불가능한 에러 상태라고 진단되면, 상기 진단 결과 및 상기 디바이스의 특성 정보를 서비스 센터로 전송할 수 있다.
또한, 상기 디바이스의 특성 정보는, 패널 정보, 상기 디바이스의 종류 정보, 사용 지역 정보, 사용 시간 정보 중 적어도 하나를 포함할 수 있다.
한편, 이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 디스플레이 장치는, 사용자의 발화 음성을 입력받는 음성 입력부, 복수의 매뉴얼이 저장된 서버와 통신을 수행하기 위한 통신부 및 상기 발화 음성이 상기 디스플레이 장치의 동작을 제어하기 위한 제어 신호로 판단되면 상기 제어 신호에 대응되는 동작을 처리하는 프로세서를 포함하고, 상기 프로세서는, 상기 발화 음성이 상기 디스플레이 장치의 기능 및 동작 상태 중 적어도 하나에 대한 신호로 판단되면 상기 통신부를 통해 서버로 상기 디스플레이 장치의 특성 정보 및 상기 발화 음성에 대응되는 발화 음성 신호를 전송할 수 있다.
또한, 상기 프로세서는, 상기 디스플레이 장치의 특성 정보에 대응되는 매뉴얼 및 상기 발화 음성 신호의 내용에 따라 생성된 응답 신호가 상기 서버로부터 수신되면, 상기 응답 신호에 대응되는 동작을 처리할 수 있다.
그리고, 디스플레이부를 더 포함하고, 상기 프로세서는, 상기 응답 신호에 안내 메시지 또는 진단 결과가 포함된 경우, 상기 안내 메시지 또는 상기 진단 결과를 디스플레이할 수 있다.
또한, 상기 프로세서는, 상기 응답 신호가 상기 디스플레이 장치의 진단에 필요한 동작을 처리하도록 하는 제어 신호이면, 상기 제어 신호에 따른 동작을 처리하고 그 동작 상태를 상기 통신부를 통해 상기 서버로 전송할 수 있다.
그리고, 상기 디스플레이 장치의 특성 정보는, 패널 정보, 상기 디스플레이 장치의 종류 정보, 사용 지역 정보, 사용 시간 정보 중 적어도 하나를 포함할 수 있다.
한편, 본 발명의 일 실시 예에 따르면, 디스플레이 장치의 제어 방법은 사용자의 발화 음성을 입력받는 단계, 상기 발화 음성의 종류를 판단하는 단계 및 상기 발화 음성이 상기 디스플레이 장치의 동작을 제어하기 위한 제어 신호로 판단되면 상기 제어 신호에 대응되는 동작을 처리하고, 상기 발화 음성이 상기 디스플레이 장치의 기능 및 동작 상태 중 적어도 하나에 대한 신호로 판단되면 서버로 상기 디스플레이 장치의 특성 정보 및 상기 발화 음성에 대응되는 발화 음성 신호를 전송하는 단계를 포함할 수 있다.
또한, 상기 디스플레이 장치의 특성 정보에 대응되는 매뉴얼 및 상기 발화 음성 신호의 내용에 따라 생성된 응답 신호를 상기 서버로부터 수신하는 단계 및 상기 응답 신호에 대응되는 동작을 처리하는 단계를 더 포함할 수 있다.
그리고, 상기 응답 신호에 대응되는 동작을 처리하는 단계는, 상기 응답 신호에 안내 메시지 또는 진단 결과가 포함된 경우, 상기 안내 메시지 또는 상기 진단 결과를 디스플레이할 수 있다.
또한, 상기 응답 신호에 대응되는 동작을 처리하는 단계는, 상기 응답 신호가 상기 디스플레이 장치의 진단에 필요한 동작을 처리하도록 하는 제어 신호이면, 상기 제어 신호에 따른 동작을 처리하고 그 동작 상태를 상기 서버로 전송할 수 있다.
그리고, 상기 디스플레이 장치의 특성 정보는, 패널 정보, 상기 디스플레이 장치의 종류 정보, 사용 지역 정보, 사용 시간 정보 중 적어도 하나를 포함할 수 있다.
한편, 이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 컴퓨터 프로그램이 저장된 컴퓨터-판독 가능 매체는, 사용자의 발화 음성을 입력받는 단계, 상기 발화 음성의 종류를 판단하는 단계 및 상기 발화 음성이 상기 디스플레이 장치의 동작을 제어하기 위한 제어 신호로 판단되면 상기 제어 신호에 대응되는 동작을 처리하고, 상기 발화 음성이 상기 디스플레이 장치의 기능 및 동작 상태 중 적어도 하나에 대한 신호로 판단되면 서버로 상기 디스플레이 장치의 특성 정보 및 상기 발화 음성에 대응되는 발화 음성 신호를 전송하는 단계를 포함할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 디스플레이 장치와 서버는, 디스플레이 장치의 특성 정보에 대응되는 매뉴얼에 기초하여 사용자의 발화 음성에 대응되는 발화 음성 신호로부터 응답 신호를 생성하여 응답 신호에 대응되는 동작을 수행하게 되어, 디스플레이 장치의 제어에 있어서 사용자 만족도를 향상시킬 수 있다.
도 1은 본 발명의 일 실시 예에 따른, 음성 인식 시스템을 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 서버의 구성을 나타내는 블럭도이다.
도 3은 사용자의 발화 음성의 내용 및 매뉴얼을 이용하여 응답 신호를 생성하는 일 예를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 또 다른 사용자의 발화 음성의 내용 및 매뉴얼을 이용하여 응답 신호를 생성하는 것을 설명하기 위한 도면이다.
도 5는 이러한 실시 예에 따른 서버 및 디스플레이 장치의 동작을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 디스플레이 장치의 진단 결과를 설명하기 위한 도면이다.
도 7은 본 발명의 다른 실시 예에 따른 디스플레이 장치의 진단 결과를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 디스플레이 장치를 제어하기 위한 제어 신호를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시 예에 따라 저장부 및 프로세서의 동작을 구체적으로 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 11은 본 발명의 일 실시 예에 따른 음성 입력부의 구성을 나타내는 블럭도이다.
도 12는 본 발명의 일 실시 예에 따른 서버의 제어 방법을 설명하기 위한 흐름도이다.
도 13은 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 14는 본 발명의 일 실시 예에 따른 디스플레이 장치의 기능을 실행하는 것을 설명하기 위한 흐름도이다.
도 15는 본 발명의 일 실시 예에 따른 디스플레이 장치의 동작 상태를 진단하는 것을 설명하기 위한 흐름도이다.
도 16은 본 발명의 일 실시 예에 따른 음성 인식 시스템을 전반적으로 설명하기 위한 도면이다.
도 17 및 도 18은 본 발명의 변형된 실시 예를 설명하기 위한 도면이다.
이하에서, 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시 예에 따른, 음성 인식 시스템(10)을 도시한 도면이다. 도 1에 도시된 바와 같이, 음성 인식 시스템(10)은 서버(100) 및 디스플레이 장치(200)를 포함한다.
서버(100)는 디스플레이 장치(200)와 통신할 수 있다. 특히, 서버(100)는 디스플레이 장치(200)로부터 사용자의 발화 음성에 대응되는 발화 음성 신호 및 디스플레이 장치(200)의 특성 정보를 수신하고, 그에 기초하여 생성된 응답 신호를 전송할 수 있다. 디스플레이 장치(200)의 특성 정보는 고유 정보, 설정 정보 및 기타 정보로 구분할 수 있다. 고유 정보는 디스플레이 장치(200)의 패널 정보, 종류 정보 등일 수 있고, 설정 정보는 사용자가 설정해둔 볼륨 정보, 채널 정보 등일 수 있다. 또한, 기타 정보는 사용 지역 정보 및 사용 시간 정보 등일 수 있다. 예를 들어, 고유 정보는 A 제조사의 스마트폰일 수 있고, 설정 정보는 채널 6일 수 있으며, 기타 정보는 9~10시의 사용 시간일 수 있다. 한편, 발화 음성 신호는 사용자의 발화 음성을 변환한 음성 신호일 수 있다. 예를 들어, 사용자의 발화 음성으로부터 노이즈를 제거한 음성 신호 또는 아날로그 신호로부터 변환된 디지털 음성 신호일 수 있다.
또한, 서버(100)는 복수의 디스플레이 장치(200)의 매뉴얼을 저장할 수 있다. 예를 들어, 서버(100)는 디스플레이 장치(200)의 종류, 제조사 및 기능 등에 따라 상이한 매뉴얼을 저장할 수 있다. 여기서, 매뉴얼은 사용 설명서 또는 사용자 가이드를 의미할 수 있다. 구체적으로, 특정 장치 등을 사용하는 사람들에게 도움을 제공하기 위한 기술 소통 문서일 수 있다. 예를 들어, 매뉴얼은 각 장치의 구성, 기능, 사용 방법, 에러 해결 방법, A/S 센터 연결 정보, 주의 사항 등과 같은 다양한 정보를 포함할 수 있다.
서버(100)에 사용자의 발화 음성에 대응되는 발화 음성 신호 및 특성 정보가 수신되면, 서버(100)는 특성 정보에 대응되는 매뉴얼에 기초하여 발화 음성 신호에 대한 응답 신호를 생성하고, 생성된 응답 신호를 디스플레이 장치(200)로 전송할 수 있다. 여기서, 응답 신호는 발화 음성 신호의 내용에 따라 다양하게 구현될 수 있다. 일 예로, 발화 음성 신호가 디스플레이 장치(200)의 사용 방법이나 동작, 기능 등을 문의하는 내용이면, 서버(100)는 그 문의에 대한 답변을 매뉴얼에서 찾아서 응답 신호에 포함할 수 있다. 또는, 발화 음성 신호가 디스플레이 장치(200)의 오동작에 대한 내용이면, 서버(100)는 그 오동작을 해결할 수 있는 해결 방법을 매뉴얼에서 찾아서 응답 신호에 포함할 수 있다. 그 밖에도, 서버(100)는 매뉴얼과 사용자의 발화 음성 신호의 내용에 따라 다양한 내용의 응답 신호를 생성하여 제공할 수 있다. 이에 따라, 사용자는 음성 제어 방식으로도 더 다양하고 정확한 제어를 수행할 수 있다. 발화 음성 신호의 예에 따라 다양한 응답 신호를 생성하는 실시 예들에 대해서는 후술하는 부분에서 구체적으로 설명한다.
한편, 디스플레이 장치(200)는 방송 수신 장치(스마트 TV, 셋톱박스)로 구현될 수 있으나, 이는 일 실시 예에 불과할 뿐, 스마트폰, 데스크 탑 PC, 태블릿 PC, 노트북 PC, 내비게이션 등과 같은 다양한 전자 장치로 구현될 수 있다.
그리고, 디스플레이 장치(200)는 사용자 발화 음성을 입력받을 수 있다. 디스플레이 장치(200)는 사용자 발화 음성의 종류를 판단할 수 있다. 예를 들어, 사용자의 발화 음성은 디스플레이 장치(200)의 동작을 제어하기 위한 제어 신호로 판단될 수 있다. 또는 사용자의 발화 음성은 디스플레이 장치(200)의 기능 및 동작 상태에 대한 신호로 판단될 수 있다. 발화 음성의 종류를 판단하는 것에 대한 구체적인 설명은 후술한다.
사용자 발화 음성이 디스플레이 장치(200)의 동작을 제어하기 위한 제어 신호로 판단되면, 디스플레이 장치(200)는 제어 신호에 대응되는 동작을 수행할 수 있다. 예를 들어, “볼륨 업”과 같은 발화 음성이 입력되면, 디스플레이 장치(200)는 디스플레이 장치(200)의 볼륨을 올리는 동작을 수행할 수 있다.
한편, 사용자의 발화 음성이 디스플레이 장치(200)의 기능 및 동작 상태에 대한 신호로 판단되면, 디스플레이 장치(200)는 입력된 사용자의 발화 음성에 대응되는 발화 음성 신호 및 디스플레이 장치(200)의 특성 정보를 서버(100)로 전송하고 서버(100)로부터 사용자의 발화 음성 신호에 대응되는 응답 신호를 수신하면, 응답 신호에 대응되는 동작을 수행할 수 있다. 가령, 응답 신호에 안내 메시지가 포함된 경우, 디스플레이 장치(200)는 안내 메시지를 디스플레이할 수 있다.
한편, 이상에서는 디스플레이 장치(200)를 포함하는 음성 인식 시스템(10)으로 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 음성 인식 기능을 구비한 디바이스라면 디스플레이 장치(200) 대신 이용될 수 있다. 다만, 디스플레이 기능이 없는 디바이스라면 디스플레이 기능 대신에 음성 지원 기능 등이 지원될 수 있다. 이하에서는 설명의 편의를 위해 디스플레이 장치(200)가 포함된 음성 인식 시스템(10)을 설명한다. 상술한 바와 같이 음성 인식 시스템(10)은 디스플레이 장치(200)의 특성 정보를 기초로 사용자의 발화 음성에 대응되는 응답 신호를 생성하여 사용자는 더욱 정확하게 디스플레이 장치(200)를 제어할 수 있게 된다.
이하에서는 도 2 내지 도 8을 참조하여 서버(100)에 대해 더욱 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시 예에 따른 서버(100)의 구성을 나타내는 블럭도이다. 도 2에 도시된 바와 같이, 서버(100)는 저장부(110), 통신부(120) 및 프로세서(130)를 포함한다.
저장부(110)는 복수의 디스플레이 장치(200)의 매뉴얼을 저장할 수 있다. 디스플레이 장치(200)의 매뉴얼은 디스플레이 장치(200)의 종류, 제조사 및 기능 등에 따라 상이할 수 있다.
매뉴얼 이외에도, 저장부(110)는 다양한 프로그램 및 데이터를 저장하고 있을 수 있다. 일 예로, 저장부(110)는 발화 음성 신호를 분석하는데 필요한 프로그램 및 데이터 등을 저장할 수 있다. 또한, 저장부(110)는 사용자 음성 이력 정보 및 EPG 정보와 같은 정보를 저장할 수 있다.
통신부(120)는 디스플레이 장치(200)와 통신을 수행한다. 통신부(120)는 디스플레이 장치(200)로부터 사용자의 발화 음성에 대응되는 발화 음성 신호 및 디스플레이 장치(200)의 특성 정보가 수신되면, 그에 대한 응답 신호를 디스플레이 장치(200)로 전송할 수 있다. 이를 위해, 통신부(120)는 유선 LAN(Local Area Network) 카드, 무선 LAN 카드, 블루투스 모듈, NFC(Near Field Communication) 모듈, 무선 통신 모듈 등과 같은 다양한 통신 카드 및 모듈을 포함할 수 있다. 이때, 무선 통신 모듈은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution) 등과 같은 통신 규격에 따라 통신을 수행하는 모듈을 의미한다.
프로세서(130)는 서버(100)의 전반적인 동작을 제어한다.
프로세서(130)는 일반적으로 장치의 제어를 담당하는 구성으로, 중앙처리장치, 마이크로 프로세서, 제어부 등과 혼용될 수 있으며, 장치의 전반적인 동작을 제어할 수 있도록 하는 것으로 통신부(120) 등 다른 기능부와 함께 단일칩 시스템 (System-on-a-chip 또는 System on chip, SOC, SoC)으로 구현될 수 있다.
프로세서(130)는, 디스플레이 장치(200)로부터 디스플레이 장치(200)의 특성 정보가 수신되면, 특성 정보에 대응되는 매뉴얼을 검색한다. 여기서, 디스플레이 장치(200)의 특성 정보는 패널 정보, 디스플레이 장치(200)의 종류 정보, 사용 지역 정보 및 사용 시간 정보 중 적어도 하나일 수 있다. 프로세서(130)는 특성 정보 중 패널 정보, 디스플레이 장치(200)의 종류 정보와 같이 디스플레이 장치(200)의 고유 정보에 기초하여 디스플레이 장치(200)를 특정하고 해당 매뉴얼을 결정할 수 있다.
프로세서(130)는 매뉴얼에 기초하여 발화 음성 신호에 대한 응답 신호를 생성하고, 생성된 응답 신호를 디스플레이 장치(200)로 전송하도록 통신부(120)를 제어할 수 있다. 상술한 바와 같이, 응답 신호는 발화 음성 신호의 내용에 따라 다양하게 구현될 수 있다.
도 3은 사용자의 발화 음성의 내용 및 매뉴얼을 이용하여 응답 신호를 생성하는 일 예를 설명하기 위한 도면이다.
프로세서(130)는 발화 음성이 디스플레이 장치(200)의 기능에 대한 신호이면, 디스플레이 장치(120)에 대응되는 매뉴얼에 따라 기능을 실행하는 방법을 안내하는 안내 메시지를 생성하여, 생성된 안내 메시지를 응답 신호에 포함시켜 디스플레이 장치(120)로 전송할 수 있다. 도 3에 도시된 바와 같이, 사용자가 "녹화 해줘"라고 발화한 경우, 입력된 발화 음성에 대응되는 발화 음성 신호가 디스플레이 장치(200)의 특성 정보와 함께 서버(100)로 전송된다.
프로세서(130)는 통신부(120)를 통해서 발화 음성 신호 및 특성 정보를 수신한다. 프로세서(130)는 저장부(110)에 기 저장되어 있는 매뉴얼 중에서 수신된 특성 정보에 대응되는 매뉴얼을 검출한다. 프로세서(130)는 검출된 매뉴얼에 기초하여 디스플레이 장치(200)가 외부 장치 녹화 기능을 가지는지 체크한다. 예를 들어, 디스플레이 장치(200)가 외부 장치 녹화 기능을 가지는 모델이라면, 프로세서(130)는 "외부 장치를 연결해주세요."라는 안내 메시지를 응답 신호에 포함시켜 디스플레이 장치(200)로 전송할 수 있다. 이 경우, 응답 신호에는 안내 메시지를 디스플레이하도록 하는 제어 신호 뿐만 아니라, 디스플레이 장치(200)에 외부 장치(310)가 연결되면 그 연결 상태를 서버(100)로 알리도록 하는 제어 신호가 포함될 수도 있다. 따라서, 이후에 사용자가 디스플레이 장치(200)에 외부 장치(310)를 연결하면, 디스플레이 장치(200)는 서버(100)로 외부 장치 연결 완료 신호를 전송할 수 있다.
이때, 외부 장치는 외부 장치 메모리 스틱 또는 외부 장치로 연결되는 각종 저장 매체가 될 수 있으며, 외부 장치 외에도 HDMI 등과 같이 다양한 유선(wired) 인터페이스 및 와이파이, 블루투스 등과 같은 다양한 무선(wireless) 인터페이스를 통해 구현 가능하다.
디스플레이 장치(200)로부터 외부 장치 연결 완료 신호가 수신되면, 프로세서(130)는 외부 장치 연결 완료 이후의 동작에 대하여 매뉴얼을 검토한다. 도 3에서 외부 장치는 처음 사용되는 것으로 가정하였고, 매뉴얼에는 외부 장치가 처음 사용되는 경우 사용자에게 포맷(FORMAT)을 요청한다는 내용이 있는 것으로 가정하였다. 그에 따라, 프로세서(130)는 매뉴얼에 기초하여 "FORMAT 하시겠습니까?"라는 안내 메시지를 응답 신호에 포함시켜 디스플레이 장치(200)로 전송할 수 있다.
도 3에서는, 디스플레이 장치(200)가 외부 장치 녹화가 가능한 장치인 것으로 가정하였으나, 모델에 따라 외부 장치 녹화 기능이 없는 디스플레이 장치(200)일 수도 있고, 외부 장치 녹화 뿐만 아니라 내장형 저장 장치를 이용한 내부 장치 녹화도 가능한 디스플레이 장치일 수도 있다.
외부 장치 녹화 및 내부 장치 녹화가 모두 가능한 모델일 경우, 프로세서(130)는, 사용자의 "녹화해줘"라는 발화 음성이 입력되면, "녹화될 저장소로 내부 장치 또는 내부 장치를 선택하여 주십시요."라는 안내 메시지를 응답 신호에 포함시켜 디스플레이 장치(200)로 전송할 수도 있다.
이때, 외부 장치가 비정상적으로 연결되어 저장이 되지 않을 시에는 상술한 바와 같이 외부 장치를 정상적으로 연결되도록 하는 안내 메시지 등이 표시 또는 음성으로 출력되도록 할 수 있다.
반면, 외부 장치 녹화 기능이 없고 내부 장치 녹화만 가능한 모델일 경우, 프로세서(130)는 저장 매체 연결을 안내하는 안내 메시지를 표시하는 동작을 수행하지 않고, 녹화가 개시됨을 알리는 안내 메시지를 표시하도록 하는 제어 신호 또는 바로 녹화를 수행하도록 하는 제어 신호 등을 응답 신호에 포함시켜, 디스플레이 장치(200)로 전송하여 줄 수도 있다.
도 4는 본 발명의 일 실시 예에 따른 또 다른 사용자의 발화 음성의 내용 및 매뉴얼을 이용하여 응답 신호를 생성하는 것을 설명하기 위한 도면이다.
도 3에서 사용자의 발화 음성이 디스플레이 장치(200)의 기능에 대한 지시였다면, 도 4에서는 사용자의 발화 음성은 디스플레이 장치(200)의 기능에 대한 사용 방법의 문의이다. 도 4에 도시된 바와 같이, 사용자가 "녹화 어떻게 해?"라고 발화한 경우, 입력된 발화 음성에 대응되는 발화 음성 신호가 디스플레이 장치(200)의 특성 정보와 함께 서버(100)로 전송된다.
프로세서(130)는 발화 음성 신호 및 특성 정보를 수신하여 매뉴얼 중에서 수신된 특성 정보에 대응되는 매뉴얼을 검출한다. 프로세서(130)는 검출된 매뉴얼에 기초하여 디스플레이 장치(200)가 녹화를 어떻게 진행하는지 검토한다. 도 4에서는 사용자의 "녹화 어떻게 해?"라는 발화에 따라, 디스플레이 장치(200)는 녹화할 프로그램과 녹화할 프로그램의 차수를 선택하도록 하는 메뉴를 제공하는 것으로 가정하였고, 이러한 정보는 매뉴얼에 저장되어 있을 수 있다.
프로세서(130)는 매뉴얼에 기초하여 "녹화할 프로그램을 선택해 주십시요."라는 안내 메시지를 응답 신호에 포함시켜 디스플레이 장치(200)로 전송할 수 있다. 이 경우, 응답 신호에는 안내 메시지를 디스플레이하도록 하는 제어 신호가 포함될 수 있다. 또한, 녹화할 프로그램에 대해 사용자가 발화한 경우, 녹화할 프로그램에 대한 발화 음성 신호를 서버(100)로 알리도록 하는 제어 신호가 포함될 수도 있다.
따라서, 이후에 사용자가 "ABCD"라는 프로그램을 녹화하도록 발화한 경우, 디스플레이 장치(200)는 서버(100)로 "ABCD"라는 발화 음성 신호를 전송할 수 있다.
디스플레이 장치(200)로부터 녹화할 프로그램에 대한 발화 음성 신호가 수신되면, 프로세서(130)는 녹화할 프로그램이 결정된 이후의 동작에 대하여 매뉴얼을 검토한다. 프로세서(130)는 매뉴얼에 기초하여 "ABCD 중 녹화할 차수를 선택해 주십시요."라는 안내 메시지를 응답 신호에 포함시켜 디스플레이 장치(200)로 전송할 수 있다.
도 4에서는, ABCD라는 프로그램이 녹화 가능한 프로그램으로 인식된 경우를 가정하였으나, ABCD라는 프로그램이 없거나 방송 시간이 지난 경우라면, 프로세서(130)는 "녹화 할 수 없습니다."라는 안내 메시지를 디스플레이 장치(200)로 전송할 수도 있다.
또한, ABCD라는 프로그램이 차수가 없고 단편인 경우에는, 프로세서(130)는 디스플레이 장치(200)가 바로 녹화하도록 응답 신호를 생성할 수 있다.
이 밖에도, 사용자는 디스플레이 장치(200)의 동작 상태나 오동작 등을 문의할 수도 있다. 프로세서(130)는 발화 음성 신호가 디스플레이 장치(200)의 동작 상태에 대한 신호이면, 디스플레이 장치(200)의 동작 상태를 진단하고, 진단 결과를 응답 신호에 포함시켜, 디스플레이 장치(200)로 전송할 수 있다. 동작 상태란 디스플레이 장치(200)가 정상적으로 동작하는 상태인지, 오동작하고 있는 상태인지 등을 나타낸다.
도 5는 이러한 실시 예에 따른 서버(100) 및 디스플레이 장치(200)의 동작을 설명하기 위한 도면이다. 도 5에서는, 사용자가 "소리가 이상해"라고 발화한 경우를 가정하였다.
사용자가 "소리가 이상해"라고 발화한 경우, 프로세서(130)는 "Sound test를 실행하겠습니다."와 같은 안내 메시지를 응답 신호에 포함시켜 디스플레이 장치(200)로 전송할 수 있다.
또한, 프로세서(130)는 매뉴얼에 기초하여 디스플레이 장치(200)가 Sound test를 실행하도록 응답 신호에 제어 명령을 포함시킬 수 있다. 도 5에 도시된 바와 같이, 서버(100)가 디스플레이 장치(200)로부터 Sound test 결과를 수신한 경우, 프로세서(130)는 결과에 따라 새로운 응답 신호를 생성해서 디스플레이 장치(200)로 전송할 수 있고, 가령 "audio cable이 잘못 연결되었습니다."와 같은 안내 메시지가 새로운 응답 신호에 포함될 수 있다.
도 6은 본 발명의 일 실시 예에 따른 디스플레이 장치(200)의 진단 결과를 설명하기 위한 도면이다.
프로세서(130)는 디스플레이 장치(200)의 동작 상태가 자체 해결 가능한 에러 상태라고 진단되면, 진단 결과에 대한 해결 방법을 안내하는 안내 메시지를 새로운 응답 신호에 더 포함시켜 디스플레이 장치(200)로 전송할 수 있다. 프로세서(130)는 디스플레이 장치(200)의 동작 상태가 자체적으로 해결 가능한지의 여부 역시 매뉴얼에 기초하여 판단할 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 발화 음성 신호로부터 Sound test를 실행한 결과 audio cable이 잘못 연결된 경우, 프로세서(130)는 "audio cable을 아래와 같이 연결해 주십시요."라는 안내 메시지를 새로운 응답 신호에 포함시켜 디스플레이 장치(200)로 전송할 수 있다.
도 7은 본 발명의 다른 실시 예에 따른 디스플레이 장치(200)의 진단 결과를 설명하기 위한 도면이다.
프로세서(130)는 디스플레이 장치(200)의 동작 상태가 자체 해결 불가능한 에러 상태라고 진단되면, 진단 결과 및 디스플레이 장치(200)의 특성 정보를 서비스 센터로 전송할 수 있다. 프로세서(130)는 디스플레이 장치(200)의 동작 상태가 자체적으로 해결 가능한지의 여부 역시 매뉴얼에 기초하여 판단할 수 있다. 예를 들어, 도 7에 도시된 바와 같이, 발화 음성 신호로부터 Sound test를 실행하였는데도 Sound test 자체가 실행이 되지 않거나 소리가 정상적으로 나오지 않을 수 있다. 이 경우, 프로세서(130)는 "Sound card가 응답하지 않습니다. 수리 요청하겠습니다."와 같은 안내 메시지를 새로운 응답 신호에 포함시켜 디스플레이 장치(200)로 전송할 수 있다. 또한, 프로세서(130)는 디스플레이 장치(200)의 특성 정보에 대응되는 매뉴얼에 기초하여 해당 디스플레이 장치(200)의 제조사 또는 서비스 센터에 수리를 요청할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 디스플레이 장치(200)를 제어하기 위한 제어 신호를 설명하기 위한 도면이다.
한편, 프로세서(130)는, 발화 음성 신호가 디스플레이 장치(200)의 동작을 제어하기 위한 제어 신호이면, 제어 신호에 대응되는 제어 신호를 응답 신호에 포함시켜 디스플레이 장치(200)로 전송할 수 있다. 예를 들어, 도 8에 표시된 바와 같이, 사용자의 "볼륨 업"이라는 발화 음성이 입력되는 경우 서버(100)는 디스플레이 장치(200)로부터 발화 음성에 대응되는 발화 음성 신호를 수신할 수 있다.
프로세서(130)는 수신된 발화 음성 신호를 디스플레이 장치(200)의 동작을 제어하기 위한 신호로 판단할 수 있다. 그에 따라, 프로세서(130)는 특성 정보에 대응되는 매뉴얼에 기초하여 해당 디스플레이 장치(200)를 제어하기 위한 제어 신호를 응답 신호에 포함시켜 디스플레이 장치(200)로 전송할 수 있다. 또한, 프로세서(130)는 제어 신호와 함께 그 결과를 디스플레이하도록 하는 신호를 응답 신호에 포함시킬 수 있다. 한편, 디스플레이 장치(200)에 따라 제어 신호는 다를 수 있다. 일 예로, 스마트폰에서의 볼륨 업 신호와 스마트 TV에서의 볼륨 업 신호는 다를 수 있고, 그에 따라, 프로세서(130)는 해당 디스플레이 장치(200)에 대응되는 제어 신호를 생성할 수 있다.
예를 들어, A 제조사의 스마트폰의 해상도가 WVGA인 경우, 사용자로부터 특정 영상을 재생하라는 발화 음성이 입력되면, 프로세서(130)는 다양한 해상도의 영상 중에서 WVGA의 영상을 재생하라는 커맨드를 포함하는 응답 신호를 생성하여 디스플레이 장치(200)로 전송할 수 있다.
한편, 도 8에서는 발화 음성 신호가 제어 신호인 경우에도 서버(100)가 그에 대한 응답 신호를 전송하는 것으로 설명하였다. 다만, 이는 서버(100)의 실시 예 중 하나를 설명하기 위함이며, 디스플레이 장치(100)가 직접 제어 신호에 대응되는 동작을 수행할 수도 있다. 이에 대해서는 후술한다.
도 9는 본 발명의 일 실시 예에 따라 저장부(110) 및 프로세서(130)의 동작을 구체적으로 설명하기 위한 도면이다.
저장부(110)는 Dialog Agent 모듈(111), Action Agent 모듈(112) 및 매뉴얼 모듈(113)을 포함한다. 특히, 매뉴얼 모듈(113)은 매뉴얼 콜렉션 모듈(113-1), 매뉴얼 파싱 모듈(113-2), 매뉴얼 분석 모듈(113-3) 및 매뉴얼 데이터 베이스(113-4)를 포함한다.
매뉴얼 콜렉션 모듈(113-1)은 디스플레이 장치(200)에 대한 매뉴얼 관련 정보를 수집하는 모듈이다. 매뉴얼 파싱 모듈(113-2)은 수집된 매뉴얼 관련 정보에서 일련의 문자열을 의미 있는 문자열로 분해하고 이들로 이루어진 문장 구조를 형성하는 모듈이다. 매뉴얼 분석 모듈(113-3)은 형성된 문장 구조로부터 매뉴얼 데이터 베이스(113-4)에 저장할 수 있는 형태의 매뉴얼로 변경하는 모듈이다. 매뉴얼 데이터 베이스(113-4)는 생성된 매뉴얼을 저장한다.
Dialog Agent 모듈(111)은 사용자의 발화 음성에 대응되는 발화 음성 신호로부터 텍스트를 검출하여 사용자의 입력을 분석하는 모듈이다. Action Agent 모듈(112)은 추출된 발화의 목적, 목적 영역, 목적 기능 및 주요 특징에 대한 정보로부터 응답 신호를 생성하는 모듈이다.
CPU(131)는 저장부(110)에 액세스하여, 저장부(110)에 각종 모듈 등을 이용하여 다양한 동작을 수행한다. 또한, CPU(131)는 저장부(110)에 저장된 각종 모듈 등을 RAM(132)에 복사하고, RAM(132)에 복사된 모듈을 실행시켜 각종 동작을 수행한다.
프로세서(130)가 Dialog Agent 모듈(111)을 이용하는 경우 사용자의 발화 음성에 대응되는 발화 음성 신호로부터 검출된 텍스트에 대하여 발화의 목적, 목적 영역, 목적 기능 및 주요 특징을 추출할 수 있다. 예를 들어, 사용자가 "녹화 어떻게 해?"라고 발화한 경우, 사용자의 발화 음성에 대응되는 발화 음성 신호로부터 텍스트를 추출하고, 추출된 텍스트를 분석하여, 발화의 목적은 디스플레이 장치(200)의 기능의 문의이고, 목적 영역은 디스플레이 장치(200)의 기능의 사용 방법이며, 목적 기능은 녹화 기능에 해당함을 추출할 수 있다.
프로세서(130)가 Action Agent 모듈(112)을 이용하는 경우 디스플레이 장치(200)의 특성 정보에 대응되는 매뉴얼에 기초하여 응답 신호를 생성할 수 있다. 예를 들어, 사용자가 "녹화 어떻게 해?"라고 발화한 경우, 목적 기능은 녹화 기능이므로 프로세서(130)는 매뉴얼에서 녹화 기능에 대한 정보를 추출할 수 있다. 또한, 목적 영역은 디스플레이 장치(200)의 기능의 사용 방법이므로, 프로세서(130)는 녹화 기능에 대한 정보 중에서 녹화 기능을 사용하기 위한 방법을 추출할 수 있다. 그리고, 발화의 목적은 디스플레이 장치(200)의 기능의 문의이므로, 프로세서(130)는 녹화 기능을 사용하기 위한 방법에 대한 구체적인 설명을 디스플레이하도록 응답 신호를 생성할 수 있다.
프로세서(130)는 Dialog Agent 모듈(111)과 Action Agent 모듈(112)을 개별적으로 이용하는 것은 아니고, 각각의 과정에 있어서 디스플레이 장치(200)로부터 수신된 특성 정보 그에 대응되는 매뉴얼에 기초하여 유기적으로 이용할 수 있다.
상술한 바와 같이 서버(100)에 의해 각 디스플레이 장치(200)에 대응되는 응답 신호가 생성되어, 사용자는 더욱 효율적으로 디스플레이 장치(200)를 제어할 수 있게 된다.
도 10은 본 발명의 일 실시 예에 따른 디스플레이 장치(200)의 구성을 나타내는 블럭도이다. 도 10에 도시된 바와 같이, 디스플레이 장치(200)는 음성 입력부(210), 통신부(220) 및 프로세서(230)를 포함한다.
한편, 도 10은 디스플레이 장치(200)가 음성 인식 기능, 통신 기능, 디스플레이 기능 등과 같이 다양한 기능을 구비한 장치인 경우를 예로 들어, 각종 구성 요소들을 종합적으로 도시한 것이다. 따라서, 실시 예에 따라서는, 도 10에 도시된 구성 요소 중 일부는 생략 또는 변경될 수도 있고, 다른 구성요소가 더 추가될 수도 있다.
음성 입력부(210)는 사용자 음성이 포함된 오디오 신호를 입력받고, 처리하여 사용자 음성 신호를 생성한다. 이때, 음성 입력부(210)는 디스플레이 장치(200)의 본체에 구비될 수 있으나, 이는 일 실시 예에 불과하고 본체의 외부(예를 들어, 리모컨 또는 별도의 마이크 등)에 구비될 수 있다. 음성 입력부(210)가 본체의 외부에 구비되는 경우, 음성 입력부(210)는 유/무선 인터페이스(예를 들어, Wi-Fi, 블루투스 등)를 통해 생성된 사용자 음성 신호를 디스플레이 장치(200)의 본체에 전송할 수 있다.
음성 입력부(210)가 사용자 음성이 포함된 오디오 신호를 입력받아 사용자 음성 신호를 생성하는 방법에 대해서는 도 11을 참조하여 설명하기로 한다.
도 11은 본 발명의 일 실시 예에 따른 음성 입력부(210)의 구성을 나타내는 블럭도이다. 도 11에 도시된 바와 같이, 음성 입력부(210)는 마이크(211), ADC(Analog-Digital Converter)(212), 에너지 판단부(213), 노이즈 제거부(214) 및 발화 음성 신호 생성부(215)를 포함한다.
마이크(211)는 사용자 음성이 포함된 아날로그 형태의 오디오 신호를 입력받는다.
그리고, ADC(212)는 마이크로부터 입력된 다채널 아날로그 신호를 디지털 신호로 변환한다.
그리고, 에너지 판단부(213)는 변환된 디지털 신호의 에너지를 계산하여, 디지털 신호의 에너지가 기설정된 값 이상인지 여부를 판단한다. 디지털 신호의 에너지가 기설정된 값 이상인 경우, 에너지 판단부(213)는 입력된 디지털 신호를 노이즈 제거부(214)로 전송하고, 디지털 신호의 에너지가 기설정된 값 미만인 경우, 에너지 판단부(213)는 입력된 디지털 신호를 외부로 출력하지 않고, 다른 입력을 기다린다. 이에 의해, 발화 음성 신호가 아닌 소리에 의해 전체 오디오 처리 과정이 활성화되지 않아, 불필요한 전력 소모를 방지할 수 있다.
노이즈 제거부(214)에 입력된 디지털 신호가 입력된 경우, 노이즈 제거부(214)는 노이즈 성분과 사용자 발화 음성 성분이 포함된 디지털 신호 중 노이즈 성분을 제거하고, 노이즈 성분이 제거된 디지털 신호를 발화 음성 신호 생성부(215)로 출력한다. 이때, 노이즈 성분은 가정 환경에서 발생할 수 있는 돌발성 잡음으로서, 에어컨 소리, 청소기 소리, 음악 소리 등이 포함될 수 있다.
발화 음성 신호 생성부(215)는 로컬라이제이션/스피커 트래킹(Localization/Speaker Tracking) 모듈을 이용하여 음성 입력부(210)를 기준으로 360˚ 범위 내에 존재하는 사용자의 발화 위치를 추적하여 사용자 발화 음성 신호에 대한 방향 정보를 구한다. 그리고, 발화 음성 신호 생성부(215)는 타겟 스포큰 사운드 익스트랙션(Target Spoken Sound Extraction) 모듈을 통해 노이즈가 제거된 디지털 신호와 사용자 발화 음성에 대한 방향 정보를 이용하여 음성 입력부(210)를 기준으로 360˚ 범위 내에 존재하는 목표 음원을 추출하여 발화 음성 신호를 생성할 수 있다.
한편, 상술한 바와 같이, 불필요한 주변의 노이즈를 제거하여 음성 신호를 생성하는 것은 일 실시 예에 불과할 뿐, 사용자 음성에 키워드가 존재하는지 여부를 판단하여 발화 음성 신호를 생성하는 실시 예 역시 본 발명의 기술적 사상이 적용될 수 있다.
다시 도 10에 대해 설명하면, 통신부(220)는 서버(100)와 통신을 수행한다. 특히, 통신부(220)는 음성 입력부(210)에서 생성된 사용자 발화 음성 신호 및 디스플레이 장치(200)의 특성 정보를 서버(200)에 전송하며, 서버(200)로부터 응답 신호를 수신할 수 있다. 이때, 통신부(120)는 이더넷(Ethernet), 무선랜, Wi-Fi 등으로 구현될 수 있으나, 이에 한정되는 것은 아니다.
프로세서(230)는 디스플레이 장치(200)의 전반적인 동작을 제어한다.
프로세서(230)는 발화 음성의 종류를 판단할 수 있다. 사용자의 발화 음성은 디스플레이 장치(200)의 동작을 제어하기 위한 제어 신호 또는 사용자의 디스플레이 장치(200)의 기능 및 동작 상태에 대한 신호로 판단될 수 있다.
사용자 발화 음성이 디스플레이 장치(200)의 동작을 제어하기 위한 제어 신호로 판단되면, 프로세서(230)는 제어 신호에 대응되는 동작을 수행할 수 있다. 예를 들어, “채널 업”과 같은 발화 음성이 입력되면, 프로세서(230)는 디스플레이 장치(200)의 채널을 변경하는 동작을 수행할 수 있다.
한편, 프로세서(230)는 유사한 발화 음성에 대하여도 동일한 기능을 수행할 수 있다. 예를 들어, “볼륨 업” 또는 “소리 올려줘”와 같은 서로 다른 발화 음성이 입력되더라도, 프로세서(230)는 동일하게 볼륨을 올리는 동작을 수행할 수 있다. 다만, 이에 한정되는 것은 아니고, 하나의 발화 음성에 하나의 동작만을 수행하도록 구성될 수도 있다. 예를 들어, “볼륨 업”이라는 발화 음성이 있는 경우 프로세서(230)는 볼륨을 올리는 동작을 수행하지만, 그 외에 “소리 올려줘”, “ 볼륨 켜줘”, “안들려” 등과 같은 발화 음성이 있는 경우 프로세서(230)는 아무런 동작을 수행하지 않을 수도 있다.
그리고, 프로세서(230)는 복수의 사용자에 의해 발화 음성이 겹쳐지더라도 대응되는 동작을 수행할 수 있다. 예를 들어, 사용자 1에 의해 “볼륨 올려줘”, 사용자 2에 의해 “배고파”라는 발화 음성이 동시에 입력된 경우에도 사용자 1, 2의 목소리의 차이를 구분하여 “볼륨 업”을 인식할 수 있고, 그에 대응되는 동작을 수행할 수 있다.
한편, 사용자의 발화 음성이 디스플레이 장치(200)의 기능 및 동작 상태에 대한 신호로 판단되면, 프로세서(230)는 입력된 사용자의 발화 음성에 대응되는 발화 음성 신호 및 디스플레이 장치(200)의 특성 정보를 서버(100)로 전송할 수 있다. 다만, 이에 한정되는 것은 아니고, 프로세서(230)는 디스플레이 장치(200)의 기능 및 동작 상태에 대한 신호를 수신하여 그에 대응되는 동작을 수행할 수도 있다. 예를 들어, 디스플레이 장치(200)의 동작 상태에 대한 발화 음성을 수신하면, 프로세서(230)는 동작 상태를 체크하고 그에 따른 진단을 수행하여 디스플레이할 수도 있다. 다만, 이하에서는 사용자의 발화 음성이 디스플레이 장치(200)의 기능 및 동작 상태에 대한 신호로 판단되면. 대응되는 동작을 서버(100)에서 제공하는 것으로 설명한다. 또한, 프로세서(230)는 서버(100)로부터 응답 신호가 수신되면, 응답 신호에 대응되는 동작을 수행할 수 있다. 구체적으로, 프로세서(230)는 응답 신호에 안내 메시지 또는 진단 결과가 포함된 경우, 안내 메시지 또는 진단 결과를 디스플레이할 수 있다. 예를 들어, 안내 메시지는 디스플레이 장치(200)의 기능을 사용하기 위한 각각의 단계에 대한 메시지일 수 있고, 진단 결과는 디스플레이 장치(200)를 진단하여 문제가 있는지 여부를 나타내는 정보일 수 있다.
또한, 프로세서(230)는 응답 신호가 디스플레이 장치(200)의 진단에 필요한 동작을 수행하도록 하는 제어 신호이면, 제어 신호에 따른 동작을 수행하고 그 동작 상태를 통신부(120)를 통해 서버(100)로 전송할 수 있다. 예를 들어, 서버(100)로부터 디스플레이되는 영상을 진단하기 위한 제어 신호를 수신한 경우, 프로세서(230)는 수신된 제어 신호에 따라 디스플레이되는 영상의 화질, 용량 및 디스플레이 상태 등을 체크하여 서버(100)로 전송할 수 있다.
상술한 바와 같이 디스플레이 장치(200)가 특성 정보를 전송함으로써, 사용자는 발화 음성을 통하여 더욱 효율적으로 디스플레이 장치(200)의 기능을 제어할 수 있게 된다.
도 12는 본 발명의 일 실시 예에 따른 서버(100)의 제어 방법을 설명하기 위한 흐름도이다.
서버(100)는 디스플레이 장치(200)에서 입력된 발화 음성에 대응되는 발화 음성 신호 및 디스플레이 장치(200)의 특성 정보를 수신한다(S1210). 이때, 발화 음성 신호는 아날로그 신호로부터 디지털 신호로 변환된 신호일 수 있다.
그리고, 서버(100)는 특성 정보에 대응되는 매뉴얼에 기초하여 발화 음성 신호에 대한 응답 신호를 생성한다(S1220). 그리고, 서버(100)는 생성된 응답 신호를 디스플레이 장치(200)로 전송한다(S1230).
또한, 응답 신호를 디스플레이 장치(200)로 전송하는 단계(S1230)는, 발화 음성 신호가 디스플레이 장치(200)의 기능에 대한 신호이면, 디스플레이 장치(200)에 대응되는 매뉴얼에 따라 기능을 실행하는 방법을 안내하는 안내 메시지를 생성하여, 안내 메시지를 응답 신호에 포함시켜 디스플레이 장치(200)로 전송할 수 있다.
그리고, 응답 신호를 디스플레이 장치(200)로 전송하는 단계(S1230)는, 발화 음성 신호가 디스플레이 장치(200)의 동작 상태에 대한 신호이면, 디스플레이 장치(200)의 동작 상태를 진단하고, 진단 결과를 응답 신호에 포함시켜, 디스플레이 장치(200)로 전송할 수 있다.
또한, 응답 신호를 디스플레이 장치(200)로 전송하는 단계(S1230)는, 디스플레이 장치(200)의 동작 상태가 자체 해결 가능한 에러 상태라고 진단되면, 진단 결과에 대한 해결 방법을 안내하는 안내 메시지를 응답 신호에 더 포함시켜 디스플레이 장치(200)로 전송할 수 있다.
그리고, 응답 신호를 디스플레이 장치(200)로 전송하는 단계(S1230)는, 디스플레이 장치(200)의 동작 상태가 자체 해결 불가능한 에러 상태라고 진단되면, 진단 결과 및 디스플레이 장치(200)의 특성 정보를 서비스 센터로 전송할 수 있다.
한편, 특성 정보는, 패널 정보, 디스플레이 장치(200)의 종류 정보, 사용 지역 정보, 사용 시간 정보 중 적어도 하나를 포함할 수 있다.
도 13은 본 발명의 일 실시 예에 따른 디스플레이 장치(200)의 제어 방법을 설명하기 위한 흐름도이다.
디스플레이 장치(200)는 사용자의 발화 음성 신호를 입력받는다(S1310). 그리고, 발화 음성이 디스플레이 장치(200)의 동작을 제어하기 위한 제어 신호인지 판단한다(S1320). 만약, 발화 음성이 디스플레이 장치(200)의 동작을 제어하기 위한 제어 신호로 판단되면 제어 신호에 대응되는 동작을 수행한다(S1330).
만약, 발화 음성이 디스플레이 장치(200)의 동작을 제어하기 위한 제어 신호가 아니라고 판단되면, 발화 음성이 디스플레이 장치(200)의 기능 및 동작 상태 중 적어도 하나에 대한 신호인지 판단한다(S1340). 여기서, 발화 음성의 종류를 판단하는 단계를 두 단계로 구분하여 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 디스플레이 장치(200)는 발화 음성이 제어 신호인지, 기능 및 동작 상태 중 적어도 하나에 대한 신호인지를 동시에 판단할 수도 있다.
발화 음성이 디스플레이 장치(200)의 기능 및 동작 상태 중 적어도 하나에 대한 신호로 판단되면 서버(100)로 디스플레이 장치(200)의 특성 정보 및 발화 음성에 대응되는 발화 음성 신호를 전송한다(S1350). 디스플레이 장치(200)의 특성 정보는 패널 정보, 디스플레이 장치(200)의 종류 정보, 사용 지역 정보, 사용 시간 정보 중 적어도 하나를 포함할 수 있다. 만약, 발화 음성이 디스플레이 장치(200)의 기능 및 동작 상태 중 적어도 하나에 대한 신호가 아니라고 판단되면 아무런 동작을 하지 않을 수 있다.
또한, 디스플레이 장치(200)의 특성 정보에 대응되는 매뉴얼 및 발화 음성 신호의 내용에 따라 생성된 응답 신호를 서버(100)로부터 수신하는 단계 및 응답 신호에 대응되는 동작을 처리하는 단계를 더 포함할 수 있다.
그리고, 응답 신호에 대응되는 동작을 처리하는 단계는, 응답 신호에 안내 메시지 또는 진단 결과가 포함된 경우, 안내 메시지 또는 진단 결과를 디스플레이할 수 있다.
또한, 응답 신호에 대응되는 동작을 처리하는 단계는, 응답 신호가 디스플레이 장치(200)의 진단에 필요한 동작을 처리하도록 하는 제어 신호이면, 제어 신호에 따른 동작을 처리하고 그 동작 상태를 상기 서버로 전송할 수 있다.
그리고, 디스플레이 장치(200)의 특성 정보는, 패널 정보, 디스플레이 장치(200)의 종류 정보, 사용 지역 정보, 사용 시간 정보 중 적어도 하나를 포함할 수 있다.
도 14는 본 발명의 일 실시 예에 따른 디스플레이 장치(200)의 기능을 실행하는 것을 설명하기 위한 흐름도이다.
우선, 사용자의 녹화 요청이 있다(S1410). 사용자의 녹화 요청은 발화 음성으로 입력될 수도 있고, 버튼 조작으로 입력될 수도 있다. 또한, 발화 음성이 “지금 녹화해줘”인 경우 디스플레이 장치(200)는 바로 녹화를 시작할 수 있고, 발화 음성이 “녹화 어떻게 해?”인 경우 디스플레이 장치(200)는 서버(100)로 특성 정보 및 발화 음성에 대응되는 발화 음성 신호를 전송할 수 있다.
사용자의 발화 음성에 의한 녹화 문의가 있는 경우, 서버(100)는 디스플레이 장치(200)의 특성 정보에 대응되는 매뉴얼을 검토한다. 해당하는 매뉴얼에 녹화를 위해 외부 장치가 필요한 것으로 가정한다.
서버(100)는 디스플레이 장치(200)에 외부 장치가 연결되어 있는지 체크하라는 응답 신호를 생성하여 디스플레이 장치(200)로 전송한다. 또한, 응답 신호에는 외부 장치가 연결되어 있는 경우 외부 장치 상태를 체크하고, 외부 장치가 연결되어 있지 않은 경우 외부 장치를 연결하라는 지시를 디스플레이하라는 제어 신호가 포함되어 있을 수 있다.
응답 신호를 수신한 디스플레이 장치(200)는 외부 장치를 체크한다(S1420). 외부 장치가 연결되어 있지 않은 경우 외부 장치 연결 지시를 한다(S1425). 그리고, 일정 시간이 지나면 다시 외부 장치를 체크할 수 있다.
한편, 외부 장치를 체크한 결과, 외부 장치가 연결되어 있는 경우 외부 장치 상태를 체크한다(S1430). 외부 장치가 처음 사용되는 경우 사용자에게 FORMAT를 요청한다(S1435). 그리고, 일정 시간이 지나면 다시 외부 장치의 상태를 체크할 수 있다. 한편, 외부 장치의 상태를 체크한 결과, 외부 장치가 처음 사용되는 경우가 아니라면 녹화를 진행한다(S1440).
도 15는 본 발명의 일 실시 예에 따른 디스플레이 장치(200)의 동작 상태를 진단하는 것을 설명하기 위한 흐름도이다.
우선, 사용자의 소리가 이상하다는 발화 음성이 입력된다(S1510). 그에 따라, 디스플레이 장치(100)는 특성 정보 및 발화 음성에 대응되는 발화 음성 신호를 서버(100)로 전송하고, 서버(100)는 디스플레이 장치(200)의 특성 정보에 대응되는 매뉴얼을 검토한다. 해당하는 매뉴얼에 기초하여 Sound test를 실시하도록 응답 신호를 생성한다.
서버(100)로부터 응답 신호를 수신한 디스플레이 장치(200)는 Sound test를 실시한다(S1520). Sound test를 실시하여 이상이 있는 경우 사용자 처리 가능 여부를 판단한다(S1525). 사용자 처리 가능 여부의 판단은 디스플레이 장치(200) 자체에서 할 수도 있으나, Sound test 결과를 서버(100)로 전송하여 서버(100)에 의해 판단하도록 할 수도 있다.
사용자 처리 불가능하다고 판단된 경우 서비스 센터로 특성 정보를 전송한다(S1530). 이 역시 디스플레이 장치(200) 또는 서버(100)에서 수행 가능하다. 한편, 사용자 처리 가능하다고 판단된 경우 사용자에게 처리 방법을 가이드할 수 있다.
Sound test를 실시하여 이상이 없거나, 이상이 있더라도 사용자 처리 가능하다고 판단된 경우 우선 cable을 체크한다(S1540). 다만, 이에 한정되지 않고, 음원을 우선적으로 체크할 수도 있다. cable에 이상이 있는 경우 cable 연결 요청을 한다(S1545). 그리고, 일정 시간이 지나면 다시 cable을 체크할 수 있다. 한편, cable에 이상이 없는 경우 이상 없다는 메시지를 디스플레이한다(S1550).
도 14 및 도 15에서는 본 발명의 다양한 실시 예에 따른 제어 방법을 설명하였으나, 이에 한정되지 않는다. 특히, 매뉴얼은 디스플레이 장치(200)의 제조사, 종류 등에 따라 다양할 수 있으며, 가령, 도 15에서 소리가 이상하다는 사용자의 발화 음성에 대해, Sound test가 아닌 cable 체크 또는 컨텐츠의 음성 데이터 체크가 우선적으로 이루어질 수도 있다.
도 16은 본 발명의 일 실시 예에 따른 음성 인식 시스템(10)을 전반적으로 설명하기 위한 도면이다.
먼저, 사용자의 발화 음성이 입력된다(S1610). 디스플레이 장치(200)는 사용자의 발화 음성이 직접 처리할 수 없다고 판단하는 경우, 사용자의 발화 음성에 대응되는 발화 음성 신호 및 특성 정보를 서버(100)로 전송할 수 있다. 서버(100)는 수신된 발화 음성 신호로부터 발화의 목적, 목적 영역, 목적 기능 및 주요 특징을 추출한다(S1620). 그리고, 서버(100)는 추출된 정보로부터 발화 음성 신호가 디스플레이 장치(200)를 제어하기 위한 것인지 여부를 판단한다(S1630). 발화 음성 신호가 디스플레이 장치(200)를 제어하기 위한 것이 아니라고 판단된 경우라면, 서버(100)는 응답 신호를 생성하지 않거나 디스플레이 장치(200)가 아무런 동작을 하지 않게 하는 응답 신호를 생성할 수 있다. 가령, 사용자가 "오늘 저녁 뭐야?"라고 발화한 경우, 이와 같은 발화 음성은 디스플레이 장치(200)를 제어하기 위한 것은 아니므로 디스플레이 장치(200)는 아무런 동작을 하지 않을 수 있다.
발화 음성 신호가 디스플레이 장치(200)를 제어하기 위한 것이라고 판단된 경우라면, 서버(100)는 발화 음성 신호가 안내를 요청하는 발화 음성 신호인지를 판단한다(S1640). 발화 음성 신호가 안내를 요청하는 발화 음성 신호라고 판단된 경우, 서버(100)는 매뉴얼에 기초하여 응답 신호를 생성하여, 생성된 응답 신호를 디스플레이 장치(200)로 전송한다. 디스플레이 장치(200)는 수신된 응답 신호에 따라 동작한다(S1645). 가령, 사용자의 "리모컨의 터치 패드 기능은 어떻게 이용해?"라는 발화 음성이 입력된 경우, 해당 디스플레이 장치(200)의 매뉴얼에 기초하여 리모컨의 터치 패드 기능의 사용 방법을 안내하는 안내 메시지가 포함된 응답 신호가 생성되고, 디스플레이 장치(200)는 안내 메시지를 디스플레이할 수 있다.
한편, 발화 음성 신호가 안내를 요청하는 발화 음성 신호가 아니라고 판단된 경우, 서버(100)는 진단을 요청하는 발화 음성 신호인지를 판단한다(S1650). 발화 음성 신호가 진단을 요청하는 발화 음성 신호라고 판단된 경우, 서버(100)는 속성들에 해당하는 하드웨어에 문제가 있는지 판단한다(S1660). 가령, 사용자의 "영상이 이상해."라는 발화 음성이 입력되면 영상 속성에 해당하는 비디오 처리부에 문제가 있는지 판단하고, 사용자의 "음성이 이상해."라는 발화 음성이 입력되면 음성 속성에 해당하는 오디오 처리부에 문제가 있는지 판단할 수 있다.
하드웨어에 문제가 있다고 판단된 경우, 사용자에게 디스플레이 장치(200)의 고장을 알리고 서비스 센터로 연결하여 서비스 지원을 요청한다(S1670). 하드웨어에 문제가 없다고 판단된 경우, 디스플레이 장치(200)는 매뉴얼에 기초하여 생성된 응답 신호에 따라 동작한다(S1680). 가령, 사용자의 "영상이 이상해."라는 발화 음성이 입력되고 비디오 처리부에 문제가 없다고 판단한 경우라면, 사용자에게 컨텐츠를 확인하라는 메시지 또는 cable 연결을 요청하는 메시지 등을 디스플레이할 수 있다.
한편, 발화 음성 신호가 진단을 요청하는 발화 음성 신호가 아니라고 판단된 경우, 서버(100)는 발화 음성 신호에 대응되는 기능을 실행한다(S1635). 가령, 사용자가 "볼륨 올려줘."라고 발화한 경우 안내를 요청하는 발화 음성 신호도 아니고 진단을 요청하는 발화 음성 신호도 아니나, 디스플레이 장치(200)를 제어하기 위한 발화 음성 신호로, 디스플레이 장치(200)는 볼륨을 올리는 동작을 수행할 수 있다. 이 경우, 발화 음성 신호가 서버(100)로 전송된 후 서버(100)에서 생성된 응답 신호에 기초하여 디스플레이 장치(200)가 볼륨을 올리는 동작을 수행할 수도 있으나, 디스플레이 장치(200) 자체적으로 볼륨을 올리는 동작을 수행할 수도 있다. 후자의 경우, 디스플레이 장치(200) 내에도 음성 인식 기능이 있고, 기본적인 음성 인식에 대한 동작은 서버(100)를 거치지 않고 바로 수행할 수도 있다.
이상에서는 서버(100)와 디스플레이 장치(200)를 별개의 장치로서 구분하여 설명하였으나, 이와는 다른 구성도 가능하다.
도 17 및 도 18은 본 발명의 변형된 실시 예를 설명하기 위한 도면이다.
도 17에 따르면, 음성 인식 시스템(10)은 서버(100), 디스플레이 장치(200), 음성 인식 서버(1610) 및 데이터 베이스(1720)을 포함한다. 상술한 구성과 중복되는 구성의 설명은 생략한다.
디스플레이 장치(200)는 사용자로부터 발화 음성을 입력받아 발화 음성 신호로 변환하여 음성 인식 서버(1710)로 전송할 수 있다. 음성 인식 서버(1710)는 수신된 발화 음성 신호로부터 텍스트를 추출할 수 있다. 음성 인식 서버(1710)는 추출된 텍스트를 다시 디스플레이 장치(200)로 전송할 수 있다.
그리고, 디스플레이 장치(200)는 수신된 텍스트를 서버(100)로 전송할 수 있다. 서버(100)는 수신된 텍스트를 분석하여 응답 신호를 생성할 수 있다. 서버(100)는 응답 신호를 생성하는 과정에서 데이터 베이스(1720)로부터 매뉴얼을 수신하여 이용할 수 있다. 데이터 베이스(1720)는 디스플레이 장치(200)의 종류, 제조사 및 기능 등에 따라 상이한 매뉴얼을 저장할 수 있다.
도 17은 음성 인식 서버(1710)와 데이터 베이스(1720)가 서버(100)와 별도의 장치로 구성된 경우를 설명하였다.
도 18은 디스플레이 장치(200) 내에 음성 인식 시스템이 구축되어 있는 경우를 설명하기 위한 도면이다. 도 18에 따르면, 디스플레이 장치(200)는 음성 입력부(210), 저장부(240), 디스플레이부(250) 및 프로세서(230)를 포함한다. 상술한 구성과 중복되는 구성의 설명은 생략한다.
저장부(240)는 디스플레이 장치(200)의 매뉴얼을 저장할 수 있다. 이 경우, 해당 디스플레이 장치(200)의 종류 및 기능 등에 대한 매뉴얼만을 저장할 수 있고, 다른 디스플레이 장치(200) 전부에 대한 매뉴얼을 저장할 필요는 없다. 그에 따라, 디스플레이 장치(200)의 저장부(240)에 저장된 매뉴얼은 상술한 서버(100)의 저장부(110)에 저장된 매뉴얼보다 정보량이 적을 수 있다. 또한, 저장부(240)는 상술한 음성 인식을 위한 데이터를 저장할 수 있다.
사용자의 발화 음성이 음성 입력부(210)에 의해 입력되면, 프로세서(230)는 저장부(240)에 저장된 음성 인식을 위한 데이터를 이용하여 사용자의 발화 음성으로부터 텍스트를 추출한다. 그리고, 프로세서(230)는 추출된 텍스트를 분석하여 디스플레이 장치(200)의 저장부(240)에 저장된 매뉴얼에 기초하여 디스플레이 장치(200)를 동작하도록 할 수 있다.
도 18의 구성에 따르면, 디스플레이 장치(200)는 장치 내에서 사용자의 발화 음성을 인식하고 분석하여 그에 따른 동작을 수행할 수 있어, 도 1의 음성 인식 시스템(10)보다 간단한 구성이 가능하다. 가령, 저장부(240)에 저장된 정보도 해당 디스플레이 장치(200)에 대응되는 정보만이 필요하고, 서버(100)와 통신을 수행할 필요가 없어 통신부(220)도 구비되지 않을 수도 있다. 다만, 복잡한 발화 음성에 대응되는 동작을 처리하기 위해 통신부(220)를 구비하여 서버(100)로부터 응답 신호를 수신할 수도 있다.
이상과 같이 본 발명의 다양한 실시 예에 따르면, 사용자는 발화 음성을 통하여 디스플레이 장치(200)를 제어할 수 있으며, 구체적으로, 디스플레이 장치(200)의 특성 정보에 기초하여 다양한 응답 신호가 생성되어 디스플레이 장치(200)를 제어하는데 있어서 편의성과 효율성이 향상된다.
한편, 이러한 다양한 실시 예에 따른 방법들은 프로그래밍되어 각종 저장 매체에 저장될 수 있다. 이에 따라, 저장 매체를 실행하는 다양한 유형의 전자 장치에서 상술한 다양한 실시 예에 따른 방법들이 구현될 수 있다.
구체적으로는, 본 발명의 일 실시 예에 따르면, 사용자의 발화 음성을 입력받는 단계, 발화 음성의 종류를 판단하는 단계 및 발화 음성이 디스플레이 장치의 동작을 제어하기 위한 제어 신호로 판단되면 제어 신호에 대응되는 동작을 처리하고, 발화 음성이 디스플레이 장치의 기능 및 동작 상태 중 적어도 하나에 대한 신호로 판단되면 서버로 디스플레이 장치의 특성 정보 및 발화 음성에 대응되는 발화 음성 신호를 전송하는 단계를 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

*10 : 음성 인식 시스템 100 : 대화형 서버
110 : 저장부 120 : 통신부
130 : 제어부 200 : 디스플레이 장치
210 : 음성 입력부 220 : 통신부
230 : 제어부

Claims (13)

  1. 디스플레이 장치에 있어서,
    디스플레이;
    사용자 음성 입력을 수신하기 위한 음성 입력부;
    서버와 통신을 수행하기 위한 통신부; 및
    상기 사용자 음성 입력이 상기 디스플레이 장치를 제어하기 위한 것으로 식별되면, 상기 사용자 음성에 대응되는 상기 디스플레이 장치를 제어하기 위한 기능을 수행하고, 상기 사용자 음성 입력이 상기 디스플레이 장치의 진단을 요청하기 위한 것으로 식별되면, 상기 진단에 대응되는 신호 및 상기 디스플레이 장치의 정보를 상기 서버로 전송하도록 상기 통신부를 제어하는 프로세서;를 포함하고,
    상기 프로세서는,
    상기 진단에 대응되는 신호에 따라 상기 통신부를 통해 상기 서버로부터 데이터가 수신되면, 상기 데이터가 상기 디스플레이 장치의 진단에 대응되는 기능을 수행하기 위한 것인지 여부를 식별하고,
    상기 데이터에 따른 응답 화면을 디스플레이하도록 상기 디스플레이를 제어하는 디스플레이 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는,
    상기 데이터가 안내 메시지 및 진단 결과 중 하나를 포함하는 경우, 상기 안내 메시지 및 진단 결과 중 하나를 디스플레이하도록 상기 디스플레이를 제어하는 디스플레이 장치.
  3. 제 1 항에 있어서,
    상기 디스플레이 장치의 정보는,
    상기 디스플레이 장치의 패널 정보, 종류 정보, 사용 지역 정보 및 사용 시간 정보 중 적어도 하나를 포함하는 디스플레이 장치.
  4. 제 1 항에 있어서,
    상기 프로세서는,
    상기 데이터가 상기 디스플레이 장치의 진단에 필요한 동작을 수행하도록 하는 제어 신호를 포함하는 경우, 상기 제어 신호에 따라 상기 디스플레이 장치의 진단에 필요한 동작을 수행하고, 상기 디스플레이 장치의 동작 상태를 상기 서버로 전송하도록 상기 통신부를 제어하는 디스플레이 장치.
  5. 디스플레이 장치의 제어 방법에 있어서,
    사용자 음성 입력을 인식하는 단계;
    상기 사용자 음성 입력의 종류를 식별하는 단계;
    상기 사용자 음성 입력이 상기 디스플레이 장치를 제어하기 위한 것으로 식별되면, 상기 사용자 음성에 대응되는 상기 디스플레이 장치를 제어하기 위한 기능을 수행하는 단계;
    상기 사용자 음성 입력이 상기 디스플레이 장치의 진단을 요청하기 위한 것으로 식별되면, 상기 진단에 대응되는 신호 및 상기 디스플레이 장치의 정보를 서버로 전송하는 단계;
    상기 진단에 대응되는 신호에 따라 상기 서버로부터 데이터가 수신되면, 상기 데이터가 상기 디스플레이 장치의 진단에 대응되는 기능을 수행하기 위한 것인지 여부를 식별하는 단계; 및
    상기 데이터에 따른 응답 화면을 디스플레이하는 단계;를 포함하는 제어 방법.
  6. 제 5 항에 있어서,
    상기 데이터가 안내 메시지 및 진단 결과 중 하나를 포함하는 경우, 상기 안내 메시지 및 진단 결과 중 하나를 디스플레이하는 단계;를 포함하는 제어 방법.
  7. 제 5 항에 있어서,
    상기 디스플레이 장치의 정보는,
    상기 디스플레이 장치의 패널 정보, 종류 정보, 사용 지역 정보 및 사용 시간 정보 중 적어도 하나를 포함하는 제어 방법.
  8. 제 5 항에 있어서,
    상기 데이터가 상기 디스플레이 장치의 진단에 필요한 동작을 수행하도록 하는 제어 신호를 포함하는 경우, 상기 제어 신호에 따라 상기 디스플레이 장치의 진단에 필요한 동작을 수행하는 단계; 및
    상기 디스플레이 장치의 동작 상태를 상기 서버로 전송하는 단계;를 포함하는 제어 방법.
  9. 서버에 있어서,
    적어도 하나의 프로세서; 및
    복수의 매뉴얼을 저장하는 스토리지;를 포함하고,
    상기 적어도 하나의 프로세서는,
    디스플레이 장치로부터 상기 디스플레이 장치의 진단을 요청하는 사용자 음성 입력에 대응되는 신호 및 상기 디스플레이 장치의 정보가 수신되면, 상기 디스플레이 장치의 정보에 기초하여 상기 복수의 매뉴얼 중 상기 디스플레이 장치에 대응되는 매뉴얼을 식별하고,
    상기 식별된 매뉴얼에 기초하여 상기 디스플레이 장치의 진단과 관련된 데이터를 상기 디스플레이 장치로 전송하며,
    상기 데이터는,
    안내 메시지 및 상기 디스플레이 장치의 진단 결과 중 하나를 포함하는 서버.
  10. 제 9 항에 있어서,
    상기 디스플레이 장치의 정보는,
    상기 디스플레이 장치의 패널 정보, 종류 정보, 사용 지역 정보 및 사용 시간 정보 중 적어도 하나를 포함하는 서버.
  11. 제 9 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 식별된 매뉴얼에 기초하여 상기 디스플레이 장치를 진단하고, 상기 디스플레이 장치가 자체 해결 가능한 에러 상태인 것으로 진단되면, 상기 진단 결과에 대한 해결 방법을 안내하는 안내 메시지를 상기 디스플레이 장치로 전송하는 서버.
  12. 제 11 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 디스플레이 장치가 자체 해결 불가능한 에러 상태인 것으로 진단되면, 상기 진단 결과 및 상기 디스플레이 장치의 정보를 서비스 센터로 전송하는 서버.
  13. 제 9 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 디스플레이 장치의 진단에 필요한 동작을 수행하도록 하는 제어 신호를 포함하는 상기 데이터를 상기 디스플레이 장치로 전송하고, 상기 제어 신호에 따른 상기 디스플레이 장치의 동작 상태를 상기 디스플레이 장치로부터 수신하는 서버.
KR1020210115950A 2014-11-17 2021-08-31 음성 인식 시스템, 서버, 디스플레이 장치 및 그 제어 방법 KR102428470B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210115950A KR102428470B1 (ko) 2014-11-17 2021-08-31 음성 인식 시스템, 서버, 디스플레이 장치 및 그 제어 방법
KR1020220094268A KR102512297B1 (ko) 2014-11-17 2022-07-28 음성 인식 시스템, 서버, 디스플레이 장치 및 그 제어 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140160130A KR102298767B1 (ko) 2014-11-17 2014-11-17 음성 인식 시스템, 서버, 디스플레이 장치 및 그 제어 방법
KR1020210115950A KR102428470B1 (ko) 2014-11-17 2021-08-31 음성 인식 시스템, 서버, 디스플레이 장치 및 그 제어 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020140160130A Division KR102298767B1 (ko) 2014-11-17 2014-11-17 음성 인식 시스템, 서버, 디스플레이 장치 및 그 제어 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220094268A Division KR102512297B1 (ko) 2014-11-17 2022-07-28 음성 인식 시스템, 서버, 디스플레이 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20210112278A true KR20210112278A (ko) 2021-09-14
KR102428470B1 KR102428470B1 (ko) 2022-08-03

Family

ID=54608325

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020140160130A KR102298767B1 (ko) 2014-11-17 2014-11-17 음성 인식 시스템, 서버, 디스플레이 장치 및 그 제어 방법
KR1020210115950A KR102428470B1 (ko) 2014-11-17 2021-08-31 음성 인식 시스템, 서버, 디스플레이 장치 및 그 제어 방법
KR1020220094268A KR102512297B1 (ko) 2014-11-17 2022-07-28 음성 인식 시스템, 서버, 디스플레이 장치 및 그 제어 방법
KR1020230034389A KR102572688B1 (ko) 2014-11-17 2023-03-16 음성 인식 시스템, 서버, 디스플레이 장치 및 그 제어 방법
KR1020230111925A KR20230127967A (ko) 2014-11-17 2023-08-25 음성 인식 시스템, 서버, 디스플레이 장치 및 그 제어 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020140160130A KR102298767B1 (ko) 2014-11-17 2014-11-17 음성 인식 시스템, 서버, 디스플레이 장치 및 그 제어 방법

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020220094268A KR102512297B1 (ko) 2014-11-17 2022-07-28 음성 인식 시스템, 서버, 디스플레이 장치 및 그 제어 방법
KR1020230034389A KR102572688B1 (ko) 2014-11-17 2023-03-16 음성 인식 시스템, 서버, 디스플레이 장치 및 그 제어 방법
KR1020230111925A KR20230127967A (ko) 2014-11-17 2023-08-25 음성 인식 시스템, 서버, 디스플레이 장치 및 그 제어 방법

Country Status (4)

Country Link
US (3) US10593327B2 (ko)
EP (3) EP3851972A3 (ko)
KR (5) KR102298767B1 (ko)
CN (2) CN105607887B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024005518A1 (ko) * 2022-06-28 2024-01-04 삼성전자 주식회사 디스플레이 장치 및 그 동작 방법

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101777392B1 (ko) 2016-07-04 2017-09-11 주식회사 케이티 중앙 서버 및 이에 의한 사용자 음성 처리 방법
US10726836B2 (en) 2016-08-12 2020-07-28 Kt Corporation Providing audio and video feedback with character based on voice command
KR20180060328A (ko) 2016-11-28 2018-06-07 삼성전자주식회사 멀티 모달 입력을 처리하는 전자 장치, 멀티 모달 입력을 처리하는 방법 및 멀티 모달 입력을 처리하는 서버
KR101889279B1 (ko) 2017-01-16 2018-08-21 주식회사 케이티 음성 명령에 기반하여 서비스를 제공하는 시스템 및 방법
US11314898B2 (en) 2017-02-28 2022-04-26 Samsung Electronics Co., Ltd. Operating method of electronic device for function execution based on voice command in locked state and electronic device supporting the same
KR102416782B1 (ko) * 2017-03-28 2022-07-05 삼성전자주식회사 음성 인식 서비스 운용 방법 및 이를 지원하는 전자 장치
CN107146612B (zh) * 2017-04-10 2020-05-15 北京猎户星空科技有限公司 语音引导方法、装置、智能设备及服务器
US10355931B2 (en) * 2017-04-17 2019-07-16 Essential Products, Inc. Troubleshooting voice-enabled home setup
US10353480B2 (en) 2017-04-17 2019-07-16 Essential Products, Inc. Connecting assistant device to devices
KR102345883B1 (ko) 2017-04-28 2022-01-03 삼성전자주식회사 그래픽 표시를 출력하는 전자 장치
KR102112564B1 (ko) * 2017-05-19 2020-06-04 엘지전자 주식회사 홈 어플라이언스 및 그 동작 방법
KR102349681B1 (ko) 2017-07-28 2022-01-12 삼성전자주식회사 결여된 파라미터를 획득하고 기록하는 전자 장치
US11004444B2 (en) * 2017-09-08 2021-05-11 Amazon Technologies, Inc. Systems and methods for enhancing user experience by communicating transient errors
KR102423754B1 (ko) 2017-09-19 2022-07-21 삼성전자주식회사 디바이스 사용 문의에 대한 응답을 제공하는 디바이스 및 방법
CN111742557B (zh) * 2018-01-08 2024-01-19 Lg电子株式会社 显示装置和包括显示装置的系统
CN108683937B (zh) * 2018-03-09 2020-01-21 百度在线网络技术（北京）有限公司 智能电视的语音交互反馈方法、系统及计算机可读介质
CN109189364B (zh) * 2018-08-08 2021-10-22 厦门快商通信息技术有限公司 一种多信道语音采集系统及方法
JP7227093B2 (ja) * 2019-07-05 2023-02-21 Ｔｖｓ Ｒｅｇｚａ株式会社 電子機器、プログラムおよび検索サービス選定方法
US11150923B2 (en) * 2019-09-16 2021-10-19 Samsung Electronics Co., Ltd. Electronic apparatus and method for providing manual thereof
KR20210058152A (ko) * 2019-11-13 2021-05-24 엘지전자 주식회사 지능형 보안 디바이스를 제어하는 방법
WO2024014584A1 (ko) * 2022-07-15 2024-01-18 엘지전자 주식회사 인공 지능 장치 및 그의 대상기기 매뉴얼 제공 방법
KR20240030748A (ko) 2022-08-31 2024-03-07 엘지디스플레이 주식회사 산화물 반도체 패턴을 포함하는 박막 트랜지스터 어레이 기판 및 이를 포함하는 표시 장치
KR102657922B1 (ko) * 2023-11-07 2024-04-16 탐투스 주식회사 전자칠판의 관리 시스템 및 그 운용방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020064175A (ko) * 2001-01-31 2002-08-07 마츠다 가부시키가이샤 차량의 원격 고장 진단용 서버, 차량의 원격 고장 진단방법, 원격 고장 진단용 프로그램 및 차재(車載) 원격고장 진단 장치
KR20060043333A (ko) * 2004-03-01 2006-05-15 마이크로소프트 코포레이션 데이터의 의도를 판정하고 의도에 기초하여 데이터에 응답하는 시스템 및 방법
KR20140111538A (ko) * 2013-03-11 2014-09-19 삼성전자주식회사 대화형 서버, 디스플레이 장치 및 제어 방법

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6850252B1 (en) * 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
JP3365360B2 (ja) * 1999-07-28 2003-01-08 日本電気株式会社 音声信号復号方法および音声信号符号化復号方法とその装置
KR100383668B1 (ko) * 2000-09-19 2003-05-14 한국전자통신연구원 시간 분리 부호화 알고리즘을 이용한 음성 부호화기 및부호화 방법
CA2733453C (en) * 2000-11-30 2014-10-14 Panasonic Corporation Lpc vector quantization apparatus
US6895532B2 (en) * 2001-05-03 2005-05-17 Hewlett-Packard Development Company, L.P. Wireless server diagnostic system and method
JP2002358312A (ja) * 2001-05-31 2002-12-13 Matsushita Electric Ind Co Ltd 電気機器、電気機器の情報検索方法、通信システム、通信システムにおける情報検索方法、情報検索プログラムおよび記録媒体
JP4413480B2 (ja) * 2002-08-29 2010-02-10 富士通株式会社 音声処理装置及び移動通信端末装置
US20040083097A1 (en) * 2002-10-29 2004-04-29 Chu Wai Chung Optimized windows and interpolation factors, and methods for optimizing windows, interpolation factors and linear prediction analysis in the ITU-T G.729 speech coding standard
US20040092846A1 (en) 2002-10-31 2004-05-13 Watrous Raymond L. Graphical user interface and voice-guided protocol for an auscultatory diagnostic decision support system
KR100503415B1 (ko) * 2002-12-09 2005-07-22 한국전자통신연구원 대역폭 확장을 이용한 ｃｅｌｐ 방식 코덱간의 상호부호화 장치 및 그 방법
KR100649492B1 (ko) 2004-07-09 2006-11-24 삼성전기주식회사 이동통신 단말기의 다중 대역 내장형 안테나
CN102103860B (zh) * 2004-09-17 2013-05-08 松下电器产业株式会社 频谱包络信息量化装置及方法、频谱包络信息解码装置及方法
US7716316B2 (en) * 2005-03-29 2010-05-11 Microsoft Corporation Methods and systems for performing remote diagnostics
CN101213590B (zh) * 2005-06-29 2011-09-21 松下电器产业株式会社 可扩展解码装置及丢失数据插值方法
KR100727548B1 (ko) * 2005-10-06 2007-06-14 노키아 코포레이션 사용자 인터페이스를 지닌 전자 장치에서 음성-작동 입력을제공하기 위한 방법 및 장치
US7920944B2 (en) * 2005-10-21 2011-04-05 General Motors Llc Vehicle diagnostic test and reporting method
US20090299738A1 (en) * 2006-03-31 2009-12-03 Matsushita Electric Industrial Co., Ltd. Vector quantizing device, vector dequantizing device, vector quantizing method, and vector dequantizing method
KR100788706B1 (ko) * 2006-11-28 2007-12-26 삼성전자주식회사 광대역 음성 신호의 부호화/복호화 방법
JP4829135B2 (ja) * 2007-01-19 2011-12-07 富士通株式会社 通信システム、サーバ装置、および端末装置
US20080195381A1 (en) * 2007-02-09 2008-08-14 Microsoft Corporation Line Spectrum pair density modeling for speech applications
US9317110B2 (en) * 2007-05-29 2016-04-19 Cfph, Llc Game with hand motion control
JP5042050B2 (ja) * 2008-01-25 2012-10-03 シャープ株式会社 テレビジョン受像機、サーバ、テレビジョン受像機の操作システムおよびテレビジョン受像機の操作用プログラム
JP4889664B2 (ja) * 2008-02-12 2012-03-07 コニカミノルタビジネステクノロジーズ株式会社 マニュアル提供方法、周辺装置、および制御用プログラム
KR20100084915A (ko) * 2009-01-19 2010-07-28 삼성전자주식회사 전기기기, 그를 구비한 사용 설명서 제공 시스템 및 사용 설명서 제공 방법
KR20110013582A (ko) 2009-07-31 2011-02-10 엘지전자 주식회사 가전기기 진단시스템 및 그 진단방법
US20110107137A1 (en) * 2009-11-05 2011-05-05 Sony Corporation System and method for providing automated support to electronic devices
JP2013529794A (ja) * 2010-06-24 2013-07-22 本田技研工業株式会社 車載音声認識システム及び車両外音声認識システム間の通信システム及び方法
KR101747917B1 (ko) * 2010-10-18 2017-06-15 삼성전자주식회사 선형 예측 계수를 양자화하기 위한 저복잡도를 가지는 가중치 함수 결정 장치 및 방법
WO2013022135A1 (en) * 2011-08-11 2013-02-14 Lg Electronics Inc. Electronic device and method of controlling the same
KR102014774B1 (ko) * 2011-12-20 2019-10-22 주식회사 케이티 단말의 음성인식을 제어하는 서버 및 방법, 그리고 단말
WO2013170383A1 (en) * 2012-05-16 2013-11-21 Xtreme Interactions Inc. System, device and method for processing interlaced multimodal user input
KR20130140423A (ko) 2012-06-14 2013-12-24 삼성전자주식회사 디스플레이 장치, 대화형 서버 및 응답 정보 제공 방법
KR101309794B1 (ko) 2012-06-27 2013-09-23 삼성전자주식회사 디스플레이 장치, 디스플레이 장치의 제어 방법 및 대화형 시스템
KR20140087717A (ko) 2012-12-31 2014-07-09 삼성전자주식회사 디스플레이 장치 및 제어 방법
KR20140089863A (ko) * 2013-01-07 2014-07-16 삼성전자주식회사 디스플레이 장치, 및 이의 제어 방법, 그리고 음성 인식 시스템의 디스플레이 장치 제어 방법
KR102019719B1 (ko) * 2013-01-17 2019-09-09 삼성전자 주식회사 영상처리장치 및 그 제어방법, 영상처리 시스템
US9733821B2 (en) * 2013-03-14 2017-08-15 Apple Inc. Voice control to diagnose inadvertent activation of accessibility features
CN103325020A (zh) 2013-07-09 2013-09-25 李天彤 一种特种设备报修管理方法
EP3104494B1 (en) * 2014-02-03 2022-08-10 Mitsubishi Electric Corporation Power control system, health management device, exercise measurement device, and power command device
US9304846B2 (en) * 2014-04-29 2016-04-05 Ford Global Technologies, Llc Apparatus and method of error monitoring with a diagnostic module
JP6440513B2 (ja) * 2014-05-13 2018-12-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 音声認識機能を用いた情報提供方法および機器の制御方法
WO2022040366A1 (en) * 2020-08-18 2022-02-24 IntelliShot Holdings, Inc. Automated threat detection and deterrence apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020064175A (ko) * 2001-01-31 2002-08-07 마츠다 가부시키가이샤 차량의 원격 고장 진단용 서버, 차량의 원격 고장 진단방법, 원격 고장 진단용 프로그램 및 차재(車載) 원격고장 진단 장치
KR20060043333A (ko) * 2004-03-01 2006-05-15 마이크로소프트 코포레이션 데이터의 의도를 판정하고 의도에 기초하여 데이터에 응답하는 시스템 및 방법
KR20140111538A (ko) * 2013-03-11 2014-09-19 삼성전자주식회사 대화형 서버, 디스플레이 장치 및 제어 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024005518A1 (ko) * 2022-06-28 2024-01-04 삼성전자 주식회사 디스플레이 장치 및 그 동작 방법

Also Published As

Publication number Publication date
KR20220110165A (ko) 2022-08-05
KR20230041993A (ko) 2023-03-27
EP3851972A3 (en) 2021-08-18
US20160140960A1 (en) 2016-05-19
KR20230127967A (ko) 2023-09-01
US20230028729A1 (en) 2023-01-26
KR20160058523A (ko) 2016-05-25
KR102298767B1 (ko) 2021-09-06
US10593327B2 (en) 2020-03-17
CN105607887A (zh) 2016-05-25
US11615794B2 (en) 2023-03-28
CN113296726A (zh) 2021-08-24
KR102572688B1 (ko) 2023-08-31
EP3851972A2 (en) 2021-07-21
KR102428470B1 (ko) 2022-08-03
EP3407222A1 (en) 2018-11-28
EP3407222B1 (en) 2020-09-23
KR102512297B1 (ko) 2023-03-22
US20180358007A9 (en) 2018-12-13
EP3021240B1 (en) 2018-07-11
CN105607887B (zh) 2021-04-27
EP3021240A1 (en) 2016-05-18
US20200152199A1 (en) 2020-05-14

Similar Documents

Publication Publication Date Title
KR102428470B1 (ko) 음성 인식 시스템, 서버, 디스플레이 장치 및 그 제어 방법
US11900939B2 (en) Display apparatus and method for registration of user command
KR102261552B1 (ko) 음성 명령어 제공 방법 및 이를 지원하는 전자 장치
EP3588966A2 (en) Display apparatus and method of controlling a display apparatus in a voice recognition system
KR20170050908A (ko) 음성 인식이 가능한 전자 장치 및 방법
US10586528B2 (en) Domain-specific speech recognizers in a digital medium environment
US11914958B2 (en) Electronic apparatus, method for controlling the same, and storage medium for the same
US20230419969A1 (en) Speech-to-text system
US11532308B2 (en) Speech-to-text system
KR20190054462A (ko) 전자 장치, 그 제어 방법, 원격 제어 장치 및 그 제어 방법
KR102456588B1 (ko) 사용자 명령어 등록을 위한 디스플레이 장치 및 방법
KR102599069B1 (ko) 사용자 명령어 등록을 위한 디스플레이 장치 및 방법
US20230102049A1 (en) Electronic apparatus and controlling method thereof

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right