KR101191534B1 - Speech recognition based intelligent robot system - Google Patents

Speech recognition based intelligent robot system Download PDF

Info

Publication number
KR101191534B1
KR101191534B1 KR1020100135360A KR20100135360A KR101191534B1 KR 101191534 B1 KR101191534 B1 KR 101191534B1 KR 1020100135360 A KR1020100135360 A KR 1020100135360A KR 20100135360 A KR20100135360 A KR 20100135360A KR 101191534 B1 KR101191534 B1 KR 101191534B1
Authority
KR
South Korea
Prior art keywords
information
text information
robot
text
operator
Prior art date
Application number
KR1020100135360A
Other languages
Korean (ko)
Other versions
KR20120073557A (en
Inventor
안영재
양대열
장석윤
Original Assignee
재단법인 인천광역시정보산업진흥원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 인천광역시정보산업진흥원 filed Critical 재단법인 인천광역시정보산업진흥원
Priority to KR1020100135360A priority Critical patent/KR101191534B1/en
Publication of KR20120073557A publication Critical patent/KR20120073557A/en
Application granted granted Critical
Publication of KR101191534B1 publication Critical patent/KR101191534B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Abstract

음성인식기반 지능형 로봇 시스템이 개시된다. 본 발명의 실시예에 따른 로봇 시스템은, 음성인식기술을 이용하여 사용자로부터 입력된 음성신호를 텍스트로 변환해서 얻어진 텍스트 정보가 자연어 데이터베이스에 저장된 경우 상기 텍스트 정보에 상응하는 동작을 수행하고, 저장되어 있지 않은 경우 상기 텍스트 정보를 네트워크로 전송하여 수신된 오퍼레이터의 응답정보에 상응하는 동작을 수행하는 로봇; 과 상기 네트워크로부터 수신된 텍스트 정보에 대한 오퍼레이터의 응답정보를 상기 네트워크를 통해 로봇으로 전송하는 오퍼레이터 단말을 포함한다.An intelligent robot system based on voice recognition is disclosed. According to an exemplary embodiment of the present invention, when text information obtained by converting a voice signal input from a user into text using voice recognition technology is stored in a natural language database, the robot system performs an operation corresponding to the text information and is stored. If not, the robot to transmit the text information to the network to perform an operation corresponding to the received response information of the operator; And an operator terminal which transmits response information of an operator to text information received from the network to the robot through the network.

Description

음성인식기반 지능형 로봇 시스템{SPEECH RECOGNITION BASED INTELLIGENT ROBOT SYSTEM}Intelligent robot system based on voice recognition {SPEECH RECOGNITION BASED INTELLIGENT ROBOT SYSTEM}

본 발명은 음성인식기반 지능형 로봇 시스템에 관한 것으로, 더욱 자세하게는 음성인식기술을 이용하여 분석 가능한 음성뿐만 아니라 분석할 수 없는 음성에 대해서도 능동적으로 대응하는 기술에 관한 것이다.The present invention relates to an intelligent robot system based on voice recognition, and more particularly, to a technology that actively responds to voices that cannot be analyzed as well as voices that can be analyzed using voice recognition technology.

건물 등의 안내를 수행하는 안내로봇은 방문객의 안내 요청에 따라 사전에 미리 정해진 일정 패턴의 동작 흐름에 따라 안내 콘텐츠를 방문객에게 제공한다. 예를 들어 안내로봇은 방문객의 음성 멘트를 음성 인식하고 인식된 음성 멘트가 사전에 미리 구축된 데이터베이스 내에 저장된 경우 해당 음성 멘트에 상응하는 안내 콘텐츠를 방문객에 제공한다. The guide robot for guiding the building and the like provides the guide content to the visitor according to a predetermined predetermined flow of motion according to the visitor's request for guidance. For example, the guide robot recognizes the visitor's voice comment and provides the visitor with guide content corresponding to the voice comment if the recognized voice comment is stored in a pre-built database.

그러나 방문객 안내를 위해 구축된 데이터베이스 내 저장된 음성 멘트는 단순한 질문인 경우가 대부분이다. 이에 따라 방문객의 음성 멘트가 데이터베이스 내에 구축된 음성 멘트가 아닌 경우, 안내 로봇은 저장되지 않은 방문객의 음성 멘트를 분석하지 못해서 아무런 반응을 하지 않는다. 즉, 안내로봇은 데이터베이스에 구축된 음성 멘트에 대해서만 수동적으로 반응하고 그 이외의 음성 멘트에 대해서 능동적으로 반응하지 못한다. 이는 방문객이 안내로봇을 통해서 원하는 정보를 얻지 못하게 되고, 결국 방문객이 다시 안내 데스크 등에 문의해야 하는 불편함을 갖는다. However, voice memos stored in a database built to guide visitors are often simple questions. Accordingly, when the visitor's voice comment is not a voice comment constructed in the database, the guide robot does not respond to the visitor's voice comment that is not stored and does not react. That is, the guide robot passively responds only to the voice memos constructed in the database and does not actively respond to other voice memos. This prevents the visitor from obtaining the desired information through the guide robot, and eventually causes the visitor to contact the information desk again.

따라서 이러한 안내로봇을 포함한 음성인식 기반 로봇은 사용자의 음성입력에 상응하는 동작을 수행한다. 이러한 동작은 음성인식 기반 로봇이 사용자의 음성입력을 분석 가능한 경우에만 이루어질 수 있다. 따라서 음성인식기반 로봇은 분석할 수 없는 음성이 입력된 경우 이에 대한 아무런 처리를 하지 못하게 되며, 결국 사용자에게 음성입력에 따른 응답을 출력할 수 없게 된다. 이로 인해서 사용자는 다른 방법을 통해서 원하던 정보를 얻어야 하는 불편함을 가진다. Therefore, the voice recognition-based robot including the guide robot performs an operation corresponding to the voice input of the user. This operation can be performed only when the voice recognition-based robot can analyze the voice input of the user. Therefore, the voice recognition-based robot cannot perform any processing on a voice that cannot be analyzed, and eventually cannot output a response according to the voice input to the user. As a result, the user has inconvenience in that he or she needs to obtain desired information through other methods.

음성인식기술을 이용하여 분석 가능한 음성뿐만 아니라 분석할 수 없는 음성에 대해서도 능동적으로 대응하여 사용자에게 적절한 응답을 출력하는, 음성인식기반 지능형 로봇 시스템이 제안된다.A voice recognition based intelligent robot system is proposed that outputs an appropriate response to a user by actively responding not only to the voice that can be analyzed using voice recognition technology but also to the voice that cannot be analyzed.

본 발명의 일 양상에 따른 로봇은, 음성인식기술을 이용하여 사용자로부터 입력된 음성신호를 텍스트로 변환하는 음성 인식부; 음성신호의 내용을 분석하기 위한 적어도 하나의 텍스트 정보를 저장한 자연어 데이터베이스; 및 상기 음성 인식부에서 변환된 텍스트 정보가 자연어 데이터베이스에 저장된 경우 상기 텍스트 정보에 상응하는 동작을 수행하고, 저장되어 있지 않은 경우 상기 텍스트 정보를 네트워크에 연결된 오퍼레이터 단말로 전송하여 수신된 오퍼레이터의 응답정보에 상응하는 동작을 수행하는 제어부를 포함한다.According to an aspect of the present invention, a robot includes a voice recognition unit for converting a voice signal input from a user into text using a voice recognition technology; A natural language database storing at least one text information for analyzing contents of a voice signal; And when the text information converted by the voice recognition unit is stored in the natural language database, perform an operation corresponding to the text information, and if not, transmit the text information to an operator terminal connected to a network to receive the received response information of the operator. It includes a control unit for performing an operation corresponding to the.

상기 로봇은, 상기 텍스트 정보가 보호자와의 대화연결인 경우, 사용자와 보호자의 실시간 대화가 이루어지도록 네트워크에 접속한 보호자 단말과의 사이에서 통신 채널을 생성하며 대화 종료시까지 음성인식기술을 음성신호의 텍스트 정보로의 변환 및 자연어 데이터베이스의 검색을 중단하거나, 상기 텍스트 정보가 환자감시명령인 경우, 환자의 실시간 감시가 이루어지도록 네트워크에 접속한 환자 단말과의 사이에서 통신채널을 생성하며 감시종료시까지 음성인식기술을 이용한 음성신호의 텍스트 정보로의 변환 및 자연어 데이터베이스의 검색을 중단하는 통신부를 더 포함할 수 있다.When the text information is a conversational connection with a guardian, the robot creates a communication channel between a user and a guardian terminal connected to a network so that a real-time conversation of the guardian is performed. When the text information is converted to text information and the search of the natural language database is stopped, or the text information is a patient monitoring command, a communication channel is generated between the patient terminals connected to the network for real-time monitoring of the patient. The apparatus may further include a communication unit configured to stop the search of the natural language database and the conversion of the voice signal into text information using a recognition technology.

상기 로봇은, 상기 텍스트 정보가 소정의 질문정보인 경우 상기 질문정보에 대한 대답정보가 자연어 데이터베이스에 저장된 경우 이를 사용자에게 출력하고, 저장되어 있지 않은 경우 질문정보를 네트워크로 전송하여 수신된 오퍼레이터의 응답정보를 사용자에게 출력하는 응답부를 더 포함할 수 있다.If the text information is predetermined question information, the robot outputs the response information to the user if the answer information about the question information is stored in the natural language database, and transmits the question information to the network if the text information is not stored. It may further include a response unit for outputting information to the user.

상기 응답부는, 상기 대답정보 또는 상기 수신된 오퍼레이터의 응답정보를 문자 데이터로 출력하는 문자 출력부; 와 음성합성기술을 이용하여 상기 대답정보 또는 상기 수신된 오퍼레이터의 응답정보를 음성으로 변환하여 출력하는 음성 출력부를 더 포함할 수 있다.The response unit may include a text output unit configured to output the response information or the response information of the received operator as text data; And a voice output unit converting the response information or the response information of the received operator into voice using a voice synthesis technology and outputting the voice.

본 발명의 다른 양상에 따른 음성인식기반 지능형 로봇 시스템은, 음성인식기술을 이용하여 사용자로부터 입력된 음성신호를 텍스트로 변환해서 얻어진 텍스트 정보가 자연어 데이터베이스에 저장된 경우 상기 텍스트 정보에 상응하는 동작을 수행하고, 저장되어 있지 않은 경우 상기 텍스트 정보를 네트워크로 전송하여 수신된 오퍼레이터의 응답정보에 상응하는 동작을 수행하는 로봇; 과 상기 네트워크로부터 수신된 텍스트 정보에 대한 오퍼레이터의 응답정보를 상기 네트워크로 전송하는 오퍼레이터 단말을 포함할 수 있다.According to another aspect of the present invention, an intelligent robot system based on voice recognition performs an operation corresponding to the text information when text information obtained by converting a voice signal input from a user into text using voice recognition technology is stored in a natural language database. A robot that transmits the text information to a network if it is not stored and performs an operation corresponding to the received response information of the operator; And an operator terminal which transmits response information of an operator with respect to text information received from the network to the network.

상기 오퍼레이터 단말은, 소정의 모니터링 프로그램을 실행하며, 상기 모니터링 프로그램은 상기 로봇으로부터 수신된 텍스트 정보를 오퍼레이터에게 출력하며 상기 출력된 텍스트 정보에 대한 오퍼레이터의 응답정보를 입력받아 상기 네트워크로 전송할 수 있다.The operator terminal executes a predetermined monitoring program, and the monitoring program outputs the text information received from the robot to the operator and receives the operator's response information with respect to the output text information and transmits it to the network.

상기 로봇은, 상기 텍스트 정보가 보호자와의 대화연결인 경우, 사용자와 보호자의 실시간 대화가 이루어지도록, 네트워크에 접속한 보호자 단말과의 사이에서 통신 채널을 생성하며 대화종료시까지 음성인식기술을 음성신호의 텍스트 정보로의 변환 및 자연어 데이터베이스의 검색을 중단할 수 있다.When the text information is a chat connection with a guardian, the robot creates a communication channel between a guardian terminal connected to a network so that a real-time conversation between the user and the guardian is made, and a voice recognition technology is performed until the conversation ends. Conversion to text information and search of natural language databases can be stopped.

상기 로봇은, 상기 텍스트 정보가 소정의 질문정보인 경우 상기 질문정보에 대한 대답정보가 자연어 데이터베이스에 저장된 경우 이를 사용자에게 출력하고, 저장되어 있지 않은 경우 질문정보를 네트워크에 연결된 오퍼레이터 단말로 전송하여 수신된 오퍼레이터의 응답정보를 사용자에게 출력할 수 있다.If the text information is predetermined question information, the robot outputs the answer information about the question information to the user if the text information is stored in a natural language database. If the text information is not stored, the robot transmits the question information to an operator terminal connected to a network and receives the information. The response information of the operator can be output to the user.

상기 로봇은, 상기 텍스트 정보가 환자감시명령인 경우, 사용자의 환자의 실시간 감시가 이루어지도록 네트워크에 접속한 환자 단말과의 사이에서 통신채널을 생성하며 감시 종료시까지 상기 음성인식기술을 이용한 음성신호의 텍스트 정보로의 변환 및 자연어 데이터베이스의 검색을 중단할 수 있다.When the text information is a patient monitoring command, the robot creates a communication channel with a patient terminal connected to a network for real-time monitoring of a user's patient, and generates a voice signal using the voice recognition technology until the end of monitoring. The conversion to textual information and the search of natural language databases can be stopped.

본 발명의 음성인식기반 지능형 로봇 시스템에 따르면, 음성인식기술을 이용하여 분석 가능한 음성뿐만 아니라 분석할 수 없는 음성에 대해서도 능동적으로 대응하여 사용자에게 적절한 응답을 출력할 수 있다.According to the voice recognition-based intelligent robot system of the present invention, the voice recognition technology can actively respond to not only the voice that can be analyzed but also the voice that cannot be analyzed, and output an appropriate response to the user.

도 1은 본 발명의 실시예에 따른 로봇의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 음성인식기반 지능형 로봇 시스템의 구성을 나타낸 도면이다.
도 3은 본 발명의 다른 실시예에 따른 음성인식기반 지능형 로봇 시스템의 구성을 나타낸 도면이다.
도 4는 본 발명의 또 다른 실시예에 따른 음성인식기반 지능형 로봇 시스템의 구성을 나타낸 도면이다.
도 5는 본 발명의 또 다른 실시예에 따른 음성인식기반 지능형 로봇 시스템의 구성을 나타낸 도면이다.1 is a view showing the configuration of a robot according to an embodiment of the present invention.
2 is a view showing the configuration of the voice recognition-based intelligent robot system according to an embodiment of the present invention.
3 is a view showing the configuration of the voice recognition based intelligent robot system according to another embodiment of the present invention.
4 is a view showing the configuration of a voice recognition-based intelligent robot system according to another embodiment of the present invention.
5 is a view showing the configuration of the voice recognition-based intelligent robot system according to another embodiment of the present invention.

이하에서는 첨부한 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 본 발명의 실시예를 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술 되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description of the present invention, detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In addition, terms to be described below are terms defined in consideration of functions in the present invention, which may vary according to intention or custom of a user or an operator. Therefore, the definition should be based on the contents throughout this specification.

도 1은 본 발명의 실시예에 따른 로봇의 구성을 나타낸 도면이다.1 is a view showing the configuration of a robot according to an embodiment of the present invention.

도시된 바와 같이, 본 발명의 실시예에 따른 로봇은, 음성 인식부(1), 자연어데이터베이스(2) 및 제어부(3)를 포함한다. As shown, the robot according to the embodiment of the present invention includes a voice recognition unit 1, a natural language database 2 and the control unit (3).

음성 인식부(1)는 음성인식기술을 이용하여 사용자로부터 입력된 음성신호를 텍스트로 변환한다. 이때, 음성 인식부(1)는 사용자의 음성을 입력받기 위한 마이크를 구비할 수 있다.The voice recognition unit 1 converts a voice signal input from a user into text using a voice recognition technology. In this case, the voice recognition unit 1 may include a microphone for receiving a voice of the user.

자연어 데이터베이스(2)는 음성신호의 내용을 분석하기 위한 적어도 하나의 텍스트 정보를 저장한다. The natural language database 2 stores at least one text information for analyzing the content of the voice signal.

제어부(3)는 음성 인식부(1)에서 변환된 텍스트 정보가 자연어 데이터베이스(2)에 저장된 경우 해당 텍스트 정보에 상응하는 동작의 수행을 제어한다. 제어부(3)는 음성 인식부(1)에서 변환된 텍스트 정보가 자연어 데이터베이스(2)에 저장되어 있지 않은 경우 해당 텍스트 정보를 네트워크에 연결된 오퍼레이터 단말(미도시)로 전송하여 수신된 오퍼레이터의 응답정보에 상응하는 동작 수행을 제어한다.If the text information converted by the speech recognition unit 1 is stored in the natural language database 2, the controller 3 controls the performance of an operation corresponding to the text information. If the text information converted by the speech recognition unit 1 is not stored in the natural language database 2, the controller 3 transmits the corresponding text information to an operator terminal (not shown) connected to the network and receives the received response information of the operator. Control the performance of the corresponding operation.

본 발명의 실시예에 따른 로봇은 통신부(4)를 더 포함할 수 있다. The robot according to the embodiment of the present invention may further include a communication unit 4.

통신부(4)는 텍스트 정보가 보호자와의 대화연결인 경우, 사용자와 보호자의 실시간 대화가 이루어지도록 네트워크에 접속한 보호자 단말(미도시)과의 사이에서 통신 채널을 생성하며 대화 종료시까지 음성인식기술을 음성신호의 텍스트 정보로의 변환 및 자연어 데이터베이스의 검색을 중단할 수 있다.The communication unit 4 generates a communication channel between the user and the guardian terminal (not shown) connected to the network so that the user and the guardian make a real-time conversation when the text information is a conversation connection with the guardian, and the voice recognition technology until the conversation ends. The conversion of the speech signal into text information and the search of the natural language database can be stopped.

또한 통신부(4)는 텍스트 정보가 환자감시명령인 경우, 환자의 실시간 감시가 이루어지도록 네트워크에 접속한 환자 단말과의 사이에서 통신채널을 생성하며 감시 종료시까지 음성인식기술을 이용한 음성신호의 텍스트 정보로의 변환 및 자연어 데이터베이스의 검색을 중단할 수 있다. In addition, when the text information is a patient monitoring command, the communication unit 4 creates a communication channel between the patient terminals connected to the network for real-time monitoring of the patient, and text information of the voice signal using the voice recognition technology until the end of the monitoring. Conversion to and search of natural language databases can be stopped.

나아가 본 발명의 실시예에 따른 로봇은 응답부(5)를 더 포함할 수 있다.Furthermore, the robot according to the embodiment of the present invention may further include a response unit 5.

응답부(5)는 텍스트 정보가 소정의 질문정보인 경우 질문정보에 대한 대답정보가 자연어 데이터베이스(2)에 저장된 경우 이를 사용자에게 출력한다. 응답부(5)는 상기 질문정보에 대한 대답정보가 자연어 데이터베이스(2)에 저장되어 있지 않은 경우 질문정보를 네트워크에 연결된 오퍼레이이터 단말로 전송하여 수신된 오퍼레이터의 응답정보를 사용자에게 출력할 수 있다. 응답부(5)는 문자 출력부(미도시)와 음성 출력부(미도시)를 포함할 수 있다. 따라서, 문자 출력부는 대답정보 또는 오퍼레이터의 응답정보를 문자 데이터로 출력할 수 있다. 그리고 음성 출력부는 음성인식기술을 이용하여 대답정보 또는 오퍼레이터의 응답정보를 음성으로 변환하여 출력할 수 있다.
When the text information is the predetermined question information, the response unit 5 outputs the response information about the question information to the user when the answer information about the question information is stored in the natural language database 2. If the answer information about the question information is not stored in the natural language database 2, the response unit 5 may transmit the question information to an operator terminal connected to the network and output the received response information of the operator to the user. have. The response unit 5 may include a text output unit (not shown) and a voice output unit (not shown). Therefore, the character output unit may output the response information or the response information of the operator as the character data. The voice output unit may convert the response information or the response information of the operator into voice using voice recognition technology and output the voice information.

도 2는 본 발명의 일 실시예에 따른 음성인식기반 지능형 로봇 시스템의 구성을 나타낸 도면이다.2 is a view showing the configuration of the voice recognition-based intelligent robot system according to an embodiment of the present invention.

도시된 바와 같이 본 발명의 일 실시예에 따른 음성인식기반 지능형 로봇 시스템은, 로봇(20)과 오퍼레이터 단말(21)을 포함한다.As shown, an intelligent robot system based on voice recognition according to an embodiment of the present invention includes a robot 20 and an operator terminal 21.

로봇(20)은 음성인식기술을 이용하여 사용자로부터 입력된 음성신호를 텍스트로 변환해서 얻어진 텍스트 정보가 자연어 데이터베이스에 저장된 경우 텍스트 정보에 상응하는 동작을 수행한다. 로봇(20)은 저장되어 있지 않은 경우 텍스트 정보를 네트워크로 전송하여 수신된 오퍼레이터의 응답정보에 상응하는 동작을 수행한다. 이때, 로봇(20)은 텍스트 정보가 보호자와의 대화연결인 경우, 사용자와 보호자의 실시간 대화가 이루어지도록, 네트워크에 접속한 보호자 단말(미도시)과의 사이에서 통신 채널을 생성하며 대화종료시까지 음성인식기술을 음성신호의 텍스트 정보로의 변환 및 자연어 데이터베이스의 검색을 중단할 수 있다. The robot 20 performs an operation corresponding to the text information when the text information obtained by converting the voice signal input from the user into text using the voice recognition technology is stored in the natural language database. If not stored, the robot 20 transmits text information to the network and performs an operation corresponding to the received response information of the operator. In this case, when the text information is a conversation connection with the guardian, the robot 20 generates a communication channel between the guardian terminal (not shown) connected to the network so that a real time conversation between the user and the guardian is made and until the conversation ends. The speech recognition technology can be converted into text information of the speech signal and the search of the natural language database can be stopped.

또한 로봇(20)은 텍스트 정보가 소정의 질문정보인 경우 상기 질문정보에 대한 대답정보가 자연어 데이터베이스에 저장된 경우 이를 사용자에게 출력하고, 저장되어 있지 않은 경우 질문정보를 네트워크로 전송하여 수신된 오퍼레이터의 응답정보를 사용자에게 출력할 수 있다. In addition, if the text information is predetermined question information, the robot 20 outputs the answer information about the question information to the user if it is stored in the natural language database, and transmits the question information to the network if the text information is not stored. The response information can be output to the user.

또한 로봇(20)은, 텍스트 정보가 환자감시명령인 경우, 환자의 실시간 감시가 이루어지도록 네트워크에 접속한 환자 단말(미도시)과의 사이에서 통신채널을 생성하며 감시 종료시까지 상기 음성인식기술을 이용한 음성신호의 텍스트 정보로의 변환 및 자연어 데이터베이스의 검색을 중단할 수 있다.
In addition, when the text information is a patient monitoring command, the robot 20 generates a communication channel with a patient terminal (not shown) connected to a network to perform real-time monitoring of the patient, and performs the voice recognition technology until the end of monitoring. Conversion of the used voice signal into text information and search of the natural language database can be stopped.

한편, 오퍼레이터 단말(21)은 네트워크로부터 수신된 텍스트 정보에 대한 오퍼레이터의 응답정보를 상기 네트워크로 전송한다. 이때, 오퍼레이터 단말(21)은 소정의 모니터링 프로그램을 실행하며, 실행되는 모니터링 프로그램은 로봇(20)으로부터 수신된 텍스트 정보를 오퍼레이터에게 출력하며 이렇게 출력된 텍스트 정보에 대한 오퍼레이터의 응답정보를 입력받아 네트워크로 전송할 수 있다. On the other hand, the operator terminal 21 transmits the response information of the operator with respect to the text information received from the network to the network. At this time, the operator terminal 21 executes a predetermined monitoring program, and the executed monitoring program outputs the text information received from the robot 20 to the operator and receives the operator's response information on the outputted text information. Can be sent to.

살펴본 바와 같이, 본 발명의 일 실시예에 따른 음성인식기반 지능형 로봇 시스템에 따르면, 음성인식기술을 이용하여 분석 가능한 음성뿐만 아니라 분석할 수 없는 음성에 대해서도 능동적으로 대응하여 사용자에게 적절한 응답을 출력할 수 있다. 즉, 사용자의 음성이 "지금은 몇 시니?"와 같이 분석 가능한 경우에 대해서는 로봇(20) 내에 구비된 자연어 데이터베이스를 통해서 사용자에게 응답하며, "여기는 얼마나 오염된거니?"와 같이 오퍼레이터가 대답하기도 어려운 질문을 하거나 "밤하늘에 별을 보면 무슨 생각이 드니?"와 같이 감성적이거나 "사과는 왜 떨어지는 거니?"와 같이 학술적인 경우와 같이 로봇(20) 자체적으로 처리하기에 어려운 경우에 오퍼레이터 단말(21)을 통한 오퍼레이터의 응답정보를 이용하여 처리함으로써, 사용자의 어떤 질문에도 대응할 수 있게 된다.
As described above, according to the voice recognition-based intelligent robot system according to an embodiment of the present invention, the voice recognition technology can actively respond to not only the voice that can be analyzed but also the voice that cannot be analyzed to output an appropriate response to the user. Can be. In other words, when the user's voice can be analyzed such as "What time is it now?", The user responds to the user through the natural language database provided in the robot 20, and the operator answers, "How dirty is it?" If you have a difficult question, or if it is difficult to handle the robot 20 itself, such as an emotional case such as "What do you think when you see a star in the night sky?" By processing using the response information of the operator through 21), any question of the user can be responded to.

도 3은 본 발명의 다른 실시예에 따른 음성인식기반 지능형 로봇 시스템에 대한 구성을 나타낸 도면이다.3 is a view showing the configuration of the voice recognition based intelligent robot system according to another embodiment of the present invention.

도시된 바와 같이, 본 발명의 다른 실시예에 따른 음성인식기반 지능형 로봇 시스템은 로봇(30)과 보호자 단말(31)을 포함한다.As shown, an intelligent robot system based on voice recognition according to another embodiment of the present invention includes a robot 30 and a guardian terminal 31.

로봇(30)은 음성인식기술을 이용하여, 피보호자부터 입력된 음성신호를 텍스트로 변환해서 얻어진 텍스트 정보를 자연어 데이터베이스에서 검색한 결과 보호자와의 대화 연결인 경우, 피보호자와 보호자 사이에서 실시간 대화가 이루어지도록 네트워크에 접속한 보호자 단말과의 사이에서 통신채널을 생성한다. 이때 로봇(30)은 보호자 단말(31)과의 사이에서 통신채널이 생성되면 음성인식기술을 이용한 음성신호의 텍스트 정보로의 변환 및 자연어 데이터베이스의 검색을 중단할 수 있다. The robot 30 uses a voice recognition technology to search the text information obtained by converting the voice signal input from the guardian into the text in a natural language database, and as a result of the conversation connection with the guardian, a real time conversation is performed between the guardian and the guardian. Create a communication channel with the guardian terminal connected to the network. In this case, when the communication channel is generated between the guardian terminal 31, the robot 30 may stop converting the voice signal into text information using voice recognition technology and searching the natural language database.

한편, 보호자 단말(31)은 네트워크에 생성된 통신채널을 통해 로봇(30)과의 사이에서 피보호자와 보호자 사이에서 실시간 대화가 이루어지도록 한다.
On the other hand, the guardian terminal 31 allows the real-time conversation between the guardian and the guardian between the robot 30 and the communication channel created in the network.

도 4는 본 발명의 또 다른 실시예에 따른 음성인식기반 지능형 로봇 시스템에 대한 구성을 나타낸 도면이다.4 is a view showing the configuration of the voice recognition-based intelligent robot system according to another embodiment of the present invention.

도 4에 도시된 바와 같이 본 발명의 실시예에 따른 음성인식기반 지능형 로봇 시스템은, 로봇(40)과 오퍼레이터 단말(41)을 포함한다.As shown in FIG. 4, the voice recognition-based intelligent robot system according to the embodiment of the present invention includes a robot 40 and an operator terminal 41.

로봇(40)은 음성인식기술을 이용하여 사용자로부터 입력된 음성신호를 텍스트로 변환해서 얻어진 질문정보에 대한 대답정보가, 자연어 데이터베이스에 저장된 경우 이를 사용자에게 출력한다. 그리고 로봇(40)은 저장되어 있지 않은 경우 네트워크에 접속된 오퍼레이터 단말과의 실시간 통신을 위한 채널을 생성해서 해당 채널을 통해 질문정보를 오퍼레이터 단말로 전송하여 수신된 오퍼레이터의 응답정보를 사용자에게 출력한다.The robot 40 outputs the answer information about the question information obtained by converting the voice signal input from the user into text using the voice recognition technology, if it is stored in the natural language database. When the robot 40 is not stored, the robot 40 generates a channel for real-time communication with the operator terminal connected to the network, transmits the question information to the operator terminal through the corresponding channel, and outputs the received operator response information to the user. .

이때, 로봇(40)은 오퍼레이터 단말(41)과의 실시간 통신을 위한 채널이 생성되면 오퍼레이터 단말(41)로부터 오퍼레이터 응답정보가 수신되어 사용자에게 출력되기 전까지, 음성인식기술을 이용한 음성신호의 텍스트 정보로의 변환 및 자연어 데이터베이스의 검색을 중단할 수 있다. 로봇(40)은 오퍼레이터 단말(41)로부터 오퍼레이터 응답정보를 문자 데이터로 출력하거나, 오퍼레이터 단말(41)로부터 오퍼레이터 응답정보를 음성으로 변환하여 출력할 수 있다.
In this case, when the channel for real-time communication with the operator terminal 41 is generated, the robot 40 receives the text information of the voice signal using the voice recognition technology until the operator response information is received from the operator terminal 41 and output to the user. Conversion to and search of natural language databases can be stopped. The robot 40 can output the operator response information from the operator terminal 41 as text data, or convert the operator response information into voice from the operator terminal 41 and output it.

한편, 오퍼레이터 단말(41)은 네트워크에 접속되어 로봇(40)과 연결되며, 로봇(40)으로부터 수신된 질문정보에 대한 오퍼레이터의 응답정보를 네트워크로 전송한다. 이때, 오퍼레이터 단말(41)은 모니터링 프로그램을 실행하며, 실행되는 모니터링 프로그램은 로봇(40)으로부터 수신된 질문정보를 오퍼레이터에게 출력하며 이에 대한 오퍼레이터의 응답정보를 입력받아 네트워크로 전송할 수 있다.
On the other hand, the operator terminal 41 is connected to the network and connected to the robot 40, and transmits the operator's response information to the network for the question information received from the robot 40. At this time, the operator terminal 41 executes a monitoring program, and the monitoring program to be executed may output the question information received from the robot 40 to the operator and receive the operator's response information thereto and transmit it to the network.

도 5는 본 발명의 또 다른 실시예에 따른 음성인식기반 지능형 로봇 시스템의 구성을 나타낸 도면이다.5 is a view showing the configuration of the voice recognition-based intelligent robot system according to another embodiment of the present invention.

도시된 바와 같이 본 발명의 실시예에 따른 음성인식기반 지능형 로봇 시스템은, 로봇(50)과 환자 단말(51)을 포함한다.As shown, an intelligent robot system based on voice recognition according to an embodiment of the present invention includes a robot 50 and a patient terminal 51.

로봇(50)은, 음성인식기술을 이용하여, 의사로부터 입력된 음성신호를 텍스트로 변환해서 얻어진 텍스트 정보가 자연어 데이터베이스에서 검색한 결과 환자 감시 명령인 경우, 환자의 감시가 실시간으로 이루어지도록 네트워크에 접속한 환자 단말(51)과의 사이에서 통신채널을 생성한다. 이때, 로봇(50)은, 환자 단말(51)과의 사이에서 통신채널이 생성되면 감시 종료시까지 음성인식기술을 이용한 음성신호의 텍스트 정보로의 변환 및 자연어 데이터베이스의 검색을 중단할 수 있다. 그리고 로봇(50)은 원격지의 환자 단말을 자동으로 액티베이션(activation) 시키는 액티베이션 프로그램을 구비하며, 액티베이션 프로그램은 액티베이션 기능 선택에 따라 실행되어 환자 단말(51)을 액티베이션 시킬 수 있다.When the text information obtained by converting the voice signal input from the doctor into text using the voice recognition technology is a patient monitoring command as a result of searching the natural language database, the robot 50 monitors the patient in real time. A communication channel is created between the connected patient terminals 51. In this case, when the communication channel is generated between the patient terminal 51, the robot 50 may stop converting the voice signal into text information using the voice recognition technology and searching the natural language database until the end of monitoring. In addition, the robot 50 may include an activation program for automatically activating a remote patient terminal, and the activation program may be executed according to selection of an activation function to activate the patient terminal 51.

환자 단말(51)은, 생성된 통신채널을 통해 로봇(50)과의 사이에서 환자의 실시간 감시가 이루어지도록 한다. The patient terminal 51 allows real-time monitoring of the patient with the robot 50 through the generated communication channel.

나아가, 환자 단말(51)은 웹 카메라(미도시)를 구비하여 환자의 영상을 촬영하여 생성된 통신채널을 통해 로봇(50)으로 전송할 수 있으며, 이에 로봇(50)은 구비된 디스플레이장치를 통해 수신된 환자의 영상을 출력할 수 있다.
Furthermore, the patient terminal 51 may be provided with a web camera (not shown) to transmit an image to the robot 50 through a communication channel generated by capturing an image of the patient, and the robot 50 may be provided with a display device provided therein. An image of the received patient may be output.

이제까지 본 발명에 대하여 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 따라서 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허청구범위에 기재된 내용 및 그와 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
So far, the present invention has been described with reference to the embodiments. Those skilled in the art will understand that the present invention may be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. Therefore, the scope of the present invention should not be construed as being limited to the above-described examples, but should be construed to include various embodiments within the scope of the claims and equivalents thereof.

Claims (9)

로봇에 있어서,
음성인식기술을 이용하여 사용자로부터 입력된 음성신호를 텍스트로 변환하는 음성 인식부;
음성신호의 내용을 분석하기 위한 적어도 하나의 텍스트 정보를 저장한 자연어 데이터베이스;
상기 음성 인식부에서 변환된 텍스트 정보가 자연어 데이터베이스에 저장된 경우 상기 텍스트 정보에 상응하는 동작을 수행하도록 상기 로봇을 제어하고, 상기 텍스트 정보가 상기 자연어 데이터베이스에 저장되어 있지 않아 분석가능하지 않는 경우 상기 텍스트 정보를 네트워크에 연결된 오퍼레이터 단말로 전송하여 수신된 오퍼레이터의 응답정보에 상응하는 동작을 수행하도록 상기 로봇을 제어하는 제어부; 및
상기 텍스트 정보가 보호자와의 대화연결인 경우, 사용자와 보호자의 실시간 대화가 이루어지도록 네트워크에 접속한 보호자 단말과의 사이에서 통신 채널을 생성하며 대화 종료시까지 음성인식기술을 이용한 음성신호의 텍스트 정보로의 변환 및 자연어 데이터베이스의 검색을 중단하거나,
상기 텍스트 정보가 환자감시명령인 경우, 환자의 실시간 감시가 이루어지도록 네트워크에 접속한 환자 단말과의 사이에서 통신채널을 생성하며 감시종료시까지 음성인식기술을 이용한 음성신호의 텍스트 정보로의 변환 및 자연어 데이터베이스의 검색을 중단하는 통신부를 포함하는, 로봇.In robots,
A voice recognition unit for converting a voice signal input from a user into text using a voice recognition technology;
A natural language database storing at least one text information for analyzing contents of a voice signal;
When the text information converted by the speech recognition unit is stored in the natural language database, the robot is controlled to perform an operation corresponding to the text information, and when the text information is not stored in the natural language database and cannot be analyzed, the text A control unit for controlling the robot to transmit information to an operator terminal connected to a network to perform an operation corresponding to the received response information of the operator; And
When the text information is a conversation connection with the guardian, a communication channel is created between the user and the guardian terminal connected to the network for real-time conversation between the user and the guardian. Stop the conversion and search of your natural language database,
If the text information is a patient monitoring command, a communication channel is generated between the patient terminals connected to the network for real-time monitoring of the patient, and the voice signal is converted into text information using the voice recognition technology and the natural language until the end of the monitoring. A robot, comprising a communication unit for stopping the search of the database. 삭제delete 제 1 항에 있어서,
상기 로봇은,
상기 텍스트 정보가 소정의 질문정보인 경우 상기 질문정보에 대한 대답정보가 자연어 데이터베이스에 저장된 경우 이를 사용자에게 출력하고, 저장되어 있지 않은 경우 질문정보를 네트워크로 전송하여 수신된 오퍼레이터의 응답정보를 사용자에게 출력하는 응답부를 더 포함하는, 로봇.The method of claim 1,
The robot,
If the text information is predetermined question information, the answer information about the question information is stored in the natural language database and is output to the user. If the text information is not stored, the response information of the received operator is transmitted to the user by transmitting the question information to the network. The robot further comprises a response unit for outputting. 제 3 항에 있어서,
상기 응답부는,
상기 대답정보 또는 상기 수신된 오퍼레이터의 응답정보를 문자 데이터로 출력하는 문자 출력부; 와
음성합성기술을 이용하여 상기 대답정보 또는 상기 수신된 오퍼레이터의 응답정보를 음성으로 변환하여 출력하는 음성 출력부를 더 포함하는, 로봇.The method of claim 3, wherein
The response unit,
A text output unit configured to output the response information or the response information of the received operator as text data; Wow
And a voice output unit converting the response information or the response information of the received operator into voice using a voice synthesis technology and outputting the voice. 음성인식기술을 이용하여 사용자로부터 입력된 음성신호를 텍스트로 변환해서 얻어진 텍스트 정보가 자연어 데이터베이스에 저장된 경우 상기 텍스트 정보에 상응하는 동작을 수행하고, 상기 텍스트 정보가 상기 자연어 데이터베이스에 저장되어 있지 않아 분석가능하지 않는 경우 상기 텍스트 정보를 네트워크로 전송하여 수신된 오퍼레이터의 응답정보에 상응하는 동작을 수행하는 로봇; 과
상기 네트워크로부터 수신된 텍스트 정보에 대한 오퍼레이터의 응답정보를 상기 네트워크를 통해 로봇으로 전송하는 오퍼레이터 단말을 포함하되,
상기 로봇은 상기 텍스트 정보가 보호자와의 대화연결인 경우, 사용자와 보호자의 실시간 대화가 이루어지도록, 네트워크에 접속한 보호자 단말과의 사이에서 통신 채널을 생성하며 대화종료시까지 음성인식기술을 이용한 음성신호의 텍스트 정보로의 변환 및 자연어 데이터베이스의 검색을 중단하며,
상기 텍스트 정보가 환자감시명령인 경우, 사용자의 환자의 실시간 감시가 이루어지도록 네트워크에 접속한 환자 단말과의 사이에서 통신채널을 생성하며 감시 종료시까지 상기 음성인식기술을 이용한 음성신호의 텍스트 정보로의 변환 및 자연어 데이터베이스의 검색을 중단하는, 음성인식기반 지능형 로봇 시스템. If the text information obtained by converting the voice signal input from the user using the voice recognition technology into text is stored in the natural language database, the text information is performed corresponding to the text information, and the text information is not stored in the natural language database. If not possible, the robot to transmit the text information to the network to perform an operation corresponding to the response information of the received operator; and
Including an operator terminal for transmitting the response information of the operator with respect to the text information received from the network to the robot through the network,
The robot generates a communication channel between the guardian terminal connected to the network so that a real time conversation between the user and the guardian occurs when the text information is a conversation connection with the guardian, and the voice signal using the voice recognition technology until the conversation ends. Conversion to textual information from and stops searching natural language databases,
If the text information is a patient monitoring command, a communication channel is created between the patient terminals connected to the network for real-time monitoring of the user's patient, and the text information of the voice signal using the voice recognition technology is transmitted to the end of the monitoring. Intelligent robotic system based on speech recognition that stops translation and searching of natural language database. 제 5 항에 있어서,
상기 오퍼레이터 단말은,
소정의 모니터링 프로그램을 실행하며, 상기 모니터링 프로그램은 상기 로봇으로부터 수신된 텍스트 정보를 오퍼레이터에게 출력하며 상기 출력된 텍스트 정보에 대한 오퍼레이터의 응답정보를 입력받아 상기 네트워크로 전송하는, 음성인식기반 지능형 로봇 시스템.The method of claim 5, wherein
The operator terminal,
It executes a predetermined monitoring program, the monitoring program outputs the text information received from the robot to the operator and receives the operator's response information on the output text information, and transmits to the network, voice recognition based intelligent robot system . 삭제delete 제 5 항에 있어서,
상기 로봇은,
상기 텍스트 정보가 소정의 질문정보인 경우 상기 질문정보에 대한 대답정보가 자연어 데이터베이스에 저장된 경우 이를 사용자에게 출력하고, 저장되어 있지 않은 경우 질문정보를 네트워크에 연결된 오퍼레이터 단말로 전송하여 수신된 오퍼레이터의 응답정보를 사용자에게 출력하는, 음성인식기반 지능형 로봇 시스템.The method of claim 5, wherein
The robot,
If the text information is predetermined question information, the answer information about the question information is output to the user if it is stored in the natural language database, and if not, the question information is transmitted to the operator terminal connected to the network. Voice recognition-based intelligent robot system that outputs information to the user. 삭제delete
KR1020100135360A 2010-12-27 2010-12-27 Speech recognition based intelligent robot system KR101191534B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100135360A KR101191534B1 (en) 2010-12-27 2010-12-27 Speech recognition based intelligent robot system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100135360A KR101191534B1 (en) 2010-12-27 2010-12-27 Speech recognition based intelligent robot system

Publications (2)

Publication Number Publication Date
KR20120073557A KR20120073557A (en) 2012-07-05
KR101191534B1 true KR101191534B1 (en) 2012-10-15

Family

ID=46707884

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100135360A KR101191534B1 (en) 2010-12-27 2010-12-27 Speech recognition based intelligent robot system

Country Status (1)

Country Link
KR (1) KR101191534B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101751297B1 (en) * 2014-02-05 2017-06-30 한국전자통신연구원 The method of robot knowledge generation and robot mission execution planning using crowdsourcing, and the system thereof

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108942925A (en) * 2018-06-25 2018-12-07 珠海格力智能装备有限公司 The control method and device of robot
CN109544943A (en) * 2019-01-08 2019-03-29 连云港杰瑞电子有限公司 A kind of traffic signals terminal control mechanism and method based on speech recognition technology
KR102187145B1 (en) * 2019-03-18 2020-12-04 주식회사 원더풀플랫폼 Method and system for conversation helper service

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101751297B1 (en) * 2014-02-05 2017-06-30 한국전자통신연구원 The method of robot knowledge generation and robot mission execution planning using crowdsourcing, and the system thereof

Also Published As

Publication number Publication date
KR20120073557A (en) 2012-07-05

Similar Documents

Publication Publication Date Title
CN104350541B (en) The robot that natural dialogue with user can be merged into its behavior, and programming and the method using the robot
WO2016175354A1 (en) Artificial intelligence conversation device and method
KR102489914B1 (en) Electronic Device and method for controlling the electronic device
US20140242955A1 (en) Method and system for supporting a translation-based communication service and terminal supporting the service
CN106847274B (en) Man-machine interaction method and device for intelligent robot
KR101191534B1 (en) Speech recognition based intelligent robot system
WO2017208518A1 (en) Information processing device
US20180158458A1 (en) Conversational voice interface of connected devices, including toys, cars, avionics, mobile, iot and home appliances
KR20090132704A (en) System to offer service based on network and method of the same
CN109637534A (en) Voice remote control method, system, controlled device and computer readable storage medium
JP2004214895A (en) Auxiliary communication apparatus
Ondáš et al. Multimodal dialogue system with NAO and VoiceXML dialogue manager
JP6689953B2 (en) Interpreter service system, interpreter service method, and interpreter service program
CN111384778A (en) Intelligent operation and maintenance system for power distribution network equipment
US10292194B2 (en) Voice input/output apparatus, wireless connection method, and voice interaction system
US10813195B2 (en) Intelligent lighting device and system
CN105118507A (en) Sound control system and control method thereof
JP6583193B2 (en) Spoken dialogue system and spoken dialogue method
Ohlenbusch et al. Installation and control of building automation systems using human-robot-interaction
KR102364935B1 (en) A method and apparatus for data transmission for improving 5G-based speech recognition response speed
Alonso-Martín et al. Multimodal fusion as communicative acts during human–robot interaction
Ondáš et al. VoMIS-the VoiceXML-Based Multimodal Interactive System for NAO Robot
JP5701935B2 (en) Speech recognition system and method for controlling speech recognition system
KR102359228B1 (en) Method for customized conversation connection service
KR102187145B1 (en) Method and system for conversation helper service

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151006

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161220

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171117

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180917

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190729

Year of fee payment: 8