KR20240009335A - Information processing device for operating in conjunction with a voice conversation program using an artificial intelligence based user voice identification function - Google Patents
Information processing device for operating in conjunction with a voice conversation program using an artificial intelligence based user voice identification function Download PDFInfo
- Publication number
- KR20240009335A KR20240009335A KR1020230044516A KR20230044516A KR20240009335A KR 20240009335 A KR20240009335 A KR 20240009335A KR 1020230044516 A KR1020230044516 A KR 1020230044516A KR 20230044516 A KR20230044516 A KR 20230044516A KR 20240009335 A KR20240009335 A KR 20240009335A
- Authority
- KR
- South Korea
- Prior art keywords
- voice
- data
- user
- conversation
- voice conversation
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 28
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 19
- 238000013523 data management Methods 0.000 claims abstract description 52
- 238000013500 data storage Methods 0.000 claims abstract description 44
- 238000013075 data extraction Methods 0.000 claims abstract description 18
- 239000000284 extract Substances 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 22
- 238000007726 management method Methods 0.000 claims description 13
- 230000007257 malfunction Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 12
- 230000014509 gene expression Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 101000797092 Mesorhizobium japonicum (strain LMG 29417 / CECT 9101 / MAFF 303099) Probable acetoacetate decarboxylase 3 Proteins 0.000 description 1
- 101710096660 Probable acetoacetate decarboxylase 2 Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/50—Business processes related to the communications industry
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Computational Linguistics (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Telephonic Communication Services (AREA)
Abstract
본 발명은 사용자 음성에 대하여 인공지능 알고리즘을 기반으로 음성대화를 수행하는 음성인식서비스장치에 설치되고, 사용자 음성 식별 기능을 활용하여 사용자 별로 음성대화서비스를 제공하기 위한 컴퓨터 프로그램과 연동하여 동작하는 정보처리장치에 관한 것으로, 해결하고자 하는 과제는 음성 인식 대화 서비스 로봇을 통한 음성 대화 서비스 제공 시 복수의 사용자들 각각에 대한 음성 특성을 활용하여 사용자 고유의 대화방을 생성 및 관리하여 신규 사용자에 대해서는 새로운 음성 대화방을 개설해 운영하고, 기존의 사용자에 대해서는 이전 대화 내용을 그대로 이어가도록 이전 대화 데이터를 키핑함으로써 신규와 기존 사용자 모두에게 음성 인식 대화 서비스의 편의성을 증대시키는데 있다.
일례로, 상기 음성인식서비스장치에 내장된 마이크 및 ADC(Analog-Digital Converter)를 통해 사용자의 음성데이터를 획득하는 음성데이터 획득부; 상기 음성데이터에 대하여 인공지능 알고리즘을 기반으로 음성대화를 수행하는 음성인식서비스장치; 상기 음성데이터로부터 사용자의 음성특징을 추출하여 음성특징데이터를 생성하는 음성특징데이터 추출부; 상기 음성특징데이터 별로 상기 음성대화데이터를 저장하는 음성대화데이터 저장부; 및 음성대화 시작 시, 상기 음성대화데이터 저장부에 기 저장된 음성특징데이터 중 상기 음성특징데이터 추출부를 통해 추출된 음성특징데이터와 동일한 음성특징데이터가 존재하는지를 체크하고, 동일한 음성특징데이터가 존재하지 않은 경우, 상기 음성인식서비스장치를 통해 생성된 음성대화데이터가 상기 음성대화데이터 저장부에 신규 저장되도록 하고, 동일한 음성특징데이터가 존재하는 경우, 해당 음성특징데이터에 대하여 기 저장된 음성대화데이터를 상기 음성인식서비스장치로 제공하는 음성대화데이터 관리부를 포함하는 정보처리장치를 개시한다.The present invention is installed in a voice recognition service device that performs a voice conversation based on an artificial intelligence algorithm for the user's voice, and operates in conjunction with a computer program to provide a voice conversation service for each user by utilizing the user voice identification function. It is related to a processing device, and the problem to be solved is to create and manage a user's unique chat room by utilizing the voice characteristics of each of multiple users when providing a voice conversation service through a voice recognition conversation service robot, and to create and manage a user's unique chat room for new users. The goal is to increase the convenience of voice recognition conversation services for both new and existing users by opening and operating a chat room and keeping previous conversation data so that existing users can continue the previous conversation.
For example, a voice data acquisition unit that acquires the user's voice data through a microphone and an analog-digital converter (ADC) built into the voice recognition service device; A voice recognition service device that performs a voice conversation based on an artificial intelligence algorithm for the voice data; a voice feature data extraction unit that extracts the user's voice features from the voice data and generates voice feature data; a voice conversation data storage unit that stores the voice conversation data for each voice feature data; And when a voice conversation starts, it is checked whether the same voice feature data as the voice feature data extracted through the voice feature data extraction unit exists among the voice feature data pre-stored in the voice conversation data storage unit, and if the same voice feature data does not exist, In this case, the voice conversation data generated through the voice recognition service device is newly stored in the voice conversation data storage, and if the same voice feature data exists, the voice conversation data previously stored for the voice feature data is stored in the voice conversation data storage unit. An information processing device including a voice conversation data management unit provided as a recognition service device is disclosed.
Description
본 발명의 실시예는 인공지능을 기반의 사용자 음성 식별 기능을 활용한 음성대화프로그램과 연동하여 동작하는 정보처리장치에 관한 것으로, 좀 더 구체적으로는 음성인식서비스장치에 설치되고, 사용자 음성 식별 기능을 활용하여 사용자 별로 음성대화서비스를 제공하기 위한 컴퓨터 프로그램과 연동하여 동작하는 정보처리장치에 관한 것이다.An embodiment of the present invention relates to an information processing device that operates in conjunction with a voice conversation program utilizing an artificial intelligence-based user voice identification function. More specifically, it is installed in a voice recognition service device and has a user voice identification function. It relates to an information processing device that operates in conjunction with a computer program to provide voice conversation services for each user using .
최근에는 사용자의 편의성 증대를 위해, 입력 장치의 수동 조작을 통해 사용자로부터 명령을 입력 받는 대신에, 사용자가 원하는 명령을 발화하면 사용자의 음성을 인식하고 사용자의 발화에 내포된 명령을 파악함으로써, 사용자의 의도에 대응되는 서비스를 제공하는 음성 인식 대화 서비스 로봇이 개발 및 보급되고 있다. Recently, in order to increase user convenience, instead of receiving commands from the user through manual operation of the input device, when the user utters the desired command, the user's voice is recognized and the command contained in the user's utterance is identified. Voice recognition conversation service robots that provide services corresponding to the intended purpose are being developed and distributed.
이러한 음성 인식 대화 서비스 로봇은 특정 장소에 배치되어 사용자에게 각종 정보를 안내하는 안내 로봇, 가정에 구비되는 홈 로봇, 학습자와의 인터랙션을 통해 학습자의 학습을 지도하거나 보조하는 교육용 로봇 등 다양한 종류와 목적을 갖는 로봇을 포함할 수 있다.These voice recognition conversation service robots are of various types and purposes, such as guide robots that are placed in specific places and provide users with various information, home robots installed at home, and educational robots that guide or assist learners in their learning through interaction with them. It may include a robot having .
일반적으로, 음성 인식 대화 서비스 로봇은 대중을 상대로 운영되기 때문에, 음성 대화 서비스를 이용했던 사용자가 이후에 다시 해당 서비스를 이용할 때 기존 사용자를 인식하지 못하고 새로운 음성 대화 서비스를 제공하고 있다. In general, since voice recognition conversation service robots are operated for the public, when users who used the voice conversation service later use the service again, they are unable to recognize the existing user and provide a new voice conversation service.
이에 따라, 기존의 대화를 이어가고자 원하는 사용자에게는 매번 새로운 대화방을 신규로 개설하여 처음부터 다시 시작해야 한다는 불편함이 있다. Accordingly, users who wish to continue existing conversations face the inconvenience of having to open a new chat room each time and start over from the beginning.
본 발명의 실시예는, 음성 인식 대화 서비스 로봇을 통한 음성 대화 서비스 제공 시 복수의 사용자들 각각에 대한 음성 특성을 활용하여 사용자 고유의 대화방을 생성 및 관리하여 신규 사용자에 대해서는 새로운 음성 대화방을 개설해 운영하고, 기존의 사용자에 대해서는 이전 대화 내용을 그대로 이어가도록 이전 대화 데이터를 키핑함으로써 신규와 기존 사용자 모두에게 음성 인식 대화 서비스의 편의성을 증대시킨 인공지능을 기반의 사용자 음성 식별 기능을 활용한 음성대화프로그램과 연동하여 동작하는 정보처리장치를 제공한다.In an embodiment of the present invention, when providing a voice conversation service through a voice recognition conversation service robot, a user-specific chat room is created and managed by utilizing the voice characteristics of each of a plurality of users, and a new voice chat room is opened for a new user. A voice conversation using an artificial intelligence-based user voice identification function that increases the convenience of the voice recognition conversation service for both new and existing users by keeping previous conversation data so that the previous conversation content can be continued for existing users. Provides an information processing device that operates in conjunction with a program.
본 발명의 실시예에 따른 정보처리장치는, 음성인식서비스장치에 설치되고, 사용자 음성 식별 기능을 활용하여 사용자 별로 음성대화서비스를 제공하기 위한 컴퓨터 프로그램과 연동하여 동작하는 정보처리장치에 관한 것으로, 상기 음성인식서비스장치에 내장된 마이크 및 ADC(Analog-Digital Converter)를 통해 사용자의 음성데이터를 획득하는 음성데이터 획득부; 상기 음성데이터에 대하여 인공지능 알고리즘을 기반으로 음성대화를 수행하는 음성인식서비스장치; 상기 음성데이터로부터 사용자의 음성특징을 추출하여 음성특징데이터를 생성하는 음성특징데이터 추출부; 상기 음성특징데이터 별로 상기 음성대화데이터를 저장하는 음성대화데이터 저장부; 및 음성대화 시작 시, 상기 음성대화데이터 저장부에 기 저장된 음성특징데이터 중 상기 음성특징데이터 추출부를 통해 추출된 음성특징데이터와 동일한 음성특징데이터가 존재하는지를 체크하고, 동일한 음성특징데이터가 존재하지 않은 경우, 상기 음성인식서비스장치를 통해 생성된 음성대화데이터가 상기 음성대화데이터 저장부에 신규 저장되도록 하고, 동일한 음성특징데이터가 존재하는 경우, 해당 음성특징데이터에 대하여 기 저장된 음성대화데이터를 상기 음성인식서비스장치로 제공하는 음성대화데이터 관리부를 포함한다.The information processing device according to an embodiment of the present invention is installed in a voice recognition service device and operates in conjunction with a computer program to provide a voice conversation service for each user by utilizing the user voice identification function, A voice data acquisition unit that acquires the user's voice data through a microphone and an analog-digital converter (ADC) built into the voice recognition service device; A voice recognition service device that performs a voice conversation based on an artificial intelligence algorithm for the voice data; a voice feature data extraction unit that extracts the user's voice features from the voice data and generates voice feature data; a voice conversation data storage unit that stores the voice conversation data for each voice feature data; And when a voice conversation starts, it is checked whether the same voice feature data as the voice feature data extracted through the voice feature data extraction unit exists among the voice feature data pre-stored in the voice conversation data storage unit, and if the same voice feature data does not exist, In this case, the voice conversation data generated through the voice recognition service device is newly stored in the voice conversation data storage, and if the same voice feature data exists, the voice conversation data previously stored for the voice feature data is stored in the voice conversation data storage unit. It includes a voice conversation data management unit provided by the recognition service device.
또한, 상기 음성대화데이터 저장부는, 상기 음성특징데이터 및 상기 음성대화데이터를 신규 저장 또는 음성대화내용을 추가한 일시정보를 해당 음성대화데이터의 속성정보로서 저장할 수 있다.Additionally, the voice conversation data storage unit may store the voice feature data and the date and time information of newly storing the voice conversation data or adding voice conversation content as attribute information of the voice conversation data.
또한, 상기 음성대화데이터 관리부는, 상기 음성특징데이터 추출부를 통해 생성된 음성특징데이터와 상기 음성대화데이터 저장부에 저장된 음성특징데이터 간을 비교하여 서로 동일한 음성특징데이터가 존재하는지 여부를 판단하는 음성특징데이터 검색부; 상기 음성특징데이터 검색부를 통해 동일한 음성특징데이터가 검색되지 않는 경우 해당 사용자를 신규 사용자로 판단하고, 신규 사용자로 판단되면 상기 음성인식서비스장치를 통해 생성된 음성대화데이터를 상기 음성대화데이터 저장부에 신규로 저장되도록 관리하는 신규 음성대화데이터 관리부; 및 상기 음성특징데이터 검색부를 통해 동일한 음성특징데이터가 검색되는 경우 해당 사용자를 기존 사용자로 판단하고, 기존 사용자로 판단되면 상기 음성인식서비스장치를 통해 기존 사용자와의 이전 음성대화를 이어갈 수 있도록 기존 사용자의 음성특징데이터에 대하여 기 저장된 음성대화데이터를 상기 음성인식서비스장치로 제공하되, 상기 음성인식서비스장치로 제공된 음성대화데이터에 새로운 음성대화내용이 추가되도록 상기 음성인식서비스장치를 제어하는 기존 음성대화데이터 관리부를 포함할 수 있다.In addition, the voice conversation data management unit compares the voice feature data generated through the voice feature data extraction unit and the voice feature data stored in the voice conversation data storage unit to determine whether the same voice feature data exists. Feature data search unit; If the same voice feature data is not searched through the voice feature data search unit, the user is determined to be a new user. If the user is determined to be a new user, the voice conversation data generated through the voice recognition service device is stored in the voice conversation data storage. A new voice conversation data management unit that manages new storage; And if the same voice feature data is searched through the voice feature data search unit, the user is determined to be an existing user, and if the user is determined to be an existing user, the existing user can continue the previous voice conversation with the existing user through the voice recognition service device. An existing voice conversation that provides pre-stored voice conversation data for voice feature data to the voice recognition service device, and controls the voice recognition service device so that new voice conversation content is added to the voice conversation data provided by the voice recognition service device. It may include a data management unit.
또한, 상기 기존 음성대화데이터 관리부는, 상기 음성인식서비스장치로 음성대화데이터를 제공하기 이전에 해당 음성대화데이터에 저장된 대화내용을 분석하고, 해당 음성대화 종료지점으로부터 미리 설정된 범위 이내의 대화내용을 분석하여 상기 음성인식서비스장치로 제공할 수 있다.In addition, the existing voice conversation data management unit analyzes the conversation content stored in the voice conversation data before providing voice conversation data to the voice recognition service device, and analyzes the conversation content within a preset range from the voice conversation end point. It can be analyzed and provided to the voice recognition service device.
또한, 상기 음성대화데이터 관리부는, 상기 신규 음성대화데이터 관리부를 통해 신규 사용자로 판단되면, 신규 사용자로부터 음성해시태그를 입력 받고, 입력된 음성해시태그를 상기 음성대화데이터 저장부에 기 저장된 음성해시태그와 비교하여 중복되는지 여부를 체크한 후, 중복 체크가 완료된 음성해시태그를 상기 음성대화데이터 저장부에 신규로 저장될 음성대화데이터의 속성정보로서 추가 저장되도록 하는 음성해시태그 관리부를 더 포함하고, 상기 음성해시태그는, 음성 검색을 위해 음성으로 입력 받아 인식되는 키워드일 수 있다.In addition, if the voice conversation data management unit determines that the user is a new user through the new voice conversation data management unit, the voice hashtag is input from the new user, and the input voice hashtag is stored in the voice conversation data storage unit. A voice hashtag that checks for overlap by comparing it with the voice hashtag and then additionally stores the voice hashtag for which the duplicate check has been completed as attribute information of voice conversation data to be newly stored in the voice conversation data storage unit. It further includes a management unit, and the voice hashtag may be a keyword that is input and recognized by voice for voice search.
또한, 상기 음성대화데이터 관리부는, 상기 기존 음성대화데이터 관리부를 통해 기존 사용자로 판단된 후, 해당 기존 사용자가 기 저장된 음성대화데이터를 요청하는 음성명령을 입력 받으면, 상기 음성해시태그를 입력 받고, 입력된 상기 음성해시태그를 상기 음성대화데이터 저장부에 기 저장된 음성해시태그와 비교하여 일치하는 음성해시태그를 속성정보로 갖는 기 저장된 음성대화데이터를 검색하여 제공하는 음성대화데이터 검색부를 더 포함할 수 있다.In addition, the voice conversation data management unit, after being determined to be an existing user through the existing voice conversation data management unit, receives the voice hashtag when the existing user receives a voice command requesting pre-stored voice conversation data. , Voice conversation data search that compares the input voice hashtag with voice hashtags previously stored in the voice conversation data storage unit and searches for stored voice conversation data with matching voice hashtags as attribute information. It can include more wealth.
또한, 상기 음성대화데이터 관리부는, 음성 대화방 서비스를 처음 이용하는 사용자가 기 저장된 음성 대화데이터를 제공받는 오동작 발생을 방지하기 위하여, 입력된 음성데이터가 미리 설정된 제1 음성 명령어와 일치하는 경우, 상기 신규 음성대화데이터 관리부가 해당 사용자를 신규 사용자로 판단하도록 상기 신규 음성대화데이터 관리부의 판단 결과를 제어하는 신규 음성대화데이터 관리 제어부를 더 포함할 수 있다.In addition, in order to prevent malfunctions in the case where a user using the voice chat room service for the first time receives pre-stored voice conversation data, the voice conversation data management unit, if the input voice data matches the preset first voice command, The voice conversation data management unit may further include a new voice conversation data management control unit that controls the decision result of the new voice conversation data management unit so that the user is determined to be a new user.
또한, 상기 음성대화데이터 관리부는, 상기 음성인식서비스장치를 통해 음성대화를 수행하는 과정에서 입력된 음성 명령어가 미리 설정된 제2 음성 명령어로 인식되면, 해당 음성 명령어에 대한 음성특징데이터를 추출하도록 상기 음성특징데이터 추출부를 제어하고, 추출된 음성특징데이터를 해당 음성대화데이터의 속성정보로서 추가 저장되도록 상기 음성대화데이터 저장부를 제어하는 타 사용자 음성특징 추가 저장 관리부를 더 포함할 수 있다.In addition, the voice conversation data management unit, when a voice command input during the process of performing a voice conversation through the voice recognition service device is recognized as a preset second voice command, extracts voice characteristic data for the voice command. It may further include a voice feature data additional storage management unit that controls the voice feature data extraction unit and controls the voice conversation data storage unit to additionally store the extracted voice feature data as attribute information of the voice conversation data.
본 발명에 따르면, 음성 인식 대화 서비스 로봇을 통한 음성 대화 서비스 제공 시 복수의 사용자들 각각에 대한 음성 특성을 추출하고, 추출된 음성 특징을 이용하여 음성 인식 서비스 장치를 처음 이용하는 신규 사용자 및 음성 인식 서비스 장치를 이전에 사용했던 기존 사용자를 구분하고, 신규 사용자에 대해서는 신규 사용자와 음성 인식 서비스 장치가 서로 음성 대화를 나눌 수 있는 음성 대화방을 개설해 음성 인식 대화 서비스를 제공하고, 기존의 사용자에 대해서는 기존 사용자와 음성 인식 서비스 장치가 이전 대화 내용을 그대로 이어가도록 이전에 키핑된 대화 데이터를 제공하여 음성 인식 대화 서비스를 제공함으로써 신규와 기존 사용자 모두에게 음성 인식 대화 서비스의 편의성을 증대시킨 인공지능을 기반의 사용자 음성 식별 기능을 활용한 음성대화프로그램과 연동하여 동작하는 정보처리장치를 제공할 수 있다.According to the present invention, when providing a voice conversation service through a voice recognition conversation service robot, voice characteristics for each of a plurality of users are extracted, and the extracted voice characteristics are used to provide voice recognition service to new users who use the voice recognition service device for the first time. We classify existing users who have previously used the device, provide voice recognition conversation services to new users by opening a voice chat room where new users and voice recognition service devices can have voice conversations with each other, and provide voice recognition conversation services to existing users. It is an artificial intelligence-based technology that increases the convenience of voice recognition conversation services for both new and existing users by providing voice recognition conversation services by providing previously kept conversation data so that the user and voice recognition service device can continue the previous conversation content. An information processing device that operates in conjunction with a voice conversation program utilizing a user voice identification function can be provided.
도 1은 본 발명의 실시예에 따른 정보처리장치가 적용되는 장치 환경 및 대략적인 동작 방식을 설명하기 위해 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 정보처리장치의 전체 구성을 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 음성대화데이터 관리부의 상세 구성을 나타낸 블록도이다.
도 4는 본 발명의 실시예에 따른 신규 사용자의 음성대화데이터 생성 과정을 설명하기 위해 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 기존 사용자의 기존 음성대화데이터 제공 과정을 설명하기 위해 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 기존 사용자를 대상으로 음성해시태그를 이용하여 해당 사용자의 기존 음성대화데이터를 검색하여 제공하는 과정을 설명하기 위해 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 신규 사용자를 대상으로 기존 음성대화데이터 제공 오류 시 제1 음성 명령어를 통한 신규 음성대화데이터 강제 생성 과정을 설명하기 위해 나타낸 도면이다.
도 8은 본 발명의 실시예에 따른 기존 음성대화데이터에 대하여 기존 사용자 외 타 사용자의 추가 방법을 설명하기 위해 나타낸 도면이다.1 is a diagram illustrating the device environment and approximate operation method to which the information processing device according to an embodiment of the present invention is applied.
Figure 2 is a block diagram showing the overall configuration of an information processing device according to an embodiment of the present invention.
Figure 3 is a block diagram showing the detailed configuration of the voice conversation data management unit according to an embodiment of the present invention.
Figure 4 is a diagram illustrating the process of creating voice conversation data for a new user according to an embodiment of the present invention.
Figure 5 is a diagram illustrating a process for providing existing voice conversation data to an existing user according to an embodiment of the present invention.
Figure 6 is a diagram illustrating a process for searching and providing existing voice conversation data for existing users using voice hashtags according to an embodiment of the present invention.
Figure 7 is a diagram illustrating a process for forcibly generating new voice conversation data through a first voice command when an error occurs in providing existing voice conversation data to a new user according to an embodiment of the present invention.
Figure 8 is a diagram illustrating a method of adding users other than existing users to existing voice conversation data according to an embodiment of the present invention.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.The terms used in this specification will be briefly explained, and the present invention will be described in detail.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.The terms used in the present invention are general terms that are currently widely used as much as possible while considering the function in the present invention, but this may vary depending on the intention or precedent of a person working in the art, the emergence of new technology, etc. In addition, in certain cases, there are terms arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the relevant invention. Therefore, the terms used in the present invention should be defined based on the meaning of the term and the overall content of the present invention, rather than simply the name of the term.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나 이상의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.When it is said that a part "includes" a certain element throughout the specification, this means that, unless specifically stated to the contrary, it does not exclude other elements but may further include other elements. In addition, terms such as "... unit" and "module" used in the specification refer to a unit that processes at least one function or operation, which may be implemented as hardware or software, or as a combination of hardware and software. .
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Below, with reference to the attached drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily implement the present invention. However, the present invention may be implemented in many different forms and is not limited to the embodiments described herein. In order to clearly explain the present invention in the drawings, parts that are not related to the description are omitted, and similar parts are given similar reference numerals throughout the specification.
도 1은 본 발명의 실시예에 따른 인공지능을 기반의 사용자 음성 식별 기능을 활용한 음성대화프로그램과 연동하여 동작하는 정보처리장치가 적용되는 장치 환경 및 대략적인 동작 방식을 설명하기 위해 나타낸 도면이다.Figure 1 is a diagram illustrating the device environment and approximate operation method to which an information processing device operating in conjunction with a voice conversation program utilizing an artificial intelligence-based user voice identification function according to an embodiment of the present invention is applied. .
도 1은 본 발명의 실시예에 따른 인공지능을 기반의 사용자 음성 식별 기능을 활용한 음성대화프로그램과 연동하여 동작하는 정보처리장치가 적용되는 장치 환경 및 대략적인 동작 방식을 설명하기 위해 나타낸 도면이다.Figure 1 is a diagram illustrating the device environment and approximate operation method to which an information processing device operating in conjunction with a voice conversation program utilizing an artificial intelligence-based user voice identification function according to an embodiment of the present invention is applied. .
도 1을 참조하면, 본 발명의 실시예에 따른 정보처리장치(1000)는 사용자의 음성을 인식하고, 인식된 음성에 대하여 인공지능 알고리즘을 기반으로 음성대화를 수행하는 음성인식서비스장치에 설치되고, 사용자 음성 식별 기능을 활용하여 사용자 별로 음성대화서비스를 제공하기 위한 컴퓨터 프로그램과 연동하여 동작하는 정보처리장치에 관한 것으로, 음성인식서비스장치(10)에 하드웨어 및 소프트웨어적으로 구성될 수 있으며, 음성인식서비스장치(10)에 내장된 다양한 구성요소를 활용하여 신규 사용자와 기존 사용자 별로 음성대화데이터 생성 및 관리 기능을 수행할 수 있다. Referring to FIG. 1, the information processing device 1000 according to an embodiment of the present invention is installed in a voice recognition service device that recognizes the user's voice and performs a voice conversation based on an artificial intelligence algorithm for the recognized voice. , It relates to an information processing device that operates in conjunction with a computer program to provide a voice conversation service for each user by utilizing the user voice identification function. It can be configured in hardware and software in the voice recognition service device 10, and has voice By utilizing various components built into the recognition service device 10, voice conversation data creation and management functions can be performed for each new user and existing user.
상기 음성인식서비스장치(10)는, 사용자에게 각종 정보를 안내하는 안내 로봇, 가정에 구비되는 홈 로봇, 학습자와의 인터랙션을 통해 학습자의 학습을 지도하거나 보조하는 교육용 로봇 등 다양한 종류와 목적을 갖는 음성 인식 대화 서비스 로봇을 포함할 수 있다.The voice recognition service device 10 has various types and purposes, such as a guide robot that guides the user to various information, a home robot installed at home, and an educational robot that guides or assists the learner's learning through interaction with the learner. It may include a voice recognition conversation service robot.
또한, 정보처리장치(1000)는 음성인식서비스장치(10)에 내장된 각종 구성요소(하드웨어, 소프트웨어 구성요소)를 활용하여 사용자 별 음성특징을 활용하여 음성대화데이터를 신규로 생성할지 기존 대화방을 제공할지에 대한 동작을 수행할 수 있다. 좀 더 구체적으로는 음성인식서비스장치(10)의 마이크(1), ADC(Analog To Digital Converter)(2), STT(Speech To Text) 모듈(3) 등을 활용하여 본 실시예에 따른 사용자 별 음성대화데이터 생성 및 관리 동작을 수행할 수 있다.In addition, the information processing device 1000 utilizes various components (hardware and software components) built into the voice recognition service device 10 to utilize voice characteristics for each user to create new voice conversation data or create existing chat rooms. You can perform actions regarding whether to provide it or not. More specifically, by utilizing the microphone (1), ADC (Analog To Digital Converter) (2), STT (Speech To Text) module (3), etc. of the voice recognition service device (10), each user according to this embodiment Voice conversation data creation and management operations can be performed.
도 2는 본 발명의 실시예에 따른 정보처리장치의 전체 구성을 나타낸 블록도이고, 도 3은 본 발명의 실시예에 따른 음성대화데이터 관리부의 상세 구성을 나타낸 블록도이고, 도 4는 본 발명의 실시예에 따른 신규 사용자의 음성대화데이터 개설 과정을 설명하기 위해 나타낸 도면이고, 도 5는 본 발명의 실시예에 따른 기존 사용자의 기존 음성대화데이터 제공 과정을 설명하기 위해 나타낸 도면이고, 도 6은 본 발명의 실시예에 따른 기존 사용자를 대상으로 음성해시태그를 이용하여 해당 사용자의 기존 음성대화데이터를 검색하여 제공하는 과정을 설명하기 위해 나타낸 도면이고, 도 7은 본 발명의 실시예에 따른 신규 사용자를 대상으로 기존 음성대화데이터 제공 오류 시 제1 음성 명령어를 통한 신규 음성대화데이터 강제 개설 과정을 설명하기 위해 나타낸 도면이며, 도 8은 본 발명의 실시예에 따른 기존 음성대화데이터에 대하여 기존 사용자 외 타 사용자의 추가 방법을 설명하기 위해 나타낸 도면이다.FIG. 2 is a block diagram showing the overall configuration of an information processing device according to an embodiment of the present invention, FIG. 3 is a block diagram showing the detailed configuration of a voice conversation data management unit according to an embodiment of the present invention, and FIG. 4 is a block diagram showing the overall configuration of an information processing device according to an embodiment of the present invention. Figure 5 is a diagram showing a process for providing voice conversation data for a new user according to an embodiment of the present invention, and Figure 5 is a diagram showing a process for providing existing voice conversation data for an existing user according to an embodiment of the present invention, and Figure 6 is a diagram showing the process of searching and providing existing voice conversation data to existing users using voice hashtags according to an embodiment of the present invention, and Figure 7 is a diagram showing the process of searching and providing existing voice conversation data to existing users according to an embodiment of the present invention. This is a diagram showing the process of forcibly opening new voice conversation data through the first voice command when there is an error in providing existing voice conversation data to new users, and Figure 8 shows the existing voice conversation data according to an embodiment of the present invention. This diagram is shown to explain how to add users other than existing users.
도 2를 참조하면, 본 발명의 실시예에 따른 음성인식서비스장치의 정보처리장치(1000)는 음성데이터 획득부(100), 음성특징데이터 추출부(200), 음성대화데이터 저장부(300) 및 음성대화데이터 관리부(400) 중 적어도 하나를 포함할 수 있다.Referring to FIG. 2, the information processing device 1000 of the voice recognition service device according to an embodiment of the present invention includes a voice data acquisition unit 100, a voice feature data extraction unit 200, and a voice conversation data storage unit 300. and a voice conversation data management unit 400.
상기 음성데이터 획득부(100)는, 음성인식서비스장치(10)에 내장된 마이크(1) 및 ADC(2)를 통해 음성데이터를 획득할 수 있다. 마이크(1)는 사용자가 발성한 음성을 입력 받고, 입력된 음성을 전기적신호(아날로그신호)로 변환할 수 있다. ADC(2)는 마이크(1)를 통해 전기적신호에 대한 샘플링 및 양자화 과정을 거쳐 디지털신호인 음성데이터로 변환할 수 있으며, 변환된 음성데이터는 음성데이터 획득부(100)를 통해 획득되어 음성특징데이터 추출부(200)로 전달될 수 있다.The voice data acquisition unit 100 can acquire voice data through the microphone 1 and ADC 2 built into the voice recognition service device 10. The microphone 1 can receive the voice uttered by the user and convert the input voice into an electrical signal (analog signal). The ADC (2) can convert the electrical signal into voice data, which is a digital signal, through a sampling and quantization process through the microphone (1), and the converted voice data is acquired through the voice data acquisition unit 100 to obtain voice characteristics. It may be transmitted to the data extraction unit 200.
상기 음성특징데이터 추출부(200)는, 음성데이터 획득부(100)로부터 공급되는 음성데이터로부터 사용자에 대한 음성특징을 추출하여 음성특징데이터를 생성할 수 있다. 이러한 음성특징데이터 추출부(200)는 음성데이터 획득부(100)로부터 공급되는 음성데이터에 대하여, 적당한 프레임마다 음향 분석 처리를 실시하고, MFCC(Mel-Frequency Cepstral Coefficient) 등의 특징량을 갖는 특징벡터를 추출할 수 있으며, 이외에도 스펙트럼이나, 선형 예측 계수, 켑스트럼 계수, 선 스펙트럼 쌍 등의 특징벡터를 추출할 수 있다.The voice feature data extraction unit 200 may generate voice feature data by extracting voice features for the user from voice data supplied from the voice data acquisition unit 100. This voice feature data extraction unit 200 performs acoustic analysis processing for each appropriate frame on the voice data supplied from the voice data acquisition unit 100, and extracts features having characteristic quantities such as MFCC (Mel-Frequency Cepstral Coefficient). Vectors can be extracted, and in addition, feature vectors such as spectra, linear prediction coefficients, cepstrum coefficients, and line spectrum pairs can be extracted.
상기 음성대화데이터 저장부(300)는 음성특징데이터 별로 사용자와 음성인식서비스장치(10) 간의 음성 대화 데이터가 포함된 음성대화데이터를 저장할 수 있다. The voice conversation data storage unit 300 may store voice conversation data including voice conversation data between the user and the voice recognition service device 10 for each voice characteristic data.
좀 더 구체적으로, 음성대화데이터 저장부(300)는, 사용자 별로 추출된 음성특징데이터를 해당 사용자의 음성대화데이터에 대한 속성정보로 저장 관리할 수 있으며, 이에 더하여 해당 속성정보에 해당 음성대화데이터에 대한 신규 생성 또는 업데이트 일시정보를 추가로 저장하여 관리할 수 있다. 이에 따라, 음성대화데이터 저장부(300)는 음성대화데이터에 대한 데이터는 메인데이터로서 저장되고, 해당 메인데이터에 대한 메타데이터로서 음성특징데이터와 해당 대화방의 생성 또는 업데이트 일시정보를 저장함으로써 음성대화데이터에 대하여 일차적으로 음성특징데이터를 기반으로 검색이 가능하도록 하며, 음성특징데이터가 유사하여 두 개 이상의 음성대화데이터가 검색되는 경우 또 다른 속성정보에 해당하는 대화방의 생성 또는 업데이트 일시정보를 사용자에게 제공하여 검색된 음성대화데이터 중 자신의 대화방을 좀 더 쉽게 구분 및 선택할 수 있도록 한다.More specifically, the voice conversation data storage unit 300 can store and manage voice characteristic data extracted for each user as attribute information for the voice conversation data of the user, and in addition, the voice conversation data in the attribute information. You can additionally store and manage new creation or update date information. Accordingly, the voice conversation data storage unit 300 stores voice conversation data as main data, and stores voice feature data and creation or update date information of the corresponding chat room as metadata for the main data, thereby enabling voice conversation. Data can be searched primarily based on voice feature data, and if two or more voice conversation data are searched because the voice feature data is similar, information on the creation or update date of the chat room corresponding to other attribute information is provided to the user. It is provided so that you can more easily distinguish and select your chat room among the searched voice chat data.
상기 음성대화데이터 관리부(400)는, 음성대화 시작 시, 음성대화데이터 저장부(300)에 기 저장된 음성특징데이터 중 음성특징데이터 추출부(200)를 통해 추출된 음성특징데이터와 동일한 음성특징데이터가 존재하는지를 체크하고, 동일한 음성특징데이터가 존재하지 않은 경우, 음성인식서비스장치(10)를 통해 생성된 음성대화데이터가 음성대화데이터 저장부(200)에 신규 저장되도록 하고, 동일한 음성특징데이터가 존재하는 경우, 해당 음성특징데이터에 대하여 기 저장된 음성대화데이터를 음성인식서비스장치(10)로 제공할 수 있다.When a voice conversation is started, the voice conversation data management unit 400 generates voice feature data identical to the voice feature data extracted through the voice feature data extraction unit 200 among the voice feature data already stored in the voice conversation data storage unit 300. It is checked whether the same voice feature data exists, and if the same voice feature data does not exist, the voice conversation data generated through the voice recognition service device 10 is newly stored in the voice conversation data storage unit 200, and the same voice feature data is stored in the voice conversation data storage unit 200. If present, voice conversation data previously stored for the corresponding voice characteristic data can be provided to the voice recognition service device 10.
이를 위해 음성대화데이터 관리부(400)는 도 3에 도시된 바와 같이, 음성특징데이터 검색부(410), 신규 음성대화데이터 관리부(420), 기존 음성대화데이터 관리부(430), 음성해시태그 관리부(440), 음성대화데이터 검색부(450), 신규 음성대화데이터 관리 제어부(460) 및 타 사용자 음성특징 추가 저장 관리부(470) 중 적어도 하나를 포함할 수 있으며, 음성인식서비스장치(10)의 제어부(4)와 연동하여 음성 인식 서비스 실행 시 신규 음성대화데이터 및 기존 음성대화데이터에 의해 생성되는 데이터나 정보를 관리할 수 있다.To this end, as shown in FIG. 3, the voice conversation data management unit 400 includes a voice feature data search unit 410, a new voice conversation data management unit 420, an existing voice conversation data management unit 430, and a voice hashtag management unit. (440), it may include at least one of a voice conversation data search unit 450, a new voice conversation data management control unit 460, and an additional storage management unit 470 for voice characteristics of other users, and the voice recognition service device 10 In conjunction with the control unit 4, data or information generated by new voice conversation data and existing voice conversation data can be managed when the voice recognition service is executed.
상기 음성특징데이터 검색부(410)는, 음성특징데이터 추출부(200)를 통해 생성된 음성특징데이터와 음성대화데이터 저장부(300)에 저장된 음성특징데이터 간을 비교하여 서로 동일한 음성특징데이터가 존재하는지 여부를 확인하고, 그 존재 여부 또는 검색 결과에 따라 신규 음성대화데이터 관리부(420) 또는 기존 음성대화데이터 관리부(430)가 실행되며 이에 대한 보다 상세한 설명은 후술한다.The voice feature data search unit 410 compares the voice feature data generated through the voice feature data extraction unit 200 and the voice feature data stored in the voice conversation data storage unit 300 to determine if the voice feature data is the same. It is checked whether it exists, and depending on its existence or search results, the new voice conversation data management unit 420 or the existing voice conversation data management unit 430 is executed, and a more detailed description of this will be provided later.
상기 신규 음성대화데이터 관리부(420)는, 음성특징데이터 검색부(410)를 통해 동일한 음성특징데이터가 검색되지 않는 경우 해당 사용자를 신규 사용자로 판단하고, 신규 사용자로 판단되면 음성인식서비스장치(10)를 통해 생성된 음성대화데이터를 음성대화데이터 저장부(300)에 신규로 저장되도록 관리할 수 있다.The new voice conversation data management unit 420 determines that the user is a new user when the same voice feature data is not searched through the voice feature data search unit 410, and when it is determined that the user is a new user, the voice recognition service device (10) ) can be managed so that the generated voice conversation data is newly stored in the voice conversation data storage unit 300.
좀 더 구체적으로, 도 4에 도시된 바와 같이 사용자(신규 사용자)로부터 음성특징데이터가 추출되면, 추출된 음성특징데이터는 음성특징데이터 검색부(410)를 통해 음성대화데이터 저장부(300)에 대한 검색이 이루어지며, 검색 방법은 해당 음성특징데이터와 동일한 음성특징데이터가 존재하는지를 검색하는 과정이며, 이러한 과정에서 음성대화데이터 저장부(300)에 저장된 음성특징데이터 중 사용자의 음성특징데이터와 일치하는 데이터가 존재하지 않는 경우, 해당 사용자를 신규 사용자로 정의하고, 신규 음성대화데이터 관리부(420)를 통해 해당 사용자의 음성특징데이터를 속성정보로 하는 신규 음성대화데이터를 개설하여 해당 신규 사용자가 개설된 음성대화데이터를 통해 음성대화서비스를 제공 받을 수 있도록 한다.More specifically, as shown in FIG. 4, when voice feature data is extracted from a user (new user), the extracted voice feature data is stored in the voice conversation data storage unit 300 through the voice feature data search unit 410. A search is performed, and the search method is a process of searching whether voice feature data identical to the corresponding voice feature data exists. In this process, among the voice feature data stored in the voice conversation data storage unit 300, a match is made to the user's voice feature data. If there is no data, the user is defined as a new user, and new voice conversation data using the user's voice characteristic data as attribute information is opened through the new voice conversation data management unit 420, and the new user is opened. It is possible to receive voice conversation services through voice conversation data.
상기 기존 음성대화데이터 관리부(430)는, 음성특징데이터 검색부(410)를 통해 동일한 음성특징데이터가 검색되는 경우 해당 사용자를 기존 사용자로 판단하고, 기존 사용자로 판단되면 음성인식서비스장치(10)를 통해 기존 사용자와의 이전 음성대화를 이어갈 수 있도록 기존 사용자의 음성특징데이터에 대하여 기 저장된 음성대화데이터를 음성인식서비스장치(10)로 제공하되, 음성인식서비스장치(10)로 제공된 음성대화데이터에 새로운 음성대화내용이 추가되도록 음성인식서비스장치(10)를 제어할 수 있다.The existing voice conversation data management unit 430 determines that the user is an existing user when the same voice characteristic data is searched through the voice characteristic data search unit 410, and when determined to be an existing user, the voice recognition service device 10 In order to continue the previous voice conversation with the existing user, pre-stored voice conversation data regarding the voice characteristic data of the existing user is provided to the voice recognition service device (10), and the voice conversation data provided to the voice recognition service device (10) The voice recognition service device 10 can be controlled to add new voice conversation content.
좀 더 구체적으로, 도 5에 도시된 바와 같이 사용자(기존 사용자)로부터 음성특징데이터가 추출되면, 추출된 음성특징데이터는 음성특징데이터 검색부(410)를 통해 음성대화데이터 저장부(300)에 대한 검색이 이루어지며, 검색 방법은 해당 음성특징데이터와 동일한 음성특징데이터가 존재하는지를 검색하는 과정이며, 이러한 과정에서 음성대화데이터 저장부(300)에 저장된 음성특징데이터 중 사용자의 음성특징데이터와 일치하는 데이터가 존재하는 경우, 해당 사용자를 기존 사용자로 정의하고, 기존 음성대화데이터 관리부(420)를 통해 해당 사용자의 음성특징데이터를 속성정보로 저장되어 있는 기존 음성대화데이터를 불러와서 해당 기존 사용자가 기존 음성대화데이터를 통해 음성대화서비스를 이전 대화내용에 이어 계속하여 진행할 수 있도록 한다.More specifically, as shown in FIG. 5, when voice feature data is extracted from a user (existing user), the extracted voice feature data is stored in the voice conversation data storage unit 300 through the voice feature data search unit 410. A search is performed, and the search method is a process of searching whether voice feature data identical to the corresponding voice feature data exists. In this process, among the voice feature data stored in the voice conversation data storage unit 300, a match is made to the user's voice feature data. If data exists, the user is defined as an existing user, and the existing voice conversation data stored as attribute information of the user's voice characteristic data is retrieved through the existing voice conversation data management unit 420, and the existing user is The voice conversation service can be continued following previous conversation content through existing voice conversation data.
상기 기존 음성대화데이터 관리부(430)는, 음성인식서비스장치(10)로 음성대화데이터를 제공하기 이전에 해당 음성대화데이터에 저장된 대화내용을 분석하고, 해당 음성대화 종료지점으로부터 미리 설정된 범위 이내의 대화내용을 분석하여 음성인식서비스장치(10)로 제공할 수 있다. The existing voice conversation data management unit 430 analyzes the conversation content stored in the voice conversation data before providing voice conversation data to the voice recognition service device 10, and analyzes the conversation content stored in the voice conversation data within a preset range from the voice conversation end point. The conversation content can be analyzed and provided to the voice recognition service device 10.
좀 더 구체적으로, 기존 사용자가 공항 내 약국의 위치를 찾는 내용으로 음성 인식 서비스를 제공 받는 중에 해당 서비스 위치를 이탈한 후 일정 시간이 지나 다시 해당 서비스 위치로 복귀한 상태에서 기존 음성대화데이터를 제공 받게 되면, 시간적 기준으로 판단했을 때 해당 대화방 종료 직전 대략 5분 동안 나눈 대화내용을 분석할 수 있고, 대화량을 기준으로 판단했을 때 대화방 종료 직전 대략 5MB 분량의 대화내용을 분석할 수 있다. 이렇게 분석된 대화내용을 바탕으로 한 기존 음성대화데이터를 제공하기 이전에 대화내용에 대한 주요내용을 정리하여 해당 사용자에게 알려주거나, 미 응답 처리된 내용을 바로 찾아 제공해주는 등 기존 사용자와의 적절한 대화 및 응답을 지속적으로 제공함으로써 기존 대화를 자연스럽게 이어갈 수 있도록 한다.More specifically, while an existing user is receiving a voice recognition service to find the location of a pharmacy in the airport, the existing voice conversation data is provided when the user leaves the service location and returns to the service location after a certain period of time. Once received, when judged based on time, it is possible to analyze the conversation content held for approximately 5 minutes immediately before the end of the chat room, and when judged based on conversation volume, approximately 5 MB worth of conversation content immediately before the end of the chat room can be analyzed. Before providing existing voice conversation data based on the conversation content analyzed in this way, appropriate conversation with the existing user, such as organizing the main content of the conversation and informing the relevant user, or immediately finding and providing the content that has not been responded to. and responses are continuously provided to allow existing conversations to continue naturally.
상기 음성해시태그 관리부(440)는, 신규 음성대화데이터 관리부(420)를 통해 신규 사용자로 판단되면, 신규 사용자로부터 음성해시태그를 입력 받고, 입력된 음성해시태그를 음성대화데이터 저장부(300)에 기 저장된 음성해시태그와 비교하여 중복되는지 여부를 체크한 후, 중복 체크가 완료된 음성해시태그를 음성대화데이터 저장부(300)에 신규로 저장될 음성대화데이터의 속성정보로서 저장되도록 할 수 있다.If the voice hashtag management unit 440 determines that the user is a new user through the new voice conversation data management unit 420, the voice hashtag is input from the new user, and the input voice hashtag is stored in the voice conversation data storage. After checking whether or not there is a duplicate by comparing it with the voice hashtag already stored in (300), the voice hashtag for which the duplicate check has been completed is used as attribute information of voice conversation data to be newly stored in the voice conversation data storage unit (300). It can be saved.
예를 들어, 신규 사용자가 신규 음성대화서비스를 시작하기 직전이나 또는 직후에 음성해시태그를 입력하라는 안내메시지를 전달하게 되고, 해당 안내메시지에 따라 신규 사용자는 해당 음성대화데이터에 대한 음성해시태그를 입력하여 설정할 수 있다. 이때, 입력 방법으로는 음성에 의한 방법과 키보드 등의 인터페이스를 통한 입력 방법이 있다. 음성에 의한 해시태그 입력 방법은 음성 입력 시 "샵" 또는 "해시태그" 등의 음성해시태그 값이 입력됨을 알리는 음성명령어를 먼저 입력 받은 후 "공항 약국 찾기" 등과 같은 음성해시태그 값을 음성으로 입력 받을 수 있으며, 입력된 해시태그 값은 기존에 없는 표현인지를 확인한 후 중복된 내용이 있으면 새롭게 변경할 것을 안내함과 동시에 중복을 회피하여 등록 가능한 표현들을 생성하여 추천할 수 있다. For example, just before or after a new user starts a new voice conversation service, a message asking them to enter a voice hash tag is sent, and according to the message, the new user enters a voice hash for the voice conversation data. You can set it by entering a tag. At this time, the input method includes a voice method and an input method through an interface such as a keyboard. The method of inputting a hashtag by voice is to first input a voice command indicating that a voice hashtag value such as "shop" or "hashtag" will be entered when inputting a voice, and then input the voice hashtag value such as "Find an airport pharmacy". It can be input by voice, and the entered hashtag value can be checked to see if it is an expression that does not exist before, and if there is duplicate content, a new change is provided. At the same time, expressions that can be registered can be created and recommended by avoiding duplicates.
예를 들어, "공항 약국 찾기"에 대한 음성해시태그 값이 저장되어 있는 경우 "공항 내 약국 찾기" 또는 "약국 좀 찾아줘" 등의 등록 가능한 예시 표현들을 추천할 수 있다. 만약, 신규 사용자가 입력한 음성해시태그 값에 중복되지 않는 표현인 경우 해당 음성대화데이터의 속성정보로서 저장되어 추후에 사용자의 선택에 따라 음성해시태그 값을 입력하여 사용자 자신이 저장한 음성대화데이터를 보다 쉽게 검색할 수 있도록 한다. For example, if the voice hashtag value for “Find a pharmacy at the airport” is stored, example expressions that can be registered such as “Find a pharmacy at the airport” or “Please find a pharmacy” can be recommended. If the expression does not overlap with the voice hashtag value entered by the new user, it is saved as attribute information of the voice conversation data, and the voice saved by the user is later entered by entering the voice hashtag value according to the user's selection. Makes conversation data easier to search.
한편, 음성해시태그 값이 유사하여 사용자가 자신의 음성대화데이터가 맞는지 확신이 없는 경우를 대비하여 속성정보로서 저장된 대화방 생성 또는 업데이트 일시정보를 해당 사용자에게 제시하여 자신의 음성대화데이터를 정확히 선택할 수 있도록 안내할 수 있다.Meanwhile, in case the user is not sure whether his or her voice conversation data is correct because the voice hashtag values are similar, the chat room creation or update date information stored as attribute information is presented to the user to accurately select his or her voice conversation data. We can guide you through this.
상기 음성대화데이터 검색부(450)는, 기존 음성대화데이터 관리부(430)를 통해 기존 사용자로 판단된 후, 해당 기존 사용자가 기 저장된 음성대화데이터를 요청하는 음성명령을 입력 받으면, 해당 음성해시태그를 입력 받고, 입력된 음성해시태그를 음성대화데이터 저장부(300)에 기 저장된 음성해시태그와 비교하여 일치하는 음성해시태그를 속성정보로 갖는 기 저장된 음성대화데이터를 검색하여 제공할 수 있다.The voice conversation data search unit 450 is determined to be an existing user through the existing voice conversation data management unit 430, and when the existing user receives a voice command requesting pre-stored voice conversation data, the voice hash The tag is input, the input voice hashtag is compared with the voice hashtag previously stored in the voice conversation data storage unit 300, and the previously stored voice conversation data having the matching voice hashtag as attribute information is searched and provided. can do.
좀 더 구체적으로, 도 6에 도시된 바와 같이 기존 사용자(#4)에 대한 음성특징데이터가 추출된 후(1), 해당 음성특징데이터를 갖는 음성대화데이터를 검색하여(2) 제공했을 때(3), 제공된 기존 음성대화데이터(#3)의 내용 확인 후 기존 사용자 자신의 것이 아니라고 판단한 경우, 이전에 설정해 놓은 음성해시태그(5)를 입력할 수 있다. 입력된 음성해시태그를 기존으로 동일한 태그를 검색하고, 검색된 태그와 관련하여 미리 저장되어 있는 기존 음성대화데이터(#4)를 기존 사용자(#4)에게 다시 제공할 수 있다.More specifically, as shown in Figure 6, after the voice feature data for the existing user (#4) is extracted (1), voice conversation data with the corresponding voice feature data is searched and provided (2) ( 3), After checking the contents of the existing voice conversation data (#3) provided, if it is determined that it does not belong to the existing user, the previously set voice hashtag (5) can be entered. The inputted voice hashtag can be searched for the same tag as before, and the existing voice conversation data (#4) previously stored in relation to the searched tag can be provided back to the existing user (#4).
상기 신규 음성대화데이터 관리 제어부(460)는, 음성 대화방 서비스를 처음 이용하는 사용자가 기 저장된 음성 대화데이터를 제공받는 오동작 발생을 방지하기 위하여, 입력된 음성데이터가 미리 설정된 제1 음성 명령어와 일치하는 경우, 신규 음성대화데이터 관리부(420)가 해당 사용자를 신규 사용자로 판단하도록 신규 음성대화데이터 관리부(420)의 판단 결과를 제어(즉, 해당 음성 명령을 입력한 사용자가 신규 사용자인 것으로 판단되도록 제어)할 수 있다.The new voice conversation data management control unit 460 is configured to prevent malfunctions in users who use the voice chat room service for the first time receiving pre-stored voice conversation data when the input voice data matches the preset first voice command. , Control the decision result of the new voice conversation data management unit 420 so that the new voice conversation data management unit 420 determines that the user is a new user (i.e., control so that the user who entered the voice command is determined to be a new user) can do.
좀 더 구체적으로, 도 7에 도시된 바와 같이 신규 사용자로부터 추출된 음성특징데이터를 기반으로 음성대화데이터 저장부(300)를 통해 검색(1)했을 때 검색되지 않아 신규 음성대화데이터를 생성해야 하나, 해당 음성특징데이터가 다른 사용자의 음성특징데이터와 유사하거나 동일하다고 판단되는 오류가 발생되는 경우(2), 해당 사용자에 대하여 저장된 기존 음성대화데이터를 기반으로 음성대화서비스를 진행하는 오동작이 발생될 수 있다. 이러한 경우, 신규 사용자가 별도의 안내메시지에 따라 미리 설정된 제1 음성 명령어 가령, "신규 대화방 열어줘" 등의 음성 명령을 입력하면, 일전에 추출된 음성특징데이터 또는 제1 음성 명령어를 위해 입력된 음성을 활용한 음성특징데이터를 추출하여 해당 사용자를 신규 사용자로 정의하여 그에 따른 신규 음성대화서비스를 즉시 진행할 수 있다.More specifically, as shown in FIG. 7, when searching (1) through the voice conversation data storage unit 300 based on voice feature data extracted from a new user, it is not searched, so should new voice conversation data be created? , If an error occurs where the voice characteristic data is judged to be similar or identical to another user's voice characteristic data (2), a malfunction may occur in the voice conversation service based on the existing voice conversation data stored for the user. You can. In this case, when a new user inputs a preset first voice command, such as “Open a new chat room,” according to a separate information message, the voice feature data extracted previously or the input for the first voice command is returned. By extracting voice characteristic data using voice, defining the user as a new user, a new voice conversation service can be immediately launched accordingly.
상기 타 사용자 음성특징 추가 저장 관리부(470)는, 음성인식서비스장치(10)를 통해 음성대화를 수행하는 과정에서 입력된 음성 명령어가 미리 설정된 제2 음성 명령어로 인식되면, 해당 음성 명령어에 대한 음성특징데이터를 추출하도록 음성특징데이터 추출부(200)를 제어하고, 추출된 음성특징데이터를 해당 음성대화데이터의 속성정보로서 추가 저장되도록 음성대화데이터 저장부(300)를 제어할 수 있다.When the voice command inputted in the process of performing a voice conversation through the voice recognition service device 10 is recognized as a preset second voice command, the other user's voice feature additional storage management unit 470 responds to the voice command in response to the voice command. The voice feature data extraction unit 200 can be controlled to extract feature data, and the voice conversation data storage unit 300 can be controlled to additionally store the extracted voice feature data as attribute information of the corresponding voice conversation data.
좀 더 구체적으로, 도 8에 도시된 바와 같이 도 6에 도시된 바와 같이 기존 사용자(#4)에 대한 음성특징데이터가 추출된 후(1), 해당 음성특징데이터를 갖는 음성대화데이터를 검색하여(2) 기존 음성대화데이터(#4)을 정상적으로 제공한 경우, 기존 사용자(#4)은 자신 이외에 타 사용자도 자신의 대화방에 자신과 함께 음성 인식 서비스를 제공 받기를 원할 수 있다(4). 이러한 경우, 기존 음성대화데이터(#4)이 기존 사용자(#4)에게 정상적으로 제공되었을 때, 안내메시지에 따라 미리 설정된 제2 음성 명령어 가령, "사용자 추가 시켜줘" 등의 음성 명령을 입력하면(5), 일전에 추출된 음성특징데이터 또는 제2 음성 명령어를 위해 입력된 음성을 활용한 음성특징데이터를 해당 기존 음성대화데이터(#4)에 대해 저장되어 있는 음성특징데이터와 일치하는 경우, 입력된 제2 음성 명령어를 실행시켜 타 사용자에 대한 추가 등록 과정을 진행할 수 있다. 여기서, 추가 등록 과정(6)은 신규 등록 과정과 유사하게 추가 대상의 음성대화데이터(#4)이 활성화되어 있으므로, 추가로 등록하고자 하는 타 사용자의 음성을 입력하고, 해당 음성에 대한 특징데이터를 추출해 해당 음성대화데이터(#4)의 속성정보로서 등록(7)하는 과정으로 진행될 수 있다.More specifically, as shown in FIG. 8, after the voice feature data for the existing user (#4) is extracted as shown in FIG. 6 (1), voice conversation data with the corresponding voice feature data is searched (2) If the existing voice conversation data (#4) is normally provided, the existing user (#4) may want other users in addition to the user to receive voice recognition services in the chat room along with the user (4). In this case, when the existing voice conversation data (#4) is normally provided to the existing user (#4), if you input a preset second voice command, such as “Add a user” according to the guidance message (5 ), If the voice feature data extracted previously or the voice feature data using the voice input for the second voice command matches the voice feature data stored for the existing voice conversation data (#4), the input You can proceed with the additional registration process for other users by executing the second voice command. Here, in the additional registration process (6), similar to the new registration process, the voice conversation data (#4) of the additional target is activated, so input the voice of another user you wish to additionally register, and enter the characteristic data for the voice. This can be done through the process of extracting and registering (7) as attribute information of the corresponding voice conversation data (#4).
이상에서 설명한 것은 본 발명에 의한 인공지능을 기반의 사용자 음성 식별 기능을 활용한 음성대화프로그램과 연동하여 동작하는 정보처리장치를 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.What has been described above is only one embodiment for implementing an information processing device that operates in conjunction with a voice conversation program utilizing a user voice identification function based on artificial intelligence according to the present invention, and the present invention is based on the above embodiment. Without limitation, the technical spirit of the present invention is maintained to the extent that various modifications can be made by anyone skilled in the art without departing from the gist of the present invention, as claimed in the following claims. They will say that there is.
1000: 정보처리장치
100: 음성데이터 획득부
200: 음성특징데이터 추출부
300: 음성대화데이터 저장부
400: 음성대화데이터 관리부
410: 음성특징데이터 검색부
420: 신규 음성대화데이터 관리부
430: 기존 음성대화데이터 관리부
440: 음성해시태그 관리부
450: 음성대화데이터 검색부
460: 신규 음성대화데이터 관리 제어부
470: 타 사용자 음성특징 추가 저장 관리부
10: 음성인식서비스장치
1: 마이크
2: ADC
3: STT 모듈
4: 제어부
20: 데이터베이스 또는 서버1000: Information processing device
100: Voice data acquisition unit
200: Voice feature data extraction unit
300: Voice conversation data storage unit
400: Voice conversation data management department
410: Voice feature data search unit
420: New voice conversation data management department
430: Existing voice conversation data management unit
440: Voice hashtag management department
450: Voice conversation data search unit
460: New voice conversation data management control unit
470: Additional storage management unit for voice characteristics of other users
10: Voice recognition service device
1: microphone
2: ADC
3: STT module
4: Control unit
20: Database or server
Claims (8)
상기 음성인식서비스장치에 내장된 마이크 및 ADC(Analog-Digital Converter)를 통해 사용자의 음성데이터를 획득하는 음성데이터 획득부;
상기 음성데이터로부터 사용자의 음성특징을 추출하여 음성특징데이터를 생성하는 음성특징데이터 추출부;
상기 음성특징데이터 별로 상기 음성대화데이터를 저장하는 음성대화데이터 저장부; 및
음성대화 시작 시, 상기 음성대화데이터 저장부에 기 저장된 음성특징데이터 중 상기 음성특징데이터 추출부를 통해 추출된 음성특징데이터와 동일한 음성특징데이터가 존재하는지를 체크하고, 동일한 음성특징데이터가 존재하지 않은 경우, 상기 음성인식서비스장치를 통해 생성된 음성대화데이터가 상기 음성대화데이터 저장부에 신규 저장되도록 하고, 동일한 음성특징데이터가 존재하는 경우, 해당 음성특징데이터에 대하여 기 저장된 음성대화데이터를 상기 음성인식서비스장치로 제공하는 음성대화데이터 관리부를 포함하는 것을 특징으로 하는 인공지능을 기반의 사용자 음성 식별 기능을 활용한 음성대화프로그램과 연동하여 동작하는 정보처리장치.
It is installed on a voice recognition service device that recognizes the user's voice and performs a voice conversation based on an artificial intelligence algorithm for the recognized voice, and provides a voice conversation service for each user by utilizing the user voice identification function. It relates to information processing devices that operate in conjunction with each other.
A voice data acquisition unit that acquires the user's voice data through a microphone and an analog-digital converter (ADC) built into the voice recognition service device;
a voice feature data extraction unit that extracts the user's voice features from the voice data and generates voice feature data;
a voice conversation data storage unit that stores the voice conversation data for each voice feature data; and
When starting a voice conversation, it is checked whether the same voice feature data as the voice feature data extracted through the voice feature data extraction unit exists among the voice feature data pre-stored in the voice conversation data storage unit, and if the same voice feature data does not exist, , so that the voice conversation data generated through the voice recognition service device is newly stored in the voice conversation data storage, and if the same voice feature data exists, the voice conversation data previously stored for the voice feature data is recognized by the voice conversation. An information processing device that operates in conjunction with a voice conversation program utilizing an artificial intelligence-based user voice identification function, characterized by including a voice conversation data management unit provided as a service device.
상기 음성대화데이터 저장부는,
상기 음성특징데이터 및 상기 음성대화데이터를 신규 저장 또는 음성대화내용을 추가한 일시정보를 해당 음성대화데이터의 속성정보로서 저장하는 것을 특징으로 하는 인공지능을 기반의 사용자 음성 식별 기능을 활용한 음성대화프로그램과 연동하여 동작하는 정보처리장치.
According to claim 1,
The voice conversation data storage unit,
Voice conversation using a user voice identification function based on artificial intelligence, characterized in that the voice feature data and the voice conversation data are newly stored or the time information to which voice conversation content is added is stored as attribute information of the voice conversation data. An information processing device that operates in conjunction with a program.
상기 음성대화데이터 관리부는,
상기 음성특징데이터 추출부를 통해 생성된 음성특징데이터와 상기 음성대화데이터 저장부에 저장된 음성특징데이터 간을 비교하여 서로 동일한 음성특징데이터가 존재하는지 여부를 판단하는 음성특징데이터 검색부;
상기 음성특징데이터 검색부를 통해 동일한 음성특징데이터가 검색되지 않는 경우 해당 사용자를 신규 사용자로 판단하고, 신규 사용자로 판단되면 상기 음성인식서비스장치를 통해 생성된 음성대화데이터를 상기 음성대화데이터 저장부에 신규로 저장되도록 관리하는 신규 음성대화데이터 관리부; 및
상기 음성특징데이터 검색부를 통해 동일한 음성특징데이터가 검색되는 경우 해당 사용자를 기존 사용자로 판단하고, 기존 사용자로 판단되면 상기 음성인식서비스장치를 통해 기존 사용자와의 이전 음성대화를 이어갈 수 있도록 기존 사용자의 음성특징데이터에 대하여 기 저장된 음성대화데이터를 상기 음성인식서비스장치로 제공하되, 상기 음성인식서비스장치로 제공된 음성대화데이터에 새로운 음성대화내용이 추가되도록 상기 음성인식서비스장치를 제어하는 기존 음성대화데이터 관리부를 포함하는 것을 특징으로 하는 인공지능을 기반의 사용자 음성 식별 기능을 활용한 음성대화프로그램과 연동하여 동작하는 정보처리장치.
According to claim 1,
The voice conversation data management unit,
a voice feature data search unit that compares the voice feature data generated through the voice feature data extraction unit and the voice feature data stored in the voice conversation data storage unit to determine whether identical voice feature data exists;
If the same voice feature data is not searched through the voice feature data search unit, the user is determined to be a new user. If the user is determined to be a new user, the voice conversation data generated through the voice recognition service device is stored in the voice conversation data storage. A new voice conversation data management unit that manages new storage; and
If the same voice feature data is searched through the voice feature data search unit, the user is determined to be an existing user. If the user is determined to be an existing user, the existing user can continue the previous voice conversation with the existing user through the voice recognition service device. Existing voice conversation data that provides pre-stored voice conversation data with respect to voice feature data to the voice recognition service device, and controls the voice recognition service device so that new voice conversation content is added to the voice conversation data provided by the voice recognition service device. An information processing device that operates in conjunction with a voice conversation program utilizing an artificial intelligence-based user voice identification function, characterized by including a management unit.
상기 기존 음성대화데이터 관리부는,
상기 음성인식서비스장치로 음성대화데이터를 제공하기 이전에 해당 음성대화데이터에 저장된 대화내용을 분석하고, 해당 음성대화 종료지점으로부터 미리 설정된 범위 이내의 대화내용을 분석하여 상기 음성인식서비스장치로 제공하는 것을 특징으로 하는 인공지능을 기반의 사용자 음성 식별 기능을 활용한 음성대화프로그램과 연동하여 동작하는 정보처리장치.
According to clause 3,
The existing voice conversation data management unit,
Before providing voice conversation data to the voice recognition service device, the conversation content stored in the voice conversation data is analyzed, and the conversation content within a preset range from the voice conversation end point is analyzed and provided to the voice recognition service device. An information processing device that operates in conjunction with a voice conversation program utilizing an artificial intelligence-based user voice identification function.
상기 음성대화데이터 관리부는,
상기 신규 음성대화데이터 관리부를 통해 신규 사용자로 판단되면, 신규 사용자로부터 음성해시태그를 입력 받고, 입력된 음성해시태그를 상기 음성대화데이터 저장부에 기 저장된 음성해시태그와 비교하여 중복되는지 여부를 체크한 후, 중복 체크가 완료된 음성해시태그를 상기 음성대화데이터 저장부에 신규로 저장될 음성대화데이터의 속성정보로서 추가 저장되도록 하는 음성해시태그 관리부를 더 포함하고,
상기 음성해시태그는, 음성 검색을 위해 음성으로 입력 받아 인식되는 키워드인 것을 특징으로 하는 인공지능을 기반의 사용자 음성 식별 기능을 활용한 음성대화프로그램과 연동하여 동작하는 정보처리장치.
According to clause 3,
The voice conversation data management unit,
If a new user is determined to be a new user through the new voice conversation data management unit, a voice hashtag is input from the new user, and the input voice hashtag is compared with the voice hashtag already stored in the voice conversation data storage unit to see if there is a duplicate. After checking whether or not, it further includes a voice hashtag management unit that additionally stores the voice hashtag for which the duplicate check has been completed as attribute information of voice conversation data to be newly stored in the voice conversation data storage unit,
The voice hashtag is a keyword that is input and recognized by voice for voice search. An information processing device that operates in conjunction with a voice conversation program utilizing a user voice identification function based on artificial intelligence.
상기 음성대화데이터 관리부는,
상기 기존 음성대화데이터 관리부를 통해 기존 사용자로 판단된 후, 해당 기존 사용자가 기 저장된 음성대화데이터를 요청하는 음성명령을 입력 받으면, 상기 음성해시태그를 입력 받고, 입력된 상기 음성해시태그를 상기 음성대화데이터 저장부에 기 저장된 음성해시태그와 비교하여 일치하는 음성해시태그를 속성정보로 갖는 기 저장된 음성대화데이터를 검색하여 제공하는 음성대화데이터 검색부를 더 포함하는 것을 특징으로 하는 인공지능을 기반의 사용자 음성 식별 기능을 활용한 음성대화프로그램과 연동하여 동작하는 정보처리장치.
According to claim 5,
The voice conversation data management unit,
After being determined to be an existing user through the existing voice conversation data management unit, when the existing user receives a voice command requesting pre-stored voice conversation data, the voice hashtag is input, and the voice hashtag is input. An artificial voice conversation data search unit that compares the voice conversation data storage unit with the voice hashtags pre-stored and searches for and provides voice conversation data having matching voice hash tags as attribute information. An information processing device that operates in conjunction with a voice conversation program that utilizes an intelligence-based user voice identification function.
상기 음성대화데이터 관리부는,
음성 대화방 서비스를 처음 이용하는 사용자가 기 저장된 음성 대화데이터를 제공받는 오동작 발생을 방지하기 위하여, 입력된 음성데이터가 미리 설정된 제1 음성 명령어와 일치하는 경우, 상기 신규 음성대화데이터 관리부가 해당 사용자를 신규 사용자로 판단하도록 상기 신규 음성대화데이터 관리부의 판단 결과를 제어하는 신규 음성대화데이터 관리 제어부를 더 포함하는 것을 특징으로 하는 인공지능을 기반의 사용자 음성 식별 기능을 활용한 음성대화프로그램과 연동하여 동작하는 정보처리장치.
According to clause 5,
The voice conversation data management unit,
In order to prevent malfunctions when a user using the voice chat room service for the first time receives pre-stored voice conversation data, if the input voice data matches the preset first voice command, the new voice conversation data management unit creates a new voice conversation data for the user. It operates in conjunction with a voice conversation program utilizing an artificial intelligence-based user voice identification function, further comprising a new voice conversation data management control unit that controls the decision result of the new voice conversation data management unit to determine the user. Information processing device.
상기 음성대화데이터 관리부는,
상기 음성인식서비스장치를 통해 음성대화를 수행하는 과정에서 입력된 음성 명령어가 미리 설정된 제2 음성 명령어로 인식되면, 해당 음성 명령어에 대한 음성특징데이터를 추출하도록 상기 음성특징데이터 추출부를 제어하고, 추출된 음성특징데이터를 해당 음성대화데이터의 속성정보로서 추가 저장되도록 상기 음성대화데이터 저장부를 제어하는 타 사용자 음성특징 추가 저장 관리부를 더 포함하는 것을 특징으로 하는 인공지능을 기반의 사용자 음성 식별 기능을 활용한 음성대화프로그램과 연동하여 동작하는 정보처리장치.According to clause 5,
The voice conversation data management unit,
If the voice command input in the process of performing a voice conversation through the voice recognition service device is recognized as a preset second voice command, the voice feature data extraction unit is controlled to extract voice feature data for the voice command, and extracted. Utilizes a user voice identification function based on artificial intelligence, further comprising another user's voice feature additional storage management unit that controls the voice conversation data storage unit to additionally store the voice feature data as attribute information of the voice conversation data. An information processing device that operates in conjunction with a voice conversation program.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220086412 | 2022-07-13 | ||
| KR20220086412 | 2022-07-13 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240009335A true KR20240009335A (en) | 2024-01-22 |
Family
ID=89716465
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230044516A KR20240009335A (en) | 2022-07-13 | 2023-04-05 | Information processing device for operating in conjunction with a voice conversation program using an artificial intelligence based user voice identification function |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20240009335A (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200000604A (en) | 2018-06-25 | 2020-01-03 | 현대자동차주식회사 | Dialogue system and dialogue processing method |
| KR20210083187A (en) | 2019-12-26 | 2021-07-06 | 김강희 | Method and Apparatus for Providing Messaging Service To Support Creating Chatting Rooms And To Support Multiple User Profiles |
-
2023
- 2023-04-05 KR KR1020230044516A patent/KR20240009335A/en unknown
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200000604A (en) | 2018-06-25 | 2020-01-03 | 현대자동차주식회사 | Dialogue system and dialogue processing method |
| KR20210083187A (en) | 2019-12-26 | 2021-07-06 | 김강희 | Method and Apparatus for Providing Messaging Service To Support Creating Chatting Rooms And To Support Multiple User Profiles |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210027785A1 (en) | Conversational recovery for voice user interface | |
| US10672391B2 (en) | Improving automatic speech recognition of multilingual named entities | |
| US11494434B2 (en) | Systems and methods for managing voice queries using pronunciation information | |
| US11450311B2 (en) | System and methods for accent and dialect modification | |
| US9502027B1 (en) | Method for processing the output of a speech recognizer | |
| US11823678B2 (en) | Proactive command framework | |
| US10839788B2 (en) | Systems and methods for selecting accent and dialect based on context | |
| KR101581816B1 (en) | Voice recognition method using machine learning | |
| US20080133245A1 (en) | Methods for speech-to-speech translation | |
| EP3736807B1 (en) | Apparatus for media entity pronunciation using deep learning | |
| US11289075B1 (en) | Routing of natural language inputs to speech processing applications | |
| US20210034662A1 (en) | Systems and methods for managing voice queries using pronunciation information | |
| US20070016420A1 (en) | Dictionary lookup for mobile devices using spelling recognition | |
| US11615787B2 (en) | Dialogue system and method of controlling the same | |
| US11410656B2 (en) | Systems and methods for managing voice queries using pronunciation information | |
| WO2018088534A1 (en) | Electronic device, control method for electronic device, and control program for electronic device | |
| KR20240009335A (en) | Information processing device for operating in conjunction with a voice conversation program using an artificial intelligence based user voice identification function | |
| US11776542B1 (en) | Selecting dialog acts using controlled randomness and offline optimization | |
| US11551681B1 (en) | Natural language processing routing | |
| KR20200058612A (en) | Artificial intelligence speaker and talk progress method using the artificial intelligence speaker | |
| JP2002014751A (en) | On-line help system | |
| US11380308B1 (en) | Natural language processing | |
| KR101914582B1 (en) | Method, interactive ai agent system and computer readable recoding medium for providing semantic-free user voiceprint authentication having enhanced security | |
| WO2009147745A1 (en) | Retrieval device | |
| US11450325B1 (en) | Natural language processing |