KR102472921B1

KR102472921B1 - User interfacing method for visually displaying acoustic signal and apparatus thereof

Info

Publication number: KR102472921B1
Application number: KR1020200108140A
Authority: KR
Inventors: 김영국; 권혜용; 김윤호; 진보필
Original assignee: 주식회사 카카오엔터프라이즈
Priority date: 2020-08-26
Filing date: 2020-08-26
Publication date: 2022-12-01
Also published as: KR20220026958A

Abstract

음향 신호를 사용자 인터페이스에 시각적으로 표시하는 사용자 인터페이싱 방법 및 장치에 관한 것이다. 실시예는 복수의 화자들의 음성을 포함하는 음향 신호를 수신하는 단계, 음향 신호 내 화자 별 음성 신호에 대응하는 화자의 식별 정보 및 화자 별 음성 신호에 대응하는 텍스트 데이터를 포함하는 인식 결과를 획득하는 단계, 인식 결과를 사용자 인터페이스에 시각적 기호로 표시하는 단계, 사용자 인터페이스에 표시된 시각적 기호에 기초하여, 음향 신호 내 적어도 일부 구간에 대한 사용자의 선택을 수신하는 단계, 선택된 구간의 처리에 관한 명령을 수신하는 단계, 및 수신된 명령에 반응하여, 선택된 구간에 대응하는 인식 결과 및 선택된 구간에 대응하는 음향 신호를 처리하는 단계를 포함한다.It relates to a user interface method and apparatus for visually displaying a sound signal on a user interface. The embodiment includes receiving a sound signal including voices of a plurality of speakers, obtaining a recognition result including identification information of a speaker corresponding to a voice signal for each speaker in the sound signal and text data corresponding to the voice signal for each speaker Step of displaying the recognition result as a visual sign on the user interface, based on the visual sign displayed on the user interface, receiving a user's selection of at least some section of the acoustic signal, receiving a command related to processing of the selected section. and processing a recognition result corresponding to the selected section and a sound signal corresponding to the selected section in response to the received command.

Description

User interfacing method and apparatus for visually displaying acoustic signals on a user interface

음향 신호를 사용자 인터페이스에 시각적으로 표시하는 사용자 인터페이싱 방법 및 장치에 관한 것이다.It relates to a user interface method and apparatus for visually displaying a sound signal on a user interface.

음성 인식(Speech Recognition) 기술은 발화에 의하여 발생한 음성 신호를 텍스트 데이터로 전환하여 처리하는 기술로, STT(Speech-to-Text)라고도 한다. 음성 인식 기술로 인해 음성이 장치의 신규한 입력 방식으로 이용 가능해지면서, 음성을 통한 기기 제어 및 정보 검색 등 다양한 기술 분야에 음성 인식 기술이 응용되고 있다. 최근 음성 인식의 성능을 향상시키기 위한 머신 러닝을 이용한 음성 인식 알고리즘에 대한 연구 및 복수의 화자들의 음성이 포함된 음성 신호에서 화자 별 음성을 분리하는 기술, 음성 신호에서 화자를 식별하는 기술 등 음성 인식 기술의 응용을 보완하기 위한 연구도 활발히 진행되고 있다.Speech recognition technology converts a voice signal generated by speech into text data for processing, and is also referred to as STT (Speech-to-Text). As voice can be used as a new input method of a device due to voice recognition technology, voice recognition technology is applied to various technical fields such as device control and information search through voice. Recently, research on speech recognition algorithms using machine learning to improve speech recognition performance, speech recognition technology such as technology to separate speech for each speaker from a speech signal containing the voices of multiple speakers, and technology to identify a speaker from a speech signal Research to complement the application of technology is also being actively conducted.

실시예들은 사용자의 단말에 제공되는 사용자 인터페이스에 음성 인식 결과를 표시하고, 인터페이스를 통해 음성 신호의 일부 구간을 선택하고, 선택된 구간에 처리를 수행하는 기술을 제공할 수 있다.Embodiments may provide a technique of displaying a voice recognition result on a user interface provided to a user's terminal, selecting a section of a voice signal through the interface, and performing processing on the selected section.

실시예들은 인터페이스를 통해 선택된 일부 구간에 대응하는 음향 신호 및 인식 결과를 다른 사용자와 공유할 수 있는 기술을 제공할 수 있다.Embodiments may provide a technology capable of sharing acoustic signals and recognition results corresponding to selected partial sections through an interface with other users.

실시예들은 인터페이스를 통해 선택된 일부 구간에 대응하는 음향 신호 및 인식 결과를 자연어 처리하여, 변경된 인식 결과를 인터페이스에 표시하는 기술을 제공할 수 있다.Embodiments may provide a technology of displaying a changed recognition result on an interface by natural language processing of a sound signal and a recognition result corresponding to a selected section through an interface.

일 측에 따른 사용자 인터페이싱 방법은 음향 신호를 사용자 인터페이스에 시각적으로 표시하는 사용자 인터페이싱 방법에 있어서, 복수의 화자들의 음성을 포함하는 상기 음향 신호를 수신하는 단계; 상기 음향 신호 내 화자 및 음성을 인식한 인식 결과를 획득하는 단계; 상기 인식 결과를 상기 사용자 인터페이스에 시각적 기호로 표시하는 단계; 상기 시각적 기호 중 적어도 일부에 대한 사용자의 선택을 수신하는 단계; 선택된 시각적 기호에 대응하는 상기 음향 신호 내 적어도 일부 구간의 공유를 지시하는 명령을 수신하는 단계; 및 상기 명령에 반응하여, 상기 구간에 대응하는 인식 결과 및 상기 구간에 대응하는 음향 신호 중 적어도 하나를 공유하는 단계를 포함한다.A user interfacing method according to one aspect is a user interfacing method for visually displaying a sound signal on a user interface, comprising: receiving the sound signal including voices of a plurality of speakers; acquiring a recognition result of recognizing a speaker and a voice in the sound signal; displaying the recognition result as a visual symbol on the user interface; receiving a user's selection of at least some of the visual signs; Receiving a command instructing sharing of at least a portion of the sound signal corresponding to the selected visual sign; and sharing at least one of a recognition result corresponding to the section and a sound signal corresponding to the section in response to the command.

상기 공유하는 단계는 상기 음향 신호가 저장된 서버에 상기 구간에 대응하는 음향 신호에 접근하기 위한 하이퍼링크를 요청하는 단계; 및 상기 서버로부터 수신된 상기 하이퍼링크를 공유하는 단계를 포함할 수 있다.The sharing may include requesting a hyperlink for accessing a sound signal corresponding to the section from a server storing the sound signal; and sharing the hyperlink received from the server.

상기 하이퍼링크를 요청하는 단계는 상기 서버에 상기 구간에 관한 정보를 전송하는 단계를 더 포함할 수 있다.The requesting of the hyperlink may further include transmitting information about the section to the server.

상기 구간에 관한 정보는 상기 음향 신호의 식별 정보; 및 상기 음향 신호 내 상기 구간의 위치에 관한 정보를 포함할 수 있다.The information about the section may include identification information of the sound signal; And it may include information about the position of the section in the sound signal.

상기 사용자 인터페이싱 방법은 상기 공유된 하이퍼링크를 통해 연결되는 음향 신호 내 특정 구간을 재생하는 단계; 및 상기 특정 구간의 인식 결과를 사용자 인터페이스에 시각적 기호로 표시하는 단계 중 적어도 하나를 더 포함할 수 있다.The user interfacing method may further include reproducing a specific section in a sound signal connected through the shared hyperlink; and displaying the recognition result of the specific section as a visual symbol on a user interface.

상기 사용자의 선택을 수신하는 단계는 상기 인식 결과에 포함된 텍스트 데이터를 표시하는 상기 사용자 인터페이스 내 시각적 기호 중 적어도 일부에 대한 사용자의 선택을 수신하는 단계를 포함할 수 있다.Receiving the user's selection may include receiving a user's selection of at least some of the visual signs in the user interface displaying text data included in the recognition result.

상기 인식 결과는 상기 음향 신호 내 화자 별 음성 신호에 대응하는 화자의 식별 정보; 상기 화자 별 음성 신호에 대응하는 텍스트 데이터; 및 상기 음향 신호 내 화자 별 음성 신호에 해당하지 않는 비음성 신호에 대응하는 유형 정보 중 적어도 하나를 포함할 수 있다.The recognition result may include speaker identification information corresponding to a voice signal for each speaker in the sound signal; text data corresponding to the voice signal for each speaker; and at least one of type information corresponding to a non-voice signal that does not correspond to a voice signal for each speaker in the sound signal.

상기 사용자의 선택을 수신하는 단계는 상기 복수의 화자들 중 제1 화자의 식별 정보를 표시하는 시각적 기호에 대한 사용자의 선택을 수신하는 단계를 포함할 수 있다.Receiving the user's selection may include receiving the user's selection of a visual sign displaying identification information of a first speaker among the plurality of speakers.

상기 표시하는 단계는 상기 사용자 인터페이스에서 상기 인식 결과에 대응하는 음향 신호를 재생하는 경우, 상기 인식 결과를 상기 사용자 인터페이스에 상기 시각적 기호로 표시하는 단계를 포함할 수 있다.The displaying may include displaying the recognition result as the visual sign on the user interface when the user interface reproduces the sound signal corresponding to the recognition result.

상기 표시하는 단계는 상기 사용자 인터페이스의 표시 모드에 대한 사용자의 입력을 수신하는 단계; 상기 표시 모드가 제1 표시 모드인 경우, 상기 인식 결과에 대응하는 음향 신호의 시계열적 정보에 기초하여, 상기 인식 결과를 시간 순서에 따라 상기 사용자 인터페이스에 시각적 기호로 표시하는 단계; 및 상기 표시 모드가 제2 표시 모드인 경우, 상기 인식 결과에 대응하는 음향 신호의 시계열적 정보 및 상기 인식 결과에 대응하는 화자의 위치 정보에 기초하여, 상기 인식 결과를 시간 순서에 따라 상기 사용자 인터페이스 내 특정 위치에 시각적 기호로 표시하는 단계를 포함할 수 있다.The displaying may include receiving a user input for a display mode of the user interface; displaying the recognition result as a visual symbol on the user interface in chronological order based on time-sequential information of an acoustic signal corresponding to the recognition result when the display mode is the first display mode; and when the display mode is the second display mode, based on time-sequential information of the sound signal corresponding to the recognition result and position information of the speaker corresponding to the recognition result, the recognition result is displayed in the user interface in chronological order. It may include marking my specific location with a visual sign.

일 측에 따른 사용자 인터페이싱 방법은 음향 신호를 사용자 인터페이스에 시각적으로 표시하는 사용자 인터페이싱 방법에 있어서, 복수의 화자들의 음성을 포함하는 상기 음향 신호를 수신하는 단계; 상기 음향 신호 내 화자 및 음성을 인식한 인식 결과를 획득하는 단계; 상기 인식 결과를 상기 사용자 인터페이스에 시각적 기호로 표시하는 단계; 상기 시각적 기호 중 적어도 일부에 대한 사용자의 선택을 수신하는 단계; 선택된 시각적 기호에 대응하는 상기 음향 신호 내 적어도 일부 구간의 자연어 처리에 관한 명령을 수신하는 단계; 상기 명령에 기초하여, 상기 구간에 대응하는 인식 결과를 변경하는 단계; 및 변경된 인식 결과에 기초하여, 선택된 시각적 기호를 변경하는 단계를 포함한다.A user interfacing method according to one aspect is a user interfacing method for visually displaying a sound signal on a user interface, comprising: receiving the sound signal including voices of a plurality of speakers; acquiring a recognition result of recognizing a speaker and a voice in the sound signal; displaying the recognition result as a visual symbol on the user interface; receiving a user's selection of at least some of the visual signs; Receiving a command related to natural language processing of at least a portion of the sound signal corresponding to the selected visual sign; based on the command, changing a recognition result corresponding to the section; and changing the selected visual sign based on the changed recognition result.

상기 변경하는 단계는 상기 구간에 대응하는 음향 신호를 다른 언어로 음성 인식하여, 상기 구간에 대응하는 인식 결과에 포함된 텍스트 데이터를 상기 다른 언어로 변경하는 단계를 포함할 수 있다.The changing may include recognizing a sound signal corresponding to the section in another language and changing text data included in a recognition result corresponding to the section into the other language.

상기 구간에 대응하는 인식 결과는 상기 구간에 대응하는 음향 신호를 제1 언어로 음성 인식하여 획득된 제1 언어의 텍스트 데이터를 포함할 수 있다.The recognition result corresponding to the section may include text data in the first language obtained by recognizing the sound signal corresponding to the section in the first language.

상기 다른 언어로 변경하는 단계는 사용자로부터 변경할 제2 언어에 대한 입력을 수신하는 단계; 상기 구간에 대응하는 음향 신호를 상기 제2 언어로 음성 인식하여, 상기 제2 언어의 텍스트 데이터를 획득하는 단계; 및 상기 구간에 대응하는 인식 결과에 포함된 제1 언어의 텍스트 데이터를 상기 제2 언어의 텍스트 데이터로 변경하는 단계를 포함할 수 있다.The changing to another language may include receiving an input for a second language to be changed from a user; acquiring text data of the second language by recognizing a sound signal corresponding to the section in the second language; and changing text data of the first language included in the recognition result corresponding to the section into text data of the second language.

상기 변경하는 단계는 상기 구간에 대응하는 인식 결과에 포함된 텍스트 데이터를 다른 언어로 번역하여, 번역 결과를 포함하도록 상기 구간에 대응하는 인식 결과를 변경하는 단계를 포함할 수 있다.The changing may include translating text data included in the recognition result corresponding to the section into another language and changing the recognition result corresponding to the section to include the translation result.

상기 구간에 대응하는 인식 결과를 변경하는 단계는 사용자로부터 번역할 제2 언어에 대한 입력을 수신하는 단계; 상기 제1 언어의 텍스트 데이터를 상기 제2 언어로 번역하여, 상기 제2 언어의 텍스트 데이터를 획득하는 단계; 및 상기 제2 언어의 텍스트 데이터를 포함하도록 상기 구간에 대응하는 인식 결과를 변경하는 단계를 포함할 수 있다.Changing the recognition result corresponding to the section may include receiving an input for a second language to be translated from a user; obtaining text data of the second language by translating the text data of the first language into the second language; and changing a recognition result corresponding to the section to include text data of the second language.

일 측에 따른 사용자 인터페이싱 장치는 음향 신호를 사용자 인터페이스에 시각적으로 표시하는 사용자 인터페이싱 장치에 있어서, 복수의 화자들의 음성을 포함하는 상기 음향 신호를 수신하고, 상기 음향 신호 내 화자 및 음성을 인식한 인식 결과를 획득하고, 상기 인식 결과를 상기 사용자 인터페이스에 시각적 기호로 표시하고, 상기 시각적 기호 중 적어도 일부에 대한 사용자의 선택을 수신하고, 선택된 시각적 기호에 대응하는 상기 음향 신호 내 적어도 일부 구간의 공유를 지시하는 명령을 수신하며, 상기 명령에 반응하여, 상기 구간에 대응하는 인식 결과 및 상기 구간에 대응하는 음향 신호 중 적어도 하나를 공유하는, 적어도 하나의 프로세서를 포함한다.A user interfacing device according to one aspect is a user interfacing device that visually displays a sound signal on a user interface, wherein the sound signal including the voices of a plurality of speakers is received, and the speaker and voice within the sound signal are recognized. Obtaining a result, displaying the recognition result as a visual sign on the user interface, receiving a user's selection of at least some of the visual signs, and sharing at least a portion of the sound signal corresponding to the selected visual sign. and at least one processor that receives a command for instructing and, in response to the command, shares at least one of a recognition result corresponding to the section and a sound signal corresponding to the section.

상기 프로세서는 상기 공유함에 있어서, 상기 음향 신호가 저장된 서버에 상기 구간에 대응하는 음향 신호에 접근하기 위한 하이퍼링크를 요청하고, 상기 서버로부터 수신된 상기 하이퍼링크를 공유할 수 있다.In the sharing, the processor may request a hyperlink for accessing the acoustic signal corresponding to the section from the server storing the acoustic signal, and share the hyperlink received from the server.

상기 프로세서는 상기 공유된 하이퍼링크를 통해 연결되는 음향 신호를 재생할 수 있다.The processor may reproduce a sound signal connected through the shared hyperlink.

일 측에 따른 사용자 인터페이싱 장치는 음향 신호를 사용자 인터페이스에 시각적으로 표시하는 사용자 인터페이싱 장치에 있어서, 복수의 화자들의 음성을 포함하는 상기 음향 신호를 수신하고, 상기 음향 신호 내 화자 및 음성을 인식한 인식 결과를 획득하고, 상기 인식 결과를 상기 사용자 인터페이스에 시각적 기호로 표시하고, 상기 시각적 기호 중 적어도 일부에 대한 사용자의 선택을 수신하고, 선택된 시각적 기호에 대응하는 상기 음향 신호 내 적어도 일부 구간의 자연어 처리에 관한 명령을 수신하고, 상기 명령에 기초하여, 상기 구간에 대응하는 인식 결과를 변경하며, 변경된 인식 결과에 기초하여, 선택된 시각적 기호를 변경하는, 적어도 하나의 프로세서를 포함한다.A user interfacing device according to one aspect is a user interfacing device that visually displays a sound signal on a user interface, wherein the sound signal including the voices of a plurality of speakers is received, and the speaker and voice within the sound signal are recognized. Obtaining a result, displaying the recognition result as a visual symbol on the user interface, receiving a user's selection for at least a portion of the visual symbol, and processing natural language of at least a portion of the audio signal corresponding to the selected visual symbol. and at least one processor that receives a command related to, changes a recognition result corresponding to the section based on the command, and changes a selected visual sign based on the changed recognition result.

상기 프로세서는 상기 인식 결과를 변경함에 있어서, 상기 구간에 대응하는 음향 신호를 다른 언어로 음성 인식하여, 상기 구간에 대응하는 인식 결과에 포함된 텍스트 데이터를 상기 다른 언어로 변경할 수 있다.In changing the recognition result, the processor may voice-recognize the sound signal corresponding to the section in another language and change text data included in the recognition result corresponding to the section to the other language.

상기 프로세서는 상기 구간에 대응하는 인식 결과를 변경함에 있어서, 상기 인식 결과에 포함된 텍스트 데이터를 다른 언어로 번역하여, 번역 결과를 포함하도록 상기 선택된 구간에 대응하는 인식 결과를 변경할 수 있다.When changing the recognition result corresponding to the section, the processor may translate text data included in the recognition result into another language and change the recognition result corresponding to the selected section to include the translation result.

도 1은 일실시예에 따른 음향 신호를 사용자 인터페이스에 시각적으로 표시하는 사용자 인터페이싱 방법의 순서도를 도시한 도면.
도 2는 일실시예에 따른 음향 신호에 대응하는 인식 결과의 예시를 도시한 도면.
도 3은 일실시예에 따른 음향 신호의 인식 결과를 인식 단위 별로 인터페이스에 표시한 예를 도시한 도면.
도 4 및 도 5는 음향 신호 내 적어도 일부 선택된 구간에 대한 명령을 처리하는 과정을 설명하기 위한 도면들.
도 6 및 도 7은 하이퍼링크를 이용하여 선택된 구간의 공유 명령을 처리하는 과정을 설명하기 위한 도면들.
도 8은 일실시예에 따른 자연어 처리에 관한 명령을 처리하는 과정을 도시한 도면.
도 9는 선택된 구간에 대한 언어 변경을 지시하는 명령을 수행하는 실시예를 도시한 도면.
도 10은 선택된 구간에 대한 번역을 지시하는 명령을 수행하는 실시예를 도시한 도면.
도 11a 및 도 11b는 화자의 위치를 고려하지 않고 인식 결과를 표시하는 인터페이스의 표시 모드의 예를 도시한 도면들.
도 12a 내지 도 12c는 화자의 위치를 고려하여 인식 결과를 표시하는 인터페이스의 표시 모드의 예를 도시한 도면들.1 is a flowchart illustrating a user interface method of visually displaying a sound signal on a user interface according to an exemplary embodiment;
2 is a diagram illustrating an example of a recognition result corresponding to a sound signal according to an exemplary embodiment;
3 is a diagram illustrating an example of displaying a recognition result of a sound signal on an interface for each recognition unit according to an exemplary embodiment;
4 and 5 are diagrams for explaining a process of processing a command for at least a part of a selected section in a sound signal.
6 and 7 are views for explaining a process of processing a sharing command of a selected section using a hyperlink.
8 is a diagram illustrating a process of processing a command related to natural language processing according to an embodiment;
9 is a diagram illustrating an embodiment of performing a command instructing a language change for a selected section.
10 is a diagram illustrating an embodiment of performing a command instructing translation for a selected section.
11A and 11B are diagrams illustrating examples of display modes of an interface displaying a recognition result without considering a speaker's location;
12A to 12C are diagrams illustrating examples of display modes of an interface displaying a recognition result in consideration of a speaker's location;

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. However, since various changes can be made to the embodiments, the scope of the patent application is not limited or limited by these embodiments. It should be understood that all changes, equivalents or substitutes to the embodiments are included within the scope of rights.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in the examples are used only for descriptive purposes and should not be construed as limiting. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, terms such as "include" or "have" are intended to designate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or more other features It should be understood that the presence or addition of numbers, steps, operations, components, parts, or combinations thereof is not precluded.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person of ordinary skill in the art to which the embodiment belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in the present application, they should not be interpreted in an ideal or excessively formal meaning. don't

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same reference numerals are given to the same components regardless of reference numerals, and overlapping descriptions thereof will be omitted. In describing the embodiment, if it is determined that a detailed description of a related known technology may unnecessarily obscure the gist of the embodiment, the detailed description will be omitted.

또한, 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다. In addition, in describing the components of the embodiment, terms such as first, second, A, B, (a), and (b) may be used. These terms are only used to distinguish the component from other components, and the nature, order, or order of the corresponding component is not limited by the term. When an element is described as being “connected,” “coupled to,” or “connected” to another element, that element may be directly connected or connected to the other element, but there may be another element between the elements. It should be understood that may be "connected", "coupled" or "connected".

어느 하나의 실시 예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시 예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시 예에 기재한 설명은 다른 실시 예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.Components included in one embodiment and components having common functions will be described using the same names in other embodiments. Unless stated to the contrary, descriptions described in one embodiment may be applied to other embodiments, and detailed descriptions will be omitted to the extent of overlap.

도 1은 일실시예에 따른 음향 신호를 사용자 인터페이스에 시각적으로 표시하는 사용자 인터페이싱 방법의 순서도를 도시한 도면이다. 이하에서, 일실시예에 따른 음향 신호를 사용자 인터페이스에 시각적으로 표시하는 사용자 인터페이싱 방법은 간략하게 일실시예에 따른 사용자 인터페이싱 방법으로 지칭하고, 사용자 인터페이스는 간략하게 인터페이스로 지칭한다.1 is a flowchart illustrating a user interface method of visually displaying a sound signal on a user interface according to an exemplary embodiment. Hereinafter, a user interfacing method of visually displaying a sound signal on a user interface according to an embodiment is briefly referred to as a user interface method according to an embodiment, and the user interface is simply referred to as an interface.

도 1을 참조하면, 일실시예에 따른 사용자 인터페이싱 방법은 복수의 화자들의 음성을 포함하는 음향 신호를 수신하는 단계(110), 음향 신호 내 화자 및 음성을 인식한 인식 결과를 획득하는 단계(120), 인식 결과를 사용자 인터페이스에 시각적 기호로 표시하는 단계(130), 일부 시각적 기호에 대한 사용자의 선택 및 음향 신호 내 일부 구간의 처리에 관한 명령을 수신하는 단계(140), 및 명령에 반응하여, 선택된 시각적 기호에 대응하는 구간을 처리하는 단계(150)를 포함한다.Referring to FIG. 1 , a user interface method according to an embodiment includes receiving a sound signal including voices of a plurality of speakers (110), and acquiring a recognition result of recognizing speakers and voices in the sound signal (120). ), displaying the recognition result as a visual sign on the user interface (130), receiving a user's selection for some visual signs and a command related to processing of a section in the acoustic signal (140), and in response to the command , processing a section corresponding to the selected visual sign (150).

일실시예에 따른 사용자 인터페이싱 방법은 적어도 하나의 프로세서 및 메모리를 포함하는 서버 또는 장치에 의해 수행될 수 있다. 예를 들어, 사용자 인터페이싱 방법을 수행하는 서버는 어플리케이션 서버를 포함할 수 있고, 사용자 인터페이싱 방법을 수행하는 장치는 사용자 단말을 포함할 수 있다. 보다 구체적으로 사용자 인터페이싱 방법의 각 단계는 서버의 적어도 하나의 프로세서에 의해 수행될 수도 있고, 장치의 적어도 하나의 프로세서에 의해 수행될 수도 있다. 또한, 일실시예에 따른 인터페이싱 방법의 단계들 중 일부는 서버의 적어도 하나의 프로세서에 의하여 수행되고, 나머지 일부는 사용자 단말의 적어도 하나의 프로세서에 의하여 수행될 수도 있다. 이 경우, 서버와 사용자 단말은 네트워크를 통해 데이터를 송수신할 수 있다. 이하, 설명의 편의를 위하여 사용자 인터페이싱 방법이 서버에 의하여 수행되는 실시예들을 설명하나, 해당 실시예들은 사용자 단말에 의하여 수행되는 것이나 서버와 사용자 단말의 연동을 통하여 수행되는 것으로 변형되어 적용될 수 있다.A user interface method according to an embodiment may be performed by a server or device including at least one processor and memory. For example, a server performing a user interface method may include an application server, and a device performing a user interface method may include a user terminal. More specifically, each step of the user interface method may be performed by at least one processor of a server or by at least one processor of a device. Also, some of the steps of the interfacing method according to an embodiment may be performed by at least one processor of a server, and the remaining parts may be performed by at least one processor of a user terminal. In this case, the server and the user terminal may transmit and receive data through a network. Hereinafter, for convenience of description, embodiments in which a user interface method is performed by a server will be described, but the embodiments may be modified and applied to a method performed by a user terminal or through interworking between a server and a user terminal.

일실시예에 따른 단계(110)에서 수신되는 음향 신호는 복수의 화자들의 음성을 포함하는 음향 신호로, 복수의 화자들의 발화를 실시간으로 디지털 형태로 변환하여 전송되는 데이터, 복수의 화자들의 발화를 녹음한 음성 파일을 포함할 수 있다. 예를 들어, 일실시예에 따른 음향 신호는 복수의 사람들이 참여한 회의의 내용을 녹음한 음성 파일을 포함할 수 있다. 일실시예에 따른 음향 신호는 복수의 화자에 대응하는 음성 신호를 포함할 수 있다. 예를 들어, 음향 신호의 일부인 제1 구간에는 제1 화자에 대응하는 음성 신호가, 음향 신호의 또 다른 일부인 제2 구간에는 제2 화자에 대응하는 음성 신호가 포함될 수 있다. 일실시예에 따른 음향 신호는 한 사람의 음성 신호가 포함된 구간 및/또는 여러 사람의 음성 신호가 포함된 구간을 포함할 수 있다. 예를 들어, 음성 파일의 제1 구간은 한 사람만 발화하는 구간에 해당하여 한 사람의 음성 신호만을 포함할 수 있고, 제2 구간은 두 사람 이상이 동시에 발화하는 구간에 해당하여, 여러 사람의 음성 신호를 포함할 수 있다. 또한, 음향 신호에는 발화에 관한 음성 신호 외에 다른 소리가 포함될 수 있으며, 음향 신호 내 특정 구간에는 음성 신호 외의 다른 소리만 포함된 구간이 존재할 수 있다.The sound signal received in step 110 according to an embodiment is a sound signal containing the voices of a plurality of speakers, data transmitted by converting the speech of the plurality of speakers into digital form in real time, and the speech of the plurality of speakers. You can include recorded voice files. For example, the sound signal according to an embodiment may include a voice file in which contents of a conference in which a plurality of people participate are recorded. Acoustic signals according to an embodiment may include voice signals corresponding to a plurality of speakers. For example, a voice signal corresponding to a first speaker may be included in a first section, which is part of the sound signal, and a voice signal corresponding to a second speaker may be included in a second section, which is another part of the sound signal. The sound signal according to an embodiment may include a section including a voice signal of one person and/or a section including voice signals of several people. For example, a first section of a voice file corresponds to a section uttered by only one person and may include only a voice signal of one person, and a second section corresponds to a section uttered by two or more people at the same time, and thus includes multiple people. It may contain audio signals. Also, the sound signal may include other sounds than the speech signal, and a section including only sounds other than the voice signal may exist in a specific section of the sound signal.

이하에서 상술하겠으나, 주파수의 특성 등을 이용하여 음성 신호의 화자를 인식할 수 있으며, 음향 신호에 여러 사람의 음성 신호가 포함된 경우, 주파수의 특성 등을 이용하여 화자 별로 음성 신호를 분리할 수 있다. 또한, 동일한 구간에 복수의 화자의 음성 신호가 포함된 경우, 해당 구간의 음성 신호를 각 화자에 대응하는 음성 신호로 분리하여, 제1 화자에 대응하는 제1 음성 신호 및 제2 화자에 대응하는 제2 음성 신호가 획득될 수 있다.Although described in detail below, the speaker of the voice signal can be recognized using the characteristics of frequency, etc., and when the voice signal of several people is included in the sound signal, the voice signal can be separated for each speaker using the characteristics of frequency, etc. have. In addition, when a plurality of speakers' voice signals are included in the same section, the audio signals of the section are separated into voice signals corresponding to each speaker, and a first audio signal corresponding to the first speaker and a voice signal corresponding to the second speaker are separated. A second audio signal may be obtained.

일실시예에 따른 음향 신호는 음향 수신 장치에 의해 사람들의 발화를 수신하여 디지털 데이터로 생성 및 저장될 수 있다. 일실시예에 따른 음향 수신 장치는 소리 형태의 신호를 수신하여 디지털 데이터로 변환하는 장치로, 예를 들어 녹음 장치, 마이크 등을 포함할 수 있다. 일실시예에 따른 음향 수신 장치는 방향 감지 기술이 적용된 음향 수신 장치를 포함할 수 있다. 방향 감지 기술이 적용된 음향 수신 장치는 음향 신호를 수신하는 센서를 복수 개 이용하여, 음향 신호가 복수의 센서에 도달된 시간의 차이 및 복수의 센서가 배치된 기하학 등을 이용하여 수신된 음향 신호의 위치 정보를 추정할 수 있다. 예를 들어, 4개의 마이크로폰에서 획득된 음원에 대해 ESL 설계 기법으로 해당 음원이 발생된 방향을 추정할 수 있는 4채널 마이크어레이, 음원의 방향을 추정하기 위한 지향성 마이크(directional microphone), 및 복수의 마이크를 내장하여 음향의 방향을 추정할 수 있는 휴대폰 등이 방향 감지 기술이 적용된 음향 수신 장치에 해당할 수 있다. 일실시예에 따른 음향 신호를 생성하는 음향 수신 장치는 사용자 단말과 독립된 별도의 장치에 해당할 수 있고, 인터페이스가 표시되는 사용자 단말에 내장되어 있을 수 있다. 이하에서 상술하겠으나, 수신된 음향 신호가 방향 감지 기술이 적용된 음향 수신 장치를 이용하여 생성된 경우, 음향 신호로부터 음향 신호가 발생한 위치를 추정할 수 있다. 예를 들어, 음향 신호에 포함된 음성을 발화한 화자의 위치를 추정할 수 있다.Acoustic signals according to an embodiment may be generated and stored as digital data by receiving people's speech through a sound receiving device. A sound receiving device according to an embodiment is a device that receives a signal in the form of sound and converts it into digital data, and may include, for example, a recording device, a microphone, and the like. A sound receiving device according to an embodiment may include a sound receiving device to which direction sensing technology is applied. The sound receiving device to which the direction sensing technology is applied uses a plurality of sensors that receive sound signals, and the sound signal received using a difference in time for the sound signal to reach the plurality of sensors and a geometry in which the plurality of sensors are arranged. location information can be estimated. For example, a 4-channel microphone array capable of estimating the direction in which the corresponding sound source was generated using an ESL design technique for a sound source obtained from four microphones, a directional microphone for estimating the direction of the sound source, and a plurality of A mobile phone or the like capable of estimating the direction of sound by having a built-in microphone may correspond to a sound receiving device to which direction sensing technology is applied. A sound receiving device generating a sound signal according to an embodiment may correspond to a separate device independent of a user terminal, and may be embedded in a user terminal displaying an interface. Although described in detail below, when the received sound signal is generated using the sound receiving device to which the direction detection technology is applied, the location where the sound signal is generated can be estimated from the sound signal. For example, the position of a speaker who uttered a voice included in the sound signal may be estimated.

일실시예에 따른 음향 신호는 파일 형태로 사용자의 단말에 저장될 수 있으며, 서버에 저장될 수도 있다. 일실시예에 따른 음향 신호를 기록한 파일이 사용자의 단말에 저장된 경우, 사용자의 단말로부터 음향 신호가 수신될 수 있으며, 음향 신호를 기록한 파일이 서버에 저장된 경우, 서버로부터 음향 신호가 수신될 수 있다. 즉, 일실시예에 따를 때, 인터페이스가 제공될 사용자의 단말과 음향 신호가 전송되는 장치는 반드시 일치하는 것은 아니다. 또한, 일실시예에 따를 때, 음향 신호는 서버(예를 들어, 클라우드 서버 등) 또는 서버 내 데이터베이스에 저장될 수 있으며, 일실시예에 따른 음향 신호가 저장된 서버와 일실시예에 따른 인터페이싱 방법을 수행하는 서버는 서로 다른 서버에 해당할 수 있다. 일실시예에 따른 인터페이싱 방법을 수행하는 프로세서는 인터페이스가 제공될 사용자의 단말로부터 특정 음향 신호의 재생 요청에 반응하여, 해당 음향 신호를 수신할 수 있다. 예를 들어, 프로세서는 사용자의 단말에 저장된 음향 신호를 기록한 파일에 대한 사용자의 재생 요청에 반응하여, 해당 파일을 사용자의 단말로부터 네트워크 등을 통해 수신할 수 있다.Acoustic signals according to an embodiment may be stored in a user's terminal in the form of a file or may be stored in a server. When a file recording a sound signal according to an embodiment is stored in a user's terminal, the sound signal may be received from the user's terminal, and when a file recording the sound signal is stored in a server, the sound signal may be received from the server. . That is, according to one embodiment, the user's terminal to be provided with the interface and the device through which the sound signal is transmitted do not necessarily coincide. Further, according to an embodiment, the sound signal may be stored in a server (eg, a cloud server, etc.) or a database in the server, and the server in which the sound signal is stored according to an embodiment and the interfacing method according to an embodiment Servers that perform may correspond to different servers. A processor performing the interfacing method according to an embodiment may receive a corresponding sound signal in response to a reproduction request of a specific sound signal from a user terminal to which an interface is to be provided. For example, the processor may receive the corresponding file from the user's terminal through a network in response to a user's request to reproduce a file in which a sound signal stored in the user's terminal is recorded.

일실시예에 따른 단계(120)는 단계(110)에서 수신된 음향 신호 내 화자 별 음성 신호에 대응하는 화자의 식별 정보 및 화자 별 음성 신호에 대응하는 텍스트 데이터를 포함하는 인식 결과를 획득하는 단계를 포함할 수 있다.Step 120 according to an embodiment includes obtaining a recognition result including speaker identification information corresponding to the voice signal for each speaker in the sound signal received in step 110 and text data corresponding to the voice signal for each speaker. can include

일실시예에 따른 단계(120)는 음향 신호에 대한 화자 인식을 수행하는 단계 및 음향 신호에 대한 음성 인식을 수행하는 단계를 포함할 수 있다. 일실시예에 따른 단계(120)는 음향 신호에 대한 화자 인식을 수행하여, 음향 신호를 화자 별 음성 신호로 분리하고, 화자 별 음성 신호에 대응하는 화자의 식별 정보를 획득하는 단계를 포함할 수 있다. 또한, 일실시예에 따른 단계(120)는 음향 신호에 대한 음성 인식을 수행하여, 음향 신호에 대응하는 텍스트 데이터를 획득하는 단계를 포함할 수 있다. 일실시예에 따를 때, 음성 신호의 화자를 인식하는 동작 및 음성 신호를 텍스트 데이터로 변환하는 동작은 병렬적으로 수행될 수도 있고, 단계적으로 수행될 수도 있다. 예를 들어, 음성 신호의 화자를 인식하는 동작은 화자 인식 모듈에 의해, 음성 신호를 텍스트 데이터로 변환하는 동작은 음성 인식 모듈에 의해 병렬적으로 수행될 수 있다. 또는 적어도 하나의 프로세서에 의해 음성 신호의 화자를 인식하는 동작 및 음성 신호를 텍스트 데이터로 변환하는 동작이 단계적으로 수행될 수 있으며, 이 경우 동작들이 수행되는 순서는 변경될 수 있다.Step 120 according to an embodiment may include performing speaker recognition on the sound signal and voice recognition on the sound signal. Step 120 according to an embodiment may include performing speaker recognition on the audio signal, dividing the audio signal into audio signals for each speaker, and acquiring speaker identification information corresponding to the audio signal for each speaker. have. Also, step 120 according to an embodiment may include obtaining text data corresponding to the sound signal by performing voice recognition on the sound signal. According to an embodiment, the operation of recognizing the speaker of the voice signal and the operation of converting the voice signal into text data may be performed in parallel or stepwise. For example, an operation of recognizing a speaker of a voice signal may be performed by a speaker recognition module, and an operation of converting a voice signal into text data may be performed by a voice recognition module in parallel. Alternatively, the operation of recognizing the speaker of the voice signal and the operation of converting the voice signal into text data may be performed step by step by at least one processor, and in this case, the order in which the operations are performed may be changed.

일실시예에 따른 사용자 인터페이싱 방법을 수행하는 프로세서는 수신된 음향 신호에 복수의 화자들의 음성 신호가 포함된 경우, 화자 인식(speaker recognition) 기술, 목소리 인식(voice recognition) 기술 등을 이용하여 음성 신호를 화자 별로 분리하여 인식할 수 있으며, 화자 인식 결과 음향 신호 내 화자 별 음성 신호에 대응하는 화자의 식별 정보가 획득될 수 있다. 예를 들어, 일실시예에 따른 프로세서는 주파수의 특성을 분석한 결과 음향 신호의 제1 구간 및 제2 구간에 포함된 음성 신호의 화자가 서로 다른 것으로 판단된 경우, 음향 신호를 각각의 화자에 대응하는 구간으로 분리하여, 제1 구간에 포함된 음성 신호는 제1 화자의 음성 신호로 인식할 수 있고, 제2 구간에 포함된 음성 신호는 제2 화자의 음성 신호로 인식할 수 있다. 또한, 일실시예에 따른 음향 신호의 특정 구간에 복수의 화자들의 음성 신호가 포함된 경우, 프로세서는 화자 분리 기술 등을 이용하여 특정 구간에 포함된 음성 신호를 화자 별로 분리하여 화자 별 음성 신호를 획득할 수 있다.When the received audio signal includes voice signals of a plurality of speakers, the processor performing the user interfacing method according to an embodiment uses a speaker recognition technology, a voice recognition technology, and the like to obtain a voice signal. may be separately recognized for each speaker, and as a result of speaker recognition, speaker identification information corresponding to a voice signal for each speaker in the sound signal may be obtained. For example, when the processor according to an embodiment determines that the speakers of the audio signal included in the first section and the second section of the sound signal are different from each other as a result of analyzing the frequency characteristics, the processor transmits the sound signal to each speaker. Divided into corresponding sections, a voice signal included in the first section can be recognized as a voice signal of a first speaker, and a voice signal included in a second section can be recognized as a voice signal of a second speaker. In addition, when audio signals of a plurality of speakers are included in a specific section of the acoustic signal according to an embodiment, the processor separates the audio signals included in the specific section for each speaker using a speaker separation technique, etc., to obtain a voice signal for each speaker. can be obtained

또한, 일실시예에 따른 사용자 인터페이싱 방법을 수행하는 프로세서는 음성 인식 기술을 이용하여, 음향 신호에 포함된 음성 신호를 텍스트 데이터로 변환할 수 있으며, 음성 인식 결과 음향 신호 내 화자 별 음성 신호에 대응하는 텍스트 데이터가 획득될 수 있다. 일실시예에 따를 때, 음향 신호의 음성을 인식한다는 것은 소리 형태의 음향 신호에 포함된 음성 신호를 대응되는 텍스트 데이터로 변환하는 것을 의미할 수 있다. 즉, 일실시예에 따른 음성 신호를 인식하는 단계는 수신된 음향 신호에 포함된 음성 신호에 대응하는 텍스트 데이터를 획득하는 단계를 포함할 수 있다. 일실시예에 따를 때, 음성 인식에 의해 획득된 텍스트 데이터는 수신된 음향 신호를 분리하여 획득된 화자 별 음성 신호에 대응될 수 있다. 일실시예에 따른 사용자 인터페이싱 방법을 수행하는 프로세서는 음성 인식 기술을 이용하여, 음향 신호에 포함된 음성 신호를 텍스트 데이터로 변환할 수 있다. 음성 인식 기술은 소리 형태의 음성 신호를 문자로 변환하는 기술로, 예를 들어 HMM 기반 음성 인식 기술, 딥러닝 기반 음성 인식 기술 등 다양한 알고리즘을 이용한 음성 인식 기술을 포함한다. 일실시예에 따른 사용자 인터페이싱 방법을 수행하는 프로세서는 음성 인식 기술을 이용하여 음성 신호를 텍스트 데이터로 변환하고, 변환된 텍스트 데이터를 화자 별 음성 신호에 매핑하여 데이터베이스에 저장할 수 있다.In addition, the processor performing the user interfacing method according to an embodiment may convert a voice signal included in the sound signal into text data using voice recognition technology, and respond to the voice signal for each speaker within the sound signal as a result of the voice recognition. Text data that does can be obtained. According to an embodiment, recognizing the voice of the sound signal may mean converting the voice signal included in the sound signal into corresponding text data. That is, recognizing a voice signal according to an embodiment may include obtaining text data corresponding to a voice signal included in the received acoustic signal. According to an embodiment, text data obtained by voice recognition may correspond to a voice signal for each speaker obtained by separating a received sound signal. A processor performing a user interface method according to an embodiment may convert a voice signal included in an audio signal into text data using voice recognition technology. Speech recognition technology is a technology that converts a voice signal in the form of sound into text, and includes, for example, voice recognition technology using various algorithms such as HMM-based voice recognition technology and deep learning-based voice recognition technology. A processor performing a user interface method according to an embodiment may convert a voice signal into text data using voice recognition technology, map the converted text data to a voice signal for each speaker, and store the converted text data in a database.

일실시예에 따를 때, 수신된 음향 신호는 발화에 대응하는 음성 신호가 아닌 음향 신호를 포함할 수 있다. 다시 말해, 수신된 음향 신호에 발화에 대응하는 음성 신호, 즉 말소리 외에 다른 음향 신호가 포함될 수 있다. 예를 들어, 웃음 소리, 박수 소리, 차 소리, 음악 소리 등이 음향 신호에 포함될 수 있다. 이하에서, 음향 신호 중 발화에 대응하는 음향 신호를 음성 신호라고 지칭하고, 음향 신호 중 음성 신호가 아닌 음향 신호를 비음성 신호라고 지칭한다. According to an embodiment, the received sound signal may include a sound signal other than a sound signal corresponding to an utterance. In other words, the received sound signal may include a sound signal corresponding to an utterance, that is, a sound signal other than speech. For example, a sound of laughter, a sound of applause, a sound of a car, a sound of music, and the like may be included in the sound signal. Hereinafter, an acoustic signal corresponding to an utterance among acoustic signals is referred to as a voice signal, and an acoustic signal other than a voice signal among acoustic signals is referred to as a non-voice signal.

일실시예에 따른 사용자 인터페이싱 방법은 수신된 음향 신호를 음성 신호 및 비음성 신호로 분류하는 단계를 더 포함할 수 있다. 일실시예에 따른 인터페이싱 방법을 수행하는 프로세서는 음향 신호를 분류하는 다양한 방법을 이용하여 음향 신호를 음성 신호 및 비음성 신호로 분류할 수 있다. 예를 들어, 주파수의 특성을 이용하여 음향 신호에서 음성 신호를 추출하는 방법 등을 이용할 수 있다.The user interface method according to an embodiment may further include classifying the received sound signal into a voice signal and a non-voice signal. A processor performing the interfacing method according to an embodiment may classify the acoustic signal into a voice signal and a non-voice signal using various methods of classifying the acoustic signal. For example, a method of extracting a voice signal from a sound signal using frequency characteristics may be used.

일실시예에 따를 때, 비음성 신호 중 적어도 일부는 미리 정해진 유형에 해당하는 음향 신호로 분류될 수 있다. 일실시예에 따른 단계(120)는 수신된 음향 신호를 분리하여 비음성 신호를 획득하는 단계 및 획득된 비음성 신호의 유형을 인식하는 단계를 더 포함할 수 있다. 일실시예에 따른 비음성 신호의 유형은 감정에 관한 유형, 음악에 관한 유형, 노이즈에 관한 유형 등을 포함할 수 있다. 예를 들어, 비음성 신호의 유형은 감정에 관한 유형으로 웃음 등을 포함할 수 있고, 노이즈에 관한 유형으로 차 소리, 박수 소리 등을 포함할 수 있다. 일실시예에 따를 때, 노이즈에 관한 유형은 차 소리 등 음성 신호 외의 추가적인 노이즈에 관한 유형 및 신호의 전송 과정에서 발생하는 채널 노이즈에 관한 유형으로 구분될 수 있다.According to an embodiment, at least some of the non-voice signals may be classified as acoustic signals corresponding to a predetermined type. Step 120 according to an embodiment may further include obtaining a non-voice signal by separating the received sound signal and recognizing the type of the obtained non-voice signal. The type of non-voice signal according to an embodiment may include a type related to emotion, a type related to music, a type related to noise, and the like. For example, the type of non-voice signal may include laughter as a type related to emotion, and may include a car sound, a clap sound, and the like as a type related to noise. According to an embodiment, the type of noise may be divided into a type related to additional noise other than a voice signal, such as the sound of a car, and a type related to channel noise generated in a signal transmission process.

일실시예에 따른 인식 결과는 음성 신호에 대응하는 화자의 식별 정보 및 텍스트 데이터를 포함할 수 있으며, 비음성 신호에 대응하는 유형에 관한 정보를 포함할 수 있다. 일실시예에 따른 음향 신호에 대응하는 인식 결과는 인식 단위 별로 생성될 수 있다. 일실시예에 따른 인식 단위는 화자 인식 및 음성 인식이 수행되는 단위 또는 유형 인식이 수행되는 단위로, 수신된 음향 신호의 적어도 일부에 대응될 수 있다. 예를 들어, 동일한 화자가 연속적으로 발화한 음성 신호, 또는 동일한 유형에 해당하는 연속적인 비음성 신호가 인식 단위에 해당할 수 있다. 일실시예에 따를 때, 동일한 화자가 연속적으로 발화한 음성 신호에 해당하더라도 2 이상의 인식 단위로 나뉠 수 있다. 예를 들어, 제1 화자가 연속하여 4 문장을 발화한 경우, 앞의 2 문장에 대응하는 음성 신호가 하나의 인식 단위를 구성하고, 뒤의 2 문장에 대응하는 음성 신호가 다른 하나의 인식 단위를 구성할 수 있다.The recognition result according to an embodiment may include speaker identification information and text data corresponding to a voice signal, and may include information about a type corresponding to a non-voice signal. Recognition results corresponding to acoustic signals according to an embodiment may be generated for each recognition unit. A recognition unit according to an embodiment is a unit in which speaker recognition and voice recognition are performed or a unit in which type recognition is performed, and may correspond to at least a part of the received sound signal. For example, a voice signal continuously uttered by the same speaker or a continuous non-voice signal corresponding to the same type may correspond to the recognition unit. According to an embodiment, even if it corresponds to a voice signal continuously uttered by the same speaker, it may be divided into two or more recognition units. For example, when the first speaker utters 4 sentences in succession, the speech signals corresponding to the previous 2 sentences form one recognition unit, and the speech signals corresponding to the following 2 sentences form another recognition unit. can be configured.

일실시예에 따른 음향 신호에 대응하는 인식 결과의 예시는 도 2를 참조할 수 있다. 도 2는 시간 순서대로 001 내지 005의 id가 부여된 제1 인식 단위 내지 제5 인식 단위에 대응하는 인식 결과를 도시한다. 일실시예에 따른 시간 순서는 음향 신호의 시계열적 정보에 따른 순서로, 음향 신호가 기록된 순서에 대응될 수 있다. 일실시예에 따를 때, 음향 신호의 시계열적 정보는 음향 신호가 기록된 시간 정보를 의미할 수 있다. 도 2를 참조하면, 001 id가 부여된 제1 인식 단위는 화자 A의 음성 신호, 002 id가 부여된 제2 인식 단위는 화자 B의 음성 신호, 003 id가 부여된 제3 인식 단위는 화자 C의 음성 신호, 004 id가 부여된 제 4 인식 단위는 '웃음' 유형의 비음성 신호에 해당한다. 화자 별 음성 신호에 해당하는 인식 단위의 인식 결과에는 해당 음성 신호의 화자 인식 결과인 화자의 식별 정보 및 음성 인식 결과인 텍스트 데이터가 포함될 수 있다. 비음성 신호에 해당하는 인식 단위의 인식 결과에는 해당 비음성 신호의 유형 인식 결과인 유형에 관한 정보가 포함될 수 있다. 일실시예에 따른 인식 결과에는 인식 단위의 시간 정보가 포함될 수 있다. 예를 들어, 제1 인식 단위에 대응되는 음성 신호가 녹음된 시각이 14시 01분 02초에서 14시 01분 15초인 경우, 제1 인식 단위의 인식 결과에 시간 정보로 음성 신호가 녹음된 시각 정보가 포함될 수 있다. 도 2는 인식 결과에 포함된 시간 정보가 해당 음향 신호가 녹음된 시각인 경우를 도시하고 있으나, 일실시예에 따를 때, 인식 결과의 시간 정보로 전체 음향 신호에서 해당 음향 신호의 시간적 위치가 포함될 수도 있다. 예를 들어, 특정 인식 단위의 음향 신호가 녹음 시작 후 01 분 05초부터 01분 10초까지에 해당하는 경우, 01 분 05초 내지 01분 10초의 시간이 해당 인식 단위의 시간 정보로 인식 결과에 포함될 수 있다.An example of a recognition result corresponding to a sound signal according to an embodiment may refer to FIG. 2 . 2 shows recognition results corresponding to the first to fifth recognition units to which ids of 001 to 005 are assigned in chronological order. The time order according to an embodiment is an order according to time-sequential information of the sound signal, and may correspond to an order in which the sound signal is recorded. According to an embodiment, the time-sequential information of the sound signal may mean time information at which the sound signal was recorded. Referring to FIG. 2 , the first recognition unit to which id 001 is assigned is the voice signal of speaker A, the second recognition unit to which id 002 is assigned is the voice signal of speaker B, and the third recognition unit to which id 003 is assigned is speaker C The voice signal of , the fourth recognition unit to which id 004 is assigned, corresponds to a 'laughter' type non-voice signal. The recognition result of the recognition unit corresponding to the voice signal for each speaker may include speaker identification information, which is a speaker recognition result of the corresponding voice signal, and text data, which is a voice recognition result. The recognition result of the recognition unit corresponding to the non-voice signal may include information about the type as a result of recognizing the type of the corresponding non-voice signal. A recognition result according to an embodiment may include time information of a recognition unit. For example, when the time at which the voice signal corresponding to the first recognition unit was recorded is from 14:01:02 to 14:01:15, the time at which the voice signal was recorded as time information in the recognition result of the first recognition unit. information may be included. 2 shows a case where the time information included in the recognition result is the time at which the corresponding sound signal was recorded, but according to an embodiment, the time information of the recognition result includes the temporal position of the corresponding sound signal among all sound signals. may be For example, if the sound signal of a specific recognition unit corresponds to 01:05 to 01:10 from the start of recording, the time from 01:05 to 01:10 corresponds to the recognition result as time information of the recognition unit. can be included

일실시예에 따른 인식 결과는 음향 신호에 대응하여 데이터베이스, 서버 등에 저장될 수 있다. 일실시예에 따를 때, 재생 요청된 음향 신호에 대응되는 인식 결과가 데이터베이스에 저장된 경우, 데이터베이스에 저장된 인식 결과가 인터페이스에 표시될 수 있다. 다시 말해, 재생 요청된 음향 신호에 대응되는 인식 결과가 데이터베이스에 저장된 경우, 음향 신호에 대한 사용자의 재생 요청에 반응하여, 해당 음향 신호의 화자 인식, 음성 인식, 유형 인식 등의 인식 과정을 반복할 필요없이, 데이터베이스에 저장된 인식 결과가 인터페이스에 표시될 수 있다. 즉, 데이터베이스에 인식 결과를 저장하여, 동일한 음향 신호에 대한 재생 요청이 있는 경우 저장된 인식 결과를 이용함으로써, 음성 인식 등의 동작의 반복을 방지하고, 효율적으로 음향 신호에 대응하는 인식 결과를 사용자에게 제공할 수 있다.A recognition result according to an embodiment may be stored in a database, a server, or the like in response to a sound signal. According to an embodiment, when a recognition result corresponding to a sound signal requested to be reproduced is stored in a database, the recognition result stored in the database may be displayed on an interface. In other words, when the recognition result corresponding to the acoustic signal requested to be reproduced is stored in the database, in response to the user's request for reproduction of the acoustic signal, recognition processes such as speaker recognition, voice recognition, and type recognition of the corresponding acoustic signal may be repeated. Without need, the recognition results stored in the database can be displayed on the interface. That is, by storing the recognition result in the database and using the stored recognition result when there is a request for playback of the same sound signal, repetition of operations such as voice recognition is prevented, and the recognition result corresponding to the sound signal is efficiently provided to the user. can provide

다시 도 1을 참조하면, 일실시예에 따른 단계(130)는 단계(120)에서 획득된 화자 별 음성 신호에 대응하는 화자의 식별 정보 및 화자 별 음성 신호에 대응하는 텍스트 데이터를 포함하는 인식 결과를 인터페이스에 시각적 기호로 표시하는 단계에 해당할 수 있다. 일실시예에 따를 때, 시각적 기호는 인식 결과를 표시하기 위한 도형, 문자, 이모티콘 등을 포함할 수 있다. 일실시예에 따를 때, 인식 결과에 포함된 화자의 식별 정보는 대응하는 도형, 문자 등의 시각적 기호로 인터페이스에 표시될 수 있고, 인식 결과에 포함된 텍스트 데이터는 대응하는 문자 등의 시각적 기호로 인터페이스에 표시될 수 있다.Referring back to FIG. 1 , step 130 according to an embodiment is a recognition result including speaker identification information corresponding to the voice signal for each speaker obtained in step 120 and text data corresponding to the voice signal for each speaker. may correspond to a step of displaying as a visual symbol on the interface. According to one embodiment, the visual sign may include a figure, text, emoticon, etc. for displaying a recognition result. According to an embodiment, speaker identification information included in the recognition result may be displayed on the interface as a corresponding visual symbol such as a figure or letter, and text data included in the recognition result may be displayed as a corresponding visual symbol such as a letter. can be displayed in the interface.

또한, 일실시예에 따른 단계(130)는 비음성 신호가 특정 유형에 해당하는 것으로 인식된 경우, 해당 유형에 대응하는 시각적 기호를 인터페이스에 표시하는 단계를 더 포함할 수 있다. 일실시예에 따른 특정 유형에 대응하는 시각적 기호는 특정 유형에 대응하는 텍스트, 이모티콘, 아이콘 및 도형을 포함할 수 있다. 예를 들어, 웃음 유형에 대응하는 시각적 기호는 '웃음'의 텍스트 데이터, 웃는 얼굴의 이모티콘 등을 포함할 수 있으며, 박수 유형에 대응하는 시각적 기호는 '박수'의 텍스트 데이터, 박수 모양의 아이콘 등을 포함할 수 있다.In addition, step 130 according to an embodiment may further include displaying a visual sign corresponding to the type on the interface when the non-voice signal is recognized as corresponding to a specific type. A visual sign corresponding to a specific type according to an embodiment may include text, emoticons, icons, and shapes corresponding to the specific type. For example, the visual sign corresponding to the type of laughter may include text data of 'laughter', an emoticon of a smiling face, and the like, and the visual sign corresponding to the type of applause may include text data of 'clap', an icon in the shape of a clap, etc. can include

일실시예에 따를 때, 음성 신호도 미리 정해진 유형으로 구분될 수 있다. 예를 들어, 녹음 장치에 사람의 말소리가 직접 입력되어 생성된 음성 신호와 라디오, 휴대폰 등 다른 소리의 출력 장치를 통해 출력된 음성 신호가 녹음 장치에 입력되어 생성된 음성 신호는 주파수 특성 등에 의해 다른 유형으로 구분될 수 있다. 이 경우, 다른 유형으로 구분된 음성 신호는 인터페이스에서 구분되어 표시될 수 있다. 예를 들어, 사람의 말소리 유형의 음성 신호에 대응하는 텍스트 데이터가 표시되는 인터페이스 내 영역의 색상 및 라디오 유형의 음성 신호에 대응하는 텍스트 데이터가 표시되는 인터페이스 내 영역의 색상이 서로 구분되도록 인터페이스에 표시될 수 있다.According to one embodiment, voice signals may also be classified into predetermined types. For example, a voice signal generated by directly inputting human speech to a recording device and a voice signal generated by inputting a voice signal output through another sound output device such as a radio or mobile phone to a recording device are different depending on frequency characteristics, etc. can be classified by type. In this case, voice signals classified into different types may be displayed separately on the interface. For example, the color of the area within the interface where text data corresponding to a human speech type voice signal is displayed and the color of the area within the interface where text data corresponding to a radio type audio signal is displayed are displayed on the interface to be distinguished from each other. It can be.

일실시예에 따를 때, 인터페이스에 표시하는 단계(130)는 일실시예에 따른 음향 신호의 인식 결과를 인식 단위 별로 인터페이스에 표시하는 단계를 포함할 수 있다. 일실시예에 따른 인식 결과를 인식 단위 별로 인터페이스에 표시하는 것은 특정 화자의 음성 신호에 해당하는 인식 단위의 경우, 인식 단위의 음성 신호에 대응되는 텍스트 데이터, 즉 음성 신호를 음성 인식하여 획득된 텍스트 데이터를 인터페이스에 표시하는 것을 의미하고, 특정 유형의 비음성 신호에 해당하는 인식 단위의 경우, 인식 단위의 비음성 신호의 유형에 대응하는 시각적 기호를 인터페이스에 표시하는 것을 의미할 수 있다. 일실시예에 따를 때, 인식 단위에 대응하는 음향 신호가 사용자의 단말에서 재생됨에 따라 인식 단위에 대응하는 인식 결과가 인터페이스에 표시될 수 있다.According to an embodiment, the displaying on the interface ( 130 ) may include displaying the recognition result of the acoustic signal according to an embodiment on the interface for each recognition unit. Displaying the recognition result according to an embodiment on the interface for each recognition unit is, in the case of a recognition unit corresponding to a voice signal of a specific speaker, text data corresponding to the voice signal of the recognition unit, that is, text obtained by recognizing the voice signal. This means displaying data on an interface, and in the case of a recognition unit corresponding to a specific type of non-speech signal, it may mean displaying a visual sign corresponding to the type of non-speech signal of the recognition unit on the interface. According to an embodiment, a recognition result corresponding to a recognition unit may be displayed on an interface as a sound signal corresponding to a recognition unit is reproduced in a user's terminal.

일실시예에 따른 인터페이스에 시각적 기호가 표시되는 시점은 대응되는 음향 신호가 재생되는 시점에 해당할 수 있다. 일실시예에 따른 인터페이스에 표시된 시각적 기호가 사라지는 시점은 인터페이스 표시 정책에 따라 다양하게 결정될 수 있다. 예를 들어, 인터페이스에 표시된 시각적 기호는 대응되는 음성 신호의 재생이 완료된 시점에 사라지도록 설정될 수 있으며, 일정 시간이 지난 후 사라지도록 설정될 수 있다. 일실시예에 따를 때, 텍스트 데이터에 대응되는 음성 신호의 재생이 완료된 경우에도 인터페이스에 표시된 텍스트 데이터는 남아있을 수 있으며, 일실시예에 따를 때, 음향 신호가 재생되는 순서대로 인터페이스의 상단부터 음향 신호의 인식 결과에 대응하는 시각적 기호가 차례대로 표시될 수 있다. 예를 들어, 인터페이스의 상단부터 인식 결과에 대응되는 시각적 기호가 차례대로 표시되어 인터페이스 하단까지 시각적 기호가 표시되면, 자동 스크롤 기능으로 전에 표시되었던 시각적 기호를 일정 비율 위로 이동시켜 빈 공간을 확보한 후, 다음 인식 결과에 대응하는 시각적 기호가 표시될 수 있다. 일실시예에 따를 때, 다양한 인터페이스 표시 정책에 따라 음향 신호가 재생되는 순서대로 음향 신호의 인식 결과가 인터페이스에 표시될 수 있다.A time point at which a visual sign is displayed on an interface according to an embodiment may correspond to a time point at which a corresponding sound signal is reproduced. A time point at which a visual sign displayed on an interface disappears according to an embodiment may be variously determined according to an interface display policy. For example, the visual sign displayed on the interface may be set to disappear when reproduction of the corresponding voice signal is completed, or may be set to disappear after a certain period of time. According to one embodiment, even when the reproduction of the voice signal corresponding to the text data is completed, the text data displayed on the interface may remain. Visual signs corresponding to the recognition result of the signal may be sequentially displayed. For example, if the visual signs corresponding to the recognition results are displayed sequentially from the top of the interface to the bottom of the interface, the auto-scroll function moves the previously displayed visual signs upward to secure a blank space. , a visual sign corresponding to the following recognition result may be displayed. According to an embodiment, the recognition results of the acoustic signals may be displayed on the interface in the order in which the acoustic signals are reproduced according to various interface display policies.

도 3은 일실시예에 따른 음향 신호의 인식 결과를 인식 단위 별로 인터페이스에 표시한 예를 도시한 도면이다. 보다 구체적으로, 도 3은 도 2에 도시된 인식 단위 별로 인식 결과에 대응되는 시각적 기호를 시간 순서대로 인터페이스에 표시한 것이다. 도 3을 참조하면, 화자 A, B, C 각각에 대응되는 시각적 기호(301, 302, 303), 음성 신호의 인식 결과에 포함된 텍스트 데이터에 대응되는 시각적 기호(311, 312, 313, 314)를 포함하며, 비음성 신호의 인식 결과에 포함된 유형에 관한 정보에 대응되는 시각적 기호(321)를 포함한다. 일실시예에 따를 때, 음향 신호가 재생되는 순서대로 인터페이스의 상단부터 음향 신호의 인식 결과에 대응하는 시각적 기호가 차례대로 표시될 수 있다. 예를 들어, 제1 인식 단위에 대응하는 음향 신호가 재생됨에 따라, 제1 인식 단위의 인식 결과에 대응되는 시각적 기호(301, 311)가 인터페이스 상단부터 표시될 수 있다. 제1 인식 단위에 대응하는 음향 신호가 재생된 후, 제2 인식 단위에 대응하는 음향 신호가 재생되는 경우, 제2 인식 단위에 대응하는 음향 신호가 재생됨에 따라, 제2 인식 단위의 인식 결과에 대응되는 시각적 기호(302, 312)가 인터페이스에 표시된 제1 인식 단위의 인식 결과에 대응하는 시각적 표시(301, 311)의 하단에 표시될 수 있다.3 is a diagram illustrating an example of displaying a recognition result of a sound signal on an interface for each recognition unit according to an exemplary embodiment. More specifically, FIG. 3 displays visual signs corresponding to recognition results for each recognition unit shown in FIG. 2 on the interface in chronological order. Referring to FIG. 3 , visual signs 301, 302, and 303 corresponding to speakers A, B, and C respectively, and visual signs 311, 312, 313, and 314 corresponding to text data included in the voice signal recognition result and a visual sign 321 corresponding to information about the type included in the recognition result of the non-voice signal. According to an embodiment, visual signs corresponding to the recognition results of the sound signals may be sequentially displayed from the top of the interface in the order in which the sound signals are reproduced. For example, as a sound signal corresponding to the first recognition unit is reproduced, visual signs 301 and 311 corresponding to the recognition result of the first recognition unit may be displayed from the top of the interface. After the sound signal corresponding to the first recognition unit is reproduced, when the sound signal corresponding to the second recognition unit is reproduced, as the sound signal corresponding to the second recognition unit is reproduced, the recognition result of the second recognition unit Corresponding visual signs 302 and 312 may be displayed below the visual signs 301 and 311 corresponding to the recognition result of the first recognition unit displayed on the interface.

일실시예에 따를 때, 인터페이스에 인식 결과가 표시되는 형태는 다양하게 구성될 수 있다. 일실시예에 따른 사용자 인터페이싱 방법을 수행하는 프로세서는 복수의 인터페이스 표시 모드를 사용자에게 제공할 수 있으며, 사용자는 인터페이스 표시 모드를 설정할 수 있다. 일실시예에 따른 프로세서는 사용자의 인터페이스 표시 모드 설정에 관한 입력을 수신하여, 인터페이스 표시 모드에 따라 인터페이스에 인식 결과가 표시되는 형태를 결정할 수 있다.According to an embodiment, the form in which the recognition result is displayed on the interface may be configured in various ways. A processor performing a user interfacing method according to an embodiment may provide a plurality of interface display modes to a user, and the user may set the interface display mode. The processor according to an embodiment may receive a user's input related to setting an interface display mode, and determine a form in which a recognition result is displayed on the interface according to the interface display mode.

일실시예에 따른 인터페이스 표시 모드는 화자의 위치를 고려하지 않고 인식 결과를 표시하는 제1 표시 모드 및 화자의 위치를 고려하여 인식 결과를 표시하는 제2 표시 모드를 포함할 수 있다. 즉, 일실시예에 따른 제1 표시 모드는 음향 신호의 시계열적 정보에 기초하여, 인식 결과를 재생되는 순서에 따라 인터페이스에 표시하는 모드로, 예를 들어, 대화형 모드, 텍스트 모드를 포함할 수 있다. 일실시예에 따른 제2 표시 모드는 시계열적 정보 뿐만 아니라, 인식 결과에 대응되는 음성 신호의 화자의 위치에 기초하여, 인식 결과를 재생되는 순서에 따라, 인터페이스 내 특정 위치에 표시하는 모드로, 예를 들어, 회의실 모드를 포함할 수 있다. 다시 말해, 일실시예에 따른 인식 결과는 기본적으로 음향 신호의 시계열적 정보를 고려하여, 재생되는 순서에 따라 인터페이스에 표시되며, 제2 표시 모드가 선택된 경우 음향 신호의 위치 정보를 더 고려하여, 인터페이스 내 화자의 위치 또는 인터페이스 내 화자의 위치에 인접하여 표시될 수 있다. 화자의 위치를 고려하는 제2 표시 모드에 따라 인식 결과를 사용자 인터페이스에 표시하는 실시예는 이하에서 상술한다.An interface display mode according to an embodiment may include a first display mode displaying a recognition result without considering a speaker's location and a second display mode displaying a recognition result considering a speaker's location. That is, the first display mode according to an embodiment is a mode in which recognition results are displayed on the interface according to the order in which they are reproduced based on time-sequential information of the sound signal, and may include, for example, an interactive mode and a text mode. can The second display mode according to an embodiment is a mode in which recognition results are displayed at a specific location in the interface according to the order in which they are reproduced, based on time-sequential information as well as the position of a speaker of a voice signal corresponding to a recognition result, For example, it may include a conference room mode. In other words, the recognition result according to an embodiment is basically displayed on the interface according to the playback order in consideration of the time-series information of the sound signal, and when the second display mode is selected, the position information of the sound signal is further considered, It may be displayed at the location of the speaker within the interface or adjacent to the location of the speaker within the interface. An embodiment of displaying the recognition result on the user interface according to the second display mode considering the location of the speaker will be described in detail below.

다시 도 1을 참조하면, 일실시예에 따른 단계(140)는 사용자 인터페이스에 표시된 시각적 기호 중 적어도 일부에 대한 사용자의 선택을 수신하는 단계, 및 선택된 시각적 기호에 대응하는 상기 음향 신호 내 적어도 일부 구간의 처리를 지시하는 명령을 수신하는 단계를 포함할 수 있다. 일실시예에 따른 일부 시각적 기호에 대한 선택 및 선택된 시각적 기호에 대응하는 구간의 처리를 지시하는 명령은 동시에 수신될 수도 있고, 단계적으로 수신될 수도 있다.Referring back to FIG. 1 , step 140 according to an embodiment includes receiving a user's selection of at least some of the visual signs displayed on the user interface, and at least some section of the sound signal corresponding to the selected visual sign. It may include receiving a command instructing the processing of the. A command instructing selection of some visual signs and processing of a section corresponding to the selected visual signs according to an embodiment may be received simultaneously or in stages.

일실시예에 따른 음향 신호 내 일부 구간은 적어도 하나의 인식 단위를 포함하는 단위에 해당할 수 있다. 일실시예에 따를 때, 사용자는 인터페이스에 표시된 시각적 기호 중 적어도 일부를 선택함으로써, 선택된 시각적 기호에 대응하는 음향 신호 내 적어도 일부 구간을 선택할 수 있다. 예를 들어, 사용자는 사용자 인터페이스에 표시된 시각적 기호 중 일부를 클릭, 드래그 등의 입력을 통해 선택함으로써, 선택된 시각적 기호에 대응하는 음향 신호 내 구간을 선택할 수 있다. 또한, 사용자는 복수의 시각적 기호들을 선택함으로써, 선택된 시각적 기호들에 대응하는 음향 신호를 포함하는 구간들을 선택할 수 있다. 일실시예에 따른 음향 신호 내 일부 구간은 선택된 시각적 기호에 대응하는 인식 단위를 포함할 수 있다. 예를 들어, 사용자가 텍스트 데이터에 대응하는 시각적 기호를 선택한 경우, 선택된 텍스트 데이터를 인식 결과로 포함하는 인식 단위가 구간에 포함될 수 있다. 또 다른 예를 들어, 사용자가 화자의 식별 정보에 대응하는 시각적 기호를 선택한 경우, 선택된 화자의 식별 정보와 동일한 화자의 식별 정보를 갖는 인식 단위가 구간에 포함될 수 있다.According to an embodiment, some sections of a sound signal may correspond to a unit including at least one recognition unit. According to one embodiment, the user may select at least some section of the sound signal corresponding to the selected visual sign by selecting at least some of the visual signs displayed on the interface. For example, the user may select a section of the sound signal corresponding to the selected visual sign by selecting some of the visual signs displayed on the user interface through an input such as clicking or dragging. In addition, the user may select sections including sound signals corresponding to the selected visual signs by selecting a plurality of visual signs. Some sections of the sound signal according to an embodiment may include a recognition unit corresponding to the selected visual sign. For example, when a user selects a visual sign corresponding to text data, a recognition unit including the selected text data as a recognition result may be included in the section. For another example, when the user selects a visual sign corresponding to speaker identification information, a recognition unit having speaker identification information identical to the selected speaker identification information may be included in the section.

일실시예에 따른 구간은 특정 시간 구간에 해당될 수도 있고, 특정 화자 구간에 해당될 수도 있다. 일실시예에 따를 때, 시간 구간과 화자 구간은 사용자가 선택한 인터페이스 내 시각적 기호에 따라 결정될 수 있다. 예를 들어, 사용자가 인식 결과에 포함된 텍스트 데이터에 대응하는 시각적 기호를 선택한 경우, 시각적 기호에 대응하는 음향 신호를 포함하는 구간은 시간 구간에 해당될 수 있고, 사용자가 인식 결과에 포함된 화자의 식별 정보에 대응하는 시각적 기호를 선택한 경우, 시각적 기호에 대응하는 화자의 음성 신호를 포함하는 구간은 화자 구간에 해당될 수 있다. A section according to an embodiment may correspond to a specific time section or a specific speaker section. According to an embodiment, the time section and the speaker section may be determined according to a visual sign in the interface selected by the user. For example, when the user selects a visual sign corresponding to text data included in the recognition result, a section including a sound signal corresponding to the visual sign may correspond to a time section, and the user selects a speaker included in the recognition result. When a visual sign corresponding to the identification information of is selected, a section including a speaker's voice signal corresponding to the visual sign may correspond to a speaker section.

일실시예에 따른 시간 구간은 음향 신호 내에서 시간 순서에 따른 연속하는 범위에 해당하는 음향 신호를 포함하는 구간으로, 사용자가 선택될 구간의 시작 시간과 종료 시간을 지시하는 정보를 설정함으로써 결정될 수 있다. 예를 들어, 사용자가 선택될 구간의 시작 시간을 10초, 종료 시간을 20초로 설정한 경우, 음향 신호 내 10초에서 20초 사이의 범위에 해당하는 음향 신호를 포함하는 구간이 사용자가 선택한 시간 구간에 해당할 수 있다. 일실시예에 따를 때, 시간 구간은 설정된 시간 범위 내에 포함되는 적어도 하나의 인식 단위를 포함할 수 있다. 일실시예에 따를 때, 사용자는 인식 결과에 포함된 텍스트 데이터에 대응하는 시각적 기호를 선택함으로써, 구간의 시작 시간 및 종료 시간을 설정할 수 있다. 예를 들어, 사용자가 선택한 시각적 기호에 대응하는 음향 신호의 시작 시간이 구간의 시작 시간으로, 사용자가 선택한 시각적 기호에 대응하는 음향 신호의 종료 시간이 구간의 종료 시간으로 설정될 수 있다. 또 다른 예를 들어, 사용자가 2개의 시각적 기호를 선택한 경우, 각각의 시각적 기호에 대응하는 음성 신호 중 시간 순서 상 먼저 위치한 음향 신호의 시작 시간이 선택될 구간의 시작 시간으로, 뒤에 위치한 음향 신호의 종료 시간이 선택될 구간의 종료 시간으로 설정될 수 있다. 이 외에도 구간의 시작 시간 및 종료 시간을 지시하는 정보는 다양한 방식으로 입력될 수 있다.The time period according to an embodiment is a period including a sound signal corresponding to a continuous range in time order within the sound signal, and may be determined by setting information indicating the start time and end time of the period to be selected by the user. have. For example, if the user sets the start time of the section to be selected to 10 seconds and the end time to 20 seconds, the section including the sound signal corresponding to the range between 10 and 20 seconds within the sound signal is the time selected by the user. It may correspond to a section. According to an embodiment, the time interval may include at least one recognition unit included within a set time range. According to an embodiment, the user may set the start time and end time of the section by selecting a visual sign corresponding to text data included in the recognition result. For example, the start time of the sound signal corresponding to the visual sign selected by the user may be set as the start time of the section, and the end time of the sound signal corresponding to the visual sign selected by the user may be set as the end time of the section. For another example, when the user selects two visual signs, the start time of the first sound signal in the time order among the voice signals corresponding to each visual sign is the start time of the section to be selected, and the second sound signal The end time may be set as the end time of the section to be selected. In addition to this, information indicating the start time and end time of the section may be input in various ways.

일실시예에 따른 시간 구간은 일실시예에 따른 화자 구간은 음향 신호 내에서 특정 화자에 대응하는 음성 신호를 포함하는 구간으로, 사용자가 선택될 구간의 화자를 지시하는 정보를 설정함으로써 결정될 수 있다. 예를 들어, 사용자가 선택될 구간의 화자를 화자 A로 설정한 경우, 음향 신호 내 화자 A의 음성 신호에 해당하는 3초에서 5초에 해당하는 제1 구간 및 7초에서 10초에 해당하는 제2 구간이 사용자가 선택한 화자 구간에 해당될 수 있다. 일실시예에 따를 때, 화자 구간은 설정된 화자의 식별 정보를 갖는 적어도 하나의 인식 단위를 포함할 수 있다. 일실시예에 따를 때, 사용자는 인식 결과에 포함된 화자의 식별 정보에 대응하는 시각적 기호를 선택함으로써, 선택될 구간의 화자를 지시하는 정보를 설정할 수 있다. 이 외에도 화자를 지시하는 정보는 다양한 방식으로 입력될 수 있다.The time period according to an embodiment is a period including a voice signal corresponding to a specific speaker in a sound signal, and may be determined by setting information indicating a speaker of a period to be selected by a user. . For example, when the user sets speaker A as the speaker of the section to be selected, the first section corresponding to 3 to 5 seconds corresponding to the voice signal of speaker A in the sound signal and the first section corresponding to 7 to 10 seconds The second section may correspond to a speaker section selected by the user. According to an embodiment, a speaker section may include at least one recognition unit having identification information of a set speaker. According to an embodiment, a user may set information indicating a speaker of a section to be selected by selecting a visual sign corresponding to speaker identification information included in the recognition result. In addition to this, information indicating a speaker may be input in various ways.

일실시예에 따를 때, 사용자는 선택된 시각적 기호에 대응하는 음향 신호 내 구간의 처리를 지시하는 명령을 입력할 수 있다. 일실시예에 따른 명령은 재생을 지시하는 명령, 편집을 지시하는 명령, 공유를 지시하는 명령, 자연어 처리에 관한 명령 등을 포함할 수 있다. 이하에서 상술하겠으나, 자연어 처리에 관한 명령은 음성 인식의 언어를 변경하는 언어 변경을 지시하는 명령 및 텍스트 데이터를 다른 언어로 번역하는 번역을 지시하는 명령을 포함할 수 있다.According to one embodiment, the user may input a command instructing processing of a section in the sound signal corresponding to the selected visual sign. A command according to an embodiment may include a command for instructing playback, a command for instructing editing, a command for instructing sharing, a command for natural language processing, and the like. As will be described in detail below, the command related to natural language processing may include a command for instructing a language change for changing the language of speech recognition and a command for instructing a translation for translating text data into another language.

일실시예에 따른 단계(150)는 수신된 명령에 반응하여, 선택된 시각적 기호에 대응하는 음향 신호 내 일부 구간을 처리하는 단계에 해당할 수 있다. 이하에서, 선택된 시각적 기호에 대응하는 음향 신호 내 일부 구간은 선택된 구간으로 지칭한다. 예를 들어, 공유를 지시하는 명령이 수신된 경우, 선택된 구간에 대응하는 인식 결과 및 선택된 구간에 대응하는 음향 신호 중 적어도 하나를 공유하는 단계를 포함할 수 있다. 일실시예에 따를 때, 공유하는 단계는 선택된 구간에 대응하는 인식 결과 및 음향 신호를 다른 사용자에게 전달하는 단계, 또는, 별도의 서버에 저장된 선택된 구간에 대응하는 인식 결과 및 음향 신호에 접근할 수 있는 하이퍼링크를 다른 사용자에게 전달하는 단계를 포함할 수 있다.Step 150 according to an embodiment may correspond to a step of processing a partial section of the sound signal corresponding to the selected visual sign in response to the received command. Hereinafter, some sections of the sound signal corresponding to the selected visual sign are referred to as selected sections. For example, when a command instructing sharing is received, sharing at least one of a recognition result corresponding to a selected section and a sound signal corresponding to the selected section may be included. According to an embodiment, the sharing may include transmitting the recognition result and the sound signal corresponding to the selected section to another user, or accessing the recognition result and the sound signal corresponding to the selected section stored in a separate server. It may include forwarding the present hyperlink to another user.

또 다른 예를 들어, 자연어 처리에 관한 명령이 수신된 경우, 선택된 구간에 대응하는 인식 결과를 자연어 처리를 통해 변경하는 단계를 포함할 수 있다. 일실시예에 따를 때, 자연어 처리에 관한 명령이 언어 변경을 지시하는 명령인 경우, 일실시예에 따른 단계(150)는 선택된 구간의 음성 신호를 다른 언어로 인식하여, 선택된 구간에 대응하는 인식 결과에 포함된 텍스트 데이터를 해당 언어로 변경하는 단계를 포함할 수 있다. 일실시예에 따를 때, 자연어 처리에 관한 명령이 번역을 지시하는 명령인 경우, 일실시예에 따른 단계(150)는 선택된 구간에 대응하는 인식 결과에 포함된 텍스트 데이터를 다른 언어로 번역하여, 번역 결과를 포함하도록 선택된 구간에 대응하는 인식 결과를 변경하는 단계를 포함할 수 있다.For another example, when a command related to natural language processing is received, a step of changing a recognition result corresponding to the selected section through natural language processing may be included. According to an embodiment, when the command for natural language processing is a command for instructing a language change, step 150 according to an embodiment recognizes the voice signal of the selected section in another language, and recognizes the corresponding section in the selected section. A step of changing text data included in the result into a corresponding language may be included. According to an embodiment, when the command related to natural language processing is a command instructing translation, step 150 according to an embodiment translates the text data included in the recognition result corresponding to the selected section into another language, and changing the recognition result corresponding to the selected section to include the translation result.

일실시예에 따를 때, 재생을 지시하는 명령이 수신된 경우, 선택된 구간에 대응하는 음향 신호를 재생하는 단계를 포함할 수 있으며, 음향 신호의 재생에 따라 선택된 구간에 대응하는 인식 결과를 인터페이스에 표시하는 단계를 포함할 수 있다.According to an embodiment, when a command for instructing playback is received, the method may include reproducing a sound signal corresponding to the selected period, and displaying a recognition result corresponding to the selected period to an interface according to the reproduction of the sound signal. It may include a display step.

일실시예에 따를 때, 편집을 지시하는 명령이 수신된 경우, 선택된 구간에 대응하는 음향 신호 및/또는 선택된 구간에 대응하는 인식 결과가 사용자의 입력에 따라 편집될 수 있다. 일실시예에 따를 때, 사용자 인터페이스에 음향 신호 및 인식 결과의 편집에 관한 툴이 제공될 수 있으며, 사용자는 제공된 편집에 관한 툴을 이용하여 편집에 관한 명령을 입력할 수 있다. According to one embodiment, when a command instructing editing is received, a sound signal corresponding to the selected section and/or a recognition result corresponding to the selected section may be edited according to a user's input. According to an embodiment, a tool for editing the acoustic signal and the recognition result may be provided in a user interface, and a user may input a command for editing using the provided editing tool.

도 4 및 도 5는 음향 신호 내 적어도 일부 선택된 구간에 대한 명령을 처리하는 과정을 설명하기 위한 도면들이다.4 and 5 are diagrams for explaining a process of processing a command for at least a part of a selected section in a sound signal.

도 4는 일실시예에 따른 선택된 구간이 시간 구간에 해당하는 경우를 도시한 것이다. 도 4를 참조하면, 사용자는 인터페이스에 표시된 텍스트 데이터에 대응하는 시각적 기호(401, 402)를 선택함으로써, 선택된 시각적 기호에 대응하는 인식 단위가 포함된 구간(410)을 선택할 수 있다. 예를 들어, 시각적 기호(401)는 제1 인식 단위에 대응하고, 시각적 기호(402)는 제2 인식 단위에 대응하는 경우, 선택된 구간(410)은 제1 인식 단위 및 제2 인식 단위를 포함할 수 있다. 일실시예에 따른 선택된 구간(410)에 대응하는 음향 신호는 제1 인식 단위 및 제2 인식 단위에 대응하는 연속적인 음향 신호(411)에 해당할 수 있다. 일실시예에 따른 선택된 구간(410)에 대응하는 인식 결과는 선택된 구간에 대응하는 음향 신호의 화자 인식 및 음성 인식 등의 결과로, 예를 들어 음향 신호의 인식 단위 별 화자 인식에 따른 화자의 식별 정보, 음성 인식에 따른 텍스트 데이터 등을 포함할 수 있다. 즉, 선택된 구간에 대응하는 인식 결과는 제1 인식 단위의 인식 결과 및 제2 인식 단위의 인식 결과를 포함할 수 있다.4 illustrates a case in which a selected section corresponds to a time section according to an embodiment. Referring to FIG. 4 , the user may select a section 410 including a recognition unit corresponding to the selected visual sign by selecting visual signs 401 and 402 corresponding to text data displayed on the interface. For example, when the visual sign 401 corresponds to a first recognition unit and the visual sign 402 corresponds to a second recognition unit, the selected section 410 includes the first recognition unit and the second recognition unit. can do. The sound signal corresponding to the selected section 410 according to an embodiment may correspond to the continuous sound signal 411 corresponding to the first recognition unit and the second recognition unit. The recognition result corresponding to the selected section 410 according to an embodiment is a result of speaker recognition and voice recognition of the acoustic signal corresponding to the selected section, for example, speaker identification according to speaker recognition for each recognition unit of the acoustic signal. It may include information, text data according to voice recognition, and the like. That is, the recognition result corresponding to the selected section may include the recognition result of the first recognition unit and the recognition result of the second recognition unit.

도 5는 일실시예에 따른 선택된 구간이 화자 구간에 해당하는 경우를 도시한 것이다. 도 5를 참조하면, 사용자는 인터페이스에 표시된 화자의 식별 정보에 대응하는 시각적 기호(501)를 선택함으로써, 선택된 시각적 기호에 대응하는 화자의 음성 신호에 해당하는 인식 단위가 포함된 구간(510, 520)을 선택할 수 있다. 예를 들어, 시각적 기호(501)에 대응하는 화자의 식별 정보가 A이고, 제3 인식 단위 및 제4 인식 단위의 화자의 식별 정보가 A인 경우, 구간(510)은 제3 인식 단위를 포함하고, 구간(520)은 제4 인식 단위를 포함할 수 있다. 일실시예에 따른 선택된 구간(510, 520)에 대응하는 음향 신호는 시각적 기호(501)에 대응하는 화자의 연속적이지 않은 음성 신호(511, 521)에 해당할 수 있다. 일실시예에 따른 선택된 구간(510, 520)에 대응하는 인식 결과는 제3 인식 단위의 인식 결과 및 제 4 인식 단위의 인식 결과를 포함할 수 있다.5 illustrates a case in which a selected section corresponds to a speaker section according to an exemplary embodiment. Referring to FIG. 5 , the user selects a visual sign 501 corresponding to the speaker's identification information displayed on the interface, and thus a section 510, 520 including a recognition unit corresponding to the speaker's voice signal corresponding to the selected visual sign ) can be selected. For example, when the identification information of the speaker corresponding to the visual sign 501 is A, and the identification information of the speaker of the third recognition unit and the fourth recognition unit is A, the interval 510 includes the third recognition unit. and the interval 520 may include a fourth recognition unit. Sound signals corresponding to the selected sections 510 and 520 according to an embodiment may correspond to non-continuous audio signals 511 and 521 of the speaker corresponding to the visual sign 501 . Recognition results corresponding to the selected sections 510 and 520 according to an embodiment may include a recognition result of a third recognition unit and a recognition result of a fourth recognition unit.

도 4 및 도 5를 참조하면, 선택된 구간의 처리에 관한 명령(420, 530)은 예를 들어, 재생, 공유, 언어 변경 및 번역 중 어느 하나를 지시하는 명령을 포함할 수 있다. 일실시예에 따른 인터페이싱 방법을 수행하는 프로세서는 사용자로부터 선택된 구간의 처리에 관한 명령을 수신하여, 수신된 명령에 따라 선택된 구간을 처리할 수 있다.Referring to FIGS. 4 and 5 , commands 420 and 530 related to processing of a selected section may include, for example, a command instructing one of playback, sharing, language change, and translation. A processor performing the interfacing method according to an embodiment may receive a command for processing a selected section from a user and process the selected section according to the received command.

도 4를 참조하면, 선택된 구간에 대하여 재생을 지시하는 명령이 수신된 경우, 선택된 구간에 대응하는 음향 신호가 사용자의 인터페이스(440)에서 재생될 수 있으며, 음향 신호의 재생에 따라 사용자의 인터페이스(440)에 선택된 구간에 대응하는 인식 결과가 표시될 수 있다.Referring to FIG. 4 , when a command instructing reproduction of a selected section is received, a sound signal corresponding to the selected section may be reproduced in the user's interface 440, and the user's interface ( 440), a recognition result corresponding to the selected section may be displayed.

도 5를 참조하면, 선택된 구간에 대하여 공유를 지시하는 명령이 수신된 경우, 선택된 구간에 대응하는 음향 신호 및 선택된 구간에 대응하는 인식 결과가 다른 사용자에게 공유될 수 있다. 일실시예에 따를 때, 선택된 구간에 대응하는 음향 신호는 선택된 구간을 공유 받은 다른 사용자의 인터페이스(550)에서 재생될 수 있으며, 음향 신호의 재생에 따라 다른 사용자의 인터페이스(550)에 선택된 구간에 대응하는 인식 결과가 표시될 수 있다. 즉, 구간의 선택 및 공유 명령이 수신된 사용자의 인터페이스(540)는 선택된 구간이 공유된 다른 사용자의 인터페이스(550)와 구분된다. 이와 비교하여, 도 4를 참조하면, 구간의 선택 및 재생 명령이 수신된 사용자의 인터페이스(430)는 선택된 구간이 재생되는 사용자의 인터페이스(440)와 동일하다.Referring to FIG. 5 , when a command for instructing sharing of a selected section is received, a sound signal corresponding to the selected section and a recognition result corresponding to the selected section may be shared with other users. According to one embodiment, the sound signal corresponding to the selected section may be reproduced in the interface 550 of another user who has shared the selected section, and the selected section in the interface 550 of another user according to the reproduction of the sound signal. Corresponding recognition results may be displayed. That is, the interface 540 of the user receiving the section selection and sharing command is distinguished from the interface 550 of other users sharing the selected section. In comparison, referring to FIG. 4 , the interface 430 of the user receiving the command to select and reproduce the section is identical to the interface 440 of the user playing the selected section.

도 6 및 도 7은 하이퍼링크를 이용하여 선택된 구간의 공유 명령을 처리하는 과정을 설명하기 위한 도면들이다.6 and 7 are diagrams for explaining a process of processing a sharing command of a selected section using a hyperlink.

도 6을 참조하면, 일실시예에 따른 선택된 구간을 공유하는 단계는 음향 신호 내 일부 구간에 대한 사용자의 선택 및 공유를 지시하는 명령을 수신하는 단계(610), 음향 신호 및 음향 신호에 대응하는 인식 결과가 저장된 서버에 선택된 구간에 관한 정보를 전송하여, 선택된 구간에 대응하는 음향 신호에 접근하기 위한 하이퍼링크를 서버에 요청하고, 이를 수신하는 단계(620), 및 수신된 하이퍼링크를 다른 사용자와 공유하는 단계를 포함할 수 있다.Referring to FIG. 6, sharing the selected section according to an embodiment includes receiving a command for instructing a user to select and share a section in a sound signal (610), a sound signal and corresponding to the sound signal. Sending information about the selected section to the server storing the recognition result, requesting a hyperlink for accessing the acoustic signal corresponding to the selected section to the server, and receiving the hyperlink (620), and sending the received hyperlink to another user It may include steps to share with.

일실시예에 따른 서버로 전송되는 선택된 구간에 관한 정보는 선택된 구간을 포함하는 음향 신호의 식별 정보 및 선택된 구간의 음향 신호 내 위치에 관한 정보를 포함할 수 있다. 다시 말해, 선택된 구간에 관한 정보는 선택된 구간을 포함하는 음향 신호가 기록된 파일의 식별 정보를 포함할 수 있다. 또한, 선택된 구간에 관한 정보는 음향 신호 내에서 선택된 구간의 위치를 지시하는 정보를 포함할 수 있다. 예를 들어, 음향 신호 내에서 선택된 구간의 위치를 지시하는 정보는 선택된 구간의 시간 정보를 포함할 수 있다.Information about the selected section transmitted to the server according to an embodiment may include identification information of a sound signal including the selected section and information about a position of the selected section in the sound signal. In other words, information about the selected section may include identification information of a file in which a sound signal including the selected section is recorded. Also, the information on the selected section may include information indicating a position of the selected section within the sound signal. For example, information indicating a position of a selected section within a sound signal may include time information of the selected section.

일실시예에 따른 서버는 선택된 구간에 관한 정보에 기초하여, 서버에 저장된 선택된 구간에 대응하는 음향 신호에 접근할 수 있는 하이퍼링크를 생성할 수 있다. 즉, 선택된 구간에 대응하여 생성된 하이퍼링크는 서버 내 상기 선택된 구간에 대응하는 음향 신호가 저장된 위치에 관한 정보를 포함할 수 있다.The server according to an embodiment may generate a hyperlink through which a sound signal corresponding to the selected section stored in the server can be accessed based on information about the selected section. That is, the hyperlink generated corresponding to the selected section may include information about a location in the server where an acoustic signal corresponding to the selected section is stored.

일실시예에 따른 인터페이싱 방법을 수행하는 프로세서는 서버로부터 선택된 구간에 대응하는 하이퍼링크를 수신하여 사용자에게 제공할 수 있다. 일실시예에 따른 사용자는 하이퍼링크를 다른 사용자와 공유함으로써, 선택된 구간에 대응하는 음향 신호 및 인식 결과를 공유할 수 있다.A processor performing the interfacing method according to an embodiment may receive a hyperlink corresponding to a selected section from a server and provide the hyperlink to the user. According to an embodiment, a user may share a sound signal and a recognition result corresponding to a selected section by sharing a hyperlink with another user.

일실시예에 따른 특정 구간에 대응하는 하이퍼링크를 공유 받은 다른 사용자는 하이퍼링크를 클릭하여 특정 구간에 대응하는 음향 신호 및/또는 인식 결과를 수신할 수 있다. 도 7을 참조하면, 일실시예에 따른 인터페이싱 방법을 수행하는 프로세서는 공유된 하이퍼링크에 관한 연결 요청을 수신(710)할 수 있고, 하이퍼링크를 통해 서버의 저장 위치에 접근하여 특정 구간에 대응하는 음향 신호 및/또는 인식 결과를 수신(720)할 수 있다. 일실시예에 따른 특정 구간에 대응하는 음향 신호는 하이퍼링크에 관한 연결을 요청한 다른 사용자 단말의 사용자 인터페이스를 통해 재생될 수 있다. 특정 구간이 재생되는 경우, 특정 구간의 인식 결과가 다른 사용자 단말의 인터페이스에 시각적 기호로 표시될 수 있다. 다시 말해, 일실시예에 따른 인터페이싱 방법을 수행하는 프로세서는 공유된 하이퍼링크를 통해 연결되는 음향 신호 내 특정 구간을 재생할 수 있으며, 특정 구간에 대응하는 인식 결과를 사용자 인터페이스에 시각적 기호로 표시할 수 있다. 일실시예에 따른 하이퍼링크는 특정 구간에 대응하는 음향 신호를 재생할 수 있고, 특정 구간에 대응하는 음향 신호가 재생되는 경우, 특정 구간에 대응하는 인식 결과를 시각적 기호로 표시하는 사용자 인터페이스로 연결되는 특징을 포함할 수 있다.Another user receiving a shared hyperlink corresponding to a specific section according to an embodiment may click the hyperlink to receive a sound signal and/or a recognition result corresponding to the specific section. Referring to FIG. 7 , a processor performing an interfacing method according to an embodiment may receive (710) a connection request for a shared hyperlink, access a storage location of a server through the hyperlink, and correspond to a specific section. A sound signal and/or a recognition result may be received (720). A sound signal corresponding to a specific section according to an embodiment may be reproduced through a user interface of another user terminal that has requested a hyperlink connection. When a specific section is reproduced, a recognition result of the specific section may be displayed as a visual symbol on an interface of another user terminal. In other words, a processor performing the interfacing method according to an embodiment may reproduce a specific section in an acoustic signal connected through a shared hyperlink, and display a recognition result corresponding to the specific section as a visual symbol on the user interface. have. The hyperlink according to an embodiment may play a sound signal corresponding to a specific section, and when the sound signal corresponding to the specific section is reproduced, it is connected to a user interface displaying a recognition result corresponding to the specific section as a visual symbol. may contain features.

일실시예에 따른 하이퍼링크는 특정 구간에 대응하는 인식 결과가 저장된 위치에 관한 정보를 포함할 수 있다. 예를 들어, 하이퍼링크는 선택된 구간에 대응하는 인식 결과가 저장된 주소에 관한 정보를 포함할 수 있다. 이 경우, 인터페이싱 방법을 수행하는 프로세서는 하이퍼링크를 통해 연결되는 특정 구간에 대응하는 인식 결과를 사용자 인터페이스에 시각적 기호로 표시할 수 있다.A hyperlink according to an embodiment may include information about a location where a recognition result corresponding to a specific section is stored. For example, the hyperlink may include information about an address where a recognition result corresponding to the selected section is stored. In this case, a processor performing the interfacing method may display a recognition result corresponding to a specific section connected through a hyperlink as a visual symbol on the user interface.

도 8은 일실시예에 따른 자연어 처리에 관한 명령을 처리하는 과정을 도시한 도면이다.8 is a diagram illustrating a process of processing a command related to natural language processing according to an embodiment.

도 8을 참조하면, 자연어 처리에 관한 명령을 처리하는 단계는 자연어 처리에 관한 명령에 기초하여, 선택된 구간에 대응하는 인식 결과를 변경하는 단계(810), 및 선택된 구간에 대응하는 변경된 인식 결과에 기초하여, 사용자 인터페이스에 표시된 시각적 기호를 변경하는 단계를(820) 포함할 수 있다.Referring to FIG. 8 , processing a command related to natural language processing includes changing a recognition result corresponding to a selected section based on the command related to natural language processing (810), and a changed recognition result corresponding to the selected section. Based on this, a step 820 of changing the visual sign displayed on the user interface may be included.

일실시예에 따른 자연어 처리에 관한 명령은 언어 변경을 지시하는 명령을 포함할 수 있다. 일실시예에 따른 언어 변경을 지시하는 명령은 음성 신호를 텍스트 데이터로 변환하는 음성 인식의 언어를 변경하는 것을 지시하는 명령에 해당할 수 있다. 일실시예에 따를 때, 언어 변경을 지시하는 명령은 어떤 언어로 언어 변경을 할 것인지에 관한 정보를 포함할 수 있다. 예를 들어, 일실시예에 따른 인터페이싱 방법을 수행하는 프로세서는 한국어로 음성을 인식하는 음성 인식 모듈을 사용하여 인식 결과를 획득한 경우, 영어로의 언어 변경 명령에 따라 영어로 음성을 인식하는 음성 인식 모듈을 사용하여 인식 결과를 다시 획득할 수 있다. 한국어로 음성을 인식하는 음성 인식 모듈은 음성 인식 결과 한국어에 해당하는 텍스트 데이터를 출력하고, 영어로 음성을 인식하는 음성 인식 모듈은 음성 인식 결과 영어에 해당하는 텍스트 데이터를 출력한다. 선택된 구간에 대하여 언어 변경을 지시하는 명령을 수행한 결과, 선택된 구간에 대응하는 인식 결과는 변경될 수 있다. 다시 말해, 선택된 구간에 대응하는 인식 결과에 포함된 특정 언어에 해당하는 텍스트 데이터는 선택된 구간에 대하여 언어 변경을 지시하는 명령을 수행한 결과, 변경된 언어에 해당하는 텍스트 데이터로 변경될 수 있다.A command related to natural language processing according to an embodiment may include a command instructing a language change. A command for instructing a language change according to an embodiment may correspond to a command for instructing to change a language of voice recognition for converting a voice signal into text data. According to one embodiment, the command for instructing language change may include information about which language to change the language to. For example, when a processor performing the interfacing method according to an embodiment obtains a recognition result using a voice recognition module that recognizes a voice in Korean, a voice that recognizes a voice in English according to a language change command to English. Recognition results can be obtained again using the recognition module. A voice recognition module that recognizes a voice in Korean outputs text data corresponding to Korean as a result of voice recognition, and a voice recognition module that recognizes a voice in English outputs text data corresponding to English as a result of voice recognition. As a result of executing a command for instructing language change with respect to the selected section, a recognition result corresponding to the selected section may be changed. In other words, text data corresponding to a specific language included in the recognition result corresponding to the selected section may be changed to text data corresponding to the changed language as a result of performing a command instructing language change for the selected section.

일실시예에 따른 자연어 처리에 관한 명령이 언어 변경을 지시하는 명령인 경우, 선택된 구간에 대응하는 인식 결과를 변경하는 단계는 선택된 구간에 대응하는 음향 신호를 다른 언어로 인식하여, 선택된 구간에 대응하는 인식 결과에 포함된 텍스트 데이터를 다른 언어로 변경하는 단계를 포함할 수 있다. 구간에 대응하는 인식 결과에 음향 신호를 제1 언어로 음성 인식하여 획득된 제1 언어의 텍스트 데이터가 포함된 경우, 다른 언어로 변경하는 단계는 사용자로부터 변경할 제2 언어에 대한 입력을 수신하는 단계, 및 사용자의 입력에 따른 제2 언어에 기초하여, 선택된 구간에 대응하는 음향 신호를 제2 언어로 음성 인식하여, 제2 언어의 텍스트 데이터를 획득하는 단계, 및 선택된 구간에 대응하는 인식 결과에 포함된 제1 언어의 텍스트 데이터를 제2 언어의 텍스트 데이터로 변경하는 단계를 포함할 수 있다. 이 경우, 제2 언어는 변경 전 선택된 구간에 대응하는 인식 결과를 획득하기 위한 제1 언어와 구분될 수 있다.If the command for natural language processing according to an embodiment is a command for instructing language change, the step of changing the recognition result corresponding to the selected section may include recognizing a sound signal corresponding to the selected section in a different language and corresponding to the selected section. and changing text data included in the recognition result to another language. When the recognition result corresponding to the section includes text data of the first language obtained by recognizing the sound signal in the first language, the step of changing to another language includes receiving an input for the second language to be changed from the user. , And based on the second language according to the user's input, voice recognition of the sound signal corresponding to the selected section in the second language to obtain text data of the second language, and the recognition result corresponding to the selected section The method may include changing included text data of the first language into text data of the second language. In this case, the second language may be distinguished from the first language for obtaining a recognition result corresponding to the selected section before change.

선택된 구간에 대한 언어 변경을 지시하는 명령을 수행하는 실시예는 도 9를 참조할 수 있다. 도 9는 일실시예에 따른 인식 결과가 대응되는 시각적 기호로 인터페이스에 표시된 화면을 도시하고 있으나, 인터페이스에 표시된 텍스트 형태의 시각적 기호(911, 912, 921, 922)가 인식 결과에 포함된 텍스트 데이터와 동일한 것으로 가정하여, 텍스트의 시각적 기호(911, 912, 921, 922)를 대응하는 인식 결과에 포함된 텍스트 데이터인 것으로 설명한다. 도 9를 참조하면, 사용자는 인터페이스를 통해 선택된 구간(901)에 대하여 언어 변경을 지시하는 명령을 입력(910)할 수 있으며, 변경할 언어를 지정(920)하여 언어 변경을 지시하는 명령을 입력할 수 있다. 일실시예에 따른 선택된 구간(901)에 대응하는 인식 결과는 대응하는 음성 신호를 한국어로 음성 인식하여 획득한 한국어의 텍스트 데이터(911, 912)를 포함하고 있었으나, 영어로의 언어 변경을 수행한 결과, 선택된 구간(902)에 대응하는 음성 신호를 영어로 음성 인식하여 획득된 영어의 텍스트 데이터(921, 922)로 인식 결과가 변경될 수 있다. 일실시예에 따를 때, 변경된 인식 결과에 따라, 인터페이스에 표시된 시각적 기호도 변경될 수 있다.An embodiment of performing a command indicating a language change for a selected section may refer to FIG. 9 . 9 shows a screen displayed on the interface with visual signs corresponding to recognition results according to an embodiment, but text data including text-type visual signs 911, 912, 921, and 922 displayed on the interface in the recognition results. Assuming that is the same as , the text visual signs 911, 912, 921, and 922 are described as text data included in the corresponding recognition result. Referring to FIG. 9 , the user may input 910 a command instructing a language change for a selected section 901 through the interface, and input a command instructing a language change by specifying a language to be changed 920 . can The recognition result corresponding to the selected section 901 according to an embodiment included Korean text data 911 and 912 obtained by voice recognition of the corresponding voice signal in Korean, but the language was changed to English. As a result, the recognition result may be changed to English text data 921 and 922 obtained by recognizing the voice signal corresponding to the selected section 902 in English. According to an embodiment, the visual sign displayed on the interface may also be changed according to the changed recognition result.

일실시예에 따른 자연어 처리에 관한 명령은 번역을 지시하는 명령을 포함할 수 있다. 일실시예에 따른 번역을 지시하는 명령은 인식 결과에 포함된 텍스트 데이터를 다른 언어의 텍스트 데이터로 번역하는 것을 지시하는 명령에 해당할 수 있다. 일실시예에 따를 때, 번역을 지시하는 명령은 인식 결과에 포함된 텍스트 데이터를 어떤 언어로 번역할 것인지에 관한 정보를 포함할 수 있다. 예를 들어, 일실시예에 따른 인터페이싱 방법을 수행하는 프로세서는 인식 결과에 포함된 한국어의 텍스트 데이터를 영어로 번역하라는 명령에 따라 한국어의 텍스트 데이터를 영어로 번역한 텍스트 데이터를 획득할 수 있다. 일실시예에 따를 때, 선택된 구간에 대하여 특정 언어로의 번역을 지시하는 명령을 수행한 결과, 선택된 구간에 대응하는 인식 결과에 특정 언어로 번역된 텍스트 데이터가 포함될 수 있다. 다시 말해, 선택된 구간에 대하여 번역을 지시하는 명령이 수행된 결과, 선택된 구간에 대응하는 인식 결과는 텍스트 데이터가 번역된 텍스트 데이터로 교체되거나, 번역된 텍스트 데이터가 더 추가됨으로써 변경될 수 있다.A command related to natural language processing according to an embodiment may include a command instructing translation. A command instructing translation according to an embodiment may correspond to a command instructing to translate text data included in a recognition result into text data in another language. According to an embodiment, the command for instructing translation may include information about which language to translate the text data included in the recognition result into. For example, a processor performing an interfacing method according to an embodiment may obtain text data obtained by translating Korean text data into English according to a command to translate Korean text data included in a recognition result into English. According to an embodiment, as a result of executing a command instructing translation into a specific language for a selected section, text data translated into a specific language may be included in a recognition result corresponding to the selected section. In other words, as a result of executing a command instructing translation for the selected section, the recognition result corresponding to the selected section may be changed by replacing text data with translated text data or adding more translated text data.

일실시예에 따른 자연어 처리에 관한 명령이 번역을 지시하는 명령인 경우, 선택된 구간에 대응하는 인식 결과를 변경하는 단계는 선택된 구간에 대응하는 인식 결과에 포함된 텍스트 데이터를 다른 언어로 번역하여, 번역 결과를 포함하도록 선택된 구간에 대응하는 인식 결과를 변경하는 단계를 포함할 수 있다. 구간에 대응하는 인식 결과에 음향 신호를 제1 언어로 음성 인식하여 획득된 제1 언어의 텍스트 데이터가 포함된 경우, 선택된 구간에 대응하는 인식 결과를 변경하는 단계는 사용자로부터 번역할 제2 언어에 대한 입력을 수신하는 단계, 선택된 구간에 대응하는 인식 결과에 포함된 제1 언어의 텍스트 데이터를 제2 언어로 번역하여, 제2 언어의 텍스트 데이터를 획득하는 단계 및 제2 언어의 텍스트 데이터를 포함하도록 선택된 구간에 대응하는 인식 결과를 변경하는 단계를 포함할 수 있다. 이 경우, 제2 언어는 변경 전 선택된 구간에 대응하는 인식 결과를 획득하기 위한 제1 언어와 구분될 수 있다.If the command related to natural language processing according to an embodiment is a command instructing translation, the step of changing the recognition result corresponding to the selected section translates text data included in the recognition result corresponding to the selected section into another language, and changing the recognition result corresponding to the selected section to include the translation result. When the recognition result corresponding to the section includes text data in the first language obtained by recognizing the sound signal in the first language, the step of changing the recognition result corresponding to the selected section may include text data in the second language to be translated from the user. Receiving an input for the selected section, translating the text data of the first language included in the recognition result corresponding to the selected section into a second language, and obtaining the text data of the second language, and including the text data of the second language. and changing a recognition result corresponding to the section selected to be performed. In this case, the second language may be distinguished from the first language for obtaining a recognition result corresponding to the selected section before change.

선택된 구간에 대한 번역을 지시하는 명령을 수행하는 실시예는 도 10을 참조할 수 있다. 도 10은 일실시예에 따른 인식 결과가 대응되는 시각적 기호로 인터페이스에 표시된 화면을 도시하고 있으나, 인터페이스에 표시된 텍스트 형태의 시각적 기호(1011, 1012, 1021, 1022)가 인식 결과에 포함된 텍스트 데이터와 동일한 것으로 가정하여, 텍스트의 시각적 기호(1011, 1012, 1021, 1022)를 대응하는 인식 결과에 포함된 텍스트 데이터인 것으로 설명한다. 도 10을 참조하면, 사용자는 인터페이스를 통해 선택된 구간(1001)에 대하여 번역을 지시하는 명령을 입력(1010)할 수 있으며, 번역할 언어를 지정(1020)하여 번역을 지시하는 명령을 입력할 수 있다. 일실시예에 따른 선택된 구간(1001)에 대응하는 인식 결과는 대응하는 음성 신호를 한국어로 음성 인식하여 획득한 한국어의 텍스트 데이터(1011, 1012)를 포함하고 있었으나, 영어로의 번역을 수행한 결과, 한국어의 텍스트 데이터 및 영어로 번역한 텍스트 데이터를 포함하도록 인식 결과가 변경될 수 있다. 일실시예에 따를 때, 변경된 인식 결과에 따라, 인터페이스에 표시된 시각적 기호도 변경될 수 있다. 예를 들어, 일실시예에 따른 변경된 인식 결과에 대응하는 변경된 시각적 기호(1021, 1022)는 번역 대상의 텍스트 데이터에 번역된 텍스트 데이터를 병기한 형태를 포함할 수 있다.An embodiment of executing a command instructing translation for a selected section may refer to FIG. 10 . 10 shows a screen displayed on an interface with visual signs corresponding to recognition results according to an embodiment, but text data including text-type visual signs 1011, 1012, 1021, and 1022 displayed on the interface Assuming that is the same as , the text visual signs 1011, 1012, 1021, and 1022 are described as text data included in the corresponding recognition result. Referring to FIG. 10 , the user may input (1010) a command instructing translation for a selected section (1001) through the interface, and input a command instructing translation by designating a language to be translated (1020). have. The recognition result corresponding to the selected section 1001 according to an embodiment included Korean text data 1011 and 1012 obtained by voice recognition of the corresponding voice signal in Korean, but the result of performing the translation into English , the recognition result may be changed to include text data in Korean and text data translated into English. According to an embodiment, the visual sign displayed on the interface may also be changed according to the changed recognition result. For example, the changed visual signs 1021 and 1022 corresponding to the changed recognition result according to an embodiment may include translated text data in addition to text data to be translated.

도 11a 내지 도 12c는 일실시예에 따른 인터페이스의 표시 모드를 설명하기 위한 도면들이다.11A to 12C are diagrams for explaining a display mode of an interface according to an exemplary embodiment.

도 11a 및 도 11b는 화자의 위치를 고려하지 않고 인식 결과를 표시하는 인터페이스의 제1 표시 모드의 예를 도시한 도면들이다. 보다 구체적으로, 도 11a는 제1 표시 모드 중 텍스트 모드가 선택된 경우의 인식 결과가 표시된 인터페이스의 예를 도시한 도면, 도 11b는 제1 표시 모드 중 대화형 모드가 선택된 경우의 인식 결과가 표시된 인터페이스의 예를 도시한 도면이다.11A and 11B are views illustrating an example of a first display mode of an interface displaying a recognition result without considering a speaker's location. More specifically, FIG. 11A is a diagram illustrating an example of an interface displaying recognition results when a text mode is selected from among the first display modes, and FIG. 11B is an interface displaying recognition results when an interactive mode is selected from among the first display modes. It is a drawing showing an example of

도 11a 및 도 11b를 참조하면, 일실시예에 따른 인식 결과는 재생 요청된 음향 신호의 시계열적 정보에 기초하여, 재생되는 순서대로 인터페이스에 표시될 수 있다. 도 11a 및 도 11b는 도 2에 도시된 인식 결과를 재생되는 순서대로 표시한 것으로, 음성 신호에 대응하는 텍스트 데이터가 화자의 식별 정보와 함께 표시될 수 있고, 비음성 신호의 유형에 대응하는 시각적 기호가 표시될 수 있다. 일실시예에 따른 비음성 신호의 유형에 대응하는 시각적 기호는 텍스트 데이터, 이모티콘, 도형 등을 포함할 수 있다. 예를 들어, 비음성 신호의 웃음 유형에 대응하는 시각적 기호는 도 11a를 참조하면, "(웃음)"의 텍스트 데이터를 포함할 수 있고, 도 11b를 참조하면, 웃는 얼굴의 이모티콘(1101)을 포함할 수도 있으며, 그 밖의 비음성 신호의 유형을 구분하기 위한 시각적 도형 등을 포함할 수 있다. 상술한 바와 같이, 인터페이스의 상단부터 재생되는 순서대로 인식 단위에 대응하는 시각적 기호가 차례대로 표시될 수 있다.Referring to FIGS. 11A and 11B , recognition results according to an exemplary embodiment may be displayed on the interface in the order in which they are reproduced based on time-sequential information of a sound signal requested to be reproduced. 11A and 11B show the recognition results shown in FIG. 2 in the order in which they are reproduced. Text data corresponding to a voice signal may be displayed together with speaker identification information, and visual data corresponding to the type of a non-voice signal may be displayed. symbols may be displayed. The visual sign corresponding to the type of non-voice signal according to an embodiment may include text data, emoticon, figure, and the like. For example, referring to FIG. 11A, the visual sign corresponding to the laughter type of the non-voice signal may include text data of “(laugh)”, and referring to FIG. 11B, a smiley face emoticon 1101 It may also include, and may include a visual figure for distinguishing the type of other non-voice signals. As described above, visual signs corresponding to recognition units may be sequentially displayed in the order of reproduction from the top of the interface.

일실시예에 따른 화자의 음성 신호에 대응하는 텍스트 데이터는 화자의 식별 정보와 함께 인터페이스에 표시될 수 있다. 도 11a를 참조하면, 화자의 식별 정보는 화자 A, 화자 B와 같이 화자 별로 부여된 텍스트 데이터로 표시될 수 있다. 도 11b를 참조하면, 화자의 식별 정보는 화자 별로 다른 색상이 부여된 도형(1110, 1120, 1130)으로 표시될 수 있으며, 화자가 인터페이스가 표시되는 단말의 사용자인 경우 인터페이스의 우측에 화자에 대응하는 도형(1130)이 표시되고, 그 외의 화자인 경우 인터페이스의 좌측에 화자에 대응하는 도형(1110, 1120)이 표시될 수 있다. 도 11a에 도시되진 않았으나, 화자의 식별 정보에 인터페이스가 표시되는 단말의 사용자임을 지시하는 정보가 표시될 수 있다. 예를 들어, 도 11a에서 화자 A가 사용자에 해당하는 경우, 화자 A의 텍스트 데이터가 다른 색상으로 표시되거나, "화자 A(사용자)"의 텍스트 데이터가 표시될 수 있다. 또한, 도 11b를 참조하면, 인식 단위의 텍스트 데이터 및 화자의 식별 정보와 함께 시간 정보가 인터페이스에 표시될 수 있다.According to an embodiment, text data corresponding to a speaker's voice signal may be displayed on an interface together with speaker identification information. Referring to FIG. 11A , speaker identification information may be displayed as text data assigned to each speaker, such as speaker A and speaker B. Referring to FIG. 11B , speaker identification information may be displayed as figures 1110, 1120, and 1130 with different colors for each speaker, and if the speaker is a user of a terminal displaying an interface, the right side of the interface corresponds to the speaker. A figure 1130 is displayed, and in the case of other speakers, figures 1110 and 1120 corresponding to the speaker may be displayed on the left side of the interface. Although not shown in FIG. 11A , information indicating that the speaker is a user of a terminal on which an interface is displayed may be displayed in identification information of a speaker. For example, when speaker A corresponds to a user in FIG. 11A , text data of speaker A may be displayed in a different color or text data of “speaker A (user)” may be displayed. Also, referring to FIG. 11B , time information may be displayed on the interface along with text data of a recognition unit and identification information of a speaker.

도 12a 내지 도 12c는 화자의 위치를 고려하여 인식 결과를 표시하는 인터페이스의 제2 표시 모드의 예를 도시한 도면들이다.12A to 12C are diagrams illustrating an example of a second display mode of an interface displaying a recognition result in consideration of a speaker's location.

일실시예에 따른 인터페이싱 방법은 화자의 위치를 고려하여 인식 결과를 표시하기 위하여, 복수의 화자들의 음성을 포함하는 음향 신호를 수신하는 단계, 음향 신호 내 화자 별 음성 신호에 대응하는 화자의 식별 정보, 화자 별 음성 신호에 대응하는 텍스트 데이터, 및 화자 별 음성 신호에 대응하는 화자의 위치 정보를 포함하는 인식 결과를 획득하는 단계, 화자의 위치 정보에 기초하여, 사용자 인터페이스 내 화자의 위치를 결정하는 단계, 및 사용자 인터페이스 내 화자의 위치에 기초하여, 인식 결과를 사용자 인터페이스에 시각적 기호로 표시하는 단계를 포함할 수 있다. 즉, 일실시예에 따른 인식 결과는 수신된 음향 신호의 위치 인식에 따른 위치 정보를 더 포함할 수 있다. 일실시예에 따를 때, 음향 신호의 위치를 인식한다는 것은 방향 감지 기술이 적용된 음향 수신 장치로부터 생성된 음향 신호에 기초하여, 음향 신호가 발생한 방향, 음향 신호가 발생한 위치와 음향 수신 장치와의 거리 등의 위치의 정보를 획득하는 것을 의미할 수 있다. 일실시예에 따를 때, 음향 신호에 포함된 음성 신호가 발생한 위치는 음성 신호에 대응하는 화자의 위치에 대응될 수 있다. 즉, 일실시예에 따른 음향 신호에 대응하는 인식 결과를 획득하는 단계는 수신된 음향 신호의 위치를 인식하는 단계 및 화자 별 음성 신호에 대응하는 화자의 위치 정보를 획득하는 단계를 포함할 수 있다. An interfacing method according to an embodiment includes receiving a sound signal including voices of a plurality of speakers in order to display a recognition result in consideration of a speaker's location, and speaker identification information corresponding to a voice signal for each speaker in the sound signal. obtaining a recognition result including text data corresponding to the voice signal for each speaker and location information of the speaker corresponding to the voice signal for each speaker; determining the location of the speaker in the user interface based on the location information of the speaker; and displaying a recognition result as a visual symbol on the user interface based on the speaker's position within the user interface. That is, the recognition result according to an embodiment may further include location information according to location recognition of the received sound signal. According to an embodiment, recognizing the location of the sound signal means, based on the sound signal generated from the sound receiving device to which the direction sensing technology is applied, the direction in which the sound signal is generated, the location where the sound signal is generated, and the distance between the sound receiving device. It may mean acquiring information on the location of the back. According to an embodiment, a location where a voice signal included in a sound signal is generated may correspond to a location of a speaker corresponding to the voice signal. That is, obtaining a recognition result corresponding to a sound signal according to an embodiment may include recognizing the position of the received sound signal and acquiring speaker position information corresponding to the speech signal for each speaker. .

방향 감지 기술이 적용된 음향 수신 장치에서 생성된 음향 신호는 음향 수신 장치에 포함된 복수의 센서에 소리가 도달한 시간의 차이 및 복수의 센서가 배치된 기하학 등에 기초하여 음향 신호가 발생한 위치 정보가 추정될 수 있다. 일실시예에 따를 때, 음향 신호의 위치 정보는 서로 다른 발원지를 갖는 복수의 음향 신호들 사이의 상대적인 위치 정보를 포함할 수 있다. 일실시예에 따른 사용자 인터페이싱 방법을 수행하는 프로세서는 방향 감지 기술이 적용된 음향 수신 장치에서 복수의 화자들의 음성을 수신하여 생성된 음향 신호로부터 화자들의 위치 정보를 획득할 수 있으며, 화자 별 음성 신호 및 화자 별 위치 정보를 매핑하여 데이터베이스에 저장할 수 있다.The acoustic signal generated by the sound receiving device to which the direction sensing technology is applied is estimated based on the difference in the time at which sound reaches the plurality of sensors included in the sound receiving device and the geometry of the plurality of sensors, etc. It can be. According to an embodiment, the location information of the sound signal may include relative location information between a plurality of sound signals having different origins. A processor performing a user interfacing method according to an embodiment may obtain location information of speakers from sound signals generated by receiving voices of a plurality of speakers in a sound receiving device to which a direction sensing technology is applied, and may obtain speaker-specific audio signals and Location information for each speaker may be mapped and stored in a database.

일실시예에 따른 인터페이싱 방법은 획득된 화자 별 위치 정보에 기초하여, 사용자 인터페이스 내 화자 별 위치를 결정하는 단계를 포함할 수 있다. 일실시예에 따를 때, 사용자 인터페이스 내 화자 별 위치는 화자 별 음성 신호에 대응하는 시각적 기호가 표시되는 인터페이스 내 위치를 결정하기 위해 이용될 수 있다. 일실시예에 따른 사용자 인터페이싱 방법을 수행하는 프로세서는 음향 신호가 녹음될 당시의 화자들의 위치 정보를 반영하여 인터페이스 내에 복수의 화자들이 배치될 수 있도록 화자 별 위치 정보에 기초하여, 인터페이스 내 화 별 위치를 결정할 수 있다. 예를 들어, 녹음 장치를 기준으로 화자들의 상대적인 위치 정보가 획득된 경우, 화자들의 상대적인 위치 정보를 인터페이스의 크기를 고려하여 일정 비율로 축소함으로써, 인터페이스 내 화자의 위치를 결정할 수 있다. 일실시예에 따를 때, 인터페이스 내에 화자를 배치한다는 것은 화자들 각각의 인터페이스 내 위치를 결정하는 것을 의미할 수 있다. 일실시예에 따를 때, 특정 화자의 위치 정보가 획득되지 않은 경우, 해당 화자의 인터페이스 내 위치는 미리 정해진 위치로 결정될 수 있다. 일실시예에 따를 때, 화자의 인터페이스 내 위치를 결정하는 단계는 화자의 인터페이스 내 위치에 화자에 대응되는 시각적 기호를 표시하는 단계를 반드시 포함하는 것은 아니다.An interfacing method according to an embodiment may include determining a location of each speaker within a user interface based on the acquired location information for each speaker. According to an embodiment, the position of each speaker in the user interface may be used to determine the position in the interface where a visual sign corresponding to a voice signal for each speaker is displayed. A processor performing a user interfacing method according to an embodiment reflects location information of speakers at the time a sound signal is recorded and places a plurality of speakers within an interface based on location information for each speaker so that a plurality of speakers can be arranged within the interface. can decide For example, when relative positional information of speakers is acquired based on a recording device, the position of the speaker within the interface may be determined by reducing the relative positional information of the speakers at a predetermined ratio in consideration of the size of the interface. According to an embodiment, placing a speaker in an interface may mean determining a position of each speaker in the interface. According to an embodiment, when location information of a specific speaker is not obtained, the location of the corresponding speaker within the interface may be determined as a predetermined location. According to one embodiment, the step of determining the location of the speaker in the interface does not necessarily include displaying a visual sign corresponding to the speaker at the location of the speaker in the interface.

일실시예에 따른 인식 결과에 대응하는 시각적 기호는 인터페이스 내 특정 위치에 표시될 수 있다. 일실시예에 따른 인식 결과에 대응하는 시각적 기호가 표시되는 특정 위치는 인식 결과에 대응되는 음성 신호의 화자의 위치에 기초하여 결정될 수 있으며, 보다 구체적으로 화자의 인터페이스 내 위치에 기초하여 결정될 수 있다. 이 경우, 일실시예에 따른 인식 결과를 사용자 인터페이스에 시각적 기호로 표시하는 단계는 인식 결과에 대응되는 음성 신호의 화자의 인터페이스 내 위치에 인식 결과를 시각적 기호로 표시하는 단계를 포함할 수 있다. 일실시예에 따를 때, 화자의 인터페이스 내 위치에 텍스트 데이터를 표시하는 것은 화자의 인터페이스 내 위치에 인접하여 텍스트 데이터를 표시하는 것을 포함할 수 있다.A visual sign corresponding to a recognition result according to an embodiment may be displayed at a specific location in the interface. A specific location where a visual sign corresponding to a recognition result according to an embodiment is displayed may be determined based on a location of a speaker of a voice signal corresponding to a recognition result, and more specifically, based on a location of the speaker in an interface. . In this case, the step of displaying the recognition result as a visual sign on the user interface according to an embodiment may include displaying the recognition result as a visual sign at a position in the interface of a speaker of a voice signal corresponding to the recognition result. According to one embodiment, displaying the text data at a location within the speaker's interface may include displaying the text data adjacent to the location within the speaker's interface.

도 12a를 참조하면, 화자의 위치 정보에 기초하여 결정된 화자의 인터페이스 내 위치에 화자를 식별하는 시각적 기호(1201, 1202, 1203, 1204)가 표시될 수 있다. 또한 인터페이스에 디폴트로 다른 구성이 포함될 수 있다. 예를 들어, 테이블 형태의 도형(1205)이 인터페이스의 특정 위치에 디폴트로 표시될 수 있다. 일실시예에 따를 때, 인터페이스 내 디폴트로 포함된 구성의 위치는 음향 수신 장치에 대응되는 위치로 결정될 수 있다. 이 경우, 일실시예에 따른 화자들의 인터페이스 내 위치는 인터페이스 내 음향 수신 장치에 대응되는 위치를 기준으로, 화자들의 위치 정보에 기초하여 결정될 수 있다. 일실시예에 따른 화자들을 식별하는 시각적 기호들(1201, 1202, 1203, 1204)은 디폴트로 포함된 테이블(1205)을 기준으로 화자들의 위치 정보에 따라 결정된 화자들의 인터페이스 내 위치에 표시될 수 있다. 예를 들어, 화자들을 식별하는 시각적 기호들(1201, 1202, 1203, 1204)이 표시되는 화자들의 인터페이스 내 위치는 음향 수신 장치를 기준으로 획득된 화자들의 위치 정보를 인터페이스 내 디폴트로 포함된 테이블(1205)을 기준으로 인터페이스의 크기를 고려하여 일정 비율로 축소시켜 결정될 수 있다.Referring to FIG. 12A , visual signs 1201 , 1202 , 1203 , and 1204 for identifying the speaker may be displayed at a location within the interface of the speaker determined based on location information of the speaker. Other configurations may also be included by default in the interface. For example, a figure 1205 in the form of a table may be displayed as a default at a specific location of the interface. According to an embodiment, a location of a component included as a default in the interface may be determined as a location corresponding to the sound receiving device. In this case, positions of the speakers in the interface according to an embodiment may be determined based on position information of the speakers based on positions corresponding to the sound receiving apparatus in the interface. The visual signs 1201, 1202, 1203, and 1204 for identifying speakers according to an embodiment may be displayed at locations within the interface of speakers determined according to location information of speakers based on the table 1205 included by default. . For example, the positions of speakers in an interface where the visual signs 1201, 1202, 1203, and 1204 for identifying speakers are displayed are based on a table included by default in the interface based on location information of speakers obtained based on the sound receiving device ( 1205), it can be determined by reducing the size of the interface by a certain ratio.

일실시예에 따를 때, 화자들의 위치 정보는 화자들과 음향 수신 장치 사이의 상대적인 위치 정보에 해당할 수 있다. 이 경우, 화자들의 인터페이스 내 위치를 결정하기 위하여, 기준이 되는 기준 화자를 결정할 수 있다. 일실시예에 따른 기준 화자의 인터페이스 내 위치는 미리 정해진 위치로 결정되며, 기준 화자의 인터페이스 내 위치를 기준으로, 나머지 화자들의 인터페이스 내 위치가 결정될 수 있다. 다시 말해, 음향 수신 장치의 인터페이스 내 위치 및 기준 화자의 인터페이스 내 위치를 미리 정해진 특정 위치로 고정하고, 고정된 기준 화자의 인터페이스 내 위치 및 음향 수신 장치의 인터페이스 내 위치를 기준으로, 화자들과 음향 수신 장치 사이의 상대적인 위치 정보에 기초하여, 나머지 화자들의 인터페이스 내 위치가 결정될 수 있다. According to an embodiment, the location information of the speakers may correspond to relative location information between the speakers and the sound receiving device. In this case, in order to determine the positions of speakers in the interface, a standard speaker may be determined. According to an embodiment, a position of the reference speaker within the interface is determined as a predetermined position, and positions within the interface of other speakers may be determined based on the position within the interface of the reference speaker. In other words, the position in the interface of the sound receiving device and the position in the interface of the reference speaker are fixed to a predetermined specific position, and the speakers and the sound are fixed based on the position in the interface of the fixed reference speaker and the position in the interface of the sound receiving device. Based on the relative location information between the receiving devices, the locations of the remaining speakers within the interface may be determined.

일실시예에 따른 기준 화자를 결정하는 방법은 다양한 방법이 적용될 수 있으며, 예를 들어 발화량이 가장 많은 화자를 기준 화자로 결정하는 방법, 가장 처음 인식된 화자를 기준 화자로 결정하는 방법, 인터페이스가 표시될 단말의 사용자를 기준 화자로 결정하는 방법 등이 있을 수 있다.Various methods may be applied to the method of determining the reference speaker according to an embodiment. For example, a method of determining a speaker with the largest amount of utterances as the reference speaker, a method of determining the first recognized speaker as the reference speaker, and an interface There may be a method of determining a user of a terminal to be displayed as a reference speaker.

일실시예에 따른 화자의 인터페이스 내 위치는 사용자의 입력에 따라 변경될 수 있다. 일실시예에 따른 화자의 인터페이스 내 위치를 변경하는 사용자의 입력은 예를 들어, 인터페이스의 특정 위치를 기준으로 시계 방향 또는 시계 반대 방향으로 돌리는 입력, 보다 구체적으로 인터페이스에 표시된 테이블을 터치하여 시계 방향 또는 시계 반대 방향으로 회전시키는 입력을 포함할 수 있고, 인터페이스에 포함된 특정 방향으로 특정 각도의 회전을 지시하는 버튼을 누르는 입력 등을 포함할 수 있으며, 이 외에 위치 변경에 관한 다양한 형식의 입력을 포함할 수 있다.According to an embodiment, a speaker's position in the interface may be changed according to a user's input. The user's input for changing the position of the speaker in the interface according to an embodiment is, for example, an input to turn clockwise or counterclockwise based on a specific position of the interface, more specifically, a clockwise input by touching a table displayed on the interface. Alternatively, it may include an input to rotate in a counterclockwise direction, an input to press a button instructing a rotation of a specific angle in a specific direction included in the interface, and the like. can include

일실시예에 따를 때, 인터페이스 내에서 화자 배치의 형태는 다양하게 구성될 수 있다. 예를 들어, 각각의 화자의 위치 정보에 기초하여, 각각의 화자의 인터페이스 내 위치를 결정하는 배치 형태가 있을 수 있고, 화자들의 위치 정보에 기초하여 복수의 화자들을 그룹화하여, 그룹을 기준으로 화자들의 인터페이스 내 위치를 결정하는 배치 형태가 있을 수 있다. 일실시예에 따른 사용자 인터페이싱 방법을 수행하는 프로세서는 복수의 화자 배치 모드를 사용자에게 제공할 수 있으며, 사용자는 화자 배치 모드를 설정할 수 있다. 일실시예에 따른 사용자 인터페이싱 방법을 수행하는 프로세서는 사용자의 화자 배치 모드에 관한 입력을 수신하여, 인터페이스에 화자가 배치되는 형태를 결정할 수 있다.According to one embodiment, the form of speaker arrangement within the interface may be configured in various ways. For example, based on location information of each speaker, there may be a layout form in which the location of each speaker is determined in the interface, and a plurality of speakers are grouped based on the location information of the speakers, and the speaker is selected based on the group. There may be a form of placement that determines the position of the elements within the interface. A processor performing a user interfacing method according to an embodiment may provide a plurality of speaker arrangement modes to a user, and the user may set a speaker arrangement mode. A processor performing a user interfacing method according to an embodiment may receive a user's input regarding a speaker arrangement mode and determine a speaker arrangement type in an interface.

일실시예에 따른 프로세서는 화자 배치 모드를 구분하여 표시하기 위하여, 화자 배치 모드에 따라 인터페이스 내 특정 구성 요소를 다르게 표시할 수 있다. 예를 들어, 일실시예에 따른 프로세서는 제1 배치 모드 및 제2 배치 모드를 구분하여 표시하기 위하여, 제1 배치 모드가 선택된 경우 인터페이스 내 테이블의 형태를 원형으로, 제2 배치 모드가 선택된 경우 인터페이스 내 테이블의 형태를 사각형으로 표시할 수 있다.The processor according to an embodiment may display a specific component in the interface differently according to the speaker arrangement mode in order to distinguish and display the speaker arrangement mode. For example, in order to distinguish and display the first arrangement mode and the second arrangement mode, the processor according to an embodiment changes the shape of the table in the interface to a circle when the first arrangement mode is selected, and when the second arrangement mode is selected. The shape of the table in the interface can be displayed as a rectangle.

일실시예에 따를 때, 입력된 화자 배치 모드가 제1 배치 모드인 경우, 화자의 인터페이스 내 위치를 결정하는 단계는 복수의 화자들 중 어느 하나의 기준 화자를 결정하는 단계, 인터페이스 내 미리 정해진 위치를 기준 화자의 인터페이스 내 위치로 결정하는 단계 및 기준 화자의 인터페이스 내 위치를 기준으로 화자를 배치하는 단계를 포함할 수 있다. 일실시예에 따를 때, 기준 화자의 인터페이스 내 위치를 기준으로 화자를 배치하는 단계는 기준 화자의 인터페이스 내 위치를 기준으로, 복수의 화자들 중 기준 화자를 제외한 나머지 화자의 위치 정보에 기초하여, 나머지 화자의 인터페이스 내 위치를 결정하는 단계를 포함할 수 있다.According to an embodiment, when the input speaker arrangement mode is the first arrangement mode, determining the position of the speaker within the interface may include determining any one reference speaker among a plurality of speakers, and a predetermined position within the interface. Determining as the position of the reference speaker in the interface, and arranging the speaker based on the position of the reference speaker in the interface. According to an embodiment, the step of arranging the speaker based on the location of the reference speaker in the interface may include based on location information of speakers other than the reference speaker among a plurality of speakers based on the location of the reference speaker in the interface, Determining the location of the remaining speakers within the interface.

일실시예에 따를 때, 입력된 화자 배치 모드가 제2 배치 모드인 경우, 화자의 인터페이스 내 위치를 결정하는 단계는 복수의 화자들을 화자들의 위치 정보에 기초하여 그룹화하는 단계, 그룹화에 기초하여, 동일한 그룹에 속한 화자들이 서로 가깝게 위치하도록 화자들의 위치 정보를 조정하는 단계, 그룹화에 따라 생성된 복수의 그룹들 중 어느 하나를 기준 그룹으로 결정하는 단계, 인터페이스 내 미리 정해진 위치를 기준 그룹에 속한 화자들의 인터페이스 내 위치로 결정하는 단계 및 기준 그룹 내 화자들의 인터페이스 내 위치를 기준으로 화자를 배치하는 단계를 포함할 수 있다. 일실시예에 따를 때, 기준 그룹 내 화자들의 인터페이스 내 위치를 기준으로 화자를 배치하는 단계는 기준 그룹에 속한 화자들의 인터페이스 내 위치를 기준으로, 복수의 그룹들 중 기준 그룹을 제외한 나머지 그룹에 속한 화자들의 위치 정보에 기초하여, 나머지 그룹에 속한 화자들의 인터페이스 내 위치를 결정하는 단계를 포함할 수 있다.According to an embodiment, when the input speaker arrangement mode is the second arrangement mode, determining the speaker's location in the interface may include grouping a plurality of speakers based on location information of the speakers; based on the grouping, Adjusting location information of speakers so that speakers belonging to the same group are located close to each other, determining one of a plurality of groups generated according to the grouping as a reference group, and determining a predetermined location in the interface as a speaker belonging to the reference group. It may include the step of determining the position of the interface within the interface, and the step of arranging the speaker based on the position within the interface of the speakers within the reference group. According to an embodiment, the step of arranging the speakers based on the interface positions of the speakers in the reference group includes the speakers belonging to the remaining groups excluding the reference group among a plurality of groups based on the interface positions of the speakers belonging to the reference group. Based on the location information of the speakers, determining the locations within the interface of speakers belonging to the other groups may be included.

일실시예에 따른 인식 결과에 포함된 텍스트 데이터는 대응되는 화자의 위치에 표시되거나 대응되는 화자의 위치에 인접하여 표시될 수 있다. 도 12b 및 도 12c를 참조하면, 일실시예에 따를 때, 화자를 식별하는 시각적 기호가 인터페이스에 표시된 경우, 인식 단위에 대응하는 화자를 식별하는 시각적 기호에 인접하여 인식 단위에 대응하는 인식 결과 내 텍스트 데이터가 표시될 수 있다. 일실시예에 따른 텍스트 데이터는 재생되는 음성 신호의 시계열적 정보에 따른 재생되는 순서에 따라 표시될 수 있다. 예를 들어, 도 12b의 시각적 기호(1210)에 대응하는 화자 A의 음성 신호가 도 12c의 시각적 기호(1220)에 대응하는 화자 B의 음성 신호보다 시간 순서 상 먼저 기록된 경우, 도 12b의 시각적 기호(1210)에 대응하는 화자 A의 음성 신호가 재생되면서 도 12b의 인터페이스와 같이 화자 A를 식별하는 시각적 기호(1211)에 인접하여 시각적 기호(1210)가 표시되고, 이후 도 12c의 시각적 기호(1220)에 대응하는 화자 B의 음성 신호가 재생되면서 도 12c의 인터페이스와 같이 화자 B를 식별하는 시각적 기호(1221)에 인접하여 시각적 기호(1220)가 표시될 수 있다. 또한, 각 인식 단위에 대응하는 시간 정보가 텍스트 데이터와 함께 인터페이스에 표시될 수 있다. 일실시예에 따를 때, 화자의 발화에 대응하는 음성 신호가 재생되면서, 화자를 식별하는 시각적 기호에 인접하여 음성 신호의 텍스트 데이터가 표시되는 인터페이스가 사용자에게 제공됨으로써, 사용자는 화자들의 발화 내용이 녹음될 당시의 화자들의 위치를 상기하며 녹음 파일을 청취할 수 있다.Text data included in the recognition result according to an embodiment may be displayed at a location of a corresponding speaker or displayed adjacent to a location of a corresponding speaker. Referring to FIGS. 12B and 12C , according to an embodiment, when a visual sign for identifying a speaker is displayed on the interface, adjacent to the visual sign for identifying a speaker corresponding to a recognition unit, within a recognition result corresponding to a recognition unit. Text data may be displayed. Text data according to an embodiment may be displayed according to a reproduction order according to time-sequential information of a reproduced voice signal. For example, when the audio signal of speaker A corresponding to the visual sign 1210 of FIG. 12B is recorded earlier than the audio signal of speaker B corresponding to the visual sign 1220 of FIG. 12C in chronological order, the visual sign of FIG. While the audio signal of speaker A corresponding to the symbol 1210 is reproduced, the visual symbol 1210 is displayed adjacent to the visual symbol 1211 identifying the speaker A as shown in the interface of FIG. 12B, and then the visual symbol of FIG. 12C ( 1220), the visual sign 1220 may be displayed adjacent to the visual sign 1221 identifying speaker B as shown in the interface of FIG. Also, time information corresponding to each recognition unit may be displayed on the interface along with text data. According to an embodiment, an interface in which text data of the audio signal is displayed adjacent to a visual sign for identifying the speaker while a voice signal corresponding to the speaker's utterance is reproduced is provided to the user, so that the user can view the content of the speaker's utterance. You can listen to the recorded file while recalling the positions of the speakers at the time of recording.

일실시예에 따른 비음성 신호의 유형에 대응하는 시각적 기호는 인터페이스 내 특정 위치에 표시될 수 있다. 일실시예에 따를 때, 음향 신호가 발생한 위치 추정이 가능한 경우, 음향 신호의 일부인 비음성 신호도 음성 신호와 마찬가지로, 소리가 발생한 위치 정보가 획득될 수 있다. 일실시예에 따를 때, 비음성 신호가 발생한 위치 정보를 추정할 수 있는 경우, 비음성 신호의 위치 정보에 기초하여, 인터페이스 내 특정 위치에 비음성 신호에 대응하는 시각적 기호가 표시될 수 있다. 예를 들어, 웃음 소리 유형으로 분류된 비음성 신호의 위치 정보가 특정 화자의 위치 정보에 해당하는 경우, 해당 화자의 인터페이스 내 위치에 웃음 소리 유형에 대응하는 시각적 기호가 표시될 수 있다. 또한, 차 소리 유형으로 분류된 비음성 신호의 위치 정보가 화자 별 음성 신호에 대응하는 화자 별 위치 정보와 함께 획득된 경우, 비음성 신호의 위치 정보에 기초하여 결정된 인터페이스 내 위치에 비음성 신호에 대응하는 시각적 기호가 표시될 수 있다. A visual sign corresponding to the type of non-voice signal according to an embodiment may be displayed at a specific location in the interface. According to an embodiment, when it is possible to estimate a location where a sound signal is generated, information on a location where a sound is generated may be acquired for a non-voice signal that is a part of the audio signal, similarly to the audio signal. According to an embodiment, when location information of the non-voice signal is estimated, a visual sign corresponding to the non-voice signal may be displayed at a specific location in the interface based on the location information of the non-voice signal. For example, when the location information of the non-voice signal classified as the laughter type corresponds to the location information of a specific speaker, a visual sign corresponding to the laughter type may be displayed at the location of the speaker in the interface. In addition, when the location information of the non-voice signal classified as the car sound type is obtained together with the location information for each speaker corresponding to the voice signal for each speaker, the location information of the non-voice signal is located in the interface determined based on the location information of the non-voice signal. A corresponding visual sign may be displayed.

일실시예에 따를 때, 비음성 신호가 발생한 위치 정보를 획득할 수 없는 경우, 또는 비음성 신호에 대응되는 화자를 특정할 수 없는 경우, 비음성 신호에 대응되는 시각적 기호는 비음성 신호의 위치 정보와 관계없이 인터페이스에 표시될 수 있다. 예를 들어, '웃음' 유형으로 분류된 비음성 신호가 여러 화자의 웃음 소리를 포함하고 있어 특정 화자에 대응되지 않는 경우, '웃음' 유형에 대응하는 시각적 기호는 화자와 관계없이 인터페이스 내 고정된 특정 위치에 표시될 수 있다. 또한, 다른 요인으로 인하여 비음성 신호가 발생한 위치를 특정할 수 없는 경우, 비음성 신호의 유형에 대응하는 시각적 기호는 인터페이스 내 미리 정해진 특정 위치에 표시될 수 있다. 예를 들어, 비음성 신호의 위치 정보가 획득되지 않은 경우, 인터페이스의 중앙에 비음성 신호에 대응하는 시각적 기호가 표시될 수 있다.According to an embodiment, when it is not possible to obtain location information where a non-voice signal is generated or when a speaker corresponding to a non-voice signal cannot be identified, a visual sign corresponding to a non-voice signal is a location of the non-voice signal. Regardless of the information, it can be displayed on the interface. For example, if a non-speech signal classified as 'laughter' type does not correspond to a specific speaker because it includes the laughter of several speakers, the visual sign corresponding to the 'laughter' type is fixed in the interface regardless of the speaker. It can be displayed in a specific location. In addition, when it is impossible to specify the location where the non-voice signal is generated due to other factors, a visual sign corresponding to the type of the non-voice signal may be displayed at a predetermined specific location in the interface. For example, when location information of the non-voice signal is not acquired, a visual sign corresponding to the non-voice signal may be displayed in the center of the interface.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program commands recorded on the medium may be specially designed and configured for the embodiment or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of the foregoing, which configures a processing device to operate as desired or processes independently or collectively. The device can be commanded. Software and/or data may be any tangible machine, component, physical device, virtual equipment, computer storage medium or device, intended to be interpreted by or provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave. Software may be distributed on networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer readable media.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited drawings, those skilled in the art can apply various technical modifications and variations based on the above. For example, the described techniques may be performed in an order different from the method described, and/or components of the described system, structure, device, circuit, etc. may be combined or combined in a different form than the method described, or other components may be used. Or even if it is replaced or substituted by equivalents, appropriate results can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims are within the scope of the following claims.

Claims

A user interface method for visually displaying a sound signal on a user interface provided through a first user terminal,
receiving the sound signal including voices of a plurality of speakers;
acquiring a recognition result of recognizing a speaker and a voice in the sound signal;
displaying the recognition result as a visual symbol on the user interface;
receiving a user's selection of at least some of the visual signs;
extracting a section including a voice signal corresponding to the first speaker in the sound signal as a speaker section when the selected visual sign is a visual sign indicating identification information of a first speaker;
extracting as a time interval a section including a voice signal corresponding to the first text data in the sound signal when the selected visual sign is a visual sign corresponding to the first text data included in the recognition result;
Receiving a command instructing sharing of the extracted section; and
In response to the command, transmitting at least one of a recognition result corresponding to the section and a sound signal corresponding to the section to a terminal of a second user.
including,
User interface method.

According to claim 1,
The step of transmitting to the terminal of the second user is
requesting a hyperlink for accessing a sound signal corresponding to the section from a server storing the sound signal; and
Transmitting the hyperlink received from the server to a terminal of the second user
including,
User interface method.

According to claim 2,
The step of requesting the hyperlink is
Further comprising transmitting information about the section to the server,
Information about this section
identification information of the sound signal; and
Information about the location of the section in the acoustic signal
including,
User interface method.

According to claim 2,
reproducing a specific section in a sound signal connected through the shared hyperlink; and
Displaying the recognition result of the specific section as a visual symbol on a user interface
further comprising at least one of
User interface method.

According to claim 1,
Receiving the user's selection
receiving a user's selection of at least some of the visual signs in the user interface displaying text data included in the recognition result;
including,
User interface method.

According to claim 1,
The recognition result is
identification information of a speaker corresponding to a voice signal for each speaker within the sound signal;
text data corresponding to the voice signal for each speaker; and
Type information corresponding to a non-speech signal that does not correspond to a speech signal for each speaker in the sound signal
including at least one of
User interface method.

delete

According to claim 1,
The step of displaying
When the user interface reproduces a sound signal corresponding to the recognition result, displaying the recognition result as the visual sign on the user interface.
including,
User interface method.

According to claim 1,
The step of displaying
receiving a user's input for a display mode of the user interface;
displaying the recognition result as a visual symbol on the user interface in chronological order based on time-sequential information of an acoustic signal corresponding to the recognition result when the display mode is the first display mode; and
When the display mode is the second display mode, the recognition result is displayed in the user interface in chronological order based on the time-sequential information of the sound signal corresponding to the recognition result and the position information of the speaker corresponding to the recognition result. Steps to mark a specific location as a visual symbol
including,
User interface method.

A user interface method for visually displaying a sound signal on a user interface,
receiving the sound signal including voices of a plurality of speakers;
acquiring a recognition result of recognizing a speaker and a voice in the sound signal;
displaying the recognition result as a visual symbol on the user interface;
receiving a user's selection of at least some of the visual signs;
extracting a section including a voice signal corresponding to the first speaker in the sound signal as a speaker section when the selected visual sign is a visual sign indicating identification information of the first speaker;
extracting as a time interval a section including a voice signal corresponding to the first text data in the sound signal when the selected visual sign is a visual sign corresponding to the first text data included in the recognition result;
Receiving a command related to natural language processing of the extracted section;
based on the command, changing a recognition result corresponding to the section; and
Changing the selected visual sign based on the changed recognition result.
including,
User interface method.

According to claim 10,
The step of changing
Speech recognizing the sound signal corresponding to the section in another language and changing text data included in the recognition result corresponding to the section into the other language
including,
User interface method.

According to claim 11,
The recognition result corresponding to the section includes text data in a first language obtained by recognizing the sound signal corresponding to the section in a first language,
Steps to change to another language
receiving an input for a second language to be changed from a user;
acquiring text data of the second language by recognizing a sound signal corresponding to the section in the second language; and
Changing text data of the first language included in the recognition result corresponding to the section into text data of the second language
including,
User interface method.

According to claim 10,
The step of changing
Translating the text data included in the recognition result corresponding to the section into another language, and changing the recognition result corresponding to the section to include the translation result.
including,
User interface method.

According to claim 13,
The recognition result corresponding to the section includes text data in a first language obtained by recognizing the sound signal corresponding to the section in a first language,
Changing the recognition result corresponding to the section
receiving an input for a second language to be translated from a user;
obtaining text data of the second language by translating the text data of the first language into the second language; and
Changing a recognition result corresponding to the section to include text data of the second language.
including,
User interface method.

A computer program stored in a medium to execute the method of any one of claims 1 to 6 and 8 to 14 in combination with hardware.

A user interfacing device for visually displaying a sound signal on a user interface provided through a first user terminal,
Receiving the sound signal including voices of a plurality of speakers;
obtaining a recognition result of recognizing a speaker and a voice in the sound signal;
displaying the recognition result as a visual symbol on the user interface;
Receive a user's selection for at least some of the visual signs;
When the selected visual sign is a visual sign indicating identification information of a first speaker, a section including a voice signal corresponding to the first speaker in the sound signal is extracted as a speaker section;
When the selected visual sign is a visual sign corresponding to the first text data included in the recognition result, a section including a voice signal corresponding to the first text data in the sound signal is extracted as a time section;
Receiving a command instructing sharing of the extracted section,
In response to the command, transmitting at least one of a recognition result corresponding to the section and an acoustic signal corresponding to the section to a terminal of a second user,
at least one processor
including,
User interfacing device.

According to claim 16,
The processor
In transmitting to the terminal of the second user,
Requesting a hyperlink for accessing the sound signal corresponding to the section to the server storing the sound signal;
Transmitting the hyperlink received from the server to the terminal of the second user,
User interfacing device.

According to claim 17,
The processor
Reproducing a sound signal connected through the shared hyperlink,
User interfacing device.

A user interface device that visually displays an acoustic signal on a user interface,
Receiving the sound signal including voices of a plurality of speakers;
obtaining a recognition result of recognizing a speaker and a voice in the sound signal;
displaying the recognition result as a visual symbol on the user interface;
Receive a user's selection for at least some of the visual signs;
When the selected visual sign is a visual sign indicating identification information of a first speaker, a section including a voice signal corresponding to the first speaker in the sound signal is extracted as a speaker section;
When the selected visual sign is a visual sign corresponding to the first text data included in the recognition result, a section including a voice signal corresponding to the first text data in the sound signal is extracted as a time section;
Receiving a command related to natural language processing of the extracted section;
based on the command, changing a recognition result corresponding to the section;
Based on the changed recognition result, changing the selected visual sign,
at least one processor
including,
User interfacing device.

According to claim 19,
The processor
In changing the recognition result,
Speech recognition of the sound signal corresponding to the section in another language, and changing text data included in the recognition result corresponding to the section into the other language,
User interfacing device.

According to claim 19,
The processor
In changing the recognition result corresponding to the section,
Translating the text data included in the recognition result into another language and changing the recognition result corresponding to the selected section to include the translation result,
User interfacing device.