KR102616058B1 - 음성 기록을 시각화하여 재연하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램 - Google Patents

음성 기록을 시각화하여 재연하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR102616058B1
KR102616058B1 KR1020220042891A KR20220042891A KR102616058B1 KR 102616058 B1 KR102616058 B1 KR 102616058B1 KR 1020220042891 A KR1020220042891 A KR 1020220042891A KR 20220042891 A KR20220042891 A KR 20220042891A KR 102616058 B1 KR102616058 B1 KR 102616058B1
Authority
KR
South Korea
Prior art keywords
speaker
speech
voice
avatar
processor
Prior art date
Application number
KR1020220042891A
Other languages
English (en)
Other versions
KR20230143808A (ko
Inventor
이봉진
임대현
박용재
최다루
김유진
정지원
허희수
강한용
권영기
이찬규
Original Assignee
네이버 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버 주식회사 filed Critical 네이버 주식회사
Priority to KR1020220042891A priority Critical patent/KR102616058B1/ko
Publication of KR20230143808A publication Critical patent/KR20230143808A/ko
Application granted granted Critical
Publication of KR102616058B1 publication Critical patent/KR102616058B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/205—3D [Three Dimensional] animation driven by audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Abstract

음성 기록을 시각화하여 재연하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램이 개시된다. 다자간 대화 음성으로부터 화자 및 상기 화자와 관련된 데이터를 추출하고, 가상 공간 인터페이스 상에 상기 화자 별 아바타를 배치하고, 상기 다자간 대화 음성의 시간 순으로 상기 아바타를 통해 상기 데이터에 대응되는 시각적 요소를 출력한다.

Description

음성 기록을 시각화하여 재연하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램{METHOD, COMPUTER DEVICE, AND COMPUTER PROGRAM TO REPLAY AUDIO RECORDING THROUGH VISUALIZATION}
아래의 설명은 다자간 대화 중 기록된 음성을 시각적으로 재연하는 기술에 관한 것이다.
화자 분리(speaker diarization)란, 다수의 화자가 발화한 내용을 녹음한 음성 파일로부터 각 화자 별로 발화 구간을 분리하는 기술이다.
화자 분리 기술은 오디오 데이터로부터 화자 경계 구간을 검출하는 것으로, 화자에 대한 선행 지식 사용 여부에 따라 거리 기반 방식과 모델 기반 방식으로 나뉠 수 있다.
예컨대, 한국공개특허 제10-2020-0036820호(공개일 2020년 04월 07일)에는 화자의 위치를 추적하여 입력 음향에서 화자 위치 정보를 기반으로 화자의 음성을 분리하는 기술이 개시되어 있다.
이러한 화자 분리 기술은 회의, 인터뷰, 거래, 재판 등 여러 화자가 일정한 순서 없이 발화하는 다자간 대화 상황에서 발화 내용을 화자 별로 분리하여 자동 기록하는 제반 기술로 대화록 자동 작성 등에 활용될 수 있다.
시각적 이미지를 통해 다자간 대화 중 기록된 음성을 재연할 수 있는 방법 및 장치를 제공한다.
다자간 대화 중 기록된 음성에서 취득할 수 있는 다양한 정보를 이용하여 다자간 대화 상황을 더욱 입체적으로 재연할 수 있는 방법 및 장치를 제공한다.
컴퓨터 장치에서 실행되는 음성 기록 재연 방법에 있어서, 상기 컴퓨터 장치는 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 음성 기록 재연 방법은, 상기 적어도 하나의 프로세서에 의해, 다자간 대화 음성으로부터 화자 및 상기 화자와 관련된 데이터를 추출하는 단계; 상기 적어도 하나의 프로세서에 의해, 가상 공간 인터페이스 상에 상기 화자 별 아바타를 배치하는 단계; 및 상기 적어도 하나의 프로세서에 의해, 상기 다자간 대화 음성의 시간 순으로 상기 아바타를 통해 상기 데이터에 대응되는 시각적 요소를 출력하는 단계를 포함하는 음성 기록 재연 방법을 제공한다.
일 측면에 따르면, 상기 추출하는 단계는, 상기 다자간 대화 음성을 분석하여 상기 화자의 발화 대상을 결정하는 단계를 포함하고, 상기 출력하는 단계는, 상기 화자의 발화 대상에 따라 상기 아바타의 방향을 조정하는 단계를 포함할 수 있다.
다른 측면에 따르면, 상기 조정하는 단계는, 현재 발화 중인 제1 화자의 아바타가 상기 제1 화자의 발화 대상에 해당되는 제2 화자의 아바타를 바라보도록 하고 나머지 아바타는 상기 제1 화자의 아바타를 바라보도록 아바타 방향을 조정하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 추출하는 단계는, 화자 발화 구간의 기점을 나타내는 타임스탬프(timestamp)를 기준으로 해당 발화 구간의 음성에서 획득한 정보인 화자 분할 결과, 음성 인식 결과, 감정 인식 결과, 및 음향 이벤트 검출 결과를 매칭하여 관리하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 출력하는 단계는, 상기 다자간 대화 음성에서 화자 별로 추출된 음성 인식 결과를 상기 아바타의 말풍선으로 출력하는 단계; 및 상기 다자간 대화 음성에서 화자 별로 추출된 감정 인식 결과를 상기 아바타 또는 상기 말풍선 중 적어도 하나를 통해 출력하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 추출하는 단계는, 상기 다자간 대화 음성에서 언어적 표현이 포함된 발화 이외의 음향 이벤트를 추출하는 단계를 포함하고, 상기 출력하는 단계는, 상기 음향 이벤트의 유형에 따라 일부 화자 또는 전체 화자의 아바타에 해당 음향에 대응되는 시각적 요소를 반영하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 배치하는 단계는, 상기 다자간 대화 음성에 등장하는 화자 수와 상기 화자 별 발화 패턴 및 발화 분포 중 적어도 하나를 기초로 아바타 배치 구조를 결정하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 음성 기록 재연 방법은, 상기 적어도 하나의 프로세서에 의해, 상기 다자간 대화 음성을 분석하여 상기 화자의 발화 대상을 결정하는 단계; 상기 적어도 하나의 프로세서에 의해, 상기 발화 대상을 기초로 상기 화자 간의 발화 관계를 나타내는 그래프를 생성하는 단계; 및 상기 적어도 하나의 프로세서에 의해, 사용자 요청에 따라 발화 관계 그래프를 제공하는 단계를 더 포함할 수 있다.
또 다른 측면에 따르면, 상기 결정하는 단계는, 발화 순서, 발화 내용, 및 발화 방향 중 적어도 하나를 이용하여 상기 발화 대상을 결정할 수 있다.
또 다른 측면에 따르면, 상기 생성하는 단계는, 상기 화자를 노드(node)로 구성하고 상기 화자와 해당 화자의 발화 대상을 엣지(edge)로 연결하여 상기 발화 관계 그래프를 생성하고, 상기 노드는 상기 다자간 대화 음성의 전체 음성 듀레이션(duration) 대비 상기 화자의 발화 듀레이션 비율이 반영되고, 상기 엣지는 상기 발화 대상에 대한 상기 화자의 발화 듀레이션이 반영될 수 있다.
또 다른 측면에 따르면, 상기 제공하는 단계는, 상기 사용자 요청에 대응되는 특정 화자를 중심으로 상기 특정 화자와의 발화 관계를 나타내는 그래프를 제공하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 제공하는 단계는, 상기 다자간 대화 음성에서 상기 사용자 요청에 대응되는 일부 구간에 대한 상기 발화 관계 그래프를 제공하는 단계를 포함할 수 있다.
상기 음성 기록 재연 방법을 상기 컴퓨터 장치에 실행시키기 위해 컴퓨터 판독가능한 기록 매체에 저장된 컴퓨터 프로그램을 제공한다.
컴퓨터 장치에 있어서, 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 다자간 대화 음성으로부터 화자 및 상기 화자와 관련된 데이터를 추출하고, 가상 공간 인터페이스 상에 상기 화자 별 아바타를 배치하고, 상기 다자간 대화 음성의 시간 순으로 상기 아바타를 통해 상기 데이터에 대응되는 시각적 요소를 출력하는 것을 특징으로 하는 컴퓨터 장치를 제공한다.
본 발명의 실시예들에 따르면, 다자간 대화 중 기록된 음성에서 취득할 수 있는 다양한 정보를 화자 별 시각적 이미지에 반영함으로써 다자간 대화 상황을 더욱 입체적으로 재연할 수 있다.
본 발명의 실시예들에 따르면, 다자간 대화 음성에 등장하는 화자 간의 발화 관계를 나타내는 인터랙션 그래프를 제공할 수 있으며, 다자간 대화 음성에서 발화 관계 변화를 살펴볼 수 있는 기능을 함께 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 네트워크 환경의 예를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 컴퓨터 장치의 예를 도시한 블록도이다.
도 3은 본 발명의 일실시예에 따른 컴퓨터 장치가 수행할 수 있는 음성 기록 재연 방법의 예를 도시한 흐름도이다.
도 4는 본 발명의 일실시예에 있어서 음성 기록 재연을 위해 필요한 정보 예시를 도시한 것이다.
도 5 내지 도 10은 본 발명의 일실시예에 있어서 아바타를 이용하여 음성 기록을 재연하는 과정의 예시를 도시한 것이다.
도 11은 본 발명의 일실시예에 있어서 발화 관계 그래프를 제공하는 과정의 일례를 도시한 것이다.
도 12 내지 도 13은 본 발명의 일실시예에 있어서 발화 대상을 결정하는 과정을 설명하기 위한 예시 도면이다.
도 14 내지 도 17은 본 발명의 일실시예에 있어서 발화 관계 그래프를 제공하는 인터페이스 화면의 예시를 도시한 것이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명의 실시예들은 다자간 대회 중 기록된 음성을 시각적으로 재연하는 기술에 관한 것이다.
본 명세서에서 구체적으로 개시되는 것들을 포함하는 실시예들은 시각적 이미지를 이용하여 다자간 대화 중 기록된 음성을 재연할 수 있다.
본 발명의 실시예들에 따른 음성 기록 재연 시스템은 적어도 하나의 컴퓨터 장치에 의해 구현될 수 있으며, 본 발명의 실시예들에 따른 음성 기록 재연 방법은 음성 기록 재연 시스템에 포함되는 적어도 하나의 컴퓨터 장치를 통해 수행될 수 있다. 이때, 컴퓨터 장치에는 본 발명의 일실시예에 따른 컴퓨터 프로그램이 설치 및 구동될 수 있고, 컴퓨터 장치는 구동된 컴퓨터 프로그램의 제어에 따라 본 발명의 실시예들에 따른 음성 기록 재연 방법을 수행할 수 있다. 상술한 컴퓨터 프로그램은 컴퓨터 장치와 결합되어 음성 기록 재연 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장될 수 있다.
도 1은 본 발명의 일실시예에 따른 네트워크 환경의 예를 도시한 도면이다. 도 1의 네트워크 환경은 복수의 전자 기기들(110, 120, 130, 140), 복수의 서버들(150, 160) 및 네트워크(170)를 포함하는 예를 나타내고 있다. 이러한 도 1은 발명의 설명을 위한 일례로 전자 기기의 수나 서버의 수가 도 1과 같이 한정되는 것은 아니다. 또한, 도 1의 네트워크 환경은 본 실시예들에 적용 가능한 환경들 중 하나의 예를 설명하는 것일 뿐, 본 실시예들에 적용 가능한 환경이 도 1의 네트워크 환경으로 한정되는 것은 아니다.
복수의 전자 기기들(110, 120, 130, 140)은 컴퓨터 장치로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 복수의 전자 기기들(110, 120, 130, 140)의 예를 들면, 스마트폰(smart phone), 휴대폰, 내비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC 등이 있다. 일례로 도 1에서는 전자 기기(110)의 예로 스마트폰의 형상을 나타내고 있으나, 본 발명의 실시예들에서 전자 기기(110)는 실질적으로 무선 또는 유선 통신 방식을 이용하여 네트워크(170)를 통해 다른 전자 기기들(120, 130, 140) 및/또는 서버(150, 160)와 통신할 수 있는 다양한 물리적인 컴퓨터 장치들 중 하나를 의미할 수 있다.
통신 방식은 제한되지 않으며, 네트워크(170)가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크(170)는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크(170)는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.
서버(150, 160) 각각은 복수의 전자 기기들(110, 120, 130, 140)과 네트워크(170)를 통해 통신하여 명령, 코드, 파일, 콘텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다. 예를 들어, 서버(150)는 네트워크(170)를 통해 접속한 복수의 전자 기기들(110, 120, 130, 140)로 서비스(일례로, 음성인식 기반 인공지능 대화록 서비스 등)를 제공하는 시스템일 수 있다.
도 2는 본 발명의 일실시예에 따른 컴퓨터 장치의 예를 도시한 블록도이다. 앞서 설명한 복수의 전자 기기들(110, 120, 130, 140) 각각이나 서버들(150, 160) 각각은 도 2를 통해 도시된 컴퓨터 장치(200)에 의해 구현될 수 있다. 예를 들어, 본 발명의 실시예들에 따른 음성 기록 재연 시스템은 도 1을 통해 도시된 컴퓨터 장치(200)에 의해 구현될 수 있다.
이러한 컴퓨터 장치(200)는 도 2에 도시된 바와 같이, 메모리(210), 프로세서(220), 통신 인터페이스(230) 그리고 입출력 인터페이스(240)를 포함할 수 있다. 메모리(210)는 컴퓨터에서 판독 가능한 기록매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 여기서 ROM과 디스크 드라이브와 같은 비소멸성 대용량 기록장치는 메모리(210)와는 구분되는 별도의 영구 저장 장치로서 컴퓨터 장치(200)에 포함될 수도 있다. 또한, 메모리(210)에는 운영체제와 적어도 하나의 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(210)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 메모리(210)로 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 인터페이스(230)를 통해 메모리(210)에 로딩될 수도 있다. 예를 들어, 소프트웨어 구성요소들은 네트워크(170)를 통해 수신되는 파일들에 의해 설치되는 컴퓨터 프로그램에 기반하여 컴퓨터 장치(200)의 메모리(210)에 로딩될 수 있다.
프로세서(220)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(210) 또는 통신 인터페이스(230)에 의해 프로세서(220)로 제공될 수 있다. 예를 들어 프로세서(220)는 메모리(210)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.
통신 인터페이스(230)는 네트워크(170)를 통해 컴퓨터 장치(200)가 다른 장치(일례로, 앞서 설명한 저장 장치들)와 서로 통신하기 위한 기능을 제공할 수 있다. 일례로, 컴퓨터 장치(200)의 프로세서(220)가 메모리(210)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이나 명령, 데이터, 파일 등이 통신 인터페이스(230)의 제어에 따라 네트워크(170)를 통해 다른 장치들로 전달될 수 있다. 역으로, 다른 장치로부터의 신호나 명령, 데이터, 파일 등이 네트워크(170)를 거쳐 컴퓨터 장치(200)의 통신 인터페이스(230)를 통해 컴퓨터 장치(200)로 수신될 수 있다. 통신 인터페이스(230)를 통해 수신된 신호나 명령, 데이터 등은 프로세서(220)나 메모리(210)로 전달될 수 있고, 파일 등은 컴퓨터 장치(200)가 더 포함할 수 있는 저장 매체(상술한 영구 저장 장치)로 저장될 수 있다.
입출력 인터페이스(240)는 입출력 장치(250)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 마이크, 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 디스플레이, 스피커와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(240)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 입출력 장치(250)는 컴퓨터 장치(200)와 하나의 장치로 구성될 수도 있다.
또한, 다른 실시예들에서 컴퓨터 장치(200)는 도 2의 구성요소들보다 더 적은 혹은 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 컴퓨터 장치(200)는 상술한 입출력 장치(250) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.
이하에서는 음성 기록을 시각화하여 재연하는 방법 및 장치의 구체적인 실시예를 설명하기로 한다.
도 3은 본 발명의 일실시예에 따른 컴퓨터 장치가 수행할 수 있는 음성 기록 재연 방법의 예를 도시한 흐름도이다.
본 실시예에 따른 컴퓨터 시스템(200)은 클라이언트를 대상으로 클라이언트 상에 설치된 전용 어플리케이션이나 컴퓨터 시스템(200)과 관련된 웹/모바일 사이트 접속을 통해 인공지능 대화록 서비스를 제공할 수 있다.
본 실시예에 따른 음성 기록 재연 방법은 앞서 설명한 컴퓨터 장치(200)에 의해 수행될 수 있다. 이 경우, 컴퓨터 장치(200)의 프로세서(220)는 메모리(210)가 포함하는 운영체제의 코드나 적어도 하나의 프로그램의 코드에 따른 제어 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서(220)는 컴퓨터 시스템(200)의 제어와 관련된 명령이 로딩된 메모리(210)로부터 필요한 명령을 읽어들일 수 있다. 이 경우, 상기 읽어들인 명령은 프로세서(220)가 이후 설명될 음성 기록 재연 방법을 실행하도록 제어하기 위한 명령을 포함할 수 있다.
프로세서(220)는 컴퓨터 장치(200)에 저장된 코드가 제공하는 제어 명령에 따라 컴퓨터 장치(200)가 도 3의 음성 기록 재연 방법이 포함하는 단계들을 수행하도록 컴퓨터 장치(200)를 제어할 수 있다.
이후 설명될 음성 기록 재연 방법이 포함하는 단계들은 도시된 순서와 다른 순서로 수행될 수 있으며, 단계들 중 일부가 생략되거나 추가의 과정이 더 포함될 수 있다.
도 3을 참조하면, 단계(S310)에서 프로세서(220)는 대화록으로 기록된 다자간 대화 음성에서 화자 및 각 화자와 관련된 데이터를 추출할 수 있다. 다자간 대화 음성은 컴퓨터 시스템(200)에서 제공하는 음성인식 기반 인공지능 대화록 서비스를 통해 다자간 대화 중 녹음된 음성으로 대화록 형태로 기록 가능한 음성 컨텐츠를 의미할 수 있다. 일례로, 프로세서(220)는 인공지능 대화록 서비스를 위해 음성 기반 인터페이스를 제공하는 인공지능 디바이스와 연동할 수 있으며, 인공지능 디바이스로부터 인공지능 디바이스가 위치한 현장 음성으로서 녹음된 음성 파일을 수신할 수 있다.
프로세서(220)는 다자간 대화 상황을 재연하기 위해 필요한 정보들을 다자간 대화 음성에서 추출할 수 있다. 이때, 프로세서(220)는 이미 공지된 음성 인식 기술을 이용하여 다자간 대화 음성에서 화자에 의한 발화 구간에 해당되는 음성 데이터를 텍스트로 변환한 음식 인식 결과를 획득할 수 있다. 프로세서(220)는 음성 인식 과정과 아울러 각 화자 별로 발화 구간을 분할하는 화자분할 기술을 적용할 수 있다. 프로세서(220)는 회의는 물론이고, 인터뷰, 거래, 재판 등 여러 화자가 일정한 순서 없이 발화하는 현장에서 녹음된 음성 파일의 경우 발화 내용을 화자 별로 분할하여 자동 검출할 수 있다.
프로세서(220)는 음성 인식 및 화자 분할 이외에 화자 발화 구간의 음성으로부터 해당 화자의 감정 상태를 분석할 수 있다. 일례로, 프로세서(220)는 화자 발화 구간의 발화 속도, 발성 크기, 발화 단어 개수 등 반언어적 표현을 기초로 감정 유형을 분류할 수 있다. 예를 들어, 프로세서(220)는 화자의 발화 속도, 발성 크기, 발화 단어 개수 등이 평균 범위 이내인 경우 '정상' 상태, 평균 범위 미만인 경우 '우울' 상태, 평균 범위 이상인 경우 '흥분' 상태로 분류할 수 있다. 다른 예로는 감정을 나타내는 용어, 즉 감정 용어들은 사전에 정해지며 소정 기준에 따라 복수 개의 감정 유형(예컨대, 기쁨, 슬픔, 분노, 정상 등)으로 분류될 수 있다. 감정 용어는 감정을 나타내는 특정 단어는 물론, 특정 단어를 포함한 구절이나 문장 등을 포함할 수 있다. 예를 들어, '좋아해요'나 '괴로워요'와 같은 단어, 혹은 '너무너무 좋아해요'와 같은 구절이나 문장 등이 감정 용어의 범주에 포함될 수 있다. 프로세서(220)는 화자 발화 구간의 음성 인식 결과에서 형태소를 추출한 후 추출된 형태소에서 미리 정해진 감정 용어를 추출하여 추출된 감정 용어에 대응되는 감정 유형을 분류할 수 있다. 상기한 감정 분석 기술은 예시적인 것으로 이에 한정되는 것은 아니며, 이미 잘 알려진 다른 기술들을 이용하는 것 또한 가능하다.
프로세서(220)는 다자간 대화 음성에서 발화 순서, 발화 내용, 발화 방향 등을 기초로 화자의 발화 대상, 즉 한 화자가 어떤 화자를 향해 발화하고 있는지를 분석할 수 있다. 발화 대상을 결정하는 구체적인 방법에 대해서는 이하에서 다시 설명하기로 한다.
프로세서(220)는 다자간 대화 음성에서 화자의 언어적 표현이 포함된 발화 이외에 기타 음향 이벤트를 검출할 수 있다. 예를 들어, 프로세서(220)는 다자간 대화 음성에서 웃음 소리, 박수 소리, 기침 소리, 키보드 소리 등 현장에서 발생된 각종 음향 이벤트를 검출할 수 있다. 일례로, 프로세서(220)는 사전에 정해진 데이터셋을 통해 학습된 분류 모델을 통해 다양한 종류의 음향 이벤트를 검출할 수 있다.
다자간 대화 음성에서 추출된 화자 별 음성 인식 결과는 화자 발화 구간의 기점을 나타내는 타임스탬프(timestamp)를 포함할 수 있다. 프로세서(220)는 타임스탬프를 기준으로 음성 인식 결과, 화자 분할 결과, 감정 인식 결과, 음향 이벤트 검출 결과 등을 서로 매칭하여 관리할 수 있다.
단계(S320)에서 프로세서(220)는 다자간 대화 음성에 대한 재연 모드가 실행됨에 따라 가상 공간 인터페이스 상에 화자 별 아바타를 배치할 수 있다. 여기서, 아바타는 가상 공간에서 화자의 분신을 의미하는 시각적 이미지를 포괄하여 의미할 수 있으며, 2D 또는 3D 캐릭터 모델을 적용할 수 있다. 다자간 대화 음성에 등장하는 각 화자 별로 서로 다른 아바타가 랜덤하게 정해질 수 있으며, 실시예에 따라서는 각 화자 별로 해당 화자에 해당되는 대화 참석자가 자신의 프로필 정보와 함께 아바타를 직접 설정할 수 있다. 또는, 대화 참석자의 프로필 정보를 기초로 추천된 아바타가 적용되는 것 또한 가능하다.
프로세서(220)는 다자간 대화 음성의 분석 결과에 따른 발화 패턴이나 발화 분포, 화자 수 등을 기초로 아바타 배치 구조를 결정할 수 있다. 프로세서(220)는 화자 별 아바타를 원형 구조 또는 다양한 방식으로 가상 공간 인터페이스 상에 배치할 수 있다. 예를 들어, 다자간 대화 음성에 등장하는 화자가 일정 인원 미만인 경우 한 줄의 원형 구조로 배치하고, 화자가 일정 인원 이상인 경우 2명씩 서로 마주보는 2열 구조로 배치할 수 있다. 또는, 한 명의 화자가 50% 이상의 발화 시간을 점유하고 있는 경우 강의실 배치와 같이 해당 화자를 나머지 화자가 바라보는 구조로 배치할 수 있다. 실시예에 따라서는 다자간 대화 음성 재연 모드의 실행을 요청한 사용자가 아바타 배치 구조나 각 화자 별 아바타의 위치 등을 직접 설정하는 것 또한 가능하다.
프로세서(220)는 각 화자의 아바타를 3D 캐릭터 모델로 구현한 경우 아바타 및 아바타가 배치된 가상 공간 인터페이스에 대한 뷰 포인트(view point)를 자동 조정할 수 있으며, 실시예에 따라서는 뷰 포인트의 수동 조정을 위한 인터페이스를 함께 지원할 수 있다. 예를 들어, 프로세서(220)는 현재 발화 중인 화자의 아바타를 중심으로 현재 뷰 포인트를 자동 조정할 수 있다.
단계(S330)에서 프로세서(220)는 다자간 대화 음성의 시간 순으로 화자 별 아바타를 통해 다자간 대화 음성에서 추출된 데이터에 대응되는 시각적 요소를 출력할 수 있다. 다시 말해, 프로세서(220)는 다자간 대화 음성에서 추출된 음성 인식 결과, 화자 분할 결과, 감정 인식 결과, 음향 이벤트 검출 결과 등을 타임스탬프를 기준으로 화자 별 아바타 모델에 반영할 수 있다.
프로세서(220)는 음성 인식 결과를 아바타 말풍선으로 출력할 수 있으며, 화자 별 아바타의 말풍선을 통해 각 화자의 발화 내용을 표시할 수 있다. 이때, 프로세서(220)는 다자간 대화 음성에서 추출된 감성 인식 결과를 타임스탬프에 맞게 다양한 형태의 애니메이션으로 재생할 수 있다. 프로세서(220)는 화자 발화 구간에서 인식된 감정 유형에 따라 해당 화자의 아바타 또는 말풍선의 디스플레이 요소를 달리 표현할 수 있다. 예를 들어, 화자 발화 구간에서 '분노'가 인식된 경우 아바타의 얼굴색을 빨갛게 표현하거나 아바타의 행동이나 얼굴 표정을 해당 감정에 맞게 표현할 수 있다. 또는, 아바타의 말풍선에 화난 표정의 스티커를 추가하거나 말풍선의 글자 색이나 글자 유형(폰트), 글자 크기, 글자 굵기, 말풍선의 크기나 모양, 말풍선의 배경색 등을 정상적인 감정과는 다르게 표현할 수 있다.
프로세서(220)는 화자 별 아바타의 말풍선을 통해 각 화자의 발화 내용을 출력함에 있어 현재 발화 중인 화자의 아바타는 정면을 향하도록 하고 나머지 아바타는 발화 중인 화자의 아바타를 바라보도록 아바타 방향을 조정할 수 있다. 다른 예로, 프로세서(220)는 현재 발화 중인 화자의 아바타가 해당 화자의 발화 대상에 해당되는 화자의 아바타를 바라보도록 하고 나머지 아바타는 발화 중인 화자의 아바타를 바라보도록 아바타 방향을 조정할 수 있다. 다시 말해, 프로세서(220)는 화자의 발화여부 및/또는 화자가 발화하는 대상 등을 고려하여 아바타 방향을 결정하여 제어할 수 있다.
프로세서(220)는 다자간 대화 음성에서 추출된 음향 이벤트를 타임스탬프에 맞게 다양한 형태의 애니메이션으로 재생할 수 있다. 프로세서(220)는 음향 이벤트의 유형에 따라 일부 화자를 특정하거나 전체 화자를 대상으로 하여 화자의 아바타에 해당 음향에 따른 시각적 요소를 적용할 수 있다. 특정 화자가 내는 음향(예를 들면, 기침 소리, 키보드 타자 소리 등)인 경우 해당 화자를 특정하여 해당 음향에 맞는 표정이나 제스처를 반영할 수 있다. 예를 들어, 기침 소리의 경우 기침 소리의 방향에 위치하는 것으로 결정된 화자, 기침으로 인하여 발화가 중단된 경우 해당 발화 중이었던 화자, 기타 무작위로 특정하는 방법 등으로 화자를 특정하고, 특정된 화자의 아바타에 기침하는 표정이나 제스처, 기침 소리 말풍선 등을 반영할 수 있다. 박수 소리와 같이 불특정 다수가 발생시키는 음향인 경우 전체 화자를 대상으로 하여 각 화자의 아바타에 박수치는 제스처, 손바닥 표시, 박수 소리 말풍선 등을 반영하여 표현할 수 있다.
도 4는 본 발명의 일실시예에 있어서 음성 기록 재연을 위해 필요한 정보 예시를 도시한 것이다.
도 4를 참조하면, 프로세서(220)는 다자간 대화 음성의 시간 순서에 따른 타임스탬프(410)를 기준으로 해당 발화 구간의 음성에서 획득한 화자 분할 결과(420), 음성 인식 결과(430), 감정 인식 결과(440), 및 음향 이벤트(450) 등을 매칭하여 관리할 수 있다.
프로세서(220)는 아바타를 이용하여 화자 분할 결과(420), 음성 인식 결과(430), 감정 인식 결과(440), 및 음향 이벤트(450) 등을 시간 순으로 시각화함으로써 다자간 대화 음성을 입체적으로 재연할 수 있다.
도 5 내지 도 10은 본 발명의 일실시예에 있어서 아바타를 이용하여 음성 기록을 재연하는 과정의 예시를 도시한 것이다.
도 5를 참조하면, 프로세서(220)는 사용자가 다자간 대화 음성에 대한 재연 모드 실행을 요청하는 경우 가상 공간인 음성 기록 재연 화면(500) 상에 화자 각각의 아바타(501)를 배치할 수 있다.
음성 기록 재연 화면(500)에는 다자간 대화 음성의 재연을 제어하기 위한 컨트롤러 영역(510)이 포함될 수 있다. 컨트롤러 영역(510)은 프로그레스(progress) 바, 재생/일시정지 버튼, 뒤로 건너뛰기 버튼, 앞으로 건너뛰기 버튼 등이 포함될 수 있으며, 다자간 대화 음성에서 단위 길이 또는 원하는 길이의 구간을 선택하기 위한 인터페이스(미도시)가 더 포함될 수 있다.
프로세서(220)는 음성 기록 재연 화면(500) 상에 화자 별 아바타(501)를 원형으로 배치할 수 있다. 실시예에 따라서는 다자간 대화 음성의 화자 별 발화 점유율(발화 분포)이나 발화 패턴, 화자 수 등을 기초로 아바타 배치 구조를 결정할 수 있다.
도 6을 참조하면, 프로세서(220)는 다자간 대화 음성에 대해 각 화자 별 발화 점유율을 나타내는 파이 차트(600)를 생성할 수 있고, 일례로 사용자가 화자 별 발화 점유율에 대한 정보가 포함된 서비스 화면에 진입하는 경우 해당 서비스 화면을 통해 파이 차트(600)를 제공할 수 있다.
대화 참석자에 대한 발화 점유율은 전체 음성 듀레이션(duration) 대비 해당 참석자의 발화 듀레이션이 차지하는 비율로 정의할 수 있다. 여기서, 전체 음성 듀레이션은 다자간 대화 음성의 발화 듀레이션과 비발화 듀레이션을 포함할 수 있으며, 이때 비발화는 발화 중간에 나타나는 정적, 의미없이 사용되는 간투어(예를 들어, 어, 음, 네?? 등), 웃음이나 박수와 같은 기타 음향 등을 포함할 수 있다.
다자간 대화 음성의 화자 별 발화 점유율은 아바타 배치 구조를 결정하는데 활용될 수 있다. 프로세서(220)는 다자간 대화 음성에 등장하는 화자 중 한 명의 화자가 대부분의 발화 시간을 점유하고 있는 경우, 예를 들어 참석자 1이 전체 음성 듀레이션 중 50% 이상의 발화 듀레이션을 차지하는 경우, 도 7에 도시한 강의실 배치 구조와 같이 참석자 1의 아바타(701)를 연단 위치에 배치하고 나머지 참석자 2, 3, 4의 아바타(702)를 참석자 1의 아바타(701)를 바라보는 형태로 배치할 수 있다.
프로세서(220)는 다자간 대화 음성에서 분석 가능한 화자 별 발화 점유율뿐만 아니라 발화 패턴, 화자 수 등을 기초로 아바타 배치 구조를 결정하여 해당 구조로 화자 별 아바타(501)를 배치할 수 있다.
도 8을 참조하면, 프로세서(220)는 음성 기록 재연 화면(500) 상에 화자 별 아바타(501)를 배치함에 있어 대화 참석자 중 다자간 대화 음성을 녹음한 참석자의 위치를 나타내는 별도의 지시자(803)를 표시할 수 있다. 일례로, 프로세서(220)는 다자간 대화 음성을 분석하여 음성 기반 인터페이스를 제공하는 인공지능 디바이스와 화자 간의 거리를 확인할 수 있고, 예를 들어 인공지능 디바이스와의 거리가 가장 짧은 화자를 해당 음성을 녹음한 참석자로 판단할 수 있다.
프로세서(220)는 다자간 대화 음성의 시간 순으로 다자간 대화 음성에서 추출된 화자 분할 결과(420), 음성 인식 결과(430), 감정 인식 결과(440), 및 음향 이벤트(450) 등을 화자 별 아바타(501)를 통해 시각적으로 표현할 수 있다. 프로세서(220)는 음성 인식 결과(430)로서 각 화자의 발화 내용을 화자 별 아바타(501)의 말풍선으로 표시할 수 있다.
도 4를 통해 설명하 바와 같이 참석자 1, 참석자 2, 참석자 3, 참석자 4 순으로 발화하는 경우 해당 순서대로 각 화자의 발화 내용을 해당 화자의 아바타 말풍선에 표시할 수 있다.
도 9에 도시한 바와 같이, 프로세서(220)는 다자간 대화 음성에서 처음 발화한 화자인 참석자 1의 발화 내용을 포함하는 말풍선(920)을 참석자 1의 아바타(501)와 인접한 위치에 표시할 수 있다.
이어서, 도 10에 도시한 바와 같이 프로세서(220)는 다음 발화 순서의 화자인 참석자 2의 발화 내용을 포함하는 말풍선(1030)을 참석자 2의 아바타(501)와 인접한 위치에 표시할 수 있다.
상기와 같이 아바타 말풍선을 이용하여 다자간 대화 음성에서 인식된 음성 인식 결과를 발화 순서대로 출력할 수 있다.
프로세서(220)는 화자 발화 구간에서 인식된 감정 유형을 해당 화자의 아바타 또는 말풍선을 통해 표현할 수 있다. 프로세서(220)는 다자간 대화 음성에서의 감정 인식 결과를 아바타의 표정이나 제스처 등으로 표현하거나 혹은 아바타 말풍선의 글자 색, 말풍선의 크기나 모양, 말풍선의 배경 색, 글자 유형, 글자 크기, 글자 굵기 등으로 표현할 수 있다.
예를 들어, 프로세서(220)는 참석자 2의 발화 구간에서 '분노'가 인식된 경우 도 10에 도시한 바와 같이 참석자 2의 발화 내용을 포함하는 말풍선(1030)에 화난 표정의 스티커(1040)를 추가할 수 있다.
프로세서(220)는 다자간 대화 음성에서의 발화자의 음성 크기를 시각적 효과로 표현할 수 있다. 예를 들어, 발화자의 음성 크기가 클수록 말풍선 또는 글자 크기가 커지게 표현할 수 있다.
프로세서(220)는 다자간 대화 음성에서 추출된 음향 이벤트를 타임스탬프에 맞게 다양한 형태의 애니메이션으로 재생할 수 있다. 예를 들어, 참석자 1의 발화 도중에 기침 소리가 검출되는 경우 참석자1의 아바타 또는 임의로 특정된 다른 참석자의 아바타를 기침하는 표정이나 제스처로 표현할 수 있다.
프로세서(220)는 화자 별 아바타의 말풍선을 통해 각 화자의 발화 내용을 차례로 출력함에 있어 현재 발화 중인 화자를 중심으로 아바타 간에 바라보는 방향을 조정할 수 있다. 예를 들어, 현재 발화 중인 화자의 아바타는 정면 또는 발화 대상의 아바타를 바라볼 수 있고, 나머지 아바타는 현재 발화 중인 화자의 아바타를 바라볼 수 있다.
더 나아가, 본원은 아바타를 이용하여 다자간 대화 음성을 시각적으로 재연하는 것 이외에도 다자간 대화 음성에 대해 화자의 발화 대상을 기초로 발화 관계를 나타내는 그래프를 생성하여 서비스할 수 있다.
도 11은 본 발명의 일실시예에 있어서 발화 관계 그래프를 제공하는 과정의 일례를 도시한 것이다.
도 11을 참조하면, 단계(S1110)에서 프로세서(220)는 발화 순서, 발화 내용, 발화 방향 중 적어도 하나를 이용하여 화자의 발화 대상을 결정할 수 있다.
일례로, 프로세서(220)는 발화 순서에 따라 화자가 자신의 다음에 발화하는 대상에게 발화하는 것으로 발화 대상을 결정할 수 있다. 이를 결정하는 데 있어서 특정 발화로부터 일정 횟수의 발화 턴을 고려할 수 있다.
도 12 내지 도 13은 본 발명의 일실시예에 있어서 발화 대상을 결정하는 과정을 설명하기 위한 예시 도면이다.
도 12를 참조하여 1-턴 방식을 설명하면, 타임스탬프를 가진 각 발화에 대해 발화자가 변경되는 것을 이용하여 발화 대상을 결정할 수 있다. 예를 들어, 화자가 참석자 A에서 참석자 B로 변경되는 구간에서는 참석자 A가 참석자 B에게 발화한 것으로 정의한다. 참석자 B를 대상으로 한 발화 듀레이션은 화자 변경 이전 구간에서 참석자 A가 발화한 듀레이션의 합으로 정의될 수 있으며, 도 12에 도시한 바와 같이 참석자 A는 참석자 B에게 1sec+3sec 동안 발화한 것으로 간주할 수 있다.
도 13을 참조하여 2-턴 방식을 설명하면, 타임스탬프를 가진 각 발화에 대해 발화자가 두 번 변경되는 것을 이용하여 발화 대상을 결정하는 결정할 수 있다. 예를 들어, 화자가 참석자 A→참석자 B→참석자 A로 변경되는 구간에서는 참석자 A가 참석자 B에게 발화한 것으로 정의할 수 있고, 참석자 A가 1s+2s 동안 참석자 B에게 발화한 것으로 간주할 수 있다. 화자가 참석자 A→참석자 B→참석자 C로 변경되는 구간에서는 참석자 A가 참석자 B와 C에게 발화한 것으로 정의할 수 있고, 참석자 A가 2s+1s+3s 동안 참석자 B와 C에게 발화한 것으로 간주할 수 있다.
다른 예로, 프로세서(220)는 화자의 발화 내용을 이용하여 발화 대상을 결정할 수 있다. 발화 내용 중 하나는 호칭으로, 대화 참석자의 호칭을 미리 저장해 놓을 수 있다. 한 명의 참석자는 예를 들어, 참석자 '브라운'은 브라운씨, 브라운님, 대리님 등 여러 개의 호칭을 가질 수 있다. 이때, 프로세서(220)는 발화 내용에 포함된 호칭으로 발화 대상을 결정할 수 있다. 발화 내용 중 다른 하나인 화제(topic)를 기초로 발화 대상을 결정할 수 있다. 화제는 짧은 이야기 단위로, 하나의 다자간 대화는 하나 이상의 화제가 내포될 수 있다. 화제는 담화 표지(예를 들어, 다음 안건은, 다름 아니라, 그건 그렇고, 다음으로 등)로 구분될 수 있으며, 각 화제 구간에서 발화 이력이 있는 화자가 저장할 수 있다. 한 명의 화자 당 여러 개의 화제가 연관될 수 있고, 하나의 화제에 여러 명의 화자가 연관될 수 있다. 예를 들어, 참석자 A가 화제 1과 화제 2의 구간에서 발화하고 참석자 B가 화제 2와 화제 3의 구간에서 발화한 경우 {spk_A: (topic1, topic2), spk_B: (topic2, topic3)}와 같다. 같은 화제에 연관된 화자들은 다자간 발화 대상으로 간주될 수 있으며, 예를 들어 {spk_A: (topic1, topic2), spk_B: (topic2, topic3), spk_C: (topic2, topic4)}라 할 때 참석자 A가 참석자 B와 C에게 발화한 것으로 정의할 수 있다.
프로세서(220)는 발화 턴의 변화나 발화 내용(호칭, 화제 등) 이외에도 발화 방향을 고려하여 화자의 발화 대상을 구분하는 것 또한 가능하다. 예를 들어, 대화 장소에 설치된 음성 인식 마이크 홀, 카메라 등을 통해 화자가 발화하는 방향을 추적할 수 있고, 화자의 발화 방향에 대응되는 위치의 참석자를 발화 대상으로 결정할 수 있다.
상기한 과정을 통해 결정된 발화 대상은 아바타를 이용하여 다자간 대화 음성을 재연하는 과정에서 화자 별 아바타의 방향을 조정하는 데에 활용될 수 있다.
다시 도 11을 참조하면, 단계(S1120)에서 프로세서(220)는 발화 대상을 기초로 화자 간의 발화 관계를 나타내는 그래프를 생성할 수 있다. 프로세서(220)는 다자간 대화 음성에 등장하는 각 화자를 중심으로 해당 화자의 발화 대상을 포함하는 발화 관계 그래프를 생성할 수 있다. 프로세서(220)는 대화 참석자인 각 화자를 노드(node)로 구성하고 발화 대상을 엣지(edge)로 연결하여 발화 관계 그래프를 생성할 수 있다. 이때, 노드에는 화자의 발화 점유율이 반영될 수 있고, 엣지에는 발화 대상에 대한 발화 듀레이션이 반영될 수 있다. 예를 들어, 다자간 대화 음성에서 화자의 발화 점유율이 클수록 노드가 크게 표현될 수 있고, 발화 대상에 대한 발화 듀레이션이 클수록 엣지가 두껍게 표현될 수 있다.
단계(S1130)에서 프로세서(220)는 사용자 요청에 대응되는 특정 화자를 중심으로 해당 화자와의 발화 관계를 나타내는 그래프를 제공할 수 있다. 프로세서(220)는 특정 화자 중심의 발화 관계 그래프 이외에도 전체 대화 음성에서 사용자에 의해 지정된 구간에 대한 발화 관계 그래프를 제공할 수 있다.
도 14 내지 도 17은 본 발명의 일실시예에 있어서 발화 관계 그래프를 제공하는 인터페이스 화면의 예시를 도시한 것이다.
도 14를 참조하면, 프로세서(220)는 다자간 대화 음성에 대해 대화 참석자인 각 화자가 노드(1401)로 구성되고 각 화자의 발화 대상이 엣지(1402)로 연결된 발화 관계 그래프(1400)를 제공할 수 있다.
노드(1401)의 크기는 각 화자의 발화 점유율(전체 음성 듀레이션 대비 각 화자의 발화 듀레이션이 차지하는 비율)에 비례한다. 엣지(1402)의 화살표 방향은 발화자에서 발화 대상자로의 방향이 된다. 엣지(1402)의 두께나 색깔은 발화 대상에 대한 발화 듀레이션에 비례한다.
초기 화면에서는 다자간 대화 음성에서 등장하는 화자 중 디폴트 조건에 대응되는 화자 중심의 발화 관계 그래프(1400)를 제공할 수 있다. 예를 들어, 다자간 대화 음성에서 참석자 1의 발화 점유율이 가장 큰 경우 참석자 1을 중심으로 참석자 1과 다른 참석자들 간의 발화 관계를 나타내는 발화 관계 그래프(1400)를 제공할 수 있다.
프로세서(220)는 사용자가 발화 관계 그래프(1400)의 노드(1401) 중 '참석자 4'의 노드를 선택하는 경우 도 15에 도시한 바와 같이 참석자 4를 중심으로 참석자 4와 다른 참석자들 간의 발화 관계를 나타내는 발화 관계 그래프(1400)를 제공할 수 있다.
프로세서(220)는 발화 관계 그래프(1400)와 함께 다자간 대화 음성에 대한 컨트롤러 영역(510)을 제공할 수 있다. 도 16을 참조하면, 컨트롤러 영역(510)에는 다자간 대화 음성에서 단위 길이 또는 원하는 길이의 구간을 선택하기 위한 구간 선택 인터페이스(1611)가 포함될 수 있다.
프로세서(220)는 사용자가 컨트롤러 영역(510)의 구간 선택 인터페이스(1611)를 이용하여 다자간 대화 음성에서 특정 구간을 선택하는 경우 선택된 구간에서 발화 이력이 있는 참석자 목록(1612)을 제공할 수 있다. 참석자 목록(1612)을 대신하여 선택 구간에서 발화 점유율이 가장 큰 참석자 정보(즉, 메인 참석자)를 제공하는 것 또한 가능하다.
프로세서(220)는 사용자가 참석자 목록(1612)에서 특정 참석자를 선택하는 경우 해당 참석자를 중심으로 생성된 발화 관계 그래프(1400)를 제공할 수 있다.
프로세서(220)는 사용자가 구간 선택 인터페이스(1611)를 이용하여 다자간 대화 음성에서 단위 길이 또는 원하는 길이의 구간을 슬라이딩(또는 스크롤)하는 경우 해당 구간에 따라 변하는 메인 참석자와 발화 관계 그래프를 연속적으로 제공함으로써 이를 통해 다자간 대화 음성 내에서의 발화 관계 변화를 보여줄 수 있다.
프로세서(220)는 별도의 인터페이스 화면을 통해 발화 관계 그래프(1400)를 제공하는 것은 물론이고, 음성 기록 재연 화면(500) 상에 발화 관계 그래프(1400)를 제공하는 것 또한 가능하다.
도 17을 참조하면, 사용자가 컨트롤러 영역(510)의 구간 선택 인터페이스(1611)를 통해 다자간 대화 음성의 특정 구간을 선택할 수 있고, 이때 프로세서(220)는 화자 별 아바타(501)를 통해 다자간 대화 음성이 시각적으로 재연되고 있는 음성 기록 재연 화면(500) 상에 선택 구간에 대한 발화 관계 그래프(1400)를 제공할 수 있다.
그리고, 프로세서(220)는 다자간 대화 음성에서 추출된 각 화제에 대해 발화 관계 그래프(1400)를 제공할 수 있다. 일례로, 프로세서(220)는 같은 화제에 연관된 화자들로 구성된 발화 관계 그래프(1400)를 제공하는 것으로, 화제 변화에 따른 발화 관계 그래프(1400)를 제공할 수 있다.
이처럼 본 발명의 실시예들에 따르면, 다자간 대화 중 기록된 음성에서 취득할 수 있는 다양한 정보를 화자 별 시각적 이미지에 반영함으로써 다자간 대화 상황을 입체적으로 재연할 수 있다.
그리고, 본 발명의 실시예들에 따르면, 다자간 대화 음성에 등장하는 화자 간의 발화 관계를 나타내는 인터랙션 그래프를 제공할 수 있으며, 다자간 대화 음성에서 발화 관계 변화를 살펴볼 수 있는 기능을 함께 제공할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 컴퓨터 장치에서 실행되는 음성 기록 재연 방법에 있어서,
    상기 컴퓨터 장치는 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고,
    상기 음성 기록 재연 방법은,
    상기 적어도 하나의 프로세서에 의해, 다자간 대화 음성으로부터 화자 및 상기 화자와 관련된 데이터를 추출하는 단계;
    상기 적어도 하나의 프로세서에 의해, 가상 공간 인터페이스 상에 상기 화자 별 아바타를 배치하는 단계; 및
    상기 적어도 하나의 프로세서에 의해, 상기 다자간 대화 음성의 시간 순으로 상기 아바타를 통해 상기 데이터에 대응되는 시각적 요소를 출력하는 단계
    를 포함하고,
    상기 추출하는 단계는,
    화자 발화 구간의 기점을 나타내는 타임스탬프(timestamp)를 기준으로 해당 발화 구간의 음성에서 획득한 정보인 화자 분할 결과, 음성 인식 결과, 감정 인식 결과, 및 음향 이벤트 검출 결과 중 적어도 하나를 매칭하여 관리하는 단계
    를 포함하고,
    상기 출력하는 단계는,
    상기 아바타를 이용하여 상기 매칭된 정보를 상기 타임스탬프에 따른 시간 순으로 시각화하는 단계
    를 포함하는 음성 기록 재연 방법.
  2. 제1항에 있어서,
    상기 추출하는 단계는,
    상기 다자간 대화 음성을 분석하여 상기 화자의 발화 대상을 결정하는 단계
    를 포함하고,
    상기 출력하는 단계는,
    상기 화자의 발화 대상에 따라 상기 아바타의 방향을 조정하는 단계
    를 포함하는 음성 기록 재연 방법.
  3. 제2항에 있어서,
    상기 조정하는 단계는,
    현재 발화 중인 제1 화자의 아바타가 상기 제1 화자의 발화 대상에 해당되는 제2 화자의 아바타를 바라보도록 하고 나머지 아바타는 상기 제1 화자의 아바타를 바라보도록 아바타 방향을 조정하는 단계
    를 포함하는 음성 기록 재연 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 출력하는 단계는,
    상기 다자간 대화 음성에서 화자 별로 추출된 음성 인식 결과를 상기 아바타의 말풍선으로 출력하는 단계; 및
    상기 다자간 대화 음성에서 화자 별로 추출된 감정 인식 결과를 상기 아바타 또는 상기 말풍선 중 적어도 하나를 통해 출력하는 단계
    를 포함하는 음성 기록 재연 방법.
  6. 제1항에 있어서,
    상기 추출하는 단계는,
    상기 다자간 대화 음성에서 언어적 표현이 포함된 발화 이외의 음향 이벤트를 추출하는 단계
    를 포함하고,
    상기 출력하는 단계는,
    상기 음향 이벤트의 유형에 따라 일부 화자 또는 전체 화자의 아바타에 해당 음향에 대응되는 시각적 요소를 반영하는 단계
    를 포함하는 음성 기록 재연 방법.
  7. 제1항에 있어서,
    상기 배치하는 단계는,
    상기 다자간 대화 음성에 등장하는 화자 수와 상기 화자 별 발화 패턴 및 발화 분포 중 적어도 하나를 기초로 아바타 배치 구조를 결정하는 단계
    를 포함하는 음성 기록 재연 방법.
  8. 제1항에 있어서,
    상기 음성 기록 재연 방법은,
    상기 적어도 하나의 프로세서에 의해, 상기 다자간 대화 음성을 분석하여 상기 화자의 발화 대상을 결정하는 단계; 및
    상기 적어도 하나의 프로세서에 의해, 상기 발화 대상을 기초로 상기 화자 간의 발화 관계를 나타내는 그래프를 생성하는 단계; 및
    상기 적어도 하나의 프로세서에 의해, 사용자 요청에 따라 발화 관계 그래프를 제공하는 단계
    를 더 포함하는 음성 기록 재연 방법.
  9. 제8항에 있어서,
    상기 결정하는 단계는,
    발화 순서, 발화 내용, 및 발화 방향 중 적어도 하나를 이용하여 상기 발화 대상을 결정하는 것
    을 특징으로 하는 음성 기록 재연 방법.
  10. 제8항에 있어서,
    상기 생성하는 단계는,
    상기 화자를 노드(node)로 구성하고 상기 화자와 해당 화자의 발화 대상을 엣지(edge)로 연결하여 상기 발화 관계 그래프를 생성하고,
    상기 노드는 상기 다자간 대화 음성의 전체 음성 듀레이션(duration) 대비 상기 화자의 발화 듀레이션 비율이 반영되고,
    상기 엣지는 상기 발화 대상에 대한 상기 화자의 발화 듀레이션이 반영되는 것
    을 특징으로 하는 음성 기록 재연 방법.
  11. 제8항에 있어서,
    상기 제공하는 단계는,
    상기 사용자 요청에 대응되는 특정 화자를 중심으로 상기 특정 화자와의 발화 관계를 나타내는 그래프를 제공하는 단계
    를 포함하는 음성 기록 재연 방법.
  12. 제8항에 있어서,
    상기 제공하는 단계는,
    상기 다자간 대화 음성에서 상기 사용자 요청에 대응되는 일부 구간에 대한 상기 발화 관계 그래프를 제공하는 단계
    를 포함하는 음성 기록 재연 방법.
  13. 제1항 내지 제3항, 제5항 내지 제12항 중 어느 한 항의 음성 기록 재연 방법을 상기 컴퓨터 장치에 실행시키기 위해 컴퓨터 판독가능한 기록 매체에 저장된 컴퓨터 프로그램.
  14. 컴퓨터 장치에 있어서,
    메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서는,
    다자간 대화 음성으로부터 화자 및 상기 화자와 관련된 데이터를 추출하고,
    가상 공간 인터페이스 상에 상기 화자 별 아바타를 배치하고,
    상기 다자간 대화 음성의 시간 순으로 상기 아바타를 통해 상기 데이터에 대응되는 시각적 요소를 출력하고,
    상기 적어도 하나의 프로세서는,
    화자 발화 구간의 기점을 나타내는 타임스탬프를 기준으로 해당 발화 구간의 음성에서 획득한 정보인 화자 분할 결과, 음성 인식 결과, 감정 인식 결과, 및 음향 이벤트 검출 결과 중 적어도 하나를 매칭하여 관리하고,
    상기 아바타를 이용하여 상기 매칭된 정보를 상기 타임스탬프에 따른 시간 순으로 시각화하는 것
    을 특징으로 하는 컴퓨터 장치.
  15. 제14항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 다자간 대화 음성을 분석하여 상기 화자의 발화 대상을 결정하고,
    상기 화자의 발화 대상에 따라 상기 아바타의 방향을 조정하는 것
    을 특징으로 하는 컴퓨터 장치.
  16. 제14항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 음성 인식 결과를 상기 아바타의 말풍선으로 출력하고,
    상기 감정 인식 결과를 상기 아바타 또는 상기 말풍선 중 적어도 하나를 통해 출력하고,
    상기 음향 이벤트의 유형에 따라 일부 화자 또는 전체 화자의 아바타에 해당 음향에 대응되는 시각적 요소를 반영하는 것
    을 특징으로 하는 컴퓨터 장치.
  17. 제14항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 다자간 대화 음성에 등장하는 화자 수와 상기 화자 별 발화 패턴 및 발화 분포 중 적어도 하나를 기초로 아바타 배치 구조를 결정하는 것
    을 특징으로 하는 컴퓨터 장치.
  18. 제14항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 다자간 대화 음성을 분석하여 상기 화자의 발화 대상을 결정하고,
    상기 발화 대상을 기초로 상기 화자 간의 발화 관계를 나타내는 그래프를 생성하고,
    사용자 요청에 따라 발화 관계 그래프를 제공하는 것
    을 특징으로 하는 컴퓨터 장치.
  19. 제18항에 있어서,
    상기 적어도 하나의 프로세서는,
    발화 순서, 발화 내용, 및 발화 방향 중 적어도 하나를 이용하여 상기 발화 대상을 결정하는 것
    을 특징으로 하는 컴퓨터 장치.
  20. 제18항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 화자를 노드로 구성하고 상기 화자와 해당 화자의 발화 대상을 엣지로 연결하여 상기 발화 관계 그래프를 생성하고,
    상기 노드는 상기 다자간 대화 음성의 전체 음성 듀레이션 대비 상기 화자의 발화 듀레이션 비율이 반영되고,
    상기 엣지는 상기 발화 대상에 대한 상기 화자의 발화 듀레이션이 반영되는 것
    을 특징으로 하는 컴퓨터 장치.
KR1020220042891A 2022-04-06 2022-04-06 음성 기록을 시각화하여 재연하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램 KR102616058B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220042891A KR102616058B1 (ko) 2022-04-06 2022-04-06 음성 기록을 시각화하여 재연하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220042891A KR102616058B1 (ko) 2022-04-06 2022-04-06 음성 기록을 시각화하여 재연하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램

Publications (2)

Publication Number Publication Date
KR20230143808A KR20230143808A (ko) 2023-10-13
KR102616058B1 true KR102616058B1 (ko) 2023-12-21

Family

ID=88289955

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220042891A KR102616058B1 (ko) 2022-04-06 2022-04-06 음성 기록을 시각화하여 재연하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램

Country Status (1)

Country Link
KR (1) KR102616058B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000050226A (ja) * 1998-07-28 2000-02-18 Fuji Xerox Co Ltd 仮想空間におけるコンピュ―タを介在したマルチモ―ダルおよび非同期な会議を行なう方法およびシステム
JP2003323628A (ja) * 2002-05-02 2003-11-14 Nippon Hoso Kyokai <Nhk> 発言者特定映像装置およびそのプログラムならびに発言者特定映像表示方法
JP2016046705A (ja) * 2014-08-25 2016-04-04 コニカミノルタ株式会社 会議録編集装置、その方法とプログラム、会議録再生装置、および会議システム
JP2018013742A (ja) * 2016-07-22 2018-01-25 富士通株式会社 音声要約作成支援装置、音声要約作成支援方法、及び音声要約作成支援プログラム
JP2020095121A (ja) * 2018-12-11 2020-06-18 パナソニックＩｐマネジメント株式会社 音声認識システム、学習済みモデルの生成方法、音声認識システムの制御方法、プログラム、及び移動体
JP6756328B2 (ja) * 2015-03-27 2020-09-16 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210117066A (ko) * 2020-03-18 2021-09-28 라인플러스 주식회사 음향 기반 아바타 모션 제어 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000050226A (ja) * 1998-07-28 2000-02-18 Fuji Xerox Co Ltd 仮想空間におけるコンピュ―タを介在したマルチモ―ダルおよび非同期な会議を行なう方法およびシステム
JP2003323628A (ja) * 2002-05-02 2003-11-14 Nippon Hoso Kyokai <Nhk> 発言者特定映像装置およびそのプログラムならびに発言者特定映像表示方法
JP2016046705A (ja) * 2014-08-25 2016-04-04 コニカミノルタ株式会社 会議録編集装置、その方法とプログラム、会議録再生装置、および会議システム
JP6756328B2 (ja) * 2015-03-27 2020-09-16 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2018013742A (ja) * 2016-07-22 2018-01-25 富士通株式会社 音声要約作成支援装置、音声要約作成支援方法、及び音声要約作成支援プログラム
JP2020095121A (ja) * 2018-12-11 2020-06-18 パナソニックＩｐマネジメント株式会社 音声認識システム、学習済みモデルの生成方法、音声認識システムの制御方法、プログラム、及び移動体

Also Published As

Publication number Publication date
KR20230143808A (ko) 2023-10-13

Similar Documents

Publication Publication Date Title
US10608974B2 (en) Computer-based authoring tool for narrative content delivered by an interactive message-based delivery system
Stappen et al. The multimodal sentiment analysis in car reviews (muse-car) dataset: Collection, insights and improvements
US8972265B1 (en) Multiple voices in audio content
CN115668371A (zh) 对听觉和视觉会议数据分类以推断用户话语的重要性
US11948594B2 (en) Automated conversation content items from natural language
CN103116602A (zh) 使个人音频产品便利
CN113748425A (zh) 针对视频数据中表达的内容的自动完成
JP2022020659A (ja) 通話中の感情を認識し、認識された感情を活用する方法およびシステム
US11677991B1 (en) Creating automatically a short clip summarizing highlights of a video stream
US11971927B1 (en) System and method for contextual data selection from electronic media content
US9711181B2 (en) Systems and methods for creating, editing and publishing recorded videos
CN104424955B (zh) 生成音频的图形表示的方法和设备、音频搜索方法和设备
KR20200096935A (ko) 다중 프로필을 제공하는 방법 및 시스템
US10347299B2 (en) Method to automate media stream curation utilizing speech and non-speech audio cue analysis
CN117377519A (zh) 通过分布式输入的情绪分析来模拟现场赛事的人群噪声
JP2017064853A (ja) ロボット、コンテンツ決定装置、コンテンツ決定方法、及びプログラム
US11514924B2 (en) Dynamic creation and insertion of content
KR102616058B1 (ko) 음성 기록을 시각화하여 재연하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램
US20210390958A1 (en) Method of generating speaker-labeled text
CN117251595A (zh) 视频录像处理
KR20220046165A (ko) 앱과 웹의 연동을 통해 음성 파일에 대한 메모를 작성하는 방법, 시스템, 및 컴퓨터 판독가능한 기록 매체
Stamenković The stylistic journey of a video game: a diachronic approach to multimodality in the football manager series
KR102662668B1 (ko) 대화 스크립트에의 컨텍스트 정보 레이블링 장치 및 방법
US20240127820A1 (en) Music-aware speaker diarization for transcripts and text-based video editing
US20240127858A1 (en) Annotated transcript text and transcript thumbnail bars for text-based video editing

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right