TWI817213B - 與視訊通信服務聯動來記錄對話的方法、系統及電腦可讀記錄介質 - Google Patents

與視訊通信服務聯動來記錄對話的方法、系統及電腦可讀記錄介質 Download PDF

Info

Publication number
TWI817213B
TWI817213B TW110138547A TW110138547A TWI817213B TW I817213 B TWI817213 B TW I817213B TW 110138547 A TW110138547 A TW 110138547A TW 110138547 A TW110138547 A TW 110138547A TW I817213 B TWI817213 B TW I817213B
Authority
TW
Taiwan
Prior art keywords
voice
voice record
record
recording
communication channel
Prior art date
Application number
TW110138547A
Other languages
English (en)
Other versions
TW202217794A (zh
Inventor
李壽美
辛知恩
丁藝琳
黃吉煥
Original Assignee
南韓商納寶股份有限公司
日商連股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商納寶股份有限公司, 日商連股份有限公司 filed Critical 南韓商納寶股份有限公司
Publication of TW202217794A publication Critical patent/TW202217794A/zh
Application granted granted Critical
Publication of TWI817213B publication Critical patent/TWI817213B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1831—Tracking arrangements for later retrieval, e.g. recording contents, participants activities or behavior, network status
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Abstract

本發明公開與視訊通信服務聯動來記錄對話的方法、系統及電腦可讀記錄介質。語音記錄管理方法包括：生成步驟，將影像通信通道的語音轉換為文本來生成語音記錄；以及提供步驟，以參與上述影像通信通道的用戶為對象提供上述語音記錄。

Description

與視訊通信服務聯動來記錄對話的方法、系統及電腦可讀記錄介質
本發明涉及一種以文本記錄對話語音的技術。
通常，在移動語音轉換技術中，在移動設備中對語音進行錄音，當對語音的錄音結束時，將錄音區間的語音轉換成文本並將其顯示在顯示器上。
作為上述語音轉換技術的一實施例，在韓國公開專利公報第10-2014-0062217號（公開日：2014年05月23日）中公開了執行語音錄音及文本轉換的技術。
[發明所欲解決之問題]
本發明提供可與如視訊通話或視訊會議等影像通信服務聯動來自動記錄對話的方法和系統。
本發明提供可通過語音識別技術以文本記錄影像通信通道的對話語音的方法和系統。
[解決問題之技術手段]
本發明提供語音記錄管理方法，其在電腦裝置中執行，上述電腦裝置包括執行記憶體中所包含的電腦可讀指令的至少一處理器，上述語音記錄管理方法包括：一生成步驟，通過至少一上述處理器，將影像通信通道的語音轉換為文本來生成語音記錄；以及一提供步驟，通過至少一上述處理器，以參與上述影像通信通道的用戶為對象提供上述語音記錄。
根據一實施方式，上述語音記錄管理方法還可包括如下步驟，通過至少一上述處理器，使得用於語音記錄管理的聊天機器人帳號參與上述影像通信通道來與上述影像通信通道進行聯動。
根據再一實施方式，在上述提供步驟中，可通過與語音記錄管理服務聯繫的通訊軟體的聊天室來提供上述語音記錄。
根據另一實施方式，在上述提供步驟中，可通過包括上述聊天機器人帳號的通訊軟體聊天室以文本類型的訊息提供上述語音記錄。
根據還有一實施方式，在上述提供步驟中，可通過包括上述聊天機器人帳號的通訊軟體聊天室以文本檔方式提供上述語音記錄
根據又一實施方式，上述生成步驟可包括如下步驟，通過將上述聊天機器人帳號邀請到上述影像通信通道的用戶設備接收錄製上述語音的檔並將與說話者的發聲部分相對應的語音數據轉換為文本。
根據又一實施方式，上述語音記錄管理方法還可包括管理步驟，通過至少一個上述處理器，將在上述設備中錄製上述語音的過程中寫入的備忘錄與上述語音記錄相匹配並管理，上述提供步驟可包括如下步驟，即，將上述備忘錄與上述語音記錄聯繫來提供。
根據又一實施方式，在上述管理步驟中，可基於上述語音記錄的時間戳匹配在上述語音的錄音過程中寫入的備忘錄並管理。
根據又一實施方式，上述與備忘錄聯繫來提供的步驟可包括如下步驟，基於時間戳按時間匹配上述語音記錄與上述備忘錄並顯示。
根據又一實施方式，上述與備忘錄聯繫來提供的步驟可包括如下步驟，通過雙螢幕顯示方式一同顯示上述語音記錄和上述備忘錄。
本發明提供電腦可讀記錄介質，其記錄有用於在電腦執行上述語音記錄管理方法的程式。
本發明提供電腦裝置，其包括執行記憶體中所包含的電腦可讀指令的至少一處理器，至少一上述處理器包括：一語音記錄生成部，通過將影像通信通道的語音轉換為文本來生成語音記錄；以及一語音記錄提供部，以參與上述影像通信通道的用戶為對象提供上述語音記錄。
[對照先前技術之功效]
根據本發明的實施例，可通過與如視訊通話或視訊會議等影像通信服務聯動並通過語音識別技術將影像通信通道的對話語音自動記錄為文本，由此，可擴大服務用途並提高用戶便利性。
以下，參照附圖，詳細說明本發明的實施例。
本發明實施例的語音記錄管理系統可通過至少一個電腦裝置體現，本發明實施例的語音記錄管理方法可通過語音記錄管理系統中的至少一個電腦裝置執行。在此情況下，在電腦裝置中設置及驅動本發明一實施例的電腦程式，電腦裝置可根據所驅動的電腦程式的控制執行本發明實施例的語音記錄管理方法。上述電腦程式為了與電腦裝置結合來在電腦中執行語音記錄管理方法而可存儲於電腦可讀記錄介質。
圖1為示出本發明一實施例網路環境的示意圖。圖1的網路環境示出包括電子設備110、120、130、140、多個伺服器150、160及網路170的實施例。上述圖1為用於說明本發明的一實施例，電子設備的數量或伺服器的數量並不局限於圖1。並且，圖1的網路環境僅為可適用於本實施例的多個環境中的其中一實施例，可適用於本實施例的環境並不局限於圖1的網路環境。
多個電子設備110、120、130、140可以為通過電腦系統體現的固定型終端或移動終端。例如，多個電子設備110、120、130、140包括智能手機（smart phone）、手機、導航儀、電腦、筆記本電腦、數字廣播終端、個人數據助理（PDA，Personal Digital Assistants）、可攜式多媒體播放器（PMP，Portable MultimediAPlayer）、平板電腦等。作為一實施例，圖1中示出智能手機的形狀作為電子設備110，但是在本發明的實施例中，電子設備110實質上可以為利用無線或有線通信方式，通過網路170與其他電子設備120、130、140和/或伺服器150、160進行通信的各種物理電腦系統中的一個。
通信方式並不受限，可包括使用網路170可包括的通信網（例如，移動通信網、有線網路、無線網路、廣播網絡）的通信方式和多個設備之間的無線通信。例如，網路170可包括個人區域網（PAN，personal areAnetwork）、本地網路（LAN，local areAnetwork）、校園網（CAN，campus areAnetwork）、城域網（MAN，metropolitan areAnetwork）、廣域網（WAN，wide areAnetwork）、寬頻網（BBN，broadband network）、互聯網等網路中的任意一種以上網路。並且，網路170可包括具有匯流排網路、星型網路、環型網路、網狀網路、星型匯流排網路、樹形網路、分級（hierarchical）網路等的網路拓撲中的任意一種以上，但並不局限於此。
伺服器150、160可以為通過網路170與多個電子設備110、120、130、140進行通信來提供指令、代碼、檔、內容、服務等的電腦裝置或多個電腦裝置。例如，伺服器150可以為向通過網路170訪問的多個電子設備110、120、130、140提供服務（例如：語音記錄管理服務（或會議記錄管理服務）、內容提供服務、群呼服務（或語音會議服務）、短信服務、郵件服務、社交網路服務、地圖服務、翻譯服務、金融服務、支付服務、搜索服務）的系統。
圖2為示出本發明一實施例的電腦裝置的示意圖。以上說明的多個設備110、120、130、140或多個伺服器150、160可通過圖2所示的電腦裝置200體現。
如圖2所示，電腦裝置200可包括記憶體210、處理器220、通信介面230及輸入輸出介面240。記憶體210作為電腦可讀記錄介質，可包括如隨機存取記憶體（RAM，random access memory）、只讀記憶體（ROM，read only memory）、硬碟驅動器的非易失性大容量存儲裝置（permanent mass storage device）。其中，只讀記憶體、固態硬碟的非易失性大容量存儲裝置為與記憶體210區分的單獨的永久存儲裝置，可形成在電腦裝置200。並且，記憶體210可存儲操作系統和至少一個程式代碼。上述軟體結構要素可從與記憶體210單獨的電腦可讀記錄介質加載到記憶體210。上述單獨的電腦可讀記錄介質可包括軟碟驅動器、磁片、磁帶、DVD/CD-ROM驅動器、存儲卡等電腦可讀記錄介質。在另一實施例中，軟體結構要素不是通過電腦可讀記錄介質，而是通過通信介面230加載到記憶體210。例如，軟體結構要素可基於通過網路170接收的檔設置的電腦程式來加載到電腦裝置200的記憶體210。
處理器220可執行基本的計算、邏輯及輸入輸出計算，由此處理電腦程式的指令。指令是通過記憶體210或通信介面230向處理器220提供。例如，處理器220係根據存儲於如記憶體210的存儲裝置的程式代碼來執行所接收的指令。
通信介面230提供通過網路170來使電腦裝置200與其他裝置（例如，上述說明的存儲裝置）相互進行通信的功能。於一實施例，電腦裝置200的處理器220可根據通信介面230的控制，通過網路170向其他裝置傳遞根據存儲於如記憶體210的存儲裝置的程式代碼生成的請求、指令、數據、檔等。相反，來自其他裝置的信號、指令、數據、檔等可經過網路170並通過電腦裝置200的通信介面230向電腦裝置200傳遞。通過通信介面230接收的信號、指令、數據等可以向處理器220或記憶體210傳遞，檔等可以存儲在電腦裝置200還可包括的存儲介質（上述永久存儲裝置）。
輸入輸出介面240可以為用於與輸入輸出裝置250的介面的單元。例如，輸入設備可包括麥克風、鍵盤或滑鼠等裝置，而且，輸出裝置可包括如顯示器、揚聲器的裝置。於另一實施例，輸入輸出介面240也可以為用於與如觸摸螢幕的用於輸入和輸出的功能集成為一體的裝置的介面的單元。輸入輸出裝置250也可以與電腦裝置200配置為一個裝置。
並且，在另一實施例中，電腦裝置200可包括比圖2的結構要素更少或更多的結構要素。但是，無需明確示出大部分現有技術的結構要素。例如，電腦裝置200可包括上述輸入輸出裝置250中的至少一部分或還可包括如收發器（transceiver）、資料庫等的其他結構要素。
以下，說明與視訊通信服務聯動來記錄對話的方法及系統的具體實施例。
通常，提供在會面會議中通過錄製語音或上傳語音檔來將相應語音轉換為文本的服務。
除會面會議外，在視訊會議或視訊通話的情況下，難以記錄並管理對話。
為了解決這種問題，本實施例提供如下的語音記錄管理服務，即，與視訊通話或視訊會議等影像通信服務聯動來提供將通過影像通信服務的對話語音轉換為文本的結果（以下，稱為“語音記錄”）。
圖3為示出本發明一實施例的電腦裝置的處理器可包括的結構要素的示意圖，圖4為示出本發明一實施例的電腦裝置可執行方法的流程圖。
本實施例的電腦裝置200可通過訪問以客戶端為對象安裝在客戶端上的專用應用程式或與電腦裝置200相關的網頁/移動網站來提供語音記錄管理服務。電腦裝置200可包括由電腦實現的語音記錄管理系統。於一實施例，語音記錄管理系統能夠以獨立工作的程式體現，或者，能夠以特定應用程式的內部應用程式（in-app）形態構成，以能夠在上述特定應用程式上操作的方式體現。例如，能夠以作為語音記錄管理專用應用程式的記事應用程式提供視訊通話功能或視訊會議功能的通訊軟體應用程式的內部應用程式形態構成，或者，能夠以單獨的獨立應用程式構成來以與通訊軟體應用程式聯動的形態體現。
如圖3所示，電腦裝置200的處理器220為用於執行圖4所示的語音記錄管理方法的結構要素，可包括服務聯動部310、語音記錄生成部320以及語音記錄提供部330。根據不同實施例，處理器220還可選擇性地包括或排除處理器220的結構要素。並且，根據實施例，處理器220的結構要素可為了表達處理器220的功能而分離或合併。
這種處理器220及處理器220的結構要素可控制電腦裝置200，以執行圖3所示的語音記錄管理方法所包括的多個步驟（步驟S410至步驟S430）。例如，處理器220及處理器220的結構要素可執行基於記憶體210所包括的操作系統的代碼和至少一個程式的代碼生成的指令（instruction）。
其中，處理器220的結構要素可以為基於存儲於電腦裝置200的程式代碼提供的指令來通過處理器220執行的不同功能（different functions）的表達。例如，作為處理器220基於上述指令控制電腦裝置200的功能性表達可利用服務聯動部310，來使得電腦裝置200控制與影像通信服務的聯動。
處理器220可從加載與電腦裝置200的控制相關的指令的記憶體210中讀取所需指令。在此情況下，所讀取的上述指令可包括用於控制處理器220執行下述說明的多個步驟（步驟S410至步驟S430）的指令。
以下說明的多個步驟（步驟S410至步驟S430）可按照與圖4所示順序不同的順序執行，多個步驟（步驟S410至步驟S430）中的一部分可被省略或者還可包括額外的步驟。
參照圖4，在步驟S410中，服務聯動部310係將語音記錄管理服務與視訊通話或視訊會議等影像通信服務聯動。於一實施例，服務聯動部310可通過與語音記錄管理服務相關的聊天機器人帳號（以下，稱為“語音記錄聊天機器人”）參與影像通信通道的方式與影像通信服務聯動。在邀請參與影像通信的參與方的過程中，語音記錄聊天機器人可作為參與影像通信的一名用戶受到邀請，服務聯動部310可通過語音記錄聊天機器人來使得語音記錄聊天機器人參與的影像通信通道與語音記錄管理服務聯動。
在步驟S420中，語音記錄生成部320接收與語音記錄管理服務聯動的影像通信通道的對話語音並將所接收的語音轉換為文本來生成語音記錄。參與影像通信的用戶中的至少一個用戶，例如，邀請語音記錄聊天機器人的用戶（以下，稱為“主控用戶”）的設備可錄製針對影像通信通道的對話語音。語音記錄生成部320可從主控用戶的設備接收作為影像通信通道的對話語音錄製的語音檔。語音記錄生成部320以規定時間（例如，5分鐘）單位接收錄製檔，或者，可在影像通信結束之後接收整體錄製檔。語音記錄生成部320可利用公知的語音識別技術來生成語音記錄，即，將在錄製檔中與說話者發聲區間相對應的語音數據轉換為文本的結果。在此情況下，在語音記錄生成部320生成語音記錄的過程中，可應用按照各個說話者劃分發聲區間的說話者區分技術。在多個說話者不按規定順序發聲的狀況下，語音記錄生成部320可按照說明人員劃分與對話語音相對應的發聲內容並自動記錄。
語音記錄生成部320可通過從主控用戶設備接收在錄製影像通信通道的對話語音的過程中寫入的備忘錄並將其與語音記錄匹配來管理。語音記錄生成部320可基於進行錄音的時間匹配語音記錄與在進行錄音的過程中寫入的備忘錄。語音記錄可包括表示說話者的發聲部分的起點的時間戳，語音記錄生成部320可基於語音記錄的時間戳一同管理在相應區間寫入的備忘錄。換言之，語音記錄生成部320可將在特定時間點的發聲區間中寫入的備忘錄與相應時間點的語音記錄匹配並管理。
在主控用戶的設備中，安裝有作為語音記錄管理專用應用程式的記事應用程式，錄製影像通信通道的對話語音的設備為安裝有記事應用程式的設備，可相當於訪問影像通信通道的設備。寫入與影像通信通道的對話語音相關的備忘錄的設備可以為與錄製對話語音的設備相同的設備，或者，還可以為主控用戶使用的其他設備。另，可應用主控用戶利用相同帳號登錄的移動應用程式（記事應用程式）與個人電腦網站（用於語音記錄管理服務的專用網站）聯動來在參與影像通信的移動設備中通過記事應用程式錄製對話語音並在訪問個人電腦的網頁中寫入與在錄音過程中的對話語音相關的備忘錄的使用環境。這種使用環境僅為一個實施例，並不限定於此。
在步驟S430中，語音記錄提供部330通過與語音記錄管理服務相關的介面提供將影像通信通道的對話語音轉換為文本的語音記錄，供參與影像通信的用戶能夠確認。於一實施例，語音記錄提供部330通過語音記錄管理服務專用的移動應用程式（記事應用程式）或個人電腦網站來提供語音記錄。例如，若完成語音記錄生成，則語音記錄提供部330包括在移動應用程式或個人電腦網站提供的檔目錄上與語音記錄相對應的文本檔來提供。於另一實施例，若完成語音記錄生成，則語音記錄提供部330通過與語音記錄管理服務聯系的通訊軟體的聊天室來提供語音記錄。例如，語音記錄提供部330可將與語音記錄相對應的文本以檔訊息方式或檔方式傳輸至與語音記錄聊天機器人的聊天室。
圖5至圖13為示出本發明一實施例的用於語音記錄管理的用戶介面畫面的例示圖。
首先，圖5至圖7為示出用於說明語音記錄聊天機器人參與影像通信的過程之實施例中關於用戶介面畫面的示意圖。
參照圖5，安裝在移動設備的記事應用程式可以與具有視訊通話或視訊會議等影像通信功能的通訊軟體應用程式聯動，在此情況下，在通訊軟體應用程式中，朋友目錄500可包括作為與記事應用程式相關的聊天機器人的語音記錄聊天機器人501。
移動設備的用戶可利用通訊軟體應用程式上的朋友目錄500選擇參與影像通信的參與者，可邀請語音記錄聊天機器人501作為參與影像通信的一名用戶。
參照圖6，通訊軟體應用程式可生成將在朋友目錄500中選擇的參與者作為對話對象的聊天室600。在此情況下，作為影像通信的一實施例，聊天室600可包括用於視訊通話的“視訊通話”菜單601。
如圖7所示，在通訊軟體應用程式中，若在聊天室600選擇“視訊通話”菜單601，則切換為視訊通話畫面700，由此，可提供參與聊天室600的參與者之間的視訊通話。
在視訊通話畫面700中，可包括從每個參與者的設備接收的個別影像，在語音記錄聊天機器人501的情況下，作為聊天機器人影像，可顯示與語音記錄聊天機器人501相關的影像701。根據不同實施例，還可省略與語音記錄聊天機器人501相關的影像701。
雖然以在生成聊天室600的過程中邀請語音記錄聊天機器人501為例進行了說明，但並不限定於此，邀請語音記錄聊天機器人501的方式或過程均可變更。在邀請影像通信的參與者的過程中，不僅可邀請語音記錄聊天機器人501，還可在進行影像通信的過程中通過參與影像通信的任一用戶追加邀請語音記錄聊天機器人501作為參與者。
隨著語音記錄聊天機器人501參與利用通訊軟體應用程式的影像通信，記事應用程式可針對影像通信通道的對話語音進行錄音。
圖8為示出通過記事應用程式的介面畫面之實施例的語音記錄管理畫面800。在語音記錄管理畫面800中，包括以語音記錄生成的語音檔目錄810，可顯示表示錄製影像通信通道的對話語音的狀態資訊801作為與通訊軟體應用程式的聯動資訊。
並且，隨著通訊軟體應用程式進行影像通信，語音記錄管理畫面800可顯示提供用於寫入針對正在錄音的語音檔的“備忘錄”菜單802。當選擇“備忘錄”菜單802時，移動設備可提供備忘錄寫入畫面（未圖示）。在此情況下，備忘錄寫入畫面作為用於寫入備忘錄的介面，可包括基於文本的輸入功能、照片或動態影像拍攝功能及附加檔功能等。並且，備忘錄寫入畫面還可包括書籤介面等，針對在進行錄音過程中的語音檔賦予書籤。在備忘錄寫入畫面中寫入備忘錄的情況下，可基於針對各個備忘錄正在錄音的語音檔的錄音時間一同顯示時間戳。
雖然以提供用於進入備忘錄寫入畫面的“備忘錄”菜單802為實施例例進行了說明，但並不限定於此。根據不同實施例，“備忘錄”菜單802並不僅以單獨的菜單提供，包括語音檔目錄810中的特定語音檔，例如，在通過選擇正在錄音的語音檔來進入的詳細畫面可包括備忘錄寫入畫面。
處理器220可從移動設備通過記事應用程式接收錄製影像通信通道的對話語音的語音檔來生成語音記錄。並且，處理器220也可將從移動設備接收在錄製影像通信通道的對話語音過程中寫入的備忘錄並與語音記錄匹配並管理。
當完成影像通信時，處理器220能夠以參與相應影像通信的用戶能夠確認的形態提供將對話語音轉換為文本的語音記錄。
於一實施例，參照圖9，處理器220可通過與語音記錄聊天機器人的聊天室900將與語音記錄相對應的整個文本以文本類型的訊息910提供。換言之，處理器220可向與語音記錄聊天機器人的聊天室900傳輸語音記錄的文本。
於另一實施例，參照圖10，處理器220通過與語音記錄聊天機器人的聊天室900僅將語音記錄的文本一部分以文本類型的訊息910提供，可一同提供夠確認整個文本的“更多”菜單1001。“更多”菜單1001可包括因運行記事應用程式而移動至相應語音記錄的詳細畫面的連結。
於另一實施例，參照圖11，處理器220可通過與語音記錄聊天機器人的聊天室900提供包括以檔方式下載語音記錄的連結的檔下載連結類型的訊息1120。換言之，處理器220可將語音記錄以文本檔方式傳輸到與語音記錄聊天機器人的聊天室900。
於另一實施例，參照圖12，處理器220可通過與語音記錄聊天機器人的聊天室900提供包括用於移動至提供語音記錄的服務網頁移動連結1231的訊息1230。處理器220提供服務聯動連結類型的訊息1230，同時，可提供針對語音記錄的至少一部分的預覽1232。
圖13為示出語音記錄詳細畫面1300的示意圖。
在接收針對特定語音記錄的選擇指令的情況下，處理器220係將語音記錄與匹配於語音記錄的備忘錄聯繫來提供。如圖13所示，當在語音記錄管理畫面800提供的語音檔目錄810中選擇特定語音記錄或在聊天室900中選擇“更多”菜單1001或服務網頁移動連結1231時，處理器220可提供與相應語音記錄的閱覽模式相對應的語音記錄詳細畫面1300。
處理器220可通過語音記錄詳細畫面1300顯示語音記錄區域1340及備忘錄區域1350。語音記錄詳細畫面1300可同時提供語音記錄的標題1341及參與者資訊1342。
處理器220可在一個畫面上將語音記錄區域1340和備忘錄區域1350區分為單個標籤頁來提供，於一實施例，根據移動設備的畫面比例如：以雙螢幕顯示方式同時顯示語音記錄區域1340和備忘錄區域1350。
在語音記錄區域1340中，可顯示按照發聲區間轉換相應區間語音的文本，在此情況下，可在語音檔基於文本發聲的時間點顯示時間戳。另，在備忘錄區域1350顯示有在語音檔的錄音過程中寫入的備忘錄，能夠以相應備忘錄的時間戳顯示按照備忘錄開始寫入備忘錄的時間點的錄音時間。
在以雙螢幕顯示方式提供語音記錄區域1340和備忘錄區域1350的情況下，可將語音記錄區域1340和備忘錄區域1350並排顯示成兩列，在此情況下，可基於時間戳按時間匹配語音記錄區域1340和備忘錄區域1350來顯示。例如，可將在說話者1發聲的00分02秒的時間點寫入的備忘錄匹配在相應發聲區間的文本在相同線上顯示。
在以單獨的標籤頁提供語音記錄區域1340和備忘錄區域1350的情況下，語音記錄區域1340和備忘錄區域1350無需匹配在基於時間戳的相同線上，還可以按時間順序簡單排列語音記錄區域1340和備忘錄區域1350。
根據如上所述的本發明實施例，本發明通過將語音記錄管理服務與如視訊通話或視訊會議等影像通信服務聯動來提供將影像通信通道的對話語音自動轉換為文本的語音記錄，從而可擴大服務用途並提高用戶便利性。
上述裝置可以實現為硬體組件、軟體組件和/或硬體組件和軟體組件的組合。例如，實施例中說明的裝置及組件可利用處理器、控制器、算術邏輯單元（ALU，arithmetic logic unit）、數字信號處理器（digital signal processor）、微型電腦（field programmable gate array）、現場可編程門陣列（FPGA，field programmable gate array）、可編程邏輯單元（PLU，programmable logic unit）、微型處理器或如可執行且回應指令的其他任何裝置的一個以上通用電腦或專用電腦來實現。處理裝置可執行操作系統（OS）和在上述操作系統上運行的一個以上軟體應用程式。並且，處理裝置還可回應軟體的執行來訪問、存儲、操作、處理和生成數據。為了便於理解，可將處理裝置說明為使用一個組件，但本領域普通技術人員可以理解，處理裝置包括多個處理組件（processing element）和/或各種類型的處理組件。例如，處理裝置可以包括多個處理器或包括一個處理器和一個控制器。並且，如並行處理器（parallel processor）的其他處理配置（processing configuration）也是可行的。
軟體可以包括電腦程式（computer program）、代碼（code）、指令（instruction）或它們中的一個以上的組合，並且可以配置處理裝置以根據需要進行操作，或獨立地或共同地（collectively）命令處理裝置。軟體和/或數據可以具體表現（embody）為任何類型的機器、組件（component）、物理裝置、電腦存儲介質或裝置，以便由處理裝置解釋或向處理裝置提供指令或數據。軟體可以分佈在聯網的電腦系統上，並以分佈的方式存儲或執行。軟體和數據可以存儲在一個以上的電腦可讀記錄介質中。
根據實施例的方法能夠以可以通過各種電腦裝置執行的程式指令的形式實現，並記錄在電腦可讀介質中。在此情況下，介質可以繼續存儲電腦可執行程式或者為了執行或下載而暫時存儲。並且，介質可以為單個或多個硬體結合的形態的多種記錄單元或存儲單元，並不局限於直接訪問一種電腦系統的介質，可以分散存在於網路上。作為介質的例示，包括如硬碟、軟碟和磁帶等的磁性介質，如CD-ROM和DVD等的光學記錄介質，如軟式光碟（floptical disk）等的磁光介質（magneto-optical medium），以及ROM、RAM、閃存等專門用於存儲和執行程式指令的硬體裝置。並且，作為其他介質的例示，也可以為在流通應用程式的應用商店或提供或流通其他多種軟體的網站、伺服器等中管理的記錄介質或存儲介質。
如上所述，雖然參考有限的實施例和附圖進行了說明，但本領域技術人員可以根據以上說明進行各種修改和改進。例如，以不同於所述方法的順序執行所述技術，和/或以不同於所述方法的形式結合或組合的所述系統、結構、裝置、電路等的組件，或其他組件或即使被同技術方案代替或替換也能夠達到適當的結果。
因此，其他實施方式、其他實施例和等同於本申請專利範圍的內容也屬於本申請專利的保護範圍內。
110、120、130、140:電子設備 150、160:伺服器 170:網路 200:電腦裝置 210:記憶體 220:處理器 230:通信介面 240:輸入輸出介面 250:輸入輸出裝置 310:服務聯動部 320:語音記錄生成部 330:語音記錄提供部 S410、S420、S430:步驟 500:朋友目錄 501:聊天機器人 600:聊天室 601:菜單 700:視訊通話畫面 701:影像 800:語音記錄管理畫面 801:狀態資訊 802:菜單 810:語音檔目錄 900:聊天室 910:訊息 1001:菜單 1120:訊息 1230:訊息 1231:服務網頁移動連結 1232:預覽 1300:語音記錄詳細畫面 1340:語音記錄區域 1341:標題 1342:參與者資訊 1350:備忘錄區域
圖1為示出本發明一實施例網路環境的示意圖； 圖2為示出本發明一實施例的電腦裝置的示意圖； 圖3為示出本發明一實施例的電腦裝置的處理器可包括的結構要素的示意圖； 圖4為示出本發明一實施例的電腦裝置可執行的方法的流程圖； 圖5至圖13分別為示出本發明一實施例的用於語音記錄管理的用戶介面畫面的例示圖。
S410、S420、S430:步驟

Claims (20)

  1. 一種語音記錄管理方法，在一電腦裝置中執行，其中，該電腦裝置包括執行一記憶體中所包含的一電腦可讀指令的至少一處理器，該語音記錄管理方法包括：一連接步驟，通過至少一該處理器，透過一帳號連接一影像通信通道以記錄語音；以及一生成步驟，通過至少一該處理器，將該影像通信通道的語音轉換為文本來生成一語音記錄。
  2. 如請求項1所述之語音記錄管理方法，其中，該連接步驟還包括，允許該帳號參與該影像通信通道來與該影像通信通道進行聯動。
  3. 如請求項1所述之語音記錄管理方法，其中，還包括一提供步驟，通過至少一該處理器，以參與該影像通信通道的一用戶為對象提供該語音記錄，其中在該提供步驟中，通過包含該帳號的通訊軟體聊天室提供該語音記錄。
  4. 如請求項1所述之語音記錄管理方法，其中，還包括一提供步驟，通過至少一該處理器，以參與該影像通信通道的一用戶為對象提供該語音記錄，其中在該提供步驟中，通過包括該帳號的通訊軟體聊天室以文本類型的訊息提供該語音記錄。
  5. 如請求項1所述之語音記錄管理方法，其中，還包括一提供步驟，通過至少一該處理器，以參與該影像通信通道的一用戶為對象提供該語音記錄，其中在該提供步驟中，通過包括該帳號的通訊軟體聊天室以文本檔方式提供該語音記錄。
  6. 如請求項1所述之語音記錄管理方法，其中，還包括一提供步驟，通過至少一該處理器，以參與該影像通信通道的一用戶為對象提供該語音記 錄，其中該生成步驟包括如下步驟，將該帳號邀請到該影像通信通道的一用戶設備接收一錄製該語音的檔，並將與說話者的發聲部分相對應的語音數據轉換為文本。
  7. 如請求項6所述之語音記錄管理方法，其中，該語音記錄管理方法還包括一管理步驟，通過至少一該處理器，將在該用戶設備中錄製該語音的過程中寫入的一備忘錄與該語音記錄進行匹配並管理，該提供步驟包括如下步驟，關聯該備忘錄與該語音記錄並提供。
  8. 如請求項7所述之語音記錄管理方法，其中，在該管理步驟中，基於該語音記錄的一時間戳匹配在該語音的錄音過程中寫入的該備忘錄並管理。
  9. 如請求項7所述之語音記錄管理方法，其中，該提供步驟在於該備忘錄關聯後更包括如下步驟，基於一時間戳按時間匹配該語音記錄與該備忘錄並顯示。
  10. 如請求項7所述之語音記錄管理方法，其中，該提供步驟在於該備忘錄關聯後更包括如下步驟，通過雙螢幕顯示方式一同顯示該語音記錄和該備忘錄。
  11. 一種電腦可讀記錄介質，其中，記錄有用於在電腦執行如請求項1至10中任一項所述的語音記錄管理方法的程式。
  12. 一種電腦裝置，其中，包括執行一記憶體中所包含的電腦可讀指令的至少一處理器，至少一該處理器包括：一服務聯動部，透過一帳號連接一影像通信通道以記錄語音；以及一語音記錄生成部，通過將該影像通信通道的語音轉換為文本來生成一語音記錄。
  13. 如請求項12所述之電腦裝置，其中，該服務聯動部，允許該帳號參與該影像通信通道並與該影像通信通道進行聯動。
  14. 如請求項12所述之電腦裝置，其中，至少一該處理器還包括一語音記錄提供部，以參與該影像通信通道的一用戶為對象提供該語音記錄，其中該語音記錄提供部通過包含該帳號的通訊軟體聊天室提供該語音記錄。
  15. 如請求項12所述之電腦裝置，其中，至少一該處理器還包括一語音記錄提供部，以參與該影像通信通道的一用戶為對象提供該語音記錄，其中該語音記錄提供部通過包括該帳號的通訊軟體聊天室以文本類型的訊息提供該語音記錄。
  16. 如請求項12所述之電腦裝置，其中，至少一該處理器還包括一語音記錄提供部，以參與該影像通信通道的一用戶為對象提供該語音記錄，其中該語音記錄提供部通過包括該帳號的通訊軟體聊天室以文本檔方式提供該語音記錄。
  17. 如請求項12所述之電腦裝置，其中，至少一該處理器還包括一語音記錄提供部，以參與該影像通信通道的一用戶為對象提供該語音記錄，其中該語音記錄生成部通過從將該帳號邀請到該影像通信通道的一用戶設備接收錄製該語音的檔，並將與說話者的發聲部分相對應的語音數據轉換為文本。
  18. 如請求項17所述之電腦裝置，其中，該語音記錄生成部將在該用戶設備中錄製該語音的過程中寫入的一備忘錄與該語音記錄進行匹配並管理，並將該語音記錄提供部與該備忘錄關聯以提供該語音記錄。
  19. 如請求項18所述之電腦裝置，其中，該語音記錄生成部基於該語音記錄的一時間戳匹配在該語音的錄音過程中寫入的該備忘錄並管理。
  20. 如請求項18所述之電腦裝置，其中，該語音記錄提供部基於一時間戳按時間匹配該語音記錄與該備忘錄並顯示。
TW110138547A 2020-10-23 2021-10-18 與視訊通信服務聯動來記錄對話的方法、系統及電腦可讀記錄介質 TWI817213B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200138244A KR102448356B1 (ko) 2020-10-23 2020-10-23 영상 커뮤니케이션 서비스와 연동하여 대화를 기록하는 방법, 시스템, 및 컴퓨터 판독가능한 기록 매체
KR10-2020-0138244 2020-10-23

Publications (2)

Publication Number Publication Date
TW202217794A TW202217794A (zh) 2022-05-01
TWI817213B true TWI817213B (zh) 2023-10-01

Family

ID=81257570

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110138547A TWI817213B (zh) 2020-10-23 2021-10-18 與視訊通信服務聯動來記錄對話的方法、系統及電腦可讀記錄介質

Country Status (4)

Country Link
US (1) US20220130393A1 (zh)
JP (1) JP7282111B2 (zh)
KR (1) KR102448356B1 (zh)
TW (1) TWI817213B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106462573A (zh) * 2014-05-27 2017-02-22 微软技术许可有限责任公司 通话中翻译
US20170220997A1 (en) * 2016-02-02 2017-08-03 Ricoh Company, Ltd. Conference support system, conference support method, and recording medium
TW201901527A (zh) * 2017-05-26 2019-01-01 和碩聯合科技股份有限公司 視訊會議裝置與視訊會議管理方法
JP2019061594A (ja) * 2017-09-28 2019-04-18 株式会社野村総合研究所 会議支援システムおよび会議支援プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006050500A (ja) * 2004-08-09 2006-02-16 Jfe Systems Inc 会議支援システム
US7459898B1 (en) * 2005-11-28 2008-12-02 Ryan Woodings System and apparatus for detecting and analyzing a frequency spectrum
US20150341399A1 (en) * 2014-05-23 2015-11-26 Samsung Electronics Co., Ltd. Server and method of providing collaboration services and user terminal for receiving collaboration services
KR101935456B1 (ko) * 2016-10-05 2019-01-04 전창섭 인스턴트 메시지 서비스(ｉｍｓ) 채팅방에서 퀴즈와 광고 동시 제공방법 및 시스템
US10334110B2 (en) * 2017-01-05 2019-06-25 International Business Machines Corporation Managing, monitoring and transcribing concurrent meetings and/or conference calls
CA3042921A1 (en) * 2018-05-10 2019-11-10 Royal Bank Of Canada Machine natural language processing for summarization and sentiment analysis
US10742695B1 (en) * 2018-08-01 2020-08-11 Salesloft, Inc. Methods and systems of recording information related to an electronic conference system
EP3624136A1 (en) * 2018-09-14 2020-03-18 Koninklijke Philips N.V. Invoking chatbot in a communication session

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106462573A (zh) * 2014-05-27 2017-02-22 微软技术许可有限责任公司 通话中翻译
US20170220997A1 (en) * 2016-02-02 2017-08-03 Ricoh Company, Ltd. Conference support system, conference support method, and recording medium
TW201901527A (zh) * 2017-05-26 2019-01-01 和碩聯合科技股份有限公司 視訊會議裝置與視訊會議管理方法
JP2019061594A (ja) * 2017-09-28 2019-04-18 株式会社野村総合研究所 会議支援システムおよび会議支援プログラム

Also Published As

Publication number Publication date
KR20220053910A (ko) 2022-05-02
US20220130393A1 (en) 2022-04-28
JP7282111B2 (ja) 2023-05-26
KR102448356B1 (ko) 2022-09-28
JP2022069370A (ja) 2022-05-11
TW202217794A (zh) 2022-05-01

Similar Documents

Publication Publication Date Title
US10356137B2 (en) Systems and methods for enhanced conference session interaction
US20120108221A1 (en) Augmenting communication sessions with applications
KR101059681B1 (ko) 가상 회의실 통신 세션을 관리하는 컴퓨터 구현 방법
KR101721270B1 (ko) 대화 환경과 회의 환경을 가지는 통신 어플리케이션
US20200374146A1 (en) Generation of intelligent summaries of shared content based on a contextual analysis of user engagement
US20110125847A1 (en) Collaboration networks based on user interactions with media archives
JP2015510175A (ja) 会議文書および会議メモのノートブック主導の蓄積
MX2008008855A (es) Sistema de interaccion social.
JP7003262B2 (ja) ビデオにおける協調効果
US20150135096A1 (en) System and method for displaying context-aware contact details
US20200293618A1 (en) Intelligent summaries based on automated learning and contextual analysis of a user input
US11909784B2 (en) Automated actions in a conferencing service
Soofastaei Introductory Chapter: Virtual Assistants
JP2022044004A (ja) ミーティングノート共有方法、プログラム及び情報処理システム
KR102254253B1 (ko) 인스턴트 메시징 어플리케이션을 통한 그룹 이벤트 참여 방법
TWI817213B (zh) 與視訊通信服務聯動來記錄對話的方法、系統及電腦可讀記錄介質
JP2020177655A (ja) イベントメッセージを管理するための方法、システム、および非一時的なコンピュータ読み取り可能な記録媒体
TW202215416A (zh) 通過應用程式與網路的聯動寫入與語音檔有關的備忘錄的方法、系統及電腦可讀記錄介質
US11783819B2 (en) Automated context-specific speech-to-text transcriptions
KR102437752B1 (ko) 인공지능 디바이스와 연동하여 음성 기록을 관리하는 방법, 시스템, 및 컴퓨터 판독가능한 기록 매체
CN115623133A (zh) 线上会议方法、装置、电子设备及可读存储介质
EP2680256A1 (en) System and method to analyze voice communications
WO2017099980A1 (en) Providing conference call aid based on upcoming deadline
US8572497B2 (en) Method and system for exchanging contextual keys
US20230161778A1 (en) Providing contact information and connection history with collaboration applications