WO2020188622A1 - 編集支援プログラム、編集支援方法、及び編集支援装置 - Google Patents

編集支援プログラム、編集支援方法、及び編集支援装置 Download PDF

Info

Publication number
WO2020188622A1
WO2020188622A1 PCT/JP2019/010793 JP2019010793W WO2020188622A1 WO 2020188622 A1 WO2020188622 A1 WO 2020188622A1 JP 2019010793 W JP2019010793 W JP 2019010793W WO 2020188622 A1 WO2020188622 A1 WO 2020188622A1
Authority
WO
WIPO (PCT)
Prior art keywords
speaker
editing
start point
sections
section
Prior art date
Application number
PCT/JP2019/010793
Other languages
English (en)
French (fr)
Inventor
三小田聡
▲濱▼田祐介
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to KR1020217030247A priority Critical patent/KR20210132115A/ko
Priority to PCT/JP2019/010793 priority patent/WO2020188622A1/ja
Priority to CN201980093895.9A priority patent/CN113544772A/zh
Priority to JP2021506790A priority patent/JP7180747B2/ja
Priority to EP19920221.9A priority patent/EP3940695A4/en
Publication of WO2020188622A1 publication Critical patent/WO2020188622A1/ja
Priority to US17/412,472 priority patent/US20210383813A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/04—Training, enrolment or model building
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques

Definitions

  • This case concerns editing support programs, editing support methods, and editing support devices.
  • voice data including speech data of a plurality of speakers is reproduced, the user transcribes the speech data of each speaker into text, and sets a speaker name indicating the speaker in each speech data. .. It is also known that voice data is classified based on voice characteristics and arbitrary speaker identification information is obtained for each classified voice data (see, for example, Patent Document 1).
  • the speaker identification information obtained from the voice characteristics may change depending on the physical condition of the speaker. As a result, the speaker identification information may represent the wrong speaker. In this case, there is a problem that the user takes time and effort to edit the speaker identification information.
  • the purpose is to improve the convenience of editing processing for the speaker identification result.
  • the editing assistance program correlates information indicating the identified speaker for a sentence generated based on voice recognition with a section of the sentence corresponding to the identified speaker.
  • the first editing process of displaying on the display unit and editing the identification result of the speaker occurs, and the speakers of two or more adjacent sections are common by the first editing process, they are adjacent to each other.
  • a section in which the two or more sections are combined and displayed on the display unit, and a second editing process for editing the speaker's identification result is performed on a specific section within the combined two or more sections. Designated when the start point is specified and there is a part corresponding to the start point of any of the two or more sections before the combination between the specified start point and the end point of the two or more sections combined.
  • the computer is made to execute the process of applying the second editing process to the section from the start point to the portion corresponding to the start point of any of the two or more sections.
  • FIG. 1 is an example of a terminal device.
  • FIG. 2 is an example of the hardware configuration of the terminal device.
  • FIG. 3 is an example of a block diagram of the terminal device.
  • FIG. 4 is a flowchart (No. 1) showing an example of the operation of the terminal device.
  • FIG. 5 is a flowchart (No. 2) showing an example of the operation of the terminal device.
  • FIG. 6 is an example of the portal screen.
  • FIG. 7 is an example of speaker data.
  • FIG. 8 is an example of text data before update according to the first embodiment.
  • FIG. 9 is an example of the editing support screen.
  • 10 (a) to 10 (c) are diagrams (No. 1) for explaining an example of the editing work according to the embodiment.
  • FIG. 11 is a diagram for explaining an example of updating text data.
  • FIG. 12 (a) to 12 (c) are diagrams (No. 2) for explaining an example of the editing work according to the embodiment.
  • FIG. 13 is an example of division start point data.
  • 14 (a) and 14 (b) are diagrams (No. 3) for explaining an example of the editing work according to the embodiment.
  • FIG. 15 is a diagram for explaining another update example of the text data.
  • 16 (a) and 16 (b) are diagrams for explaining an example of editing work according to a comparative example.
  • FIG. 17A is an example of text data before update according to the second embodiment.
  • FIG. 17B is an example of the updated text data according to the second embodiment.
  • FIG. 18 is an example of an editing support system.
  • FIG. 1 is an example of the terminal device 100.
  • the terminal device 100 is an example of an editing support device.
  • a personal computer (PC) is shown as an example of the terminal device 100, but it may be a smart device such as a tablet terminal.
  • the terminal device 100 includes a keyboard and a pointing device (hereinafter, simply referred to as a keyboard) 100F.
  • the terminal device 100 includes a display 100G.
  • the display 100G may be a liquid crystal display or an organic electro-luminescence (EL) display.
  • EL organic electro-luminescence
  • Display 100G displays various screens. Details will be described later, but for example, the display 100G displays the editing support screen 10.
  • the editing support screen 10 is a screen that supports editing of a speaker identified for a sentence generated based on voice recognition.
  • the speaker identification may be one using Artificial Intelligence (AI), or one using a predetermined voice model defined in advance without using AI.
  • AI Artificial Intelligence
  • the user who uses the terminal device 100 confirms the speaker candidates displayed on the editing support screen 10, operates the keyboard 100F, and selects one of the speaker candidates from the speaker candidates.
  • the terminal device 100 edits the unedited speaker identified based on AI or the like into the selected candidate speaker. In this way, the user can easily edit the speaker by using the editing support screen 10.
  • the creator of the minutes of the meeting will be described as an example of the user, but the user is not particularly limited to such a creator.
  • the user may be a producer of broadcast subtitles or a person in charge of audio recording in a call center.
  • FIG. 2 is an example of the hardware configuration of the terminal device 100.
  • the terminal device 100 includes at least a Central Processing Unit (CPU) 100A as a hardware processor, a Random Access Memory (RAM) 100B, a Read Only Memory (ROM) 100C, and a network I / F (interface). Contains 100D. Further, as described above, the terminal device 100 also includes a keyboard 100F and a display 100G.
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • FIG. 2 is an example of the hardware configuration of the terminal device 100.
  • the terminal device 100 includes at least a Central Processing Unit (CPU) 100A as a hardware processor, a Random Access Memory (RAM) 100B, a Read Only Memory (ROM) 100C, and a network I / F (interface). Contains 100D. Further, as described above, the terminal device 100 also includes a keyboard 100F and a display 100G.
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • the terminal device 100 may include at least one of a Hard Disk Drive (HDD) 100E, an input / output I / F 100H, a drive device 100I, and a short-range wireless communication circuit 100J, if necessary.
  • the short-range wireless communication circuit 100J from the CPU 100A is connected to each other by the internal bus 100K. That is, the terminal device 100 can be realized by a computer.
  • a Micro Processing Unit (MPU) may be used as a hardware processor instead of the CPU 100A.
  • a semiconductor memory 730 is connected to the input / output I / F 100H.
  • Examples of the semiconductor memory 730 include a Universal Serial Bus (USB) memory and a flash memory.
  • the input / output I / F 100H reads programs and data stored in the semiconductor memory 730.
  • the input / output I / F 100H includes, for example, a USB port.
  • a portable recording medium 740 is inserted into the drive device 100I. Examples of the portable recording medium 740 include removable discs such as Compact Disc (CD) -ROM and Digital Versatile Disc (DVD).
  • the drive device 100I reads programs and data recorded on the portable recording medium 740.
  • the short-range wireless communication circuit 100J is an electric circuit or an electronic circuit that realizes short-range wireless communication such as Wi-Fi (registered trademark) and Bluetooth (registered trademark).
  • An antenna 100J' is connected to the short-range wireless communication circuit 100J.
  • a CPU that realizes a communication function may be used instead of the short-range wireless communication circuit 100J.
  • the network I / F100D includes, for example, a Local Area Network (LAN) port.
  • the programs stored in the ROM 100C and the HDD 100E are temporarily stored by the CPU 100A.
  • the program recorded on the portable recording medium 740 is temporarily stored in the RAM 100B by the CPU 100A.
  • the CPU 100A executes the stored program, the CPU 100A realizes various functions described later and also executes various processes described later.
  • the program may be adapted to the flowchart described later.
  • FIG. 3 is an example of a block diagram of the terminal device 100.
  • FIG. 3 shows a main part of the function of the terminal device 100.
  • the terminal device 100 includes a storage unit 110, a processing unit 120, an input unit 130, and a display unit 140.
  • the storage unit 110 can be realized by the above-mentioned RAM 100B or HDD 100E.
  • the processing unit 120 can be realized by the CPU 100A described above.
  • the input unit 130 can be realized by the keyboard 100F described above.
  • the display unit 140 can be realized by the display 100G described above. Therefore, the storage unit 110, the processing unit 120, the input unit 130, and the display unit 140 are connected to each other.
  • the storage unit 110 includes a voice storage unit 111, a dictionary storage unit 112, a sentence storage unit 113, a model storage unit 114, and a point storage unit 115 as components.
  • the processing unit 120 includes a first display control unit 121, a voice recognition unit 122, a sentence generation unit 123, and a speaker identification unit 124 as components. Further, the processing unit 120 includes a voice reproduction unit 125, a speaker editing unit 126, a point management unit 127, and a second display control unit 128 as components.
  • Each component of the processing unit 120 accesses at least one of the components of the storage unit 110 to execute various processes. For example, when the voice reproduction unit 125 detects a voice data reproduction instruction, it accesses the voice storage unit 111 and acquires the voice data stored by the voice storage unit 111. When the audio reproduction unit 125 acquires the audio data, the audio reproduction unit 125 reproduces the audio data.
  • the other components will be described in detail when the operation of the terminal device 100 is described.
  • the first display control unit 121 displays the portal screen (step S101). More specifically, when the first display control unit 121 detects the activation instruction of the portal screen output from the input unit 130, the first display control unit 121 displays the portal screen on the display unit 140. As a result, as shown in FIG. 6, the display unit 140 displays the portal screen 20.
  • the portal screen 20 includes a first registration button 21, a second registration button 22, a third registration button 23, and a plurality of fourth registration buttons 24.
  • the first registration button 21 is a button for registering the voice data of the conference.
  • the user When registering the voice data of the conference, the user prepares the voice data of the conference recorded in advance in the terminal device 100.
  • the first display control unit 121 detects the pressing of the first registration button 21.
  • the first display control unit 121 detects that the first registration button 21 is pressed, the first display control unit 121 stores the voice data of the conference prepared in the terminal device 100 in the voice storage unit 111.
  • the second registration button 22 is a button for registering material data related to meeting materials.
  • the user prepares the material data of the meeting in the terminal device 100 in advance.
  • the first display control unit 121 detects the pressing of the second registration button 22.
  • the first display control unit 121 displays the material data prepared in the terminal device 100 in the first display area 20A in the portal screen 20.
  • the third registration button 23 is a button for registering the participants of the conference.
  • the user When registering the participants of the conference, the user performs an operation of pressing the third registration button 23 with the pointer Pt.
  • the first display control unit 121 detects the pressing of the third registration button 23.
  • the display unit 140 displays a registration screen (not shown) for registering the participants of the conference as speakers.
  • the first display control unit 121 inputs the participant data including the input speaker to the first display in the portal screen 20. 2 Display in the display area 20B.
  • the first display control unit 121 generates a speaker ID, associates it with the input speaker, and stores it in the model storage unit 114.
  • the speaker ID is information that identifies the speaker.
  • the model storage unit 114 stores the speaker ID and the speaker in association with each other.
  • the fourth registration button 24 is a button for registering the voice data of the speaker.
  • the user When registering the voice data of the speaker, the user prepares various voice data of the speaker recorded in advance in the terminal device 100.
  • a microphone may be connected to the terminal device 100 and the voice data acquired from the microphone may be used.
  • the first display control unit 121 detects the pressing of the fourth registration button 24.
  • the first display control unit 121 detects that the fourth registration button 24 is pressed, the first display control unit 121 outputs the voice data prepared in the terminal device 100 to the speaker identification unit 124.
  • the speaker identification unit 124 generates a trained model in which the characteristics of the speaker's voice are machine-learned based on the speaker's voice data output from the first display control unit 121.
  • the speaker identification unit 124 stores the generated learned model in the model storage unit 114 in association with the speaker ID of the speaker corresponding to the voice data to be learned.
  • the model storage unit 114 stores speaker data in which the speaker ID and the speaker are associated with the trained model.
  • the first display control unit 121 displays the registration mark RM in the participant data regarding the speaker to be registered.
  • the registration mark RM is a mark indicating that the voice data of the speaker has been registered because the model storage unit 114 has stored the trained model.
  • the voice recognition unit 122 executes voice recognition (step S102).
  • the voice recognition unit 122 refers to the voice storage unit 111, and determines whether or not the voice storage unit 111 stores the voice data of the conference.
  • the voice recognition unit 122 executes voice recognition for the voice data of the conference stored by the voice storage unit 111 and generates character string data.
  • the voice recognition unit 122 identifies a plurality of characters based on the voice of the speaker included in the voice data of the conference, arranges the specified characters in chronological order, and assigns a character ID and a time code to each character.
  • the voice recognition unit 122 When the voice recognition unit 122 generates the character string data, the voice recognition unit 122 outputs the generated character string data to the sentence generation unit 123.
  • the voice recognition unit 122 includes a plurality of voice recognition engines, and generates corresponding character string data.
  • the voice recognition engine includes, for example, AmiVoice (registered trademark).
  • the sentence generation unit 123 When the process of step S102 is completed, the sentence generation unit 123 then generates sentence data (step S103). More specifically, when the sentence generation unit 123 receives the character string data output by the voice recognition unit 122, it refers to the dictionary storage unit 112 and executes morphological analysis on the character string data.
  • the dictionary storage unit 112 stores the morpheme dictionary. Various words and phrases are stored in the morpheme dictionary. For example, a morpheme dictionary contains words such as "yes”, “certainly”, “material”, and “question”. Therefore, when the sentence generation unit 123 performs morphological analysis on the character string data with reference to the dictionary storage unit 112, the sentence generation unit 123 generates sentence data in which the character string data is divided into a plurality of word blocks. When the sentence generation unit 123 generates sentence data, the sentence generation unit 123 stores the generated sentence data in the sentence storage unit 113 in association with the identifier of each word block. As a result, the sentence storage unit 113 stores the sentence data.
  • the speaker identification unit 124 identifies the speaker (step S104). More specifically, the speaker identification unit 124 refers to the model storage unit 114 and compares the learned model stored in the model storage unit 114 with the voice data of the conference stored in the voice storage unit 111. The speaker identification unit 124 compares the trained model with the voice data of the conference, and when the voice data of the conference detects a voice portion corresponding to the trained model (for example, common or similar), the speaker identification unit 124 associates the trained model with the trained model. Identify the speaker ID and time code. In this way, the speaker identification unit 124 identifies each speaker of various audio parts included in the audio data of the conference.
  • the speaker identification unit 124 When the speaker identification unit 124 identifies the speaker ID and the time code, the speaker identification unit 124 associates the specified speaker ID with the sentence data stored in the sentence storage unit 113 based on the time code. As a result, as shown in FIG. 8, the sentence storage unit 113 stores the sentence data associated with the speaker ID.
  • the text data includes a character ID, a character, a word block, a time code, a speaker ID (initial), and a speaker ID (current) as components.
  • a word block identifier is registered in the word block.
  • the speaker ID (initial) the speaker ID of the speaker first identified by the speaker identification unit 124 is registered.
  • the speaker ID after editing the speaker is registered in the speaker ID (current).
  • the same speaker ID is registered in the speaker ID (initial) and the speaker ID (current).
  • the sentence storage unit 113 stores such sentence data. If the time code assigned to each character is common to the immediately preceding time code, the time code after the immediately preceding time code may be omitted.
  • the first display control unit 121 When the process of step S104 is completed, the first display control unit 121 then displays the speaker and the utterance section (step S105). More specifically, when the process of step S104 is completed, the first display control unit 121 stops displaying the portal screen 20 on the display unit 140, and displays the editing support screen 10 on the display unit 140. Then, the first display control unit 121 displays the speaker and the utterance section corresponding to the speaker in association with each other in the editing support screen 10.
  • the display unit 140 displays the editing support screen 10.
  • the editing support screen 10 includes a script area 11, a setting area 12, an editing area 13, a play button 14, and the like.
  • the first display control unit 121 displays each speaker and the utterance section corresponding to each speaker in the sentence in association with each other in the editing area 13 of the editing support screen 10 based on the sentence data and the speaker data.
  • the time code and characters of the sentence data stored in the sentence storage unit 113 are displayed in a state of being related to each other.
  • characters from the first time code in which the speaker ID is switched to the last time code in which the continuity of the speaker ID is interrupted are combined and displayed in chronological order.
  • setting items related to the playback format of voice data, setting items related to the output format of text data after editing the speaker, and the like are displayed.
  • the speaker and the utterance section are displayed in association with each other in the editing area 13.
  • the speaker “Oda” and the utterance section “... isn't it?" Are displayed in association with each other.
  • the speaker “Kimura” and the utterance section “Yes, I have a question about the material” are displayed in association with each other.
  • the speaker “Yamada” and the utterance section "Please ask a question” are displayed in association with each other.
  • the progress mark 16 is a mark indicating the current reproduction position of the voice data.
  • the switching point 17 is a point indicating the switching of the word block (see FIG. 8). That is, the switching point 17 is displayed at the position between the two word blocks where the word block is switched to another word block. In the present embodiment, one switching point 17 is displayed. For example, a plurality of switching points are displayed, one of the plurality of switching points is set as the current switching point 17, and a color different from the remaining switching points is added. You may. This allows the user to check at which position the word block is switched.
  • the switching point 17 can be moved left and right according to the operation on the input unit 130.
  • the first display control unit 121 moves the switching point 17 to the right.
  • the first display control unit 121 moves the switching point 17 to the left.
  • the key for moving the switching point 17 may be a space key. The key for moving the switching point 17 may be appropriately determined according to the design, experiment, and the like.
  • step S105 When the process of step S105 is completed, the audio reproduction unit 125 then waits until the reproduction instruction is detected (step S106: NO).
  • step S106: YES When the audio reproduction unit 125 detects the reproduction instruction (step S106: YES), the audio reproduction unit 125 reproduces the audio data (step S107). More specifically, when the play button 14 (see FIG. 9) is pressed by the pointer Pt, the voice reproduction unit 125 detects a voice data playback instruction and starts playing the voice data. When the reproduction of the audio data is started, the progress mark 16 (see FIG. 9) moves to the right according to the reproduction speed of the audio data. The user plays back the voice data of the conference, listens to the voice, moves the switching point 17, and performs an operation of specifying the position to edit the speaker.
  • the first display control unit 121 waits until the start point is specified (step S108: NO).
  • the first display control unit 121 displays the first edit screen (step S109). More specifically, as shown in FIG. 10A, the user first moves the switching point 17 to stop the speaker's editing at a desired predetermined position.
  • the first display control unit 121 determines that the predetermined position has been designated as the start point.
  • the first display control unit 121 superimposes the first edit screen 30 on the edit area 13 and displays it as shown in FIG. 10 (b).
  • the first editing screen 30 is a screen that requests the user to perform editing processing.
  • the first display control unit 121 also displays a part of the utterances corresponding to one or a plurality of word blocks located before the start point in the utterance section corresponding to the start point. Identify the section.
  • the first display control unit 121 specifies a part of the utterance section corresponding to one word block "certainly". The display of the first edit screen 30 and the specific order of some utterance sections may be reversed.
  • step S109 the speaker editorial unit 126 waits until the selection instruction is detected (step S110: NO).
  • step S110: YES When the speaker editing unit 126 detects the selection instruction (step S110: YES), it edits the speaker (step S111) as shown in FIG. More specifically, as shown in FIG. 10B, when the user operates the input unit 130 to select one of the plurality of speakers included in the first editing screen 30 by the pointer Pt, the talk The person editorial unit 126 detects the selection instruction. The user may perform an operation of selecting any of a plurality of numerical values included in the first editing screen 30 using the numeric keypad.
  • the speakers included in the first editing screen 30 are arranged side by side in order of priority according to at least one of the utterance order and the utterance amount.
  • the speaker of the moderator at the conference is often uttered earlier than the other speakers, and it is assumed that the utterance volume is also large. Therefore, on the first editing screen 30, speakers are arranged in order from the speaker with the highest possibility of editing. As a result, it is possible to reduce the time and effort of the speaker's editing process.
  • the speaker editing unit 126 When the speaker editing unit 126 detects the selection instruction, it determines that the editing process has occurred, applies the editing process to a part of the utterance sections specified by the first display control unit 121, and applies the editing process to a part of the utterance sections. Edit and display the speaker to the selected speaker.
  • the speaker editorial unit 126 applies the editing process to a part of the utterance section corresponding to the word block "certainly”, and selects the speaker "Kimura” in the part of the utterance section. Edit and display in "Kimura". Since there is no substantial change in this example, a detailed description will be described later.
  • the speaker editorial unit 126 determines whether or not the speakers are common (step S112). More specifically, whether or not the speaker editorial unit 126 shares the speaker of the edited speaker and the speaker of the previous utterance section located immediately before the part of the utterance section corresponding to the word block of the edited speaker. To judge. In the present embodiment, the speaker editorial unit 126 is located immediately before a part of the utterance section corresponding to the word block "certainly" of the edited speaker "Kimura” and the edited speaker “Kimura”. Judge whether or not the speaker “Oda” in the utterance section "... isn't it?" Is common. Here, since the speaker "Kimura” and the speaker “Oda" are not common, the speaker editorial department 126 determines that the speakers are not common (step S112: NO).
  • the speaker editorial unit 126 skips the processing of steps S113 and S114 and determines whether or not the processing has been completed after the start point (step S115).
  • the speaker editing unit 126 determines that the processing has not been completed after the start point (step S115: NO)
  • the first display control unit 121 executes the processing of step S109 again as shown in FIG. That is, in the process of the first step S109, as shown in FIG. 10B, one word block “certainly” located before the start point in the utterance section corresponding to the start point specified by the switching point 17. A part of the utterance section corresponding to is subject to the editing process of the speaker.
  • the speaker editing unit 126 determines that the processing has not been completed after the start point, and the first display control unit 121 again superimposes the first editing screen 30 on the editing area 13 as shown in FIG. 10 (c). To display. In addition to displaying the first edit screen 30, the first display control unit 121 sets the remaining utterance section corresponding to one or more word blocks located after the start point in the utterance section corresponding to the start point. Identify. In the present embodiment, the first display control unit 121 specifies the remaining utterance section corresponding to the plurality of word blocks "Yes, I have a question about the material".
  • the speaker editing unit 126 edits the speaker in the processing of step S111 (see FIG. 5). To do. More specifically, as shown in FIG. 10C, when the user operates the input unit 130 again to select one of the plurality of speakers included in the first editing screen 30 with the pointer Pt, The speaker editorial unit 126 detects the selection instruction. When the speaker editorial unit 126 detects the selection instruction, it accesses the sentence storage unit 113, and as shown in FIG. 11, the speaker ID (current) of the speaker corresponding to the specified word block is edited. Update to the speaker ID of.
  • the speaker editing unit 126 detects the selection instruction, it determines that the editing process has occurred, applies the editing process to the specified remaining utterance section, and selects the speaker in the remaining utterance section. Edit and display to the speaker.
  • the speaker editorial unit 126 applies the editing process to the remaining utterance section corresponding to the plurality of word blocks "Yes, I have a question about the material", and the speaker "Kimura” in the remaining utterance section is displayed. Edit and display the selected speaker "Yamada".
  • the speaker editorial unit 126 again determines whether or not the speakers are common.
  • the speaker editorial department 126 immediately after the remaining utterance section corresponding to the plurality of word blocks "Yes, I have a question about the material" of the edited speaker “Yamada” and the edited speaker “Yamada”. Judge whether or not the speaker “Yamada” in the later utterance section "Please ask a question” is common.
  • the speaker editorial department 126 determines that the speakers are common (step S112: YES).
  • the speaker editorial unit 126 displays the utterance sections in a combined state (step S113). More specifically, the speaker editorial unit 126 displays the utterance sections of two speakers that are common after editing in a combined state. At the same time, the speaker editorial unit 126 displays one of the two speakers corresponding to each of the two utterance sections before the combination in association with the utterance section after the combination. As a result, the speaker editorial department 126 combines the remaining utterance section corresponding to the plurality of word blocks "Yes, I have a question about the material" and the later utterance section "Please ask a question", and is shown in FIG. 12 (a).
  • the new utterance section "Yes, please ask a question about the material” is displayed in a state where the two utterance sections are combined.
  • one speaker is associated with the combined utterance section and displayed. In this way, the speaker is edited and the utterance sections are combined.
  • the editing work is performed in chronological order, and the labor of the editing work is suppressed. ..
  • the point management unit 127 When the process of step S113 is completed, the point management unit 127 then saves the break start point (step S114). More specifically, the point management unit 127 sets the start point for specifying the delimiter between the two utterance sections before combining the utterance sections as the delimiter start point data, and combines the start point corresponding to that point and the end point of the combined utterance section. It is stored in the point storage unit 115. As a result, the point storage unit 115 stores the division start point data.
  • the starting point of the division between the two utterance sections before joining the utterance sections is the utterance section "Yes, I have a question about the material" and the utterance section "Question request".
  • the point storage unit 115 associates the identifier “08” of the word block “question” at the end of the utterance section with the identifier “09” of the word block “question” at the beginning of the utterance section. , Stored as break start point data.
  • the point storage unit 115 stores the identifier of the word block capable of specifying the start point corresponding to the break start point and the end point of the combined utterance section in addition to storing the break start point data. For example, the point storage unit 115 stores the identifier “03” of the word block “certainly” and the identifier “04” of the word block “yes” as a word block capable of specifying the start point. Further, the point storage unit 115 stores the identifier "11" of the word block "suru” and the predetermined identifier "-" as the identifier of the word block whose end point can be specified. The character ID may be used in the same manner as the word block identifier instead of the word block identifier.
  • step S115 the speaker editorial unit 126 determines whether or not the process has been completed after the start point.
  • the speaker editorial unit 126 determines that processing has been completed after the start point (step S115: YES)
  • step S116: NO the second display control unit 128 then waits until another start point is specified (step S116: NO).
  • step S116: NO the second display control unit 128 displays the second edit screen (step S117). More specifically, as shown in FIG. 12B, when the user moves the switching point 17, stops it at a position different from the predetermined position described above, and presses the enter key, the second display is performed. The control unit 128 determines that the other position has been designated as the starting point.
  • the second display control unit 128 displays the second edit screen 40 superimposed on the edit area 13, as shown in FIG. 12 (c).
  • the second editing screen 40 is a screen that requests the user to perform editing processing.
  • the speakers included in the second editing screen 40 are lined up in the same manner as in the first editing screen 30.
  • the second display control unit 128 specifies a part of the utterance section corresponding to one word block “yes”. The display of the second edit screen 40 and the specific order of some utterance sections may be reversed.
  • step S117 the speaker editorial unit 126 waits until the selection instruction is detected (step S118: NO).
  • step S118: YES the speaker editorial unit 126 edits the speaker (step S119). More specifically, as shown in FIG. 12 (c), when the user operates the input unit 130 to select one of the plurality of speakers included in the second editing screen 40 by the pointer Pt, the talk The person editorial unit 126 detects the selection instruction. The user may perform an operation of selecting any of a plurality of numerical values included in the second editing screen 40 using the numeric keypad.
  • the speaker editorial unit 126 When the speaker editorial unit 126 detects the selection instruction, it determines that the editing process has occurred, applies the editing process to a part of the specified utterance sections, and selects the speaker of the part of the utterance section. Edit and display to the speaker. In the present embodiment, the speaker editorial unit 126 applies the editing process to a part of the utterance section corresponding to the word block "yes”, and selects the speaker “Yamada” of the part of the utterance section as the selected speaker. Edit and display in "Yamada". Since there is no substantial change in this example, a detailed description will be described later.
  • the second display control unit 128 redisplays the second edit screen (step S120). More specifically, as shown in FIG. 14A, the second display control unit 128 superimposes the second editing screen 40 on the editing area 13 and redisplays it. Further, the second display control unit 128 corresponds to one or a plurality of word blocks located after the other start point in the utterance section corresponding to the other start point together with the redisplay of the second edit screen 40. The remaining utterance section is specified as a specific utterance section. In the present embodiment, the second display control unit 128 specifies the remaining utterance section corresponding to the plurality of word blocks "Please ask a question about the material" as a specific utterance section. The order of redisplaying the second editing screen 40 and specifying the remaining utterance section may be reversed.
  • step S120 the speaker editorial unit 126 waits until the selection instruction is detected (step S121: NO).
  • step S121: YES the point management unit 127 determines whether or not there is a break start point (step S122). More specifically, the point management unit 127 refers to the point storage unit 115 and determines whether or not the division start point data is stored in the point storage unit 115.
  • the speaker editorial unit 126 edits the speaker up to the break start point (step S123), and ends the process. More specifically, as shown in FIG. 14A, when the user operates the input unit 130 to select one of the plurality of speakers included in the second editing screen 40 by the pointer Pt, the talk The person editorial unit 126 detects the selection instruction. When the speaker editorial unit 126 detects the selection instruction, it accesses the sentence storage unit 113. Then, as shown in FIG. 15, the speaker editorial unit 126 has the speaker ID of the speaker corresponding to the word block from the word block immediately after another start point to the word block immediately before the break start point from the specified word blocks. The editing process is applied to (currently), and the speaker ID is updated to the speaker ID of the edited speaker.
  • the speaker editorial unit 126 detects the selection instruction, it determines that the editing process has occurred, applies the editing process to the specific utterance section, and selects the speaker in the specific utterance section as the selected speaker. Edit and display in.
  • the speaker editorial unit 126 applies the editing process to a specific utterance section corresponding to a plurality of word blocks "question about the material", and applies the editing process to the specific utterance section.
  • the speaker "Yamada" in the utterance section is edited and displayed as the selected speaker "Kimura".
  • step S122 determines that there is no break start point (step S122: NO)
  • the speaker editorial unit 126 skips the process of step S123 and ends the process. If there is no break start point, the speaker editorial unit 126 may execute error processing and then end the processing.
  • FIGS. 16 (a) and 16 (b) are diagrams for explaining a comparative example.
  • FIGS. 16 (a) and 16 (b) are views corresponding to the above-mentioned FIGS. 14 (a) and 14 (b).
  • the point management unit 127 stores and manages the division start point data in the point storage unit 115.
  • the break start point data is not managed, as shown in FIG. 16A, the user operates the input unit 130 to point to one of the plurality of speakers included in the second editing screen 40.
  • the speaker editorial unit 126 detects the selection instruction.
  • the speaker editing unit 126 When the speaker editing unit 126 detects the selection instruction, the speaker editing unit 126 edits and displays the speakers in the remaining utterance section corresponding to all the plurality of word blocks specified by the second display control unit 128 to the selected speaker. ..
  • the speaker editorial department 126 is the speaker “Yamada” of the remaining utterance section corresponding to all of the plurality of word blocks “Please ask a question about the material”. Is edited and displayed for the selected speaker "Kimura”. For this reason, a plurality of word blocks "please ask a question” that the speaker has no error in are edited, and the user has to edit this part again.
  • such useless editing work does not occur. That is, according to the first embodiment, the convenience of the editing process for the speaker identification result is improved as compared with the comparative example.
  • the terminal device 100 includes the processing unit 120, and the processing unit 120 includes the first display control unit 121, the speaker editing unit 126, and the second display control unit 128.
  • the first display control unit 121 associates the information indicating the identified speaker with respect to the sentence data generated based on the voice recognition with the utterance section corresponding to the identified speaker in the sentence data, and displays the display unit 140. Display in.
  • the speaker editorial unit 126 generates an editing process for editing the identification result of the speaker, and when each speaker in two or more adjacent utterance sections is common by the editing process, two or more adjacent utterance sections are used. Is displayed on the display unit 140 in a combined state.
  • the second display control unit 128 specifies the start point of the utterance section for editing the identification result of the speaker for a specific utterance section in the two or more combined utterance sections, and from the designated start point, If there is a part corresponding to the start point of any of the two or more sections before the combination before the end point of the two or more combined utterance sections, the editing process is applied to the utterance section from the specified start point to that part. To do. This makes it possible to improve the convenience of the editing process for the speaker identification result.
  • the characteristics of the speaker's voice cannot be sufficiently discriminated, and the speaker can be accurately identified. May not be identifiable.
  • a short word block a word block of about several characters such as "yes" is applicable. If the speaker cannot be identified accurately, the terminal device 100 may display an erroneous identification result. Even in such a case, according to the present embodiment, the convenience of the editing process for the speaker identification result can be improved.
  • FIG. 17A is an example of text data before update according to the second embodiment.
  • FIG. 17B is an example of the updated text data according to the second embodiment.
  • the speaker editing unit 126 edits the speaker in units of one or a plurality of word blocks, but the speaker may be edited in units of characters included in the word block. In this case, the switching point 17 described above may be moved in character units.
  • the speaker editorial unit 126 uses the characters.
  • the speaker ID (current) of "quality” is updated from the speaker ID "03" to the speaker ID "04" that identifies the speaker "Kagawa” (not shown).
  • the speaker editorial unit 126 divides the identifier of the word block and reassigns the identifier after the word block.
  • the speaker editorial unit 126 reassigns the identifier “09” of the word block of the character “question” to the identifier “10”.
  • the speaker editorial unit 126 can estimate the utterance time of the new word block based on the utterance time of the original word block. For example, the speaker editorial unit 126 can estimate the utterance time of the original word block + the number of characters ⁇ several milliseconds as the utterance time of the new word block.
  • FIG. 18 is an example of the editing support system ST.
  • the same components as those of the terminal device 100 shown in FIG. 3 are designated by the same reference numerals, and the description thereof will be omitted.
  • the editing support system ST includes a terminal device 100 and a server device 200.
  • the terminal device 100 and the server device 200 are connected via a communication network NW.
  • Examples of the communication network NW include Local Area Network (LAN) and the Internet.
  • the terminal device 100 includes an input unit 130, a display unit 140, and a communication unit 150.
  • the server device 200 includes a storage unit 110, a processing unit 120, and a communication unit 160. Both of the two communication units 150 and 160 can be realized by the network I / F 100D or the short-range wireless communication circuit 100J.
  • the storage unit 110 and the processing unit 120 described in the first embodiment may be provided in the server device 200 instead of the terminal device 100. That is, the server device 200 may be used as an editing support device.
  • the input unit 130 of the terminal device 100 is operated, and the voice data of the conference described above is stored in the storage unit 110 (more specifically, the voice storage unit 111) via the two communication units 150 and 160. Further, the input unit 130 is operated, and the voice data of the speaker described above is input to the processing unit 120 (more specifically, the speaker identification unit 124) via the two communication units 150 and 160.
  • the processing unit 120 accesses the storage unit 110, acquires the voice data of the conference, executes various processes described in the first embodiment on the voice data of the conference, and generates text data. In addition, the processing unit 120 generates a trained model in which the characteristics of the speaker's voice are machine-learned based on the input speaker's voice data. Then, the processing unit 120 identifies the speaker based on the audio data of the conference and the learned model. The processing unit 120 outputs the screen information of the editing support screen 10 that displays the identified speaker and the utterance section corresponding to the speaker in association with each other as the processing result to the communication unit 160. The communication unit 160 transmits the processing result to the communication unit 150, and when the communication unit 150 receives the processing result, the communication unit 150 outputs screen information to the display unit 140. As a result, the display unit 140 displays the editing support screen 10.
  • the server device 200 may include the storage unit 110 and the processing unit 120 without the terminal device 100 including the storage unit 110 and the processing unit 120. Further, the server device 200 may include the storage unit 110, and another server device (not shown) connected to the communication network NW may include the processing unit 120. Such a configuration may be used as an editing support system. Even in such an embodiment, the convenience of editing processing for the speaker identification result can be improved.
  • the present invention is not limited to the specific embodiment of the present invention, and various modifications and modifications are made within the scope of the gist of the present invention described in the claims. It can be changed.
  • the first editing screen 30 is continuously and dynamically displayed.
  • the switching point 17 may be moved with the cursor keys, and the first edit screen 30 may be displayed each time the enter key is pressed. Such control may be applied to the second editing screen 40.
  • the identification character or the identification code may be adopted as the identification result instead of the speaker.
  • Terminal device 110
  • Storage unit 115
  • Point storage unit 120
  • Processing unit 121
  • First display control unit 122
  • Sentence generation unit 124
  • Speaker identification unit 125
  • Voice playback unit 126
  • Speaker editing unit 127
  • Point management unit 128
  • Second display control Unit 130
  • Display unit 140

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

編集支援プログラムは、音声認識に基づいて生成された文章について識別された話者を示す情報と、前記文章中の、識別された前記話者に対応する区間とを関連付けて表示部に表示し、前記話者の識別結果を編集する第１の編集処理が発生し、前記第１の編集処理によって、隣接する２以上の区間の各話者が共通する場合には、隣接する前記２以上の区間を結合した状態で前記表示部に表示し、結合した前記２以上の区間内の特定の区間について、前記話者の識別結果を編集する第２の編集処理を行う区間の始点が指定され、かつ、指定された前記始点から、結合した前記２以上の区間の終点までの間に結合前の前記２以上の区間のいずれかの始点に対応する箇所が存在する場合、指定された前記始点から前記２以上の区間のいずれかの始点に対応する箇所までの区間に前記第２の編集処理を適用する、処理をコンピュータに実行させる。

Description

編集支援プログラム、編集支援方法、及び編集支援装置
　本件は、編集支援プログラム、編集支援方法、及び編集支援装置に関する。
　複数の話者の発言データを含む音声データを再生し、ユーザが、各話者の発言データをテキストに書き起こし、各発言データに発言者を示す話者名称を設定することが知られている。また、音声データを音声特徴に基づいて分類し、分類した音声データ毎に任意の話者識別情報を求めることも知られている（以上、例えば特許文献１参照）。
特開２０１４－３８１３２号公報
　しかしながら、音声特徴から求めた話者識別情報は、話者の体調等によって変化する場合がある。この結果、その話者識別情報が誤った話者を表すおそれがある。この場合、ユーザは話者識別情報の編集処理に手間がかかるという問題がある。
　そこで、１つの側面では、話者の識別結果に対する編集処理の利便性を向上することを目的とする。
　１つの実施態様では、編集支援プログラムは、音声認識に基づいて生成された文章について識別された話者を示す情報と、前記文章中の、識別された前記話者に対応する区間とを関連付けて表示部に表示し、前記話者の識別結果を編集する第１の編集処理が発生し、前記第１の編集処理によって、隣接する２以上の区間の各話者が共通する場合には、隣接する前記２以上の区間を結合した状態で前記表示部に表示し、結合した前記２以上の区間内の特定の区間について、前記話者の識別結果を編集する第２の編集処理を行う区間の始点が指定され、かつ、指定された前記始点から、結合した前記２以上の区間の終点までの間に結合前の前記２以上の区間のいずれかの始点に対応する箇所が存在する場合、指定された前記始点から前記２以上の区間のいずれかの始点に対応する箇所までの区間に前記第２の編集処理を適用する、処理をコンピュータに実行させる。
　話者の識別結果に対する編集処理の利便性を向上することができる。
図１は端末装置の一例である。 図２は端末装置のハードウェア構成の一例である。 図３は端末装置のブロック図の一例である。 図４は端末装置の動作の一例を示すフローチャート（その１）である。 図５は端末装置の動作の一例を示すフローチャート（その２）である。 図６はポータル画面の一例である。 図７は話者データの一例である。 図８は第１実施形態に係る更新前の文章データの一例である。 図９は編集支援画面の一例である。 図１０（ａ）から図１０（ｃ）は実施例に係る編集作業の一例を説明するための図（その１）である。 図１１は文章データの更新例を説明するための図である。 図１２（ａ）から図１２（ｃ）は実施例に係る編集作業の一例を説明するための図（その２）である。 図１３は区切り始点箇所データの一例である。 図１４（ａ）及び図１４（ｂ）は実施例に係る編集作業の一例を説明するための図（その３）である。 図１５は文章データの他の更新例を説明するための図である。 図１６（ａ）及び図１６（ｂ）は比較例に係る編集作業の一例を説明するための図である。 図１７（ａ）は第２実施形態に係る更新前の文章データの一例である。図１７（ｂ）は第２実施形態に係る更新後の文章データの一例である。 図１８は編集支援システムの一例である。
　以下、本件を実施するための形態について図面を参照して説明する。
（第１実施形態）
　図１は端末装置１００の一例である。端末装置１００は編集支援装置の一例である。図１では、端末装置１００の一例としてPersonal Computer（ＰＣ）が示されているが、タブレット端末といったスマートデバイスであってもよい。端末装置１００はキーボード及びポインティングデバイス（以下、単にキーボードという）１００Ｆを備えている。端末装置１００はディスプレイ１００Ｇを備えている。ディスプレイ１００Ｇは液晶ディスプレイであってもよいし、有機electro-luminescence（ＥＬ）ディスプレイであってもよい。
　ディスプレイ１００Ｇは種々の画面を表示する。詳細は後述するが、例えばディスプレイ１００Ｇは編集支援画面１０を表示する。編集支援画面１０は音声認識に基づいて生成された文章について識別された話者の編集を支援する画面である。話者の識別はArtificial Intelligence（ＡＩ：人工知能）を利用したものであってもよいし、ＡＩを利用せずに事前に定義した所定の音声モデルを利用したものであってもよい。
　端末装置１００を利用するユーザは編集支援画面１０上に表示された話者の候補を確認し、キーボード１００Ｆを操作して話者の候補の中からいずれか１つの候補を選択する。これにより、端末装置１００はＡＩ等に基づいて識別された編集前の話者を選択された候補の話者に編集する。このように、ユーザは編集支援画面１０を利用することによって話者を簡便に編集することができる。尚、本実施形態では、ユーザの一例として会議の議事録の作成者について説明するが、ユーザはこのような作成者に特に限定されない。例えば、ユーザは放送字幕の制作者やコールセンターの音声記録担当者などであってもよい。
　次に、図２を参照して、端末装置１００のハードウェア構成について説明する。
　図２は端末装置１００のハードウェア構成の一例である。図２に示すように、端末装置１００は、少なくともハードウェアプロセッサとしてのCentral Processing Unit（ＣＰＵ）１００Ａ、Random Access Memory（ＲＡＭ）１００Ｂ、Read Only Memory（ＲＯＭ）１００Ｃ、及びネットワークＩ／Ｆ（インタフェース）１００Ｄを含んでいる。また、上述したように、端末装置１００は、キーボード１００Ｆ及びディスプレイ１００Ｇも含んでいる。
　さらに、端末装置１００は、必要に応じて、Hard Disk Drive（ＨＤＤ）１００Ｅ、入出力Ｉ／Ｆ１００Ｈ、ドライブ装置１００Ｉ、及び近距離無線通信回路１００Ｊの少なくとも１つを含んでいてもよい。ＣＰＵ１００Ａから近距離無線通信回路１００Ｊは、内部バス１００Ｋによって互いに接続されている。すなわち、端末装置１００はコンピュータによって実現することができる。尚、ＣＰＵ１００Ａに代えてMicro Processing Unit（ＭＰＵ）をハードウェアプロセッサとして利用してもよい。
　入出力Ｉ／Ｆ１００Ｈには、半導体メモリ７３０が接続される。半導体メモリ７３０としては、例えばUniversal Serial Bus（ＵＳＢ）メモリやフラッシュメモリなどがある。入出力Ｉ／Ｆ１００Ｈは、半導体メモリ７３０に記憶されたプログラムやデータを読み取る。入出力Ｉ／Ｆ１００Ｈは、例えばＵＳＢポートを備えている。ドライブ装置１００Ｉには、可搬型記録媒体７４０が挿入される。可搬型記録媒体７４０としては、例えばCompact Disc（ＣＤ）－ＲＯＭ、Digital Versatile Disc（ＤＶＤ）といったリムーバブルディスクがある。ドライブ装置１００Ｉは、可搬型記録媒体７４０に記録されたプログラムやデータを読み込む。近距離無線通信回路１００ＪはWi-Fi（登録商標）やBluetooth（登録商標）といった近距離無線通信を実現する電気回路又は電子回路である。近距離無線通信回路１００Ｊにはアンテナ１００Ｊ´が接続されている。近距離無線通信回路１００Ｊに代えて通信機能を実現するＣＰＵが利用されてもよい。ネットワークＩ／Ｆ１００Ｄは、例えばLocal Area Network（ＬＡＮ）ポートを備えている。
　上述したＲＡＭ１００Ｂには、ＲＯＭ１００ＣやＨＤＤ１００Ｅに記憶されたプログラムがＣＰＵ１００Ａによって一時的に格納される。ＲＡＭ１００Ｂには、可搬型記録媒体７４０に記録されたプログラムがＣＰＵ１００Ａによって一時的に格納される。格納されたプログラムをＣＰＵ１００Ａが実行することにより、ＣＰＵ１００Ａは後述する各種の機能を実現し、また、後述する各種の処理を実行する。尚、プログラムは後述するフローチャートに応じたものとすればよい。
　次に、図３を参照して、端末装置１００の機能構成について説明する。
　図３は端末装置１００のブロック図の一例である。図３では端末装置１００の機能の要部が示されている。図３に示すように、端末装置１００は記憶部１１０、処理部１２０、入力部１３０、及び表示部１４０を備えている。記憶部１１０は上述したＲＡＭ１００ＢやＨＤＤ１００Ｅによって実現することができる。処理部１２０は上述したＣＰＵ１００Ａによって実現することができる。入力部１３０は上述したキーボード１００Ｆによって実現することができる。表示部１４０は上述したディスプレイ１００Ｇによって実現することができる。したがって、記憶部１１０、処理部１２０、入力部１３０、及び表示部１４０は互いに接続されている。
　ここで、記憶部１１０は音声記憶部１１１、辞書記憶部１１２、文章記憶部１１３、モデル記憶部１１４、及びポイント記憶部１１５を構成要素として含んでいる。処理部１２０は第１表示制御部１２１、音声認識部１２２、文章生成部１２３、及び話者識別部１２４を構成要素として含んでいる。また、処理部１２０は音声再生部１２５、話者編集部１２６、ポイント管理部１２７、及び第２表示制御部１２８を構成要素として含んでいる。
　処理部１２０の各構成要素は記憶部１１０の各構成要素の少なくとも１つにアクセスして、各種の処理を実行する。例えば、音声再生部１２５は音声データの再生指示を検出すると、音声記憶部１１１にアクセスして、音声記憶部１１１が記憶する音声データを取得する。音声再生部１２５は音声データを取得すると、音声データを再生する。尚、その他の構成要素については、端末装置１００の動作を説明する際に詳しく記載する。
　次に、図４から図１５を参照して、端末装置１００の動作について説明する。
　まず、図４に示すように、第１表示制御部１２１はポータル画面を表示する（ステップＳ１０１）。より詳しくは、第１表示制御部１２１は、入力部１３０から出力されたポータル画面の起動指示を検出すると、ポータル画面を表示部１４０に表示する。これにより、図６に示すように、表示部１４０はポータル画面２０を表示する。ポータル画面２０は、第１登録ボタン２１、第２登録ボタン２２、第３登録ボタン２３、及び複数の第４登録ボタン２４を含んでいる。
　第１登録ボタン２１は会議の音声データを登録するボタンである。会議の音声データを登録する場合、ユーザは事前に録音された会議の音声データを端末装置１００内に用意する。ユーザが第１登録ボタン２１をポインタＰｔにより押下する操作を行うと、第１表示制御部１２１は第１登録ボタン２１の押下を検出する。第１表示制御部１２１は第１登録ボタン２１の押下を検出すると、端末装置１００内に用意された会議の音声データを音声記憶部１１１に保存する。
　第２登録ボタン２２は会議の資料に関する資料データを登録するボタンである。資料データを登録する場合、ユーザは事前に会議の資料データを端末装置１００内に用意する。ユーザが第２登録ボタン２２をポインタＰｔにより押下する操作を行うと、第１表示制御部１２１は第２登録ボタン２２の押下を検出する。第１表示制御部１２１は第２登録ボタン２２の押下を検出すると、端末装置１００内に用意された資料データをポータル画面２０内の第１表示領域２０Ａに表示する。
　第３登録ボタン２３は会議の参加者を登録するボタンである。会議の参加者を登録する場合、ユーザは第３登録ボタン２３をポインタＰｔにより押下する操作を行う。ユーザが第３登録ボタン２３を押下する操作を行うと、第１表示制御部１２１は第３登録ボタン２３の押下を検出する。第１表示制御部１２１は第３登録ボタン２３の押下を検出すると、会議の参加者を話者として登録するための登録画面（不図示）を表示部１４０に表示する。ユーザが登録画面に会議における話者（具体的には話者名を示す情報）を入力すると、第１表示制御部１２１は、入力された話者を含む参加者データをポータル画面２０内の第２表示領域２０Ｂに表示する。併せて、第１表示制御部１２１は話者ＩＤを生成し、入力された話者と関連付けてモデル記憶部１１４に保存する。話者ＩＤは話者を識別する情報である。これにより、モデル記憶部１１４は話者ＩＤ及び話者を関連付けて記憶する。
　第４登録ボタン２４はいずれも話者の音声データを登録するボタンである。話者の音声データを登録する場合、ユーザは事前に録音された話者の様々な音声データを端末装置１００内に用意する。端末装置１００にマイクを接続し、マイクから取得した音声データを利用してもよい。ユーザが登録対象の話者に関する第４登録ボタン２４をポインタＰｔにより押下する操作を行うと、第１表示制御部１２１は第４登録ボタン２４の押下を検出する。第１表示制御部１２１は第４登録ボタン２４の押下を検出すると、端末装置１００内に用意された音声データを話者識別部１２４に出力する。
　話者識別部１２４は第１表示制御部１２１から出力された話者の音声データに基づいて話者の音声の特徴を機械学習した学習済モデルを生成する。話者識別部１２４は生成した学習済モデルを学習対象の音声データに対応する話者の話者ＩＤと関連付けてモデル記憶部１１４に保存する。これにより、図７に示すように、モデル記憶部１１４は話者ＩＤと話者と学習済モデルとを関連付けた話者データを記憶する。モデル記憶部１１４が話者データを記憶すると、第１表示制御部１２１は登録対象の話者に関する参加者データ内に登録マークＲＭを表示する。登録マークＲＭは、モデル記憶部１１４が学習済モデルを記憶したことにより、話者の音声データが登録されたことを表すマークである。
　図４に戻り、ステップＳ１０１の処理が完了すると、次いで、音声認識部１２２は音声認識を実行する（ステップＳ１０２）。例えば、音声認識部１２２は音声記憶部１１１を参照し、音声記憶部１１１が会議の音声データを記憶しているか否かを判断する。音声認識部１２２は音声記憶部１１１が会議の音声データを記憶していると判断すると、音声記憶部１１１が記憶している会議の音声データに対して音声認識を実行し、文字列データを生成する。より詳しくは、音声認識部１２２は会議の音声データに含まれる話者の音声に基づいて複数の文字を特定し、特定した文字を時系列に並べて文字毎に文字ＩＤとタイムコードを付与して文字列データを生成する。音声認識部１２２は文字列データを生成すると、生成した文字列データを文章生成部１２３に出力する。尚、音声認識部１２２は複数の音声認識エンジンを備え、それぞれ対応する文字列データを生成する。音声認識エンジンとしては、例えばAmiVoice（登録商標）などがある。
　ステップＳ１０２の処理が完了すると、次いで、文章生成部１２３は文章データを生成する（ステップＳ１０３）。より詳しくは、文章生成部１２３は音声認識部１２２が出力した文字列データを受け付けると、辞書記憶部１１２を参照し、文字列データに対して形態素解析を実行する。辞書記憶部１１２は形態素辞書を記憶する。形態素辞書には様々な語句が格納されている。例えば、形態素辞書には「はい」、「確かに」、「資料」、「質問」などの語句が格納されている。したがって、文章生成部１２３は、辞書記憶部１１２を参照して文字列データに対して形態素解析を実行すると、文字列データを複数の単語ブロックに分割した文章データを生成する。文章生成部１２３は文章データを生成すると、生成した文章データを、単語ブロック単位の識別子と関連付けて文章記憶部１１３に保存する。これにより、文章記憶部１１３は文章データを記憶する。
　ステップＳ１０３の処理が完了すると、次いで、話者識別部１２４は話者を識別する（ステップＳ１０４）。より詳しくは、話者識別部１２４は、モデル記憶部１１４を参照し、モデル記憶部１１４が記憶する学習済モデルと音声記憶部１１１が記憶する会議の音声データとを比較する。話者識別部１２４は学習済モデルと会議の音声データとを比較し、会議の音声データに学習済モデルと対応（例えば共通又は類似など）する音声部分を検出した場合、その学習済モデルと関連付けられた話者ＩＤとタイムコードを特定する。このように、話者識別部１２４は会議の音声データに含まれる様々な音声部分の各話者を識別する。話者識別部１２４は話者ＩＤとタイムコードを特定すると、タイムコードに基づいて、文章記憶部１１３が記憶する文章データに、特定した話者ＩＤを関連付ける。これにより、図８に示すように、文章記憶部１１３は話者ＩＤと関連付けられた文章データを記憶する。
　文章データは、図８に示すように、文字ＩＤ、文字、単語ブロック、タイムコード、話者ＩＤ（初期）、及び話者ＩＤ（現在）を構成要素として含んでいる。特に、単語ブロックには単語ブロックの識別子が登録される。話者ＩＤ（初期）には話者識別部１２４が最初に識別した話者の話者ＩＤが登録される。話者ＩＤ（現在）には話者を編集した後の話者ＩＤが登録される。話者識別部１２４が話者を識別した直後には、話者ＩＤ（初期）と話者ＩＤ（現在）には同じ話者ＩＤが登録される。文章記憶部１１３はこのような文章データを記憶する。尚、文字毎に付与されたタイムコードが直前のタイムコードと共通する場合、直前のタイムコード以後のタイムコードについては省略してもよい。
　ステップＳ１０４の処理が完了すると、次いで、第１表示制御部１２１は話者と発話区間を表示する（ステップＳ１０５）。より詳しくは、ステップＳ１０４の処理が完了すると、第１表示制御部１２１はポータル画面２０の表示部１４０への表示を中止し、編集支援画面１０を表示部１４０に表示する。そして、第１表示制御部１２１は編集支援画面１０内で話者とその話者に対応する発話区間を関連付けて表示する。
　したがって、図９に示すように、表示部１４０は編集支援画面１０を表示する。編集支援画面１０はスクリプト領域１１、設定領域１２、編集領域１３、再生ボタン１４などを含んでいる。第１表示制御部１２１は、文章データと話者データとに基づいて、編集支援画面１０の編集領域１３内で各話者と文章中の各話者に対応する発話区間を関連付けて表示する。
　スクリプト領域１１には文章記憶部１１３が記憶する文章データのタイムコードと文字が互いに関連付いた状態で表示される。特に、スクリプト領域１１におけるスクリプトの欄には話者ＩＤが切り替わった最初のタイムコードからその話者ＩＤの連続が途絶える最後のタイムコードまでの文字が結合された状態で時系列に表示される。設定領域１２には音声データの再生形式に関する設定項目や話者を編集した後の文章データの出力形式に関する設定項目などが表示される。
　編集領域１３には、上述したように、話者と発話区間が関連付けられて表示される。例えば、編集領域１３内において話者「小田」と発話区間「…ですよね」が関連付けられて表示されている。同様に、話者「木村」と発話区間「確かにはいその資料について質問が」が関連付けられて表示されている。話者「山田」と発話区間「質問お願いします」が関連付けられて表示されている。
　また、編集領域１３には、話者と発話区間のほか、進行マーク１６及び切り替わりポイント１７が表示される。進行マーク１６は音声データの現在の再生位置を示すマークである。切り替わりポイント１７は単語ブロック（図８参照）の切り替わりを示すポイントである。すなわち、単語ブロックが別の単語ブロックに切り替わる２つの単語ブロックの間の位置に切り替わりポイント１７が表示される。本実施形態では、１つの切り替わりポイント１７を表示しているが、例えば複数の切り替わりポイントを表示し、複数の切り替わりポイントの１つを現在の切り替わりポイント１７とし、残りの切り替わりポイントと異なる色を付してもよい。これにより、ユーザはどの位置で単語ブロックが切り替わるのかを確認することができる。
　切り替わりポイント１７は入力部１３０に対する操作に応じて左右に移動させることができる。例えば、ユーザが右矢印を示すカーソルキーを押下する操作を行うと、第１表示制御部１２１は切り替わりポイント１７を右に移動させる。ユーザが左矢印を示すカーソルキーを押下する操作を行うと、第１表示制御部１２１は切り替わりポイント１７を左に移動させる。尚、切り替わりポイント１７を右側一方向に移動させる場合には、切り替わりポイント１７を移動させるキーをスペースキーとしてもよい。切り替わりポイント１７を移動させるキーは設計や実験などに応じて適宜決定すればよい。
　ステップＳ１０５の処理が完了すると、次いで、音声再生部１２５は再生指示を検出するまで待機する（ステップＳ１０６：ＮＯ）。音声再生部１２５は再生指示を検出すると（ステップＳ１０６：ＹＥＳ）、音声データを再生する（ステップＳ１０７）。より詳しくは、再生ボタン１４（図９参照）がポインタＰｔにより押下されると、音声再生部１２５は音声データの再生指示を検出し、音声データを再生し始める。音声データの再生が開始すると、音声データの再生スピードに応じて進行マーク１６（図９参照）が右方向に移動する。ユーザは会議の音声データを再生してその音声を聴きながら、切り替わりポイント１７を移動させて、話者を編集する位置を特定する操作を行う。
　ステップＳ１０７の処理が完了すると、第１表示制御部１２１は始点が指定されるまで待機する（ステップＳ１０８：ＮＯ）。第１表示制御部１２１は始点が指定されると（ステップＳ１０８：ＹＥＳ）、第１編集画面を表示する（ステップＳ１０９）。より詳しくは、図１０（ａ）に示すように、ユーザは、まず、切り替わりポイント１７を移動させて話者の編集を希望する所定の位置で停止させる。ユーザがその所定の位置で例えばエンター（Enter）キーを押下する操作を行うと、第１表示制御部１２１はその所定の位置が始点として指定されたと判断する。第１表示制御部１２１は始点が指定されると、図１０（ｂ）に示すように、第１編集画面３０を編集領域１３に重畳して表示する。第１編集画面３０は編集処理をユーザに要求する画面である。また、第１表示制御部１２１は、第１編集画面３０の表示と併せて、その始点に対応する発話区間において、その始点より前に位置する一又は複数の単語ブロックに相当する一部の発話区間を特定する。本実施形態では、第１表示制御部１２１は一つの単語ブロック「確かに」に相当する一部の発話区間を特定する。尚、第１編集画面３０の表示と一部の発話区間の特定の順序は逆であってもよい。
　ステップＳ１０９の処理が完了すると、話者編集部１２６は選択指示を検出するまで待機する（ステップＳ１１０：ＮＯ）。話者編集部１２６は選択指示を検出すると（ステップＳ１１０：ＹＥＳ）、図５に示すように、話者を編集する（ステップＳ１１１）。より詳しくは、図１０（ｂ）に示すように、ユーザが入力部１３０を操作して第１編集画面３０に含まれる複数の話者のいずれかをポインタＰｔにより選択する操作を行うと、話者編集部１２６は選択指示を検出する。ユーザは第１編集画面３０に含まれる複数の数値のいずれかをテンキーにより選択する操作を行ってもよい。
　ここで、第１編集画面３０に含まれる話者は発声順序と発声量の少なくとも一方に応じた優先順位に従って並んで配置されている。例えば、会議における司会進行役の話者は他の話者より発声順序が先であることが多く、また、発声量も多いと想定される。このため、第１編集画面３０では編集の可能性が高い話者から順に並んで配置される。これにより、話者の編集処理の手間を抑えることができる。
　話者編集部１２６は選択指示を検出すると、編集処理が発生したと判断し、第１表示制御部１２１により特定された一部の発話区間に編集処理を適用し、その一部の発話区間の話者を、選択された話者に編集して表示する。本実施形態では、話者編集部１２６は単語ブロック「確かに」に相当する一部の発話区間に編集処理を適用し、その一部の発話区間の話者「木村」を、選択された話者「木村」に編集して表示する。尚、この例では実質的な変更がないため、詳細な説明は後述する。
　ステップＳ１１１の処理が完了すると、話者編集部１２６は話者が共通するか否かを判断する（ステップＳ１１２）。より詳しくは、話者編集部１２６は編集後の話者と編集後の話者の単語ブロックに相当する一部の発話区間の直前に位置する前の発話区間の話者が共通するか否かを判断する。本実施形態では、話者編集部１２６は編集後の話者「木村」と編集後の話者「木村」の単語ブロック「確かに」に相当する一部の発話区間の直前に位置する前の発話区間「…ですよね」の話者「小田」が共通するか否かを判断する。ここでは、話者「木村」と話者「小田」が共通しないため、話者編集部１２６は話者が共通しないと判断する（ステップＳ１１２：ＮＯ）。
　話者が共通しない場合、話者編集部１２６は、ステップＳ１１３及びＳ１１４の処理をスキップして、始点後が処理済であるか否かを判断する（ステップＳ１１５）。話者編集部１２６は始点後が処理済でないと判断した場合（ステップＳ１１５：ＮＯ）、第１表示制御部１２１は、図４に示すように、再び、ステップＳ１０９の処理を実行する。すなわち、初めのステップＳ１０９の処理では、図１０（ｂ）に示すように、切り替わりポイント１７により特定された始点に対応する発話区間において、その始点より前に位置する一つの単語ブロック「確かに」に相当する一部の発話区間が話者の編集処理の対象とされた。しかしながら、切り替わりポイント１７により特定された始点に対応する発話区間において、その始点より後に位置する複数の単語ブロック「はいその資料について質問が」に相当する残部の発話区間が話者の編集処理の対象とされていない。このため、話者編集部１２６は始点後が処理済でないと判断し、第１表示制御部１２１は、図１０（ｃ）に示すように、再び、第１編集画面３０を編集領域１３に重畳して表示する。また、第１表示制御部１２１は、第１編集画面３０の表示と併せて、その始点に対応する発話区間において、その始点より後に位置する一又は複数の単語ブロックに相当する残部の発話区間を特定する。本実施形態では、第１表示制御部１２１は複数の単語ブロック「はいその資料について質問が」に相当する残部の発話区間を特定する。
　２度目のステップＳ１０９の処理が完了し、ステップＳ１１０の処理において、話者編集部１２６が選択指示を検出すると、ステップＳ１１１（図５参照）の処理において、話者編集部１２６は話者を編集する。より詳しくは、図１０（ｃ）に示すように、ユーザが再び入力部１３０を操作して第１編集画面３０に含まれる複数の話者のいずれかをポインタＰｔにより選択する操作を行うと、話者編集部１２６は選択指示を検出する。話者編集部１２６は選択指示を検出すると、文章記憶部１１３にアクセスし、図１１に示すように、特定された単語ブロックに対応する話者の話者ＩＤ（現在）を編集後の話者の話者ＩＤに更新する。また、話者編集部１２６は選択指示を検出すると、編集処理が発生したと判断して、特定された残部の発話区間に編集処理を適用し、その残部の発話区間の話者を、選択された話者に編集して表示する。本実施形態では、話者編集部１２６は複数の単語ブロック「はいその資料について質問が」に相当する残部の発話区間に編集処理を適用し、その残部の発話区間の話者「木村」を、選択された話者「山田」に編集して表示する。
　ステップＳ１１１の処理が完了すると、ステップＳ１１２の処理において、話者編集部１２６は再び話者が共通するか否かを判断する。本実施形態では、話者編集部１２６は編集後の話者「山田」と編集後の話者「山田」の複数の単語ブロック「はいその資料について質問が」に相当する残部の発話区間の直後に位置する後の発話区間「質問お願いします」の話者「山田」が共通するか否かを判断する。ここでは、２つの話者「山田」が共通するため、話者編集部１２６は話者が共通すると判断する（ステップＳ１１２：ＹＥＳ）。
　話者が共通する場合、話者編集部１２６は発話区間を結合状態で表示する（ステップＳ１１３）。より詳しくは、話者編集部１２６は編集後に共通する２つの話者の発話区間を結合した状態で表示する。併せて、話者編集部１２６は結合前の２つの発話区間のそれぞれに対応付いた２つの話者いずれか一方を結合後の発話区間と対応付けて表示する。これにより、話者編集部１２６は複数の単語ブロック「はいその資料について質問が」に相当する残部の発話区間と後の発話区間「質問お願いします」を結合し、図１２（ａ）に示すように、新たな発話区間「はいその資料について質問が質問お願いします」と２つの発話区間を結合した状態で表示する。また、結合した発話区間に対し１人の話者を対応付けて表示する。このように、話者が編集され、発話区間が結合される。特に、切り替わりポイント１７により特定される始点より前に対する処理が完了した後に動的にその始点より後に対する処理が要求されるため、時系列に沿った編集作業となり、編集作業の手間が抑制される。
　ステップＳ１１３の処理が完了すると、次いで、ポイント管理部１２７は区切り始点箇所を保存する（ステップＳ１１４）。より詳しくは、ポイント管理部１２７は発話区間を結合する前の２つの発話区間の区切りを特定する始点の箇所を区切り始点箇所データとしてその箇所に対応する始点及び結合した発話区間の終点と併せてポイント記憶部１１５に保存する。これにより、ポイント記憶部１１５は区切り始点箇所データを記憶する。
　本実施形態では、図１０（ｃ）に示すように、発話区間を結合する前の２つの発話区間の区切り始点箇所は、発話区間「確かにはいその資料について質問が」と発話区間「質問お願いします」の間の始点Ｐ１に相当する。このため、図１３に示すように、ポイント記憶部１１５は発話区間の末尾の単語ブロック「質問が」の識別子「０８」と発話区間の先頭の単語ブロック「質問」の識別子「０９」を関連付けて、区切り始点箇所データとして記憶する。また、ポイント記憶部１１５は区切り始点箇所データの記憶と併せて、区切り始点箇所に対応する始点及び結合した発話区間の終点を特定できる単語ブロックの識別子を記憶する。例えば、ポイント記憶部１１５は単語ブロック「確かに」の識別子「０３」及び単語ブロック「はい」の識別子「０４」を、始点を特定できる単語ブロックとして記憶する。また、ポイント記憶部１１５は単語ブロック「します」の識別子「１１」と所定の識別子「－」を、終点を特定できる単語ブロックの識別子として記憶する。尚、単語ブロックの識別子に代えて、文字ＩＤを単語ブロックの識別子と同様に利用してもよい。
　ステップＳ１１４の処理が完了すると、再び、ステップＳ１１５の処理において、話者編集部１２６は始点後が処理済であるか否かを判断する。話者編集部１２６は始点後が処理済であると判断した場合（ステップＳ１１５：ＹＥＳ）、次いで、第２表示制御部１２８は別の始点が指定されるまで待機する（ステップＳ１１６：ＮＯ）。第２表示制御部１２８は別の始点が指定されると（ステップＳ１１６：ＹＥＳ）、第２編集画面を表示する（ステップＳ１１７）。より詳しくは、図１２（ｂ）に示すように、ユーザが切り替わりポイント１７を移動させて上述した所定の位置と異なる別の位置で停止させ、エンターキーを押下する操作を行うと、第２表示制御部１２８はその別の位置が始点として指定されたと判断する。第２表示制御部１２８は別の始点が指定されると、図１２（ｃ）に示すように、第２編集画面４０を編集領域１３に重畳して表示する。第２編集画面４０は編集処理をユーザに要求する画面である。第２編集画面４０に含まれる話者は第１編集画面３０と同様に並んでいる。また、第２表示制御部１２８は、第２編集画面４０の表示と併せて、その始点に対応する発話区間において、その始点より前に位置する一又は複数の単語ブロックに相当する一部の発話区間を特定する。本実施形態では、第２表示制御部１２８は一つの単語ブロック「はい」に相当する一部の発話区間を特定する。尚、第２編集画面４０の表示と一部の発話区間の特定の順序は逆であってもよい。
　ステップＳ１１７の処理が完了すると、話者編集部１２６は選択指示を検出するまで待機する（ステップＳ１１８：ＮＯ）。話者編集部１２６は選択指示を検出すると（ステップＳ１１８：ＹＥＳ）、話者を編集する（ステップＳ１１９）。より詳しくは、図１２（ｃ）に示すように、ユーザが入力部１３０を操作して第２編集画面４０に含まれる複数の話者のいずれかをポインタＰｔにより選択する操作を行うと、話者編集部１２６は選択指示を検出する。ユーザは第２編集画面４０に含まれる複数の数値のいずれかをテンキーにより選択する操作を行ってもよい。話者編集部１２６は選択指示を検出すると、編集処理が発生したと判断して、特定された一部の発話区間に編集処理を適用し、その一部の発話区間の話者を、選択された話者に編集して表示する。本実施形態では、話者編集部１２６は単語ブロック「はい」に相当する一部の発話区間に編集処理を適用し、その一部の発話区間の話者「山田」を、選択された話者「山田」に編集して表示する。尚、この例では実質的な変更がないため、詳細な説明は後述する。
　ステップＳ１１９の処理が完了すると、第２表示制御部１２８は第２編集画面を再表示する（ステップＳ１２０）。より詳しくは、第２表示制御部１２８は、図１４（ａ）に示すように、第２編集画面４０を編集領域１３に重畳して再表示する。また、第２表示制御部１２８は、第２編集画面４０の再表示と併せて、その別の始点に対応する発話区間において、その別の始点より後に位置する一又は複数の単語ブロックに相当する残部の発話区間を特定の発話区間として特定する。本実施形態では、第２表示制御部１２８は複数の単語ブロック「その資料について質問が質問お願いします」に相当する残部の発話区間を特定の発話区間として特定する。尚、第２編集画面４０の再表示と残部の発話区間の特定の順序は逆であってもよい。
　ステップＳ１２０の処理が完了すると、話者編集部１２６は選択指示を検出するまで待機する（ステップＳ１２１：ＮＯ）。話者編集部１２６は選択指示を検出すると（ステップＳ１２１：ＹＥＳ）、ポイント管理部１２７は区切り始点箇所があるか否かを判断する（ステップＳ１２２）。より詳しくは、ポイント管理部１２７は、ポイント記憶部１１５を参照し、区切り始点箇所データがポイント記憶部１１５に記憶されているか否かを判断する。
　ポイント管理部１２７は区切り始点箇所があると判断した場合（ステップＳ１２２：ＹＥＳ）、話者編集部１２６は区切り始点箇所まで話者を編集して（ステップＳ１２３）、処理を終了する。より詳しくは、図１４（ａ）に示すように、ユーザが入力部１３０を操作して第２編集画面４０に含まれる複数の話者のいずれかをポインタＰｔにより選択する操作を行うと、話者編集部１２６は選択指示を検出する。話者編集部１２６は選択指示を検出すると、文章記憶部１１３にアクセスする。そして、話者編集部１２６は、図１５に示すように、特定された単語ブロックの中から、別の始点直後の単語ブロックから区切り始点箇所直前までの単語ブロックに対応する話者の話者ＩＤ（現在）に編集処理を適用しその話者ＩＤを、編集後の話者の話者ＩＤに更新する。
　また、話者編集部１２６は選択指示を検出すると、編集処理が発生したと判断して、特定の発話区間に編集処理を適用し、その特定の発話区間の話者を、選択された話者に編集して表示する。本実施形態では、話者編集部１２６は、図１４（ｂ）に示すように、複数の単語ブロック「その資料について質問が」に相当する特定の発話区間に編集処理を適用し、その特定の発話区間の話者「山田」を、選択された話者「木村」に編集して表示する。
　一方、ポイント管理部１２７は区切り始点箇所がないと判断した場合（ステップＳ１２２：ＮＯ）、話者編集部１２６はステップＳ１２３の処理をスキップして処理を終了する。尚、区切り始点箇所がない場合、話者編集部１２６はエラー処理を実行してから処理を終了してもよい。
　図１６（ａ）及び図１６（ｂ）は比較例を説明するための図である。特に、図１６（ａ）及び図１６（ｂ）は上述した図１４（ａ）及び図１４（ｂ）に対応する図である。上述したように、第１実施形態では、ポイント管理部１２７が区切り始点箇所データをポイント記憶部１１５に保存して管理することを説明した。例えば、区切り始点箇所データが管理されていない場合、図１６（ａ）に示すように、ユーザが入力部１３０を操作して第２編集画面４０に含まれる複数の話者のいずれかをポインタＰｔにより選択する操作を行うと、話者編集部１２６は選択指示を検出する。話者編集部１２６は選択指示を検出すると、第２表示制御部１２８により特定された複数の単語ブロック全てに相当する残部の発話区間の話者を、選択された話者に編集して表示する。比較例では、話者編集部１２６は、図１６（ｂ）に示すように、複数の単語ブロック「その資料について質問が質問お願いします」の全てに相当する残部の発話区間の話者「山田」を、選択された話者「木村」に編集して表示する。このため、話者に誤りがない複数の単語ブロック「質問お願いします」まで編集されてしまい、この部分について改めてユーザには編集作業が発生する。しかしながら、第１実施形態によれば、このような無駄な編集作業が発生しない。すなわち、第１実施形態によれば、比較例と対比して、話者の識別結果に対する編集処理の利便性が向上する。
　以上、第１実施形態によれば、端末装置１００は処理部１２０を含み、処理部１２０は第１表示制御部１２１、話者編集部１２６、及び第２表示制御部１２８を含んでいる。第１表示制御部１２１は音声認識に基づいて生成された文章データについて識別された話者を示す情報と、文章データ中の、識別された話者に対応する発話区間とを関連付けて表示部１４０に表示する。話者編集部１２６は話者の識別結果を編集する編集処理が発生し、その編集処理によって、隣接する２以上の発話区間の各話者が共通する場合には、隣接する２以上の発話区間を結合した状態で表示部１４０に表示する。第２表示制御部１２８は結合した２以上の発話区間内の特定の発話区間について、話者の識別結果を編集する編集処理を行う発話区間の始点が指定され、かつ、指定された始点から、結合した２以上の発話区間の終点までの間に結合前の２以上の区間のいずれかの始点に対応する箇所が存在する場合、指定された始点からその箇所までの発話区間に編集処理を適用する。これにより、話者の識別結果に対する編集処理の利便性を向上することができる。
　特に、話者の識別に学習済モデルや所定の音声モデルを利用し、話者が短い単語ブロックを発話した場合、話者の音声の特徴を十分に判別することができず、精度良く話者を識別できない可能性がある。短い単語ブロックとしては、例えば「はい」など、数文字程度の単語ブロックが該当する。精度良く話者を識別できない場合、端末装置１００は誤った識別結果を表示するおそれがある。このような場合であっても、本実施形態によれば、話者の識別結果に対する編集処理の利便性を向上することができる。
（第２実施形態）
　続いて、図１７を参照して、本件の第２実施形態について説明する。図１７（ａ）は第２実施形態に係る更新前の文章データの一例である。図１７（ｂ）は第２実施形態に係る更新後の文章データの一例である。第１実施形態では、話者編集部１２６は話者を一又は複数の単語ブロック単位で編集したが、単語ブロックに含まれる文字の単位で話者を編集してもよい。この場合、上述した切り替わりポイント１７を文字単位で移動させればよい。
　例えば、図１７（ａ）に示すように、単語ブロックの識別子「０９」が共通する文字「質」及び文字「問」に関し、図１７（ｂ）に示すように、話者編集部１２６が文字「質」の話者ＩＤ（現在）を話者ＩＤ「０３」から不図示の話者「香川」を識別する話者ＩＤ「０４」に更新する。この場合、話者編集部１２６は単語ブロックの識別子を分割し、単語ブロックの以後の識別子を付与し直す。具体的には、図１７（ｂ）に示すように、話者編集部１２６は文字「問」の単語ブロックの識別子「０９」を識別子「１０」に付与し直す。以後の識別子についても同様である。また、話者編集部１２６は元の単語ブロックの発話時間に基づいて新たな単語ブロックの発話時間を推定することができる。例えば、話者編集部１２６は元の単語ブロックの発話時間＋文字数×数ミリ秒を新たな単語ブロックの発話時間として推定することができる。
　このように、第２実施形態によれば、文字単位に話者を編集する場合であっても、話者の識別結果に対する編集処理の利便性を向上することができる。
（第３実施形態）
　続いて、図１８を参照して、本件の第３実施形態について説明する。図１８は編集支援システムＳＴの一例である。尚、図３に示す端末装置１００の各部と同様の構成には同一符号を付し、その説明を省略する。
　編集支援システムＳＴは端末装置１００とサーバ装置２００を含んでいる。端末装置１００とサーバ装置２００は通信ネットワークＮＷを介して接続されている。通信ネットワークＮＷとしては、例えばLocal Area Network（ＬＡＮ）やインターネットなどがある。
　図１８に示すように、端末装置１００は入力部１３０、表示部１４０、及び通信部１５０を備えている。一方、サーバ装置２００は記憶部１１０、処理部１２０、及び通信部１６０を備えている。２つの通信部１５０，１６０はいずれもネットワークＩ／Ｆ１００Ｄ又は近距離無線通信回路１００Ｊによって実現することができる。このように、第１実施形態で説明した記憶部１１０及び処理部１２０を、端末装置１００に代えて、サーバ装置２００が備えていてもよい。すなわち、サーバ装置２００を編集支援装置としてもよい。
　この場合、端末装置１００の入力部１３０が操作されて、上述した会議の音声データが２つの通信部１５０，１６０を介して記憶部１１０（より詳しくは音声記憶部１１１）に格納される。また、入力部１３０が操作されて、上述した話者の音声データが２つの通信部１５０，１６０を介して処理部１２０（より詳しくは話者識別部１２４）に入力される。
　処理部１２０は記憶部１１０にアクセスして、会議の音声データを取得し、会議の音声データに対し、第１実施形態で説明した各種の処理を実行して文章データを生成する。また、処理部１２０は、入力された話者の音声データに基づいて、話者の音声の特徴を機械学習した学習済モデルを生成する。そして、処理部１２０は会議の音声データと学習済モデルとに基づいて話者を識別する。処理部１２０は識別した話者とその話者に対応する発話区間を関連付けて表示する編集支援画面１０の画面情報を処理結果として通信部１６０に出力する。通信部１６０は処理結果を通信部１５０に送信し、通信部１５０は処理結果を受信すると、画面情報を表示部１４０に出力する。これにより、表示部１４０は編集支援画面１０を表示する。
　このように、端末装置１００が記憶部１１０と処理部１２０を備えずに、サーバ装置２００が記憶部１１０と処理部１２０を備えていてもよい。また、サーバ装置２００が記憶部１１０を備え、通信ネットワークＮＷに接続された別のサーバ装置（不図示）が処理部１２０を備えていてもよい。このような構成を編集支援システムとしてもよい。このような実施形態であっても、話者の識別結果に対する編集処理の利便性を向上することができる。
　以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、上述した実施形態では、第１編集画面３０を連続して動的に表示することを説明した。一方で、カーソルキーで切り替わりポイント１７を移動させ、エンターキーを押下することによってその都度毎に第１編集画面３０を表示させるようにしてもよい。このような制御を第２編集画面４０に適用してもよい。また、参加者データが登録されていない場合には、話者に代えて、識別文字や識別記号を識別結果として採用してもよい。
　　１００　端末装置
　　１１０　記憶部
　　１１５　ポイント記憶部
　　１２０　処理部
　　１２１　第１表示制御部
　　１２２　音声認識部
　　１２３　文章生成部
　　１２４　話者識別部
　　１２５　音声再生部
　　１２６　話者編集部
　　１２７　ポイント管理部
　　１２８　第２表示制御部
　　１３０　入力部
　　１４０　表示部

Claims (15)

  1. 　音声認識に基づいて生成された文章について識別された話者を示す情報と、前記文章中の、識別された前記話者に対応する区間とを関連付けて表示部に表示し、
    　前記話者の識別結果を編集する第１の編集処理が発生し、前記第１の編集処理によって、隣接する２以上の区間の各話者が共通する場合には、隣接する前記２以上の区間を結合した状態で前記表示部に表示し、
    　結合した前記２以上の区間内の特定の区間について、前記話者の識別結果を編集する第２の編集処理を行う区間の始点が指定され、かつ、指定された前記始点から、結合した前記２以上の区間の終点までの間に結合前の前記２以上の区間のいずれかの始点に対応する箇所が存在する場合、指定された前記始点から前記２以上の区間のいずれかの始点に対応する箇所までの区間に前記第２の編集処理を適用する、
    　処理をコンピュータに実行させるための編集支援プログラム。
  2. 　前記第１の編集処理が発生し、前記第１の編集処理によって、隣接する前記２以上の区間の各話者が共通する場合には、隣接する前記２以上の区間に前記第１の編集処理を適用して、隣接する前記２以上の区間を結合した状態で前記表示部に表示する、
    　ことを特徴とする請求項１に記載の編集支援プログラム。
  3. 　前記第１の編集処理を要求する第１の編集画面と前記第２の編集処理を要求する第２の編集画面を前記表示部に表示し、
    　前記第１の編集画面に対する指示に基づいて、隣接する前記２以上の区間に前記第１の編集処理を適用し、前記第２の編集画面に対する指示に基づいて、指定された前記始点から前記２以上の区間のいずれかの始点に対応する箇所までの区間に前記第２の編集処理を適用する、
    　ことを特徴とする請求項１又は２に記載の編集支援プログラム。
  4. 　前記第１の編集画面及び前記第２の編集画面は、いずれも、編集対象として前記話者を示す情報を含み、前記話者を示す情報は前記話者の発声順序と発声量の少なくとも一方に応じた優先順位に従って並んでいる、
    　ことを特徴とする請求項３に記載の編集支援プログラム。
  5. 　前記第１の編集処理が前記話者に対応する区間の区間途中で発生し、前記第１の編集処理によって、前記区間途中より前で隣接する前記２以上の区間の各話者が共通し、かつ、前記区間途中より後で隣接する前記２以上の区間の各話者が共通する場合には、前記区間途中より前で隣接する前記２以上の区間を結合した状態で前記表示部に表示した後に、前記区間途中より後で隣接する前記２以上の区間を結合した状態で前記表示部に表示する、
    　ことを特徴とする請求項１から４のいずれか１項に記載の編集支援プログラム。
  6. 　前記話者の音声と前記音声認識とに基づいて、前記文章を生成し、
    　前記話者の音声と前記話者の音声の特徴を学習した学習済モデルとに基づいて、生成した前記文章について前記話者を識別する、
    　処理を含むことを特徴とする請求項１から５のいずれか１項に記載の編集支援プログラム。
  7. 　指定された前記始点、及び前記２以上の区間のいずれかの始点に対応する箇所を記憶部に保存する処理を含み、
    　前記記憶部を参照して、指定された前記始点から前記２以上の区間のいずれかの始点に対応する箇所までの区間に前記第２の編集処理を適用する、
    　ことを特徴とする請求項１から６のいずれか１項に記載の編集支援プログラム。
  8. 　音声認識に基づいて生成された文章について識別された話者を示す情報と、前記文章中の、識別された前記話者に対応する区間とを関連付けて表示部に表示し、
    　前記話者の識別結果を編集する第１の編集処理が発生し、前記第１の編集処理によって、隣接する２以上の区間の各話者が共通する場合には、隣接する前記２以上の区間を結合した状態で前記表示部に表示し、
    　結合した前記２以上の区間内の特定の区間について、前記話者の識別結果を編集する第２の編集処理を行う区間の始点が指定され、かつ、指定された前記始点から、結合した前記２以上の区間の終点までの間に結合前の前記２以上の区間のいずれかの始点に対応する箇所が存在する場合、指定された前記始点から前記２以上の区間のいずれかの始点に対応する箇所までの区間に前記第２の編集処理を適用する、
    　処理をコンピュータが実行する編集支援方法。
  9. 　音声認識に基づいて生成された文章について識別された話者を示す情報と、前記文章中の、識別された前記話者に対応する区間とを関連付けて表示部に表示し、
    　前記話者の識別結果を編集する第１の編集処理が発生し、前記第１の編集処理によって、隣接する２以上の区間の各話者が共通する場合には、隣接する前記２以上の区間を結合した状態で前記表示部に表示し、
    　結合した前記２以上の区間内の特定の区間について、前記話者の識別結果を編集する第２の編集処理を行う区間の始点が指定され、かつ、指定された前記始点から、結合した前記２以上の区間の終点までの間に結合前の前記２以上の区間のいずれかの始点に対応する箇所が存在する場合、指定された前記始点から前記２以上の区間のいずれかの始点に対応する箇所までの区間に前記第２の編集処理を適用する、
    　処理を実行する処理部を備える編集支援装置。
  10. 　前記処理部は、前記第１の編集処理が発生し、前記第１の編集処理によって、隣接する前記２以上の区間の各話者が共通する場合には、隣接する前記２以上の区間に前記第１の編集処理を適用して、隣接する前記２以上の区間を結合した状態で前記表示部に表示する、
    　ことを特徴とする請求項９に記載の編集支援装置。
  11. 　前記処理部は、前記第１の編集処理を要求する第１の編集画面と前記第２の編集処理を要求する第２の編集画面を前記表示部に表示し、前記第１の編集画面に対する指示に基づいて、隣接する前記２以上の区間に前記第１の編集処理を適用し、前記第２の編集画面に対する指示に基づいて、指定された前記始点から前記２以上の区間のいずれかの始点に対応する箇所までの区間に前記第２の編集処理を適用する、
    　ことを特徴とする請求項９又は１０に記載の編集支援装置。
  12. 　前記処理部は、前記第１の編集画面及び前記第２の編集画面は、いずれも、編集対象として前記話者を示す情報を含み、前記話者を示す情報は前記話者の発声順序と発声量の少なくとも一方に応じた優先順位に従って並んでいる、
    　ことを特徴とする請求項１１に記載の編集支援装置。
  13. 　前記処理部は、前記第１の編集処理が前記話者に対応する区間の区間途中で発生し、前記第１の編集処理によって、前記区間途中より前で隣接する前記２以上の区間の各話者が共通し、かつ、前記区間途中より後で隣接する前記２以上の区間の各話者が共通する場合には、前記区間途中より前で隣接する前記２以上の区間を結合した状態で前記表示部に表示した後に、前記区間途中より後で隣接する前記２以上の区間を結合した状態で前記表示部に表示する、
    　ことを特徴とする請求項９から１２のいずれか１項に記載の編集支援装置。
  14. 　前記処理部は、前記話者の音声と前記音声認識とに基づいて、前記文章を生成し、前記話者の音声と前記話者の音声の特徴を学習した学習済モデルとに基づいて、生成した前記文章について前記話者を識別する、
    　ことを特徴とする請求項９から１３のいずれか１項に記載の編集支援装置。
  15. 　前記処理部は、指定された前記始点、及び前記２以上の区間のいずれかの始点に対応する箇所を記憶部に保存し、前記記憶部を参照して、指定された前記始点から前記２以上の区間のいずれかの始点に対応する箇所までの区間に前記第２の編集処理を適用する、
    　ことを特徴とする請求項９から１４のいずれか１項に記載の編集支援装置。
PCT/JP2019/010793 2019-03-15 2019-03-15 編集支援プログラム、編集支援方法、及び編集支援装置 WO2020188622A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020217030247A KR20210132115A (ko) 2019-03-15 2019-03-15 편집 지원 프로그램, 편집 지원 방법 및 편집 지원 장치
PCT/JP2019/010793 WO2020188622A1 (ja) 2019-03-15 2019-03-15 編集支援プログラム、編集支援方法、及び編集支援装置
CN201980093895.9A CN113544772A (zh) 2019-03-15 2019-03-15 编辑支持程序、编辑支持方法和编辑支持装置
JP2021506790A JP7180747B2 (ja) 2019-03-15 2019-03-15 編集支援プログラム、編集支援方法、及び編集支援装置
EP19920221.9A EP3940695A4 (en) 2019-03-15 2019-03-15 EDITING SUPPORT PROGRAM, EDITING SUPPORT METHOD AND EDITING SUPPORT DEVICE
US17/412,472 US20210383813A1 (en) 2019-03-15 2021-08-26 Storage medium, editing support method, and editing support device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/010793 WO2020188622A1 (ja) 2019-03-15 2019-03-15 編集支援プログラム、編集支援方法、及び編集支援装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/412,472 Continuation US20210383813A1 (en) 2019-03-15 2021-08-26 Storage medium, editing support method, and editing support device

Publications (1)

Publication Number Publication Date
WO2020188622A1 true WO2020188622A1 (ja) 2020-09-24

Family

ID=72520594

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/010793 WO2020188622A1 (ja) 2019-03-15 2019-03-15 編集支援プログラム、編集支援方法、及び編集支援装置

Country Status (6)

Country Link
US (1) US20210383813A1 (ja)
EP (1) EP3940695A4 (ja)
JP (1) JP7180747B2 (ja)
KR (1) KR20210132115A (ja)
CN (1) CN113544772A (ja)
WO (1) WO2020188622A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022126454A (ja) * 2021-02-18 2022-08-30 富士通株式会社 表示制御プログラム、表示制御装置および表示制御方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014038132A (ja) 2012-08-10 2014-02-27 Toshiba Corp 情報処理装置、プログラム、及び情報処理方法
JP2016062071A (ja) * 2014-09-22 2016-04-25 株式会社東芝 電子機器、方法およびプログラム
US20170075652A1 (en) * 2015-09-14 2017-03-16 Kabushiki Kaisha Toshiba Electronic device and method

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5173854A (en) * 1984-06-11 1992-12-22 Tandem Computers Incorporated Distributed text editing system with remote terminal transmits successive audit messages each identifying individual editing operation
US5347295A (en) * 1990-10-31 1994-09-13 Go Corporation Control of a computer through a position-sensed stylus
JP3039204B2 (ja) * 1993-06-02 2000-05-08 キヤノン株式会社 文書処理方法及び装置
US6535848B1 (en) * 1999-06-08 2003-03-18 International Business Machines Corporation Method and apparatus for transcribing multiple files into a single document
JP5353835B2 (ja) * 2010-06-28 2013-11-27 ブラザー工業株式会社 情報処理プログラムおよび情報処理装置
WO2012127592A1 (ja) * 2011-03-18 2012-09-27 富士通株式会社 通話評価装置、通話評価方法
JP5779032B2 (ja) 2011-07-28 2015-09-16 株式会社東芝 話者分類装置、話者分類方法および話者分類プログラム
CN102915728B (zh) * 2011-08-01 2014-08-27 佳能株式会社 声音分段设备和方法以及说话者识别系统
US9460722B2 (en) * 2013-07-17 2016-10-04 Verint Systems Ltd. Blind diarization of recorded calls with arbitrary number of speakers
JP6716300B2 (ja) 2016-03-16 2020-07-01 株式会社アドバンスト・メディア 議事録生成装置、及び議事録生成プログラム
KR101818980B1 (ko) * 2016-12-12 2018-01-16 주식회사 소리자바 다중 화자 음성 인식 수정 시스템
JP6548045B2 (ja) * 2017-03-31 2019-07-24 本田技研工業株式会社 会議システム、会議システム制御方法、およびプログラム
US10468031B2 (en) * 2017-11-21 2019-11-05 International Business Machines Corporation Diarization driven by meta-information identified in discussion content

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014038132A (ja) 2012-08-10 2014-02-27 Toshiba Corp 情報処理装置、プログラム、及び情報処理方法
JP2016062071A (ja) * 2014-09-22 2016-04-25 株式会社東芝 電子機器、方法およびプログラム
US20170075652A1 (en) * 2015-09-14 2017-03-16 Kabushiki Kaisha Toshiba Electronic device and method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3940695A4

Also Published As

Publication number Publication date
KR20210132115A (ko) 2021-11-03
US20210383813A1 (en) 2021-12-09
EP3940695A4 (en) 2022-03-30
EP3940695A1 (en) 2022-01-19
JPWO2020188622A1 (ja) 2021-10-14
CN113544772A (zh) 2021-10-22
JP7180747B2 (ja) 2022-11-30

Similar Documents

Publication Publication Date Title
JP6074050B2 (ja) 音声検索システム、音声検索方法、及びコンピュータ読み取り可能な記憶媒体
KR20140022824A (ko) 오디오 상호작용 메시지 교환
CN101467142A (zh) 在车辆中从数字媒体存储设备提取元数据以用于媒体选择的系统和方法
JP2011102862A (ja) 音声認識結果管理装置および音声認識結果表示方法
JP2016157225A (ja) 音声検索装置、音声検索方法及びプログラム
US20220093103A1 (en) Method, system, and computer-readable recording medium for managing text transcript and memo for audio file
JP2016102920A (ja) 文書記録システム及び文書記録プログラム
JP3940723B2 (ja) 対話情報分析装置
KR102036721B1 (ko) 녹음 음성에 대한 빠른 검색을 지원하는 단말 장치 및 그 동작 방법
WO2020188622A1 (ja) 編集支援プログラム、編集支援方法、及び編集支援装置
JP3896760B2 (ja) 対話記録編集装置、方法及び記憶媒体
WO2010146869A1 (ja) 編集支援システム、編集支援方法および編集支援プログラム
JP2013092912A (ja) 情報処理装置、情報処理方法、並びにプログラム
JP2020052262A (ja) 修正候補提示方法、修正候補提示プログラムおよび情報処理装置
JP5929879B2 (ja) 音声出力装置、プログラム、及び音声出力方法
JP6836330B2 (ja) 情報処理プログラム、情報処理装置及び情報処理方法
JP2022061932A (ja) アプリとウェブサイトの連動によって音声ファイルに対するメモを作成する方法、システム、およびコンピュータ読み取り可能な記録媒体
JP7344612B1 (ja) プログラム、会話要約装置、および会話要約方法
KR102377038B1 (ko) 화자가 표지된 텍스트 생성 방법
KR101576683B1 (ko) 히스토리 저장모듈을 포함하는 오디오 재생장치 및 재생방법
CN114385109B (zh) 音频播放的处理方法、装置、电子设备及存储介质
US20240163374A1 (en) Speech reproduction control system, speech reproduction control method and non-transitory computer-readable recording medium encoded with speech reproduction control program
US20220391438A1 (en) Information processing apparatus, information processing method, and program
JP2022052695A (ja) 音声ファイルに対するテキスト変換記録とメモをともに管理する方法、システム、およびコンピュータ読み取り可能な記録媒体
JP2023164835A (ja) 情報処理システム、プログラム及び情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19920221

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021506790

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20217030247

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2019920221

Country of ref document: EP