WO2017038794A1 - 音声認識結果表示装置、音声認識結果表示方法、音声認識結果表示プログラム - Google Patents
音声認識結果表示装置、音声認識結果表示方法、音声認識結果表示プログラム Download PDFInfo
- Publication number
- WO2017038794A1 WO2017038794A1 PCT/JP2016/075271 JP2016075271W WO2017038794A1 WO 2017038794 A1 WO2017038794 A1 WO 2017038794A1 JP 2016075271 W JP2016075271 W JP 2016075271W WO 2017038794 A1 WO2017038794 A1 WO 2017038794A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- keyword
- recognition result
- voice
- client terminal
- character string
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 21
- 238000000605 extraction Methods 0.000 claims abstract description 34
- 239000000284 extract Substances 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 3
- 230000007717 exclusion Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
Definitions
- Embodiments of the present invention relate to a speech recognition result display device, a speech recognition result display method, and a speech recognition result display program.
- a technology has been provided in which voice data input from a client (smart phone, PC, etc.) terminal is recognized as voice and converted into text, and displayed as a recognition result on the display screen of the client terminal.
- a technique for displaying utterances in a conference or the like with a time axis in time series, or distinguishing and displaying speech sections and silent sections is also provided.
- the problem to be solved by the present invention is that a series of utterances made in the past can be confirmed by a simple method based on automatically extracted keywords and the conversation theme, agenda, etc. of each time zone can be confirmed. It is to provide a recognition result display device.
- the speech recognition result display device includes a keyword extracting unit that extracts a character string included in speech text data at a predetermined timing from speech text data that is a result of speech recognition processing on speech data, speech text data, and keyword
- a storage unit that records the character string extracted by the extraction unit and a character string extracted from the speech text data at a predetermined time designated by the client terminal are searched from the storage unit based on a display request for the speech recognition result from the client terminal.
- a keyword search means, and the character string searched by the keyword search means is displayed as a keyword on the client terminal screen.
- FIG. 1 is a block diagram showing an overall configuration of a voice recognition result display system according to a first embodiment.
- the figure which shows an example of the speech recognition result displayed on the screen of the user terminal which concerns on 1st Embodiment The figure which shows the flow of the speech text data display process of the voice recognition result which concerns on 1st Embodiment.
- FIG. 1 is a block diagram showing the overall configuration of the speech recognition result display system according to the first embodiment.
- the voice recognition display system includes a user terminal (client terminal) 100, a voice recognition result display device 200, and a voice recognition server 300, which are connected via a network 400.
- the voice recognition server 300 includes an input unit 301, a voice recognition processing unit 302, and an output unit 303.
- the voice recognition server 300 receives voice data input from the user terminal 100 via the voice recognition result display device 200.
- the processed speech recognition result (speech text data) is transmitted to the speech recognition result display device 200.
- the user terminal 100 is, for example, a smartphone, a tablet, a PC, or the like, and includes an input / output unit 101, a display control unit 102, and a display unit 103.
- the input / output unit 101 sends to the voice recognition result display device 200 a request for transmission of a voice from a microphone (not shown), a transmission request for a voice recognition result displayed on the display unit 103, a display switching for the voice recognition result displayed on the screen based on the request. Send.
- the display unit 103 displays the recognition result for the voice transmitted from the input / output unit 101 to the voice recognition result display device 200.
- the voice data transmitted from the input / output unit 101 to the voice recognition result display device 200 is transmitted together with identification information for identifying a speaker and an utterance time.
- the transmission request information of the voice recognition result displayed on the display unit 103 transmitted from the input / output unit 101 includes the date and time indicating the display request range.
- the date and time indicating the display request range is acquired based on a user (client) operation on a screen displayed when the user terminal 100 as illustrated in FIG. 2 is activated. For example, it is possible to display a time axis starting from a time point of starting based on a clock incorporated in the user terminal 100, and to obtain a date and time indicating a display request range based on a user operation on the displayed time axis.
- FIG. 2 is an example of a screen displayed when the user terminal 100 is activated.
- the time axis 501 displayed on the screen 500 is from 13:00 to 15:00 on July 31, 2015, and the time designated by the operation of the pointer 502 by the user is 14 It's time.
- the user terminal 100 specifies a display request range requested to the speech recognition result display device 200 from the time axis 501 displayed on the screen 500 when the user operates the pointer 502 specifying 14:00, and displays the display request range.
- Time information for specifying the requested range is transmitted from the input / output unit 101 to the speech recognition result apparatus 200.
- the time information specifying the display range is from 13:00 on July 31, 2015 to 15:00.
- the display range of the time axis 501 shown in FIG. 2 can be switched to a predetermined range such as one day, half day, and one hour by an operation on the user terminal 100.
- the operation for the display range on the user terminal 100 is an example of 2 hours.
- the display control unit 102 controls the display unit 103 to display the speech recognition result requested to be transmitted to the speech recognition result display device 200 via the input / output unit 101.
- the display content and the display position are adjusted based on information indicating the keyword and display position received as display target information from the speech recognition result display apparatus 200 and displayed on the display unit 103.
- the voice recognition result display device 200 includes a voice data input unit 201, a voice data output unit 202, a keyword extraction unit 203, a keyword importance calculation unit 204, a storage unit 205, and a keyword search unit 206.
- the voice data input unit 201 receives the voice data transmitted from the input / output unit 101 of the user terminal 100, registers it in the storage unit 205, and recognizes the voice data for voice recognition processing in the voice recognition server 300. Send to server 300.
- the result (voice text data) processed by the voice recognition processing unit 302 of the voice recognition server 300 is received and registered in the storage unit 205.
- FIG. 3 is a diagram illustrating a registration example of audio data registered in the storage unit 205.
- the voice data input from the user terminal 100 is registered together with identification information for specifying a speaker and an utterance time. Furthermore, the results of recognition processing performed by the voice recognition server 300 are registered in association with each other.
- the voice data output unit 202 searches for and acquires voice data registered in the storage unit 205 via the voice data input unit 201 in response to a request from the user terminal 100, and transmits the voice data to the user terminal 100.
- the user terminal 100 can reproduce sound by receiving sound data.
- the keyword extraction unit 203 extracts a character string included in the speech recognition result registered in the storage unit 205, and specifies a character string to be a keyword displayed on the user terminal 100.
- the part of speech of the character string to be extracted may be any part of speech that can be a keyword, for example, a noun or a verb.
- FIG. 4 shows the result of keyword extraction.
- the keyword extraction unit 203 executes the extraction of the character string as a keyword at a preset time interval (once a day, once a half day, once an hour, etc.).
- the keyword extraction execution result is recorded in the storage unit 205 together with the extracted time, using the extracted character string as a keyword.
- FIG. 4 shows an example in which a character string serving as a keyword extracted between 13:00 and 15:00 on July 31, 2015 is recorded.
- the character string “Tokyo” is extracted at 13:05 on July 31, 2015.
- the homework string is extracted at 14:40 on July 31, 2015
- the setting string is extracted at 13:15 on July 31, 2015
- the education string is extracted at 14:00 on July 31, 2015. It has been shown.
- the number of appearances is counted instead of being recorded each time, and is reflected in the weight by the keyword importance calculation unit 205 described later. To do.
- search range for keyword extraction varies depending on the execution timing of the keyword extraction unit described above, such as one day, half a day, one hour, and the like.
- the keyword extraction unit 203 automatically extracts a character string from the recognition result of the voice data registered in the storage unit 205 and specifies the keyword.
- the user registers a specific keyword in advance, When the extraction unit 203 is executed, it is searched whether or not a keyword registered by the user is included, and the number of occurrences of the keyword may be counted in the same manner as described above.
- the keyword importance calculation unit 204 calculates a weight based on the number of appearances of the character string extracted by the keyword extraction unit 203, and sets the calculated result as a weight for the extracted character string as shown in FIG.
- This weighting is not limited to the number of appearances. For example, in the processing of the keyword extraction unit 203, when a plurality of the same character strings are included in one utterance of voice data for a predetermined time, or the utterance of one user If the same character string is included in the utterances of multiple people, or if the same character string is included in all of the voice data for a predetermined time, even if the appearance place in the utterance is considered Good.
- An important keyword can be extracted from the extracted character string by weighting based on the appearance frequency. Note that the user may set the weighting as well as the keyword extraction.
- the storage unit 205 includes voice data input from the voice data input unit 201, text data of a voice recognition result processed by the voice recognition server 300, keywords extracted by the keyword extraction unit 203, a keyword importance degree calculation unit 204, and the like. Record the calculated weight.
- the keyword search unit 206 searches the keyword extracted by the keyword extraction unit 203 in response to a display request for the speech recognition result from the input / output unit 101 of the user terminal 100, and displays the keyword on the display unit 103 of the user terminal 100 based on the result. Display keywords.
- the keyword search unit 206 receives the date / time indicating the display request range from the input / output unit 101 of the user terminal 100, the keyword search unit 206 refers to the keyword extraction result shown in FIG. 4 and the date / time indicating the display request range transmitted from the user terminal 100.
- the keywords are extracted, and the keywords included in the display request range transmitted from the user terminal 100 are specified.
- the keyword search unit 206 refers to the time at which the keyword extraction result keyword shown in FIG. 4 is extracted, and includes keywords “Tokyo”, “homework”, “ Specify “setting” and “education”. Then, as a result of the display request from the user terminal 100, the keyword, keyword extraction time, and weight are transmitted to the user terminal 100.
- the input / output unit 101 of the user terminal 100 receives the information, and the display control unit 102 displays the information on the display unit 103.
- FIG. 5 is a diagram showing a display example of a result of search by the keyword search unit 206.
- FIG. 5 shows that the above-described keyword search unit 206 searches the search range from 13:00 to 15:00 on July 31, 2015, and displays four extracted keywords (Tokyo, homework, setting, education). .
- each keyword is displayed with its display size and display format changed based on the weight value set for the keyword.
- the weights of the four keywords are 0.95 for “Tokyo”, 1.0 for “homework”, 0.3 for “setting”, and 0.32 for “education”.
- the weight is a numerical value between 0 and 1, and a value closer to 1 indicates that the keyword is more important, and the “homework” with the largest weight value is changed from the other keywords.
- the other three keywords are all displayed in a circular shape, but the importance is changed by changing the size of the circle according to the weight value.
- the display shape is an example, and a display method such as changing the color can be used as long as a keyword having a high importance can be identified from a plurality of keywords. These display methods do not matter.
- the display position of each keyword is determined based on the time when the keyword shown in FIG. 4 is extracted.
- “Tokyo” is 13:05 on July 31, 2015, and is displayed around 13:05 as shown in FIG.
- “Homework” is around 14:40 on July 31, 2015
- “Setting” is around 13:15 on July 31, 2015
- “Education” is 14 on July 31, 2015. Displayed near the hour. From this display, it can be seen that the utterances from 13:00 to 15:00 on July 31, 2015 include many utterances that include homework as keywords, and many utterances that include homework as keywords around 14:40. .
- the keyword extraction unit 203 of the speech recognition result display apparatus 200 automatically extracts keywords from the speech data and displays the extracted keywords on the user terminal 100.
- the number of keywords is large Since the number of keywords that can be displayed on the display screen of the user terminal 100 is limited, there is a possibility that keywords with low weights may not be displayed on the screen. Therefore, the user may be allowed to set a keyword that is not required by the user to be excluded from the display target. The method will be briefly described with reference to FIGS.
- FIG. 6 is a diagram showing the result of keyword extraction, and the same keyword extraction result as FIG. 4 although the registered keywords are different. Although five extracted keywords are registered as shown in FIG. 6, there are four keywords that can be displayed as shown in FIG. 7 because of the display area relationship of the display unit 103 of the user terminal 100. Therefore, “setting” which is the keyword with the lowest weight is not displayed.
- FIG. 8 by setting a keyword to be excluded from the display target, even if the weight is high, if it is registered as an excluded keyword, it is excluded from the display target, and instead of the weight that could not be displayed. Display high keywords.
- FIG. 9 is an example in which play is registered as an exclusion target keyword, and “setting” is displayed instead of “play” based on this exclusion setting.
- FIG. 10 is a diagram illustrating a processing flow of the speech recognition result display system according to the first embodiment.
- the user terminal 100 transmits the user's utterance (voice data) from a microphone or the like from the input / output unit 101 to the voice recognition result display device 200 together with identification information for specifying the speaker and the utterance time (step S1).
- the speech recognition result display device 200 transmits the speech data received by the speech data input unit 201 to the speech recognition server 300, and records the speech data, identification information for identifying the speaker, and speech time in the storage unit 205 (step S2). ).
- the speech recognition server 300 executes recognition processing of the speech data received by the input unit 301 by the speech recognition processing unit 302 and transmits the recognition result text data to the speech recognition result display device 200 (step S3).
- the voice recognition result display device 200 records the voice text data of the recognition result received from the voice recognition server 300 in association with the voice data recorded in step S1 (step S4).
- the speech recognition result display device 200 searches for a character string included in the speech text data recorded in the storage unit 205 at a time interval preset by the keyword extraction unit 203.
- the character string extracted as the search result is recorded in the storage unit 205 together with the time when the character string is extracted.
- the number of appearances is counted and recorded (step S5).
- the keyword importance calculation unit 204 of the speech recognition result display apparatus 200 sets a weight for each character string based on the appearance frequency of the character string with respect to the character string extracted in step S5 (step S6).
- the user terminal 100 transmits a keyword search request including date / time information indicating a display request range from the input / output unit 101 to the voice recognition result display device 200 based on a keyword display request operation of the voice recognition result by the user (step S7). .
- the voice recognition result display apparatus 200 Based on the date and time indicating the display request range of the keyword search request received from the user terminal 100, the voice recognition result display apparatus 200 extracts the request date and time when the character string (keyword) recorded in the storage unit 205 in the process of step S5 is extracted. The keywords extracted in the range of the request date are specified by comparison. Then, the specified keyword, keyword extraction time, and the weight set in step S6 are transmitted to the user terminal 100 (step S8).
- the user terminal 100 adjusts the display position of the keyword received from the speech recognition result display device 200 by the input / output unit 101 from the keyword extraction time by the display control unit 102, adjusts the display size from the weight, and displays the display unit. It is displayed on 203 (step S9).
- FIG. 11 is a diagram showing an example of a keyword display of the voice recognition result.
- FIG. 12 is a diagram illustrating an example of a display in which a speech recognition result corresponding to a keyword is added by a user operation on the display of FIG.
- FIG. 11 shows a search result (keyword) based on a request from the user terminal 100 searched by the keyword search unit 206 of the speech recognition result display device 200.
- the display screen 600 of the user terminal 100 displays keywords included in the utterances from 10:00 to 12:00 on July 31, 2015. A business trip is displayed as a keyword on Friday, and a pointer 602 operated by the user indicates 11:00.
- the position of the pointer 602 on the time axis is transmitted from the user terminal 100 to the speech recognition result display device 200 as needed by the user's operation of moving the pointer 602 on the time axis 601.
- the speech recognition result device 200 refers to the speech time recorded in the storage unit 205 together with the speech data shown in FIG. 3, and performs speech when there is speech for the time indicated by the pointer received from the user terminal 100.
- the user information and the content of the utterance are transmitted to the user terminal 100 and displayed.
- FIG. 12 shows a display example of this search result.
- the display control unit 102 performs control based on the search result information received by the user terminal 100 from the speech recognition result display device 200, and the utterance content 603 including the keyword (Friday) is displayed on the display unit 103. Is displayed at a position corresponding to the spoken time. In the utterance content, the utterer, the utterance time, and the utterance content are displayed. The display content is an example, and the summary may be displayed instead of the utterance content, or other information may be displayed. In the above, the time is selected by the pointer, and the information of the utterance performed at the time is displayed, but the user terminal 100 is selected by the user selecting by touching a keyword on the screen or the like.
- the keyword information can be transmitted to the speech recognition result display device 200. Then, the speech recognition result display apparatus 200 searches the user terminal 100 for an utterance including the keyword from the speech recognition result (speech text data) recorded in the storage unit 205 together with the speech data shown in FIG.
- the utterance information may be displayed in a form such as a balloon on the time axis of the screen of the user terminal 100 by transmitting information including the utterance time concerning the utterance.
- keywords that are not selected by the user's operation may be displayed in gray out or selected keywords may be highlighted, for example, so that the selected keywords are not distinguished from the unselected keywords. .
- FIGS. FIG. 13 and FIG. 14 show an example of displaying the utterance amount in the time zone displayed on the screen together with the keyword display of the voice recognition result.
- FIG. 13 and 14 show search results (keywords) based on a request from the user terminal 100 by the keyword search unit 206 of the speech recognition result display apparatus 200.
- FIG. 5 illustrates a display example in which only keywords are displayed, but in FIG. 13 there are many utterances by changing the height of the triangle to the number of utterances included in the range of the time axis (601) displayed on the user terminal 100.
- the time zone is visualized (speech number information 604).
- FIG. 14 represents the number of utterances in each time zone using a line graph (utterance number information 605) instead of a triangular display.
- the date and time indicating the display request range received from the user terminal 100 in parallel with the keyword search in the keyword search unit 206 in the processing of the speech recognition result display apparatus 200 in response to the keyword search request from the user terminal 100 3 is searched based on the utterance time recorded in the storage unit 205 together with the voice data shown in FIG. 3, and the number of records of the voice data included in the display request range is counted, and a predetermined time unit (for example, a unit of 30 minutes) is counted.
- the number of records is transmitted to the user terminal 100.
- the user terminal 100 displays the result adjusted by the display control unit 102 on the display unit 103 based on the information received from the voice recognition result display device 200.
- FIG. 15 is a diagram illustrating a processing flow of voice recognition result display according to the first embodiment.
- the user terminal 100 transmits the date and time corresponding to the display position of the specified keyword and the specified keyword to the voice recognition result device 200 in accordance with the user specifying operation for the keyword acquired from the voice recognition result display device 200 displayed on the display unit 103.
- the speech recognition result display apparatus 200 uses speech text data corresponding to speech data uttered at the date and time recorded in the storage unit 205 based on the specified keyword and date and time received from the user terminal 100 by the keyword search unit 206.
- Voice text data including the specified keyword is searched (step S12).
- the voice text data including the designated keyword is transmitted to the user terminal 100 together with accompanying information such as a speaker and a speech time (step S13).
- the user terminal 100 adjusts the display position as data including a keyword specifying the voice text data received from the voice recognition result display device 200 by the display control unit 102, and displays it near the specified keyword displayed on the display unit 103. To do.
- FIG. 16 is an example of a keyword search screen 700 for searching for a target keyword from past keywords.
- a keyword input area 701 to be searched is provided at the top of the screen, and a display area 702 including a time axis 702a in units of months as the vertical axis and a time axis 702b in units of time as the horizontal axis.
- the month to be displayed can be selected by scrolling the screen vertically.
- the display can be switched between 12-hour display and 24-hour display by pinching in / out the screen, and the display time zone (0-12 o'clock / 12-12 o'clock) by scrolling horizontally during 12-hour display Can be switched.
- a display request for a speech recognition result including the input keyword and the month / time indicating the selected display request range is displayed in the speech recognition result display device. 200.
- the keyword search unit 206 searches the keyword extracted by the keyword extraction unit 203 for a corresponding keyword within the display request range, and transmits the search result to the user terminal 100. .
- the input / output unit 101 of the user terminal 100 receives the search result, and the display control unit 102 displays a screen as shown in FIG.
- a circle is displayed at the month / hour where the input keyword (“business trip” in the example of FIG. 16) is spoken.
- the size of the circle represents the number of utterances including the searched keyword. The larger the number of utterances, the larger the circle is displayed, and the smaller the number of utterances, the smaller the circle is displayed. Further, when a circle mark displayed in the display area 702 is touched, a keyword list for that time period as shown in FIG. 2 can be displayed.
- the speech recognition result can be displayed as a keyword with the character string included in the utterance for each time period, and it is easy to determine what theme and topic utterance occurred in which time period. Can grasp.
- weighting is performed according to the number of keywords included in the utterance (appearance frequency), so that the display size and shape of the keyword can be changed, and the utterance related to the displayed keyword can be displayed. You can easily grasp the concentrated time zone.
- the utterance content including the keyword displayed by the operation on the screen can be displayed, the specific utterance content can be easily grasped.
- the number of utterances for each time zone can be displayed, which makes it easy to actively discuss time zones during meetings, etc. Can grasp.
- the user can set keywords to be displayed, even when the number of keywords that can be displayed is limited due to the relationship with the display area, only necessary keywords can be displayed. .
- the display of the speech recognition result is controlled by the user terminal 100, but may be executed by the speech recognition result display device 200.
- the method described in the above embodiment is a program that can be executed by a computer as a magnetic disk (floppy (registered trademark) disk, hard disk, etc.), optical disk (CD-ROM, DVD, etc.), magneto-optical disk ( MO), and can be stored and distributed in a storage medium such as a semiconductor memory.
- a magnetic disk floppy (registered trademark) disk, hard disk, etc.
- optical disk CD-ROM, DVD, etc.
- MO magneto-optical disk
- the storage format may be any form.
- an OS operating system
- MW middleware
- database management software network software, and the like
- the storage medium in the present embodiment is not limited to a medium independent of a computer, but also includes a storage medium in which a program transmitted via a LAN or the Internet is downloaded and stored or temporarily stored.
- the number of storage media is not limited to one, and the case where the processing in the present embodiment is executed from a plurality of media is also included in the storage medium in the present embodiment, and the medium configuration may be any configuration.
- the computer according to the present embodiment executes each process according to the present embodiment based on a program stored in a storage medium, and a single device such as a personal computer or a plurality of devices are connected to a network. Any configuration such as a system may be used.
- each storage device of the present embodiment may be realized by one storage device or a plurality of storage devices.
- the computer in this embodiment is not limited to a personal computer, but includes a processing unit, a microcomputer, and the like included in an information processing device, and is a general term for devices and devices that can realize the functions of this embodiment by a program. ing.
- DESCRIPTION OF SYMBOLS 100 User terminal 101 ... Input / output part 102 ... Display control part 103 ... Display part 200 ... Voice recognition result display apparatus 201 ... Voice data input part 202 ... Voice data output part 203 ... Keyword extraction part 204 ... Keyword importance calculation part 205 ... storage section 206 ... keyword search section 300 ... voice recognition server 301 ... input section 302 ... voice recognition processing section 303 ... output section 400 ... networks 500, 600, 700 ... voice recognition result display screens 501 and 601 ... time axes 502 and 602 ... Operation pointer 603 ... Speech information 604, 605 ... Speech number information
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】過去に行われた一連の発話に関して、自動抽出されたキーワードをベースに、各時間帯の会話のテーマ、議題などを簡易な方法で確認することができる音声認識結果表示装置を提供することである。 【解決手段】実施形態の音声認識結果表示装置は、音声データに対する音声認識処理の結果である音声テキストデータから、所定のタイミングで音声テキストデータに含まれる文字列を抽出するキーワード抽出手段と、音声テキストデータ、キーワード抽出手段で抽出した文字列を記録する記憶部と、クライアント端末からの音声認識結果の表示要求に基づき、クライアント端末から指定された所定時間における音声テキストデータから抽出した文字列を記憶部から検索するキーワード検索手段とを有し、キーワード検索手段で検索された文字列をキーワードとしてクライアント端末画面に表示する。
Description
本発明の実施形態は音声認識結果表示装置、音声認識結果表示方法、音声認識結果表示プログラムに関する。
従来より、クライアント（スマートフォン、PCなど）端末から入力された音声データを音声認識してテキストに変換し、クライアント端末の表示画面に認識結果として表示する技術が提供されている。例えば会議等における発話を時系列に時間軸と共に表示したり、発話区間と無音区間を区別して表示する技術も提供されている。
本発明が解決しようとする課題は、過去に行われた一連の発話に関して、自動抽出されたキーワードをベースに、各時間帯の会話のテーマ、議題などを簡易な方法で確認することができる音声認識結果表示装置を提供することである。
実施形態の音声認識結果表示装置は、音声データに対する音声認識処理の結果である音声テキストデータから、所定のタイミングで音声テキストデータに含まれる文字列を抽出するキーワード抽出手段と、音声テキストデータ、キーワード抽出手段で抽出した文字列を記録する記憶部と、クライアント端末からの音声認識結果の表示要求に基づき、クライアント端末から指定された所定時間における音声テキストデータから抽出した文字列を記憶部から検索するキーワード検索手段とを有し、キーワード検索手段で検索された文字列をキーワードとしてクライアント端末画面に表示する。
（第１の実施形態）
以下、本発明の第１の実施形態について図面を参照して説明する。
以下、本発明の第１の実施形態について図面を参照して説明する。
図１は第１の実施形態に係る音声認識結果表示システムの全体構成を示すブロック図である。図１に示すように、音声認識表示システムは、ユーザー端末（クライアント端末）１００、音声認識結果表示装置２００、音声認識サーバー３００で構成され、それぞれネットワーク４００を介して接続される。音声認識サーバー３００は、入力部３０１、音声認識処理部３０２、出力部３０３を備え、ユーザー端末１００から入力された音声データを音声認識結果表示装置２００を介して受信し、音声認識処理部３０２で処理した音声認識結果（音声テキストデータ）を音声認識結果表示装置２００に送信する。
ユーザー端末１００は、例えばスマートフォン、タブレット、ＰＣ等であり、入出力部１０１、表示制御部１０２、表示部１０３を備える。入出力部１０１は図示しないマイクからの音声、表示部１０３に表示する音声認識結果の送信要求、当該要求に基づき画面表示された音声認識結果に対する表示切替え等の要求を音声認識結果表示装置２００に送信する。表示部１０３は、入出力部１０１から音声認識結果表示装置２００に送信した音声に対する認識結果を表示する。
入出力部１０１から音声認識結果表示装置２００に送信される音声データは、発話者を特定するための識別情報及び発話時間と共に送信される。また、入出力部１０１から送信される表示部１０３に表示する音声認識結果の送信要求情報には、表示要求範囲を示す日時が含まれる。この表示要求範囲を示す日時は、図２に示すようなユーザー端末１００を起動した際に表示される画面に対するユーザー(クライアント)操作に基づいて取得する。例えば、ユーザー端末１００に内蔵される時計に基づき起動した時点を起点とする時間軸を表示し、表示された時間軸に対するユーザー操作に基づいて、表示要求範囲を示す日時を取得することができる。
図２はユーザー端末１００が起動された時に表示される画面の一例である。図２に示す表示例において、画面５００に表示されている時間軸５０１は、２０１５年７月３１日の１３時から１５時となっており、ユーザーがポインタ５０２の操作で指定した時間は、１４時となっている。ユーザー端末１００はユーザーが１４時を指定するポインタ５０２の操作に伴い、操作した時点で画面５００に表示されている時間軸５０１から音声認識結果表示装置２００に要求する表示要求範囲を特定し、表示要求範囲を特定する時間情報を入出力部１０１から音声認識結果装置２００に送信する。図２の例においては、表示範囲を特定する時間情報は、２０１５年７月３１日の１３時から１５時となる。尚、図２に示す時間軸５０１の表示範囲はユーザー端末１００における操作により１日、半日、１時間等所定の範囲に切替えができる。図２では、ユーザー端末１００における表示範囲に対する操作が２時間の例となっている。
表示制御部１０２は、入出力部１０１を介して音声認識結果表示装置２００に送信要求した音声認識結果を表示部１０３に表示するために制御する。本実施形態では、音声認識結果表示装置２００から表示対象情報として受信したキーワードや表示位置を示す情報に基づき表示内容や表示位置を調整し表示部１０３に表示する。
音声認識結果表示装置２００は、音声データ入力部２０１、音声データ出力部２０２、キーワード抽出部２０３、キーワード重要度算出部２０４、記憶部２０５、キーワード検索部２０６を備える。
音声データ入力部２０１は、ユーザー端末１００の入出力部１０１から送信された音声データを受信し、記憶部２０５に登録すると共に、音声認識サーバー３００で音声認識処理をするために音声データを音声認識サーバー３００に送信する。また、音声認識サーバー３００の音声認識処理部３０２で処理された結果（音声テキストデータ）を受信し、記憶部２０５に登録する。
図３は、記憶部２０５に登録される音声データの登録例を示す図である。図３に示すように、ユーザー端末１００から入力された音声データは発話者を特定するための識別情報及び発話時間と共に登録される。更に、音声認識サーバー３００で認識処理された結果が対応付けて登録される。
音声データ出力部２０２は、音声データ入力部２０１を介して記憶部２０５に登録された音声データを、ユーザー端末１００からの要求に応じて検索して取得し、ユーザー端末１００に送信する。ユーザー端末１００は、音声データを受信することで音声の再生が可能となる。
キーワード抽出部２０３は、記憶部２０５に登録された音声認識結果に含まれる文字列を抽出し、ユーザー端末１００に表示するキーワードとなる文字列を特定する。抽出する文字列の品詞は、キーワードになり得る品詞であればよく、例えば名詞や動詞が該当する。
図４はキーワード抽出の結果を示す図である。キーワードとなる文字列の抽出は、予め設定された時間間隔（１日に１回、半日に１回、１時間に１回など）でキーワード抽出部２０３が実行する。キーワード抽出の実行結果は、図４に示すように、抽出した文字列をキーワードとし、抽出した時間と共に記憶部２０５に記録する。図４は２０１５年７月３１日の１３時から１５時の間に抽出されたキーワードとなる文字列を記録した例である。図４に示すように、東京という文字列が２０１５年７月３１日の１３時５分に抽出されたことを示している。宿題という文字列は２０１５年７月３１日の１４時４０分、設定という文字列は２０１５年７月３１日の１３時１５分、教育という文字列は２０１５年７月３１日の１４時にそれぞれ抽出されたことを示している。例えば、東京という文字列がキーワード抽出部２０３の１回の実行動作で複数回抽出された場合は、都度記録するのではなく出現回数をカウントし、後述するキーワード重要度算出部２０５により重みに反映する。
また、キーワード抽出の検索範囲は上記のキーワード抽出部の実行のタイミングとの関係により、検索対象が１日分、半日分、１時間分等様々となる。
ここではキーワード抽出部２０３が記憶部２０５に登録された音声データの認識結果から自動的に文字列を抽出してキーワードを特定する方法を説明したが、ユーザーが予め特定のキーワードを登録し、キーワード抽出部２０３を実行した際に、ユーザーにより登録されたキーワードが含まれるか否かを検索し、上記と同様、キーワードの出現回数をカウントするようにしてもよい。
キーワード重要度算出部２０４は、キーワード抽出部２０３で抽出した文字列の出現回数に基づき重みを計算し、算出した結果を図４に示すように、抽出された文字列に対する重み付けとして設定する。この重み付けは、出現回数のみでなく例えば、キーワード抽出部２０３の処理において、所定時間分の音声データのうち１つの発話の中に同じ文字列が複数含まれている場合や、一人のユーザーの発話のみに含むのではなく、複数人の発話に同じ文字列が含まれる場合や、所定時間分の音声データの全てに同じ文字列が含まれる場合等、発話の中の出現場所も加味してもよい。出現頻度に基づき重み付けをすることで抽出した文字列の中から重要なキーワードの抽出が可能となる。尚、キーワードの抽出と同様に、重み付けについてもユーザーが設定するようにしてもよい。
記憶部２０５は、音声データ入力部２０１から入力された音声データ、音声認識サーバー３００で処理された音声認識結果のテキストデータ、キーワード抽出部２０３で抽出されたキーワード、キーワード重要度算出部２０４等で算出した重みを記録する。
キーワード検索部２０６は、ユーザー端末１００の入出力部１０１からの音声認識結果の表示要求に応じて、キーワード抽出部２０３で抽出したキーワードを検索し、その結果に基づきユーザー端末１００の表示部１０３にキーワードを表示させる。キーワード検索部２０６は、ユーザー端末１００の入出力部１０１から表示要求範囲を示す日時を受信すると、図４に示すキーワード抽出結果を参照し、ユーザー端末１００から送信された表示要求範囲を示す日時と、キーワードが抽出された時間を比較し、ユーザー端末１００から送信された表示要求範囲に含まれるキーワードを特定する。例えば、ユーザー端末１００の入出力部１０１から、表示要求範囲として２０１５年７月３１日の１３時から１５時を受信した場合を例に説明する。キーワード検索部２０６は、図４に示すキーワード抽出結果のキーワードが抽出された時間を参照し、２０１５年７月３１日の１３時から１５時に含まれるキーワードとして、「東京」、「宿題」、「設定」、「教育」を特定する。そして、ユーザー端末１００からの表示要求に対する結果として、キーワード、キーワード抽出時間、重みをユーザー端末１００に送信する。ユーザー端末１００の入出力部１０１が当該情報を受信し、表示制御部１０２が表示部１０３に表示する。
続いて、ユーザー端末１００の表示部１０３に表示される音声認識結果の具体的な表示方法について説明する。
図５は、キーワード検索部２０６で検索した結果の表示例を示す図である。図５は上記のキーワード検索部２０６で、２０１５年７月３１日の１３時から１５時を検索範囲として検索し、抽出された４つのキーワード（東京、宿題、設定、教育）を表示している。各キーワードは図４に示すように、キーワードに設定された重み値に基づき表示の大きさや表示の形式を変えて表示している。図４に示すように、４つのキーワードの重みは、「東京」が０．９５、「宿題」が１．０、「設定」が０．３、「教育」が０．３２となっている。ここでは、重みは０から１の間の数値を用いており、１に近い値ほど重要なキーワードであることを示しており、重み値が一番大きい「宿題」を他のキーワードと形式を変えて星形の形状で表示している。その他の３つのキーワードについては全て円形の形状で表示しているが、重み値に応じて円形の大きさを変えることで、重要度を変化させて表示している。表示の形状は一例であり、複数のキーワードの中から重要度が高いキーワードが特定できる表示であれば色を変えるなどの表示方法とすることができる。これらの表示方法は問わない。
また、各キーワードの表示位置については、図４に示すキーワードが抽出された時間に基づき決定する。図４の例では、「東京」は２０１５年７月３１日の１３時５分であり、図５に示すように１３時５分付近に表示される。同様に「宿題」は２０１５年７月３１日の１４時４０分付近に、「設定」は２０１５年７月３１日の１３時１５分付近に、「教育」は２０１５年７月３１日の１４時付近に表示される。この表示から、２０１５年７月３１日の１３時から１５時の発話には、キーワードとして宿題が含まれる発話が多く、かつ１４時４０分前後にキーワードとして宿題が含まれる発話が多いことが分かる。このように時間軸に沿って、キーワードを重要度に応じて表示形式を変えて表示することにより、各時間帯にどのようなキーワードを含んだ発話が行われたかを、簡単に俯瞰することができるようになる。
本実施形態では、音声認識結果表示装置２００のキーワード抽出部２０３で音声データからキーワードを自動で抽出し、抽出されたキーワードをユーザー端末１００に表示する例で説明したが、キーワードの数が多い場合は、ユーザー端末１００の表示画面に表示できるキーワードの数が限られるため、重みの低いキーワードが画面に表示されない可能性がある。そこで、ユーザーが必要としないキーワードを表示対象から除く設定をユーザーができるようにしてもよい。その方法を簡単に図６から図９を参照して説明する。
図６はキーワード抽出の結果を示す図であり、登録されているキーワードは異なるが図４と同じキーワード抽出の結果である。図６に示すように抽出されたキーワードが５つ登録されているが、ユーザー端末１００の表示部１０３の表示領域の関係から、図７に示すように表示できるキーワードが４つとなっている。そのため、一番重みの低いキーワードとなっている「設定」が表示されていない。ここで、図８に示すように表示対象から除外するキーワードを設定することで、重みが高い場合でも除外キーワードに登録されている場合は表示対象から除外し、代わりに表示ができなかった重みの高いキーワードを表示する。図９は、除外対象のキーワードとして遊びを登録した例であり、この除外設定に基づき、「遊び」の代わりに「設定」が表示されている。
ここで、図１０を参照して本実施形態に係る音声認識結果表示システムの処理フローについて説明する。図１０は、第１の実施形態に係る音声認識結果表示システムの処理フローを示す図である。
ユーザー端末１００は、マイク等からのユーザーの発話（音声データ）を、発話者を特定する識別情報および発話時間と共に入出力部１０１から音声認識結果表示装置２００に送信する（ステップＳ１）。音声認識結果表示装置２００は音声データ入力部２０１で受信した音声データを音声認識サーバー３００に送信すると共に、音声データ、発話者を特定する識別情報、発話時間を記憶部２０５に記録する（ステップＳ２）。音声認識サーバー３００は入力部３０１で受信した音声データの認識処理を音声認識処理部３０２で実行し、認識結果のテキストデータを音声認識結果表示装置２００に送信する（ステップＳ３）。音声認識結果表示装置２００は音声認識サーバー３００から受信した認識結果の音声テキストデータをステップＳ１で記録した音声データに対応付けて記録する（ステップＳ４）。音声認識結果表示装置２００は、キーワード抽出部２０３で予め設定された時間間隔で記憶部２０５に記録されている音声テキストデータに含まれる文字列を検索する。検索結果として抽出した文字列を、当該文字列を抽出した時間と共に記憶部２０５に記録する。文字列の検索の過程で既に抽出し記録した文字列が検索された場合は出現回数をカウントし記録する（ステップＳ５）。音声認識結果表示装置２００のキーワード重要度算出部２０４はステップＳ５で抽出した文字列に対して、文字列の出現頻度に基づき各文字列に対する重みを設定する（ステップＳ６）。
ユーザー端末１００は、ユーザーによる、音声認識結果のキーワード表示要求操作に基づき、入出力部１０１から音声認識結果表示装置２００に表示要求範囲を示す日時情報を含むキーワード検索要求を送信する（ステップＳ７）。音声認識結果表示装置２００はユーザー端末１００から受信したキーワード検索要求の表示要求範囲を示す日時に基づき、要求日時とステップＳ５の処理で記憶部２０５に記録した文字列(キーワード)を抽出した時間を比較して、要求日時の範囲内に抽出されたキーワードを特定する。そして、特定したキーワード、キーワードの抽出時間、ステップＳ６の処理で設定された重みをユーザー端末１００に送信する（ステップＳ８）。ユーザー端末１００は、入出力部１０１で音声認識結果表示装置２００から受信したキーワードを、表示制御部１０２でキーワード抽出時間から表示位置を調整し、重みから表示の大きさを調整して、表示部２０３に表示する（ステップＳ９）。
次に、図１０のフローチャートで説明した処理に基づきユーザー端末１００の表示部１０３に表示された音声認識結果に対する表示切替えおよび他の表示方法について図１１から図１５を参照して説明する。
図１１は、音声認識結果のキーワード表示の一例を示す図である。図１２は、図１１の表示に対するユーザー操作により、キーワードに対応する音声認識結果を付加した表示の一例を示す図である。
図１１は音声認識結果表示装置２００のキーワード検索部２０６で検索されたユーザー端末１００からの要求に基づく検索の結果（キーワード）を表示している。具体的には、２０１５年７月３１日の１０時から１２時における発話に含まれるキーワードが表示されたユーザー端末１００の表示画面６００である。キーワードとして金曜日、出張が表示され、ユーザーが操作するポインタ６０２は１１時を示している。図１１に示す表示画面６００において、ユーザーによる時間軸６０１上のポインタ６０２の移動操作により、ポインタ６０２の時間軸上の位置が、随時、ユーザー端末１００から音声認識結果表示装置２００に送信される。音声認識結果装置２００は図３に示す音声データと共に記憶部２０５に記録されている発話時間を参照し、ユーザー端末１００から受信したポインタの示す時間に対する発話が存在する場合には、該発話を行ったユーザーの情報と発話内容がユーザー端末１００に送信され、表示される。
この検索結果の表示例を図１２に示している。
図１２に示すように、表示制御部１０２は、ユーザー端末１００が音声認識結果表示装置２００から受信した検索結果の情報に基づいて制御し、表示部１０３に、キーワード(金曜日)を含む発話内容６０３を、発話された時間に対応する位置に表示する。発話内容には発話者、発話した時間、発話内容が表示される。表示内容は一例であり、発話内容に変えて要約を表示したり、その他の情報を表示するようにしてもよい。上記では、ポインタにより時間を選択して、該時間に行われた発話の情報を表示しているが、ユーザーが画面上のキーワードをタッチするなどにより選択することにより、ユーザー端末１００が選択されたキーワードの情報を音声認識結果表示装置２００に送信することができる。そして、音声認識結果表示装置２００が、図３に示す音声データと共に記憶部２０５に記録されている音声認識結果（音声テキストデータ）から該キーワードを含む発話を検索し、ユーザー端末１００に検索された発話に関する発話時間を含む情報を送信することにより、ユーザー端末１００の画面の時間軸上に吹き出しなどの形式で発話の情報を表示してもよい。
ここでは１つの発話のみが表示されているが、検索の結果、複数の発話が検索された場合は、全ての発話内容が表示される。尚、ユーザーの操作により選択されなかったキーワードはグレーアウトで表示したり、選択されたキーワードをハイライトで表示するなど、選択されたキーワードと選択されなかったキーワードを区別して表示するようにしてもよい。
続いて、図１３、図１４を参照して他の表示例を説明する。図１３、図１４は音声認識結果のキーワード表示とあわせて、画面表示されている時間帯における発話量を表示する一例である。
図１３、図１４は音声認識結果表示装置２００のキーワード検索部２０６でユーザー端末１００からの要求に基づく検索結果（キーワード）を表示している。具体的には、２０１５年７月３１日の１３時から１５時における発話に含まれるキーワードが表示されたユーザー端末１００の表示画面６００である。図５ではキーワードのみを表示する表示例を説明したが、図１３ではユーザー端末１００に表示されている時間軸（６０１）の範囲に含まれる発話数を三角形の高さを変化させて発話が多い時間帯を可視化している（発話数情報６０４）。また、図１４は三角形の表示の代わりに折れ線グラフ（発話数情報６０５）を用いて各時間帯の発話数を表現している。発話数については、ユーザー端末１００からのキーワード検索要求に対する音声認識結果表示装置２００の処理において、キーワード検索部２０６で上述のキーワード検索と並行して、ユーザー端末１００から受信した表示要求範囲を示す日時で、図３に示す音声データと共に記憶部２０５に記録されている発話時間を基に検索し、表示要求範囲に含まれる音声データのレコード数をカウントし、所定時間単位(例えば３０分単位)のレコード数をユーザー端末１００に送信する。ユーザー端末１００は音声認識結果表示装置２００から受信した情報に基づき、表示制御部１０２で調整した結果を表示部１０３に表示する。
ここで、図１５を参照して本実施形態に係る音声認識結果の音声テキスト表示の処理フローについて説明する。図１５は、第１の実施形態に係る音声認識結果表示の処理フローを示す図である。
ユーザー端末１００は、表示部１０３に表示された音声認識結果表示装置２００から取得したキーワードに対するユーザーの指定操作に伴い、音声認識結果装置２００に指定キーワードと指定キーワードの表示位置に対応する日時を送信する（ステップＳ１１）。音声認識結果表示装置２００は、キーワード検索部２０６でユーザー端末１００から受信した指定されたキーワードおよび日時に基づき、記憶部２０５に記録された当該日時に発話された音声データに対応する音声テキストデータから指定キーワードを含む音声テキストデータを検索する（ステップＳ１２）。指定のキーワードが含まれる音声テキストデータを発話者、発話時間等、付随情報と共にユーザー端末１００に送信する（ステップＳ１３）。ユーザー端末１００は、表示制御部１０２で音声認識結果表示装置２００から受信した音声テキストデータを指定したキーワードを含むデータとして、表示位置を調整し、表示部１０３に表示された指定キーワードの近傍に表示する。
次に、図１６を参照して他の表示例を説明する。図１６は、過去のキーワードから目的のキーワードを検索するためのキーワード検索画面７００の一例である。
図１６の例では、画面上部に検索したいキーワードの入力エリア７０１と、縦軸として月単位の時間軸７０２ａ、横軸として時間単位の時間軸７０２ｂを含む表示エリア７０２と、が設けられている。画面を垂直方向にスクロールすることにより、表示対象の月を選択できる。また、画面のピンチイン／ピンチアウトにより、１２時間表示／２４時間表示を切り替えることができ、１２時間表示中は水平方向にスクロールすることにより、表示時間帯（０～１２時／１２～２４時）を切り替えることができる。
画面上部のキーワードの入力エリア７０１にキーワードを入力し、虫眼鏡アイコンをタッチすると、入力されたキーワード及び選択された表示要求範囲を示す月／時間を含む音声認識結果の表示要求が音声認識結果表示装置２００に送信される。キーワード検索部２０６は、受信した音声認識結果の表示要求に基づいて、キーワード抽出部２０３によって抽出したキーワードの中から表示要求範囲内の該当するキーワードを検索し、検索結果をユーザー端末１００に送信する。ユーザー端末１００の入出力部１０１が検索結果を受信し、表示制御部１０２が図１６に示すような画面を表示部１０３に表示する。
図１６の例では、入力されたキーワード（図１６の例では“出張”）が発話された月／時間の箇所に○印が表示されている。○印の大きさは、検索されたキーワードを含む発話の数を表現している。発話数が多いほど、円を大きくして表示し、発話数が少ないほど、小さな円を表示するように制御される。また、表示エリア７０２に表示された○印をタッチすると、図２のようなその時間帯のキーワード一覧が表示されるように構成することができる。
このように、本実施形態では、音声認識結果を時間帯毎に発話に含まれる文字列をキーワードとして表示することができ、どの時間帯にどのようなテーマ、話題に関する発話があったのかを容易に把握することができる。
また、本実施形態では、発話に含まれるキーワードの数（出現頻度）に応じて重み付けをすることで、キーワードの表示の大きさや形状を変えて表示することができ、表示されたキーワードに関する発話が集中した時間帯を容易に把握することができる。
また、本実施形態では、画面上の操作により表示されたキーワードが含まれる発話内容を表示することができるので、具体的な発話内容を容易に把握することができる。
また、本実施形態では、音声認識結果を時間帯毎に発話に含まれるキーワードの表示に加え、時間帯毎の発話数を表示することができ、会議等において活発に議論された時間帯を容易に把握することができる。
また、本実施形態では、表示対象とするキーワードをユーザーが設定することもできるため、表示領域との関係から表示できるキーワードの数に制約がある場合でも、必要なキーワードのみを表示することができる。
尚、本実施形態では、音声認識結果の表示制御をユーザー端末１００で実行する構成で説明したが、音声認識結果表示装置２００で実行してもよい。
なお、上記の実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクなど）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤなど）、光磁気ディスク（ＭＯ）、半導体メモリなどの記憶媒体に格納して頒布することもできる。
ここで、この記憶媒体としては、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であっても良い。
また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワークソフト等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の１部を実行しても良い。
さらに、本実施形態における記憶媒体は、コンピュータと独立した媒体に限らず、ＬＡＮやインターネット等により伝送されたプログラムをダウンロードして記憶または１時記憶した記憶媒体も含まれる。
また、記憶媒体は１つに限らず、複数の媒体から本実施形態における処理が実行される場合も本実施形態における記憶媒体に含まれ、媒体構成は何れの構成であっても良い。
なお、本実施形態におけるコンピュータは、記憶媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するものであって、パソコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であっても良い。
また、本実施形態の各記憶装置は１つの記憶装置で実現しても良いし、複数の記憶装置で実現しても良い。
そして、本実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本実施形態の機能を実現することが可能な機器、装置を総称している。
尚、本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１００…ユーザー端末
１０１…入出力部
１０２…表示制御部
１０３…表示部
２００…音声認識結果表示装置
２０１…音声データ入力部
２０２…音声データ出力部
２０３…キーワード抽出部
２０４…キーワード重要度算出部
２０５…記憶部
２０６…キーワード検索部
３００…音声認識サーバー
３０１…入力部
３０２…音声認識処理部
３０３…出力部
４００…ネットワーク
５００、６００、７００…音声認識結果表示画面
５０１、６０１…時間軸
５０２、６０２…操作ポインタ
６０３…発話情報
６０４、６０５…発話数情報
１０１…入出力部
１０２…表示制御部
１０３…表示部
２００…音声認識結果表示装置
２０１…音声データ入力部
２０２…音声データ出力部
２０３…キーワード抽出部
２０４…キーワード重要度算出部
２０５…記憶部
２０６…キーワード検索部
３００…音声認識サーバー
３０１…入力部
３０２…音声認識処理部
３０３…出力部
４００…ネットワーク
５００、６００、７００…音声認識結果表示画面
５０１、６０１…時間軸
５０２、６０２…操作ポインタ
６０３…発話情報
６０４、６０５…発話数情報
Claims (7)
- 音声データに対する音声認識処理の結果をクライアント端末画面に表示する音声認識結果表示装置であって、
前記音声認識処理の結果である音声テキストデータから、所定のタイミングで前記音声テキストデータに含まれる文字列を抽出するキーワード抽出手段と、
前記音声テキストデータと、前記キーワード抽出手段で抽出した前記文字列とを記録する記憶部と、
前記クライアント端末からの音声認識結果の表示要求に基づき、前記クライアント端末から指定された所定時間における音声テキストデータから抽出された前記文字列を前記記憶部から検索するキーワード検索手段と、を有し、
前記キーワード検索手段で検索された前記文字列をキーワードとして前記クライアント端末画面に表示することを特徴とする音声認識結果表示装置。 - 前記キーワード抽出手段で抽出された前記文字列の出現頻度に基づき、前記文字列に対する重みを算出するキーワード重要度算出手段を有し、
前記記憶部は、前記キーワード重要度算出手段で算出された前記重みを前記文字列と紐付けて記録し、
前記クライアント端末からの音声認識結果の表示要求に基づき、前記クライアント端末から指定された所定時間における音声テキストデータから前記キーワード検索手段で抽出した前記文字列を、前記重みに応じて形式を変えて前記クライアント端末画面に表示することを特徴とする請求項１に記載の音声認識結果表示装置。 - 前記クライアント端末画面に表示する前記重みに応じた形式は、大きさまたは色であることを特徴とする請求項２に記載の音声認識結果表示装置。
- 前記記憶部は、前記キーワード抽出手段で音声テキストデータから文字列を抽出した時間を記録し、前記クライアント端末からの音声認識結果の表示要求に基づき、前記クライアント端末から指定された所定時間における音声テキストデータから前記キーワード検索手段で抽出した前記文字列をキーワードとして前記文字列を抽出した時間に対応した位置に表示することを特徴とする請求項１乃至請求項３に記載の音声認識結果表示装置。
- 前記キーワード検索手段は、前記クライアント端末画面に表示されたキーワードの指定操作による音声認識結果の発話情報の表示要求に基づき、前記クライアント端末から指定されたキーワードを含む音声テキストデータを前記記憶部から検索し、検索した結果を前記クライアント端末画面の指定キーワードの近傍に前記音声テキストデータを表示することを特徴とする請求項１乃至請求項４に記載の音声認識結果表示装置。
- 音声データに対する音声認識処理の結果をクライアント端末画面に表示する音声認識結果表示方法であって、
前記音声認識処理の結果である音声テキストデータから、所定のタイミングで前記音声テキストデータに含まれる文字列を抽出するステップと、
前記音声テキストデータと、前記音声テキストデータから抽出した前記文字列とを記憶部に記録するステップと、
前記クライアント端末からの音声認識結果の表示要求に基づき、前記クライアント端末から指定された所定時間における音声テキストデータから抽出された前記文字列を前記記憶部から検索するステップと、を有し、
前記記憶部から検索された文字列をキーワードとして前記クライアント端末画面に表示することを特徴とする音声認識結果表示方法。 - 音声データに対する音声認識処理の結果をクライアント端末画面に表示する音声認識結果表示装置によって実行されるプログラムであって、
前記音声認識処理の結果である音声テキストデータから、所定のタイミングで前記音声テキストデータに含まれる文字列を抽出するキーワード抽出機能と、
前記音声テキストデータと、前記キーワード抽出手段で抽出した前記文字列とを記録する記録機能と、
前記クライアント端末からの音声認識結果の表示要求に基づき、前記記録機能で記録された情報から、前記クライアント端末から指定された所定時間における音声テキストデータから抽出された前記文字列を検索するキーワード検索機能と、を有し、
前記キーワード検索機能で検索された前記文字列をキーワードとして前記クライアント端末画面に表示させることを特徴とする音声認識結果表示プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017538034A JP6524242B2 (ja) | 2015-08-31 | 2016-08-30 | 音声認識結果表示装置、音声認識結果表示方法、音声認識結果表示プログラム |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015-171542 | 2015-08-31 | ||
| JP2015171542 | 2015-08-31 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2017038794A1 true WO2017038794A1 (ja) | 2017-03-09 |
Family
ID=58187612
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2016/075271 WO2017038794A1 (ja) | 2015-08-31 | 2016-08-30 | 音声認識結果表示装置、音声認識結果表示方法、音声認識結果表示プログラム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6524242B2 (ja) |
| WO (1) | WO2017038794A1 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018173252A1 (ja) * | 2017-03-24 | 2018-09-27 | ヤマハ株式会社 | 重要単語抽出装置、及び関連会議抽出システム |
| WO2019098423A1 (ko) * | 2017-11-17 | 2019-05-23 | 라인 가부시키가이샤 | 메시지의 대화 흐름을 파악하기 위한 방법과 시스템 및 비-일시적인 컴퓨터 판독 가능한 기록 매체 |
| WO2019130817A1 (ja) * | 2017-12-25 | 2019-07-04 | 京セラドキュメントソリューションズ株式会社 | 情報処理装置及び発話解析方法 |
| JP2019109643A (ja) * | 2017-12-18 | 2019-07-04 | 国立大学法人 東京大学 | 授業改善のためのネットワークシステム |
| JP2019139625A (ja) * | 2018-02-14 | 2019-08-22 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
| CN111970257A (zh) * | 2020-08-04 | 2020-11-20 | 腾讯科技（深圳）有限公司 | 一种文稿显示控制方法、装置、电子设备和存储介质 |
| JP6953597B1 (ja) * | 2020-09-17 | 2021-10-27 | ベルフェイス株式会社 | 情報処理装置、プログラム及び情報処理方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005064600A (ja) * | 2003-08-15 | 2005-03-10 | Toshiba Corp | 情報処理装置、情報処理方法、およびプログラム |
| WO2006085565A1 (ja) * | 2005-02-08 | 2006-08-17 | Nippon Telegraph And Telephone Corporation | 情報通信端末、情報通信システム、情報通信方法、情報通信プログラムおよびそれを記録した記録媒体 |
| JP2006276754A (ja) * | 2005-03-30 | 2006-10-12 | Mitsubishi Electric Information Systems Corp | オペレータ業務支援システム |
| JP2014229075A (ja) * | 2013-05-22 | 2014-12-08 | キヤノン株式会社 | 文書情報に関連する音声情報を抽出するシステム |
| JP2014241016A (ja) * | 2013-06-11 | 2014-12-25 | 株式会社東芝 | インデックス作成装置、インデックス作成システム、インデックス作成方法、及び、インデックス作成プログラム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4088131B2 (ja) * | 2002-03-28 | 2008-05-21 | 富士通株式会社 | 同期コンテンツ情報生成プログラム、同期コンテンツ情報生成装置および同期コンテンツ情報生成方法 |
| JP2008009552A (ja) * | 2006-06-27 | 2008-01-17 | Nippon Telegr & Teleph Corp <Ntt> | インデクス生成装置、インデクス生成方法およびインデクス生成プログラム |
-
2016
- 2016-08-30 WO PCT/JP2016/075271 patent/WO2017038794A1/ja active Application Filing
- 2016-08-30 JP JP2017538034A patent/JP6524242B2/ja active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005064600A (ja) * | 2003-08-15 | 2005-03-10 | Toshiba Corp | 情報処理装置、情報処理方法、およびプログラム |
| WO2006085565A1 (ja) * | 2005-02-08 | 2006-08-17 | Nippon Telegraph And Telephone Corporation | 情報通信端末、情報通信システム、情報通信方法、情報通信プログラムおよびそれを記録した記録媒体 |
| JP2006276754A (ja) * | 2005-03-30 | 2006-10-12 | Mitsubishi Electric Information Systems Corp | オペレータ業務支援システム |
| JP2014229075A (ja) * | 2013-05-22 | 2014-12-08 | キヤノン株式会社 | 文書情報に関連する音声情報を抽出するシステム |
| JP2014241016A (ja) * | 2013-06-11 | 2014-12-25 | 株式会社東芝 | インデックス作成装置、インデックス作成システム、インデックス作成方法、及び、インデックス作成プログラム |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11355099B2 (en) | 2017-03-24 | 2022-06-07 | Yamaha Corporation | Word extraction device, related conference extraction system, and word extraction method |
| WO2018173252A1 (ja) * | 2017-03-24 | 2018-09-27 | ヤマハ株式会社 | 重要単語抽出装置、及び関連会議抽出システム |
| WO2019098423A1 (ko) * | 2017-11-17 | 2019-05-23 | 라인 가부시키가이샤 | 메시지의 대화 흐름을 파악하기 위한 방법과 시스템 및 비-일시적인 컴퓨터 판독 가능한 기록 매체 |
| JP2019109643A (ja) * | 2017-12-18 | 2019-07-04 | 国立大学法人 東京大学 | 授業改善のためのネットワークシステム |
| WO2019130817A1 (ja) * | 2017-12-25 | 2019-07-04 | 京セラドキュメントソリューションズ株式会社 | 情報処理装置及び発話解析方法 |
| JPWO2019130817A1 (ja) * | 2017-12-25 | 2020-10-22 | 京セラドキュメントソリューションズ株式会社 | 情報処理装置及び発話解析方法 |
| JP2019139625A (ja) * | 2018-02-14 | 2019-08-22 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
| JP7098949B2 (ja) | 2018-02-14 | 2022-07-12 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及び情報処理プログラム |
| CN111970257A (zh) * | 2020-08-04 | 2020-11-20 | 腾讯科技（深圳）有限公司 | 一种文稿显示控制方法、装置、电子设备和存储介质 |
| CN111970257B (zh) * | 2020-08-04 | 2022-01-11 | 腾讯科技（深圳）有限公司 | 一种文稿显示控制方法、装置、电子设备和存储介质 |
| WO2022059446A1 (ja) * | 2020-09-17 | 2022-03-24 | ベルフェイス株式会社 | 情報処理装置、プログラム及び情報処理方法 |
| JP2022049784A (ja) * | 2020-09-17 | 2022-03-30 | ベルフェイス株式会社 | 情報処理装置、プログラム及び情報処理方法 |
| JP6953597B1 (ja) * | 2020-09-17 | 2021-10-27 | ベルフェイス株式会社 | 情報処理装置、プログラム及び情報処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6524242B2 (ja) | 2019-06-05 |
| JPWO2017038794A1 (ja) | 2018-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2017038794A1 (ja) | 音声認識結果表示装置、音声認識結果表示方法、音声認識結果表示プログラム | |
| US11509726B2 (en) | Encapsulating and synchronizing state interactions between devices | |
| US11810554B2 (en) | Audio message extraction | |
| US20170277993A1 (en) | Virtual assistant escalation | |
| US9697871B2 (en) | Synchronizing recorded audio content and companion content | |
| US10599469B2 (en) | Methods to present the context of virtual assistant conversation | |
| US11687526B1 (en) | Identifying user content | |
| US11527251B1 (en) | Voice message capturing system | |
| TW200847004A (en) | Speech-centric multimodal user interface design in mobile technology | |
| US20190042185A1 (en) | Flexible voice-based information retrieval system for virtual assistant | |
| CN103136326A (zh) | 与媒体一起呈现评论的系统和方法 | |
| US11501764B2 (en) | Apparatus for media entity pronunciation using deep learning | |
| TWI807428B (zh) | 一同管理與語音檔有關的文本轉換記錄和備忘錄的方法、系統及電腦可讀記錄介質 | |
| JP5586754B1 (ja) | 情報処理装置及びその制御方法、コンピュータプログラム | |
| CN104572716A (zh) | 影音文件播放的系统及其方法 | |
| US8994774B2 (en) | Providing information to user during video conference | |
| WO2018043137A1 (ja) | 情報処理装置及び情報処理方法 | |
| CN110379406A (zh) | 语音评论转换方法、系统、介质和电子设备 | |
| US8798996B2 (en) | Splitting term lists recognized from speech | |
| EP4139784A1 (en) | Hierarchical context specific actions from ambient speech | |
| WO2023210340A1 (ja) | 学習装置および学習方法 | |
| CN113241061B (zh) | 语音识别结果的处理方法、装置、电子设备和存储介质 | |
| WO2020230459A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JP7166370B2 (ja) | 音声記録のための音声認識率を向上させる方法、システム、およびコンピュータ読み取り可能な記録媒体 | |
| JP6495722B2 (ja) | 音合成装置、音合成方法、及びそのプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16841826 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2017538034 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 16841826 Country of ref document: EP Kind code of ref document: A1 |