JP5791124B2 - Abstract writing support system, abstract writing support device, abstract writing support method, and program - Google Patents
Abstract writing support system, abstract writing support device, abstract writing support method, and program Download PDFInfo
- Publication number
- JP5791124B2 JP5791124B2 JP2013053406A JP2013053406A JP5791124B2 JP 5791124 B2 JP5791124 B2 JP 5791124B2 JP 2013053406 A JP2013053406 A JP 2013053406A JP 2013053406 A JP2013053406 A JP 2013053406A JP 5791124 B2 JP5791124 B2 JP 5791124B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- writer
- assigned
- text data
- allocated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 21
- 238000012217 deletion Methods 0.000 claims description 56
- 230000037430 deletion Effects 0.000 claims description 56
- 230000005540 biological transmission Effects 0.000 claims description 40
- 238000004458 analytical method Methods 0.000 claims description 22
- 238000010586 diagram Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 10
- 208000032041 Hearing impaired Diseases 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 208000016354 hearing loss disease Diseases 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005315 distribution function Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、複数の筆記者が交代で要約筆記を行なう場合において筆記者を支援するための、要約筆記支援システム、要約筆記支援装置、要約筆記支援方法、及びこれらを実現するためのプログラムに関する。 The present invention relates to a summary writing support system, a summary writing support device, a summary writing support method, and a program for realizing these, in order to support a writer when a plurality of writers perform summary writing alternately.
両耳の聴力がマイナス100デシベル以上の聴覚障がい者(以下、単に「聴覚障がい者」と記す)は、補聴器等を付けても、ほとんど音声中の言語情報を受けとることができない。このため従来から、聴覚障がい者が講演及び学校での授業等を聴講する場合、手話通訳者を付ける場合と、要約筆記通訳者を付ける場合とがあった。 Persons with hearing impairments whose hearing ability in both ears is minus 100 decibels or more (hereinafter simply referred to as “persons with hearing impairments”) can hardly receive language information in speech even if a hearing aid is attached. For this reason, there have been cases where hearing-impaired persons listened to lectures and classes at school, added a sign language interpreter, and added a summary writing interpreter.
このうち、要約筆記通訳者を付ける場合には、通常、聴覚障がい者1人に対して、例えば学校での授業であれば、要約筆記通訳者が2人以上付けられる。そして、これらの要約筆記者は、先生の話す内容などを、PC(Personal Computer)又は紙のノート等によって文字化し、これを聴覚障がい者に対して提示する。なお、要約筆記通訳者が2人以上必要となるのは、要約筆記作業は負担が大きく、1人では要約精度が低下しやすいからである。 Of these, in the case of attaching a summary writing interpreter, usually two or more summary writing interpreters are assigned to one person with hearing impairment, for example, in a class at school. These summary writers transcribe the teacher's spoken text, etc. with a PC (Personal Computer) or a paper notebook, and present it to the hearing impaired person. The reason why two or more summary writing interpreters are required is that the summary writing work is heavy and the accuracy of summarization tends to be reduced by one person.
ところで、18歳以下の聴覚障がい学生が平成20年度の厚生労働省の調べでは全国で約2万人存在し、それに対し、正式に登録されている要約筆記通訳者は全国で約1万人である。その上で、聴覚障がい学生1人に対して2人以上の要約筆記通訳者が付くとすると、支援を受けることが可能な聴覚障がい学生は、単純に計算しても1/4である。さらに、地域によって要約筆記者の数及び聴覚障がい学生の数には、ばらつきがある。これらの理由から、より少ない人数の聴覚障がい学生しか、学校において支援を受けることが出来ないのが現状である。 By the way, there are about 20,000 hearing-impaired students under 18 years old nationwide according to a survey conducted by the Ministry of Health, Labor and Welfare in 2008, whereas there are about 10,000 officially registered abstract writing interpreters nationwide. . On the other hand, if there are two or more summary writing interpreters for one hearing impaired student, the number of hearing impaired students who can receive support is simply 1/4. Furthermore, the number of summary writers and the number of hearing impaired students vary by region. For these reasons, a smaller number of hearing-impaired students can only receive support at school.
そこで、要約筆記通訳者の数を増やすために各団体で養成等が行われ、新しい要約筆記通訳者は、1年間の講習及び訓練の義務付け等によって能力が鍛えられた上で、要約筆記者として登録される。しかし、要約筆記者の数は微増でしかないため、依然として支援を受けられない学生が多くいるという問題がある。 In order to increase the number of summary writer interpreters, training is conducted in each group, and new summary writer interpreters are trained as one-year lectures and training, etc. be registered. However, the number of abstract writers is only a slight increase, and there is a problem that many students still cannot receive support.
ここで、既存の技術によって上記問題を解決できないかどうかを検討する。例えば、特許文献1は、字幕番組の字幕を書き起こす際に筆記者を支援するシステムを開示している。特許文献1に開示されたシステムは、番組音声の音声データからポーズを検出し、検出したポーズを利用して音声データを分割し、そして、必要に応じて、再生速度の低速化、又は繰返し再生等を行なわれるように、分割した音声データに処理を行なう。このため、筆記者においては、番組音声を聞き取り易くなり、字幕の書き起こしが容易となる。従って、このようなシステムを用いれば、要約筆記通訳者の数が足りないという上記問題の解決に貢献できると考えられる。 Here, it is examined whether the above problem can be solved by the existing technology. For example, Patent Literature 1 discloses a system that supports a writer when writing up a caption of a caption program. The system disclosed in Patent Document 1 detects pauses from audio data of program audio, divides audio data using the detected pauses, and lowers the playback speed or repeats playback as necessary. For example, the divided audio data is processed. For this reason, it becomes easy for the writer to hear the program sound and to easily transcribe subtitles. Therefore, if such a system is used, it is thought that it can contribute to the solution of the said problem that the number of summary writing interpreters is insufficient.
また、特許文献2は、プレゼンテーションの際に、音声を音声認識しながら、リアルタイムで認識結果を修正し、そして得られた認識結果を字幕として表示するシステムを開示している。特許文献2に開示されたシステムを導入すれば、要約筆記通訳者の数が足りないという上記問題の解決により確実に貢献できると考えられる。
ところで、講義中又は講演中に話者の話しを聞いて、要約筆記通訳者(以下、単に「筆記者」とも記載する。)は、要約筆記を行うが、一般に、講義又は講演の間、最初から最後まで1人で要約筆記を行なうわけではない。1人で行なうと、疲労により、要約筆記の精度が低下してしまうからである。 By the way, while listening to the speaker's talk during a lecture or lecture, a summary writing interpreter (hereinafter also simply referred to as “writer”) performs a summary writing. From the beginning to the end, the summary is not written by one person alone. This is because the accuracy of the summary writing decreases due to fatigue if performed alone.
従って、筆記者同士が、ある程度の時間毎に交代しながら入力を行ったり、お互いに補完しながら入力を行ったり、といった連携入力と呼ばれる手法が採用されることがあるが、連携入力を行なう場合は、全筆記者に熟練度が要求される。このため、経験の浅い筆記者でも参加できるように、割り当てられた時間毎に、筆記者を交代させながら、要約筆記を行なうことが行なわれている。 Therefore, there is a case where a method called collaborative input is used, in which writers change their input every certain amount of time or input while complementing each other. Is required for all scribes. For this reason, summary writing is performed while changing the writer at every allocated time so that even an inexperienced writer can participate.
しかしながら、交互に筆記者が交代する場合は、交代の前後の時間において、交代となる筆記者、新たに担当する筆記者のいずれもが、交代の前後の内容を聞き逃してしまったり、入力し忘れたり、といった問題が生じる可能性がある。従って、このような問題の解消を図れるシステムが求められている。 However, if the writer changes alternately, at the time before and after the change, both the writer and the newly assigned writer will miss or input the contents before and after the change. Problems such as forgetting may occur. Therefore, there is a need for a system that can solve such problems.
また、上述した特許文献1及び特許文献2に開示したシステムは、いずれも、複数の筆記者が交代で要約筆記を行なう場合に対応したシステムではない。従って、これらのシステムを用いても、上述した複数の筆記者が交代で要約筆記を行なう場合の問題を解決することは不可能である。
Further, none of the systems disclosed in Patent Document 1 and
更に、特許文献1に開示されたシステムは、放送向けの特殊な信号に依存した処理方式を採用するため、リアルタイムでの音声の文字化には向いていない。従って、特許文献1に開示されたシステムでは、結局のところ、上述した要約筆記通訳者不足を解決することは困難である。 Furthermore, since the system disclosed in Patent Document 1 employs a processing method that relies on a special signal for broadcasting, it is not suitable for voice conversion in real time. Therefore, after all, with the system disclosed in Patent Document 1, it is difficult to solve the above shortage of abstract writing interpreters.
また、特許文献2に開示されたシステムは、音声認識に依存するため、認識間違いを筆記者がチェックしきれなかった場合に、話者が意図していない表現のまま利用者に提示される可能性がある。このため、特許文献2に開示されたシステムでも、結局のところ、上述した要約筆記通訳者不足を解決することは困難である。
In addition, since the system disclosed in
[発明の目的]
本発明の目的は、上記問題を解消し、複数の筆記者が交代しながら要約筆記を行なう場合において、筆記者を支援してミスの発生を抑制し得る、要約筆記支援システム、要約筆記支援装置、要約筆記支援方法、及びプログラムを提供することにある。
[Object of invention]
SUMMARY OF THE INVENTION An object of the present invention is to provide a summary writing support system and a summary writing support device capable of solving the above-mentioned problem and suppressing the occurrence of mistakes by assisting a writer in the case of performing summary writing while a plurality of writers are changing. It is to provide a summary writing support method and program.
上記目的を達成するため、本発明の一側面における要約筆記支援装システムは、話者の発話の要約筆記を支援するためのシステムであって、
要約筆記支援装置と、前記要約筆記を行う筆記者が使用する筆記者端末と、前記要約筆記を利用する利用者端末とを備え、
前記要約筆記支援装置は、
前記発話の音声から無音区間を特定する、音声解析部と、
前記要約筆記を行う筆記者に割り当てられた割当時間毎に、前記無音区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、前記無音区間が前記範囲内に存在すると判定する場合に当該割当時間の終点を前記無音区間に基づいて変更する、割当制御部と、
前記割当時間毎に、当該割当時間が割り当てられている筆記者の前記筆記者端末に、当該割当時間の開始点と終点とを特定する時間情報と、前記発話の音声データとを送信する、音声配信部と、を備え、
前記筆記者端末は、
前記筆記者に割り当てられた割当時間における要約筆記のテキストデータを、前記要約筆記支援装置に送信する、テキスト送信部を備えている、
ことを特徴とする。
To achieve the above object, a summary writing support system according to one aspect of the present invention is a system for supporting a summary writing of a speaker's utterance,
A summary writing support device, a writer terminal used by a writer who performs the summary writing, and a user terminal that uses the summary writing,
The summary writing support device includes:
A voice analysis unit for identifying a silent section from the voice of the utterance;
For each allocation time allocated to the writer who performs the summary writing, it is determined whether the silent section exists within a range based on the end point of the allocated time, and the silent section exists within the range Then, when determining, an allocation control unit that changes the end point of the allocation time based on the silent section;
For each assigned time, a voice that transmits time information for specifying a start point and an end point of the assigned time and voice data of the utterance to the writer terminal of the writer to which the assigned time is assigned A distribution unit,
The writer terminal is
A text transmission unit that transmits the text data of the summary writing at the allocated time assigned to the writer to the summary writing support device;
It is characterized by that.
上記目的を達成するため、本発明の一側面における要約筆記支援装置は、話者の発話の要約筆記を支援するための装置であって、
前記発話の音声から無音区間を特定する、音声解析部と、
前記要約筆記を行う筆記者に割り当てられた割当時間毎に、前記無音区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、前記無音区間が前記範囲内に存在すると判定する場合に当該割当時間の終点を前記無音区間に基づいて変更する、割当制御部と、
前記割当時間毎に、当該割当時間が割り当てられている筆記者が使用する端末装置に、当該割当時間の開始点と終点とを特定する時間情報と、前記発話の音声データとを送信する、音声配信部と、
を備えている、ことを特徴とする。
To achieve the above object, a summary writing support apparatus according to one aspect of the present invention is an apparatus for supporting summary writing of a speaker's utterance,
A voice analysis unit for identifying a silent section from the voice of the utterance;
For each allocation time allocated to the writer who performs the summary writing, it is determined whether the silent section exists within a range based on the end point of the allocated time, and the silent section exists within the range Then, when determining, an allocation control unit that changes the end point of the allocation time based on the silent section;
A voice that transmits, for each allocated time, time information that identifies a start point and an end point of the allocated time and voice data of the utterance to a terminal device used by a writer who is allocated the allocated time. A distribution department;
It is characterized by having.
また、上記目的を達成するため、本発明の一側面における要約筆記支援方法は、話者の発話の要約筆記を支援するための方法であって、
(a)前記発話の音声から無音区間を特定する、ステップと、
(b)前記要約筆記を行う筆記者に割り当てられた割当時間毎に、前記無音区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、前記無音区間が前記範囲内に存在すると判定する場合に当該割当時間の終点を前記無音区間に基づいて変更する、ステップと、
(c)前記割当時間毎に、当該割当時間が割り当てられている筆記者が使用する筆記者端末に、当該割当時間の開始点と終点とを特定する時間情報と、前記発話の音声データとを送信する、ステップと、
を有する、ことを特徴とする。
In order to achieve the above object, a summary writing support method in one aspect of the present invention is a method for supporting summary writing of a speaker's utterance,
(A) identifying a silent section from the voice of the utterance;
(B) For each allocation time allocated to the writer who performs the summary writing, it is determined whether the silent section exists within a range with reference to the end point of the allocated time, and the silent section is the range. Changing the end point of the allotted time based on the silent section when it is determined that it exists within the step, and
(C) For each assigned time, a writer terminal used by a writer who is assigned the assigned time is provided with time information for specifying a start point and an end point of the assigned time, and voice data of the utterance. Send, step, and
It is characterized by having.
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、コンピュータによって、話者の発話の要約筆記を支援するためのプログラムであって、
前記コンピュータに、
(a)前記発話の音声から無音区間を特定する、ステップと、
(b)前記要約筆記を行う筆記者に割り当てられた割当時間毎に、前記無音区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、前記無音区間が前記範囲内に存在すると判定する場合に当該割当時間の終点を前記無音区間に基づいて変更する、ステップと、
(c)前記割当時間毎に、当該割当時間が割り当てられている筆記者が使用する筆記者端末に、当該割当時間の開始点と終点とを特定する時間情報と、前記発話の音声データとを送信する、ステップと、
を実行させることを特徴とする。
Furthermore, in order to achieve the above object, a program according to one aspect of the present invention is a program for supporting summary writing of a speaker's utterance by a computer,
In the computer,
(A) identifying a silent section from the voice of the utterance;
(B) For each allocation time allocated to the writer who performs the summary writing, it is determined whether the silent section exists within a range with reference to the end point of the allocated time, and the silent section is the range. Changing the end point of the allotted time based on the silent section when it is determined that it exists within the step, and
(C) For each assigned time, a writer terminal used by a writer who is assigned the assigned time is provided with time information for specifying a start point and an end point of the assigned time, and voice data of the utterance. Send, step, and
Is executed.
以上のように本発明によれば、複数の筆記者が交代しながら要約筆記を行なう場合において、筆記者を支援してミスの発生を抑制することができる。 As described above, according to the present invention, when a plurality of writers perform summary writing while changing, it is possible to support the writers and suppress the occurrence of mistakes.
(実施の形態)
以下、本発明の実施の形態における、要約筆記支援システム、要約筆記支援装置、要約筆記支援方法、及びプログラムについて、図1〜図8を参照しながら説明する。
(Embodiment)
Hereinafter, a summary writing support system, a summary writing support device, a summary writing support method, and a program according to an embodiment of the present invention will be described with reference to FIGS.
[システム構成]
最初に、本実施の形態における要約筆記支援システムの全体構成について図1を用いて説明する。図1は、本発明の実施の形態における要約筆記支援システムの全体構成を概略的に示す図である。なお、図2中、同一または同等の部分には同一の符号を付して示す。
[System configuration]
Initially, the whole structure of the summary writing assistance system in this Embodiment is demonstrated using FIG. FIG. 1 is a diagram schematically showing an overall configuration of a summary writing support system according to an embodiment of the present invention. In FIG. 2, the same or equivalent parts are denoted by the same reference numerals.
図1に示す要約筆記支援システム100は、話者の発話の要約筆記を支援するためのシステムである。図1に示すように、要約筆記支援システム100は、要約筆記支援装置10と、要約筆記を行う筆記者が使用する端末装置(以下「筆記者端末」と表記する。)30と、要約筆記を利用する端末装置(以下「利用者端末」と表記する。)40と、を備えている。
A summary writing
また、図1に示すように、要約筆記支援装置10は、音声解析部11と、割当制御部12と、音声配信部13とを備えている。音声解析部11は、発話の音声から無音区間を特定する。
As illustrated in FIG. 1, the summary writing
割当制御部12は、筆記者に割り当てられた割当時間毎に、無音区間が、各割当時間の終点を基準とした範囲内に存在するかどうかを判定し、存在すると判定する場合にこの割当時間の終点を無音区間に基づいて変更する。
The
音声配信部13は、割当時間毎に、各割当時間が割り当てられている筆記者の筆記者端末30に、その割当時間の開始点と終点とを特定する時間情報と、発話の音声データとを送信する。
For each assigned time, the
更に、図1に示すように、筆記者端末30は、テキスト送信部32を備えている。テキスト送信部32は、筆記者が、割り当てられた割当時間の音声に対して要約筆記を行ってテキストデータを入力すると、その要約筆記のテキストデータを、要約筆記支援装置10に送信する。
Furthermore, as shown in FIG. 1, the
このように、本実施の形態では、各筆記者に割り当てられ割当時間毎に、終盤付近の無音区間の特定が行われ、無音区間が特定された場合は、割当時間が無音区間で区切られるように、割当時間の調整が行われる。つまり、本実施の形態では、複数の筆記者が交代しながら要約筆記を行う場合において、交代がやりやすいように、割当時間の調整が行われる。このため、交代の前後の内容の聞き逃し、入力し忘れといったミスの発生が抑制される。 As described above, in the present embodiment, the silent period near the end is specified for each allocated time assigned to each writer, and when the silent period is specified, the allocated time is divided by the silent period. In addition, the allocation time is adjusted. In other words, in the present embodiment, when the summary writing is performed while a plurality of writers change, the allocation time is adjusted so that the change can be easily performed. For this reason, the occurrence of mistakes such as missing the contents before and after the change and forgetting to input is suppressed.
続いて、図2を用いて、本実施の形態における要約筆記支援システムの構成について更に具体的に説明する。図2は、本発明の実施の形態における要約筆記支援システムの構成を具体的に示すブロック図である。なお、図2中、同一または同等の部分には同一の符号を付して示す。また、図2中の図1で示された符号と同一の符号が付された部分は、図1で同一符号が付された部分と同一のものを示している。 Next, the configuration of the abstract writing support system in the present embodiment will be described more specifically with reference to FIG. FIG. 2 is a block diagram specifically showing the configuration of the abstract writing support system in the embodiment of the present invention. In FIG. 2, the same or equivalent parts are denoted by the same reference numerals. In FIG. 2, the same reference numerals as those shown in FIG. 1 denote the same parts as those shown in FIG.
[システム構成:要約筆記支援装置]
図2に示すように、本実施の形態では、要約筆記支援装置10は、音声解析部11、割当制御部12、及び音声配信部13に加えて、受信部21と、入力制御部22と、重複削除部23と、文章リスト格納部24と、送信部25とを備えている。
[System configuration: Summary writing support device]
As shown in FIG. 2, in the present embodiment, the summary writing
これらのうち、上述した、音声解析部11、割当制御部12、及び音声配信部13は、要約筆記支援装置10において、音声配信機能1を付与する。また、受信部21、入力制御部22、重複削除部23、文章リスト格納部24、及び送信部25は、要約筆記支援装置10において、後述するように重複削除機能2を付与する。
Among these, the
また、本実施の形態では、要約筆記支援装置10は、コンピュータにプログラムを導入することによって構築されている。このとき、要約筆記支援装置10を構築するコンピュータは、1台であっても良いし、2台以上であっても良い。例えば、1台のコンピュータで上述の音声配信機能1を構築し、別の1台のコンピュータで上述の重複削除機能2を構築しても良い。
In the present embodiment, summary writing
本実施の形態では、まず、講演又は講義における講師等といった話者の発話は、マイク等によって集音され、そこで音声データに変換された後、要約筆記支援装置10に入力される。音声解析部11は、音声認識エンジンを利用して、入力された音声データから、無音区間を特定し、特定した無音区間の開始点と終点とを割当制御部12に出力する。
In the present embodiment, the speech of a speaker such as a lecturer or a lecturer in a lecture is first collected by a microphone or the like, converted into speech data there, and then input to the summary writing
また、本実施の形態においては、音声解析部11は、特定した無音区間のうち、長さが閾値以下の無音区間を更に特定し、この長さが閾値以下の無音区間についてのみ開始点と終点を割当制御部12に出力することもできる。これは、例えば、1秒以下の無音区間は、話者において息継ぎを行っている区間に該当することが多く、話の切れ目としやすいからである。また、この場合、割当制御部12は、長さが閾値以下の無音区間を用いて、割当制御を実行する。
Further, in the present embodiment, the
また、本実施の形態では、割当制御部12は、上述した処理に加えて、現在の割当時間に続いて別の筆記者に割り当てられる次の割当時間の開始時間を、現在の割当時間と次の割当時間とが設定された時間分重なるように設定することができる。この場合、要約筆記者の交代はよりいっそう簡単となり、ミスの発生の更なる抑制が図られる。
In addition, in the present embodiment, in addition to the above-described processing, the
また、本実施の形態では、音声配信部13は、現在の割当時間が割り当てられている筆記者の筆記者端末30に、上述した時間情報と音声データとの送信後に、現在の割当時間の終了を通知することもできる。更に、音声配信部13は、現在の割当時間の次の割当時間が割り当てられている別の筆記者の筆記者端末30に、次の割当時間の開始を通知することもできる。
Moreover, in this Embodiment, the audio |
重複削除部23は、筆記者端末30から、筆記者に割り当てられた割当時間における要約筆記のテキストデータが送信されてきた場合に、重複している文字列の削除を行う。重複削除部21は、まず、送信されてきたテキストデータの先頭側にある文字列と、別の筆記者に割り当てられた前回の割当時間における要約筆記のテキストデータの末尾側にある文字列とを比較する。そして、重複削除部23は、両者が一致する場合に、送信されてきたテキストデータから、一致している先頭側の文字列を削除する。
The
具体的には、本実施の形態では、筆記者端末30から、筆記者に割り当てられた割当時間における要約筆記のテキストデータが送信されてくると、受信部21がこれを受信し、受信したテキストデータを、入力制御部22に入力する。そして、入力制御部22は、割当時間毎に、筆記者の筆記者端末から送信されてきたテキストデータを蓄積し、送信されてきた順に結合する。また、入力制御部22は、統合後のテキストデータを重複削除部23に入力する。
Specifically, in the present embodiment, when text data of summary writing at the allocated time allocated to the writer is transmitted from the
この場合、重複削除部23は、最新の割当時間において統合されたテキストデータの先頭側にある文字列と、前回の割当時間において統合されたテキストデートの末尾側にある文字列とを比較する。そして、重複削除部23は、両者が一致する場合、最新の割当時間において統合されたテキストデータから、一致している先頭側の文字列を削除する、なお、前回の割当時間において統合されたテキストデータは、文章リスト(後述の図4参照)として、文章リスト格納部24に格納されている。
In this case, the
送信部25は、重複削除部23によって削除が行われた場合は、先頭側の文字列が削除されたテキストデータを、利用者端末40に送信する。一方、送信部25は、重複削除部23によって削除が行われなかった場合は、送信されてきたテキストデータ(統合後のテキストデータ)を、そのまま利用者端末40に送信する。
When the deletion is performed by the
また、本実施の形態では、割当制御部12が、割当時間それぞれに、順に番号を付与することができ、この場合、音声配信部13は、時間情報及び音声データに加えて、この時間情報が特定する割当時間に付与された番号(以下「割当番号」と表記する。)も、筆記者端末30に送信することができる。そして、筆記者端末30に割当番号が送信された場合は、筆記者端末30では、テキスト送信部32は、テキストデータに、対応する割当番号を付与し、対応する割当番号が付与されたテキストデータを送信することになる。
Moreover, in this Embodiment, the
また、筆記者端末30から送信されてきテキストデータに、割当時間を示す割当番号が付与されている場合は、入力制御部22は、割当番号によってテキストデータの割当時間を管理することができる。即ち、入力制御部22は、同一の割当番号が付与されたテキストデータを一つに統合する。
In addition, when an allocation number indicating an allocation time is assigned to the text data transmitted from the
また、この場合は、重複制御部は、現在の割当番号のテキストデータと、一つ前の割当番号のテキストデータとを比較して重複部分の削除を実行する。また、文章リスト格納部24は、文章リストにおいて、この割当番号も登録する。更に、送信部25は、テキストデータに加えて、テキストデータに付与されている割当番号も、利用者端末40に送信する。
Also, in this case, the duplication control unit compares the text data of the current allocation number with the text data of the previous allocation number, and deletes the duplicated portion. In addition, the sentence
ここで、図3及び図4を用いて、要約筆記支援装置10の機能について更に具体的に説明する。まず、図3を用いて、音声配信機能1について説明する。図3は、図2に示す音声解析部、割当制御部12、及び音声配信部での処理を模式的に示す図である。
Here, the function of the abstract
図3に示すように、音声解析部11は、発話音声51の音声データが入力されると、音声認識エンジンを利用して、これを、音声区間52−1〜52−3と無音区間53−1〜53−4とに分解する。そして、音声解析部11は、無音区間53−1〜53−4を特定する情報を、割当制御部12に出力する。
As shown in FIG. 3, when the voice data of the uttered
割当制御部12は、音声解析部11からの情報に基づいて、無音区間53−1〜53−4を特定する。そして、割当制御部12は、筆記者Aに割り当てられる割当時間61と、無音区間53−1〜54−1とを比較する。そして、割当制御部12は、各無音区間が、割当時間61の終点61bを基準とした範囲内に存在しているかどうかを判定する。具体的には、割当制御部12は、各無音区間が、終点61bの前に設定される前指定区間71と後に設定される後指定区間72とを合せた区間内に存在しているかどうかを判定する。
The
図3の例では、無音区間53−2が、前指定区間71と後指定区間72とを合わせた区間内に存在しているので、割当制御部12は、割当時間61を無音区間53−2(終点)で区切り、割当時間62とする。
In the example of FIG. 3, since the silent section 53-2 exists within the section that includes the previous designated section 71 and the subsequent designated section 72, the
また、これに併せて、割当制御部12は、筆記者Bに割り当てる割当時間63と筆記者Aに割り当てる割当時間62とが重なるように、割当時間63の開始点63aを設定する。具体的には、割当制御部12は、割当時間63の開始点63aを、割当時間62の終点62bの前に、重複区間81の分だけ早くなるように設定する。
At the same time, the
その後、音声配信部13は、新たな割当時間62の開始点62aと終点62bとを特定する時間情報と、発話の音声データ91とを送信する。また、音声配信部13は、筆記者Bの筆記者端末30に、割当時間63の新たに設定された開始点63aを通知する。
Thereafter, the
続いて、図4を用いて、重複削除機能2について説明する。図4は、図2に示す文章リスト格納部に格納されている文章リストの一例を示す図である。
Next, the
本実施の形態では、受信部21は、筆記者端末30から、割当時間を示す割当番号が付与されたテキストデータを受信し、受信したテキストデータと割当番号とを入力制御部22に渡す。
In the present embodiment, the receiving
入力制御部22は、筆記者端末30から、入力完了の通知を受け取るまで、同一の割当番号が付与されたテキストデータを蓄積する。そして、入力制御部22は、筆記者端末30から入力完了の通知が送信されてくると、同一の割当番号が付与されたテキストデータを結合し、割当番号と結合したテキストデータを重複削除部23へ渡す。
The
重複削除部23は、割当番号とテキストデータとを受け取ると、文章リスト格納部24に格納されている文章リストを検索する。図4に示すように、文章リストは、結合されたテキストデータと、それに付与されていた割当番号とを登録している。
When receiving the assigned number and the text data, the
そして、重複削除部23は、検索の結果、文章リストから、割当番号が一つ若いテキストデータを特定できた場合は、特定したテキストデータを抽出する。そして、重複削除部23は、文章リストから抽出したテキストデータの末尾側の文字列と、入力制御部22から渡された統合後のテキストデータの先頭側の文字列とを比較し、両者が重複している場合は、後者の先頭側の文字列を削除する。
Then, as a result of the search, the
その後、重複削除部23は、文字列が削除されたテキストデータを、送信部25に渡す。また、重複削除部23は、文字列が削除されたテキストデータと、その割当番号とを、文章リスト登録する。
Thereafter, the
一方、重複削除部23は、検索の結果、文章リストから、割当番号が一つ若いテキストデータを特定できなかった場合は、入力制御部22から渡された統合後のテキストデータを、送信部25に渡す。また、重複削除部23は、このテキストデータと、その割当番号とを、文章リスト登録する。
On the other hand, as a result of the search, if the
[システム構成:筆記者端末]
図2に示すように、筆記者端末30には、音声再生装置6と、入力装置7とが接続されている。音声再生装置6は、例えば、筆記者端末30に備えられているスピーカー等である。入力装置7は、マウス、キーボード、タッチパネルといった入力機器である。
[System configuration: scribe terminal]
As shown in FIG. 2, the
また、図2に示すように、筆記者端末30は、上述したテキスト送信部32に加えて、音声受信部31と、入力装置7から入力されたテキストデータを受け付けるテキスト入力部32とを備えている。
As shown in FIG. 2, the
音声受信部31は、要約筆記支援装置10から音声データを受信し、これを音声再生装置6に出力する。これにより、音声再生装置6が、話者の音声を再生する。そして、筆記者は、音声を聞きながら、要約筆記を行い、入力装置7を介してテキストデータを入力する。テキスト入力部32は、入力されたテキストデータを受け付けると、これをテキスト送信部32に渡す。
The
テキスト送信部32は、テキスト入力部32から受け取ったテキストデータに、音声配信部13から送信されてきた割当番号を付与し、割当番号が付与されたテキストデータを、要約筆記支援装置10に送信する。
The
[システム構成:利用者端末]
図2に示すように、利用者端末40に表示装置8が接続されている。表示装置8は、利用者端末40に接続又は内蔵された液晶表示装置等である。また、図2に示すように、利用者端末40は、テキスト受信部41と、表示部42とを備えている。
[System configuration: User terminal]
As shown in FIG. 2, the
テキスト受信部41は、要約筆記支援装置10の送信部25から送信されてくるテキストデータと、これに付与されている割当番号とを受信し、これらを表示部42に渡す。表示部42は、送信されてきたテキストデータを、割当番号と共に、割当番号の順に、表示装置8の画面に表示させる。この結果、利用者である聴覚障害者は、話者の音声の要約筆記を確認することができる。
The
また、上述した筆記者端末30及び利用者端末40は、プログラムをコンピュータに実行させることによって構築できる。この場合、コンピュータとしては、パーソナルコンピュータ、更には、スマートフォン、タブレット型端末も挙げられる。
Moreover, the
[システム動作]
次に、本発明の実施の形態における要約筆記支援システム100の動作について図5〜図7を用いて説明する。以下の説明においては、適宜図1〜図4を参酌する。また、以下の例では、要約筆記支援システム100は、例えば、学校、講演会等での講義に利用されているとする。
[System operation]
Next, the operation of the abstract
また、本実施の形態では、要約筆記支援システム100を動作させることによって、要約筆記支援方法が実施される。よって、本実施の形態における要約筆記支援方法の説明は、以下の要約筆記支援システム100の動作説明に代える。
In the present embodiment, the summary writing support method is implemented by operating the summary writing
[システム動作:要約筆記支援装置]
まず、図5を用いて、要約筆記支援装置10における動作について説明する。図5は、本発明の実施の形態における要約筆記支援装置の動作を示すフロー図である。
[System Operation: Summary Writing Support Device]
First, the operation in the abstract
最初に、授業が開始され、講師を含む話者が音声を発する。これにより、話者の発話は、マイク等によって集音され、そこで音声データに変換された後、要約筆記支援装置10へと出力される。そして、図5に示すように、音声解析部11は、音声データを受け取り(ステップA1)、音声認識エンジンを利用して、音声データから、無音区間を特定し、特定した無音区間の開始点と終点とを割当制御部12に出力する(ステップA2)。
First, a class is started and a speaker including a lecturer utters a voice. As a result, the utterance of the speaker is collected by a microphone or the like, converted there to voice data, and then output to the summary writing
次に、割当制御部12は、無音区間が、現在の割当時間の終点を基準とした範囲内に存在するかどうかを判定し、存在すると判定する場合に、現在の割当時間の終点を無音区間に基づいて変更する(ステップA3)。また、割当制御部12は、現在の割当時間に続いて別の筆記者に割り当てられる次の割当時間の開始時間を、現在の割当時間と次の割当時間とが設定された時間分重なるように設定する。
Next, the
音声配信部13は、現在の割当時間が割り当てられている筆記者の筆記者端末30に、現在の割当時間の開始点と終点とを特定する時間情報と、発話の音声データと、現在の割当時間に対応する割当番号とを送信する(ステップA4)。
The
また、ステップA3で変更があった場合は、音声配信部13は、変更後の割当時間の開始点と終点とを特定する時間情報を送信する。更に、音声配信部13は、現在の割当時間の次の割当時間が割り当てられている別の筆記者の筆記者端末30に、次の割当時間の開始を通知する。
When there is a change in step A3, the
次に、筆記者端末30から、筆記者に割り当てられた割当時間における要約筆記のテキストデータが送信されてくると、受信部21は、これを受信し、受信したテキストデータと、それに付与されている割当番号とを、入力制御部22に渡す(ステップA5)。
Next, when the text data of the summary writing at the allotted time assigned to the writer is transmitted from the
入力制御部22は、同一の割当番号が付与されたテキストデータを送信されてきた順に蓄積すると共に、受信部21において、筆記者端末30からの入力完了の通知が受信されているかどうかを判定する(ステップA6)。
The
ステップA6の判定の結果、受信されていない場合は、再度ステップA5が実行される。一方、ステップA6の判定の結果、受信されている場合は、入力制御部22は、同一の割当番号が付与されたテキストデータを結合し、割当番号と結合したテキストデータを重複削除部23へ渡す。
As a result of the determination in step A6, if not received, step A5 is executed again. On the other hand, if it is received as a result of the determination in step A6, the
重複削除部23は、割当番号とテキストデータとを受け取ると、文章リスト格納部24に格納されている文章リストを検索し、割当番号が一つ若いテキストデータを抽出する。そして、重複削除部23は、文章リストから抽出したテキストデータの末尾側の文字列と、入力制御部22から渡された統合後のテキストデータの先頭側の文字列とを比較し、両者が重複している場合は、後者の先頭側の文字列を削除する(ステップA7)。
When the
次に、重複削除部23は、文字列が削除されたテキストデータを、送信部25に渡す。また、重複削除部23は、文字列が削除されたテキストデータと、その割当番号とを、文章リストに登録する(ステップA8)。
Next, the
なお、重複削除部23は、検索によって、割当番号が一つ若いテキストデータを特定できなかった場合は、入力制御部22から渡された統合後のテキストデータを、送信部25に渡す。また、重複削除部23は、このテキストデータと、その割当番号とを、文章リスト登録する。
Note that the
その後、送信部25は、重複削除部23から受け取ったテキストデータと、それに付与された割当番号とを、利用者端末40に送信する(ステップA9)。また、ステップA1〜A9は繰り返し実行される。更に、本実施の形態では、ステップA1〜A4と、ステップA5〜A9とは、それぞれ独立に平行して実行されていても良い。
Thereafter, the
[システム動作:筆記者端末]
続いて、図6を用いて、筆記者端末30における動作について説明する。図6は、本発明の実施の形態における筆記者端末の動作を示すフロー図である。
[System operation: scribe terminal]
Next, the operation in the
図6に示すように、まず、音声受信部31が、要約筆記支援装置10から音声データと割当番号とを受信する(ステップB1)。そして、音声受信部31が、受信した音声データを音声再生装置6に出力すると、音声再生装置6によって、話者の音声が再生される(ステップB2)。
As shown in FIG. 6, first, the
続いて、筆記者は、音声を聞きながら、要約筆記を行い、入力装置7を介してテキストデータを入力する。これにより、テキスト入力部32は、テキストデータの入力を受け付ける(ステップB3)。そして、テキスト入力部32は、テキストデータをテキスト送信部32に渡す。
Subsequently, the writer performs summary writing while listening to the voice, and inputs the text data via the
テキスト送信部32は、テキスト入力部32から受け取ったテキストデータに、音声配信部13から送信されてきた割当番号を付与し、割当番号が付与されたテキストデータを、要約筆記支援装置10に送信する(ステップB4)。
The
ステップB4の実行後、要約筆記支援装置10においては、上述のステップA5が実行される。また、ステップB1〜B4は、音声データと割当番号とが、要約筆記支援装置10から送信されてくる度に実行される。
After execution of step B4, the above-described step A5 is executed in the summary writing
[システム動作:利用者端末]
続いて、図7を用いて、利用者端末40における動作について説明する。図7は、本発明の実施の形態における利用者端末の動作を示すフロー図である。
[System operation: User terminal]
Subsequently, an operation in the
図7に示すように、まず、テキスト受信部41は、要約筆記支援装置10の送信部25から送信されてくるテキストデータと、これに付与されている割当番号とを受信する(ステップC1)。そして、送信部25は、受信したテキストデータと割当番号とを表示部42に渡す。
As shown in FIG. 7, first, the
次に、表示部42は、送信されてきたテキストデータを、割当番号と共に、割当番号の順に、表示装置8の画面に表示させる(ステップC2)。この結果、利用者である聴覚障害者は、話者の音声の要約筆記を確認することができる。
Next, the
[実施の形態における効果]
以上のように、本発明の実施の形態によれば、割当時間が無音区間で区切られるように、割当時間の調整が行われ、更に、割当時間の設定は、連続する割当時間が一部重なるように行われる。このため、複数の筆記者が交代しながら要約筆記を行う場合において、交代がやりやすくなるので、交代の前後の内容の聞き逃し、入力し忘れといったミスの発生が抑制される。また、割当時間が重なる部分で、複数の筆記者が重複して入力した文字列は削除されてから、利用者に提示されるので、利用者にとって、要約筆記が理解し易いものとなる。
[Effects of the embodiment]
As described above, according to the embodiment of the present invention, the allocation time is adjusted so that the allocation time is divided by the silent period, and the allocation time is set so that the continuous allocation time partially overlaps. To be done. For this reason, in the case where a plurality of writers perform summary writing while changing, it is easy to change, and thus the occurrence of mistakes such as missing the contents before and after the change and forgetting to input is suppressed. In addition, since the character strings that are repeatedly input by a plurality of writers are deleted and presented to the user at the portion where the allocation time overlaps, the summary writing becomes easy for the user to understand.
また、これらの結果、本実施の形態によれば、経験の浅い筆記者が要約筆記を行っても、精度の高い要約筆記を提供することができるため、要約筆記者不足という問題の解決も図られる。更に、疑似的な連携入力を実現できるので、情報の即時性などの向上が図られる。 As a result, according to the present embodiment, even if an inexperienced writer makes a summary writing, it is possible to provide a high-precision summary writing. It is done. Furthermore, since pseudo input can be realized, the immediacy of information can be improved.
[変形例]
本実施の形態は、上述の例に、限定されるものではない。例えば、本実施の形態では、筆記者端末30に、割当時間の重複箇所を通知し、筆記者において重複した箇所での入力を控えるように指示することもできる。この場合は、重複削除部23における処理は省略できる。
[Modification]
The present embodiment is not limited to the above example. For example, in the present embodiment, it is possible to notify the
[プログラム]
本実施の形態におけるプログラムは、コンピュータに、図5に示すステップA1〜A9を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における要約筆記支援装置10を実現することができる。この場合、コンピュータのCPU(Central Processing Unit)は、音声解析部11、割当制御部12、音声配信部13、受信部21、入力制御部22、重複削除部23、送信部25として機能し、処理を行なう。
[program]
The program in the present embodiment may be a program that causes a computer to execute steps A1 to A9 shown in FIG. By installing and executing this program on a computer, the abstract
また、要約筆記支援装置10を、例えば、2台のコンピュータで実現する場合は、1台のコンピュータに、図5に示すステップA1〜A4を実行させるプログラムをインストールし、実行させれば良い。そして、もう1台のコンピュータに、図5に示すステップA5〜A9を実行させるプログラムをインストールし、実行させれば良い。
When the abstract
ここで、本実施の形態におけるプログラムを実行することによって、要約筆記支援装置10、筆記者端末30、及び利用者端末40を実現するコンピュータについて図8を用いて説明する。図8は、本発明の実施の形態における要約筆記支援装置、筆記者端末、及び利用者端末を実現するコンピュータの一例を示すブロック図である。
Here, the computer which implement | achieves the abstract
図8に示すように、コンピュータ110は、CPU111と、メインメモリ112と、記憶装置113と、入力インターフェイス114と、表示コントローラ115と、データリーダ/ライタ116と、通信インターフェイス117とを備える。これらの各部は、バス121を介して、互いにデータ通信可能に接続される。
As shown in FIG. 8, the
CPU111は、記憶装置113に格納された、本実施の形態におけるプログラム(コード)をメインメモリ112に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ112は、典型的には、DRAM(Dynamic Random Access Memory)等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体120に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス117を介して接続されたインターネット上で流通するものであっても良い。
The
また、記憶装置113の具体例としては、ハードディスクの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス114は、CPU111と、キーボード及びマウスといった入力機器118との間のデータ伝送を仲介する。表示コントローラ115は、ディスプレイ装置119と接続され、ディスプレイ装置119での表示を制御する。
Specific examples of the
データリーダ/ライタ116は、CPU111と記録媒体120との間のデータ伝送を仲介し、記録媒体120からのプログラムの読み出し、及びコンピュータ110における処理結果の記録媒体120への書き込みを実行する。通信インターフェイス117は、CPU111と、他のコンピュータとの間のデータ伝送を仲介する。
The data reader /
また、記録媒体120の具体例としては、CF(Compact Flash(登録商標))及びSD(Secure Digital)等の汎用的な半導体記憶デバイス、フレキシブルディスク(Flexible Disk)等の磁気記憶媒体、又はCD−ROM(Compact Disk Read Only Memory)などの光学記憶媒体が挙げられる。
Specific examples of the
続いて、図9を用いて、本発明の実施例について説明する。図9は、図5に示した重複文字列の削除処理の具体例を示す図である。なお、以下においては、図5に示したステップA5〜A9の具体例に焦点を当てて説明する。 Subsequently, an embodiment of the present invention will be described with reference to FIG. FIG. 9 is a diagram showing a specific example of the duplicate character string deletion process shown in FIG. In the following, description will be given focusing on the specific example of steps A5 to A9 shown in FIG.
まず、受信部21が、割当番号が4のテキストデータ「進みました。今日は 12行目、XXXXの改新から進めていきます。」を受信するとする(ステップA5)。受信部21は、この割当番号とテキストデータとを入力制御部22へ渡す。
First, it is assumed that the receiving
次に、筆記者端末30から入力の完了が通知されているとすると(ステップA6)、入力制御部22は、このテキストデータ「進みました。今日は 12行目、XXXXの改新から進めていきます。」入力制御部22に渡す。
Next, assuming that the completion of input is notified from the writer terminal 30 (step A6), the
次に、重複削除部23は、割当番号とテキストデータとを受け取り、直前の割当番号として「3」を算出し、そして、文章リスト格納部24に格納されている文章リストを検索する。図4に示すように、割当番号3のテキストデータが登録されているので、重複駆除部23は、割当番号が3のテキストデータ「昨日はXXXX年に起こったXXXの乱まで進みました。」を取得する。
Next, the
そして、重複削除部23は、文章リストから抽出した割当番号が3のテキストデータの末尾側の文字列と、割当番号が4のテキストデータの先頭側の文字列とを比較し、両者の重複している文字列「進みました」を特定する。その後、重複削除部23は、重複している文字列「進みました」を削除する(ステップA7)。
Then, the
次に、重複削除部23は、文字列が削除された割当番号4のテキストデータ「今日は、12行目、XXXXの改新から進めていきます。」を、送信部25に渡す。また、重複削除部23は、文字列が削除された割当番号4のテキストデータと、その割当番号「4」とを、文章リストに登録する(ステップA8)。その後、送信部25は、文字列が削除された割当番号4のテキストデータと、割当番号「4」とを、利用者端末40に送信する(ステップA9)。
Next, the
その後、利用者端末40においては、テキスト受信部41が、割当番号「4」とテキストデータ「今日は、12行目、XXXXの改新から進めていきます。」とを受信する(ステップC1)。そして、利用者端末40の表示画面には、割当番号1〜4の各テキストデータが、割当番号の順に表示される(ステップC2)。
Thereafter, in the
上述した実施の形態の一部又は全部は、以下に記載する(付記1)〜(付記26)によって表現することができるが、以下の記載に限定されるものではない。 Part or all of the above-described embodiment can be expressed by (Appendix 1) to (Appendix 26) described below, but is not limited to the following description.
(付記1)
話者の発話の要約筆記を支援するためのシステムであって、
要約筆記支援装置と、前記要約筆記を行う筆記者が使用する筆記者端末と、前記要約筆記を利用する利用者端末とを備え、
前記要約筆記支援装置は、
前記発話の音声から無音区間を特定する、音声解析部と、
前記要約筆記を行う筆記者に割り当てられた割当時間毎に、前記無音区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、前記無音区間が前記範囲内に存在すると判定する場合に当該割当時間の終点を前記無音区間に基づいて変更する、割当制御部と、
前記割当時間毎に、当該割当時間が割り当てられている筆記者の前記筆記者端末に、当該割当時間の開始点と終点とを特定する時間情報と、前記発話の音声データとを送信する、音声配信部と、を備え、
前記筆記者端末は、
前記筆記者に割り当てられた割当時間における要約筆記のテキストデータを、前記要約筆記支援装置に送信する、テキスト送信部を備えている、
ことを特徴とする要約筆記支援システム。
(Appendix 1)
A system for supporting summary writing of speaker's utterances,
A summary writing support device, a writer terminal used by a writer who performs the summary writing, and a user terminal that uses the summary writing,
The summary writing support device includes:
A voice analysis unit for identifying a silent section from the voice of the utterance;
For each allocation time allocated to the writer who performs the summary writing, it is determined whether the silent section exists within a range based on the end point of the allocated time, and the silent section exists within the range Then, when determining, an allocation control unit that changes the end point of the allocation time based on the silent section;
For each assigned time, a voice that transmits time information for specifying a start point and an end point of the assigned time and voice data of the utterance to the writer terminal of the writer to which the assigned time is assigned A distribution unit,
The writer terminal is
A text transmission unit that transmits the text data of the summary writing at the allocated time assigned to the writer to the summary writing support device;
This is a summary writing support system.
(付記2)
前記要約筆記支援装置が、
前記筆記者端末から、前記筆記者に割り当てられた割当時間における要約筆記のテキストデータが送信されてきた場合に、送信されてきた前記テキストデータの先頭側にある文字列と、別の筆記者に割り当てられた前回の割当時間における要約筆記のテキストデータの末尾側にある文字列とを比較し、そして、両者が一致する場合に、送信されてきた前記テキストデータから、一致している先頭側の文字列を削除する、重複削除部と、
削除が行われた場合は、先頭側の文字列が削除された前記テキストデータを、前記利用者端末に送信し、削除が行われなかった場合は、送信されてきた前記テキストデータを、前記利用者端末に送信する、送信部と、
を更に備えている、付記1に記載の要約筆記支援システム。
(Appendix 2)
The summary brush Ki支 assistance device,
When the text data of the summary writing at the allotted time assigned to the writer is transmitted from the writer terminal, the character string at the head of the transmitted text data and another writer Compares the character string at the end of the text data of the summary writing at the previous allocated time, and if both match, from the sent text data, Delete the character string, duplicate deletion part,
When the deletion is performed, the text data from which the character string on the top side is deleted is transmitted to the user terminal. When the deletion is not performed, the transmitted text data is used as the usage data. A transmitting unit for transmitting to the user terminal;
The summary writing support system according to Appendix 1, further comprising:
(付記3)
前記要約筆記記支援装置において、前記割当制御部が、更に、当該割当時間に続いて別の筆記者に割り当てられる次の割当時間の開始時間を、当該割当時間と前記次の割当時間とが設定された時間分重なるように設定する、
付記1または2に記載の要約筆記支援システム。
(Appendix 3)
In the captioning Ki支 assistance device, the allocation control unit is further the start time of another scribe the next allocated time allocated subsequent to the allocated time, and the corresponding allocated time and the next allocated time Set to overlap for the set time,
The abstract writing support system according to
(付記4)
前記要約筆記支援装置において、前記音声配信部が、
当該割当時間が割り当てられている筆記者の筆記者端末に、前記時間情報と前記音声データとの送信後に、当該割当時間の終了を通知し、
当該割当時間の次の割当時間が割り当てられている別の筆記者の筆記者端末に、次の割当時間の開始を通知する、
付記1〜3のいずれかに記載の要約筆記支援システム。
(Appendix 4)
In the summary brush Ki支 assistance device, the audio delivering unit,
After the transmission of the time information and the voice data to the writer terminal of the writer who is assigned the assigned time, the end of the assigned time is notified,
Notifying the writer terminal of another writer who is assigned the next assigned time of the assigned time, the start of the next assigned time,
The abstract writing support system according to any one of appendices 1 to 3.
(付記5)
前記要約筆記支援装置が、前記割当時間毎に、前記筆記者の筆記者端末から送信されてきたテキストデータを蓄積し、送信されてきた順に結合する、入力制御部を更に備え、
前記要約筆記支援装置において、前記重複削除部が、最新の割当時間において統合されたテキストデータの先頭側にある文字列と、前回の割当時間において統合されたテキストデートの末尾側にある文字列とを比較し、そして、両者が一致する場合に、最新の割当時間において統合されたテキストデータから、一致している先頭側の文字列を削除する、
付記2に記載の要約筆記支援システム。
(Appendix 5)
The summary brush Ki支 assistance device, for each of the allocated time, accumulates text data transmitted from the scribes terminal of the scribe, bind in the order sent, further comprising an input control unit,
Characters in the summary brush Ki支 assistance device, the duplicate removal section, at the end side of the character string at the beginning side of the text data that is integrated in the latest allocation time, text date integrated in the previous allotted time Compare the columns, and if they match, delete the matching first string from the text data integrated at the latest allocation time,
The abstract writing support system according to
(付記6)
前記要約筆記支援装置において、
前記割当制御部が、前記割当時間それぞれに、順に番号を付与し、
前記音声配信部が、前記時間情報及び前記音声データに加えて、前記時間情報が特定する割当時間に付与された番号を、送信し、
前記筆記者端末において、
前記テキスト送信部が、前記テキストデータに対応する番号を付与し、前記対応する番号が付与された前記テキストデータを送信し、
前記要約筆記支援装置において、
前記入力制御部が、同一の番号が付与されたテキストデータを一つに統合する、付記5に記載の要約筆記支援システム。
(Appendix 6)
In the summary brush Ki支 assistance device,
The allocation control unit sequentially assigns a number to each of the allocation times,
In addition to the time information and the voice data, the voice distribution unit transmits a number assigned to the allocated time specified by the time information,
In the writer terminal,
The text transmission unit gives a number corresponding to the text data, transmits the text data to which the corresponding number is assigned,
In the summary brush Ki支 assistance device,
The abstract writing support system according to appendix 5, wherein the input control unit integrates text data assigned with the same number into one.
(付記7)
前記要約筆記支援装置において、前記送信部が、前記テキストデータに加えて、前記テキストデータに付与されている番号を前記利用者端末に送信し、
前記利用者端末が、送信されてきた前記テキストデータを、それに付与されている前記番号の順に、画面に表示させる、
付記6に記載の要約筆記支援システム。
(Appendix 7)
In the summary brush Ki支 assistance device, the transmission unit, in addition to the text data, send a number assigned to the text data to the user terminal,
The user terminal displays the transmitted text data on the screen in the order of the numbers assigned thereto.
The abstract writing support system according to
(付記8)
前記要約筆記支援装置において、
前記音声解析部は、前記発話の音声から特定した無音区間のうち、長さが閾値以下の無音区間を更に特定し、
前記割当制御部が、特定された長さが閾値以下の無音区間を用いて、判定を行う、付記1〜7のいずれかに記載の要約筆記支援システム。
(Appendix 8)
In the summary brush Ki支 assistance device,
The voice analysis unit further specifies a silent section whose length is equal to or less than a threshold among the silent sections specified from the speech voice,
The summary writing support system according to any one of appendices 1 to 7, wherein the allocation control unit performs a determination using a silent section whose specified length is equal to or less than a threshold value.
(付記9)
話者の発話の要約筆記を支援するための装置であって、
前記発話の音声から無音区間を特定する、音声解析部と、
前記要約筆記を行う筆記者に割り当てられた割当時間毎に、前記無音区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、前記無音区間が前記範囲内に存在すると判定する場合に当該割当時間の終点を前記無音区間に基づいて変更する、割当制御部と、
前記割当時間毎に、当該割当時間が割り当てられている筆記者が使用する端末装置に、当該割当時間の開始点と終点とを特定する時間情報と、前記発話の音声データとを送信する、音声配信部と、
を備えている、ことを特徴とする要約筆記支援装置。
(Appendix 9)
A device for supporting the summary writing of a speaker's utterance,
A voice analysis unit for identifying a silent section from the voice of the utterance;
For each allocation time allocated to the writer who performs the summary writing, it is determined whether the silent section exists within a range based on the end point of the allocated time, and the silent section exists within the range Then, when determining, an allocation control unit that changes the end point of the allocation time based on the silent section;
A voice that transmits, for each allocated time, time information that identifies a start point and an end point of the allocated time and voice data of the utterance to a terminal device used by a writer who is allocated the allocated time. A distribution department;
An abstract writing support apparatus characterized by comprising:
(付記10)
前記筆記者が使用する端末装置から、前記筆記者に割り当てられた割当時間における要約筆記のテキストデータが送信されてきた場合に、送信されてきた前記テキストデータの先頭側にある文字列と、別の筆記者に割り当てられた前回の割当時間における要約筆記のテキストデータの末尾側にある文字列とを比較し、そして、両者が一致する場合に、送信されてきた前記テキストデータから、一致している先頭側の文字列を削除する、重複削除部と、
削除が行われた場合は、先頭側の文字列が削除された前記テキストデータを、要約筆記を利用する利用者の端末装置に送信し、削除が行われなかった場合は、送信されてきた前記テキストデータを、要約筆記を利用する利用者の端末装置に送信する、送信部と、
を更に備えている、付記9に記載の要約筆記支援装置。
(Appendix 10)
When the text data of the summary writing at the allotted time allocated to the writer is transmitted from the terminal device used by the writer, the character string at the head of the transmitted text data is different from Compare the character string at the end of the text data of the summary writing at the previous allocation time assigned to the writer of the previous, and if both match, from the text data sent, match Delete the first character string that is
When the deletion is performed, the text data from which the character string on the top side is deleted is transmitted to the terminal device of the user who uses the summary writing. When the deletion is not performed, the transmitted text data is transmitted. A transmission unit for transmitting text data to a terminal device of a user who uses summary writing;
The summary writing support apparatus according to appendix 9, further comprising:
(付記11)
前記割当制御部が、更に、当該割当時間に続いて別の筆記者に割り当てられる次の割当時間の開始時間を、当該割当時間と前記次の割当時間とが設定された時間分重なるように設定する、
付記9または10に記載の要約筆記支援装置。
(Appendix 11)
The allocation control unit further sets the start time of the next allocation time allocated to another writer following the allocation time so that the allocation time and the next allocation time overlap. To
The abstract writing support apparatus according to
(付記12)
前記音声配信部が、
当該割当時間が割り当てられている筆記者が使用する端末装置に、前記時間情報と前記音声データとの送信後に、当該割当時間の終了を通知し、
当該割当時間の次の割当時間が割り当てられている別の筆記者が使用する端末装置に、次の割当時間の開始を通知する、
付記9〜11に記載の要約筆記支援装置。
(Appendix 12)
The voice delivery unit
After the transmission of the time information and the voice data to the terminal device used by the writer who is assigned the assigned time, the end of the assigned time is notified,
Notifying the terminal device used by another writer who is assigned the next assigned time of the assigned time, the start of the next assigned time,
The abstract writing support apparatus according to appendices 9 to 11.
(付記13)
前記割当時間毎に、前記筆記者が使用する端末装置から送信されてきたテキストデータを蓄積し、送信されてきた順に結合する、入力制御部を更に備え、
前記重複削除部が、最新の割当時間において統合されたテキストデータの先頭側にある文字列と、前回の割当時間において統合されたテキストデートの末尾側にある文字列とを比較し、そして、両者が一致する場合に、最新の割当時間において統合されたテキストデータから、一致している先頭側の文字列を削除する、
付記11に記載の要約筆記支援装置。
(Appendix 13)
Further comprising an input control unit that accumulates text data transmitted from the terminal device used by the writer for each allocated time, and combines them in the order of transmission;
The duplicate deletion unit compares the character string on the head side of the text data integrated at the latest allocation time with the character string on the tail side of the text date integrated at the previous allocation time, and both If they match, delete the matching first character string from the text data integrated in the latest allocation time,
The abstract writing support apparatus according to
(付記14)
前記音声解析部は、前記発話の音声から特定した無音区間のうち、長さが閾値以下の無音区間を更に特定し、
前記割当制御部が、特定された長さが閾値以下の無音区間を用いて、判定を行う、付記9〜13のいずれかに記載の要約筆記支援装置。
(Appendix 14)
The voice analysis unit further specifies a silent section whose length is equal to or less than a threshold among the silent sections specified from the speech voice,
The summary writing support apparatus according to any one of appendices 9 to 13, wherein the allocation control unit performs a determination using a silent section whose specified length is equal to or less than a threshold value.
(付記15)
話者の発話の要約筆記を支援するための方法であって、
(a)前記発話の音声から無音区間を特定する、ステップと、
(b)前記要約筆記を行う筆記者に割り当てられた割当時間毎に、前記無音区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、前記無音区間が前記範囲内に存在すると判定する場合に当該割当時間の終点を前記無音区間に基づいて変更する、ステップと、
(c)前記割当時間毎に、当該割当時間が割り当てられている筆記者が使用する筆記者端末に、当該割当時間の開始点と終点とを特定する時間情報と、前記発話の音声データとを送信する、ステップと、
を有する、ことを特徴とする要約筆記支援方法。
(Appendix 15)
A method for supporting summary writing of a speaker's utterance,
(A) identifying a silent section from the voice of the utterance;
(B) For each allocation time allocated to the writer who performs the summary writing, it is determined whether the silent section exists within a range with reference to the end point of the allocated time, and the silent section is the range. Changing the end point of the allotted time based on the silent section when it is determined that it exists within the step, and
(C) For each assigned time, a writer terminal used by a writer who is assigned the assigned time is provided with time information for specifying a start point and an end point of the assigned time, and voice data of the utterance. Send, step, and
An abstract writing support method characterized by comprising:
(付記16)
(d)前記筆記者端末から、前記筆記者に割り当てられた割当時間における要約筆記のテキストデータが送信されてきた場合に、送信されてきた前記テキストデータの先頭側にある文字列と、別の筆記者に割り当てられた前回の割当時間における要約筆記のテキストデータの末尾側にある文字列とを比較し、そして、両者が一致する場合に、送信されてきた前記テキストデータから、一致している先頭側の文字列を削除する、ステップと、
(e)前記(d)のステップで削除が行われた場合に、先頭側の文字列が削除された前記テキストデータを、前記利用者端末に送信する、ステップと、
(f)前記(d)のステップで削除が行われなかった場合に、送信されてきた前記テキストデータを、前記利用者端末に送信する、ステップと、
を更に有する、付記15に記載の要約筆記支援方法。
(Appendix 16)
(D) When the text data of the summary writing at the allotted time allocated to the writer is transmitted from the writer terminal, a character string at the head of the transmitted text data, Compared to the character string at the end of the text data of the summary writing at the previous allocation time assigned to the writer, and if both match, it matches from the sent text data Delete the string on the first side, and
(E) when the deletion is performed in the step (d), the text data from which the leading character string is deleted is transmitted to the user terminal; and
(F) If the deletion is not performed in the step (d), the transmitted text data is transmitted to the user terminal; and
The summary writing support method according to supplementary note 15, further comprising:
(付記17)
(g)前記(b)のステップの実行後に、当該割当時間に続いて別の筆記者に割り当てられる次の割当時間の開始時間を、当該割当時間と前記次の割当時間とが設定された時間分重なるように設定する、ステップを、
更に有する、付記15または16に記載の要約筆記支援方法。
(Appendix 17)
(G) After execution of the step (b), the start time of the next allocation time allocated to another writer following the allocation time is the time when the allocation time and the next allocation time are set. Set the steps so that they overlap.
The abstract writing support method according to Supplementary Note 15 or 16, further comprising:
(付記18)
(h)当該割当時間が割り当てられている筆記者の筆記者端末に、前記(c)のステップによる前記時間情報と前記音声データとの送信後に、当該割当時間の終了を通知し、当該割当時間の次の割当時間が割り当てられている別の筆記者の筆記者端末に、次の割当時間の開始を通知する、ステップを、
更に有する、付記15〜17のいずれかに記載の要約筆記支援方法。
(Appendix 18)
(H) Notifying the end of the allocated time after transmitting the time information and the voice data in the step (c) to the writer terminal of the writer who is allocated the allocated time, Notifying the writer's terminal of another writer who is assigned the next quota time of the start of the next quota time,
The abstract writing support method according to any one of appendices 15 to 17, further comprising:
(付記19)
(i)前記割当時間毎に、前記筆記者の筆記者端末から送信されてきたテキストデータを蓄積し、送信されてきた順に結合する、ステップを更に有し、
前記(d)のステップにおいて、最新の割当時間において統合されたテキストデータの先頭側にある文字列と、前回の割当時間において統合されたテキストデートの末尾側にある文字列とを比較し、そして、両者が一致する場合に、最新の割当時間において統合されたテキストデータから、一致している先頭側の文字列を削除する、
付記16に記載の要約筆記支援方法。
(Appendix 19)
(I) storing the text data transmitted from the writer's terminal of the writer for each allocated time, and further combining them in the order of transmission;
In the step (d), a character string at the beginning of the text data integrated at the latest allocation time is compared with a character string at the end of the text date integrated at the previous allocation time; and , If the two match, delete the matching leading character string from the text data integrated at the latest allocation time,
The abstract writing support method according to appendix 16.
(付記20)
前記(a)のステップにおいて、前記発話の音声から特定した無音区間のうち、長さが閾値以下の無音区間を更に特定し、
前記(b)のステップにおいて、特定された長さが閾値以下の無音区間を用いて、判定を行う、付記15〜19のいずれかに記載の要約筆記支援方法。
(Appendix 20)
In the step (a), among the silence sections identified from the speech voice, a silence section having a length equal to or less than a threshold value is further specified.
The abstract writing support method according to any one of supplementary notes 15 to 19, wherein in the step (b), the determination is performed using a silent section whose specified length is equal to or less than a threshold value.
(付記21)
コンピュータによって、話者の発話の要約筆記を支援するためのプログラムであって、
前記コンピュータに、
(a)前記発話の音声から無音区間を特定する、ステップと、
(b)前記要約筆記を行う筆記者に割り当てられた割当時間毎に、前記無音区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、前記無音区間が前記範囲内に存在すると判定する場合に当該割当時間の終点を前記無音区間に基づいて変更する、ステップと、
(c)前記割当時間毎に、当該割当時間が割り当てられている筆記者が使用する筆記者端末に、当該割当時間の開始点と終点とを特定する時間情報と、前記発話の音声データとを送信する、ステップと、
を実行させるプログラム。
(Appendix 21)
A program for supporting the summary writing of a speaker's utterance by a computer,
In the computer,
(A) identifying a silent section from the voice of the utterance;
(B) For each allocation time allocated to the writer who performs the summary writing, it is determined whether the silent section exists within a range with reference to the end point of the allocated time, and the silent section is the range. Changing the end point of the allotted time based on the silent section when it is determined that it exists within the step, and
(C) For each assigned time, a writer terminal used by a writer who is assigned the assigned time is provided with time information for specifying a start point and an end point of the assigned time, and voice data of the utterance. Send, step, and
A program that executes
(付記22)
(d)前記筆記者端末から、前記筆記者に割り当てられた割当時間における要約筆記のテキストデータが送信されてきた場合に、送信されてきた前記テキストデータの先頭側にある文字列と、別の筆記者に割り当てられた前回の割当時間における要約筆記のテキストデータの末尾側にある文字列とを比較し、そして、両者が一致する場合に、送信されてきた前記テキストデータから、一致している先頭側の文字列を削除する、ステップと、
(e)前記(d)のステップで削除が行われた場合に、先頭側の文字列が削除された前記テキストデータを、前記利用者端末に送信する、ステップと、
(f)前記(d)のステップで削除が行われなかった場合に、送信されてきた前記テキストデータを、前記利用者端末に送信する、ステップと、
を更に前記コンピュータに実行させる、付記21に記載のプログラム。
(Appendix 22)
(D) When the text data of the summary writing at the allotted time allocated to the writer is transmitted from the writer terminal, a character string at the head of the transmitted text data, Compared to the character string at the end of the text data of the summary writing at the previous allocation time assigned to the writer, and if both match, it matches from the sent text data Delete the string on the first side, and
(E) when the deletion is performed in the step (d), the text data from which the leading character string is deleted is transmitted to the user terminal; and
(F) If the deletion is not performed in the step (d), the transmitted text data is transmitted to the user terminal; and
The program according to
(付記23)
(g)前記(b)のステップの実行後に、当該割当時間に続いて別の筆記者に割り当てられる次の割当時間の開始時間を、当該割当時間と前記次の割当時間とが設定された時間分重なるように設定する、ステップを、
更に前記コンピュータに実行させる、付記21または22に記載のプログラム。
(Appendix 23)
(G) After execution of the step (b), the start time of the next allocation time allocated to another writer following the allocation time is the time when the allocation time and the next allocation time are set. Set the steps so that they overlap.
The program according to
(付記24)
(h)当該割当時間が割り当てられている筆記者の筆記者端末に、前記(c)のステップによる前記時間情報と前記音声データとの送信後に、当該割当時間の終了を通知し、当該割当時間の次の割当時間が割り当てられている別の筆記者の筆記者端末に、次の割当時間の開始を通知する、ステップを、
更に前記コンピュータに実行させる、付記21〜23のいずれかに記載のプログラム。
(Appendix 24)
(H) Notifying the end of the allocated time after transmitting the time information and the voice data in the step (c) to the writer terminal of the writer who is allocated the allocated time, Notifying the writer's terminal of another writer who is assigned the next quota time of the start of the next quota time,
The program according to any one of
(付記25)
(i)前記割当時間毎に、前記筆記者の筆記者端末から送信されてきたテキストデータを蓄積し、送信されてきた順に結合する、ステップを更に前記コンピュータに実行させる、
前記(d)のステップにおいて、最新の割当時間において統合されたテキストデータの先頭側にある文字列と、前回の割当時間において統合されたテキストデートの末尾側にある文字列とを比較し、そして、両者が一致する場合に、最新の割当時間において統合されたテキストデータから、一致している先頭側の文字列を削除する、
付記22に記載のプログラム。
(Appendix 25)
(I) Accumulating text data transmitted from the writer's terminal of the writer for each allocated time, and combining them in the order of transmission, further causing the computer to execute a step;
In the step (d), a character string at the beginning of the text data integrated at the latest allocation time is compared with a character string at the end of the text date integrated at the previous allocation time; and , If the two match, delete the matching leading character string from the text data integrated at the latest allocation time,
The program according to
(付記26)
前記(a)のステップにおいて、前記発話の音声から特定した無音区間のうち、長さが閾値以下の無音区間を更に特定し、
前記(b)のステップにおいて、特定された長さが閾値以下の無音区間を用いて、判定を行う、付記21〜25のいずれかに記載のプログラム。
(Appendix 26)
In the step (a), among the silence sections identified from the speech voice, a silence section having a length equal to or less than a threshold value is further specified.
The program according to any one of
以上のように本発明によれば、複数の筆記者が交代しながら要約筆記を行なう場合において、筆記者を支援してミスの発生を抑制することができる。本発明は、要約筆記が必要な分野であれば、学校等における授業に限られず、種々の講演等にも有用である。 As described above, according to the present invention, when a plurality of writers perform summary writing while changing, it is possible to support the writers and suppress the occurrence of mistakes. The present invention is useful not only for classes in schools and the like but also for various lectures as long as it is a field that requires abstract writing.
1 音声配信機能
2 重複削除機能
6 音声再生装置
7 入力装置
8 表示装置
10 要約筆記支援装置
11 音声解析部
12 割当制御部
13 音声配信部
21 受信部
22 入力制御部
23 重複削除部
24 文章リスト格納部
25 送信部
30 筆記者端末
31 音声受信部
32 テキスト送信部
33 テキスト入力部
40 利用者端末
41 テキスト受信部
42 表示部
51 発話音声の音声データ
52−1〜52−3 音声区間
53−1〜53−4 無音区間
61 割当時間
61a 開始点
61b 終点
62 割当時間(変更後)
62a 開始点
62b 終点
63 割当時間(次)
63a 開始点
71 前指定区間
72 後指定区間
81 重複区間
91 発話音声の音声データ
100 要約筆記支援システム
110 コンピュータ
111 CPU
112 メインメモリ
113 記憶装置
114 入力インターフェイス
115 表示コントローラ
116 データリーダ/ライタ
117 通信インターフェイス
118 入力機器
119 ディスプレイ装置
120 記録媒体
121 バス
DESCRIPTION OF SYMBOLS 1
62a Start point 62b End point 63 Allocated time (next)
63a Start point 71 Previous designated section 72 Later designated
112
Claims (10)
要約筆記支援装置と、前記要約筆記を行う筆記者が使用する筆記者端末と、前記要約筆記を利用する利用者端末とを備え、
前記要約筆記支援装置は、
前記発話の音声から無音区間を特定する、音声解析部と、
前記要約筆記を行う筆記者に割り当てられた割当時間毎に、前記無音区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、前記無音区間が前記範囲内に存在すると判定する場合に当該割当時間の終点を前記無音区間に基づいて変更する、割当制御部と、
前記割当時間毎に、当該割当時間が割り当てられている筆記者の前記筆記者端末に、当該割当時間の開始点と終点とを特定する時間情報と、前記発話の音声データとを送信する、音声配信部と、を備え、
前記筆記者端末は、
前記筆記者に割り当てられた割当時間における要約筆記のテキストデータを、前記要約筆記支援装置に送信する、テキスト送信部を備えている、
ことを特徴とする要約筆記支援システム。 A system for supporting summary writing of speaker's utterances,
A summary writing support device, a writer terminal used by a writer who performs the summary writing, and a user terminal that uses the summary writing,
The summary writing support device includes:
A voice analysis unit for identifying a silent section from the voice of the utterance;
For each allocation time allocated to the writer who performs the summary writing, it is determined whether the silent section exists within a range based on the end point of the allocated time, and the silent section exists within the range Then, when determining, an allocation control unit that changes the end point of the allocation time based on the silent section;
For each assigned time, a voice that transmits time information for specifying a start point and an end point of the assigned time and voice data of the utterance to the writer terminal of the writer to which the assigned time is assigned A distribution unit,
The writer terminal is
A text transmission unit that transmits the text data of the summary writing at the allocated time assigned to the writer to the summary writing support device;
This is a summary writing support system.
前記筆記者端末から、前記筆記者に割り当てられた割当時間における要約筆記のテキストデータが送信されてきた場合に、送信されてきた前記テキストデータの先頭側にある文字列と、別の筆記者に割り当てられた前回の割当時間における要約筆記のテキストデータの末尾側にある文字列とを比較し、そして、両者が一致する場合に、送信されてきた前記テキストデータから、一致している先頭側の文字列を削除する、重複削除部と、
削除が行われた場合は、先頭側の文字列が削除された前記テキストデータを、前記利用者端末に送信し、削除が行われなかった場合は、送信されてきた前記テキストデータを、前記利用者端末に送信する、送信部と、
を更に備えている、請求項1に記載の要約筆記支援システム。 The summary brush Ki支 assistance device,
When the text data of the summary writing at the allotted time assigned to the writer is transmitted from the writer terminal, the character string at the head of the transmitted text data and another writer Compares the character string at the end of the text data of the summary writing at the previous allocated time, and if both match, from the sent text data, Delete the character string, duplicate deletion part,
When the deletion is performed, the text data from which the character string on the top side is deleted is transmitted to the user terminal. When the deletion is not performed, the transmitted text data is used as the usage data. A transmitting unit for transmitting to the user terminal;
The summary writing support system according to claim 1, further comprising:
請求項1または2に記載の要約筆記支援システム。 In the summary brush Ki支 assistance device, the allocation control unit is further the start time of another scribe the next allocated time allocated subsequent to the allocated time, and the corresponding allocated time and the next allocated time Set to overlap for the set time,
The abstract writing support system according to claim 1 or 2.
当該割当時間が割り当てられている筆記者の筆記者端末に、前記時間情報と前記音声データとの送信後に、当該割当時間の終了を通知し、
当該割当時間の次の割当時間が割り当てられている別の筆記者の筆記者端末に、次の割当時間の開始を通知する、
請求項1〜3のいずれかに記載の要約筆記支援システム。 In the summary brush Ki支 assistance device, the audio delivering unit,
After the transmission of the time information and the voice data to the writer terminal of the writer who is assigned the assigned time, the end of the assigned time is notified,
Notifying the writer terminal of another writer who is assigned the next assigned time of the assigned time, the start of the next assigned time,
The abstract writing support system according to claim 1.
前記要約筆記支援装置において、前記重複削除部が、最新の割当時間において統合されたテキストデータの先頭側にある文字列と、前回の割当時間において統合されたテキストデートの末尾側にある文字列とを比較し、そして、両者が一致する場合に、最新の割当時間において統合されたテキストデータから、一致している先頭側の文字列を削除する、
請求項2に記載の要約筆記支援システム。 The summary brush Ki支 assistance device, for each of the allocated time, accumulates text data transmitted from the scribes terminal of the scribe, bind in the order sent, further comprising an input control unit,
Characters in the summary brush Ki支 assistance device, the duplicate removal section, at the end side of the character string at the beginning side of the text data that is integrated in the latest allocation time, text date integrated in the previous allotted time Compare the columns, and if they match, delete the matching first string from the text data integrated at the latest allocation time,
The abstract writing support system according to claim 2.
前記割当制御部が、前記割当時間それぞれに、順に番号を付与し、
前記音声配信部が、前記時間情報及び前記音声データに加えて、前記時間情報が特定する割当時間に付与された番号を、送信し、
前記筆記者端末において、
前記テキスト送信部が、前記テキストデータに対応する番号を付与し、前記対応する番号が付与された前記テキストデータを送信し、
前記要約筆記支援装置において、
前記入力制御部が、同一の番号が付与されたテキストデータを一つに統合する、請求項5に記載の要約筆記支援システム。 In the summary brush Ki支 assistance device,
The allocation control unit sequentially assigns a number to each of the allocation times,
In addition to the time information and the voice data, the voice distribution unit transmits a number assigned to the allocated time specified by the time information,
In the writer terminal,
The text transmission unit gives a number corresponding to the text data, transmits the text data to which the corresponding number is assigned,
In the summary brush Ki支 assistance device,
6. The abstract writing support system according to claim 5, wherein the input control unit integrates text data assigned with the same number into one.
前記利用者端末が、送信されてきた前記テキストデータを、それに付与されている前記
番号の順に、画面に表示させる、
請求項6に記載の要約筆記支援システム。 In the summary brush Ki支 assistance device, the transmission unit, in addition to the text data, send a number assigned to the text data to the user terminal,
The user terminal displays the transmitted text data on the screen in the order of the numbers assigned thereto.
The abstract writing support system according to claim 6.
前記発話の音声から無音区間を特定する、音声解析部と、
前記要約筆記を行う筆記者に割り当てられた割当時間毎に、前記無音区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、前記無音区間が前記範囲内に存在すると判定する場合に当該割当時間の終点を前記無音区間に基づいて変更する、割当制御部と、
前記割当時間毎に、当該割当時間が割り当てられている筆記者が使用する端末装置に、当該割当時間の開始点と終点とを特定する時間情報と、前記発話の音声データとを送信する、音声配信部と、
を備えている、ことを特徴とする要約筆記支援装置。 A device for supporting the summary writing of a speaker's utterance,
A voice analysis unit for identifying a silent section from the voice of the utterance;
For each allocation time allocated to the writer who performs the summary writing, it is determined whether the silent section exists within a range based on the end point of the allocated time, and the silent section exists within the range Then, when determining, an allocation control unit that changes the end point of the allocation time based on the silent section;
A voice that transmits, for each allocated time, time information that identifies a start point and an end point of the allocated time and voice data of the utterance to a terminal device used by a writer who is allocated the allocated time. A distribution department;
An abstract writing support apparatus characterized by comprising:
(a)コンピュータによって、前記発話の音声から無音区間を特定する、ステップと、
(b)前記コンピュータによって、前記要約筆記を行う筆記者に割り当てられた割当時間毎に、前記無音区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、前記無音区間が前記範囲内に存在すると判定する場合に当該割当時間の終点を前記無音区間に基づいて変更する、ステップと、
(c)前記コンピュータによって、前記割当時間毎に、当該割当時間が割り当てられている筆記者が使用する筆記者端末に、当該割当時間の開始点と終点とを特定する時間情報と、前記発話の音声データとを送信する、ステップと、
を有する、ことを特徴とする要約筆記支援方法。 A method for supporting summary writing of a speaker's utterance,
(A) identifying a silent section from the voice of the utterance by a computer ;
(B) For each allocation time allocated to the writer who performs the summary writing by the computer, it is determined whether the silent section exists within a range with reference to the end point of the allocation time, and the silence Changing the end point of the allocated time based on the silent section when determining that the section exists within the range; and
(C) Time information for specifying a start point and an end point of the allocated time on a writer terminal used by a writer who is allocated the allocated time for each allocated time by the computer; Sending audio data, step,
An abstract writing support method characterized by comprising:
前記コンピュータに、
(a)前記発話の音声から無音区間を特定する、ステップと、
(b)前記要約筆記を行う筆記者に割り当てられた割当時間毎に、前記無音区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、前記無音区間が前記範囲内に存在すると判定する場合に当該割当時間の終点を前記無音区間に基づいて変更する、ステップと、
(c)前記割当時間毎に、当該割当時間が割り当てられている筆記者が使用する筆記者端末に、当該割当時間の開始点と終点とを特定する時間情報と、前記発話の音声データとを送信する、ステップと、
を実行させるプログラム。 A program for supporting the summary writing of a speaker's utterance by a computer,
In the computer,
(A) identifying a silent section from the voice of the utterance;
(B) For each allocation time allocated to the writer who performs the summary writing, it is determined whether the silent section exists within a range with reference to the end point of the allocated time, and the silent section is the range. Changing the end point of the allotted time based on the silent section when it is determined that it exists within the step, and
(C) For each assigned time, a writer terminal used by a writer who is assigned the assigned time is provided with time information for specifying a start point and an end point of the assigned time, and voice data of the utterance. Send, step, and
A program that executes
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013053406A JP5791124B2 (en) | 2013-03-15 | 2013-03-15 | Abstract writing support system, abstract writing support device, abstract writing support method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013053406A JP5791124B2 (en) | 2013-03-15 | 2013-03-15 | Abstract writing support system, abstract writing support device, abstract writing support method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014178959A JP2014178959A (en) | 2014-09-25 |
JP5791124B2 true JP5791124B2 (en) | 2015-10-07 |
Family
ID=51698823
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013053406A Active JP5791124B2 (en) | 2013-03-15 | 2013-03-15 | Abstract writing support system, abstract writing support device, abstract writing support method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5791124B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016129189A1 (en) * | 2015-02-10 | 2016-08-18 | Necソリューションイノベータ株式会社 | Speech-to-text conversion aid system, server, speech-to-text conversion aid method and program |
US20230109867A1 (en) * | 2020-03-09 | 2023-04-13 | Nec Corporation | Speech recognition apparatus, control method, and non-transitory storage medium |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001175280A (en) * | 1999-12-17 | 2001-06-29 | Nippon Hoso Kyokai <Nhk> | Superimposed character display device and storage medium for superimposed character control |
JP5649769B2 (en) * | 2007-12-27 | 2015-01-07 | 京セラ株式会社 | Broadcast receiver |
-
2013
- 2013-03-15 JP JP2013053406A patent/JP5791124B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014178959A (en) | 2014-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6172769B2 (en) | Understanding support system, understanding support server, understanding support method, and program | |
Ranchal et al. | Using speech recognition for real-time captioning and lecture transcription in the classroom | |
KR101255402B1 (en) | Redictation 0f misrecognized words using a list of alternatives | |
US20200294487A1 (en) | Hands-free annotations of audio text | |
US20220020376A1 (en) | System And Method For Multi-Modal Podcast Summarization | |
US20180174587A1 (en) | Audio transcription system | |
Choi et al. | Finding intonational boundaries using acoustic cues related to the voice source | |
JP6430137B2 (en) | Voice transcription support system, server, apparatus, method and program | |
JP2013152365A (en) | Transcription supporting system and transcription support method | |
JP2013025299A (en) | Transcription support system and transcription support method | |
JP5791124B2 (en) | Abstract writing support system, abstract writing support device, abstract writing support method, and program | |
JP2007018290A (en) | Handwritten character input display supporting device and method and program | |
JP6172770B2 (en) | Abstract writing support system, information distribution apparatus, abstract writing support method, and program | |
JP5892598B2 (en) | Spoken character conversion work support device, phonetic character conversion system, phonetic character conversion work support method, and program | |
JP2004334207A (en) | Assistance for dynamic pronunciation for training of japanese and chinese speech recognition system | |
CN111128237B (en) | Voice evaluation method and device, storage medium and electronic equipment | |
JP5846649B2 (en) | Abstract writing support system, distribution device, abstract writing support method, and program | |
KR20010046852A (en) | Interactive language tutoring system and method using speed control | |
JP2014203324A (en) | Summary writing support system, summary writing support server, support method and program for summary writing | |
KR20200053242A (en) | Voice recognition system for vehicle and method of controlling the same | |
JP6984769B2 (en) | Information provision method and information provision system | |
WO2016114193A1 (en) | Note-taking assistance system, terminal device, note-taking assistance method, and computer-readable recording medium | |
JP6387044B2 (en) | Text processing apparatus, text processing method, and text processing program | |
WO2019106902A1 (en) | Information processing device, information processing method, and program | |
JP2022181361A (en) | learning support system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140707 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20150123 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150310 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150507 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150707 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150730 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5791124 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |