JP6392150B2 - 講演支援装置、方法およびプログラム - Google Patents
講演支援装置、方法およびプログラム Download PDFInfo
- Publication number
- JP6392150B2 JP6392150B2 JP2015055312A JP2015055312A JP6392150B2 JP 6392150 B2 JP6392150 B2 JP 6392150B2 JP 2015055312 A JP2015055312 A JP 2015055312A JP 2015055312 A JP2015055312 A JP 2015055312A JP 6392150 B2 JP6392150 B2 JP 6392150B2
- Authority
- JP
- Japan
- Prior art keywords
- content
- user
- unit
- switching
- presented
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 48
- 238000013519 translation Methods 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 20
- 230000005236 sound signal Effects 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 8
- 239000000872 buffer Substances 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/103—Formatting, i.e. changing of presentation of documents
- G06F40/114—Pagination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Machine Translation (AREA)
Description
図1は、講演支援装置を含む講演支援システム100を示す概念図である。講演支援システム100は、講演支援装置101、講演者用表示部103、聴講者用表示部104−1および104−2を含む。
また、「コンテンツ」は、機器操作のインストラクション、システムのデモンストレーションなどの実演に関する動画でもよい。コンテンツが動画である場合は、場面が切り替わる単位、または撮像位置が異なる映像に切り替わる単位をコンテンツの1ページとすればよい。すなわち、表示が切り替わるコンテンツであれば何でもよい。
第1の実施形態に係る講演支援装置について図2のブロック図を参照して説明する。
第1の実施形態に係る講演支援装置200は、表示部201、切替部202、コンテンツバッファ203、音声取得部204、音声認識部205、対応記憶部206および提示制御部207を含む。
切替部202は、講演者の指示に応じて、表示部201に表示されるコンテンツを、現在表示されるコンテンツから次のコンテンツに切り替える。さらに、切替部202は、コンテンツを切り替える際の時刻情報に基づいて、コンテンツの表示時間に関する情報を生成する。
音声取得部204は、講演者のコンテンツに関する発話を音声信号として取得する。さらに、音声取得部204は、音声信号の始端の時刻および終端の時刻を検出し、発話時間に関する情報を取得する。音声信号の始端および終端を検出する手法としては、例えば、VAD(Voice Activity Detection)を用いればよく、一般的な手法であるため、ここでの説明は省略する。
提示制御部207は、切替部202から講演者の指示(コンテンツの切り替え指示)を受け取り、切り替え指示に応じてコンテンツを切り替える場合、対応記憶部206に記憶される対応関係テーブルを参照して、切り替え前のコンテンツに関する音声認識結果を聴講者に提示してから第1期間内は、切り替え前のコンテンツを聴講者に継続して提示するように制御する。
図3に示す対応関係テーブル300には、ページ番号301、表示時間情報302および発話時間情報303がそれぞれ対応付けて記録される。
ステップS402では、提示制御部207が、対応記憶部206に記憶されるデータを初期化し、コンテンツの提示する際に最初に提示されるコンテンツのページ番号と、最初に提示されるコンテンツの表示開始時刻とを対応記憶部206に記録する。図3の例では、ページ番号301「1」と、表示開始時刻304「0:00」とが対応記憶部206に記憶される。
音声認識結果を提示してから第1期間経過している場合は、ステップS420に進み、第1期間経過していない場合は、第1期間を経過するまで本ステップS419の処理を繰り返す。これにより、第1期間内は、聴講者に切り替え前のコンテンツが継続して提示されることになる。第1期間は、ここでは、講演者の発話とページの切り替えタイミングとを考慮して、表示終了時刻と発話終了時刻との差分の時間とするが、これに限らず、聴講者側にコンテンツと音声認識結果の文字列とが表示されてから、聴講者がコンテンツおよび音声認識結果の文字列を理解できる程度の時間を設定すればよい。
図5は、講演者の発話および講演者用のコンテンツの表示と、聴講者用の音声認識結果の表示及びコンテンツの表示との時間推移を示す。
第1の実施形態では、コンテンツがページの概念を持つ場合に、ページごとに発話が完結する場合を想定するが、第2の実施形態では、講演者が発話を継続しながらページを切り替える、すなわち、2つのページにまたがって発話が継続することを想定する。
第2の実施形態に係る対応記憶部206に記憶される対応関係テーブルについて図6を参照して説明する。
具体的に図6の例では、ページ切り替えの際に発話が終了している場合、発話終了時刻601「(end,1:59)」が記録され、ページ切り替えの際に発話が係属中である場合は、発話終了時刻601「(cont,4:30)」が記録される。
ステップS701からステップS707まで以外は、図4Aおよび図4Bに示すフローチャートの処理と同様であるので、ここでの説明は省略する。
なお、また、提示制御部207は、ページ切り替えの際に講演者の発話が係属中である場合、聴講者への音声認識結果の提示が完了してから、ページの切り替えに関し、いわゆるフェードアウトおよびフェードインを用いて切り替えるように、コンテンツの出力を制御してもよい。
第3の実施形態では、講演者の発話の機械翻訳結果を聴講者に提示する点が上述の実施形態とは異なる。
第3の実施形態に係る講演支援装置を図9のブロック図を参照して説明する。
第3の実施形態に係る講演支援装置900は、表示部201、切替部202、コンテンツバッファ203、音声取得部204、音声認識部205、対応記憶部206、提示制御部207および機械翻訳部901を含む。
機械翻訳部901は、音声認識部205から音声認識結果を受け取り、音声認識結果を機械翻訳して、機械翻訳結果を得る。
第4の実施形態では、講演者の発話の機械翻訳結果の合成音声を聴講者に提示する点が上述の実施形態とは異なる。
第4の実施形態に係る講演支援装置1000は、表示部201、切替部202、コンテンツバッファ203、音声取得部204、音声認識部205、対応記憶部206、提示制御部207、機械翻訳部901および音声合成部1001を含む。
音声合成部1001は、機械翻訳部901から機械翻訳結果を受け取り、機械翻訳結果を音声合成して、合成音声を得る。
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているOS(オペレーティングシステム)や、データベース管理ソフト、ネットワーク等のMW(ミドルウェア)等が本実施形態を実現するための各処理の一部を実行してもよい。
さらに、本実施形態における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、LANやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。
また、記録媒体は1つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本実施形態における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。
また、本実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本実施形態における機能を実現することが可能な機器、装置を総称している。
Claims (10)
- 第1ユーザの指示に応じて、該第1ユーザに提示されるコンテンツを第1コンテンツから第2コンテンツに切り替える切替部と、
前記第1ユーザから、前記第1コンテンツに関する発話を第1音声信号として取得する取得部と、
前記第1音声信号に対して音声認識処理を行い、音声認識結果を得る音声認識部と、
前記第1コンテンツから前記第2コンテンツに切り替える場合、前記音声認識結果を第2ユーザに提示してから第1期間内は、該第1コンテンツを該第2ユーザに継続して提示するように制御する制御部と、を具備することを特徴とする講演支援装置。 - 前記制御部は、前記第1期間経過後に、前記第2コンテンツを該第2ユーザに提示するように制御することを特徴とする請求項1に記載の講演支援装置。
- 前記第1音声信号に関する発話開始時刻および該第1音声信号に関する発話終了時刻と、前記第1コンテンツの表示開始時刻および該第1コンテンツの表示終了時刻とをそれぞれ対応付けて記憶する記憶部をさらに具備し、
前記第1期間は、前記表示終了時刻と前記発話終了時刻との差分の時間であることを特徴とする請求項1または請求項2に記載の講演支援装置。 - 前記記憶部は、前記第1コンテンツから前記第2コンテンツに切り換わる際に前記第1ユーザが継続して発話している場合、前記発話終了時刻として前記第1コンテンツの表示終了時刻を記憶し、
前記制御部は、前記音声認識結果を前記第2ユーザに提示してから第2期間経過後に、前記第2コンテンツを該第2ユーザに提示するように制御することを特徴とする請求項3に記載の講演支援装置。 - 前記第1ユーザに前記第1コンテンツおよび前記第2コンテンツを表示する表示部をさらに具備することを特徴とする請求項1から請求項4のいずれか1項に記載の講演支援装置。
- 前記音声認識結果は、前記第1音声信号に関する音声認識結果の文字列であることを特徴とする請求項1から請求項5のいずれか1項に記載の講演支援装置。
- 第1ユーザの指示に応じて、該第1ユーザに提示されるコンテンツを第1コンテンツから第2コンテンツに切り替える切替部と、
前記第1ユーザから、前記第1コンテンツに関する発話を第1音声信号として取得する取得部と、
前記第1音声信号に対して音声認識処理を行い、音声認識結果を得る音声認識部と、
前記音声認識結果を機械翻訳し、機械翻訳結果を得る機械翻訳部と、
前記第1コンテンツから前記第2コンテンツに切り替える場合、前記機械翻訳結果を第2ユーザに提示してから第1期間内は、該第1コンテンツを該第2ユーザに継続して提示するように制御する制御部と、を具備することを特徴とする講演支援装置。 - 第1ユーザの指示に応じて、該第1ユーザに提示されるコンテンツを第1コンテンツから第2コンテンツに切り替える切替部と、
前記第1ユーザから、前記第1コンテンツに関する発話を第1音声信号として取得する取得部と、
前記第1音声信号に対して音声認識処理を行い、音声認識結果を得る音声認識部と、
前記音声認識結果を機械翻訳し、機械翻訳結果を得る機械翻訳部と、
前記機械翻訳結果を音声合成し、合成音声を得る音声合成部と、
前記第1コンテンツから前記第2コンテンツに切り替える場合、前記合成音声を第2ユーザに提示後第1期間内は、該第1コンテンツを該第2ユーザに継続して提示するように制御する制御部と、を具備することを特徴とする講演支援装置。 - 第1ユーザの指示に応じて、該第1ユーザに提示されるコンテンツを第1コンテンツから第2コンテンツに切り替えるステップと、
前記第1ユーザから、前記第1コンテンツに関する発話を第1音声信号として取得するステップと、
前記第1音声信号に対して音声認識処理を行い、音声認識結果を得るステップと、
前記第1コンテンツから前記第2コンテンツに切り替える場合、前記音声認識結果を第2ユーザに提示してから第1期間内は、該第1コンテンツを該第2ユーザに継続して提示するように切り替えタイミングを制御するステップとを備える、コンピュータが実行する講演支援方法。 - コンピュータを、
第1ユーザの指示に応じて、該第1ユーザに提示されるコンテンツを第1コンテンツから第2コンテンツに切り替える切替手段と、
前記第1ユーザから、前記第1コンテンツに関する発話を第1音声信号として取得する取得手段と、
前記第1音声信号に対して音声認識処理を行い、音声認識結果を得る音声認識手段と、
前記第1コンテンツから前記第2コンテンツに切り替える場合、前記音声認識結果を第2ユーザに提示してから第1期間内は、該第1コンテンツを該第2ユーザに継続して提示するように制御する制御手段として機能させるための講演支援プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015055312A JP6392150B2 (ja) | 2015-03-18 | 2015-03-18 | 講演支援装置、方法およびプログラム |
US15/064,987 US20160275967A1 (en) | 2015-03-18 | 2016-03-09 | Presentation support apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015055312A JP6392150B2 (ja) | 2015-03-18 | 2015-03-18 | 講演支援装置、方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016177013A JP2016177013A (ja) | 2016-10-06 |
JP6392150B2 true JP6392150B2 (ja) | 2018-09-19 |
Family
ID=56923958
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015055312A Active JP6392150B2 (ja) | 2015-03-18 | 2015-03-18 | 講演支援装置、方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20160275967A1 (ja) |
JP (1) | JP6392150B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017167805A (ja) | 2016-03-16 | 2017-09-21 | 株式会社東芝 | 表示支援装置、方法およびプログラム |
CN117280696A (zh) * | 2021-04-16 | 2023-12-22 | 松下知识产权经营株式会社 | 影像显示系统及影像显示方法 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7006967B1 (en) * | 1999-02-05 | 2006-02-28 | Custom Speech Usa, Inc. | System and method for automating transcription services |
US6272461B1 (en) * | 1999-03-22 | 2001-08-07 | Siemens Information And Communication Networks, Inc. | Method and apparatus for an enhanced presentation aid |
JP2002271769A (ja) * | 2001-03-08 | 2002-09-20 | Toyo Commun Equip Co Ltd | インターネットによる講演会のビデオ配信システム |
JP4127668B2 (ja) * | 2003-08-15 | 2008-07-30 | 株式会社東芝 | 情報処理装置、情報処理方法、およびプログラム |
JP4218758B2 (ja) * | 2004-12-21 | 2009-02-04 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 字幕生成装置、字幕生成方法、及びプログラム |
US9116989B1 (en) * | 2005-08-19 | 2015-08-25 | At&T Intellectual Property Ii, L.P. | System and method for using speech for data searching during presentations |
JP2007213176A (ja) * | 2006-02-08 | 2007-08-23 | Sony Corp | 情報処理装置および方法、並びにプログラム |
US8290779B2 (en) * | 2007-09-18 | 2012-10-16 | Verizon Patent And Licensing Inc. | System and method for providing a managed language translation service |
JP5229209B2 (ja) * | 2009-12-28 | 2013-07-03 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
US9323756B2 (en) * | 2010-03-22 | 2016-04-26 | Lenovo (Singapore) Pte. Ltd. | Audio book and e-book synchronization |
JP5323878B2 (ja) * | 2011-03-17 | 2013-10-23 | みずほ情報総研株式会社 | プレゼンテーション支援システム及びプレゼンテーション支援方法 |
US9110891B2 (en) * | 2011-12-12 | 2015-08-18 | Google Inc. | Auto-translation for multi user audio and video |
KR102196671B1 (ko) * | 2013-01-11 | 2020-12-30 | 엘지전자 주식회사 | 전자 기기 및 전자 기기의 제어 방법 |
US9699404B2 (en) * | 2014-03-19 | 2017-07-04 | Microsoft Technology Licensing, Llc | Closed caption alignment |
US20160170970A1 (en) * | 2014-12-12 | 2016-06-16 | Microsoft Technology Licensing, Llc | Translation Control |
US20170053541A1 (en) * | 2015-01-02 | 2017-02-23 | Iryna Tsyrina | Interactive educational system and method |
US9460713B1 (en) * | 2015-03-30 | 2016-10-04 | Google Inc. | Language model biasing modulation |
-
2015
- 2015-03-18 JP JP2015055312A patent/JP6392150B2/ja active Active
-
2016
- 2016-03-09 US US15/064,987 patent/US20160275967A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP2016177013A (ja) | 2016-10-06 |
US20160275967A1 (en) | 2016-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20050180462A1 (en) | Apparatus and method for reproducing ancillary data in synchronization with an audio signal | |
JP2015203835A (ja) | テキスト編集装置、テキスト編集方法、及びプログラム | |
JP2005228178A (ja) | 書き起こしテキスト作成支援システムおよびプログラム | |
JP6392150B2 (ja) | 講演支援装置、方法およびプログラム | |
JP2014022758A (ja) | 情報処理装置、情報処理方法、表示制御装置および表示制御方法 | |
JP2013161205A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2012073396A (ja) | 会議支援装置、方法およびプログラム | |
JP2006054027A (ja) | ディスク再生装置 | |
JP2018180519A5 (ja) | ||
JP2005321706A (ja) | 電子書籍の再生方法及びその装置 | |
US10181312B2 (en) | Acoustic system, communication device, and program | |
JP2007165959A (ja) | 画像表示装置 | |
JP2020140326A (ja) | コンテンツ生成システム、及びコンテンツ生成方法 | |
JP2004325905A (ja) | 外国語学習装置および外国語学習プログラム | |
JP2010081149A (ja) | 情報記録再生装置 | |
JP2009152782A (ja) | コンテンツ再生装置及びコンテンツ再生方法 | |
JP2016012098A (ja) | 電子図書再生装置及び電子図書再生プログラム | |
JP6821727B2 (ja) | テキストデータ音声再生装置およびテキストデータ音声再生プログラム | |
EP1748433A2 (en) | Information playback method using information recording medium | |
KR20090078198A (ko) | 스크립트를 기반으로 하는 동영상 부가정보 처리 장치 및방법 | |
JP5104135B2 (ja) | 情報再生装置、情報処理装置、及びプログラム | |
JP2015049515A (ja) | 言語学習プログラムおよびそれを記録したコンピュータで読み取り可能な記録媒体 | |
JP5860575B1 (ja) | 音声録音プログラム、音声録音端末装置、及び音声録音システム | |
KR20170052084A (ko) | 외국어 말하기 학습 장치 및 방법 | |
JP2022024453A5 (ja) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170322 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180109 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180312 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180724 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180822 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6392150 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |