JP7051987B2 - Output device and information display method - Google Patents

Output device and information display method Download PDF

Info

Publication number
JP7051987B2
JP7051987B2 JP2020195601A JP2020195601A JP7051987B2 JP 7051987 B2 JP7051987 B2 JP 7051987B2 JP 2020195601 A JP2020195601 A JP 2020195601A JP 2020195601 A JP2020195601 A JP 2020195601A JP 7051987 B2 JP7051987 B2 JP 7051987B2
Authority
JP
Japan
Prior art keywords
voice
translated
speaker
audio
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020195601A
Other languages
Japanese (ja)
Other versions
JP2021048609A (en
Inventor
展明 甲
慶華 孫
孝志 松原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Priority to JP2020195601A priority Critical patent/JP7051987B2/en
Publication of JP2021048609A publication Critical patent/JP2021048609A/en
Application granted granted Critical
Publication of JP7051987B2 publication Critical patent/JP7051987B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Machine Translation (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、表示装置、出力装置、および情報表示方法に関し、特に、翻訳が必要なプレゼンテーションにおけるスライドの切り換えに有効な技術に関する。 The present invention relates to a display device, an output device, and an information display method, and more particularly to a technique effective for switching slides in a presentation requiring translation.

会議や発表会などのプレゼンテーションにおいては、話者が表示装置などによってスライドを表示しながら説明を行うことが広く行われている。２カ国語などによるプレゼンテーションを行う場合には、第１の言語による説明の後、該第１の言語を翻訳した第２の言語をスピーカまたはヘッドホンなどによって流すことが行われている。 In presentations such as conferences and recitals, it is widely practiced for speakers to give explanations while displaying slides on a display device or the like. When giving a presentation in two languages or the like, after the explanation in the first language, the second language translated from the first language is played by a speaker or headphones.

例えば日本語と英語とによるプレゼンテーションでは、話者が日本語によってスライドの説明を行った後に、その説明を英語に翻訳した音声がスピーカから流される。そして、英語による音声が終了すると、話者はスライド送りを指示して、次のスライドが表示される。また、ヘッドホンの場合には、話者による日本語の説明中に、翻訳された英語の音声がヘッドホンから流される。 For example, in a presentation in Japanese and English, after the speaker explains the slide in Japanese, the voice translated into English is played from the speaker. Then, when the voice in English ends, the speaker instructs the slide feed and the next slide is displayed. In the case of headphones, the translated English voice is played from the headphones during the explanation of Japanese by the speaker.

この種のプレゼンテーション技術については、例えばプレゼンテーションにおける音声データとポインタ軌跡とを記録し、再生時の音声データとポインタ軌跡との同期ずれを低減するものがある（例えば特許文献１）。 As for this kind of presentation technique, for example, there is a technique for recording audio data and a pointer locus in a presentation to reduce a synchronization deviation between the audio data and the pointer locus during reproduction (for example, Patent Document 1).

特開２００９－１５７６７７号公報JP-A-2009-157677

しかしながら、上述した２カ国語のプレゼンテーション技術では、話者が翻訳音声を理解できない場合に翻訳音声終了のタイミングがわからなくなってしまうことがある。そのため、翻訳音声終了前にスライド送り指示が出される、あるいは翻訳音声終了後に間をおいてスライド送り指示が出されるといった事態が発生してしまい、円滑なスライド送り、言い換えれば円滑なプレゼンテーションができないと言った問題がある。 However, in the above-mentioned bilingual presentation technology, when the speaker cannot understand the translated voice, the timing of ending the translated voice may not be known. Therefore, a situation occurs in which a slide feed instruction is issued before the end of the translated voice, or a slide feed instruction is issued after the translation voice ends, and smooth slide feed, in other words, a smooth presentation cannot be performed. I have the problem I said.

また、話者がスライド説明中にヘッドホンで翻訳を流す場合でも、話者は翻訳音声の終了タイミングがわからず、上記と同様に円滑なスライド送りができないという課題がある。 Further, even when the speaker sends a translation through headphones during the slide explanation, the speaker does not know the end timing of the translated voice, and there is a problem that the slide feed cannot be smoothly performed as described above.

本発明の目的は、翻訳が伴うプレゼンテーションにおいて、的確なスライド送りを行うことにより、円滑なプレゼンテーションを行うことのできる技術を提供することにある。 An object of the present invention is to provide a technique capable of giving a smooth presentation by performing accurate slide feed in a presentation accompanied by translation.

本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。 The above and other objects and novel features of the invention will become apparent from the description and accompanying drawings herein.

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。 A brief description of the representative inventions disclosed in the present application is as follows.

すなわち、代表的な表示装置は、映像出力部、音声入力部、および制御部を有する。映像出力部は、表示する映像を出力する。音声入力部は、音声信号が入力される。制御部は、音声入力部に入力された音声信号から音声を抽出して出力し、音声を翻訳した翻訳音声信号を翻訳音声として再生する。そして、制御部は、該翻訳音声を再生している期間、映像出力部が表示する映像の切り換えを保留する。 That is, a typical display device has a video output unit, an audio input unit, and a control unit. The video output unit outputs the video to be displayed. A voice signal is input to the voice input unit. The control unit extracts and outputs voice from the voice signal input to the voice input unit, and reproduces the translated voice signal obtained by translating the voice as translated voice. Then, the control unit suspends switching of the video displayed by the video output unit while the translated audio is being reproduced.

また、制御部は、認識信号に基づいて、音声入力部に入力された音声信号から音声を抽出する。認識信号は、外部から入力され、映像に対する翻訳前の説明が終了したことを示す信号である。 Further, the control unit extracts voice from the voice signal input to the voice input unit based on the recognition signal. The recognition signal is a signal that is input from the outside and indicates that the pre-translation explanation for the video has been completed.

特に、制御部は、翻訳音声を再生している期間、映像出力部から出力される映像に翻訳音声が再生されていることを示す表示記号を付加して表示する。 In particular, the control unit adds and displays a display symbol indicating that the translated sound is being played to the video output from the video output unit during the period during which the translated sound is being played.

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。 Among the inventions disclosed in the present application, the effects obtained by representative ones are briefly described as follows.

円滑なプレゼンテーションを実現することができる。 A smooth presentation can be realized.

実施の形態１による映像表示システムにおける構成の一例を示す説明図である。It is explanatory drawing which shows an example of the structure in the image display system by Embodiment 1. FIG. 図１の映像表示システムが有する投射装置および翻訳サーバにおける構成の一例を示すブロック図である。It is a block diagram which shows an example of the configuration in the projection apparatus and translation server which the image display system of FIG. 1 has. 図１の映像表示システムによる動作および話者操作の一例を示す説明図である。It is explanatory drawing which shows an example of the operation and the speaker operation by the image display system of FIG. 実施の形態による映像表示システムにおける構成の一例を示す説明図である。It is explanatory drawing which shows an example of the structure in the image display system by embodiment. 図４の映像表示システムによる動作および話者操作の一例を示す説明図である。It is explanatory drawing which shows an example of the operation and the speaker operation by the image display system of FIG. 実施の形態３による映像表示システムが有する投射装置および翻訳サーバにおける構成の一例を示すブロック図である。It is a block diagram which shows an example of the structure in the projection apparatus and translation server which the image display system according to Embodiment 3 has. 図６の映像表示システムによる動作および話者操作の一例を示す説明図である。It is explanatory drawing which shows an example of the operation and the speaker operation by the image display system of FIG. 実施の形態４による図６の映像表示システムにおける動作および話者操作の一例を示す説明図である。FIG. 5 is an explanatory diagram showing an example of an operation and a speaker operation in the video display system of FIG. 6 according to the fourth embodiment. 実施の形態５によるスライド画面の表示の一例を示す説明図である。It is explanatory drawing which shows an example of the display of the slide screen by Embodiment 5. 図９のポインタ位置を翻訳した語順に合わせて変更する機能を有する映像表示システムの一例を示す説明図である。It is explanatory drawing which shows an example of the image display system which has the function of changing the pointer position of FIG. 9 according to the translated word order. 実施の形態６による映像表示システムにおける構成の一例を示す説明図である。It is explanatory drawing which shows an example of the structure in the image display system by Embodiment 6. 図１１の映像表示システムが有する携帯機器における構成の一例を示す説明図である。It is explanatory drawing which shows an example of the structure in the portable device which the image display system of FIG. 11 has. 実施の形態７による映像表示システムにおける構成の一例を示す説明図である。It is explanatory drawing which shows an example of the structure in the image display system by Embodiment 7.

以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。 In the following embodiments, when necessary for convenience, the description will be divided into a plurality of sections or embodiments, but unless otherwise specified, they are not unrelated to each other, one of which is the other. It is related to some or all of the modified examples, details, supplementary explanations, etc.

また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。 Further, in the following embodiments, when the number of elements (including the number, numerical value, quantity, range, etc.) is referred to, when it is specified in particular, or when it is clearly limited to a specific number in principle, etc. Except for this, the number is not limited to the specific number, and may be more than or less than the specific number.

さらに、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。 Furthermore, in the following embodiments, the components (including element steps and the like) are not necessarily essential unless otherwise specified or clearly considered to be essential in principle. Needless to say.

同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。 Similarly, in the following embodiments, when the shape, positional relationship, etc. of the constituent elements are referred to, the shape is substantially the same, except when it is clearly stated or when it is considered that it is not clearly the case in principle. Etc., etc. shall be included. This also applies to the above numerical values and ranges.

また、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。なお、図面をわかりやすくするために平面図であってもハッチングを付す場合がある。 Further, in all the drawings for explaining the embodiment, the same members are in principle the same reference numerals, and the repeated description thereof will be omitted. In addition, in order to make the drawing easier to understand, hatching may be added even if it is a plan view.

〈表示システムの構成例〉
以下、実施の形態を詳細に説明する。 <Display system configuration example>
Hereinafter, embodiments will be described in detail.

図１は、本実施の形態１による映像表示システムにおける構成の一例を示す説明図である。 FIG. 1 is an explanatory diagram showing an example of a configuration in a video display system according to the first embodiment.

映像表示システムは、２カ国語などによるプレゼンテーションを行う翻訳プレゼンテーションをシステムである。映像表示システムは、話者の音声を異なる言語に翻訳して再生する。 The video display system is a translated presentation system that gives presentations in two languages. The video display system translates the speaker's voice into different languages and plays it back.

翻訳音声の再生中は、画像のスライド送りを保留させ、翻訳音声の再生終了後には、スライド送りを行う。そして、話者に翻訳音声終了を知らせて、次のスライド説明を開始する。 The slide feed of the image is suspended during the playback of the translated voice, and the slide feed is performed after the playback of the translated voice is completed. Then, the speaker is notified of the end of the translated voice, and the next slide explanation is started.

この映像表示システムは、図１に示すように、映像源１２、投射装置１３、操作器１６、マイク１７、スピーカ１８、および翻訳サーバ２０を有する。 As shown in FIG. 1, this video display system includes a video source 12, a projection device 13, a controller 16, a microphone 17, a speaker 18, and a translation server 20.

映像源１２は、例えばパーソナルコンピュータなどであり、プレゼンテーション用などの映像信号を出力する。マイク１７は、話者の音声を集音して投射装置１３に送信する。マイク１７と投射装置１３とは、無線接続あるいは有線接続のいずれであってもよい。 The video source 12 is, for example, a personal computer or the like, and outputs a video signal for a presentation or the like. The microphone 17 collects the voice of the speaker and transmits it to the projection device 13. The microphone 17 and the projection device 13 may be connected either wirelessly or by wire.

投射装置１３は、映像源１２から出力される映像信号をスクリーン１５に投射表示するとともに、マイク１７から送信された話者の音声をスピーカ１８にて再生する。 The projection device 13 projects and displays the video signal output from the video source 12 on the screen 15, and reproduces the speaker's voice transmitted from the microphone 17 on the speaker 18.

また、投射装置１３は、インターネットや通信回線などのネットワーク１９に接続されており、マイク１７から送信された話者の音声要素を抽出して該ネットワーク１９を経由して翻訳サーバ２０に送信する。翻訳サーバ２０は、ネットワーク１９を経由して送信された音声を予め指定された言語に翻訳する。 Further, the projection device 13 is connected to a network 19 such as the Internet or a communication line, extracts a speaker's voice element transmitted from the microphone 17, and transmits the voice element to the translation server 20 via the network 19. The translation server 20 translates the voice transmitted via the network 19 into a language specified in advance.

翻訳サーバ２０によって翻訳された翻訳データは、ネットワーク１９を経由して投射装置１３に送信される。投射装置１３は、翻訳サーバ２０から受け取った翻訳データを音声信号に変換してスピーカ１８に出力することによって再生させる。 The translation data translated by the translation server 20 is transmitted to the projection device 13 via the network 19. The projection device 13 converts the translation data received from the translation server 20 into an audio signal and outputs it to the speaker 18 for reproduction.

操作器１６は、話者によって説明がされている期間を示す話者音声期間を指示する。話者音声期間の指示は、例えば操作器１６に設けられたボタンなどを操作することによって行われる。このボタンを操作することによって、認識信号が生成される。 The actuator 16 indicates a speaker voice period indicating a period described by the speaker. The instruction of the speaker voice period is given, for example, by operating a button provided on the operating device 16. By operating this button, a recognition signal is generated.

この認識信号に基づいて、話者音声の翻訳対象期間を認識することができる。認識信号に基づいた翻訳対象期間の認識は、図２の音認期間指示部２３５により行われる。これにより、翻訳前の説明が終了したことを認識することができる。 Based on this recognition signal, the translation target period of the speaker voice can be recognized. The recognition of the translation target period based on the recognition signal is performed by the sound recognition period indicator 235 of FIG. This makes it possible to recognize that the explanation before translation has ended.

また、認識信号によって、抽出した音声要素を翻訳サーバ２０に送信するタイミングを判定することができる。認識信号の生成は、音声認識やジェスチャー入力などであってもよい。また、それらを組み合わせてもよい。操作器１６と投射装置１３とは、無線接続あるいは有線接続のいずれであってもよい。 Further, the recognition signal can be used to determine the timing at which the extracted voice element is transmitted to the translation server 20. The generation of the recognition signal may be voice recognition, gesture input, or the like. Moreover, you may combine them. The actuator 16 and the projection device 13 may be either a wireless connection or a wired connection.

例えば、ボタン操作やジェスチャーにて概略タイミングを決めた後、話者音声を最初に検出した時から、ボタン操作やジェスチャー入力前に話者音声を最後に検出した時までを話者音声の翻訳対象期間とする。これにより、翻訳言語再生時間の時間を短縮することができる。 For example, the translation target of the speaker voice is from the time when the speaker voice is first detected after the approximate timing is determined by the button operation or gesture to the time when the speaker voice is last detected before the button operation or gesture input. It is a period. As a result, the translation language reproduction time can be shortened.

操作器１６は、ミュート入力を設けてもよい。このミュート入力によって、話者の音声の中から翻訳対象としない音声部分を指示することができる。これによって、原語と翻訳言語とを交互に流すことで１言語に比べて２倍近い時間がかかるプレゼンテーション時間を短縮することができる。 The actuator 16 may be provided with a mute input. By this mute input, it is possible to specify a voice portion that is not to be translated from the speaker's voice. As a result, the presentation time, which takes nearly twice as long as one language, can be shortened by alternately playing the original language and the translated language.

さらに 操作器１６は、スクリーン１５に投射された映像の説明場所を指し示すレーザポインタの機能を合わせ持ってもよい。操作器１６は、電子ポインタとして、ポインタ位置を映像源１２や投射装置１３へ送り、ポインタを映像に重畳表示させる機能をもたせてもよい。 Further, the actuator 16 may also have the function of a laser pointer that points to the explanatory location of the image projected on the screen 15. The actuator 16 may have a function of sending the pointer position to the image source 12 or the projection device 13 as an electronic pointer and superimposing the pointer on the image.

〈投射装置および翻訳サーバの構成例〉
図２は、図１の映像表示システムが有する投射装置１３および翻訳サーバ２０における構成の一例を示すブロック図である。 <Configuration example of projection device and translation server>
FIG. 2 is a block diagram showing an example of the configuration of the projection device 13 and the translation server 20 included in the video display system of FIG.

投射装置１３は、通信部２３１，２３４，２３８、映像入力部２３２、表示部２４１、音認期間指示部２３５、音声入力部２３６、音声要素抽出部２３７、翻訳音声再生部２３９、および音声切り換え部２４０を有する。 The projection device 13 includes a communication unit 231,234,238, a video input unit 232, a display unit 241, a sound recognition period indicator unit 235, a voice input unit 236, a voice element extraction unit 237, a translated voice reproduction unit 239, and a voice switching unit. Has 240.

映像入力部２３２には、映像源１２から出力される映像信号が入力される。映像出力部である表示部２４１は、映像入力部２３２から入力される映像信号を図１のスクリーン１５に投射表示する。 The video signal output from the video source 12 is input to the video input unit 232. The display unit 241 which is a video output unit projects and displays the video signal input from the video input unit 232 on the screen 15 of FIG.

音声入力部２３６は、マイク１７が集めた話者音声を受信する。音声切り換え部２４０は、後述する翻訳再生タイミング信号に基づいて、音声入力部２３６が受信した話者音声または翻訳音声再生部２３９が再生する翻訳音声のいずれかをスピーカ１８にて再生するように出力する。 The voice input unit 236 receives the speaker voice collected by the microphone 17. The voice switching unit 240 outputs either the speaker voice received by the voice input unit 236 or the translated voice reproduced by the translated voice reproduction unit 239 so as to be reproduced by the speaker 18 based on the translation reproduction timing signal described later. do.

制御部を構成する音声要素抽出部２３７は、音声入力部２３６に入力された話者音声の音声要素を抽出する。通信部２３８は、ネットワーク１９を介して翻訳サーバ２０との通信を行う。音声要素抽出部２３７が抽出した音声要素は、音声認識のために通信部２３８からネットワーク１９を経由して翻訳サーバ２０に送信される。 The voice element extraction unit 237 constituting the control unit extracts the voice element of the speaker voice input to the voice input unit 236. The communication unit 238 communicates with the translation server 20 via the network 19. The voice element extracted by the voice element extraction unit 237 is transmitted from the communication unit 238 to the translation server 20 via the network 19 for voice recognition.

通信部２３１は、操作器１６との通信を行う。操作器１６による話者音声期間の指示は、通信部２３１を経由して音認期間指示部２３５に伝えられる。音認期間指示部２３５は、音声認識タイミング信号や翻訳再生タイミング信号、スライド送りタイミング信号などを生成する。認識信号である音声認識タイミング信号は、前述した認識信号に基づいて生成される。 The communication unit 231 communicates with the actuator 16. The instruction of the speaker voice period by the actuator 16 is transmitted to the sound recognition period instruction unit 235 via the communication unit 231. The sound recognition period indicator 235 generates a voice recognition timing signal, a translation / reproduction timing signal, a slide feed timing signal, and the like. The voice recognition timing signal, which is a recognition signal, is generated based on the above-mentioned recognition signal.

音声認識タイミング信号は、音声要素抽出部２３７が話者音声の音声要素を抽出する際に出力される信号である。翻訳再生タイミング信号は、音声切り換え部２４０が翻訳音声の再生する際に出力される信号である。 The voice recognition timing signal is a signal output when the voice element extraction unit 237 extracts the voice element of the speaker voice. The translation / reproduction timing signal is a signal output when the voice switching unit 240 reproduces the translated voice.

スライド送りタイミング信号は、映像源１２に次のスライドを表示させる信号である。スライド送りタイミング信号は、通信部２３１を経由して映像源１２に出力される。 The slide feed timing signal is a signal that causes the image source 12 to display the next slide. The slide feed timing signal is output to the video source 12 via the communication unit 231.

翻訳サーバ２０は、通信部２０１、音声文字化部２０２、および翻訳音声部２０３を有する。通信部２０１は、投射装置１３の通信部２３８との通信を行う。前述したように、投射装置１３から送信された音声要素は、ネットワーク１９を経由して通信部２０１が受信する。 The translation server 20 has a communication unit 201, a voice characterization unit 202, and a translation voice unit 203. The communication unit 201 communicates with the communication unit 238 of the projection device 13. As described above, the voice element transmitted from the projection device 13 is received by the communication unit 201 via the network 19.

音声文字化部２０２は、通信部２０１が受信した音声要素を文字に変換する。翻訳音声部２０３は、音声文字化部２０２が変換した文字を翻訳して翻訳データを生成する。翻訳音声部２０３が生成した翻訳データは、通信部２０１から投射装置１３に送信される。 The voice character conversion unit 202 converts the voice element received by the communication unit 201 into characters. The translation voice unit 203 translates the characters converted by the voice character conversion unit 202 to generate translation data. The translation data generated by the translation voice unit 203 is transmitted from the communication unit 201 to the projection device 13.

通信部２３８が受信した翻訳データは、翻訳音声再生部２３９に出力される。制御部を構成する翻訳音声再生部２３９は、その翻訳データを音声信号として再生する。 The translation data received by the communication unit 238 is output to the translation voice reproduction unit 239. The translated voice reproduction unit 239 constituting the control unit reproduces the translated data as an audio signal.

再生された翻訳音声信号は、日本語音声説明後に音声切り換え部２４０にて切り換えて、スピーカ１８により音声再生する。切り換えタイミングについては、上述した翻訳再生タイミング信号に基づいて、切り換えが行われる。 The reproduced translated voice signal is switched by the voice switching unit 240 after the explanation of the Japanese voice, and the voice is reproduced by the speaker 18. Regarding the switching timing, switching is performed based on the above-mentioned translation / reproduction timing signal.

以下、話者操作と機器動作の流れについて説明する。 The flow of speaker operation and device operation will be described below.

〈映像表示システムの動作例〉
図３は、図１の映像表示システムによる動作および話者操作の一例を示す説明図である。 <Operation example of video display system>
FIG. 3 is an explanatory diagram showing an example of an operation and a speaker operation by the video display system of FIG.

図３の左に示す「表示」は、説明スライドに相当する映像＃１と映像＃２を時系列に示したものである。 The "display" shown on the left side of FIG. 3 shows the images # 1 and the images # 2 corresponding to the explanatory slides in chronological order.

「表示」の右側に示す「音声」は、話者の音声および翻訳された英語の音声を時系列にて示したものである。＃１日本語および＃２日本語は、話者の音声である。また、＃１英語および＃２英語は、翻訳された英語の音声である。 The "voice" shown on the right side of the "display" indicates the speaker's voice and the translated English voice in chronological order. # 1 Japanese and # 2 Japanese are the voices of the speaker. Also, # 1 English and # 2 English are translated English voices.

「音声」の右側に示す「話者操作と機器動作」は、話者操作と機器動作を示したものである。（ｕ＊）は、話者による操作を示している。（ａ＊）は、映像表示システムによる動作を示している。 "Speaker operation and device operation" shown on the right side of "voice" indicates speaker operation and device operation. (U *) indicates an operation by the speaker. (A *) shows the operation by the video display system.

まず、話者が話始めのタイミングを操作器１６に入力して翻訳プレゼン開始する（ｕ１）。映像源１２から出力される映像信号が投射装置１３に出力されると、スクリーン１５に映像＃１が表示される。これにより、話者１１は、その映像＃１の説明を日本語で開始する（ｕ２）。 First, the speaker inputs the timing at which the speaker starts speaking into the actuator 16 and starts the translation presentation (u1). When the video signal output from the video source 12 is output to the projection device 13, the video # 1 is displayed on the screen 15. As a result, the speaker 11 starts the explanation of the video # 1 in Japanese (u2).

話者の説明する日本語音声はマイク１７にて集音される。この時、音声切り換え部２４０は、マイク１７にて集音される音声がスピーカ１８から出力されるように、切り替えが行われている。よって、集音された音声は、投射装置１３に接続されたスピーカ１８によって拡声される。 The Japanese voice explained by the speaker is collected by the microphone 17. At this time, the voice switching unit 240 is switched so that the voice collected by the microphone 17 is output from the speaker 18. Therefore, the collected sound is amplified by the speaker 18 connected to the projection device 13.

そして、話者１１は、映像＃１の日本語による説明が終わる際に、説明の終わりタイミングを操作器１６に入力する（ｕ３）。日本語のみのプレゼンテーションであれば、この終話タイミングにて投射装置１３が映像源１２に次の映像＃２を提供するように指示を出す。 Then, when the explanation of the video # 1 in Japanese is completed, the speaker 11 inputs the end timing of the explanation to the actuator 16 (u3). If the presentation is in Japanese only, the projection device 13 instructs the image source 12 to provide the next image # 2 at this end timing.

しかし、ここでのプレゼンテーションでは、日本語の説明の後に、翻訳音声があるので、投射装置１３は、翻訳音声の再生が終了するまで映像源１２に対して映像＃２を要求するスライド送り指示であるスライド送りタイミング信号を出力しない。 However, in the presentation here, since there is translated audio after the explanation in Japanese, the projection device 13 gives a slide feed instruction requesting video # 2 from the video source 12 until the reproduction of the translated audio is completed. Do not output a certain slide feed timing signal.

話者１１が説明した日本語の音声要素は、順次投射装置１３の音声要素抽出部２３７が抽出してネットワーク１９を経由して翻訳サーバ２０に送信される。翻訳サーバ２０は、送信された音声要素に基づいて日本語を英語に翻訳する。英語に翻訳した翻訳データは、ネットワーク１９を経由して投射装置１３に送信される。 The Japanese voice element explained by the speaker 11 is sequentially extracted by the voice element extraction unit 237 of the projection device 13 and transmitted to the translation server 20 via the network 19. The translation server 20 translates Japanese into English based on the transmitted voice elements. The translated data translated into English is transmitted to the projection device 13 via the network 19.

その翻訳データは、例えば翻訳音声再生部２３９が有する図示しない記憶部などに一時的に格納される。映像＃１に対する日本語の説明終了（ｕ３）を受けて、翻訳音声再生部２３９は、翻訳データを再生する。翻訳音声再生部２３９が再生する英語の音声は、音声切り換え部２４０から出力され、スピーカ１８によって拡声される（ａ１）。 The translated data is temporarily stored in, for example, a storage unit (not shown) included in the translated voice reproduction unit 239. Upon the end of the Japanese explanation (u3) for the video # 1, the translated audio reproduction unit 239 reproduces the translated data. The English voice reproduced by the translated voice reproduction unit 239 is output from the voice switching unit 240 and loudened by the speaker 18 (a1).

音認期間指示部２３５は、操作器１６による話者音声期間の指示に基づいて、翻訳再生タイミング信号を生成する。翻訳音声再生部２３９は、生成した翻訳再生タイミング信号を音声切り換え部２４０に送信する。 The sound recognition period instruction unit 235 generates a translation / reproduction timing signal based on the instruction of the speaker voice period by the operation device 16. The translation voice reproduction unit 239 transmits the generated translation reproduction timing signal to the voice switching unit 240.

音声切り換え部２４０は、翻訳再生タイミング信号に基づいて、翻訳音声再生部２３９が再生する音声が出力されるように切り換えるとともに、音声再生開始信号を翻訳音声再生部２３９に出力する。翻訳音声再生部２３９は、音声再生開始信号を受け取ると、上記した記憶部などに一時的に格納されている翻訳データを再生する。 The voice switching unit 240 switches so that the voice to be reproduced by the translated voice reproduction unit 239 is output based on the translation / reproduction timing signal, and outputs the voice reproduction start signal to the translation voice reproduction unit 239. Upon receiving the voice reproduction start signal, the translation voice reproduction unit 239 reproduces the translation data temporarily stored in the above-mentioned storage unit or the like.

映像＃１に対する翻訳した英語音声の再生が終わると（ａ２）、投射装置１３の音認期間指示部２３５は、映像源１２に次のスライドである映像＃２を出力するように指示を出す（ａ３）。 When the reproduction of the translated English sound for the video # 1 is completed (a2), the sound recognition period indicator 235 of the projection device 13 instructs the video source 12 to output the video # 2, which is the next slide (a2). a3).

映像源１２が映像＃１の映像信号を出力すると、投射装置１３は、スクリーン１５に該映像源１２が出力した映像＃２を表示する。表示映像が映像＃１から映像＃２に切り替わったことを確認した話者は、英語の翻訳音声が終了したことを理解して、映像＃２の説明を日本語で始める。 When the image source 12 outputs the image signal of the image # 1, the projection device 13 displays the image # 2 output by the image source 12 on the screen 15. After confirming that the displayed video has been switched from video # 1 to video # 2, the speaker understands that the English translation audio has ended, and begins the explanation of video # 2 in Japanese.

以下、（ｕ５）（ａ４）（ａ５）（ａ６）は、先に説明した（ｕ３）（ａ１）（ａ２）（ａ３）と同様であるので、説明は省略する。 Hereinafter, since (u5), (a4), (a5), and (a6) are the same as (u3), (a1), (a2), and (a3) described above, the description thereof will be omitted.

なお、話者の音声を聞く聴衆と翻訳音声を聞く聴衆とが同じ映像を見ながら聞くことになる。映像は、英語表記、話者音声は日本語、翻訳音声は英語又は中国語などとしてもよい。 The audience listening to the speaker's voice and the audience listening to the translated voice will listen while watching the same image. The video may be written in English, the speaker audio may be in Japanese, and the translated audio may be in English or Chinese.

音声に比べると映像は、文字以外の図形要素が多いので映像中のテキストが理解できなくても音声で補うことができる。また、映像には、話者の音声と翻訳音声との両方の言語を併記してもよい。両言語を表記すれば、それぞれの視聴者が理解しやすくなる利点がある。 Compared to audio, video has many graphic elements other than characters, so even if the text in the video cannot be understood, it can be supplemented with audio. In addition, both the speaker's voice and the translated voice may be written together in the video. Writing both languages has the advantage of making it easier for each viewer to understand.

このように、翻訳音声の再生中においては、スライド送りを停止させ、翻訳音声の再生が終了すると次スライドを再生させるように、翻訳音声と説明対象のスライドとの同期をとることができる。 In this way, the translated voice and the slide to be explained can be synchronized so that the slide feed is stopped during the reproduction of the translated voice and the next slide is played when the reproduction of the translated voice is completed.

以上により、話者は、翻訳音声終了後のスライドの切り換えを目視にて確認することができるので、次のスライド説明を開始するタイミングを容易につかむことができる。それにより、円滑な翻訳プレゼンテーションを実現することができる。 As described above, the speaker can visually confirm the switching of the slide after the translation voice is completed, so that the timing for starting the next slide explanation can be easily grasped. As a result, a smooth translation presentation can be realized.

（実施の形態２）
〈概要〉
前記実施の形態１では、話者音声と翻訳音声とを交互にスピーカ１８から流す構成としたが、本実施の形態２においては、話者音声をスピーカにて出力し、翻訳音声はヘッドホンにて流す技術について説明する。これによって、話者音声と翻訳音声との混濁を避けるとともに、プレゼンテーションの時間を短縮することができる。 (Embodiment 2)
<overview>
In the first embodiment, the speaker voice and the translated voice are alternately played from the speaker 18, but in the second embodiment, the speaker voice is output by the speaker and the translated voice is transmitted by the headphones. The technique of flowing is explained. As a result, it is possible to avoid turbidity between the speaker voice and the translated voice and shorten the presentation time.

〈映像表示システムの構成例〉
図４は、本実施の形態２による映像表示システムにおける構成の一例を示す説明図である。 <Configuration example of video display system>
FIG. 4 is an explanatory diagram showing an example of the configuration in the video display system according to the second embodiment.

図４の映像表示システムが、前記実施の形態１の図１に示す映像表示システムと異なるところは、翻訳音声再生装置２１、音声配信装置２２、およびヘッドホン３０が新たに追加されている点である。 The video display system of FIG. 4 differs from the video display system of FIG. 1 of the first embodiment in that the translation voice reproduction device 21, the voice distribution device 22, and the headphones 30 are newly added. ..

図１の映像表示システムでは、翻訳音声の再生を投射装置１３にて行っていたが、図４の映像表示システムにおいては、ネットワーク１９に接続された翻訳音声再生装置２１によって再生される。 In the video display system of FIG. 1, the translated voice is reproduced by the projection device 13, but in the video display system of FIG. 4, it is reproduced by the translated voice reproducing device 21 connected to the network 19.

翻訳データは、翻訳サーバ２０からネットワーク１９を経由して受信する。翻訳音声再生装置２１によって再生された翻訳音声信号は、音声配信装置２２に出力される。音声配信装置２２は、聴衆が使用するヘッドホン３０に翻訳音声信を無線などによって配信する。音声配信装置２２による翻訳音声信の配信は、無線通信に限定されるものではなく、有線通信であってもよい。 The translation data is received from the translation server 20 via the network 19. The translated audio signal reproduced by the translated audio reproduction device 21 is output to the audio distribution device 22. The voice distribution device 22 wirelessly distributes the translated voice message to the headphones 30 used by the audience. The distribution of the translated voice message by the voice distribution device 22 is not limited to wireless communication, and may be wired communication.

なお、その他の構成については、前記実施の形態１の図１および図２と同様であるので説明は省略する。また、図４の翻訳音声再生装置２１および音声配信装置２２の各機能は、図４の映像表示システムが有する投射装置１３に設けるようにしてもよい。その場合、翻訳音声再生装置２１の機能は、図２の翻訳音声再生部２３９によって行うことができる。 Since other configurations are the same as those in FIGS. 1 and 2 of the first embodiment, the description thereof will be omitted. Further, each function of the translated audio reproduction device 21 and the audio distribution device 22 of FIG. 4 may be provided in the projection device 13 of the video display system of FIG. In that case, the function of the translated voice reproduction device 21 can be performed by the translated voice reproduction unit 239 of FIG.

〈映像表示システムの動作例〉
図５は、図４の映像表示システムによる動作および話者操作の一例を示す説明図である。 <Operation example of video display system>
FIG. 5 is an explanatory diagram showing an example of an operation and a speaker operation by the video display system of FIG.

図５の左に示す「表示」は、説明スライドに相当する映像＃１と映像＃２を時系列に示したものである。「表示」の右側に示す「話者音声」は、話者の音声を時系列にて示したものであり、 「話者音声」の右側に示す「翻訳音声」は、再生されている翻訳音声を時系列にて示したものである。 The "display" shown on the left side of FIG. 5 shows the images # 1 and the images # 2 corresponding to the explanatory slides in chronological order. The "speaker voice" shown on the right side of the "display" shows the voice of the speaker in chronological order, and the "translated voice" shown on the right side of the "speaker voice" is the translated voice being played. Is shown in chronological order.

「翻訳音声」の右側に示す「話者操作と機器動作」は、話者操作と機器動作を示したものである。（ｕ＊）は、話者による操作を示している。（ａ＊）は、映像表示システムによる動作を示している。 "Speaker operation and device operation" shown on the right side of "translated voice" indicates speaker operation and device operation. (U *) indicates an operation by the speaker. (A *) shows the operation by the video display system.

前記実施の形態１の図３では、翻訳音声の再生開始（ａ１）が話者説明終了（ｕ３）後であった。一方、図５では、話者の説明開始（ｕ２）後に、翻訳音声データが準備でき次第、すなわち話者の音声よりやや遅れて再生が開始される。 In FIG. 3 of the first embodiment, the start of reproduction of the translated voice (a1) is after the end of the speaker explanation (u3). On the other hand, in FIG. 5, after the explanation of the speaker is started (u2), the reproduction is started as soon as the translated voice data is prepared, that is, slightly later than the speaker's voice.

翻訳の音声は、ヘッドホン３０によって流されるので、翻訳の音声を必要としない聴衆には聞こえない。よって、話者の音声をさえぎることなく再生される。 The translated audio is played by the headphones 30 and is inaudible to an audience who does not need the translated audio. Therefore, the speaker's voice is reproduced without interruption.

また、図５においては、話者が説明終了（ｕ３）を指示しても、翻訳音声が終了（ａ２）するまではスライド送りが行われない。翻訳音声が終了（ａ２）すると、投射装置１３の音認期間指示部２３５は、スライド送りタイミング信号を映像源１２に送る（ａ３）。 Further, in FIG. 5, even if the speaker instructs the end of the explanation (u3), the slide feed is not performed until the translated voice ends (a2). When the translated sound is completed (a2), the sound recognition period indicating unit 235 of the projection device 13 sends the slide feed timing signal to the video source 12 (a3).

これによって、映像＃２のスライドが表示される。話者は、表示された映像＃２のスライドが表示されたことを確認すると、次の説明を開始する（ｕ４）。 As a result, the slide of the image # 2 is displayed. When the speaker confirms that the slide of the displayed image # 2 is displayed, the speaker starts the next explanation (u4).

このように、円滑な翻訳プレゼンテーションを実現することができる。また、話者の説明音声をスピーカにて出力しながら、翻訳音声をヘッドホンにて流すことができるので、話者音声と翻訳音声との混濁を避けながら、プレゼンテーションの時間を短縮することができる。 In this way, a smooth translation presentation can be realized. Further, since the translated voice can be played through the headphones while the explanation voice of the speaker is output by the speaker, the presentation time can be shortened while avoiding the turbidity between the speaker voice and the translated voice.

（実施の形態３）
〈概要〉
前記実施の形態１，２では、スライドの切り換えによって翻訳音声の終了を話者に伝えていたが、本実施の形態３においては、翻訳音声を再生している間、翻訳音声を再生していることを示す文字やマークなどを映像の中に重畳表示する技術について説明する。 (Embodiment 3)
<overview>
In the first and second embodiments, the end of the translated voice is notified to the speaker by switching the slide, but in the third embodiment, the translated voice is played while the translated voice is played. A technique for superimposing and displaying characters and marks indicating that is shown in an image will be described.

翻訳音声の再生中は、それを示す文字や記号を画面上に重畳して表示させる。これにより、スライド間の差異が小さい場合でも、話者は明確に示すことができる。また、翻訳音声を再生中であることを明確に話者や聴衆に伝えることができる。翻訳音声を再生中であることを明示することにより、１つのスライド説明を細かく分割して説明できるという利点も生じる。 During playback of the translated voice, the characters and symbols indicating it are superimposed and displayed on the screen. This allows the speaker to clearly indicate even if the difference between the slides is small. In addition, it is possible to clearly inform the speaker and the audience that the translated voice is being played. By clearly indicating that the translated voice is being played, there is an advantage that one slide explanation can be divided into small parts and explained.

〈投射装置および翻訳サーバの構成例〉
図６は、本実施の形態３による映像表示システムが有する投射装置１３および翻訳サーバ２０における構成の一例を示すブロック図である。 <Configuration example of projection device and translation server>
FIG. 6 is a block diagram showing an example of the configuration of the projection device 13 and the translation server 20 included in the video display system according to the third embodiment.

なお、映像表示システムの構成については、前記実施の形態１の図１と同様であるので、説明は省略する。 Since the configuration of the video display system is the same as that of FIG. 1 of the first embodiment, the description thereof will be omitted.

図６に示す投射装置１３が、図２の投射装置１３と異なる点は、文字重畳部２３３が新たに設けられたところである。その他の接続構成については、図２の投射装置１３と同様であるので、説明は省略する。また、図６の翻訳サーバ２０についても、図２の翻訳サーバ２０と同様であるので、説明は省略する。 The projection device 13 shown in FIG. 6 differs from the projection device 13 of FIG. 2 in that a character superimposing portion 233 is newly provided. Since other connection configurations are the same as those of the projection device 13 of FIG. 2, the description thereof will be omitted. Further, the translation server 20 of FIG. 6 is the same as the translation server 20 of FIG. 2, so the description thereof will be omitted.

制御部を構成する文字重畳部２３３は、映像源１２から映像入力部２３２に入力された映像信号に、翻訳再生中であることを示す文字や記号などを重畳させる。文字重畳部２３３は、音認期間指示部２３５が生成する翻訳再生タイミング信号に基づいて、翻訳再生中であることを示す文字や記号などを映像に重畳する。 The character superimposing unit 233 constituting the control unit superimposes characters and symbols indicating that translation / reproduction is in progress on the video signal input from the video source 12 to the video input unit 232. The character superimposing unit 233 superimposes characters, symbols, and the like indicating that translation / reproduction is in progress on the video based on the translation / reproduction timing signal generated by the sound recognition period indicating unit 235.

〈映像表示システムの動作例〉
図７は、図６の映像表示システムによる動作および話者操作の一例を示す説明図である。 <Operation example of video display system>
FIG. 7 is an explanatory diagram showing an example of an operation and a speaker operation by the video display system of FIG.

図７の左に示す「表示」は、説明スライドに相当する映像＃１と映像＃２を時系列に示したものである。「表示」の右側に示す「音声」は、話者の音声および翻訳された英語の音声を時系列にて示したものである。＃１日本語および＃２日本語は、話者の音声である。また、＃１英語および＃２英語は、翻訳された英語の音声である。 The "display" shown on the left side of FIG. 7 shows the images # 1 and the images # 2 corresponding to the explanatory slides in chronological order. The "voice" shown on the right side of the "display" indicates the speaker's voice and the translated English voice in chronological order. # 1 Japanese and # 2 Japanese are the voices of the speaker. Also, # 1 English and # 2 English are translated English voices.

「音声」の右側に示す「話者操作と機器動作」は、話者操作と機器動作を示したものである。（ｕ＊）は、話者による操作を示している。（ａ＊）は、映像表示システムによる動作を示している。 "Speaker operation and device operation" shown on the right side of "voice" indicates speaker operation and device operation. (U *) indicates an operation by the speaker. (A *) shows the operation by the video display system.

この図７において、前記実施の形態１の図３と大きく異なる点は翻訳音声の再生中に翻訳再生中であることを示す文字、例えば＜翻訳中＞を表記すること、および音声説明の終了時にスライド送り可否を合わせて指示入力している点である。 In FIG. 7, the major difference from FIG. 3 of the first embodiment is that a character indicating that the translated voice is being played back, for example, <translating> is written, and at the end of the voice explanation. It is a point that instructions are input together with whether or not slide feed is possible.

話者操作（ｕ１）、（ｕ２）と表示装置動作（ａ１）は、図３と同様である。話者が映像＃１に対する説明一時停止を指示すると（ｕ１３）、投射装置１３は、「翻訳中」の文字やマークを映像＃１に重畳して表示（ｂ１）する。 The speaker operation (u1), (u2) and the display device operation (a1) are the same as those in FIG. When the speaker instructs the video # 1 to pause the explanation (u13), the projection device 13 superimposes and displays the characters and marks of "translating" on the video # 1 (b1).

そして、映像＃１への翻訳音声の終了（ａ２）後に、「翻訳中」の文字またはマークの映像重畳を中止（ｂ２）する。この時、映像＃１に対する説明の一時停止の操作である説明一時停止操作（ｕ１３）には、スライド送り指示が含まれていない。よって、スライド送りタイミング信号を映像源１２に出力しない点が図３と異なっている。 Then, after the end of the translated voice to the video # 1 (a2), the video superimposition of the characters or marks of "translating" is stopped (b2). At this time, the explanation pause operation (u13), which is the operation of suspending the explanation for the video # 1, does not include the slide feed instruction. Therefore, it differs from FIG. 3 in that the slide feed timing signal is not output to the image source 12.

話者は、「翻訳中」の文字またはマークの消去（ｂ２）を確認すると、映像＃１の続きの説明＃１ａを開始する（ｕ１４）。話者が、映像＃１の説明終了の指示と共に、操作器１６からスライド送りの指示（ｕ１５）を行うと、投射装置１３は、「翻訳中」の文字あるいはマークを映像＃１に重畳して表示（ｂ３）する。 When the speaker confirms the erasure (b2) of the character or mark of "translating", the speaker starts the explanation # 1a of the continuation of the video # 1 (u14). When the speaker gives an instruction (u15) for slide feed from the actuator 16 together with the instruction to end the explanation of the image # 1, the projection device 13 superimposes the character or mark of "translating" on the image # 1. Display (b3).

そして、翻訳音声の終了（ａ５）後に「翻訳中」の文字またはマークの映像重畳を中止（ｂ４）する。同時に、図３と同様にスライド送りタイミング信号を映像源１２へ出力する（ａ６）。 Then, after the end of the translated voice (a5), the video superimposition of the character or mark "translating" is stopped (b4). At the same time, the slide feed timing signal is output to the video source 12 as in FIG. 3 (a6).

このように、１つのスライドを使って複数回の説明を行う場合には、説明終了の指示入力にスライド送り有無を示すとよい。上述のようにスライド送りのない説明一時停止ボタンとスライド送り付説明終了ボタンをつけてもよい。また、スライド送りと説明終了のボタンを独立させ、両方のボタン入力時にスライド送り付説明終了を示すようにしてもよい。 In this way, when the explanation is given a plurality of times using one slide, it is preferable to indicate whether or not the slide feed is performed in the instruction input at the end of the explanation. As described above, the explanation pause button without slide feed and the explanation end button with slide feed may be attached. Further, the slide feed and the explanation end buttons may be made independent, and the slide feed attachment explanation end may be indicated when both buttons are input.

以上述べてきたように、話者がスライド送り付説明終了を指示後、スライド送り命令の送出を一時保留することによって翻訳音声再生中のスライド送りを止めて、翻訳音声聴衆者に該当映像表示を継続することができる。 As described above, after the speaker instructs the end of the slide feed instruction, the slide feed during the translated audio playback is stopped by temporarily suspending the transmission of the slide feed command, and the corresponding video display is displayed to the translated audio audience. You can continue.

翻訳音声再生終了後にスライド送りタイミング信号を映像源１２へ出力して 次のスライドを表示させることによって、話者が説明を再開するタイミングをつかむことができる。 By outputting the slide feed timing signal to the video source 12 and displaying the next slide after the translation audio reproduction is completed, it is possible to grasp the timing for the speaker to resume the explanation.

また、次のスライドが前のスライドと同じような映像の場合は、タイミングがつかみにくいが、翻訳音声再生中のテキストやマークが消去されるのを確認することができるので、話者が説明を再開するタイミングを確実に伝えることができる利点がある。 Also, if the next slide is the same image as the previous slide, it is difficult to grasp the timing, but you can check that the text and marks during the translated audio playback are erased, so the speaker will explain. It has the advantage of being able to reliably tell when to resume.

さらに、スライド送りなしの説明終了入力の場合は、次のスライドに切り替わらなくても、翻訳音声再生中のテキストやマークが消去されるのを見て、話者が説明を再開するタイミングをつかむことができる。話者は、映像を停止することによって翻訳音声出力中のテキストやマークが消えることでスライドの続き説明に入ることができる。 Furthermore, in the case of the explanation end input without slide feed, the speaker should grasp the timing to resume the explanation by seeing the text or mark being erased during the translated voice playback without switching to the next slide. Can be done. The speaker can enter the continuation explanation of the slide by stopping the video and the text or mark in the translated audio output disappears.

翻訳音声を再生中は、スライド送りを停止させて、翻訳音声と説明対象のスライドの同期をとることで円滑な翻訳プレゼンを実現できる。さらに、話者は、翻訳音声終了後のスライドの切り替わりを見て、次のスライド説明を開始するタイミングをつかむことができる利点がある。 While the translated voice is being played, the slide feed is stopped and the translated voice and the slide to be explained are synchronized to realize a smooth translation presentation. Further, the speaker has an advantage that he / she can see the change of the slide after the end of the translated voice and grasp the timing to start the next slide explanation.

（実施の形態４）
〈概要〉
前記実施の形態１においては、話者の説明中と翻訳音声の再生中の表示が共通であった。本実施の形態４では、翻訳音声の再生中は、表示映像の中にある文字を翻訳文字に置き換える技術について説明する。これにより、翻訳音声を聞く聴衆の理解をよりしやすくするものである。 (Embodiment 4)
<overview>
In the first embodiment, the display during the explanation of the speaker and the display during the reproduction of the translated voice are common. In the fourth embodiment, a technique of replacing the characters in the displayed image with the translated characters during the reproduction of the translated voice will be described. This makes it easier for the audience to understand the translated voice.

〈映像表示システムの動作例〉
図８は、本実施の形態４による図６の映像表示システムにおける動作および話者操作の一例を示す説明図である。なお、映像表示システムの構成については、前記実施の形態３の図６と同様であるので、説明は省略する。 <Operation example of video display system>
FIG. 8 is an explanatory diagram showing an example of an operation and a speaker operation in the video display system of FIG. 6 according to the fourth embodiment. Since the configuration of the video display system is the same as that of FIG. 6 of the third embodiment, the description thereof will be omitted.

この図８においても、左に示す「表示」は、説明スライドに相当する映像＃１と映像＃２を時系列に示したものである。「表示」の右側に示す「音声」は、話者の音声および翻訳された英語の音声を時系列にて示したものである。＃１日本語および＃２日本語は、話者の音声である。また、＃１英語および＃２英語は、翻訳された英語の音声である。 Also in FIG. 8, the “display” shown on the left shows the video # 1 and the video # 2 corresponding to the explanatory slides in chronological order. The "voice" shown on the right side of the "display" indicates the speaker's voice and the translated English voice in chronological order. # 1 Japanese and # 2 Japanese are the voices of the speaker. Also, # 1 English and # 2 English are translated English voices.

「音声」の右側に示す「話者操作と機器動作」は、話者操作と機器動作を示したものである。（ｕ＊）は、話者による操作を示している。（ａ＊）は、映像表示システムによる動作を示している。 "Speaker operation and device operation" shown on the right side of "voice" indicates speaker operation and device operation. (U *) indicates an operation by the speaker. (A *) shows the operation by the video display system.

まず、翻訳のプレゼンテーションの開始（ｕ１）が指示されると、投射装置１３は映像源１２から入力される映像中の文字を抽出して翻訳サーバ２０にネットワーク１９を経由して送信する。映像中の文字を抽出する処理は、例えば図６の文字重畳部２３３などが行う。あるいは、図６の投射装置１３に、後述する図１０に示す文字抽出部４３４を新たに設ける構成としてもよい。文字抽出部４３４は、映像中の文字を抽出する処理を実行する。 First, when the start (u1) of the translation presentation is instructed, the projection device 13 extracts the characters in the video input from the video source 12 and transmits the characters to the translation server 20 via the network 19. The process of extracting characters in the video is performed by, for example, the character superimposing unit 233 in FIG. Alternatively, the projection device 13 of FIG. 6 may be newly provided with the character extraction unit 434 shown in FIG. 10, which will be described later. The character extraction unit 434 executes a process of extracting characters in the video.

そして、翻訳サーバ２０は、受信した映像中の文字の翻訳を開始する（ｃ１）。話者の説明が終了し、説明終了の指示が操作器１６から出力される（ｕ３）と、投射装置１３は、文字抽出領域に翻訳サーバ２０が翻訳した文字を上書きしてスクリーン１５に投射する（ｃ２）。 Then, the translation server 20 starts translating the characters in the received video (c1). When the explanation of the speaker is completed and the instruction to end the explanation is output from the actuator 16 (u3), the projection device 13 overwrites the characters translated by the translation server 20 in the character extraction area and projects the characters on the screen 15. (C2).

この処理においても、例えば図６の文字重畳部２３３などが行うものとする。あるいは、図６の投射装置１３に後述する図１０に示す翻訳文字上書き部４３１を新たに設ける構成としてもよい。翻訳文字上書き部４３１は、文字抽出領域に翻訳サーバ２０が翻訳した文字を上書きする。 Also in this process, for example, the character superimposing unit 233 in FIG. 6 shall perform the processing. Alternatively, the projection device 13 of FIG. 6 may be newly provided with the translation character overwriting unit 431 shown in FIG. 10 to be described later. The translated character overwriting unit 431 overwrites the characters translated by the translation server 20 in the character extraction area.

以上によって、翻訳音声の再生中は、翻訳文字で上書きした映像を表示することができる。翻訳音声の終了（ａ２）の後、投射装置１３は、図３と同様にスライド送りタイミング信号を映像源１２に出力して送り（ａ３）次のスライド映像を表示させる。 As described above, the video overwritten with the translated characters can be displayed during the reproduction of the translated voice. After the end of the translated sound (a2), the projection device 13 outputs the slide feed timing signal to the image source 12 and feeds (a3) to display the next slide image as in FIG.

これによって、翻訳音声と同じ言語の翻訳文字で表示された画面と共に翻訳音声を聞くことができる。その結果、聴衆の理解をより高めることができる。 This allows you to hear the translated voice along with the screen displayed in the translated characters in the same language as the translated voice. As a result, the understanding of the audience can be further enhanced.

（実施の形態５）
〈概要〉
プレゼンテーションなどにおいては、話者の説明にてポインタを併用する場合が多々ある。本実施の形態５では、翻訳音声の再生中に、話者が差したポインタの位置を翻訳語順に合わせて移動させる技術について説明する。 (Embodiment 5)
<overview>
In presentations, pointers are often used together in the explanation of the speaker. In the fifth embodiment, a technique of moving the position of the pointer pointed by the speaker in the order of the translated words during the reproduction of the translated voice will be described.

前記実施の形態４は、翻訳音声の再生中に、表示された映像の文字を翻訳して、該文字を翻訳文字に上書きするものであった。しかし、翻訳音声の語順によっては、話者音声の語順と異なる場合がある。 In the fourth embodiment, the characters of the displayed video are translated and the characters are overwritten with the translated characters during the reproduction of the translated voice. However, depending on the word order of the translated voice, it may be different from the word order of the speaker voice.

〈スライド表示例〉
図９は、本実施の形態５によるスライド画面の表示の一例を示す説明図である。 <Slide display example>
FIG. 9 is an explanatory diagram showing an example of display of a slide screen according to the fifth embodiment.

図９の左側に示す表示画面３１，３２は、話者の説明時における表示画面例を示している。また、図９の右側に示す表示画面３３，３４は、翻訳音声の再生中の表示される表示画面の一例を示したものである。 The display screens 31 and 32 shown on the left side of FIG. 9 show an example of the display screen at the time of explaining the speaker. Further, the display screens 33 and 34 shown on the right side of FIG. 9 show an example of the display screen displayed during the reproduction of the translated voice.

表示画面３１，３２において、左側には鉛筆３１１がそれぞれ表示されており、該鉛筆３１１の下方には、説明文として「鉛筆」が表示されている。鉛筆３１１の右側には、箱３１２が表示されており、該箱３１２の下方には、説明文として「箱」が表示されている。 On the display screens 31 and 32, a pencil 311 is displayed on the left side, and a "pencil" is displayed below the pencil 311 as an explanatory text. A box 312 is displayed on the right side of the pencil 311 and a "box" is displayed as an explanatory text below the box 312.

一方、図９の右側に示す翻訳再生中の表示画面３３，３４では、鉛筆３１１の下方の説明文である「鉛筆」が「pencil」に翻訳されて置き換えられている、同様に、箱３１２の下方の説明文である「箱」が「Box」に翻訳されて置き換えられている。 On the other hand, in the display screens 33 and 34 during translation reproduction shown on the right side of FIG. 9, "pencil" which is the explanation below the pencil 311 is translated into "pencil" and replaced. Similarly, in the box 312. The description below, "box," has been translated and replaced with "Box."

ここで、話者の日本語の説明音声が、図９の左側上方に示すように、例えば「箱の上に鉛筆を置く。」であるとすると、その翻訳文章は、図９の右側上方に示すように、「Put a pencil on the box.」となる。この場合、日本語の文章では、“箱”と“鉛筆”の語順が“箱”、“鉛筆”となる。 Here, if the speaker's Japanese explanatory voice is, for example, "put a pencil on the box" as shown in the upper left side of FIG. 9, the translated text is in the upper right side of FIG. As shown, "Put a pencil on the box." In this case, in Japanese sentences, the word order of "box" and "pencil" is "box" and "pencil".

一方、上記の日本語を翻訳した英語文章の場合には、並び順が“pencil”“Box”と日本語とは逆の語順になる。このため、話者が表示画面３１，３２を用いて説明する際には、ポインタの指し場所は、図９左側の一点鎖線にて示すようにポインタ差し位置３１３からポインタ差し位置３２３に移動することになる。 On the other hand, in the case of an English sentence translated from the above Japanese, the order is "pencil" "Box", which is the reverse of the word order of Japanese. Therefore, when the speaker explains using the display screens 31 and 32, the pointer pointing position moves from the pointer insertion position 313 to the pointer insertion position 323 as shown by the alternate long and short dash line on the left side of FIG. become.

これに対して、翻訳音声の再生中において、表示画面３３，３４を用いる場合には、図９右側の一点鎖線に示すように、翻訳音声、すなわち翻訳の語順に合わせて、ポインタの指し場所がポインタ位置３３３からポインタ位置３４３に移動させるとわかりやすいことになる。 On the other hand, when the display screens 33 and 34 are used during playback of the translated voice, as shown by the alternate long and short dash line on the right side of FIG. 9, the pointer points to the translated voice, that is, in the word order of the translation. It will be easier to understand if it is moved from the pointer position 333 to the pointer position 343.

〈映像表示システムの構成例〉
図１０は、図９のポインタ位置を翻訳した語順に合わせて変更する機能を有する映像表示システムの一例を示す説明図である。 <Configuration example of video display system>
FIG. 10 is an explanatory diagram showing an example of a video display system having a function of changing the pointer position of FIG. 9 according to the translated word order.

図１０の映像表示システムが図６の映像表示システムと異なるところは、カメラ４４０が新たに設けられた点である。また、投射装置１３においては、文字抽出部４３４、翻訳文字上書き部４３１、故障診断部４３５、マイクアレイ４３６、話者解析部４３７、およびポインタ位置判別部４３９を新たに設けられている。翻訳サーバ２０においては、議事録作成部４０２および文字翻訳部４０１が新たに設けられている。 The difference between the video display system of FIG. 10 and the video display system of FIG. 6 is that the camera 440 is newly provided. Further, the projection device 13 is newly provided with a character extraction unit 434, a translation character overwriting unit 431, a failure diagnosis unit 435, a microphone array 436, a speaker analysis unit 437, and a pointer position determination unit 439. In the translation server 20, a minutes preparation unit 402 and a character translation unit 401 are newly provided.

マイクアレイ４３６は、複数のマイクから構成されており、話者の声を集音する。ここでは、投射装置１３が話者から離れている場合を考慮して、マイクアレイ４３６には、指向性が与えられている。 The microphone array 436 is composed of a plurality of microphones and collects the voice of the speaker. Here, the microphone array 436 is provided with directivity in consideration of the case where the projection device 13 is away from the speaker.

話者解析部４３７は、マイクアレイ４３６の集音結果に基づいて、話者がどの位置にいるかを解析する。話者音声抽出部４３８は、話者音声を抽出する。これは、投射装置１３や周辺の雑音と話者音声とを分離するためであり、例えば雑音除去フィルタやそれぞれの周波数特性の特徴を使った分離技術により、話者音声を抽出する。 The speaker analysis unit 437 analyzes the position of the speaker based on the sound collection result of the microphone array 436. The speaker voice extraction unit 438 extracts the speaker voice. This is to separate the speaker voice from the noise in the projection device 13 and the surroundings, and the speaker voice is extracted by, for example, a noise removal filter or a separation technique using the characteristics of each frequency characteristic.

話者音声抽出部４３８が抽出した話者音声は、音声要素抽出部２３７によって音声要素が抽出されて翻訳サーバ２０に送信される。 The speaker voice extracted by the speaker voice extraction unit 438 is transmitted to the translation server 20 after the voice element is extracted by the voice element extraction unit 237.

翻訳サーバ２０において、音声文字化部２０２によって文字化された話者音声は、翻訳音声部２０３にて翻訳される。その翻訳結果である翻訳データは、投射装置１３に送信される。翻訳データは、話者音声および翻訳音声の語順を含むデータからなる。 In the translation server 20, the speaker voice converted into characters by the voice characterization unit 202 is translated by the translation voice unit 203. The translation data, which is the translation result, is transmitted to the projection device 13. The translation data consists of data including the speaker voice and the word order of the translated voice.

翻訳音声再生部２３９は、受け取った翻訳データを翻訳音声信号に再生して、音声切り換え部を経てスピーカ１８にて翻訳音声が再生される。 The translated voice reproduction unit 239 reproduces the received translation data into a translated voice signal, and the translated voice is reproduced on the speaker 18 via the voice switching unit.

映像入力部２３２が受信した映像源１２の映像は、文字抽出部４３４と翻訳文字上書き部４３１にそれぞれ入力される。 The video of the video source 12 received by the video input unit 232 is input to the character extraction unit 434 and the translated character overwrite unit 431, respectively.

文字抽出部４３４は、映像中の文字を抽出して該当文字の位置情報と共に翻訳サーバ２０に送信する。そして、文字翻訳部４０１にて翻訳された投射装置１３に送り返される。
翻訳文字上書き部４３１は、翻訳された文字を受信すると、文字抽出部４３４から得られる抽出文字領域情報に基づいて、該当文字領域上に翻訳文字を上書きする。翻訳文字で上書きすることは、前記実施の形態４にて述べたとおりである。 The character extraction unit 434 extracts characters in the video and transmits the characters together with the position information of the characters to the translation server 20. Then, it is sent back to the projection device 13 translated by the character translation unit 401.
When the translated character overwriting unit 431 receives the translated character, the translated character overwriting unit 431 overwrites the translated character on the corresponding character area based on the extracted character area information obtained from the character extraction unit 434. Overwriting with the translated characters is as described in the fourth embodiment.

カメラ４４０は、話者が指し示す図９のポインタ差し位置３１３，３２３を撮影する。ポインタ位置判別部４３９は、カメラ４４０が撮影した撮影結果に基づいて、ポインタ差し位置３１３，３２３の位置、大きさ、および時間などを判別して、該ポインタ位置判別部４３９に設けられる図示しないメモリなどに記憶しておく。 The camera 440 captures the pointer pointing positions 313 and 323 of FIG. 9 pointed to by the speaker. The pointer position determination unit 439 determines the position, size, time, etc. of the pointer insertion positions 313 and 323 based on the shooting result taken by the camera 440, and a memory (not shown) provided in the pointer position determination unit 439. Remember it in such as.

ポインタ同期合成部４３２は、ポインタ位置判別部４３９に記憶された判別結果に従って、翻訳音声の再生中にポインタ差し位置３３３，３４３を生成する。そして、翻訳データに含まれる語順情報に基づいて、翻訳音声の語順に合わせて映像へ重畳し、表示部２４１から出力する。 The pointer synchronization synthesis unit 432 generates pointer insertion positions 333 and 343 during reproduction of the translated voice according to the determination result stored in the pointer position determination unit 439. Then, based on the word order information included in the translation data, it is superimposed on the video in accordance with the word order of the translated voice and output from the display unit 241.

以上述べてきたように、翻訳音声の語順に合わせてポインタを表示画面上に表示することができる。これによって、聴衆の理解をより高めることができる。 As described above, the pointer can be displayed on the display screen according to the word order of the translated voice. This can enhance the understanding of the audience.

なお、上記した説明では、ポインタ位置をカメラ４４０にて検出する例を示したが、話者が操作器を操作して電子ポインタとして映像上に重畳する場合は、操作器からの位置情報を用いて電子ポインタの位置を検出するようにしてもよい。 In the above description, an example of detecting the pointer position with the camera 440 is shown, but when the speaker operates the actuator and superimposes it on the image as an electronic pointer, the position information from the actuator is used. The position of the electronic pointer may be detected.

さらに、音声文字化部２０２にて文字化された話者の音声は、例えば議事録作成部４０２が記録して議事録として記録するようにしてもよい。また、話者の説明後の質疑応答において、話者解析部４３７が質問者の声を解析して話者音声抽出部４３８によって質問者音声を抽出し、翻訳サーバ２０にて質問者の音声を記録するようにしてもよい。 Further, the voice of the speaker transcribed by the voice transcribing unit 202 may be recorded by, for example, the minutes preparation unit 402 and recorded as minutes. Further, in the question and answer session after the speaker's explanation, the speaker analysis unit 437 analyzes the questioner's voice, the speaker voice extraction unit 438 extracts the questioner's voice, and the translation server 20 outputs the questioner's voice. You may try to record it.

質問者が話者音声の翻訳先の言語である場合は、翻訳サーバ２０が話者音声翻訳と逆の翻訳を行い、質問者の音声を再生するようにしてもよい。この場合、話者と質問者とは、対話翻訳を通じた質疑応答ができるので、利便性を向上することができる。 When the questioner is the language to which the speaker's voice is translated, the translation server 20 may perform translation opposite to the speaker's voice translation and reproduce the speaker's voice. In this case, the speaker and the questioner can have a question and answer session through dialogue translation, which can improve convenience.

さらに、前記実施の形態１～５では、映像源１２へのスライド送り命令を一時的に止めて、翻訳音声再生中の映像を保持する例を説明してきたが、スライド送り命令の一時停止に代えて、翻訳音声用の映像を図示しない記憶装置に記憶させ、記憶させた映像を表示させるようにしてもよい。スライド送りを操作する操作器と翻訳用の話者音声入力タイミングを指示する指示器とを独立に構成する場合などに連携制御を簡単にすることができる。 Further, in the above-described embodiments 1 to 5, an example in which the slide feed command to the video source 12 is temporarily stopped to hold the video being reproduced of the translated audio has been described, but instead of pausing the slide feed command. Then, the image for the translated voice may be stored in a storage device (not shown), and the stored image may be displayed. Coordination control can be simplified when the operation device for operating the slide feed and the indicator for instructing the speaker voice input timing for translation are independently configured.

（実施の形態６）
〈概要〉
前記実施の形態１～５における映像表示システムは、例えばパーソナルコンピュータなどを映像源として用いた構成とした。本実施の形態６では、映像源を携帯機器によって代用する技術について説明する。 (Embodiment 6)
<overview>
The video display system according to the first to fifth embodiments is configured to use, for example, a personal computer as a video source. In the sixth embodiment, a technique of substituting a video source with a mobile device will be described.

〈映像表示システムの構成例および動作例〉
図１１は、本実施の形態６による映像表示システムにおける構成の一例を示す説明図である。 <Configuration example and operation example of video display system>
FIG. 11 is an explanatory diagram showing an example of the configuration in the video display system according to the sixth embodiment.

図１１の映像表示システムが、図１の映像表示システムと異なる点は、図１の映像源１２および操作器１６の機能を有する携帯機器５６に替わっているところである。出力装置である携帯機器５６は、例えばスマートフォンやタブレット端末などからなり、ネットワーク１９に接続することができる。 The image display system of FIG. 11 is different from the image display system of FIG. 1 in that it is replaced with the portable device 56 having the functions of the image source 12 and the operation device 16 of FIG. The portable device 56, which is an output device, comprises, for example, a smartphone or a tablet terminal, and can be connected to the network 19.

〈携帯機器の構成例〉
図１２は、図１１の映像表示システムが有する携帯機器５６における構成の一例を示す説明図である。 <Example of mobile device configuration>
FIG. 12 is an explanatory diagram showing an example of the configuration of the portable device 56 included in the video display system of FIG. 11.

携帯機器５６は、図１２に示すように、音声入力部５７、制御部５８、および映像信号出力部５９を有する。第２の音声入力部となる音声入力部５７は、マイク１７の音声を例えばＢｌｕｅｔｏｏｔｈなどを使用して受信する。 As shown in FIG. 12, the portable device 56 has an audio input unit 57, a control unit 58, and a video signal output unit 59. The voice input unit 57, which is the second voice input unit, receives the voice of the microphone 17 using, for example, Bluetooth.

映像信号出力部５９は、投射装置１３が表示する映像信号を該投射装置１３に出力する。映像信号は、例えば無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、あるいはＭｉｒａｃａｓｔ（登録商標）などの無線によって送信される。あるいは携帯機器５６と投射装置１３とを有線接続するようにしてもよい。 The video signal output unit 59 outputs the video signal displayed by the projection device 13 to the projection device 13. The video signal is transmitted by radio such as wireless LAN, Bluetooth®, or Miracast®. Alternatively, the mobile device 56 and the projection device 13 may be connected by wire.

音声抽出出力部および翻訳音声変換部として機能する制御部５８は、音声入力部５７が受信した音声から音声要素を抽出して翻訳サーバ２０に送信する。また、制御部５８は、翻訳サーバ２０が翻訳した翻訳データを受信して、受信した翻訳データを音声信号に変換して投射装置１３に転送する。 The control unit 58, which functions as a voice extraction output unit and a translation voice conversion unit, extracts a voice element from the voice received by the voice input unit 57 and transmits it to the translation server 20. Further, the control unit 58 receives the translation data translated by the translation server 20, converts the received translation data into an audio signal, and transfers the received translation data to the projection device 13.

投射装置１３は、転送された音声信号を受信して再生し、スピーカ１８から翻訳音声を出力する。もちろん、マイク１７が集音した話者の音声信号も携帯機器５６の制御部５８から投射装置１３に転送して、話者音声と翻訳音声を交互に出力してもよい。 The projection device 13 receives and reproduces the transferred voice signal, and outputs the translated voice from the speaker 18. Of course, the voice signal of the speaker collected by the microphone 17 may also be transferred from the control unit 58 of the portable device 56 to the projection device 13, and the speaker voice and the translated voice may be output alternately.

さらに、制御部５８は、前述した図１の操作器１６の機能を有する。具体的には、話者によって説明がされている期間である話者音声期間を指示する機能である。話者音声期間の指示は、例えば携帯機器５６に設けられたボタンなどを操作することによって行われる。該ボタンを操作することによって、認識信号が生成される。 Further, the control unit 58 has the function of the operation device 16 of FIG. 1 described above. Specifically, it is a function of instructing the speaker voice period, which is the period explained by the speaker. The instruction of the speaker voice period is given, for example, by operating a button provided on the mobile device 56. By operating the button, a recognition signal is generated.

携帯機器５６は、認識信号に基づいて、話者音声の翻訳対象期間を認識することができる。これにより、翻訳前の説明が終了したことを認識することができる。また、認識信号によって抽出した音声要素を翻訳サーバ２０に送信するタイミングを判定することができる。加えて、携帯機器５６には、電子ポインタなどの機能も備えていてもよい。 The portable device 56 can recognize the translation target period of the speaker voice based on the recognition signal. This makes it possible to recognize that the explanation before translation has ended. Further, it is possible to determine the timing at which the voice element extracted by the recognition signal is transmitted to the translation server 20. In addition, the mobile device 56 may also have a function such as an electronic pointer.

これらの制御部５８における動作および各種の機能は、例えば携帯機器５６にインストールされたアプリケーションによって実現するようにしてもよい。アプリケーションによって実現する際には、制御部５８あるいは携帯機器５６が有する図示しないＣＰＵ（Central Prosessing Unit）などが、同じく携帯機器５６に設けられた図示しないプログラム格納メモリなどに記憶されているプログラム形式のソフトウェアに基づいて、処理を実行する。 The operation and various functions in the control unit 58 may be realized by, for example, an application installed in the mobile device 56. When realized by an application, a CPU (Central Prosessing Unit) (not shown) possessed by the control unit 58 or the mobile device 56 is stored in a program storage memory (not shown) also provided in the mobile device 56 in a program format. Performs processing based on the software.

携帯機器５６は、投射装置１３が表示する映像信号を該投射装置１３に出力する。映像信号は、例えば無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、あるいはＭｉｒａｃａｓｔ（登録商標）などの無線によって送信される。あるいは携帯機器５６と投射装置１３とを有線接続するようにしてもよい。 The portable device 56 outputs the video signal displayed by the projection device 13 to the projection device 13. The video signal is transmitted by radio such as wireless LAN, Bluetooth®, or Miracast®. Alternatively, the mobile device 56 and the projection device 13 may be connected by wire.

また、携帯機器５６は、マイク１７の音声をＢｌｕｅｔｏｏｔｈなどを使用して受信して、音声要素を抽出して翻訳サーバ２０に送信する機能を有する。そして、携帯機器５６は、翻訳サーバ２０が翻訳した翻訳データを受信する。受信した翻訳データは、携帯機器５６によって音声信号に変換されて投射装置１３に転送される。 Further, the portable device 56 has a function of receiving the voice of the microphone 17 using Bluetooth or the like, extracting the voice element, and transmitting the voice element to the translation server 20. Then, the mobile device 56 receives the translation data translated by the translation server 20. The received translation data is converted into an audio signal by the portable device 56 and transferred to the projection device 13.

投射装置１３は、転送された音声信号を受信して再生し、スピーカ１８から翻訳音声を出力する。もちろん、マイク１７が集音した話者の音声信号も携帯機器５６から投射装置１３に転送して、話者音声と翻訳音声を交互に出力してもよい。 The projection device 13 receives and reproduces the transferred voice signal, and outputs the translated voice from the speaker 18. Of course, the voice signal of the speaker collected by the microphone 17 may also be transferred from the portable device 56 to the projection device 13, and the speaker voice and the translated voice may be output alternately.

携帯機器５６は、前述した図１の操作器１６の機能を有する。具体的には、話者によって説明がされている期間である話者音声期間を指示する機能である。話者音声期間の指示は、例えば携帯機器５６に設けられたボタンなどを操作することによって行われる。該ボタンを操作することによって、認識信号が生成される。 The portable device 56 has the function of the operation device 16 of FIG. 1 described above. Specifically, it is a function of instructing the speaker voice period, which is the period explained by the speaker. The instruction of the speaker voice period is given, for example, by operating a button provided on the mobile device 56. By operating the button, a recognition signal is generated.

携帯機器５６は、認識信号に基づいて、話者音声の翻訳対象期間を認識することができる。これにより、翻訳前の説明が終了したことを認識することができる。また、認識信号によって抽出した音声要素を翻訳サーバ２０に送信するタイミングを判定することができる。加えて、携帯機器５６には、電子ポインタなどの機能も備えていてもよい。 The portable device 56 can recognize the translation target period of the speaker voice based on the recognition signal. This makes it possible to recognize that the explanation before translation has ended. Further, it is possible to determine the timing at which the voice element extracted by the recognition signal is transmitted to the translation server 20. In addition, the mobile device 56 may also have a function such as an electronic pointer.

これらの携帯機器５６における動作および各種の機能は、例えば携帯機器５６にインストールされたアプリケーションによって実現する。アプリケーションによって実現する際には、携帯機器５６が有する図示しないＣＰＵ（Central Prosessing Unit）などが、同じく携帯機器５６に設けられた図示しないプログラム格納メモリなどに記憶されているプログラム形式のソフトウェアに基づいて、各機能の処理を実行する。あるいは上記した機能を有するハードウェアによって構成するようにしてもよい。 The operation and various functions of the mobile device 56 are realized by, for example, an application installed in the mobile device 56. When realized by an application, a CPU (Central Prosessing Unit) (not shown) of the mobile device 56 is based on program format software stored in a program storage memory (not shown) also provided in the mobile device 56. , Execute the processing of each function. Alternatively, it may be configured by hardware having the above-mentioned functions.

以上により、映像源１２や操作器１６などを不要とすることができるので、映像表示システムの構成を簡易にすることができる。また、携帯機器５６が音声要素の抽出などを行うことにより、投射装置１３を小型化することができる。 As described above, the video source 12 and the operating device 16 can be eliminated, so that the configuration of the video display system can be simplified. Further, the projection device 13 can be miniaturized by the portable device 56 extracting voice elements and the like.

さらに、上記した携帯機器５６における各種の機能をアプリケーションによって実現することによって、映像源１２、および操作器１６などを不要とすることができるので映像表示システムのコストを低減することができる。 Further, by realizing various functions of the portable device 56 described above by an application, the image source 12, the operating device 16, and the like can be eliminated, so that the cost of the image display system can be reduced.

（実施の形態７）
〈映像表示システムの構成例および動作例〉
図１３は、本実施の形態７による映像表示システムにおける構成の一例を示す説明図である。 (Embodiment 7)
<Configuration example and operation example of video display system>
FIG. 13 is an explanatory diagram showing an example of the configuration in the video display system according to the seventh embodiment.

図１３に示す映像表示システムは、２台の投射装置１３、１３ａが設けられている。投射装置１３は、話者の説明に用いられる投射装置であり、投射装置１３ａは、翻訳音声の再生に用いられる投射装置である。 The image display system shown in FIG. 13 is provided with two projection devices 13 and 13a. The projection device 13 is a projection device used for the explanation of the speaker, and the projection device 13a is a projection device used for reproducing the translated voice.

それに合わせて、スクリーン１５，１５ａおよびスピーカ１８，１８ａがそれぞれ設けられている。スクリーン１５は、投射装置１３が投射する映像を表示する。スクリーン１５ａは、投射装置１３ａが投射する映像を表示する。スピーカ１８は、投射装置１３から出力される話者の説明音声を拡声し、スピーカ１８ａは、投射装置１３ａから出力される翻訳音声を拡声する。 Screens 15, 15a and speakers 18, 18a are provided accordingly. The screen 15 displays an image projected by the projection device 13. The screen 15a displays an image projected by the projection device 13a. The speaker 18 louds the speaker's explanatory voice output from the projection device 13, and the speaker 18a louds the translated voice output from the projection device 13a.

図１３に示す映像表示システムは、話者説明と翻訳音声の再生をほぼ同時進行させるものであるが、翻訳処理のために翻訳音声再生は話者説明よりも遅れてしまうことが多い。このため、翻訳音声再生中はスライド送りを抑制することが有用である。 The video display system shown in FIG. 13 causes the speaker explanation and the reproduction of the translated voice to proceed almost simultaneously, but the translated voice reproduction is often delayed from the speaker explanation due to the translation process. Therefore, it is useful to suppress slide feed during translation audio reproduction.

投射装置１３が映像源１２から出力される映像信号を受けて、話者説明用の映像をスクリーン１５に表示する。投射装置１３ａは、投射装置１３から映像信号を受けて、翻訳音声視聴者用にスクリーン１５ａに翻訳音声説明用の映像表示を行う。 The projection device 13 receives the video signal output from the video source 12, and displays a video for explaining the speaker on the screen 15. The projection device 13a receives a video signal from the projection device 13 and displays a video for explaining the translated audio on the screen 15a for the translated audio viewer.

投射装置１３ａの表示映像は、前記実施の形態４にて示したように、映像源１２の映像信号から文字を抽出して翻訳した文字を上書きしたものであってもよい。文字の抽出や翻訳は、投射装置１３または投射装置１３ａのいずれで行ってもよい。 As shown in the fourth embodiment, the display image of the projection device 13a may be one in which characters are extracted from the image signal of the image source 12 and the translated characters are overwritten. Character extraction and translation may be performed by either the projection device 13 or the projection device 13a.

投射装置１３ａの表示映像は、前記実施の形態５にて示したように、話者がスクリーン１５上に指したポインタを、翻訳遅延時間分遅らせて重畳表示、または翻訳音声語順に合わせて重畳表示するものであってもよい。ポインタの重畳表示は、投射装置１３，１３ａのどちらで行ってもよい。 As shown in the fifth embodiment, the display image of the projection device 13a is a superimposed display in which the pointer pointed to by the speaker on the screen 15 is delayed by the translation delay time, or is superimposed and displayed in the order of the translated spoken words. It may be something to do. The superimposed display of the pointer may be performed by either the projection device 13 or 13a.

話者からスライド送り指示があっても、翻訳音声の再生中は投射装置１３の表示映像が次のスライドに移行しないように構成する。例えば、翻訳音声の再生中は、（１）スライド送り命令を保留する、（２）投射装置１３に映像を記憶させて投射装置１３ａへの映像出力を継続する、（３）投射装置１３ａが映像記憶して映像出力を保持するなどの技術によって実現することができる。 Even if the speaker gives a slide feed instruction, the display image of the projection device 13 is configured not to shift to the next slide during the reproduction of the translated sound. For example, during playback of the translated audio, (1) the slide feed command is suspended, (2) the image is stored in the projection device 13 and the image output to the projection device 13a is continued, and (3) the projection device 13a is the image. It can be realized by technology such as storing and holding the video output.

翻訳音声は、投射装置１３ａからスピーカ１８ａにて翻訳を聞く聴衆へ流される。翻訳音声は、前記実施の形態２の図４に示した翻訳音声再生装置２１の機能を投射装置１３ａが備えることによって実現することができる。 The translated voice is sent from the projection device 13a to the audience listening to the translation through the speaker 18a. The translated voice can be realized by the projection device 13a having the function of the translated voice reproducing device 21 shown in FIG. 4 of the second embodiment.

あるいは、投射装置１３が前記実施の形態３の翻訳音声再生部２３９を持ち、翻訳音声を映像信号と共に投射装置１３ａに送信することによって実現することもできる。 Alternatively, the projection device 13 can be realized by having the translated audio reproduction unit 239 of the third embodiment and transmitting the translated audio together with the video signal to the projection device 13a.

このように、２台の投射装置１３，１３ａを用いて。話者説明と翻訳音声の再生をほぼ同時進行させるものであっても、翻訳音声の再生中は、少なくとも翻訳音声を聞いている聴衆向けに、該翻訳音声に該当する映像表示を継続することによって、翻訳音声と映像の同期がとれ、聴衆が理解しやすいプレゼンテーションを実現することができる。 In this way, using the two projection devices 13, 13a. Even if the speaker explanation and the playback of the translated audio proceed almost simultaneously, by continuing to display the video corresponding to the translated audio, at least for the audience listening to the translated audio, during the playback of the translated audio. , Translated audio and video can be synchronized to realize a presentation that is easy for the audience to understand.

以上、実施の形態１～７は、静止画プレゼンを例にとって説明してきたが、アニメーション付や動画であっても同様な効果を有することができる。話者説明と翻訳音声の交互切り換えの場合は、映像切り換えの保留に代えて、翻訳音声の再生開始時に該スライド映像の最初に戻って映像再生開始を指示してもよい。 Although the embodiments 1 to 7 have been described above by taking a still image presentation as an example, the same effect can be obtained even with an animation or a moving image. In the case of alternating switching between the speaker explanation and the translated audio, instead of holding the video switching, the slide video may be returned to the beginning at the start of playback of the translated audio to instruct the start of video reproduction.

本実施の形態７では、翻訳遅延時間分だけ、映像を送らせて表示させて、映像と翻訳音声の同期を実現してもよい。 In the seventh embodiment, the video may be sent and displayed for the translation delay time, and the video and the translated audio may be synchronized.

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。 Although the invention made by the present inventor has been specifically described above based on the embodiment, the present invention is not limited to the above embodiment and can be variously modified without departing from the gist thereof. Needless to say.

前記実施の形態１～７では、スクリーン１５に映像を投射する投影型映像表示装置である投射装置を例にとって説明したが、映像を表示する機器は、投射装置に限らず、液晶やＯＬＥＤ（Organic Light Emitting Diode）などの直視型ディスプレイなどを含め、一般的な表示装置であってもよい。 In the first to seventh embodiments, a projection device which is a projection type image display device for projecting an image on the screen 15 has been described as an example. However, the device for displaying the image is not limited to the projection device, and a liquid crystal display or an OLED (Organic) is used. It may be a general display device including a direct-view type display such as Light Emitting Diode).

なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。 The present invention is not limited to the above-described embodiment, and includes various modifications. For example, the above-described embodiments have been described in detail in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the described configurations.

また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加、削除、置換をすることが可能である。 Further, it is possible to replace a part of the configuration of one embodiment with the configuration of another embodiment, and it is also possible to add the configuration of another embodiment to the configuration of one embodiment. .. Further, it is possible to add, delete, or replace a part of the configuration of each embodiment with another configuration.

１２ 映像源
１３ 投射装置
１３ａ 投射装置
１５ スクリーン
１５ａ スクリーン
１６ 操作器
１７ マイク
１８ スピーカ
１８ａ スピーカ
１９ ネットワーク
２０ 翻訳サーバ
２１ 翻訳音声再生装置
２２ 音声配信装置
３０ ヘッドホン
５６ 携帯機器
５８ 音声入力部
５８ 制御部
５９ 映像信号出力部
２０１ 通信部
２０２ 音声文字化部
２０３ 翻訳音声部
２３１ 通信部
２３２ 映像入力部
２３３ 文字重畳部
２４１ 表示部
２３５ 音認期間指示部
２３６ 音声入力部
２３７ 音声要素抽出部
２３８ 通信部
２３９ 翻訳音声再生部
２４０ 音声切り換え部
４０１ 文字翻訳部
４０２ 議事録作成部
４３１ 翻訳文字上書き部
４３２ ポインタ同期合成部
４３４ 文字抽出部
４３５ 故障診断部
４３６ マイクアレイ
４３７ 話者解析部
４３８ 話者音声抽出部
４３９ ポインタ位置判別部
４４０ カメラ 12 Video source 13 Projection device 13a Projection device 15 Screen 15a Screen 16 Operator 17 Microphone 18 Speaker 18a Speaker 19 Network 20 Translation server 21 Translation audio playback device 22 Audio distribution device 30 Headphones 56 Portable device 58 Audio input unit 58 Control unit 59 Video Signal output unit 201 Communication unit 202 Voice character conversion unit 203 Translation voice unit 231 Communication unit 232 Video input unit 233 Character superimposition unit 241 Display unit 235 Sound recognition period indicator unit 236 Voice input unit 237 Voice element extraction unit 238 Communication unit 239 Translation voice Playback unit 240 Voice switching unit 401 Character translation unit 402 Minutes creation unit 431 Translated character overwrite unit 432 Pointer synchronization synthesis unit 434 Character extraction unit 435 Failure diagnosis unit 436 Mike array 437 Speaker analysis unit 438 Speaker voice extraction unit 439 Pointer position Discriminator 440 camera

Claims (8)

映像を表示する表示装置、音声を翻訳した音声信号である翻訳音声信号に変換する翻訳装置、及び音声を出力する音声出力部に接続される出力装置であって、
前記出力装置は、
前記表示装置に映像信号を出力する映像信号出力部と、
前記音声信号が入力される音声信号入力部と、
前記音声信号入力部に入力された前記音声信号から翻訳対象の音声信号を抽出して前記翻訳装置に出力する音声信号抽出出力部と、
前記翻訳装置が翻訳した前記翻訳音声信号を受け取り、受け取った前記翻訳音声信号と前記音声信号入力部に入力された前記音声信号とを切換えて前記音声出力部に出力する翻訳音声変換部と、
を有し、
前記映像信号出力部は、前記翻訳音声信号の前記音声出力部への出力終了後に、次に表示する映像信号を前記表示装置に出力する、出力装置。 A display device that displays video, a translation device that converts audio into a translated audio signal, and an output device that is connected to an audio output unit that outputs audio.
The output device is
A video signal output unit that outputs a video signal to the display device,
An audio signal input unit into which the audio signal is input, and
An audio signal extraction output unit that extracts an audio signal to be translated from the audio signal input to the audio signal input unit and outputs the output to the translation device.
A translated voice conversion unit that receives the translated voice signal translated by the translation device, switches between the received translated voice signal and the voice signal input to the voice signal input unit, and outputs the translated voice signal to the voice output unit.
Have,
The video signal output unit is an output device that outputs a video signal to be displayed next to the display device after the output of the translated audio signal to the audio output unit is completed. 請求項１記載の出力装置において、
前記映像信号にポインタを合成するポインタ合成部を備え、
前記ポインタ合成部は、翻訳前音声に合わせたポインタ位置を、翻訳音声の語順に合わせたポインタ位置に調整する、出力装置。 In the output device according to claim 1,
A pointer synthesizer that synthesizes a pointer with the video signal is provided.
The pointer synthesizing unit is an output device that adjusts the pointer position according to the pre-translation voice to the pointer position according to the word order of the translated voice. 請求項１記載の出力装置において、
前記音声出力部は、スピーカ又はヘッドホンである、出力装置。 In the output device according to claim 1,
The audio output unit is an output device that is a speaker or headphones. 請求項１記載の出力装置において、
前記翻訳音声信号は、無線で前記音声出力部に供給される、出力装置。 In the output device according to claim 1,
The translated audio signal is an output device that is wirelessly supplied to the audio output unit. 映像を表示する表示装置、音声を翻訳した音声信号である翻訳音声信号に変換する翻訳装置、前記翻訳音声信号を再生する音声出力部、および前記表示装置と前記音声出力部に映像信号と音声信号とを出力する出力装置による情報表示方法であって、
前記表示装置が、映像を表示するステップと、
前記出力装置が、前記表示装置に表示された前記映像を説明する音声信号を抽出するステップと、
前記翻訳装置が、抽出された前記音声信号を翻訳音声信号に翻訳するステップと、
前記出力装置が、翻訳された前記翻訳音声信号を、前記音声出力部に出力するステップと、
前記音声出力部が、前記出力装置から受け取った前記翻訳音声信号を音声に再生するステップと、
を有し、
前記翻訳音声信号を再生するステップは、前記翻訳音声信号が再生されている期間、前記出力装置が映像の切り換えを保留する、情報表示方法。 A display device for displaying video, a translation device for converting audio into a translated audio signal, an audio output unit for reproducing the translated audio signal, and a video signal and an audio signal for the display device and the audio output unit. It is an information display method by an output device that outputs and
When the display device displays an image,
A step in which the output device extracts an audio signal explaining the video displayed on the display device, and
A step in which the translation device translates the extracted audio signal into a translated audio signal .
A step in which the output device outputs the translated translated audio signal to the audio output unit.
A step in which the voice output unit reproduces the translated voice signal received from the output device into voice.
Have,
The step of reproducing the translated audio signal is an information display method in which the output device suspends video switching while the translated audio signal is being reproduced. 請求項５記載の情報表示方法において、
翻訳前の音声に合わせたポインタ位置を検出するステップと、
翻訳音声信号を再生した音声の語順に合わせてポインタを前記映像信号に合成するステップと、
を備えた、情報表示方法。 In the information display method according to claim 5,
Steps to detect the pointer position according to the voice before translation,
A step of synthesizing a pointer with the video signal according to the word order of the reproduced audio signal, and
Information display method with. 請求項５記載の情報表示方法において、
前記音声出力部は、スピーカ又はヘッドホンである、情報表示方法。 In the information display method according to claim 5,
The information display method, wherein the audio output unit is a speaker or headphones. 請求項５記載の情報表示方法において、
前記翻訳音声信号は、無線で前記出力装置から前記音声出力部に出力される、情報表示方法。 In the information display method according to claim 5,
An information display method in which the translated audio signal is wirelessly output from the output device to the audio output unit.
JP2020195601A 2020-11-26 2020-11-26 Output device and information display method Active JP7051987B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020195601A JP7051987B2 (en) 2020-11-26 2020-11-26 Output device and information display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020195601A JP7051987B2 (en) 2020-11-26 2020-11-26 Output device and information display method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018512699A Division JP6802264B2 (en) 2016-04-20 2016-04-20 Display device, output device, and information display method

Publications (2)

Publication Number Publication Date
JP2021048609A JP2021048609A (en) 2021-03-25
JP7051987B2 true JP7051987B2 (en) 2022-04-11

Family

ID=74876725

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020195601A Active JP7051987B2 (en) 2020-11-26 2020-11-26 Output device and information display method

Country Status (1)

Country Link
JP (1) JP7051987B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001224002A (en) 2000-02-08 2001-08-17 Atr Interpreting Telecommunications Res Lab Sound.video synchronization method and computer readable recoding medium for recording sound.video processing program
JP2008083855A (en) 2006-09-26 2008-04-10 Toshiba Corp Device, system, method and program for performing machine translation
JP2009080614A (en) 2007-09-26 2009-04-16 Yamaha Corp Display controller, program, and display system
US20100283829A1 (en) 2009-05-11 2010-11-11 Cisco Technology, Inc. System and method for translating communications between participants in a conferencing environment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001224002A (en) 2000-02-08 2001-08-17 Atr Interpreting Telecommunications Res Lab Sound.video synchronization method and computer readable recoding medium for recording sound.video processing program
JP2008083855A (en) 2006-09-26 2008-04-10 Toshiba Corp Device, system, method and program for performing machine translation
JP2009080614A (en) 2007-09-26 2009-04-16 Yamaha Corp Display controller, program, and display system
US20100283829A1 (en) 2009-05-11 2010-11-11 Cisco Technology, Inc. System and method for translating communications between participants in a conferencing environment

Also Published As

Publication number Publication date
JP2021048609A (en) 2021-03-25

Similar Documents

Publication Publication Date Title
US9298704B2 (en) Language translation of visual and audio input
US20210243528A1 (en) Spatial Audio Signal Filtering
CN109324811B (en) Device for updating teaching recorded broadcast data
KR20040058969A (en) Method and apparatus for synchoronizing caption text with image screen
JP2013521523A (en) A system for translating spoken language into sign language for the hearing impaired
AU2018233050B2 (en) Accessible Audio Switching for Client Devices in an Online Conference
JP2012109901A (en) Data presentation device
JP5727777B2 (en) Conference support apparatus and conference support method
KR100395883B1 (en) Realtime lecture recording system and method for recording a files thereof
JP6852478B2 (en) Communication terminal, communication program and communication method
JP6802264B2 (en) Display device, output device, and information display method
JP7051987B2 (en) Output device and information display method
JPWO2018020828A1 (en) Translation apparatus and translation system
JP6443205B2 (en) CONTENT REPRODUCTION SYSTEM, CONTENT REPRODUCTION DEVICE, CONTENT RELATED INFORMATION DISTRIBUTION DEVICE, CONTENT REPRODUCTION METHOD, AND CONTENT REPRODUCTION PROGRAM
JP2010061343A (en) Voice recording method, voice reproduction method, voice recording program and voice reproduction program
WO2014148190A1 (en) Note-taking assistance system, information delivery device, terminal, note-taking assistance method, and computer-readable recording medium
JP2008134686A (en) Drawing program, programmable display, and display system
JP2006229592A (en) Content creating device, image/sound output device, and control program
JP2008032788A (en) Program for creating data for language teaching material
JP2006163269A (en) Language learning apparatus
JP5777233B1 (en) Movie generation apparatus and movie generation method
CN109862311B (en) Real-time production method of video content
JP2017021266A (en) Data processing device and program
JP2007322743A (en) Teaching material creating device
JP2009105560A (en) Video data output device and broadcasting system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210921

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20211022

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220330

R150 Certificate of patent or registration of utility model

Ref document number: 7051987

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150