JP7176257B2 - Information processing device and program - Google Patents

Information processing device and program Download PDF

Info

Publication number
JP7176257B2
JP7176257B2 JP2018128256A JP2018128256A JP7176257B2 JP 7176257 B2 JP7176257 B2 JP 7176257B2 JP 2018128256 A JP2018128256 A JP 2018128256A JP 2018128256 A JP2018128256 A JP 2018128256A JP 7176257 B2 JP7176257 B2 JP 7176257B2
Authority
JP
Japan
Prior art keywords
reproduction
image
display
time
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018128256A
Other languages
Japanese (ja)
Other versions
JP2020010136A (en
Inventor
正和 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2018128256A priority Critical patent/JP7176257B2/en
Publication of JP2020010136A publication Critical patent/JP2020010136A/en
Application granted granted Critical
Publication of JP7176257B2 publication Critical patent/JP7176257B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、情報処理装置およびプログラムに関する。 The present invention relates to an information processing device and program.

特許文献1には、前回の再生中断位置から再生を開始する場合に、再生中断位置よりも戻った位置から再生開始するようにし、さらに戻り量を中断した時間長に応じて可変するようにしたディスクドライブ装置が開示されている。 In Patent Document 1, when playback is started from the previous playback interruption position, playback is started from a position returned from the playback interruption position, and the return amount is varied according to the length of the interruption time. A disk drive device is disclosed.

特許文献2には、コンテンツの任意の位置にしおりを追加できるようにして、所定の再生位置からコンテンツを再生することができるようにした画像記録再生装置が開示されている。 Japanese Patent Application Laid-Open No. 2002-200000 discloses an image recording/reproducing apparatus that enables a bookmark to be added to an arbitrary position of content, thereby enabling the content to be reproduced from a predetermined reproduction position.

特許文献3には、コンテンツのフレーム情報量を自動的に抽出して、抽出したフレーム情報量に応じてコンテンツの再生速度を調整することで、コンテンツを視聴者にとって最適な再生速度に自動変換して出力することが可能な情報再生装置が開示されている。 Japanese Patent Laid-Open No. 2002-200000 discloses that the amount of frame information of content is automatically extracted and the reproduction speed of the content is adjusted according to the extracted frame information amount, thereby automatically converting the content to the optimal reproduction speed for the viewer. An information reproducing apparatus capable of outputting by

特開2001-229657号公報Japanese Patent Application Laid-Open No. 2001-229657 特開2002-044586号公報JP 2002-044586 A 特開2009-182803号公報JP 2009-182803 A

本発明の目的は、動画像と同期させて静止画像の表示内容を変更して表示する場合、静止画像の表示内容を変更する時刻を設定した際に、設定した時刻の微調整を行うことが可能な情報処理装置およびプログラムを提供することである。 An object of the present invention is to enable fine adjustment of the set time when the display content of a still image is changed and displayed in synchronization with a moving image and when the time for changing the display content of the still image is set. It is to provide a possible information processing device and program.

[情報処理装置]
請求項1に係る本発明は、動画像の再生に同期して静止画像の表示内容を変更する時刻の設定指示を受け付ける受付手段と、
前記受付手段により静止画像の表示内容を変更する時刻の設定指示を受け付けた際に、動作状態を、静止画像の表示内容を変更する時刻の設定を行う設定状態から、静止画像の表示内容を変更する時刻を調整する調整状態に切り替える切替手段とを備えた情報処理装置である。
[Information processing device]
In the first aspect of the present invention, a reception unit receives an instruction to set a time for changing display contents of a still image in synchronization with reproduction of a moving image;
When an instruction to set the time for changing the display content of the still image is received by the receiving means, the display content of the still image is changed from the setting state for setting the time for changing the display content of the still image. and switching means for switching to an adjustment state for adjusting the time to be set.

請求項2に係る本発明は、静止画像の表示内容を変更する時刻の設定指示が、静止画像を次の頁に切り替える切替タイミングの設定指示または静止画像内に表示要素を付加する付加タイミングの設定指示である請求項1記載の情報処理装置である。 According to the second aspect of the present invention, the instruction to set the time for changing the display content of the still image is the instruction to set the switching timing for switching the still image to the next page or the setting of the addition timing to add the display element to the still image. 2. The information processing apparatus according to claim 1, wherein the information is an instruction.

請求項3に係る本発明は、前記切替手段により動作状態が調整状態に切り替えられる前に、調整状態に移行するか否かを使用者に確認する確認手段をさらに備え、
前記切替手段は、前記確認手段により調整状態に移行することが使用者により許可された場合に、動作状態を調整状態に切り替える請求項1又は2記載の情報処理装置である。
The present invention according to claim 3 further comprises confirmation means for confirming with a user whether or not to shift to the adjustment state before the operation state is switched to the adjustment state by the switching means,
3. The information processing apparatus according to claim 1, wherein the switching means switches the operation state to the adjustment state when the confirmation means permits the shift to the adjustment state by the user.

請求項4に係る本発明は、前記調整状態において、静止画像の表示内容を変更するよう設定指示が行われた時刻を含む予め設定された再生区間の動画像を抽出して再生する動画像再生手段をさらに備えた請求項1から3のいずれか記載の情報処理装置である。 According to a fourth aspect of the present invention, in the adjustment state, a moving image is reproduced by extracting and reproducing a moving image in a preset reproduction interval including a time when a setting instruction is given to change display contents of a still image. 4. The information processing apparatus according to claim 1, further comprising means.

請求項5に係る本発明は、前記動画像再生手段が、抽出された再生区間の動画像を、静止画像の表示内容を変更する時刻の調整が完了するまで繰り返し再生する請求項4記載の情報処理装置である。 According to a fifth aspect of the present invention, the moving image reproducing means repeatedly reproduces the moving image of the extracted reproduction section until adjustment of the time for changing the display content of the still image is completed. processing equipment.

請求項6に係る本発明は、前記動画像再生手段が、抽出された再生区間の動画像を、静止画像の表示内容を変更する時刻の設定を行う設定状態における動画像の再生速度よりも遅い再生速度で再生する請求項4記載の情報処理装置である。 In the present invention according to claim 6, the moving image reproduction means reproduces the moving image in the extracted reproduction interval at a speed slower than the moving image reproduction speed in a setting state in which the time for changing the display content of the still image is set. 5. The information processing apparatus according to claim 4, which reproduces at a reproduction speed.

請求項7に係る本発明は、前記動画像再生手段が、抽出された再生区間の動画像を、複数の異なる再生速度で再生する請求項4記載の情報処理装置である The present invention according to claim 7 is the information processing apparatus according to claim 4, wherein the moving image reproduction means reproduces the moving images of the extracted reproduction section at a plurality of different reproduction speeds.

請求項8に係る本発明は、前記動画像再生手段が、抽出された再生区間の動画像を、静止画像の表示内容を変更するよう設定指示が行われた時刻に近い再生区間ほど遅い再生速度で再生する請求項7記載の情報処理装置である。 According to the eighth aspect of the present invention, the moving image reproduction means reproduces the moving image of the extracted reproduction interval at a slower reproduction speed as the reproduction interval is closer to the time when the setting instruction was given to change the display contents of the still image. 8. The information processing apparatus according to claim 7, wherein the reproduction is performed by

請求項9に係る本発明は、前記調整状態では、静止画像の表示内容を変更するよう設定指示が行われた時刻を含む予め設定された再生区間における再生位置を示す再生位置表示画像が表示されるように制御する表示制御手段をさらに備えた請求項1記載の情報処理装置である。 According to the ninth aspect of the present invention, in the adjustment state, a reproduction position display image indicating a reproduction position in a preset reproduction section including a time at which a setting instruction is given to change display contents of a still image is displayed. 2. The information processing apparatus according to claim 1, further comprising display control means for controlling such that

請求項10に係る本発明は、前記表示制御手段が、前記再生位置表示画像における時間間隔が、静止画像の表示内容を変更するよう設定指示が行われた時刻を中心として異なった時間間隔となるように前記再生位置表示画像を表示する請求項9記載の情報処理装置である。 According to the tenth aspect of the present invention, the display control means makes the time intervals in the reproduction position display image different from the time at which the setting instruction is given to change the display contents of the still image. 10. The information processing apparatus according to claim 9, wherein the reproduction position display image is displayed as follows.

請求項11に係る本発明は、前記表示制御手段が、前記再生位置表示画像における時間間隔が、静止画像の表示内容を変更するよう設定指示が行われた時刻に近いほど長くなるように前記再生位置表示画像を表示する請求項10記載の情報処理装置である。 According to the eleventh aspect of the present invention, the display control means controls the reproduction so that the time interval in the reproduction position display image becomes longer as the time closer to the time at which the setting instruction to change the display content of the still image is issued. 11. The information processing apparatus according to claim 10, which displays a position display image.

請求項12に係る本発明は、前記調整状態では、静止画像の表示内容を変更するよう設定指示が行われた時刻を含む予め設定された再生区間における音声の文字画像が表示されるように制御する表示制御手段をさらに備えた請求項1記載の情報処理装置である。 In the present invention according to claim 12, in the adjustment state, control is performed so that the character image of the voice is displayed in a preset reproduction interval including the time when the setting instruction is given to change the display content of the still image. 2. The information processing apparatus according to claim 1, further comprising display control means for controlling.

請求項13に係る本発明は、前記調整状態において、静止画像の表示内容を変更するよう設定指示が行われた時刻を含む予め設定された再生区間の動画像を抽出して再生する動画像再生手段をさらに備え、
前記動画像再生手段が、音声の文字画像が表示されるよう前記表示制御手段により制御されるか否かに応じて、異なる再生形態により動画像を再生する請求項12記載の情報処理装置である。
In the thirteenth aspect of the present invention, in the adjustment state, a moving image is extracted and reproduced in a preset reproduction interval including a time at which a setting instruction is given to change display contents of a still image. further equipped with means,
13. The information processing apparatus according to claim 12, wherein the moving image reproduction means reproduces the moving image in different reproduction modes depending on whether or not the display control means controls to display the character image of the voice. .

請求項14に係る本発明は、前記動画像再生手段が、音声の文字画像が表示されるよう前記表示制御手段により制御される場合には、動画像を一時停止状態で再生する請求項13記載の情報処理装置である。 According to a fourteenth aspect of the present invention, when the moving image reproduction means is controlled by the display control means to display the character image of the voice, the moving image is reproduced in a pause state. is an information processing device.

請求項15に係る本発明は、前記動画像再生手段が、音声の文字画像が表示されるよう前記表示制御手段により制御されない場合には、抽出された再生区間の動画像を繰り返し再生する請求項13記載の情報処理装置である。 According to a fifteenth aspect of the present invention, when the moving image reproduction means is not controlled by the display control means to display the character image of the voice, the moving image of the extracted reproduction section is repeatedly reproduced. 14. The information processing apparatus according to 13.

請求項16に係る本発明は、前記調整状態では、静止画像の表示内容を変更するよう設定指示が行われた時刻を含む予め設定された再生区間における音声レベルを示す画像が表示されるように制御する表示制御手段をさらに備えた請求項1記載の情報処理装置である。 According to the sixteenth aspect of the present invention, in the adjustment state, an image indicating the audio level in a preset reproduction section including the time when a setting instruction is given to change the display content of the still image is displayed. 2. The information processing apparatus according to claim 1, further comprising display control means for controlling.

請求項17に係る本発明は、現在の動作状態が、動画像の再生に同期して静止画像の表示内容を変更する時刻の設定を行う設定状態であるのか前記調整状態であるのかが分かるよう表示するよう制御する表示制御手段をさらに備えた請求項1記載の情報処理装置である。 According to the seventeenth aspect of the present invention, it is possible to recognize whether the current operation state is a setting state for setting a time for changing the display contents of a still image in synchronization with reproduction of a moving image or the adjustment state. 2. The information processing apparatus according to claim 1, further comprising display control means for controlling display.

請求項18に係る本発明は、前記切替手段が、使用者の操作により静止画像の表示内容を変更する時刻の調整が完了した旨が入力された場合に、動作状態を調整状態から設定状態に切り替える請求項1記載の情報処理装置である。 In the eighteenth aspect of the present invention, the switching means switches the operation state from the adjustment state to the setting state when the user inputs that the adjustment of the time for changing the display content of the still image is completed. 2. The information processing apparatus according to claim 1, wherein switching is performed.

請求項19に係る本発明は、前記切替手段が、使用者の指示がなく抽出された再生区間の再生が完了した場合に、動作状態を調整状態から設定状態に切り替える請求項4記載の情報処理装置である。 The present invention according to claim 19 is the information processing according to claim 4, wherein the switching means switches the operation state from the adjustment state to the setting state when reproduction of the extracted reproduction section is completed without a user's instruction. It is a device.

[プログラム]
請求項20に係る本発明は、動画像の再生に同期して静止画像の表示内容を変更する時刻の設定指示を受け付ける受付ステップと、
前記受付ステップにおいて静止画像の表示内容を変更する時刻の設定指示を受け付けた際に、動作状態を、静止画像の表示内容を変更する時刻の設定を行う設定状態から、静止画像の表示内容を変更する時刻を調整する調整状態に切り替える切替ステップと、
をコンピュータに実行させるためのプログラムである。
[program]
In the present invention according to claim 20, there is provided a receiving step of receiving an instruction to set a time for changing display contents of a still image in synchronization with reproduction of a moving image;
When an instruction to set the time to change the display content of the still image is received in the receiving step, the display content of the still image is changed from the setting state of setting the time to change the display content of the still image. a switching step for switching to an adjustment state for adjusting the time to be set;
It is a program that causes a computer to execute

請求項1に係る本発明によれば、動画像と同期させて静止画像の表示内容を変更して表示する場合、静止画像の表示内容を変更する時刻を設定した際に、設定した時刻の微調整を行うことが可能な情報処理装置を提供することができる。 According to the first aspect of the present invention, when the display content of a still image is changed and displayed in synchronism with a moving image, when the time for changing the display content of the still image is set, the set time is minutely changed. It is possible to provide an information processing device capable of making adjustments.

請求項2に係る本発明によれば、動画像と同期させて静止画像を次の頁に切り替えたり静止画像内に表示要素を付加して表示する場合、切替タイミングや付加タイミングを設定した際に、設定した切替タイミングや付加タイミングの微調整を行うことが可能な情報処理装置を提供することができる。 According to the second aspect of the present invention, when switching a still image to the next page in synchronism with a moving image or adding a display element to the still image for display, when switching timing and addition timing are set, Also, it is possible to provide an information processing apparatus capable of finely adjusting the set switching timing and addition timing.

請求項3に係る本発明によれば、静止画像の表示内容を変更する時刻が設定された際に、使用者の意志に関わらず、動作状態が調整状態に常に切り替えってしまうことを防ぐことが可能な情報処理装置を提供することができる。 According to the third aspect of the present invention, it is possible to prevent the operation state from always switching to the adjustment state regardless of the user's will when the time for changing the display content of the still image is set. can provide an information processing apparatus capable of

請求項4に係る本発明によれば、使用者は、再生される動画像を視聴しながら、設定した時刻の微調整を行うことが可能な情報処理装置を提供することができる。 According to the fourth aspect of the present invention, it is possible to provide an information processing apparatus that allows a user to finely adjust the set time while viewing a reproduced moving image.

請求項5に係る本発明によれば、使用者が再生区間を1回視聴しただけでは設定した時刻の微調整を行うことができなかった場合でも、再生される動画像を視聴しながら、設定した時刻の微調整を繰り返し行うことが可能な情報処理装置を提供することができる。 According to the fifth aspect of the present invention, even if the user cannot finely adjust the set time by watching the playback section only once, the user can set the time while watching the moving image being played back. It is possible to provide an information processing apparatus capable of repeatedly finely adjusting the time.

請求項6に係る本発明によれば、設定状態における動画像の再生速度と同じ再生速度で抽出された再生区間の動画像を再生する場合と比較して、設定した時刻の微調整をより高い精度で行うことが可能な情報処理装置を提供することができる。 According to the sixth aspect of the present invention, fine adjustment of the set time can be performed at a higher speed than in the case of playing back the moving image in the extracted playback section at the same playback speed as the moving image in the set state. It is possible to provide an information processing apparatus capable of performing with accuracy.

請求項7に係る本発明によれば、抽出された再生区間の動画像を一定の再生速度で再生する場合と比較して、設定した時刻の微調整をより高い精度で行うことが可能な情報処理装置を提供することができる。 According to the present invention of claim 7, compared to the case where the moving image of the extracted playback section is played back at a constant playback speed, the set time can be finely adjusted with higher precision. A processing device can be provided.

請求項8に係る本発明によれば、抽出された再生区間の動画像を一定の再生速度で再生する場合と比較して、設定した時刻の微調整をより高い精度で行うことが可能な情報処理装置を提供することができる。 According to the eighth aspect of the present invention, compared to the case where the moving image of the extracted playback section is played back at a constant playback speed, the information enables fine adjustment of the set time with higher accuracy. A processing device can be provided.

請求項9に係る本発明によれば、再生位置表示画像を表示しないよう制御する場合と比較して、設定した時刻の微調整をより行い易くすることができる情報処理装置を提供することができる。 According to the ninth aspect of the present invention, it is possible to provide an information processing apparatus that makes it easier to finely adjust the set time compared to the case where the playback position display image is controlled not to be displayed. .

請求項10に係る本発明によれば、再生位置表示画像における時間間隔を等間隔とする場合と比較して、設定した時刻の微調整をより高い精度で行うことが可能な情報処理装置を提供することができる。 According to the tenth aspect of the present invention, there is provided an information processing apparatus capable of finely adjusting the set time with higher precision than when the time intervals in the reproduction position display image are equal. can do.

請求項11に係る本発明によれば、再生位置表示画像における時間間隔を等間隔とする場合と比較して、設定した時刻の微調整をより高い精度で行うことが可能な情報処理装置を提供することができる。 According to the eleventh aspect of the present invention, there is provided an information processing apparatus capable of finely adjusting the set time with higher precision than when the time intervals in the playback position display image are set at regular intervals. can do.

請求項12に係る本発明によれば、音声の文字画像を表示しないよう制御する場合と比較して、設定した時刻の微調整をより行い易くすることができる情報処理装置を提供することができる。 According to the twelfth aspect of the present invention, it is possible to provide an information processing apparatus capable of facilitating fine adjustment of the set time as compared with the case of controlling not to display the character image of the voice. .

請求項13に係る本発明によれば、音声の文字画像を表示するよう制御する場合に、設定した時刻の微調整を、表示した音声の文字画像を利用して行うようにすることが可能な情報処理装置を提供することができる。 According to the thirteenth aspect of the present invention, it is possible to finely adjust the set time using the displayed voice character image when controlling to display the voice character image. An information processing device can be provided.

請求項14に係る本発明によれば、音声の文字画像を表示するよう制御する場合に、表示された音声の文字画像を用いて、設定した時刻の微調整を行うようにすることが可能な情報処理装置を提供することができる。 According to the fourteenth aspect of the present invention, when controlling to display the character image of the voice, it is possible to finely adjust the set time using the character image of the displayed voice. An information processing device can be provided.

請求項15に係る本発明によれば、音声の文字画像を表示するよう制御されない場合には、抽出された再生区間の動画像を視聴して、設定した時刻の微調整を行うようにすることが可能な情報処理装置を提供することができる。 According to the fifteenth aspect of the present invention, when the control is not performed to display the character image of the voice, the moving image of the extracted reproduction section is viewed and the set time is finely adjusted. can provide an information processing apparatus capable of

請求項16に係る本発明によれば、表示された音声レベルの画像を参照して、設定した時刻の微調整を行うようにすることが可能な情報処理装置を提供することができる。 According to the sixteenth aspect of the present invention, it is possible to provide an information processing apparatus capable of finely adjusting the set time by referring to the displayed sound level image.

請求項17に係る本発明によれば、現在の動作状態が、設定状態であるのか調整状態であるのかを把握することが可能な情報処理装置を提供することができる。 According to the seventeenth aspect of the present invention, it is possible to provide an information processing apparatus capable of grasping whether the current operating state is the setting state or the adjustment state.

請求項18に係る本発明によれば、使用者の意志に関わらず動作状態が調整状態から設定状態に切り替わってしまうのを防ぐことが可能な情報処理装置を提供することができる。 According to the eighteenth aspect of the present invention, it is possible to provide an information processing apparatus capable of preventing the operation state from being switched from the adjustment state to the setting state regardless of the intention of the user.

請求項19に係る本発明によれば、使用者の操作を必要とすることなく、動作状態を自動的に調整状態から設定状態に切り替えることが可能な情報処理装置を提供することができる。 According to the nineteenth aspect of the present invention, it is possible to provide an information processing apparatus capable of automatically switching the operation state from the adjustment state to the setting state without requiring user's operation.

請求項20に係る本発明によれば、動画像と同期させて静止画像の表示内容を変更して表示する場合、静止画像の表示内容を変更する時刻を設定した際に、設定した時刻の微調整を行うことが可能なプログラムを提供することができる。 According to the twentieth aspect of the present invention, when the display content of a still image is changed and displayed in synchronism with a moving image, when the time for changing the display content of the still image is set, the set time is minutely changed. Programs can be provided that allow adjustments to be made.

本発明の一実施形態のマルチメディアコンテンツ生成システムの構成を示すシステム図である。1 is a system diagram showing the configuration of a multimedia content generation system according to one embodiment of the present invention; FIG. 本発明の一実施形態における編集処理サーバ10のハードウェア構成を示すブロック図である。2 is a block diagram showing the hardware configuration of an edit processing server 10 according to one embodiment of the present invention; FIG. 本発明の一実施形態における編集処理サーバ10の機能構成を示すブロック図である。2 is a block diagram showing the functional configuration of an editing processing server 10 according to one embodiment of the present invention; FIG. 本発明の一実施形態の編集処理サーバ10における動画の概略を示すフローチャートである。4 is a flowchart showing an overview of moving images in the editing processing server 10 according to one embodiment of the present invention; プレビュー画面の一例を示す図である。FIG. 10 is a diagram showing an example of a preview screen; 図5に示したプレビュー画面において、コマンド追加指示があった場合の一例を示す図である。6 is a diagram showing an example when a command addition instruction is given on the preview screen shown in FIG. 5; FIG. コマンド位置調整画面の一例を示す図である。It is a figure which shows an example of a command position adjustment screen. 図7に示したコマンド位置調整画面におけるシークバー53の再生速度の設定例を説明するための図である。FIG. 8 is a diagram for explaining a setting example of a reproduction speed of a seek bar 53 on the command position adjustment screen shown in FIG. 7; コマンド位置調整画面において、ページ切替コマンドの追加を行った場合の様子を説明するための図である。FIG. 11 is a diagram for explaining a state when a page switching command is added on the command position adjustment screen; 「再生時刻0:00:28.4」がページ切替のコマンド位置として追加された場合を説明するための図である。FIG. 10 is a diagram for explaining a case where "playback time 0:00:28.4" is added as a page switching command position; コマンドの追加後に、表示される画面がコマンド位置調整画面からプレビュー画面に切り替わる様子を説明するための図である。FIG. 10 is a diagram for explaining how the displayed screen is switched from the command position adjustment screen to the preview screen after the command is added; ユーザにコマンド位置調整画面へ遷移しても良いか否かを確認する場合の表示画面例を示す図である。FIG. 10 is a diagram showing an example of a display screen for confirming whether or not the user can transition to the command position adjustment screen; 矢印の形状の表示オブジェクト61をプレゼンテーション資料上において順次位置を移動して表示する場合を説明するための図である。FIG. 10 is a diagram for explaining a case where the arrow-shaped display object 61 is sequentially moved and displayed on the presentation material.

次に、本発明の実施の形態について図面を参照して詳細に説明する。 Next, embodiments of the present invention will be described in detail with reference to the drawings.

図1は本発明の一実施形態のマルチメディアコンテンツ生成システムの構成を示すシステム図である。 FIG. 1 is a system diagram showing the configuration of a multimedia content generation system according to one embodiment of the present invention.

本発明の一実施形態のマルチメディアコンテンツ生成システムは、図1に示されるように、ネットワーク30により相互に接続された編集処理サーバ10およびパーソナルコンピュータ(以下、パソコンと略す。)等の端末装置20と、ビデオカメラ40により構成される。 As shown in FIG. 1, a multimedia content generation system according to an embodiment of the present invention includes an edit processing server 10 and a terminal device 20 such as a personal computer (hereinafter abbreviated as personal computer) interconnected by a network 30. , and a video camera 40 .

本実施形態のマルチメディアコンテンツ生成システムは、動画像、静止画像、音声、文字等の様々なコンテンツを組み合わせたマルチメディアコンテンツを生成するものである。本実施形態のマルチメディアコンテンツ生成システムによれば、例えば、プレゼンテーション資料を用いた講義や説明の動画像を撮影しておき、どの動画像に同期してプレゼンテーション資料が切替わるようなマルチメディアコンテンツを生成することができる。また、機器のメンテナンスや組み立て手順等を説明する動画像とともに、静止画像や矢印、文字による説明画像、音声等を同期して再生するようなマルチメディアコンテンツを生成することができる。 The multimedia content generation system of this embodiment generates multimedia content by combining various contents such as moving images, still images, voices, and characters. According to the multimedia content generation system of the present embodiment, for example, moving images of lectures and explanations using presentation materials are captured in advance, and multimedia content is generated in which presentation materials are switched in synchronization with which moving images. can be generated. In addition, it is possible to generate multimedia content in which static images, arrows, descriptive images using characters, voices, etc. are played back in synchronism with moving images for explaining equipment maintenance, assembly procedures, and the like.

編集処理サーバ10は、このような様々なコンテンツを編集してマルチメディアコンテンツを生成するための編集ソフトウェアがインストールされている情報処理装置である。そして、端末装置20は、ビデオカメラ40により撮影された動画像データを取り込み、編集処理サーバ10上で動作する編集ソフトウェアを用いて、マルチメディアコンテンツを生成する。 The editing processing server 10 is an information processing device in which editing software for editing such various contents and generating multimedia contents is installed. Then, the terminal device 20 captures moving image data captured by the video camera 40 and uses editing software operating on the editing processing server 10 to generate multimedia content.

なお、このような編集ソフトウェアを編集処理サーバ10にインストールするのではなく、パソコン等の端末装置20に直接インストールして使用することも可能である。 Instead of installing such editing software on the editing processing server 10, it is also possible to install it directly on the terminal device 20 such as a personal computer and use it.

次に、本実施形態の画像形成システムにおける編集処理サーバ10のハードウェア構成を図2に示す。 Next, FIG. 2 shows the hardware configuration of the editing processing server 10 in the image forming system of this embodiment.

編集処理サーバ10は、図2に示されるように、CPU11、メモリ12、ハードディスクドライブ(HDD)等の記憶装置13、ネットワーク30を介して端末装置20等の外部の装置等との間でデータの送信及び受信を行う通信インタフェース(IF)14、タッチパネル又は液晶ディスプレイ並びにキーボードを含むユーザインタフェース(UI)装置15を有する。これらの構成要素は、制御バス16を介して互いに接続されている。 As shown in FIG. 2, the editing processing server 10 exchanges data with an external device such as a terminal device 20 via a CPU 11, a memory 12, a storage device 13 such as a hard disk drive (HDD), and a network 30. It has a communication interface (IF) 14 for transmission and reception, a user interface (UI) device 15 including a touch panel or liquid crystal display, and a keyboard. These components are connected to each other via a control bus 16 .

CPU11は、メモリ12または記憶装置13に格納された制御プログラムに基づいて所定の処理を実行して、編集処理サーバ10の動作を制御する。なお、本実施形態では、CPU11は、メモリ12または記憶装置13内に格納された制御プログラムを読み出して実行するものとして説明するが、当該プログラムをCD-ROM等の記憶媒体に格納してCPU11に提供することも可能である。 The CPU 11 executes predetermined processing based on a control program stored in the memory 12 or storage device 13 to control the operation of the editing processing server 10 . In this embodiment, the CPU 11 reads and executes a control program stored in the memory 12 or the storage device 13. It is also possible to provide

図3は、上記の制御プログラムが実行されることにより実現される編集処理サーバ10の機能構成を示すブロック図である。 FIG. 3 is a block diagram showing the functional configuration of the edit processing server 10 realized by executing the above control program.

本実施形態の編集処理サーバ10は、図3に示されるように、データ通信部31と、制御部32と、マルチメディアデータ格納部33とを備えている。 The edit processing server 10 of this embodiment comprises a data communication section 31, a control section 32, and a multimedia data storage section 33, as shown in FIG.

データ通信部31は、端末装置20との間でネットワーク30を介したデータ通信を行っている。 The data communication unit 31 performs data communication with the terminal device 20 via the network 30 .

制御部32は、編集処理サーバ10の動作を制御していて、ユーザ操作受付部41と、動作モード切替部42と、表示制御部43と、動画像再生部44と、確認部45とを備えている。 The control unit 32 controls the operation of the editing processing server 10 and includes a user operation reception unit 41, an operation mode switching unit 42, a display control unit 43, a moving image reproduction unit 44, and a confirmation unit 45. ing.

マルチメディアデータ格納部33は、編集処理を行おうとする動画像データ、静止画像データ、音声データ等の各種コンテンツデータを格納している。 The multimedia data storage unit 33 stores various content data such as moving image data, still image data, audio data, etc. to be edited.

また、ユーザ操作受付部41は、動画像の再生に同期して静止画像の表示内容を変更する時刻の設定指示を受け付ける。静止画像の表示内容を変更する時刻の設定指示とは、具体的には、プレゼンテーション資料のような静止画像を次のページ(頁)に切り替える切替タイミングの設定指示または静止画像内に矢印、文字等の表示オブジェクト(表示要素)を付加する付加タイミングの設定指示である。 The user operation accepting unit 41 also accepts an instruction to set the time to change the display content of the still image in synchronization with the reproduction of the moving image. The instruction to set the time to change the display content of the still image is, more specifically, an instruction to set the switching timing for switching a still image such as a presentation material to the next page (page), or an arrow, text, etc. in the still image. is an addition timing setting instruction for adding a display object (display element).

つまり、ユーザ操作受付部41は、動画像の再生開始から何分何秒後に、表示する静止画像を2ページから3ページに切り替えるというような設定指示(コマンド)や、動画像の再生開始から何分何秒後に、表示している静止画像のどの場所に矢印や文字等の表示オブジェクトを付加するというような設定指示を受け付ける。 That is, the user operation reception unit 41 issues a setting instruction (command) such as switching the still image to be displayed from page 2 to page 3 after how many minutes and seconds after the start of playback of the moving image, A setting instruction is accepted, such as where a display object such as an arrow or a character is to be added to the displayed still image after a minute and a second.

そして、動作モード切替部42は、ユーザ操作受付部41により静止画像の表示内容を変更する時刻の設定指示を受け付けた際に、動作モード(動作状態)を、静止画像の表示内容を変更する時刻の設定を行う設定モード(設定状態)から、静止画像の表示内容を変更する時刻を調整する調整モード(調整状態)に切り替える。 Then, when the operation mode switching unit 42 receives an instruction to set the time for changing the display content of the still image from the user operation reception unit 41, the operation mode switching unit 42 changes the operation mode (operation state) to the time for changing the display content of the still image. , to an adjustment mode (adjustment state) for adjusting the time for changing the display content of the still image.

ここで、静止画像の表示内容を変更する時刻の設定を行う設定モードにおいて表示される画面はプレビュー画面と呼ばれ、静止画像の表示内容を変更する時刻を調整する調整モードにおいて表示される画面はコマンド位置調整画面と呼ばれる。 Here, the screen displayed in the setting mode for setting the time for changing the display content of the still image is called a preview screen, and the screen displayed in the adjustment mode for adjusting the time for changing the display content of the still image is It is called the command position adjustment screen.

このプレビュー画面では、動画像を再生しながら、切替えて表示を行おうとする複数の静止画像が表示され、静止画像の切り替えを行いたタイミングで切り替える静止画像を選択することにより切替タイミングの設定指示を行うことができるようになっている。また、プレビュー画面では、動画像を再生しながら、静止画像に付加したい表示オブジェクトを選択して表示位置を指定することにより、表示オブジェクトを付加する付加タイミングの設定指示を行うことができるようになっている。 On this preview screen, a plurality of still images to be switched and displayed are displayed while a moving image is being played back. can be done. Also, on the preview screen, while playing back a moving image, by selecting a display object to be added to a still image and specifying the display position, it is now possible to specify the timing for adding the display object. ing.

確認部45は、動作モード切替部42により動作モードが設定モードから調整モードに切り替えられる前に、調整モードに移行するか否かをユーザ(使用者)に確認する。なお、予め設定された設定内容により、動作モードが設定モードから調整モードに切り替わる際に、常に確認部45による確認処理が行われるようにしても良いし、このような確認処理が行われないようにしても良い。 Before the operation mode switching unit 42 switches the operation mode from the setting mode to the adjustment mode, the confirmation unit 45 confirms with the user whether or not to shift to the adjustment mode. It should be noted that when the operation mode is switched from the setting mode to the adjustment mode, the confirmation process may be always performed by the confirmation unit 45 according to preset setting contents, or such confirmation process may not be performed. You can do it.

そして、このように確認部45による確認が行われる場合には、動作モード切替部42は、確認部45により調整モードに移行することがユーザにより許可された場合に、設定モードから調整モードに動作モードを切り替える。 Then, when confirmation by the confirmation unit 45 is performed in this way, the operation mode switching unit 42 operates from the setting mode to the adjustment mode when the confirmation unit 45 permits the shift to the adjustment mode by the user. Switch modes.

動画像再生部44は、調整モードにおいて、静止画像の表示内容を変更するよう設定指示が行われた時刻を含む予め設定された再生区間の動画像を抽出して再生する。 In the adjustment mode, the moving image reproduction unit 44 extracts and reproduces a moving image of a preset reproduction interval including the time when a setting instruction is given to change the display content of the still image.

例えば、動画像再生部44は、静止画像の表示内容を変更するよう設定指示が行われた時刻を中心として、前後数秒の区間を再生区間として抽出し、抽出した再生区間の動画像を、静止画像の表示内容を変更する時刻の調整が完了するまで繰り返し再生する。 For example, the moving image reproducing unit 44 extracts a section of several seconds before and after the time at which the setting instruction to change the display content of the still image is given as the reproduction section, and reproduces the moving image of the extracted reproduction section as a still image. Playback is repeated until the adjustment of the time to change the display content of the image is completed.

また、動画像再生部44は、抽出された再生区間の動画像を、静止画像の表示内容を変更する時刻の設定を行う設定モードにおける動画像の再生速度よりも遅い再生速度で再生する。 Further, the moving image reproduction unit 44 reproduces the moving image of the extracted reproduction section at a reproduction speed slower than the moving image reproduction speed in the setting mode for setting the time for changing the display content of the still image.

また、動画像再生部44は、抽出された再生区間の動画像を、複数の異なる再生速度で再生する。 In addition, the moving image reproduction unit 44 reproduces the moving image of the extracted reproduction section at a plurality of different reproduction speeds.

具体的には、動画像再生部44は、抽出された再生区間の動画像を、静止画像の表示内容を変更するよう設定指示が行われた時刻に近い再生区間ほど遅い再生速度で再生する。 Specifically, the moving image reproduction unit 44 reproduces the moving image of the extracted reproduction section at a slower reproduction speed as the reproduction section is closer to the time when the setting instruction to change the display content of the still image is issued.

表示制御部43は、端末装置20において表示される画面の制御を行っている。そして、表示制御部43は、調整モードでは、静止画像の表示内容を変更するよう設定指示が行われた時刻を含む予め設定された再生区間における再生位置を示すシークバー(再生位置表示画像)が表示されるように制御する。 The display control unit 43 controls screens displayed on the terminal device 20 . In the adjustment mode, the display control unit 43 displays a seek bar (playback position display image) indicating the playback position in a preset playback interval including the time when a setting instruction was given to change the display content of the still image. control so that

また、表示制御部43は、シークバーにおける時間間隔が、静止画像の表示内容を変更するよう設定指示が行われた時刻を中心として異なった時間間隔となるようにシークバーを表示する。 In addition, the display control unit 43 displays the seek bar so that the time intervals of the seek bar are different from the time when the setting instruction to change the display content of the still image is given.

具体的には、表示制御部43は、シークバーにおける時間間隔が、静止画像の表示内容を変更するよう設定指示が行われた時刻に近いほど長くなるようにシークバーを表示する。 Specifically, the display control unit 43 displays the seek bar so that the time interval of the seek bar becomes longer as the time interval nearer to the time at which the setting instruction to change the display content of the still image is issued.

また、表示制御部43は、調整モードでは、静止画像の表示内容を変更するよう設定指示が行われた時刻を含む予め設定された再生区間における音声のテキスト画像(文字画像)が表示されるように制御する。 In addition, in the adjustment mode, the display control unit 43 displays a text image (character image) of the voice in a preset reproduction section including the time at which the setting instruction to change the display content of the still image is performed. to control.

そして、動画像再生部44は、音声の文字画像が表示されるよう表示制御部43により制御されるか否かに応じて、異なる再生形態により動画像を再生する。具体的には、動画像再生部44は、音声の文字画像が表示されるよう表示制御部43により制御される場合には、動画像を一時停止状態で再生する。なお、動画像再生部44は、音声の文字画像が表示されるよう表示制御部43により制御されない場合には、抽出された再生区間の動画像を繰り返し再生する。 Then, the moving image reproduction unit 44 reproduces the moving image in different reproduction modes depending on whether or not the display control unit 43 controls to display the character image of the voice. Specifically, when the display control unit 43 controls to display the character image of the voice, the moving image reproduction unit 44 reproduces the moving image in a pause state. Note that the moving image reproduction unit 44 repeatedly reproduces the moving image of the extracted reproduction section when the display control unit 43 does not control the character image of the voice to be displayed.

さらに、表示制御部43は、調整モードでは、静止画像の表示内容を変更するよう設定指示が行われた時刻を含む予め設定された再生区間における音声レベルを示す画像が表示されるように制御するようにしても良い。 Furthermore, in the adjustment mode, the display control unit 43 performs control so that an image indicating the audio level in a preset reproduction section including the time when a setting instruction is given to change the display content of the still image is displayed. You can do it.

なお、表示制御部43は、現在の動作モードが、動画像の再生に同期して静止画像の表示内容を変更する時刻の設定を行う設定モードであるのか上記で説明した調整モードであるのかが分かるよう表示するよう制御する。 The display control unit 43 determines whether the current operation mode is a setting mode for setting the time for changing the display contents of the still image in synchronization with the reproduction of the moving image or the adjustment mode described above. Control the display so that it is easy to understand.

最後に、動作モード切替部42は、ユーザの操作により静止画像の表示内容を変更する時刻の調整が完了した旨が入力された場合、動作モードを調整モードから設定モードに切り替える。 Finally, the operation mode switching unit 42 switches the operation mode from the adjustment mode to the setting mode when the operation of the user indicates that the adjustment of the time for changing the display content of the still image has been completed.

または、動作モード切替部42は、ユーザの指示がなく抽出された再生区間の再生が完了した場合に、動作モードを調整モードから設定モードに切り替えるようにしても良い。 Alternatively, the operation mode switching unit 42 may switch the operation mode from the adjustment mode to the setting mode when the reproduction of the extracted reproduction section is completed without the user's instruction.

次に、本実施形態のマルチメディアコンテンツ生成システムにおける編集処理サーバ10の動作について図面を参照して詳細に説明する。 Next, the operation of the edit processing server 10 in the multimedia content generation system of this embodiment will be described in detail with reference to the drawings.

先ず、編集処理サーバ10における動画の概略を図4のフローチャートを参照して説明する。 First, the outline of moving images in the editing processing server 10 will be described with reference to the flowchart of FIG.

例えば、編集処理サーバ10から端末装置20に対して、図5に示すようなプレビュー画面を表示して動画像を再生している場合において(ステップS101)、図6に示すようなコマンド追加指示があったものとして説明する(ステップS102においてyes)。 For example, when the edit processing server 10 displays a preview screen as shown in FIG. It is explained assuming that there is (yes in step S102).

図6に示したプレビュー画面の表示画面例では、ユーザが、動画像の再生時刻30.0秒において表示されるプレゼンテーション資料を1ページ目から2ページ目に切り替えるようなページ切替指示が行われた場合が示されている。 In the display screen example of the preview screen shown in FIG. 6, the user gave a page switching instruction to switch the presentation material displayed at the playback time of the moving image of 30.0 seconds from the first page to the second page. case is shown.

そして、このようなページ切替指示が行われた場合、編集処理サーバ10では、動作モードを設定モードから調整モードに遷移させ、端末装置20に表示する画面をプレビュー画面からコマンド位置調整画面に切り替える(ステップS103)。 When such a page switching instruction is issued, the editing processing server 10 changes the operation mode from the setting mode to the adjustment mode, and switches the screen displayed on the terminal device 20 from the preview screen to the command position adjustment screen ( step S103).

このようなコマンド位置調整画面例を図7に示す。図7に示したコマンド位置調整画面では、表示された静止画像とともに、ページ切替指示が行われた再生時刻30.0秒を中心とした前後5秒の25.0秒~35.0秒の再生区間が抽出されて、抽出された再生区間の動画像が繰り返し再生される。 An example of such a command position adjustment screen is shown in FIG. In the command position adjustment screen shown in FIG. 7, along with the displayed still image, playback of 25.0 to 35.0 seconds, which is five seconds before and after the playback time of 30.0 seconds at which the page switching instruction was performed, is displayed. A section is extracted, and the moving image in the extracted playback section is repeatedly played back.

そして、この図7に示したコマンド位置調整画面では、抽出された再生区間における再生位置を示すためのシークバー53、この再生区間における音声をテキスト化したテキスト画像51、この再生区間における音声の音声レベル画像52が表示される(ステップS104)。 The command position adjustment screen shown in FIG. 7 includes a seek bar 53 for indicating the playback position in the extracted playback segment, a text image 51 that converts the voice in the playback segment into text, and the audio level of the voice in the playback segment. Image 52 is displayed (step S104).

ユーザは、このようにして表示されたテキスト画像51、音声レベル画像52、シークバー53を参照することにより、プレゼンテーション資料の1ページ目を2ページ目に切り替える切替タイミングの微調整を行うことができる。 By referring to the text image 51, the voice level image 52, and the seek bar 53 thus displayed, the user can finely adjust the switching timing for switching the first page of the presentation material to the second page.

そして、このコマンド位置調整画面では、ページ切り替えを指示するコマンド位置が決定されるまで、抽出された再生区間の再生が繰り返される(ステップS105、S106)。 Then, on this command position adjustment screen, reproduction of the extracted reproduction section is repeated until the command position for instructing page switching is determined (steps S105 and S106).

なお、この図7に示されたコマンド位置調整画面では、左下方において「コマンド位置調整中です。」という文字が表示されることにより、現在の動作モードが調整モードであることが分かるような表示が行われている。 In the command position adjustment screen shown in FIG. 7, the characters "Command position is being adjusted." is being done.

そして、ユーザによりページ切り替えを指示するコマンド位置が決定されると(ステップS106においてyes)、編集処理サーバ10では、コマンド位置の追加処理が行われる(ステップS107)。 Then, when the command position for instructing page switching is determined by the user (yes in step S106), command position addition processing is performed in the editing processing server 10 (step S107).

そして、動作モードは設定モードに戻って、表示される画面はプレビュー画面に戻り、動画像の再生が継続されることになる(ステップS101)。 Then, the operation mode returns to the setting mode, the displayed screen returns to the preview screen, and the reproduction of the moving image is continued (step S101).

なお、図7に示したコマンド位置調整画面におけるシークバー53の再生速度の設定例について図8を参照して説明する。 A setting example of the reproduction speed of the seek bar 53 on the command position adjustment screen shown in FIG. 7 will be described with reference to FIG.

図8に示した再生速度の設定例では、プレビュー画面における再生速度を1とした場合に、-1~+1秒の区間の再生速度が5分の1(1/5)に設定され、-2~-1秒の区間および+1~+2秒の区間の再生速度が3分の1(1/3)に設定され、-3~-2秒の区間および+2~+3秒の区間の再生速度が2分の1(1/2)に設定された場合が示されている。 In the setting example of the playback speed shown in FIG. 8, when the playback speed on the preview screen is set to 1, the playback speed in the section from -1 to +1 seconds is set to 1/5 (1/5), and -2 The playback speed for the section from -1 second and the section from +1 to +2 seconds is set to 1/3 (1/3), and the playback speed for the section from -3 to -2 seconds and the section from +2 to +3 seconds is set to 2. It is shown when set to one minute (1/2).

そして、シークバー53における再生速度が上記のように設定されていることにより、シークバー53における時間間隔が、静止画像の表示内容を変更するよう設定指示が行われた時刻(0時00分30.0秒)に近いほど長くなるように設定されている。 Since the playback speed of the seek bar 53 is set as described above, the time interval of the seek bar 53 is changed to the time (0:00:30.00) at which the setting instruction was given to change the display content of the still image. seconds) is set to be longer.

そして、図9に示すように、ユーザが、テキスト画像51、音声レベル画像52、シークバー53等を参照して、再生時刻28.4秒において、2ページ目のプレゼンテーション資料を選択した場合、この再生時刻28.4秒がページ切替のコマンドを追加する位置として選択されることになる。 Then, as shown in FIG. 9, when the user refers to the text image 51, the sound level image 52, the seek bar 53, etc., and selects the second page of the presentation material at the playback time of 28.4 seconds, this playback Time 28.4 seconds will be selected as the position to add the page switch command.

そのため、図10に示すように、「再生時刻0:00:28.4」がページ切替のコマンド位置として追加される。そして、このコマンド位置の追加後には、表示される画面は、図11に示すようにコマンド位置調整画面からプレビュー画面に切り替わり動画像の再生が続行されることになる。 Therefore, as shown in FIG. 10, "playback time 0:00:28.4" is added as the page switching command position. After the command position is added, the displayed screen is switched from the command position adjustment screen to the preview screen as shown in FIG. 11, and the reproduction of the moving image is continued.

なお、本実施形態では、抽出された再生区間が繰り返し再生される場合を用いて説明を行ったが、コマンド位置調整画面において動画像の再生を一時停止状態として、ユーザがテキスト画像51や音声レベル画像52を参照してコマンド追加位置を微調整するようにしても良い。 In the present embodiment, the case where the extracted playback interval is repeatedly played has been described. The command addition position may be finely adjusted by referring to the image 52 .

つまり、図7に示したようなコマンド位置調整画面では、「かんがえていきます さてつぎにいきます こ」というテキスト画像51を参照することにより、「かんがえていきます」というテキストと、「さてつぎにいきます こ」というテキストの間をコマンド追加位置として指定することができるのが分かる。 That is, on the command position adjustment screen as shown in FIG. You can see that you can specify the command addition position between the texts "I'm going to this".

そして、このような音声のテキスト画像51が表示される場合には、動画像を繰り返し再生するのではなく一時停止状態で再生するようにしても良い。そして、ユーザは、音声のテキスト画像51が表示されている場合には、動画像を視聴しなくてもこのテキスト画像51のみを用いてページ切り替えを行うべき位置を判定することができるため、動画像が一時停止状態の方がかえってページ切替コマンドを追加する位置の指定を容易に行うことができる。 When the text image 51 of such voice is displayed, the moving image may be reproduced in a pause state instead of being repeatedly reproduced. When the audio text image 51 is displayed, the user can use only this text image 51 to determine the position at which page switching should be performed without viewing the moving image. On the contrary, it is easier to specify the position where the page switching command is added when the image is in the paused state.

なお、動画像データに音声のテキストデータが含まれていない場合には、音声データに対して音声認識処理を行うことによりテキストデータを生成して、生成されたテキストデータをテキスト画像51として表示するようにすれば良い。 If the moving image data does not include voice text data, text data is generated by performing voice recognition processing on the voice data, and the generated text data is displayed as a text image 51. You should do it like this.

また、プレビュー画面においてコマンドの追加の設定指示が行われた場合に、即座にコマンド位置調整画面に切り替わるのではなく、ユーザにコマンド位置調整画面へ遷移しても良いか否かを確認する場合の表示画面例を図12に示す。 Also, when an instruction to add a command is given on the preview screen, instead of immediately switching to the command position adjustment screen, it is possible to confirm with the user whether or not it is okay to transition to the command position adjustment screen. An example of the display screen is shown in FIG.

図12に示した表示画面例では、プレビュー画面においてユーザがプレゼンテーション資料の2ページ目を選択してページ切替の位置指定した場合に、「コマンド位置調整画面に遷移しますか」という文字が表示された場合が示されている。そして、ユーザが「はい」を選択した場合には、コマンド位置調整画面に遷移し、「いいえ」を選択した場合にはコマンド位置調整画面に遷移することなく元のプレビュー画面に戻るような制御が行われる。このようなコマンド位置調整画面に遷移する際の確認処理は、下記のような場合に有効である。 In the example of the display screen shown in FIG. 12, when the user selects the second page of the presentation material on the preview screen and specifies the page switching position, the text "Do you want to transition to the command position adjustment screen?" is displayed. The case is shown. If the user selects "yes", the command position adjustment screen is displayed, and if the user selects "no", the control returns to the original preview screen without transitioning to the command position adjustment screen. done. Such confirmation processing when transitioning to the command position adjustment screen is effective in the following cases.

例えば、ページの切り替えタイミングが動画像の再生とおおよそ同期していれば良い場合には、コマンド位置調整画面をわざわざ表示させてコマンド位置の微調整を行う必要がない。そのため、このような場合にはコマンド位置調整画面を表示させずに次のコマンド位置の設定を行うようにすれば良い。逆に、ページの切り替えタイミングが動画像の再生と厳密に同期している必要がある場合には、コマンド位置調整画面を表示させてコマンド位置の微調整を行うようにすることができる。 For example, if the page switching timing should be approximately synchronized with the reproduction of the moving image, there is no need to bother to display the command position adjustment screen and perform fine adjustment of the command position. Therefore, in such a case, the position of the next command should be set without displaying the command position adjustment screen. Conversely, if the page switching timing needs to be strictly synchronized with the reproduction of the moving image, the command position adjustment screen can be displayed to perform fine adjustment of the command position.

なお、上記では、ページ切替を行うコマンドを追加する場合を用いて説明したが、ページ切替以外のコマンドを追加する場合にも同様な動作モードの切り替えが行われる。 In the above description, the case of adding a command for page switching has been described, but similar operation mode switching is also performed when adding a command other than page switching.

例えば、図13(A)~図13(D)に示されるように、矢印の形状の表示オブジェクト61をプレゼンテーション資料上において順次位置を移動して表示するようなマルチメディアコンテンツを生成するような場合でもコマンドの追加タイミングを設定した場合に動作モードが設定モードから調整モードに切り替わるような制御が行われるようにすれば良い。 For example, as shown in FIGS. 13(A) to 13(D), when generating multimedia content in which an arrow-shaped display object 61 is sequentially moved and displayed on the presentation material. However, if the command addition timing is set, control should be performed such that the operation mode is switched from the setting mode to the adjustment mode.

10 編集処理サーバ
11 CPU
12 メモリ
13 記憶装置
14 通信インタフェース(IF)
15 ユーザインタフェース(UI)装置
16 制御バス
20 端末装置
30 ネットワーク
31 データ通信部
32 制御部
33 マルチメディアデータ格納部
41 ユーザ操作受付部
42 動作モード切替部
43 表示制御部
44 動画像再生部
45 確認部
51 テキスト画像
52 音声レベル画像
53 シークバー
61 表示オブジェクト
10 edit processing server 11 CPU
12 memory 13 storage device 14 communication interface (IF)
15 User Interface (UI) Device 16 Control Bus 20 Terminal Device 30 Network 31 Data Communication Section 32 Control Section 33 Multimedia Data Storage Section 41 User Operation Acceptance Section 42 Operation Mode Switching Section 43 Display Control Section 44 Moving Image Playback Section 45 Confirmation Section 51 text image 52 audio level image 53 seek bar 61 display object

Claims (20)

動画像の再生に同期して静止画像の表示内容を変更する時刻の設定指示を受け付ける受付手段と、
前記受付手段により静止画像の表示内容を変更する時刻の設定指示を受け付けた際に、動作状態を、静止画像の表示内容を変更する時刻の設定を行う設定状態から、静止画像の表示内容を変更する時刻を調整する調整状態に切り替える切替手段と、
を備えた情報処理装置。
receiving means for receiving a setting instruction for changing the display content of the still image in synchronization with the reproduction of the moving image;
When an instruction to set the time for changing the display content of the still image is received by the receiving means, the display content of the still image is changed from the setting state for setting the time for changing the display content of the still image. a switching means for switching to an adjustment state for adjusting the time to be set;
Information processing device with
静止画像の表示内容を変更する時刻の設定指示が、静止画像を次の頁に切り替える切替タイミングの設定指示または静止画像内に表示要素を付加する付加タイミングの設定指示である請求項1記載の情報処理装置。 2. Information according to claim 1, wherein the instruction to set the time for changing the display content of the still image is an instruction to set a switching timing for switching the still image to the next page or an instruction to set an addition timing for adding a display element to the still image. processing equipment. 前記切替手段により動作状態が調整状態に切り替えられる前に、調整状態に移行するか否かを使用者に確認する確認手段をさらに備え、
前記切替手段は、前記確認手段により調整状態に移行することが使用者により許可された場合に、動作状態を調整状態に切り替える請求項1又は2記載の情報処理装置。
further comprising confirming means for confirming with a user whether or not to shift to the adjustment state before the operation state is switched to the adjustment state by the switching means;
3. The information processing apparatus according to claim 1, wherein the switching means switches the operation state to the adjustment state when the confirmation means permits the shift to the adjustment state by the user.
前記調整状態において、静止画像の表示内容を変更するよう設定指示が行われた時刻を含む予め設定された再生区間の動画像を抽出して再生する動画像再生手段をさらに備えた請求項1から3のいずれか記載の情報処理装置。 2. The apparatus further comprises moving image reproduction means for extracting and reproducing a moving image of a preset reproduction interval including a time at which a setting instruction is given to change display contents of a still image in the adjusted state. 4. The information processing device according to any one of 3. 前記動画像再生手段は、抽出された再生区間の動画像を、静止画像の表示内容を変更する時刻の調整が完了するまで繰り返し再生する請求項4記載の情報処理装置。 5. The information processing apparatus according to claim 4, wherein said moving image reproduction means repeatedly reproduces the moving image of the extracted reproduction interval until adjustment of the time for changing the display content of the still image is completed. 前記動画像再生手段は、抽出された再生区間の動画像を、静止画像の表示内容を変更する時刻の設定を行う設定状態における動画像の再生速度よりも遅い再生速度で再生する請求項4記載の情報処理装置。 5. The moving image reproduction means according to claim 4, wherein the moving image of the extracted reproduction section is reproduced at a reproduction speed slower than the reproduction speed of the moving image in the setting state for setting the time for changing the display contents of the still image. information processing equipment. 前記動画像再生手段は、抽出された再生区間の動画像を、複数の異なる再生速度で再生する請求項4記載の情報処理装置。 5. The information processing apparatus according to claim 4, wherein said moving image reproduction means reproduces the moving image of the extracted reproduction section at a plurality of different reproduction speeds. 前記動画像再生手段は、抽出された再生区間の動画像を、静止画像の表示内容を変更するよう設定指示が行われた時刻に近い再生区間ほど遅い再生速度で再生する請求項7記載の情報処理装置。 8. The information according to claim 7, wherein the moving image reproduction means reproduces the moving image of the extracted reproduction interval at a slower reproduction speed in the reproduction interval closer to the time at which the setting instruction to change the display content of the still image is issued. processing equipment. 前記調整状態では、静止画像の表示内容を変更するよう設定指示が行われた時刻を含む予め設定された再生区間における再生位置を示す再生位置表示画像が表示されるように制御する表示制御手段をさらに備えた請求項1記載の情報処理装置。 display control means for performing control such that, in the adjustment state, a reproduction position display image indicating a reproduction position in a preset reproduction section including a time at which a setting instruction is given to change the display content of a still image is displayed; The information processing apparatus according to claim 1, further comprising: 前記表示制御手段は、前記再生位置表示画像における時間間隔が、静止画像の表示内容を変更するよう設定指示が行われた時刻を中心として異なった時間間隔となるように前記再生位置表示画像を表示する請求項9記載の情報処理装置。 The display control means displays the reproduction position display image so that the time intervals in the reproduction position display image are different from the time at which the setting instruction to change the display content of the still image is given. 10. The information processing apparatus according to claim 9. 前記表示制御手段は、前記再生位置表示画像における時間間隔が、静止画像の表示内容を変更するよう設定指示が行われた時刻に近いほど長くなるように前記再生位置表示画像を表示する請求項10記載の情報処理装置。 10. The display control means displays the reproduction position display image such that the time interval in the reproduction position display image becomes longer as the time interval in the reproduction position display image is closer to the time when the setting instruction to change the display content of the still image is issued. The information processing device described. 前記調整状態では、静止画像の表示内容を変更するよう設定指示が行われた時刻を含む予め設定された再生区間における音声の文字画像が表示されるように制御する表示制御手段をさらに備えた請求項1記載の情報処理装置。 The display control means further comprises display control means for performing control such that, in the adjustment state, the character image of the voice is displayed in a preset playback interval including the time at which the setting instruction is given to change the display content of the still image. Item 1. The information processing apparatus according to item 1. 前記調整状態において、静止画像の表示内容を変更するよう設定指示が行われた時刻を含む予め設定された再生区間の動画像を抽出して再生する動画像再生手段をさらに備え、
前記動画像再生手段は、音声の文字画像が表示されるよう前記表示制御手段により制御されるか否かに応じて、異なる再生形態により動画像を再生する請求項12記載の情報処理装置。
further comprising moving image reproduction means for extracting and reproducing a moving image of a preset reproduction section including a time at which a setting instruction is given to change the display content of the still image in the adjusted state;
13. The information processing apparatus according to claim 12, wherein the moving image reproduction means reproduces the moving image in different reproduction modes depending on whether or not the display control means controls to display a character image of voice.
前記動画像再生手段は、音声の文字画像が表示されるよう前記表示制御手段により制御される場合には、動画像を一時停止状態で再生する請求項13記載の情報処理装置。 14. The information processing apparatus according to claim 13, wherein the moving image reproduction means reproduces the moving image in a pause state when controlled by the display control means to display a character image of voice. 前記動画像再生手段は、音声の文字画像が表示されるよう前記表示制御手段により制御されない場合には、抽出された再生区間の動画像を繰り返し再生する請求項13記載の情報処理装置。 14. The information processing apparatus according to claim 13, wherein the moving image reproducing means repeatedly reproduces the moving image of the extracted reproduction section when the display control means does not control to display the character image of the voice. 前記調整状態では、静止画像の表示内容を変更するよう設定指示が行われた時刻を含む予め設定された再生区間における音声レベルを示す画像が表示されるように制御する表示制御手段をさらに備えた請求項1記載の情報処理装置。 further comprising display control means for performing control such that, in the adjusted state, an image indicating an audio level in a preset reproduction interval including a time at which a setting instruction is given to change the display content of the still image is displayed. The information processing apparatus according to claim 1. 現在の動作状態が、動画像の再生に同期して静止画像の表示内容を変更する時刻の設定を行う設定状態であるのか前記調整状態であるのかが分かるよう表示するよう制御する表示制御手段をさらに備えた請求項1記載の情報処理装置。 display control means for controlling display so as to make it possible to understand whether the current operating state is a setting state for setting a time for changing display contents of a still image in synchronization with reproduction of a moving image or the adjustment state; The information processing apparatus according to claim 1, further comprising: 前記切替手段は、使用者の操作により静止画像の表示内容を変更する時刻の調整が完了した旨が入力された場合に、動作状態を調整状態から設定状態に切り替える請求項1記載の情報処理装置。 2. The information processing apparatus according to claim 1, wherein the switching means switches the operation state from the adjustment state to the setting state when the user inputs that the adjustment of the time for changing the display content of the still image has been completed. . 前記切替手段は、使用者の指示がなく抽出された再生区間の再生が完了した場合に、動作状態を調整状態から設定状態に切り替える請求項4記載の情報処理装置。 5. The information processing apparatus according to claim 4, wherein the switching means switches the operation state from the adjustment state to the setting state when reproduction of the extracted reproduction section is completed without a user's instruction. 動画像の再生に同期して静止画像の表示内容を変更する時刻の設定指示を受け付ける受付ステップと、
前記受付ステップにおいて静止画像の表示内容を変更する時刻の設定指示を受け付けた際に、動作状態を、静止画像の表示内容を変更する時刻の設定を行う設定状態から、静止画像の表示内容を変更する時刻を調整する調整状態に切り替える切替ステップと、
をコンピュータに実行させるためのプログラム。
a receiving step for receiving a setting instruction for changing the display content of the still image in synchronization with the reproduction of the moving image;
When an instruction to set the time to change the display content of the still image is received in the receiving step, the display content of the still image is changed from the setting state of setting the time to change the display content of the still image. a switching step for switching to an adjustment state for adjusting the time to be set;
A program that causes a computer to run
JP2018128256A 2018-07-05 2018-07-05 Information processing device and program Active JP7176257B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018128256A JP7176257B2 (en) 2018-07-05 2018-07-05 Information processing device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018128256A JP7176257B2 (en) 2018-07-05 2018-07-05 Information processing device and program

Publications (2)

Publication Number Publication Date
JP2020010136A JP2020010136A (en) 2020-01-16
JP7176257B2 true JP7176257B2 (en) 2022-11-22

Family

ID=69152504

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018128256A Active JP7176257B2 (en) 2018-07-05 2018-07-05 Information processing device and program

Country Status (1)

Country Link
JP (1) JP7176257B2 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001169237A (en) 1999-09-27 2001-06-22 Matsushita Electric Ind Co Ltd Moving picture edit reproducing device
JP2003224774A (en) 2002-01-28 2003-08-08 Telecommunication Advancement Organization Of Japan Semi-automatic caption program production system
JP2005045439A (en) 2003-07-25 2005-02-17 Fuji Xerox Co Ltd Apparatus and method for content forming
JP2005094268A (en) 2003-09-16 2005-04-07 Ricoh Co Ltd Apparatus and method for editing information, and program for performing the method in computer
JP2006339878A (en) 2005-05-31 2006-12-14 Toshiba Corp Editing terminal and editing method for multimedia content, and program
JP2008293219A (en) 2007-05-23 2008-12-04 Ricoh Co Ltd Content management system, information processor in content management system, link information generation system in information processor, link information generation program in information processor, and recording medium with link information generation program recorded thereon
JP2010279005A (en) 2009-06-01 2010-12-09 G−REX JapaN株式会社 Moving image/material image linked type image display system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001169237A (en) 1999-09-27 2001-06-22 Matsushita Electric Ind Co Ltd Moving picture edit reproducing device
JP2003224774A (en) 2002-01-28 2003-08-08 Telecommunication Advancement Organization Of Japan Semi-automatic caption program production system
JP2005045439A (en) 2003-07-25 2005-02-17 Fuji Xerox Co Ltd Apparatus and method for content forming
JP2005094268A (en) 2003-09-16 2005-04-07 Ricoh Co Ltd Apparatus and method for editing information, and program for performing the method in computer
JP2006339878A (en) 2005-05-31 2006-12-14 Toshiba Corp Editing terminal and editing method for multimedia content, and program
JP2008293219A (en) 2007-05-23 2008-12-04 Ricoh Co Ltd Content management system, information processor in content management system, link information generation system in information processor, link information generation program in information processor, and recording medium with link information generation program recorded thereon
JP2010279005A (en) 2009-06-01 2010-12-09 G−REX JapaN株式会社 Moving image/material image linked type image display system

Also Published As

Publication number Publication date
JP2020010136A (en) 2020-01-16

Similar Documents

Publication Publication Date Title
US9584571B2 (en) System and method for capturing, editing, searching, and delivering multi-media content with local and global time
JP4760438B2 (en) Image reproduction apparatus and image reproduction program
WO2009135088A2 (en) System and method for real-time synchronization of a video resource to different audio resources
JP2006310896A (en) Image processing apparatus
JP2007221247A (en) Image processing unit, and method of adding timecode
US8750685B2 (en) Image processing apparatus
WO2018159409A1 (en) Application program, terminal device controlling method, terminal device and server
RU2524837C2 (en) Information processing device, information processing method and programme
JP4695609B2 (en) Content reproduction apparatus, content reproduction method, and content reproduction program
JP2013120203A (en) Image display device, image display system, and image display device control method
JP7176257B2 (en) Information processing device and program
JP7447422B2 (en) Information processing equipment and programs
JP2008167155A (en) Reproducing device and reproduction method, and program
JP2005252574A (en) Device and method for creating multimedia content, program for making computer execute method, and multimedia content creating system
JP6832604B1 (en) Subtitle data editing method and subtitle data editing program for content such as videos
JP3507767B2 (en) Multimedia content reproduction system and multimedia content reproduction method
JP4286051B2 (en) Digital broadcast receiver and digital composite device
WO2006033416A1 (en) Presentation system, reproduction switching method, and program
JP2011078139A (en) Image reproduction apparatus, music processing program, and image reproduction program
JP7492092B1 (en) Computer system and program for supporting the creation of electronic manuals
JP3841815B2 (en) How to edit video data
CN110880197A (en) Information processing apparatus, storage medium, and information processing method
JP5737988B2 (en) Image processing apparatus, control method therefor, and program
WO2020195879A1 (en) Information processing terminal, information processing method, and program
JP2008269051A (en) Display system and display method

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20201102

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210621

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221024

R150 Certificate of patent or registration of utility model

Ref document number: 7176257

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150