JP4978765B2 - 再生制御装置および方法、並びにプログラム - Google Patents

Description

本発明は、再生制御装置および方法、並びにプログラムに関し、特に、あるデータを、容易に、それと関連のある他のデータに応じたエフェクトを施して再生することができるようにした再生制御装置および方法、並びにプログラムに関する。

従来より、パーソナルコンピュータなどに取り込んだ音楽を再生する際、それに合わせて、再生する音楽の雰囲気にあう画像をモニタに表示させるようなアプリケーションが存在する。

近年普及してきている、フラッシュメモリやHDD(Hard Disk Drive)を内蔵するポータブルオーディオプレーヤの中にはLCD(Liquid Crystal Display)などの表示部を搭載するものもあり、音楽に合う画像を音楽再生時に表示する機能は、このような表示部を搭載するオーディオプレーヤにも採用されている。

特許文献１には、再生する曲のテンポや盛り上がり位置などを検出し、その検出結果に基づいて、曲に合う動画像を、その曲とともに再生させる技術が開示されている。

また、特許文献２には、音楽再生時の視覚的効果を与えるいわゆるビジュアライザを、処理負担を軽減しつつ実現する技術が開示されている。
特開２００４−１２７０１９号公報 特開２００５−１２２６６４号公報

ところで、上述したようなアプリケーションに用意された画像ではなく、ユーザがディジタルビデオカメラなどで撮影した動画や静止画が、それとは別の機器で録音された音（音楽、音声）に合わせて表示されるようにする場合、ユーザは、動画編集を行うアプリケーション等を使用し、どのタイミングで、どの画像とどの音を再生させるのかなどの選択操作を行う必要があり手間がかかるという問題があった。ある音と同時に再生されるような画像は、その音と関連のあるものであることが好ましいが、そのような関連のある画像を探し出すことにさえ手間がかかる。

また、そのような編集時においては、表示されるようにする画像に、その画像とともに再生される音と同期のとれたエフェクト（音の雰囲気に合う特殊効果）をかけるようなことも行われるが、音の内容を確認し、それに合わせてエフェクトの内容を選択する必要があることなどから、この、音と同期のとれたエフェクトをそれぞれの画像にかける操作も手間のかかるものである。

本発明はこのような状況に鑑みてなされたものであり、再生対象とするデータと同じ時刻に取得された他のデータを選択し、再生対象とするデータに応じたエフェクトを施して同時に再生することができるようにするものである。

本発明の一側面は、取得時刻を表すタイムコードが付加された音声データと画像データを管理する管理手段と、前記音声データの特徴を解析する解析手段と、前記音声データの特徴と、前記画像データに施すエフェクトの内容を対応付けたテーブルを記憶する記憶手段と、再生対象とする前記音声データと同じ時刻に取得された前記画像データを、付加されているタイムコードに基づいて選択し、その音声データの特徴に対応付けられた前記エフェクトの内容に応じたエフェクトを施して前記音声データとともに再生する再生制御手段とを備える再生制御装置である。

前記再生制御手段には、再生対象とする前記音声データと同じ時刻に取得された前記画像データであって、さらに、再生対象とする前記音声データと同じディレクトリに前記管理手段により管理されている前記画像データを、前記音声データとともに再生させるようにすることができる。

前記エフェクトは、前記画像データの拡大、縮小、移動、回転、または表示範囲の変更の少なくとも１つであるようにすることができる。

前記特徴は、音量または周波数であるようにすることができる。

本発明の一側面は、取得時のタイムコードが付加された音声データと画像データを管理し、前記音声データの特徴と、前記画像データに施すエフェクトの内容を対応付けたテーブルを記憶し、前記音声データと前記画像データを再生する再生制御装置の再生制御方法、または前記再生制御装置を制御するコンピュータに実行させるプログラムにおいて、前記音声データの特徴を解析する解析ステップと、再生対象とする前記音声データと同じ時刻に取得された前記画像データを、付加されているタイムコードに基づいて選択し、その音声データの特徴に対応付けられた前記エフェクトの内容に応じたエフェクトを施して前記音声データとともに再生する再生制御ステップとを、含む再生制御方法、または、前記再生制御装置に実行させるプログラムである。

本発明の一側面においては、記憶手段に、音声データの特徴と、画像データに施すエフェクトの内容を対応付けたテーブルが記憶されており、音声データの特徴が解析され、再生対象とする音声データと同じ時刻に取得された画像データが、付加されているタイムコードに基づいて選択され、その音声データの特徴に対応付けられたエフェクトの内容に応じたエフェクトが施されて音声データとともに再生される。

本発明の一側面によれば、再生対象とするデータと同じ時刻に取得された他のデータを選択して同時に再生することができる。また、本発明の一側面によれば、再生対象とするデータと同じ時刻に取得された他のデータに、再生対象とするデータに応じたエフェクトを施して同時に再生することができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外には対応しないものであることを意味するものでもない。

本発明の一側面の再生制御装置（例えば、図１の情報処理装置１）は、取得時刻を表すタイムコードが付加された音声データと画像データを管理する管理手段（例えば、図３の管理部３１）と、前記音声データの特徴を解析する解析手段（例えば、図３の音声解析部３３）と、前記音声データの特徴と、前記画像データに施すエフェクトの内容を対応付けたテーブルを記憶する記憶手段と、再生対象とする前記音声データと同じ時刻に取得された前記画像データを、付加されているタイムコードに基づいて選択し、その音声データの特徴に対応付けられた前記エフェクトの内容に応じたエフェクトを施して前記音声データとともに再生する再生制御手段（例えば、図３の再生部３５）とを備える。

本発明の一側面の再生制御方法またはプログラムが前記再生制御装置に実行させる処理は、取得時のタイムコードが付加された音声データと画像データを管理し、前記音声データの特徴と、前記画像データに施すエフェクトの内容を対応付けたテーブルを記憶し、前記音声データと前記画像データを再生する再生制御装置の再生制御方法、または、前記再生制御装置を制御するコンピュータに実行させるプログラムにおいて、前記音声データの特徴を解析する解析ステップと、再生対象とする前記音声データと同じ時刻に取得された前記画像データを、付加されているタイムコードに基づいて選択し、その音声データの特徴に対応付けられた前記エフェクトの内容に応じたエフェクトを施して前記音声データとともに再生する再生制御ステップと（例えば、図８のステップＳ８）を含む。

以下、本発明の実施の形態について図を参照して説明する。

図１は、本発明の一実施形態に係る情報処理装置１と、情報処理装置１とケーブルを介して接続されるICレコーダ２およびディジタルカメラ３を示す図である。

情報処理装置１は、ICレコーダ２で録音された音声をUSB(Universal Serial Bus)ケーブルなどを介して内蔵のHDD(Hard Disk Drive)２０（図２）に取り込み、それをスピーカなどに出力させる機能を有する。また情報処理装置１は、ディジタルカメラ３で撮影された画像をUSBケーブルなどを介して内蔵のHDD２０に取り込み、それをディスプレイなどに表示させる機能を有する。

後に詳述するように、情報処理装置１は、HDD２０に記憶されている音声データの再生が指示されたとき、再生が指示された音声データに付加されているタイムコードと同タイムコードが付加されている画像データを取得し、音声データをスピーカに出力させるとともに、取得した画像データを、音声データのサウンドパターンに合わせたエフェクトを施してディスプレイに表示させる。

これにより、ユーザは、別々の機器で取得した音声データと画像データを同時に再生させることが可能になり、さらに、音に同期したエフェクトを施すといった手間のかかる編集作業も不要となる。

図２は、図１の情報処理装置１の構成例を示すブロック図である。

CPU(Central Processing Unit)１１、ROM(Read Only Memory)１２、およびRAM(Random Access Memory)１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インタフェース１５も接続されている。

入出力インタフェース１５には、録画／再生部１７、入力部１８、出力部１９、HDD２０、通信部２１、メモリカードI/F２２、ドライブ２４、およびUSBポート２６が接続されている。

CPU１１は、ROM１２に記憶されているプログラム、または、HDD２０からRAM１３にロードされたプログラムに従って各種の処理を実行する。RAM１３にはまた、CPU１１が各種の処理を実行する上において必要なデータなどが適宜記憶される。

例えば、CPU１１は、情報処置装置１とUSBケーブルを介して接続されたICレコーダ２から、それにより録音された音声データをUSBポート２６を制御して取り込み、取り込んだ音声データをHDD２０に記憶させる。ICレコーダ２から取り込まれた音声データには、録音日、録音の開始時刻、終了時刻を表すタイムコードが付加されている。

また、CPU１１は、情報処理装置１とUSBケーブルを介して接続されたディジタルカメラ３から、それにより撮影された画像データをUSBポート２６を制御して取り込み、取り込んだ画像データをHDD２０に記憶させる。ディジタルカメラ３から取り込まれた画像データには、Exif(Exchangeable image file format)に従って撮影日、撮影時刻を表す情報（タイムコード）が付加されている。

さらに、CPU１１は、再生する音声データが例えばユーザにより選択されたとき、音声データに付加されているタイムコードを取得し、指定されたディレクトリ内において管理されている、音声データに付加されているタイムコードと同じタイムコードが付加された画像データを検索する。そして、CPU１１は、再生する音声データと同じタイムコードが付加された画像データ（音声データの録音開始時刻から録音終了時刻までの間に撮影された画像データ）を取得し、音声データをスピーカに出力させるとともに、取得した画像データを、音声データのサウンドパターンに合わせたエフェクトを施してディスプレイに表示させる。

録画／再生部１７は、アンテナ１６から供給されてきた信号から取得したテレビジョン番組データを例えばMPEG(Moving Picture Experts Group)2方式で圧縮し、圧縮して得られたデータ（ビデオコンテンツ）を、入出力インタフェース１５を介してHDD２０に供給して記憶させる。また、録画／再生部１７は、HDD２０に記憶されているビデオコンテンツを伸張し、得られるテレビジョン番組の画像データを出力部１９からディスプレイに出力させる。すなわち、情報処理装置１は、テレビジョン番組を録画し、再生する機能を有する。

入力部１８は、例えば、赤外線の受光部よりなる。入力部１８は、図示せぬリモートコントローラからの信号を受信し、ユーザの操作内容を表す情報をCPU１１に出力する。

出力部１９は、入出力インタフェース１５を介して供給されてきた画像データをアナログ信号に変換し、得られた画像をディスプレイに出力する。また、出力部１９は、入出力インタフェース１５を介して供給されてきた音声データをアナログ信号に変換し、得られた音声をスピーカに出力する。

HDD２０は、録画／再生部１７により得られたビデオコンテンツ、メモリカードI/F２２によりメモリカード２３から取り込まれた静止画、USBポート２６とUSBケーブルを介してICレコーダ２から取り込まれた音声やディジタルカメラ３から取り込まれた静止画、ドライブ２４により光ディスク２５から取り込まれ、MP3(MPEG Audio Layer-3)方式などで圧縮された曲データ（オーディオコンテンツ）を記憶する。

通信部２１は、ネットワークを介しての通信処理を行う。

メモリカードI/F２２は、情報処理装置１の筐体に形成されるメモリカードスロットに装着されたメモリカード２３に記憶されているデータを読み出し、読み出したデータをHDD２０などに記憶させる。例えば、静止画のデータなどがメモリカード２３を介して情報処理装置１に取り込まれる。

ドライブ２４は、装着された光ディスク２５を駆動させ、光ディスク２５に記憶されているデータの読み出し、光ディスク２５に対するデータの書き込みを行う。光ディスク２５はCD(Compact Disk)やDVD(Digital Versatile Disc)などであり、この光ディスク２５によっても、静止画、オーディオコンテンツ、ビデオコンテンツなどのデータが情報処理装置１に取り込まれる。

なお、情報処理装置１はゲーム機としての機能も有している。ドライブ２４により光ディスク２５から読み出されたゲーム（プログラム）の画像も、入出力インタフェース１５を介して出力部１９に供給され、ディスプレイに出力される。

USBポート２６は、USBケーブルを介してICレコーダ２やディジタルカメラ３などの外部機器との間で通信を行い、取り込んだ音声や静止画をHDD２０に記憶させる。

図３は、情報処理装置１の機能構成例を示すブロック図である。図３に示す機能部のうちの少なくとも一部は、図２のCPU１１により所定のプログラムが実行されることによって実現される。

図３に示されるように、情報処理装置１においては、管理部３１、データベース（DB）３２、音声解析部３３、再生データ選択部３４、および再生部３５が実現される。

管理部３１は、入出力インタフェース１５を制御して音声データや画像データを取り込み、取り込んだデータを、DB３２に作成された所定のディレクトリに格納させ、管理する。

音声解析部３３は、例えば、ユーザによる選択に応じて再生する音声データをDB３２から読み出し、読み出した音声データの解析を行う。音声解析部３３による解析により、例えば、再生する音声のボリューム、周波数、およびテンポ等のサウンドパターンが解析結果として取得され、再生部３５に出力される。

テンポの算出方法としては、BPM(Beats per minute)解析技術に基づき、例えば、音響信号の特性の激しい変化（アタック音）の立ち上がりまたは立ち下がりを検出することによって求める。楽曲のテンポは、このアタック音のように特徴的に抽出される音響信号の周期とデータのタイムコードから算出することができる。また、ベースラインやシンバルのような特徴的な信号特性をもつ周波数情報等もアタック音として抽出される。

再生データ選択部３４は、再生対象のデータとしてユーザにより選択された音声データをDB３２から読み出し、読み出した音声データを再生部３５に出力する。

また、再生データ選択部３４は、再生対象のデータとしてユーザにより選択された音声データに付加されているタイムコードをDB３２から読み出し、読み出したタイムコードにより表される録音日時を取得する。上述したように、音声データには、ICレコーダ２で録音された日時を表すタイムコードが付加されている。

再生データ選択部３４は、音声データの録音日時を取得したとき、その音声データと同じ日時に撮影された画像データを、DB３２に記憶されている画像データの中からそれぞれの画像データに付加されているタイムコードに基づいて検索する。上述したように、画像データには、ディジタルカメラ３で撮影された日時を表すタイムコードが付加されている。再生データ選択部３４は、そのような、音声データの録音日時と同じ日時に撮影された画像データをDB３２から読み出し、再生部３５に出力する。

再生部３５は、再生データ選択部３４から供給されてきた音声データを再生し、スピーカから出力させるとともに、再生データ選択部３４から供給されてきた画像データを、音声解析部３３により取得されたサウンドパターンに合わせたエフェクトを施してディスプレイに表示させる。すなわち、再生部３５は、サウンドパターンと、画像データに施すエフェクトの内容の対応（テーブル）をあらかじめ有しており、それに基づいて、画像データに施すエフェクトの内容を決定する。

図４は、再生部３５が有するテーブルの例を示す図である。

図４に示すように、テーブルには、音声データのサウンドパターンと、画像データに施すエフェクトパターン（エフェクトの内容）が対応付けられている。図４の例では、サウンドパターンＡ１乃至Ａ４と、エフェクトパターンＥ１乃至Ｅ４がそれぞれ対応付けられている。

ここで、図５を参照して、音声データのサウンドパターンについて説明する。

図５Ａに示すように、音声データが、それぞれの部分に現れる音声変化量（例えば音量の変化量）のレベルに基づいて、音声変化量が第１の閾値より小さいサウンドパターン（音声変化量小）、音声変化量が第１の閾値より大きく、第２の閾値より小さいサウンドパターン（音声変化量中）、および、音声変化量が第２の閾値より大きいサウンドパターン（音声変化量大）の部分に分類される。

また、図５Ｂに示すように、音声データが、それぞれの部分に現れる音声変化量の時間的な増減に基づいて、音声変化量がなめらかに増大（フェードイン）するサウンドパターン、および、音声変化量がなめらかに減衰（フェードアウト）するサウンドパターンの部分に分類される。

さらに、図５Ｃに示すように、音声データが、周期的に現れる変化（例えば、アタック音）に応じたサウンドパターンの部分に分類される。

なお、分類されるサウンドパターンは、例えば、音声変化量が増大と減衰を周期的に繰り返すサウンドパターンなど、図５Ａ乃至図５Ｃのサウンドパターンに限られるものではない。

次に、図６および図７を参照して、画像データに施すエフェクトパターンについて説明する。

図６Ａに示すように、画像を所定の大きさに拡大するエフェクトパターン、図６Ｂに示すように、画像を所定の大きさに縮小するエフェクトパターン、図６Ｃに示すように、画像を画面の上部から下部へ移動させるエフェクトパターン、図６Ｄに示すように、画像を画面の右側から左側へ移動させるエフェクトパターン、および、図６Ｅに示すように、画像を左回りに回転させるエフェクトパターンが例えば用意される。

また、画像を所定の大きさに拡大するエフェクトパターンは、図６Ａのパターンの他、例えば、図７Ａに示すように、画面表示枠（表示領域）全体に画像を表示させている状態から、所定の大きさに拡大することで、画像の表示範囲が変わるようにしてもよい（いわゆる部分拡大表示するようにしてもよい）。同様に、画像を所定の大きさに縮小するエフェクトパターンも、図６Ｂのパターンの他、例えば、図７Ｂに示すように、画像が画面表示枠内に収まっていない状態（部分拡大表示されている状態）から、画面表示枠全体に収まるように縮小してもよい。

また、画像を画面の上部から下部へ移動させるエフェクトパターンは、図６Ｃのパターンの他、例えば、図７Ｃに示すように、図中において実線で囲まれた領域が、画像の一部をなぞるように上部から下部へ移動し、実線で囲まれた領域内の画像が表示され、実線で囲まれた領域外（図中において点線で示された部分）の画像は覆われているようにしてもよい（非表示にしても良い）。同様に、画像を画面の右側から左側へ移動させるエフェクトパターンも、図６Ｄのパターンの他、例えば、図７Ｄに示すように、図中において実線で囲まれた領域が、画像の一部をなぞるように左側から右側へ移動し、実線で囲まれた領域内の画像が表示され、実線で囲まれた領域外の画像は覆われているようにしてもよい。

さらに、画像を左回りに回転させるエフェクトパターンは、図６Ｅのパターンの他、例えば、図７Ｅに示すように、画面表示枠内に収まっていない状態（部分拡大表示されている状態）の画像を左回りに回転させるようにしてもよい。

なお、図６および図７に示したエフェクトパターン以外にも、図示は省略するが、画像を画面の下部から上部へ移動させるエフェクトパターン、画像を画面の左側から右側へ移動させるエフェクトパターン、および、画像を右回りに回転させるエフェクトパターンが例えば用意される。

すなわち、用意されるエフェクトパターンは、図６Ａ乃至図６Ｅ、および図７Ａ乃至図７Ｅのエフェクトパターンに限られるものではなく、例えば、画像を拡大するエフェクトパターン（図６Ａ）と画像を画面の上部から下部へ移動させるエフェクトパターン（図６Ｃ）の組み合わせや、画像を回転するエフェクトパターン（図７Ｅ）と画像を縮小するエフェクトパターン（図７Ｂ）の組み合わせなど、さまざまなパターンが用意されることはいうまでもない。

また、上述したようなエフェクトパターン以外にも、前の画像と次の画像を切り替える際に、トランジションと呼ばれる特殊効果を画像に施すことができる。これもエフェクトの１つである。音声データと同じ日時に撮影された画像データが複数ある場合、音声データが再生されるとともに、それらの複数の画像がエフェクトが施された形で連続的に表示されるが、それぞれの画像の表示のつなぎ目部分には、適宜、このトランジションが施される。

次に、図８を参照して、画像データに施すトランジションパターンについて説明する。

図８Ａに示すように、単に、前の画像から次の画像に切り替えるトランジションパターン、図８Ｂに示すように、前の画像から黒画にフェードアウトして、さらに、黒画から次の画像にフェードインするトランジションパターン、図８Ｃに示すように、前の画像がフェードアウトした後、次の画像に切り替えるトランジションパターン、図８Ｄに示すように、前の画像がフェードアウトした後、次の画像にフェードインするトランジションパターンが例えば用意される。

以上のような、サウンドパターンとエフェクトパターン（トランジションパターンも含む）が対応付けられたテーブルが予め用意され、再生部３５によって保持される。

次に、図９のフローチャートを参照して、情報処理装置１が実行する再生処理について説明する。この処理は、再生対象のデータとして音声データがユーザにより選択され、再生が指示されたときに開始される。

ステップＳ１において、再生データ選択部３４は、ユーザにより再生が指示された音声データをDB３２から読み出し、読み出した音声データを再生部３５に出力する。再生部３５は、再生データ選択部３４から供給されてきた音声データを再生し、スピーカから出力させる。

ステップＳ２において、音声解析部３３は、ユーザにより再生が指示された音声データをDB３２から読み出し、読み出した音声データのボリューム、周波数、およびテンポ等を取得し、サウンドパターンを解析する。

ステップＳ３において、再生データ選択部３４は、ユーザにより再生が指示された音声データに付加されているタイムコードをDB３２から読み出し、読み出したタイムコードにより表される録音日時を取得する。

ステップＳ４において、再生データ選択部３４は、ステップＳ３の処理で取得した録音日時に基づいて、再生対象の音声データと同タイムコードの画像データ（同じ日時に撮影された画像データ）を、DB３２に記憶されている指定ディレクトリ内における画像データの中から検索する。ここで、指定ディレクトリとは、再生対象の音声データが格納されているディレクトリのことであるが、勿論、ユーザにより任意に指定されるディレクトリであってもよい。

ステップＳ５において、再生データ選択部３４は、ステップＳ４の処理により、再生対象の音声データと同タイムコードの画像データが検索されたか否かを判定し、画像データが検索されたと判定した場合、ステップＳ６に進む。

ステップＳ６において、再生データ選択部３４は、検索された再生対象の音声データと同タイムコードの画像データをDB３２から取得し、再生部３５に出力する。

ステップＳ７において、再生部３５は、ステップＳ２の処理で解析されたサウンドパターンに応じたエフェクトパターンをテーブル（図４）から選択する。ステップＳ８において、再生部３５は、ステップＳ７の処理で選択されたエフェクトパターンに基づいて、再生データ選択部３４から供給されてきた画像データにエフェクトをかけてディスプレイに表示させる。

一方、ステップＳ５において、再生対象の音声データと同タイムコードの画像データが検索されなかったと判定された場合、上述したステップＳ６乃至Ｓ８の処理はスキップされ（すなわち、新たな画像表示はなされず）、処理はステップＳ９に進む。

ステップＳ９において、再生部３５は、音声データの再生が終了したか否かを判定し、再生終了ではないと判定した場合、ステップＳ２に戻り、それ以降の処理を繰り返し実行する。

そして、ステップＳ９において、音声データの再生が終了したと判定された場合、再生処理が終了され、ほぼ同じタイミングでいま表示中の画像データの表示も終了される。

以上のように、画像を撮影することができるICレコーダや、音声を録音することができるディジタルカメラといった複合機器がなくても、容易に、音声を再生させつつ、その音声に関連のある画像を表示させることができる。また、音声が再生されている間、音声データのタイムコードと同タイムコードの画像データ（すなわち、音声データに関連性のある画像データ）が繰り返し検索され、検索された画像データにエフェクトが施されて表示されることで、音声に合わせた画像を順次表示させるスライドショーが簡単に（ユーザの操作によらずに）行われる。

以上においては、音声データのタイムコード（録音日時）と同タイムコード（録画日時）の画像データを検索するようにしたが、例えば、音声データのタイムコードに近いタイムコード（例えば、音声データのタイムコードの前後３０秒など）の画像データを検索するようにしてもよい。

また、複数の画像データが検索された場合、検索された複数の画像を同時に（全て）表示させるようにしてもよいし、あるいは、１つずつ順次表示させるようにしてもよい。

さらに、以上においては、音声が再生されている間、音声データのタイムコードと同タイムコードの画像データが検索されるようにしたが、本発明はこれに限られるものではなく、例えば、画像（動画および静止画を含む）が表示されている間、画像データのタイムコードと同タイムコードの音声データ（すなわち、画像データに関連性のある音声データ）が検索されて再生されるようにしてもよい。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図２に示すように、磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory)、DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア、または、プログラムが一時的もしくは永続的に格納されるROM１２や、HDD２０に含まれるハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部２１を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

本発明の一実施形態に係る情報処理装置と、ICレコーダおよびディジタルカメラを示す図である。 図１の情報処理装置の構成例を示すブロック図である。 情報処理装置の機能構成例を示すブロック図である。 テーブルの例を示す図である。 サウンドパターンについて説明する図である。 エフェクトパターンについて説明する図である。 他のエフェクトパターンについて説明する図である。 トランジションパターンについて説明する図である。 再生処理を説明するフローチャートである。

符号の説明

１ 情報処理装置， ２ ICレコーダ， ３ ディジタルカメラ， １１ CPU， １９ 出力部， ２０ HDD， ２６ USBポート， ３１ 管理部， ３２ DB， ３３ 音声解析部， ３４ 再生データ選択部， ３５ 再生部

Claims (6)

1. 取得時刻を表すタイムコードが付加された音声データと画像データを管理する管理手段と、
   前記音声データの特徴を解析する解析手段と、
   前記音声データの特徴と、前記画像データに施すエフェクトの内容を対応付けたテーブルを記憶する記憶手段と、
   再生対象とする前記音声データと同じ時刻に取得された前記画像データを、付加されているタイムコードに基づいて選択し、その音声データの特徴に対応付けられた前記エフェクトの内容に応じたエフェクトを施して前記音声データとともに再生する再生制御手段と
   を備える再生制御装置。
2. 前記再生制御手段は、再生対象とする前記音声データと同じ時刻に取得された前記画像データであって、さらに、再生対象とする前記音声データと同じディレクトリに前記管理手段により管理されている前記画像データを、前記音声データとともに再生する
   請求項１に記載の再生制御装置。
3. 前記エフェクトは、前記画像データの拡大、縮小、移動、回転、または表示範囲の変更の少なくとも１つである
   請求項１に記載の再生制御装置。
4. 前記特徴は、音量または周波数である
   請求項１に記載の再生制御装置。
5. 取得時のタイムコードが付加された音声データと画像データを管理し、前記音声データの特徴と、前記画像データに施すエフェクトの内容を対応付けたテーブルを記憶し、前記音声データと前記画像データを再生する再生制御装置の再生制御方法において、
   前記音声データの特徴を解析する解析ステップと、
   再生対象とする前記音声データと同じ時刻に取得された前記画像データを、付加されているタイムコードに基づいて選択し、その音声データの特徴に対応付けられた前記エフェクトの内容に応じたエフェクトを施して前記音声データとともに再生する再生制御ステップと
   を含む再生制御方法。
6. 取得時のタイムコードが付加された音声データと画像データを管理し、前記音声データの特徴と、前記画像データに施すエフェクトの内容を対応付けたテーブルを記憶し、前記音声データと前記画像データを再生する再生制御装置を制御するコンピュータに実行させるプログラムにおいて、
   前記音声データの特徴を解析する解析ステップと、
   再生対象とする前記音声データと同じ時刻に取得された前記画像データを、付加されているタイムコードに基づいて選択し、その音声データの特徴に対応付けられた前記エフェクトの内容に応じたエフェクトを施して前記音声データとともに再生する再生制御ステップと
   を前記再生制御装置に実行させるプログラム。

Images