JP5245919B2 - 情報処理装置およびプログラム - Google Patents

Description

本発明は、撮影速度より遅い再生速度で再生される映像の再生中に、当該映像の撮影時に記録された音声を再生するための情報を生成する情報処理装置に関する。

通常、動画は１秒あたり３０枚もしくは６０枚の静止画から生成される。動画をなす静止画をフレームという。１秒あたりのフレーム数をフレームレートといい、ｆｐｓ（Ｆｒａｍｅ Ｐｅｒ Ｓｅｃｏｎｄ）という単位で示す。近年では、３００ｆｐｓや１２００ｆｐｓの高フレームレートで撮影する装置がある。撮影時のフレームレートは、撮影レート、又は、記録レートと呼ばれる。

一方、テレビジョン受像機などの再生装置（もしくは表示装置）の規格で規定された再生時のフレームレートは、最大６０ｆｐｓである。なお、映像が再生されるときのフレームレートは再生レートと呼ばれる。このため、例えば、９００ｆｐｓで撮影された映像フレーム群が再生装置で再生される場合には、スローモーションの映像として再生される。例えば、再生レートが３０ｆｐｓの再生装置では、撮影レートの１／３０倍の速度で映像が再生される。或いは、再生レートが６０ｆｐｓの再生装置では、撮影レートの１／１５倍の速度で再生される。

高速な撮影レートで撮影された映像が低速な再生レートで再生される場合に、音声が映像と同じように１／３０倍又は１／１５倍の速度で再生されると、全く意味をなさない音声になる。このため、高速な撮影レートで撮影された映像がスロー再生される場合には、無音であることが多い。

特開２００４−８８５３０号公報 特開２００２−１６８５８号公報 特開２００８−１４８０８５号公報

本発明は、スロー再生されるイベントを含む映像の再生中に、映像の撮影時の音声を違和感なく再生するための情報を生成する情報処理装置を提供することを目的とする。

本発明の態様の一つは、情報処理装置である。この情報処理装置は、
映像の撮影時に記録された音声からイベント音を検出する検出部と、
前記映像の撮影速度より遅い再生速度の映像再生時刻系列上で前記イベント音に応じた映像が再生されるイベント再生時刻を求める算出部と、
前記映像再生時刻系列上での前記イベント音の再生開始時刻を決定する決定部とを含む。

本発明によれば、スロー再生されるイベントを含む映像に合わせて、そのイベントの音声を違和感なく再生するための情報を生成することができる。

情報処理装置のハードウェア構成例を示す図である。 情報処理装置がプログラムを実行することによって実現される機能の説明図である。 情報処理装置の構成例である。 イベント検出時の音声フレーム群の再生開始時刻の算出の例を説明する図である。 情報処理装置の処理フローの例を示す図である。 イベント検出の時間範囲を決定する処理フローの例を示す図である。 区間フラグについてのサブルーチンＡの例を示すフロー図である。 イベント検出の時間範囲を切り出す処理の実行結果の例を示す図である。

以下、図面に基づいて、本発明の実施の形態を説明する。以下の実施形態の構成は例示であり、本発明は実施形態の構成に限定されない。

＜情報処理装置のハードウェア構成＞
図１は、情報処理装置のハードウェア構成例を示す図である。情報処理装置１は、プロセッサ１０１、主記憶装置１０２、入力装置１０３、出力装置１０４、外部記憶装置１０５、媒体駆動装置１０６、およびネットワークインタフェース１０７を備える。それらはバス１０９により互いに接続されている。

入力装置１０３は、例えば、所定の撮影レートで映像を撮影するカメラ、映像撮影時の音声を収集するマイクロフォン、他の装置と接続するインターフェイス等を含む。入力装置１０３のカメラは、所定の撮影レートで映像撮影を行い、映像信号を出力する。マイクロフォンは、収集された音声に応じた音声信号を出力する。

ここで、カメラによる映像の撮影レートは、例えば、３００ｆｐｓである。これに対し、マイク入力による音声の記録レートは、例えば、音声圧縮方式の１つであるＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）のサンプリング周波数の場合には、４８ｋＨｚ，４４．１ｋＨｚ，３２ｋＨｚなどである。このように、入力装置１０３によれば、映像の撮影と録音とが同時に行われた場合に、映像の撮影レート（すなわち記録レート）よりも低い記録レートで音声が記録されることになる。

プロセッサ１０１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｓｅｓｓｉｎｇ Ｕｎｉｔ）や、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）である。プロセッサ１０１は、外部記憶装置１０５に格納されたオペレーティングシステム（ＯＳ）や様々なアプリケーションプログラムを主記憶装置１０２にロードして実行することによって、映像及び音声に係る様々な処理を実行する。

例えば、プロセッサ１０１は、プログラムの実行によって、入力装置１０３から入力される映像信号及び音声信号に対する符号化処理を行い、映像データ及び音声データを得る。映像データ及び音声データは、主記憶装置１０２及び／又は外部記憶装置１０５に格納される。また、プロセッサ１０１は、媒体駆動装置１０６を介して可搬記録媒体に映像データ及び音声データを含む様々なデータを格納することもできる。

また、プロセッサ１０１は、ネットワークインタフェース１０７で受信される映像信号及び音声信号から映像データ及び音声データを生成し、主記憶装置１０２及び／又は外部記憶装置１０５に記録することもできる。

また、プロセッサ１０１は、外部記憶装置１０５や、媒体駆動装置１０６を介して可搬記録媒体１０９から読み出される映像データ及び音声データを主記憶装置１０２上に作成される作業領域に読み出し、映像データ及び音声データに対する様々な処理を行う。映像データは映像フレーム群を含む。音声データは音声フレーム群を含む。プロセッサ１０１による処理は、映像フレーム群及び音声フレーム群から、映像及び音声を再生するためのデータ及び情報を生成する処理を含む。処理の詳細は後述する。

主記憶装置１０２は、プロセッサ１０１に、外部記憶装置１０５に格納されているプログラムをロードする記憶領域および作業領域を提供したり、バッファとして用いられたりする。主記憶装置１０２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような半導体メモリである。

出力装置１０４は、プロセッサ１０１の処理の結果を出力する。出力装置１０４は、ディスプレイ及びスピーカインターフェイス回路等を含む。

外部記憶装置１０５は、様々なプログラムや、各プログラムの実行に際してプロセッサ１０１が使用するデータを格納する。データは、映像データ及び音声データを含む。映像データは、映像フレーム群を含み、音声データは音声フレーム群を含む。外部記憶装置１０５は、例えば、ハードディスクドライブ等である。

媒体駆動装置１０６は、プロセッサ１０１の指示に従って、可搬記録媒体１１０へ情報の読み書きを行う。可搬記録媒体１１０は、例えば、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、フロッピー（登録商標)
ディスク等である。駆動装置１０６は、例えば、ＣＤドライブ、ＤＶＤドライブ、フロッピー（登録商標）ディスクドライブ等である。

ネットワークインタフェース１０７は、ネットワークとの情報の入出力を行うインターフェイスである。ネットワークインタフェース１０７は、有線のネットワーク、および、無線のネットワークと接続する。ネットワークインタフェース１０７は、例えば、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）カード等である。

情報処理装置１は、例えば、デジタルビデオカメラ、ディスプレイ、パーソナルコンピュータ、ＤＶＤプレイヤー、ＨＤＤレコーダ等である。また、それらに格納されるＩＣチップ等である。

＜第１実施形態＞
図２は、情報処理装置１のプロセッサ１０１がプログラムを実行することによって実現される機能の説明図である。情報処理装置１は、プロセッサ１０１がプログラムを実行することによって、検出部１１、算出部１２、及び決定部１３を実現することができる。すなわち、情報処理装置１は、プログラムの実行によって、検出部１１、算出部１２及び決定部１３を備えた装置として機能する。

情報処理装置１には、映像データの映像ファイルと、音声データの音声ファイルとが入力される。映像ファイルは映像フレーム群を含み、音声ファイルは音声フレーム群を含む。音声フレーム群は、映像フレーム群に含まれるイベントの音声を含む。言い換えると、音声フレーム群は、映像フレーム群の映像に含まれるイベントが撮影されたときに記録された音声を含む。

検出部１１は、映像が撮影の撮影時に記録された音声の音声フレーム群を入力として得
る。検出部１１は、音声フレーム群に基づく音声が再生される場合に、イベントに対応するイベント音を含む音声フレームが再生される第１の時刻を検出する。第１の時刻は、音声フレーム群、すなわち音声ファイルの再生開始位置の時刻を基点としたときの時刻である。検出部１１は、第１の時刻を決定部１３に出力する。イベント音を含む音声フレームは、例えば、音声フレーム群中の最大音量レベルを有する音声フレームである。

算出部１２は、映像フレーム群を入力として得る。映像フレーム群は、映像フレーム群の再生速度（再生レート）よりも高速な撮影速度（撮影レート）で生成されている。算出部１２は、撮影速度より遅い再生速度の映像再生時刻系列上でイベントを含む映像フレームが再生される第２の時刻を検出する。第２の時刻は、映像フレーム群の再生開始位置の時刻を基点としたときの時刻である。算出部１２は、第２の時刻を決定部１３に出力する。第２の時刻は、 例えば、第１の時刻に、再生速度に対する映像フレーム群の撮影速度
の比率を乗じて求めることができる。

決定部１３は、第１の時刻と第２の時刻とを入力として得る。決定部１３は、第２の時刻から第１の時刻を減算した時刻を、映像フレーム群の再生開始時刻を基点とした場合の音声フレーム群の再生開始時刻として決定する。決定部１３は、映像フレーム群の再生開始時刻を基点とした場合の音声フレーム群の再生開始時刻を出力する。

映像フレーム群と、音声フレーム群と、映像フレーム群の再生開始時刻を基点とした場合の音声フレーム群の再生開始時刻を、情報処理装置１の後段の再生装置が入力として得る。後段の再生装置が、映像フレーム群の再生開始から、情報処理装置１から得た再生開始刻に音声フレーム群を再生することで、イベントを含む映像フレームとイベント音を含む音声フレームとを同時刻に再生することができる。したがって、情報処理装置１は、映像フレーム群が撮影速度よりも遅い再生速度で再生される場合に、イベントを含む映像フレームとイベント音を含む音声フレームとを同時刻に再生可能となる情報を提供することができる。

尚、情報処理装置１のプロセッサ１０１は、例えば、映像フレーム群及び音声フレーム群を、入力装置１０３、外部記憶装置１０５、可搬記録媒体１１０、又はネットワークインタフェース１０７から入力として得る。プロセッサ１０１は、例えば、外部記憶装置１０５に格納されたプログラム、または、媒体駆動装置１０６を介して可搬記録媒体１１０に記録されたプログラムを読み出し、主記憶装置１０２にロードして実行する。プロセッサ１０１は、プログラムを実行することで、検出部１１、算出部１２、及び決定部１３の処理を実行する。プロセッサ１０１は、プログラムの実行結果として、映像フレーム群の再生開始時刻を基点とした場合の音声フレーム群の再生開始時刻を、たとえば、出力装置１０４及び外部記憶装置１０５等に出力する。

＜第２実施形態＞
第２実施形態の情報処理装置は、高速なフレームレートで映像フレーム群を生成し、表示装置が有する表示レートで映像フレーム群をスロー再生する場合に、イベントを有する映像フレームとイベントを有する音声フレームとを同時刻に再生可能となる情報を生成する。

第２実施形態では、音声フレーム群は、１秒間におけるサンプリング数ｎと同じ速度で再生される。すなわち、音声フレーム群は、１秒間にｎ個のサンプルを出力する。音声フレームは、サンプルと同義であり、１つの音声フレームが占有するフレーム時間は、１サンプルの時間（１／ｎ秒）である。

図３は、情報処理装置の例を示す図である。情報処理装置２は、時間制御部２１と、映
像再生時刻付加部２２と、イベント検出部２３と、イベント発生時刻生成部２４と、音声再生時刻生成部２５と、音声再生時刻付加部２６とを備える。情報処理装置２のハードウェア構成は、情報処理装置１と同様である。

時間制御部２１は、映像取込速度と、映像再生速度とを入力として得る。映像取込速度は、入力装置１０３（図１）で映像フレーム群が取り込まれるときのフレームレートである。映像再生速度は、映像フレーム群及び音声フレーム群を再生できる出力装置１０４（図４）、または、情報処理装置１の後段の再生装置の再生レート又は表示レートである。映像取込速度をＭ（ｆｐｓ）、映像再生速度をＮ（ｆｐｓ）とする。映像取込速度Ｍは映像再生速度Ｎよりも高速である、すなわち、Ｍ＞Ｎである。この場合、映像フレーム群は、Ｎ／Ｍ倍速でスロー再生される。時間制御部２１は、たとえば、外部記憶装置１０５（図１）に格納される映像取込速度と映像再生速度を読み出す。もしくは、時間制御部２１は、ネットワークインタフェース１０７（図１）等から、後段の再生装置の映像再生速度を取得する。

時間制御部２１は、基準時刻生成部２１ａと補正時刻生成部２１ｂとを含む。基準時刻生成部２１ａは、基準時刻を生成する。基準時刻には、プロセッサ１０１（図１）が生成するクロックのクロック数を用いてもよいし、情報処理装置２の起動時間を用いてもよい。基準時刻生成部２１ａは、補正時刻生成部２１ｂと音声再生時刻生成部２５とに基準時刻を出力する。

補正時刻生成部２１ｂは、基準時刻を入力として得る。補正時刻生成部２１ｂは、基準時刻から、映像フレーム群が映像再生速度Ｎで再生されるときの時刻を生成する。補正時刻生成部２１ｂは、基準時刻に映像再生速度Ｎに対する映像取込速度Ｍの比率であるＭ／Ｎを乗じて補正時刻を求める。補正時刻生成部２１ｂは、補正時刻を映像再生時刻付加部２２とイベント発生時刻生成部２４とに出力する。

映像再生時刻付加部２２は、補正時刻と映像フレームとを入力として得る。映像再生時刻付加部２２は、入力される映像フレームに、映像フレームの再生時刻ＴＶｏｕｔをタイムスタンプとして付加する。映像再生時刻付加部２２は、映像フレームの入力が開始された時刻、すなわち映像フレーム群の先頭フレームが入力された時刻を０として、カウントを開始する。映像フレームの再生時刻ＴＶｏｕｔは、映像フレームが入力されるときに、補正時刻生成部２１ｂから入力される補正時刻である。ＴＶｏｕｔは、映像フレームが情報処理装置２に入力されるときの基準時刻をＴＶｉｎとすると、下記の式１で表わされる。

である。映像再生時刻付加部２２は、タイムスタンプとしてＴＶｏｕｔが付加された映像フレームを出力する。

イベント検出部２３は、音声フレームを得る。イベント検出部２３は、音声フレーム群からイベントの発生を検出する。イベントとは、短い時間に一定のレベル以上の音量を有する音声が発生する現象のことである。イベントは、たとえば、ガラスに弾丸が当たる、ゴルフクラブのヘッドがボールに当たる、テニスラケットのラケット面にボールが当たる、などの現象である。

イベント検出部２３は、入力される各音声フレームについて音量レベルを求め、その音
量レベルを主記憶装置１０２（図１）にバッファする。イベント検出部２３は、バッファした音声フレーム群の先頭フレームから終了フレームまでの音量レベルについて下記の式２及び式３を満たすか否かを判定する。音量レベルの最大閾値をＴｈＡＭａｘ、音量レベルの最小閾値をＴｈＡＭｉｎとする。

上記式１及び式２が満たされた場合に、イベント検出部２３は、音声フレーム群中のイベントを検出する。イベント検出部２３は、音声フレーム群中のイベントの検出結果を、イベント発生時刻生成部２４に出力する。

イベント検出部２３は、イベントを検出した場合には、イベントの検出結果として、イベントの発生を示す「ＯＮ」と、最大音量レベルを持つ音声フレームの情報とをイベント発生時刻生成部２４に出力する。音声フレームの情報とは、例えば、音声フレームに含まれる識別子などである。

イベントを検出しなかった場合には、イベントの検出結果として、イベントがないことを示す「ＯＦＦ」をイベント発生時刻生成部２４に出力する。なお、イベント検出部２３は、入力される音声フレームについて、順次音量レベルの算出を行い、イベントの検出結果にかかわりなく、例えば、１秒間にｎ個の速度で、音声フレームをイベント発生時刻生成部２４と音声再生時刻生成部２５とに出力する。イベントが検出された場合の、最大音量レベルを有する音声フレームを、イベントを有する音声フレームという。

音声再生時刻生成部２５は、基準時刻と、１秒間にｎ個の速度で入力される音声フレームを入力として得る。音声再生時刻生成部２５は、１秒間にｎ個の速度で入力される音声フレームに、音声フレームの再生時刻ＴＡｏｕｔをタイムスタンプとして付加する。音声再生時刻生成部２５は、音声フレームの入力が開始された時刻、すなわち音声フレーム群の先頭フレームが入力された時刻を０として、カウントを開始する。音声フレームの再生時刻ＴＡｏｕｔは、音声フレームが入力されるときに、基準時刻生成部２１ａから入力される基準時刻である。ＴＡｏｕｔは、音声フレームが入力されるときの基準時刻をＴＡｉｎとすると、下記の式４で表わされる。

第２実施形態では、音声フレームは、音声フレームが生成された速度と同じ速度で再生されると想定しているためである。音声再生時刻生成部２５は、タイムスタンプとしてＴＡｏｕｔが付加された音声フレームを出力する。

イベント発生時刻生成部２４は、１秒間にｎ個の速度で入力される音声フレームと、イベントの検出結果と、補正時刻とを入力として得る。イベント発生時刻生成部２４は、音声フレームの入力が開始された時刻、すなわち音声フレーム群の先頭フレームが入力された時刻を０として、補正時刻のカウントを開始する。イベント発生時刻生成部２４は、音声フレームが入力されるたびに、音声フレームの識別子と、音声フレームが入力された補正時刻を主記憶装置１０２（図１）にバッファする。

イベント発生時刻生成部２４は、イベントの検出結果として、イベントの発生を示す「
ＯＮ」と最大音量レベルを有する音声フレームの情報とが入力されると、バッファからその音声フレームの入力された時刻を読み出して、映像補正時刻ＴＥｏｕｔとして出力する。映像補正時刻ＴＥｏｕｔは、最大音量レベルを有する音声フレームが入力される基準時刻を音声基準時刻ＴＥｉｎとすると、映像補正時刻ＴＥｏｕｔはその時の補正時刻なので、以下の式（５）で表わされる。

上記式５より、映像補正時刻ＴＥｏｕｔは、映像フレーム群を映像再生速度Ｎで再生した場合の、イベントを有する映像フレームが出力される時刻である。すなわち、映像補正時刻ＴＥｏｕｔは、映像フレーム群を映像再生速度Ｎで再生する際の映像再生時刻系列における、イベントが発生する時刻である。尚、音声基準時刻ＴＥｉｎは、音声フレーム群を１秒間にｎ個の速度で再生する際の音声再生時刻系列における、イベントが発生する時刻である。イベント発生時刻生成部２４は、映像補正時刻ＴＥｏｕｔと、イベントを有する音声フレームの情報を音声再生時刻付加部２６に送信する。尚、イベント発生結果が「ＯＦＦ」である場合には、イベント発生時刻生成部２４は、バッファ内の音声フレームの識別子と、音声フレームが入力された補正時刻との情報を廃棄する。

音声再生時刻付加部２６は、ＴＡｏｕｔが付加された音声フレームと、映像補正時刻ＴＥｏｕｔと、イベントを有する音声フレームの情報とを入力として得る。音声再生時刻付加部２６は、入力される音声フレームを主記憶装置１０２（図１）にバッファする。音声再生時刻付加部２６は、映像補正時刻ＴＥｏｕｔが入力されない場合には、すなわち、イベントが検出されない場合には、音声フレームを出力しない。音声再生時刻付加部２６は、映像補正時刻ＴＥｏｕｔが入力された場合には、すなわち、イベントが検出された場合には、イベントを有する映像フレームと、イベントを有する音声フレームとに同時刻を付加する処理を実行する。

図４は、イベント検出時の音声フレーム群の再生開始時刻の算出の例を説明する図である。図４では、ゴルフのスイングシーンを例として用いる。ゴルフのスイングシーンにおけるイベントは、ゴルフクラブのヘッドがゴルフボールに当たる現象である。この現象は、一般的に、「インパクト」と呼ばれる。また、インパクト時に発生する音を、「インパクト音」という。イベント検出部２３は、音声フレーム群からインパクト音を検出することで、イベントの発生を検出する。音声再生時刻付加部２６は、インパクトの映像フレームが再生されるときに、インパクト音が再生されるように、音声フレーム群の再生開始時刻を算出する。

音声再生時刻付加部２６は、入力されたイベントを有する音声フレームの情報から、イベントを有する音声フレームに付加されている時刻を音声基準時刻ＴＥｉｎとして読み出す。音声再生時刻付加部２６は、入力された映像補正時刻ＴＥｏｕｔと音声基準時刻ＴＥｉｎとから、音声フレーム群の再生開始時刻ＴＡｓｔａｒｔを算出する。

音声再生時刻付加部２６は、再生開始時刻ＴＡｓｔａｒｔをオフセットとして、音声フレームの再生時刻ＴＡｏｕｔを付加しなおす。すなわち、以下の式７によって、音声フレームの再生時刻ＴＡｏｕｔを算出する。

音声再生時刻付加部２６は、音声再生時刻ＴＡｏｕｔが付加された音声フレームを出力する。式６及び式７によって、イベントを有する映像フレームとイベントを有する音声フレームとが出力される時刻を同期させることができる。すなわち、図４に示されるように、映像フレーム群が映像再生速度Ｎで再生される場合の映像再生時刻系列のイベント発生時刻と、音声の再生時刻系列のイベント発生時刻とが重なるように、音声の再生時刻系列をオフセットすることができる。

図５は、情報処理装置２の処理フローの例を示す図である。情報処理装置２は、音声フレーム及び映像フレームが入力されると、たとえば、外部記憶装置１０５（図１）からプログラムを読み出して、図５に示すフローを実行する。

情報処理装置２は、音声フレーム群からイベントの検出を行う（ＯＰ１）。具体的には、上述のように、イベント検出部２３が、音声フレーム群中のイベントの発生を検出する。

イベントが検出される場合には（ＯＰ２：Ｙｅｓ）、情報処理装置２は、音声フレーム群の再生開始時刻ＴＡｏｕｔを算出する（ＯＰ３）。再生開始時刻ＴＡｏｕｔは、音声再生時刻付加部２６において、式６を用いて算出される。

情報処理装置２は、音声再生時刻付加部２６において、式７を用いて、音声フレームに再生開始時刻ＴＡｏｕｔをオフセットした再生時刻を付加する（ＯＰ４）。その後、情報処理装置２は、音声フレーム群と映像フレーム群を出力する（ＯＰ５）。

イベントが検出されない場合には（ＯＰ２：Ｎｏ）、情報処理装置２は、映像のみを出力数する（ＯＰ６）。

尚、ＯＰ５及びＯＰ６において出力される映像フレームには、映像再生時刻付加部２２によって、映像再生速度Ｎで再生する場合の再生時刻が付加されている。

情報処理装置２は、映像フレームに、映像再生速度Ｎで再生される場合の再生時刻を付加する。また、情報処理装置２は、音声フレームに、１秒間にｎ個の速度で再生される場合の再生時刻を付加する。このとき、情報処理装置２は、イベントを有する音声フレームと映像フレームとに同時刻を付加する。すなわち、情報処理装置２は、イベントを有する音声フレームの再生時刻に、映像再生速度Ｎに対する映像取込速度Ｍの比率を乗算して、イベントを有する映像フレームの再生時刻を検出する。情報処理装置２は、イベントを有する映像フレームの再生時刻からイベントを有する音声フレームの再生時刻を減算して、音声フレーム群の再生開始時刻を算出する。情報処理装置２は、音声フレーム群の再生開始時刻をオフセットとして、各音声フレームに再生時刻を付加する。このようにすることで、イベントを有する映像フレームの再生時刻に、イベントを有する音声フレームが再生されるような再生時刻が付加された音声フレーム群を生成することができる。例えば、後段の再生装置が、音声フレームと映像フレームに付加された再生時刻にしたがって、音声フレーム群と、映像再生速度Ｎで映像フレーム群とを再生すると、イベントを有する映像
フレームとイベントを有する音声フレームとを同時刻に再生することができる。したがって、情報処理装置２は、映像取込速度Ｍで取り込まれた映像フレーム群を、映像再生速度Ｎで再生する場合に、イベントを有する映像フレームとイベントを有する音声フレームとを同時刻に再生可能となる情報を提供することができる。

尚、情報処理装置２のプロセッサ１０１は、例えば、映像フレーム群と音声フレーム群とを、入力装置１０３、外部記憶装置１０５、媒体駆動装置１０６を介して可搬記録媒体１１０、及びネットワークインタフェース１０７から入力として得る。プロセッサ１０１は、例えば、外部記憶装置１０５に格納されたプログラム、または、媒体駆動装置１０６を介して可搬記録媒体１１０に記録されたプログラムを読み出し、主記憶装置１０２にロードして実行する。プロセッサ１０１は、プログラムを実行することで、時間制御部２１（基準時刻生成部２１ａと補正時刻生成部２１ｂ）、映像再生時刻付加部２２、イベント検出部２３、イベント発生時刻生成部２４、音声再生時刻生成部２５、及び音声再生時刻付加部２６の処理を実行する。プロセッサ１０１は、プログラムの実行結果として、フレームごとに、再生時刻を付加された映像フレーム群と音声フレーム群を、たとえば、出力装置１０４及び外部記憶装置１０５等に出力する。

＜変形例１＞
第２実施形態では、映像フレーム及び音声フレームに再生時刻を示すタイムスタンプを付加した。これに代えて、情報処理装置２が、出力装置としてディスプレイなどの表示装置を備える場合には、タイムスタンプを付加せずに、映像フレーム群の再生開始時刻にから音声フレーム群の再生開始時刻ＴＡｓｔａｒｔを求める。表示装置は、映像フレーム群の再生（若しくは表示）を開始してから、再生開始時刻ＴＡｓｔａｒｔになったら、音声フレーム群の再生を開始すればよい。

＜変形例２＞
第２実施形態では、音声フレーム群が１秒間におけるサンプリング数ｎで生成され、１秒間にｎ個の速度で再生される、すなわち、音声の取込速度と再生速度が等しい場合について説明した。音声フレーム群は、映像取込速度Ｍと映像再生速度Ｎとの比率に応じて、１秒間にｎ個の速度よりも低速の音声再生速度でスロー再生することもできる。

この場合には、例えば、図３における補正時刻生成部２１ｂが、音声フレーム群用の補正時刻として音声補正時刻を生成する。

音声が再生される速度を音声再生速度ｓ（１秒間にｓ個再生）と定義する。音声が取り込まれるときの速度を音声取込速度ｎ（１秒間のサンプリング数ｎ）と定義する。情報処理装置２は、音声再生速度ｓを、映像取込速度Ｍと映像再生速度Ｎとの比率（Ｍ／Ｎ）をもとに決定する。音声を映像再生速度に対して何分の１倍の速度でスロー再生するかを制御する係数は、スロー再生度βとして、以下のように定義される。

ただし、音声再生速度ｓが音声取込速度ｎより大きくなると、スロー再生ではなく、倍
速再生になってしまうため、スロー再生度を制御する係数αに下限値が設けられる。また、音声フレーム群は、映像フレーム群と同じ倍速（Ｎ／Ｍ倍）でスロー再生する必要はな
いので、スロー再生度を制御する係数αは１より小さい値でよい。すなわち、Ｎ／Ｍ＜α＜１である。

補正時刻生成部２１ｂは、基準時刻に音声映像再生速度ｓに対する音声取込速度ｎの比率であるｎ／ｓを乗じて音声フレーム群用の音声補正時刻を求める。音声フレーム群を音声再生速度ｓで再生する場合の、ＴＡｏｕｔは、音声フレームが入力されるときの基準時刻をＴＡｉｎとすると、以下のようになる。

同様にして、音声補正時刻に基づいて、音声フレームのタイムスタンプが生成される。したがって、イベントが検出される場合の、最大音量レベルを有する音声フレームが入力される基準時刻を音声基準時刻ＴＥｉｎとすると、そのフレームが再生される再生時刻ＴＡＥｉｎは、以下の通りである。

映像の再生時刻系列におけるイベントの発生時刻である映像補正時刻ＴＥｏｕｔは、第２実施形態と同じ値である。したがって、音声取込速度ｎ、音声再生速度ｓである場合には、音声フレーム群の再生開始時刻ＴＡｓｔａｒｔは以下のようになる。

したがって、音声取込速度と音声再生速度が異なる場合、すなわち、音声もスロー再生する場合でも、イベントを有する音声フレームとイベントを有する映像フレームとが同時刻に再生されるように、再生音声フレーム群の再生開始時刻ＴＡｓｔａｒｔを算出することができる。

映像再生速度と映像取込速度との比率に応じて、音声再生速度も低速に変えることによって、映像シーンに合わせた臨場感のある音声を出力することができる。

＜変形例３＞
第２実施形態では、イベント検出を音声フレーム群の先頭フレームから終了フレームまでの時間、すなわち、全音声フレーム群に対して実行した。例えば、音声フレーム群の先頭フレームの入力される時刻を０、終了フレームの入力される時刻をＴとすると、第２実施形態では、時刻０から時刻Ｔまでの範囲で、イベントの検出を行った。時刻０から時刻Ｔまでの範囲を［０、Ｔ］と表記する。

これに代えて、イベント検出の時間範囲［ｔ１、ｔ２］（０＜ｔ１＜ｔ２＜Ｔ）でイベントの検出を行うこともできる。この場合には、時間範囲［０、ｔ２−ｔ１］と置き換えて、イベント発生時刻である音声基準時刻ＴＥｉｎを求め、音声基準時刻ＴＥｉｎにオフセット分ｔ１を加算した値（ＴＥｉｎ＋ｔ１）から、ＴＥｏｕｔを求めればよい（式５）。

また、以下のようにイベント検出の時間範囲を決定することもできる。図６は、イベント検出の時間範囲を決定する処理フローの例を示す図である。

情報処理装置２のイベント検出部２３は、音声フレームが入力されると処理を開始する。イベント検出部２３は、変数ｎ＝ｎ＋１に設定する（ＯＰ１１）。この変数は、イベント検出部２３に入力される音声フレームに対して付加され、音声フレームを識別する値となる。変数ｎの初期値は０である。以降、音声フレームｎとは、ｎ番目に入力された音声フレームを指す。

イベント検出部２３は、音声フレーム（ｎ）の音量レベルを算出する（ＯＰ１２）。イベント検出部２３は、音声フレーム（ｎ）の音量レベルを主記憶装置１０２に格納する。その後、イベント検出部２３は、区間フラグＡについてのサブルーチンＡを実行する（ＯＰ１３）。

図７は、区間フラグについてのサブルーチンＡの例を示すフロー図である。イベント検出部２３は、区間フラグＡが「０」であるか否かを判定する（ＯＰ１３１）。区間フラグとは、音声フレーム（ｎ）がイベント検出の時間範囲に含まれるか否かを示すフラグである。区間フラグが「０」である場合には、音声フレーム（ｎ）がイベント検出の時間範囲に含まれていないことを示す。区間フラグが「１」である場合には、音声フレーム（ｎ）がイベント検出の時間範囲に含まれることを示す。尚、区間フラグＡの初期値は「１」である。すなわち、最初の音声フレームの入力からイベント検出の時間範囲がかいしされる。

区間フラグが「０」である場合には（ＯＰ１３１：Ｙｅｓ）、イベント検出部２３は、音声フレームｎと、その一つ前の音声フレーム（ｎ−１）との音量レベルとが、イベント検出の時間範囲（以下、区間という）の開始条件を満たすか否かを判定する。区間の開始条件は、例えば、以下の通りである。
（区間の開始条件）
ＴｈＡＭａｘ＜Ｌｖ（ｎ−１）
且つ
Ｌｖ（ｎ）＜ＴｈＡＭｉｎ
尚、ＴｈＡＭａｘは音量レベルの最大閾値であり、ＴｈＡＭｉｎは音量レベルの最小閾値である。Ｌｖ（ｎ）は、音声フレーム（ｎ）の音量レベルである。変形例３では、イベント音の立ち下がりを区間の開始とする。

音声フレーム（ｎ）の音量レベルと音声フレーム（ｎ−１）の音量レベルとが、区間開始条件を満たす場合には（ＯＰ１３２：Ｙｅｓ）、イベント検出部２３は、音声フレーム（ｎ）を区間Ａの開始フレームとして決定する。イベント検出部２３は、区間フラグＡを「１」に更新する。イベント検出部２３は、カウンタＡを０にセットする。なお、カウンタＡは、１つの区間内のイベントを有する可能性のある音声フレームの数をカウントする（ＯＰ１３３）。

音声フレーム（ｎ）の音量レベルと音声フレーム（ｎ−１）の音量レベルとが、区間開始条件を満さない場合には（ＯＰ１３２：Ｎｏ）、区間フラグＡについてのサブルーチンＡが終了し、次にＯＰ１４（図６）の処理が実行される。

区間フラグＡが「０」でない場合、すなわち、区間フラグＡが「１」である場合には（ＯＰ１３１：Ｎｏ）、イベント検出部２３は、音声フレーム（ｎ）が、イベントを有する可能性がある音声フレームか否かを判定する（ＯＰ１３４）。イベント検出部２３は、音声フレーム（ｎ）がイベントを有する可能性がある音声フレームか否かを判定するために
、以下の条件を用いる。
（イベント検出の可能性の判定条件）
Ｌｖ（ｎ−１）＜ＴｈＡＭｉｎ
且つ
ＴｈＡＭａｘ＜Ｌｖ（ｎ）
上記判定条件は、音声フレーム（ｎ）が、イベント音の立ち上がりを検出する。

音声フレーム（ｎ）がイベントを有する可能性がある音声フレームであると判定された場合には（ＯＰ１３４；Ｙｅｓ）、イベント検出部２３は、カウンタＡの値に１を加算し（ＯＰ１３５）、カウンタＡの値が２以上か否かを判定する（ＯＰ１３６）。

カウンタＡの値が２以上である場合には（ＯＰ１３６：Ｙｅｓ）、区間Ａの中にイベントが含まれる可能性のある音声フレームが２以上含まれることになるので、イベント検出部２３は、フレーム（ｎ−１）を区間Ａの終点フレームとする。さらに、イベント検出部２３は、区間フラグＡを「０」に更新する（ＯＰ１３７）。カウンタを使用して、区間内のイベントを有する可能性のある音声フレーム数を数えることによって、１つの区間内には、１つのイベントを有する可能性がある音声フレームが存在することになる。

カウンタＡの値が２以上でない場合には（ＯＰ１３６：Ｎｏ）、区間フラグＡについてのサブルーチンＡが終了し、次にＯＰ１４（図６）の処理が実行される。

音声フレーム（ｎ）がイベントを有する可能性がある音声フレームではないと判定された場合には（ＯＰ１３４；Ｎｏ）、イベント検出部２３は、音声フレーム（ｎ）の音量レベルと音声フレーム（ｎ−１）の音量レベルとが、区間の終了条件を満たすか否かを判定する（ＯＰ１３８）。区間の終了条件は、例えば、以下の通りである。
（区間の終了条件）
Ｌｖ（ｎ−１）＜ＴｈＡＭｉｎ
且つ
ＴｈＡＭｉｎ＜Ｌｖ（ｎ）＜ＴｈＡＭａｘ
音声フレーム（ｎ）の音量レベルと音声フレーム（ｎ−１）の音量レベルとが、上記区間の終了条件を満たす場合（ＯＰ１３８：Ｙｅｓ）、イベント発生部２３は、ＯＰ１３７の処理を行う。すなわち、区間Ａの終点フレームが決定される。

区間フラグＢのサブルーチンＢ（ＯＰ１４）は、図７に示されるフロー図において、区間フラグＡを区間フラグＢに、区間Ａを区間Ｂに、カウンタＡをカウンタＢに読みかえればよい。ただし、区間フラグＢの初期値は「０」である（区間フラグＡの初期値は「１」）。

図６に戻って、ＯＰ１５において、音声フレームの入力がされると（ＯＰ１５：Ｙｅｓ）、再びＯＰ１１の処理が実行される。例えば、一定時間経過しても音声フレームが入力されない場合には、音声フレームの入力がないとみなし（ＯＰ１５：Ｎｏ）、イベント検出の時間範囲の切り出し処理を終了する。

図６、図７に示したフローをイベント検出部２３が実行することによって、イベント検出を行うべき時間範囲の開始フレームと終点フレームとが特定される。このあと、イベント検出部２３は、特定された開始フレームと終点フレームとの間に含まれる音声フレームについて、イベント検出処理を実行し、イベントを有する音声フレームを検出する。

図８は、イベント検出部２３がイベント検出の時間範囲を切り出す処理を実行した結果の例を示す図である。図８に示される例では、音声フレーム群の開始フレームから終了フ
レームまでの間に、イベントがＰ１，Ｐ２，Ｐ３と複数含まれる場合を示す。図６及び図７に示す処理が実行されることによって、イベントＰ１による音量レベルの立ち下がり時点から、イベントＰ３による音量レベルの立ち下がり時点までを切り出すことができる。また、時間範囲の中間時点あたりにイベントＰ２が含まれるように切り出すことができる。さらに、図６及び図７に示される処理において、区間フラグを複数用い、それぞれの初期値を異なる値に設定することによって、例えば、イベントＰ１を含む区間１、イベントＰ２を含む区間２、及びイベント３を含む区間３というように、重なりあう区間を切り出すことができる。このように、１つの音声フレーム群中の複数のイベントが含まれる場合でも、各イベントを含む区間を切り出すことができ、各イベントを検出することができる。

１、２ 情報処理装置
１１ 検出部
１２ 算出部
１３ 決定部
２１ 時間制御部
２１ａ 基準時刻生成部
２１ｂ 補正時刻生成部
２２ 映像再生時刻付加部
２３ イベント検出部
２４ イベント発生時刻生成部
２５ 音声再生時刻生成部
２６ 音声再生時刻付加部
１０１ プロセッサ
１０２ 主記憶装置
１０３ 入力装置
１０４ 出力装置
１０５ 外部記憶装置
１０６ 媒体駆動装置
１０７ ネットワークインタフェース
１０９ バス
１１０ 可搬記録媒体

Claims (5)

1. 映像の撮影時に記録された音声からイベント音を検出し、該音声の音声フレーム群の再生開始位置の時刻を基点として、前記イベント音を含む音声フレームが再生される時刻を検出する検出部と、
   前記映像の撮影速度より遅い再生速度の映像再生時刻系列上での前記イベント音の再生開始時刻を、前記イベント音を含む音声フレームが再生される時刻と、前記撮影速度と前記再生速度との比率と、を用いて、決定する決定部と
   を含む情報処理装置。
2. 映像の撮影時に記録された音声からイベント音を検出し、該音声の音声フレーム群の再生開始位置の時刻を基点として、前記イベント音を含む音声フレームが再生される第１の時刻を検出する検出部と、
   映像フレーム群が前記映像の撮影速度より遅い再生速度で再生される場合の映像再生時刻系列において前記イベント音に対応するイベントを含む映像フレームが再生される第２の時刻を取得する取得部と、
   前記第２の時刻から前記第１の時刻を減算した時刻を、前記映像フレーム群の再生開始時刻を基点としたときの前記イベント音を含む音声フレームを含む音声フレーム群の再生開始時刻として決定する決定部と、
   を備える情報処理装置。
3. 前記映像フレーム群のそれぞれの映像フレームに、前記再生速度で再生される時刻を付加する映像時刻付加部と、
   前記音声フレーム群の前記再生開始時刻を前記音声フレーム群の再生時刻のオフセットとして、再生される時刻を前記音声フレーム群のそれぞれの音声フレームに付加することで、前記第２の時刻を前記イベント音を含む音声フレームに付加する音声時刻付加部と、をさらに備える請求項２に記載の情報処理装置。
4. 前記検出部は、前記音声フレーム群の１つの音声フレームの信号特性と前記音声フレームの１つ前の音声フレームの前記信号特性との関係に基づき、前記音声フレーム群の連続する複数の音声フレームを抜き出し、前記連続する複数の音声フレームの中に前記イベン
   ト音を含む音声フレームが存在するか否かを検出し、前記イベント音を含む音声フレームが存在する場合に該音声フレームが再生される時刻を前記第１の時刻として検出する
   請求項２又は３に記載の情報処理装置。
5. 情報処理装置に、所定の撮影速度で撮影された映像フレーム群が前記撮影速度より遅い再生速度で再生される場合の再生時刻系列上で、前記映像フレーム群に含まれるイベントに対応するイベント音を前記イベントの再生に適合させて再生するための情報を生成する処理を実行させるプログラムであって、前記処理は、
   前記イベント音を含む音声フレームが再生される第１の時刻を検出するステップと、
   前記映像フレーム群が前記再生速度で再生される場合に、前記イベントを含む映像フレームが再生される第２の時刻を取得するステップと、
   前記第２の時刻から前記第１の時刻を減算した時刻を、前記映像フレーム群の再生開始時刻を基点としたときの前記イベント音を含む音声フレームを含む音声フレーム群の再生開始時刻として決定するステップと、
   を含むプログラム。

Images