JP4161459B2 - メディア処理方法 - Google Patents
メディア処理方法 Download PDFInfo
- Publication number
- JP4161459B2 JP4161459B2 JP08112399A JP8112399A JP4161459B2 JP 4161459 B2 JP4161459 B2 JP 4161459B2 JP 08112399 A JP08112399 A JP 08112399A JP 8112399 A JP8112399 A JP 8112399A JP 4161459 B2 JP4161459 B2 JP 4161459B2
- Authority
- JP
- Japan
- Prior art keywords
- segment
- audio
- video
- selection step
- audio segment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、動画、音声などの連続視聴覚情報（メディアコンテンツ）の視聴、再生において、該当メディアコンテンツのあらすじやハイライトシーン、あるいは視聴者が見たいと希望するシーンのみを抽出する場合における、動画と音声の同期処理方法を提供するものである。
【０００２】
【従来の技術】
従来、動画の特定シーンの検索を行う方法として、特開平10-111872号公報のように、動画の場面の切り替わり（シーンカット）を検出し、シーンカットごとに、開始フレームのタイムコード、終了フレームのタイムコード、該当シーンのキーワードの付加情報をつけて行っていた。
【０００３】
あるいは、カーネギーメロン大学（ＣＭＵ）では、動画のシーンカットの検出、人間の顔やキャプションの検出、音声認識によるキーフレーズの検出などにより、動画の要約を行っていた（Michael A. Smith, Takeo Kanade, 「Video Skimming and Characterization through the Combination of Image and Language Understanding Techniques」、CMU-CS-97-111, 1997年2月3日）。
【０００４】
【発明が解決しようとする課題】
しかしながら従来の方法では、動画と音声の同期といった問題は扱われていない。メディアコンテンツでは、場面の切り替わりと音声の切り替わりは、必ずしも同期しているとは限らない。したがって、ある特定の場面を再生する場合、動画の区切りのみで処理を行うと、音声の途切れや無音区間が発生する。
【０００５】
本発明は、メディアコンテンツの一部のみを抽出する場合において、場面の切り替わりと音声の切り替わりを考慮し、音声の途切れをなくし、かつ音声のみの区間や画像のみの区間を可能な限り小さくする方法を提供するものである。
【０００６】
【課題を解決するための手段】
この課題を解決するために本発明は、メディアコンテンツと、前記メディアコンテンツの動画における、場面の切り替わりに相当する区分（動画セグメント）の時間情報を記述する動画内容記述データと、前記メディアコンテンツの音声における、音声の切り替わりに相当する区分（音声セグメント）の時間情報と、該音声セグメントが移動可か移動不可かの付加情報を記述する音声内容記述データとを入力とし、特定の動画セグメントを選択する動画選択ステップと、前記選択された動画セグメントと同期再生させる音声セグメントを選択する音声選択ステップと、前記選択された音声セグメントのうち移動可とされたものを、時間的に前後させることにより、前記選択された動画セグメントと前記選択された音声セグメントの同期をとる音声セグメント処理ステップとを備えたことを特徴とするメディア処理方法である。
【０００７】
また、本発明は、メディアコンテンツと、前記メディアコンテンツの動画における、場面の切り替わりに相当する区分（動画セグメント）の時間情報を記述する動画内容記述データと、前記メディアコンテンツの音声における、音声の切り替わりに相当する区分（音声セグメント）の時間情報と、該音声セグメントが移動可か移動不可かの付加情報を記述する音声内容記述データとを入力とし、特定の動画セグメントを選択する動画選択ステップと、前記選択された動画セグメントと同期再生させる音声セグメントを選択する音声選択ステップと、前記選択された音声セグメントのうち移動可とされたものを時間的に前後させること、および／または、前記選択された動画セグメントの前後の動画セグメントを選択することによって、前記選択された動画セグメントと前記選択された音声セグメントの同期をとるセグメント処理ステップとを備えたことを特徴とするメディア処理方法である。
【０００８】
また、本発明は、メディアコンテンツと、前記メディアコンテンツの動画における、場面の切り替わりに相当する区分（動画セグメント）の時間情報を記述する動画内容記述データと、前記メディアコンテンツの音声における、音声の切り替わりに相当する区分（音声セグメント）の時間情報と、該音声セグメントが移動可、移動不可、あるいは削除可の付加情報を記述する音声内容記述データとを入力とし、特定の動画セグメントを選択する動画選択ステップと、前記選択された動画セグメントと同期再生させる音声セグメントを選択する音声選択ステップと、前記選択された音声セグメントのうち、削除可とされたものを削除すること、および／または、前記選択された音声セグメントのうち移動可とされたものを時間的に前後させることにより、前記選択された動画セグメントと前記選択された音声セグメントの同期をとる音声セグメント処理ステップとを備えたことを特徴とするメディア処理方法である。
【０００９】
また、本発明は、メディアコンテンツと、前記メディアコンテンツの動画における、場面の切り替わりに相当する区分（動画セグメント）の時間情報を記述する動画内容記述データと、前記メディアコンテンツの音声における、音声の切り替わりに相当する区分（音声セグメント）の時間情報と、該音声セグメントが移動可、移動不可、あるいは削除可の付加情報を記述する音声内容記述データとを入力とし、特定の動画セグメントを選択する動画選択ステップと、前記選択された動画セグメントと同期再生させる音声セグメントを選択する音声選択ステップと、前記選択された音声セグメントのうち、削除可とされたものを削除すること、および／または、前記選択された音声セグメントのうち移動可とされたものを時間的に前後させること、および／または、前記選択された動画セグメントの前後の動画セグメントを選択することによって、前記選択された動画セグメントと前記選択された音声セグメントの同期をとる音声セグメント処理ステップとを備えたことを特徴とするメディア処理方法である。
【００１４】
【発明の実施の形態】
以下、図面を参照しながら、本発明の実施の形態について説明する。
【００１５】
（実施の形態１）
以下、請求項１記載の発明における一実施の形態について述べる。図１は、本実施の形態におけるメディア処理方法のブロック図である。図１において、１０１は動画選択ステップを、１０２は音声選択ステップを、１０３は音声セグメント処理ステップを表す。また、１０４は、動画選択ステップ１０１の入力である動画内容記述データを、１０５は、音声選択ステップ１０２の入力である音声内容記述データを、１０６は、動画選択ステップ１０１と音声選択ステップ１０２の入力であるメディアコンテンツを表す。メディアコンテンツ１０６は、MPEG1システムストリームのようなビデオストリームとオーディオストリームを含むものである。また、ビデオストリームは、場面の切り替わりに相当する区分（以下動画セグメントと呼ぶ）に分けられる。同様に、オーディオストリームは、音声の切り替わりに相当する区分（以下音声セグメントと呼ぶ）に分けられる。メディアコンテンツ１０６において、動画選択ステップ１０１にはビデオストリームだけが、音声選択ステップ１０２にはオーディオストリームだけが、それぞれ入力されるものとする。動画選択ステップ１０１は、メディアコンテンツ１０６のビデオストリームと動画内容記述データ１０４を入力し、前記ビデオストリームから特定の動画セグメントを選択するものである。ただし、選択される動画セグメントは複数あっても構わない。選択された動画セグメントの開始時刻、終了時刻は動画内容記述データ１０４から得られる。また、動画セグメント選択の方法は任意とする。音声選択ステップ１０２は、メディアコンテンツ１０６のオーディオストリームと、音声内容記述データ１０５と、前記動画選択ステップ１０１が選択した動画セグメントの時間情報とを入力とし、前記オーディオストリームから、前記動画選択ステップ１０１が選択した動画セグメントと同じ再生時刻をもつ音声セグメントを選択するものである。音声セグメント処理ステップ１０３は、前記音声選択ステップ１０２が選択した音声セグメントと、音声内容記述データ１０５と、前記動画選択ステップ１０１が選択した動画セグメントの時間情報とを入力とし、前記選択した音声セグメントを時間的に前後させることにより、前記動画セグメントと同期をとるように処理するものである。
【００１６】
図２において、２０１はメディアコンテンツ１０６のビデオストリームを表す。２０２はメディアコンテンツ１０６のオーディオストリームを表す。２０３、２０４、２０５は、それぞれ、ビデオストリーム２０１において、動画セグメントを表す。また、２０６、２０７、２０８は、それぞれ、オーディオストリーム２０２において、音声セグメントを表す。
【００１７】
図３に、動画内容記述データ１０４の一例を示す。動画内容記述データ１０４は、動画セグメント毎の開始時刻と終了時刻を記述しているものとする。なお、動画内容記述データ１０４は、各動画セグメントの開始時刻と終了時刻を得られるものであれば、その形式は問わないものである。したがって、開始時刻と該当動画セグメントの継続時間の組合せであっても良い。
【００１８】
図４に、音声内容記述データ１０５の一例を示す。音声内容記述データ１０５は、音声セグメント毎の開始時刻と終了時刻と、移動可、移動不可の付加情報を記述しているものとする。なお、音声内容記述データ１０５の時間情報は、各音声セグメントの開始時刻と終了時刻を得られるものであれば、その形式は問わないものである。したがって、開始時刻と該当音声セグメントの継続時間の組合せであっても良い。音声セグメントにおける移動可、移動不可といった付加情報は以下のようになる。ドラマ内のセリフのように人間の口の動きに合わせた音声など、その音声が動画内の映像と同時に再生しなければならないものは移動不可となる。また、無音区間やナレーションなど、動画内の映像と必ずしも同時に再生させなくても良いものは移動可となる。
【００１９】
図２において、動画選択ステップ１０１が動画セグメント２０４を選択した場合を例に、音声選択ステップ１０２の処理について説明する。動画選択ステップ１０１は、選択した動画セグメント２０４の時間情報を、音声選択ステップ１０２、音声セグメント処理ステップ１０３に出力する。この場合は、vst2,ved2を出力する。音声選択ステップ１０２では、動画選択ステップ１０１から受けとった選択動画セグメントの時間情報と、各音声セグメントの時間情報との比較を行い、音声セグメントの選択を行う。すなわち、音声セグメントの開始時刻をast、終了時刻をaetとすると、音声選択ステップ１０２は、（数１）、（数２）、（数３）のいずれかの条件を満たす音声セグメントを選択する。
【００２０】
【数１】
【００２１】
【数２】
【００２２】
【数３】
【００２３】
この例の場合、（数１）の条件によって音声セグメント２０６が、（数２）の条件によって音声セグメント２０７が、（数３）の条件によって音声セグメント２０８が、それぞれ選択される。このうち、音声セグメント２０７は、その区間すべてが動画セグメント２０４の区間に含まれている。一方、音声セグメント２０６は、その先頭部分が動画セグメント２０４の区間外となる。同様に、音声セグメント２０８は、その終了部分が動画セグメント２０４の区間外となる。したがって、動画セグメント２０４と、音声セグメント２０６、２０７、２０８を同期をとって再生する場合、先頭部と終了部に音声のみの区間が現れることとなる。音声セグメント処理ステップ１０３では、このような音声のみの区間を可能な限り少なくするための処理を行う。
【００２４】
以下、音声セグメント処理ステップ１０３の処理について説明する。音声セグメント２０７に関しては、その区間すべてが動画セグメント２０４の区間内にあるので、特に処理は行わないものとする。音声セグメント２０６の付加情報が移動不可の場合、音声セグメント処理ステップ１０３では移動処理を行わない。この場合、再生時、先頭に音声のみの区間が生じる。音声セグメント２０６の付加情報が移動可の場合、音声セグメント処理ステップ１０３では、図５のように、音声セグメント２０６を、開始時刻が動画セグメント２０４の開始時刻と一致するように移動させる。この場合、音声セグメント２０６と音声セグメント２０７が重なる部分が生じる。この部分は、再生時に同時に再生することとし、必要であれば再符号化などの処理を行うものとする。音声セグメント２０８に関しても、音声セグメント２０６と同様の処理を行う。ただし、音声セグメント２０８を移動させる場合は、その終了時刻を動画セグメント２０４の終了時刻と一致させるように移動を行う。
【００２５】
なお、図６のような場合には、音声セグメント処理ステップ１０３では、特に処理は行わないこととする。図６において、６０１は動画選択ステップ１０１で選択された動画セグメントを表す。また、６０２は、動画セグメント６０１と同じ再生時刻をもつ音声セグメントを表す。これは、選択された動画セグメント６０１の区間が、音声セグメント６０２の区間内の場合である。
【００２６】
（実施の形態２）
以下、請求項２記載の発明における一実施の形態について述べる。図７は、本実施の形態におけるメディア処理方法のブロック図である。図７において、７０１は動画選択ステップを、７０２は音声選択ステップを、７０３はセグメント処理ステップを表す。また、７０４は、動画選択ステップ７０１の入力である動画内容記述データを、７０５は、音声選択ステップ７０２の入力である音声内容記述データを、７０６は、動画選択ステップ７０１と音声選択ステップ７０２の入力であるメディアコンテンツを表す。メディアコンテンツ７０６は、第１の実施の形態と同様にMPEG1システムストリームのようなビデオストリームとオーディオストリームを含むものである。また、ビデオストリームは、場面の切り替わりに相当する区分（以下動画セグメントと呼ぶ）に分けられる。
【００２７】
同様に、オーディオストリームは、音声の切り替わりに相当する区分（以下音声セグメントと呼ぶ）に分けられる。メディアコンテンツ７０６において、動画選択ステップ７０１にはビデオストリームだけが、音声選択ステップ７０２にはオーディオストリームだけが、それぞれ入力されるものとする。動画選択ステップ７０１は、メディアコンテンツ７０６のビデオストリームと動画内容記述データ７０４を入力し、ビデオストリームから特定の動画セグメントを選択するものである。ただし、選択される動画セグメントは複数あっても構わない。選択された動画セグメントの開始時刻、終了時刻は動画内容記述データ７０４から得られる。また、動画セグメント選択の方法は任意とする。音声選択ステップ７０２は、メディアコンテンツ７０６のオーディオストリームと、音声内容記述データ７０５と、前記動画選択ステップ７０１が選択した動画セグメントの時間情報とを入力とし、オーディオストリームから前記動画選択ステップ７０１が選択した動画セグメントと同じ再生時刻をもつ音声セグメントを選択するものである。セグメント処理ステップ７０３は、メディアコンテンツ７０６と、前記動画選択ステップ７０１が選択した動画セグメントの時間情報と、前記音声選択ステップ７０２が選択した音声セグメントの時間情報と、動画内容記述データ７０４と、音声内容記述データ７０５とを入力とし、前記選択された音声セグメントを時間的に前後させることにより、および／または、前記選択された動画セグメントの前後の動画セグメントを選択して、選択した動画セグメントと音声セグメントの同期をとるように処理するものである。
【００２８】
図８において、８０１はメディアコンテンツ７０６のビデオストリームを表す。８０２はメディアコンテンツ７０６のオーディオストリームを表す。８０３、８０４、８０５は、それぞれ、ビデオストリーム８０１において、動画セグメントを表す。また、８０６、８０７、８０８は、それぞれ、オーディオストリーム８０２において、音声セグメントを表す。
【００２９】
図９に動画内容記述データ７０４の一例を示す。これは、第１の実施の形態における動画内容記述データ１０４と同じ構成のものである。また、図１０に音声内容記述データ７０５の一例を示す。これは、第１の実施の形態における音声内容記述データ１０５と同じ構成のものである。
【００３０】
図８において、動画選択ステップ７０１が動画セグメント８０４を選択した場合を例に、音声選択ステップ７０２の処理について説明する。動画選択ステップ７０１は、選択した動画セグメント８０４の時間情報を、音声選択ステップ７０２、セグメント処理ステップ７０３に出力する。この場合は、vst2,ved2を出力する。音声選択ステップ７０２では、動画選択ステップ７０１から受けとった選択動画セグメントの時間情報と、各音声セグメントの時間情報との比較を行い、音声セグメントの選択を行う。すなわち、音声セグメントの開始時刻をast、終了時刻をaetとすると、音声選択ステップ７０２は、（数４）、（数５）、（数６）のいずれかの条件を満たす音声セグメントを選択する。
【００３１】
【数４】
【００３２】
【数５】
【００３３】
【数６】
【００３４】
この例の場合、（数４）の条件によって音声セグメント８０６が、（数５）の条件によって音声セグメント８０７が、（数６）の条件によって音声セグメント８０８が、それぞれ選択される。このうち、音声セグメント８０７は、その区間すべてが動画セグメント８０４の区間に含まれている。一方、音声セグメント８０６は、その先頭部分が動画セグメント８０４の区間外となる。同様に、音声セグメント８０８は、その終了部分が動画セグメント８０４の区間外となる。したがって、動画セグメント８０４と、音声セグメント８０６、８０７、８０８を同期をとって再生する場合、先頭部と終了部に音声のみの区間が現れることとなる。セグメント処理ステップ８０３では、このような音声のみの区間を可能な限り少なくするための処理を行う。
【００３５】
以下、セグメント処理ステップ７０３の処理について説明する。音声セグメント８０７に関しては、その区間すべてが動画セグメント８０４の区間内にあるので、特に処理は行わないものとする。音声セグメント８０６の付加情報が移動不可の場合、セグメント処理ステップ８０３では、ビデオストリーム８０１において、動画セグメント８０４の前にある動画セグメントの選択を行い、連続する選択された動画セグメントの区間内に、音声セグメント８０６が収まるようにする。新たに行う動画セグメントの選択は最小限とする。
【００３６】
この場合は、動画セグメント８０３だけが新たに選択される。また、音声セグメント８０６の付加情報が移動可の場合、セグメント処理ステップ７０３では、図１１のように、音声セグメント８０６を、開始時刻が動画セグメント８０４の開始時刻と一致するように移動させる。この処理により、音声セグメント８０６と音声セグメント８０７が重なる部分が生じる。この部分は、再生時に同時に再生することとし、必要であれば再符号化などの処理を行うものとする。音声セグメント８０８に関しても、音声セグメント８０６と同様の処理を行う。すなわち、音声セグメント８０８の付加情報が移動不可の場合、動画セグメント８０４の後ろにある動画セグメントの最小限の選択を行い、連続する選択された動画セグメントの区間内に音声セグメント８０８が収まるようにする。また、音声セグメント８０８の付加情報が移動可の場合、音声セグメント８０８の終了時刻と動画セグメント８０４の終了時刻が一致するように、音声セグメント８０８を移動させる。
【００３７】
なお、セグメント処理ステップ７０３において、音声セグメントの付加情報が移動可の場合は音声セグメントを移動させる処理を行うとしたが、音声セグメントの移動を行わず、前後の動画セグメントの選択を行う、としてもよい。また、前後の動画セグメントの選択を行った後、音声セグメントを動画セグメントの選択を行った方向に移動させ、動画のみの部分を可能な限り小さくする、としてもよい。また、選択された動画セグメントの前後の動画セグメントを新たに選択するとしたが、動画セグメントを、MPEG1におけるGOP(Group of Pictures)のようなランダムアクセスの最小単位にさらに分割し、それを新たに選択する、としてもよい。
【００３８】
（実施の形態３）
以下、請求項３記載の発明における一実施の形態について述べる。これは、第１の実施の形態と比較し、音声内容記述データの付加情報と、音声セグメント処理ステップでの処理のみが異なるものである。すなわち、本実施の形態におけるメディア処理方法のブロック図は図１となる。また、動画選択ステップ１０１、音声選択ステップ１０２での処理、および、動画内容記述データ１０３、メディアコンテンツ１０６は、第１の実施の形態と同じものとする。
【００３９】
図１２に、本実施の形態における音声内容記述データ１０５の一例を示す。これは、第１の実施の形態における音声内容記述データと比較して、付加情報のみが異なる。本実施の形態においては、付加情報として、移動可、移動不可、削除可の三種類がある。
【００４０】
以下、本実施の形態における音声セグメント処理ステップ１０３の処理について、第１の実施の形態と同様の例によって説明する。音声セグメント２０６の付加情報が削除可の場合、音声セグメント処理ステップ１０３では、音声セグメント２０６の選択を解除する。また、音声セグメント２０６の付加情報が移動可の場合、音声セグメント処理ステップ１０３では、図５のように、音声セグメント２０６を、開始時刻が動画セグメント２０４の開始時刻と一致するように移動させる。この処理により、音声セグメント２０６と音声セグメント２０７が重なる部分が生じる。この場合、音声セグメント２０７の付加情報が削除可の場合、音声セグメント処理ステップ１０３では、音声セグメント２０７の選択を解除する。音声セグメント２０７の付加情報が移動可で、かつ後続の音声セグメント２０８が選択されていないか、あるいは音声セグメント２０８が選択されていてかつ削除可の場合は、音声セグメント処理ステップ１０３では、音声セグメント２０８の選択を必要であれば解除し、かつ、移動後の音声セグメント２０６と音声セグメント２０７の重なり部分がなくなるか、あるいは音声セグメント２０７の終了時刻が、音声セグメント２０７の直後の選択された音声セグメントの開始時刻あるいは同期させる動画セグメントの終了時刻のいずれか近い方と一致するか、のいずれかまで音声セグメント２０７の移動を行う。本例の場合は、音声セグメント２０８の後ろの音声セグメントは選択されていないが、さらに連続して選択された音声セグメントがあり、音声セグメントに重なり部分が生じる場合は、以上の処理を連続する選択された音声セグメントの最終まで繰り返し、音声セグメントの重なり部分が可能な限り小さくなるようにする。音声セグメントの重なり部分が残った場合は、この部分は再生時に同時に再生することとし、必要であれば再符号化などの処理を行うものとする。音声セグメント２０８に関しても、音声セグメント２０６と同様の処理を行う。すなわち、音声セグメント２０８の付加情報が削除可である場合、音声セグメント処理ステップ１０３では、音声セグメント２０８の選択を解除する。また、音声セグメント２０８の付加情報が移動可の場合、音声セグメント２０８の終了時刻と動画セグメント２０４の終了時刻が一致するように、音声セグメント２０８を移動させる。移動後の音声セグメント２０８とその前の音声セグメントとに重なり部分が生じた場合は、音声セグメント２０６を移動させた時の処理と同様の処理を、前向きの方向に、すなわち音声セグメントの重なりがなくなるか、あるいは、音声セグメントの開始時刻が、該音声セグメントの直前の選択された音声セグメントの終了時刻あるいは同期させる動画セグメントの開始時刻のいずれか近い方と一致するか、のいずれかまで移動させることを繰り返すことにより、音声セグメントの重なり部分を可能な限り小さくする。
【００４１】
（実施の形態４）
以下、請求項４記載の発明における一実施の形態について述べる。これは、第２の実施の形態と比較し、音声内容記述データの付加情報と、セグメント処理ステップでの処理が異なるものである。すなわち、本実施の形態におけるメディア処理方法のブロック図は図７となる。また、動画選択ステップ７０１、音声選択ステップ７０２での処理、および、動画内容記述データ７０３、メディアコンテンツ７０６は、第２の実施の形態と同じものとする。
【００４２】
本実施の形態における、音声内容記述データ７０６は、図１２に示す、第３の実施の形態での音声内容記述データと同様の構成のものである。すなわち、付加情報として、移動可、移動不可、削除可の三種類がある。
【００４３】
以下、本実施の形態におけるセグメント処理ステップ７０３の処理について、第２の実施の形態と同様の例によって説明する。音声セグメント８０６の付加情報が削除可の場合、セグメント処理ステップ７０３では、音声セグメント８０６の選択を解除する。音声セグメント８０６の付加情報が移動不可の場合、セグメント処理ステップ７０３では、ビデオストリーム８０１において、動画セグメント８０４の前にある動画セグメントの選択を行い、連続する選択された動画セグメントの区間内に、音声セグメント８０６が収まるようにする。新たに行う動画セグメントの選択は最小限とする。この場合は、動画セグメント８０３だけが新たに選択される。また、音声セグメント８０６の付加情報が移動可の場合、セグメント処理ステップ８０３では、図１１のように、音声セグメント８０６を、開始時刻が動画セグメント８０４の開始時刻と一致するように移動させる。この処理により、音声セグメント８０６と音声セグメント８０７が重なる部分が生じる。この場合、音声セグメント８０７の付加情報が削除可の場合、セグメント処理ステップ７０３では、音声セグメント８０７の選択を解除する。音声セグメント８０７の付加情報が移動可で、かつ後続の音声セグメント８０８が選択されていないか、あるいは音声セグメント８０８が選択されておりかつ削除可の場合は、セグメント処理ステップ７０３では、音声セグメント８０８の選択を必要であれば解除し、かつ、移動後の音声セグメント８０６と音声セグメント８０７の重なり部分がなくなるか、あるいは音声セグメント８０７の終了時刻が、音声セグメント８０７の直後の選択された音声セグメントの開始時刻あるいは同期させる動画セグメントの終了時刻のいずれか近い方とと一致するか、のいずれかまで音声セグメント８０７の移動を行う。本例の場合は、音声セグメント８０８の後ろの音声セグメントは選択されていないが、さらに連続して選択された音声セグメントがあり、それら音声セグメントに重なり部分が生じる場合は、以上の処理を連続する選択された音声セグメントの最終まで繰り返し、音声セグメントの重なり部分が可能な限り小さくなるようにする。音声セグメントの重なり部分が残った場合は、この部分は再生時に同時に再生することとし、必要であれば再符号化などの処理を行うものとする。音声セグメント８０８に関しても、音声セグメント８０６と同様の処理を行う。すなわち、音声セグメント８０８の付加情報が削除可である場合、セグメント処理ステップ７０３では、音声セグメント８０８の選択を解除する。音声セグメント８０８の付加情報が移動不可の場合、動画セグメント８０４の後ろにある動画セグメントの最小限の選択を行い、連続する選択された動画セグメントの区間内に音声セグメント８０８が収まるようにする。また、音声セグメント８０８の付加情報が移動可の場合、音声セグメント８０８の終了時刻と動画セグメント８０４の終了時刻が一致するように、音声セグメント８０８を移動させる。移動後の音声セグメント８０８とその前の音声セグメントとに重なり部分が生じた場合は、音声セグメント８０６を移動させた時の処理と同様の処理を、前向きの方向に、すなわち音声セグメントの重なりがなくなるか、あるいは、音声セグメントの開始時刻が、該音声セグメントの直前の選択された音声セグメントの終了時刻あるいは同期させる動画セグメントの開始時刻とのいずれか近い方と一致するか、のいずれかまで移動させることを繰り返すことにより、音声セグメントの重なり部分を可能な限り小さくする。
【００４４】
なお、セグメント処理ステップ７０３において、音声セグメントの付加情報が移動可の場合は音声セグメントを移動させる処理を行うとしたが、音声セグメントの移動を行わず、前後の動画セグメントの選択を行う、としてもよい。また、前後の動画セグメントの選択を行った後、音声セグメントを動画セグメントの選択を行った方向に移動させ、動画のみの部分を可能な限り小さくする、としてもよい。また、選択された動画セグメントの前後の動画セグメントを新たに選択するとしたが、動画セグメントを、MPEG1におけるGOP(GroupofPictures)のようなランダムアクセスの最小単位にさらに分割し、それを新たに選択する、としてもよい。
以上のように、本実施形態によれば、移動可能な音声セグメントを時間的に前後させることにより、メディアコンテンツの特定シーンの抽出において、動画と音声を同期させることができる。
また、他の実施形態によれば、移動可能な音声セグメントを時間的に前後させること、および／または、選択された動画セグメントの前後の動画セグメントを新たに選択することにより、メディアコンテンツの特定シーンの抽出において、動画と音声を同期させることができる。
また、他の実施形態によれば、削除可能な音声セグメントを削除すること、および／または、移動可能な音声セグメントを時間的に前後させることにより、メディアコンテンツの特定シーンの抽出において、動画と音声を同期させることができる。
また、他の実施形態によれば、削除可能な音声セグメントを削除すること、および／または、移動可能な音声セグメントを時間的に前後させること、および／または、選択された動画セグメントの前後の動画セグメントを新たに選択することにより、メディアコンテンツの特定シーンの抽出において、動画と音声を同期させることができる。
【００４５】
【発明の効果】
以上のように、本発明によれば、メディアコンテンツの特定シーンの抽出において、動画と音声を同期させることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態におけるメディア処理方法のブロック図
【図２】本発明の第１の実施の形態におけるメディアコンテンツ、動画セグメント、音声セグメントの説明図
【図３】本発明の第１の実施の形態における動画内容記述データの一例を示す図
【図４】本発明の第１の実施の形態における音声内容記述データの一例を示す図
【図５】本発明の第１の実施の形態における音声セグメント処理ステップにおける処理の説明図
【図６】本発明の第１の実施の形態における処理の説明図
【図７】本発明の第２の実施の形態におけるメディア処理方法のブロック図
【図８】本発明の第２の実施の形態におけるメディアコンテンツ、動画セグメント、音声セグメントの説明図
【図９】本発明の第２の実施の形態における動画内容記述データの一例を示す図
【図１０】本発明の第２の実施の形態における音声内容記述データの一例を示す図
【図１１】本発明の第２の実施の形態における音声セグメント処理ステップにおける処理の説明図
【図１２】本発明の第３の実施の形態におけるの音声内容記述データの一例を示す図
【符号の説明】
１０１ 動画選択ステップ
１０２ 音声選択ステップ
１０３ 音声セグメント処理ステップ
１０４ 動画内容記述データ
１０５ 音声内容記述データ
１０６ メディアコンテンツ
２０１ ビデオストリーム
２０２ オーディオストリーム
２０３ 動画セグメント
２０４ 動画セグメント
２０５ 動画セグメント
２０６ 音声セグメント
２０７ 音声セグメント
２０８ 音声セグメント
６０１ 動画セグメント
６０２ 音声セグメント
７０１ 動画選択ステップ
７０２ 音声選択ステップ
７０３ セグメント処理ステップ
７０４ 動画内容記述データ
７０５ 音声内容記述データ
７０６ メディアコンテンツ
８０１ ビデオストリーム
８０２ オーディオストリーム
８０３ 動画セグメント
８０４ 動画セグメント
８０５ 動画セグメント
８０６ 音声セグメント
８０７ 音声セグメント
８０８ 音声セグメント
【発明の属する技術分野】
本発明は、動画、音声などの連続視聴覚情報（メディアコンテンツ）の視聴、再生において、該当メディアコンテンツのあらすじやハイライトシーン、あるいは視聴者が見たいと希望するシーンのみを抽出する場合における、動画と音声の同期処理方法を提供するものである。
【０００２】
【従来の技術】
従来、動画の特定シーンの検索を行う方法として、特開平10-111872号公報のように、動画の場面の切り替わり（シーンカット）を検出し、シーンカットごとに、開始フレームのタイムコード、終了フレームのタイムコード、該当シーンのキーワードの付加情報をつけて行っていた。
【０００３】
あるいは、カーネギーメロン大学（ＣＭＵ）では、動画のシーンカットの検出、人間の顔やキャプションの検出、音声認識によるキーフレーズの検出などにより、動画の要約を行っていた（Michael A. Smith, Takeo Kanade, 「Video Skimming and Characterization through the Combination of Image and Language Understanding Techniques」、CMU-CS-97-111, 1997年2月3日）。
【０００４】
【発明が解決しようとする課題】
しかしながら従来の方法では、動画と音声の同期といった問題は扱われていない。メディアコンテンツでは、場面の切り替わりと音声の切り替わりは、必ずしも同期しているとは限らない。したがって、ある特定の場面を再生する場合、動画の区切りのみで処理を行うと、音声の途切れや無音区間が発生する。
【０００５】
本発明は、メディアコンテンツの一部のみを抽出する場合において、場面の切り替わりと音声の切り替わりを考慮し、音声の途切れをなくし、かつ音声のみの区間や画像のみの区間を可能な限り小さくする方法を提供するものである。
【０００６】
【課題を解決するための手段】
この課題を解決するために本発明は、メディアコンテンツと、前記メディアコンテンツの動画における、場面の切り替わりに相当する区分（動画セグメント）の時間情報を記述する動画内容記述データと、前記メディアコンテンツの音声における、音声の切り替わりに相当する区分（音声セグメント）の時間情報と、該音声セグメントが移動可か移動不可かの付加情報を記述する音声内容記述データとを入力とし、特定の動画セグメントを選択する動画選択ステップと、前記選択された動画セグメントと同期再生させる音声セグメントを選択する音声選択ステップと、前記選択された音声セグメントのうち移動可とされたものを、時間的に前後させることにより、前記選択された動画セグメントと前記選択された音声セグメントの同期をとる音声セグメント処理ステップとを備えたことを特徴とするメディア処理方法である。
【０００７】
また、本発明は、メディアコンテンツと、前記メディアコンテンツの動画における、場面の切り替わりに相当する区分（動画セグメント）の時間情報を記述する動画内容記述データと、前記メディアコンテンツの音声における、音声の切り替わりに相当する区分（音声セグメント）の時間情報と、該音声セグメントが移動可か移動不可かの付加情報を記述する音声内容記述データとを入力とし、特定の動画セグメントを選択する動画選択ステップと、前記選択された動画セグメントと同期再生させる音声セグメントを選択する音声選択ステップと、前記選択された音声セグメントのうち移動可とされたものを時間的に前後させること、および／または、前記選択された動画セグメントの前後の動画セグメントを選択することによって、前記選択された動画セグメントと前記選択された音声セグメントの同期をとるセグメント処理ステップとを備えたことを特徴とするメディア処理方法である。
【０００８】
また、本発明は、メディアコンテンツと、前記メディアコンテンツの動画における、場面の切り替わりに相当する区分（動画セグメント）の時間情報を記述する動画内容記述データと、前記メディアコンテンツの音声における、音声の切り替わりに相当する区分（音声セグメント）の時間情報と、該音声セグメントが移動可、移動不可、あるいは削除可の付加情報を記述する音声内容記述データとを入力とし、特定の動画セグメントを選択する動画選択ステップと、前記選択された動画セグメントと同期再生させる音声セグメントを選択する音声選択ステップと、前記選択された音声セグメントのうち、削除可とされたものを削除すること、および／または、前記選択された音声セグメントのうち移動可とされたものを時間的に前後させることにより、前記選択された動画セグメントと前記選択された音声セグメントの同期をとる音声セグメント処理ステップとを備えたことを特徴とするメディア処理方法である。
【０００９】
また、本発明は、メディアコンテンツと、前記メディアコンテンツの動画における、場面の切り替わりに相当する区分（動画セグメント）の時間情報を記述する動画内容記述データと、前記メディアコンテンツの音声における、音声の切り替わりに相当する区分（音声セグメント）の時間情報と、該音声セグメントが移動可、移動不可、あるいは削除可の付加情報を記述する音声内容記述データとを入力とし、特定の動画セグメントを選択する動画選択ステップと、前記選択された動画セグメントと同期再生させる音声セグメントを選択する音声選択ステップと、前記選択された音声セグメントのうち、削除可とされたものを削除すること、および／または、前記選択された音声セグメントのうち移動可とされたものを時間的に前後させること、および／または、前記選択された動画セグメントの前後の動画セグメントを選択することによって、前記選択された動画セグメントと前記選択された音声セグメントの同期をとる音声セグメント処理ステップとを備えたことを特徴とするメディア処理方法である。
【００１４】
【発明の実施の形態】
以下、図面を参照しながら、本発明の実施の形態について説明する。
【００１５】
（実施の形態１）
以下、請求項１記載の発明における一実施の形態について述べる。図１は、本実施の形態におけるメディア処理方法のブロック図である。図１において、１０１は動画選択ステップを、１０２は音声選択ステップを、１０３は音声セグメント処理ステップを表す。また、１０４は、動画選択ステップ１０１の入力である動画内容記述データを、１０５は、音声選択ステップ１０２の入力である音声内容記述データを、１０６は、動画選択ステップ１０１と音声選択ステップ１０２の入力であるメディアコンテンツを表す。メディアコンテンツ１０６は、MPEG1システムストリームのようなビデオストリームとオーディオストリームを含むものである。また、ビデオストリームは、場面の切り替わりに相当する区分（以下動画セグメントと呼ぶ）に分けられる。同様に、オーディオストリームは、音声の切り替わりに相当する区分（以下音声セグメントと呼ぶ）に分けられる。メディアコンテンツ１０６において、動画選択ステップ１０１にはビデオストリームだけが、音声選択ステップ１０２にはオーディオストリームだけが、それぞれ入力されるものとする。動画選択ステップ１０１は、メディアコンテンツ１０６のビデオストリームと動画内容記述データ１０４を入力し、前記ビデオストリームから特定の動画セグメントを選択するものである。ただし、選択される動画セグメントは複数あっても構わない。選択された動画セグメントの開始時刻、終了時刻は動画内容記述データ１０４から得られる。また、動画セグメント選択の方法は任意とする。音声選択ステップ１０２は、メディアコンテンツ１０６のオーディオストリームと、音声内容記述データ１０５と、前記動画選択ステップ１０１が選択した動画セグメントの時間情報とを入力とし、前記オーディオストリームから、前記動画選択ステップ１０１が選択した動画セグメントと同じ再生時刻をもつ音声セグメントを選択するものである。音声セグメント処理ステップ１０３は、前記音声選択ステップ１０２が選択した音声セグメントと、音声内容記述データ１０５と、前記動画選択ステップ１０１が選択した動画セグメントの時間情報とを入力とし、前記選択した音声セグメントを時間的に前後させることにより、前記動画セグメントと同期をとるように処理するものである。
【００１６】
図２において、２０１はメディアコンテンツ１０６のビデオストリームを表す。２０２はメディアコンテンツ１０６のオーディオストリームを表す。２０３、２０４、２０５は、それぞれ、ビデオストリーム２０１において、動画セグメントを表す。また、２０６、２０７、２０８は、それぞれ、オーディオストリーム２０２において、音声セグメントを表す。
【００１７】
図３に、動画内容記述データ１０４の一例を示す。動画内容記述データ１０４は、動画セグメント毎の開始時刻と終了時刻を記述しているものとする。なお、動画内容記述データ１０４は、各動画セグメントの開始時刻と終了時刻を得られるものであれば、その形式は問わないものである。したがって、開始時刻と該当動画セグメントの継続時間の組合せであっても良い。
【００１８】
図４に、音声内容記述データ１０５の一例を示す。音声内容記述データ１０５は、音声セグメント毎の開始時刻と終了時刻と、移動可、移動不可の付加情報を記述しているものとする。なお、音声内容記述データ１０５の時間情報は、各音声セグメントの開始時刻と終了時刻を得られるものであれば、その形式は問わないものである。したがって、開始時刻と該当音声セグメントの継続時間の組合せであっても良い。音声セグメントにおける移動可、移動不可といった付加情報は以下のようになる。ドラマ内のセリフのように人間の口の動きに合わせた音声など、その音声が動画内の映像と同時に再生しなければならないものは移動不可となる。また、無音区間やナレーションなど、動画内の映像と必ずしも同時に再生させなくても良いものは移動可となる。
【００１９】
図２において、動画選択ステップ１０１が動画セグメント２０４を選択した場合を例に、音声選択ステップ１０２の処理について説明する。動画選択ステップ１０１は、選択した動画セグメント２０４の時間情報を、音声選択ステップ１０２、音声セグメント処理ステップ１０３に出力する。この場合は、vst2,ved2を出力する。音声選択ステップ１０２では、動画選択ステップ１０１から受けとった選択動画セグメントの時間情報と、各音声セグメントの時間情報との比較を行い、音声セグメントの選択を行う。すなわち、音声セグメントの開始時刻をast、終了時刻をaetとすると、音声選択ステップ１０２は、（数１）、（数２）、（数３）のいずれかの条件を満たす音声セグメントを選択する。
【００２０】
【数１】
【数２】
【数３】
この例の場合、（数１）の条件によって音声セグメント２０６が、（数２）の条件によって音声セグメント２０７が、（数３）の条件によって音声セグメント２０８が、それぞれ選択される。このうち、音声セグメント２０７は、その区間すべてが動画セグメント２０４の区間に含まれている。一方、音声セグメント２０６は、その先頭部分が動画セグメント２０４の区間外となる。同様に、音声セグメント２０８は、その終了部分が動画セグメント２０４の区間外となる。したがって、動画セグメント２０４と、音声セグメント２０６、２０７、２０８を同期をとって再生する場合、先頭部と終了部に音声のみの区間が現れることとなる。音声セグメント処理ステップ１０３では、このような音声のみの区間を可能な限り少なくするための処理を行う。
【００２４】
以下、音声セグメント処理ステップ１０３の処理について説明する。音声セグメント２０７に関しては、その区間すべてが動画セグメント２０４の区間内にあるので、特に処理は行わないものとする。音声セグメント２０６の付加情報が移動不可の場合、音声セグメント処理ステップ１０３では移動処理を行わない。この場合、再生時、先頭に音声のみの区間が生じる。音声セグメント２０６の付加情報が移動可の場合、音声セグメント処理ステップ１０３では、図５のように、音声セグメント２０６を、開始時刻が動画セグメント２０４の開始時刻と一致するように移動させる。この場合、音声セグメント２０６と音声セグメント２０７が重なる部分が生じる。この部分は、再生時に同時に再生することとし、必要であれば再符号化などの処理を行うものとする。音声セグメント２０８に関しても、音声セグメント２０６と同様の処理を行う。ただし、音声セグメント２０８を移動させる場合は、その終了時刻を動画セグメント２０４の終了時刻と一致させるように移動を行う。
【００２５】
なお、図６のような場合には、音声セグメント処理ステップ１０３では、特に処理は行わないこととする。図６において、６０１は動画選択ステップ１０１で選択された動画セグメントを表す。また、６０２は、動画セグメント６０１と同じ再生時刻をもつ音声セグメントを表す。これは、選択された動画セグメント６０１の区間が、音声セグメント６０２の区間内の場合である。
【００２６】
（実施の形態２）
以下、請求項２記載の発明における一実施の形態について述べる。図７は、本実施の形態におけるメディア処理方法のブロック図である。図７において、７０１は動画選択ステップを、７０２は音声選択ステップを、７０３はセグメント処理ステップを表す。また、７０４は、動画選択ステップ７０１の入力である動画内容記述データを、７０５は、音声選択ステップ７０２の入力である音声内容記述データを、７０６は、動画選択ステップ７０１と音声選択ステップ７０２の入力であるメディアコンテンツを表す。メディアコンテンツ７０６は、第１の実施の形態と同様にMPEG1システムストリームのようなビデオストリームとオーディオストリームを含むものである。また、ビデオストリームは、場面の切り替わりに相当する区分（以下動画セグメントと呼ぶ）に分けられる。
【００２７】
同様に、オーディオストリームは、音声の切り替わりに相当する区分（以下音声セグメントと呼ぶ）に分けられる。メディアコンテンツ７０６において、動画選択ステップ７０１にはビデオストリームだけが、音声選択ステップ７０２にはオーディオストリームだけが、それぞれ入力されるものとする。動画選択ステップ７０１は、メディアコンテンツ７０６のビデオストリームと動画内容記述データ７０４を入力し、ビデオストリームから特定の動画セグメントを選択するものである。ただし、選択される動画セグメントは複数あっても構わない。選択された動画セグメントの開始時刻、終了時刻は動画内容記述データ７０４から得られる。また、動画セグメント選択の方法は任意とする。音声選択ステップ７０２は、メディアコンテンツ７０６のオーディオストリームと、音声内容記述データ７０５と、前記動画選択ステップ７０１が選択した動画セグメントの時間情報とを入力とし、オーディオストリームから前記動画選択ステップ７０１が選択した動画セグメントと同じ再生時刻をもつ音声セグメントを選択するものである。セグメント処理ステップ７０３は、メディアコンテンツ７０６と、前記動画選択ステップ７０１が選択した動画セグメントの時間情報と、前記音声選択ステップ７０２が選択した音声セグメントの時間情報と、動画内容記述データ７０４と、音声内容記述データ７０５とを入力とし、前記選択された音声セグメントを時間的に前後させることにより、および／または、前記選択された動画セグメントの前後の動画セグメントを選択して、選択した動画セグメントと音声セグメントの同期をとるように処理するものである。
【００２８】
図８において、８０１はメディアコンテンツ７０６のビデオストリームを表す。８０２はメディアコンテンツ７０６のオーディオストリームを表す。８０３、８０４、８０５は、それぞれ、ビデオストリーム８０１において、動画セグメントを表す。また、８０６、８０７、８０８は、それぞれ、オーディオストリーム８０２において、音声セグメントを表す。
【００２９】
図９に動画内容記述データ７０４の一例を示す。これは、第１の実施の形態における動画内容記述データ１０４と同じ構成のものである。また、図１０に音声内容記述データ７０５の一例を示す。これは、第１の実施の形態における音声内容記述データ１０５と同じ構成のものである。
【００３０】
図８において、動画選択ステップ７０１が動画セグメント８０４を選択した場合を例に、音声選択ステップ７０２の処理について説明する。動画選択ステップ７０１は、選択した動画セグメント８０４の時間情報を、音声選択ステップ７０２、セグメント処理ステップ７０３に出力する。この場合は、vst2,ved2を出力する。音声選択ステップ７０２では、動画選択ステップ７０１から受けとった選択動画セグメントの時間情報と、各音声セグメントの時間情報との比較を行い、音声セグメントの選択を行う。すなわち、音声セグメントの開始時刻をast、終了時刻をaetとすると、音声選択ステップ７０２は、（数４）、（数５）、（数６）のいずれかの条件を満たす音声セグメントを選択する。
【００３１】
【数４】
【数５】
【数６】
この例の場合、（数４）の条件によって音声セグメント８０６が、（数５）の条件によって音声セグメント８０７が、（数６）の条件によって音声セグメント８０８が、それぞれ選択される。このうち、音声セグメント８０７は、その区間すべてが動画セグメント８０４の区間に含まれている。一方、音声セグメント８０６は、その先頭部分が動画セグメント８０４の区間外となる。同様に、音声セグメント８０８は、その終了部分が動画セグメント８０４の区間外となる。したがって、動画セグメント８０４と、音声セグメント８０６、８０７、８０８を同期をとって再生する場合、先頭部と終了部に音声のみの区間が現れることとなる。セグメント処理ステップ８０３では、このような音声のみの区間を可能な限り少なくするための処理を行う。
【００３５】
以下、セグメント処理ステップ７０３の処理について説明する。音声セグメント８０７に関しては、その区間すべてが動画セグメント８０４の区間内にあるので、特に処理は行わないものとする。音声セグメント８０６の付加情報が移動不可の場合、セグメント処理ステップ８０３では、ビデオストリーム８０１において、動画セグメント８０４の前にある動画セグメントの選択を行い、連続する選択された動画セグメントの区間内に、音声セグメント８０６が収まるようにする。新たに行う動画セグメントの選択は最小限とする。
【００３６】
この場合は、動画セグメント８０３だけが新たに選択される。また、音声セグメント８０６の付加情報が移動可の場合、セグメント処理ステップ７０３では、図１１のように、音声セグメント８０６を、開始時刻が動画セグメント８０４の開始時刻と一致するように移動させる。この処理により、音声セグメント８０６と音声セグメント８０７が重なる部分が生じる。この部分は、再生時に同時に再生することとし、必要であれば再符号化などの処理を行うものとする。音声セグメント８０８に関しても、音声セグメント８０６と同様の処理を行う。すなわち、音声セグメント８０８の付加情報が移動不可の場合、動画セグメント８０４の後ろにある動画セグメントの最小限の選択を行い、連続する選択された動画セグメントの区間内に音声セグメント８０８が収まるようにする。また、音声セグメント８０８の付加情報が移動可の場合、音声セグメント８０８の終了時刻と動画セグメント８０４の終了時刻が一致するように、音声セグメント８０８を移動させる。
【００３７】
なお、セグメント処理ステップ７０３において、音声セグメントの付加情報が移動可の場合は音声セグメントを移動させる処理を行うとしたが、音声セグメントの移動を行わず、前後の動画セグメントの選択を行う、としてもよい。また、前後の動画セグメントの選択を行った後、音声セグメントを動画セグメントの選択を行った方向に移動させ、動画のみの部分を可能な限り小さくする、としてもよい。また、選択された動画セグメントの前後の動画セグメントを新たに選択するとしたが、動画セグメントを、MPEG1におけるGOP(Group of Pictures)のようなランダムアクセスの最小単位にさらに分割し、それを新たに選択する、としてもよい。
【００３８】
（実施の形態３）
以下、請求項３記載の発明における一実施の形態について述べる。これは、第１の実施の形態と比較し、音声内容記述データの付加情報と、音声セグメント処理ステップでの処理のみが異なるものである。すなわち、本実施の形態におけるメディア処理方法のブロック図は図１となる。また、動画選択ステップ１０１、音声選択ステップ１０２での処理、および、動画内容記述データ１０３、メディアコンテンツ１０６は、第１の実施の形態と同じものとする。
【００３９】
図１２に、本実施の形態における音声内容記述データ１０５の一例を示す。これは、第１の実施の形態における音声内容記述データと比較して、付加情報のみが異なる。本実施の形態においては、付加情報として、移動可、移動不可、削除可の三種類がある。
【００４０】
以下、本実施の形態における音声セグメント処理ステップ１０３の処理について、第１の実施の形態と同様の例によって説明する。音声セグメント２０６の付加情報が削除可の場合、音声セグメント処理ステップ１０３では、音声セグメント２０６の選択を解除する。また、音声セグメント２０６の付加情報が移動可の場合、音声セグメント処理ステップ１０３では、図５のように、音声セグメント２０６を、開始時刻が動画セグメント２０４の開始時刻と一致するように移動させる。この処理により、音声セグメント２０６と音声セグメント２０７が重なる部分が生じる。この場合、音声セグメント２０７の付加情報が削除可の場合、音声セグメント処理ステップ１０３では、音声セグメント２０７の選択を解除する。音声セグメント２０７の付加情報が移動可で、かつ後続の音声セグメント２０８が選択されていないか、あるいは音声セグメント２０８が選択されていてかつ削除可の場合は、音声セグメント処理ステップ１０３では、音声セグメント２０８の選択を必要であれば解除し、かつ、移動後の音声セグメント２０６と音声セグメント２０７の重なり部分がなくなるか、あるいは音声セグメント２０７の終了時刻が、音声セグメント２０７の直後の選択された音声セグメントの開始時刻あるいは同期させる動画セグメントの終了時刻のいずれか近い方と一致するか、のいずれかまで音声セグメント２０７の移動を行う。本例の場合は、音声セグメント２０８の後ろの音声セグメントは選択されていないが、さらに連続して選択された音声セグメントがあり、音声セグメントに重なり部分が生じる場合は、以上の処理を連続する選択された音声セグメントの最終まで繰り返し、音声セグメントの重なり部分が可能な限り小さくなるようにする。音声セグメントの重なり部分が残った場合は、この部分は再生時に同時に再生することとし、必要であれば再符号化などの処理を行うものとする。音声セグメント２０８に関しても、音声セグメント２０６と同様の処理を行う。すなわち、音声セグメント２０８の付加情報が削除可である場合、音声セグメント処理ステップ１０３では、音声セグメント２０８の選択を解除する。また、音声セグメント２０８の付加情報が移動可の場合、音声セグメント２０８の終了時刻と動画セグメント２０４の終了時刻が一致するように、音声セグメント２０８を移動させる。移動後の音声セグメント２０８とその前の音声セグメントとに重なり部分が生じた場合は、音声セグメント２０６を移動させた時の処理と同様の処理を、前向きの方向に、すなわち音声セグメントの重なりがなくなるか、あるいは、音声セグメントの開始時刻が、該音声セグメントの直前の選択された音声セグメントの終了時刻あるいは同期させる動画セグメントの開始時刻のいずれか近い方と一致するか、のいずれかまで移動させることを繰り返すことにより、音声セグメントの重なり部分を可能な限り小さくする。
【００４１】
（実施の形態４）
以下、請求項４記載の発明における一実施の形態について述べる。これは、第２の実施の形態と比較し、音声内容記述データの付加情報と、セグメント処理ステップでの処理が異なるものである。すなわち、本実施の形態におけるメディア処理方法のブロック図は図７となる。また、動画選択ステップ７０１、音声選択ステップ７０２での処理、および、動画内容記述データ７０３、メディアコンテンツ７０６は、第２の実施の形態と同じものとする。
【００４２】
本実施の形態における、音声内容記述データ７０６は、図１２に示す、第３の実施の形態での音声内容記述データと同様の構成のものである。すなわち、付加情報として、移動可、移動不可、削除可の三種類がある。
【００４３】
以下、本実施の形態におけるセグメント処理ステップ７０３の処理について、第２の実施の形態と同様の例によって説明する。音声セグメント８０６の付加情報が削除可の場合、セグメント処理ステップ７０３では、音声セグメント８０６の選択を解除する。音声セグメント８０６の付加情報が移動不可の場合、セグメント処理ステップ７０３では、ビデオストリーム８０１において、動画セグメント８０４の前にある動画セグメントの選択を行い、連続する選択された動画セグメントの区間内に、音声セグメント８０６が収まるようにする。新たに行う動画セグメントの選択は最小限とする。この場合は、動画セグメント８０３だけが新たに選択される。また、音声セグメント８０６の付加情報が移動可の場合、セグメント処理ステップ８０３では、図１１のように、音声セグメント８０６を、開始時刻が動画セグメント８０４の開始時刻と一致するように移動させる。この処理により、音声セグメント８０６と音声セグメント８０７が重なる部分が生じる。この場合、音声セグメント８０７の付加情報が削除可の場合、セグメント処理ステップ７０３では、音声セグメント８０７の選択を解除する。音声セグメント８０７の付加情報が移動可で、かつ後続の音声セグメント８０８が選択されていないか、あるいは音声セグメント８０８が選択されておりかつ削除可の場合は、セグメント処理ステップ７０３では、音声セグメント８０８の選択を必要であれば解除し、かつ、移動後の音声セグメント８０６と音声セグメント８０７の重なり部分がなくなるか、あるいは音声セグメント８０７の終了時刻が、音声セグメント８０７の直後の選択された音声セグメントの開始時刻あるいは同期させる動画セグメントの終了時刻のいずれか近い方とと一致するか、のいずれかまで音声セグメント８０７の移動を行う。本例の場合は、音声セグメント８０８の後ろの音声セグメントは選択されていないが、さらに連続して選択された音声セグメントがあり、それら音声セグメントに重なり部分が生じる場合は、以上の処理を連続する選択された音声セグメントの最終まで繰り返し、音声セグメントの重なり部分が可能な限り小さくなるようにする。音声セグメントの重なり部分が残った場合は、この部分は再生時に同時に再生することとし、必要であれば再符号化などの処理を行うものとする。音声セグメント８０８に関しても、音声セグメント８０６と同様の処理を行う。すなわち、音声セグメント８０８の付加情報が削除可である場合、セグメント処理ステップ７０３では、音声セグメント８０８の選択を解除する。音声セグメント８０８の付加情報が移動不可の場合、動画セグメント８０４の後ろにある動画セグメントの最小限の選択を行い、連続する選択された動画セグメントの区間内に音声セグメント８０８が収まるようにする。また、音声セグメント８０８の付加情報が移動可の場合、音声セグメント８０８の終了時刻と動画セグメント８０４の終了時刻が一致するように、音声セグメント８０８を移動させる。移動後の音声セグメント８０８とその前の音声セグメントとに重なり部分が生じた場合は、音声セグメント８０６を移動させた時の処理と同様の処理を、前向きの方向に、すなわち音声セグメントの重なりがなくなるか、あるいは、音声セグメントの開始時刻が、該音声セグメントの直前の選択された音声セグメントの終了時刻あるいは同期させる動画セグメントの開始時刻とのいずれか近い方と一致するか、のいずれかまで移動させることを繰り返すことにより、音声セグメントの重なり部分を可能な限り小さくする。
【００４４】
なお、セグメント処理ステップ７０３において、音声セグメントの付加情報が移動可の場合は音声セグメントを移動させる処理を行うとしたが、音声セグメントの移動を行わず、前後の動画セグメントの選択を行う、としてもよい。また、前後の動画セグメントの選択を行った後、音声セグメントを動画セグメントの選択を行った方向に移動させ、動画のみの部分を可能な限り小さくする、としてもよい。また、選択された動画セグメントの前後の動画セグメントを新たに選択するとしたが、動画セグメントを、MPEG1におけるGOP(GroupofPictures)のようなランダムアクセスの最小単位にさらに分割し、それを新たに選択する、としてもよい。
以上のように、本実施形態によれば、移動可能な音声セグメントを時間的に前後させることにより、メディアコンテンツの特定シーンの抽出において、動画と音声を同期させることができる。
また、他の実施形態によれば、移動可能な音声セグメントを時間的に前後させること、および／または、選択された動画セグメントの前後の動画セグメントを新たに選択することにより、メディアコンテンツの特定シーンの抽出において、動画と音声を同期させることができる。
また、他の実施形態によれば、削除可能な音声セグメントを削除すること、および／または、移動可能な音声セグメントを時間的に前後させることにより、メディアコンテンツの特定シーンの抽出において、動画と音声を同期させることができる。
また、他の実施形態によれば、削除可能な音声セグメントを削除すること、および／または、移動可能な音声セグメントを時間的に前後させること、および／または、選択された動画セグメントの前後の動画セグメントを新たに選択することにより、メディアコンテンツの特定シーンの抽出において、動画と音声を同期させることができる。
【００４５】
【発明の効果】
以上のように、本発明によれば、メディアコンテンツの特定シーンの抽出において、動画と音声を同期させることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態におけるメディア処理方法のブロック図
【図２】本発明の第１の実施の形態におけるメディアコンテンツ、動画セグメント、音声セグメントの説明図
【図３】本発明の第１の実施の形態における動画内容記述データの一例を示す図
【図４】本発明の第１の実施の形態における音声内容記述データの一例を示す図
【図５】本発明の第１の実施の形態における音声セグメント処理ステップにおける処理の説明図
【図６】本発明の第１の実施の形態における処理の説明図
【図７】本発明の第２の実施の形態におけるメディア処理方法のブロック図
【図８】本発明の第２の実施の形態におけるメディアコンテンツ、動画セグメント、音声セグメントの説明図
【図９】本発明の第２の実施の形態における動画内容記述データの一例を示す図
【図１０】本発明の第２の実施の形態における音声内容記述データの一例を示す図
【図１１】本発明の第２の実施の形態における音声セグメント処理ステップにおける処理の説明図
【図１２】本発明の第３の実施の形態におけるの音声内容記述データの一例を示す図
【符号の説明】
１０１ 動画選択ステップ
１０２ 音声選択ステップ
１０３ 音声セグメント処理ステップ
１０４ 動画内容記述データ
１０５ 音声内容記述データ
１０６ メディアコンテンツ
２０１ ビデオストリーム
２０２ オーディオストリーム
２０３ 動画セグメント
２０４ 動画セグメント
２０５ 動画セグメント
２０６ 音声セグメント
２０７ 音声セグメント
２０８ 音声セグメント
６０１ 動画セグメント
６０２ 音声セグメント
７０１ 動画選択ステップ
７０２ 音声選択ステップ
７０３ セグメント処理ステップ
７０４ 動画内容記述データ
７０５ 音声内容記述データ
７０６ メディアコンテンツ
８０１ ビデオストリーム
８０２ オーディオストリーム
８０３ 動画セグメント
８０４ 動画セグメント
８０５ 動画セグメント
８０６ 音声セグメント
８０７ 音声セグメント
８０８ 音声セグメント
Claims (4)
- 動画と音声とが同期した連続視聴覚情報（メディアコンテンツ）と、
前記メディアコンテンツの動画における、場面の切り替わりに相当する区分（動画セグメント）の時間情報を記述する動画内容記述データと、
前記メディアコンテンツの音声における、音声の切り替わりに相当する区分（音声セグメント）の時間情報と、移動可、移動不可の付加情報を記述する音声内容記述データとを入力とし、
前記動画セグメントのひとつまたは複数を選択する動画選択ステップと、
前記動画選択ステップが選択した動画セグメントと同じ再生時刻をもつ音声セグメントを選択する音声選択ステップと、
前記選択された音声セグメントの付加情報により、移動可とされた音声セグメントを時間的に前後させることによって、前記動画セグメントと音声セグメントの同期を行う音声セグメント処理ステップとを備えたことを特徴とするメディア処理方法。 - 動画と音声とが同期した連続視聴覚情報（メディアコンテンツ）と、
前記メディアコンテンツの動画における、場面の切り替わりに相当する区分（動画セグメント）の時間情報を記述する動画内容記述データと、
前記メディアコンテンツの音声における、音声の切り替わりに相当する区分（音声セグメント）の時間情報と、移動可、移動不可の付加情報を記述する音声内容記述データとを入力とし、
前記動画セグメントのひとつまたは複数を選択する動画選択ステップと、
前記動画選択ステップが選択した動画セグメントと同じ再生時刻をもつ音声セグメントを選択する音声選択ステップと、
前記選択された音声セグメントの付加情報により、移動可とされた音声セグメントを時間的に前後させることによって、および／または、前記選択された動画セグメントの前後の動画セグメントを選択して、前記選択した動画セグメントと、選択した連続する音声セグメントを同期させるセグメント処理ステップとを備えたことを特徴とするメディア処理方法。 - 動画と音声とが同期した連続視聴覚情報（メディアコンテンツ）と、
前記メディアコンテンツの動画における、場面の切り替わりに相当する区分（動画セグメント）の時間情報を記述する動画内容記述データと、
前記メディアコンテンツの音声における、音声の切り替わりに相当する区分（音声セグメント）の時間情報と、移動可、移動不可、削除可の付加情報を記述する音声内容記述データとを入力とし、
前記動画セグメントのひとつまたは複数を選択する動画選択ステップと、
前記動画選択ステップが選択した動画セグメントと同じ再生時刻をもつ音声セグメントを選択する音声選択ステップと、
前記選択された音声セグメントの付加情報により、移動可とされた音声セグメントを時間的に前後させること、および／または、削除可とされた音声セグメントを削除すること、によって、前記動画セグメントと音声セグメントの同期を行う音声セグメント処理ステップとを備えたことを特徴とするメディア処理方法。 - 動画と音声とが同期した連続視聴覚情報（メディアコンテンツ）と、
前記メディアコンテンツの動画における、場面の切り替わりに相当する区分（動画セグメント）の時間情報を記述する動画内容記述データと、
前記メディアコンテンツの音声における、音声の切り替わりに相当する区分（音声セグメント）の時間情報と、移動可、移動不可、削除可の付加情報を記述する音声内容記述データとを入力とし、
前記動画セグメントのひとつまたは複数を選択する動画選択ステップと、
前記動画選択ステップが選択した動画セグメントと同じ再生時刻をもつ音声セグメントを選択する音声選択ステップと、
前記選択された音声セグメントの付加情報により、移動可とされた音声セグメントを時間的に前後させること、および／または、削除可とされた音声セグメントを削除すること、および／または、前記選択された動画セグメントの前後の動画セグメントを選択して、によって、前記動画セグメントと音声セグメントの同期を行うセグメント処理ステップとを備えたことを特徴とするメディア処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08112399A JP4161459B2 (ja) | 1999-03-25 | 1999-03-25 | メディア処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08112399A JP4161459B2 (ja) | 1999-03-25 | 1999-03-25 | メディア処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000278653A JP2000278653A (ja) | 2000-10-06 |
| JP4161459B2 true JP4161459B2 (ja) | 2008-10-08 |
Family
ID=13737624
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP08112399A Expired - Fee Related JP4161459B2 (ja) | 1999-03-25 | 1999-03-25 | メディア処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4161459B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100694060B1 (ko) | 2004-10-12 | 2007-03-12 | 삼성전자주식회사 | 오디오 비디오 동기화 장치 및 그 방법 |
-
1999
- 1999-03-25 JP JP08112399A patent/JP4161459B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000278653A (ja) | 2000-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100290331B1 (ko) | 오디오-비디오 신호의 동기 재생 장치 | |
| JP2007027990A (ja) | 動画データから字幕を作成する装置及び方法、プログラム、並びに記憶媒体 | |
| KR101026328B1 (ko) | 정보 기록 장치 | |
| US7228055B2 (en) | Recording apparatus, video camera and computer program | |
| US5790236A (en) | Movie processing system | |
| US20100080536A1 (en) | Information recording/reproducing apparatus and video camera | |
| JP4735388B2 (ja) | 再生装置および方法、並びにプログラム | |
| CN107251551B (zh) | 图像处理设备、图像捕获装置、图像处理方法和存储介质 | |
| JP2010022003A (ja) | 動画ファイル再生装置、動画ファイル再生方法、プログラム | |
| US7050110B1 (en) | Method and system for generating annotations video | |
| JP2002374494A (ja) | ビデオコンテンツファイル生成システムおよびビデオコンテンツファイル検索方法。 | |
| JP3877371B2 (ja) | 映像再生装置 | |
| TW200524294A (en) | Coding controller and coding system | |
| JP4161459B2 (ja) | メディア処理方法 | |
| JP2002084505A (ja) | 映像閲覧時間短縮装置及び方法 | |
| JP3688214B2 (ja) | 視聴者映像記録再生装置 | |
| JP2005025894A (ja) | Ａｖデータ再生方法、ａｖデータ記録方法、及び、ａｖデータ記録媒体 | |
| JP2005352330A (ja) | 音声分割記録装置 | |
| JP3704968B2 (ja) | マルチメディア編集装置 | |
| TWI270056B (en) | Digital content separation apparatus, digital content reproduction method, digital content separation method and recording media | |
| JP2006157692A (ja) | 映像再生方法及び装置及びプログラム | |
| JP2017069596A (ja) | 画像処理装置及び方法 | |
| JPH11225309A (ja) | 音響信号処理装置及びオーディオ高速再生方法 | |
| JP3128107B2 (ja) | 映像圧縮方法および装置 | |
| JP2003134477A (ja) | 動画像付帯時変テキスト情報分割装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060130 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060214 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080416 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080507 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080605 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080701 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080714 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120801 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130801 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |