JP3848144B2 - 映像短縮再生装置、映像短縮再生方法、この方法のプログラムおよびこのプログラムを記録した記録媒体 - Google Patents
映像短縮再生装置、映像短縮再生方法、この方法のプログラムおよびこのプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP3848144B2 JP3848144B2 JP2001369674A JP2001369674A JP3848144B2 JP 3848144 B2 JP3848144 B2 JP 3848144B2 JP 2001369674 A JP2001369674 A JP 2001369674A JP 2001369674 A JP2001369674 A JP 2001369674A JP 3848144 B2 JP3848144 B2 JP 3848144B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- information
- sound
- image
- shortening
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、映像情報の再生時間を短縮編集するための計算機構を備えた映像短縮再生装置に関する。
【０００２】
【従来の技術】
従来のビデオデッキや映像再生ツールでは、高速再生や早送り再生時には映像は速度固定で再生される。その速度は標準速度の２倍速度〜２０倍速度である。その際、音は全く再生されない場合が多く、再生される場合は音の一部だけを途切れ途切れに再生するものがある。
【０００３】
また、ＳＡＮＹＯ製ビデオの時短機能では、映像は一定速度で高速再生し、音は無音区間を除いた部分を高速化することで、再生できない音ができるだけ少なくなるようにしている。
【０００４】
この他、映像を要約する研究なども行われている。例えば、「Michael A.Smith and Takeo Kanade,Video Skimming and Characteriza-tion through the Combination of Image and Language Understanding Techniques、Proceedings of Computer Vision and Pattern Recognition,pp.775-781,June 1997」がある。
【０００５】
【発明が解決しようとする課題】
従来のシステムにおける高速再生は映像を重視しており、映像を常に一定速度で高速再生し、音声はそれに応じて早回し再生させたり、無音部分を飛ばして再生させたりしていた。
【０００６】
音声の早回し再生を用いた場合では、人問が聞き取れる早回し再生というのはせいぜい２倍速程度であり、元の音声によっては聞き取れないことも多かった。
【０００７】
また、無音部分を飛ばす方式の場合には、画像部分は常に一定速度で高速再生され、音は映像と同期をとらずに再生されるため、音声と映像が一致せず理解を妨げる要因となっていた。
【０００８】
また、従来の映像を要約するシステムでは、映像の構造情報を生成することに主眼が置かれており、ユーザに代表シーンの画像やテキストなどを表示し選択してもらい、選択されたシーンを再生する方式が主流である。この場合、ユーザがまだ一度も見たことない映像の場合には、画像を見ても中がわからない場合が多いし、初めて見る映像の場合に代表シーン等を見てしまうと内容が推測できてしまい、本編を見たいという欲求が薄れてしまう可能性もある。
【０００９】
さらに、総再生時間をユーザが指定し、その時間内に映像をまとめることはできない。
【００１０】
本発明の目的は、ユーザが見て現在のシーンを理解し易く、かつ重要なシーンを見逃すことを少なくして映像情報を高速再生でき、さらにユーザの指定した時間以内に再生できるようにした映像短縮再生装置、方法、プログラムおよび記録媒体を提供することにある。
【００１１】
【課題を解決するための手段】
本発明では音声を重視する。まず、音情報のうちから人の声が入っているの区間を抽出する。人の声が発せられている区間は重要であることが多く、またその声が発せられている区間の映像もまた重要であることが多いからである。
【００１２】
次に、人の声の区間を抽出後、今度はその区間の声のパワー（エネルギー）を計算する。人の声やＢＧＭなどでもあてはまるのだが、重要な部分の声や音楽はまわりの部分と比べてパワーが大きくなる傾向にあるので、それを利用する。この区間のパワーがある閾値を超える値を持つ区間は再生し、それ以下の区間については再生しないようにし、この閾値の値を増減することにより、総再生時間を調節する。つまり、閾値を下げればより多くの区間が再生されることになり総再生時間が長くなり、閾値を上げると再生される区間が少なくなり、結果として総再生時間も短くなる。よって、この閾値を調節することにより、ユーザが指定した時間内に再生時間を調節する。
【００１３】
閾値を変更した場合、必ずしもユーザが指定した時間ちょうどになるとは限らず、その時間よりも短くなる場合が多い。また、閾値を超えた音声区間が映像中にとびとびに現れる。再生する音声区間が決まったら、今度は画像情報からシーンチェンジの場所を調べておき、再生する音の区間とシーンの関係を調べ、再生する音の区間は実はシーンの一部であり、かつそのシーン全部を再生してもユーザが指定した総再生時間を超えない場合、その音の区間だけでなく、シーン全体を再生対象にする。このようにして、総再生時間を超えない範囲で、閾値を超えた各音声区間を調べ、シーンによる再生する区間の補正を行う。
【００１４】
このようにして、再生する区間を決定したら実際に再生を行う。その際、画像は本来の映像において再生している音に対応する画像を再生する。これにより、音と画像がずれることなく再生される。
【００１５】
以上の映像短縮再生方式により、本発明では、比較的重要と思われる音声を含んだ部分を中心に再生を行い、その際、音と映像の同期を常に保つことで会話などのシーンでも不自然さが目立たない再生可能とする。さらに、音声部分を少し高速再生させることにより、通常よりは早い時間で見ることを可能とする。また、音のない映像の場合でもシーンの移り変わりの冒頭部分を再生することにより、ユーザが重要なシーンを見逃す可能性が少なくする。また、ユーザが設定した時間内に映像を短縮し、忙しいユーザが少しの空き時間を使って映像を確実に見ることができ、有効に時間を使うことも可能とするもので、以下の装置、方法、プログラムおよび記録媒体を特徴とする。
【００１６】
（１）映像情報を短縮して再生する映像短縮再生装置であって、
映像情報から音情報と画像情報に分離する音・映像分離手段と、
前記分離された音情報の中から人の声を認識する音認識手段と、
前記分離された画像情報の中からシーンの移り変わり部分を認識する画像認識手段と、
ユーザからの総再生時間の指定に対して、前記認識された音情報の区間パワーに対する閾値を増減し、閾値より上の部分の区間の総和がユーザ指定の総再生時間よりも短いもので、最大の再生時間になるよう閾値を設定して音情報を選択し、この音情報と前記認識された画像情報の両方の情報をまとめ、映像部分内の再生に必要な画像部分を決定する映像制御手段と、
前記映像制御手段により制御された音と画像の同期をとり再生する音・画像同期手段とを備え、
前記映像制御手段は、閾値設定によって選ばれた再生すべき各区間に対応する前記移り変わり部分の情報に基づき、当該再生すべき区間があるシーンの一部分であり、かつそのシーン全てを再生しても、ユーザ指定の総再生時間より短い場合に、再生する部分をシーン全体に設定する
ことを特徴とする映像短縮再生装置。
【００１７】
（２）映像情報を短縮して再生する映像短縮再生方法であって、
映像情報から音情報と画像情報に分離する音・映像分離過程と、
前記分離された音情報の中から人の声を認識する音認識過程と、
前記分離された画像情報の中からシーンの移り変わり部分を認識する画像認識過程と、
ユーザからの総再生時間の指定に対して、前記認識された音情報の区間パワーに対する閾値を増減し、閾値より上の部分の区間の総和がユーザ指定の総再生時間よりも短いもので、最大の再生時間になるよう閾値を設定して音情報を選択し、この音情報と前記認識された画像情報の両方の情報をまとめ、映像部分内の再生に必要な画像部分を決定する映像制御過程と、
前記映像制御過程により制御された音と画像の同期をとり再生する音・画像同期過程とを有し、
前記映像制御過程では、閾値設定によって選ばれた再生すべき各区間に対応する前記移り変わり部分の情報に基づき、当該再生すべき区間があるシーンの一部分であり、かつそのシーン全てを再生しても、ユーザ指定の総再生時間より短い場合に、再生する部分をシーン全体に設定する
ことを特徴とする映像短縮再生方法。
【００１８】
（３）上記の映像短縮再生方法における処理手順をコンピュータが実行できるプログラムとして構成したことを特徴とする映像短縮再生方法のプログラム。
【００１９】
（４）上記の映像短縮再生方法における処理手順をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする映像短縮再生方法を記録した記録媒体。
【００２０】
【発明の実施の形態】
以下、この発明の一実施形態を図面により説明する。図１は、本実施形態のブロック構成図である。
【００２１】
同図において、普通の映像情報では音と画像情報が混ざっているので、まず音・映像分離回路１においてそれらを分離する。この分離回路１は、テレビジョンにおける音声・映像分離方式を利用することができる。
【００２２】
次に、分離した音については、音認識手段２により、人間の声を含む部分を抜き出す。この音認識手段２は、人の音声帯域に通過帯域をもつフィルタを通すことで実現される。
【００２３】
また、分離した画像については、画像認識手段３により、シーンの移り変わり部分を検出する。この画像認識手段３は、例えば、輝度やそのパターンの変化量が大きくなるか否かで判定することができる。
【００２４】
次に、映像制御手段４において、音認識手段２で分離した音（音声）と、画像認識手段３で抽出した画像の両方の情報をまとめ、映像部分内の再生に必要な画像部分を決定する。再生に必要な画像部分としては、検出されたシーンの移り変わりの冒頭部分と、その抽出された音が発せられている部分の画像である。
【００２５】
さらに、映像制御手段４は、ユーザからの総再生時間の指定に対して、分離された音に対して、音の区間パワーに対する閾値を増減し、閾値より上の部分の区間の総和がユーザ指定の総再生時間よりも短いもので、最大の値に閾値を設定する。具体的には、以下の処理を行う。
【００２６】
・閾値設定によって選ばれた再生すべき各区間から１つを選ぶ。その区間に対応する画像情報から得られたシーンチェンジの情報を調べる。再生する区間があるシーンの一部分であり、かつそのシーン全てを再生しても、ユーザ指定の総再生時間より短い場合、再生する部分をシーン全体に設定する。
【００２７】
・別の再生区間についても上記の処理を順次実行し、総再生時間以内で最も再生時間が長くなるように設定する。
【００２８】
図２は、閾値の変更による総再生時間の増減の例を示し、音パワー信号に対して、閾値を低くすると再生する区間が長くなり、閾値を高くすると差いせされる区間が短くなる。
【００２９】
最後に、音・画像同期手段５により、音と映像の同期をとり、時間短縮して再生した映像として出力する。音と必要な画像部分の同期をとる方法としては、基の映像情報の初めからの当該音の時刻と当該画像部分の時刻が合致するように、再生画像を構成する。
【００３０】
図３は、本発明の方法の一実施形態例であるアルゴリズムを示すフローチャートである。そのアルゴリズムは次のようになる。
【００３１】
（Ｓ１）音・映像分離
映像情報の中から音情報と画像情報を分離する。
【００３２】
（Ｓ２）音認識と画像認識
分離した音情報と画像情報、それぞれに対して次のような処理を行う。
【００３３】
・音情報については音情報の中から音声部分を検出する。
【００３４】
・画像情報についてはシーンチェンジを検出する。
【００３５】
（Ｓ３）映像制御
検出された音声と画像の両方の情報をまとめ、映像部分内の再生に必要な画像部分を決定する。さらに、ユーザからの総再生時間の指定に対して、音の区間パワーに対する最大の閾値を設定する。
【００３６】
（Ｓ４）音・画像同期
音と画像の同期を取りながら再生する。
【００３７】
なお、本発明は、図３に示した方法の一部又は全部の処理機能をプログラムとして構成してコンピュータを用いて実現させることができる。また、コンピュータでその各部の処理機能を実現するためのプログラム、あるいはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ（フロッピーディスク：登録商標）、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。
【００３８】
【発明の効果】
以上のとおり、本発明によれば、ユーザが指定した任意の時間内に映像を短縮できるため、次の会議が始まるまでの時間に映像内容を確認するといったビジネス用途や、次の番組が始まるまでに先週の放送内容をもう一度見ておく、などの家庭用途向けにも用いることができる。
【００３９】
また、従来の要約システムなどと異なり、システムが自動的に要約するため、映像の中を見ずに短縮された映像をいきなり見ることが可能である。
【００４０】
また、本発明により再生される映像の音と画像は常に一致して再生されるため、理解し易い映像を見ることが可能である。
【図面の簡単な説明】
【図１】本発明の実施形態を示すブロック構成図。
【図２】実施形態における閾値の変更による総再生時間の増減例。
【図３】本発明の実施形態を示すフローチャート。
【符号の説明】
１…音・映像分離回路
２…音認識手段
３…画像認識手段
４…映像制御手段
５…音・画像同期手段
【発明の属する技術分野】
本発明は、映像情報の再生時間を短縮編集するための計算機構を備えた映像短縮再生装置に関する。
【０００２】
【従来の技術】
従来のビデオデッキや映像再生ツールでは、高速再生や早送り再生時には映像は速度固定で再生される。その速度は標準速度の２倍速度〜２０倍速度である。その際、音は全く再生されない場合が多く、再生される場合は音の一部だけを途切れ途切れに再生するものがある。
【０００３】
また、ＳＡＮＹＯ製ビデオの時短機能では、映像は一定速度で高速再生し、音は無音区間を除いた部分を高速化することで、再生できない音ができるだけ少なくなるようにしている。
【０００４】
この他、映像を要約する研究なども行われている。例えば、「Michael A.Smith and Takeo Kanade,Video Skimming and Characteriza-tion through the Combination of Image and Language Understanding Techniques、Proceedings of Computer Vision and Pattern Recognition,pp.775-781,June 1997」がある。
【０００５】
【発明が解決しようとする課題】
従来のシステムにおける高速再生は映像を重視しており、映像を常に一定速度で高速再生し、音声はそれに応じて早回し再生させたり、無音部分を飛ばして再生させたりしていた。
【０００６】
音声の早回し再生を用いた場合では、人問が聞き取れる早回し再生というのはせいぜい２倍速程度であり、元の音声によっては聞き取れないことも多かった。
【０００７】
また、無音部分を飛ばす方式の場合には、画像部分は常に一定速度で高速再生され、音は映像と同期をとらずに再生されるため、音声と映像が一致せず理解を妨げる要因となっていた。
【０００８】
また、従来の映像を要約するシステムでは、映像の構造情報を生成することに主眼が置かれており、ユーザに代表シーンの画像やテキストなどを表示し選択してもらい、選択されたシーンを再生する方式が主流である。この場合、ユーザがまだ一度も見たことない映像の場合には、画像を見ても中がわからない場合が多いし、初めて見る映像の場合に代表シーン等を見てしまうと内容が推測できてしまい、本編を見たいという欲求が薄れてしまう可能性もある。
【０００９】
さらに、総再生時間をユーザが指定し、その時間内に映像をまとめることはできない。
【００１０】
本発明の目的は、ユーザが見て現在のシーンを理解し易く、かつ重要なシーンを見逃すことを少なくして映像情報を高速再生でき、さらにユーザの指定した時間以内に再生できるようにした映像短縮再生装置、方法、プログラムおよび記録媒体を提供することにある。
【００１１】
【課題を解決するための手段】
本発明では音声を重視する。まず、音情報のうちから人の声が入っているの区間を抽出する。人の声が発せられている区間は重要であることが多く、またその声が発せられている区間の映像もまた重要であることが多いからである。
【００１２】
次に、人の声の区間を抽出後、今度はその区間の声のパワー（エネルギー）を計算する。人の声やＢＧＭなどでもあてはまるのだが、重要な部分の声や音楽はまわりの部分と比べてパワーが大きくなる傾向にあるので、それを利用する。この区間のパワーがある閾値を超える値を持つ区間は再生し、それ以下の区間については再生しないようにし、この閾値の値を増減することにより、総再生時間を調節する。つまり、閾値を下げればより多くの区間が再生されることになり総再生時間が長くなり、閾値を上げると再生される区間が少なくなり、結果として総再生時間も短くなる。よって、この閾値を調節することにより、ユーザが指定した時間内に再生時間を調節する。
【００１３】
閾値を変更した場合、必ずしもユーザが指定した時間ちょうどになるとは限らず、その時間よりも短くなる場合が多い。また、閾値を超えた音声区間が映像中にとびとびに現れる。再生する音声区間が決まったら、今度は画像情報からシーンチェンジの場所を調べておき、再生する音の区間とシーンの関係を調べ、再生する音の区間は実はシーンの一部であり、かつそのシーン全部を再生してもユーザが指定した総再生時間を超えない場合、その音の区間だけでなく、シーン全体を再生対象にする。このようにして、総再生時間を超えない範囲で、閾値を超えた各音声区間を調べ、シーンによる再生する区間の補正を行う。
【００１４】
このようにして、再生する区間を決定したら実際に再生を行う。その際、画像は本来の映像において再生している音に対応する画像を再生する。これにより、音と画像がずれることなく再生される。
【００１５】
以上の映像短縮再生方式により、本発明では、比較的重要と思われる音声を含んだ部分を中心に再生を行い、その際、音と映像の同期を常に保つことで会話などのシーンでも不自然さが目立たない再生可能とする。さらに、音声部分を少し高速再生させることにより、通常よりは早い時間で見ることを可能とする。また、音のない映像の場合でもシーンの移り変わりの冒頭部分を再生することにより、ユーザが重要なシーンを見逃す可能性が少なくする。また、ユーザが設定した時間内に映像を短縮し、忙しいユーザが少しの空き時間を使って映像を確実に見ることができ、有効に時間を使うことも可能とするもので、以下の装置、方法、プログラムおよび記録媒体を特徴とする。
【００１６】
（１）映像情報を短縮して再生する映像短縮再生装置であって、
映像情報から音情報と画像情報に分離する音・映像分離手段と、
前記分離された音情報の中から人の声を認識する音認識手段と、
前記分離された画像情報の中からシーンの移り変わり部分を認識する画像認識手段と、
ユーザからの総再生時間の指定に対して、前記認識された音情報の区間パワーに対する閾値を増減し、閾値より上の部分の区間の総和がユーザ指定の総再生時間よりも短いもので、最大の再生時間になるよう閾値を設定して音情報を選択し、この音情報と前記認識された画像情報の両方の情報をまとめ、映像部分内の再生に必要な画像部分を決定する映像制御手段と、
前記映像制御手段により制御された音と画像の同期をとり再生する音・画像同期手段とを備え、
前記映像制御手段は、閾値設定によって選ばれた再生すべき各区間に対応する前記移り変わり部分の情報に基づき、当該再生すべき区間があるシーンの一部分であり、かつそのシーン全てを再生しても、ユーザ指定の総再生時間より短い場合に、再生する部分をシーン全体に設定する
ことを特徴とする映像短縮再生装置。
【００１７】
（２）映像情報を短縮して再生する映像短縮再生方法であって、
映像情報から音情報と画像情報に分離する音・映像分離過程と、
前記分離された音情報の中から人の声を認識する音認識過程と、
前記分離された画像情報の中からシーンの移り変わり部分を認識する画像認識過程と、
ユーザからの総再生時間の指定に対して、前記認識された音情報の区間パワーに対する閾値を増減し、閾値より上の部分の区間の総和がユーザ指定の総再生時間よりも短いもので、最大の再生時間になるよう閾値を設定して音情報を選択し、この音情報と前記認識された画像情報の両方の情報をまとめ、映像部分内の再生に必要な画像部分を決定する映像制御過程と、
前記映像制御過程により制御された音と画像の同期をとり再生する音・画像同期過程とを有し、
前記映像制御過程では、閾値設定によって選ばれた再生すべき各区間に対応する前記移り変わり部分の情報に基づき、当該再生すべき区間があるシーンの一部分であり、かつそのシーン全てを再生しても、ユーザ指定の総再生時間より短い場合に、再生する部分をシーン全体に設定する
ことを特徴とする映像短縮再生方法。
【００１８】
（３）上記の映像短縮再生方法における処理手順をコンピュータが実行できるプログラムとして構成したことを特徴とする映像短縮再生方法のプログラム。
【００１９】
（４）上記の映像短縮再生方法における処理手順をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする映像短縮再生方法を記録した記録媒体。
【００２０】
【発明の実施の形態】
以下、この発明の一実施形態を図面により説明する。図１は、本実施形態のブロック構成図である。
【００２１】
同図において、普通の映像情報では音と画像情報が混ざっているので、まず音・映像分離回路１においてそれらを分離する。この分離回路１は、テレビジョンにおける音声・映像分離方式を利用することができる。
【００２２】
次に、分離した音については、音認識手段２により、人間の声を含む部分を抜き出す。この音認識手段２は、人の音声帯域に通過帯域をもつフィルタを通すことで実現される。
【００２３】
また、分離した画像については、画像認識手段３により、シーンの移り変わり部分を検出する。この画像認識手段３は、例えば、輝度やそのパターンの変化量が大きくなるか否かで判定することができる。
【００２４】
次に、映像制御手段４において、音認識手段２で分離した音（音声）と、画像認識手段３で抽出した画像の両方の情報をまとめ、映像部分内の再生に必要な画像部分を決定する。再生に必要な画像部分としては、検出されたシーンの移り変わりの冒頭部分と、その抽出された音が発せられている部分の画像である。
【００２５】
さらに、映像制御手段４は、ユーザからの総再生時間の指定に対して、分離された音に対して、音の区間パワーに対する閾値を増減し、閾値より上の部分の区間の総和がユーザ指定の総再生時間よりも短いもので、最大の値に閾値を設定する。具体的には、以下の処理を行う。
【００２６】
・閾値設定によって選ばれた再生すべき各区間から１つを選ぶ。その区間に対応する画像情報から得られたシーンチェンジの情報を調べる。再生する区間があるシーンの一部分であり、かつそのシーン全てを再生しても、ユーザ指定の総再生時間より短い場合、再生する部分をシーン全体に設定する。
【００２７】
・別の再生区間についても上記の処理を順次実行し、総再生時間以内で最も再生時間が長くなるように設定する。
【００２８】
図２は、閾値の変更による総再生時間の増減の例を示し、音パワー信号に対して、閾値を低くすると再生する区間が長くなり、閾値を高くすると差いせされる区間が短くなる。
【００２９】
最後に、音・画像同期手段５により、音と映像の同期をとり、時間短縮して再生した映像として出力する。音と必要な画像部分の同期をとる方法としては、基の映像情報の初めからの当該音の時刻と当該画像部分の時刻が合致するように、再生画像を構成する。
【００３０】
図３は、本発明の方法の一実施形態例であるアルゴリズムを示すフローチャートである。そのアルゴリズムは次のようになる。
【００３１】
（Ｓ１）音・映像分離
映像情報の中から音情報と画像情報を分離する。
【００３２】
（Ｓ２）音認識と画像認識
分離した音情報と画像情報、それぞれに対して次のような処理を行う。
【００３３】
・音情報については音情報の中から音声部分を検出する。
【００３４】
・画像情報についてはシーンチェンジを検出する。
【００３５】
（Ｓ３）映像制御
検出された音声と画像の両方の情報をまとめ、映像部分内の再生に必要な画像部分を決定する。さらに、ユーザからの総再生時間の指定に対して、音の区間パワーに対する最大の閾値を設定する。
【００３６】
（Ｓ４）音・画像同期
音と画像の同期を取りながら再生する。
【００３７】
なお、本発明は、図３に示した方法の一部又は全部の処理機能をプログラムとして構成してコンピュータを用いて実現させることができる。また、コンピュータでその各部の処理機能を実現するためのプログラム、あるいはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ（フロッピーディスク：登録商標）、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。
【００３８】
【発明の効果】
以上のとおり、本発明によれば、ユーザが指定した任意の時間内に映像を短縮できるため、次の会議が始まるまでの時間に映像内容を確認するといったビジネス用途や、次の番組が始まるまでに先週の放送内容をもう一度見ておく、などの家庭用途向けにも用いることができる。
【００３９】
また、従来の要約システムなどと異なり、システムが自動的に要約するため、映像の中を見ずに短縮された映像をいきなり見ることが可能である。
【００４０】
また、本発明により再生される映像の音と画像は常に一致して再生されるため、理解し易い映像を見ることが可能である。
【図面の簡単な説明】
【図１】本発明の実施形態を示すブロック構成図。
【図２】実施形態における閾値の変更による総再生時間の増減例。
【図３】本発明の実施形態を示すフローチャート。
【符号の説明】
１…音・映像分離回路
２…音認識手段
３…画像認識手段
４…映像制御手段
５…音・画像同期手段
Claims (4)
- 映像情報を短縮して再生する映像短縮再生装置であって、
映像情報から音情報と画像情報に分離する音・映像分離手段と、
前記分離された音情報の中から人の声を認識する音認識手段と、
前記分離された画像情報の中からシーンの移り変わり部分を認識する画像認識手段と、
ユーザからの総再生時間の指定に対して、前記認識された音情報の区間パワーに対する閾値を増減し、閾値より上の部分の区間の総和がユーザ指定の総再生時間よりも短いもので、最大の再生時間になるよう閾値を設定して音情報を選択し、この音情報と前記認識された画像情報の両方の情報をまとめ、映像部分内の再生に必要な画像部分を決定する映像制御手段と、
前記映像制御手段により制御された音と画像の同期をとり再生する音・画像同期手段とを備え、
前記映像制御手段は、閾値設定によって選ばれた再生すべき各区間に対応する前記移り変わり部分の情報に基づき、当該再生すべき区間があるシーンの一部分であり、かつそのシーン全てを再生しても、ユーザ指定の総再生時間より短い場合に、再生する部分をシーン全体に設定する
ことを特徴とする映像短縮再生装置。 - 映像情報を短縮して再生する映像短縮再生方法であって、
映像情報から音情報と画像情報に分離する音・映像分離過程と、
前記分離された音情報の中から人の声を認識する音認識過程と、
前記分離された画像情報の中からシーンの移り変わり部分を認識する画像認識過程と、
ユーザからの総再生時間の指定に対して、前記認識された音情報の区間パワーに対する閾値を増減し、閾値より上の部分の区間の総和がユーザ指定の総再生時間よりも短いもので、最大の再生時間になるよう閾値を設定して音情報を選択し、この音情報と前記認識された画像情報の両方の情報をまとめ、映像部分内の再生に必要な画像部分を決定する映像制御過程と、
前記映像制御過程により制御された音と画像の同期をとり再生する音・画像同期過程とを有し、
前記映像制御過程では、閾値設定によって選ばれた再生すべき各区間に対応する前記移り変わり部分の情報に基づき、当該再生すべき区間があるシーンの一部分であり、かつそのシーン全てを再生しても、ユーザ指定の総再生時間より短い場合に、再生する部分をシーン全体に設定する
ことを特徴とする映像短縮再生方法。 - 請求項２に記載の映像短縮再生方法における処理手順をコンピュータが実行できるプログラムとして構成したことを特徴とする映像短縮再生方法のプログラム。
- 請求項２に記載の映像短縮再生方法における処理手順をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする映像短縮再生方法を記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001369674A JP3848144B2 (ja) | 2001-12-04 | 2001-12-04 | 映像短縮再生装置、映像短縮再生方法、この方法のプログラムおよびこのプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001369674A JP3848144B2 (ja) | 2001-12-04 | 2001-12-04 | 映像短縮再生装置、映像短縮再生方法、この方法のプログラムおよびこのプログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003169298A JP2003169298A (ja) | 2003-06-13 |
| JP3848144B2 true JP3848144B2 (ja) | 2006-11-22 |
Family
ID=19179026
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001369674A Expired - Fee Related JP3848144B2 (ja) | 2001-12-04 | 2001-12-04 | 映像短縮再生装置、映像短縮再生方法、この方法のプログラムおよびこのプログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3848144B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4285287B2 (ja) | 2004-03-17 | 2009-06-24 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法およびそのプログラム、記録媒体 |
| JP4648183B2 (ja) * | 2005-12-19 | 2011-03-09 | 日本電信電話株式会社 | 連続メディアデータ短縮再生方法、複合メディアデータ短縮再生方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 |
| JP2007228334A (ja) * | 2006-02-24 | 2007-09-06 | Fujifilm Corp | 動画像制御装置および方法並びにプログラム |
| JP5213630B2 (ja) * | 2008-10-09 | 2013-06-19 | 三菱電機株式会社 | 映像信号再生装置 |
-
2001
- 2001-12-04 JP JP2001369674A patent/JP3848144B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003169298A (ja) | 2003-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4615166B2 (ja) | 映像情報要約装置、映像情報要約方法及び映像情報要約プログラム | |
| JP4170808B2 (ja) | 情報表示装置、情報表示方法及びプログラム | |
| KR100254090B1 (ko) | 기록 매체 재생 장치 | |
| JP3512098B2 (ja) | 情報記録装置および方法、並びに情報再生装置および方法 | |
| JP3615195B2 (ja) | コンテンツ記録再生装置およびコンテンツ編集方法 | |
| JP3602635B2 (ja) | 音声切換方法および再生装置 | |
| US20090073314A1 (en) | Summary Content Generation Device and Computer Program | |
| JP4683116B2 (ja) | 情報処理装置、情報処理方法、情報処理プログラムおよび撮像装置 | |
| JP2002044572A (ja) | 情報信号処理装置及び情報信号処理方法および情報信号記録装置 | |
| JP4435130B2 (ja) | 映像再生装置、再生装置 | |
| JP2007336283A (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
| JP3877371B2 (ja) | 映像再生装置 | |
| JP3848144B2 (ja) | 映像短縮再生装置、映像短縮再生方法、この方法のプログラムおよびこのプログラムを記録した記録媒体 | |
| JPWO2007046171A1 (ja) | 記録再生装置 | |
| JPH11266422A (ja) | 放送番組管理装置、放送番組管理方法、及び放送番組管理処理プログラムを記録した記録媒体 | |
| JPH1188807A (ja) | 映像ソフト再生方法、映像ソフト処理方法、映像ソフト再生プログラムを記録した媒体、映像ソフト処理プログラムを記録した媒体、映像ソフト再生装置、映像ソフト処理装置及び映像ソフト記録媒体 | |
| JP2002262228A (ja) | ダイジェスト作成装置 | |
| JP4198331B2 (ja) | 録画装置 | |
| JP2006186920A (ja) | 情報再生装置および情報再生方法 | |
| JP2002084505A (ja) | 映像閲覧時間短縮装置及び方法 | |
| JP2006180306A (ja) | 動画記録再生装置 | |
| JP4310745B2 (ja) | 番組要約装置および番組要約処理プログラム | |
| JP2002016858A (ja) | デジタル放送受信装置 | |
| JP2005352330A (ja) | 音声分割記録装置 | |
| JPH0879674A (ja) | 動画像検索方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060407 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060822 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060824 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090901 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100901 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100901 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110901 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |