JP3934274B2 - 動画要約装置および動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体および動画再生装置および動画再生プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
動画要約装置および動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体および動画再生装置および動画再生プログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP3934274B2 JP3934274B2 JP05325899A JP5325899A JP3934274B2 JP 3934274 B2 JP3934274 B2 JP 3934274B2 JP 05325899 A JP05325899 A JP 05325899A JP 5325899 A JP5325899 A JP 5325899A JP 3934274 B2 JP3934274 B2 JP 3934274B2
- Authority
- JP
- Japan
- Prior art keywords
- setting
- priority
- scene
- procedure
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Management Or Editing Of Information On Record Carriers (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、動画要約装置および動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体および動画再生装置および動画再生プログラムを記録したコンピュータ読み取り可能な記録媒体に関するものである。
【０００２】
【従来の技術】
ネットワークの高速化やインターネットにおける動画像配信技術の進歩により、動画像配信が盛んに行われている。しかしながら、動画像を配信するには、依然として相当の時間、リソースが必要となるために、動画像の中身をすべて見ずに目的の動画像を探し出すことができる装置が求められている。この点を解決するために、動画像の内容をかいつまんで要約した要約動画を用いて長いストーリーの一部のみを見せることで、それがユーザーにとって必要であるかそうでないかを判定させるという手法が取られる。
【０００３】
従来、コンピュータシステムにおいて、動画像の要約を作成するには、ビデオ編集ソフトウェアを用いてビデオ編集を行う必要がある。ビデオ編集のプログラミングとしては、たとえばＡｄｏｂｅ社の「Ｐｒｅｍｉｅｒｅ」のようなものが挙げられる。「Ｐｒｅｍｉｅｒｅ」では、動画ファイルを読み込んで、必要なシーンを人手により切り出してつなぎ合わせことで動画像の編集を行うことができる。これにより、要約とすべき部分を切り出して、それらを繋ぎ合わせることで要約を作成することができる。
【０００４】
動画像の要約を作成するものとして、各シーンに優先度を設定し、設定された優先度と任意に設定されたダイジェスト時間により、ダイジェスト時間範囲の動画像要約を作成するものが特開平３−９０９６８号公報に示されている。また、シーンを類似度をもってグループ化し、各グループの代表画像シーンを繋ぎ合わせることで要約を作成することが特開平１０−１１２８３５号公報に示されている。
【０００５】
また、音声信号のレベルが大きいシーンをハイライトシートとして抜粋してダイジェスト（動画像要約）を自動的に作成することが特開平９−２８４７０４号公報に示されている。また、動画像のカットの変わり目を代表シーンとし、その代表シーンを繋ぎ合わせることで要約を作成することが特開平９−２８４６９８号公報に示されている。
【０００６】
【発明が解決しようとする課題】
「Ｐｒｅｍｉｅｒｅ」のような方法では、採用すべきシーンは動画を最初から最後まで見る、もしくは一定フレーム間隔でフレーム画像を並べたフィルムストリップ形式の表示ウインドウによって位置を特定する必要があり、採用シーンの特定は最終的には１フレームごとに行う必要があり、一度要約となるビデオクリップを作成してしまうと、別の長さの要約画像を作成するには、新たに最初から要約の作りなおす必要があり、目的に応じたフレキシビリティが高い要約画像を作成することができない。
【０００７】
特開平３−９０９６８号公報に示されている要約画像作成では、各シーンに対する優先度の設定により、任意に設定されたダイジェスト時間範囲で、優先度が高いシーンを集めた要約画像を作成できるが、長いストーリーや話題が多いものの場合には、全体にわたって優先度の設定が満遍なく適切に行われないと、片寄った内容の要約画像が作成され、全体を適切に把握できる良質の要約画像が作成されない。
【０００８】
これに対し、特開平１０−１１２８３５号公報や特開平１０−２８４７０４号公報に示されているものでは、シーンを類似度をもってグループ化し、各グループの代表画像シーンを繋ぎ合わせることで要約を作成したり、音声信号のレベルが大きいシーンをハイライトシートとして抜粋して要約を作成するから、一応、全体を把握できる要約画像を作成することができるが、しかし、別の長さの要約画像を作成するには、新たに最初から要約の作りなおす必要があり、目的に応じたフレキシビリティが高い要約画像を作成することができない。また、特開平９−２８４６９８号公報に示されているものであっても、同様に目的に応じたフレキシビリティが高い要約画像を作成することができない。
【０００９】
この発明は、上述の如き問題点を解消するためになされたもので、片寄った内容の要約画像を作成することがなく、全体を把握でき、しかも目的に応じたフレキシビリティが高い要約画像を的確に作成する動画要約装置および動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体、および目的に応じた高いフレキシビリティをもって要動画要約を再生する動画再生装置および動画再生プログラムを記録したコンピュータ読み取り可能な記録媒体を得ることを目的としている。
【００１０】
【課題を解決するための手段】
上記の目的を達成するために、この発明による動画要約装置は、動画像を入力する動画入力手段と、前記動画入力手段により入力された動画像からカット変化点を検出し、検出したカット変化点の情報に基づき入力された動画像を複数のシーンに分割し、これら複数のシーンからシーン分割点のフレーム画像を各シーンの代表シーン情報として夫々抽出するシーン分割手段と、前記シーン分割手段により抽出された各シーンの代表シーン情報を各シーンの動画の内容に応じて複数のグループの何れかに割り当てるグルーピングを実行するグループ作成手段と、１つのグループの少なくとも１つの代表シーン情報に最高の優先度が設定されるように、前記グループ作成手段によりグルーピングされた各グループに属する各シーンの代表シーン情報に優先度を設定する優先度設定手段と、前記優先度設定手段により設定された優先度情報と任意に設定される出力優先度とに基づいて各シーンの代表シーン情報の取捨選択を行い、要約動画像を作成する要約出力手段とを有しているものである。
【００１１】
つぎの発明による動画要約装置は、前記優先度設定手段が、グループの先頭シーンに対応する代表シーン情報に最高の優先度を設定するものである。
【００１２】
つぎの発明による動画要約装置は、前記グループ作成手段が、シーン開始位置近辺の画像にタイトル文字が含まれていることを判定するタイトル判定手段と、前記タイトル判定手段の結果からタイトル文字ありと判定されたシーン分割点を話題転換点として設定する話題転換点設定手段と、各話題転換点間を一つのグループとしてグルーピングする自動グルーピング手段とを有しているものである。
【００１３】
つぎの発明による動画要約装置は、前記グループ作成手段が、シーン分割点近辺の音声特徴を検出する音声特徴検出手段と、前記音声特徴検出手段の結果から音声特徴ありと判定されたシーン分割点を話題転換点として設定する話題転換点設定手段と、各話題転換点間を一つのグループとしてグルーピングする自動グルーピング手段とを有しているものである。
【００１４】
つぎの発明による動画要約装置は、前記グループ作成手段が、シーン開始位置近辺の画像にタイトル文字が含まれていることを判定するタイトル判定手段と、シーン分割点近辺の音声特徴を検出する音声特徴検出手段と、前記タイトル判定手段においてタイトル文字が含まれていると判定され、かつ、前記音声特徴検出手段において音声特徴変化があったと判定されたシーン分割点を話題転換点として設定する話題転換点設定手段と、各話題転換点間を一つのグループとしてグルーピングする自動グルーピング手段とを有しているものである。
【００１５】
つぎの発明による動画要約装置は、前記音声特徴検出手段が、音声のフェードインを検出するものである。
【００１６】
つぎの発明による動画要約装置は、前記音声特徴検出手段が、音声レベルの急激な増加を検出するものである。
【００１７】
つぎの発明による動画要約装置は、前記優先度設定手段が、シーン中で要約に採用する際の開始点とする位置を設定する開始位置設定手段と、開始位置からの継続時間を設定する継続区間設定手段とを有しているものである。
【００１８】
つぎの発明による動画要約装置は、前記動画入力手段において入力された動画像へのポインタ情報と前記優先度設定手段により設定された優先度情報を前記シーン分割手段から取得した代表シーン情報と関連づけた結果を構造化して出力する設定情報出力手段を有しているものである。
【００１９】
また、上述の目的を達成するために、この発明による動画再生装置は、上述のような発明による動画要約装置の前記設定情報出力手段により設定された設定情報を読み込む設定値読み込み手段と、設定情報に記述されている動画像へのポインタ情報を基に動画像を読み込む再生動画入力手段と、再生する対象優先度を設定する再生優先度設定手段と、読み込んだ優先度情報と動画像と前記再生優先度設定手段により設定された再生優先度を基に要約再生を行う要約再生手段とを有しているものである。
【００２０】
つぎの発明による動画要約装置は、前記設定情報出力手段が、再生可能とする優先度の最低値を設定する再生限界優先度設定手段と、限界優先度を解除するためのキーを設定する限界優先度解除キー設定手段とを有しているものである。
【００２１】
つぎの発明による動画再生装置は、上述の発明による動画要約装置の前記設定情報出力手段により設定された設定情報を読み込む設定値読み込み手段と、設定情報に記述されている動画像へのポインタ情報を基に動画像を読み込む再生動画入力手段と、上述の発明による動画要約装置の前記再生限界優先度設定手段により設定された再生限界優先度以下に設定不可能として再生する対象優先度を設定する制限付き再生優先度設定手段と、上述の発明による動画要約装置の前記限界優先度解除キー設定手段により設定された限界優先度解除キーの指定により再生限界優先度の制限を解除する制限解除手段と、読み込んだ優先度情報と動画像と前記制限付き再生優先度設定手段と設定された再生優先度を基に要約再生を行う要約再生手段とを有しているものである。
【００２２】
また、上述の目的を達成するために、この発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体は、コンピュータに、動画像を入力する動画入力手順と、前記動画入力手順により入力された動画像からカット変化点を検出し、検出したカット変化点の情報に基づき入力された動画像を複数のシーンに分割し、これら複数のシーンからシーン分割点のフレーム画像を各シーンの代表シーン情報として夫々抽出するシーン分割手順と、前記シーン分割手順により抽出された各シーンの代表シーン情報を各シーンの動画の内容に応じて複数のグループの何れかに割り当てるグルーピングを実行するグループ作成手順と、１つのグループの少なくとも１つの代表シーン情報に最高の優先度が設定されるように、前記グループ作成手段によりグルーピングされた各グループに属する各シーンの代表シーン情報に優先度を設定する優先度設定手順と、前記優先度設定手順により設定された優先度情報と任意に設定される出力優先度とに基づいて各シーンの代表シーン情報の取捨選択を行い、要約動画像を作成する要約出力手順を実行させるためのプログラムを記録したものである。
【００２３】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体は、前記優先度設定手順が、グループの先頭シーンに対応する代表シーン情報に最高の優先度を設定するものである。
【００２４】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体は、前記グループ作成手順が、シーン開始位置近辺の画像にタイトル文字が含まれていることを判定するタイトル判定手順と、前記タイトル判定手順の結果からタイトル文字ありと判定されたシーン分割点を話題転換点として設定する話題転換点設定手順と、各話題転換点間を一つのグループとしてグルーピングする自動グルーピング手順とを有しているものである。
【００２５】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体は、前記グループ作成手順が、シーン分割点近辺の音声特徴を検出する音声特徴検出手順と、前記音声特徴検出手順の結果から音声特徴ありと判定されたシーン分割点を話題転換点として設定する話題転換点設定手順と、各話題転換点間を一つのグループとしてグルーピングする自動グルーピング手順とを有しているものである。
【００２６】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体は、前記グループ作成手順は、シーン開始位置近辺の画像にタイトル文字が含まれていることを判定するタイトル判定手順と、シーン分割点近辺の音声特徴を検出する音声特徴検出手順と、前記タイトル判定手順においてタイトル文字が含まれていると判定され、かつ、前記音声特徴検出手順において音声特徴変化があったと判定されたシーン分割点を話題転換点として設定する話題転換点設定手順と、各話題転換点間を一つのグループとしてグルーピングする自動グルーピング手順とを有しているものである。
【００２７】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体は、前記音声特徴検出手順が、音声のフェードインを検出するものである。
【００２８】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体は、前記音声特徴検出手順が、音声レベルの急激な増加を検出するものである。
【００２９】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体は、前記優先度設定手順が、シーン中で要約に採用する際の開始点とする位置を設定する開始位置設定手順と、開始位置からの継続時間を設定する継続区間設定手順とを有しているものである。
【００３０】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体は、前記動画入力手順において入力された動画像へのポインタ情報と前記優先度設定手順により設定された優先度情報をシーン分割手順から取得した代表シーン情報と関連づけた結果を構造化して出力する設定情報出力手順を有しているものである。
【００３１】
また、上述の目的を達成するために、この発明による動画再生プログラムを記録したコンピュータ読み取り可能な記録媒体は、動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体は、上述の発明によるコンピュータ読み取り可能な記録媒体の前記設定情報出力手順により設定された設定情報を読み込む設定値読み込み手順と、設定情報に記述されている動画像へのポインタ情報を基に動画像を読み込む再生動画入力手順と、再生する対象優先度を設定する再生優先度設定手順と、読み込んだ優先度情報と動画像と前記再生優先度設定手順により設定された再生優先度を基に要約再生を行う要約再生手順とを有しているものである。
【００３２】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体は、前記設定情報出力手順は、再生可能とする優先度の最低値を設定する再生限界優先度設定手順と、限界優先度を解除するためのキーを設定する限界優先度解除キー設定手順とを有しているものである。
【００３３】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体は、上述の発明によるコンピュータ読み取り可能な記録媒体の前記設定情報出力手順により設定された設定情報を読み込む設定値読み込み手順と、設定情報に記述されている動画像へのポインタ情報を基に動画像を読み込む再生動画入力手順と、上述の発明によるコンピュータ読み取り可能な記録媒体の前記再生限界優先度設定手順により設定された再生限界優先度以下に設定不可能として再生する対象優先度を設定する制限付き再生優先度設定手順と、上述の発明によるコンピュータ読み取り可能な記録媒体の前記限界優先度解除キー設定手順により設定された限界優先度解除キーの指定により再生限界優先度の制限を解除する制限解除手順と、読み込んだ優先度情報と動画像と前記制限付き再生優先度設定手順と設定された再生優先度を基に要約再生を行う要約再生手順とを有しているものである。
【００３４】
【発明の実施の形態】
以下に添付の図を参照して、この発明にかかる動画要約装置および動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体および動画再生装置および動画再生プログラムを記録したコンピュータ読み取り可能な記録媒体の実施の形態を詳細に説明する。
【００３５】
実施の形態１．
図１は、この発明による動画要約装置の実施の形態１を示している。動画要約作成装置は、外部各種媒体より動画を入力して記憶する動画入力手段１と、動画入力手段１により入力された動画からカット変化点を検出し、その情報を記憶するシーン分割手段３と、複数のシーンをひとまとめのグループとするグループ作成手段５と、グルーピングの結果に基づいてシーンに優先度を設定する優先度設定手段７と、任意に設定される出力優先度と優先度設定手段７により設定された優先度に従って動画入力手段１に記憶されている動画から該当部分を切り出し、繋ぎ合わせたものを要約動画として出力する要約出力手段９を有している。
【００３６】
図２は、この発明による動画要約装置の画面表示例を示している。この画面表示において、１００は動画表示部、１０２は動画構造表示部、１０４は代表画像表示フレーム、１０６はスライドバー、１０８は動画操作部、１１０は機能選択メニュー部である。
【００３７】
動画像はコンピュータ内のハードディスクに保存されているものとする。ハードディスクより動画入力手段１を通して動画像が読み込まれる。読み込まれた動画像は、シーン分割手段３により、自動もしくは手動で、たとえばカメラの切り替わりなどのカット変化点の検出を行われる。得られたカット変化点の情報は、その位置を特定するフレーム番号、時刻、タイムコードなどをシーン分割データとしてシーン分割手段３により記憶される。
【００３８】
図３は、シーン分割した結果、シーン分割手段３に記憶されているシーン情報の例を示している。この例では、フレーム情報を位置特定情報として用いることとする。図４はシーン分割後の動画構造表示部１０２に表示される内容の例を示している。ルート２０１は動画の全体を示し、代表画像２０２〜２１１はそれぞれシーン１〜シーン１０のシーン分割点のフレーム画像を静止画像として切り出したものである。
【００３９】
つぎに、グループ作成手段５により、シーンを動画の内容などに応じて、図５に例示されているように、グループ化を行う。代表画像２１２がグループ１を代表する画像であり、たとえばグループの開始フレームの静止画像を表示する。このようにしてグループ化された結果に基づいて優先度設定手段７によりシーンの優先度が設定される。ここでは、優先度は０〜２５５の範囲で指定可能なものとし、０を最高、２５５を最低のものとする。
【００４０】
グループ化されたシーンに関しては、グループ内から指定した数だけを必ず抜き出して利用するように設定することが可能である。たとえば一つのグループから二つのシーンを選択するように指定してあった場合、グループに属するシーン数を２で割った結果おきのフレーム間隔でシーンの優先度に０(最高の優先度)を割り当てる。図５のようにグループが作成されているとすると、グループあたりの採用シーン数を２とした場合には、シーン１、３、６、８、９、１０に最高の優先度０が設定される。
【００４１】
また、グループの先頭シーンに対して要約に採用されるように最高の優先度を設定することで、ストーリーに応じてグループを作成した場合に、ストーリーから漏れのないようにシーンの取捨選択を行うことが容易になる。たとえば、図５のようにグループ化されている場合には、シーン１、６、９に最高の優先度０が割り当てられる。
【００４２】
以上のようにして設定された優先度を基に、要約出力手段９は指定された出力優先度を用いて各シーンに設定された優先度に従ってシーンを取捨選択し、要約を作成する。
【００４３】
図６のように優先度が設定されているとし、出力優先度が０であると、シーン１、６、９が要約動画の対象シーンとなり、図７に示されているように、これらの部分が動画入力手段１に記憶されている動画像２３１から切り出され、シーン１、６、９が繋ぎ合わされることで要約動画２３２となる。
【００４４】
動画要約装置のシステムは以下のように拡張することができる。
（１）グループ作成の自動化
教育ビデオなどではある事柄について複数の話題から説明を施すような構成をとるものが多い。このようなビデオの要約を作成する際には、話題に漏れがないように要約を作成する必要がある。
【００４５】
上述のようなグループ化は人手による作業により行うことができるが、話題が転換する話題転換点を自動的に検出し、その間を自動的にグループ化することで話題に漏れがなく、人手を介さずに要約を作成することが可能となる。これを行うために、以下のようにシステムを拡張する。
【００４６】
図８は自動グループ機能を有するグループ作成手段５を示している。このグループ作成手段５は、シーン分割点から一定フレーム内のフレーム画像がタイトル文字を含んでいるかどうかを判定するタイトル判定手段１１と、シーン分割点近辺の音声情報の検出を行う音声特徴検出手段１３と、シーン分割点がタイトル文字を含み音声特徴がシーンチェンジ近辺でのフェードインまたはシーンチェンジと同時に音声レベルが増大している場合に、その時点を話題が転換した点として記憶する話題転換点設定手段１５と、開始から話題転換点、あるいは話題転換点から話題転換点、もしくは話題転換点から終了点までを自動的にひとつのグループと判断してグルーピングを行う自動グルーピング手段１７とを具備している。
【００４７】
タイトル判定手段１１によるタイトル文字の有無の判定は種々の方法により行うことができる。たとえば、タイトル文字は輝度が高いという特徴から、輝度が高い部分の密度が高い領域を持つものをタイトル画像と判断することができる。音声特徴検出手段１３による音声特徴検出では、シーン分割点近辺でのフェードインまたはシーン分割点とほぼ同時に音楽レベルが急増しているかを検出する。
【００４８】
フェードインであるかどうかの判定もいくつかの方法がある。ここではつぎのような方法を用いることとする。シーン分割点を中心とした音声レベルが図９に示されているようになっていた場合を考える。時刻ｔ−Δｔから区間ｄｔづつ音声レベルのピークＰｎを取得していく。時刻ｔ−Δｔの音声レベルのピークをＰ１、時刻ｔ−Δｔ＋ｄｔの音声レベルのピークをＰ２としたときに、Ｐ１とＰ２がＰ２＞Ｐ１の関係にになっているかを判定する。ここで、図１０に示されているような音声増大テーブルを用意し、Ｐ（ｔ＋ｄｔ）＞Ｐ（ｔ）となっている区間に対してマーキングする。すべての区間にてマーキングされた場合にフェードインとして判定する。
【００４９】
さらに、シーン開始とほぼ同時に音楽レベルが急増しているかどうかの判定もいくつかの手法があるが、ここでは、図１１に示されているような音声レベルとなっている場合を想定して判定方法を述べる。シーン分割点時刻ｔから一定区間ｔ＋Δｔまでの間の音声レベルのピークを取得して、シーン分割点時刻ｔより微小区間ｄｔだけ前の時刻ｔ−ｄｔの音声レベルのピークと比較する。ｔ−ｄｔの音声レベルのピークが閾値Ｔｎより小さく、シーン分割点時刻ｔからｔ＋Δｔの期間で閾値Ｔｈを超えた音声レベルが持続する場合に音声レベル急増と判定する。
【００５０】
以上の判定方法からタイトルの有無と、音声特徴が判定できる。これらの情報は個々に用いることも組み合わせて用いることもできる。単独で用いる場合は、それぞれ、タイトルあり、もしくは音声特徴がフェードインである、もしくは音声特徴として音声レベルが急激に増大していると判断されたシーン分割点を話題転換点検出手段１５により話題転換点と判断する。組み合わせて用いる場合は、タイトルありと判定され、かつ、音声特徴がフェードインまたは急激に増大と判定されたシーン分割点を話題転換点と判断する。その上で、自動グルーピング手段１７によって自動グループ化処理が行われ、話題ごとに自動的にグルーピングが行われることとなる。
【００５１】
以上によって、グループ作成を自動化することで、さらに要約作成の手間を削減することが可能である。この機能を実行することにより、シーン分割された結果が自動的にグループ化される。
【００５２】
（２）要約への採用範囲の限定
図１２に示されているように、優先度設定手段７に、対象となるシーンあるいはグループのどの部位から要約作成に採用するかを設定する開始位置設定手段２１と、どのぐらいの長さまで要約に採用するかを設定する継続区間設定手段２３を付加することができる。
【００５３】
これにより、シーンあるいはグループの一部分のみを要約画像に採用することができ、フレキシブルな要約作成を行うことができる。あるシーンあるいはグループを選択した状態で、優先度設定を実行すると、図１３に示されているような優先度・区間設定ダイアログが画面表示される。このダイアログで、設定された開始位置指定部と、継続時間指定部で指定された値が優先度設定手段７に記憶され、要約作成時に、ここで設定された部分が切り出されて使用される。これにより、図１４に示されてるように、シーンの一部が切り出されて要約へ採用されることになる。
【００５４】
出力される要約の時間を制限した場合に、この拡張により各シーンに均等に時間を配分することが可能であり、設定された時間をシーン数で割ったものを継続時間に設定すればよい。
【００５５】
（３）設定値の外部記憶への保存とクライアントでの利用
図１５に示されているように、動画入力手段１、シーン分割手段３、グループ作成手段５、優先度設定手段７、要約出力部９に、シーン分割情報、優先度設定情報、動画へのポインタなどの設定情報を外部媒体へ記憶する設定情報出力手段３１を追加することができる。
【００５６】
この実施の形態では、設定情報出力手段３１により出力されるものは電子形式のファイルとする。要約作成時に動画ファイルそのものではなく、この設定情報を出力し、この設定情報が記憶された電子ファイルをネットワーク接続などを通じ他のマシンにおいて同様の動画要約装置を用いて読み込むことで、要約作成後であっても第３者による再生優先度設定が可能となる。
【００５７】
この電子ファイルは、図５に示されているようなグループ構造を持ち、それぞれのシーンに対して図６に示されているような優先度が設定されているとすると、図１６に示されているように、動画ファイルの所在と、それぞれのシーンに関する情報をパッキングしたものを連結するような形式で保存される。例では、動画ファイルの所在は共通事項であるのでヘッダ部として定義している。
【００５８】
このときの再生環境は、図１７に示されているように、設定値読み込み手段４１と、再生動画入力手段４３と、再生優先度設定手段４５と、要約再生手段４７とを持つ再生装置を利用することができる。この場合は、設定値読み込み手段４１により、図１６に示されているような形式のファイルから設定値を読み込み、再生動画入力手段４３を通して設定情報に書き込まれた動画ファイルを開き、内容を展開して再生優先度設定手段４５により設定された再生優先度をもって要約再生手段４７により要約の再生を行う。
【００５９】
図１８は再生装置の画面例を示している。この再生環境画面は、機能選択メニュー１２０、要約表示領域１２２、動画操作部１２４を有する。動画操作部１２４で再生指示を行うと、要約再生手段４７は各シーンの優先度を判定して要約の再生を行っていく。再生優先度を１に設定したとすると、シーン１、３、６、８、９、１０が順番に再生されていく。再生優先度を０にすると、シーン１、６、９のみが再生される。このように再生優先度を変更することで、状況に応じて要約の内容の詳しさを変更することが可能となる。
【００６０】
（４）再生可能優先度設定によるコンテンツへのロック
図１９に示されているように、設定情報出力手段３１に再生限界優先度設定手段３３を設け、要約作成時に、再生限界優先度を設定情報に同時に書き込むことで、再生環境では一定以上の優先度にしか設定できないようにすることが可能である。また、これと同時に、この制限（再生限界優先度）を解除するためのキーを設定する限界優先度解除キー設定手段３５を設定情報出力手段３１に設け、キーを指定することで制限を解除することができる。
【００６１】
図２０に示されているように、再生装置に、再生限界優先度設定手段３３により設定された再生限界優先度以下に設定不可能として再生する対象優先度を設定する制限付き再生優先度設定手段４９と、キーを読み込んで制限を解除する制限解除手段５１を追加し、キー入力（パスワード入力）で、再生の制限を解除することができる。
【００６２】
図２１に示されているファイル構造のように、ヘッダ部のメンバとして再生限界優先度とキーを書き込む。これによってビデオオンデマンドの応用において、通常時（課金前）は一部の要約だけしか見ることが不可能であるが、課金するとすべてのシーンを見ることが可能なキーを送信するといった利用が可能になる。たとえば、図２１に示されているように、シーン構造・優先度が指定されており、再生限界優先度が０の場合は、シーン１、４しか見ることができない。課金後に送信するキーにより、再生限界優先度のロックを解除することで、コンテンツファイルは同一のままで、すべての内容を見ることができるものとなる。
【００６３】
以上によって、動画像の要約を従来より簡単に作成することが可能となる。さらに、フレキシブルな再生優先度設定により、ユーザーのニーズやコンテンツ提供者の意図に応じた範囲での要約再生を行うことが可能となる。
【００６４】
【発明の効果】
以上の説明から理解される如く、この発明による動画要約装置によれば、分割されたシーンをグルーピングし、グルーピングされた結果に基づいて各シーンの優先度を決定し、任意に設定される出力優先度と優先度情報に基づいてシーンの取捨選択を行い、要約動画像を作成するから、長いストーリーや話題が多いものの場合でも、片寄った内容の要約画像を作成することがなく、全体を把握でき、しかも出力優先度の設定の如何によって目的に応じたフレキシビリティが高い要約画像を容易に作成することができる。
【００６５】
つぎの発明による動画要約装置によれば、グループの先頭シーンに最高の優先度を設定するので、長いストーリーや話題が多いものの場合でも、片寄った内容の要約画像を作成することがなく、全体を把握でき、しかも出力優先度の設定の如何によって目的に応じたフレキシビリティが高い要約画像を的確に作成することができる。
【００６６】
つぎの発明による動画要約装置によれば、タイトル文字ありと判定されたシーン分割点を話題転換点として設定し、各話題転換点間を一つのグループとして自動的にグルーピングするから、グルーピングが自動で的確に行われ、長いストーリーや話題が多いものの場合でも、片寄った内容の要約画像を作成することがなく、全体を把握でき、目的に応じたフレキシビリティが高い要約画像を的確に作成することができる。
【００６７】
つぎの発明による動画要約装置によれば、音声特徴ありと判定されたシーン分割点を話題転換点として設定し、各話題転換点間を一つのグループとして自動的にグルーピングするから、グルーピングが自動で的確に行われ、長いストーリーや話題が多いものの場合でも、片寄った内容の要約画像を作成することがなく、全体を把握でき、目的に応じたフレキシビリティが高い要約画像を的確に作成することができる。
【００６８】
つぎの発明による動画要約装置によれば、タイトル文字が含まれていると判定され、かつ、音声特徴変化があったと判定されたシーン分割点を話題転換点として設定し、各話題転換点間を一つのグループとして自動的にグルーピングするから、グルーピングが自動で的確に行われ、長いストーリーや話題が多いものの場合でも、片寄った内容の要約画像を作成することがなく、全体を把握でき、目的に応じたフレキシビリティが高い要約画像を的確に作成することができる。
【００６９】
つぎの発明による動画要約装置によれば、音声のフェードインを検出して話題転換点を設定し、各話題転換点間を一つのグループとして自動的にグルーピングするから、グルーピングが自動で的確に行われ、長いストーリーや話題が多いものの場合でも、片寄った内容の要約画像を作成することがなく、全体を把握でき、目的に応じたフレキシビリティが高い要約画像を的確に作成することができる。
【００７０】
つぎの発明による動画要約装置によれば、音声レベルの急激な増加を検出して話題転換点を設定し、各話題転換点間を一つのグループとして自動的にグルーピングするから、グルーピングが自動で的確に行われ、長いストーリーや話題が多いものの場合でも、片寄った内容の要約画像を作成することがなく、全体を把握でき、目的に応じたフレキシビリティが高い要約画像を的確に作成することができる。
【００７１】
つぎの発明による動画要約装置によれば、シーン中に要約に採用する際の開始点とする位置を設定し、その開始位置から設定された継続時間にわたって要約画像を作成するから、要約に採用するシーンの一部分だけを抜粋して採用することができ、目的に応じた冗長でない要約画像を的確に作成することができる。
【００７２】
つぎの発明による動画要約装置によれば、入力された動画像へのポインタ情報と優先度情報をシーン情報と関連づけた結果を構造化して出力するから、再生側で、目的に応じてフレキシブルに要約を見ることが可能になる。
【００７３】
つぎの発明による動画再生装置によれば、読み込んだ優先度情報と動画像と再生優先度設定手段により設定された再生優先度を基に要約再生を行うから、再生優先度の如何により、目的に応じてフレキシブルに要約を見ることができる。
【００７４】
つぎの発明による動画要約装置によれば、再生可能とする優先度の最低値と、その限界優先度を解除するためのキーを設定するから、再生する対象優先度を再生限界優先度以下に設定不可能とするが、限界優先度解除キーを指定された場合にこの制限を解除するから、再生側で、コンテンツの詳細情報を選択的にロックすることが可能になる。
【００７５】
つぎの発明による動画再生装置によれば、再生可能とする優先度の最低値と、その限界優先度を解除するためのキーを設定され、再生する対象優先度を再生限界優先度以下に設定不可能とするが、限界優先度解除キーを指定された場合にこの制限を解除するから、コンテンツの詳細情報が選択的にロックされ、ユーザーのニーズやコンテンツ提供者の意図に応じた範囲での要約再生を行うことが可能となる。
【００７６】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体によれば、分割されたシーンをグルーピングし、グルーピングされた結果に基づいて各シーンの優先度を決定し、任意に設定される出力優先度と優先度情報に基づいてシーンの取捨選択を行い、要約動画像を作成するから、長いストーリーや話題が多いものの場合でも、片寄った内容の要約画像を作成することがなく、全体を把握でき、しかも出力優先度の設定の如何によって目的に応じたフレキシビリティが高い要約画像を容易に作成することができる。
【００７７】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体によれば、グループの先頭シーンに最高の優先度を設定するので、長いストーリーや話題が多いものの場合でも、片寄った内容の要約画像を作成することがなく、全体を把握でき、しかも出力優先度の設定の如何によって目的に応じたフレキシビリティが高い要約画像を的確に作成することができる。
【００７８】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体によれば、タイトル文字ありと判定されたシーン分割点を話題転換点として設定し、各話題転換点間を一つのグループとして自動的にグルーピングするから、グルーピングが自動で的確に行われ、長いストーリーや話題が多いものの場合でも、片寄った内容の要約画像を作成することがなく、全体を把握でき、目的に応じたフレキシビリティが高い要約画像を的確に作成することができる。
【００７９】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体によれば、音声特徴ありと判定されたシーン分割点を話題転換点として設定し、各話題転換点間を一つのグループとして自動的にグルーピングするから、グルーピングが自動で的確に行われ、長いストーリーや話題が多いものの場合でも、片寄った内容の要約画像を作成することがなく、全体を把握でき、目的に応じたフレキシビリティが高い要約画像を的確に作成することができる。
【００８０】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体によれば、タイトル文字が含まれていると判定され、かつ、音声特徴変化があったと判定されたシーン分割点を話題転換点として設定し、各話題転換点間を一つのグループとして自動的にグルーピングするから、グルーピングが自動で的確に行われ、長いストーリーや話題が多いものの場合でも、片寄った内容の要約画像を作成することがなく、全体を把握でき、目的に応じたフレキシビリティが高い要約画像を的確に作成することができる。
【００８１】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体によれば、音声のフェードインを検出して話題転換点を設定し、各話題転換点間を一つのグループとして自動的にグルーピングするから、グルーピングが自動で的確に行われ、長いストーリーや話題が多いものの場合でも、片寄った内容の要約画像を作成することがなく、全体を把握でき、目的に応じたフレキシビリティが高い要約画像を的確に作成することができる。
【００８２】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体によれば、音声レベルの急激な増加を検出して話題転換点を設定し、各話題転換点間を一つのグループとして自動的にグルーピングするから、グルーピングが自動で的確に行われ、長いストーリーや話題が多いものの場合でも、片寄った内容の要約画像を作成することがなく、全体を把握でき、目的に応じたフレキシビリティが高い要約画像を的確に作成することができる。
【００８３】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体によれば、シーン中に要約に採用する際の開始点とする位置を設定し、その開始位置から設定された継続区間（時間）にわたって要約画像を作成するから、要約に採用するシーンの一部分だけを抜粋して採用することができ、目的に応じた冗長でない要約画像を的確に作成することができる。
【００８４】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体によれば、入力された動画像へのポインタ情報と優先度情報をシーン情報と関連づけた結果を構造化して出力するから、再生側で、目的に応じてフレキシブルに要約を見ることが可能になる。
【００８５】
つぎの発明による動画再生プログラムを記録したコンピュータ読み取り可能な記録媒体によれば、読み込んだ優先度情報と動画像と再生優先度設定手順により設定された再生優先度を基に要約再生を行うから、再生優先度の如何により、目的に応じてフレキシブルに要約を見ることができる。
【００８６】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体によれば、再生可能とする優先度の最低値と、その限界優先度を解除するためのキーを設定するから、再生する対象優先度を再生限界優先度以下に設定不可能とするが、限界優先度解除キーを指定された場合にこの制限を解除するから、再生側で、コンテンツの詳細情報を選択的にロックすることが可能になる。
【００８７】
つぎの発明による動画再生プログラムを記録したコンピュータ読み取り可能な記録媒体によれば、再生可能とする優先度の最低値と、その限界優先度を解除するためのキーを設定され、再生する対象優先度を再生限界優先度以下に設定不可能とするが、限界優先度解除キーを指定された場合にこの制限を解除するから、コンテンツの詳細情報が選択的にロックされ、ユーザーのニーズやコンテンツ提供者の意図に応じた範囲での要約再生を行うことが可能となる。
【図面の簡単な説明】
【図１】 この発明にかかる動画要約装置の実施の形態１を示すブロック図である。
【図２】 この発明にかかる動画要約装置の画面表示例を示す説明図である。
【図３】 この発明にかかる動画要約装置で用いるシーン分割データを示す説明図である。
【図４】 この発明にかかる動画要約装置でシーン分割を行った結果を動画構造表示部で表示する例を示す説明図である。
【図５】 この発明にかかる動画要約装置でグルーピングを行った結果を動画構造表示部で表示する例を示す説明図である。
【図６】 この発明にかかる動画要約装置でシーンに対して優先度を設定した結果を示す説明図である。
【図７】 この発明にかかる動画要約装置で要約作成を行う例を示す説明図である。
【図８】 この発明にかかる動画要約装置のグループ作成手段の構成を示すブロック図である。
【図９】 この発明にかかる動画要約装置で音声のフェードイン判定を行う際に例とするシーン分割点近辺の音声波形を示す波形図である。
【図１０】 この発明にかかる動画要約装置でフェードイン判定を行う際に利用する判定テーブルを示す説明図である。
【図１１】 この発明にかかる動画要約装置でシーン分割点とほぼ同時に音声レベルが急増することを判定する際を例とするシーン分割点近辺の音声波形を示す波形図である。
【図１２】 この発明にかかる動画要約装置の優先度設定手段を示すブロック図である。
【図１３】 この発明にかかる動画要約装置の優先度設定ダイアログを示す説明図である。
【図１４】 この発明にかかる動画要約装置においてシーンに対し区間設定を行ったものに対する要約作成結果を示す説明図である。
【図１５】 この発明にかかる動画要約装置に設定情報出力手段を追加した場合の構成を示すブロック図である。
【図１６】 この発明にかかる動画要約装置において設定情報出力手段で出力されるデータの形式の例を示す説明図である。
【図１７】 この発明にかかる動画再生装置の一つの実施の形態を示すブロック図である。
【図１８】 この発明にかかる動画再生装置の画面例を示す説明図である。
【図１９】この発明にかかる動画要約装置の他の実施の形態を示すブロック図である。
【図２０】 この発明にかかる動画再生装置の他の実施の形態を示すブロック図である。
【図２１】 この発明にかかる動画要約装置において設定情報出力手段で出力されるデータの形式の例を示す説明図である。
【符号の説明】
１ 動画入力手段、３ シーン分割手段、５ グループ作成手段、７ 優先度設定手段、９ 要約出力手段、１１ タイトル判定手段、１３ 音声特徴検出手段、１５ 話題転換点設定手段、１７ 自動グルーピング手段、２１ 開始位置設定手段、２３ 継続区間設定手段、３１ 設定情報出力手段、３３ 再生限界優先度設定手段、３５ 限界優先度解除キー設定手段、４１ 設定値読み込み手段、４３ 再生動画入力手段、４５ 再生優先度設定手段、４７ 要約再生手段、４９ 制限付き再生優先度設定手段、５１ 制限解除手段。
【発明の属する技術分野】
この発明は、動画要約装置および動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体および動画再生装置および動画再生プログラムを記録したコンピュータ読み取り可能な記録媒体に関するものである。
【０００２】
【従来の技術】
ネットワークの高速化やインターネットにおける動画像配信技術の進歩により、動画像配信が盛んに行われている。しかしながら、動画像を配信するには、依然として相当の時間、リソースが必要となるために、動画像の中身をすべて見ずに目的の動画像を探し出すことができる装置が求められている。この点を解決するために、動画像の内容をかいつまんで要約した要約動画を用いて長いストーリーの一部のみを見せることで、それがユーザーにとって必要であるかそうでないかを判定させるという手法が取られる。
【０００３】
従来、コンピュータシステムにおいて、動画像の要約を作成するには、ビデオ編集ソフトウェアを用いてビデオ編集を行う必要がある。ビデオ編集のプログラミングとしては、たとえばＡｄｏｂｅ社の「Ｐｒｅｍｉｅｒｅ」のようなものが挙げられる。「Ｐｒｅｍｉｅｒｅ」では、動画ファイルを読み込んで、必要なシーンを人手により切り出してつなぎ合わせことで動画像の編集を行うことができる。これにより、要約とすべき部分を切り出して、それらを繋ぎ合わせることで要約を作成することができる。
【０００４】
動画像の要約を作成するものとして、各シーンに優先度を設定し、設定された優先度と任意に設定されたダイジェスト時間により、ダイジェスト時間範囲の動画像要約を作成するものが特開平３−９０９６８号公報に示されている。また、シーンを類似度をもってグループ化し、各グループの代表画像シーンを繋ぎ合わせることで要約を作成することが特開平１０−１１２８３５号公報に示されている。
【０００５】
また、音声信号のレベルが大きいシーンをハイライトシートとして抜粋してダイジェスト（動画像要約）を自動的に作成することが特開平９−２８４７０４号公報に示されている。また、動画像のカットの変わり目を代表シーンとし、その代表シーンを繋ぎ合わせることで要約を作成することが特開平９−２８４６９８号公報に示されている。
【０００６】
【発明が解決しようとする課題】
「Ｐｒｅｍｉｅｒｅ」のような方法では、採用すべきシーンは動画を最初から最後まで見る、もしくは一定フレーム間隔でフレーム画像を並べたフィルムストリップ形式の表示ウインドウによって位置を特定する必要があり、採用シーンの特定は最終的には１フレームごとに行う必要があり、一度要約となるビデオクリップを作成してしまうと、別の長さの要約画像を作成するには、新たに最初から要約の作りなおす必要があり、目的に応じたフレキシビリティが高い要約画像を作成することができない。
【０００７】
特開平３−９０９６８号公報に示されている要約画像作成では、各シーンに対する優先度の設定により、任意に設定されたダイジェスト時間範囲で、優先度が高いシーンを集めた要約画像を作成できるが、長いストーリーや話題が多いものの場合には、全体にわたって優先度の設定が満遍なく適切に行われないと、片寄った内容の要約画像が作成され、全体を適切に把握できる良質の要約画像が作成されない。
【０００８】
これに対し、特開平１０−１１２８３５号公報や特開平１０−２８４７０４号公報に示されているものでは、シーンを類似度をもってグループ化し、各グループの代表画像シーンを繋ぎ合わせることで要約を作成したり、音声信号のレベルが大きいシーンをハイライトシートとして抜粋して要約を作成するから、一応、全体を把握できる要約画像を作成することができるが、しかし、別の長さの要約画像を作成するには、新たに最初から要約の作りなおす必要があり、目的に応じたフレキシビリティが高い要約画像を作成することができない。また、特開平９−２８４６９８号公報に示されているものであっても、同様に目的に応じたフレキシビリティが高い要約画像を作成することができない。
【０００９】
この発明は、上述の如き問題点を解消するためになされたもので、片寄った内容の要約画像を作成することがなく、全体を把握でき、しかも目的に応じたフレキシビリティが高い要約画像を的確に作成する動画要約装置および動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体、および目的に応じた高いフレキシビリティをもって要動画要約を再生する動画再生装置および動画再生プログラムを記録したコンピュータ読み取り可能な記録媒体を得ることを目的としている。
【００１０】
【課題を解決するための手段】
上記の目的を達成するために、この発明による動画要約装置は、動画像を入力する動画入力手段と、前記動画入力手段により入力された動画像からカット変化点を検出し、検出したカット変化点の情報に基づき入力された動画像を複数のシーンに分割し、これら複数のシーンからシーン分割点のフレーム画像を各シーンの代表シーン情報として夫々抽出するシーン分割手段と、前記シーン分割手段により抽出された各シーンの代表シーン情報を各シーンの動画の内容に応じて複数のグループの何れかに割り当てるグルーピングを実行するグループ作成手段と、１つのグループの少なくとも１つの代表シーン情報に最高の優先度が設定されるように、前記グループ作成手段によりグルーピングされた各グループに属する各シーンの代表シーン情報に優先度を設定する優先度設定手段と、前記優先度設定手段により設定された優先度情報と任意に設定される出力優先度とに基づいて各シーンの代表シーン情報の取捨選択を行い、要約動画像を作成する要約出力手段とを有しているものである。
【００１１】
つぎの発明による動画要約装置は、前記優先度設定手段が、グループの先頭シーンに対応する代表シーン情報に最高の優先度を設定するものである。
【００１２】
つぎの発明による動画要約装置は、前記グループ作成手段が、シーン開始位置近辺の画像にタイトル文字が含まれていることを判定するタイトル判定手段と、前記タイトル判定手段の結果からタイトル文字ありと判定されたシーン分割点を話題転換点として設定する話題転換点設定手段と、各話題転換点間を一つのグループとしてグルーピングする自動グルーピング手段とを有しているものである。
【００１３】
つぎの発明による動画要約装置は、前記グループ作成手段が、シーン分割点近辺の音声特徴を検出する音声特徴検出手段と、前記音声特徴検出手段の結果から音声特徴ありと判定されたシーン分割点を話題転換点として設定する話題転換点設定手段と、各話題転換点間を一つのグループとしてグルーピングする自動グルーピング手段とを有しているものである。
【００１４】
つぎの発明による動画要約装置は、前記グループ作成手段が、シーン開始位置近辺の画像にタイトル文字が含まれていることを判定するタイトル判定手段と、シーン分割点近辺の音声特徴を検出する音声特徴検出手段と、前記タイトル判定手段においてタイトル文字が含まれていると判定され、かつ、前記音声特徴検出手段において音声特徴変化があったと判定されたシーン分割点を話題転換点として設定する話題転換点設定手段と、各話題転換点間を一つのグループとしてグルーピングする自動グルーピング手段とを有しているものである。
【００１５】
つぎの発明による動画要約装置は、前記音声特徴検出手段が、音声のフェードインを検出するものである。
【００１６】
つぎの発明による動画要約装置は、前記音声特徴検出手段が、音声レベルの急激な増加を検出するものである。
【００１７】
つぎの発明による動画要約装置は、前記優先度設定手段が、シーン中で要約に採用する際の開始点とする位置を設定する開始位置設定手段と、開始位置からの継続時間を設定する継続区間設定手段とを有しているものである。
【００１８】
つぎの発明による動画要約装置は、前記動画入力手段において入力された動画像へのポインタ情報と前記優先度設定手段により設定された優先度情報を前記シーン分割手段から取得した代表シーン情報と関連づけた結果を構造化して出力する設定情報出力手段を有しているものである。
【００１９】
また、上述の目的を達成するために、この発明による動画再生装置は、上述のような発明による動画要約装置の前記設定情報出力手段により設定された設定情報を読み込む設定値読み込み手段と、設定情報に記述されている動画像へのポインタ情報を基に動画像を読み込む再生動画入力手段と、再生する対象優先度を設定する再生優先度設定手段と、読み込んだ優先度情報と動画像と前記再生優先度設定手段により設定された再生優先度を基に要約再生を行う要約再生手段とを有しているものである。
【００２０】
つぎの発明による動画要約装置は、前記設定情報出力手段が、再生可能とする優先度の最低値を設定する再生限界優先度設定手段と、限界優先度を解除するためのキーを設定する限界優先度解除キー設定手段とを有しているものである。
【００２１】
つぎの発明による動画再生装置は、上述の発明による動画要約装置の前記設定情報出力手段により設定された設定情報を読み込む設定値読み込み手段と、設定情報に記述されている動画像へのポインタ情報を基に動画像を読み込む再生動画入力手段と、上述の発明による動画要約装置の前記再生限界優先度設定手段により設定された再生限界優先度以下に設定不可能として再生する対象優先度を設定する制限付き再生優先度設定手段と、上述の発明による動画要約装置の前記限界優先度解除キー設定手段により設定された限界優先度解除キーの指定により再生限界優先度の制限を解除する制限解除手段と、読み込んだ優先度情報と動画像と前記制限付き再生優先度設定手段と設定された再生優先度を基に要約再生を行う要約再生手段とを有しているものである。
【００２２】
また、上述の目的を達成するために、この発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体は、コンピュータに、動画像を入力する動画入力手順と、前記動画入力手順により入力された動画像からカット変化点を検出し、検出したカット変化点の情報に基づき入力された動画像を複数のシーンに分割し、これら複数のシーンからシーン分割点のフレーム画像を各シーンの代表シーン情報として夫々抽出するシーン分割手順と、前記シーン分割手順により抽出された各シーンの代表シーン情報を各シーンの動画の内容に応じて複数のグループの何れかに割り当てるグルーピングを実行するグループ作成手順と、１つのグループの少なくとも１つの代表シーン情報に最高の優先度が設定されるように、前記グループ作成手段によりグルーピングされた各グループに属する各シーンの代表シーン情報に優先度を設定する優先度設定手順と、前記優先度設定手順により設定された優先度情報と任意に設定される出力優先度とに基づいて各シーンの代表シーン情報の取捨選択を行い、要約動画像を作成する要約出力手順を実行させるためのプログラムを記録したものである。
【００２３】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体は、前記優先度設定手順が、グループの先頭シーンに対応する代表シーン情報に最高の優先度を設定するものである。
【００２４】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体は、前記グループ作成手順が、シーン開始位置近辺の画像にタイトル文字が含まれていることを判定するタイトル判定手順と、前記タイトル判定手順の結果からタイトル文字ありと判定されたシーン分割点を話題転換点として設定する話題転換点設定手順と、各話題転換点間を一つのグループとしてグルーピングする自動グルーピング手順とを有しているものである。
【００２５】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体は、前記グループ作成手順が、シーン分割点近辺の音声特徴を検出する音声特徴検出手順と、前記音声特徴検出手順の結果から音声特徴ありと判定されたシーン分割点を話題転換点として設定する話題転換点設定手順と、各話題転換点間を一つのグループとしてグルーピングする自動グルーピング手順とを有しているものである。
【００２６】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体は、前記グループ作成手順は、シーン開始位置近辺の画像にタイトル文字が含まれていることを判定するタイトル判定手順と、シーン分割点近辺の音声特徴を検出する音声特徴検出手順と、前記タイトル判定手順においてタイトル文字が含まれていると判定され、かつ、前記音声特徴検出手順において音声特徴変化があったと判定されたシーン分割点を話題転換点として設定する話題転換点設定手順と、各話題転換点間を一つのグループとしてグルーピングする自動グルーピング手順とを有しているものである。
【００２７】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体は、前記音声特徴検出手順が、音声のフェードインを検出するものである。
【００２８】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体は、前記音声特徴検出手順が、音声レベルの急激な増加を検出するものである。
【００２９】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体は、前記優先度設定手順が、シーン中で要約に採用する際の開始点とする位置を設定する開始位置設定手順と、開始位置からの継続時間を設定する継続区間設定手順とを有しているものである。
【００３０】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体は、前記動画入力手順において入力された動画像へのポインタ情報と前記優先度設定手順により設定された優先度情報をシーン分割手順から取得した代表シーン情報と関連づけた結果を構造化して出力する設定情報出力手順を有しているものである。
【００３１】
また、上述の目的を達成するために、この発明による動画再生プログラムを記録したコンピュータ読み取り可能な記録媒体は、動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体は、上述の発明によるコンピュータ読み取り可能な記録媒体の前記設定情報出力手順により設定された設定情報を読み込む設定値読み込み手順と、設定情報に記述されている動画像へのポインタ情報を基に動画像を読み込む再生動画入力手順と、再生する対象優先度を設定する再生優先度設定手順と、読み込んだ優先度情報と動画像と前記再生優先度設定手順により設定された再生優先度を基に要約再生を行う要約再生手順とを有しているものである。
【００３２】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体は、前記設定情報出力手順は、再生可能とする優先度の最低値を設定する再生限界優先度設定手順と、限界優先度を解除するためのキーを設定する限界優先度解除キー設定手順とを有しているものである。
【００３３】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体は、上述の発明によるコンピュータ読み取り可能な記録媒体の前記設定情報出力手順により設定された設定情報を読み込む設定値読み込み手順と、設定情報に記述されている動画像へのポインタ情報を基に動画像を読み込む再生動画入力手順と、上述の発明によるコンピュータ読み取り可能な記録媒体の前記再生限界優先度設定手順により設定された再生限界優先度以下に設定不可能として再生する対象優先度を設定する制限付き再生優先度設定手順と、上述の発明によるコンピュータ読み取り可能な記録媒体の前記限界優先度解除キー設定手順により設定された限界優先度解除キーの指定により再生限界優先度の制限を解除する制限解除手順と、読み込んだ優先度情報と動画像と前記制限付き再生優先度設定手順と設定された再生優先度を基に要約再生を行う要約再生手順とを有しているものである。
【００３４】
【発明の実施の形態】
以下に添付の図を参照して、この発明にかかる動画要約装置および動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体および動画再生装置および動画再生プログラムを記録したコンピュータ読み取り可能な記録媒体の実施の形態を詳細に説明する。
【００３５】
実施の形態１．
図１は、この発明による動画要約装置の実施の形態１を示している。動画要約作成装置は、外部各種媒体より動画を入力して記憶する動画入力手段１と、動画入力手段１により入力された動画からカット変化点を検出し、その情報を記憶するシーン分割手段３と、複数のシーンをひとまとめのグループとするグループ作成手段５と、グルーピングの結果に基づいてシーンに優先度を設定する優先度設定手段７と、任意に設定される出力優先度と優先度設定手段７により設定された優先度に従って動画入力手段１に記憶されている動画から該当部分を切り出し、繋ぎ合わせたものを要約動画として出力する要約出力手段９を有している。
【００３６】
図２は、この発明による動画要約装置の画面表示例を示している。この画面表示において、１００は動画表示部、１０２は動画構造表示部、１０４は代表画像表示フレーム、１０６はスライドバー、１０８は動画操作部、１１０は機能選択メニュー部である。
【００３７】
動画像はコンピュータ内のハードディスクに保存されているものとする。ハードディスクより動画入力手段１を通して動画像が読み込まれる。読み込まれた動画像は、シーン分割手段３により、自動もしくは手動で、たとえばカメラの切り替わりなどのカット変化点の検出を行われる。得られたカット変化点の情報は、その位置を特定するフレーム番号、時刻、タイムコードなどをシーン分割データとしてシーン分割手段３により記憶される。
【００３８】
図３は、シーン分割した結果、シーン分割手段３に記憶されているシーン情報の例を示している。この例では、フレーム情報を位置特定情報として用いることとする。図４はシーン分割後の動画構造表示部１０２に表示される内容の例を示している。ルート２０１は動画の全体を示し、代表画像２０２〜２１１はそれぞれシーン１〜シーン１０のシーン分割点のフレーム画像を静止画像として切り出したものである。
【００３９】
つぎに、グループ作成手段５により、シーンを動画の内容などに応じて、図５に例示されているように、グループ化を行う。代表画像２１２がグループ１を代表する画像であり、たとえばグループの開始フレームの静止画像を表示する。このようにしてグループ化された結果に基づいて優先度設定手段７によりシーンの優先度が設定される。ここでは、優先度は０〜２５５の範囲で指定可能なものとし、０を最高、２５５を最低のものとする。
【００４０】
グループ化されたシーンに関しては、グループ内から指定した数だけを必ず抜き出して利用するように設定することが可能である。たとえば一つのグループから二つのシーンを選択するように指定してあった場合、グループに属するシーン数を２で割った結果おきのフレーム間隔でシーンの優先度に０(最高の優先度)を割り当てる。図５のようにグループが作成されているとすると、グループあたりの採用シーン数を２とした場合には、シーン１、３、６、８、９、１０に最高の優先度０が設定される。
【００４１】
また、グループの先頭シーンに対して要約に採用されるように最高の優先度を設定することで、ストーリーに応じてグループを作成した場合に、ストーリーから漏れのないようにシーンの取捨選択を行うことが容易になる。たとえば、図５のようにグループ化されている場合には、シーン１、６、９に最高の優先度０が割り当てられる。
【００４２】
以上のようにして設定された優先度を基に、要約出力手段９は指定された出力優先度を用いて各シーンに設定された優先度に従ってシーンを取捨選択し、要約を作成する。
【００４３】
図６のように優先度が設定されているとし、出力優先度が０であると、シーン１、６、９が要約動画の対象シーンとなり、図７に示されているように、これらの部分が動画入力手段１に記憶されている動画像２３１から切り出され、シーン１、６、９が繋ぎ合わされることで要約動画２３２となる。
【００４４】
動画要約装置のシステムは以下のように拡張することができる。
（１）グループ作成の自動化
教育ビデオなどではある事柄について複数の話題から説明を施すような構成をとるものが多い。このようなビデオの要約を作成する際には、話題に漏れがないように要約を作成する必要がある。
【００４５】
上述のようなグループ化は人手による作業により行うことができるが、話題が転換する話題転換点を自動的に検出し、その間を自動的にグループ化することで話題に漏れがなく、人手を介さずに要約を作成することが可能となる。これを行うために、以下のようにシステムを拡張する。
【００４６】
図８は自動グループ機能を有するグループ作成手段５を示している。このグループ作成手段５は、シーン分割点から一定フレーム内のフレーム画像がタイトル文字を含んでいるかどうかを判定するタイトル判定手段１１と、シーン分割点近辺の音声情報の検出を行う音声特徴検出手段１３と、シーン分割点がタイトル文字を含み音声特徴がシーンチェンジ近辺でのフェードインまたはシーンチェンジと同時に音声レベルが増大している場合に、その時点を話題が転換した点として記憶する話題転換点設定手段１５と、開始から話題転換点、あるいは話題転換点から話題転換点、もしくは話題転換点から終了点までを自動的にひとつのグループと判断してグルーピングを行う自動グルーピング手段１７とを具備している。
【００４７】
タイトル判定手段１１によるタイトル文字の有無の判定は種々の方法により行うことができる。たとえば、タイトル文字は輝度が高いという特徴から、輝度が高い部分の密度が高い領域を持つものをタイトル画像と判断することができる。音声特徴検出手段１３による音声特徴検出では、シーン分割点近辺でのフェードインまたはシーン分割点とほぼ同時に音楽レベルが急増しているかを検出する。
【００４８】
フェードインであるかどうかの判定もいくつかの方法がある。ここではつぎのような方法を用いることとする。シーン分割点を中心とした音声レベルが図９に示されているようになっていた場合を考える。時刻ｔ−Δｔから区間ｄｔづつ音声レベルのピークＰｎを取得していく。時刻ｔ−Δｔの音声レベルのピークをＰ１、時刻ｔ−Δｔ＋ｄｔの音声レベルのピークをＰ２としたときに、Ｐ１とＰ２がＰ２＞Ｐ１の関係にになっているかを判定する。ここで、図１０に示されているような音声増大テーブルを用意し、Ｐ（ｔ＋ｄｔ）＞Ｐ（ｔ）となっている区間に対してマーキングする。すべての区間にてマーキングされた場合にフェードインとして判定する。
【００４９】
さらに、シーン開始とほぼ同時に音楽レベルが急増しているかどうかの判定もいくつかの手法があるが、ここでは、図１１に示されているような音声レベルとなっている場合を想定して判定方法を述べる。シーン分割点時刻ｔから一定区間ｔ＋Δｔまでの間の音声レベルのピークを取得して、シーン分割点時刻ｔより微小区間ｄｔだけ前の時刻ｔ−ｄｔの音声レベルのピークと比較する。ｔ−ｄｔの音声レベルのピークが閾値Ｔｎより小さく、シーン分割点時刻ｔからｔ＋Δｔの期間で閾値Ｔｈを超えた音声レベルが持続する場合に音声レベル急増と判定する。
【００５０】
以上の判定方法からタイトルの有無と、音声特徴が判定できる。これらの情報は個々に用いることも組み合わせて用いることもできる。単独で用いる場合は、それぞれ、タイトルあり、もしくは音声特徴がフェードインである、もしくは音声特徴として音声レベルが急激に増大していると判断されたシーン分割点を話題転換点検出手段１５により話題転換点と判断する。組み合わせて用いる場合は、タイトルありと判定され、かつ、音声特徴がフェードインまたは急激に増大と判定されたシーン分割点を話題転換点と判断する。その上で、自動グルーピング手段１７によって自動グループ化処理が行われ、話題ごとに自動的にグルーピングが行われることとなる。
【００５１】
以上によって、グループ作成を自動化することで、さらに要約作成の手間を削減することが可能である。この機能を実行することにより、シーン分割された結果が自動的にグループ化される。
【００５２】
（２）要約への採用範囲の限定
図１２に示されているように、優先度設定手段７に、対象となるシーンあるいはグループのどの部位から要約作成に採用するかを設定する開始位置設定手段２１と、どのぐらいの長さまで要約に採用するかを設定する継続区間設定手段２３を付加することができる。
【００５３】
これにより、シーンあるいはグループの一部分のみを要約画像に採用することができ、フレキシブルな要約作成を行うことができる。あるシーンあるいはグループを選択した状態で、優先度設定を実行すると、図１３に示されているような優先度・区間設定ダイアログが画面表示される。このダイアログで、設定された開始位置指定部と、継続時間指定部で指定された値が優先度設定手段７に記憶され、要約作成時に、ここで設定された部分が切り出されて使用される。これにより、図１４に示されてるように、シーンの一部が切り出されて要約へ採用されることになる。
【００５４】
出力される要約の時間を制限した場合に、この拡張により各シーンに均等に時間を配分することが可能であり、設定された時間をシーン数で割ったものを継続時間に設定すればよい。
【００５５】
（３）設定値の外部記憶への保存とクライアントでの利用
図１５に示されているように、動画入力手段１、シーン分割手段３、グループ作成手段５、優先度設定手段７、要約出力部９に、シーン分割情報、優先度設定情報、動画へのポインタなどの設定情報を外部媒体へ記憶する設定情報出力手段３１を追加することができる。
【００５６】
この実施の形態では、設定情報出力手段３１により出力されるものは電子形式のファイルとする。要約作成時に動画ファイルそのものではなく、この設定情報を出力し、この設定情報が記憶された電子ファイルをネットワーク接続などを通じ他のマシンにおいて同様の動画要約装置を用いて読み込むことで、要約作成後であっても第３者による再生優先度設定が可能となる。
【００５７】
この電子ファイルは、図５に示されているようなグループ構造を持ち、それぞれのシーンに対して図６に示されているような優先度が設定されているとすると、図１６に示されているように、動画ファイルの所在と、それぞれのシーンに関する情報をパッキングしたものを連結するような形式で保存される。例では、動画ファイルの所在は共通事項であるのでヘッダ部として定義している。
【００５８】
このときの再生環境は、図１７に示されているように、設定値読み込み手段４１と、再生動画入力手段４３と、再生優先度設定手段４５と、要約再生手段４７とを持つ再生装置を利用することができる。この場合は、設定値読み込み手段４１により、図１６に示されているような形式のファイルから設定値を読み込み、再生動画入力手段４３を通して設定情報に書き込まれた動画ファイルを開き、内容を展開して再生優先度設定手段４５により設定された再生優先度をもって要約再生手段４７により要約の再生を行う。
【００５９】
図１８は再生装置の画面例を示している。この再生環境画面は、機能選択メニュー１２０、要約表示領域１２２、動画操作部１２４を有する。動画操作部１２４で再生指示を行うと、要約再生手段４７は各シーンの優先度を判定して要約の再生を行っていく。再生優先度を１に設定したとすると、シーン１、３、６、８、９、１０が順番に再生されていく。再生優先度を０にすると、シーン１、６、９のみが再生される。このように再生優先度を変更することで、状況に応じて要約の内容の詳しさを変更することが可能となる。
【００６０】
（４）再生可能優先度設定によるコンテンツへのロック
図１９に示されているように、設定情報出力手段３１に再生限界優先度設定手段３３を設け、要約作成時に、再生限界優先度を設定情報に同時に書き込むことで、再生環境では一定以上の優先度にしか設定できないようにすることが可能である。また、これと同時に、この制限（再生限界優先度）を解除するためのキーを設定する限界優先度解除キー設定手段３５を設定情報出力手段３１に設け、キーを指定することで制限を解除することができる。
【００６１】
図２０に示されているように、再生装置に、再生限界優先度設定手段３３により設定された再生限界優先度以下に設定不可能として再生する対象優先度を設定する制限付き再生優先度設定手段４９と、キーを読み込んで制限を解除する制限解除手段５１を追加し、キー入力（パスワード入力）で、再生の制限を解除することができる。
【００６２】
図２１に示されているファイル構造のように、ヘッダ部のメンバとして再生限界優先度とキーを書き込む。これによってビデオオンデマンドの応用において、通常時（課金前）は一部の要約だけしか見ることが不可能であるが、課金するとすべてのシーンを見ることが可能なキーを送信するといった利用が可能になる。たとえば、図２１に示されているように、シーン構造・優先度が指定されており、再生限界優先度が０の場合は、シーン１、４しか見ることができない。課金後に送信するキーにより、再生限界優先度のロックを解除することで、コンテンツファイルは同一のままで、すべての内容を見ることができるものとなる。
【００６３】
以上によって、動画像の要約を従来より簡単に作成することが可能となる。さらに、フレキシブルな再生優先度設定により、ユーザーのニーズやコンテンツ提供者の意図に応じた範囲での要約再生を行うことが可能となる。
【００６４】
【発明の効果】
以上の説明から理解される如く、この発明による動画要約装置によれば、分割されたシーンをグルーピングし、グルーピングされた結果に基づいて各シーンの優先度を決定し、任意に設定される出力優先度と優先度情報に基づいてシーンの取捨選択を行い、要約動画像を作成するから、長いストーリーや話題が多いものの場合でも、片寄った内容の要約画像を作成することがなく、全体を把握でき、しかも出力優先度の設定の如何によって目的に応じたフレキシビリティが高い要約画像を容易に作成することができる。
【００６５】
つぎの発明による動画要約装置によれば、グループの先頭シーンに最高の優先度を設定するので、長いストーリーや話題が多いものの場合でも、片寄った内容の要約画像を作成することがなく、全体を把握でき、しかも出力優先度の設定の如何によって目的に応じたフレキシビリティが高い要約画像を的確に作成することができる。
【００６６】
つぎの発明による動画要約装置によれば、タイトル文字ありと判定されたシーン分割点を話題転換点として設定し、各話題転換点間を一つのグループとして自動的にグルーピングするから、グルーピングが自動で的確に行われ、長いストーリーや話題が多いものの場合でも、片寄った内容の要約画像を作成することがなく、全体を把握でき、目的に応じたフレキシビリティが高い要約画像を的確に作成することができる。
【００６７】
つぎの発明による動画要約装置によれば、音声特徴ありと判定されたシーン分割点を話題転換点として設定し、各話題転換点間を一つのグループとして自動的にグルーピングするから、グルーピングが自動で的確に行われ、長いストーリーや話題が多いものの場合でも、片寄った内容の要約画像を作成することがなく、全体を把握でき、目的に応じたフレキシビリティが高い要約画像を的確に作成することができる。
【００６８】
つぎの発明による動画要約装置によれば、タイトル文字が含まれていると判定され、かつ、音声特徴変化があったと判定されたシーン分割点を話題転換点として設定し、各話題転換点間を一つのグループとして自動的にグルーピングするから、グルーピングが自動で的確に行われ、長いストーリーや話題が多いものの場合でも、片寄った内容の要約画像を作成することがなく、全体を把握でき、目的に応じたフレキシビリティが高い要約画像を的確に作成することができる。
【００６９】
つぎの発明による動画要約装置によれば、音声のフェードインを検出して話題転換点を設定し、各話題転換点間を一つのグループとして自動的にグルーピングするから、グルーピングが自動で的確に行われ、長いストーリーや話題が多いものの場合でも、片寄った内容の要約画像を作成することがなく、全体を把握でき、目的に応じたフレキシビリティが高い要約画像を的確に作成することができる。
【００７０】
つぎの発明による動画要約装置によれば、音声レベルの急激な増加を検出して話題転換点を設定し、各話題転換点間を一つのグループとして自動的にグルーピングするから、グルーピングが自動で的確に行われ、長いストーリーや話題が多いものの場合でも、片寄った内容の要約画像を作成することがなく、全体を把握でき、目的に応じたフレキシビリティが高い要約画像を的確に作成することができる。
【００７１】
つぎの発明による動画要約装置によれば、シーン中に要約に採用する際の開始点とする位置を設定し、その開始位置から設定された継続時間にわたって要約画像を作成するから、要約に採用するシーンの一部分だけを抜粋して採用することができ、目的に応じた冗長でない要約画像を的確に作成することができる。
【００７２】
つぎの発明による動画要約装置によれば、入力された動画像へのポインタ情報と優先度情報をシーン情報と関連づけた結果を構造化して出力するから、再生側で、目的に応じてフレキシブルに要約を見ることが可能になる。
【００７３】
つぎの発明による動画再生装置によれば、読み込んだ優先度情報と動画像と再生優先度設定手段により設定された再生優先度を基に要約再生を行うから、再生優先度の如何により、目的に応じてフレキシブルに要約を見ることができる。
【００７４】
つぎの発明による動画要約装置によれば、再生可能とする優先度の最低値と、その限界優先度を解除するためのキーを設定するから、再生する対象優先度を再生限界優先度以下に設定不可能とするが、限界優先度解除キーを指定された場合にこの制限を解除するから、再生側で、コンテンツの詳細情報を選択的にロックすることが可能になる。
【００７５】
つぎの発明による動画再生装置によれば、再生可能とする優先度の最低値と、その限界優先度を解除するためのキーを設定され、再生する対象優先度を再生限界優先度以下に設定不可能とするが、限界優先度解除キーを指定された場合にこの制限を解除するから、コンテンツの詳細情報が選択的にロックされ、ユーザーのニーズやコンテンツ提供者の意図に応じた範囲での要約再生を行うことが可能となる。
【００７６】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体によれば、分割されたシーンをグルーピングし、グルーピングされた結果に基づいて各シーンの優先度を決定し、任意に設定される出力優先度と優先度情報に基づいてシーンの取捨選択を行い、要約動画像を作成するから、長いストーリーや話題が多いものの場合でも、片寄った内容の要約画像を作成することがなく、全体を把握でき、しかも出力優先度の設定の如何によって目的に応じたフレキシビリティが高い要約画像を容易に作成することができる。
【００７７】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体によれば、グループの先頭シーンに最高の優先度を設定するので、長いストーリーや話題が多いものの場合でも、片寄った内容の要約画像を作成することがなく、全体を把握でき、しかも出力優先度の設定の如何によって目的に応じたフレキシビリティが高い要約画像を的確に作成することができる。
【００７８】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体によれば、タイトル文字ありと判定されたシーン分割点を話題転換点として設定し、各話題転換点間を一つのグループとして自動的にグルーピングするから、グルーピングが自動で的確に行われ、長いストーリーや話題が多いものの場合でも、片寄った内容の要約画像を作成することがなく、全体を把握でき、目的に応じたフレキシビリティが高い要約画像を的確に作成することができる。
【００７９】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体によれば、音声特徴ありと判定されたシーン分割点を話題転換点として設定し、各話題転換点間を一つのグループとして自動的にグルーピングするから、グルーピングが自動で的確に行われ、長いストーリーや話題が多いものの場合でも、片寄った内容の要約画像を作成することがなく、全体を把握でき、目的に応じたフレキシビリティが高い要約画像を的確に作成することができる。
【００８０】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体によれば、タイトル文字が含まれていると判定され、かつ、音声特徴変化があったと判定されたシーン分割点を話題転換点として設定し、各話題転換点間を一つのグループとして自動的にグルーピングするから、グルーピングが自動で的確に行われ、長いストーリーや話題が多いものの場合でも、片寄った内容の要約画像を作成することがなく、全体を把握でき、目的に応じたフレキシビリティが高い要約画像を的確に作成することができる。
【００８１】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体によれば、音声のフェードインを検出して話題転換点を設定し、各話題転換点間を一つのグループとして自動的にグルーピングするから、グルーピングが自動で的確に行われ、長いストーリーや話題が多いものの場合でも、片寄った内容の要約画像を作成することがなく、全体を把握でき、目的に応じたフレキシビリティが高い要約画像を的確に作成することができる。
【００８２】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体によれば、音声レベルの急激な増加を検出して話題転換点を設定し、各話題転換点間を一つのグループとして自動的にグルーピングするから、グルーピングが自動で的確に行われ、長いストーリーや話題が多いものの場合でも、片寄った内容の要約画像を作成することがなく、全体を把握でき、目的に応じたフレキシビリティが高い要約画像を的確に作成することができる。
【００８３】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体によれば、シーン中に要約に採用する際の開始点とする位置を設定し、その開始位置から設定された継続区間（時間）にわたって要約画像を作成するから、要約に採用するシーンの一部分だけを抜粋して採用することができ、目的に応じた冗長でない要約画像を的確に作成することができる。
【００８４】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体によれば、入力された動画像へのポインタ情報と優先度情報をシーン情報と関連づけた結果を構造化して出力するから、再生側で、目的に応じてフレキシブルに要約を見ることが可能になる。
【００８５】
つぎの発明による動画再生プログラムを記録したコンピュータ読み取り可能な記録媒体によれば、読み込んだ優先度情報と動画像と再生優先度設定手順により設定された再生優先度を基に要約再生を行うから、再生優先度の如何により、目的に応じてフレキシブルに要約を見ることができる。
【００８６】
つぎの発明による動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体によれば、再生可能とする優先度の最低値と、その限界優先度を解除するためのキーを設定するから、再生する対象優先度を再生限界優先度以下に設定不可能とするが、限界優先度解除キーを指定された場合にこの制限を解除するから、再生側で、コンテンツの詳細情報を選択的にロックすることが可能になる。
【００８７】
つぎの発明による動画再生プログラムを記録したコンピュータ読み取り可能な記録媒体によれば、再生可能とする優先度の最低値と、その限界優先度を解除するためのキーを設定され、再生する対象優先度を再生限界優先度以下に設定不可能とするが、限界優先度解除キーを指定された場合にこの制限を解除するから、コンテンツの詳細情報が選択的にロックされ、ユーザーのニーズやコンテンツ提供者の意図に応じた範囲での要約再生を行うことが可能となる。
【図面の簡単な説明】
【図１】 この発明にかかる動画要約装置の実施の形態１を示すブロック図である。
【図２】 この発明にかかる動画要約装置の画面表示例を示す説明図である。
【図３】 この発明にかかる動画要約装置で用いるシーン分割データを示す説明図である。
【図４】 この発明にかかる動画要約装置でシーン分割を行った結果を動画構造表示部で表示する例を示す説明図である。
【図５】 この発明にかかる動画要約装置でグルーピングを行った結果を動画構造表示部で表示する例を示す説明図である。
【図６】 この発明にかかる動画要約装置でシーンに対して優先度を設定した結果を示す説明図である。
【図７】 この発明にかかる動画要約装置で要約作成を行う例を示す説明図である。
【図８】 この発明にかかる動画要約装置のグループ作成手段の構成を示すブロック図である。
【図９】 この発明にかかる動画要約装置で音声のフェードイン判定を行う際に例とするシーン分割点近辺の音声波形を示す波形図である。
【図１０】 この発明にかかる動画要約装置でフェードイン判定を行う際に利用する判定テーブルを示す説明図である。
【図１１】 この発明にかかる動画要約装置でシーン分割点とほぼ同時に音声レベルが急増することを判定する際を例とするシーン分割点近辺の音声波形を示す波形図である。
【図１２】 この発明にかかる動画要約装置の優先度設定手段を示すブロック図である。
【図１３】 この発明にかかる動画要約装置の優先度設定ダイアログを示す説明図である。
【図１４】 この発明にかかる動画要約装置においてシーンに対し区間設定を行ったものに対する要約作成結果を示す説明図である。
【図１５】 この発明にかかる動画要約装置に設定情報出力手段を追加した場合の構成を示すブロック図である。
【図１６】 この発明にかかる動画要約装置において設定情報出力手段で出力されるデータの形式の例を示す説明図である。
【図１７】 この発明にかかる動画再生装置の一つの実施の形態を示すブロック図である。
【図１８】 この発明にかかる動画再生装置の画面例を示す説明図である。
【図１９】この発明にかかる動画要約装置の他の実施の形態を示すブロック図である。
【図２０】 この発明にかかる動画再生装置の他の実施の形態を示すブロック図である。
【図２１】 この発明にかかる動画要約装置において設定情報出力手段で出力されるデータの形式の例を示す説明図である。
【符号の説明】
１ 動画入力手段、３ シーン分割手段、５ グループ作成手段、７ 優先度設定手段、９ 要約出力手段、１１ タイトル判定手段、１３ 音声特徴検出手段、１５ 話題転換点設定手段、１７ 自動グルーピング手段、２１ 開始位置設定手段、２３ 継続区間設定手段、３１ 設定情報出力手段、３３ 再生限界優先度設定手段、３５ 限界優先度解除キー設定手段、４１ 設定値読み込み手段、４３ 再生動画入力手段、４５ 再生優先度設定手段、４７ 要約再生手段、４９ 制限付き再生優先度設定手段、５１ 制限解除手段。
Claims (24)
- 動画像を入力する動画入力手段と、
前記動画入力手段により入力された動画像からカット変化点を検出し、検出したカット変化点の情報に基づき入力された動画像を複数のシーンに分割し、これら複数のシーンからシーン分割点のフレーム画像を各シーンの代表シーン情報として夫々抽出するシーン分割手段と、
前記シーン分割手段により抽出された各シーンの代表シーン情報を各シーンの動画の内容に応じて複数のグループの何れかに割り当てるグルーピングを実行するグループ作成手段と、
１つのグループの少なくとも１つの代表シーン情報に最高の優先度が設定されるように、前記グループ作成手段によりグルーピングされた各グループに属する各シーンの代表シーン情報に優先度を設定する優先度設定手段と、
前記優先度設定手段により設定された優先度情報と任意に設定される出力優先度とに基づいて各シーンの代表シーン情報の取捨選択を行い、要約動画像を作成する要約出力手段と、
を有していることを特徴とする動画要約装置。 - 前記優先度設定手段は、グループの先頭シーンに対応する代表シーン情報に最高の優先度を設定することを特徴とする請求項１に記載の動画要約装置。
- 前記グループ作成手段は、
シーン開始位置近辺の画像にタイトル文字が含まれていることを判定するタイトル判定手段と、
前記タイトル判定手段の結果からタイトル文字ありと判定されたシーン分割点を話題転換点として設定する話題転換点設定手段と、
各話題転換点間を一つのグループとしてグルーピングする自動グルーピング手段と、
を有していることを特徴とする請求項１または２に記載の動画要約装置。 - 前記グループ作成手段は、
シーン分割点近辺の音声特徴を検出する音声特徴検出手段と、
前記音声特徴検出手段の結果から音声特徴ありと判定されたシーン分割点を話題転換点として設定する話題転換点設定手段と、
各話題転換点間を一つのグループとしてグルーピングする自動グルーピング手段と、
を有していることを特徴とする請求項１または２に記載の動画要約装置。 - 前記グループ作成手段は、
シーン開始位置近辺の画像にタイトル文字が含まれていることを判定するタイトル判定手段と、
シーン分割点近辺の音声特徴を検出する音声特徴検出手段と、
前記タイトル判定手段においてタイトル文字が含まれていると判定され、かつ、前記音声特徴検出手段において音声特徴があったと判定されたシーン分割点を話題転換点として設定する話題転換点設定手段と、
各話題転換点間を一つのグループとしてグルーピングする自動グルーピング手段と、
を有していることを特徴とする請求項１または２に記載の動画要約装置。 - 前記音声特徴検出手段は、音声のフェードインを検出することを特徴とする請求項４または５に記載の動画要約装置。
- 前記音声特徴検出手段は、音声レベルの急激な増加を検出することを特徴とする請求項４または５に記載の動画要約装置。
- 前記優先度設定手段は、
シーン中で要約に採用する際の開始点とする位置を設定する開始位置設定手段と、
開始位置からの継続時間を設定する継続区間設定手段と、
を有していることを特徴とする請求項１〜７のいずれか一つに記載の動画要約装置。 - 前記動画入力手段において入力された動画像へのポインタ情報と前記優先度設定手段により設定された優先度情報を前記シーン分割手段から取得した代表シーン情報と関連づけた結果を構造化して出力する設定情報出力手段を有していることを特徴とする請求項１〜８のいずれか一つに記載の動画要約装置。
- 請求項９に記載の動画要約装置の前記設定情報出力手段により設定された設定情報を読み込む設定値読み込み手段と、
設定情報に記述されている動画像へのポインタ情報を基に動画像を読み込む再生動画入力手段と、
再生する対象優先度を設定する再生優先度設定手段と、
読み込んだ優先度情報と動画像と前記再生優先度設定手段により設定された再生優先度を基に要約再生を行う要約再生手段と、
を有していることを特徴とする動画再生装置。 - 前記設定情報出力手段は、再生可能とする優先度の最低値を設定する再生限界優先度設定手段と、限界優先度を解除するためのキーを設定する限界優先度解除キー設定手段とを有していることを特徴とする請求項９に記載の動画要約装置。
- 請求項１１に記載の動画要約装置の前記設定情報出力手段により設定された設定情報を読み込む設定値読み込み手段と、
設定情報に記述されている動画像へのポインタ情報を基に動画像を読み込む再生動画入力手段と、
再生する対象優先度を請求項１１記載の動画要約装置の前記再生限界優先度設定手段により設定された再生限界優先度以下に設定不可能として再生する対象優先度を設定する制限付き再生優先度設定手段と、
請求項１１に記載の動画要約装置の前記限界優先度解除キー設定手段により設定された限界優先度解除キーの指定により再生限界優先度の制限を解除する制限解除手段と、
読み込んだ優先度情報と動画像と前記制限付き再生優先度設定手段と設定された再生優先度を基に要約再生を行う要約再生手段と、
を有していることを特徴とする動画再生装置。 - コンピュータに、
動画像を入力する動画入力手順と、
前記動画入力手順により入力された動画像からカット変化点を検出し、検出したカット変化点の情報に基づき入力された動画像を複数のシーンに分割し、これら複数のシーンからシーン分割点のフレーム画像を各シーンの代表シーン情報として夫々抽出するシーン分割手順と、
前記シーン分割手順により抽出された各シーンの代表シーン情報を各シーンの動画の内容に応じて複数のグループの何れかに割り当てるグルーピングを実行するグループ作成手順と、
１つのグループの少なくとも１つの代表シーン情報に最高の優先度が設定されるように、前記グループ作成手段によりグルーピングされた各グループに属する各シーンの代表シーン情報に優先度を設定する優先度設定手順と、
前記優先度設定手順により設定された優先度情報と任意に設定される出力優先度とに基づいて各シーンの代表シーン情報の取捨選択を行い、要約動画像を作成する要約出力手順と、
を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。 - 前記優先度設定手順は、グループの先頭シーンに対応する代表シーン情報に最高の優先度を設定することを特徴とする請求項１３に記載のコンピュータ読み取り可能な記録媒体。
- 前記グループ作成手順は、
シーン開始位置近辺の画像にタイトル文字が含まれていることを判定するタイトル判定手順と、
前記タイトル判定手順の結果からタイトル文字ありと判定されたシーン分割点を話題転換点として設定する話題転換点設定手順と、
各話題転換点間を一つのグループとしてグルーピングする自動グルーピング手順と、
を有していることを特徴とする請求項１３または１４に記載のコンピュータ読み取り可能な記録媒体。 - 前記グループ作成手順は、
シーン分割点近辺の音声特徴を検出する音声特徴検出手順と、
前記音声特徴検出手順の結果から音声特徴ありと判定されたシーン分割点を話題転換点として設定する話題転換点設定手順と、
各話題転換点間を一つのグループとしてグルーピングする自動グルーピング手順と、
を有していることを特徴とする請求項１３または１４に記載のコンピュータ読み取り可能な記録媒体。 - 前記グループ作成手順は、
シーン開始位置近辺の画像にタイトル文字が含まれていることを判定するタイトル判定手順と、
シーン分割点近辺の音声特徴を検出する音声特徴検出手順と、
前記タイトル判定手順においてタイトル文字が含まれていると判定され、かつ、前記音声特徴検出手順において音声特徴があったと判定されたシーン分割点を話題転換点として設定する話題転換点設定手順と、
各話題転換点間を一つのグループとしてグルーピングする自動グルーピング手順と、
を有していることを特徴とする請求項１３または１４に記載のコンピュータ読み取り可能な記録媒体。 - 前記音声特徴検出手順は、音声のフェードインを検出することを特徴とする請求項１６または１７に記載のコンピュータ読み取り可能な記録媒体。
- 前記音声特徴検出手順は、音声レベルの急激な増加を検出することを特徴とする請求項１６または１７に記載のコンピュータ読み取り可能な記録媒体。
- 前記優先度設定手順は、
シーン中で要約に採用する際の開始点とする位置を設定する開始位置設定手順と、
開始位置からの継続時間を設定する継続区間設定手順と、
を有していることを特徴とする請求項１３〜１９のいずれか一つに記載のコンピュータ読み取り可能な記録媒体。 - 前記動画入力手順において入力された動画像へのポインタ情報と前記優先度設定手順により設定された優先度情報をシーン分割手順から取得した代表シーン情報と関連づけた結果を構造化して出力する設定情報出力手順を有していることを特徴とする請求項１３〜２０のいずれか一つに記載のコンピュータ読み取り可能な記録媒体。
- 請求項２１に記載のコンピュータ読み取り可能な記録媒体の前記設定情報出力手順により設定された設定情報を読み込む設定値読み込み手順と、
設定情報に記述されている動画像へのポインタ情報を基に動画像を読み込む再生動画入力手順と、
再生する対象優先度を設定する再生優先度設定手順と、
読み込んだ優先度情報と動画像と前記再生優先度設定手順により設定された再生優先度を基に要約再生を行う要約再生手順と、
を有していることを特徴とするコンピュータ読み取り可能な記録媒体。 - 前記設定情報出力手順は、再生可能とする優先度の最低値を設定する再生限界優先度設定手順と、限界優先度を解除するためのキーを設定する限界優先度解除キー設定手順とを有していることを特徴とする請求項２１に記載のコンピュータ読み取り可能な記録媒体。
- 請求項２３に記載のコンピュータ読み取り可能な記録媒体の前記設定情報出力手順により設定された設定情報を読み込む設定値読み込み手順と、
設定情報に記述されている動画像へのポインタ情報を基に動画像を読み込む再生動画入力手順と、
再生する対象優先度を請求項２３記載のコンピュータ読み取り可能な記録媒体の前記再生限界優先度設定手順により設定された再生限界優先度以下に設定不可能として再生する対象優先度を設定する制限付き再生優先度設定手順と、
請求項２３に記載のコンピュータ読み取り可能な記録媒体の前記限界優先度解除キー設定手順により設定された限界優先度解除キーの指定により再生限界優先度の制限を解除する制限解除手順と、
読み込んだ優先度情報と動画像と前記制限付き再生優先度設定手順と設定された再生優先度を基に要約再生を行う要約再生手順と、
を有していることを特徴とするコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05325899A JP3934274B2 (ja) | 1999-03-01 | 1999-03-01 | 動画要約装置および動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体および動画再生装置および動画再生プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05325899A JP3934274B2 (ja) | 1999-03-01 | 1999-03-01 | 動画要約装置および動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体および動画再生装置および動画再生プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000253351A JP2000253351A (ja) | 2000-09-14 |
| JP3934274B2 true JP3934274B2 (ja) | 2007-06-20 |
Family
ID=12937769
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05325899A Expired - Fee Related JP3934274B2 (ja) | 1999-03-01 | 1999-03-01 | 動画要約装置および動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体および動画再生装置および動画再生プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3934274B2 (ja) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7177857B2 (en) | 2000-11-24 | 2007-02-13 | Matsushita Electric Industrial Co., Ltd. | Apparatus and method for creating distribution content |
| JP2002199347A (ja) * | 2000-12-27 | 2002-07-12 | Canon Inc | 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体 |
| US7697815B2 (en) | 2001-02-28 | 2010-04-13 | Kddi Corporation | Video playback unit, video delivery unit and recording medium |
| US7982796B2 (en) | 2001-03-21 | 2011-07-19 | Apple Inc. | Track for improved video compression |
| JP4546682B2 (ja) * | 2001-06-26 | 2010-09-15 | パイオニア株式会社 | 映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム |
| US7149156B2 (en) | 2001-07-11 | 2006-12-12 | Sony Corporation | Editing apparatus for optical reproducing device |
| JP2003030964A (ja) | 2001-07-11 | 2003-01-31 | Sony Corp | 再生装置および編集装置 |
| JP2003288096A (ja) * | 2002-03-27 | 2003-10-10 | Nippon Telegr & Teleph Corp <Ntt> | コンテンツ情報配信方法、コンテンツ情報配信装置、コンテンツ情報配信プログラム |
| EP1288911B1 (en) | 2001-08-08 | 2005-06-29 | Nippon Telegraph and Telephone Corporation | Emphasis detection for automatic speech summary |
| TW200300928A (en) * | 2001-11-30 | 2003-06-16 | Sony Corportion | Information processing method and apparatus, program storage medium, program and information recording medium |
| JP2006012300A (ja) * | 2004-06-25 | 2006-01-12 | Funai Electric Co Ltd | ディスク再生装置 |
| JP2006330520A (ja) * | 2005-05-27 | 2006-12-07 | Kokuyo S&T Co Ltd | データ再生装置、データ編集装置、データ編集装置用プログラム |
| JP4946789B2 (ja) * | 2007-10-24 | 2012-06-06 | 株式会社Ｊｖｃケンウッド | ダイジェストデータ作成装置およびダイジェストデータ作成方法 |
| JP2011124979A (ja) * | 2009-11-13 | 2011-06-23 | Jvc Kenwood Holdings Inc | 映像処理装置、映像処理方法、および映像処理プログラム |
| JP5209593B2 (ja) * | 2009-12-09 | 2013-06-12 | 日本電信電話株式会社 | 映像編集装置，映像編集方法および映像編集プログラム |
| JP2012114559A (ja) * | 2010-11-22 | 2012-06-14 | Jvc Kenwood Corp | 映像処理装置、映像処理方法及び映像処理プログラム |
| JP2012227645A (ja) * | 2011-04-18 | 2012-11-15 | Nikon Corp | 画像処理プログラム、画像処理方法、画像処理装置、撮像装置 |
| WO2015125815A1 (ja) * | 2014-02-20 | 2015-08-27 | シャープ株式会社 | 映像編集装置 |
| CN104363490A (zh) * | 2014-12-05 | 2015-02-18 | 四川中时代科技有限公司 | 一种基于互联网的家用移动视频接收终端 |
| WO2022209211A1 (ja) * | 2021-03-30 | 2022-10-06 | ソニーグループ株式会社 | 情報処理装置、生成方法、およびプログラム |
-
1999
- 1999-03-01 JP JP05325899A patent/JP3934274B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000253351A (ja) | 2000-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3934274B2 (ja) | 動画要約装置および動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体および動画再生装置および動画再生プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP4250301B2 (ja) | 映像シーケンスを編集する方法及びシステム | |
| TWI478154B (zh) | 儲存搜尋資訊的再生方法 | |
| US8320738B2 (en) | Video management system and method | |
| KR102055766B1 (ko) | 동영상 요약 정보 재생 장치, 동영상 요약 정보 제공 서버 및 그 방법 | |
| JP2003052011A (ja) | ビデオプロジェクトを編集するためのビデオ編集方法および装置 | |
| KR960032445A (ko) | 기록 매체 재생 장치 | |
| JP2005065244A (ja) | ビデオをレビューする方法および装置 | |
| JP2001184842A (ja) | 情報再生装置 | |
| RU2315370C2 (ru) | Носитель данных, на котором записаны аудиовизуальные данные с информацией о событии, устройство воспроизведения и способ их воспроизведения | |
| KR101369747B1 (ko) | 정보저장매체, 비디오 컨텐츠 재생 장치 및 재생 방법 | |
| US8326125B2 (en) | Method and device for linking multimedia data | |
| US6470356B1 (en) | Multimedia information audiovisual apparatus | |
| KR101009341B1 (ko) | 기록 장치, 재생 장치, 기록 방법, 재생 방법 및 그기록매체 | |
| KR20050022072A (ko) | 인터렉티브 데이터 처리방법 및 장치 | |
| JP4401740B2 (ja) | 編集装置 | |
| JP2007267259A (ja) | 画像処理装置およびファイル再生方法 | |
| JP3439034B2 (ja) | 要約映像ブラウジング方法および装置 | |
| JP4256401B2 (ja) | 映像情報処理装置およびデジタル情報記録媒体、映像情報処理方法、映像情報処理プログラム | |
| JP3507767B2 (ja) | マルチメディアコンテンツ再生システム及びマルチメディアコンテンツ再生方法 | |
| JP2005328329A (ja) | 映像再生装置と映像録画再生装置と映像再生方法 | |
| US20090214176A1 (en) | Information processing apparatus, information processing method, and program | |
| JP2005236950A (ja) | 映像記録再生装置 | |
| JP3614074B2 (ja) | 画像及び音声の再生装置及び方法 | |
| JP2000152141A (ja) | 情報記憶媒体、および動画音声記録再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040616 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061219 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070216 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070313 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070315 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |