WO2011013288A1 - 動画ファイル再生方法、動画ファイル再生装置およびその関連技術 - Google Patents

Abstract

　ダイジェストシーン検出数とダイジェストシーンの再生開始時刻を決めるためのシーン数判定閾値とを第１の比較ステップで比較する。復号フレーム数とダイジェストシーンの再生開始時刻を決めるためのフレーム数判定閾値とを第２の比較ステップで比較する。第１の比較ステップの比較判定結果と第２の比較ステップの比較判定結果とに基づいてダイジェストシーンを復号するか否かを判断し、復号すると判断すると、第２の復号ステップで動画ファイルからダイジェストシーンをその開始／終了位置で抽出して復号する。

Description

動画ファイル再生方法、動画ファイル再生装置およびその関連技術

　本発明は、動画ファイルの内容を短時間で把握するためのダイジェスト（動画ファイルの要約）を再生する動画ファイル再生方法および動画ファイル再生装置にかかわり、詳しくは、演算なしにダイレクトにダイジェスト再生を可能にするための付加情報（ユーザのカメラ操作情報、顔検出情報、手振れセンサ情報等）を有しない動画ファイルでも、そのダイジェストを高速に再生できるようにするための技術に関する。また、デジタルカメラ、デジタルビデオカメラ、ＤＶＤプレーヤに関する。

　近年、ＨＤＤ（Hard Disc Drive）やＤＶＤ（Digital Versatile Disc）等の記録媒体は大容量化しており、ユーザが所有できる動画ファイルの情報量は膨大なものになっている。この動画ファイルの内容把握のために動画をすべて視聴するには時間と手間がかかるため、ユーザの所望する部分だけを再生するダイジェスト再生が要望されている。

　ダイジェスト再生をするためには、動画ファイルを解析することによってそこからダイジェストシーンを検出しなければならない。ダイジェストシーンの検出においては、従来からシーンチェンジやズーム等の動画中の変化を検出する方法や、動画中の人物を検出する方法、字幕を解析する方法等、多くの技術が提案されている。これらの方法は、動画をすべて解析したあと、ダイジェスト再生を行うものである。ダイジェスト再生の前提に、動画すべての解析が条件となっているため、ダイジェストシーンの検出が終わるまではダイジェスト再生を開始することができない。

　本発明に関連する先行技術文献としては特許文献１、特許文献２がある。そこでは、動画ファイルを解析する代わりに、動画の内容に関連する情報を付加情報として動画ファイルと共に記憶するようにしている。付加情報を用いると、解析のための演算なしにダイレクトにダイジェスト再生が可能になる。そうすることで動画の解析時間を削減し、ダイジェスト再生の高速化を図っている。動画の内容に関連する付加情報とは、ビデオカメラで撮影した動画であれば顔検出情報、ユーザによるカメラ操作情報や、手振れセンサ情報等であり、またテレビ録画情報であれば電子番組表のデータ等である。

特開２００７－１３４７７１号公報 特開２００８－２３６７２９号公報

　前述のように動画に関する付加情報を用いれば動画解析が不要であり、短い時間で動画のダイジェストを作成できる。しかしながら、付加情報を有しない動画ファイルは、付加情報を新たに作成しなければならず、付加情報の作成に要する時間分、ダイジェスト再生に余分の時間がかかる。ユーザが所有している動画ファイルには付加情報のないものも多数あり、この課題は重要である。

　本発明は上記課題を解決するものであり、付加情報を有しない動画ファイルに関しても、高速にダイジェスト再生を開始できる動画ファイル再生方法、動画ファイル再生装置を提供することを目的としている。

　本発明は、上記の課題を解決するために次のような手段を講じる。

　再生処理の対象の動画ファイルについては、動画ファイルの要約であるダイジェストを生成するための動画の内容に関連する付加情報（顔検出情報、手振れセンサ情報、ユーザのカメラ操作情報等）を有していない動画ファイルはもちろん、そのような付加情報を有している動画ファイルであってもよい。付加情報を有している動画ファイルの場合には、その付加情報を利用しなくてもよいわけである。

　（１）付加情報を用いないことを前提にするので、動画データの解析を行うのであるが、動画データを全体にわたって解析するのではなく、制限を加える。以下、説明する。

　　[1]
　まず、記録媒体から処理対象の動画ファイルを読み出し、顔情報などの特定情報を含むダイジェストシーンを検出するために、読み出した動画ファイルを復号する。このとき、復号フレーム数ｎ_F をカウントする。

　　[2]
　次いで、復号された動画データにおいて、顔情報などの特定情報を含むダイジェストシーンを検出する。さらに検出した特定情報を含むダイジェストシーンの開始／終了位置を特定し、検出したダイジェストシーン数ｎ_s をカウントする。ここでいう特定情報には、
・動画面上で検出したい特定領域に関する情報（例えば、特定領域として人物の顔領域を検出したい場合には、その顔領域に関する情報）、
・動画変化情報（例えば、シーンチェンジに関する情報やズーム処理に関する情報）、
・音声情報、
などがある。

　　[3]
　次に、前記の検出シーン数ｎ_s がシーン数判定閾値Ｎ以上であるか否かを判定する。このシーン数判定閾値Ｎは、検出シーン数ｎ_s に基づいてダイジェストシーンの再生開始時刻を決めるための閾値である。

　　[4]
　次に、前記の復号フレーム数ｎ_F がフレーム数判定閾値Ｍ以上であるか否かを判定する。このフレーム数判定閾値Ｍは、復号フレーム数ｎ_F に基づいてダイジェストシーンの再生開始時刻を決めるための閾値である。

　 ［5］
　次に、[3]における比較判定結果と[4]における比較判定結果とに基づいて、[2]で検出したダイジェストシーンを復号するか否かを判断したうえで、復号すると判断すると、[2]で特定した開始／終了位置で動画ファイルからダイジェストシーンを抽出して復号する。これにより、特定情報を含むダイジェストシーンのみが選択され復号される。

　上記[5]の判断には、以下に説明する[5-1]の判断と[5-2]の判断とがある。

 　[5-1]
　この判断は、上記[3]における比較処理を実行したのち、上記[4]における比較処理を行う判断であって、
上記[3]において前記検出シーン数が前記シーン数判定閾値Ｎ以上である、
または、
上記[3]において前記検出シーン数が１以上前記シーン数判定閾値Ｎ未満であり、かつ上記[4]において前記復号フレーム数が前記フレーム数判定閾値Ｍ以上である、
場合に、上記[2]で検出した前記ダイジェストシーンを復号する、と判断する。

 　[5-2]
　この判断は、上記[4]における比較処理を実行したのち、上記[3]における比較処理を行う判断であって、
上記[4]において復号フレーム数がフレーム数判定閾値Ｍ以上である、
または、
上記[4]において復号フレーム数がフレーム数判定閾値Ｍ未満であり、かつ上記[3]において検出シーン数がシーン数判定閾値Ｎ以上である、
場合に、上記[2]で検出したダイジェストシーンを復号する、と判断する。

　上記処理においては、動画ファイルの要約であるダイジェストは生成していない。従来技術のようにあらかじめダイジェストを生成し、それをファイル化した上で、ダイジェストファイルを再生する、といったものではない。特定情報を含むダイジェストシーンのみを復号再生すること自体がダイジェスト再生（絞り込み再生）になっている。ダイジェストを生成しないので、ダイジェストを生成する上で元になる動画の内容に関連する顔検出情報や手振れセンサ情報などの付加情報については、これを必要としない。つまり、付加情報の作成を必要としないだけでなく、付加情報による検索も必要としない。そのような付加情報を有していない動画ファイルであっても処理対象とできる。付加情報を有している動画ファイルの場合でも、その付加情報は用いないでよい。

　シーン数判定閾値を、対象とする動画ファイルの全シーン数に比べて小さく設定しておくことにより、全動画データの解析終了を待つことなく、特定情報を含むダイジェストシーンの再生が可能となる。また、検出シーン数がシーン数判定閾値に達しない場合でも、復号フレーム数がフレーム数判定閾値以上に達すると、ダイジェストシーンの再生を開始する。これにより、ダイジェストシーンの再生開始時刻が早められ、ダイジェスト再生が高速化される。

　この動画作成方法によれば、ダイジェストを生成する上で元になる顔検出情報などの付加情報を有していない動画ファイルであっても処理対象とでき、しかも、全動画データの解析終了を待つことなく、特定情報を含むダイジェストシーンの再生を開始できるので、ダイジェストシーンの再生開始時刻が早められ、ダイジェスト再生が高速化される。

　また、本発明による動画ファイル再生装置、デジタルカメラ、デジタルビデオカメラおよびＤＶＤプレーヤは、そのいずれもが、
　動画ファイルを復号するとともに、復号フレーム数をカウントする第１のデコーダと、
　前記第１のデコーダで復号された動画データを構成する複数のシーンの中から特定情報を含むダイジェストシーンを検出したうえで、検出した前記ダイジェストシーンの開始／終了位置の特定と、ダイジェストシーン検出数をカウントするダイジェスト検出部と、
　前記ダイジェスト検出部でカウントした前記ダイジェストシーン検出数と、前記ダイジェストシーンの再生開始時刻を決めるためのシーン数判定閾値とを比較する検出シーン数判定部と、
　前記第１のデコーダでカウントした前記復号フレーム数と、前記ダイジェストシーンの再生開始時刻を決めるためのフレーム数判定閾値とを比較する復号フレーム数判定部と、
　前記検出シーン数判定部の比較判定結果と前記復号フレーム数判定部の比較判定結果とに基づいて、前記ダイジェスト検出部で検出した前記ダイジェストシーンを復号するか否かを判断したうえで、復号すると判断すると、前記ダイジェスト検出部で特定した前記開始／終了位置で前記動画ファイルから前記ダイジェストシーンを抽出して復号する第２のデコーダと、
　を備える。

　なお、前記第２のデコーダには、次の二つの態様がある。

　第１の態様の第２のデコーダは、前記検出シーン数判定部の比較判定結果を、前記復号フレーム数判定部の比較判定結果より先に取り込んだうえで、前記ダイジェストシーンの復号判断において、
前記検出シーン数判定部において前記検出シーン数が前記シーン数判定閾値以上である、
または、
前記検出シーン数判定部において前記検出シーン数が１以上前記シーン数判定閾値未満であり、かつ前記復号フレーム数判定部において前記復号フレーム数が前記フレーム数判定閾値以上である、
場合に、
前記ダイジェスト検出部で検出した前記ダイジェストシーンを復号すると判断する。

　第２の態様の第２のデコーダは、前記復号フレーム数判定部の比較判定結果を、前記検出シーン数判定部の比較判定結果より先に取り込んだうえで、前記ダイジェストシーンの復号判断において、
前記復号フレーム数判定部において前記復号フレーム数が前記フレーム数判定閾値以上である、
または、
前記復号フレーム数判定部において前記復号フレーム数が前記フレーム数判定閾値未満であり、かつ前記検出シーン数判定部において前記検出シーン数が前記シーン数判定閾値以上である、
場合に、
前記ダイジェスト検出部で検出した前記ダイジェストシーンを復号すると判断する。

　本発明によれば、
・顔情報などの特定情報を含むダイジェストシーンの検出シーン数がシーン数判定閾値以上となる、
・復号フレーム数がフレーム数判定閾値以上となる、
　という二つの条件をのうちのいずれか一つを満たすと、全動画データの解析終了を待つことなくダイジェストシーンの再生を開始するので、ダイジェストシーンの再生開始時刻を早めて、ダイジェスト再生を高速化することができる。

図１Ａは、実施の形態１である動画ファイル再生方法の処理の手順を示すフローチャート（その１）である。 図１Ｂは、実施の形態１である動画ファイル再生方法の処理の手順を示すフローチャート（その２）である 図２は、本発明の実施の形態１の動画ファイル再生装置の構成を示すブロック図である。 図３Ａは、第１の復号ステップＳ１１における復号開始位置の第１の例示図である。 図３Ｂは、第１の復号ステップＳ１１における復号開始位置の第２の例示図である。 図４は、図１の検出ステップＳ１３の詳細なフローを示すフローチャートである。 図５は、本発明の実施の形態１において顔検出部から出力される情報の例示図である。 図６は、本発明の実施の形態１においてＮ個のシーンが検出されたときの第１のデコーダと第２のデコーダの関係を示す説明図である。 図７は、本発明の実施の形態１においてＭフレーム目における第１のデコーダと第２のデコーダの関係を示す説明図である。 図８は、本発明の実施の形態１においてダイジェストシーンの復号開始方法を示す説明図である。 図９Ａは、図１においてステップを入れ替えた場合の動画ファイル再生方法の処理の手順を示すフローチャート（その１）である。 図９Ｂは、図１においてステップを入れ替えた場合の動画ファイル再生方法の処理の手順を示すフローチャート（その２）である。 図１０Ａは、本発明の実施の形態１の実行例の例示図（その１）である。 図１０Ｂは、本発明の実施の形態１の実行例の例示図（その２）である。 図１０Ｃは、本発明の実施の形態１の実行例の例示図（その３）である。 図１０Ｄは、本発明の実施の形態１の実行例の例示図（その４）である。 図１１は、本発明の実施の形態２においてシーン数判定閾値Ｎの設定値が実施の形態１の条件より小さい場合の再生状況の説明図である。 図１２は、本発明の実施の形態２において残りフレーム数に応じた復号フレーム間隔の広げ方の説明図である。 図１３は、本発明の実施例２の第１のデコーダと第２のデコーダの復号結果を表示する動画ファイル再生装置の構成を示すブロック図である。 図１４は、本発明の実施の形態２において第１のデコーダと第２のデコーダの復号結果を表示する処理フローを示すフローチャートである。 図１５は、本発明の実施の形態２において第１のデコーダと第２のデコーダの復号結果を表示する処理の実行例の例示図である。 本発明の実施の形態３において第１の復号ステップＳ１１でのフレーム数削減例を示す説明図である。 本発明の実施の形態５の動画ファイル再生装置の構成を示すブロック図である。 本発明の実施の形態６においてステップＳ３１～Ｓ３３に代わるフローを示すフローチャートである。 本発明の実施の形態６の実行例の例示図である。

　本発明の動画ファイル再生方法は、次のような実施の形態においてさらに有利に展開することが可能である。

　（１）本発明の動画ファイル再生方法には、前記第１の復号ステップにおける復号速度を、前記第２の復号ステップにおける復号速度のＡ倍（Ａは１を超える正数）にする、いう態様がある。この態様によれば、ダイジェストシーンの再生開始時刻がさらに早められ、ダイジェスト再生が一層高速化される。

　（２）本発明の動画ファイル再生方法には、前記第１の復号ステップでは、前記動画ファイルの先頭フレームから復号を行う復号モードと、前記動画ファイルの最終フレームから復号を行う復号モードとを必要に応じて切り替えながら前記動画ファイルを復号する、という態様がある。

　（３）本発明の動画ファイル再生方法には、前記第１の復号ステップでは、前記動画ファイルに一定サイズ毎に設けた分割点にある分割点フレームを先行復号したうえで、先行復号した前記分割点フレームの動画データから前記特定情報を検出し、前記特定情報を検出した前記分割点フレーム近傍のフレーム群の前記動画ファイルを選択的に復号する、という態様がある。この態様によれば、動画ファイルの復号において、まずは特定情報を含むダイジェストシーンの検出を粗く行い、ダイジェストシーンの候補となるフレームを絞り込み、次いで絞り込んだフレームにおいてダイジェストシーンの検出を密に行うことになる。これにより、ダイジェストシーンの検出を実際のデータよりも少ないフレーム数で実現できて、ダイジェスト再生に要する時間長をさらに短縮することができる。

　（４）本発明の動画ファイル再生方法には、前記動画ファイルは、フレーム間予測に基づいて圧縮されたものであり、
　前記第１の復号ステップでは、Intraフレームのみを復号する、という態様がある。ＭＰＥＧ（Moving Picture Experts Group）形式の動画ファイルは、Intraフレーム、Predictiveフレーム、Bidirectionally predictiveフレームから構成される。この態様によれば、上記フレームのうち、Intraフレームのみを復号しダイジェストシーンの検出をかけることにより、すべての動画ファイルを解析せずに、特定情報を含むダイジェストシーンの検出が行え、ダイジェスト再生に要する時間長をさらに短縮することができる。

　（５）本発明の動画ファイル再生方法には、前記第１の復号ステップでは、前記検出ステップで必要となる情報のみを復号する、という態様がある。この態様によれば、復号に要する時間長を短縮することができる。

　（６）上記（５）の動画ファイル再生方法では、前記必要となる情報は輝度情報であるのが好ましい。動画ファイルでは輝度情報・色差情報が一緒に圧縮されているのが一般的であるが、復号対象を輝度情報に限定することにより、ダイジェスト再生をさらに高速化することができる。

　（７）本発明の動画ファイル再生方法には、前記第１の復号ステップと前記検出ステップと前記第１の比較ステップと前記第２の比較ステップと前記第２の復号ステップとはループ処理され、
　前記第１の復号ステップでは、前記動画ファイルのフレームを間隔を空けて不連続に復号し、
　かつ前記第１の復号ステップでは、前記第２の復号ステップにおいて前記ダイジェストシーンの復号が未処理となった残余のフレーム数または残余のシーン数に応じて復号フレームの間隔を調整する、
という態様がある。この態様によれば、ダイジェスト再生に要する時間長をさらに短縮することができるために、シーン数判定閾値をより小さい値に設定する場合、第２の復号ステップでダイジェストシーンが不足し、ダイジェストシーンの復号処理が止まってしまう可能性がある。このような状況を避けるため、前記第１の復号ステップでは、前記第２の復号ステップにおいて前記ダイジェストシーンの抽出が未処理となった残余のフレーム数または残余のシーン数に応じて復号フレームの間隔を調整することで、ダイジェスト再生開始時刻を早めながら、ダイジェストシーンの復号処理を連続化させることが可能となる。

　（８）本発明の動画ファイル再生方法には、
　前記検出ステップでは、複数の前記特定情報の中から任意の特定情報を選択可能であり、
　かつ前記検出ステップでは、前記第１の復号ステップと前記第２の復号ステップとを実行する復号装置における電源供給量に準じて前記特定情報が選択される、
　という態様がある。例えば、復号装置に電源コンセントから電源供給がある場合には特定情報として顔情報と音声情報など複数の特定情報を使用してダイジェストシーンの検出を行い、電池から電源供給がある場合には特定情報として顔情報のみを使用してダイジェストシーンの検出を行う。これにより、電源供給量に準じた復号処理が実施されて不要な電源消費が抑制される。

　（９）上記（１）の構成の動画ファイル再生方法において、前記特定情報は特定領域であるという態様がある。

　（１０）上記（９）の動画ファイル再生方法において、前記特定領域は顔領域とするのが好ましい。ダイジェストシーンの検出において、顔領域は最も適した要素の１つである。

　（１１）上記（１）の構成の動画ファイル再生方法において、前記特定情報は動画の変化情報であるという態様がある。

　（１２）上記（１１）の動画ファイル再生方法において、前記変化情報は前記画像ファイルにおけるシーンチェンジまたはズーム情報とするのが好ましい。ダイジェストシーンの検出において、シーンチェンジやズーム情報は最も適した要素の１つである。

　（１３）上記（１）の構成の動画ファイル再生方法において、前記特定情報は音声情報であるという態様がある。ダイジェストシーンの検出において、音声情報は最も適した要素の１つである。

　（１４）上記（１）の構成の動画ファイル再生方法において、前記動画ファイルからダイジェストシーンの復号を行うステップでは、前記動画ファイルがフレーム間予測に基づく圧縮方式であり、かつ、Ｐ（Predictive）フレーム、Ｂ（Bidirectionally predictive）フレームが前記開始位置と指定された場合において、前記ダイジェストシーンの再生は前記開始位置の直前にあるＩ（Intra）フレームから行うという態様がある。圧縮データがＭＰＥＧ形式の場合、ＩフレームはＩフレームのみで復号できるが、ＰフレームとＢフレームはＩフレームがなければ復号できない。よって開始位置にＰフレームやＢフレームを指定した場合には、参照フレームとなるＩフレームから復号を開始するのが適切である。

　（１５）上記（１）の構成の動画ファイル再生方法において、前記動画ファイルからダイジェストシーンの復号を行うステップでは、前記動画ファイルがフレーム間予測に基づく圧縮方式であり、かつ、Ｐ（Predictive）フレーム、Ｂ（Bidirectionally predictive）フレームが前記開始位置と指定された場合において、Ｉ（Intra）フレームから復号するものの、前記ダイジェストシーンの再生は前記開始位置として指定されたフレームから行うという態様がある。上記のようにＩフレームから復号しても、再生するのは開始位置となったＰフレームまたはＢフレームからとしてもよい。

　（１６）上記（１）の構成の動画ファイル再生方法において、前記検出されたダイジェストシーンは、前記開始位置から終了位置までが１つのシーンであるという態様がある。

　（１７）上記（１）の構成の動画ファイル再生方法において、前記検出されたダイジェストシーンは、ある一定のフレーム数Ｋとなるシーンであるという態様がある。フレーム数が少ないと、ユーザには何が写っているのか分からない。よって、閾値として適切なフレーム数Ｋを定め、検出シーン数ｎ_s がこの閾値（フレーム数Ｋ）になったときに、それをダイジェストシーンとすれば、ユーザの視聴は分かりやすいものとなる。

　（１８）上記（１）の構成の動画ファイル再生方法において、前記動画ファイルからダイジェストシーンの復号を行うステップでは、再生された動画データを記録するという態様がある。ダイジェストシーンのみを新たな動画データとして記録することにより、次回以降のダイジェスト再生を高速化することが可能となる。

　（１９）上記（１）の構成の動画ファイル再生方法において、さらに、前記特定情報を前記動画ファイルに付加情報として記録するステップを含むという態様がある。ダイジェストシーンの検出に用いた特定情報を付加情報として記録しておけば、次回以降では動画ファイルの解析が不要となり、既存の再生方法でも高速にダイジェスト再生を行える。

　（２０）上記（１）の構成の動画ファイル再生方法において、さらに、検出されたダイジェストシーンを低い圧縮率で圧縮し、対象外シーンを高い圧縮率で圧縮し、記録するステップを含むという態様がある。得られたダイジェストシーンの動画ファイルを記録しておくものであり、重要なダイジェストシーンは解像度の高い高品質のものとなる。

　以下、図面を参照して本発明の実施の形態について説明する。なお、以下に説明する実施の形態はあくまで一例であり、様々な改変を行うことが可能である。また、以下の説明では特定情報を人物の顔情報とし、それに伴って、顔情報によって検出された顔領域が写っているシーンをダイジェストシーンと見なしている。

　（実施の形態１）
[途切れなくダイジェスト再生するためのシーン数判定閾値Ｎとフレーム数判定閾値Ｍとを用いる構成]
　図１は本発明の実施の形態１である動画ファイル再生方法の処理の手順を示すフローチャートである。Ｓ１１は付加情報のない動画ファイルを１フレームずつ復号するとともに、復号したフレームの数（以下、復号フレーム数ｎ_F という）をカウントする第１の復号ステップである。

　Ｓ１３は第１の復号ステップＳ１１にて復号された復号データからダイジェストシーンを検出したうえで、検出したダイジェストシーンの開始／終了位置を検出し、さらに開始／終了位置が検出されることでそのフレーム数が特定されたダイジェストシーンに含まれるシーン単位の数（以下、検出シーン数ｎ_sという）をカウントアップするステップである。シーン単位の詳細に付いては後述する。検出シーン数ｎ_sのカウントアップでは、フレーム数がＫ個未満（以下、このＫを閾値Ｋという）のダイジェストシーンを正規のダイジェストシーンと見なすことなく、閾値Ｋ以上のフレーム数を有するダイジェストシーンだけを正規のダイジェストシーンと見なし、正規のダイジェストシーンだけを選択的にカウントする。以下、閾値Ｋとの比較が行われる以前のダイジェストシーンをダイジェストシーン候補と称し、閾値Ｋとの比較に基づいて正規のダイジェストシーンと見なされるダイジェストシーンを単にダイジェストシーンと称して、両者を区別する。

　Ｓ１５は検出ステップＳ１３にてカウントされている検出シーン数ｎ_s とシーン数判定閾値Ｎとを比較する第１の比較ステップである。第１の比較ステップでは、具体的に検出シーン数ｎ_s がシーン数判定閾値Ｎ以上であるか否かが判定される。シーン数判定閾値Ｎは自然数であって、ダイジェストシーンの再生開始時刻を決めるための閾値である。

　Ｓ１７は、第１の比較ステップＳ１５において検出シーン数ｎ_s が１以上でありかつシーン数判定閾値Ｎ未満であると判定された場合に行われる第２の比較ステップである。第２の比較ステップＳ１７では、復号フレーム数ｎ_F とフレーム数判定閾値Ｍとが比較される。具体的には、第１の復号ステップＳ１１にて復号されたフレーム数ｎ_F がフレーム数判定閾値Ｍ以上であるか否かが判定される。フレーム数判定閾値Ｍは自然数であって、ダイジェストシーンの再生開始時刻を決めるための閾値である。

　Ｓ１９は第１の比較ステップＳ１５において検出シーン数ｎ_s がシーン数判定閾値Ｎ以上と判定された場合、または、第１の比較ステップＳ１５において検出シーン数ｎ_s がシーン数判定閾値Ｎ未満であると判定されたものの第２の比較ステップＳ１７においてフレーム数ｎ_F がフレーム数判定閾値Ｍ以上と判定された場合においてダイジェスト再生フラグを立てる立旗ステップである。

　Ｓ２１は第２の比較ステップＳ１７もしくは立旗ステップＳ１９を経たフレームが、ダイジェスト再生対象とする動画データの最終フレームであるか否かを判定する最終位置判定ステップである。

　Ｓ３１はダイジェスト再生フラグが立旗されたか否かを判定する判定ステップである。Ｓ３３は検出ステップＳ１３で検出されたダイジェストシーンを選択的に復号する第２の復号ステップである。ステップＳ１１～Ｓ２１と、ステップＳ３１～Ｓ３３は並列に動作する。

　図２は実施の形態１の動画ファイル再生装置の構成を備えたデジタルカメラ、デジタルビデオカメラ、またはＤＶＤ（Digital Versatile Disc）プレーヤの要部を示すブロック図である。この装置は、記録媒体２０と、第１のデコーダ１１と、顔検出部１３と、検出シーン数判定部１４と、復号フレーム数判定部１５と、第２のデコーダ１２と、表示部１６とを備える。

　記録媒体２０は、ダイジェスト再生対象となる動画ファイル２１を格納している。第１のデコーダ１１は記録媒体２０から動画ファイルを読み出して１フレームずつ復号する。さらに第１のデコーダ１１は、復号フレーム数ｎ_F （復号したフレームの数）をカウントする。顔検出部１３は、・第１のデコーダ１１で復号されたデータからダイジェストシーンを検出する、・ダイジェストシーンの開始／終了位置を検出する、・検出シーン数ｎ_s をカウントする、という各種処理を実施する。顔検出部１３はダイジェスト検出部の一例である。検出シーン数判定部１４は、顔検出部１３で得られた検出シーン数ｎ_s とシーン数判定閾値Ｎとを比較する。検出シーン数判定部１４では、具体的に、検出シーン数ｎ_s がシーン数判定閾値Ｎ以上であるか否かが判定される。復号フレーム数判定部１５は、第１のデコーダ１１で得られた復号フレーム数ｎ_F とフレーム数判定閾値Ｍとを比較する。復号フレーム数判定部１５では、具体的に、復号フレーム数ｎ_F がフレーム数判定閾値Ｍ以上であるか否かが判定される。第２のデコーダ１２は、顔検出部１３で検出されたダイジェストシーンのみを復号する。表示部１６は、復号されたデータを表示する。

　第１のデコーダ１１と第２のデコーダ１２とは、マルチデコーダ１０内のデコーダの一部である。なお、マルチデコーダ１０は２つ、またはそれ以上のデコーダを搭載しており、処理に応じて第１のデコーダ１１と第２のデコーダ１２とに割り当てるデコーダの数を調整することができる。検出シーン数判定部１４と復号フレーム数判定部１５とは図示しないＣＰＵの機能として構成される。復号フレーム数ｎ_F 、検出シーン数ｎ_s、その他本実施形態で必要となる各種データはＣＰＵ（Central Processing Unit）で管理されているものとする。

　図１、図２を用いて本実施の形態の処理を説明する。

　（第１の復号ステップＳ１１）
　まず、第１のデコーダ１１が記録媒体２０に記録されている動画ファイル２１を読み出して１フレーム復号したうえで、復号フレーム数ｎ_Fをカウントする。第１の復号ステップＳ１１が完了すると、検出ステップＳ１３に移行する。

　（検出ステップＳ１３）
　第１のデコーダ１１で復号された復号データは、顔検出部１３に供給される。顔検出部１３は復号データからダイジェストシーンを検出し、そのダイジェストシーンの開始／終了位置を検出する。さらに顔検出部１３は、ダイジェストシーンの検出に基づいて、検出シーン数ｎ_s （シーン単位の検出数）をカウントアップする。検出ステップＳ１３が完了すると、第１の比較ステップＳ１５に移行する。

　（第１の比較ステップＳ１５）
　検出シーン数判定部１４は検出シーン数ｎ_s とシーン数判定閾値Ｎとの比較を行う。すなわち、検出シーン数判定部１４は検出シーン数ｎ_s がシーン数判定閾値Ｎ以上であるか否かを判定する。検出シーン数ｎ_s がシーン数判定閾値Ｎ未満であると判定されると、立旗ステップＳ１９に移行し、検出シーン数ｎ_s がシーン数判定閾値Ｎ以上であると判定されると、第２の比較ステップＳ１７に移行する。

　（第２の比較ステップＳ１７）
　復号フレーム数判定部１５は、復号フレーム数ｎ_F とフレーム数判定閾値Ｍとの比較を行う。すなわち、復号フレーム数判定部１５は、復号フレーム数ｎ_F がフレーム数判定閾値Ｍ以上であるか否かを判定する。

　第２の比較ステップＳ１７で復号フレーム数ｎ_F がフレーム数判定閾値Ｍ以上であると判定されると、第２のデコーダ１２の動作（立旗ステップＳ１９、最終位置判定ステップＳ２１、旗判定ステップＳ３１、第２の復号ステップＳ３３）に移行する。このとき、動画ファイル２１の情報とダイジェストシーンの開始／終了位置の情報（顔検出部１３によって検出される）が第２のデコーダ１２に供給される。これにより第２のデコーダ１２は、顔検出部１３によって検出されたダイジェストシーンのみを第２の復号ステップＳ３３で復号したうえで、その復号データを表示部１６に供給して再生させる。一方、第２の比較ステップＳ１７で復号フレーム数ｎ_F がフレーム数判定閾値Ｍ未満であると判定されると、最終位置判定ステップＳ２１に移行する。

　第１のデコーダ１１は、動画ファイル２１の最終フレームまで復号し終わったことを、最終位置判定ステップＳ２１で確認すると、その動作を停止する。第２のデコーダ１２は顔検出部１３によるダイジェストシーンの供給がなくなると、その動作を停止し、それに伴い表示部１６も停止して再生が終了する。

　ステップＳ１１～Ｓ３３の各処理に関して以下に詳細を説明する。なお、立旗ステップＳ１９、最終位置判定ステップＳ２１、旗判定ステップＳ３１は自明な処理のため説明を省略する。

　第１の復号ステップＳ１１では、第１のデコーダ１１が、記録媒体２０から読み出した動画ファイル２１をその先頭データから順次復号する。第１のデコーダ１１は第２のデコーダ１２のＡ倍（Ａは１を超える正数）の復号速度で動作させる。復号速度とは、ここでは、１フレーム当たりの復号に要する時間のことである（復号に要する時間が短いほど復号速度は速い）。３０ｆｐｓ（frame per second）の動画を再生させるために必要な復号速度は、１／３０（秒／フレーム）である。第２のデコーダ１２は表示用の復号データを生成するので、３０ｆｐｓで動画を再生することを考えると、復号速度は１／３０（秒／フレーム）で十分である。第１のデコーダ１１は検出用の復号データを作成するので、さらに速い復号速度で動作させてもよい。デコーダには復号速度が１／２４０（秒／フレーム）のものもあり、このデコーダ最大限の復号速度を使用すると、再生用の第２のデコーダ１２よりも８倍の復号速度で動作させることができる。また、第１のデコーダ１１と第２のデコーダ１２とに対して１つずつデコーダを割り振った場合について説明したが、例えば、マルチデコーダ１０内に４つのデコーダが搭載されている場合、第１のデコーダ１１に３つ、第２のデコーダ１２に１つを割り当てると、Ａ＝３倍の能力を持つ。これら２つの方法を組み合わせることにより、Ａ＝８×３＝２４倍の処理能力を持つことができる。

　なお、第１のデコーダ１１の復号速度を上げる方法として、復号するデータの量を減らしてもよい。動画ファイル２１中には輝度データ・色差データ・音データ等が存在するが、本実施の形態における顔領域検出に必要なデータは輝度データのみであるため、第１のデコーダ１１は動画ファイル２１から読み出した動画データから輝度データのみを復号する。動画データは輝度データ・色差データが一緒に圧縮されており、装置の仕様によっては両方復号する仕様のものもあるが、メモリアクセス量が減るため、結果として高速になる。上述の例では輝度データを用いたが、検出内容によっては動画ファイル中にあるその他のデータでもよいし、組み合わせて使ってもよい。また、ダイジェストシーンは１フレームだけ存在する、といったようなものではなく、ある程度連続しているはずである。そのため、２フレームに１回、３フレームに１回と復号回数を減らしてもよい。

　さらに、動画データ中の復号位置は、動画データの先頭フレームからだけに限定されない。図３Ａ、図３Ｂは、第１の復号ステップＳ１１における復号開始位置例を示す。図３Ａに示すように、動画データの先頭フレームから最終フレームに向かって順次復号する、または最終フレームから先頭フレームに向かって順次復号してもよく、図３Ｂに示すように複数位置からの復号を開始してもよい。

　検出ステップＳ１３では、顔検出部１３が復号データからダイジェストシーン候補を検出し、さらにそのダイジェストシーン候補の開始／終了位置を検出する。さらに検出ステップＳ１３では、ダイジェストシーン候補の検出に基づいて、検出シーン数ｎ_sをカウントアップする。検出シーン数ｎ_sのカウントアップでは、ダイジェストシーン候補から、シーン単位以上のフレーム数を有するダイジェストシーン候補のみを正規のダイジェストシーンとして抽出したうえで、抽出したダイジェストシーンに含まれるシーン単位数（検出シーン数ｎ_s）をカウントアップする。

　前述したように閾値Ｋはシーン単位を示す。シーン単位とは、ダイジェストシーンとして認知可能な最小限のフレーム数を示す。３０ｆｐｓの動画では、任意の１フレームだけで前記検出対象が検出されたもののその任意のフレームの前後に位置する隣接フレームでは顔領域等の検出対象が何も検出されない状態で検出されたダイジェストシーンは、１フレーム（１／３０秒分）だけであって、そのような短期間のダイジェストシーンを再生しても、何が写っているのかをユーザが判別できない。よって、閾値Ｋ（シーン単位）は、ユーザがダイジェストシーンとして視聴したと実感できる最小視聴秒数を確保するために必要となる最小限のフレーム数であって、３０ｆｐｓの動画において上記最小視聴秒数を３秒と設定すると、閾値Ｋ（シーン単位）はＫ＝９０（フレーム）となる。

　以下に、閾値Ｋ（＝９０フレーム）を用いた検出ステップＳ１３の処理を詳細に説明する。図４に検出ステップＳ１３の詳細なフローを示す。復号データにおいて顔領域検出が実施されて（ステップＳ４１）、ステップＳ４１で顔領域が検出されたか否かが判定される（ステップＳ４２）。ステップＳ４２で顔領域が検出されたと判定されると、顔領域が検出されたフレームはダイジェストシーン候補に含まれると判断されて、ダイジェストシーン候補の検出フレーム数ｄ_F がカウントアップされる（ステップＳ４３）。さらにカウントアップされた検出フレーム数ｄ_F が１であるか否かが判定される（ステップＳ４４）。ステップＳ４４で検出フレーム数ｄ_F が１であると判定されると、現フレームが現在検出しているダイジェストシーン候補の開始位置であると認定されてその開始位置が記憶される（ステップＳ４５）。一方、ステップＳ４４で検出フレーム数ｄ_F が１以外であると判定されると、検出フレーム数ｄ_F が閾値Ｋ（＝９０フレーム）であるか否かが判定される（ステップＳ４６）。ステップＳ４６において、検出フレーム数ｄ_F が閾値Ｋであると判定されると、そのダイジェストシーン候補はシーン単位のフレームを有するダイジェストシーン、もしくはシーン単位以上のフレームを有するダイジェストシーンの一部を構成する部分シーンであると判定されたうえで、現時点におけるダイジェストシーンの終了位置が、現フレーム（検出フレーム数ｄ_F が閾値Ｋと等しいと認定されたフレーム）によって更新される（ステップＳ４７）。

　一方、ステップＳ４２で顔領域が検出されなかったと判定されると、現時点における検出フレーム数が１未満であるか否かが判定される（ステップＳ４８）。ステップＳ４８で検出フレーム数ｄ_Ｆが１未満であると判定されると、顔領域が検出されていないと判断され、一連の処理を終了する。一方、検出フレーム数ｄ_Ｆが１以上であると判定されると、現フレームでは顔領域は検出されなかったものの、現フレームの一つ前のフレームは、
・シーン単位未満のフレーム数で連続するダイジェストシーン候補が検出された状態、
もしくは、
・シーン単位の１以上の整数倍のフレーム数で連続しさらにシーン単位未満のフレーム数で連続するダイジェストシーンが検出された状態、
であると判断される。

　以上の判断が下されたうえで、維持されているダイジェストシーン候補またはダイジェストシーンにおける開始位置から現フレームに至る期間におけるフレーム数（＝現フレーム－開始位置）が閾値Ｋ（＝９０フレーム）より大きいか否かが判定される（ステップＳ４９）。

　ステップＳ４９において、開始位置から現フレームに至る期間におけるフレーム数が閾値Ｋより大きいと判定されると、現フレームの一つ前のフレームは、シーン単位の整数倍（１を含む）のフレーム数で連続したうえでさらにシーン単位未満のフレーム数で連続するダイジェストシーンが維持された状態であると判断される。この時維持されているダイジェストシーンは、シーン単位の整数倍（１を含む）のフレーム数（以下、第１のフレーム数という）にシーン単位未満のフレーム数（以下、第２のフレーム数という）が加算されたフレーム数を有する。

　ステップＳ４９において、開始位置から現フレームに至る期間におけるフレーム数が閾値Ｋより大きいと判定されると、維持されているダイジェストシーンの開始位置から第１のフレーム数まで変位したフレーム位置から、さらに閾値Ｋだけ進行したフレーム位置（第１のフレーム数＋Ｋ）が、現時点で維持されているダイジェストシーンの終了位置として判定されたうえで、そのフレーム位置（第１のフレーム数＋Ｋ）によって終了位置が更新される（ステップＳ５０）。

　一方、ステップＳ４９において、開始位置から現フレームに至る期間におけるフレーム数が閾値Ｋより小さいと判定されると、現フレームの一つ前のフレームは、シーン単位未満のフレーム数で連続するダイジェストシーン候補が検出された状態であると判断される。ステップＳ４９でそのように判断されると、そのダイジェストシーン候補は正規のダイジェストシーンではなく不要である、と判断されたうえで、ステップＳ４５で記録された開始位置が破棄される（ステップＳ５３）。

　ステップＳ４７、ステップＳ５０の処理が完了すると、検出フレーム数ｄ_F が初期化された（０にされた）うえで（ステップＳ５１）、検出シーン数ｎ_s のカウントアップが再開される（ステップＳ５２）。

　ステップＳ４５、ステップＳ４６、ステップＳ４８、ステップＳ５２、ステップＳ５３の処理が終わると、検出は終了する。

　なお、ステップＳ４１では、標準的な顔のパーツ（目や口等）の位置関係から顔領域を検出する方法や、顔の色やエッジ情報を基にして顔領域を検出する方法や、予め用意した顔領域の特徴データとの比較に基づいて顔領域を検出する方法等の様々な発明が既になされており自明な処理であるため、説明を省略する。

　図５に、顔検出部１３から出力される情報を示す。顔検出部１３が出力する検出結果３０は、総検出シーン数情報３１、ダイジェストシーン情報３２とからなる。ダイジェストシーン情報３２は、開始位置情報３３と終了位置情報３４とからなる。

　図４と図５とを参照して、ダイジェストシーンの検出方法の具体例を説明する。例えば、閾値Ｋ＝９０（フレーム）に設定された状態で、ある動画の５０～２５０番目のフレーム群において顔領域が存在しているとし、さらには初期状態では、検出フレーム数ｄ_F 、検出シーン数ｎ_s はともに０であるとする。４９番目までのフレーム群の処理では顔領域が検出されないので、諸値は更新されない。

　顔領域が初めて検出される５０番目のフレームの処理では、当該５０番目のフレームはダイジェストシーン候補に含まれると判断されたうえで、検出フレーム数ｄ_F がカウントアップされて１となり、ダイジェストシーンの開始位置として、５０番目のフレームが記憶される。

　５１～１３９番目のフレーム群の処理においては連続して顔領域が検出されるので、検出フレーム数ｄ_F が順次カウントアップされる。１３９番目のフレームの処理においては、検出フレーム数ｄ_F が閾値Ｋ（＝９０）に到達するので、その時点で維持されているダイジェストシーン候補は、単一のシーン単位（Ｋ個）のフレーム数を有するダイジェストシーン、もしくは単一のシーン単位以上のフレーム数を有するダイジェストシーンの一部を構成する部分シーンであると判定される。このダイジェストシーン判定に基づいて、１３９フレーム番目のフレームがダイジェストシーンの終了位置として仮記憶される。さらにこの時点において検出シーン数ｎ_s がカウントアップされて１になり、検出フレーム数ｄ_F が初期化されて０になる。ダイジェストシーンの開始位置（＝５０番目のフレーム）は破棄されずに維持される。

　１４０番目のフレームの処理では、引き続いて顔領域が検出されるため、１３９番目のフレームの処理で確定されたダイジェストシーンは、単一シーン単位以上のフレーム数を有するダイジェストシーンの一部を構成する部分シーンであって、当該１４０番目のフレームは、１３９番目のフレームで確定されたダイジェストシーン（部分シーン）に含まれると判定される。そのうえで、検出フレーム数ｄ_F がカウントアップされて１となる。ダイジェストシーンの開始位置（＝５０番目のフレーム）は、破棄されずに維持される。

　１４１～２２９番目のフレーム群においても引き続いて連続して顔領域が検出されるので、検出フレーム数ｄ_F が順次カウントアップされる。２２９番目のフレームの処理では、検出フレーム数ｄ_F が閾値Ｋ（＝９０）に到達するので、その時点で維持されているダイジェストシーンは、閾値Ｋの２倍を満たすフレーム数を有するダイジェストシーン、もしくは閾値Ｋの２倍以上のフレーム数を有するダイジェストシーンの一部を構成する部分シーンであると判定される。このダイジェストシーン判定に基づいて、ダイジェストシーンの終了位置が２２９フレーム番目のフレームで更新される。さらにこの時点において検出シーン数ｎ_s がカウントアップされて２になり、検出フレーム数ｄ_F が初期化されて０になる。ダイジェストシーンの開始位置（＝５０番目のフレーム）は破棄されずに維持される。

　２３０番目のフレームの処理では、引き続いて連続して顔領域が検出されるため、２２９番目のフレームの処理で確定されたダイジェストシーンは、閾値Ｋの２倍以上のフレーム数を有するダイジェストシーンの一部を構成する部分シーンであって、当該２３０番目のフレームは、２２９番目のフレームで確定されたダイジェストシーン（部分シーン）に含まれると判定される。そのうえで、検出フレーム数ｄ_F がカウントアップされて１となる。ダイジェストシーンの開始位置（＝５０番目のフレーム）は破棄されずに維持される。

　２３０～２５０番目のフレーム群においても顔領域が検出されるので、検出フレーム数ｄ_F は２１まで順次カウントアップされる。２５１番目のフレームの処理では顔領域が検出されなくなり、それと同時に２１までカウントアップされた状態である検出フレーム数ｄ_F が次の状態であることが確認される。すなわち、検出フレーム数ｄ_F は１を超えておりかつ当該２５１番目のフレームと開始位置（＝５０番目のフレーム）との間の差分は２０１＝（２５１－５０）であって、その差分は閾値Ｋ（＝９０）を超えていることが確認される。この確認に基づき、その時点で維持されているダイジェストシーンの終了位置は、次のようにして確定される。すなわち、その時点で維持されている終了位置（＝２２９番目のフレーム）に閾値Ｋ（＝９０）を加算したフレーム位置（３１９＝２２９＋９０）がダイジェストシーンの終了位置として確定される。さらに検出シーン数ｎ_s が３にカウントアップされ、検出フレーム数ｄ_F は初期化されて０になる。

　以上の処理により、ダイジェストシーンが確定されるとともにその開始／終了位置が特定されて記憶される。次に２つ目のダイジェストシーンが検出された場合、検出シーン数ｎ_s は、３から４にカウントアップされたうえでカウントアップが継続されてその開始／終了位置が記憶される。

　なお、上述した例では、検出フレーム数ｄ_F が閾値Ｋ未満の処理においては、開始位置から終了位置までが閾値Ｋ以上の場合は、ダイジェストシーンとしたが、開始位置から終了位置までが閾値Ｋ未満の場合、そのダイジェスト部分は切り捨てられていた。しかしながら、検出したダイジェストシーンを切り捨てることなくスロー再生してもよい。例えば、動画データの記録フォーマットが３０ｆｐｓでありかつ閾値Ｋ＝９０である状態で１５フレーム分のダイジェストシーンが検出された場合では、３０×１５／９０＝５ｆｐｓで動画をスロー再生してもよい。

　次いで第１の比較ステップＳ１５を詳細に説明する。第１の比較ステップＳ１５では、検出ステップＳ１３において検出された検出結果３０に基づいて、総検出シーン数情報３１（検出結果３０に含まれる）がシーン数判定閾値Ｎ以上を示すか否かが判定される。シーン数判定閾値Ｎは、検出シーン数ｎ_s に基づいてダイジェスト再生を開始するタイミング（ダイジェストシーンの再生開始時刻）を決めるための閾値であって、その設定方法は様々なものがある。本実施の形態では、ダイジェスト再生が開始されたならば、その再生が途切れないような値にシーン数判定閾値Ｎが設定されている。以下、そのようなシーン数判定閾値Ｎの設定方法を説明する。

　図６に、Ｎ個（シーン数判定閾値Ｎによって規定される）のシーンが検出されたときの第１のデコーダ１１と第２のデコーダ１２との関係を示す。図中、Ｌは動画ファイル中の動画データの総フレーム数を示す。以下の説明では、第１のデコーダ１１の復号速度が第２のデコーダ１２の復号速度のＡ倍であると仮定される。

　Ｎ個のシーン単位（各シーン単位はＫ個のフレームを有する）からなるダイジェストシーンを検出したうえで、そのダイジェストシーンの再生を開始するということは、Ｋ×Ｎ個のフレームからなるダイジェストシーンを検出して再生するということである。つまり、第２のデコーダ１２にＫ×Ｎ個のフレームのバッファ情報が存在することになる。ここで、第１のデコーダ１１の復号速度は第２のデコーダ１２のＡ倍であるため、第２のデコーダ１２がＫ×Ｎ個のフレームを処理している間に、第１のデコーダ１１はＡ×Ｋ×Ｎ個のフレームの処理ができるということである。よって、（Ｌ－Ａ×Ｋ×Ｎ）番目以降のフレームにおいて第２のデコーダ１２で復号処理が開始されるようにＮを設定すれば、ダイジェストシーンの再生が途切れることはない。よって、次の（１）式を満たせば、ダイジェストシーンの連続再生が可能となる。
Ｋ×Ｎ≧Ｌ－Ａ×Ｋ×Ｎ　…（１）
（１）式をシーン数判定閾値Ｎの算定式に変形すると、次の（２）式となる。
Ｎ≧Ｌ／Ｋ（１＋Ａ）　…（２）
なお、Ｌは前述したように、動画総フレーム数のことである。

　したがって、（２）式を満足するシーン数判定閾値Ｎ（Ｎは自然数）を設定すれば、第２のデコーダ１２では、途切れなく再生することが可能となる復号処理を実施することができる。なお、シーン数判定閾値Ｎはできるだけ小さい方が望ましい。

　次に、第２の比較ステップＳ１７におけるフレーム数判定閾値Ｍの設定方法について以下に述べる。図７にＭフレーム目における第１のデコーダ１１と第２のデコーダ１２との関係を示す。Ｍフレーム目までの検出シーン数をｎとする。ｎシーンの検出が終わっているということは、ｎ×Ｋフレーム分のデータの検出が終わっているということである。よって、ｎシーンを第２のデコーダ１２で復号するのに要する時間長は第１のデコーダ１１でＡ×ｎ×Ｋフレーム分のデータを復号するのに要する時間長と等しい。したがって、ｎシーン分のデータの検出が完了していれば、第１のデコーダ１１は、そのｎシーン分のデータを再生している間にＡ×ｎ×Ｋフレーム分復号できるため、途切れなく再生するためのフレーム数判定閾値Ｍ（＝開始指示位置）は、次の（３）式を満足するように設定すればよい。
Ｍ≧Ｌ－Ａ×ｎ×Ｋ　…（３）
　第２の復号ステップＳ３３では、検出シーンのみを第２のデコーダ１２によって復号する。図８にダイジェストシーンの復号開始方法を示す。圧縮データがＭＰＥＧ形式の場合、Ｉ（Intra）フレーム、Ｐ（Predictive）フレーム、Ｂ（Bidirectionally predictive）フレームで構成される。ＩフレームはＩフレームのみで復号できるが、ＰフレームとＢフレームはＩフレームがなければ復号できない。よって開始位置にＰフレームやＢフレームを指定した場合、図８に示すとおり、参照フレームとなるＩフレームから復号を開始し、表示する。なお、Ｉフレームから復号しても、再生するのは図８で開始位置となったＰフレームやＢフレームからでもよい。

　第２の復号ステップＳ３３の処理で実行される第２のデコーダ１２にて出力される復号データを表示部１６に入力することにより、ユーザはダイジェストシーンを視聴することができる。なお、表示部の代わりに記録部を備え、ダイジェストシーンのみを新たな動画データとして記録してもよい。

　なお、第１の比較ステップＳ１５の処理と第２の比較ステップＳ１７の処理との処理順序を入れ替えてもよい。図９Ａ、図９Ｂには、図１の第１の比較ステップＳ１５と第２の比較ステップＳ１７とを入れ替えた実施の形態１の変形例の動画ファイル再生方法におけるフローが示される。

　ステップＳ１１、ステップＳ１３、ステップＳ１９、ステップＳ２１、ステップＳ３１、ステップＳ３３は図１と同じである。

　（第２の比較ステップＳ１４）
　復号フレーム数判定部１５は、復号フレーム数ｎ_F とフレーム数判定閾値Ｍとの比較を行う。すなわち、復号フレーム数判定部１５は、復号フレーム数ｎ_F がフレーム数判定閾値Ｍ以上であるか否かを判定する。復号フレーム数ｎ_F がフレーム数判定閾値Ｍ以上であると判定されると、立旗ステップＳ１９に移行し、復号フレーム数ｎ_F がフレーム数判定閾値Ｍ未満であると判定されると、第１の比較ステップＳ１６に移行する。

　（第１の比較ステップＳ１６）
　検出シーン数判定部１４は検出シーン数ｎ_s とシーン数判定閾値Ｎとの比較を行う。すなわち、検出シーン数判定部１４は検出シーン数ｎ_s がシーン数判定閾値Ｎ以上であるか否かを判定する。検出シーン数ｎ_s がシーン数判定閾値Ｎ未満であると判定されると、立旗ステップＳ１９に移行し、検出シーン数ｎ_s がシーン数判定閾値Ｎ以上であると判定されると、最終位置判定ステップＳ２１に移行する。

　次に３０ｆｐｓの３０分間分の動画データにおける実施の形態１の実行例を図１０Ａ、図１０Ｂを参照して説明する。図１０Ａの動画データは３０ｆｐｓで３０分の動画データであって、この動画総フレーム数Ｌは、Ｌ＝１８００×３０＝５４０００（フレーム）となる。３秒間連続するフレーム群（検出シーン）をシーン単位として検出する場合、閾値Ｋは９０（＝３０×３）となってシーン単位当たりのフレーム数は９０フレームとなる。ユーザが、３０分間分の動画データにおいてその１／１０をダイジェストシーンとして要望する場合、ダイジェストシーンの総量は３分間（１８０秒間）分の画像データとなる。その場合、画像データにおいて検出される３秒間分のシーン単位の数は、１８０／３＝６０となる。さらに、第１の復号ステップＳ１１で前述したように、第１のデコーダ１１の復号速度Ａを、Ａ＝２４（倍）とし、第１のデコーダ１１は第２のデコーダ１２の２４倍の復号速度を有すると想定する。以上の想定に基づいて本実施の形態の効果を説明する。

　まず、シーン数判定閾値Ｎで再生開始指示が出る場合について述べる。上記想定によるシーン数判定閾値Ｎは、前述した（２）式に基づいて、
Ｎ≧５４０００／｛９０×（１＋２４）｝≧２４（シーン）
となり、
全シーン単位数である６０シーン中において２４シーン分のダイジェストシーンが検出された場合、ダイジェストシーンの再生が開始可能となる。

　図１０Ｂには、検出対象であるダイジェストシーンが動画データ中に均等にばらついている状態が示されている。この場合、動画データをその先頭から解析を初めて全データを解析が終了してからダイジェストシーンの動画再生を開始するのに要する期間長に比べて、１／３程度の短期間でダイジェストシーンの動画再生を開始することができる。具体的には、３０分（＝１８００秒）の全画像データを２４倍速で解析したうえで、ダイジェストシーンの動画再生を開始するには、１８００（秒）／２４＝７５（秒）の時間長が必要となるが、本実施の形態では、（１８００（秒）／２４）×（２４／６０）＝３０（秒）という短い時間長となる。

　さらには、動画データの先頭領域に２４シーン単位分のダイジェストシーンが偏在している状態では、最速でダイジェストシーンの再生開始指示が出力されることになる。この場合、２４シーン単位分の再生時間長は、７２秒（＝２４×３秒（シーン単位の時間長）となるが、この時間長の動画データから２４倍速でダイジェストシーンの検出を行うのに要する時間長は、３秒（＝７２／２４）となる。つまり、ダイジェストシーンの検出開始後３秒でダイジェストシーンの動画再生を開始することができる。

　一方、動画データの末尾領域に６０シーン単位分のダイジェストシーンが偏在している状態では、最も遅くダイジェストシーンの再生開始指示が出されることになる。この場合、ダイジェストシーンが最初に検出されるタイミングは、検出を開始してから、６７．５（＝（１８００－１８０）／２４）秒後となる。そして、最初にダイジェストシーンが検出されてから２４シーン単位分の検出が終了するには、３（＝（２４×３）／２４）秒を要するので、ダイジェストシーンの動画再生が開始されるのは、７０．５（＝６７．５＋３）秒後となる。したがって、後述するフレーム数判定閾値Ｍとの比較によれば、本実施の形態では最悪の条件下におけるダイジェストシーンの動画再生が実施されることはない。

　次に、フレーム数判定閾値Ｍで再生開始指示が出力される場合について述べる。本実施の形態の想定を前述した（３）式に代入すれば、フレーム数に換算したフレーム数判定閾値Ｍは、
Ｍ＝５４０００－２４×９０×ｎ＝５４０００－２１６０ｎ
となる。表１にシーン単位数ｎ_ｓにおけるフレーム数換算のフレーム数判定閾値Ｍと秒数換算のフレーム数判定閾値Ｍ（＝ダイジェストシーンの動画再生開始に要する時間長）とを表す。

　シーン単位数ｎ_sの増加と共に、フレーム数判定閾値Ｍが小さくなる（＝ダイジェストシーンの動画再生開始時刻が早くなる）のが分かる。表１に基づけば、シーン単位数ｎ_ｓ＝１である場合、復号フレーム数ｎＦがフレーム数判定閾値Ｍ（＝５１８４０フレーム＝７２秒）より多ければ再生が開始される。シーン単位数ｎ_ｓがシーン数判定閾値Ｎ（この場合、Ｎ＝２４）に満たない場合、フレーム数判定閾値Ｍに基づいてダイジェスト開始指示を行うか否かが判定される。

 実行例を図１０Ｃに参照して説明する。図１０Ｃに示す動画データでは、検出シーンは、開始部分に２０シーン単位、終了部分に４０シーン単位それぞれ存在している。１シーン単位の検出時間は０．１２５（＝３／２４）秒であるため、このような動画データを解析し始めると、開始部分にある２０シーン単位の検出シーンに要する検出時間は２．５秒となる。開始部分にある検出シーンは２０シーン単位であって、シーン数判定閾値Ｎ以下（２０＞Ｎ＝２４）であるため、ダイジェストの開始指示は出力されない。シーン単位数ｎ_ｓ＝２０である場合、表１に基づけば、復号フレーム数ｎＦがフレーム数判定閾値Ｍ（＝１０８００フレーム＝１５秒）より大きければダイジェスト再生が可能となる。したがって、復号フレーム数ｎＦが、１０８００フレームとなった時点、すなわち、解析開始から１５秒進行した時点でダイジェスト再生開始指示が出力される。

　次に最もダイジェスト再生の開始が遅くなるケースを図１０Ｄに基づいて説明する。この場合の例として、図１０Ｄでは、動画データの最後の部分に、対象とする動画データが６０シーン存在している。この場合、前述したシーン数判定閾値Ｎで計算した時と同様、６７．５秒からダイジェストシーンの検出が開始される。以上の状況においてダイジェスト再生の開始判断は次のように下される。

　シーン単位数ｎ_ｓ＝１の場合では、秒換算の復号フレーム数ｎＦは、６７．６２５秒（＝６７．５＋０．１２５×１）となり、この復号フレーム数ｎＦはフレーム数判定閾値Ｍ（＝７２秒）より小さいため、ダイジェスト再生開始指示は出力されない。シーン単位数ｎ_ｓ＝２の場合では、秒換算の復号フレーム数ｎＦは、６７．７５０秒（＝６７．５＋０．１２５×２）となり、この復号フレーム数ｎＦはフレーム数判定閾値Ｍ＝６９（秒）より小さいため、ダイジェスト再生開始指示は出力されない。シーン単位数ｎ_ｓ＝３の場合では、秒換算の復号フレーム数ｎＦは、６７．８７５秒（＝６７．５＋０．１２５×３）となり、この復号フレーム数ｎＦはフレーム数判定閾値Ｍ＝６６（秒）より大きいため、ダイジェスト再生開始指示が出力される。

　さらに、復号速度の倍率Ａを高速にすることにより、さらに開始位置も高速になる。ダイジェストシーンは連続しているものなので、動画を数フレーム飛ばしても問題はない。ここで、２フレームに１回復号にすることは、復号速度が２倍になることに等しい。よって、Ａ＝２４×２＝４８（倍）となる。

　これにより、復号速度の倍率Ａが２倍になることによりシーン数判定閾値Ｎがほぼ半分である
Ｎ≧５４０００／（２４×９０×２）＝１２．５≒１３（シーン）
となる。

　Ａ＝４８の状態で動画全体を解析すると、１８００秒（＝３０分）／４８＝３７．５（秒）で全データを解析することができる。これに対して本実施の形態では、全６０シーンのダイジェストシーンのうちで１３シーン、すなわち、ほぼ１／３の検出が終了した時点でダイジェストシーンの再生を開始することが可能となる。つまり、全画像を解析してからダイジェストシーンの動画再生を開始するよりも、ダイジェストシーンの動画再生に要する時間を１／６に短縮することができる。このように、復号速度の倍率Ａを大きくすることで、それに反比例してダイジェストシーンの動画再生に要する時間長を小さくすることができる。このように、復号速度の倍率Ａを大きくするほど、本実施の形態の効果は高まる。以上のように本実施の形態によれば、付加情報がなくても全画像を解析し終わるのを待つことなくダイジェストシーンの動画再生を、高速に行うことができる。

　（実施の形態２）
[シーン数判定閾値Ｎが実施の形態１の条件を満たさない状態に適用した構成]
　ダイジェストシーンの再生開始に要する時間長をさらに短縮化するために、シーン数判定閾値Ｎを、実施の形態１の条件を満たさない値に設定すると（すなわちより小さい値に設定すると）、ダイジェストシーンが不足して第２のデコーダ１２での処理が止まってしまう可能性がある。図１１にシーン数判定閾値Ｎの値が実施の形態１の値より小さい場合の再生状況を示す。図１１に示すとおり、シーン数判定閾値Ｎの値が小さくなると、再生対象がなくなって何も再生されない空白時間が生じることが予想される。

　本実施の形態では、上述したような不具合の発生を避けるため、シーン数判定閾値Ｎで規定されるＮ個のダイジェストシーンが検出されて再生が開始された時点において、動画データの残りフレーム数に応じて復号するフレームの間隔を広げている。図１２に残りフレーム数Ｒに応じた復号フレームの間隔の拡張方法を示す。Ｎ個のダイジェストシーンが検出された時点における動画データの残フレーム数Ｒは動画総フレーム数Ｌを用いて、次の（４）式で表わすことができる。
Ｒ＝Ｌ－現在フレーム　…（４）
　検出されたＮシーンを再生している間に、第１のデコーダ１１が復号できるフレーム数はＡ×Ｎ×Ｋである。よって、復号間隔Ｃが次の（５）式を満たした状態で動画データを復号していけば、第２のデコーダ１２の再生が終わるのと同時に、解析が終了しており途切れなく復号できる。
Ｃ＝Ｒ／（Ａ×Ｎ×Ｋ）　…（５）
　なお、復号間隔Ｃを開けて復号したフレームから顔領域が検出された場合、そのフレーム以降は順次復号したうえでダイジェストシーンの検出が終了した時点で、上記の復号間隔Ｃを計算し直し、再びフレーム間隔を開けて復号する方法をとってもよい。

　さらに、上記復号間隔を残余のダイジェストシーンの数に対応させてもよい。例えば、再生していない残余の検出済みダイジェストシーンの数が１であれば復号間隔ＣをＲ／（Ａ×Ｎ×Ｋ）に、２であれば復号間隔ＣをＲ／（２×Ａ×Ｎ×Ｋ）に、ｎであればＲ／（ｎ×Ａ×Ｎ×Ｋ）としてもよい。

　さらに、ダイジェストシーンが途中で不足した場合の別の対処方法として、再生シーンがない期間中は第１のデコーダ１１の復号結果を表示することが挙げられる。以下に詳細を説明する。

　図１３に、第１のデコーダ１１と第２のデコーダ１２の復号結果を表示する動画ファイル再生装置を示す。この動画ファイル再生装置は、記録媒体２０と、第１のデコーダ１１と、顔検出部１３と、検出シーン数判定部１４と、復号フレーム数判定部１５と、第２のデコーダ１２と、表示部１６とを備える。

　記録媒体２０は、再生対象となる動画ファイルを格納している。第１のデコーダ１１は、動画ファイルを順次復号する。顔検出部１３は、第１のデコーダ１１でデコードされた復号データに基づいてダイジェストシーンの開始位置と終了位置とを検出する。検出シーン数判定部１４は、顔検出部１３で得られた検出シーン数ｎ_s がダイジェストシーンの再生開始時刻を決めるためのシーン数判定閾値のＮ（Ｎは自然数）以上か否かを判定する。復号フレーム数判定部１５は、第１のデコーダ１１で得られた復号フレーム数ｎ_F がダイジェストシーンの再生開始時刻を決めるためのフレーム数判定閾値のＭ（Ｍは自然数）以上か否かを判定する。第２のデコーダ１２は、顔検出部１３で検出されたダイジェストシーンのみを復号する。表示部１６は、第１のデコーダ１１と第２のデコーダ１２とによって復号された情報を表示する。

　第１のデコーダ１１と第２のデコーダ１２とは、マルチデコーダ１０内のデコーダの一部である。なお、マルチデコーダ１０は２つ、またはそれ以上のデコーダを搭載している。第１のデコーダ１１によって復号されたフレーム数や、検出シーン数はＣＰＵで管理されているものとする。検出シーン数判定部１４と復号フレーム数判定部１５とはＣＰＵの機能として構成されている。

　なお、ここで、第１のデコーダ１１の復号結果は通常動画のＡ倍の速度で出力されている。そのため、表示部１６の表示処理能力に合うフレーム量に絞って表示する必要がある。結果として、第１のデコーダ１１の復号結果を表示するということは、早送り再生を見ているのと同様である。

　第１のデコーダ１１と第２のデコーダ１２の復号結果を表示する処理手順について説明する。この表示手順は、図１の第２の復号ステップＳ３３での顔領域のみを復号して表示するという処理を、第１のデコーダ１１の復号結果と第２のデコーダ１２の復号結果とを表示する処理に置き換えることで実現できる。図１４に第１のデコーダ１１の復号結果と第２のデコーダ１２の復号結果とを表示する処理フローを示す。

　旗判定ステップＳ３１にて再生フラグが立っていることを確認したあと、本フローは実行される。図１３と図１４とを用いて第２のデコーダ１２の起動と表示部１６の表示切り替えとについて説明する。第２のデコーダ１２で検出されたダイジェストシーンが復号され、その復号結果が表示部１６に供給される（ステップＳ６１）。検出シーン（検出したダイジェストシーン）の終わりがくるまで処理が継続され、検出シーンをすべて復号し終わったことが確認されると（ステップＳ６２）、再生フラグがオフされる（ステップＳ６３）。第１のデコーダ１１で動画の最終フレームまできたことが確認されると処理が終了され（ステップＳ６４）、最終フレームでないことが確認されると再生フラグが立っているか否かが判定され（ステップＳ６５）、再生フラグが立っていないことが確認されると第１のデコーダ１１の復号結果が表示部１６に供給される（ステップＳ６６）。上記の処理により、検出シーンが不足した場合、第１のデコーダ１１の復号結果が表示されることにより、ユーザの処理待ち時間が回避される。

　図１５に第１のデコーダ１１の復号結果と第２のデコーダ１２の復号結果とを表示する処理の実行例を示す。第１のデコーダ１１が動画データを検出するまで、第２のデコーダ１２は復号処理を行わない。第１のデコーダ１１による復号データから検出シーンがＮ個検出されると第２のデコーダ１２はダイジェストシーンだけを復号し（４１）、復号データを表示部１６に供給する。このときユーザは通常の再生速度でその復号データを視聴できる。ダイジェストシーンをすべて復号し終わっても新たなダイジェストシーンが検出されていない場合、第１のデコーダ１１の復号結果（４２）が表示部１６に供給される。ここでは、表示部１６の表示能力に合わせて必要なフレーム数だけが供給される。このときの表示状態は、早送り再生と同様である。再びダイジェストシーンが検出されると、検出されたダイジェストシーンを処理するデコーダが切り替えられ、再び第２のデコーダ１２の復号結果（４３）が表示部１６に供給されて表示される。先程と同様に、ユーザは通常再生でその復号結果（４３）を視聴できる。なお、再生フラグを立てるシーン数Ｎは、１度目の再生が始まったあとに変更してもよい。

　（実施の形態３）
[第１の復号ステップで粗く復号する構成]
　前述した実施の形態１では、解析に必要なすべての動画データを復号して高速化する方法について述べたが、本実施の形態では、検出ステップＳ１３において粗く復号する構成（つまり、復号フレーム数を削減する構成）を２つ述べる。
（第１の構成）
　これは、一度粗く検出をかけることで検出されたフレームの周囲のみを再復号したうえで顔検出部１３で処理する構成である。図１６は第１の復号ステップＳ１１でのフレーム数削減例を示す。図１６の（ａ）に示すように、画像データにおいて、ある一定間隔毎（例えば、６フレーム毎）に画像データが区切られたうえで、各区分フレーム群から１フレームが抜き出されたうえで、抜き出されたフレームの画像データが選択的に復号される。次に図１６の（ｂ）に示すように、その復号データが顔検出部１３で顔領域検出処理されたうえで、その処理結果（顔領域の有無）が出力される。次に図１６の（ｃ）に示すように、顔領域が検出された復号データを含む区分フレーム群（すなわち、顔領域が検出されたフレームから次に顔領域の検出が試みられたフレームまでのクレーム群）の画像データが記憶されたうえで、記憶された画像データのみが始めから復号される。これにより実際のデータよりも少ないフレーム数でダイジェストシーンが検出されるようになってダイジェスト再生の高速化が可能になる。

　具体的には、３０分間分の３０ｆｐｓフォーマットの動画データにおいて、動画データを所定フレーム数（例えば６フレーム）で区切ったうえで、その分割フレーム群毎に１フレームを選択的に抜き出して復号し（例えば、各分割フレーム群の分割点（具体的には先頭）にある分割点フレームを抜き出して復号し）、その復号データから顔領域検出を試みる。顔領域検出の結果、半分の復号データ（図１６では３つのフレームの復号データ）において顔領域が検出されたとする。この場合、顔領域が検出されたフレームが含まれる分割フレーム群における残余のフレームだけを顔検出部１３にかける。このような顔領域検出を実施する場合、全てのフレームにおいて顔領域検出を実施する場合に比べて、復号フレーム数は半分となる。これは、１５分の動画データを復号して顔領域検出を行うことに等しくなる。このとき、実施の形態１で用いたパラメータ閾値Ｋ＝９０および復号速度の倍率Ａ＝２４を、前述した（２）式に代入すると、シーン数判定閾値Ｎは、
Ｎ≧２７０００／｛９０×（１＋２４）｝≧１２（シーン）
となる。復号速度倍率Ａ＝２４で１５分の動画を全解析するのに要する時間長は、９００秒（＝１５分）／２４＝３７．５（秒）となる。しかしながら、前述したように粗く復号した結果として、この１５分の動画データの大部分は、ダイジェストシーンによって占有されている可能性が高いと予想される。この場合、　さらには、動画データの先頭領域に２４シーン単位分のダイジェストシーンが偏在している状態では、最速でダイジェストシーンの再生開始指示が出力されることになる。この場合、１２シーン単位分の再生時間長は、３６秒（＝１２×３秒（シーン単位の時間長）となるが、この時間長の動画データから２４倍速でダイジェストシーンの検出を行うのに要する時間長は、１．５秒（＝３６／２４）となる。つまり、ダイジェストシーンの検出開始後１．５秒でダイジェストシーンの動画再生を開始することができる。

　第２は、ＭＰＥＧ形式で記録されている動画ファイルの場合、Ｉフレームのみを復号していく方法である。ＭＰＥＧ形式の動画ファイルは前述の通り、Ｉフレーム、Ｐフレーム、Ｂフレームで構成される。このうち、Ｉフレームのみを復号し、検出をかけることにより、すべての動画ファイルを解析せずに、顔領域検出を行うことができる。

　Ｉ→Ｂ→Ｂ→Ｐ→Ｂ→Ｂ→Ｐ→Ｂ→Ｂの繰り返しであるようなＭＰＥＧ形式の場合、Ｉは９フレームに１回存在し、Ｉフレームのみで検出を行うということは、９フレームに１回検出を行うということで、第１のデコーダ１１の復号速度が９倍になることに等しく、パラメータＡを改善するので、ダイジェスト再生をより高速化させる。

　以上、復号フレーム数を削減する２つの構成を説明した。これらにより、さらに高速なダイジェスト再生が可能となる。ただし、粗く検出してしまうため、シーンの検出精度という点においては劣る。デコーダの復号処理能力に応じて、使い分けるのが望ましい。

　（実施の形態４）
[顔情報以外の特定情報を含んだダイジェストシーンを検出する構成]
　実施の形態１～３では、１フレームの復号データのみで判断される顔情報を特定情報としていたが、本発明で扱う特定情報は顔情報に限定されない。例えば、シーンチェンジやズーム等の画像変化に関する情報や、音声に関する情報等、情報の有無を判断するのに数フレームの画像データを要する特定情報に基づいてダイジェストシーンを検出する方法も、本発明の検出処理として適当である。上記情報の検出方法は過去様々な発明がなされ、自明な処理のため説明を省略する。

　ダイジェストシーンの検出方法は様々あるが、消費電力の観点からいって、小型機器に複数のダイジェスト検出部を載せて動作させるのは好ましくない。よって、電源供給状態に対応してシーン検出の種類を限定する必要がある。例えば、ビデオカメラに搭載した場合、電池で駆動している場合は、顔領域だけを用いて、ダイジェストシーンの検出と再生とを行う一方、電源コンセント等の継続供給可能な電源から電源供給がある場合は、顔領域と音声など、複数の特定情報を用いてダイジェストシーンの検出と再生を行う。

　（実施の形態５）
[新たに付加情報または加工動画を記録する構成]
　検出したダイジェストシーンを再生する他に、検出したダイジェストシーンに関する情報を付加情報として動画ファイルに記憶してもよい。図１７に、実施の形態５のブロック図を示す。本実施の形態の構成は、基本的に実施の形態１と同様であるが、実施の形態１の構成に加えて、情報作成部１７を備える。なお、図中、２２は、動画ファイル２１に関連付けされる付加情報であって、付加情報２２は、情報作成部１７によって生成されたうえで、動画ファイル２１に関連付けられて記録媒体２０に記録される。

　情報作成部１７は、顔検出部１３で検出された顔検出情報と動画ファイル２１とに基づいて、動画ファイル２１に関連付けされた付加情報２２を作成する。この処理により、次回以降の解析が不要となり、過去に発明された再生方法により、高速にダイジェスト再生を行うことができる。さらに、情報作成部１７の代わりに動画記録部を設け、検出されたダイジェストシーンを低圧縮（高解像度）で、対象外シーンを高圧縮（低解像度）に記録し、新たな動画ファイルを作成してもよい。

　（実施の形態６）
[ダイジェストシーンを選択的に通常再生する一方、ダイジェストシーン以外は早送り再生を行う構成]
　実施の形態６では、第１のデコーダ１１の復号結果を再生表示しつつ、ダイジェストシーンを検出すると、検出したダイジェストシーンを通常速度で再生する。本実施の形態を実現する動画ファイル再生装置は図１３と同様である。また、本実施の形態は図１のフローにおいて、ステップＳ１１～Ｓ２１までは同様である。ステップＳ３１～Ｓ３３において、第１のデコーダ１１の復号結果の表示処理を加える。図１８に、ステップＳ３１～Ｓ３３に代わるフローを示す。図１３と図１８を用いて、本実施の形態の処理詳細を説明する。

　初めに、再生フラグが立っているか否かが判定される（ステップＳ７１）。再生フラグが立っていないと判定される場合、第１のデコーダ１１の復号結果（復号データ）が表示部１６に供給される（ステップＳ７５）。そのうえで、今回の第１のデコーダ１１による復号結果が動画データの最後であるか否かが判定される（ステップＳ７６）。ステップＳ７６で画像データの最後ではないと判定される場合、再生フラグの判定（ステップＳ７１）へループする。ステップＳ７１で再生フラグが立っていると判定される場合、検出されたダイジェストシーンを第２のデコーダ１２で復号したうえで、その復号結果を表示部１６に供給する（ステップＳ７２）。これにより、表示画像が切り替わる。検出したダイジェストシーンの終端までステップＳ７２の処理を継続し、検出したダイジェストシーンの終端になったことを確認すると（ステップＳ７３）、再生フラグをオフにする（ステップＳ７４）。

　図１９に実施の形態６の実行例を示す。この例ではシーン数判定閾値Ｎ＝１とする。第１のデコーダ１１による復号結果からダイジェストシーンが検出されるまで、表示部１６は第１のデコーダ１１の出力を再生する。ここで、ユーザは動画データが早送り再生されたものを視聴していると感じる。第１のデコーダ１１により、ダイジェストシーンが検出された場合、第２のデコーダ１２はそのダイジェストシーンを復号して表示部１６に供給する。表示部１６は第２のデコーダ１２の出力を表示する。ここで、ユーザはダイジェストシーンが通常再生されたものを視聴していると感じる。第１のデコーダ１１で、結果としてｎ₁ シーン分検出された場合、第２のデコーダ１２ではｎ₁ シーン分の復号を行う。第２のデコーダ１２でダイジェストシーンの復号処理を終了しても、次のダイジェストシーンが検出されない場合、第２のデコーダ１２は復号処理を停止する。その結果、再び第１のデコーダ１１の復号結果が表示部１６に供給されることになり、表示部１６は第１のデコーダ１１の出力を表示する。再び、検出シーン数が１となったら、第２のデコーダ１２に開始指示が供給される。検出結果がｎ₂ シーン分であれば、第２のデコーダ１２ではｎ₂ シーン分の復号を行い、復号データを表示部１６に供給する。以上の処理により、ユーザはダイジェストシーンのみを通常速度で、それ以外の画像データを早送り再生することができる。

　これまで実施の形態１～６を説明してきたが、これら実施の形態の動画ファイル再生方法はあくまで一例に過ぎず、様々な改変が可能であることは言うまでもない。

　なお、上記において複数の実施の形態、実施例について説明したが、本発明の趣旨を逸脱しない範囲で、複数の実施の形態、実施例における各構成要素を任意に組み合わせてもよい。

　本発明によって、様々な動画のダイジェスト再生が可能となるため、デジタルビデオカメラや、監視カメラ、テレビコンテンツ、ＤＶＤなど、デジタルの動画ファイル再生において利用可能性がある。

　Ｓ１１　付加情報のない動画ファイルを１フレーム復号する第１の復号ステップ
　Ｓ１３　復号されたデータからダイジェストシーンの開始／終了位置を検出し、検出シーン数をカウントする検出ステップ
　Ｓ１５　検出シーン数がＮシーン以上であるか否かを判定するステップ
　Ｓ１７　復号されたフレーム数がＭフレーム以上であるか否かを判定するステップ
　Ｓ１９　第２の復号ステップの開始のためにダイジェスト再生フラグを立てるステップ
　Ｓ２１　動画の最終フレームであるか否かを判定するステップ
　Ｓ３１　ダイジェスト再生フラグが立ったか否かを判定するステップ
　Ｓ３３　検出されたダイジェストシーンのみを復号する第２の復号ステップ
　１０　マルチデコーダ
　１１　第１のデコーダ
　１２　第２のデコーダ
　１３　顔検出部（ダイジェスト検出部）
　１４　検出シーン数判定部
　１５　復号フレーム数判定部
　１６　表示部
　１７　情報作成部
　２０　記録媒体
　２１　動画ファイル
　２２　付加情報

Claims (29)

1. 　動画ファイルを１復号するとともに、復号フレーム数をカウントする第１の復号ステップと、
   　前記第１の復号ステップで復号された動画データを構成する複数のシーンの中から特定情報を含むダイジェストシーンを検出したうえで、検出した前記ダイジェストシーンの開始／終了位置の特定と、ダイジェストシーン検出数のカウントとを行う検出ステップと、
   　前記検出ステップでカウントした前記ダイジェストシーン検出数と、前記ダイジェストシーンの再生開始時刻を決めるためのシーン数判定閾値とを比較する第１の比較ステップと、
   　前記第１の復号ステップでカウントした前記復号フレーム数と、前記ダイジェストシーンの再生開始時刻を決めるためのフレーム数判定閾値とを比較する第２の比較ステップと、
   　前記第１の比較ステップの比較判定結果と前記第２の比較ステップの比較判定結果とに基づいて、前記検出ステップで検出した前記ダイジェストシーンを復号するか否かを判断したうえで、復号すると判断すると、前記検出ステップで特定した前記開始／終了位置で前記動画ファイルから前記ダイジェストシーンを抽出して復号する第２の復号ステップと、
   　を含む動画ファイル再生方法。
2. 　前記第１の比較ステップを実行したのち前記第２の比較ステップを行い、
   　前記第２の復号ステップでは、
   前記第１の比較ステップにおいて前記検出シーン数が前記シーン数判定閾値以上である、
   または、
   前記第１の比較ステップにおいて前記検出シーン数が１以上前記シーン数判定閾値未満であり、かつ前記第２の比較ステップにおいて前記復号フレーム数が前記フレーム数判定閾値以上である、
   場合に、前記検出ステップで検出した前記ダイジェストシーンを復号すると判断する、
   　請求項１の動画ファイル再生方法。
3. 　前記第２の比較ステップを実行したのち前記第１の比較ステップを行い、
   　前記第２の復号ステップでは、
   前記第２の比較ステップにおいて前記復号フレーム数が前記フレーム数判定閾値以上である、
   または、
   前記第２の比較ステップにおいて前記復号フレーム数が前記フレーム数判定閾値未満であり、かつ前記第１の比較ステップにおいて前記検出シーン数が前記シーン数判定閾値以上である、
   場合に、前記検出ステップで検出した前記ダイジェストシーンを復号すると判断する、
   　請求項１の動画ファイル再生方法。
4. 　前記第１の復号ステップにおける復号速度を、前記第２の復号ステップにおける復号速度のＡ倍（Ａは１を超える正数）にする、
   　請求項１の動画ファイル再生方法。
5. 　前記第１の復号ステップでは、前記動画ファイルの先頭フレームから復号を行う復号モードと、前記動画ファイルの最終フレームから復号を行う復号モードとを必要に応じて切り替えながら前記動画ファイルを復号する、
   　請求項１の動画ファイル再生方法。
6. 　前記第１の復号ステップでは、前記動画ファイルに一定サイズ毎に設けた分割点にある分割点フレームを先行復号したうえで、先行復号した前記分割点フレームの動画データから前記特定情報を検出し、前記特定情報を検出した前記分割点フレーム近傍のフレーム群の前記動画ファイルを選択的に復号する、
   　請求項１の動画ファイル再生方法。
7. 　前記動画ファイルは、フレーム間予測に基づいて圧縮されたものであり、
   　前記第１の復号ステップでは、Intraフレームのみを復号する、
   　請求項１の動画ファイル再生方法。
8. 　前記第１の復号ステップでは、前記検出ステップで必要となる情報のみを復号する、
   　請求項１の動画ファイル再生方法。
9. 　前記必要となる情報は輝度情報である、
   　請求項８の動画ファイル再生方法。
10. 　前記第１の復号ステップと前記検出ステップと前記第１の比較ステップと前記第２の比較ステップと前記第２の復号ステップとはループ処理され、
    　前記第１の復号ステップでは、前記動画ファイルのフレームを間隔を空けて不連続に復号し、
    　かつ前記第１の復号ステップでは、前記第２の復号ステップにおいて前記ダイジェストシーンの復号が未処理となった残余のフレーム数または残余のダイジェストシーン数に応じて復号するフレームの間隔を調整する、
    　請求項１の動画ファイル再生方法。
11. 　前記検出ステップでは、複数の前記特定情報の中から任意の特定情報を選択可能であり、
    　かつ前記検出ステップでは、前記第１の復号ステップと前記第２の復号ステップとを実行する復号装置における電源供給量に準じて前記特定情報が選択される、
    　請求項１の動画ファイル再生方法。
12. 　前記特定情報は画像内における特定領域に関する情報である、
    　請求項１の動画ファイル再生方法。
13. 　前記特定領域は、画像内における被写体の顔領域である、
    　請求項１２の動画ファイル再生方法。
14. 　前記特定情報は前記動画ファイルにおける動画変化情報である、
    　請求項１の動画ファイル再生方法。
15. 　前記動画変化情報は、前記画像ファイルにおけるシーンチェンジまたはズーム処理に関する情報である、
    　請求項１４の動画ファイル再生方法。
16. 　前記特定情報は音声情報である、
    　請求項１の動画ファイル再生方法。
17. 　前記動画ファイルは、フレーム間予測に基づいて圧縮されたものであり、
    　前記検出ステップでは、前記開始／終了位置における開始位置として、Predictiveフレーム、またはBidirectionally predictiveフレームを指定し、
    　前記第２の復号ステップでは、前記開始位置の直前のIntraフレームから前記ダイジェストシーンを抽出して復号する、
    　請求項１の動画ファイル再生方法。
18. 　前記動画ファイルは、フレーム間予測に基づいて圧縮されたものであり、
    　前記検出ステップでは、前記開始／終了位置における開始位置として、Predictiveフレーム、またはBidirectionally predictiveフレームを指定し、
    　前記第２の復号ステップでは、前記開始位置の直前のIntraフレームから前記ダイジェストシーンを抽出して復号するものの、前記ダイジェストシーンの再生は前記開始位置から行う、
    　請求項１の動画ファイル再生方法。
19. 　前記検出ステップでは、単一シーンからなる前記ダイジェストシーンを検出する、
    　請求項１の動画ファイル再生方法。
20. 　前記検出ステップでは、任意の一定フレーム数からなる前記ダイジェストシーンを検出する、
    　請求項１の動画ファイル再生方法。
21. 　前記第２の復号ステップでは、再生した前記ダイジェストシーンの動画データを記録する、
    　請求項１の動画ファイル再生方法。
22. 　前記特定情報を前記動画ファイルに付加情報として記録する記録ステップを、
    　さらに含む請求項１の動画ファイル再生方法。
23. 　前記ダイジェストシーンの動画ファイルを第１の圧縮率で圧縮し、前記ダイジェストシーン以外のシーンの動画ファイルを、前記第１の圧縮率より圧縮率が高い第２の高圧縮率で圧縮して記録する記録ステップを、
    　さらに含む請求項１の動画ファイル再生方法。
24. 　動画ファイルを復号するとともに、復号フレーム数をカウントする第１のデコーダと、
    　前記第１のデコーダで復号された動画データを構成する複数のシーンの中から特定情報を含むダイジェストシーンを検出したうえで、検出した前記ダイジェストシーンの開始／終了位置の特定と、ダイジェストシーン検出数をカウントするダイジェスト検出部と、
    　前記ダイジェスト検出部でカウントした前記ダイジェストシーン検出数と、前記ダイジェストシーンの再生開始時刻を決めるためのシーン数判定閾値とを比較する検出シーン数判定部と、
    　前記第１のデコーダでカウントした前記復号フレーム数と、前記ダイジェストシーンの再生開始時刻を決めるためのフレーム数判定閾値とを比較する復号フレーム数判定部と、
    　前記検出シーン数判定部の比較判定結果と前記復号フレーム数判定部の比較判定結果とに基づいて、前記ダイジェスト検出部で検出した前記ダイジェストシーンを復号するか否かを判断したうえで、復号すると判断すると、前記ダイジェスト検出部で特定した前記開始／終了位置で前記動画ファイルから前記ダイジェストシーンを抽出して復号する第２のデコーダと、
    　を備える動画ファイル再生装置。
25. 　前記第２のデコーダは、前記検出シーン数判定部の比較判定結果を、前記復号フレーム数判定部の比較判定結果より先に取り込んだうえで、前記ダイジェストシーンの復号判断において、
    前記検出シーン数判定部において前記検出シーン数が前記シーン数判定閾値以上である、
    または、
    前記検出シーン数判定部において前記検出シーン数が１以上前記シーン数判定閾値未満であり、かつ前記復号フレーム数判定部において前記復号フレーム数が前記フレーム数判定閾値以上である、
    場合に、前記ダイジェスト検出部で検出した前記ダイジェストシーンを復号すると判断する、
    　請求項２４の動画ファイル再生装置。
26. 　前記第２のデコーダは、前記復号フレーム数判定部の比較判定結果を、前記検出シーン数判定部の比較判定結果より先に取り込んだうえで、前記ダイジェストシーンの復号判断において、
    前記復号フレーム数判定部において前記復号フレーム数が前記フレーム数判定閾値以上である、
    または、
    前記復号フレーム数判定部において前記復号フレーム数が前記フレーム数判定閾値未満であり、かつ前記検出シーン数判定部において前記検出シーン数が前記シーン数判定閾値以上である、
    場合に、前記ダイジェスト検出部で検出した前記ダイジェストシーンを復号すると判断する、
    　請求項２４の動画ファイル再生装置。
27. 　請求項２４の動画ファイル再生装置を備える、
    　デジタルカメラ。
28. 　請求項２４の動画ファイル再生装置を備える、
    　デジタルビデオカメラ。
29. 　請求項２４の動画ファイル再生装置を備える、
    　ＤＶＤプレーヤ。

Images