JP4393333B2 - 映像記録再生装置、方法及びプログラム - Google Patents

Description

本発明は、放送局、デジタルビデオカメラ、ネットワーク接続型カメラ等から送出されるデジタル画像を記録、再生する映像記録再生装置、方法及びプログラムに関し、特に記録したデジタル映像からシーン分割、シーン検知等に基づくインデックを生成、表示し、記録映像を指定シーンから再生する機能を有するものに関する。

近年、ランダムアクセス可能で、記録と再生が同時に処理可能な映像記録再生装置の普及に伴い、シーン分割、シーン検知等に基づきインデックスを生成、表示し、記録映像を指定シーンから再生する機能や、放送を記録しながら時間をシフトさせて再生する機能や、監視用途等では画面内での人物等の動きをイベントとして記録し、記録を継続しながら過去のイベント発生時の映像を再生する機能等のニーズが高まっている。また、シーンやイベントの検知方法として、シーンチェンジ検知、動き検知、ズームイン・アウト検知、顔認識、類似画像検知等の様々な検知方法が考案されており、これらを複合的に組み合わせることでシーン検索性の向上が期待されている。

ここで、従来の映像記録再生装置、例えば、特許文献１記載のデジタル放送記録・再生装置は、デジタル放送受信部から送られてくるデジタルデータをもとにシーン変化位置を検出し、シーン変化位置が検出されるとデコード部から送られてくるデコード後のデータから再生画面の縮小静止画であるサムネイルを作成し、当該データのデータ開始アドレス、１画面データ長、シーン開始時間、作成されたサムネイルをシーン変化テーブルに記録する。これにより、所望のシーンから再生を行う場合、当該シーンに対応するデータ開始アドレスから１画面データ長分のデータを読出しデコードすることにより頭出し再生を行っている。ここで、シーン変化位置の検出はトランスポートデータのディスコンティニティインジケータをチェックすることにより行われている。

また、特許文献２記載の圧縮動画復号・表示装置は、記録映像をランダムアクセスするための基準となる全てのコードのオフセットバイト数とそのコードの直前までの累積フレーム数を記録した頭出し再生用テーブルを予め作成し、圧縮動画像ストリーム中のシーンの開始・終了フレームのフレーム番号が記録してある所定フォーマットのシーンチェンジ検出結果ファイルと頭出し再生用テーブルに基づきインデックス画像を表示、又はインデックス画像ファイルを作成する。これにより、該インデックス画像の選択に応じて所望シーンの先頭フレームに対応したオフセット値を頭出し再生用テーブルで検索し、先頭フレームからの頭出し再生を行っている。

特開２０００−２２４５２２号公報 特開平９−１３９９１５号公報

しかしながら、特許文献１記載のデジタル放送記録・再生装置は、記録時にシーン変化テーブルを作成しているため、記録を行いながらインデックス表示や頭出し再生は可能であるが、デコード前の情報、例えばディスコンティニティインジケータでシーン変化を検出しているため、それ以外の任意フレームでのシーン検知を行うことは困難であり、また、圧縮映像は予測符号化情報等の単独では再生困難な情報を持つため、データ開始アドレスにより任意フレームを頭出し再生することも困難であるという欠点があった。

また、特許文献２記載の圧縮動画像復号・表示装置は、シーンチェンジ検出結果をフレーム番号で持ち、頭出し再生用テーブルを用いることにより任意フレームからの頭出し再生が可能となるが、予め頭出し再生用テーブルを作成する必要があり、また、シーンチェンジ結果と頭出し再生用テーブルを用いてシーンの頭出しを行いながらサムネイルの作成を行っているため、映像の記録からインデックスの作成、表示までに時間を要するという欠点があった。

そこで、本発明にかかる目的は、圧縮映像の多様なシーン検知に基づく任意フレームでのインデックスを、記録中でも作成、表示し、当該任意フレームからの頭出し再生が可能となるようにすることにある。

本発明の映像記録再生装置は、デジタル映像を記録、再生する映像記録再生装置において、入力映像を記憶媒体に記録する映像記録手段と、記録された映像を前記記憶媒体から読み出すための記録映像識別情報を含む映像記録情報を一時記憶する映像記録情報記憶手段と、入力映像をデコードしたデコード映像を生成するデコード手段と、デコード映像のフレーム数をカウントし、フレーム番号としてデコード映像の各フレームに付加するフレーム番号生成・付加手段と、デコード映像フレームにフラグ領域を付加するフラグ付加手段と、前記デコード映像フレームを演算処理することによりシーン検知を行う検知手段と、前記シーン検知手段による各シーン検知時に、対応するデコード映像フレームのフラグ領域にフラグをセットするフラグ設定手段と、前記シーン検知手段による各シーン検知時に、対応するデコード映像フレームのフレーム番号とシーン検知内容を示すシーン検知内容情報とを対応付けたシーン検知情報を一時記憶するシーン検知情報記憶手段と、前記フラグ領域にフラグがセットされているデコード映像フレームから、該デコード映像フレームを縮小、圧縮したサムネイルを生成し、記憶媒体に記録するサムネイル生成・記録手段と、前記サムネイル生成・記録手段によるサムネイルの生成・記録時に、サムネイルが生成されたデコード映像フレームのフレーム番号と、生成されたサムネイルを読み出すためのサムネイル識別情報とを対応付けたサムネイル記録情報を一時記憶するサムネイル記録情報記憶手段と、前記フレーム番号に基づき、検出されたシーン毎に前記映像記録情報と、前記シーン検知情報と、前記サムネイル記録情報とを対応付けたインデックス情報を構築し記憶媒体に記録するインデックス情報構築・記録手段と、前記インデックス情報に基づき、インデックスの表示を行うインデックス表示手段と、前記インデックス情報に基づき、シーンの再生表示を行うシーン再生手段とを備えた点に特徴を有する。
本発明の映像記録再生方法は、デジタル映像を記録、再生する映像記録再生方法であって、入力映像を記憶媒体に記録する映像記録工程と、記録された映像を前記記憶媒体から読み出すための記録映像識別情報を含む映像記録情報を一時記憶する映像記録情報記憶工程と、入力映像をデコードしたデコード映像を生成するデコード工程と、デコード映像のフレーム数をカウントし、フレーム番号としてデコード映像の各フレームに付加するフレーム番号生成・付加工程と、デコード映像フレームにフラグ領域を付加するフラグ付加工程と、前記デコード映像フレームを演算処理することによりシーン検知を行うシーン検知工程と、前記シーン検知工程で検出したシーンに対応するデコード映像フレームのフラグ領域にフラグをセットするフラグ設定工程と、前記シーン検知工程で検出したシーンに対応するデコード映像フレームのフレーム番号とシーン検知内容を示すシーン検知内容情報とを対応付けたシーン検知情報を一時記憶するシーン検知情報記憶工程と、前記フラグ領域にフラグがセットされているデコード映像フレームから、該デコード映像フレームを縮小、圧縮したサムネイルを生成し、記憶媒体に記録するサムネイル生成・記録工程と、前記サムネイル生成・記録工程によるサムネイルの生成・記録時に、サムネイルが生成されたデコード映像フレームのフレーム番号と、生成されたサムネイルを読み出すためのサムネイル識別情報とを対応付けたサムネイル記録情報を一時記憶するサムネイル記録情報記憶工程と、前記フレーム番号に基づき、検出されたシーン毎に前記映像記録情報と、前記シーン検知情報と、前記サムネイル記録情報とを対応付けたインデックス情報を構築し記憶媒体に記録するインデックス情報構築・記録工程と、前記インデックス情報に基づき、インデックスの表示を行うインデックス表示工程と、前記インデックス情報に基づき、シーンの再生表示を行うシーン再生工程とを備えた点に特徴を有する。
本発明のプログラムは、コンピュータを、入力映像を記憶媒体に記録する映像記録手段と、記録された映像を前記記憶媒体から読み出すための記録映像識別情報を含む映像記録情報を一時記憶する映像記録情報記憶手段と、入力映像をデコードしたデコード映像を生成するデコード手段と、デコード映像のフレーム数をカウントし、フレーム番号としてデコード映像の各フレームに付加するフレーム番号生成・付加手段と、デコード映像フレームにフラグ領域を付加するフラグ付加手段と、前記デコード映像フレームを演算処理することによりシーン検知を行うシーン検知手段と、前記シーン検知手段による各シーン検知時に、対応するデコード映像フレームのフラグ領域にフラグをセットするフラグ設定手段と、前記シーン検知手段による各シーン検知時に、対応するデコード映像フレームのフレーム番号とシーン検知内容を示すシーン検知内容情報とを対応付けたシーン検知情報を一時記憶するシーン検知情報記憶手段と、前記フラグ領域にフラグがセットされているデコード映像フレームから、該デコード映像フレームを縮小、圧縮したサムネイルを生成し、記憶媒体に記録するサムネイル生成・記録手段と、前記サムネイル生成・記録手段によるサムネイルの生成・記録時に、サムネイルが生成されたデコード映像フレームのフレーム番号と、生成されたサムネイルを読み出すためのサムネイル識別情報とを対応付けたサムネイル記録情報を一時記憶するサムネイル記録情報記憶手段と、前記フレーム番号に基づき、検出されたシーン毎に前記映像記録情報と、前記シーン検知情報と、前記サムネイル記録情報とを対応付けたインデックス情報を構築し記憶媒体に記録するインデックス情報構築・記録手段と、前記インデックス情報に基づき、インデックスの表示を行うインデックス表示手段と、前記インデックス情報に基づき、シーンの再生表示を行うシーン再生手段として機能させる。

本発明によれば、圧縮映像の多様なシーン検知に基づく任意フレームでのインデックスを、記録中でも作成、表示し、当該任意フレームからの頭出し再生が可能となる効果がある。

また、記録時に区切り位置を検出しインデックス情報に埋め込むことにより、膨大な情報量となる頭出し用テーブルを持つことなく、また再生時に頭出し用テーブルの検索が不要となるため、少ない記憶容量で高速な頭出し再生が可能となる効果がある。

以下、添付図面を参照して、本発明の好適な実施形態について説明する。図１は本発明の実施形態における映像記録再生装置の映像記録機能ブロック図である。図１において、１００は映像記録再生装置に記録される入力映像であり受信放送データ、ネットワークを介して配信されるストリーミング映像、ＩＥＥＥ１３９４等を介して入力されたデジタル映像等である。

１０２は記録映像を蓄積する記憶媒体でありハードディスクドライブ等である。１０１は入力映像１００を順次読出し記録映像記憶媒体１０２に書き込む映像記録部である。１０３は記録映像を読み出すための情報等を後述するインデックス情報構築・記録部１２０に通知する映像記録情報通知部である。

１０４は入力映像１００をビット又はバイト単位でカウントし、入力映像フォーマットに応じて直接読み出し可能な区切り位置を検出する区切り位置検出部である。１０５は入力映像１００をフレーム単位の画像にデコードするデコード部である。

１０６はデコードされたフレーム単位の画像（以後、デコード映像と呼ぶ）の数をカウントし、カウント値をデコード映像の各々のフレームにフレーム番号として付加するフレーム番号生成・付加部である。１０７はフレーム番号が付加されたデコード映像からフレーム番号を抽出するフレーム番号抽出部である。１０８は区切り位置検出部１０４が区切り位置を検出した直後のデコード映像のフレーム番号をフレーム番号抽出部１０７から取得し、検出された区切り位置と共に後述のインデックス情報構築・記録部に通知する区切り位置情報構築・通知部である。

１０９−１〜Ｎは複数フレームの差分演算、基準フレームとの差分演算、基準画像との特徴比較演算等の演算処理により、デコード映像のシーンチェンジ検知、動き検知、ズームイン・アウト検知、顔認識、類似画像検知等を行うシーン検知部である。１１０−１〜Ｎはシーン検知結果に基づきフレームにサムネイル生成のためのフラグを設定するサムネイル生成フラグ設定部である。１１１−１〜Ｎはシーン検知時の検知内容を抽出するシーン検知内容抽出部である。１１２−１〜Ｎはシーン検知フレームのフレーム番号を抽出するフレーム番号抽出部である。

１１３はシーン検知内容やシーン検知フレーム番号を後述するインデックス情報構築・記録部１２０に通知するシーン検知情報構築・通知部である。１１４はデコード映像フレームにサムネイル生成フラグがセットされているか否かを検出するサムネイル生成フラグ検出部である。１１５はデコード映像フレームを、縮小されＪＰＥＧ等に圧縮変換されたサムネイルを生成するサムネイル生成部である。

１１７はサムネイルを記憶するハードディスクドライブ等のサムネイル記憶媒体である。１１６はサムネイルをサムネイル記憶媒体１１７に書き込むサムネイル記憶部である。１１８はサムネイル生成・記録の対象となるデコード映像フレームよりフレーム番号を抽出するフレーム番号抽出部である。１１９はサムネイルを読み出すための情報とサムネイルに対応するフレーム番号を後述するインデックス情報構築・記録部１２０に通知するサムネイル記録情報構築・記録部である。１２１はシーンのサムネイル一覧であるインデックスを表示しまたシーンに対応する記録映像を再生するためのインデックス情報を記憶するハードディスクドライブ等のインデック情報記憶媒体である。１２０はシーン検知情報、サムネイル記録情報、映像記録情報、区切り検出情報より、各シーンにサムネイル、記録映像の読み出し位置、表示開始フレーム数等が関連付けされたインデックス情報を構築しインデックス情報記憶媒体に書き込むインデックス情報構築・記録部である。

図２は本発明の実施形態における映像記録再生装置の映像再生機能ブロック図である。図２において、２０２はインデックス情報記憶媒体１２１から指定された条件に応じてインデックス情報を読み出すインデックス情報読出し部である。２０３はサムネイル記憶媒体１１７から指定されたサムネイルを読み出すサムネイル読出し部である。２０１はインデックス表示処理部であり、インデックス表示操作により起動され、指示された条件に応じてインデックス読出し部２０２によりインデックス情報を読出し、サムネイル読出し部２０３によりインデックス情報に記載されたサムネイルを順次読み出し、インデックス映像を構築し表示出力を行う。

２０４はシーン再生操作により起動され、再生指示されたシーンに対応する映像の読出し位置と表示開始フレーム数とをインデックス情報読出し部により読み出し、読み出し開始のための指示と表示開始のための指示を行うシーン再生処理部である。２０５は指示された映像の読出し位置からデータを読出しデコード部１０５へ出力する記録映像読出し部である。２０６は指示されたフレーム数のカウント後にデコード映像の出力を行う表示開始フレームカウント部である。２０７は出力されたデコード映像を表示出力する映像表示部である。

図３は本発明の実施形態における入力映像の一例であるＭＰＥＧビットストリームの構成図である。図３において、入力映像１００はシーケンスヘッダ３０１−１〜Ｎ、ＧＯＰ(Group of Pictures)３０２−１〜Ｎ、シーケンスエンドコード３０３から構成される。ここで、シーケンスヘッダ３０１−１〜Ｎは画像の大きさ、画素縦横比等のデコード時の初期データであり、シーケンスエンドコードは映像ビットストリームの終了を示すデータである。ＧＯＰ３０１−１〜Ｎは映像情報であり、Ｉピクチャ（フレーム内符号化画面）３０６、Ｐピクチャ（フレーム間予測符号化画面）３０４−１〜Ｎ、Ｂピクチャ（双方向予測符号化画面）３０５−１〜Ｎから構成される。

ここで、Ｉピクチャ３０６は画面を分割するマイクロブロック全てが離散コサイン変換により符号化された画面であり、Ｐピクチャ３０４−１〜Ｎは前方のＩピクチャ又はＰピクチャによる再生画像からの予測誤差を符号化した画面であり、Ｂピクチャは前後のＩピクチャ又はＰピクチャによる再生画像からの予測誤差を符号化した画面である。このようなＭＰＥＧビットストリームをデコードする場合、Ｐピクチャ、Ｂピクチャは予測符号化されているため、少なくともＩピクチャからデコードを開始する必要がある。

図４は本発明の実施形態における記録映像の一例を示す構成図である。図４において、４０２は記録映像記憶媒体１０２に記憶されている記録映像である。４０１は記録映像４０２を読み出すための記録映像識別情報であるファイル名であり、ここでは"MOV003"となる。４０３−１〜Ｎは記録映像４０２の区切り位置情報であり、記録映像４０２が図３に示す構成の場合、Ｉピクチャの記録映像先頭からのアドレスとなる。

図５は本発明の実施形態における処理映像の一例を示す概念図である。図５において、５０１−１、５０１−２は入力映像フレームであり、５０１−１をＩピクチャ、５０１−２をＰピクチャであるとする。５０２−１、５０２−２はデコード映像フレームであり、それぞれ５０１−１、５０１−２をデコードすることにより得られる。５０３−１、５０３−２はデコード映像に付加されるフレーム番号であり、記録映像先頭からのデコード映像のフレーム数が設定され、ここではそれぞれ１５、１６番目のフレームであることを示す。５０４−１，５０４−２はサムネイル生成フラグであり、シーン検知後に設定（セット又はリセット）される。ここではデコード映像フレーム５０２−２でシーンが検知されたと仮定し、５０４−２がセット（１に設定）されている。なお、このサムネイル生成フラグの領域は、デコード時に予め確保されていても良い。５０５はサムネイルであり、サムネイル生成フラグ５０４−２がセットされていることに基づきデコード映像フレーム５０２−２が縮小、圧縮されたものである。

図６は本発明の実施形態におけるインデックス情報生成の一例を示す図である。図６において、６０１は映像記録情報であり記録映像識別情報から構成される。ここで入力映像は"MOV003"というファイル名で記録映像記憶媒体１０２に記録されていることを示す。６０２は区切り検出情報であり、区切り位置情報と区切りフレーム番号から構成される。ここでは記録映像の先頭から9,733,138、11,377,795、12,887,645バイト目はそれぞれ5415、6330、7170番目のフレームであることを示す。

６０３はシーン検知情報であり、シーンＩＤ、シーン種別、検知結果、シーン検知フレーム番号から構成される。シーンＩＤはシーンを装置内で一意に識別するための情報であり、シーン種別はシーン検知の概要を表す情報である。検知結果は、シーンの開始を検知したのか、終了を検知したのか、１フレームのみ（ワンショット）を検知したのかを示す情報である。ここでは、シーンＩＤ１００５として５４２１番目のフレームで動きの開始、９００３番目のフレームで動きの終了、シーンＩＤ２００２として６３４３番目のフレームでシーンチェンジ、シーンＩＤ３００１として７１８４番目のフレームで指定画像との類似が検知されたことを示す。

６０４はサムネイル記録情報であり、サムネイル識別情報とサムネイルフレーム番号から構成される。サムネイル識別情報はサムネイル記憶媒体１１７からサムネイルを読み出すための情報であり、サムネイルフレーム番号はサムネイルに対応するフレーム番号である。ここではフレーム番号５４２１、６３４３、７１８０のサムネイルはそれぞれ"THM011"、"THM012"、"THM013"というファイル名でサムネイル記憶媒体１１７に記録されていることを示す。

６０５は映像記録情報６０１、区切り検出情報６０２、シーン検知情報６０３、サムネイル記録情報６０４から作成されインデックス情報記憶媒体１２１に記録されるインデックス情報であり、シーンＩＤ、シーン種別、サムネイル識別情報、記録媒体識別情報、区切り位置、表示開始フレーム数、シーンフレーム数から構成される。シーンＩＤ、シーン種別はシーン検知情報６０３から抽出され、サムネイル識別情報はサムネイル記録情報６０４からシーン検知フレーム番号と同一のサムネイルフレーム番号を持つサムネイル識別情報が抽出され、記録映像識別情報は映像記録情報６０１から抽出され、区切り位置情報は区切り検出情報６０２からシーン検知フレーム番号の前方に位置する区切りフレーム番号に対応する区切り位置情報が抽出される。表示開始フレーム数は区切り位置から何フレーム目で表示を開始するかを表した数で、シーン検知フレーム番号と区切りフレーム番号との差に１を加えた数であり、シーンフレーム数は継続するシーンのフレーム数で、シーン検知情報６０３において同一シーンＩＤで検知結果が「１：終了」のシーン検知フレーム番号と「０：開始」のシーン検知番号との差に１を加えた数である。

図７は本発明の実施形態における映像記録処理のフローチャートある。図７の映像記録処理が開始されると、映像記録部１０１は記録映像識別情報、例えば"MOV003"を生成し（ステップＳ７０１）、映像記録情報通知部１０３は映像記録情報６０１を構築しインデックス情報構築・記録部１２０に通知し（ステップＳ７０２）、図８に示すデコード・区切り位置検出処理を起動する（ステップＳ７０３）。

次に、図示しないバッファ等に蓄積されている入力映像１００を読出し（ステップＳ７０４）、入力映像が終了していなければ（ステップＳ７０５においてＮｏ）、読出し入力映像を記録映像記憶媒体１０３に書込み（ステップＳ７０６）、ステップＳ７０４の処理から繰り返す。入力映像が終了した場合（ステップＳ７０５においてＹｅｓ）は、映像記録処理を終了する。

図８は本発明の実施形態におけるデコード・区切り位置検出処理のフローチャートである。図８のデコード・区切り位置検出処理が開始されると、フレーム番号生成・付加部１０６で生成されるフレーム番号が初期化される（ステップＳ８０１）。次に、図示しないバッファ等に蓄積されている入力映像１００を読出し（S802）、入力映像が終了していなければ（ステップＳ８０３においてＮｏ）、区切り位置検出部で区切り位置、例えばＩピクチャの位置検出を行って結果を一時記憶し（ステップＳ８０４）、デコード部１０５で入力映像のデコードを行い（ステップＳ８０５）、フレーム番号生成・付加部１０６でフレーム番号をカウントしデコード映像に付加する（ステップＳ８０６）。

次に、ステップＳ８０４により区切り位置が検出されていない場合は（ステップＳ８０７においてＮｏ）、次の処理（図９に示すシーン検知処理）にデコード映像を転送し（ステップＳ８０８）、ステップＳ８０２の処理から繰り返す。ここで区切り位置が検出された場合（ステップＳ８０７においてＹｅｓ）、ステップＳ８０４で一時記憶された区切り位置情報を読出し（ステップＳ８１１）、フレーム番号抽出部１０７により区切りフレーム番号を抽出し（ステップＳ８１２）、区切り検出情報構築・通知部１０８により区切り検出情報６０２を構築してインデックス情報構築・記録部１２０に通知し（ステップＳ８１３）、ステップＳ８０８から処理を継続する。

図９は本発明の実施形態におけるシーン検知処理のフローチャートある。図９のシーン検知処理が開始されると、シーン検知部１０９−１〜Ｎは、前処理から転送され図示しないバッファ等に一時記憶されたデコード映像を読出し（ステップＳ９０１）、図示しない検知演算用バッファにデコード映像を一時記憶し（ステップＳ９０３）、サムネイル生成フラグ設定部１１０−１〜Ｎによりサムネイル生成フラグがリセットし（ステップＳ９０２）、演算可能な数のデコード映像が検知演算用バッファに記憶されなければ（ステップＳ９０４においてＮｏ）、ステップＳ９０１の処理から繰り返し、演算可能な数が記憶されると（ステップＳ９０４においてＹｅｓ）、検知演算が行われる（ステップＳ９０５）。ここで、検知演算としては複数フレームの差分演算、基準フレームとの差分演算、基準画像との特徴比較演算等の既知の検知演算方式が考えられる。

次に、ステップＳ９０５の演算処理によりシーンが検知されない場合（ステップＳ９０６においてＮｏ）、次処理（次のシーン検知処理又は図１０に示すサムネイル生成処理）に検知演算用バッファ先頭のデコード映像が転送され（ステップＳ９０７）、ステップＳ９０１の処理から繰り返す。ここで、シーンが検知された場合（ステップＳ９０６においてＹｅｓ）、フレーム番号抽出部１１２−１〜Ｎにより検知位置映像フレームのフレーム番号を抽出し（ステップＳ９１１）、サムネイル生成フラグ設定部１１０−１〜Ｎにより検知位置映像フレームのサムネイル生成フラグがセットされ（ステップＳ９１２）、シーン検知内容抽出部１１１−１〜Ｎによりシーン検知内容であるシーンＩＤ、シーン種別、検知結果をシーン検知部１０９−１〜Ｎから抽出し（ステップＳ９１３）、シーン検知情報構築・通知部１１３によりシーン検知情報６０３を構築してインデックス情報構築・記憶部１２０へ通知し（ステップＳ９１４）、ステップＳ９０７から処理を継続する。

図１０は本発明の実施形態におけるサムネイル生成処理のフローチャートある。図１０のサムネイル生成処理が開始されると、サムネイル生成フラグ検出部１１４は、前処理から転送され図示しないバッファ等に一時記憶されたデコード映像を読出し（ステップＳ１００１）、サムネイル生成フラグがセットされていない場合（ステップＳ１００２においてＮｏ）、ステップＳ１００１に戻り次のデコード映像を読み出し、サムネイル生成フラグがセットされている場合（ステップＳ１００２においてＹｅｓ）、フレーム番号抽出１１８はフレーム番号の抽出を行い（ステップＳ１００３）、サムネイル生成部１１５はデコード映像を縮小圧縮してサムネイルを生成する（ステップＳ１００４）。

次に、サムネイル記録部１１６はサムネイル識別情報を生成し（ステップＳ１００５）、サムネイル識別情報に基づきサムネイル記憶媒体１１７にサムネイルを記憶する（ステップＳ１００６）。次に、サムネイル記憶情報構築・通知部１１９はサムネイル記録情報６０４を構築してインデックス情報構築・記録部１２０に通知し（ステップＳ１００７）、ステップＳ１００１から処理を繰り返す。

図１１は本発明の実施形態におけるインデックス情報構築・記録処理のフローチャートある。図１１のインデックス情報構築・記録処理が開始されると、インデックス情報構築・記録部１２０は、通知され一時記憶されているシーン検知情報６０３を読出し（ステップＳ１１０１）、検知結果が「１：終了」でない場合は（ステップＳ１１０２においてＮｏ）、インデックス情報６０５にシーンＩＤ、シーン種別を設定する（ステップＳ１１０３）。

次に、サムネイル記録情報６０４において、シーン検知情報６０３におけるシーン検知フレーム番号に対応するサムネイル識別情報を検索して（ステップＳ１１０４）、インデックス情報６０５にサムネイル識別情報を設定し（ステップＳ１１０５）、映像記録情報６０１から記録映像識別情報を検索して（ステップＳ１１０６）、インデックス情報６０５に記録映像識別情報を設定する（ステップＳ１１０７）。

次に、区切り検出情報６０２において、シーン検知情報６０３におけるシーン検知フレーム番号の前方に位置する区切りフレーム番号と区切り位置情報を検索して（ステップＳ１１０８）、インデックス情報６０５に区切り位置情報を設定し（ステップＳ１１０９）、シーン検知フレーム番号と区切りフレーム番号により表示開始フレーム番号を算出しインデックス情報６０５に設定する（ステップＳ１１１０）。インデックス情報６０５をインデックス情報記憶媒体１２１に記録し（ステップＳ１１１１）、ステップＳ１１０１から処理を繰り返す。

ここで、ステップＳ１１０１で読み出したシーン検知情報６０３の検知結果が「１：終了」の場合（ステップＳ１１０２においてＹｅｓ）、インデックス情報記憶媒体１２１に記録されているインデックス情報から、シーンＩＤに対応するシーン開始のインデックス情報６０５を検索し（ステップＳ１１２１）、それぞれのシーン検知フレーム番号からシーンフレーム数が算出されインデックス情報６０５に設定され（ステップＳ１１２２）、ステップＳ１１０１から処理を繰り返す。なお、シーン開始のシーン検知フレーム番号はインデック情報記憶媒体にインデックス情報と共に一時記憶されているものとする。

図１２は本発明の実施形態におけるインデックス表示処理のフローチャートある。図示しない操作指示部からのインデックス表示操作により、図１２のインデックス表示処理が開始されると、インデックス表示処理部２０１は、表示するためのインデックス映像を初期化し（ステップＳ１２０１）、インデックス表示操作の条件に基づき、インデックス情報読出し部２０２を介して、インデックス情報記憶媒体１２１よりインデックス情報６０５を順次読み出す（ステップＳ１２０２）。ここで、インデックス表示操作の条件とは、インデックス情報６０５に付加される図示されないキーワードや、分類キー等である。インデック情報６０５が読み出されると(ステップＳ１２０３においてＮｏ)、読み出されたインデックス情報６０５のサムネイル識別情報を読出し（ステップＳ１２０５）、サムネイル読出し部２０３を介してサムネイルが読み出され（ステップＳ１２０５）、インデック映像にサムネイルが加えられ（ステップＳ１２０６）、ステップＳ１２０２の処理から繰り返す。インデックス情報が終了すると（ステップＳ１２０３においてＹｅｓ）、構築されたインデックス映像が図示しない表示部に表示出力され（ステップＳ１２１１）、処理を終了する。

図１３は本発明の実施形態におけるシーン再生処理のフローチャートある。図示しない操作指示部からのシーン再生操作により、図１３のシーン再生処理が開始されると、シーン再生処理部２０４は、インデックス情報読出し部２０２を介して、指定されたシーンに対応するインデックス情報６０５を読み出す（ステップＳ１３０１）。インデック情報６０５が見つからないと（ステップＳ１３０２においてＹｅｓ）、図示しない表示部に映像表示部２０７を介してエラー画面を表示して（ステップＳ１３１１）処理を終了し、インデックス情報６０５が読み出されると（ステップＳ１３０２においてＮｏ）、表示開始フレーム数が読み出され（ステップＳ１３０３）、開始フレームカウント部２０６に設定される（ステップＳ１３０５）。次に、インデックス情報６０５から記録映像識別情報と区切り位置情報とを読出し（ステップＳ１３０５）、記録映像読出し部２０５へ読出し再生指示を行い（ステップＳ１３０６）、処理を終了する。

図１４は本発明の実施形態における記録映像読出し再生処理のフローチャートある。図１３に示されるシーン再生処理の読出し再生指示により、図１４の記録映像読出し再生処理が開始されると、記録映像読出し部２０５は、指定された記録映像識別情報に基づき、記録映像記憶媒体１０２の記録映像をオープンし（ステップＳ１４０１）、指示された区切り位置情報に基づき、区切り位置まで読み出し位置をシークする（ステップＳ１４０２）。

次に、記録映像を順次読出し（ステップＳ１４０３）、記録映像が読み出されると（ステップＳ１４０４においてＮｏ）、読み出した記録映像をデコード部１０５によりデコードし（ステップＳ１４０２）、表示開始フレームカウント部２０６によりフレーム数がカウントされる（ステップＳ１４０５）。カウント値が指定された表示開始フレーム数未満の場合（ステップＳ１４０７においてＮｏ）、ステップＳ１４０３から処理を繰り返し、表示開始フレーム以上の場合（ステップＳ１４０７においてＹｅｓ）、図示しない表示部に映像表示部を介してデコード映像を表示出力する（ステップＳ１４０８）。ここで、記録映像が終了した場合（ステップＳ１４０４においてＹｅｓ）、記録映像読出し再生処理も終了する。

なお、本発明の目的は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明の実施形態における映像記録再生装置の映像記録機能ブロック図である。 本発明の実施形態における映像記録再生装置の映像再生機能ブロック図である。 本発明の実施形態における入力映像の一例であるＭＰＥＧビットストリームの構成を示す図である。 本発明の実施形態における記録映像の一例を示す構成図である。 本発明の実施形態における処理映像の一例を示す概念図である。 本発明の実施形態におけるインデックス情報生成の一例を示す図である。 本発明の実施形態における映像記録処理のフローチャートである。 本発明の実施形態におけるデコード・区切り位置検出処理のフローチャートである。 本発明の実施形態におけるシーン検知処理のフローチャートである。 本発明の実施形態におけるサムネイル生成処理のフローチャートである。 本発明の実施形態におけるインデックス情報構築・記録処理のフローチャートである。 本発明の実施形態におけるインデックス表示処理のフローチャートである。 本発明の実施形態におけるシーン再生処理のフローチャートである。 本発明の実施形態における記録映像読出し再生処理のフローチャートである。

符号の説明

１０１ 映像記録部
１０３ 映像記録情報通知部
１０４ 区切り位置検出部
１０５ デコード部
１０６ フレーム番号生成・付加部
１０７、１１２−１〜Ｎ、１１８ フレーム番号抽出部
１０８ 区切り検出情報構築・通知部
１０９−１〜Ｎ シーン検知部
１１０−１〜Ｎ サムネイル生成フラグ設定部
１１１−１〜Ｎ シーン検知内容抽出部
１１３ シーン検知情報構築・通知部
１１４ サムネイル生成フラグ検出部
１１５ サムネイル生成部
１１６ サムネイル記録部
１１９ サムネイル記録情報構築・通知部
１２０ インデックス情報構築・記録部
２０１ インデックス表示処理部
２０２ インデックス情報読出し部
２０３ サムネイル読出し部
２０４ シーン再生処理部
２０５ 記録映像読出し部
２０６ 開始フレームカウント部
２０７ 映像表示部

Claims (6)

1. デジタル映像を記録、再生する映像記録再生装置において、
   入力映像を記憶媒体に記録する映像記録手段と、
   記録された映像を前記記憶媒体から読み出すための記録映像識別情報を含む映像記録情報を一時記憶する映像記録情報記憶手段と、
   入力映像をデコードしたデコード映像を生成するデコード手段と、
   デコード映像のフレーム数をカウントし、フレーム番号としてデコード映像の各フレームに付加するフレーム番号生成・付加手段と、
   デコード映像フレームにフラグ領域を付加するフラグ付加手段と、
   前記デコード映像フレームを演算処理することによりシーン検知を行うシーン検知手段と、
   前記シーン検知手段による各シーン検知時に、対応するデコード映像フレームのフラグ領域にフラグをセットするフラグ設定手段と、
   前記シーン検知手段による各シーン検知時に、対応するデコード映像フレームのフレーム番号とシーン検知内容を示すシーン検知内容情報とを対応付けたシーン検知情報を一時記憶するシーン検知情報記憶手段と、
   前記フラグ領域にフラグがセットされているデコード映像フレームから、該デコード映像フレームを縮小、圧縮したサムネイルを生成し、記憶媒体に記録するサムネイル生成・記録手段と、
   前記サムネイル生成・記録手段によるサムネイルの生成・記録時に、サムネイルが生成されたデコード映像フレームのフレーム番号と、生成されたサムネイルを読み出すためのサムネイル識別情報とを対応付けたサムネイル記録情報を一時記憶するサムネイル記録情報記憶手段と、
   前記フレーム番号に基づき、検出されたシーン毎に前記映像記録情報と、前記シーン検知情報と、前記サムネイル記録情報とを対応付けたインデックス情報を構築し記憶媒体に記録するインデックス情報構築・記録手段と、
   前記インデックス情報に基づき、インデックスの表示を行うインデックス表示手段と、
   前記インデックス情報に基づき、シーンの再生表示を行うシーン再生手段とを備えたことを特徴とする映像記録再生装置。
2. 前記インデックス情報は、前記シーン検知内容情報と、前記サムネイル識別情報と、前記記録映像識別情報と、シーン検知時に対応するデコード映像フレームのフレーム番号とから構成され、前記インデックス表示手段は、前記サムネイル識別情報に基づきサムネイルを読出し表示し、前記シーン再生手段は、前記記録映像識別情報に基づき記録映像を読み出し、前記シーン検知時に対応するデコード映像フレームのフレーム番号に基づき、シーンの頭出しを行い再生表示することを特徴とする請求項１に記載の映像記録再生装置。
3. 入力映像の、直接デコード開始可能な区切り位置を検出する区切り位置検出手段と、前記区切り位置検出手段による区切り位置検出時に、対応するデコード映像フレームのフレーム番号と区切り位置検出結果とを対応付けた区切り位置検出情報を一時記憶する区切り位置検出情報記憶手段とを備え、前記インデックス情報構築・記録手段は、前記フレーム番号に基づき、検出されたシーン毎に前記映像記録情報と、前記区切り位置検出情報と、前記シーン検知情報と、前記サムネイル記録情報とを対応付けたインデックス情報を構築し記憶媒体に記録することを特徴とする請求項１に記載の映像記録再生装置。
4. 前記インデックス情報は、前記シーン検知内容情報と、前記サムネイル識別情報と、前記記録映像識別情報と、前記区切り位置検出情報と、前記シーン検知時に対応するデコード映像フレームのフレーム番号とから構成され、前記インデックス表示手段は、前記サムネイル識別情報に基づきサムネイルを読出し表示し、前記シーン再生手段は、前記記録映像識別情報とシーン区切り位置情報に基づき記録映像を読み出し、前記シーン区切り位置フレーム番号と前記シーン検知フレーム番号とに基づき、シーンの頭出しを行い再生表示することを特徴とする請求項３に記載の映像記録再生装置。
5. デジタル映像を記録、再生する映像記録再生方法であって、
   入力映像を記憶媒体に記録する映像記録工程と、
   記録された映像を前記記憶媒体から読み出すための記録映像識別情報を含む映像記録情報を一時記憶する映像記録情報記憶工程と、
   入力映像をデコードしたデコード映像を生成するデコード工程と、
   デコード映像のフレーム数をカウントし、フレーム番号としてデコード映像の各フレームに付加するフレーム番号生成・付加工程と、
   デコード映像フレームにフラグ領域を付加するフラグ付加工程と、
   前記デコード映像フレームを演算処理することによりシーン検知を行うシーン検知工程と、
   前記シーン検知工程で検出したシーンに対応するデコード映像フレームのフラグ領域にフラグをセットするフラグ設定工程と、
   前記シーン検知工程で検出したシーンに対応するデコード映像フレームのフレーム番号とシーン検知内容を示すシーン検知内容情報とを対応付けたシーン検知情報を一時記憶するシーン検知情報記憶工程と、
   前記フラグ領域にフラグがセットされているデコード映像フレームから、該デコード映像フレームを縮小、圧縮したサムネイルを生成し、記憶媒体に記録するサムネイル生成・記録工程と、
   前記サムネイル生成・記録工程によるサムネイルの生成・記録時に、サムネイルが生成されたデコード映像フレームのフレーム番号と、生成されたサムネイルを読み出すためのサムネイル識別情報とを対応付けたサムネイル記録情報を一時記憶するサムネイル記録情報記憶工程と、
   前記フレーム番号に基づき、検出されたシーン毎に前記映像記録情報と、前記シーン検知情報と、前記サムネイル記録情報とを対応付けたインデックス情報を構築し記憶媒体に記録するインデックス情報構築・記録工程と、
   前記インデックス情報に基づき、インデックスの表示を行うインデックス表示工程と、
   前記インデックス情報に基づき、シーンの再生表示を行うシーン再生工程とを備えたことを特徴とする映像記録再生方法。
6. コンピュータを、
   入力映像を記憶媒体に記録する映像記録手段と、
   記録された映像を前記記憶媒体から読み出すための記録映像識別情報を含む映像記録情報を一時記憶する映像記録情報記憶手段と、
   入力映像をデコードしたデコード映像を生成するデコード手段と、
   デコード映像のフレーム数をカウントし、フレーム番号としてデコード映像の各フレームに付加するフレーム番号生成・付加手段と、
   デコード映像フレームにフラグ領域を付加するフラグ付加手段と、
   前記デコード映像フレームを演算処理することによりシーン検知を行うシーン検知手段と、
   前記シーン検知手段による各シーン検知時に、対応するデコード映像フレームのフラグ領域にフラグをセットするフラグ設定手段と、
   前記シーン検知手段による各シーン検知時に、対応するデコード映像フレームのフレーム番号とシーン検知内容を示すシーン検知内容情報とを対応付けたシーン検知情報を一時記憶するシーン検知情報記憶手段と、
   前記フラグ領域にフラグがセットされているデコード映像フレームから、該デコード映像フレームを縮小、圧縮したサムネイルを生成し、記憶媒体に記録するサムネイル生成・記録手段と、
   前記サムネイル生成・記録手段によるサムネイルの生成・記録時に、サムネイルが生成されたデコード映像フレームのフレーム番号と、生成されたサムネイルを読み出すためのサムネイル識別情報とを対応付けたサムネイル記録情報を一時記憶するサムネイル記録情報記憶手段と、
   前記フレーム番号に基づき、検出されたシーン毎に前記映像記録情報と、前記シーン検知情報と、前記サムネイル記録情報とを対応付けたインデックス情報を構築し記憶媒体に記録するインデックス情報構築・記録手段と、
   前記インデックス情報に基づき、インデックスの表示を行うインデックス表示手段と、
   前記インデックス情報に基づき、シーンの再生表示を行うシーン再生手段
   として機能させるためのプログラム。

Images