JP3545553B2 - Image search apparatus, image search method, and image search program storage medium - Google Patents

Image search apparatus, image search method, and image search program storage medium Download PDF

Info

Publication number
JP3545553B2
JP3545553B2 JP30290096A JP30290096A JP3545553B2 JP 3545553 B2 JP3545553 B2 JP 3545553B2 JP 30290096 A JP30290096 A JP 30290096A JP 30290096 A JP30290096 A JP 30290096A JP 3545553 B2 JP3545553 B2 JP 3545553B2
Authority
JP
Japan
Prior art keywords
data
encoded data
image search
image
band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP30290096A
Other languages
Japanese (ja)
Other versions
JPH10145743A (en
Inventor
利夫 後藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Priority to JP30290096A priority Critical patent/JP3545553B2/en
Publication of JPH10145743A publication Critical patent/JPH10145743A/en
Application granted granted Critical
Publication of JP3545553B2 publication Critical patent/JP3545553B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Television Signal Processing For Recording (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は画像検索装置、画像検索方法及び画像検索プログラム記憶媒体に係り、特に画像データを圧縮した圧縮画像データに基づいて画像検索を行う画像検索装置、画像検索方法及び画像データを圧縮した圧縮画像データに基づいて画像検索を行うための画像検索プログラムを記憶した画像検索プログラム記憶媒体に関する。
【０００２】
【従来の技術】
従来より動画像に対応する画像信号を記録するための記憶媒体として、磁気テープや光ディスクなどが用いられている。
このような記憶媒体には、複数の動画像に対応する複数の画像信号が記録される場合があり、どのような動画像が記録されているかを確認するためには、記録した画像を記憶媒体の先頭側から順次早送り再生を行ったり、予め記憶媒体に記憶したインデックス情報（各画像の記録先頭位置情報、時間情報など）に基づいて順次頭出し再生を行うことが一般的に行われていた。
【０００３】
【発明が解決しようとする課題】
上記従来の画像記憶媒体を用いて記憶状態を確認する方法では、記憶媒体を機械的に駆動して順次早送り（正方向ジャンプ）や巻き戻し（逆方向ジャンプ）を行って内容を確認しなくてはならず、確認のための時間及び手間がかかるという問題点があった。
【０００４】
そこで本発明の目的は、記憶媒体に記憶されている動画像を高速で検索して、頭出しを行うことが可能な画像検索装置、画像検索方法及び画像検索プログラムを記憶した画像検索プログラム記憶媒体を提供することにある。
【０００５】
【課題を解決するための手段】
請求項１記載の発明は、電気的あるいは光学的に書き込み、読み出し可能であるとともに、入力信号を複数の帯域に分割し、量子化し、符号化して得られる符号化データを複数の前記入力信号について記憶する符号化データ記憶手段と、前記符号化データ記憶手段に記憶された前記入力信号の数である入力信号数Ｎに基づいて、データ分割数Ｍを決定する分割数決定手段と、前記複数の帯域に対応する前記符号化データのうち、少なくとも前記データ分割数Ｍに対応するデータ量を有する一又は複数の帯域に対応した前記符号化データを前記記憶手段から読み出す読出手段と、前記読出手段により読み出された前記符号化データに基づいて復号化処理を行い復号化データを出力する復号化手段と、少なくとも一フレーム分の前記符号化データを記憶可能な記憶容量を有し、Ｍ個の前記入力信号についての前記復号化データを記憶する復号化データ記憶手段と、前記復号化データ記憶手段に記憶された前記復号化データに基づいて一の画面を分割して複数の画像の表示を行う表示手段と、外部から入力された選択制御信号に基づいて前記表示手段に表示された複数の画像のうち選択された一の画像を再生可能状態とする再生制御手段と、前記入力信号数Ｎが前記データ分割数Ｍより小さい場合に、前記復号化データ記憶手段の記憶領域をＭ分割したＭ分割記憶領域とし、Ｎ個の前記Ｍ分割記憶領域に前記復号化データを記憶するとともに、（Ｍ−Ｎ）個の前記Ｍ分割記憶領域にダミー復号化データを書き込むダミーデータ書込手段とを備えて構成する。
【０００６】
請求項１記載の発明によれば、符号化データ記憶手段は、入力信号を複数の帯域に分割し、量子化し、符号化して得られる符号化データを複数の入力信号について記憶する。
読出手段は、符号化データ記憶手段に記憶された入力信号の数である入力信号数Ｎに基づいて、データ分割数Ｍを決定する分割数決定手段と、複数の帯域に対応する符号化データのうち、少なくともデータ分割数Ｍに対応するデータ量を有する一又は複数の帯域に対応した符号化データを記憶手段から読み出す。
【０００７】
復号化手段は、読出手段により読み出された符号化データに基づいて復号化処理を行い復号化データを復号化データ記憶手段に出力する。
復号化データ記憶手段は、Ｍ個の入力信号についての復号化データを記憶する。
【０００８】
表示手段は、復号化データ記憶手段に記憶された復号化データに基づいて一の画面を分割して複数の画像の表示を行う。
これらの画像表示動作と並行して、再生制御手段は、外部から入力された選択制御信号に基づいて表示手段に表示された複数の画像のうち選択された一の画像を再生可能状態とする。
【００１０】
また、ダミーデータ記憶手段は、入力信号数Ｎがデータ分割数Ｍより小さい場合に、復号化データ記憶手段の記憶領域をＭ分割したＭ分割記憶領域とし、Ｎ個のＭ分割記憶領域に復号化データを記憶するとともに、（Ｍ−Ｎ）個のＭ分割記憶領域にダミー復号化データを書き込む。
【００１１】
請求項２記載の発明は、請求項１記載の発明において、前記入力信号数Ｎ及び前記符号化データ手段に記憶された前記符号化データの総記録時間Ｔに基づき、時間間隔ＥＱを次式、
ＥＱ＝Ｔ／Ｎ
により算出する均等割り時間算出手段を備え、前記読出手段は、前記時間間隔ＥＱに対応するデータ量で前記記憶手段中の前記符号化データをグループ化し、各グループを一の映像信号に対応する符号化データ群とみなして読出処理を行うように構成する。
【００１２】
請求項２記載の発明によれば、請求項１記載の発明の作用に加えて、均等割り時間算出手段は、入力信号数Ｎ及び符号化データ手段に記憶された符号化データの総記録時間Ｔに基づき、時間間隔ＥＱを次式、
ＥＱ＝Ｔ／Ｎ
により算出する。
【００１３】
読出手段は、均等割り時間算出手段により算出された時間間隔ＥＱに対応するデータ量で記憶手段中の符号化データをグループ化し、各グループを一の映像信号に対応する符号化データ群とみなして読出処理を行う。
請求項３記載の発明は、請求項１又は請求項２記載の発明において、前記読出手段は、外部より入力されたインターバル時間ｔに対応するデータ量で前記記憶手段中の前記符号化データをグループ化し、各グループを一の映像信号に対応する符号化データ群とみなして読出処理を行うように構成する。
【００１４】
請求項３記載の発明によれば、請求項１又は請求項２記載の発明の作用に加えて、読出手段は、外部より入力されたインターバル時間ｔに対応するデータ量で記憶手段中の符号化データをグループ化し、各グループを一の映像信号に対応する符号化データ群とみなして読出処理を行う。
【００１５】
請求項４記載の発明は、請求項１又は請求項２記載の発明において、前記読出手段は、前記記憶手段の記憶領域のうち、同一の前記入力信号に対応する記憶領域ををリング状に記憶領域が連続しているリング状記憶領域とみなすとともに、外部より入力されたインターバル時間ｔに対応するデータ量で前記リング状記憶領域中の前記符号化データを連続的に順次グループ化し、各グループを一の映像信号に対応する符号化データ群とみなして読出処理を行うように構成する。
【００１６】
請求項４記載の発明によれば、請求項１又は請求項２記載の発明の作用に加えて、読出手段は、記憶手段の記憶領域のうち、同一の入力信号に対応する記憶領域ををリング状に記憶領域が連続しているリング状記憶領域とみなすとともに、外部より入力されたインターバル時間ｔに対応するデータ量でリング状記憶領域中の符号化データを連続的に順次グループ化し、各グループを一の映像信号に対応する符号化データ群とみなして読出処理を行う。
【００１７】
請求項５記載の発明は、請求項１乃至請求項４のいずれかに記載の発明において、前記符号化は、Ｘ階層２次元ウェーブレット変換処理であり（Ｘ：２以上の整数）、前記読出手段は、前記画面分割数Ｍが
４Z≧Ｍ＞４(Z-1)
（ただし、ＺはＸ≧Ｚ≧0を満たす整数）
である場合に、最も低域の帯域である第１帯域から第（３・（Ｘ−Ｚ）＋１）帯域までの（３・（Ｘ−Ｚ）＋１）個の帯域を構成する前記符号化データを読み出すように構成する。
【００１８】
請求項５記載の発明によれば、請求項１乃至請求項４のいずれかに記載の発明の作用に加えて、読出手段は、画面分割数Ｍが
４Z≧Ｍ＞４(Z-1)
（ただし、Ｘ≧Ｚ≧１を満たす整数）
である場合に、最も低域の帯域である第１帯域から第（３・（Ｘ−Ｚ＋１）＋１）帯域までの（３・（Ｘ−Ｚ＋１）＋１）個の帯域を構成する符号化データを読み出す。
【００１９】
請求項６記載の発明は、請求項１乃至請求項４のいずれかに記載の発明において、前記符号化は、（２X×２X）画素を一のブロックとし（Ｘ：２以上の整数）、（２X×２X）個の離散コサイン変換係数を生成する離散コサイン変換処理であり、前記記憶手段は、前記符号化により得られた１フレームの離散コサイン変換係数を予め設定した（３・Ｘ＋１）個の帯域に分割して記憶し、前記読出手段は、前記画面分割数Ｍが
４Z≧Ｍ＞４(Z-1)
（ただし、ＺはＸ≧Ｚ≧０を満たす整数）
である場合に、最も低域の帯域である第１帯域から第（３・（Ｘ−Ｚ）＋１）帯域までの（３・（Ｘ−Ｚ）＋１）個の帯域を構成する前記符号化データを読み出すように構成する。
【００２０】
請求項６記載の発明によれば、請求項１乃至請求項４のいずれかに記載の発明の作用に加えて、記憶手段は、符号化により得られた１フレームの離散コサイン変換係数を予め設定したＸ2個の帯域に分割して記憶し、読出手段は、画面分割数Ｍが
４Z≧Ｍ＞４(Z-1)
（ただし、Ｘ≧Ｚ≧１を満たす整数）
である場合に、最も低域の帯域である第１帯域から第（３・（Ｘ−Ｚ＋１）＋１）帯域までの（３・（Ｘ−Ｚ＋１）＋１）個の帯域を構成する符号化データを読み出す。
【００２１】
請求項７記載の発明は、請求項１乃至請求項６のいずれかに記載の発明において、前記符号化データ記憶手段及び前記復号化データ記憶手段は、半導体メモリにより構成されているように構成する。
請求項７記載の発明によれば、請求項１乃至請求項６のいずれかに記載の発明の作用に加えて、符号化データ記憶手段及び復号化データ記憶手段は、半導体メモリにより構成される。
【００２２】
請求項８記載の発明は、入力映像を複数の帯域に分割し、量子化し、符号化し、電気的あるいは光学的に書き込み、読み出し可能な符号化データ記憶媒体に符号化データとして記憶させる符号化データ記憶工程と、前記入力映像の数である入力映像数Ｎに基づいて、データ分割数Ｍを決定する分割数決定工程と、前記複数の帯域に対応する前記符号化データのうち、少なくとも前記データ分割数Ｍに対応するデータ量を有する一又は複数の帯域に対応した前記符号化データを前記符号化データ記憶媒体から読み出す読出工程と、前記読出工程により読み出された前記符号化データに基づいて復号化処理を行う復号化工程と、少なくとも一フレーム分の前記符号化データを記憶可能な記憶容量を有し、Ｍ個の前記入力信号についての前記復号化データを復号化データ記憶媒体に記憶する復号化データ記憶工程と、前記復号化データ記憶媒体に記憶された前記復号化データに基づいて一の画面を分割して複数の画像の表示を行う表示工程と、外部から入力された選択制御指示に基づいて前記表示工程に表示された複数の画像のうち選択された一の画像を再生可能状態とする再生制御工程と、前記入力映像数Ｎが前記データ分割数Ｍより小さい場合に、前記復号化データ記憶媒体の記憶領域をＭ分割したＭ分割記憶領域とし、Ｎ個の前記Ｍ分割記憶領域に前記復号化データを記憶するとともに、（Ｍ−Ｎ）個の前記Ｍ分割記憶領域にダミー復号化データを書き込むダミーデータ書込工程とを備えるように構成する。
【００２３】
請求項８記載の発明によれば、符号化データ記憶工程は、入力映像を複数の帯域に分割し、量子化し、符号化し、電気的あるいは光学的に書き込み、読み出し可能な符号化データ記憶媒体に符号化データとして記憶させる。
分割数工程は、入力映像の数である入力映像数Ｎに基づいて、データ分割数Ｍを決定する。
【００２４】
読出工程は、複数の帯域に対応する符号化データのうち、少なくともデータ分割数Ｍに対応するデータ量を有する一又は複数の帯域に対応した符号化データを符号化データ記憶媒体から読み出す。
復号化工程は、読出工程により読み出された符号化データに基づいて復号化処理を行う。
【００２５】
復号化データ記憶工程は、少なくとも一フレーム分の符号化データを記憶可能な記憶容量を有し、Ｍ個の入力信号についての復号化データを復号化データ記憶媒体に記憶する。
表示工程は、復号化データ記憶媒体に記憶された復号化データに基づいて一の画面を分割して複数の画像の表示を行う。
【００２６】
再生制御工程は、外部から入力された選択制御指示に基づいて表示工程において表示された複数の画像のうち選択された一の画像を再生可能状態とする。
【００２７】
また、ダミーデータ書込工程は、入力映像数Ｎがデータ分割数Ｍより小さい場合に、復号化データ記憶媒体の記憶領域をＭ分割したＭ分割記憶領域とし、Ｎ個のＭ分割記憶領域に復号化データを記憶するとともに、（Ｍ−Ｎ）個のＭ分割記憶領域にダミー復号化データを書き込む。
【００２８】
請求項９記載の発明は、請求項８記載の発明において、前記入力映像数Ｎ及び前記符号化データ記憶媒体に記憶された前記符号化データの総記録時間Ｔに基づき、時間間隔ＥＱを次式、
ＥＱ＝Ｔ／Ｎ
により算出する均等割り時間算出工程を備え、前記読出工程は、前記時間間隔ＥＱに対応するデータ量で前記符号化データ記憶媒体中の前記符号化データをグループ化し、各グループを一の入力映像に対応する符号化データ群とみなして読出処理を行うように構成する。
【００２９】
請求項９記載の発明によれば、請求項８記載の発明の作用に加えて、均等割り時間算出工程は、入力映像数Ｎ及び符号化データ記憶媒体に記憶された符号化データの総記録時間Ｔに基づき、時間間隔ＥＱを次式、
ＥＱ＝Ｔ／Ｎ
により算出する。
【００３０】
読出工程は、均等割り時間算出工程において算出された時間間隔ＥＱに対応するデータ量で符号化データ記憶媒体中の符号化データをグループ化し、各グループを一の入力映像に対応する符号化データ群とみなして読出処理を行う。
請求項１０記載の発明は、請求項８又は請求項９記載の発明において、前記読出工程は、外部より入力されたインターバル時間ｔに対応するデータ量で前記符号化データ記憶媒体中の前記符号化データをグループ化し、各グループを一の入力映像に対応する符号化データ群とみなして読出処理を行うように構成する。
【００３１】
請求項１０記載の発明によれば、請求項８又は請求項９記載の発明の作用に加えて、読出工程は、外部より入力されたインターバル時間ｔに対応するデータ量で符号化データ記憶媒体中の符号化データをグループ化し、各グループを一の入力映像に対応する符号化データ群とみなして読出処理を行う。
【００３２】
請求項１１記載の発明は、請求項８又は請求項９記載の発明において、前記読出工程は、前記符号化データ記憶媒体の記憶領域のうち、同一の前記映像信号に対応する記憶領域をリング状に記憶領域が連続しているリング状記憶領域とみなすとともに、外部より入力されたインターバル時間ｔに対応するデータ量で前記リング状記憶領域中の前記符号化データを連続的に順次グループ化し、各グループを一の入力映像に対応する符号化データ群とみなして読出処理を行うように構成する。
【００３３】
請求項１１記載の発明によれば、請求項８又は請求項９記載の発明の作用に加えて、読出工程は、符号化データ記憶媒体の記憶領域のうち、同一の映像信号に対応する記憶領域をリング状に記憶領域が連続しているリング状記憶領域とみなすとともに、外部より入力されたインターバル時間ｔに対応するデータ量でリング状記憶領域中の符号化データを連続的に順次グループ化し、各グループを一の入力映像に対応する符号化データ群とみなして読出処理を行う。
【００３４】
請求項１２記載の発明は、請求項８乃至請求項１１のいずれかに記載の発明において、前記符号化は、Ｘ階層２次元ウェーブレット変換処理であり（Ｘ：２以上の整数）、 前記読出工程は、前記画面分割数Ｍが
４Z≧Ｍ＞４(Z-1)
（ただし、ＺはＸ≧Ｚ≧０を満たす整数）
である場合に、最も低域の帯域である第１帯域から第（３・（Ｘ−Ｚ）＋１）帯域までの（３・（Ｘ−Ｚ）＋１）個の帯域を構成する前記符号化データを読み出すように構成する。
【００３５】
請求項１２記載の発明によれば、請求項８乃至請求項１１のいずれかに記載の発明の作用に加えて、読出工程は、画面分割数Ｍが
４Z≧Ｍ＞４(Z-1)
（ただし、Ｘ≧Ｚ≧１を満たす整数）
である場合に、最も低域の帯域である第１帯域から第（３・（Ｘ−Ｚ＋１）＋１）帯域までの（３・（Ｘ−Ｚ＋１）＋１）個の帯域を構成する符号化データを読み出す。
【００３６】
請求項１３記載の発明は、請求項８乃至請求項１１のいずれかに記載の発明において、前記符号化は、（２X×２X）画素を一のブロックとし（Ｘ：自然数）、（２X×２X）個の離散コサイン変換係数を生成する離散コサイン変換処理であり、前記記憶工程は、前記符号化により得られた１フレームの離散コサイン変換係数を予め設定した（３・Ｘ＋１）個の帯域に分割して記憶し、前記読出工程は、前記画面分割数Ｍが
４Z≧Ｍ＞４(Z-1)
（ただし、Ｚは、Ｘ≧Ｚ≧０を満たす整数）
である場合に、最も低域の帯域である第１帯域から第（３・（Ｘ−Ｚ）＋１）帯域までの（３・（Ｘ−Ｚ）＋１）個の帯域を構成する前記符号化データを読み出すように構成する。
【００３７】
請求項１３記載の発明によれば、請求項８乃至請求項１１のいずれかに記載の発明の作用に加えて、記憶工程は、符号化により得られた１フレームの離散コサイン変換係数を予め設定したＸ2個の帯域に分割して記憶し、読出工程は、画面分割数Ｍが
４Z≧Ｍ＞４(Z-1)
（ただし、Ｘ≧Ｚ≧１を満たす整数）
である場合に、最も低域の帯域である第１帯域から第（３・（Ｘ−Ｚ＋１）＋１）帯域までの（３・（Ｘ−Ｚ＋１）＋１）個の帯域を構成する符号化データを読み出す。
【００３８】
請求項１４記載の発明は、画像検索をコンピュータにより行う画像検索プログラムを記憶した画像検索プログラム記憶媒体において、入力映像を複数の帯域に分割し、量子化し、符号化し、電気的あるいは光学的に書き込み、読み出し可能な符号化データ記憶媒体に符号化データとして記憶させ、前記入力映像の数である入力映像数Ｎに基づいて、データ分割数Ｍを決定し、前記複数の帯域に対応する前記符号化データのうち、少なくとも前記データ分割数Ｍに対応するデータ量を有する一又は複数の帯域に対応した前記符号化データを前記符号化データ記憶媒体から読み出し、前記読出工程により読み出された前記符号化データに基づいて復号化処理を行い、Ｍ個の前記入力信号についての前記復号化データを少なくとも一フレーム分の前記符号化データを記憶可能な記憶容量を有する復号化データ記憶媒体に記憶し、前記復号化データ記憶媒体に記憶された前記復号化データに基づいて一の画面を分割して複数の画像の表示を行い、外部から入力された選択制御信号に基づいて前記表示工程に表示された複数の画像のうち選択された一の画像を再生可能状態とし、前記入力映像数Ｎが前記データ分割数Ｍより小さい場合に、前記復号化データ記憶媒体の記憶領域をＭ分割したＭ分割記憶領域とし、Ｎ個の前記Ｍ分割記憶領域に前記復号化データを記憶するとともに、（Ｍ−Ｎ）個の前記Ｍ分割記憶領域にダミー復号化データを書き込む、画像検索プログラムを記憶して構成する。
【００３９】
請求項１４記載の発明によれば、画像検索プログラム記憶媒体に記憶されている画像検索プログラムに基づいて画像検索をコンピュータにより行うことにより、入力映像を複数の帯域に分割し、量子化し、符号化し、電気的あるいは光学的に書き込み、読み出し可能な符号化データ記憶媒体に符号化データとして記憶させ、入力映像の数である入力映像数Ｎに基づいて、データ分割数Ｍを決定し、複数の帯域に対応する符号化データのうち、少なくともデータ分割数Ｍに対応するデータ量を有する一又は複数の帯域に対応した符号化データを符号化データ記憶媒体から読み出し、読出工程により読み出された符号化データに基づいて復号化処理を行い、Ｍ個の入力信号についての復号化データを少なくとも一フレーム分の符号化データを記憶可能な記憶容量を有する復号化データ記憶媒体に記憶し、復号化データ記憶媒体に記憶された復号化データに基づいて一の画面を分割して複数の画像の表示を行い、外部から入力された選択制御信号に基づいて表示工程に表示された複数の画像のうち選択された一の画像を再生可能状態とする。
【００４１】
また、画像検索プログラムに基づいて画像検索を行うことにより、入力映像数Ｎがデータ分割数Ｍより小さい場合に、復号化データ記憶媒体の記憶領域をＭ分割したＭ分割記憶領域とし、Ｎ個のＭ分割記憶領域に復号化データを記憶するとともに、（Ｍ−Ｎ）個のＭ分割記憶領域にダミー復号化データを書き込む。
【００４２】
請求項１５記載の発明は、請求項１４記載の発明において、前記入力映像数Ｎ及び前記符号化データ記憶媒体に記憶された前記符号化データの総記録時間Ｔに基づき、時間間隔ＥＱを次式、
ＥＱ＝Ｔ／Ｎ
により算出し、
前記時間間隔ＥＱに対応するデータ量で前記符号化データ記憶媒体中の前記符号化データをグループ化し、各グループを一の入力映像に対応する符号化データ群とみなして読出処理を行う、画像検索プログラムを記憶して構成する。
【００４３】
請求項１５記載の発明によれば、請求項１４記載の発明の作用に加えて、画像検索プログラムに基づいて画像検索を行うことにより、入力映像数Ｎ及び符号化データ記憶媒体に記憶された符号化データの総記録時間Ｔに基づき、時間間隔ＥＱを次式、
ＥＱ＝Ｔ／Ｎ
により算出し、時間間隔ＥＱに対応するデータ量で符号化データ記憶媒体中の符号化データをグループ化し、各グループを一の入力映像に対応する符号化データ群とみなして読出処理を行う。
【００４４】
請求項１６記載の発明は、請求項１４又は請求項１５記載の発明において、外部より入力されたインターバル時間ｔに対応するデータ量で前記符号化データ記憶媒体中の前記符号化データをグループ化し、各グループを一の入力映像に対応する符号化データ群とみなして読出処理を行う、画像検索プログラムを記憶して構成する。
【００４５】
請求項１６記載の発明によれば、請求項１４又は請求項１５のいずれかに記載の発明の作用に加えて、画像検索プログラムに基づいて画像検索を行うことにより、インターバル時間ｔに対応するデータ量で符号化データ記憶媒体中の符号化データをグループ化し、各グループを一の入力映像に対応する符号化データ群とみなして読出処理を行う。
【００４６】
請求項１７記載の発明は、請求項１４又は請求項１５記載の発明において、前記符号化データ記憶媒体の記憶領域のうち、同一の前記映像信号に対応する記憶領域ををリング状に記憶領域が連続しているリング状記憶領域とみなすとともに、外部より入力されたインターバル時間ｔに対応するデータ量で前記リング状記憶領域中の前記符号化データを連続的に順次グループ化し、各グループを一の入力映像に対応する符号化データ群とみなして読出処理を行う、画像検索プログラムを記憶して構成する。
請求項１７記載の発明によれば、請求項１４乃至請求項１８のいずれかに記載の発明の作用に加えて、画像検索プログラムに基づいて画像検索を行うことにより、符号化データ記憶媒体の記憶領域のうち、同一の映像信号に対応する記憶領域ををリング状に記憶領域が連続しているリング状記憶領域とみなすとともに、インターバル時間ｔに対応するデータ量でリング状記憶領域中の符号化データを連続的に順次グループ化し、各グループを一の入力映像に対応する符号化データ群とみなして読出処理を行う。
【００４７】
請求項１８記載の発明は、請求項１４又は請求項１７のいずれかに記載の発明において、前記符号化は、Ｘ階層２次元ウェーブレット変換処理であり（Ｘ：２以上の整数）、
前記画面分割数Ｍが
４Z≧Ｍ＞４(Z-1)
（ただし、ＺはＸ≧Ｚ≧０を満たす整数）
である場合に、最も低域の帯域である第１帯域から第（３・（Ｘ−Ｚ）＋１）帯域までの（３・（Ｘ−Ｚ）＋１）個の帯域を構成する前記符号化データを読み出す、画像検索プログラムを記憶して構成する。
【００４８】
請求項１８記載の発明によれば、請求項１４乃至請求項１７のいずれかに記載の発明の作用に加えて、画像検索プログラムに基づいて画像検索を行うことにより、画面分割数Ｍが
４Z≧Ｍ＞４(Z-1)
（ただし、Ｘ≧Ｚ≧１を満たす整数）
である場合に、最も低域の帯域である第１帯域から第（３・（Ｘ−Ｚ＋１）＋１）帯域までの（３・（Ｘ−Ｚ＋１）＋１）個の帯域を構成する符号化データを読み出す。
【００４９】
請求項１９記載の発明は、請求項１４乃至請求項１７のいずれかに記載の発明において、前記符号化は、（２X×２X）画素を一のブロックとし（Ｘ：自然数）、（２X×２X
）個の離散コサイン変換係数を生成する離散コサイン変換処理であり、前記符号化により得られた１フレームの離散コサイン変換係数を予め設定した（３・Ｘ＋１）個の帯域に分割して記憶し、前記画面分割数Ｍが
４Z≧Ｍ＞４(Z-1)
（ただし、ＺはＸ≧Ｚ≧０を満たす整数）
である場合に、最も低域の帯域である第１帯域から第（３・（Ｘ−Ｚ）＋１）帯域までの（３・（Ｘ−Ｚ）＋１）個の帯域を構成する前記符号化データを読み出す、画像検索プログラムを記憶して構成する。
【００５０】
請求項１９記載の発明によれば、請求項１４乃至請求項１７のいずれかに記載の発明の作用に加えて、画像検索プログラムに基づいて画像検索を行うことにより、符号化に
より得られた１フレームの離散コサイン変換係数を予め設定したＸ2個の帯域に分
割して記憶し、画面分割数Ｍが
４Z≧Ｍ＞４(Z-1)
（ただし、Ｘ≧Ｚ≧１を満たす整数）
である場合に、最も低域の帯域である第１帯域から第（３・（Ｘ−Ｚ＋１）＋１）帯域までの（３・（Ｘ−Ｚ＋１）＋１）個の帯域を構成する符号化データを読み出す。
【００５１】
【発明の実施の形態】
次に図面を参照して本発明の好適な実施形態について説明する。
第１実施形態
１）映像記録再生装置の構成
図１にサブバンド符号化の方法としてウェーブレット変換を用いた第１実施形態としての映像記録再生装置の概要構成ブロック図を示す。
【００５２】
映像記録再生装置１は、大別すると、被撮像対象を撮像して画像信号ＳＧとして出力するビデオカメラ２と、復号画像信号ＳＤＧに基づいて各種表示を行うディスプレイ３と、ビデオカメラ２から入力された画像信号ＳＧをＩＴＵ−Ｒ Ｒｅｃ．６０１として知られる４：２：２フォーマットを有する画像データＤＧに変換して後述のエンコーダ５に出力するとともに、後述のデコーダ８から出力された復号画像データＤＤＧを復号画像信号ＳＤＧに変換してディスプレイ３に出力するビデオインターフェース４と、ビデオインターフェースを介して入力された画像データをウェーブレット変換してフレームデータＦＬを出力するエンコーダ５と、フレームデータＦＬを記憶するメモリ６と、エンコーダ４が出力したフレームデータＦＬをメモリ６に書き込むとともに、メモリ６から読み出したフレームデータＦＬを後述のデコーダ８に出力するメモリインタフェース部７と、メモリインターフェース部７を介してメモリ６から読み出されたフレームデータＦＬを復号化して復号画像データＤＤＧを出力するデコーダ８と、外部からの指示に基づいて各種再生制御を行う再生コントロール部９と、を備えて構成されている。
【００５３】
この場合において、メモリ６は、電気的あるいは光学的に書き込み、あるいは、読出可能な機械駆動部分を有しないメモリを用いて構成され、例えば、フラッシュメモリなどの半導体メモリを用いて構成されている。
エンコーダ５は、入力された画像データＤＧをウェーブレット変換してサブバンド画像データＤＳＢとして出力するウェーブレット変換部１１と、サブバンド画像データＤＳＢを量子化して複数の量子化サブバンドデータＤＱＳＢを出力する量子化部１２と、量子化サブバンドデータＤＱＳＢを２次元ハフマン符号化して符号化画像データＤＶＬＧとして出力する可変長符号化部１３と、複数の符号化画像データＤＶＬＧをまとめて所定のフォーマット（図５参照）を有するフレームデータＦＬとして出力するフォーマッタ部１４と、を備えて構成されている。
【００５４】
デコーダ８は、入力されたフレームデータＦＬの逆フォーマッティングを行い複数の可変長復号化画像データＤＶＬＧ’として出力する逆フォーマッタ部１５と、複数の可変長復号化画像データＤＶＬＧ’をそれぞれ２次元ハフマン復号化し、複数の量子化復号画像データＤＱＳＢ’を出力する可変長復号化部１６と、複数の量子化復号画像データを逆量子化して逆量子化画像データＤＳＢ’として出力する逆量子化部１７と、逆量子化画像データＤＳＢ’を逆ウェーブレット変換して復号画像データＤＤＧを出力するウェーブレット逆変換部１８と、を備えて構成されている。
【００５５】
２）エンコーダの動作
ここで、より具体的なエンコーダ５の動作について説明する。
まず、ウェーブレット変換部１１の概要動作（３階層２次元ウェーブレット変換）について図２及び図３を参照して説明する。
【００５６】
３階層２次元ウェーブレット変換は、図２に示すように、第１の方向（図２では水平方向）に１次元のサブバンド分割を行い、さらに第２の方向（図２では垂直方向）に１次元のサブバンド分割を行うという処理を、最も低域のサブバンドデータＬＬ１（ＬＬ２）に再帰的に適用することによって実現できる。
【００５７】
図２において、符号「Ｌ」及び符号「Ｈ」は、ウェーブレット理論に基づいて設計されたクアドラチャミラーフィルタ（ＱＭＦ）あり、符号「Ｌ」は低域通過フィルタを表し、符号「Ｈ」は高域通過フィルタを表している。
この場合において、低域通過フィルタＬ及び高域通過フィルタＨのインパルス応答をそれぞれｌ（ｎ）及びｈ（ｎ）とすると、
ｈ（ｎ）＝（−１）（１−ｎ）ｌ（１−ｎ）
の関係を有している。
【００５８】
また符号「↓２」は、１／２サブサンプリングを表している。
さらに１対の「Ｌ↓２」及び「Ｈ↓２」は分割フィルタ対を構成している。
次にウェーブレット変換部１１の詳細動作を説明する。
ａ） 第１階層
入力された画像データＤＧを水平方向にサブバンド分割を行い、図３（ａ）に示すように、第１フレームメモリ上に低域信号及び高域信号に分割する。
【００５９】
次に第１フレームメモリ上のデータに基づいて、垂直方向にサブバンド分割を行い、図３（ｂ）に示すように、第２フレームメモリ上にサブバンドデータＬＬ１、ＤＳＢ７、ＤＳＢ８、ＤＳＢ９の４つのサブバンドデータに分割する。
ｂ） 第２階層
続いて、サブバンドデータＬＬ１、ＤＳＢ７、ＤＳＢ８、ＤＳＢ９のうち最も低域のサブバンドデータＬＬ１を水平方向にサブバンド分割し、図３（ｃ）に示すように、第１フレーム上で低域信号及び高域信号に分割する。
【００６０】
次に第１フレームメモリ上のサブバンドデータＬＬ１に基づいて垂直方向にサブバンド分割を行い、図３（ｄ）に示すように、第２フレーム上のサブバンドデータＬＬ１に対応する領域にサブバンドデータＬＬ２、ＤＳＢ４、ＤＳＢ５、ＤＳＢ６の４つのサブバンドデータに分割する。
ｃ） 第３階層
同様に、サブバンドデータＬＬ２、ＤＳＢ４、ＤＳＢ５、ＤＳＢ６のうち最も低域のサブバンドデータＬＬ２を水平方向にサブバンド分割し、図３（ｅ）に示すように、第１フレーム上で低域信号及び高域信号に分割する。
【００６１】
次に第１フレームメモリ上のサブバンドデータＬＬ２に対応する領域上のデータに基づいて垂直方向にサブバンド分割を行い、図３（ｆ）に示すように、第２フレーム上のサブバンドデータＬＬ２に対応する領域にサブバンドデータＤＳＢ０、ＤＳＢ１、ＤＳＢ２、ＤＳＢ３の４つのサブバンドデータに分割する。
【００６２】
これらの第１階層〜第３階層の２次元ウェーブレット変換を行うことにより入力された画像データＤＧは、サブバンドデータＤＳＢ０〜ＤＳＢ９の１０個のサブバンドデータに分割される。これらのサブバンドデータＤＳＢ０〜ＤＳＢ９はサブバンド画像データＤＳＢを構成する。
【００６３】
このようにして画像データＤＧをウェーブレット変換することにより得られたサブバンド画像データＤＳＢ（＝サブバンドデータＤＳＢ０〜ＤＳＢ９）は量子化部１２に出力される。
サブバンド画像データＤＳＢは量子化部１２により量子化され、各サブバンドデータＤＳＢ０、ＤＳＢ１、…、ＤＳＢ８、ＤＳＢ９に対応する複数の量子化サブバンドデータＤＱＳＢとして可変長符号化部１３に出力される。
【００６４】
可変長符号化部１３は、複数の量子化サブバンドデータＤＱＳＢを２次元ハフマン符号化し、複数の可変長符号化画像データＤＶＬＧとしてフォーマッタ部１４に出力する。
フォーマッタ部１４は、入力された複数の可変長符号化画像データＤＶＬＧをまとめて所定のフォーマットを有するフレームデータＦＬとしてメモリインターフェース部７を介してメモリ６に出力する。
【００６５】
３）メモリの物理フォーマット
図４にメモリの物理フォーマットを示す。
メモリ６は、大別すると、画像シークエンスのファイル名、当該画像シークエンスに対応するファイルのスタートセクタ番号、当該画像シークエンスに対応するファイルのエンドセクタ番号、当該ファイルのファイルサイズ、記録時間などのディレクトリ情報を記憶するディレクトリ領域６Ａと、フレームデータＦＬを記憶するプログラム領域６Ｂとを備えて構成されており、ディレクトリ領域６Ａを参照することにより、メモリ６内に記録されている画像シークエンス数、各画像シークエンスの先頭位置及び記録時間などが分かることとなる。
【００６６】
より詳細には、メモリ６は、Ｎ個のセクタ（例えば、各セクタは２０４８バイトで構成）で構成されており、ディレクトリ領域６Ａは第０セクタ（図中、セクタ０と表記）ＳＣ０が割り当てられ、プログラム領域６Ｂは第１セクタ（図中、セクタ１と表記）ＳＣ１〜第Ｎセクタ（図中、セクタＮと表記）のＮ個のセクタが割り当てられている。
【００６７】
さらに実際の符号化画像データＤＥＧは、フレームに対応するフレームデータ単位でプログラム領域６Ｂに格納され、各フレームデータＦＬ１〜ＦＬＬは各フレームデータＦＬ１、…、ＦＬＬの先頭検出を容易とするため、必ず、各セクタＳＣ１〜ＳＣＮの先頭からデータが書き込まれ、当該フレームデータに対応する最後のセクタのデータが存在しない領域にはダミーデータとしてのゼロデータが書き込まれる。
【００６８】
より具体的には、第１フレームデータＦＬ１は、第１セクタＳＣ１の先頭からデータが記録され、第ｎセクタＳＣｎの途中まで記録され、第ｎセクタの残りの部分にはゼロデータがダミーデータとして書き込まれることとなる。
そして次の第（ｎ＋１）セクタＳＣ（ｎ＋１）の先頭から第２フレームデータが書き込まれることとなる。
【００６９】
４）フレームデータの構成
図５にフレームデータＦＬのデータ構成図を示す。
フレームデータＦＬは、大別すると、インデックス情報部３０と、画像データ部３１と、を備えて構成されている。
【００７０】
インデックス情報部３０は、フレームデータの先頭を表すＳＯＦ（Ｓｔａｒｔ Ｏｆ Ｆｒａｍｅ）データ３２と、フレーム番号（Ｆｒａｍｅ Ｎｏ．）をフレーム番号データ３３と、当該フレームの総バイト数を表すフレームバイト数カウントデータ３４と、当該フレームにおけるサブバンドＳＢ０のバイト数を表すサブバンドＳＢ０バイト数カウントデータ３５と、当該フレームにおけるサブバンドＳＢ０からサブバンドＳＢ３ までの４つのサブバンドデータの総バイト数を表すサブバンドＳＢ３ バイト数カウントデータ３６と、当該フレームにおけるサブバンドＳＢ０からサブバンドＳＢ６までの７つのサブバンドデータの総バイト数を表すサブバンドＳＢ６バイト数カウントデータ３７と、を備えて構成されている。
【００７１】
画像データ部３１は、各サブバンド毎の輝度信号（Ｙ）成分データ、Ｒ−Ｙ色差信号成分データ及びＢ−Ｙ色差信号成分データを備えて構成されており、より具体的には、サブバンドＳＢ０の輝度信号成分に対応する輝度信号（Ｙ）成分データＳＢ０Ｙ、サブバンドＳＢ０のＲ−Ｙ色差信号成分に対応するＲ−Ｙ色差信号成分データＳＢ０Ｒ、サブバンドＳＢ０のＢ−Ｙ色差信号成分に対応するＢ−Ｙ色差信号成分データＳＢ０Ｂ、サブバンドＳＢ１の輝度信号（Ｙ）成分データＳＢ１Ｙ、……、サブバンドＳＢ９の輝度信号成分に対応する輝度信号（Ｙ）成分データＳＢ９Ｙ、サブバンドＳＢ９のＲ−Ｙ色差信号成分に対応するＲ−Ｙ色差信号成分データＳＢ９Ｒ及びサブバンドＳＢ９のＢ−Ｙ色差信号成分に対応するＢ−Ｙ色差信号成分データＳＢ９Ｂを備えて構成されている。
【００７２】
ここで、輝度信号（Ｙ）成分データとして、サブバンドＳＢ１の輝度信号（Ｙ）成分データＳＢ１Ｙを例として説明する。
輝度信号（Ｙ）成分データＳＢ１Ｙは、当該サブバンドＳＢ１の先頭であることを表すＳＯＳ（Ｓｔａｒｔ Ｏｆ Ｓｕｂｂａｎｄ）データ４０と、当該サブバンドＳＢ１の量子化ステップ幅（Ｑ Ｖａｌｕｅ）を表すＱ値データ４１と、当該サブバンドＳＢ１のバイト数を表すサブバンドバイト数カウントデータ４２と、２次元ハフマン符号化されたサブバンドのデータであるハフマン符号化データ４３と、を備えて構成されている。
【００７３】
５）デコーダの動作
ここで、具体的なデコーダ８の動作について説明する。
まず、再生コントロール部９に再生指令が入力されると、メモリインターフェース部７は、メモリ６から再生指令に対応するフレームデータＦＬを読み出し、順次デコーダ８の逆フォーマッタ部１５に出力する。
【００７４】
逆フォーマッタ部１５は、フレームデータＦＬから各サブバンドに相当する複数の符号化画像データＤＶＬＧ’を生成して可変長復号化部１６に出力する。
可変長復号化部１６は、符号化画像データＤＶＬＧ’の２次元ハフマン復号化をおこない、各サブバンドデータＤＳＢ０、ＤＳＢ１、…、ＤＳＢ８、ＤＳＢ９に対応する複数の量子化サブバンドデータＤＱＳＢ’を逆量子化部に出力する。
【００７５】
逆量子化部１７は、量子化サブバンドデータＤＱＳＢ’の逆量子化を行い、逆量子化画像データＤＳＢ’としてウェーブレット逆変換部１８に出力する。
ウェーブレット逆変換部１８は、入力された逆量子化画像データＤＳＢ’を逆ウェーブレット変換して復号画像データＤＤＧとしてビデオインターフェース部４に出力する。
【００７６】
６）ウェーブレット逆変換部の動作
次にウェーブレット逆変換部１８の概要動作（３階層２次元ウェーブレット逆変換）について図６及び図７を参照して説明する。
３階層２次元ウェーブレット逆変換は、図６に示すように、第１の方向（図６では垂直方向）に１次元のサブバンド合成を行い、さらに第２の方向（図６では水平方向）に１次元のサブバンド合成を行うという処理を行い、さらに二つの合成結果を順次再合成することによって実現できる。
【００７７】
図６において、符号「Ｌ」及び符号「Ｈ」は、ウェーブレット理論に基づいて設計されたクアドラチャミラーフィルタ（ＱＭＦ）あり、符号「Ｌ」は低域通過フィルタを表し、符号「Ｈ」は高域通過フィルタを表している。
この場合においても、低域通過フィルタＬ及び高域通過フィルタＨのインパルス応答をそれぞれｌ（ｎ）及びｈ（ｎ）とすると、
ｈ（ｎ）＝（−１）（１−ｎ）ｌ（１−ｎ）
の関係を有している。
【００７８】
また符号「↑２」は、２倍アップサンプリングを表している。
さらに１対の「↑２Ｌ」及び「↑２Ｈ」は合成フィルタ対を構成している。
次にウェーブレット逆変換部１８の詳細動作を説明する。
ａ） 第３階層
サブバンドデータＤＳＢ０’とサブバンドデータＤＳＢ１’とは、第３階層第１垂直方向合成フィルタ対によって第２フレームメモリＦＭ２上で低域信号に合成される。
【００７９】
一方、サブバンドデータＤＳＢ２’とサブバンドデータＤＳＢ３’とは、第３階層第２垂直合成フィルタ対によって第２フレームメモリＦＭ２上で高域信号に合成される。
サブバンドデータＤＳＢ０’及びサブバンドデータＤＳＢ１’の垂直方向合成結果である低域信号並びにサブバンドデータＤＳＢ２’及びサブバンドデータＤＳＢ３’の垂直方向合成結果である高域信号は、第３階層水平合成フィルタ対によってサブバンドデータＬＬ２’として、第１フレームメモリＦＭ１上の対応する領域に合成される。
【００８０】
ｂ） 第２階層
サブバンドデータＬＬ２’とサブバンドデータＤＳＢ４’とは、第２階層第１垂直方向合成フィルタ対によって第２フレームメモリＦＭ２上で低域信号に合成される。
【００８１】
一方、サブバンドデータＤＳＢ５’とサブバンドデータＤＳＢ６’とは、第２階層第２垂直方向合成フィルタ対によって第２フレームメモリＦＭ２上で高域信号に合成される。
サブバンドデータＬＬ２及びサブバンドデータＤＳＢ４’の垂直方向合成結果である低域信号並びにサブバンドデータＤＳＢ５’及びサブバンドデータＤＳＢ６’の垂直方向合成結果である高域信号は第２階層水平合成フィルタ対によってサブバンドデータＬＬ１’として、第１フレームメモリＦＭ１上の対応する領域に合成される。
【００８２】
ｃ） 第１階層
サブバンドデータＬＬ１’とサブバンドデータＤＳＢ７’とは、第１階層第１垂直方向合成フィルタ対によって第２フレームメモリＦＭ２上で低域信号に合成される。
【００８３】
一方、サブバンドデータＤＳＢ８’とサブバンドデータＤＳＢ９’とは、第１階層第２垂直方向合成フィルタ対によって第２フレームメモリＦＭ２上で高域信号に合成される。
サブバンドデータＬＬ１’及びサブバンドデータＤＳＢ７’の垂直方向合成結果である低域信号並びにサブバンドデータＤＳＢ８’及びサブバンドデータＤＳＢ９’の垂直方向合成結果である高域信号は第１階層水平合成フィルタ対によって復号画像データＤＤＧとして、第１フレームメモリＦＭ１上に合成されることとなる。
【００８４】
そして復号画像データＤＤＧはビデオインターフェース部４を介してＤ／Ａ変換されて画像信号ＳＤＧとされ、ディスプレイ３に出力される。
この結果、ディスプレイ３の画面上には画像が表示されることとなる。
７）多画面動画再生処理
次に一つの画面上にメモリ６の異なる領域に格納された複数の動画像データに基づいた複数の動画再生、いわゆる、多画面動画再生処理について説明する。
【００８５】
図８に多画面動画再生処理（図では、４画面動画再生時）におけるメモリ６のデータ格納状態と物理フォーマットの関係を示す。
通常再生時と同様に、ディレクトリ領域６Ａには、画像シークエンスのファイル名、当該画像シークエンスに対応するファイルのスタートセクタ番号、当該画像シークエンスに対応するファイルのエンドセクタ番号、当該ファイルのファイルサイズ、記録時間などのディレクトリ情報が記憶されている。
【００８６】
また、プログラム領域６Ｂには、４つの画像シークエンスに対応する４つのファイルが格納されている。
第１画像シークエンスはセクタ１からセクタＫの範囲に記憶されており、第２画像シークエンスはセクタ（Ｋ＋１）からセクタＬの範囲に記憶されており、第３画像シークエンスはセクタ（Ｌ＋１）からセクタＭの範囲に記憶されており、第４画像シークエンスはセクタ（Ｍ＋１）からセクタＮの範囲に記憶されている。
【００８７】
この場合において、セクタＫ、Ｌ、Ｍ、Ｎにおいては、データが記憶されていない部分にはゼロデータが記憶されている。
多画面動画再生においては、図６に示したウェーブレット逆変換においてサブバンドの合成を途中で打ち切ることにより、少ない画素数（元の画面の全画素数の１／４、１／１６、１／６４）で再生画像を直接ディスプレイ３の画面上に表示することで可能となる。
【００８８】
サブバンド合成に用いるサブバンドデータ数によって得られる再生画像の画素数は以下の通りとなる。
▲１▼ サブバンドデータＤＳＢ０〜ＤＳＢ９を用いる場合：全画素数
▲２▼ サブバンドデータＤＳＢ０〜ＤＳＢ６を用いる場合：全画素数の１／４
▲３▼ サブバンドデータＤＳＢ０〜ＤＳＢ３を用いる場合：全画素数の１／１６
▲４▼ サブバンドデータＤＳＢ０のみを用いる場合 ：全画素数の１／６４
すなわち、ウェーブレット逆変換において、第３階層、第２階層及び第１階層の３階層全ての合成を行って表示を行えば、全画素表示が行える。
【００８９】
また、第３階層及び第２階層のみの合成を行って表示を行えば、全画素の１／４の画素数の表示が行え、全画素表示が可能なディスプレイ画面上には４画面同時表示（４分割表示）が行える。
さらに第３階層のみの合成を行って表示を行えば、全画素の１／１６の画素数の表示が行え、全画素表示が可能なディスプレイ画面上には１６画面同時表示（１６分割表示）が行える。
【００９０】
さらにまた、合成を行わず、サブバンドデータＤＳＢ０のみを用いて表示を行えば、全画素の１／６４の画素数の表示が行え、全画素表示が可能なディスプレイ画面上には６４画面同時表示（６４分割表示）が行える。
８）多画面動画検索処理
次に多画面動画再生を用いて画像の高速検索処理について説明する。
【００９１】
図９に多画面動画再生を用いた画像高速検索処理フローチャートを示す。
再生コントロール部９は、メモリ６のディレクトリ領域６Ａに必要に応じて格納されている頭出し情報を使用するか否かを判別する（ステップＳ１）。
ステップＳ１の判別において、頭出し情報を使用しない場合には（ステップＳ１；Ｎｏ）、後述するステップＳ７に移行し、時間均等割り再生モードあるいはインターバル再生モードに移行する。
ａ） 頭出し情報再生モード
ステップＳ１の判別において、頭出し情報を使用する場合には（ステップＳ１；Ｙｅｓ）、頭出し再生モードに移行し、メモリ６のディレクトリ領域６Ａに格納されている頭出し情報数Ｎを取得する（ステップＳ２）。
【００９２】
続いて、頭出し情報数Ｎに基づいて画面分割数Ｍを確定し（ステップＳ３）、多画面動画再生（頭出し情報再生モード）を行う（ステップＳ４）。
図１０に多画面動画再生処理フローチャートを示す。
より詳細には図１０に示すように、頭出し情報数Ｎが最大画面分割数＝６４（画面）以上であるか否かを判別する（ステップＳ２１）。
【００９３】
ステップＳ２１の判別において、頭出し情報数Ｎが最大画面分割数＝６４（画面）未満である場合には（ステップＳ２１；Ｎｏ）、Ｎに応じて画面分割数Ｍを確定し（ステップＳ２２）、メモリインターフェース部７及びデコーダ８に通知するとともに、処理をステップＳ２４に移行する。
【００９４】
より詳細には、画素数変換処理などを行うことによる処理時間がかかるのを防止し、処理を簡素化すべく、予め設定した画面分割数を１（画面）、４（画面）、１６（画面）、６４（画面）の４種類とし、画面分割数Ｍを頭出し情報数Ｎを越え、かつ、最小の画面数に設定する。
【００９５】
例えば、頭出し情報数Ｎ＝３である場合には画面分割数Ｍ＝４（画面）、頭出し情報数Ｎ＝３２である場合には画面分割数Ｍ＝６４に設定する。
ステップＳ２１の判別において、頭出し情報数Ｎが最大画面分割数６４以上である場合には（ステップＳ２１；Ｙｅｓ）、画面分割数Ｍを、
Ｍ＝６４
とし、メモリインターフェース部７及びデコーダ８に通知するとともに、頭出し情報数Ｎを、
Ｎ＝６４
と再設定する（ステップＳ２３）。
【００９６】
次に表示用カウンタＸを、
Ｘ＝１
に設定する（ステップＳ２４）。
続いて画面分割数に応じてＸ番目の画像シークエンスについて必要なサブバンドデータを抽出する（ステップＳ２５）。
【００９７】
より詳細には、メモリインターフェース部７は、再生コントロール部９から画面分割数Ｍが通知されると、メモリ６上のディレクトリ領域６Ａから画像シークエンスのスタートセクタ番号を参照してフレームデータＦＬ（あるいはフレームデータＦＬの一部）を読み出す。
【００９８】
より具体的には、フレームデータの先頭を表すＳＯＦ（Ｓｔａｒｔ Ｏｆ Ｆｒａｍｅ）データ３２と、フレーム番号（Ｆｒａｍｅ Ｎｏ．）をフレーム番号データ３３、当該フレームの総バイト数を表すフレームバイト数カウントデータ３４並びにサブバンドＳＢ０バイト数カウントデータ３５、サブバンドＳＢ３ バイト数カウントデータ３６あるいはサブバンドＳＢ６バイト数カウントデータ３７のうちから画面分割数Ｍに対応するいずれか一のデータを参照して、必要なサブバンドデータを読み出す。
【００９９】
例えば、画面分割数Ｍ＝４の場合には、メモリインターフェース部７は、画面分割数Ｍ＝４に対応するサブバンドＳＢ６バイト数カウントデータ３７を読み出して参照し、対応するフレームデータＦＬからサブバンドＳＢ０からサブバンドＳＢＳＢ６までの７つのサブバンドデータを読み出し、順次デコーダ８の逆フォーマッタ部１５に出力する。
【０１００】
次にデコーダ８は、逆フォーマッタ部１５による逆フォーマッティング、可変長復号化部１６による２次元ハフマン復号化、逆量子化部１７による逆量子化及びウェーブレット逆変換部１８による逆ウェーブレット変換を行う（ステップＳ２６）。
【０１０１】
より詳細には、逆フォーマッタ部１５は、サブバンドＳＢ０〜サブバンドＳＢＳＢ６に相当する複数の符号化画像データＤＶＬＧ’を生成して可変長復号化部１６に出力する。
可変長復号化部１６は、符号化画像データＤＶＬＧ’の２次元ハフマン復号化をおこない、複数の量子化復号画像データＤＱＳＢ’を逆量子化部１７に出力する。
【０１０２】
逆量子化部１７は、複数の量子化復号画像データを逆量子化して復号サブバンド画像データＤＳＢ’として逆ウェーブレット変換部１８に出力する。
逆ウェーブレット変換部１８は、サブバンドＳＢ０からサブバンドＳＢ６までの７つのサブバンドデータに対応する復号サブバンド画像データＤＳＢ’を逆ウェーブレット変換して復号画像データＤＤＧをビデオインターフェース部に出力する。
【０１０３】
９）多画面動画検索処理時の逆ウェーブレット変換動作
ここで、多画面動画検索処理時の逆ウェーブレット変換動作について、図１１及び図１２を参照して説明する。
画面分割数Ｍ＝１（分割なし）から画面分割数Ｍ＝６４まで表示可能な多画面再生時の３階層２次元ウェーブレット逆変換は、図１１に示すように、第１の方向（図１１では垂直方向）に１次元のサブバンド合成を行い、さらに第２の方向（図１１では水平方向）に１次元のサブバンド合成を行うという処理を行い、さらに二つの合成結果を順次再合成するという処理を画面分割数に応じた所定階層数行うことによって実現できる。
【０１０４】
図１１においては、図６と同様に符号「Ｌ」及び符号「Ｈ」は、ウェーブレット理論に基づいて設計されたクアドラチャミラーフィルタ（ＱＭＦ）であり、符号「Ｌ」は低域通過フィルタを表し、符号「Ｈ」は高域通過フィルタを表している。
【０１０５】
この場合においても、低域通過フィルタＬ及び高域通過フィルタＨのインパルス応答をそれぞれｌ（ｎ）及びｈ（ｎ）とすると、
ｈ（ｎ）＝（−１）（１−ｎ）ｌ（１−ｎ）
の関係を有している。
【０１０６】
また符号「↑２」は、２倍アップサンプリングを表している。
さらに１対の「↑２Ｌ」及び「↑２Ｈ」は合成フィルタ対を構成している。
１０）多画面動画再生時のウェーブレット逆変換部の詳細動作
次に多画面動画再生時のウェーブレット逆変換部１８の詳細動作を説明する。ａ） 画面分割数Ｍ＝６４の場合には、ウェーブレット逆変換部１８は、何等処理を行わず、サブバンドデータＤＳＢ０’はそのまま第１フレームメモリＦＭ１上の対応する位置に書き込まれる（ステップＳ２７）。
【０１０７】
そして、この段階で復号画像データＤＤＧとして、ビデオインターフェース部４に出力すると、復号画像データＤＤＧは、画素数が全画素数の１／６４の画像に相当することとなる。
ｂ） 第３階層（画面分割数Ｍ＝１、４、１６の場合に処理が必要）
サブバンドデータＤＳＢ０’とサブバンドデータＤＳＢ１’とは、第３階層第１垂直方向合成フィルタ対によって第２フレームメモリＦＭ２上で低域信号に合成される。
【０１０８】
一方、サブバンドデータＤＳＢ２’とサブバンドデータＤＳＢ３’とは、第３階層第２垂直合成フィルタ対によって第２フレームメモリＦＭ２上で高域信号に合成される。
サブバンドデータＤＳＢ０’及びサブバンドデータＤＳＢ１’の垂直方向合成結果である低域信号並びにサブバンドデータＤＳＢ２’及びサブバンドデータＤＳＢ３’の垂直方向合成結果である高域信号は、第３階層水平合成フィルタ対によってサブバンドデータＬＬ２’として、第１フレームメモリＦＭ１上の対応する領域に合成され、書き込まれる（ステップＳ２７）。
【０１０９】
そして、この段階で復号画像データＤＤＧとしてビデオインターフェース部４に出力すると、復号画像データＤＤＧは、画素数が全画素数の１／１６の画像に相当することとなる。
ｃ） 第２階層（画面分割数Ｍ＝１、４の場合に処理が必要）
第３階層の処理後、サブバンドデータＬＬ２’とサブバンドデータＤＳＢ４’とは、第２階層第１垂直方向合成フィルタ対によって第２フレームメモリＦＭ２上で低域信号に合成される。
【０１１０】
一方、サブバンドデータＤＳＢ５’とサブバンドデータＤＳＢ６’とは、第２階層第２垂直方向合成フィルタ対によって第２フレームメモリＦＭ２上で高域信号に合成される。
サブバンドデータＬＬ２及びサブバンドデータＤＳＢ４’の垂直方向合成結果である低域信号並びにサブバンドデータＤＳＢ５’及びサブバンドデータＤＳＢ６’の垂直方向合成結果である高域信号は第２階層水平合成フィルタ対によってサブバンドデータＬＬ１として、第１フレームメモリＦＭ１上の対応する領域に合成され、書き込まれることとなる（ステップＳ２７）。
【０１１１】
そして、この段階で復号画像データＤＤＧとしてビデオインターフェース部４に出力すると、復号画像データＤＤＧは、画素数が全画素数の１／４の画像に相当することとなる。
ｄ） 第１階層（画面分割数Ｍ＝１の場合に処理が必要）
第２階層の処理後、サブバンドデータＬＬ１’とサブバンドデータＤＳＢ７’とは、第１階層第１垂直方向合成フィルタ対によって第２フレームメモリＦＭ２上で低域信号に合成される。
【０１１２】
一方、サブバンドデータＤＳＢ８’とサブバンドデータＤＳＢ９’とは、第１階層第２垂直方向合成フィルタ対によって第２フレームメモリＦＭ２上で高域信号に合成される。
サブバンドデータＬＬ１’及びサブバンドデータＤＳＢ７’の垂直方向合成結果である低域信号並びにサブバンドデータＤＳＢ８’及びサブバンドデータＤＳＢ９’の垂直方向合成結果である高域信号は第１階層水平合成フィルタ対によって復号画像データＤＤＧとして、第１フレームメモリＦＭ１上に合成され、書き込まれることとなる（ステップＳ２７）。
【０１１３】
そして、この段階で復号画像データＤＤＧとしてビデオインターフェース部４に出力すると、復号画像データＤＤＧは、画素数が全画素数の１／１の画像に相当することとなる。
次に表示用カウンタＸの値と映像シークエンス数Ｎが等しいか否かを判別する（ステップＳ２８）。
【０１１４】
ステップＳ２８の判別において、
Ｘ＜Ｎ
の場合には（ステップＳ２８；Ｎｏ）、表示用カウンタＸをカウントアップ、すなわち、
Ｘ＝Ｘ＋１
とし（ステップＳ３４）、処理を再びステップＳ２５に移行してステップＳ２５〜ステップＳ２７の処理を繰り返す。
【０１１５】
ステップＳ２８の判別において、
Ｘ＝Ｎ
である場合には（ステップＳ２８；Ｙｅｓ）、画像が表示されていないＰ［個］、
Ｐ＝Ｍ−ｍｏｄ（Ｎ，Ｍ）［個］
の領域全てに“０”データ（ゼロデータ＝黒表示）を書き込む。ここで、
ｍｏｄ（Ｎ，Ｍ）
は、ＮをＭで割った場合の剰余である。
【０１１６】
続いて再生コントロール部９は、表示指示を行う（ステップＳ３０）。
この結果、ビデオインターフェース部４は、入力された復号画像データＤＤＧをＤ／Ａ変換し、画像信号ＳＤＧとしてディスプレイ３に出力し、ディスプレイ３の画面上には、画面分割数Ｍに対応する画素数を有する画像が表示されることとなる。
【０１１７】
次に再生コントロール部９は、頭出し情報数Ｎが、
Ｎ≧６４
であるか否かを判別する（ステップＳ３１）。
ステップＳ３１の判別において、
Ｎ≧６４
の場合には（ステップＳ３１；Ｙｅｓ）、高速検索処理の終了指示がされたか否かを判別し（ステップＳ３２）、終了指示がされた場合には（ステップＳ３２；Ｙｅｓ）、処理を終了し、ステップＳ５（図９参照）に移行する。
【０１１８】
ステップＳ３２の判別において、終了指示がされていない場合には（ステップＳ３２；Ｎｏ）、
Ｎ＝Ｎ＋６４
とし（ステップＳ３３）、
Ｘ＝Ｘ＋１
として（ステップＳ３４）、処理をステップＳ２５に移行し、以下、同様の処理を繰り返す。
【０１１９】
ステップＳ３１の判別において、
Ｎ＜６４
の場合には（ステップＳ３１；Ｎｏ）、処理を終了し、ステップＳ５（図９参照）に移行する。
【０１２０】
次に再生コントロール部９は、外部からの入力に基づいて、現在表示している画面中に検索目的の画面（検索画面）が有るか否かを判別し（ステップＳ５）、検索画面がない場合には（ステップＳ５；Ｎｏ）、再び処理をステップＳ４に移行して多画面再生を継続する。
【０１２１】
ステップＳ５の判別において、検索画面が有る場合には（ステップＳ５；Ｙｅｓ）、再生を一時停止した後、逆再生、コマ戻し等を行って、当該検索画面の頭出しを行う検索画面の選択処理を行い（ステップＳ６）、検索処理を終了する。そして、外部からの指示に基づいて当該検索画面に対応する画像シークエンスの再生を行う。
【０１２２】
ステップＳ１の判別において、頭出し情報を使用しない場合には（ステップＳ１；Ｎｏ）、メモリ６に記録されている全ての画像シークエンスの総記録時間Ｔを取得する（ステップＳ７）。
次に再生コントロール部９は、外部からの入力に基づいて、表示方法（表示モード）が、時間均等割り再生モードあるいはインターバル再生モードの何れであるかを判別する（ステップＳ８）。
【０１２３】
１１）時間均等割り再生モード及びインターバル再生モード
ここで、時間均等割り再生モード及びインターバル再生モードの概要説明を行う。
ａ） 時間均等割り再生モード及びインターバル再生モードの再生状態
図１３に時間均等割り再生モードにおける再生状態説明図を示す。
【０１２４】
時間均等割り再生モードとは、図１３に示すように、例えば、第１セクタＳＣ１ 〜第ＮセクタＳＣＮにわたって複数の画像シークエンス（図１３では、Ｐ［個］の画像シークエンス）が格納されている場合に、複数の画像シークエンスの総記録時間Ｔを画面分割数Ｍで除した、
Ｔ／Ｍ
時間間隔で多画面動画再生を行うモードをいう。
【０１２５】
この結果、図１３に示すように、第１セクタＳＣ１〜第ＮセクタＳＣＮの全セクタを単純にＭ分割し、各分割したセクタ群を一の画像シークエンスであるとみなして、多画面動画再生を行うものである。
従って、一の分割画面中に、例えば、第１多画面再生画像（図１３中、多画面再生画像１と示す。）には、第１画像シークエンスの全部及び第２画像シークエンスのうち先頭部分から第（ｎ２−１）セクタに記録された部分が再生されることとなる。
【０１２６】
図１４にインターバル再生モードにおける再生状態説明図を示す。
インターバル再生モードとは、図１４に示すように、例えば、第１セクタＳＣ１ 〜第ＮセクタＳＣＮにわたって複数の画像シークエンス（図１４では、Ｐ［個］の画像シークエンス）が格納されている場合に、予め任意に指定した時間ｔに画面分割数Ｍを乗じた、
ｔ×Ｍ
時間内に再生可能な画像シークエンス（図１４では、第１セクタＳＣ１〜第ＮセクタＳＣＮまでに含まれる画像シークエンス）を時間ｔ間隔で多画面動画再生を行うモードをいう。
ｂ） 時間均等割り再生モードの動作
ステップＳ８の判別において、表示方法が時間均等割り再生モードである場合には（ステップＳ８；時間均等割り再生モード）、外部からの指示に基づいて画面分割数Ｍを確定し（ステップＳ９）、多画面動画再生（時間均等割り再生モード）を行う（ステップＳ１０）。
【０１２７】
これにより再生コントロール部９は、メモリインターフェース部及びデコーダ８に画面分割数Ｍを通知する。
そして、均等割りした時間間隔ＥＱ、
ＥＱ＝Ｔ／Ｍ
を算出し、メモリ６上で時間間隔ＥＱに対応するセクタ（第１セクタＳＣ１、第ｎ２セクタＳＣｎ２、第ｎ３セクタＳＣｎ３、……、第ｎＭセクタＳＣｎＭ）を求め、メモリインターフェース部に通知する。
【０１２８】
この結果、ディスプレイ３の画面上には、第１セクタＳＣ１、第ｎ２セクタＳＣｎ２、第ｎ３セクタＳＣｎ３、……、第ｎＭセクタＳＣｎＭのそれぞれから再生を開始した画面がＭ個表示されることとなる。
そして再生コントロール部９は、外部からの入力に基づいて、現在表示している画面中に検索目的の画面（検索画面）が指示されたか否かを判別し、検索画面が指示されていない場合には、多画面再生を継続する。
【０１２９】
また、検索画面が指示された場合には（ステップＳ１１）、再生を一時停止した後、逆再生、コマ戻し等を行って、当該検索画面の頭出しを行う検索画面の選択処理を行い（ステップＳ１２）、検索処理を終了する。
その後、外部からの指示に基づいて当該検索画面に対応する画像シークエンスの再生を行う。
【０１３０】
このように、時間均等割り再生モードにおいては、メモリ６に記録されている複数の画像シークエンスを内容に関わりなく、均等な時間間隔で一望することができ、効率の良い画像検索を高速で行うことが可能となる。
ｃ） インターバル再生モードの動作
ステップＳ８の判別において、表示方法がインターバル再生モードである場合には（ステップＳ８；インターバル再生モード）、外部からの指示に基づいてインターバル時間ｔ及び画面分割数Ｍを確定し（ステップＳ１３、１４）、多画面動画再生（時間均等割り再生モード）を行う（ステップＳ１５）。
【０１３１】
これにより再生コントロール部９は、メモリインターフェース部及びデコーダ８に画面分割数Ｍを通知する。
そして、メモリ６上で時間間隔ｔに対応するセクタ（第１セクタＳＣ１、第ｎ２セクタＳＣｎ２、第ｎ３セクタＳＣｎ３、……、第ｎＭセクタＳＣｎＭ）を求め、メモリインターフェース部に通知する。
【０１３２】
この結果、ディスプレイ３の画面上には、第１セクタＳＣ１、第ｎ２セクタＳＣｎ２、第ｎ３セクタＳＣｎ３、……、第ｎＭセクタＳＣｎＭのそれぞれから再生を開始した画面がＭ個表示されることとなる。
そして再生コントロール部９は、外部からの入力に基づいて、現在表示している画面中に検索目的の画面（検索画面）が有るか否かを判別し（ステップＳ１６）、検索画面が無い場合には（ステップＳ１６；Ｎｏ）、再び処理をステップＳ１５に移行し、未だ再生されていない第（Ｎ＋１）セクタＳＣ（Ｎ＋１）以降に記録されている画像シークエンスを対象として、多画面再生を継続する。
【０１３３】
また、検索画面が有る場合には（ステップＳ１６；Ｙｅｓ）、再生を一時停止した後、逆再生、コマ戻し等を行って、当該検索画面の頭出しを行う検索画面の選択処理を行い（ステップＳ１７、１８）、検索処理を終了する。
その後、外部からの指示に基づいて当該検索画面に対応する画像シークエンスの再生を行う。
【０１３４】
このように、インターバル再生モードにおいては、メモリ６に記録されている複数の画像シークエンスのうち、時間（ｔ×Ｍ）内に記録されている画像シークエンスを内容に関わりなく、均等な時間間隔で一望することができ、効率の良い画像検索を高速で行うことが可能となる。
【０１３５】
以上の説明において、時間均等割り再生モードあるいはインターバル再生モードにおいては、所定の単位時間（ＥＱあるいはｔ）内には、複数の画像シークエンスが含まれていたが、画面分割数Ｍを画像シークエンス数に基づいて算出するとともに、時間間隔ＥＱあるいは時間間隔ｔに代えて外部から入力された再生時間ＴＴを用い、各画像シークエンスが記録された先頭のセクタから多画面再生を行い、各分割画面には同一の画像シークエンスの画像が表示されるように構成することも可能である。
【０１３６】
この場合において、入力された再生時間ＴＴが表示している画像シークエンスの記録時間より長い場合には、当該画像シークエンスの記録領域をリング状のメモリとみなして、再び先頭のセクタに戻って再生するように構成すればよい。
また、入力された再生時間ＴＴが表示している画像シークエンスの記録時間よりも短い場合には、当該画像シークエンスについては、多画面動画再生が継続する限り、再生を継続するように構成すればよい。
【０１３７】
この結果、一の分割画面には、同一の画像シークエンスが常に表示されるため、画像シークエンス中の一部を検索するのではなくいずれか一の画像シークエンスを検索したい場合には有効である。
以上の第１実施形態においては、３階層２次元ウェーブレット変換処理を行う場合について説明したが、Ｘ階層２次元ウェーブレット変換処理（Ｘ：２以上の整数）を行う場合にも本発明の適用が可能である。
【０１３８】
すなわち、画面分割数Ｍが
４Ｚ≧Ｍ＞４（Ｚ−１）
（ただし、Ｚは、Ｘ≧Ｚ≧０を満たす整数）
である場合に、最も低域のサブバンドである第０サブバンド（第１帯域相当）から第（３・（Ｘ−Ｚ））サブバンド（第３・（Ｘ−Ｚ）＋１）帯域相当）までの（３・（Ｘ−Ｚ）＋１）個のサブバンドを構成するサブバンドデータＤＳＢ０〜ＤＳＢ（３・（Ｘ−Ｚ））をメモリ６から読み出して処理するように構成すればよい。
【０１３９】
以上の第１実施形態の説明においては、頭出し情報を用いて多画面再生を行う場合について説明したが、記録時の各記録データの時間情報を予め記憶しておき、記録時間の不連続部分を検出し、この検出した不連続部分を画像データの区切りとして多画面動画再生を行うように構成することも可能である。
第２実施形態
以上の第１実施形態においては、符号化方法としてウェーブレット変換を用いていたが、本第２実施形態は、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）やＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）で用いられているＤＣＴ（離散コサイン変換）を用いた場合の実施形態である。
【０１４０】
ＤＣＴを用いる場合には、図１のウェーブレット変換部１１を図１５（ａ）に示す２次元の離散コサイン変換を行う２次元ＤＣＴ部５１及び離散コサイン変換により得られたＤＣＴ係数を並び換えるＤＣＴ係数並び換え部５２に置き換え、図１のウェーブレット逆変換部を図１５（ｂ）に示すＤＣＴ係数の逆並び換えを行うＤＣＴ係数逆並び換え部５３及び逆並び換えられたＤＣＴ係数を逆離散コサイン変換する２次元逆ＤＣＴ（２次元ＩＤＣＴ）部５４に置き換えることにより実現できる。
【０１４１】
２次元ＤＣＴの変換対象ブロックを８［画素］×８［画素］構成とすると、図１６（ａ）に示すように、６４個のＤＣＴ係数Ｋ０〜Ｋ６３が得られる。
第１番目のＤＣＴ係数Ｋ０は直流成分を表し、図１６（ａ）中、右側にあるＤＣＴ係数ほど水平方向の高周波成分を表し、図１６（ａ）中、下側にあるＤＣＴ係数ほど垂直方向の高周波成分を表している。
【０１４２】
そこで、図１６（ｂ）に示すように、６４個のＤＣＴ係数Ｋ０〜Ｋ６３を１０個のＤＣＴ係数グループ（帯域）Ｇ０〜Ｇ９に分割し、１フレーム分のＤＣＴ係数グループを各帯域毎にまとめて、図１７に示すようにマッピング（再配置）すると、上述の第１実施形態のように、ウェーブレット変換を用いたサブバンド分割分割と類似の帯域分割を行うことが可能となる。
【０１４３】
この結果、第１実施形態のエンコーダ５における量子化部１２の量子化動作からメモリ６への記録動作並びにメモリ６からの読出動作からデコーダ８における逆量子化部１７の逆量子化動作までは、第１実施形態と同様の処理を行うことができる。
【０１４４】
より具体的には、図１７に示すように、各フレームの第１ＤＣＴ係数グループＧ０を元の変換対象ブロックの配置に基づいて第１フレームＤＣＴ係数グループ（帯域）ＦＧ０にマッピングし、第２ＤＣＴ係数グループＧ１を元の変換対象ブロックの配置に基づいて第２フレームＤＣＴ係数グループＦＧ１ にマッピングし、……、第９ＤＣＴ係数グループＧ８を元の変換対象ブロックの配置に基づいて第９フレームＤＣＴ係数グループＦＧ８にマッピングし、第１０ＤＣＴ係数グループＧ９を元の変換対象ブロックの配置に基づいて第１０フレームＤＣＴ係数グループＦＧ９にマッピングする。
【０１４５】
この結果、ウェーブレット変換を用いた場合と同様な帯域分割が行える。
ここで、分割画面数＝４として、ディスプレイの１画面に第１映像シークエンス〜第４映像シークエンスの４画面動画再生を行う場合の再生動作について説明する。
【０１４６】
第１映像シークエンスの第１フレームＤＣＴ係数グループＦＧ０〜第７フレームＤＣＴ係数グループＦＧ６から第１ＤＣＴ係数グループＧ０〜第７ＤＣＴグループＧ６がメモリから読み出され、可変長復号化及び逆量子化が行われる。
逆量子化されたＤＣＴ係数は、ＤＣＴ係数逆並び換えにより図１８（ａ）に示すように、
８×８＝６４［個］
のＤＣＴ係数Ｋ０〜Ｋ６３からなるブロックに再構築される。
【０１４７】
この場合において、第８ＤＣＴグループＧ７〜第１０ＤＣＴグループＧ９に対応するＤＣＴ係数は生成されていないので、それらのＤＣＴ係数を全て“０”で置換する。
そして得られた６４個のＤＣＴ係数からなるブロックに対して２次元ＩＤＣＴ部により２次元ＩＤＣＴを施し、垂直方向及び水平方向に１／２サブサンプリングを行い、図１８（ｂ）に示すように、４［画素］×４［画素］（元の画素数（＝６４［画素］；図１８（ａ）参照）の１／４の画素数）からなるブロックを構成して、フレームメモリを４分割した第１〜第４の領域のうちの第１の領域に書き込む。この場合において、ＤＣＴ係数は低域に帯域制限されているので、サブサンプリングの前にフィルタによる帯域制限を行う必要がない。
【０１４８】
以上の処理を第１映像シークエンスの第１ＤＣＴ係数グループＧ０〜第７ＤＣＴ係数グループＧ６を構成する全てのＤＣＴ係数に対して行うことにより、フレームメモリ上の第１の領域には、画面の大きさが１／４の復号画像が表示されることとなる。
【０１４９】
同様にして、第２映像シークエンス〜第４映像シークエンスについても同様の処理を行い、フレームメモリの対応する領域に書き込むことにより、、第１〜第４映像シークエンスが一画面中に４分割表示可能な状態の復号画像が得られることとなる。
【０１５０】
こうして得られた復号画像をビデオインターフェース部でＤ／Ａ変換することによりディスプレイ画面上に４分割動画再生がなされることとなる。
次に多画面動画再生を用いた画像の高速検索処理について説明する。
図１９に多画面動画再生を用いた画像高速検索処理フローチャートを示す。以下の説明において、装置構成は図１を援用して説明する。
【０１５１】
再生コントロール部９は、メモリ６のディレクトリ領域６Ａに格納されている映像シークエンス数Ｎを取得する（ステップＳ４１）。
そしてより詳細には図１９に示すように、映像シークエンス数Ｎが最大画面分割数＝６４（画面）以上であるか否かを判別する（ステップＳ４２）。
【０１５２】
ステップＳ４２の判別において、頭出し情報数Ｎが最大画面分割数＝６４（画面）未満である場合には（ステップＳ４２；Ｎｏ）、Ｎに応じて画面分割数Ｍを確定し（ステップＳ４４）、メモリインターフェース部７及びデコーダ８に通知するとともに、処理をステップＳ４５に移行する。
【０１５３】
より詳細には、画素数変換処理などを行うことによる処理時間がかかるのを防止し、処理を簡素化すべく、予め設定した画面分割数を１（画面）、４（画面）、１６（画面）、６４（画面）の４種類とし、画面分割数Ｍを頭出し情報数Ｎを越え、かつ、最小の画面数に設定する。
【０１５４】
例えば、頭出し情報数Ｎ＝３である場合には画面分割数Ｍ＝４（画面）、頭出し情報数Ｎ＝３２である場合には画面分割数Ｍ＝６４に設定する。
ステップＳ４２の判別において、頭出し情報数Ｎが最大画面分割数６４以上である場合には（ステップＳ４２；Ｙｅｓ）、画面分割数Ｍを、
Ｍ＝６４
とし、メモリインターフェース部７及びデコーダ８に通知するとともに、映像シーケンス数Ｎを、
Ｎ＝６４
と設定する（ステップＳ４３）。
【０１５５】
次に表示用カウンタＸを、
Ｘ＝１
に設定する（ステップＳ４５）。
続いて画面分割数Ｍに応じてＸ番目の画像シークエンスについて必要なＤＣＴ係数を抽出する（ステップＳ４６）。
【０１５６】
より詳細には、メモリインターフェース部７は、再生コントロール部９から画面分割数Ｍが通知されると、メモリ６上のディレクトリ領域６Ａから画像シークエンスのスタートセクタ番号を参照してフレームデータＦＬ（あるいはフレームデータＦＬの一部）を読み出す。
【０１５７】
より具体的には、第１実施形態と同様に、フレームデータの先頭を表すＳＯＦ（Ｓｔａｒｔ Ｏｆ Ｆｒａｍｅ）データと、フレーム番号（Ｆｒａｍｅ Ｎｏ．）を表すフレーム番号データ、当該フレームの総バイト数を表すフレームバイト数カウントデータ並びに第１ＤＣＴ係数グループＧ０バイト数カウントデータ、第４ＤＣＴ係数グループＧ３ バイト数カウントデータあるいは第７ＤＣＴ係数グループＧ６バイト数カウントデータのうちから画面分割数Ｍに対応するいずれか一のデータを参照して、必要なＤＣＴ係数グループを読み出す。
【０１５８】
例えば、画面分割数Ｍ＝４の場合には、メモリインターフェース部７は、画面分割数Ｍ＝４に対応する第７ＤＣＴ係数グループＧ６ バイト数カウントデータを読み出して参照し、対応するフレームデータＦＬから第１ＤＣＴ係数グループＧ０から第７ＤＣＴ係数グループＧ６までの７つのＤＣＴ係数グループを読み出し、順次デコーダ８の逆フォーマッタ部１５に出力する。
【０１５９】
次にデコーダ８は、逆フォーマッタ部１５による逆フォーマッティング、可変長復号化部１６による２次元ハフマン復号化、逆量子化部１７による逆量子化、ＤＣＴ係数逆並び換え部５３によるＤＣＴ係数逆並び換え及び２次元ＩＤＣＴによる逆ＤＣＴを行う（ステップＳ４７）。
【０１６０】
より詳細には、逆フォーマッタ部１５は、第１ＤＣＴ係数グループＧ０〜第７ＤＣＴ係数グループＧ６に相当する複数の符号化画像データＤＶＬＧ’を生成して可変長復号化部１６に出力する。
可変長復号化部１６は、符号化画像データＤＶＬＧ’の２次元ハフマン復号化をおこない、複数の量子化復号画像データＤＱＳＢ’を逆量子化部１７に出力する。
【０１６１】
逆量子化部１７は、複数の量子化復号画像データを逆量子化して復号サブバンド画像データＤＳＢ’としてＤＣＴ係数逆並び替え部５３に出力する。
ＤＣＴ係数逆並び替え部５３は、第１ＤＣＴ係数グループＧ０から第７ＤＣＴ係数グループＧ６までの７つのＤＣＴ係数グループに対応するＤＣＴ係数の逆並び替えを行い、２次元ＩＤＣＴ部５４に出力する。
【０１６２】
２次元ＩＤＣＴ部５４は、入力されたＤＣＴ係数の逆ＤＣＴを行い、サブサンプリング後、復号画像データＤＤＧをビデオインターフェース部４に出力する。
ここで、多画面動画再生時の逆ＤＣＴ動作について、説明する。
ａ） 画面分割数Ｍ＝６４の場合には、２次元ＩＤＣＴ部５４は、第１ＤＣＴ係数グループＧ０の逆ＤＣＴをおこない、第１フレームメモリＦＭ１上の対応する位置に書き込む（ステップＳ４８）。
【０１６３】
そして、この段階で復号画像データＤＤＧとして、ビデオインターフェース部４に出力すると、復号画像データＤＤＧは、画素数が全画素数の１／６４の画像に相当することとなる。
ｂ） 画面分割数Ｍ＝１、４、１６の場合には、続いて、第２ＤＣＴ係数グループＧ１ 〜第４ＤＣＴ係数グループＧ３ の逆ＤＣＴを行い、第１フレームメモリＦＭ１上の対応する位置に書き込む（ステップＳ４８）。
【０１６４】
そして、この段階で復号画像データＤＤＧとしてビデオインターフェース部４に出力すると、復号画像データＤＤＧは、画素数が全画素数の１／１６の画像に相当することとなる。
ｃ） 画面分割数Ｍ＝１、４の場合には、次に、第５ＤＣＴ係数グループＧ４〜第７ＤＣＴ係数グループＧ６の逆ＤＣＴを行い、第１フレームメモリＦＭ１上の対応する位置に書き込む（ステップＳ４８）。
【０１６５】
そして、この段階で復号画像データＤＤＧとしてビデオインターフェース部４に出力すると、復号画像データＤＤＧは、画素数が全画素数の１／４の画像に相当することとなる。
ｄ） さらに画面分割数Ｍ＝１の場合には、次に第８ＤＣＴ係数グループＧ７〜第１０ＤＣＴ係数グループＧ１０の逆ＤＣＴを行い、第１フレームメモリＦＭ１上の対応する位置に書き込む（ステップＳ４８）。
【０１６６】
そして、この段階で復号画像データＤＤＧとしてビデオインターフェース部４に出力すると、復号画像データＤＤＧは、画素数が全画素数の１／１の画像に相当することとなる。
次に表示用カウンタＸの値と映像シークエンス数Ｎが等しいか否かを判別する（ステップＳ４９）。
【０１６７】
ステップＳ４９の判別において、
Ｘ＜Ｎ
の場合には（ステップＳ４９；Ｎｏ）、表示用カウンタＸをカウントアップ、すなわち、
Ｘ＝Ｘ＋１
とし（ステップＳ５５）、処理を再びステップＳ４６に移行してステップＳ４６〜ステップＳ４８の処理を繰り返す。
【０１６８】
ステップＳ４９の判別において、
Ｘ＝Ｎ
である場合には（ステップＳ４９；Ｙｅｓ）、画像が表示されていないＰ［個］、
Ｐ＝Ｍ−ｍｏｄ（Ｎ，Ｍ）［個］
の領域全てに“０”データ（ゼロデータ＝黒表示）を書き込む（ステップＳ５０）。ここで、
ｍｏｄ（Ｎ，Ｍ）
は、ＮをＭで割った場合の剰余である。
【０１６９】
続いて再生コントロール部９は、表示指示を行う（ステップＳ５１）。
この結果、ビデオインターフェース部４は、入力された復号画像データＤＤＧをＤ／Ａ変換し、画像信号ＳＤＧとしてディスプレイ３に出力し、ディスプレイ３の画面上には、画面分割数Ｍに対応する画素数を有する画像が表示されることとなる。
【０１７０】
次に再生コントロール部９は、映像シークエンス数Ｎが、
Ｎ≧６４
であるか否かを判別する（ステップＳ５２）。
ステップＳ５２の判別において、
Ｎ≧６４
の場合には（ステップＳ５２；Ｙｅｓ）、高速検索処理の終了指示がされたか否かを判別し（ステップＳ５３）、終了指示がされた場合には（ステップＳ５３；Ｙｅｓ）、処理を終了する。
【０１７１】
ステップＳ５３の判別において、終了指示がされていない場合には（ステップＳ５３；Ｎｏ）、
Ｎ＝Ｎ＋６４
とし（ステップＳ５４）、
Ｘ＝Ｘ＋１
として（ステップＳ５５）、処理をステップＳ４６に移行し、以下、同様の処理を繰り返す。
【０１７２】
ステップＳ５２の判別において、
Ｎ＜６４
の場合には（ステップＳ５２；Ｎｏ）、処理を終了する。
以上の説明のように、本第２実施形態においても、多画面動画再生を用いることによりメモリ中に記憶されている複数の画像シークエンスのうちから目的の画像シークエンスを迅速に検索することが可能となる。
【０１７３】
以上の第２実施形態においては、、８×８画素をブロックとしてＤＣＴ変換係数を生成するように構成していたが、（２Ｘ×２Ｘ）画素を一のブロックとし（Ｘ：自然数）、（２Ｘ×２Ｘ）個の離散コサイン変換係数を生成する離散コサイン変換処理を行う場合についても、本発明の適用が可能である。
【０１７４】
すなわち、得られた１フレームの離散コサイン変換係数を予め設定した（３・Ｘ＋１）個の帯域に分割して記憶し、画面分割数Ｍが
４Ｚ≧Ｍ＞４（Ｚ−１）
（ただし、ＺはＸ≧Ｚ≧０を満たす整数）
である場合に、最も低域の帯域である第１帯域に相当する第１ＤＣＴ係数グループから第（３・（Ｘ−Ｚ）＋１）帯域に相当する第（３・（Ｘ−Ｚ）＋１）ＤＣＴ係数グループまでの（３・（Ｘ−Ｚ）＋１）個のＤＣＴ係数グループをメモリ６から読み出して処理するように構成すればよい。
【０１７５】
上記各実施形態においては、通常の再生速度（１倍速）で再生を行っていたが、２倍速、３倍速、……というように早送り再生を行う場合にも本発明の適用が可能である。
この場合においては、より高速で画像検索を行うことができる。
【０１７６】
【発明の効果】
請求項１記載の発明によれば、符号化データ記憶手段は、入力信号を複数の帯域に分割し、量子化し、符号化して得られる符号化データを複数の入力信号について記憶し、読出手段は、符号化データ記憶手段に記憶された入力信号の数である入力信号数Ｎに基づいて、データ分割数Ｍを決定する分割数決定手段と、複数の帯域に対応する符号化データのうち、少なくともデータ分割数Ｍに対応するデータ量を有する一又は複数の帯域に対応した符号化データを記憶手段から読み出し、復号化手段は、読出手段により読み出された符号化データに基づいて復号化処理を行い復号化データを復号化データ記憶手段に出力し、復号化データ記憶手段は、Ｍ個の入力信号についての復号化データを記憶し、表示手段は、復号化データ記憶手段に記憶された復号化データに基づいて一の画面を分割して複数の画像の表示を行い、これらの画像表示動作と並行して、再生制御手段は、外部から入力された選択制御信号に基づいて表示手段に表示された複数の画像のうち選択された一の画像を再生可能状態とするので、画面上に表示された複数の画像に基づいて、高速で記録動画像を一覧することができ、表示された複数の動画像のうちいずれか一の動画像に対応する選択制御信号を入力することにより容易に頭出しを行うことができ、記録されている動画像の確認、検索を高速に行うことができる。
【０１７７】
また、ダミーデータ記憶手段は、入力信号数Ｎがデータ分割数Ｍより小さい場合に、復号化データ記憶手段の記憶領域をＭ分割したＭ分割記憶領域とし、Ｎ個のＭ分割記憶領域に復号化データを記憶するとともに、（Ｍ−Ｎ）個のＭ分割記憶領域にダミー復号化データを書き込むので、記録入力信号数が少なく、表示すべき動画像が画面全体にならない場合でも、処理を変更することなく容易に表示を行うことができる。
【０１７８】
請求項２記載の発明によれば、請求項１記載の発明の効果に加えて、均等割り時間算出手段は、入力信号数Ｎ及び符号化データ手段に記憶された符号化データの総記録時間Ｔに基づき、時間間隔ＥＱを次式、
ＥＱ＝Ｔ／Ｎ
により算出し、読出手段は、均等割り時間算出手段により算出された時間間隔ＥＱに対応するデータ量で記憶手段中の符号化データをグループ化し、各グループを一の映像信号に対応する符号化データ群とみなして読出処理を行うので、一の分割画面に表示される画像の再生時間は複数の分割画面で等しくなり、記憶されている動画像を均等に一覧することができ、検索がより容易となる。
【０１７９】
請求項３記載の発明によれば、請求項１又は請求項２記載の発明の効果に加えて、読出手段は、外部より入力されたインターバル時間ｔに対応するデータ量で記憶手段中の符号化データをグループ化し、各グループを一の映像信号に対応する符号化データ群とみなして読出処理を行うので、各分割画面に表示される動画像はインターバル時間ｔとなり、ユーザに最適な検索単位で動画像を検索することが可能となる。
【０１８０】
請求項４記載の発明によれば、請求項１又は請求項２記載の発明の効果に加えて、読出手段は、記憶手段の記憶領域のうち、同一の入力信号に対応する記憶領域ををリング状に記憶領域が連続しているリング状記憶領域とみなすとともに、外部より入力されたインターバル時間ｔに対応するデータ量でリング状記憶領域中の符号化データを連続的に順次グループ化し、各グループを一の映像信号に対応する符号化データ群とみなして読出処理を行うので、各分割画面に表示される動画像は、同一の入力信号に対応するものとなり、容易に目的とする動画像を選択することが可能となる。
【０１８１】
請求項５記載の発明によれば、請求項１乃至請求項４いずれかに記載の発明の効果に加えて、読出手段は、画面分割数Ｍが
４Z≧Ｍ＞４(Z-1)
（ただし、ＺはＸ≧Ｚ≧０を満たす整数）
である場合に、最も低域の帯域である第１帯域から第（３・（Ｘ−Ｚ）＋１）帯域までの（３・（Ｘ−Ｚ）＋１）個の帯域を構成する符号化データを読み出すので、分割画面数に合わせて読み出すべきデータ量がほぼ一定となるように容易に設定することができ、分割画面数が増えても、表示に必要な処理時間はほぼ一定とすることができ、分割画面数に関わりなく、高速検索を行うことが可能となる。
【０１８２】
請求項６記載の発明によれば、請求項１乃至請求項４のいずれかに記載の発明の効果に加えて、記憶手段は、符号化により得られた１フレームの離散コサイン変換係数を予め設定した（３・Ｘ＋１）個の帯域に分割して記憶し、読出手段は、画面分割数Ｍが
４Z≧Ｍ＞４(Z-1)
（ただし、ＺはＸ≧Ｚ≧０を満たす整数）
である場合に、最も低域の帯域である第１帯域から第（３・（Ｘ−Ｚ）＋１）帯域までの（３・（Ｘ−Ｚ）＋１）個の帯域を構成する符号化データを読み出すので、画像圧縮方法として離散コサイン変換を用いる場合でも、分割画面数に合わせて読み出すべきデータ量がほぼ一定となるように容易に設定することができ、分割画面数が増えても、表示に必要な処理時間はほぼ一定とすることができ、分割画面数に関わりなく、高速検索を行うことが可能となる。
【０１８３】
請求項７記載の発明によれば、請求項１乃至請求項６のいずれかに記載の発明の効果に加えて、符号化データ記憶手段及び復号化データ記憶手段は、半導体メモリにより構成されるので、複数の動画像を容易、かつ、迅速に画面に表示すべく、ランダムアクセスによりデータ読出を行うことができ、高速検索を容易に行うことができる。
【０１８４】
請求項８記載の発明によれば、符号化データ記憶工程は、入力映像を複数の帯域に分割し、量子化し、符号化し、電気的あるいは光学的に書き込み、読み出し可能な符号化データ記憶媒体に符号化データとして記憶させ、分割数工程は、入力映像の数である入力映像数Ｎに基づいて、データ分割数Ｍを決定する。
【０１８５】
読出工程は、複数の帯域に対応する符号化データのうち、少なくともデータ分割数Ｍに対応するデータ量を有する一又は複数の帯域に対応した符号化データを符号化データ記憶媒体から読み出し、復号化工程は、読出工程により読み出された符号化データに基づいて復号化処理を行い、復号化データ記憶工程は、少なくとも一フレーム分の符号化データを記憶可能な記憶容量を有し、Ｍ個の入力信号についての復号化データを復号化データ記憶媒体に記憶し、表示工程は、復号化データ記憶媒体に記憶された復号化データに基づいて一の画面を分割して複数の画像の表示を行い、再生制御工程は、外部から入力された選択制御指示に基づいて表示工程において表示された複数の画像のうち選択された一の画像を再生可能状態とするので、画面上に表示された複数の画像に基づいて、高速で記録動画像を一覧することができ、表示された複数の動画像のうちいずれか一の動画像に対応する選択制御信号を入力することにより容易に頭出しを行うことができ、記録されている動画像の確認、検索を高速に行うことができる。
【０１８６】
また、ダミーデータ書込工程は、入力映像数Ｎがデータ分割数Ｍより小さい場合に、復号化データ記憶媒体の記憶領域をＭ分割したＭ分割記憶領域とし、Ｎ個のＭ分割記憶領域に復号化データを記憶するとともに、（Ｍ−Ｎ）個のＭ分割記憶領域にダミー復号化データを書き込むので、記録入力信号数が少なく、表示すべき動画像が画面全体にならない場合でも、処理を変更することなく容易に表示を行うことができる。
【０１８７】
請求項９記載の発明によれば、請求項８記載の発明の効果に加えて、均等割り時間算出工程は、入力映像数Ｎ及び符号化データ記憶媒体に記憶された符号化データの総記録時間Ｔに基づき、時間間隔ＥＱを次式、
ＥＱ＝Ｔ／Ｎ
により算出し、読出工程は、均等割り時間算出工程において算出された時間間隔ＥＱに対応するデータ量で符号化データ記憶媒体中の符号化データをグループ化し、各グループを一の入力映像に対応する符号化データ群とみなして読出処理を行うので、一の分割画面に表示される画像の再生時間は複数の分割画面で等しくなり、記憶されている動画像を均等に一覧することができ、検索がより容易となる。
【０１８８】
請求項１０記載の発明によれば、請求項８又は請求項９記載の発明の効果に加えて、読出工程は、外部より入力されたインターバル時間ｔに対応するデータ量で符号化データ記憶媒体中の符号化データをグループ化し、各グループを一の入力映像に対応する符号化データ群とみなして読出処理を行うので、各分割画面に表示される動画像はインターバル時間ｔとなり、ユーザに最適な検索単位で動画像を検索することが可能となる。
【０１８９】
請求項１１記載の発明によれば、請求項８請求項９記載の発明の効果に加えて、読出工程は、符号化データ記憶媒体の記憶領域のうち、同一の映像信号に対応する記憶領域ををリング状に記憶領域が連続しているリング状記憶領域とみなすとともに、外部より入力されたインターバル時間ｔに対応するデータ量でリング状記憶領域中の符号化データを連続的に順次グループ化し、各グループを一の入力映像に対応する符号化データ群とみなして読出処理を行うので、各分割画面に表示される動画像は、同一の入力信号に対応するものとなり、容易に目的とする動画像を選択することが可能となる。
【０１９０】
請求項１２記載の発明によれば、請求項８又は請求項９記載の発明の効果に加えて、読出工程は、画面分割数Ｍが
４Z≧Ｍ＞４(Z-1)
（ただし、ＺはＸ≧Ｚ≧０を満たす整数）
である場合に、最も低域の帯域である第１帯域から第（３・（Ｘ−Ｚ）＋１）帯域までの（３・（Ｘ−Ｚ）＋１）個の帯域を構成する符号化データを読み出すので、分割画面数に合わせて読み出すべきデータ量がほぼ一定となるように容易に設定することができ、分割画面数が増えても、表示に必要な処理時間はほぼ一定とすることができ、分割画面数に関わりなく、高速検索を行うことが可能となる。
【０１９１】
請求項１３記載の発明によれば、請求項８乃至請求項１０記載の発明の効果に加えて、記憶工程は、符号化により得られた１フレームの離散コサイン変換係数を予め設定した（３・Ｘ＋１）個の帯域に分割して記憶し、読出工程は、画面分割数Ｍが
４Z≧Ｍ＞４(Z-1)
（ただし、ＺはＸ≧Ｚ≧０を満たす整数）
である場合に、最も低域の帯域である第１帯域から第（３・（Ｘ−Ｚ）＋１）帯域までの（３・（Ｘ−Ｚ）＋１）個の帯域を構成する符号化データを読み出すので、画像圧縮方法として離散コサイン変換を用いる場合でも、分割画面数に合わせて読み出すべきデータ量がほぼ一定となるように容易に設定することができ、分割画面数が増えても、表示に必要な処理時間はほぼ一定とすることができ、分割画面数に関わりなく、高速検索を行うことが可能となる。
【０１９２】
請求項１４記載の発明によれば、画像検索プログラム記憶媒体に記憶されている画像検索プログラムにもとづいて画像検索をコンピュータにより行うことにより、入力映像を複数の帯域に分割し、量子化し、符号化し、電気的あるいは光学的に書き込み、読み出し可能な符号化データ記憶媒体に符号化データとして記憶させ、入力映像の数である入力映像数Ｎに基づいて、データ分割数Ｍを決定し、複数の帯域に対応する符号化データのうち、少なくともデータ分割数Ｍに対応するデータ量を有する一又は複数の帯域に対応した符号化データを符号化データ記憶媒体から読み出し、読出工程により読み出された符号化データに基づいて復号化処理を行い、Ｍ個の入力信号についての復号化データを少なくとも一フレーム分の符号化データを記憶可能な記憶容量を有する復号化データ記憶媒体に記憶し、復号化データ記憶媒体に記憶された復号化データに基づいて一の画面を分割して複数の画像の表示を行い、外部から入力された選択制御信号に基づいて表示工程に表示された複数の画像のうち選択された一の画像を再生可能状態とするので、画面上に表示された複数の画像に基づいて、高速で記録動画像を一覧することができ、表示された複数の動画像のうちいずれか一の動画像に対応する選択制御信号を入力することにより容易に頭出しを行うことができ、記録されている動画像の確認、検索を高速に行うことができる。
【０１９３】
また、画像検索プログラムに基づいて画像検索を行うことにより、入力映像数Ｎがデータ分割数Ｍより小さい場合に、復号化データ記憶媒体の記憶領域をＭ分割したＭ分割記憶領域とし、Ｎ個のＭ分割記憶領域に復号化データを記憶するとともに、（Ｍ−Ｎ）個のＭ分割記憶領域にダミー復号化データを書き込むので、記録入力信号数が少なく、表示すべき動画像が画面全体にならない場合でも、処理を変更することなく容易に表示を行うことができる。
【０１９４】
請求項１５記載の発明によれば、請求項１４記載の発明の効果に加えて、画像検索プログラムに基づいて画像検索を行うことにより、入力映像数Ｎ及び符号化データ記憶媒体に記憶された符号化データの総記録時間Ｔに基づき、時間間隔ＥＱを次式、
ＥＱ＝Ｔ／Ｎ
により算出し、時間間隔ＥＱに対応するデータ量で符号化データ記憶媒体中の符号化データをグループ化し、各グループを一の入力映像に対応する符号化データ群とみなして読出処理を行うので、一の分割画面に表示される画像の再生時間は複数の分割画面で等しくなり、記憶されている動画像を均等に一覧することができ、検索がより容易となる。
【０１９５】
請求項１６記載の発明によれば、請求項１４又は請求項１５記載の発明の効果に加え、画像検索プログラムに基づいて画像検索を行うことにより、インターバル時間ｔに対応するデータ量で符号化データ記憶媒体中の符号化データをグループ化し、各グループを一の入力映像に対応する符号化データ群とみなして読出処理を行うので、各分割画面に表示される動画像はインターバル時間ｔとなり、ユーザに最適な検索単位で動画像を検索することが可能となる。
【０１９６】
請求項１７記載の発明によれば、請求項１４又は請求項１５記載の発明の効果に加えて、画像検索プログラムに基づいて画像検索を行うことにより、符号化データ記憶媒体の記憶領域のうち、同一の映像信号に対応する記憶領域ををリング状に記憶領域が連続しているリング状記憶領域とみなすとともに、インターバル時間ｔに対応するデータ量でリング状記憶領域中の符号化データを連続的に順次グループ化し、各グループを一の入力映像に対応する符号化データ群とみなして読出処理を行うので、各分割画面に表示される動画像は、同一の入力信号に対応するものとなり、容易に目的とする動画像を選択することが可能となる。
【０１９７】
請求項１８記載の発明によれば、請求項１４乃至請求項１７のいずれかに記載の発明の効果に加えて、画像検索プログラムに基づいて画像検索を行うことにより、画面分割数Ｍが
４Z≧Ｍ＞４(Z-1)
（ただし、ＺはＸ≧Ｚ≧０を満たす整数）
である場合に、最も低域の帯域である第１帯域から第（３・（Ｘ−Ｚ）＋１）帯域までの（３・（Ｘ−Ｚ）＋１）個の帯域を構成する符号化データを読み出すので、分割画面数に合わせて読み出すべきデータ量がほぼ一定となるように容易に設定することができ、分割画面数が増えても、表示に必要な処理時間はほぼ一定とすることができ、分割画面数に関わりなく、高速検索を行うことが可能となる。
【０１９８】
請求項１９記載の発明によれば、請求項１４乃至請求項１７のいずれかに記載の発明の効果に加えて、画像検索プログラムに基づいて画像検索を行うことにより、符号化により得られた１フレームの離散コサイン変換係数を予め設定した（３・Ｘ＋１）個の帯域に分割して記憶し、画面分割数Ｍが
４Z≧Ｍ＞４(Z-1)
（ただし、ＺはＸ≧Ｚ≧０を満たす整数）
である場合に、最も低域の帯域である第１帯域から第（３・（Ｘ−Ｚ）＋１）帯域までの（３・（Ｘ−Ｚ）＋１）個の帯域を構成する符号化データを読み出すので、複数の動画像を容易、かつ、迅速に画面に表示すべく、ランダムアクセスによりデータ読出を行うことができ、高速検索を容易に行うことができる。
【図面の簡単な説明】
【図１】実施形態の映像記録再生装置の概要構成ブロック図である。
【図２】ウェーブレット変換動作の説明図（１）である。
【図３】ウェーブレット変換動作の説明図（２）である。
【図４】メモリの物理フォーマットの説明図である。
【図５】フレームデータのデータ構成説明図である。
【図６】ウェーブレット逆変換動作の説明図（１）である。
【図７】ウェーブレット逆変換動作の説明図（２）である。
【図８】多画面動画再生時のメモリのデータ格納状態及び物理フォーマットの説明図である。
【図９】画像高速検索処理フローチャートである。
【図１０】第１実施形態の多画面動画再生処理フローチャートである。
【図１１】ウェーブレット逆変換動作の詳細動作説明図である。
【図１２】ウェーブレット逆変換動作の詳細説明図である。
【図１３】時間均等割り再生モードの再生状態説明図である。
【図１４】インターバル再生モードの再生状態説明図である。
【図１５】第２実施形態の構成説明図である。
【図１６】ＤＣＴ係数及びＤＣＴ係数の帯域分割の説明図である。
【図１７】ＤＣＴ係数の並び替え処理の説明図である。
【図１８】２次元逆ＤＣＴ変換の説明図である。
【図１９】第２実施形態の多画面動画再生処理フローチャートである。
【符号の説明】
１ 映像記録再生装置
２ ビデオカメラ
３ ディスプレイ
４ ビデオインターフェース部
５ エンコーダ
６ メモリ
７ メモリインターフェース部
８ デコーダ
９ 再生コントロール部
１１ ウェーブレット変換部
１２ 量子化部
１３ 可変長符号化部
１４ フォーマッタ部
１５ 逆フォーマッタ部
１６ 可変長復号化部
１７ 逆量子化部
１８ ウェーブレット逆変換部
ＳＧ 画像信号
ＤＧ 画像データ
ＤＤＧ 復号画像データ
ＦＬ フレームデータ
ＤＳＢ サブバンド画像データ
ＤＱＳＢ 量子化サブバンドデータ
ＤＶＬＧ 符号化画像データ
ＤＶＬＧ’ 可変長復号化画像データ
ＤＱＳＢ’ 量子化復号画像データ
ＤＳＢ’ 逆量子化画像データ
ＳＤＧ 復号画像信号[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image search apparatus, an image search method, and an image search program storage medium, and more particularly to an image search apparatus, an image search method, and a compressed image obtained by compressing image data based on compressed image data obtained by compressing image data. The present invention relates to an image search program storage medium storing an image search program for performing an image search based on data.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, magnetic tapes, optical disks, and the like have been used as storage media for recording image signals corresponding to moving images.
In such a storage medium, there are cases where a plurality of image signals corresponding to a plurality of moving images are recorded. In order to confirm what kind of moving image is recorded, the recorded image is stored in the storage medium. In general, fast forward reproduction is sequentially performed from the head side of the disc, or cue reproduction is sequentially performed based on index information (recording start position information of each image, time information, etc.) previously stored in a storage medium. .
[0003]
[Problems to be solved by the invention]
In the method of checking the storage state using the above-described conventional image storage medium, it is not necessary to check the content by mechanically driving the storage medium to sequentially perform fast forward (forward jump) or rewind (reverse jump). However, there is a problem that it takes time and effort for confirmation.
[0004]
Accordingly, an object of the present invention is to provide an image search device, an image search method, and an image search program storage medium storing an image search program, which can search for a moving image stored in a storage medium at high speed and perform cueing. Is to provide.
[0005]
[Means for Solving the Problems]
The invention according to claim 1 is capable of being written or read electrically or optically, divides an input signal into a plurality of bands, quantizes and quantizes the coded data, and converts coded data obtained from the plurality of input signals into a plurality of bands. Coded data storage means for storing; a division number determination means for determining a data division number M based on an input signal number N which is the number of the input signals stored in the encoded data storage means; Reading means for reading, from the storage means, the coded data corresponding to one or a plurality of bands having a data amount corresponding to at least the data division number M among the coded data corresponding to the bands; Decoding means for performing decoding processing based on the read encoded data and outputting decoded data, and at least one frame of the encoded data; A decoded data storage unit having a storage capacity capable of storing the decoded data for the M input signals; and one of the decoded data storage units based on the decoded data stored in the decoded data storage unit. Display means for dividing the screen to display a plurality of images, and a state in which one of the plurality of images displayed on the display means can be reproduced based on a selection control signal input from the outside. Playback control means,When the number of input signals N is smaller than the number of data divisions M, the storage area of the decoded data storage means is divided into M divided storage areas, and the decoded data is stored in N M divided storage areas. And dummy data writing means for writing dummy decoded data in the (MN) M divided storage areas.It comprises.
[0006]
According to the first aspect of the present invention, the coded data storage means divides the input signal into a plurality of bands, quantizes and quantizes the coded data, and stores coded data obtained from the plurality of input signals.
The reading means includes: a division number determining means for determining a data division number M based on an input signal number N which is the number of input signals stored in the encoded data storage means; The coded data corresponding to one or a plurality of bands having a data amount corresponding to at least the data division number M is read out from the storage means.
[0007]
The decoding unit performs a decoding process based on the encoded data read by the reading unit, and outputs the decoded data to the decoded data storage unit.
The decoded data storage means stores decoded data for the M input signals.
[0008]
The display unit divides one screen based on the decoded data stored in the decoded data storage unit and displays a plurality of images.
In parallel with these image display operations, the reproduction control means sets one of the plurality of images displayed on the display means based on a selection control signal input from the outside in a reproducible state.
[0010]
Also,When the number N of input signals is smaller than the number M of data divisions, the mee data storage means sets the storage area of the decoded data storage means to an M-division storage area obtained by dividing M, and stores the decoded data in N M-division storage areas. At the same time, the dummy decoded data is written to the (MN) M divided storage areas.
[0011]
ClaimItem 2The claimed invention is claimedItem 1In the above invention, based on the number N of the input signals and the total recording time T of the encoded data stored in the encoded data means, a time interval EQ is expressed by the following equation:
EQ = T / N
The reading means groups the coded data in the storage means with a data amount corresponding to the time interval EQ, and sets each group to a code corresponding to one video signal. It is configured to perform the reading process by regarding the data as a group of encrypted data.
[0012]
ClaimItem 2According to the claimed invention,Item 1In addition to the operation of the invention described above, the equal division time calculating means calculates the time interval EQ based on the number N of input signals and the total recording time T of the encoded data stored in the encoded data means by the following equation:
EQ = T / N
It is calculated by:
[0013]
The reading means groups the encoded data in the storage means with a data amount corresponding to the time interval EQ calculated by the equally divided time calculating means, and regards each group as an encoded data group corresponding to one video signal. Perform the reading process.
ClaimItem 3The invention described in the claims1 or Claim 2In the invention described in the claims, the reading means groups the encoded data in the storage means with a data amount corresponding to an interval time t input from the outside, and encodes each group into encoded data corresponding to one video signal. The reading processing is performed by regarding the group as a group.
[0014]
ClaimItem 3According to the claimed invention, the claims1 or Claim 2In addition to the operation of the invention described above, the readout unit groups encoded data in the storage unit with a data amount corresponding to an interval time t input from the outside, and encodes each group into an encoding corresponding to one video signal. The read processing is performed by regarding the data group.
[0015]
ClaimItem 4The invention described in the claims1 or Claim 2In the invention described in the description, the readout unit regards a storage region corresponding to the same input signal among storage regions of the storage unit as a ring-shaped storage region in which storage regions are continuous in a ring shape, and The encoded data in the ring-shaped storage area is sequentially and sequentially grouped with a data amount corresponding to the input interval time t, and each group is read out as an encoded data group corresponding to one video signal. It is configured to perform processing.
[0016]
ClaimItem 4According to the claimed invention, the claims1 or Claim 2In addition to the effect of the invention described, the readout unit regards a storage region corresponding to the same input signal among the storage regions of the storage unit as a ring-shaped storage region in which the storage regions are continuous in a ring shape, The coded data in the ring-shaped storage area is successively and sequentially grouped by the data amount corresponding to the interval time t input from the outside, and each group is regarded as a coded data group corresponding to one video signal and read processing is performed. I do.
[0017]
ClaimItem 5The invention described in the claimsAny one of claims 1 to 4In the invention described above, the encoding is an X-layer two-dimensional wavelet transform process (X: an integer equal to or greater than 2), and the reading unit determines that the screen division number M is
4Z≧ M> 4(Z-1)
(However, Z is an integer satisfying X ≧ Z ≧ 0)
, The encoded data constituting (3 · (X−Z) +1) bands from the first band, which is the lowest band, to the (3 · (X−Z) +1) band. Is read.
[0018]
ClaimItem 5According to the claimed invention, the claimsAny one of claims 1 to 4In addition to the effect of the invention described, the reading means may include a screen division number M
4Z≧ M> 4(Z-1)
(However, an integer satisfying X ≧ Z ≧ 1)
, The encoded data constituting (3 · (X−Z + 1) +1) bands from the first band, which is the lowest band, to the (3 · (X−Z + 1) +1) band, read out.
[0019]
ClaimItem 6The invention described in the claimsAny one of claims 1 to 4In the described invention, the encoding is (2)X× 2X) Pixels are defined as one block (X: integer of 2 or more), (2X× 2X) Discrete cosine transform processing for generating discrete cosine transform coefficients, wherein the storage means divides the discrete cosine transform coefficient of one frame obtained by the encoding into (3 · X + 1) predetermined bands. The reading means sets the screen division number M as
4Z≧ M> 4(Z-1)
(However, Z is an integer satisfying X ≧ Z ≧ 0)
, The encoded data constituting (3 · (X−Z) +1) bands from the first band, which is the lowest band, to the (3 · (X−Z) +1) band. Is read.
[0020]
ClaimItem 6According to the claimed invention, the claimsAny one of claims 1 to 4In addition to the effect of the invention described, the storage means stores a discrete cosine transform coefficient of one frame obtained by encoding in a predetermined XTwoDivided into a plurality of bands and stored.
4Z≧ M> 4(Z-1)
(However, an integer satisfying X ≧ Z ≧ 1)
, The encoded data constituting (3 · (X−Z + 1) +1) bands from the first band, which is the lowest band, to the (3 · (X−Z + 1) +1) band, read out.
[0021]
ClaimItem 7The invention described in the claimsAny one of claims 1 to 6In the described invention, the encoded data storage means and the decoded data storage means are configured to be constituted by semiconductor memories.
ClaimItem 7According to the claimed invention, the claims1 to 6In addition to the functions of the invention described in any one of the above, the encoded data storage means and the decoded data storage means are constituted by semiconductor memories.
[0022]
ClaimItem 8The disclosed invention divides an input video into a plurality of bands, quantizes, encodes, electrically or optically writes, and stores encoded data on a readable encoded data storage medium as encoded data. A division number determining step of determining a data division number M based on the input video number N which is the number of the input images; and at least the data division number M of the encoded data corresponding to the plurality of bands. A reading step of reading the coded data corresponding to one or a plurality of bands having a corresponding data amount from the coded data storage medium, and a decoding process based on the coded data read by the reading step. A decoding process to be performed, and a storage capacity capable of storing at least one frame of the encoded data, and decoding the decoded data for the M input signals. A decrypted data storage step of storing in a decrypted data storage medium, a display step of dividing one screen based on the decrypted data stored in the decrypted data storage medium to display a plurality of images, A reproduction control step of setting a selected one of the plurality of images displayed in the display step to a reproducible state based on the selection control instruction input fromWhen the input video number N is smaller than the data division number M, the storage area of the decoded data storage medium is divided into M divided storage areas, and the decoded data is stored in N M divided storage areas. A dummy data writing step of writing dummy decoded data in the (M−N) M divided storage areas;It comprises so that it may be provided.
[0023]
ClaimItem 8According to the invention described above, the encoded data storage step includes dividing the input video into a plurality of bands, quantizing, encoding, electrically or optically writable, and reading the encoded data in a readable encoded data storage medium. To be stored.
In the division number step, the data division number M is determined based on the input video number N which is the number of input images.
[0024]
In the reading step, of the encoded data corresponding to the plurality of bands, the encoded data corresponding to one or a plurality of bands having a data amount corresponding to at least the data division number M is read from the encoded data storage medium.
The decoding step performs a decoding process based on the encoded data read in the reading step.
[0025]
The decoded data storage step has a storage capacity capable of storing at least one frame of encoded data, and stores decoded data for M input signals in a decoded data storage medium.
The display step divides one screen based on the decoded data stored in the decoded data storage medium and displays a plurality of images.
[0026]
In the reproduction control step, one of the plurality of images displayed in the display step is set to a reproducible state based on a selection control instruction input from the outside.You.
[0027]
Also,The me-data writing step includes, when the input video number N is smaller than the data division number M, setting the storage area of the decoded data storage medium to an M-divided storage area and dividing the decoded data into N M-divided storage areas. And write the dummy decoded data into the (MN) M divided storage areas.
[0028]
ClaimItem 9The claimed invention is claimedItem 8In the invention described above, a time interval EQ is expressed by the following equation based on the number N of input videos and the total recording time T of the encoded data stored in the encoded data storage medium:
EQ = T / N
Wherein the readout step includes grouping the encoded data in the encoded data storage medium with a data amount corresponding to the time interval EQ, and converting each group into one input image. The reading processing is performed by regarding the corresponding encoded data group.
[0029]
ClaimItem 9According to the claimed invention,Item 8In addition to the operation of the above-described invention, the equally dividing time calculating step includes calculating the time interval EQ based on the number N of input videos and the total recording time T of the encoded data stored in the encoded data storage medium by the following equation:
EQ = T / N
It is calculated by:
[0030]
In the reading step, the encoded data in the encoded data storage medium is grouped by the data amount corresponding to the time interval EQ calculated in the equally divided time calculating step, and each group is encoded data group corresponding to one input video. And perform the reading process.
Claim10The invention described in the claims8 or claim 9In the described invention, in the reading step, the encoded data in the encoded data storage medium is grouped by a data amount corresponding to an interval time t input from the outside, and each group corresponds to one input image. The reading process is performed by regarding the encoded data as a group.
[0031]
Claim10According to the described invention, the claims8 or claim 9In addition to the operation of the described invention, the reading step includes grouping the encoded data in the encoded data storage medium with a data amount corresponding to the interval time t input from the outside, and each group corresponds to one input image. The read processing is performed by regarding the encoded data group as the data group to be read.
[0032]
Claim11The invention described in the claims8 or claim 9In the invention described in the above, the reading step includes, in a storage area of the encoded data storage medium, a storage area corresponding to the same video signal.ToThe coded data in the ring-shaped storage area is sequentially and sequentially grouped with a data amount corresponding to an interval time t input from the outside while the storage area is regarded as a ring-shaped storage area having a continuous ring-shaped storage area. , Each group is regarded as a group of encoded data corresponding to one input video and read processing is performed.
[0033]
Claim11According to the described invention, the claims8 or claim 9In addition to the effect of the invention described, the reading step includes, among the storage areas of the encoded data storage medium, a storage area corresponding to the same video signal.ToThe storage area is regarded as a ring-shaped storage area having a continuous ring-shaped storage area, and the encoded data in the ring-shaped storage area is sequentially and sequentially grouped with a data amount corresponding to an interval time t input from the outside. The read processing is performed by regarding the group as an encoded data group corresponding to one input video.
[0034]
Claim12The invention described in the claimsAny of claims 8 to 11In the invention described in the above, the encoding is an X-layer two-dimensional wavelet transform process (X: an integer of 2 or more), and in the reading step, the screen division number M is
4Z≧ M> 4(Z-1)
(However, Z is an integer satisfying X ≧ Z ≧ 0)
, The encoded data constituting (3 · (X−Z) +1) bands from the first band, which is the lowest band, to the (3 · (X−Z) +1) band. Is read.
[0035]
Claim12According to the described invention, the claimsAny of claims 8 to 11In addition to the operation of the described invention, in the reading step, the screen division number M
4Z≧ M> 4(Z-1)
(However, an integer satisfying X ≧ Z ≧ 1)
, The encoded data constituting (3 · (X−Z + 1) +1) bands from the first band, which is the lowest band, to the (3 · (X−Z + 1) +1) band, read out.
[0036]
ClaimThirteenThe invention described in the claimsAny of claims 8 to 11In the described invention, the encoding is (2)X× 2X) Pixels are taken as one block (X: natural number), (2)X× 2X) Discrete cosine transform processing for generating discrete cosine transform coefficients, wherein the storing step divides the discrete cosine transform coefficients of one frame obtained by the encoding into (3 · X + 1) predetermined bands. The reading step is performed when the screen division number M is
4Z≧ M> 4(Z-1)
(However, Z is an integer satisfying X ≧ Z ≧ 0)
, The encoded data constituting (3 · (X−Z) +1) bands from the first band, which is the lowest band, to the (3 · (X−Z) +1) band. Is read.
[0037]
ClaimThirteenAccording to the described invention, the claimsAny of claims 8 to 11In addition to the operation of the described invention, the storing step includes the step of storing a discrete cosine transform coefficient of one frame obtained by encoding to a preset X.TwoIn the reading step, the screen division number M is
4Z≧ M> 4(Z-1)
(However, an integer satisfying X ≧ Z ≧ 1)
, The encoded data constituting (3 · (X−Z + 1) +1) bands from the first band, which is the lowest band, to the (3 · (X−Z + 1) +1) band, read out.
[0038]
Claim14The described invention divides an input video into a plurality of bands, quantizes and encodes, and can write or read electrically or optically in an image search program storage medium storing an image search program for performing an image search by a computer. And the number of input videos, which is the number of the input videos, determines the number of data divisions M, among the encoded data corresponding to the plurality of bands. Reading the encoded data corresponding to one or a plurality of bands having a data amount corresponding to at least the data division number M from the encoded data storage medium, based on the encoded data read in the reading step. And performs decoding processing on the M pieces of the input signals by using the decoded data for at least one frame. Data in a decoded data storage medium having a storage capacity capable of storing the data, dividing one screen based on the decoded data stored in the decoded data storage medium to display a plurality of images, A state in which one selected image among the plurality of images displayed in the display step based on the selection control signal input from the outside can be reproduced.When the number N of input images is smaller than the number M of data divisions, the storage area of the decoded data storage medium is set to an M-divided storage area obtained by dividing the M by M, and And write dummy decoded data into the (MN) M divided storage areas.And an image search program.
[0039]
Claim14According to the described invention, by performing an image search by a computer based on an image search program stored in an image search program storage medium, an input image is divided into a plurality of bands, quantized, encoded, and Alternatively, the data is stored as encoded data in an encoded data storage medium that can be written and read optically, and the number M of data divisions is determined based on the number N of input images, which is the number of input images, to correspond to a plurality of bands. Among the coded data, coded data corresponding to at least one band having a data amount corresponding to at least the data division number M is read from the coded data storage medium, and based on the coded data read in the reading step. To decode the decoded data for the M input signals and to store encoded data for at least one frame. Stored in a decrypted data storage medium having a certain amount, dividing one screen based on the decrypted data stored in the decrypted data storage medium to display a plurality of images, and a selection control signal input from outside. Of one of the plurality of images displayed in the display step based on the selected image.
[0041]
Also,By performing image search based on the image search program, when the number N of input videos is smaller than the number M of data divisions, the storage area of the decoded data storage medium is set to an M-divided storage area, and the M divided storage areas The decoded data is stored in the storage area, and the dummy decoded data is written in the (M−N) M divided storage areas.
[0042]
ClaimFifteenThe invention described in the claims14In the described invention, based on the number N of the input videos and the total recording time T of the encoded data stored in the encoded data storage medium, a time interval EQ is expressed by the following equation:
EQ = T / N
Calculated by
Image retrieval, wherein the encoded data in the encoded data storage medium is grouped by a data amount corresponding to the time interval EQ, and each group is read as a group of encoded data corresponding to one input video. Store and configure programs.
[0043]
ClaimFifteenAccording to the described invention, the claims14In addition to the operation of the described invention, by performing an image search based on an image search program, a time interval EQ can be obtained based on the number N of input videos and the total recording time T of the encoded data stored in the encoded data storage medium. Is
EQ = T / N
, The encoded data in the encoded data storage medium are grouped by the data amount corresponding to the time interval EQ, and each group is regarded as an encoded data group corresponding to one input video and read processing is performed.
[0044]
Claim16The invention described in the claims14 or claim 15In the invention described above, the encoded data in the encoded data storage medium is grouped by a data amount corresponding to an interval time t input from the outside, and each group includes an encoded data group corresponding to one input image. An image search program for performing readout processing is stored and configured.
[0045]
Claim16According to the described invention, the claims14 or any of claim 15In addition to the operation of the described invention, by performing an image search based on an image search program, the coded data in the coded data storage medium is grouped by a data amount corresponding to the interval time t, and each group is classified into one. The read processing is performed by regarding the encoded data as a group of encoded data corresponding to the input video.
[0046]
Claim17The invention described in the claimsClaim 14 or claim 15.In the invention, among the storage areas of the encoded data storage medium, a storage area corresponding to the same video signal is regarded as a ring-shaped storage area in which storage areas are continuous in a ring shape, and is externally input. The encoded data in the ring-shaped storage area is successively and sequentially grouped with a data amount corresponding to the set interval time t, and each group is regarded as an encoded data group corresponding to one input video and read processing is performed. And an image search program.
Claim17According to the invention described above, in addition to the operation of the invention according to any one of claims 14 to 18, by performing an image search based on an image search program, the storage area of the encoded data storage medium is The storage area corresponding to the same video signal is regarded as a ring-shaped storage area in which the storage areas are continuous in a ring shape, and the encoded data in the ring-shaped storage area is continuously stored in a data amount corresponding to the interval time t. The read processing is performed by regarding each group as a group of encoded data corresponding to one input video.
[0047]
Claim18The invention described in the claims14 or any of claim 17In the described invention, the encoding is an X-layer two-dimensional wavelet transform process (X: an integer of 2 or more),
The screen division number M is
4Z≧ M> 4(Z-1)
(However, Z is an integer satisfying X ≧ Z ≧ 0)
, The encoded data constituting (3 · (X−Z) +1) bands from the first band, which is the lowest band, to the (3 · (X−Z) +1) band. And an image search program.
[0048]
Claim18According to the described invention, the claimsAny of claims 14 to 17In addition to the operation of the described invention, by performing an image search based on an image search program, the screen division number M can be reduced.
4Z≧ M> 4(Z-1)
(However, an integer satisfying X ≧ Z ≧ 1)
, The encoded data constituting (3 · (X−Z + 1) +1) bands from the first band, which is the lowest band, to the (3 · (X−Z + 1) +1) band, read out.
[0049]
Claim19The invention described in the claimsAny of claims 14 to 17In the described invention, the encoding is (2)X× 2X) Pixels are taken as one block (X: natural number), (2)X× 2X
) Discrete cosine transform processing for generating discrete cosine transform coefficients, wherein the discrete cosine transform coefficients of one frame obtained by the encoding are divided into (3 · X + 1) predetermined bands and stored. The screen division number M is
4Z≧ M> 4(Z-1)
(However, Z is an integer satisfying X ≧ Z ≧ 0)
, The encoded data constituting (3 · (X−Z) +1) bands from the first band, which is the lowest band, to the (3 · (X−Z) +1) band. And an image search program.
[0050]
Claim19According to the described invention, the claimsAny of claims 14 to 17In addition to the effects of the described invention, by performing image search based on an image search program,
The discrete cosine transform coefficient of one frame obtained fromTwoDivided into bands
And memorize it.
4Z≧ M> 4(Z-1)
(However, an integer satisfying X ≧ Z ≧ 1)
, The encoded data constituting (3 · (X−Z + 1) +1) bands from the first band, which is the lowest band, to the (3 · (X−Z + 1) +1) band, read out.
[0051]
BEST MODE FOR CARRYING OUT THE INVENTION
Next, a preferred embodiment of the present invention will be described with reference to the drawings.
First embodiment
1) Configuration of video recording / reproducing device
FIG. 1 shows a schematic configuration block diagram of a video recording / reproducing apparatus as a first embodiment using a wavelet transform as a method of subband encoding.
[0052]
The video recording / reproducing apparatus 1 is roughly divided into a video camera 2 that captures an object to be captured and outputs it as an image signal SG, a display 3 that performs various displays based on the decoded image signal SDG, and an input from the video camera 2. The image signal SG obtained from the ITU-R Rec. The image data DG is converted into image data DG having a 4: 2: 2 format known as 601 and output to an encoder 5 described later, and the decoded image data DDG output from a decoder 8 described later is converted into a decoded image signal SDG and displayed. A video interface 4 for outputting the frame data FL to a video interface 4; an encoder 5 for outputting frame data FL by performing a wavelet transform on the image data input via the video interface; a memory 6 for storing the frame data FL; The data FL is written to the memory 6, and the frame data FL read from the memory 6 is output to a decoder 8 described later. The frame data FL read from the memory 6 via the memory interface 7 is decoded. And decrypted image data A decoder 8 to output the data DDG, is configured to include a reproduction control unit 9 which performs various playback controls based on an instruction from outside.
[0053]
In this case, the memory 6 is configured using a memory that does not have a mechanically readable or electrically readable or readable mechanical drive unit, and is configured using, for example, a semiconductor memory such as a flash memory.
The encoder 5 performs a wavelet transform on the input image data DG and outputs it as sub-band image data DSB. The encoder 5 quantizes the sub-band image data DSB and outputs a plurality of quantized sub-band data DQSB. 5, a variable-length encoding unit 13 that performs two-dimensional Huffman encoding of the quantized sub-band data DQSB and outputs the encoded image data DVLG, and a plurality of encoded image data DVLGs in a predetermined format (FIG. 5). And a formatter unit 14 that outputs the frame data FL having the same as described above.
[0054]
The decoder 8 performs inverse formatting of the input frame data FL and outputs it as a plurality of variable-length decoded image data DVLG ', and two-dimensional Huffman decoding of the plurality of variable-length decoded image data DVLG'. A variable-length decoding unit 16 that outputs a plurality of quantized decoded image data DQSB ′, and a dequantization unit 17 that dequantizes the plurality of quantized decoded image data and outputs the result as dequantized image data DSB ′. , An inverse wavelet transform unit 18 that performs inverse wavelet transform on the inverse quantized image data DSB ′ and outputs decoded image data DDG.
[0055]
2) Encoder operation
Here, a more specific operation of the encoder 5 will be described.
First, the general operation (three-layer two-dimensional wavelet transform) of the wavelet transform unit 11 will be described with reference to FIGS.
[0056]
As shown in FIG. 2, the three-layer two-dimensional wavelet transform performs one-dimensional subband division in a first direction (horizontal direction in FIG. 2) and further performs one-dimensional subband division in a second direction (vertical direction in FIG. 2). The process of performing dimensional subband division can be realized by recursively applying the process to the lowest subband data LL1 (LL2).
[0057]
In FIG. 2, reference signs “L” and “H” indicate a quadrature mirror filter (QMF) designed based on the wavelet theory, reference sign “L” indicates a low-pass filter, and reference sign “H” indicates a high-pass filter. It represents a bandpass filter.
In this case, if the impulse responses of the low-pass filter L and the high-pass filter H are respectively l (n) and h (n),
h (n) = (-1)(1-n)l (1-n)
Have a relationship.
[0058]
The symbol “↓ 2” represents を subsampling.
Further, a pair of “L ↓ 2” and “H ↓ 2” constitute a split filter pair.
Next, the detailed operation of the wavelet transform unit 11 will be described.
a) First level
The input image data DG is divided into sub-bands in the horizontal direction, and is divided into a low-band signal and a high-band signal on the first frame memory as shown in FIG.
[0059]
Next, subband division is performed in the vertical direction based on the data in the first frame memory, and as shown in FIG. 3B, four subband data LL1, DSB7, DSB8, and DSB9 are stored in the second frame memory. Is divided into two sub-band data.
b) Second level
Subsequently, the lowest band sub-band data LL1 of the sub-band data LL1, DSB7, DSB8, and DSB9 is divided into sub-bands in the horizontal direction, and as shown in FIG. And a high-frequency signal.
[0060]
Next, subband division is performed in the vertical direction based on the subband data LL1 on the first frame memory, and as shown in FIG. 3D, the subband is divided into an area corresponding to the subband data LL1 on the second frame. The data is divided into four subband data LL2, DSB4, DSB5, DSB6.
c) Third level
Similarly, the lowest band sub-band data LL2 of the sub-band data LL2, DSB4, DSB5, DSB6 is divided into sub-bands in the horizontal direction, and as shown in FIG. And a high-frequency signal.
[0061]
Next, subband division is performed in the vertical direction based on the data in the area corresponding to the subband data LL2 on the first frame memory, and as shown in FIG. Is divided into four sub-band data of sub-band data DSB0, DSB1, DSB2 and DSB3.
[0062]
The image data DG input by performing the two-dimensional wavelet transform of the first layer to the third layer is divided into ten sub-band data DSB0 to DSB9. These sub-band data DSB0 to DSB9 constitute sub-band image data DSB.
[0063]
The sub-band image data DSB (= sub-band data DSB0 to DSB9) obtained by performing the wavelet transform on the image data DG in this manner is output to the quantization unit 12.
The subband image data DSB is quantized by the quantization unit 12, and is output to the variable length encoding unit 13 as a plurality of quantized subband data DQSB corresponding to each of the subband data DSB0, DSB1,..., DSB8, DSB9. .
[0064]
The variable length coding unit 13 performs two-dimensional Huffman coding on the plurality of quantized sub-band data DQSB, and outputs the resulting data to the formatter unit 14 as a plurality of variable length coded image data DVLG.
The formatter unit 14 collectively outputs the input plurality of variable-length coded image data DVLG to the memory 6 via the memory interface unit 7 as frame data FL having a predetermined format.
[0065]
3) Physical format of memory
FIG. 4 shows the physical format of the memory.
The memory 6 roughly includes directory information such as a file name of an image sequence, a start sector number of a file corresponding to the image sequence, an end sector number of a file corresponding to the image sequence, a file size of the file, and a recording time. And a program area 6B for storing frame data FL. By referring to the directory area 6A, the number of image sequences recorded in the memory 6 and each image sequence , The recording position and the like.
[0066]
More specifically, the memory 6 is composed of N sectors (for example, each sector is composed of 2048 bytes), and the directory area 6A is assigned a 0th sector (denoted as sector 0 in the figure) SC0. , The program area 6B is assigned N sectors from a first sector (denoted as sector 1 in the figure) SC1 to an Nth sector (denoted as sector N in the figure).
[0067]
Further, the actual coded image data DEG is stored in the program area 6B in units of frame data corresponding to the frames, and each of the frame data FL1 to FLL is required to easily detect the head of each of the frame data FL1,. Then, data is written from the head of each of the sectors SC1 to SCN, and zero data is written as dummy data in an area where data of the last sector corresponding to the frame data does not exist.
[0068]
More specifically, in the first frame data FL1, data is recorded from the beginning of the first sector SC1, recorded halfway through the nth sector SCn, and zero data is set as dummy data in the remaining part of the nth sector. Will be written.
Then, the second frame data is written from the head of the next (n + 1) -th sector SC (n + 1).
[0069]
4) Configuration of frame data
FIG. 5 shows a data configuration diagram of the frame data FL.
The frame data FL is roughly composed of an index information section 30 and an image data section 31.
[0070]
The index information section 30 includes SOF (Start Of Frame) data 32 indicating the beginning of frame data, frame number data 33 indicating a frame number (Frame No.), and frame byte count data 34 indicating the total number of bytes of the frame. And the subband SB0 byte count data 35 representing the number of bytes of the subband SB0 in the frame, and the subband SB3 bytes representing the total number of bytes of the four subband data from the subband SB0 to the subband SB3 in the frame It comprises number count data 36 and subband SB6 byte count data 37 representing the total number of bytes of seven subband data from subband SB0 to subband SB6 in the frame.
[0071]
The image data section 31 is configured to include luminance signal (Y) component data, RY color difference signal component data, and BY color difference signal component data for each sub-band. The luminance signal (Y) component data SB0Y corresponding to the luminance signal component of SB0, the RY color difference signal component data SB0R corresponding to the RY color difference signal component of the subband SB0, and the BY color difference signal component of the subband SB0. The corresponding BY color difference signal component data SB0B, the luminance signal (Y) component data SB1Y of the sub-band SB1,..., The luminance signal (Y) component data SB9Y corresponding to the luminance signal component of the sub-band SB9, and the sub-band SB9 RY color difference signal component data SB9R corresponding to the RY color difference signal component and a BY color difference signal component corresponding to the BY color difference signal component of the sub-band SB9. It is configured to include a chromatography data SB9B.
[0072]
Here, the luminance signal (Y) component data SB1Y of the sub-band SB1 will be described as an example of the luminance signal (Y) component data.
The luminance signal (Y) component data SB1Y includes SOS (Start Of Subband) data 40 representing the start of the subband SB1 and Q value data 41 representing the quantization step width (Q Value) of the subband SB1. And sub-band byte count data 42 representing the number of bytes of the sub-band SB1, and Huffman-coded data 43, which is data of a two-dimensional Huffman-coded sub-band.
[0073]
5) Decoder operation
Here, a specific operation of the decoder 8 will be described.
First, when a reproduction command is input to the reproduction control unit 9, the memory interface unit 7 reads the frame data FL corresponding to the reproduction command from the memory 6 and sequentially outputs the frame data FL to the inverse formatter unit 15 of the decoder 8.
[0074]
The inverse formatter unit 15 generates a plurality of encoded image data DVLG 'corresponding to each subband from the frame data FL and outputs the plurality of encoded image data DVLG' to the variable length decoding unit 16.
The variable-length decoding unit 16 performs two-dimensional Huffman decoding of the encoded image data DVLG ′, and inversely converts a plurality of quantized subband data DQSB ′ corresponding to each of the subband data DSB0, DSB1,..., DSB8, DSB9. Output to the quantization unit.
[0075]
The inverse quantization unit 17 performs inverse quantization of the quantized sub-band data DQSB ', and outputs the result to the inverse wavelet transform unit 18 as inverse-quantized image data DSB'.
The inverse wavelet transform unit 18 performs an inverse wavelet transform on the input inverse-quantized image data DSB ′ and outputs the result to the video interface unit 4 as decoded image data DDG.
[0076]
6) Operation of inverse wavelet transform unit
Next, an outline operation (three-layer two-dimensional wavelet inverse transform) of the inverse wavelet transform unit 18 will be described with reference to FIGS.
The three-layer two-dimensional inverse wavelet transform performs one-dimensional subband synthesis in a first direction (vertical direction in FIG. 6) and further in a second direction (horizontal direction in FIG. 6) as shown in FIG. This can be realized by performing a process of performing one-dimensional sub-band synthesis, and sequentially re-synthesizing the two synthesized results.
[0077]
In FIG. 6, reference numerals “L” and “H” denote a quadrature mirror filter (QMF) designed based on the wavelet theory, reference numeral “L” denotes a low-pass filter, and reference numeral “H” denotes a high-pass filter. It represents a bandpass filter.
Also in this case, if the impulse responses of the low-pass filter L and the high-pass filter H are l (n) and h (n), respectively,
h (n) = (-1)(1-n)l (1-n)
Have a relationship.
[0078]
The symbol “$ 2” indicates double upsampling.
Further, a pair of “$ 2L” and “$ 2H” constitute a synthesis filter pair.
Next, the detailed operation of the inverse wavelet transform unit 18 will be described.
a) Third level
The sub-band data DSB0 'and the sub-band data DSB1' are combined into a low-frequency signal on the second frame memory FM2 by the third hierarchical first vertical synthesis filter pair.
[0079]
On the other hand, the sub-band data DSB2 'and the sub-band data DSB3' are synthesized into a high-frequency signal on the second frame memory FM2 by the third hierarchical second vertical synthesizing filter pair.
The low-band signal that is the result of the vertical combination of the sub-band data DSB0 ′ and the sub-band data DSB1 ′ and the high-band signal that is the result of the vertical combination of the sub-band data DSB2 ′ and the sub-band data DSB3 ′ are the third-layer horizontal combination. The sub-band data LL2 'is combined with the corresponding area on the first frame memory FM1 by the filter pair.
[0080]
b) Second level
The sub-band data LL2 'and the sub-band data DSB4' are combined into a low-frequency signal on the second frame memory FM2 by the second hierarchical first vertical synthesis filter pair.
[0081]
On the other hand, the sub-band data DSB5 'and the sub-band data DSB6' are combined into a high-band signal on the second frame memory FM2 by the second hierarchical second vertical synthesis filter pair.
The low band signal which is the result of the vertical synthesis of the subband data LL2 and the subband data DSB4 'and the high band signal which is the result of the vertical synthesis of the subband data DSB5' and the subband data DSB6 'are paired with a second layer horizontal synthesis filter pair. As a result, the sub-band data LL1 ′ is combined with the corresponding area on the first frame memory FM1.
[0082]
c) First level
The sub-band data LL1 'and the sub-band data DSB7' are combined into a low-pass signal on the second frame memory FM2 by the first-layer first vertical synthesis filter pair.
[0083]
On the other hand, the sub-band data DSB8 'and the sub-band data DSB9' are combined into a high-frequency signal on the second frame memory FM2 by the first-layer second vertical synthesis filter pair.
The low band signal which is the result of the vertical synthesis of the sub-band data LL1 'and the sub-band data DSB7' and the high band signal which is the result of the vertical synthesis of the sub-band data DSB8 'and the sub-band data DSB9' are first-layer horizontal synthesis filters. The pair is combined as decoded image data DDG on the first frame memory FM1.
[0084]
Then, the decoded image data DDG is D / A-converted via the video interface unit 4 into an image signal SDG, and is output to the display 3.
As a result, an image is displayed on the screen of the display 3.
7) Multi-screen video playback processing
Next, reproduction of a plurality of moving images based on a plurality of moving image data stored in different areas of the memory 6 on one screen, that is, a so-called multi-screen moving image reproduction process will be described.
[0085]
FIG. 8 shows the relationship between the data storage state of the memory 6 and the physical format in the multi-screen moving image playback processing (in the figure, at the time of 4-screen moving image playback).
As in the case of the normal reproduction, the directory area 6A stores the file name of the image sequence, the start sector number of the file corresponding to the image sequence, the end sector number of the file corresponding to the image sequence, the file size of the file, Directory information such as time is stored.
[0086]
In the program area 6B, four files corresponding to the four image sequences are stored.
The first image sequence is stored in a range from sector 1 to sector K, the second image sequence is stored in a range from sector (K + 1) to sector L, and the third image sequence is stored in sector (L + 1) to sector M , And the fourth image sequence is stored in a range from sector (M + 1) to sector N.
[0087]
In this case, in the sectors K, L, M, and N, zero data is stored in portions where no data is stored.
In the multi-screen moving image reproduction, the sub-band synthesis is discontinued in the wavelet inverse transform shown in FIG. 6 to reduce the number of pixels (1/4, 1/16, 1/64 of the total number of pixels of the original screen). ) Can be realized by directly displaying the reproduced image on the screen of the display 3.
[0088]
The number of pixels of the reproduced image obtained by the number of subband data used for subband synthesis is as follows.
(1) When using the sub-band data DSB0 to DSB9: the total number of pixels
{Circle around (2)} When using the sub-band data DSB0 to DSB6: 1/4 of the total number of pixels
{Circle around (3)} When using the sub-band data DSB0 to DSB3: 1/16 of the total number of pixels
{Circle around (4)} When only the sub-band data DSB0 is used: 1/64 of the total number of pixels
That is, in the inverse wavelet transform, if all three layers of the third layer, the second layer, and the first layer are synthesized and displayed, all pixels can be displayed.
[0089]
Also, if the display is performed by combining only the third and second hierarchies, it is possible to display 1/4 of the number of pixels of all the pixels, and simultaneously display four screens on a display screen capable of displaying all pixels ( (4-split display).
Further, if the display is performed by combining only the third layer, a display of 1/16 of the number of all pixels can be performed, and a 16-screen simultaneous display (16-split display) can be performed on a display screen capable of displaying all pixels. I can do it.
[0090]
Furthermore, if the display is performed using only the sub-band data DSB0 without performing the synthesis, the display can be performed at 1/64 of the total number of pixels, and 64 screens can be simultaneously displayed on a display screen capable of displaying all pixels. (64-segment display).
8) Multi-screen video search processing
Next, high-speed image search processing using multi-screen moving image reproduction will be described.
[0091]
FIG. 9 shows a flowchart of an image high-speed search process using multi-screen moving image reproduction.
The reproduction control unit 9 determines whether to use the cue information stored in the directory area 6A of the memory 6 as necessary (step S1).
If the cueing information is not used in the determination in step S1 (step S1; No), the processing shifts to step S7 to be described later, and shifts to the time-divided reproduction mode or the interval reproduction mode.
a) Cue information playback mode
When the cueing information is used in the determination in step S1 (step S1; Yes), the mode shifts to the cueing reproduction mode, and the number N of cueing information stored in the directory area 6A of the memory 6 is obtained (step S1). Step S2).
[0092]
Subsequently, the number M of screen divisions is determined based on the number N of cue information (step S3), and multi-screen moving image reproduction (cue information reproduction mode) is performed (step S4).
FIG. 10 shows a flowchart of the multi-screen moving image reproduction process.
More specifically, as shown in FIG. 10, it is determined whether or not the number N of cue information is equal to or greater than the maximum screen division number = 64 (screen) (step S21).
[0093]
If it is determined in step S21 that the number N of cue information is less than the maximum screen division number = 64 (screen) (step S21; No), the screen division number M is determined according to N (step S22). In addition to notifying the memory interface unit 7 and the decoder 8, the process proceeds to step S24.
[0094]
More specifically, in order to prevent the processing time required for performing the pixel number conversion processing and the like and to simplify the processing, the preset screen division number is set to 1 (screen), 4 (screen), 16 (screen). , 64 (screens), and the number M of screen divisions is set to exceed the number N of cue information and to be the minimum number of screens.
[0095]
For example, when the number of cue information N = 3, the number of screen divisions M = 4 (screen), and when the number of cue information N = 32, the number of screen divisions M = 64.
If it is determined in step S21 that the number N of cue information is equal to or larger than the maximum screen division number 64 (step S21; Yes), the screen division number M is set to
M = 64
And notifies the memory interface unit 7 and the decoder 8 and sets the number N of cue information to
N = 64
Is set again (step S23).
[0096]
Next, the display counter X is
X = 1
(Step S24).
Subsequently, subband data necessary for the X-th image sequence is extracted according to the number of screen divisions (step S25).
[0097]
More specifically, when notified of the number of screen divisions M from the reproduction control unit 9, the memory interface unit 7 refers to the start sector number of the image sequence from the directory area 6A on the memory 6 and outputs the frame data FL (or frame data). (A part of the data FL).
[0098]
More specifically, SOF (Start Of Frame) data 32 indicating the beginning of frame data, frame number (Frame No.) as frame number data 33, frame byte number count data 34 as a total number of bytes of the frame, and The necessary subband is referenced by referring to any one of the subband SB0 byte count data 35, the subband SB3 byte count data 36, or the subband SB6 byte count data 37, which corresponds to the screen division number M. Read data.
[0099]
For example, when the screen division number M = 4, the memory interface unit 7 reads and refers to the sub-band SB 6-byte count data 37 corresponding to the screen division number M = 4, and reads the sub-band SB from the corresponding frame data FL. Seven sub-band data from SB0 to SBSB6 are read out and sequentially output to the inverse formatter unit 15 of the decoder 8.
[0100]
Next, the decoder 8 performs inverse formatting by the inverse formatter unit 15, two-dimensional Huffman decoding by the variable length decoding unit 16, inverse quantization by the inverse quantization unit 17, and inverse wavelet transform by the inverse wavelet transform unit 18 (step). S26).
[0101]
More specifically, the inverse formatter unit 15 generates a plurality of pieces of encoded image data DVLG 'corresponding to the sub-bands SB0 to SBSB6, and outputs the plurality of pieces of encoded image data DVLG' to the variable-length decoding unit 16.
The variable length decoding unit 16 performs two-dimensional Huffman decoding of the encoded image data DVLG ′, and outputs a plurality of quantized decoded image data DQSB ′ to the inverse quantization unit 17.
[0102]
The inverse quantization unit 17 inversely quantizes the plurality of quantized decoded image data and outputs the result to the inverse wavelet transform unit 18 as decoded subband image data DSB '.
The inverse wavelet transform unit 18 performs an inverse wavelet transform on the decoded subband image data DSB 'corresponding to the seven subband data from the subband SB0 to the subband SB6, and outputs the decoded image data DDG to the video interface unit.
[0103]
9) Inverse wavelet transform operation during multi-screen video search processing
Here, the inverse wavelet transform operation during the multi-screen moving image search processing will be described with reference to FIGS.
As shown in FIG. 11, the three-layer two-dimensional wavelet inverse transform at the time of multi-screen reproduction that can display from the screen division number M = 1 (no division) to the screen division number M = 64 is performed in the first direction (in FIG. One-dimensional sub-band synthesis is performed in the vertical direction, and one-dimensional sub-band synthesis is performed in the second direction (horizontal direction in FIG. 11). Further, two synthesis results are sequentially re-synthesized. The processing can be realized by performing a predetermined number of layers according to the number of screen divisions.
[0104]
In FIG. 11, as in FIG. 6, symbols “L” and “H” are quadrature mirror filters (QMF) designed based on the wavelet theory, and symbol “L” represents a low-pass filter. , The symbol “H” represents a high-pass filter.
[0105]
Also in this case, if the impulse responses of the low-pass filter L and the high-pass filter H are l (n) and h (n), respectively,
h (n) = (-1)(1-n)l (1-n)
Have a relationship.
[0106]
The symbol “$ 2” indicates double upsampling.
Further, a pair of “$ 2L” and “$ 2H” constitute a synthesis filter pair.
10) Detailed operation of the inverse wavelet transform unit during multi-screen video playback
Next, the detailed operation of the inverse wavelet transform unit 18 during reproduction of a multi-screen moving image will be described. a) When the number of screen divisions is M = 64, the inverse wavelet transform unit 18 does not perform any processing, and the subband data DSB0 ′ is written as it is at the corresponding position on the first frame memory FM1 (step S27). .
[0107]
When the decoded image data DDG is output to the video interface unit 4 at this stage, the decoded image data DDG corresponds to an image whose number of pixels is 1/64 of the total number of pixels.
b) Third layer (processing is required when the number of screen divisions M = 1, 4, 16)
The sub-band data DSB0 'and the sub-band data DSB1' are combined into a low-frequency signal on the second frame memory FM2 by the third hierarchical first vertical synthesis filter pair.
[0108]
On the other hand, the sub-band data DSB2 'and the sub-band data DSB3' are synthesized into a high-frequency signal on the second frame memory FM2 by the third hierarchical second vertical synthesizing filter pair.
The low-band signal, which is the result of the vertical synthesis of the sub-band data DSB0 'and the sub-band data DSB1', and the high-band signal, which is the result of the vertical synthesis of the sub-band data DSB2 'and the sub-band data DSB3', are the third-layer horizontal synthesis The sub-band data LL2 'is synthesized and written in the corresponding area on the first frame memory FM1 by the filter pair (step S27).
[0109]
Then, when the decoded image data DDG is output to the video interface unit 4 at this stage, the decoded image data DDG corresponds to an image having 1/16 of the total number of pixels.
c) Second layer (processing is required when the number of screen divisions M = 1, 4)
After the processing of the third hierarchy, the sub-band data LL2 'and the sub-band data DSB4' are combined into a low-frequency signal on the second frame memory FM2 by the second hierarchy first vertical synthesis filter pair.
[0110]
On the other hand, the sub-band data DSB5 'and the sub-band data DSB6' are combined into a high-band signal on the second frame memory FM2 by the second hierarchical second vertical synthesis filter pair.
The low band signal as a result of the vertical synthesis of the subband data LL2 and the subband data DSB4 'and the high band signal as the result of the vertical synthesis of the subband data DSB5' and the subband data DSB6 'are paired with a second layer horizontal synthesis filter pair. As a result, they are combined and written as sub-band data LL1 in the corresponding area on the first frame memory FM1 (step S27).
[0111]
Then, when the decoded image data DDG is output to the video interface unit 4 at this stage, the decoded image data DDG corresponds to an image in which the number of pixels is １ ／ of the total number of pixels.
d) First layer (processing is required when the number of screen divisions M = 1)
After the processing of the second hierarchy, the sub-band data LL1 'and the sub-band data DSB7' are combined into a low-frequency signal on the second frame memory FM2 by the first hierarchy first vertical synthesis filter pair.
[0112]
On the other hand, the sub-band data DSB8 'and the sub-band data DSB9' are combined into a high-frequency signal on the second frame memory FM2 by the first-layer second vertical synthesis filter pair.
The low band signal which is the result of the vertical synthesis of the sub-band data LL1 'and the sub-band data DSB7' and the high band signal which is the result of the vertical synthesis of the sub-band data DSB8 'and the sub-band data DSB9' are a first-layer horizontal synthesis filter. The decoded image data DDG is combined and written on the first frame memory FM1 by the pair (step S27).
[0113]
Then, when the decoded image data DDG is output to the video interface unit 4 at this stage, the decoded image data DDG corresponds to an image in which the number of pixels is 1/1 of the total number of pixels.
Next, it is determined whether or not the value of the display counter X is equal to the video sequence number N (step S28).
[0114]
In the determination in step S28,
X <N
In the case of (Step S28; No), the display counter X is counted up, that is,
X = X + 1
(Step S34), the process returns to Step S25, and the processes of Step S25 to Step S27 are repeated.
[0115]
In the determination in step S28,
X = N
(Step S28; Yes), P [pieces] for which no image is displayed,
P = M-mod (N, M) [pieces]
"0" data (zero data = black display) is written in all the areas of. here,
mod (N, M)
Is the remainder when N is divided by M.
[0116]
Subsequently, the reproduction control unit 9 issues a display instruction (step S30).
As a result, the video interface unit 4 performs D / A conversion of the input decoded image data DDG and outputs it as an image signal SDG to the display 3. On the screen of the display 3, the number of pixels corresponding to the screen division number M is displayed. Will be displayed.
[0117]
Next, the reproduction control unit 9 determines that the number N of cue information is
N ≧ 64
Is determined (step S31).
In the determination in step S31,
N ≧ 64
In the case of (step S31; Yes), it is determined whether or not an instruction to end the high-speed search process has been issued (step S32). If the end instruction has been issued (step S32; Yes), the process ends. The process moves to step S5 (see FIG. 9).
[0118]
If it is determined in step S32 that the termination instruction has not been issued (step S32; No),
N = N + 64
(Step S33),
X = X + 1
(Step S34), the process proceeds to Step S25, and thereafter, the same process is repeated.
[0119]
In the determination in step S31,
N <64
In the case of (Step S31; No), the processing is terminated, and the routine goes to Step S5 (see FIG. 9).
[0120]
Next, the reproduction control unit 9 determines whether there is a search target screen (search screen) in the currently displayed screen based on an external input (step S5). (Step S5; No), the process returns to Step S4 to continue multi-screen reproduction.
[0121]
If it is determined in step S5 that there is a search screen (step S5; Yes), the reproduction screen is paused, then reverse reproduction, frame reversal, etc. are performed to select the search screen for cueing the search screen. Is performed (step S6), and the search process ends. Then, an image sequence corresponding to the search screen is reproduced based on an external instruction.
[0122]
If the cueing information is not used in the determination in step S1 (step S1; No), the total recording time T of all the image sequences recorded in the memory 6 is obtained (step S7).
Next, the reproduction control unit 9 determines whether the display method (display mode) is the equally divided reproduction mode or the interval reproduction mode based on an external input (step S8).
[0123]
11) Time-divided playback mode and interval playback mode
Here, an outline of the equally divided playback mode and the interval playback mode will be described.
a) Playback status in time-divided playback mode and interval playback mode
FIG. 13 is an explanatory diagram of a reproduction state in the evenly divided reproduction mode.
[0124]
As shown in FIG. 13, the evenly-divided playback mode is, for example, a case where a plurality of image sequences (in FIG. 13, P [number] image sequences) are stored from the first sector SC1 to the Nth sector SCN. The total recording time T of a plurality of image sequences is divided by the number M of screen divisions.
T / M
A mode in which multi-screen moving images are played at time intervals.
[0125]
As a result, as shown in FIG. 13, all the sectors from the first sector SC1 to the Nth sector SCN are simply divided into M, and each divided sector group is regarded as one image sequence, and the multi-screen moving image reproduction is performed. Is what you do.
Therefore, during one divided screen, for example, the first multi-screen playback image (indicated as multi-screen playback image 1 in FIG. 13) includes the entire first image sequence and the second image sequence from the beginning. The portion recorded in the (n2-1) th sector is reproduced.
[0126]
FIG. 14 is a view for explaining a reproduction state in the interval reproduction mode.
In the interval reproduction mode, as shown in FIG. 14, for example, when a plurality of image sequences (in FIG. 14, P [number] image sequences) are stored from the first sector SC1 to the Nth sector SCN, The time t specified arbitrarily in advance is multiplied by the screen division number M,
t × M
In this mode, an image sequence that can be reproduced within a time period (in FIG. 14, an image sequence included in the first sector SC1 to the Nth sector SCN) is a multi-screen moving image reproduction at time t intervals.
b) Operation in time evenly divided playback mode
If it is determined in step S8 that the display method is the evenly divided playback mode (step S8; equally divided playback mode), the number M of screen divisions is determined based on an external instruction (step S9). The screen moving image is reproduced (time-divided reproduction mode) (step S10).
[0127]
Thereby, the reproduction control unit 9 notifies the memory interface unit and the decoder 8 of the screen division number M.
Then, the equally divided time intervals EQ,
EQ = T / M
Is calculated on the memory 6 to determine the sector (the first sector SC1, the n2th sector SCn2, the nth sector SCn3,..., The nMth sector SCnM) corresponding to the time interval EQ, and notifies the memory interface unit.
[0128]
As a result, on the screen of the display 3, M screens whose reproduction is started from each of the first sector SC1, the n2th sector SCn2, the n3th sector SCn3,..., And the nMth sector SCnM are displayed. .
Then, the reproduction control unit 9 determines whether or not a search target screen (search screen) has been designated in the currently displayed screen based on an external input, and if the search screen has not been designated, Continues the multi-screen reproduction.
[0129]
When the search screen is instructed (step S11), the reproduction is paused, and then reverse search, frame rewind, etc. are performed, and a search screen for cueing the search screen is selected (step S11). S12), the search process ends.
After that, an image sequence corresponding to the search screen is reproduced based on an external instruction.
[0130]
As described above, in the evenly divided playback mode, a plurality of image sequences recorded in the memory 6 can be viewed at equal time intervals regardless of the content, and efficient image search can be performed at high speed. Becomes possible.
c) Interval playback mode operation
If it is determined in step S8 that the display method is the interval playback mode (step S8; interval playback mode), the interval time t and the number of screen divisions M are determined based on an external instruction (steps S13 and S14). Then, the multi-screen moving image is reproduced (time-divided reproduction mode) (step S15).
[0131]
Thereby, the reproduction control unit 9 notifies the memory interface unit and the decoder 8 of the screen division number M.
Then, a sector (first sector SC1, n2th sector SCn2, n3th sector SCn3,..., NMth sector SCnM) corresponding to the time interval t is obtained on the memory 6, and is notified to the memory interface unit.
[0132]
As a result, on the screen of the display 3, M screens whose reproduction is started from each of the first sector SC1, the n2th sector SCn2, the n3th sector SCn3,..., And the nMth sector SCnM are displayed. .
Then, the reproduction control unit 9 determines whether there is a search target screen (search screen) in the currently displayed screen based on an external input (step S16). (Step S16; No), the process again proceeds to Step S15, and the multi-screen reproduction is continued with respect to the image sequence recorded in the (N + 1) th sector SC (N + 1) and subsequent sectors that have not been reproduced yet.
[0133]
If there is a search screen (step S16; Yes), the reproduction is paused, and then reverse reproduction, frame reversal, etc. are performed to select a search screen for cueing the search screen (step S16). S17, S18), the search process ends.
After that, an image sequence corresponding to the search screen is reproduced based on an external instruction.
[0134]
As described above, in the interval playback mode, among the plurality of image sequences recorded in the memory 6, the image sequence recorded within the time (t × M) is viewed at a uniform time interval regardless of the content. And efficient image retrieval can be performed at high speed.
[0135]
In the above description, a plurality of image sequences are included in a predetermined unit time (EQ or t) in the evenly-divided playback mode or the interval playback mode, but the number M of screen divisions is changed to the number of image sequences. In addition to the calculation based on the time interval EQ or the time interval t, the multi-screen reproduction is performed from the first sector in which each image sequence is recorded using the reproduction time TT input from the outside. It is also possible to configure so that the image of the image sequence is displayed.
[0136]
In this case, if the input reproduction time TT is longer than the recording time of the displayed image sequence, the recording area of the image sequence is regarded as a ring-shaped memory, and the reproduction returns to the first sector again. It may be configured as follows.
If the input reproduction time TT is shorter than the recording time of the displayed image sequence, the image sequence may be configured to continue to be reproduced as long as the multi-screen moving image reproduction is continued. .
[0137]
As a result, since the same image sequence is always displayed on one split screen, it is effective when searching for any one image sequence instead of searching for a part of the image sequence.
In the above-described first embodiment, the case where the three-layer two-dimensional wavelet transform process is performed has been described. However, the present invention can be applied to the case where the X-layer two-dimensional wavelet transform process (X: an integer of 2 or more) is performed. It is.
[0138]
That is, the screen division number M is
4Z≧ M> 4(Z-1)
(However, Z is an integer satisfying X ≧ Z ≧ 0)
, The 0th subband (corresponding to the first band), which is the lowest subband, to the (3 · (X−Z)) th subband (corresponding to the 3rd (X−Z) +1) band. Subband data DSB0 to DSB (3 · (X−Z)) constituting (3 · (X−Z) +1) subbands may be read from the memory 6 and processed.
[0139]
In the above description of the first embodiment, the case where the multi-screen reproduction is performed using the cue information has been described. May be detected, and the detected discontinuous portion may be used as a delimiter of image data to reproduce a multi-screen moving image.
Second embodiment
In the first embodiment described above, the wavelet transform is used as the encoding method. However, in the second embodiment, the DCT (Joint Photographic Experts Group) or the DCT (Moving Picture Experts Group) used in the MPEG (Moving Picture Experts Group) is used. This is an embodiment using discrete cosine transform).
[0140]
When DCT is used, the wavelet transform unit 11 of FIG. 1 is replaced with a two-dimensional DCT unit 51 for performing a two-dimensional discrete cosine transform shown in FIG. 15A and a DCT coefficient for rearranging the DCT coefficients obtained by the discrete cosine transform. A DCT coefficient reverse rearrangement unit 53 for performing the reverse rearrangement of the DCT coefficients shown in FIG. 15B, and an inverse discrete cosine transform of the inversely rearranged DCT coefficients are performed. It can be realized by replacing with a two-dimensional inverse DCT (two-dimensional IDCT) unit 54.
[0141]
If the conversion target block of the two-dimensional DCT has an 8 [pixel] × 8 [pixel] configuration, 64 DCT coefficients K0 to K63 are obtained as shown in FIG.
The first DCT coefficient K0 represents a DC component. In FIG. 16A, the DCT coefficient on the right side represents a high frequency component in the horizontal direction, and the DCT coefficient on the lower side in FIG. Represents the high-frequency component of.
[0142]
Therefore, as shown in FIG. 16B, the 64 DCT coefficients K0 to K63 are divided into 10 DCT coefficient groups (bands) G0 to G9, and the DCT coefficient groups for one frame are grouped for each band. When mapping (rearrangement) is performed as shown in FIG. 17, it is possible to perform band division similar to sub-band division using wavelet transform as in the first embodiment.
[0143]
As a result, in the encoder 5 of the first embodiment, from the quantization operation of the quantization unit 12 to the recording operation to the memory 6 and the reading operation from the memory 6 to the inverse quantization operation of the inverse quantization unit 17 in the decoder 8, The same processing as in the first embodiment can be performed.
[0144]
More specifically, as shown in FIG. 17, the first DCT coefficient group G0 of each frame is mapped to the first frame DCT coefficient group (band) FG0 based on the original arrangement of the blocks to be transformed, and the second DCT coefficient group G1 is mapped to the second frame DCT coefficient group FG1 based on the original arrangement of the block to be transformed, and the ninth DCT coefficient group G8 is mapped to the ninth frame DCT coefficient group FG8 based on the original arrangement of the block to be transformed. Mapping is performed, and the tenth DCT coefficient group G9 is mapped to the tenth frame DCT coefficient group FG9 based on the original arrangement of the blocks to be transformed.
[0145]
As a result, the same band division can be performed as when the wavelet transform is used.
Here, a description will be given of a reproduction operation in the case where the number of divided screens is four and the four-screen moving image reproduction of the first to fourth video sequences is performed on one screen of the display.
[0146]
The first DCT coefficient group G0 to the seventh DCT group G6 are read out of the memory from the first frame DCT coefficient group FG0 to the seventh frame DCT coefficient group FG6 of the first video sequence, and variable length decoding and inverse quantization are performed.
As shown in FIG. 18A, the inversely quantized DCT coefficients are transformed by DCT coefficient inverse rearrangement as shown in FIG.
8 × 8 = 64 [pieces]
Are reconstructed into blocks composed of the DCT coefficients K0 to K63.
[0147]
In this case, since the DCT coefficients corresponding to the eighth to tenth DCT groups G7 to G9 have not been generated, all the DCT coefficients are replaced with “0”.
Then, the obtained block composed of 64 DCT coefficients is subjected to two-dimensional IDCT by the two-dimensional IDCT unit, and １ ／ sub-sampling is performed in the vertical and horizontal directions. As shown in FIG. A block consisting of 4 [pixels] × 4 [pixels] (1/4 of the original number of pixels (= 64 [pixels]; see FIG. 18A)) was configured, and the frame memory was divided into four. Writing is performed in a first area of the first to fourth areas. In this case, since the DCT coefficient is band-limited to a low band, it is not necessary to perform band limitation by a filter before subsampling.
[0148]
By performing the above processing on all the DCT coefficients constituting the first DCT coefficient group G0 to the seventh DCT coefficient group G6 of the first video sequence, the size of the screen is stored in the first area on the frame memory. A 1/4 decoded image is displayed.
[0149]
Similarly, the same processing is performed for the second video sequence to the fourth video sequence, and the first to fourth video sequences can be divided into four parts in one screen by writing the corresponding areas of the frame memory. The decoded image in the state is obtained.
[0150]
By performing D / A conversion on the decoded image obtained in this way by the video interface unit, 4-division moving image reproduction is performed on the display screen.
Next, a description will be given of high-speed image search processing using multi-screen moving image reproduction.
FIG. 19 shows a flowchart of a high-speed image search process using multi-screen moving image reproduction. In the following description, the device configuration will be described with reference to FIG.
[0151]
The reproduction control unit 9 acquires the number N of video sequences stored in the directory area 6A of the memory 6 (Step S41).
More specifically, as shown in FIG. 19, it is determined whether the video sequence number N is equal to or greater than the maximum screen division number = 64 (screen) (step S42).
[0152]
In the determination in step S42, if the number N of cue information is less than the maximum screen division number = 64 (screen) (step S42; No), the screen division number M is determined according to N (step S44). Notifying the memory interface unit 7 and the decoder 8, the process proceeds to step S45.
[0153]
More specifically, in order to prevent the processing time required for performing the pixel number conversion processing and the like and to simplify the processing, the preset screen division number is set to 1 (screen), 4 (screen), 16 (screen). , 64 (screens), and the number M of screen divisions is set to exceed the number N of cue information and to be the minimum number of screens.
[0154]
For example, when the number of cue information N = 3, the number of screen divisions M = 4 (screen), and when the number of cue information N = 32, the number of screen divisions M = 64.
If it is determined in step S42 that the number N of cue information is equal to or greater than the maximum screen division number 64 (step S42; Yes), the screen division number M is set to
M = 64
And notifies the memory interface unit 7 and the decoder 8 and sets the number N of video sequences to
N = 64
Is set (step S43).
[0155]
Next, the display counter X is
X = 1
(Step S45).
Subsequently, DCT coefficients necessary for the X-th image sequence are extracted according to the screen division number M (step S46).
[0156]
More specifically, when notified of the number of screen divisions M from the reproduction control unit 9, the memory interface unit 7 refers to the start sector number of the image sequence from the directory area 6A on the memory 6 and outputs the frame data FL (or frame data). (A part of the data FL).
[0157]
More specifically, as in the first embodiment, SOF (Start Of Frame) data indicating the beginning of frame data, frame number data indicating a frame number (Frame No.), and the total number of bytes of the frame are indicated. Any one of the frame byte count data, the first DCT coefficient group G0 byte count data, the fourth DCT coefficient group G3 byte count data, and the seventh DCT coefficient group G6 byte count data, corresponding to one of the screen division numbers M And read out the necessary DCT coefficient group.
[0158]
For example, when the screen division number M = 4, the memory interface unit 7 reads and refers to the seventh DCT coefficient group G6 byte number count data corresponding to the screen division number M = 4, and reads out the corresponding frame data FL from the corresponding frame data FL. The seven DCT coefficient groups from the first DCT coefficient group G0 to the seventh DCT coefficient group G6 are read and sequentially output to the inverse formatter unit 15 of the decoder 8.
[0159]
Next, the decoder 8 performs inverse formatting by the inverse formatter unit 15, two-dimensional Huffman decoding by the variable length decoding unit 16, inverse quantization by the inverse quantization unit 17, and inverse DCT coefficient rearrangement by the DCT coefficient inverse rearrangement unit 53. Then, inverse DCT by two-dimensional IDCT is performed (step S47).
[0160]
More specifically, the inverse formatter unit 15 generates a plurality of coded image data DVLG 'corresponding to the first DCT coefficient group G0 to the seventh DCT coefficient group G6 and outputs the coded image data DVLG' to the variable length decoding unit 16.
The variable length decoding unit 16 performs two-dimensional Huffman decoding of the encoded image data DVLG ′, and outputs a plurality of quantized decoded image data DQSB ′ to the inverse quantization unit 17.
[0161]
The inverse quantization unit 17 inversely quantizes the plurality of quantized decoded image data and outputs the result to the DCT coefficient reverse rearrangement unit 53 as decoded subband image data DSB ′.
The DCT coefficient reverse rearrangement unit 53 performs reverse rearrangement of DCT coefficients corresponding to seven DCT coefficient groups from the first DCT coefficient group G0 to the seventh DCT coefficient group G6, and outputs the result to the two-dimensional IDCT unit 54.
[0162]
The two-dimensional IDCT unit 54 performs inverse DCT of the input DCT coefficient, outputs the decoded image data DDG to the video interface unit 4 after subsampling.
Here, the inverse DCT operation at the time of reproducing a multi-screen moving image will be described.
a) If the number of screen divisions is M = 64, the two-dimensional IDCT unit 54 performs the inverse DCT of the first DCT coefficient group G0 and writes the result in the corresponding position on the first frame memory FM1 (step S48).
[0163]
When the decoded image data DDG is output to the video interface unit 4 at this stage, the decoded image data DDG corresponds to an image whose number of pixels is 1/64 of the total number of pixels.
b) When the number of screen divisions is M = 1, 4, and 16, the inverse DCT of the second DCT coefficient group G1 to the fourth DCT coefficient group G3 is performed, and the result is written to the corresponding position on the first frame memory FM1 ( Step S48).
[0164]
Then, when the decoded image data DDG is output to the video interface unit 4 at this stage, the decoded image data DDG corresponds to an image having 1/16 of the total number of pixels.
c) If the number of screen divisions M = 1, 4, then the inverse DCT of the fifth DCT coefficient group G4 to the seventh DCT coefficient group G6 is performed, and the result is written to the corresponding position on the first frame memory FM1 (step S48). ).
[0165]
Then, when the decoded image data DDG is output to the video interface unit 4 at this stage, the decoded image data DDG corresponds to an image in which the number of pixels is １ ／ of the total number of pixels.
d) If the number of screen divisions M is 1, the inverse DCT of the eighth DCT coefficient group G7 to the tenth DCT coefficient group G10 is performed next, and the result is written to the corresponding position on the first frame memory FM1 (step S48).
[0166]
Then, when the decoded image data DDG is output to the video interface unit 4 at this stage, the decoded image data DDG corresponds to an image in which the number of pixels is 1/1 of the total number of pixels.
Next, it is determined whether or not the value of the display counter X is equal to the video sequence number N (step S49).
[0167]
In the determination of step S49,
X <N
(Step S49; No), the display counter X is counted up, that is,
X = X + 1
(Step S55), the process returns to Step S46, and the processes of Steps S46 to S48 are repeated.
[0168]
In the determination of step S49,
X = N
(Step S49; Yes), P [pieces] for which no image is displayed,
P = M-mod (N, M) [pieces]
"0" data (zero data = black display) is written into all the areas (step S50). here,
mod (N, M)
Is the remainder when N is divided by M.
[0169]
Subsequently, the reproduction control unit 9 issues a display instruction (step S51).
As a result, the video interface unit 4 performs D / A conversion of the input decoded image data DDG and outputs it as an image signal SDG to the display 3. On the screen of the display 3, the number of pixels corresponding to the screen division number M is displayed. Will be displayed.
[0170]
Next, the playback control unit 9 determines that the video sequence number N is
N ≧ 64
Is determined (step S52).
In the determination in step S52,
N ≧ 64
In the case of (step S52; Yes), it is determined whether or not an instruction to end the high-speed search process has been issued (step S53). If the end instruction has been issued (step S53; Yes), the process ends.
[0171]
If it is determined in step S53 that no termination instruction has been given (step S53; No),
N = N + 64
(Step S54),
X = X + 1
(Step S55), the process proceeds to Step S46, and the same process is repeated thereafter.
[0172]
In the determination in step S52,
N <64
(Step S52; No), the process ends.
As described above, also in the second embodiment, it is possible to quickly search for a target image sequence from a plurality of image sequences stored in a memory by using multi-screen moving image reproduction. Become.
[0173]
In the above-described second embodiment, the DCT transform coefficient is generated by using 8 × 8 pixels as a block.X× 2X) Pixels are taken as one block (X: natural number), (2)X× 2XThe present invention is also applicable to a case where discrete cosine transform processing for generating ()) discrete cosine transform coefficients is performed.
[0174]
That is, the obtained discrete cosine transform coefficient of one frame is divided into (3 · X + 1) bands, which are stored in advance, and stored.
4Z≧ M> 4(Z-1)
(However, Z is an integer satisfying X ≧ Z ≧ 0)
, The first DCT coefficient group corresponding to the first band that is the lowest band is the (3 · (X−Z) +1) DCT corresponding to the (3 · (X−Z) +1) band. What is necessary is just to configure so that (3 · (X−Z) +1) DCT coefficient groups up to the coefficient group are read from the memory 6 and processed.
[0175]
In the above embodiments, the reproduction is performed at the normal reproduction speed (1 × speed). However, the present invention is also applicable to the case of performing the fast forward reproduction such as 2 × speed, 3 × speed,.
In this case, image search can be performed at higher speed.
[0176]
【The invention's effect】
According to the first aspect of the present invention, the coded data storage means stores the coded data obtained by dividing the input signal into a plurality of bands, quantizing and coding, for the plurality of input signals, A division number determining unit that determines a data division number M based on the number N of input signals that is the number of input signals stored in the encoded data storage unit; and at least one of encoded data corresponding to a plurality of bands. Encoded data corresponding to one or a plurality of bands having a data amount corresponding to the data division number M is read from the storage unit, and the decoding unit performs a decoding process based on the encoded data read by the reading unit. The decoded data is output to the decoded data storage means, the decoded data storage means stores the decoded data for the M input signals, and the display means is stored in the decoded data storage means. Based on the decoded data, one screen is divided to display a plurality of images, and in parallel with these image display operations, the reproduction control means displays the display means based on a selection control signal input from the outside. One of the images displayed on the screen is selected to be reproducible, so based on the multiple images displayed on the screen, the recorded moving images can be listed at high speed and displayed. Cueing can be easily performed by inputting a selection control signal corresponding to any one of a plurality of moving images, and checking and searching of recorded moving images can be performed at high speed. it can.
[0177]
Also,When the number N of input signals is smaller than the number M of data divisions, the mee data storage means sets the storage area of the decoded data storage means to an M-division storage area obtained by dividing M, and stores the decoded data in N M-division storage areas In addition to the storage, the dummy decoded data is written in the (MN) M divided storage areas. Therefore, even when the number of recording input signals is small and the moving image to be displayed does not cover the entire screen, the processing is not changed. The display can be easily performed.
[0178]
ClaimItem 2According to the claimed invention,Item 1In addition to the effects of the invention described above, the equal division time calculating means calculates the time interval EQ based on the number N of input signals and the total recording time T of the encoded data stored in the encoded data means by the following equation:
EQ = T / N
The reading means groups encoded data in the storage means with a data amount corresponding to the time interval EQ calculated by the equally divided time calculating means, and encodes each group as encoded data corresponding to one video signal. Since the readout process is performed as a group, the playback time of the image displayed on one divided screen is the same for a plurality of divided screens, and the stored moving images can be uniformly listed, making search easier. It becomes.
[0179]
ClaimItem 3According to the claimed invention, the claims1 or Claim 2In addition to the effects of the invention described above, the readout unit groups encoded data in the storage unit with a data amount corresponding to the interval time t input from the outside, and encodes each group into an encoding corresponding to one video signal. Since the read processing is performed by regarding the data group, the moving image displayed on each of the divided screens has the interval time t, and the moving image can be searched by the search unit most suitable for the user.
[0180]
ClaimItem 4According to the claimed invention, the claims1 or Claim 2In addition to the effects of the invention described, the readout unit regards the storage region corresponding to the same input signal among the storage regions of the storage unit as a ring-shaped storage region in which the storage regions are continuous in a ring shape, The coded data in the ring-shaped storage area is successively and sequentially grouped by the data amount corresponding to the interval time t input from the outside, and each group is regarded as a coded data group corresponding to one video signal and read processing is performed. Is performed, the moving images displayed on each divided screen correspond to the same input signal, and the target moving image can be easily selected.
[0181]
ClaimItem 5According to the claimed invention, the claimsAny one of claims 1 to 4In addition to the effects of the invention described above, the reading means may be arranged so that the screen division number M is
4Z≧ M> 4(Z-1)
(However, Z is an integer satisfying X ≧ Z ≧ 0)
, The encoded data constituting (3 · (X−Z) +1) bands from the first band which is the lowest band to the (3 · (X−Z) +1) band is Since the data is read out, the amount of data to be read can be easily set to be substantially constant according to the number of divided screens, and even if the number of divided screens increases, the processing time required for display can be kept substantially constant. Thus, high-speed search can be performed regardless of the number of divided screens.
[0182]
ClaimItem 6According to the invention described above, claims 1 to claimItem 4In addition to the effects of the invention described above, the storage means divides and stores the discrete cosine transform coefficient of one frame obtained by encoding into (3 × X + 1) predetermined bands, and the reading means stores the screen. The number of divisions M is
4Z≧ M> 4(Z-1)
(However, Z is an integer satisfying X ≧ Z ≧ 0)
, The encoded data constituting (3 · (X−Z) +1) bands from the first band which is the lowest band to the (3 · (X−Z) +1) band is Since the reading is performed, even when the discrete cosine transform is used as the image compression method, the data amount to be read can be easily set to be substantially constant in accordance with the number of divided screens. The required processing time can be substantially constant, and high-speed search can be performed regardless of the number of divided screens.
[0183]
ClaimItem 7According to the claimed invention, the claimsAny one of claims 1 to 6In addition to the effects of the described invention, the encoded data storage means and the decoded data storage means are constituted by semiconductor memories, so that a plurality of moving images can be easily and quickly displayed on a screen by random access. Data can be read, and high-speed search can be easily performed.
[0184]
ClaimItem 8According to the invention described above, the encoded data storage step includes dividing the input video into a plurality of bands, quantizing, encoding, electrically or optically writable, and reading the encoded data in a readable encoded data storage medium. In the division number process, the data division number M is determined based on the input video number N which is the number of input images.
[0185]
The reading step reads out, from the encoded data storage medium, the encoded data corresponding to one or more bands having a data amount corresponding to at least the data division number M, out of the encoded data corresponding to the plurality of bands. The step performs a decoding process based on the encoded data read by the reading step, and the decoded data storage step has a storage capacity capable of storing at least one frame of encoded data, and includes M storage units. The decoded data for the input signal is stored in a decoded data storage medium, and the display step divides one screen based on the decoded data stored in the decoded data storage medium to display a plurality of images. In the reproduction control step, one of the plurality of images displayed in the display step is set to be in a reproducible state based on the selection control instruction input from the outside. The recorded moving images can be listed at a high speed based on the plurality of images displayed on the screen, and can be easily input by inputting a selection control signal corresponding to any one of the displayed plurality of moving images. The search and the search of the recorded moving image can be performed at high speed.
[0186]
Also,In the dummy data writing step, when the input video number N is smaller than the data division number M, the storage area of the decoded data storage medium is divided into M divided storage areas, and the decoded data is stored in N M divided storage areas. Is stored, and dummy decoded data is written in the (MN) M divided storage areas. Therefore, even when the number of recording input signals is small and the moving image to be displayed does not cover the entire screen, the processing can be changed. The display can be easily performed without the need.
[0187]
ClaimItem 9According to the claimed invention,Item 8In addition to the effects of the invention described above, the equally dividing time calculating step includes calculating the time interval EQ on the basis of the number N of input videos and the total recording time T of the encoded data stored in the encoded data storage medium by the following equation:
EQ = T / N
In the readout step, the encoded data in the encoded data storage medium is grouped by a data amount corresponding to the time interval EQ calculated in the equally divided time calculation step, and each group corresponds to one input image. Since the read processing is performed by regarding the encoded data as a group, the playback time of the image displayed on one divided screen is the same for a plurality of divided screens, and the stored moving images can be uniformly listed. Becomes easier.
[0188]
Claim10According to the described invention, the claims8 or claim 9In addition to the effects of the described invention, in the reading step, the encoded data in the encoded data storage medium is grouped by a data amount corresponding to the interval time t input from the outside, and each group corresponds to one input image. Since the read processing is performed by regarding the encoded data group as the encoded data group, the moving image displayed on each divided screen has the interval time t, and the moving image can be searched in the search unit most suitable for the user.
[0189]
Claim11According to the described invention, the claims8 Claim 9In addition to the effects of the invention described, in the reading step, among the storage areas of the encoded data storage medium, the storage area corresponding to the same video signal is converted to a ring-shaped storage area in which the storage areas are continuous in a ring shape. At the same time, the encoded data in the ring-shaped storage area is sequentially and sequentially grouped with a data amount corresponding to the interval time t input from the outside, and each group is regarded as an encoded data group corresponding to one input image. Moving image displayed on each divided screen corresponds to the same input signal, and a desired moving image can be easily selected.
[0190]
Claim12According to the described invention, the claims8 or claim 9In addition to the effects of the described invention, in the reading step, the screen division number M
4Z≧ M> 4(Z-1)
(However, Z is an integer satisfying X ≧ Z ≧ 0)
, The encoded data constituting (3 · (X−Z) +1) bands from the first band which is the lowest band to the (3 · (X−Z) +1) band is Since the data is read out, the amount of data to be read can be easily set to be substantially constant according to the number of divided screens, and even if the number of divided screens increases, the processing time required for display can be kept substantially constant. Thus, high-speed search can be performed regardless of the number of divided screens.
[0191]
ClaimThirteenAccording to the described invention, the claims8 to claim 10In addition to the effects of the described invention, the storing step divides the discrete cosine transform coefficient of one frame obtained by the encoding into (3 × X + 1) predetermined bands and stores the divided bands. The number of divisions M is
4Z≧ M> 4(Z-1)
(However, Z is an integer satisfying X ≧ Z ≧ 0)
, The encoded data constituting (3 · (X−Z) +1) bands from the first band which is the lowest band to the (3 · (X−Z) +1) band is Since the reading is performed, even when the discrete cosine transform is used as the image compression method, the data amount to be read can be easily set to be substantially constant in accordance with the number of divided screens. The required processing time can be substantially constant, and high-speed search can be performed regardless of the number of divided screens.
[0192]
Claim14According to the described invention, by performing an image search by a computer based on an image search program stored in an image search program storage medium, an input image is divided into a plurality of bands, quantized, encoded, and Alternatively, the data is stored as encoded data in an encoded data storage medium that can be written and read optically, and the number M of data divisions is determined based on the number N of input images, which is the number of input images, to handle a plurality of bands. Among the coded data, coded data corresponding to at least one band having a data amount corresponding to at least the data division number M is read from the coded data storage medium, and based on the coded data read in the reading step. To perform decoding processing on the M input signals so that at least one frame of encoded data can be stored. A storage unit for storing a plurality of images by dividing one screen based on the decoded data stored in the decoded data storage medium and displaying a plurality of images based on the decoded data stored in the decoded data storage medium; Since one selected image among the plurality of images displayed in the display step is displayed in a reproducible state on the basis of a plurality of images displayed on the screen, a list of recorded moving images can be displayed at high speed based on the plurality of images displayed on the screen. Cueing can be easily performed by inputting a selection control signal corresponding to any one of a plurality of displayed moving images, and confirmation and search of recorded moving images can be performed. Can be done at high speed.
[0193]
Also,By performing an image search based on an image search program, when the number N of input videos is smaller than the number M of data divisions, the storage area of the decoded data storage medium is set to an M-division storage area obtained by dividing the M by N, and N M-division storage areas are used. Since the decoded data is stored in the storage area and the dummy decoded data is written in the (M−N) M divided storage areas, even if the number of recording input signals is small and the moving image to be displayed does not cover the entire screen. The display can be easily performed without changing the processing.
[0194]
ClaimFifteenAccording to the described invention, the claims14In addition to the effects of the invention described above, by performing an image search based on an image search program, a time interval EQ can be obtained based on the number N of input videos and the total recording time T of the encoded data stored in the encoded data storage medium. Is
EQ = T / N
, The encoded data in the encoded data storage medium is grouped by the data amount corresponding to the time interval EQ, and each group is regarded as an encoded data group corresponding to one input video, and the read processing is performed. The playback time of an image displayed on one split screen is the same for a plurality of split screens, and stored moving images can be uniformly listed, making search easier.
[0195]
Claim16According to the described invention, the claims14 or claim 15In addition to the effects of the invention described above, by performing an image search based on an image search program, the coded data in the coded data storage medium is grouped with a data amount corresponding to the interval time t, and each group is input to one input. Since the read processing is performed by regarding the encoded data as a group of encoded data corresponding to the video, the moving image displayed on each divided screen has the interval time t, and the moving image can be searched for in a search unit optimal for the user.
[0196]
Claim17According to the described invention, the claims14 or claim 15In addition to the effects of the invention described above, by performing an image search based on an image search program, a storage area corresponding to the same video signal in the storage area of the encoded data storage medium is formed into a ring-shaped storage area. Regarding a continuous ring-shaped storage area, the encoded data in the ring-shaped storage area is sequentially and sequentially grouped with a data amount corresponding to the interval time t, and each group is encoded corresponding to one input image. Since the read processing is performed by regarding the data group, the moving images displayed on the respective divided screens correspond to the same input signal, and the target moving image can be easily selected.
[0197]
Claim18According to the described invention, the claimsAny of claims 14 to 17In addition to the effects of the invention described above, by performing an image search based on an image search program, the screen division number M can be reduced.
4Z≧ M> 4(Z-1)
(However, Z is an integer satisfying X ≧ Z ≧ 0)
, The encoded data constituting (3 · (X−Z) +1) bands from the first band which is the lowest band to the (3 · (X−Z) +1) band is Since the data is read out, the amount of data to be read can be easily set to be substantially constant according to the number of divided screens, and even if the number of divided screens increases, the processing time required for display can be kept substantially constant. Thus, high-speed search can be performed regardless of the number of divided screens.
[0198]
Claim19According to the described invention, the claimsAny of claims 14 to 17In addition to the effects of the invention described above, by performing an image search based on an image search program, a discrete cosine transform coefficient of one frame obtained by encoding is divided into (3 × X + 1) predetermined bands. And the screen division number M is
4Z≧ M> 4(Z-1)
(However, Z is an integer satisfying X ≧ Z ≧ 0)
, The encoded data constituting (3 · (X−Z) +1) bands from the first band which is the lowest band to the (3 · (X−Z) +1) band is Since reading is performed, data can be read out by random access to easily and quickly display a plurality of moving images on the screen, and high-speed search can be easily performed.
[Brief description of the drawings]
FIG. 1 is a schematic block diagram of a video recording / reproducing apparatus according to an embodiment.
FIG. 2 is an explanatory diagram (1) of a wavelet transform operation.
FIG. 3 is an explanatory diagram (2) of a wavelet transform operation.
FIG. 4 is an explanatory diagram of a physical format of a memory.
FIG. 5 is an explanatory diagram of a data configuration of frame data.
FIG. 6 is an explanatory diagram (1) of an inverse wavelet transform operation.
FIG. 7 is an explanatory diagram (2) of the inverse wavelet transform operation.
FIG. 8 is an explanatory diagram of a data storage state and a physical format of a memory when reproducing a multi-screen moving image.
FIG. 9 is a flowchart of an image high-speed search process.
FIG. 10 is a flowchart of a multi-screen moving image reproduction process according to the first embodiment.
FIG. 11 is a detailed operation explanatory diagram of the inverse wavelet transform operation.
FIG. 12 is a detailed explanatory diagram of the wavelet inverse transform operation.
FIG. 13 is an explanatory diagram of a playback state in a time-divided playback mode.
FIG. 14 is an explanatory diagram of a playback state in an interval playback mode.
FIG. 15 is a configuration explanatory diagram of the second embodiment.
FIG. 16 is an explanatory diagram of DCT coefficients and band division of the DCT coefficients.
FIG. 17 is an explanatory diagram of a DCT coefficient rearrangement process.
FIG. 18 is an explanatory diagram of a two-dimensional inverse DCT transform.
FIG. 19 is a flowchart of a multi-screen moving image reproduction process according to the second embodiment.
[Explanation of symbols]
1 Video recording and playback device
2 Video camera
3 Display
4 Video interface
5 Encoder
6 memory
7 Memory interface
8 decoder
9 Playback control section
11 Wavelet transform unit
12 Quantization unit
13 Variable length coding unit
14 Formatter part
15 Inverse formatter
16 Variable length decoding unit
17 Inverse quantization unit
18 Wavelet inverse transform unit
SG image signal
DG image data
DDG decoded image data
FL frame data
DSB subband image data
DQSB Quantized subband data
DVLG encoded image data
DVLG 'variable-length decoded image data
DQSB 'Quantized decoded image data
DSB 'Dequantized image data
SDG decoded image signal

Claims (19)

電気的あるいは光学的に書き込み、読み出し可能であるとともに、入力信号を複数の帯域に分割し、量子化し、符号化して得られる符号化データを複数の前記入力信号について記憶する符号化データ記憶手段と、
前記符号化データ記憶手段に記憶された前記入力信号の数である入力信号数Ｎに基づいて、データ分割数Ｍを決定する分割数決定手段と、
前記複数の帯域に対応する前記符号化データのうち、少なくとも前記データ分割数Ｍに対応するデータ量を有する一又は複数の帯域に対応した前記符号化データを前記記憶手段から読み出す読出手段と、
前記読出手段により読み出された前記符号化データに基づいて復号化処理を行い復号化データを出力する復号化手段と、
少なくとも一フレーム分の前記符号化データを記憶可能な記憶容量を有し、Ｍ個の前記入力信号についての前記復号化データを記憶する復号化データ記憶手段と、
前記復号化データ記憶手段に記憶された前記復号化データに基づいて一の画面を分割して複数の画像の表示を行う表示手段と、
外部から入力された選択制御信号に基づいて前記表示手段に表示された複数の画像のうち選択された一の画像を再生可能状態とする再生制御手段と、
前記入力信号数Ｎが前記データ分割数Ｍより小さい場合に、前記復号化データ記憶手段の記憶領域をＭ分割したＭ分割記憶領域とし、Ｎ個の前記Ｍ分割記憶領域に前記復号化データを記憶するとともに、（Ｍ−Ｎ）個の前記Ｍ分割記憶領域にダミー復号化データを書き込むダミーデータ書込手段と、
を備えたことを特徴とする画像検索装置。Electrically or optically writable and readable, and divides an input signal into a plurality of bands, quantizes, and encodes data obtained by encoding and encodes data obtained by encoding the plurality of input signals; and ,
Division number determining means for determining a data division number M based on an input signal number N which is the number of the input signals stored in the encoded data storage means;
Reading means for reading, from the storage means, the encoded data corresponding to one or more bands having a data amount corresponding to at least the data division number M, among the encoded data corresponding to the plurality of bands;
Decoding means for performing a decoding process based on the encoded data read by the reading means and outputting decoded data;
Decoded data storage means having a storage capacity capable of storing at least one frame of the encoded data, and storing the decoded data for the M input signals;
Display means for dividing one screen based on the decoded data stored in the decoded data storage means to display a plurality of images,
Reproduction control means for setting a selected one of a plurality of images displayed on the display means to a reproducible state based on a selection control signal input from the outside,
When the number N of input signals is smaller than the number M of data divisions, the storage area of the decoded data storage means is set as an M-divided storage area obtained by dividing the M, and the decoded data is stored in the N M-divided storage areas. And dummy data writing means for writing dummy decoded data into the (MN) M divided storage areas;
An image search device comprising: 請求項１記載の画像検索装置において、
前記入力信号数Ｎ及び前記符号化データ手段に記憶された前記符号化データの総記録時間Ｔに基づき、時間間隔ＥＱを次式、
ＥＱ＝Ｔ／Ｎ
により算出する均等割り時間算出手段を備え、
前記読出手段は、前記時間間隔ＥＱに対応するデータ量で前記記憶手段中の前記符号化データをグループ化し、各グループを一の映像信号に対応する符号化データ群とみなして読出処理を行うことを特徴とする画像検索装置。The image retrieval apparatus according to claim 1 Symbol placement,
Based on the number N of input signals and the total recording time T of the encoded data stored in the encoded data means, a time interval EQ is expressed by the following equation:
EQ = T / N
Equidistant time calculation means for calculating by
The reading means groups the encoded data in the storage means with a data amount corresponding to the time interval EQ, and performs a read process by regarding each group as an encoded data group corresponding to one video signal. An image search device characterized by the following. 請求項１又は請求項２記載の画像検索装置において、
前記読出手段は、外部より入力されたインターバル時間ｔに対応するデータ量で前記記憶手段中の前記符号化データをグループ化し、各グループを一の映像信号に対応する符号化データ群とみなして読出処理を行うことを特徴とする画像検索装置。The image search device according to claim 1 or 2 ,
The readout unit groups the encoded data in the storage unit with a data amount corresponding to an interval time t input from the outside, and reads each group as an encoded data group corresponding to one video signal. An image search device that performs processing. 請求項１又は請求項２記載の画像検索装置において、
前記読出手段は、前記記憶手段の記憶領域のうち、同一の前記入力信号に対応する記憶領域ををリング状に記憶領域が連続しているリング状記憶領域とみなすとともに、外部より入力されたインターバル時間ｔに対応するデータ量で前記リング状記憶領域中の前記符号化データを連続的に順次グループ化し、各グループを一の映像信号に対応する符号化データ群とみなして読出処理を行うことを特徴とする画像検索装置。The image search device according to claim 1 or 2 ,
The readout unit regards a storage region corresponding to the same input signal among storage regions of the storage unit as a ring-shaped storage region in which storage regions are continuous in a ring shape, and an interval input from the outside. The encoded data in the ring-shaped storage area are sequentially and sequentially grouped with a data amount corresponding to time t, and each group is regarded as an encoded data group corresponding to one video signal and read processing is performed. Characteristic image retrieval device. 請求項１乃至請求項４のいずれかに記載の画像検索装置において、
前記符号化は、Ｘ階層２次元ウェーブレット変換処理であり（Ｘ：２以上の整数）、
前記読出手段は、前記画面分割数Ｍが
４Z≧Ｍ＞４(Z-1)
（ただし、Ｚは、Ｘ≧Ｚ≧０を満たす整数）
である場合に、最も低域の帯域である第１帯域から第（３・（Ｘ−Ｚ）＋１）帯域までの（３・（Ｘ−Ｚ）＋１）個の帯域を構成する前記符号化データを読み出すことを特徴とする画像検索装置。The image search device according to any one of claims 1 to 4 ,
The encoding is an X-layer two-dimensional wavelet transform process (X: an integer of 2 or more),
The reading means may be arranged such that the screen division number M is 4 Z ≧ M> 4 (Z−1)
(However, Z is an integer satisfying X ≧ Z ≧ 0)
, The encoded data constituting (3 · (X−Z) +1) bands from the first band, which is the lowest band, to the (3 · (X−Z) +1) band. An image search device for reading out an image. 請求項１乃至請求項４のいずれかに記載の画像検索装置において、
前記符号化は、（２X×２X）画素を一のブロックとし（Ｘ：自然数）、（２X×
２X）個の離散コサイン変換係数を生成する離散コサイン変換処理であり、
前記記憶手段は、前記符号化により得られた１フレームの離散コサイン変換係数
を予め設定した（３・Ｘ＋１）個の帯域に分割して記憶し、
前記読出手段は、前記画面分割数Ｍが
４Z≧Ｍ＞４(Z-1)
（ただし、Ｚは、Ｘ≧Ｚ≧０を満たす整数）
である場合に、最も低域の帯域である第１帯域から第（３・（Ｘ−Ｚ）＋１）帯域までの（３・（Ｘ−Ｚ）＋１）個の帯域を構成する前記符号化データを読み出すことを特徴とする画像検索装置。The image search device according to any one of claims 1 to 4 ,
In the encoding, (2 X × 2 X ) pixels are defined as one block (X: natural number), and (2 X × 2 X )
2 X ) discrete cosine transform processing for generating discrete cosine transform coefficients,
The storage means stores the discrete cosine transform coefficient of one frame obtained by the encoding, divided into preset (3 × X + 1) bands,
The reading means may be arranged such that the screen division number M is 4 Z ≧ M> 4 (Z−1)
(However, Z is an integer satisfying X ≧ Z ≧ 0)
, The encoded data constituting (3 · (X−Z) +1) bands from the first band, which is the lowest band, to the (3 · (X−Z) +1) band. An image search device for reading out an image. 請求項１乃至請求項６のいずれかに記載の画像検索装置において、
前記符号化データ記憶手段及び前記復号化データ記憶手段は、半導体メモリにより構成されていることを特徴とする画像検索装置。The image search device according to any one of claims 1 to 6 ,
An image search device, wherein the encoded data storage means and the decoded data storage means are constituted by semiconductor memories. 入力映像を複数の帯域に分割し、量子化し、符号化し、電気的あるいは光学的に書き込み、読み出し可能な符号化データ記憶媒体に符号化データとして記憶させる符号化データ記憶工程と、
前記入力映像の数である入力映像数Ｎに基づいて、データ分割数Ｍを決定する分割数決定工程と、
前記複数の帯域に対応する前記符号化データのうち、少なくとも前記データ分割数Ｍに対応するデータ量を有する一又は複数の帯域に対応した前記符号化データを前記符号化データ記憶媒体から読み出す読出工程と、
前記読出工程により読み出された前記符号化データに基づいて復号化処理を行う復号化工程と、
少なくとも一フレーム分の前記符号化データを記憶可能な記憶容量を有し、Ｍ個の前記入力信号についての前記復号化データを復号化データ記憶媒体に記憶する復号化データ記憶工程と、
前記復号化データ記憶媒体に記憶された前記復号化データに基づいて一の画面を分割して複数の画像の表示を行う表示工程と、
外部から入力された選択制御指示に基づいて前記表示工程において表示された複数の画像のうち選択された一の画像を再生可能状態とする再生制御工程と、
前記入力映像数Ｎが前記データ分割数Ｍより小さい場合に、前記復号化データ記憶媒体の記憶領域をＭ分割したＭ分割記憶領域とし、Ｎ個の前記Ｍ分割記憶領域に前記復号化データを記憶するとともに、（Ｍ−Ｎ）個の前記Ｍ分割記憶領域にダミー復号化データを書き込むダミーデータ書込工程と
を備えたことを特徴とする画像検索方法。An input image is divided into a plurality of bands, quantized, encoded, electrically or optically written, an encoded data storage step of storing as encoded data in a readable encoded data storage medium,
A division number determining step of determining a data division number M based on the input video number N being the number of the input video;
A reading step of reading, from the encoded data storage medium, the encoded data corresponding to one or a plurality of bands having a data amount corresponding to at least the data division number M among the encoded data corresponding to the plurality of bands. When,
A decoding step of performing a decoding process based on the encoded data read by the reading step,
A decoded data storage step having a storage capacity capable of storing at least one frame of the encoded data, and storing the decoded data for the M input signals in a decoded data storage medium;
A display step of dividing one screen based on the decoded data stored in the decoded data storage medium to display a plurality of images,
A reproduction control step of setting a selected one of a plurality of images displayed in the display step to a reproducible state based on a selection control instruction input from outside,
When the input video number N is smaller than the data division number M, the storage area of the decoded data storage medium is divided into M divided storage areas, and the decoded data is stored in N M divided storage areas. And a dummy data writing step of writing dummy decoded data in the (MN) M divided storage areas . 請求項８記載の画像検索方法において、
前記入力映像数Ｎ及び前記符号化データ記憶媒体に記憶された前記符号化データの総記録時間Ｔに基づき、時間間隔ＥＱを次式、
ＥＱ＝Ｔ／Ｎ
により算出する均等割り時間算出工程を備え、
前記読出工程は、前記時間間隔ＥＱに対応するデータ量で前記符号化データ記憶媒体中の前記符号化データをグループ化し、各グループを一の入力映像に対応する符号化データ群とみなして読出処理を行うことを特徴とする画像検索方法。The image search method according to claim 8 Symbol mounting,
Based on the number N of input videos and the total recording time T of the encoded data stored in the encoded data storage medium, a time interval EQ is expressed by the following equation:
EQ = T / N
And the evenly divided time calculation step is calculated by
In the reading step, the encoded data in the encoded data storage medium is grouped by a data amount corresponding to the time interval EQ, and each group is regarded as an encoded data group corresponding to one input video, and a read process is performed. Performing an image search. 請求項８又は請求項９記載の画像検索方法において、
前記読出工程は、外部より入力されたインターバル時間ｔに対応するデータ量で前記符号化データ記憶媒体中の前記符号化データをグループ化し、各グループを一の入力映像に対応する符号化データ群とみなして読出処理を行うことを特徴とする画像検索方法。In the image search method according to claim 8 or 9 ,
In the reading step, the encoded data in the encoded data storage medium is grouped by a data amount corresponding to an interval time t input from the outside, and each group includes an encoded data group corresponding to one input image. An image search method characterized by performing a readout process. 請求項８又は請求項９記載の画像検索方法において、
前記読出工程は、前記符号化データ記憶媒体の記憶領域のうち、同一の前記映像信号に対応する記憶領域ををリング状に記憶領域が連続しているリング状記憶領域とみなすとともに、外部より入力されたインターバル時間ｔに対応するデータ量で前記リング状記憶領域中の前記符号化データを連続的に順次グループ化し、各グループを一の入力映像に対応する符号化データ群とみなして読出処理を行うことを特徴とする画像検索方法。In the image search method according to claim 8 or 9 ,
In the reading step, among the storage areas of the encoded data storage medium, a storage area corresponding to the same video signal is regarded as a ring-shaped storage area in which storage areas are continuous in a ring shape, and an external input is performed. The encoded data in the ring-shaped storage area is sequentially and sequentially grouped with a data amount corresponding to the set interval time t, and each group is regarded as an encoded data group corresponding to one input image, and the read processing is performed. An image search method characterized by performing: 請求項８乃至請求項１１のいずれかに記載の画像検索方法において、
前記符号化は、Ｘ階層２次元ウェーブレット変換処理であり（Ｘ：２以上の整数）、
前記読出工程は、前記画面分割数Ｍが
４Z≧Ｍ＞４(Z-1)
（ただし、ＺはＸ≧Ｚ≧０を満たす整数）
である場合に、最も低域の帯域である第１帯域から第（３・（Ｘ−Ｚ）＋１）帯域までの（３・（Ｘ−Ｚ）＋１）個の帯域を構成する前記符号化データを読み出すことを特徴とする画像検索方法。The image search method according to any one of claims 8 to 11 ,
The encoding is an X-layer two-dimensional wavelet transform process (X: an integer of 2 or more),
In the reading step, the screen division number M is 4 Z ≧ M> 4 (Z−1)
(However, Z is an integer satisfying X ≧ Z ≧ 0)
, The encoded data constituting (3 · (X−Z) +1) bands from the first band, which is the lowest band, to the (3 · (X−Z) +1) band. An image search method characterized by reading out an image. 請求項８乃至請求項１１のいずれかに記載の画像検索方法において、
前記符号化は、（２X×２X）画素を一のブロックとし（Ｘ：自然数）、（２X×２X）個の離散コサイン変換係数を生成する離散コサイン変換処理であり、
前記記憶工程は、前記符号化により得られた１フレームの離散コサイン変換係数
を予め設定した（３・Ｘ＋１）個の帯域に分割して記憶し、
前記読出工程は、前記画面分割数Ｍが
４Z≧Ｍ＞４(Z-1)
（ただし、ＺはＸ≧Ｚ≧０を満たす整数）
である場合に、最も低域の帯域である第１帯域から第（３・（Ｘ−Ｚ）＋１）帯域までの（３・（Ｘ−Ｚ）＋１）個の帯域を構成する前記符号化データを読み出すことを特徴とする画像検索方法。The image search method according to any one of claims 8 to 11 ,
The encoding, (2 X × 2 X) pixels as one block (X: natural number), a discrete cosine transform process to generate the (2 X × 2 X) number of discrete cosine transform coefficients,
In the storing step, the discrete cosine transform coefficient of one frame obtained by the encoding is divided into (3 · X + 1) bands and stored.
In the reading step, the screen division number M is 4 Z ≧ M> 4 (Z−1)
(However, Z is an integer satisfying X ≧ Z ≧ 0)
, The encoded data constituting (3 · (X−Z) +1) bands from the first band, which is the lowest band, to the (3 · (X−Z) +1) band. An image search method characterized by reading out an image. 画像検索をコンピュータにより行う画像検索プログラムを記憶した画像検索プログラム記憶媒体において、
入力映像を複数の帯域に分割し、量子化し、符号化し、電気的あるいは光学的に書き込み、読み出し可能な符号化データ記憶媒体に符号化データとして記憶させ、
前記入力映像の数である入力映像数Ｎに基づいて、データ分割数Ｍを決定し、
前記複数の帯域に対応する前記符号化データのうち、少なくとも前記データ分割数Ｍに対応するデータ量を有する一又は複数の帯域に対応した前記符号化データを前記符号化データ記憶媒体から読み出し、
前記読出工程により読み出された前記符号化データに基づいて復号化処理を行い、
Ｍ個の前記入力信号についての前記復号化データを少なくとも一フレーム分の前記符号化データを記憶可能な記憶容量を有する復号化データ記憶媒体に記憶し、
前記復号化データ記憶媒体に記憶された前記復号化データに基づいて一の画面を分割して複数の画像の表示を行い、
外部から入力された選択制御信号に基づいて前記表示工程に表示された複数の画像のうち選択された一の画像を再生可能状態とし、
前記入力映像数Ｎが前記データ分割数Ｍより小さい場合に、前記復号化データ記憶媒体の記憶領域をＭ分割したＭ分割記憶領域とし、Ｎ個の前記Ｍ分割記憶領域に前記復号化データを記憶するとともに、（Ｍ−Ｎ）個の前記Ｍ分割記憶領域にダミー復号化データを書き込む、
画像検索プログラムを記憶したことを特徴とする画像検索プログラム記憶媒体。In an image search program storage medium storing an image search program for performing an image search by a computer,
The input video is divided into a plurality of bands, quantized, encoded, written electrically or optically, and stored as encoded data in a readable encoded data storage medium,
A data division number M is determined based on the input video number N which is the number of the input images,
Among the encoded data corresponding to the plurality of bands, the encoded data corresponding to at least one band having a data amount corresponding to at least the data division number M is read from the encoded data storage medium,
Perform a decoding process based on the encoded data read in the reading step,
Storing the decoded data for the M input signals in a decoded data storage medium having a storage capacity capable of storing the encoded data for at least one frame;
Dividing one screen based on the decoded data stored in the decoded data storage medium to display a plurality of images,
An image selected from among the plurality of images displayed in the display step based on a selection control signal input from the outside is set to a reproducible state ,
When the input video number N is smaller than the data division number M, the storage area of the decoded data storage medium is divided into M divided storage areas, and the decoded data is stored in N M divided storage areas. Writing dummy decoded data into the (M−N) M divided storage areas,
An image search program storage medium storing an image search program. 請求項１４記載の画像検索プログラム記憶媒体において、
前記入力映像数Ｎ及び前記符号化データ記憶媒体に記憶された前記符号化データの総記録時間Ｔに基づき、時間間隔ＥＱを次式、
ＥＱ＝Ｔ／Ｎ
により算出し、
前記時間間隔ＥＱに対応するデータ量で前記符号化データ記憶媒体中の前記符号化データをグループ化し、各グループを一の入力映像に対応する符号化データ群とみなして読出処理を行う、
画像検索プログラムを記憶したことを特徴とする画像検索プログラム記憶媒体。The image search program storage medium according to claim 14 ,
Based on the number N of input videos and the total recording time T of the encoded data stored in the encoded data storage medium, a time interval EQ is expressed by the following equation:
EQ = T / N
Calculated by
Grouping the encoded data in the encoded data storage medium with a data amount corresponding to the time interval EQ, and performing a read process by regarding each group as an encoded data group corresponding to one input video;
An image search program storage medium storing an image search program. 請求項１４又は請求項１５記載の画像検索プログラム記憶媒体において、
外部より入力されたインターバル時間ｔに対応するデータ量で前記符号化データ記憶媒体中の前記符号化データをグループ化し、各グループを一の入力映像に対応する符号化データ群とみなして読出処理を行う、
画像検索プログラムを記憶したことを特徴とする画像検索プログラム記憶媒体。An image search program storage medium according to claim 14 or claim 15 ,
The encoded data in the encoded data storage medium is grouped by a data amount corresponding to an interval time t input from the outside, and a read process is performed by regarding each group as an encoded data group corresponding to one input video. Do,
An image search program storage medium storing an image search program. 請求項１４又は請求項１５記載の画像検索プログラム記憶媒体において、
前記符号化データ記憶媒体の記憶領域のうち、同一の前記映像信号に対応する記憶領域をリング状に記憶領域が連続しているリング状記憶領域とみなすとともに、外部より入力されたインターバル時間ｔに対応するデータ量で前記リング状記憶領域中の前記符号化データを連続的に順次グループ化し、各グループを一の入力映像に対応する符号化データ群とみなして読出処理を行う、
画像検索プログラムを記憶したことを特徴とする画像検索プログラム記憶媒体。An image search program storage medium according to claim 14 or claim 15 ,
Wherein among the storage areas of the coded data storage medium, the storage area corresponding to the same said video signal with regarded as ring-shaped storage area for the storage area are continuous in-ring shape, interval input from the outside the time t The encoded data in the ring-shaped storage area are successively and sequentially grouped with a data amount corresponding to and a read process is performed by regarding each group as an encoded data group corresponding to one input video.
An image search program storage medium storing an image search program. 請求項１４乃至請求項１７のいずれかに記載の画像検索プログラム記憶媒体において、
前記符号化は、Ｘ階層２次元ウェーブレット変換処理であり（Ｘ：２以上の整数）、
前記画面分割数Ｍが
４Z≧Ｍ＞４(Z-1)
（ただし、ＺはＸ≧Ｚ≧０を満たす整数）
である場合に、最も低域の帯域である第１帯域から第（３・（Ｘ−Ｚ）＋１）帯域までの（３・（Ｘ−Ｚ）＋１）個の帯域を構成する前記符号化データを読み出す、
画像検索プログラムを記憶したことを特徴とする画像検索プログラム記憶媒体。An image search program storage medium according to any one of claims 14 to 17 ,
The encoding is an X-layer two-dimensional wavelet transform process (X: an integer of 2 or more),
The screen division number M is 4 Z ≧ M> 4 (Z-1)
(However, Z is an integer satisfying X ≧ Z ≧ 0)
, The encoded data constituting (3 · (X−Z) +1) bands from the first band, which is the lowest band, to the (3 · (X−Z) +1) band. Read out,
An image search program storage medium storing an image search program. 請求項１４乃至請求項１７のいずれかに記載の画像検索プログラム記憶媒体において、
前記符号化は、（２X×２X）画素を一のブロックとし（Ｘ：自然数）、（２X×
２X）個の離散コサイン変換係数を生成する離散コサイン変換処理であり、
前記符号化により得られた１フレームの離散コサイン変換係数を予め設定した（３・Ｘ＋１）個の帯域に分割して記憶し、
前記画面分割数Ｍが
４Z≧Ｍ＞４(Z-1)
（ただし、ＺはＸ≧Ｚ≧０を満たす整数）
である場合に、最も低域の帯域である第１帯域から第（３・（Ｘ−Ｚ）＋１）帯域までの（３・（Ｘ−Ｚ）＋１）個の帯域を構成する前記符号化データを読み出す、
画像検索プログラムを記憶したことを特徴とする画像検索プログラム記憶媒体。An image search program storage medium according to any one of claims 14 to 17 ,
In the encoding, (2 X × 2 X ) pixels are defined as one block (X: natural number), and (2 X × 2 X )
2 X ) discrete cosine transform processing for generating discrete cosine transform coefficients,
The discrete cosine transform coefficients of one frame obtained by the encoding are divided into (3 · X + 1) bands and stored.
The screen division number M is 4 Z ≧ M> 4 (Z-1)
(However, Z is an integer satisfying X ≧ Z ≧ 0)
, The encoded data constituting (3 · (X−Z) +1) bands from the first band, which is the lowest band, to the (3 · (X−Z) +1) band. Read out,
An image search program storage medium storing an image search program.
JP30290096A 1996-11-14 1996-11-14 Image search apparatus, image search method, and image search program storage medium Expired - Fee Related JP3545553B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP30290096A JP3545553B2 (en) 1996-11-14 1996-11-14 Image search apparatus, image search method, and image search program storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP30290096A JP3545553B2 (en) 1996-11-14 1996-11-14 Image search apparatus, image search method, and image search program storage medium

Publications (2)

Publication Number Publication Date
JPH10145743A JPH10145743A (en) 1998-05-29
JP3545553B2 true JP3545553B2 (en) 2004-07-21

Family

ID=17914465

Family Applications (1)

Application Number Title Priority Date Filing Date
JP30290096A Expired - Fee Related JP3545553B2 (en) 1996-11-14 1996-11-14 Image search apparatus, image search method, and image search program storage medium

Country Status (1)

Country Link
JP (1) JP3545553B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004140575A (en) 2002-10-17 2004-05-13 Sony Corp Data processing apparatus, data processing method and information storage medium, and computer program

Also Published As

Publication number Publication date
JPH10145743A (en) 1998-05-29

Similar Documents

Publication Publication Date Title
US7295767B2 (en) Method and apparatus for recording and reproducing video data, and recording medium
US5491561A (en) Image processor for processing high definition image signal and standard image signal and disk apparatus therefor
JP2005524450A (en) Handheld data compressor
KR100866443B1 (en) Recording apparatus, recording method, and program, and recording medium
JP3545553B2 (en) Image search apparatus, image search method, and image search program storage medium
JPH10229560A (en) Image processing unit and image processing method
JP2005303336A (en) Video signal recording apparatus and video signal reproducing apparatus
JPH10276400A (en) Image recording device
JP2000509873A (en) Method and apparatus for recording and reproducing video images
JPH09506498A (en) Image data recording device and image data reproducing device
JP2537261B2 (en) Image signal compression recording apparatus and expansion reproducing apparatus
JP2004214985A (en) Image processor and image reproducing device
JP4143471B2 (en) Image encoding method, image encoding apparatus, and recording apparatus
JP3207739B2 (en) Image playback device
JP4251610B2 (en) Image processing device
JP3177366B2 (en) High-speed image playback system
JP2000023081A (en) Image reproducing device
JP3334255B2 (en) High efficiency coding device
JP2864950B2 (en) Management method of compressed video data
JP2806413B2 (en) How to manage multi-channel compressed data
JP2005151018A (en) Image encoder and image decoder
JP3691180B2 (en) Encoding device and encoding method
JPH10215454A (en) Encoding device and method
JP2004165800A (en) Image processing apparatus
JPH0564144A (en) Picture memory device

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040408

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees