JPH0520369A - 動画像情報表示方法および装置 - Google Patents

Abstract

(57)【要約】 【目的】 複数の動画像情報の各一部を迅速に同時表示
すること。 【構成】 符号化データバッファ８０２内の各動画像符
号化データから、識別コード判別器８０３および一部デ
ータ復号器８０４で、特定の復号化対象フレームの特定
の符号化データを識別，抽出して復号し、フレームメモ
リ３２０を介して表示装置３２１に同時表示する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は例えば動画像データベー
スから必要な動画像情報を検索する際に用いる動画像情
報表示方法および装置に関する。

【０００２】

【従来の技術】従来より既存情報を効率的に活用する手
段として、情報を蓄積／検索するデータベースシステム
が利用されてきた。このようなデータベースシステムは
蓄積された情報をキーワードにより検索するリレーショ
ナルデータベース方式が多く、キーワードの登録／運用
方法にシステムの機能／能力／規模が大きく左右される
等の問題が有った。

【０００３】近年、これに代わり、蓄積された情報をよ
りダイナミックかつ直接的に関連付けをする（リンクを
張る）オブジェクト指向データベースシステムが提案さ
れ、ハイパーテキストまたはハイパーメディアとして一
般に知られている。

【０００４】これらのシステムはテキスト画像または静
止画像の全体又は一部に対して関連情報間とリンクを張
るものである。

【０００５】尚、このリンクを張る際の対象は一般にオ
ブジェクトと呼ばれる。

【０００６】更に従来より、画像情報のデータベースシ
ステムは静止画像を中心としたものであった。

【０００７】しかし近年、光ディスクや光磁気ディスク
に代表される安価な大容量記憶デバイスの開発や高速Ｍ
ＰＵ（Ｍicro Ｐrocessing Ｕnit ）、ＤＰＳ（Ｄigit
alＳignal Ｐrocessor）等の演算専用ＬＳＩの開発、及
び高効率な動画像符号化方式の提案に伴い動画像も扱え
るデータベースシステムの開発が進められている。

【０００８】このようなデータベースシステムは一般に
マルチメディアデータベースと呼ばれており２種に大別
できる。１つは読みだし専用システムであり、ＣＤ−Ｒ
ＯＭ等のパッケージメディアに蓄積し供給されるソフト
を運用するものである。もう１つは読みだし／編集／書
き込みが自在に出来るシステムであり、希望する画像情
報を効率よく選択する手段即ち効率のよい検索手段が必
要になるしかし、動画像は静止画像に比べて多くの情報
を含んでおり、かつ情報の性格も静止画像とは大きく異
なる為、従来の静止画やテキストに対する検索手段とし
て一般的だったキーワード検索では画像中の物体の動き
やシーンチェンジ及びストーリー等の動画像特有の特徴
記述という点で限界が有る。

【０００９】そこで、動画像情報の新しい検索手段とし
て、視覚情報を利用した色々な方法が検討／提案されて
いる（電子情報通信学会技術研究報告 ＩＥ８９−３
３）。

【００１０】図２は、複数の縮小動画像情報を同時に表
示し所望の動画像を得る方法を示している。図中１０１
〜１０６は各々異なる動画像情報ファイルであり、１０
９はこれらの動画像情報ファイルを縮小し同時表示した
場合の表示画面、１１０〜１１５は各々動画像１０１〜
動画像１０６の縮小された画像を示している。

【００１１】図３は、図２に示したシステムを具体的に
実現する手段を示すものである。

【００１２】図中３０１〜３０６は各々磁気ディスクや
光ディスク等よりなる記憶デバイスであり、各記憶デバ
イス３０１〜３０６には個々に動画像１０１〜１０６が
圧縮された符号化データ形式で蓄積されている。

【００１３】また図中３０７〜３１２は記憶デバイス３
０１〜３０６より読み出された各動画像符号化データを
一時格納する符号化データバッファであり、各動画像符
号化データは必ずしも同一タイミングで読み出される訳
ではない為に、各動画像符号化データの同期を取るもの
である。

【００１４】また図中３１３〜３１７は各動画像符号化
データを表示可能な元の画像データに戻す復号器であ
る。更に、３１９は復号された各画像データを一つの動
画像として表示するために同時表示可能なサイズにまで
各動画像を縮小する縮小器であり、３２０は表示するた
めのフレームメモリ、３２１は表示装置である。

【００１５】

【発明が解決しようとする課題】動画像情報の検索に於
いては如何にして短時間かつ正確に内容を把握するかが
重要であり、従来例では複数の画像情報から希望する画
像情報を選択するには適しているが、図３から判るよう
に、同時表示される各動画像は各々異なる記憶媒体又は
記憶デバイスに格納されていなければならず、システム
規模は必然的に大きくならざるを得ない。しかも、同一
の記憶媒体又は記憶デバイスに記憶されている動画像情
報は同時には表示し得ないという、システム的欠陥があ
る。

【００１６】更に、記憶媒体又は記憶デバイスを効率的
かつ高速に活用するために、符号化（圧縮ともいう）し
たデータを蓄積するのが通常であり、記憶媒体又は記憶
デバイスから読み出した圧縮データを表示するためには
復号化しなければならない。

【００１７】しかし、高い符号化効率を実現するため、
その符号化手法（例、ＩＳＯ標準化手法ＭＰＥＧ）は複
雑であり実時間で完全な情報を復号化することは困難で
ある。

【００１８】そこで本発明の目的は以上のような問題を
解消した動画像情報表示方法および装置を提供すること
にある。

【００１９】

【課題を解決するための手段】上記目的を達成するため
本発明は複数の動画像情報を蓄積／表示する動画像情報
表示装置において、蓄積されている符号化された複数の
動画像情報の各々から特定の復号化対象フレームの特定
の符号化データを識別する識別手段と、該識別手段によ
って得られた各特定の符号化データを復号する復号手段
と、該復号手段によって復号された複数の動画像情報を
同時に表示する手段とを具えたことを特徴とし、さらに
複数の動画像情報を蓄積／表示する動画像情報表示方法
において、蓄積されている符号化された複数の動画像情
報の各々から特定の復号化対象フレームの特定の符号化
データを識別し、該識別された各特定の符号化データを
復号し、復号された複数の動画像情報を同時に表示する
ことを特徴とする。

【００２０】

【作用】本発明によれば複数の動画像情報の各々から同
時表示可能な一部の情報がとり出され、迅速に同時表示
が行なわれる。

【００２１】

【実施例】図１は本発明の特徴を最も良く表す図面であ
り、同図において１０１〜１０６は各々異なる動画像情
報ファイルである。

【００２２】図中、１０７，１０８及び同一の表記で示
すものは各々各動画像情報中のリフレッシュフレームと
称する、ある特定のフレームであり、このリフレッシュ
フレームとリフレッシュフレームの間が動画像情報１０
１〜１０６の符号化の際の一つの符号化単位となってい
る。

【００２３】また１０９はこれらの動画像情報ファイル
を縮小し同時表示した場合の表示画面、１１０〜１１５
は各々動画像１０１〜動画像１０６の縮小された画像を
示している。

【００２４】図４は、図１に示したシステムを具体的に
実現する手段を示すものである。

【００２５】図中４０１は磁気ディスクや光ディスク等
よりなる記憶デバイスであり、記憶デバイス１０１には
複数の動画像符号化データ１０１〜１０６が圧縮された
符号化データ形式で蓄積されている。

【００２６】また図中４０２は記憶デバイス４０１より
読み出された各動画像符号化データ１０１〜１０６を一
時格納する符号化データバッファであり、各動画像符号
化データ１０１〜１０６は必ずしも同一タイミングで読
み出される訳ではない為に、各動画像符号化データ１０
１〜１０６の同期を取るものである。

【００２７】図中４０３は識別コード判別器であり、復
号化の対象となるフレーム（具体的にはリフレッシュフ
レーム）を識別し抽出するものであり、通常はコードテ
ーブルとの一致／不一致を監視することにより実現可能
である。尚、識別コードについては図６において詳細に
述べる。

【００２８】また図中４０４は各動画像符号化データ１
０１〜１０６中から、先に説明した所のリフレッシュフ
レームに関する符号化データのみを復号化する一部デー
タ復号器であり、近年盛んに用いられるＤＣＴ（ディス
クリートコサイン変換）符号化方式を適用したものであ
れば積和演算器を中心に構成された処理器により逆ＤＣ
Ｔを施し復号可能である。

【００２９】３２０は表示する復号化データを記憶する
ためのフレームメモリ、３２１はフレームメモリ３２０
内のデータを表示するための表示装置である。

【００３０】図５は、図１及び図４で説明した内容につ
いて更に詳細に説明を加えるものであり、一般的な動画
像情報の符号化方式を示している。これによりリフレッ
シュフレームとその他のフレームの関係を明確にする。

【００３１】図中５０１，５０２はリフレッシュフレー
ムであり、本実施例では１５フレーム周期としている。
このリフレッシュフレームは一般にＤＣＴ（離散コサイ
ン変換符号化）等により一枚の静止画像として符号化さ
れるもので原画像の情報を比較的良好に保存しているも
のである。

【００３２】５０３及び同一の表記をしているものは予
測符号化によって符号化された予測フレームであり、第
４フレーム５０３はリフレッシュフレーム５０１である
第１フレームを元に予測し、第７フレーム５０９は予測
された第４フレーム５０３を元に予測する、というよう
に順次符号化されるものである。

【００３３】５０４，５０５及び同一の表記をしている
フレーム画像は、復号時に前後のフレーム画像を基に補
間して得られるものであり、直接的な符号化データとし
ては存在しない。補間フレーム画像５０４の補間に際し
ては５０７に示すように直前のフレーム画像５０１と２
フレーム先の画像５０３を参照し、補間フレーム画像５
０５の補間に際しては５０８に示すように２フレーム前
の画像５０１と直後のフレーム画像５０３を参照する。
以下のフレームに対しても同様の処理を施すことで再現
されるものである。

【００３４】以上の図５に関する説明からわかるよう
に、全フレーム画像を復号するには既に復号したフレー
ム画像を用いるために、復号化に多くの処理時間を要す
る。

【００３５】図６は符号化されたデータを記憶媒体又は
記憶デバイスに蓄積する際のデータ構造を示しており、
階層的な構成となっている。

【００３６】図中６０１は最大の管理単位である動画像
情報ファイルを示しており、これまでに説明した動画像
符号化データ１０１〜１０６の各々に相当するものであ
る。６０２はファイル管理情報であり、動画像情報ファ
イル６０１に関する各種属性データ例えば、動画像情報
ファイルであることの識別コード、画像サイズ（水平画
素数、垂直画素数）、フレームレート等が表記されてい
る。６０３はリフレッシュフレーム５０１から次のリフ
レッシュフレーム５０２までを１単位とするフレーム集
合であり、図５で説明したとおり符号化の際には最上位
単位となっている。

【００３７】図中（Ｂ）は各フレーム集合６０３のデー
タ構造を示している。６０４はファイル管理情報であ
り、フレーム集合に関する各種属性データ（識別コー
ド、フレームのサイクル、動き補償に関する情報等）が
表記されている。６０５はフレーム集合中の各フレーム
のデータであり、本実施例ではリフレッシュフレームを
１５フレームサイクルとして説明しているため、第一フ
レームから第十五フレームまでの各フレーム情報が格納
されることになる。但し本発明において必要とされるも
のは、これら１５フレーム中、第一フレーム即ちリフレ
ッシュフレームに関する符号化データのみである。

【００３８】図中（Ｃ）は各フレーム６０５のデータ構
造を示している。６０６はファイル管理情報であり、フ
レーム情報に関する各種属性データ（識別コード、符号
化手法等）が表記されている。尚、各フレーム画像はサ
イズ８×８程度の多数の小さな画素ブロックに分割され
た後、各画素ブロック単位で符号化するのが一般的であ
り６０７はこれらの各画素ブロックのデータである。

【００３９】図中（Ｄ）は各画素ブロック６０７のデー
タ構造を示している。６０８はファイル管理情報であ
り、画素ブロック情報に関する属性データ（識別コー
ド、符号化手法等）が表記されている。６０９は具体的
な符号化データであり、ＤＣＴ符号化データ中のＤＣ成
分に関するデータ、同様に６１０はＡＣ成分に関するデ
ータが表記されるものである。

【００４０】但し、本発明に於て必要とされるデータは
ＤＣ成分６０９のみであり、このＤＣ成分のみを復号化
し表示することで自動的に縦横１／８縮小動画像が得ら
れるものである。

【００４１】（他の実施例）図７は、図６で説明した符
号化されたデータを記憶媒体又は記憶デバイスに蓄積す
る際のデータ構造の他の実施例を示しており、図中図６
と同一の項目に対しては同一の番号を付してある。

【００４２】図７に於て図６と異なる点はフレーム単位
のデータ構造であり、図７（Ｃ）に示すとおり符号化デ
ータをブロック毎ではなく、ＤＣＴ符号化結果のＤＣ成
分集合とＤＣＴ符号化結果のＡＣ成分集合に分けて管理
するところにある。

【００４３】このような構造を採用するのは次に述べる
考えに基づくものである。

【００４４】一般に磁気ディスク等の記憶デバイスに於
ては、物理的な記憶領域をトラック（同心円方向）／セ
クタ（回転角方向）という概念により区分しており、そ
のセクタ長は２５６バイトまたは５１２バイトとなって
いる。通常、蓄積すべきデータをどのトラックのどのセ
クタに記憶するかは、ディスクコントローラの管理の元
に決定され、ランダム（このほうが効率がよい）に配置
される場合が多い。この事は読み出し対象となるデータ
が多くのセクタに渡っているとディスクのシーク時間が
大きくなり読みだし効率が低下する事を意味する。

【００４５】従って、読みだし対象となるデータをまと
めて管理すればシーク時間を短縮できることになる。

【００４６】以下、図面に従って説明する。図中７０１
は各フレームをＤＣＴ符号化した際のＤＣ成分ばかりを
集めて並べ替えたＤＣＴ−ＤＣ成分集合であり、７０２
は同様にＤＣＴ−ＡＣ成分集合である。

【００４７】７０３はファイル管理情報であり、ＤＣＴ
−ＤＣ成分集合に関する各種属性データ（識別コード
等）が表記されている。７０４は各々、フレーム中の各
画素ブロックをＤＣＴ符号化した際のＤＣ成分である。

【００４８】同様に７０５はファイル管理情報であり、
ＤＣＴ−ＡＣ成分集合に関する各種属性データ（識別コ
ード等）が表記されている。７０６は各々、フレーム中
の各画素ブロックをＤＣＴ符号化した際のＡＣ成分であ
る。

【００４９】本実施例に於いては、同時表示する動画像
情報ファイルの数を６として説明したがこれに限定する
ことはない。但し、これらの数を多くすれば一般に、図
４中、符号化データバッファ４０２等のハードウエア規
模は大きくなったり、一部データ復号器４０３や縮小器
３１９等に処理の高速性が要求されるようになる。

【００５０】本実施例では、リフレッシュフレームを１
５フレームサイクルとしたがこれに限定することはな
く、一般にフレームサイクルを大きく設定すれば符号化
効率は向上するが画質劣化がより顕著になり、逆にフレ
ームサイクルを小さく設定すれば符号化効率は低下する
が画質は良好となる。

【００５１】本実施例において、符号化手法をＤＣＴや
予測符号化としたがこれに限定することはなく、符号化
効率、画質、処理時間、データ互換性等を考慮の上、最
適な手法が選択されるべきものである。

【００５２】本実施例において、図４中符号化データバ
ッファを用いたが記憶デバイスが高速化されるか又は大
容量半導体メモリ等への置き換えが可能になれば不用と
なる可能性がある。

【００５３】本実施例において、図４中に示した一部デ
ータ復号器４０４は、実際のシステムにおいては特別に
備えるものではなく、全情報を復号する機能を供えた復
号器（図３の３１３相当品）を兼用する形態をとるのが
一般的であろう。

【００５４】本実施例において、復号化されるフレーム
はリフレッシュフレームのみとしたが、他の予測フレー
ムも復号しても構わないが、この場合は絶対的に当然処
理速度は低下する。但しこれに見合うコスト、高速処理
が可能になればより動きのスムーズな画像が得られる。

【００５５】本実施例において、一連の処理をハードウ
エアで処理するかのように示したが、ＣＰＵ等を用いた
ソフトウエア処理も可能なことは言うまでもない。一般
的にハードウエアで実現した場合は高速処理が可能にな
り、ソフトウエアにより処理した場合は比較的安価に実
現可能となる。

【００５６】

【発明の効果】以上説明したように、本発明によれば複
数の動画像情報をきわめて迅速に処理して同時表示する
ことができ、また、動画像情報の記憶媒体又は記憶デバ
イスの共有が可能になると同時に、従来例に示したよう
な縮小器を備えることなく、自動的に縮小動画像の同時
表示が可能になった。更に、従来ではなし得なかった高
度な機能（複数動画像の同時表示）を低価格かつコンパ
クトなシステムにおいて実現することが可能になった。

【図面の簡単な説明】

【図１】本発明実施例の主要部を説明する図である。

【図２】従来例を説明するブロック図である。

【図３】従来例を説明する機能ブロック図である。

【図４】本発明実施例のブロック図である。

【図５】動画像符号化方式の説明図である。

【図６】動画像符号化データ構造を示す図である。

【図７】動画像符号化データ構造の他の例を示す図であ
る。

【符号の説明】

４０１ 記憶デバイス ４０２ 符号化データバッファ ４０３ 識別コード判別器 ４０４ 一部データ復号器

Claims (2)

【特許請求の範囲】
1. 【請求項１】 複数の動画像情報を蓄積／表示する動画
   像情報表示装置において、蓄積されている符号化された
   複数の動画像情報の各々から特定の復号化対象フレーム
   の特定の符号化データを識別する識別手段と、該識別手
   段によって得られた各特定の符号化データを復号する復
   号手段と、該復号手段によって復号された複数の動画像
   情報を同時に表示する手段とを具えたことを特徴とする
   動画像情報表示装置。
2. 【請求項２】 複数の動画像情報を蓄積／表示する動画
   像情報表示方法において、蓄積されている符号化された
   複数の動画像情報の各々から特定の復号化対象フレーム
   の特定の符号化データを識別し、該識別された各特定の
   符号化データを復号し、復号された複数の動画像情報を
   同時に表示することを特徴とする動画像情報表示方法。