JPH04207877A - 動画像管理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［発明の目的］ （産業上の利用分野） この発明は、動画像の入力、表示、蓄積、編集等を電子
的に実行する動画像管理装置に関する。

（従来の技術） 近年、ＶＴＲやビデオムービーの普及により動画像か身
近なメディアの一つになっている。このような動画像は
ビデオカセット等により保存されるようになっているが
、保存する動画像が増大するにつれ、その管理方法が問
題になっている。

現状では、ビデオカセットを積み上げ、その各ビデオカ
セットのラベルをたよりに検索するといった非効率的な
方法をとらざるを得ないようになっている。

さらに、ビデオカセットが本質的にシーケンシャルなア
クセスメディアであることから、検索、編集などの際に
、−本のビデオカセットの中から希望するシーンを探し
出すには、テープカウンタを頼りに行うか、早送り、巻
戻しをくり返さなければならない。

したかって、必要なシーン、カットを容易に探し出すこ
とができず、しかもシーン、カットを単位とした編集を
容易に行うことができず、さらにカット単位の分割がユ
ーザに過度の負担を強いているという欠点がある。

（発明が解決しようとする課題） この発明は、上記したように、必要なシーン、カットを
容易に探し出すことができず、しかもシーン、カットを
単位とした編集を容易に行うことができず、さらにカッ
ト単位の分割がユーザに過度の負担を強いているという
欠点を除去するもので、動画像をシーン、カットの階層
構造と関連するカットの内容とて記憶して管理すること
ができ、必要なシーン、カットを容易に探し出すことが
でき、しかもシーン、カットを単位とした編集にも容易
に対応でき、さらにカット単位の分割が自動的にてき、
ユーザの負担を無くすことかできる動画像管理装置を提
供することを目的とする。

［発明の構成］ （課題を解決するための手段） この発明の動画像管理装置では、入力された動画像をフ
レーム間の変化量の大きさからカントとカットの境界を
検出する検出手段、この検出手段の検出結果に応じて複
数のフレームからなるカットを単位としたファイルに分
割する分割手段、この分割手段により分割されたカット
を単位としたファイルを記憶する記憶手段、この記憶手
段に記憶したカットを単位としたファイルごとの画像を
上記記憶手段から読出して出力する出力手段、この出力
手段により出力された画像によりカットを１まとめとし
たシーンの区切りとそのカットと関連するカットを指示
する指示手段、およびこの指示手段の指示に応じて１つ
の動画像をシーン、カットの階層構造で上記記憶手段に
記憶するとともに、各カットと関連するカットの内容を
上記記憶手段に記憶する処理手段から構成されている。

（作　用） この発明は、入力された動画像をフレーム間の変化量の
大きさからカットとカットの境界を検出し、この検出結
果に応じて複数のフレームからなるカットを単位とした
ファイルに分割し、この分割されたカットを単位とした
ファイルを記憶手段で記憶し、この記憶したカットを単
位としたファイルごとの画像を上記記憶手段から読出し
て出力し、この出力された画像によりカットを１まとめ
としたシーンの区切りとそのカットと関連するカットを
指示し、この指示に応じて１つの動画像　゛をシーン、
カットの階層構造で上記記憶手段に記憶するとともに、
各カットと関連するカットの内容を上記記憶手段に記憶
するようにしたものである。

（実施例） 以下、この発明の一実施例について図面を参照しながら
詳細に説明する。第１図はこの発明の動画像管理装置の
ブロック構成図である。すなわち、各種制御を行うＣＰ
ＵＩ、動画像および動画像を管理するための情報などを
表示するＣＲＴデイスプレィ装置２、ＣＰＵＩの制御プ
ログラムおよびＣＲＴデイスプレィ装置２に表示する画
像なとを記憶するメモリ３、複数のカットからなる一連
の動画像を入力し、各１カツトの境界を検出する境界検
出部４、一連の動画像または境界検出部４て切り出した
複数のフレームからなる１つのカットを単位としたファ
イルを格納する磁気ディスク（ＨＤＤ）５を扱う磁気デ
ィスク装置１１、ビデオカメラ７、ＶＴＲ８などからの
ＮＴＳＣ（ナショナル　テレビジョン　ンステム　コミ
ッティ）信号を入力し、この装置で動画を扱うフォーマ
ットに変換するビデオインターフェース６、ビデオイン
ターフェース６に接続されるビデオカメラ７、またはＶ
ＴＲ８、および入力手段としてのマウス１０（あるいは
キーボード）から構成されている。

上記ＣＰＵＩ、メモリ３、境界検出部４、ビデオインタ
ーフェース６、マウス１０、磁気ディスク装置１１はバ
ス９に接続されており、ＣＰＵＩからのアクセスにより
制御される。

磁気ディスク５の代りに、他の記憶媒体たとえば先ディ
スク（ＯＤＤ）を用いても、あるいはネットワークを介
したリモートファイルを用いても良い。

この実施例における動画像のフォーマットの例を第２図
に示す。毎秒３０フレーム、１フレームは６４０Ｘ５１
２画素、１画素は濃度（Ｙ）８ビツト、色度（１，Ｑ）
各４ビツトで表される。また、境界検出部４おける処理
は６４０Ｘ５１２画素を８×８のブロックに分割し、ブ
ロックを単位として行われる。

上記境界検出部４は、第３図のように、入力画像に対し
てフレーム内のブロック単位に前フレームと比較して動
きの有無を検出し、動き補償フレーム間予測とフレーム
内予測のうち誤差の少ない方法で符号化する符号化器４
１、符号化器４１の出カスるフレーム内／フレーム間フ
ラグを用いて連続するフレームの間のカット境界を検出
する境界検出器４２、符号化した動画像を復元する復号
化器４３から構成されている。

上記符号化器４１か出力する符号化された動画像情報は
境界検出器４２の検出する境界によって切り分けられ、
１カツトか１フアイルとして磁気ディスク５に格納され
る。

上記復号化器４３は磁気ディスク５に格納されたファイ
ルを表示するときに復号化を行う。

上記符号化器４１は、第４図のように、フレーム内／フ
レーム間判定器４１１、直交変換器４１２、量子化器４
１３、逆量子化器４］４、逆直交変換器４１５、フレー
ムメモリ４１６、ループフィルタ４１７、符号器４１８
、減算器４１０、切換スイッチ４０８．４０９、および
加算器４０７から構成されている。

フレーム内／フレーム間判定器４１１は、探索した動き
ベクトルを用いて動き補償を行った後のブロックと入力
ブロックとの間でフレーム間予測が行われ、予測誤差か
大きいときは入力ブロックでフレーム内予測が行われる
ものである。予測誤差か大きいとき、切換スイッチ４０
９．４０８か上側に切換わり、入力ブロックの画像が切
換スイッチ４０９を介してそのまま直交変換器４１２へ
出力される。予測誤差が小さいとき、切換スイッチ４０
９．４０８が下側に切換わり、動画像の入力ブロックか
減算器４１０によりループフィルタ４１７からの１つ前
の画像で減算された画像が直交変換器４１２へ出力され
る。

直交変換器４１２は、切換スイッチ４０９から供給され
る画像に対して２次元の直交変換（Ｄ　ＣＴ）を行うも
のである。量子化器４１３は、直交変換器４１２の直交
変換内容を量子化するものである。逆量子化器４１４は
、量子化器４１３の量子化後の８×８の係数を動き補償
を行うために逆量子化するものである。逆直交変換器４
１５は、逆量子化器４１４からの内容を逆直交変換して
復元するものである。フレームメモリ４１６は、逆直交
変換器４１５からの逆直交変換して復元した内容とフレ
ームメモリ４１６からループフィルタ４１７および切換
スイッチ４０８を介して供給される画像とを加算器４０
７て加算した画像（１つ前の画像）を記憶して保持する
ものである。

ループフィルタ４１７は量子化誤差を軽減するために用
いられるものである。符号器４１８は、フレーム内／フ
レーム間判定器４１１からのフレーム内／フレーム間ブ
ロック指示、量子化器４１３からの変換係数に対する量
子化インデックスと量子化器指示、フレームメモリ４１
６からの動きベクトル、およびループフィルタ４１７か
らのループフィルタオン／オフ指示によって割り合てら
れる符号語を符号として出力するものである。

このような構成により、フレーム内／フレーム間判定器
４１１は、探索した動きベクトルを用いて動き補償を行
った後のブロックと入力ブロックとの間でフレーム間予
測が行われ、予測誤差が大きいとき、切換スイッチ４０
９．４０８が上側に切換わり、予測誤差が小さいとき、
切換スイッチ４０９．４０８が下側に切換わる。これに
より、予測誤差が大きいとき、入力ブロックの画像が切
換スイッチ４０９を介してそのまま直交変換器４１２へ
出力され、直交変換器４１２で２次元の直交変換（Ｄ　
ＣＴ）か行われ、量子化器４１３で直交変換内容が量子
化され、符号器４１８へ出力される。

また、量子化器４１３の量子化内容は逆量子化器４１４
と逆直交変換器４１５により復元されて加算器４０７に
供給される。この加算器４０７て逆直交変換器４１５か
らの復元画像とフレームメモリ４１６からの１つ前の画
像とが加算され、この画像によりフレームメモリ４１６
の内容か更新される。これにより、符号器４１８はフレ
ーム内／フレーム間判定器４１１からのフレーム内／フ
レーム間ブロック指示と量子化器４１３からの変換係数
に対する量子化インチ・ソクスと量子化器指示、フレー
ムメモリ４１６からの動きベクトル、およびループフィ
ルタ４１７からのループフィルタオン／オフ指示によっ
て割り合てられる符号語を符号として出力する。

次に、連続する一連のフレームからなる動画像をいくつ
かのカットに分解する方法について説明する。

１カツト内の連続するフレーム間では類似度か高いので
フレーム間符号化の方か誤差か少なく、したがってフレ
ーム内符号化を行うプロ、ツクは少なくなる。逆にある
カットの最後のフレームと次のカットの最初のフレーム
との間では、フレーム間相関か低く、フレーム内符号化
か有利になり、フレーム内符号化を行うブロックは局所
的に増加する。したがってこのような判定を行うことで
一連の動画像を１つ１つのカットに切り出すことかでき
る。

上記境界検出器４２は、第５図に示すように、加算器４
２１、比較器４２２、ＦＦ回路４２３〜４２６、および
論理ゲート４２７〜４３３から構成されている。加算器
４２１は、ＣＰＵＩからのフレーム終了信号（あるいは
フレーム開始信号）で「０」に初期化され、各プロ・ツ
ク毎に符号化器４１からのフレーム間／フレーム内フラ
グを見てフレーム内であれば「１」加算し、フレーム間
であれば変化しないように動作する加算器である。

比較器４２２は、１フレーム内で符号化を行ったブロッ
ク数とあらかじめＣＰＵＩにより与えられたしきい値と
を比較して、ブロック数の方か多ければ変化ありのフラ
グを出力する比較器である。

ＦＦ回路４２３〜４２６はＣＰＵＩからのフレーム終了
信号により比較器４２２からの変化ありのフラグをラッ
チし、過去４フレームでの変化の有無の情報を保持する
４段の回路である。論理ゲート４２７〜４３３は、連続
する５フレームの変化の有無か［無有無＊＊Ｊ　　（＊
は有無のどちらでもよい）、「無有有無＊」、「無有有
有無」のいずれかであったときカット境界であると判定
して境界検出フラグを出力する論理回路である。

このような構成により、各フレームごとに、ＣＰＵＩか
らのフレーム終了信号により、加算器４２１が「０」に
初期化され、各ブロック毎に符号化器４１からのフレー
ム間／フレーム内フラグかフレーム内である場合に加算
器４２１が「１」加算され、加算器４２１の加算内容が
比較器４２２に出力される。比較器４２２により加算器
４２１の加算内容つまり１フレーム内で符号化を行った
ブロック数か所定のしきい値より多い場合、変化ありの
フラグがＦＦ回路４２３に出力される。

これにより、ＦＦ回路４２３〜４２６にはＣＰＵＩから
のフレーム終了信号により比較器４２２からの変化あり
のフラグが順次ラッチされ、過去４フレームでの変化の
有無の情報か保持される。ＦＦ回路４２３〜４２６のラ
ッチ内容か「無有無＊＊」、「無有有無＊」、「無有有
有無」のいずれかであったとき、論理ゲート４２７〜４
３３による論理演算によりカット境界であると判定して
論理ゲート４２８から境界検出フラグか出力される。

すなわち、この回路により変化ありの状態が３フレーム
以下連続し、前後か変化なしであるような場合をカット
境界とみなしている。

判定の例を第６図で示す。横軸にフレーム数、たて軸に
各フレームにおいてクレーム内符号化を行ったブロック
数がこのように変化したとする。

ピーク１はしきい値より高い状態が１フレームたけて前
後は変化なしのフレームなので第５図に示す、境界検出
器４２により境界と判定される。したかって、第１フレ
ームからピーク１の直前のフレームまでをカット１とし
て切り出し、ファイルとして格納する。同様にピーク２
も境界判定されるのて、ピーク１からピーク２の直前ま
でがカット２として切り出される。一方ピーク３は変化
ありのフレームか「４」以上連続するので境界と判定さ
れない。

このような判定により、ビデオカメラ７のレンズの前を
移動する物体かあったり、急激なパン操作を行ったりし
た場＆を、カット境界と誤判定することな（良好な切り
分けが得られる。

この実施例では変化なしか「１」以上、変化ありか「３
」以下、変化なしか「１」以上の順に連続する箇所を境
界と判定しているが第５図のＦＦ回路と論理ケートを変
更することで変化なしがＴｆ回以上、変化ありかＴｗ回
以上、変化なしかＴａ回以上の順で連続する場合を判定
することか可能である。

復号化器４３は符号化器４２と同様の構成となっている
。また、符号化器４２を符号化、復号化器として動作す
るような構成とし、特に復号化器４３を設けないシステ
ムでも良い。

ビデオインターフェース６は、第７図に示すように、Ａ
／Ｄ変換器６１とフォーマット変換器６２から構成され
ている。Ａ／Ｄ変換器６１はビデオカメラ７、ＶＴＲ８
などからのＮＴＳＣ信号をデジタル信号に変換して出力
するものである。

フォーマット変換器６２はＡ／Ｄ変換器６１からのデジ
タル化されたＮＴＳＣ信号を第２図に示すフォーマット
に変換するものである。

入力信号はＮＴＳＣの代わりにハイビジョンなど他の方
式でも良い。この場合は方式の解像度に合わせてフォー
マットを変換すれば良い。あるいは、あらかじめ他のシ
ステムでこの実施例のフォーマットに変換し、ネットワ
ークやＦＤＤ　（フロッピーディスク）などを用いて入
力してもよい。

次に、このような構成において、動作を説明する。まず
、マウス１０あるいはキーボードの指示によりビデオカ
メラ７あるいはＶＴＲ８に設定されたビデオカセットか
らの磁気ディスク５への登録か指示される。すると、ビ
デオカメラ７あるいはＶＴＲ８からの１フレ一ム単位の
動画像がビデオインターフェース６、バス９を介して境
界検出部４に供給される。境界検出部４は入力された動
画像を符号化するとともに、カット境界の検出が行われ
る。これにより、複数のフレームからなる１つのカット
が一つのファイルとして磁気ディスク１１によって磁気
ディスク５に格納される。この際、磁気ディスク５には
、第９図に示すように、動画像基、カット番号、カット
の長さ（秒）、１力ツト分の複数のフレームからなる符
号化された動画像情報が記憶される。この際、カット番
号はカットの順にシリアルに付与されている。

また、オペレータは上記磁気ディスク５に登録した画像
の読出しをマウス１０あるいはキーボードにより指示す
る。すると、ＣＰＵＩは対応する動画像基の各カットの
１フレーム目のみを順に読出し、ＣＲＴデイスプレィ装
置２で表示する。この表示に対応して、オペレータはマ
ウス１ｏあるいはキーホードにより、カットの区切りが
正しいか否か、およびシーン（意味的、時間的なまとま
りとしての連続したい（っがのカット）の区切りを指示
する。ＣＰＵＩは磁気ディスク５の各カットごとにシー
ン番号を付与するとともに、シーン単位のシリアル番号
にカット番号を変更する。また、カットの区切りが正し
くないと指示された場合、ＣＰＵＩは磁気ディスク５の
その区切りの前後のカットを１つのカットとして、再登
録し直す。

したがって、磁気ディスク５上では１つの連続する動画
像に対する各シーンと各カットの関係は、第８図（ａ）
（ｂ）に示すように構成され、複数のカットからなるシ
ーンが複数有り、その複数のシーンにより１つの連続す
る動画像が形成されているツリー構造（階層構造）で登
録される。

また、各カットごとに、関連する親となるカットや、子
となるカットや、リンクするカットを、オペレータかマ
ウス１０あるいはキーボードにより指示することにより
、親となるカットのアドレスや、子となるカットのアド
レスや、リンクするカットのアドレスが第９図に示すよ
うに、磁気ディスク５の上記カット単位の記憶エリア内
に登録される。

たとえば、シーン１のカット２とシーン２のカット５．
６かリンクする関係にある場合、磁気ディスク５のシー
ン１のカット２に対応するデータにはシーン２のカット
５．６の磁気ディスク５におけるアドレスが付加され、
磁気ディスク５のシーン２のカット５．６に対応するデ
ータにはシーン１のカット２の磁気ディスク５における
アドレスか付加されている。また、シーン１のカット３
とシーン２のカット３がリンクする関係にある場合、磁
気ディスク５のシーン１のカット３に対応するデータに
はシーン２のカット３の磁気ディスク５におけるアドレ
スか付加され、磁気ディスク５のシーン２のカット３に
対応するデータにはシーン１のカット３の磁気ディスク
５におけるアドレスか付加されている。

また、磁気ディスク５におけるカット単位の記憶エリア
には、代表フレームの符号化された動画像として、１フ
レーム目の画像や途中のフレームの画像が登録される。

この代表フレームの画像は早送りをする隙に用いられる
ようになっている。

また、ＣＰＵＩは上記１つの連続する動画像に対するツ
リー構造（階層構造）を示す画像（第８図（ｂ）参照）
を作成し、磁気ディスク５に登録するようにしても良い
。二の場合、その動画像に対するカットと関連つけて磁
気ディスク５上に登録されるようになっている。。

また、オペレータによりマウス１０あるいはキーボード
で画像編集等が指示されるとともに動画像名が指示され
ると、その動画像名に対応するツリー構造（階層構造）
を示す画像か磁気ディスク５から読出されて、第１０図
に示すように、ＣＲＴデイスプレィ装置２のウィンドウ
２１て表示される。このウィンドウ２１には１つの動画
を処理してシーン−カットに分類した構造か表示されて
おり、各シーン、カットかアイコンで表示されている。

ついて、オペレータによりマウス１０あるいはキーホー
ドで所定のアイコンの再生を指示すると、別のウィンド
ウ２２かオーブンし、そのアイコンの示すシーンあるい
はカットが磁気ディスク５から読出されて、ウィンドウ
２２て表示される。

上記したように、入力された動画像をフレーム間の変化
量の大きさからカットとカットの境界を検出し、この検
出結果に応じて複数のフレームからなるカットを単位と
したファイルに分割し、この分割されたカットを単位と
したファイルを磁気ディスクで記憶し、この記憶したカ
ットを単位としたファイルごとの画像を上記磁気ディス
クから読出して出力し、この出力された画像によりカッ
トを１まとめとしたシーンの区切りとそのカットと関連
するカットをマウスあるいはキーボードにより指示し、
この指示に応じて１つの動画像をシーン、カットの階層
構造で上記磁気ディスクに記憶するとともに、各カット
と関連するカットの内容を上記磁気ディスクに記憶する
ようにしたものである。

これにより、動画像をシーン、カットの階層構造と関連
するカットの内容とで磁気ディスクに記憶して管理する
ことができ、必要なシーン、カットを容易に探し出すこ
とかでき、しかもシーン、カットを単位とした編集にも
容易に対応でき、さらにカット単位の分割が自動的にて
き、ユーザの負担を無くすことかできる。

［発明の効果コ 以上詳述したようにこの発明によれば、動画像をシーン
、カットの階層構造と関連するカットの内容とて記憶し
て管理することかでき、必要なシーン、カットを容易に
探し出すことかでき、しかもシーン、カットを単位とし
た編集にも容易に対応でき、さらにカット単位の分割が
自動的にてき、ユーザの負担を無くすことかできる動画
像管理装置を提供できる。

【図面の簡単な説明】

図面はこの発明の一実施例を示すもので、第１図は全体
の構成を示す概略ブロック図、第２図は動画像フォーマ
ットの一例を示す図、第３図は境界検出部の構成を示す
ブロック図、第４図は符号化器の構造を示す図、第５図
は境界検出器の構成を示す図、第６図は境界検出器の動
作を説明するための図、第７図はビデオインターフェー
スの構成を示すブロック図、第８図は動画像の管理構造
を説明するための図、第９図はカットを単位とし、たフ
ァイルの構成例を示す図、第１０図は表示画面の例を示
す図である。 Ｉ　　ＣＰＴＪ、２・ＣＲＴ、３・・・メモリ、４・・
境界検出部、５　磁気ディスク、６・・・ビデオインタ
ーフェース、７・・・ビデオカメラ、８・・・ＶＴＲ，
９・バス、１０・・マウス、１１・・・磁気ディスク装
置、４１・符号化器、４２・・・境界検出器、４Ｂ・・
復号化器、４１ユ・・フレーム内／フレーム間判定器、
４２１・・・加算器、４２２・・・比較器、４２３〜４
２６・・ＦＦ回路、４２７〜４３３・・・論理ゲート。 出願人代理人　弁理士　鈴江武彦 動画Ａ □時間 （ａ）ｔワｉ坤」イＪシと 童、可本１はるリンク 第８図 第９図

Claims (1)

1. 【特許請求の範囲】 入力された動画像をフレーム間の変化量の大きさからカ
   ットとカットの境界を検出する検出手段と、 この検出手段の検出結果に応じて複数のフレームからな
   るカットを単位としたファイルに分割する分割手段と、 この分割手段により分割されたカットを単位としたファ
   イルを記憶する記憶手段と、 この記憶手段に記憶したカットを単位としたファイルご
   との画像を上記記憶手段から読出して出力する出力手段
   と、 この出力手段により出力された画像によりカットを１ま
   とめとしたシーンの区切りとそのカットと関連するカッ
   トを指示する指示手段と、 この指示手段の指示に応じて１つの動画像をシーン、カ
   ットの階層構造で上記記憶手段に記憶するとともに、各
   カットと関連するカットの内容を上記記憶手段に記憶す
   る処理手段と、 を具備したことを特徴とする動画像管理装置。