JPH07152779A

JPH07152779A - 動画インデックス検出処理方法及び動画インデックス検出処理機能を持つ動画処理装置

Info

Publication number: JPH07152779A
Application number: JP29868893A
Authority: JP
Inventors: Hitoshi Yoneda; 等米田
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1993-11-29
Filing date: 1993-11-29
Publication date: 1995-06-16

Abstract

(57)【要約】【目的】ソフトウェア処理でも動画インデックス検出処
理をビデオレートで行うことができ、多様な種々の動画
素材に対しても検出精度が高く且つ低コストでインデッ
クス情報の検出が行えるようにする。【構成】画像蓄積部１からＤＣＴ演算を含む画像圧縮処
理により圧縮された圧縮画像データ２を取り出して動画
インデックス特徴量信号抽出部３に入力し、当該圧縮画
像データ２をハフマン復号化処理でコード情報から量子
化ＤＣＴ係数信号に復元し、更に逆量子化処理によりＤ
ＣＴ係数信号を復元して、動画インデックス特徴量信号
４とする。この特徴量信号４を動画インデックス検出部
５に入力して、当該特徴量信号４から動画インデックス
信号６を検出する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、パーソナルコンピュー
タやワークステーションに代表される情報処理装置など
により実現される動画処理装置に係り、特に動画をハン
ドリングする場合において動画インデックス情報を検出
するのに好適な動画インデックス検出処理方法に関す
る。

【０００２】

【従来の技術】近年、オフィス等においては種々の情報
を統一して処理するマルチメディア処理やそれらの各種
情報間を関係付けて処理するハイパーメディア処理の要
求が強まっている。特に、時系列情報の１つである動画
は、プレゼンテーションにおける表現手段としては、従
来の静的メディアである文書情報などと比べて非常に優
れており、有効な利用が望まれている。

【０００３】しかし、動画は、その情報量が膨大である
ため、内容検索／把握に多大の時間を要し、処理装置内
でハンドリングするには非常に不便である。したがっ
て、動画ハンドリングには、その動画に特徴的な情報
（インデックス情報）を提示することが必要であり、そ
れにより、従来の文書情報と同様に扱うことが可能とな
る。

【０００４】このようなインデックス情報（検索情報）
としては、従来からシーンの変わり目（変化点）が有効
であことが知られている。このシーンの変わり目は、特
開平３−２１４３６４号公報に記載されているように、
画像（動画）の輝度情報を用いて簡便に求まることか
ら、従来からインデックス情報として広く利用されてき
ている。

【０００５】また、撮影者の注視行動に着目して、カメ
ラの停止期間を代表した「静止フレーム」が撮影者の意
図を反映した情報として有効であることが検証されてい
る（電子情報通信学会春季全国大会SD-9-4(1993)）。

【０００６】ところで、動画は膨大な情報量を有するた
め、ディジタルデータをそのまま取り扱うことは、実用
上不可能である。したがって、画像圧縮技術が不可欠で
あり、ＩＳＯ（国際標準機構）を中心に国際標準方式の
標準化が進められている。ここでは、対象とする動画フ
ォーマットや応用分野に応じて、それぞれ方式検討が行
われているが、基本処理である直交変換処理として、Ｄ
ＣＴ（Discrete Cosine Transform ：離散コサイン変
換）が用いられていることが特徴である。

【０００７】以上から、動画をハンドリングする動画処
理装置において、画像圧縮処理に加えて、動画インデッ
クス検出処理を同時に行えるようにすることで、付加価
値の高い動画処理装置を提供できる。

【０００８】しかしながら、画像圧縮処理と動画インデ
ックス検出処理を同時にしかもビデオレートで実現する
には、それぞれ専用のハードウェアが必要となる。した
がって、非常にコストが高い動画処理装置しか実現でき
ない。また、対象となる動画素材には種々のものがあ
り、多様な撮影条件を考慮しなければならず、条件設定
を自由に変更する必要がある。しかし、その自由度を広
げると、制作コストが上昇し、逆に制限すると検出制度
に限界が生じる。更に、効率的な動画ハンドリングを行
うためには、多様な複数の動画インデックス情報を利用
する方がより良いが、そのために複数の処理手段を同時
に実装しようとすると、コストの上昇は避けられなくな
る。したがって従来は、低コストの動画処理装置を実現
することは困難であった。

【０００９】

【発明が解決しようとする課題】上記したように従来の
動画インデックス検出を行う動画処理装置では、動画の
圧縮処理に加えて、輝度情報を用いてシーンの変わり目
を検出して動画インデックスとするといった動画インデ
ックス処理を同時に、しかもビデオレートで行う必要が
あった。このためには、圧縮処理機能と動画インデック
ス検出処理機能を実現する、それぞれ専用のハードウェ
アが必要であった。

【００１０】ところで、圧縮処理は、前述したように標
準方式の採用が強く要求されるため汎用的な処理として
位置付けられている。このため圧縮処理機能について
は、コスト上のメリットから、ハードウェア化及びＬＳ
Ｉ化が強力に推進されている。これに対して、動画イン
デックス処理機能は、対象及び応用分野に応じて、それ
ぞれ異なったインデックス情報や要求される検出精度が
異なることから、それぞれ専用のハードウェアで実現さ
れる必要がある。

【００１１】以上のことから、従来の動画インデックス
検出を行う動画処理装置では、動画の圧縮処理に加え
て、動画インデックス処理を同時に、しかもビデオレー
トで行おうとすると、ハードウェア規模が大きくなり、
コスト高となる問題があった。

【００１２】本発明はこのような点を考慮してなされた
ものでその目的は、ソフトウェア処理でも動画インデッ
クス検出処理をビデオレートで行うことができ、しかも
多様な種々の動画素材に対しても検出精度が高く且つ低
コストでインデックス情報の検出が行える動画インデッ
クス検出処理方法及び動画インデックス検出処理機能を
持つ動画処理装置を提供することにある。

【００１３】

【課題を解決するための手段】本発明は、ＤＣＴ（離散
コサイン変換）演算を含む画像圧縮処理により圧縮され
た圧縮画像データから伸張された画像データを復元する
過程で得られるＤＣＴ演算の結果に相当する中間結果
を、動画インデックス特徴量信号として抽出し、この抽
出した動画インデックス特徴量信号から動画インデック
スを検出するようにしたことを特徴とするものである。

【００１４】また本発明は、上記ＤＣＴ演算の結果に相
当する中間結果を抽出するのに、圧縮画像データをハフ
マン復号化処理でコード情報から量子化ＤＣＴ係数信号
に復元し、この復元量子化ＤＣＴ係数信号に対する逆量
子化処理によりＤＣＴ係数信号を復元することで実現す
るようにしていることも特徴とする。

【００１５】

【作用】上記の構成においては、圧縮画像データから伸
張された画像データを復元する過程で得られるＤＣＴ演
算の結果に相当する中間結果、例えば復元ＤＣＴ係数信
号をもとに、動画インデックス情報が検出されるため、
従来のように画像の輝度情報をもとに動画インデックス
情報を検出するものとは異なり、動画インデックス検出
処理を、専用のハードウェアを用いずにソフトウェア処
理でビデオレートで行うことが可能となる。

【００１６】このように、ソフトウェア処理による動画
インデックスの検出が可能であることから、種々の動画
素材に対しても、方式選定や処理パラメータの設定が柔
軟に対応でき、したがって検出精度の向上も期待でき
る。また、複数の多様な動画インデックスを簡便に低コ
ストで検出可能であるため、動画の利用効率が格段に向
上する。更に、汎用的なパーソナルコンピュータ、ワー
クステーション等の情報処理装置で十分実用的な処理速
度が実現できるため、低コストな動画処理装置を提供す
ることが可能となる。

【００１７】

【実施例】以下、図面を参照して本発明の一実施例を説
明する。図１は同実施例に係る動画処理装置の全体構成
を示すブロック図である。図１に示す動画処理装置は、
主として、画像蓄積部１、動画インデックス特徴量信号
抽出部３及び動画インデックス検出部５から構成され
る。

【００１８】画像蓄積部１は、画像圧縮処理により圧縮
された圧縮画像データを蓄積するためのもので、例えば
大容量の磁気ディスク装置や光ディスク装置などであ
る。ここでは、画像データの転送速度が動画処理装置全
体の性能に重要な要因となることから、例えば１〜２Ｍ
Ｂ／ｓｅｃのディスク装置が画像蓄積部１として用いら
れている。

【００１９】動画インデックス特徴量信号抽出部３は、
画像蓄積部１に蓄積されている圧縮画像データを圧縮画
像データ２として入力して、当該圧縮画像データ２の伸
張処理を行い、その中間結果である動画インデックス特
徴量信号４を出力するように構成されている。

【００２０】動画インデックス検出部５は、動画インデ
ックス特徴量信号抽出部３からの動画インデックス特徴
量信号４を入力し、当該特徴量信号４から所望の動画イ
ンデックスを検出して動画インデックス信号６を出力す
るように構成されている。この動画インデックス信号６
は、図示せぬ動画編集部に送られて、同編集部での編集
処理に用いられる。

【００２１】ここで、画像蓄積部１に蓄積されている圧
縮画像データを得るのに用いられる画像圧縮方式につい
て説明する。画像圧縮方式は、従来より種々のものが提
案されているが、本実施例では国際標準方式を適用して
いる。

【００２２】図２は、静止画を対象とする国際標準方式
であるＪＰＥＧ（Joint Photographic Coding Experts
Group ）の処理ブロックを、圧縮処理ブロック１０と伸
張処理ブロック１１について、それぞれ示すものであ
る。

【００２３】圧縮処理ブロック１０は、入力画像データ
１０１に対して２次元ＤＣＴ（離散コサイン変換）処理
を行い、ＤＣＴ係数信号１０３を出力するＤＣＴ部１０
２、ＤＣＴ係数信号１０３を量子化して量子化ＤＣＴ係
数信号１０５を出力する量子化部１０４、及び量子化Ｄ
ＣＴ係数信号１０５をハフマン符号化処理でコード化し
て圧縮画像データ１０７として出力するハフマン符号化
部１０６から構成される。

【００２４】一方、伸張処理ブロック１１は、圧縮画像
データ１０７をハフマン復号化処理によりコード情報か
ら復元量子化ＤＣＴ係数信号１１１に復元するハフマン
復元化部１１０、復元量子化ＤＣＴ係数信号１１１に対
する逆量子化処理によりＤＣＴ係数信号１１３を復元す
る逆量子化部１１２、及び復元ＤＣＴ係数信号１１３に
対して２次元ＩＤＣＴ（Inverse Discrete Cosine Tran
sform ：逆ＤＣＴ）処理を行い、復元画像信号１１５を
出力するＩＤＣＴ部（逆ＩＤＣＴ部）１１４から構成さ
れる。

【００２５】ここで、圧縮処理ブロック１０における圧
縮処理フローについて説明する。まず、ＤＣＴ部１０２
は、例えばモノクロームの入力画像データ１０１を入力
し、（８×８）のブロック（ＤＣＴブロック）単位で２
次元ＤＣＴ処理を行い、ＤＣＴ係数信号１０３を出力す
る。

【００２６】量子化部１０４は、ＤＣＴ部１０２からの
ＤＣＴ係数信号１０３を入力して、当該ＤＣＴ係数信号
１０３を所定の量子化係数で除算し、その除算結果であ
る量子化ＤＣＴ係数信号１０５を出力する。

【００２７】ハフマン符号化部１０６は、量子化部１０
４からの量子化ＤＣＴ係数信号１０５を入力して、その
ＤＣ係数部およびＡＣ係数部を、それぞれ独立にエント
ロピー符号化の一種であるハフマン符号化処理でコード
化し、圧縮画像データ１０７として出力する。なお、入
力画像データ１０１がカラー画像データである場合に
は、Ｒ（赤），Ｇ（緑），Ｂ（青）各信号や輝度／色差
信号に対して、それぞ上記の処理を独立に行えば良い。

【００２８】次に、伸張処理ブロック１１における伸張
処理フローについて説明する。まず、伸張処理は、基本
的には上記した圧縮処理の逆演算である。ハフマン復元
化部１１０は、圧縮画像データ１０７を入力し、当該圧
縮画像データ１０７を、ハフマン復号化処理により、コ
ード情報からＤＣＴ係数信号に復元し、ＤＣＴ係数部及
びＡＣ係数部からなる復元量子化ＤＣＴ係数信号１１１
を出力する。

【００２９】逆量子化部１１２は、ハフマン復元化部１
１０からの復元量子化ＤＣＴ係数信号１１１を入力し、
当該復元ＤＣＴ係数信号１１１に対して、圧縮処理ブロ
ック１０内の量子化部１０４で用いられたと同じ量子化
係数を乗算し、その乗算結果である復元ＤＣＴ係数信号
１１３を出力する。

【００３０】ＩＤＣＴ部１１４は、逆量子化部１１２か
らの復元ＤＣＴ係数信号１１３を入力し、（８×８）の
ブロック単位で２次元ＩＤＣＴ（逆ＤＣＴ）処理を行
い、復元画像信号１１５を出力する。

【００３１】なお、動画を対象とする国際標準方式であ
るＭＰＥＧ（Moving Picture ImageCoding Experts Gro
up ）は、動き補償やフィールド間／フレーム間差分情
報をもとに高圧縮率を達成しているが、図２に示したＪ
ＰＥＧ方式における、ＤＣＴ処理、量子化、ハフマン符
号化などの基本処理は同じである。

【００３２】したがって、画像蓄積部１には、図１の圧
縮処理ブロック１０（内のハフマン符号化部１０６）か
ら出力される圧縮画像データ１０７と同様の圧縮画像デ
ータが蓄積されている。

【００３３】次に、図１中の動画インデックス特徴量信
号抽出部３について説明する。動画インデックス特徴量
信号抽出部３は、図３に示すように、（図２中のハフマ
ン復元化部１１０に相当する）ハフマン復号化部３１及
び（図２中の逆量子化部１１２に相当する）逆量子化部
３３から構成される。

【００３４】動画インデックス特徴量信号抽出部３内の
ハフマン復号化部３１は、画像蓄積部１に蓄積されてい
る圧縮画像データを圧縮画像データ２として入力し、符
号化規則を逆解析することで、当該圧縮画像データ２か
ら（図２中の量子化部１０４の出力である量子化ＤＣＴ
係数信号１０５に相当する）量子化ＤＣＴ係数信号（量
子化画像信号）を復元し、復元量子化ＤＣＴ係数信号３
２として出力する。

【００３５】動画インデックス特徴量信号抽出部３内の
逆量子化部３３は、ハフマン復号化部３１により復元さ
れた復元量子化ＤＣＴ係数信号３２を入力し、当該復元
量子化ＤＣＴ係数信号３２に対して、圧縮画像データ２
を生成する際の量子化処理（図２中の量子化部１０４で
の処理に相当する量子化処理）で用いられたと同じ量子
化係数を乗算することにより、その乗算結果（図２中の
ＤＣＴ部１０２の出力であるＤＣＴ係数信号１０３に相
当）を動画インデックス特徴量信号４として出力する。

【００３６】ここで、輝度信号に対する量子化係数の一
例を図５に示す。また、図５に示す量子化係数を用いた
場合の、動画インデックス特徴量信号抽出部３内の逆量
子化部３３での逆量子化結果である動画インデックス特
徴量信号４、即ち（図２中のＤＣＴ部１０２の出力であ
るＤＣＴ係数信号１０３に相当する）輝度信号の復元Ｄ
ＣＴ係数信号の例を図６（ｂ）に示す。更に、参考のた
めに、図５に示す量子化係数を用いた場合の、同じ圧縮
画像データ２を生成する圧縮処理でのＤＣＴ処理結果
（図２中のＤＣＴ部１０２の出力であるＤＣＴ係数信号
１０３）の例を図６（ａ）に示す。

【００３７】図６の例から明らかなように、図６（ｂ）
に示す復元ＤＣＴ係数信号（動画インデックス特徴量信
号４）と、図６（ａ）に示すＤＣＴ係数信号（１０３）
のＤＣ成分は、いずれも「１７６」で一致している。こ
れに対して、両者のＡＣ成分は誤差が生じている。特に
高周波成分では、量子化処理の影響で、復元ＤＣＴ係数
信号の値は「０」となっている。しかし、より重要な情
報である低周波成分は、ある誤差範囲内で復元されてい
るため、動画インデックス特徴量信号４として用いるに
は十分である。

【００３８】次に、図１中の動画インデックス検出部５
について説明する。動画インデックス検出部５は、図４
に示すように、フレーム内特徴量算出部５１、フレーム
間特徴量算出部５３及び動画インデックス判定部５５か
ら構成される。

【００３９】動画インデックス検出部５内のフレーム内
特徴量算出部５１は、動画インデックス特徴量信号抽出
部３（内の逆量子化部３３）から出力される（８×８）
のブロック単位の動画インデックス特徴量信号４を順次
入力し、当該特徴量信号４のフレーム内の平均をとっ
て、フレーム内特徴量信号５２としてフレーム単位で出
力する。この際、フレーム内の空間位置に関して単純平
均をとる処理の他、重み付け平均の処理を行うことも可
能である。

【００４０】動画インデックス検出部５内のフレーム間
特徴量算出部５３は、フレーム内特徴量算出部５１から
のフレーム内特徴量信号５２をフレーム単位で順次入力
し、当該フレーム内特徴量信号５２と前フレームのフレ
ーム内特徴量信号５２との間のフレーム間差分をとる演
算（フレーム間差分演算）を行い、その演算結果をフレ
ーム間特徴量信号５４として出力する。

【００４１】動画インデックス検出部５内の動画インデ
ックス判定部５５は、フレーム間特徴量算出部５３から
のフレーム間特徴量信号５４を順次入力し、予め定めら
れた閾値信号Ｔｈを用いた判定条件に従って、「シーン
変化」等を示す動画インデックス信号６を出力する。

【００４２】次に、以上の動画インデックス検出部５内
の各部の動作の詳細を、「シーン変化」検出を例に説明
する。まず、本実施例では、動画インデックス特徴量信
号４として、画像の明るさの情報が必要なため、ＪＰＥ
Ｇ圧縮画像データにおける輝度信号についての復元ＤＣ
Ｔ係数信号のうちから、ＤＣ成分の信号を用いている。
このＪＰＥＧ圧縮画像データは、国際標準方式のためデ
ータ利用の汎用性が高く、更に復元処理が簡便なため処
理時間の削減が可能である。

【００４３】動画インデックス検出部５内のフレーム内
特徴量算出部５１は、上記したように、動画インデック
ス特徴量信号抽出部３（内の逆量子化部３３）からの
（８×８）のブロック単位の動画インデックス特徴量信
号４を順次入力して、フレーム単位でフレーム内特徴量
信号５２を算出する。このフレーム内特徴量信号５２
は、次のようにして算出される。

【００４４】まず、各フレームを、図７に示すように
縦、横それぞれ４等分して、１６（４×４）のマクロブ
ロック（ｉ，ｊ）（ｉ，ｊはマクロブロックの識別番号
であり、それぞれ１≦ｉ≦４，１≦ｊ≦４を満足する整
数）に分割して取り扱う。

【００４５】この場合、フレーム内特徴量信号５２をＩ
_ij ⁿ （ｎはフレーム番号）、マクロブロック内のＤＣＴ
ブロック（ｋ，ｌ）（ｋ，ｌはＤＣＴブロックの識別番
号）における輝度信号の復元ＤＣＴ係数（動画インデッ
クス特徴量信号４）のＤＣ信号をＹ_ij ^kln 、マクロブロ
ック内のＤＣＴブロックの総数をＮとすると、フレーム
内特徴量信号５２であるＩ_ij ⁿ は、Ｙ_ij ^kln 及びＮを用
いて、以下の式で表される。

【００４６】Ｉ_ij ⁿ ＝ΣＹ_ij ^kln ／Ｎ ……（１）但し、総和（ΣＹ_ij ^kln ）はマクロブロック内のＤＣＴ
ブロックの総数について行うものである。

【００４７】本実施例では、画像サイズは（６４０×４
８０）画素であるものとする。また、ＤＣＴブロックの
サイズは（８×８）画素、フレーム内のマクロブロック
の総数は１６（４×４）である。したがって、マクロブ
ロック内のＤＣＴブロックの総数Ｎは、（２０×１５）
＝３０００である。

【００４８】さて、フレーム内特徴量算出部５１におい
て、上記（１）式に従って、各フレーム単位で、マクロ
ブロック（ｉ，ｊ）別に算出されるフレーム内特徴量信
号５２（Ｉ_ij ⁿ ）は、フレーム間特徴量算出部５３に入
力される。

【００４９】フレーム間特徴量算出部５３は、このフレ
ームｎのマクロブロック（ｉ，ｊ）のフレーム内特徴量
信号５２（Ｉ_ij ⁿ ）と、前フレームｎ−１の同じマクロ
ブロック（ｉ，ｊ）のフレーム内特徴量信号５２（Ｉ_ij
^n-1 ）との差分をとる演算を、１６個のマクロブロック
について実行する。これによりフレーム間特徴量算出部
５３は、１６マクロブロック分についてのフレーム間特
徴量信号５４を算出する。即ちフレーム間特徴量算出部
５３は、フレームｎ（とフレームｎ−１との間）のマク
ロブロック（ｉ，ｊ）のフレーム間特徴量信号５４をΔ
Ｉ_ij ⁿ とすると、第１のフレーム間特徴量信号ΔＩ
₁₁ ⁿ 、第２のフレーム間特徴量信号ΔＩ₁₂ ⁿ、…、及び
第１６のフレーム間特徴量信号ΔＩ₄₄ ⁿ を算出する。こ
こで、フレーム間特徴量信号ΔＩ_ij ⁿ は、Ｉ_ij ⁿ ，Ｉ_ij
^n-1 を用いて以下の式で表される。

【００５０】 ΔＩ_ij ⁿ ＝｜Ｉ_ij ⁿ −Ｉ_ij ^n-1 ｜ ……（２）フレーム間特徴量算出部５３において、上記（２）式に
従って、各フレーム単位で算出される１６個のマクロブ
ロックのフレーム間特徴量信号ΔＩ_ij ⁿ （フレーム間特
徴量信号５４）は、動画インデックス判定部５５に入力
される。

【００５１】動画インデックス判定部５５は、この１６
個のマクロブロックのフレーム間特徴量信号ΔＩ_ij ⁿ
（フレーム間特徴量信号５４）を用いて、フレームｎに
ついての動画インデックス判定に用いる動画インデック
ス判定信号Ｓⁿ を算出する。この動画インデックス判定
信号Ｓⁿ は、以下の式で表される。

【００５２】Ｓⁿ ＝ΣΔＩ_ij ⁿ ／１６ ……（３）ここで、ｉ，ｊはそれぞれ１〜４であり、動画インデッ
クス判定部５５は、計１６個のマクロブロックのフレー
ム間特徴量信号ΔＩ_ij ⁿ の総和を求め、その平均値を算
出することにより、フレームｎの動画インデックス判定
信号Ｓⁿ を求める。

【００５３】次に動画インデックス判定部５５は、上記
（３）式に従って求めた動画インデックス判定信号Ｓⁿ
と予め定められている閾値信号Ｔｈとの大小を比較し
て、その比較結果をもとに動画インデックス信号６を出
力する。ここでの判定条件は、動画インデックス判定信
号Ｓⁿ と閾値信号Ｔｈを用いて、次の式で示される。

【００５４】Ｓⁿ ≧Ｔｈ：シーン変化Ｓⁿ ＜Ｔｈ：連続区間 ……（４）本実施例において、（動画インデックス検出部５内の）
動画インデックス判定部５５から出力される動画インデ
ックス信号６は、Ｓⁿ ≧Ｔｈの場合、即ちシーン変化の
判定時には。論理“１”に設定され、Ｓⁿ ＜Ｔｈの場
合、即ち連続区間の判定時には、論理“０”に設定され
る。

【００５５】このように、上記（４）式に示す判定条件
に従って、シーン変化検出を行うことにより、種々の動
画素材に対して正確な検出が可能となる。（動画インデ
ックス検出部５内の）動画インデックス判定部５５から
の動画インデックス信号６は、図示せぬ動画編集部に送
られる。動画編集部は、圧縮画像データ２と動画インデ
ックス信号６をもとに、シーンの削除や各シーンの順序
の変更などにより所望のシーンからなる動画データを作
成したり、複数の動画素材から新たに動画データを作成
する。これにより、インデックス情報を有効に利用でき
る動画処理システムが構築できる。なお、本実施例で
は、「シーン変化」の検出のために、動画インデックス
特徴量信号４として、ＪＰＥＧ圧縮画像データにおける
輝度信号についての復元ＤＣＴ係数信号のうちから、Ｄ
Ｃ成分の信号を用いているが、「シーンの中の重要な部
分」を検出する場合であれば、撮影者の注視行動に着目
すると、そのような部分は輝度は変化しても輪郭は或る
時間変化しないことから、輪郭情報を表すＡＣ成分の信
号を用いれば良い。

【００５６】以上のように、本実施例においては、圧縮
画像データ２から動画インデックス特徴量信号抽出部３
及び動画インデックス検出部５を介して動画インデック
ス情報（動画インデックス信号６）が検出できるため、
当該特徴量信号抽出部３及び動画インデックス検出部５
の処理機能をソフトウェア処理で実現しても、ビデオレ
ートでの処理が可能である。また、圧縮／伸張処理のハ
ードウェア回路及びＬＳＩチップを利用して、例えば動
画インデックス特徴量信号抽出部３をハードウェア処理
とすることで、更に処理速度を向上させることも可能で
ある。

【００５７】なお、前記実施例では、画像圧縮方式とし
て国際標準方式を前提としているが他の任意の圧縮方式
で処理された圧縮画像データを対象とすることも可能で
ある。但し、その場合には、動画インデックス特徴量信
号抽出部３にて、それぞれの圧縮方式に対応した逆処理
を実行する必要がある。

【００５８】また、前記実施例では、フレーム間特徴量
信号５４として、フレーム内特徴量信号５２の隣接フレ
ーム間の差分情報を用いたが、隣接フレーム間の相関情
報を用いるようにしても良い。また。隣接フレーム間情
報に限らず、任意のフレーム数を挟むフレーム間の情報
を用いることで、処理時間を更に削減することも可能で
ある。

【００５９】また、前記実施例では、動画インデックス
検出部５が輝度信号に基づくＤＣＴ演算結果をもとに動
画インデックス検出を行うものとして説明したが、色相
信号に基づくＤＣＴ演算結果からインデックス検出を行
っても良いし、輝度信号と色相信号の両者のＤＣＴ演算
結果からインデックス検出を行っても良い。

【００６０】更に、前記実施例では、インデックス情報
として、シーン変化検出の例を示したが、動画編集に有
効なインデックス情報であれば、例えば静止フレーム検
出、文字フレーム検出、特定動物体（車、人等）を含む
フレーム検出、特定色（赤色、青空等）フレーム検出
等、種々のものが検出可能である。要するに、本発明は
その要旨を逸脱しない範囲で種々変形して実施すること
ができる。

【００６１】

【発明の効果】以上詳述したように本発明によれば、Ｄ
ＣＴ演算を含む画像圧縮処理により圧縮された圧縮画像
データから、当該画像圧縮処理の逆の処理を行うことで
ＤＣＴ演算の結果に相当する中間結果を動画インデック
ス特徴量信号として抽出し、この抽出した動画インデッ
クス特徴量信号から少なくとも１種の動画インデックス
を検出する構成としたので、汎用的な情報処理装置を用
いて且つソフトウェア処理でも動画インデックスをビデ
オレートで検出することができ、低コスト化が図れる。

【００６２】また、ソフトウェア処理により実現できる
ことから、多様な種々の素材に対して、処理パラメータ
を柔軟に設定変更することができ、したがって検出精度
が高く、適用範囲も広い。以上の結果、利用効率の高い
動画処理が実現できる。

【図面の簡単な説明】

【図１】本発明の一実施例に係る動画処理装置の全体構
成を示すブロック図。

【図２】同実施例で用いられる圧縮画像データの生成に
適用される画像圧縮方式の一例を説明するためのブロッ
ク図。

【図３】図１中の動画インデックス特徴量信号抽出部３
の構成を示すブロック図。

【図４】図１中の動画インデックス検出部５３の構成を
示すブロック図。

【図５】同実施例で用いられる量子化係数の一例を示す
図。

【図６】復元ＤＣＴ係数信号の例を画像圧縮処理でのＤ
ＣＴ処理結果であるＤＣＴ係数信号と対比して示す図で
あり、図６（ａ）はＤＣＴ処理結果を、図６（ｂ）は復
元ＤＣＴ係数信号を示す。

【図７】フレーム内のマクロブロックと、マクロブロッ
ク内のＤＣＴブロックを説明するための図。

【符号の説明】

１…画像蓄積部、２…圧縮画像データ、３…動画インデ
ックス特徴量信号抽出部、４…動画インデックス特徴量
信号、５…動画インデックス検出部、６…動画インデッ
クス信号、３１…ハフマン復号化部、３２…復元量子化
ＤＣＴ係数信号、３３…逆量子化部、５１…フレーム内
特徴量算出部、５２…フレーム内特徴量信号、５３…フ
レーム間特徴量算出部、５４…フレーム間特徴量信号、
５５…動画インデックス判定部。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 7/133 Ｚ

Claims

【特許請求の範囲】

【請求項１】ＤＣＴ（離散コサイン変換）演算を含む画
像圧縮処理により圧縮された圧縮画像データから伸張さ
れた画像データを復元する過程で得られる前記ＤＣＴ演
算の結果に相当する中間結果を、動画インデックス特徴
量信号として抽出し、この抽出した動画インデックス特徴量信号から少なくと
も１種の動画インデックスを検出するようにしたことを
特徴とする動画インデックス検出処理方法。
【請求項２】ＤＣＴ（離散コサイン変換）演算を含む画
像圧縮処理により圧縮された圧縮画像データをハフマン
復号化処理でコード情報から量子化ＤＣＴ係数信号に復
元し、この復元した量子化ＤＣＴ係数信号に対する逆量子化処
理によりＤＣＴ係数信号を復元し、この復元したＤＣＴ
係数信号を動画インデックス特徴量信号として抽出し、この抽出した動画インデックス特徴量信号から少なくと
も１種の動画インデックスを検出するようにしたことを
特徴とする動画インデックス検出処理方法。
【請求項３】ＤＣＴ（離散コサイン変換）演算を含む画
像圧縮処理により圧縮された圧縮画像データが蓄積され
る画像蓄積手段と、この画像蓄積手段に蓄積されている圧縮画像データから
伸張された画像データを復元する過程で得られる前記Ｄ
ＣＴ演算の結果に相当する中間結果を、動画インデック
ス特徴量信号として抽出する動画インデックス特徴量信
号抽出手段と、この動画インデックス特徴量信号抽出手段により抽出さ
れた動画インデックス特徴量信号から少なくとも１種の
動画インデックスを検出する動画インデックス検出手段
とを具備することを特徴とする動画処理装置。
【請求項４】前記動画インデックス特徴量信号抽出手段
は、前記圧縮画像データをハフマン復号化処理でコード
情報から量子化ＤＣＴ係数信号に復元するハフマン復号
化手段と、このハフマン復号化手段により復元された量
子化ＤＣＴ係数信号に対する逆量子化処理によりＤＣＴ
係数信号を復元する逆量子化手段とを有し、前記逆量子
化手段により復元されたＤＣＴ係数信号を前記動画イン
デックス特徴量信号とすることを特徴とする請求項３記
載の動画処理装置。