JPH10224779A

JPH10224779A - 動画像のシーン変化検出方法及び装置

Info

Publication number: JPH10224779A
Application number: JP2667297A
Authority: JP
Inventors: Satoru Date; 哲伊達; Taizo Kinoshita; 泰三木下
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1997-02-10
Filing date: 1997-02-10
Publication date: 1998-08-21

Abstract

(57)【要約】【課題】圧縮された画像に対して高い検出精度を得るこ
とができる新規のシーン変化検出方法及び検出装置を提
供すること。【解決手段】圧縮符号化された信号を可変長復号して画
像の属性信号と画像データを取り出す可変長復号部１０
と、その属性信号の性質を解析する属性情報解析部１１
と、画像データの有する直流及び低周波成分のＤＣＴ係
数を用いて縮小画像を生成する縮小画像生成部１２と、
縮小画像のシーン変化を検出する縮小画像シーン変化検
出部１３と、属性情報解析結果と縮小画像シーン変化検
出結果を用いてそのフレームでシーン変化が発生してい
るか否かを判定するシーン変化判定部１４とをもって構
成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像の編集に適
用して好適な画像処理技術に係り、特に動画像からシー
ン変化点を自動的に検出する方法及び装置に関する。

【０００２】

【従来の技術】映像番組を制作する場合、多数の動画像
シーンを撮影して記録しておき、後で必要なシーンを選
択したり、シーンの組み合わせを変える等の編集を行な
うのが普通である。その際、シーンの変化を自動的に検
出することができると、編集の作業がはかどり、番組制
作の効率を著しく高めることができる。シーンの変化を
自動的に検出する従来の技術が例えば特開平４−１１１
１８１号公報や特開平６−１３３３０５号公報に開示さ
れていてる。

【０００３】第１の例は、映像のアナログ信号を対象と
するもので、入力された動画像データから、フレーム毎
にカラーヒストグラムを含む特徴量を求め、続いて、現
在処理しているフレームの特徴量と前フレームの特徴量
との相関係数を求め、その相関係数と過去に求めた相関
係数との間の変化率から、シーン変化を判定する方法が
示されている。シーンの変わり目の相関係数として、フ
レームを特定の区分領域に分割し、連続する前後の区分
領域同士の特徴量を比較し、大きく変化した区分領域数
と１フレームの全区分領域数との比が用いられている。
このような第１の例は、画素構成の映像を対象にしてい
る。

【０００４】第２の例は、ディジタル圧縮を施した周波
数成分構成の映像信号を対象にしている。映像のデータ
量は、そのままでは膨大であり、コンピュータなどに蓄
積したり通信回線を用いて伝送するためにディジタル圧
縮することが盛んに行なわれている。第２の例は、圧縮
後の信号から情報量の変化率を求めてシーンの変化を検
出するものである。ここで、映像のディジタル圧縮につ
いて述べ、それを対象にした従来のシーン変化検出方法
について更に説明を加える。

【０００５】最近では、コンピュータの演算能力が飛躍
的に向上し、静止画像処理に加えて動画像処理もコンピ
ュータを用いて行なえるようになってきた。しかし、画
像の情報量は、静止画像でも大きいところ、動画像では
更に大きくなって膨大になるため、ディジタル圧縮を施
すことが必須となる。また、放送や通信の世界でも、多
チャンネル化に対する要求が高まっており、ディジタル
圧縮の採用が盛んになリつつある。

【０００６】ディジタル圧縮の代表例として、国際標準
規格として定められたＭＰＥＧ規格がある（１９９４年
８月アスキー出版局発行藤原洋監修「最新ＭＰＥＧ教科
書」第８９頁〜第１６５頁参照）。このＭＰＥＧ規格で
は、大きく分けて時間的相関関係による圧縮技術と空間
的相関関係による圧縮技術が利用されている。

【０００７】時間的相関関係による圧縮技術は、一連の
シーンの中で連続する動画像が前フレームと現フレーム
を比較すると少しずつだけ異なるのでこれを利用した技
術である。例えば、フレームのある領域について、現フ
レームと前フレームを比較したときに全く同じだった場
合は、現フレームについては画像データを符号化せずに
"変化なし" という情報のみを付加することで復号する
ことが可能となる。次に、現フレームのある領域が前フ
レームの別の位置にある領域の画像データが移動してい
る場合、その領域の前フレームからの移動量の情報を付
加すること（動き補償）により復号することができる。

【０００８】図８に示すように、現在符号化しようとし
ているフレーム７１に対して、前フレーム７０のある領
域８０が現在のフレームでは領域８２に移動したとす
る。領域８１は、前フレーム７０の領域８０に相当する
現在のフレーム７１の領域である。この場合、現在のフ
レーム７１では、領域８２の情報を送らずに、領域の移
動した量、即ち移動ベクトル９０だけが伝送される。一
般に領域の情報量よりも移動ベクトルの情報量の方がは
るかに少ないので、移動ベクトルを伝送することにより
伝送する情報量を減少させることができる。実際は、時
間とともに物体も形状を変えることが多いので、領域を
水平垂直方向にある範囲内でずらしながら差分が最も小
さくなる位置のベクトル量を符号化するようにしてい
る。

【０００９】空間的相関関係を利用した圧縮技術とし
て、２次元の領域に適用するＤＣＴ（Discrete Cosine
Transform）が採用されている。これによって映像は、
高能率に圧縮される。

【００１０】図９に示すように、入力画像１００は、ブ
ロックと呼ばれる８×８画素の２次元領域１０１に分割
され、そのブロック毎に２次元ＤＣＴが施される。その
結果８×８のＤＣＴ係数を得る。このＤＣＴ係数は、ブ
ロックの縦横の周波数分布を表わしている。自然画を対
象にした２次元ＤＣＴでは、一般的に直流成分やそれに
近い係数に電力が集中するという性質がある。そこで、
求めたＤＣＴ係数の直流成分やそれに近い低周波成分の
係数に細かい量子化を行ない、高周波成分に対しては粗
い量子化を行なうことにより、視覚的な画質劣化を殆ど
伴わずに情報が圧縮される。

【００１１】ＭＰＥＧ規格による従来のデイジタル圧縮
回路、即ち画像符号化部の構成を図１０に示す。画像信
号をディジタル化した入力信号２６０は、まず差分画像
生成部１２０で予測モード選択部１２８に示されるモー
ドにより前後フレームとの差分が求められる。また、入
力信号２６０に対して動き補償制御部１２７で動き補償
に関する符号化が行なわれる。差分画像生成部１２０で
得られた信号は、ＤＣＴ変換部１２１で周波数成分の信
号に変換され、各成分の係数が求められる。得られた係
数は、量子化部１２２で量子化される。量子化により周
波数成分係数は元の値に復元できるとは限らないが、人
間の視覚特性を利用して見た目の影響を少く圧縮するこ
とができるという特徴がある。量子化された係数は、可
変長符号化部１２９にて可変長符号化された後出力され
る。

【００１２】一方、量子化された係数は、次のフレーム
を符号化するための参照画像を生成する信号として用い
られる。逆量子化部１２３により復元した係数は、逆Ｄ
ＣＴ変換部１２４で元の画素構成の画像に変換される。
得られた画像信号は、加算部１２５において、予測モー
ド選択部１２８に示されるモードに従って予測された画
像が加算される。加算後の画像は、画像メモリ１２６に
記憶され、動き補償やフレーム間符号化の参照画像とし
て利用される。

【００１３】なお、前記時間的相関関係による圧縮技術
は、詳しくは４個の輝度のブロックと２個の色差のブロ
ックとからなるマクロブロック毎に適用される。マクロ
ブロックでは、動き補償のモードに関する情報が画像の
属性信号として示される。更に、マクロブロックでは、
符号化のモードに関する情報（マクロブロックタイプ）
が画像の別の属性信号として示される。

【００１４】画像は、このようにして圧縮されるが、圧
縮した画像データのフレーム毎の情報量は、当然に入力
画像に応じて変化する。シーン変化で画像が大きく変わ
った場合、情報量は大きく変化する。従って、このフレ
ーム毎の情報量を特徴量として前フレームとの相関を調
べることで、シーン変化を検出することができる。前記
した第２の従来例は、現在のフレームと前フレームの発
生情報量の平均変化率を求め、基準値と比較することで
シーン変化を判定するものである。その際、更に、１フ
レームの画像から特定の領域を切り出し、その領域に対
して特徴量を求め、シーン変化を判定している。

【００１５】しかしながら、この従来技術は、発生情報
量の変化のみをとらえた検出であるためシーン変化の検
出精度が不十分であるという問題点があった。発生情報
量は圧縮処理の過程で制限される場合があり、従って発
生情報量の変化が少なくてもシーン変化が生じている場
合があるためである。

【００１６】一方、前記した第１の従来例は、圧縮した
画像を対象にすることが不可能であるので、伸長処理を
行なう復号器を用意し、復号によって元に戻した画素構
造の信号を対象にシーン変化検出を行なわざるを得な
い。従って、圧縮画像を扱う場合には必ず復号器が必要
になるという不都合があった。

【００１７】

【発明が解決しようとする課題】本発明の目的は、従来
技術の前記問題点を解決し、圧縮された画像に対して高
い検出精度を得ることができる新規のシーン変化検出方
法及び検出装置を提供することにある。

【００１８】

【課題を解決するための手段】本発明者は、圧縮によっ
て得られる各種の信号を詳しく分析した結果、動画像の
圧縮が人間の視覚特性や前後のフレームの相関関係を用
いて実現されているので、その属性信号（動き補償モー
ドとマクロブロックタイプ）からシーン変化を自動的に
検出することができることを見い出した。更に、圧縮し
た画像データの一部分を使って大きさを小さくした縮小
画像を生成し、当該縮小画像に対して前記した第１の従
来技術を適用して縮小画像のシーン変化を検出し、当該
縮小画像シーン変化検出結果と前記属性情報シーン変化
検出結果とからシーン変化の判定を行なうことによって
高い検出精度を得ることができることを見い出した。属
性信号及び縮小画像信号は、発生情報量制限の影響を殆
ど受ない信号として扱うことができる。

【００１９】本発明は、このような知見に基づいてなさ
れたもので、本発明のシーン変化検出方法は、図１に示
すように、圧縮符号化した映像信号に可変長復号を施す
過程１と、当該可変長復号過程１を経て取得される属性
信号を解析する過程２と、前記可変長復号過程１を経て
取得される画像データから縮小画像を生成する過程３
と、当該縮小画像のシーン変化を検出する過程４と、当
該縮小画像シーン変化検出過程４の検出結果と属性情報
解析過程３から得られた解析結果とからシーン変化の有
無を判定する過程６とからなる。

【００２０】前記縮小画像生成過程３は、ＤＣＴ係数の
中から直流成分及びその近傍の低周波成分の少なくとも
いずれか一方を縮小画像生成用信号として取り出す過程
を有することが望ましい。また、前記本発明のシーン変
化検出方法は、シーン変化判定過程６でシーン変化有が
判定された場合にその時点の縮小画像をシーン変化開始
画像として第１の出力先に出力し、当該判定過程でシー
ン変化無しが判定されている場合に縮小画像をシーン変
化無し画像として第２の出力先に出力する出力過程７
と、前記シーン変化開始画像を保持する過程５とを更に
有することが望ましい。シーン変化開始時の縮小画像と
その他の縮小画像とを選択して用いることにより、圧縮
符号化した画像信号の全体を伸長処理復号することなく
簡便に動画像の編集を実施することが可能となる。

【００２１】

【発明の実施の形態】以下、本発明に係るシーン変化検
出方法及び検出装置の実施の形態を幾つかの図面を参照
して更に詳細に説明する。

【００２２】まず、本発明のシーン変化検出装置を用い
た画像システム全体の構成を図２に示す。同図におい
て、５０はシーン変化検出装置、２４１，２４２は、そ
れぞれ検出装置５０出力の縮小画像信号及びシーン変化
検出信号、５４は、縮小画像信号２４１及びシーン変化
検出信号２４２の他、必要に応じて圧縮した画像符号化
信号を記憶する外部記憶装置を示す。検出装置５０に
は、ＣＤ−ＲＯＭドライブ装置５１などのパッケージメ
ディアとハードディスクなどの蓄積装置５２と公衆通信
回線やコンピュータネットワークなどの通信回線５３な
どが接続され、これらからＭＰＥＧなどの汎用符号化方
式で圧縮した画像符号化信号が入力される。

【００２３】シーン変化検出装置５０の構成を図３に示
す。同図において、２００は、汎用符号化方式で圧縮符
号化された画像信号を入力する端子、１０は、端子２０
０の信号を可変長復号する可変長復号部、１１は、復号
部１０で可変長復号された属性信号を解析する属性情報
解析部、１２は、復号部１０において可変長復号された
画像データから縮小画像を生成する縮小画像生成部、１
３は、縮小画像生成部１２からの縮小画像に対して特徴
量変化の相関係数を求めてシーン変化を検出する縮小画
像シーン変化検出部、１５は、シーン変化を判定するた
めの閾値信号２１０を発生するシーン変化判定モード設
定部、１４は、属性情報解析部１１出力の解析結果２０
１と縮小画像シーン変化検出部１３出力のシーン変化検
出信号２０３と閾値信号２１０を入力してシーン変化の
判定を行ない、シーン変化検出信号２０４を出力するシ
ーン変化判定部を示す。図３に示したその他の各部は、
シーン変化検出に伴う付帯回路であり、これらについて
は、シーン変化検出に関する説明の後で述べる。

【００２４】可変長復号部１０および属性情報解析部１
１の構成を図４に示す。同図において、３０は、画像符
号化信号を一旦蓄積するバッファ、３１は、可変長符号
化されている同信号を可変長復号する復号テーブル、３
２は、復号テーブル３１出力の属性信号２２１の内の動
き補償モードに関する処理を行なう動き補償モード計数
部、３３は、属性信号２２１の内のマクロブロックタイ
プに関する処理を行なうマクロブロックタイプ計数部、
３４は、計数部３２，３３出力の処理結果を入力して属
性情報解析結果２０１を出力する属性情報生成部、２２
０は、復号テーブル３１出力の画像データを示す。

【００２５】属性信号２２１が示している属性が動き補
償モードであるとき、復号された画像データ２２０の動
き補償が前方予測方式符号化によるものか又は後方予測
方式符号化によるものかのいずれであるかが示される。
また、属性信号２２１が示している属性がマクロブロッ
クタイプであるとき、復号されたデータ２２０のマクロ
ブロックタイプがフレーム内符号化タイプか、フレーム
間符号化タイプか、双方向予測符号化タイプであるかの
いずれであるかが示される。

【００２６】シーン変化が発生したあるフレームのマク
ロブロックタイプが双方向予測符号化タイプである場
合、そのフレームとその前のフレームとの相関は低く、
反面、後のフレームとの相関が高くなる。従って、シー
ン変化が発生したフレームの動き補償は、前方予測によ
る符号化よりも後方予測による符号化の方が多くなる。
この性質を利用することにより、フレームのマクロブロ
ックタイプが双方向予測タイプである場合のシーン検出
を実現することが可能となる。

【００２７】双方向予測タイプであるフレームについて
その１フレームのマクロブロック数をＭa、そのフレー
ムの中で動き補償が前方予測であるマクロブロック数を
Ｍf、後方予測であるマクロブロック数をＭb として、
動き補償モード計数部３２は、これらのＭf とＭb を求
める。そしてＭf とＭb の値が属性情報生成部３４へ与
えられる。

【００２８】また、マクロブロックタイプ計数部３３
は、１フレーム中のイントラ（フレーム内）符号化され
たマクロブロック数Ｍra とインター（フレーム間）符
号化されたマクロブロック数Ｍer を求め、それぞれの
値を属性情報生成部３４へ与える。

【００２９】属性情報生成部３４は、入力されたマクロ
ブロック数Ｍf，Ｍb，Ｍra，Ｍer を基にどのフレーム
がシーン変化であるかを判定するためのパラメータを求
める。

【００３０】ここで、式（１）で表わされるＭf とＭb
の比Ｒm を求める。ただし、Ｍf＝０の場合を除く。

【００３１】

【数１】Ｒm＝Ｍb／Ｍf （Ｍf≠０）・・・・（１）シーン変化が発生すれば、動き補償を行うために前フレ
ームよりも相関が高い後フレームを参照する確率が高く
なるので、Ｒm の値はシーン変化が発生することにより
急激に値が大きくなる。即ち、このＲm を属性情報生成
部３４出力の属性情報解析結果２０１としてシーン変化
判定部１４に入力し、判定のパラメータとして用いるこ
とができる。

【００３２】また、同様に考えると、式(２）で表わさ
れるＭf とＭb の差Ｄm の値は、シーン変化が発生した
ときときに大きくなるので、差Ｄm を属性情報解析結果
２０１としてシーン変化の判定に用いることができる。

【００３３】

【数２】Ｄm＝Ｍb−Ｍf ・・・・（２）更に、式(３）で表わされるＭra とＭer の比Ｒp を求
める。ただし、Ｍra＝０の場合を除く。

【００３４】

【数３】Ｒp＝Ｍer／Ｍra （Ｍra≠０）・・・・（３）シーン変化が発生すると、前フレームとの相関が低くな
り、フレーム内符号化が行われるのでＲp の値は急激に
大きくなる。このＲp を属性情報解析結果２０１として
シーン変化の判定に用いることができる。

【００３５】加えて、式(４）で表わされるＭra とＭer
の差Ｄp の値も、シーン変化が発生したときに大きく
なるので、差Ｄp を属性情報解析結果２０１としてシー
ン変化の判定に用いることができる。

【００３６】

【数４】Ｄp＝Ｍra−Ｍer ・・・・（４）次に、図３で示した縮小画像生成部１２について説明す
る。同生成部は、可変長復号部１０の出力である画像デ
ータ２２０から縮小画像を生成する。画像データ２２０
は、周波数成分に変換されており、画像を得るためには
画素構造に変換（逆ＤＣＴ変換）する必要がある。変換
は、ブロック毎（８×８画素）に行なわれるが、本発明
においては、ＤＣＴ係数の直流成分及びその近傍の低周
波成分のみを取り出すことにより処理量を大幅に低減し
た。直流成分及びその近傍の低周波成分として、図５に
示した１ブロックの８×８の周波数変換係数５０１の
内、斜線を付した４個の係数５００（最も左上が直流成
分）を採用した。この係数を用いて画素構造に変換し、
演算量を約１／１６に低減させた。このような変換によ
り画像の細かい部分が失われるが、画像が縮小されるの
で支障はない。画素構造に変換した縮小画像に対して
は、前記した第１の従来技術のシーン変化検出方法を適
用することができる。なお、縮小画像は、直流成分又は
その近傍の低周波成分のいずれか一方のみを用いても作
成することが可能である。

【００３７】シーン変化判定部１４は、縮小画像シーン
変化検出部１３出力の検出出力２０３と属性情報解析部
１１出力の属性情報解析結果２０１を入力として、現在
処理しているフレームにシーン変化が有か無かの判定を
行なう。シーン変化判定部１４の構成を図６に示す。同
図において、６０は、属性情報解析結果２０１の変化率
を求める変化率演算器、６１は、過去の属性情報解析結
果２０１と演算器６０出力の過去の変化率を記憶する変
化率記憶部、６３は、シーン変化判定モード設定部１５
で設定する判定パラメータの閾値を保持する閾値記憶
部、６２は、属性情報解析結果２０１又は変化率演算器
６０出力を閾値記憶部６３からの閾値と比較する比較
器、６４は、シーン変化検出信号２０４として比較器６
２出力の属性情報判定結果又は縮小画像シーン変化検出
結果２０３のいずれを採用するかを決定する優先度設定
器、６５は、その決定に基づき選択を行なうためのスイ
ッチを制御する出力制御器を示す。

【００３８】以上のシーン変化判定部１４について、ま
ず、属性情報解析結果２０１からのシーン変化検出につ
いて説明する。解析結果２０１から得られた値が例えば
前述の比Ｒm の場合、比Ｒm に対してある閾値Ｔa を定
めておき、Ｒm＞４Ｔa となるとき、そのフレームでシ
ーン変化が発生していると判定する。

【００３９】また、式（５）で表わされるフレーム毎の
比Ｒm の変化率を求め、この変化率に対してある閾値Ｔ
da を設定する。

【００４０】

【数５】ｄＲm／ｄｔ・・・・（５）Ｒm＞Ｔa でかつｄＲm／ｄｔ＞Ｔda のときそのフレー
ムでシーン変化が発生していると判定する。同様に、Ｄ
m，Ｒp，Ｄp に対応する、ある閾値をそれぞれＴb，Ｔ
c，Ｔd とする。これらの場合、Ｄm＞Ｔb，Ｒp＞Ｔc，
Ｄp＞Ｔd のときシーン変化が発生したと判定する。

【００４１】最終的なシーン変化判定は、これらの属性
情報解析結果からの判定と縮小画像シーン変化検出信号
との比較によってなされ、いずれを選ぶかの優先度が優
先度設定器６４によって設定される。

【００４２】なお、以上の差Ｄm，Ｄp や比Ｒm，Ｒp の
他に、動きベクトルの絶対値を属性情報解析結果として
用いることが可能である。

【００４３】次に、図３に戻り、シーン変化検出に付帯
して設けた各部について述べる。図３において、１６
は、縮小画像生成部１２で生成された縮小画像の信号２
０２とシーン変化判定部１４出力のシーン変化検出信号
２０４とを入力し、シーン変化判定部１４がシーン変化
有を判定した場合にその時点の縮小画像をシーン変化開
始画像としてその信号２０６を出力端子２２２に出力
し、当該判定部がシーン変化無しを判定している場合に
縮小画像をシーン変化無し画像としてその信号２０５を
出力端子２２３に出力するセレクタ（出力選択部）、１
８は、セレクタ１６の選択を制御するセレクタモード設
定部、１７は、セレクタ１６出力のシーン変化開始縮小
画像信号２０６を記憶し、記憶した信号２０９を出力す
る縮小画像記憶部、１９は、入力端子２００からの画像
符号化信号を記憶し、その記憶した信号２０８を出力す
る符号化信号記憶部、２０は、シーン変化検出信号２０
４と外部機器（図示せず）出力の制御信号２０７を入力
して、縮小画像記憶部１７と符号化信号記憶部１９の出
力を制御する出力制御部を示す。

【００４４】シーン変化検出信号２０４は、そのまま端
子２２４に出力され、外部機器の制御のために用いられ
る。また、出力制御部２０は、外部機器の制御信号２０
７から所望のシーン変化画像を出力するよう要求を受け
た場合に、シーン変化画像に対応する画像符号化信号２
０８又はシーン変化開始縮小画像信号２０９を出力す
る。また、縮小画像記憶部１７には、複数の縮小画像を
１画面に配置して表示することが可能となるように複数
縮小画像を合成する機能を付加した。

【００４５】これまでの説明では、入力端子２００にお
ける画像符号化信号のビットレートが一定の場合であっ
たが、次に、ビットレートを入力画像により変化させる
符号化方式を採用する場合を説明する。動画像を可変速
度符号化したときの発生情報量の一例を図７に示す。符
号化信号の発生情報量は、入力された画像により変化す
る。例えば、ある定められた一定時間１４１の発生情報
量の平均１４０と次の一定時間１４３の発生情報量の平
均１４２を求める。ある一定時間１４１又は１４３のど
ちらかでシーン変化が発生したとすると、平均発生情報
量１４０と１４２は異なる可能性が高いので、平均発生
情報量１４１と１４３の差又は変化率を求める。これら
の差又は変化率に対してある閾値を定めておき、この閾
値を越えたときにシーン変化と判定する。

【００４６】

【発明の効果】本発明によれば、動画像を圧縮符号化し
た信号の属性信号と縮小画像信号の両者からシーン変化
検出を行なうので、精度の高い自動シーン変化検出を実
現することができる。圧縮符号化した信号から、一連の
縮小画像のほか、シーン変化と判定したフレームの縮小
画像のみを選択して出力することができるので、画像符
号化信号を伸長処理復号することなく動画像の編集（シ
ーンの切取り、貼付けなど）を実施することが可能とな
る。シーン変化と判定した複数の縮小画像を１画面に表
示することができるので、シーン変化の最初の画像を一
覧することができる。画像符号化信号及び縮小画像信号
を記憶する外部制御の記憶部を備えているので、所望の
任意のシーンの縮小画像又は圧縮符号化信号を出力する
ことができる。

【図面の簡単な説明】

【図１】本発明に係るシーン変化検出方法を説明するた
めのフローチャート。

【図２】本発明に係るシーン変化検出装置を用いる映像
システムの一例を説明するための全体構成図

【図３】本発明に係るシーン変化検出装置の実施の形態
を説明するための回路構成図。

【図４】図３に示したシーン変化検出装置の可変長復号
部及び属性情報解析部を説明するための回路構成図。

【図５】縮小画像で採用するＤＣＴ係数を説明するたの
図。

【図６】図３に示したシーン変化検出装置のシーン変化
検出部を説明するための回路構成図。

【図７】可変速度画像符号化を採用した場合のシーン変
化検出を説明するための図。

【図８】動き補償を説明するための図。

【図９】画像符号化の処理単位を説明するための図。

【図１０】画像符号化の公知の構成例を説明するための
回路構成図。

【符号の説明】

１…可変長復号過程２…属性情報解析過程３…縮小画像生成過程４…縮小画像シーン変化検出過程６…シーン変化判定過程１１…属性情報解析部１２…縮小画像生成部１３…縮小画像シーン変化検出部１４…シーン変化判定部１５…シーン変化判定モード設定部３０…バッファ３１…復号テーブル３２…動き補償モード計数部３３…マクロブロックタイプ計数部３４…属性情報生成部５０…シーン変化検出装置２００…入力端子２０１…属性情報解析結果２０２，２０５…縮小画像信号２０３…縮小画像シーン変化検出信号２０４…シーン変化検出信号２０６，２０９…シーン変化開始縮小画像信号２０８…画像符号化信号２２０…画像データ２２１…マクロブロック属性信号５００…直流及び低周波成分ＤＣＴ係数５０１…ＤＣＴ係数（８×８）

Claims

【特許請求の範囲】

【請求項１】ＤＣＴ（Discrete Cosine Transform）符
号化と動き補償予測符号化と可変長符号化とによって圧
縮符号化された画像信号に可変長復号を施す過程と、当
該可変長復号過程から出力される属性信号を解析する過
程と、前記可変長復号過程から出力される画像データの
一部を用いて縮小画像を生成する過程と、当該縮小画像
のシーン変化を検出する過程と、前記属性信号の解析結
果と当該縮小画像のシーン変化検出結果とを用いて画像
のシーン変化の有無を判定する過程とを少なくとも備え
てなることを特徴とする動画像のシーン変化検出方法。
【請求項２】前記シーン変化判定過程でシーン変化有が
判定された場合にその時点の縮小画像をシーン変化開始
画像として第１の出力先に出力し、当該判定過程でシー
ン変化無しが判定されている場合に縮小画像をシーン変
化無し画像として第２の出力先に出力する出力過程と、
前記シーン変化開始画像を保持する過程とを更に有する
ことを特徴とする請求項１に記載のシーン変化検出方
法。
【請求項３】ＤＣＴ（Discrete Cosine Transform）符
号化と動き補償予測符号化と可変長符号化によって圧縮
符号化された画像信号に可変長復号を施す可変長復号部
と、当該可変長復号部出力の属性信号を解析する属性情
報解析部と、前記可変長復号部出力の画像データの一部
を用いて縮小画像を生成する縮小画像生成部と、当該縮
小画像のシーン変化を検出する縮小画像シーン変化検出
部と、前記属性信号の解析結果と当該縮小画像のシーン
変化検出結果を用いて画像のシーン変化の有無を判定す
るシーン変化判定部とを少なくとも備えてなることを特
徴とする動画像のシーン変化検出装置。
【請求項４】前記シーン変化判定部がシーン変化有を判
定した場合にその時点の縮小画像をシーン変化開始画像
として第１の出力端子に出力し、当該判定部がシーン変
化無しを判定している場合に縮小画像をシーン変化無し
画像として第２の出力端子に出力する出力選択部と、前
記シーン変化開始画像を保持する縮小画像記憶部とを更
に備えてなることを特徴とする請求項３に記載のシーン
変化検出装置。
【請求項５】前記属性情報解析部は、複数のマクロブロ
ックからなるフレームの中でフレーム内符号化であるマ
クロブロックの数とフレーム間符号化であるマクロブロ
ックの数の差を計数するものであることを特徴とする請
求項３に記載のシーン変化検出装置。
【請求項６】前記属性情報解析部は、複数のマクロブロ
ックからなるフレームの中でフレーム内符号化であるマ
クロブロックの数とフレーム間符号化であるマクロブロ
ックの数の割合を計数するものであることを特徴とする
請求項３に記載のシーン変化検出装置。
【請求項７】前記属性情報解析部は、複数のマクロブロ
ックからなるフレームの中で動き補償が前方予測である
マクロブロックの数と後方予測であるマクロブロックの
数との差を計数するものであることを特徴とする請求項
３に記載のシーン変化検出装置。
【請求項８】前記属性情報解析部は、複数のマクロブロ
ックからなるフレームの中で動き補償が前方予測である
マクロブロックの数と後方予測であるマクロブロックの
数の割合を計数するものであることを特徴とする請求項
３に記載のシーン変化検出装置。
【請求項９】前記属性情報解析部は、動きベクトルの絶
対値を求めるものであることを特徴とする請求項３に記
載のシーン変化検出装置。
【請求項１０】前記縮小画像生成部は、前記可変長復号
部が出力する画像データから取り出したＤＣＴ係数の直
流成分を用いて縮小画像を生成するものであることを特
徴とする請求項３に記載のシーン変化検出装置。
【請求項１１】前記縮小画像生成部は、前記可変長復号
部が出力する画像データから取り出したＤＣＴ係数の直
流成分近傍の低周波成分を用いて縮小画像を生成するも
のであることを特徴とする請求項３に記載のシーン変化
検出装置。
【請求項１２】前記縮小画像生成部は、前記可変長復号
部が出力する画像データから取り出したＤＣＴ係数の直
流成分及び当該直流成分近傍の低周波成分を用いて縮小
画像を生成するものであることを特徴とする請求項３に
記載のシーン変化検出装置。
【請求項１３】シーン変化判定モード設定部を更に備
え、前記シーン変化判定部は、当該シーン変化判定モー
ド設定部で示される判定モードに基づき前記属性情報解
析部出力の解析結果信号又は前記縮小画像シーン変化検
出部出力のシーン変化検出信号のいずれかをシーン変化
の判定結果として出力するものであることを特徴とする
請求項３に記載のシーン変化検出装置。
【請求項１４】シーン変化判定モード設定部を更に備
え、前記シーン変化判定部は、当該シーン変化判定モー
ド設定部で示される判定モードに基づき前記属性情報解
析部出力の解析結果信号と前記縮小画像シーン変化検出
部出力のシーン変化検出信号とからシーン変化が発生し
たことを判定することを特徴とする請求項３に記載のシ
ーン変化検出装置。
【請求項１５】ＤＣＴ（Discrete Cosine Transform）
符号化と動き補償予測符号化と可変長符号化と可変速度
符号化とによって圧縮符号化された画像信号のある一定
時間の平均速度の変化がある定められた閾値の範囲を越
えたか否かによりシーン変化を判定する過程を少なくも
有することを特徴とする動画像のシーン変化検出方法。
【請求項１６】ＤＣＴ（Discrete Cosine Transform）
符号化と動き補償予測符号化と可変長符号化と可変速度
符号化とによって圧縮符号化された画像信号のある一定
時間の平均速度の変化がある定められた閾値の範囲を越
えたか否かによりシーン変化を判定するシーン変化判定
部を少なくとも有することを特徴とする動画像のシーン
変化検出装置。