JP3332202B2 - カメラワーク算出方法及び装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、カメラワーク算出
方法及び装置に係わり、特に、カメラワークと無関係な
動きベクトルを含む映像圧縮符号化データから正しいカ
メラワーク情報を算出するためのカメラワーク算出方法
及び装置に関する。

【０００２】

【従来の技術】映像データはデータ量が膨大であり、そ
の内容を知るためには映像を時間順に全て見ていくしか
なかった。

【０００３】映像がある基準に基づいて分割されていれ
ば、映像を飛ばし見したり、内容を大雑把に把握するた
めに役立つ。こうした映像分割の際に、映像をカット点
と呼ばれるシーンの変わり目で分割する方法が、下記公
報（イ）に記載されている。

【０００４】また、同一シーン内でさらに映像を細かく
分割するために、カメラワーク等によって映像の内容が
変化することを利用し、カメラワーク情報等の映像の動
き情報を基に映像を分割する方法が、下記文献（ロ）に
記載されている。

【０００５】（イ）特開平５−３７８５３号「動画のカ
ット自動分割方法」 （ロ）「時系列オプティカルフローを用いた映像単位の
提案」（画像符号化シンポジウムＰＣＳＪ９１） 一方、映像は大量の画像データ列を持っており、それら
を扱いやすくするために多くの映像圧縮符号化方法が提
案されている。その中でも、動き予測を含む符号化方法
であるＭＰＥＧ方式は代表的な方法である。

【０００６】ＭＰＥＧ方式で符号化された画像データ列
における各予測符号化画像データでは各画像をマクロブ
ロック（ＭＢ）と呼ばれる部分領域に分割し、領域毎に
符号化を行う。

【０００７】その際に３種類の符号化方式を選択する。
一つはＩｎｔｒａとよばれる画像内符号化方式であり、
一つはＭＣ Ｃｏｄｅｄとよばれる動きベクトルを用い
た予測符号化方式であり、一つはＮｏ ＭＣ Ｃｏｄｅ
ｄとよばれる動きベクトルを用いない予測符号化方式で
ある。

【０００８】これらの符号化方式の選択は、以下の法則
によって行われる。

【０００９】 ｉｆ（ｖａｒ＜ｖｍｃ）ＭＢＴｙｐｅ＝”Ｉｎｔｒａ” ｅｌｓｅ ｉｆ（ｖ０＜α＊ｖｍｃ）ＭＢＴｙｐｅ＝”
Ｎｏ ＭＣ Ｃｏｄｅｄ” ｅｌｓｅ ＭＢＴｙｐｅ＝”ＭＣ Ｃｏｄｅｄ” ここで、ｖａｒはマクロブロック（ＭＢ）の画素値の分
散、ｖｍｃは動き予測を行った場合のフレーム間の画素
値の差の分散、ｖ０は動き予測を用いない場合のフレー
ム間の画素値の分散であり、αはバイアス値で１．２５
程度の値が用いられる。これらの選択は分散が小さい方
が符号化効率が向上することからこのような選択を行っ
ている。

【００１０】カメラワークや動被写体領域の存在によっ
て画像内容が変化している場合、前記した符号化方式の
選択によって、カメラワークや動き被写体等の動き情報
を反映する動きベクトルを用いた予測符号化が行われ
る。

【００１１】こうした場合の動きベクトルの分布の一例
を図１１に示す。同図（ａ）は、原画像の中に静止被写
体が存在し、また、カメラワークが存在しない場合、同
図（ｂ）は、原画像の中に静止被写体が存在し、また、
カメラワーク（パン）が存在する場合、同図（ｃ）は、
原画像の中に動被写体が存在し、また、カメラワークが
存在しない場合を示している。

【００１２】例えば、図１１（ｂ）に示すようなカメラ
ワークが存在する原画像データ列からカメラワーク情報
を抽出する場合、従来は、一度復号化を行った後に、カ
メラワーク情報を抽出しており、コストのかかる計算処
理を必要としていた。

【００１３】そのため、符号化情報に含まれる動きベク
トル情報を用いて、カメラワーク情報などの動き情報を
算出する方法が、下記文献（ハ）または（ニ）に記載さ
れている。

【００１４】（ハ）「ＭＰＥＧデータを用いた動領域の
抽出」（信学技報 IE96-25 P.69-） （ニ）「Video Parsing Using Compressed Data」（SPI
E Vol.2182 Image and Video Processing II 1994）

【００１５】

【発明が解決しようとする課題】前記文献（ハ）または
（ニ）に記載されている方法では、画像データは理想的
な環境下において符号化され、算出された動きベクトル
を対象に動き情報を算出している。

【００１６】しかしながら、実際の画像においてはノイ
ズあるいは画面のちらつきが生じる。このため、実際に
カメラで撮影されたアナログ映像信号を符号化した映像
データを対象とした場合、画面のちらつきあるいはノイ
ズ等によって、動き情報とは無関係な動きベクトル（以
下、ノイズ動きベクトルと称す。）が多数出現する。

【００１７】特に、こうした動き情報を算出する際の妨
げとなるようなノイズ動きベクトルは、明度・輝度が一
様で数ブロックに渡る広い領域が存在する場合に多数出
現する。

【００１８】マクロブロック（ＭＢ）に様々な明度や色
成分が含まれている場合、各マクロブロック（ＭＢ）内
で、様々な画素値が分布しており、位置情報による予測
の拘束によって、画面のちらつきあるいはノイズにより
あまり大きな影響はうけず、ほぼ理想的な動き予測が行
われ、動きベクトルを得ることができる。

【００１９】一方、数個のマクロブロック（ＭＢ）に渡
り、広く明度や色変化の少ない一様な領域が画像内に存
在する場合、理想的には、静止状態では動きベクトル
０、領域が相対的に移動している状態では領域内部で動
きベクトル０、輪郭部分で動きを反映した動きベクトル
が観察されるはずである。

【００２０】しかしながら、元々が明度、色ともに変化
のない一様な領域であるため、現実に符号化を行うと、
少しの画面のちらつきあるいはノイズが存在するだけ
で、フレーム間差分の画素値の分散が大きくなってしま
う。

【００２１】そのため、動きベクトルは０とならず他の
値を持つ。さらに、画面のちらつきあるいはノイズはラ
ンダムに出現するため、この影響をうけて動きベクトル
もランダムに出現する。即ち、ノイズ動きベクトルが出
現する。

【００２２】このように、画像データの内容が静止して
いる場合、理想的には０ベクトルしか出現しないはずで
あるが、一様な領域が存在すると実際の画像では、０ベ
クトルではなくランダムなノイズ動きベクトルが出現す
る。

【００２３】符号化情報を用いてカメラワーク情報を算
出するには、前記したようなノイズ動きベクトルを除去
し、当該ノイズ成分が除去された修正動きベクトルか
ら、カメラワークの有無及びどのようなカメラワーク情
報が存在するのかを検出する処理が必要となる。

【００２４】カメラワークの有無の判定の際の最も簡便
な方法は、動きベクトル成分の０ベクトルが多ければ画
像が静止、少なければカメラワークが発生しているとす
る方法である。しかし、この方法では、カメラは静止し
ているが、動被写体が存在する（被写体が静止していな
い）場合、カメラワークが存在すると判定してしまう可
能性がある。

【００２５】即ち、カメラワーク情報を算出するために
は、ノイズ動きベクトルだけでなく被写体の動き情報も
除去する必要がある。

【００２６】本発明は、前記従来技術の問題点を解決す
るためになされたものであり、本発明の目的は、カメラ
ワーク算出方法及び装置において、カメラワークと無関
係な動きベクトルを含む映像圧縮符号化データから正し
いカメラワーク情報を算出することが可能となる技術を
提供することにある。

【００２７】本発明の前記ならびにその他の目的と新規
な特徴は、本明細書の記述及び添付図面によって明らか
にする。

【００２８】

【課題を解決するための手段】本願において開示される
発明のうち、代表的なものの概要を簡単に説明すれば、
下記の通りである。

【００２９】即ち、本発明は、動き予測方式を用いた圧
縮符号化方式によって符号化された映像圧縮符号化デー
タからカメラワーク情報を判定するカメラワーク算出方
法において、前記映像圧縮符号化データの中から、符号
化情報として動き予測符号化時に算出された動きベクト
ルと予測残差符号化情報を抽出する第１のステップと、
前記第１のステップにおいて抽出された動きベクトルの
対象動きベクトルと当該対象動きベクトルを持つ領域に
含まれる予測残差符号化係数とに関し、予測残差符号化
係数のＤＣ成分、予測残差符号化係数のＡＣ成分の中で
「０」でないものの個数、対象動きベクトルと類似度が
高い隣接するマクロブロックに含まれる動きベクトルの
個数を特徴量とし、それぞれの特徴量が、それぞれに対
して与えられる所定の閾値を満たすか否かに基づき、対
象動きベクトルがカメラワークあるいは動被写体とは無
関係なノイズ動きベクトルであるかどうかを判定し、対
象動きベクトルがノイズ動きベクトルと判定された場合
には、当該ベクトルを０ベクトルと置き換えて除去する
第２のステップと、前記第２のステップにおいて、ノイ
ズ動きベクトルと判定された動きベクトルが除去された
動きベクトルからカメラワーク情報を抽出する第３のス
テップとを具備することを特徴とする。

【００３０】本発明の好ましい実施の形態では、前記第
２のステップにおいて、前記対象動きベクトルと前記隣
接するマクロブロックに含まれる動きベクトルの大きさ
の比と角度の余弦をそれぞれ所定の閾値と比較し、所定
の条件を満たしている場合に、当該両ベクトルの類似度
が高いと判断する。

【００３１】本発明の好ましい実施の形態では、前記第
３のステップにおいて、各フレーム内に存在する０ベク
トルのマクロブロック数が所定の第１の閾値を上回る場
合には、画面が静止していると判断し、０ベクトルのマ
クロブロック数が所定の第１の閾値より小さい場合に
は、各フレーム内に存在する、数フレームに渡って動き
ベクトルが類似しているマクロブロック数が、所定の第
２の閾値を超えているときにカメラワークが存在したと
判断して、カメラワーク時の動きベクトル分布の特徴か
らカメラワーク情報を抽出し、数フレームに渡って動き
ベクトルが類似しているマクロブロック数が、所定の第
２の閾値を下回るときにカメラワークは存在しないと判
断する。

【００３２】また、本発明は、動き予測方式を用いた圧
縮符号化方式によって符号化された映像圧縮符号化デー
タからカメラワークの判定の有無を行うカメラワーク算
出装置において、前記映像圧縮符号化データの中から、
符号化情報として動き予測符号化時に算出された動きベ
クトルと予測残差符号化情報を抽出する符号化情報抽出
部と、前記符号化情報抽出部において抽出された動きベ
クトルの中の対象動きベクトルと当該対象動きベクトル
を持つ領域に含まれる予測残差符号化係数とに関し、予
測残差符号化係数のＤＣ成分、予測残差符号化係数のＡ
Ｃ成分の中で「０」でないものの個数、対象動きベクト
ルと類似度が高い隣接するマクロブロックに含まれる動
きベクトルの個数を特徴量とし、それぞれの特徴量が、
それぞれに対して与えられる所定の閾値を満たすか否か
に基づき、対象動きベクトルがカメラワークあるいは動
被写体とは無関係なノイズ動きベクトルであるかどうか
を判定し、対象動きベクトルがノイズ動きベクトルと判
定された場合には、当該ベクトルを０ベクトルと置き換
えて除去するノイズ判定部と、前記ノイズ判定部におい
て、ノイズ動きベクトルと判定された動きベクトルが除
去された動きベクトルからカメラワーク情報を抽出する
カメラワーク算出部とを具備することを特徴とする。

【００３３】本発明の好ましい実施の形態では、前記ノ
イズ判定部が、前記対象動きベクトルと前記隣接するマ
クロブロックに含まれる動きベクトルの大きさの比と角
度の余弦をそれぞれ所定の閾値と比較し、所定の条件を
満たしている場合に、当該両ベクトルの類似度が高いと
判断する。

【００３４】本発明の好ましい実施の形態では、前記カ
メラワーク算出部が、各フレーム内に存在する０ベクト
ルのマクロブロック数が所定の第１の閾値を上回る場合
には、画面が静止していると判断し、０ベクトルのマク
ロブロック数が所定の第１の閾値より小さい場合には、
各フレーム内に存在する、数フレームに渡って動きベク
トルが類似しているマクロブロック数が、所定の第２の
閾値を超えているときにカメラワークが存在したと判断
して、カメラワーク時の動きベクトル分布の特徴からカ
メラワーク情報を抽出し、数フレームに渡って動きベク
トルが類似しているマクロブロック数が、所定の第２の
閾値を下回るときにカメラワークは存在しないと判断す
る。

【００３５】

【００３６】

【００３７】

【００３８】

【００３９】前記手段によれば、カメラワークあるいは
動被写体とは無関係なノイズ動きベクトルを含む動きベ
クトル分布から、カメラワークあるいは動被写体とは無
関係なノイズ動きベクトルを除去し、ノイズ動きベクト
ルが除去された動きベクトルから正しいカメラワークを
反映する動きベクトルを選択するようにしたので、理想
的な環境下でなくても、正しいカメラワーク情報を算出
することができ、これにより原画像を復号化しなくて
も、原画像の内容を推測することが可能となる。

【００４０】前記手段によれば、対象動きベクトルを算
出する際に得られた符号化情報から特徴量として、予測
符号化時の動きベクトルの大きさ、方向、予測残差符号
化係数のＤＣ成分の大きさ、予測残差符号化係数のＡＣ
成分の大きさ、予測残差符号化係数のＡＣ成分のうち０
でない成分の個数、あるいは、対象動きベクトルに隣接
する動きベクトルのうち、対象動きベクトルと特性が著
しく類似している隣接動きベクトルの個数を算出し、当
該特徴量と、当該特徴量に対応する閾値とを比較して、
カメラワークあるいは動被写体とは無関係な動きベクト
ルを除去するようにしたので、これにより、カメラワー
クあるいは動被写体とは無関係な動きベクトルを正確に
判定することが可能となる。

【００４１】前記手段によれば、カメラワークが存在す
る場合は、複数フレームにわたって、カメラワークを反
映するような動きベクトルが連続して出現することに着
目し、時間的に連続して類似特性を示す動きベクトルの
数に基づいて、カメラワークの判定を行い、また、時間
方向に連続して類似特性を示す動きベクトルを解析した
解析結果に基づいて、カメラワーク情報を抽出するよう
にしたので、これにより、カメラワークを正確に判定
し、さらに、カメラワーク情報を正確に抽出することが
可能となる。

【００４２】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を詳細に説明する。

【００４３】なお、発明の実施の形態を説明するための
全図において、同一機能を有するものは同一符号を付
け、その繰り返しの説明は省略する。

【００４４】図１は、本発明の一発明の実施の形態であ
るカメラワーク算出方法を説明するための図である。

【００４５】本実施の形態のカメラワーク算出方法は、
入力ＭＰＥＧデータ列１０から動きベクトルを有するフ
レーム間予測符号化画像データ列１のみを対象とする。
これらのフレーム間予測符号化画像データ列１から、符
号化情報抽出段階２で、動きベクトル、予測残差符号化
係数（ＤＣＴ係数（ＤＣ成分およびＡＣ成分））等の各
種符号化情報３を抽出する。

【００４６】これらの１種類ないし複数の種類の符号化
情報３に基づき、ノイズ動きベクトル除去段階４で、適
切な動きベクトルを選択する処理を行う。

【００４７】この際に符号化情報３から動きベクトルが
どのような特性を持っているのかを示す特徴量５を算出
する。この特徴量５に基づいて、対象とする注目動きベ
クトルがカメラワークを反映している動きベクトルかど
うかを判定する。判定によってカメラワークを反映した
動きベクトル７を選択し、カメラワークを反映しない動
きベクトルをノイズ動きベクトルとして除去する。

【００４８】得られた動きベクトル７からカメラワーク
算出段階８にてカメラワークの有無及びカメラワーク情
報（カメラワークの種類、方向）を算出する。

【００４９】図２は、本発明の一発明の実施の形態であ
るカメラワーク算出装置を備える映像再生装置の概略構
成を示すブロック図である。

【００５０】図２に示す映像再生装置において、良く知
られているように、入力ＭＰＥＧデータ列２０は、可変
長復号器６０、逆走査部６１、逆量子化部６２、逆ＤＣ
Ｔ部６３、加算器６４および動き補償部６５により、可
変長復号化、逆量子化、逆ＤＣＴ化、動き補償の処理を
経て、再生（復号化）画像データ列６６となる。この再
生（復号化）画像データ列６６は再生表示部６７でディ
スプレイ上に表示される。

【００５１】なお、図２に示す映像再生装置において、
入力される符号化データは動き予測符号化方式を含む圧
縮符号化情報データであればよく、ＭＰＥＧ１及びＭＰ
ＥＧ２のどちらでも、またＨ２６１やそれ以外の方式で
符号化されていても構わない。また、ＭＰＥＧにおける
データフォーマットはフレーム間予測符号化でも、フィ
ールド間予測符号化のどちらでもよい。さらに、動き予
測方式は順方向、双方向、逆方向のいずれでもよく、動
き予測ベクトルを有していればよい。

【００５２】図２に示す映像再生装置において、入力Ｍ
ＰＥＧデータ列２０は、ＩｎｔｒａＭＢ（マクロブロッ
ク）だけで構成されるＩ−ｐｉｃｔｕｒｅが１フレー
ム、フレーム間順方向動き予測符号化方式を採用してい
るＰ−ｐｉｃｔｕｒｅが１４フレームからなる１５フレ
ームを一つの単位とし、これらを１つのＧＯＰ（Ｇｒｏ
ｕｐ ｏｆ Ｐｉｃｔｕｒｅ）として構成する「ＩＰＰ
ＰＰＰＰＰＰＰＰＰＰＰＰＩＰＰＰＰＰＰＰＰＰＰＰＰ
ＰＰ」というデータフォーマットとする。

【００５３】本実施の形態のカメラワーク算出装置で
は、始めに、ショット単位分類部２１で、逆量子化部６
２から出力されるＤＣＴ係数から、連続する同一カメラ
から撮影された映像ブロックであるショット単位（Ｓ
t，Ｓt+1，Ｓt+2，…）２２に分類する。

【００５４】このショット単位分類部２１で、ショット
単位２２に分類する手法としては、例えば、「ＭＰＥＧ
２映像からのカット点検出法」（新倉、谷口、阿久津、
浜田、１９９６年電子情報通信学会秋期情報通信ソサィ
エティ大会）に記載されているような公知の手法を用い
ることができる。

【００５５】次に、符号化情報解析部２３で、各ショッ
ト単位２２毎に、各ショットに含まれるフレーム間予測
符号化画像データ列（Ｐt，Ｐt+1，Ｐt+2，…）２４を
抽出する。即ち、本実施の形態のカメラワーク算出装置
では、各ショットに含まれるフレーム間予測符号化画像
データ列２４のみを処理の対象とする。

【００５６】次に、符号化情報抽出部２５で、各ショッ
トに含まれるフレーム間予測符号化画像データ列２４か
ら符号化情報を抽出する。

【００５７】ここで抽出する符号化情報は、各Ｐ−ｐｉ
ｃｔｕｒｅに含まれる動きベクトル集合（Ｐt｛ｖ1，ｖ
2，ｖ3，ｖ4，…｝，Ｐt+1｛ｖ1，ｖ2，ｖ3，ｖ4，
…｝）２６と、他の各種符号化情報としてＤＣＴ係数２
７を算出する。

【００５８】次に、特徴量算出部２８で、前記動きベク
トル集合２６、ＤＣＴ係数２７に基づき、各Ｐ−ｐｉｃ
ｔｕｒｅに含まれる動きベクトルの特徴量２９を算出す
る。

【００５９】次に、ノイズ判定部３０で、特徴量算出部
２８で得られた特徴量２９に基づき、動きベクトル集合
の各ベクトル｛ｖ1，ｖ2，ｖ3，ｖ4，…｝がカメラワー
クを反映しない動きベクトル（以下、ノイズ動きベクト
ルと称す。）かどうかを判定し、動きベクトルがノイズ
動きベクトルであると判定された場合には、その動きベ
クトルを０ベクトルとして置き換え、ノイズ動きベクト
ルでない場合には、カメラワークを反映する動きベクト
ルとする。

【００６０】なお、特徴量算出部２８、特徴量２９およ
びノイズ判定部３０については後述する。

【００６１】最後に、カメラワーク算出部３２で、ノイ
ズ判定部３０から得られた修正動きベクトル（ＦＰt
｛ｖ1，ｖ2，ｖ3，ｖ4，…｝）３１に基づき、カメラワ
ーク情報を算出する。

【００６２】また、ショット単位分類部２１からのショ
ット単位（Ｓt，Ｓt+1，Ｓt+2，…）２２およびカメラ
ワーク算出部３２からのカメラワーク情報は、再生表示
部６７に入力され、これにより、再生表示部６７におい
て、再生（復号化）画像データ列６６を、ショット単位
あるいはカメラワーク単位で表示することができる。

【００６３】以下、本実施の形態の特徴量算出部２８、
特徴量２９について説明する。

【００６４】図３は、右から左へパンニングを行ってい
るカメラにより撮影された画像列の中の１つの画像を示
す模式図であり、また、図４は、図３に示す原画像を予
測符号化した時の動きベクトルの分布を示す図である。

【００６５】図４において、円で囲まれた空の領域など
一様な領域に発生している動きベクトルは、パンニング
とは無関係なベクトルである。本実施の形態では、この
ようなカメラワークを反映しない動きベクトルをノイズ
として扱う。

【００６６】図４から明らかなように、カメラワークを
反映しない動きベクトル（ノイズ動きベクトル）は、明
度や色が一様で変化がない無地の領域が複数のマクロブ
ロック（ＭＢ）に渡って存在するような場合に、画像内
のちらつき、信号の乱れ等によって発生する。

【００６７】即ち、数個のマクロブロック（ＭＢ）に渡
る広く明度や色変化の少ない一様な領域が画像内に存在
する場合、理想的には０ベクトルしか算出されないはず
だが、そうならずに大きなベクトルとなるものをノイズ
動きベクトルとして除去する。

【００６８】これらのノイズ動きベクトルの特徴は、大
きさが大きく、元々明度や色変化が少ない領域の符号化
であるため、動き予測残差はちらつきによる非常に小さ
な値でしかなく、そのＤＣＴ係数もほとんどが０になる
という特徴を持っている。

【００６９】そこで、本実施の形態では、特徴量とし
て、動きベクトル｛ｖi｝の大きさＬ｛ｖi｝及び方向Ｄ
｛ｖi｝、ＤＣＴ係数のＤＣ成分ＤＣ｛ｖi｝、ＤＣＴ係
数のＡＣ成分の中で、「０」でないＤＣＴ係数の個数Ｎ
AC｛ｖi｝、注目動きベクトルと類似度が高い隣接する
マクロブロック（ＭＢ）に含まれる動きベクトルの個数
ＮS｛ｖi｝を用いる。

【００７０】動きベクトル｛ｖi｝と、隣接するマクロ
ブロック（ＭＢ）に含まれる動きベクトル｛ｖj｝との
類似度は、ベクトルの大きさの比ＬＣ｛ｖi／ｖj｝と、
角度Ｃ｛ｖi／ｖj｝に基づいて算出される。

【００７１】なお、それぞれの算出方法は、以下の
（１），（２）式で表わされる。

【００７２】

【数１】 ＬＣ｛ｖi／ｖj｝＝Ｌ｛ｖi｝／Ｌ｛ｖj｝ ・・・・（１）

【００７３】

【数２】 Ｃ｛ｖi／ｖj｝＝（ｖi・ｖj）／（｜ｖi｜＊｜ｖj｜） ・・（２） ここで、（Ｘ・Ｙ）は、ＸベクトルとＹベクトルの内積
を意味する。

【００７４】この角度相関は２つのベクトルの角度の余
弦を示し、同一方向を向いていればＣ｛ｖi／ｖj｝は１
に近づき、角度が異なれば１よりも小さい値を示す。

【００７５】ベクトルの大きさの比ＬＣ｛ｖi／ｖj｝
と、角度Ｃ｛ｖi／ｖj｝とは、それぞれ予め与えられて
いる閾値と比較し、所定の条件を満たしている場合に、
動きベクトル同士は類似しているとみなす。

【００７６】この注目動きベクトルに対して類似してい
る動きベクトルの個数を特徴量２９の１つとし、ノイズ
であるかどうかの判定を行う。

【００７７】類似する動きベクトルの探索範囲は、本実
施の形態では、空間的な上下左右方向のみを対象として
いるが、より空間的に広げたり、また時間的方向に拡張
しても構わない。

【００７８】対象注目ベクトルがノイズであるかどうか
の判定には、特徴量算出部２８で得られる、ＤＣＴ係数
のＤＣ成分ＤＣ｛ｖi｝、ＤＣＴ係数のＡＣ成分の中で
「０」でないＤＣＴ係数の個数ＮAC｛ｖi｝、注目動き
ベクトルと類似度が高い隣接するマクロブロック（Ｍ
Ｂ）に含まれる動きベクトルの個数ＮS｛ｖi｝を特徴量
２９とし、それぞれの特徴量２９が、それぞれに対して
与えられる閾値を満たすかどうかに基づいて、注目動き
ベクトルがノイズ動きベクトルであるかどうかを判定す
る。

【００７９】これにより、図５に示すように、図４に示
す動きベクトルの中で、カメラワークと無関係なノイズ
動きベクトルの大半を除去することができる。

【００８０】図５は、図４に示す動きベクトルの中で、
ノイズ動きベクトルと判定された動きベクトルを除去し
た後の動きベクトル分布を示す図である。

【００８１】パンやチルト等の特徴的な動きの場合、理
想的な環境においては、動きベクトルの角度別累積和の
値は、パンニングやチルティング方向と対応した特定の
角度にピークを示す。

【００８２】本実施の形態においては、図４（Ｂ）およ
び図５（Ｂ）から明らかなように、それぞれノイズ動き
ベクトル除去前とノイズ動きベクトル除去後の動きベク
トルの角度別累積和を比較するとノイズ動きベクトル除
去後の方が、パンニング方向と一致するピークが観察さ
れていることが分かる。

【００８３】なお、図４あるいは図５に示す動きベクト
ルの方向と角度の定義は、図６に示す通りである。ま
た、角度別累積和の算出方法は、以下の示す通りであ
る。

【００８４】Ａｎｇｌｅ＝０〜３６０ｄｅｇ ｆｏｒ 全マクロブロック（ＭＢ）数 Ａｎｇｌｅ＝方向Ｖ Ｈｉｓｔ（Ａｎｇｌｅ）＋＝Ｌｅｎｇｔｈ（Ｖ） ここで、Ｖはマクロブロック（ＭＢ）上の動きベクト
ル、Ａｎｇｌｅ（Ｖ）は動きベクトルの方向、Ｌｅｎｇ
ｔｈ（Ｖ）は動きベクトルの長さ、Ｈｉｓｔ（Ａｎｇｌ
ｅ）が角度別累積和の成分を示す。

【００８５】なお、本実施の形態では、以上の特徴量と
閾値の組み合わせを用いたが、他にも、上述の条件を反
映するような、例えば、ＤＣＴ係数のＡＣ成分の係数の
積、和、等を特徴量として用いても良い。

【００８６】次に、ノイズと判定された動きベクトルを
除去した後の修正動きベクトルから、カメラワーク算出
部３２でカメラワークの有無を判定する。

【００８７】図７は、本実施の形態のカメラワーク算出
部３２において、カメラワークの有無を判定する手法を
説明するためのフローチャートである。

【００８８】以下、本実施の形態のカメラワーク算出部
３２において、カメラワークの有無を判定する手法を、
図７を用いて詳細に説明する。

【００８９】今、ステップ４０において、あるフレーム
ｔ１の修正動きベクトル成分ＦＰｔ１｛ｖi｝が入力さ
れたとする。

【００９０】まず、変数（ｍｂ）を０とし（ステップ４
１）、当該変数（ｍｂ）に対応するマクロブロックの修
正動きベクトル成分ＦＰｔ１｛ｖi｝が０ベクトルか否
かを判断し（ステップ４２）、当該修正動きベクトル成
分ＦＰｔ１｛ｖi｝が０ベクトルの場合には、Ｚｅｒｏ
カウンター（Ｚｅｒｏ）のカウント値を＋１する（ステ
ップ４３）。

【００９１】当該修正動きベクトル成分ＦＰｔ１｛ｖ
i｝が０ベクトルでない場合には、当該修正動きベクト
ル成分ＦＰｔ１｛ｖi｝と過去のベクトル成分ＳＰｔ１
−１｛ｖi｝とを比較する（ステップ４４）。

【００９２】ステップ４４での比較の結果、類似してい
れば類似動きベクトルフラグＦiを＋１し（ステップ４
５）、類似していなければ類似動きベクトルフラグＦi
を０にセットする（ステップ４６）。

【００９３】次に、この類似動きベクトルフラグＦiの
フラグの数と閾値（ＴｈMV）を比較し（ステップ４
７）、類似動きベクトルフラグＦiのフラグの数が閾値
（ＴｈMV）よりも大きい場合、数フレームに渡って動き
ベクトルが類似していると判断し、連続類似マクロブロ
ックカウンター（Ｃｏｕｎｔｅｒ）を＋１する（ステッ
プ４８）。

【００９４】即ち、ステップ４８において、各フレーム
内に存在する、数フレームに渡って動きベクトルが類似
しているマクロブロック（ＭＢ）数をカウントする。

【００９５】次に、前記一連の処理が各フレームの全マ
クロブロック（ＭＢ）について終了したか否かを判断し
（ステップ４９）、一連の処理が各フレームの全マクロ
ブロック（ＭＢ）について終了していない場合には、変
数（ｍｂ）を＋１して前記ステップ４２ないしステップ
４８を繰り返す。

【００９６】ステップ４９で、前記一連の処理が各フレ
ームの全マクロブロック（ＭＢ）について終了した場合
には、まず、０ベクトルのマクロブロック（ＭＢ）数
（Ｚｅｒｏカウンターのカウント値）と閾値（ＴｈZer
o）とを比較する（ステップ５１）。

【００９７】ステップ５１において、０ベクトルのマク
ロブロック（ＭＢ）数が閾値（ＴｈZero）を上回る場合
には、画面が静止しているとし、すなわちカメラワーク
が存在しなかったものと判断する（ステップ５４）。

【００９８】ステップ５１において、０ベクトルのマク
ロブロック（ＭＢ）数が閾値（ＴｈZero）より小さい場
合には、連続類似ベクトルを持つマクロブロック（Ｍ
Ｂ）の個数（連続類似マクロブロックカンウターの値）
に基づいて、カメラワークが存在するかどうかを判定す
る（ステップ５２）。

【００９９】連続類似ベクトルを持つマクロブロック
（ＭＢ）の個数が、閾値（ＴｈCM）を超えている場合に
は、数フレームに渡って類似した連続ベクトルが連続し
て多数出現していると判断できるため、カメラワークが
存在したと判断し（ステップ５３）、カメラワーク時の
動きベクトル分布の特徴からカメラワーク情報を算出す
る（ステップ５８）。

【０１００】連続類似ベクトルを持つマクロブロック
（ＭＢ）の個数が、閾値（ＴｈCM）を下回る場合には、
連続な動きベクトルではなく、個々にバラバラな動きベ
クトルが多数存在しているだけで、カメラワークの存在
によって出現した動きベクトルと異なるとし、カメラワ
ークは存在しなかったと判断する（ステップ５４）。

【０１０１】次に、シーンチェンジが発生したか否かを
判断し（ステップ５５）、シーンチェンジが発生してい
ない場合には、Ｚｅｒｏカウンター（Ｚｅｒｏ）および
連続類似マクロブロックカウンター（Ｃｏｕｎｔｅｒ）
をクリアし、シーンチェンジが発生するまで各フレーム
について前記処理を繰り返す。

【０１０２】また、ステップ５５において、シーンチェ
ンジが発生したと判断した場合には、Ｚｅｒｏカウンタ
ー（Ｚｅｒｏ）、連続類似マクロブロックカンター（Ｃ
ｏｕｎｔｅｒ）および類似動きベクトルフラグＦiをク
リアし、新しいシーンチェンジの下で再度カメラワーク
情報の検出を行う。

【０１０３】図８は、同一シーン中でカメラワークを有
する原画像の推移の一例を示す模式図であり、対象ＭＰ
ＥＧ２フォーマット「ＩＰＰＰＰＰＰＰＰＰＰＰＰＰ
Ｐ」を約２７０フレームに渡って処理した例を示してい
る。

【０１０４】図８は原画像がどのような推移で変化して
いるのかを示すために、周期的に出現するＩ−ｐｉｃｔ
ｕｒｅ毎に原画像の様子を模式図によって示したもので
ある。以下、説明のため、Ｉ−ｐｉｃｔｕｒｅ番号で、
映像の切り替わっている様子を示す。この例では、Ｉ−
ｐｉｃｔｕｒｅ番号１から１４のあたりまでは右から左
へ被写体をトラックしながら撮影し、それが、Ｉ−ｐｉ
ｃｔｕｒｅ番号１５のあたりからカメラワークがなくな
り、映像が静止している原画像の様子を示している。

【０１０５】即ち、図８に示す原画像の推移では、Ｉ−
ｐｉｃｔｕｒｅ番号１から１４のあたりまでは、右から
左へのパンニングによるカメラワークが発生している。

【０１０６】図９は、図８の原画像に対して、本実施の
形態により、実際に検出された０ベクトルを持つマクロ
ブロック（ＭＢ）数の変化と、連続類似ベクトルを持つ
マクロブロック（ＭＢ）数の変化の一例を示す図であ
る。

【０１０７】図９に示すように、図８に示す原画像の推
移を反映して、０ベクトルを持つマクロブロック（Ｍ
Ｂ）の数、および、連続類似ベクトルを持つマクロブロ
ック（ＭＢ）の数もＩ−ｐｉｃｔｕｒｅ番号１５の周辺
で、それぞれ増加及び減少している。

【０１０８】なお、図９においては、Ｉ−ｐｉｃｔｕｒ
ｅ番号１６とＩ−ｐｉｃｔｕｒｅ番号１７との間で、０
ベクトルを持つマクロブロック（ＭＢ）数が一瞬減少し
ている。これは、画像中の被写体が動くことによって生
じたものである。

【０１０９】しかし、時間方向に連続する連続類似ベク
トルを持つマクロブロック（ＭＢ）数には、この変化は
反映されないので、２つの処理を組み合わせることでよ
り精度の高い処理を行うことができる。

【０１１０】次に、ステップ５８において、時間方向に
連続する連続類似ベクトルから、カメラワーク情報を抽
出する方法について説明する。

【０１１１】本実施の形態においては、ノイズ判定部３
０で、ノイズと判定された大半の動きベクトルは除去さ
れており、さらに、動きベクトルは、時間方向に類似し
たベクトルが連続であるもののみを対象としているた
め、瞬間的に発生した動きベクトルは除去されている。
したがって、グローバルな動きベクトルのみが対象とし
て残されている。

【０１１２】したがって、本実施の形態では、グローバ
ルな動きに関連する動きベクトル集合に対し、これら連
続類似ベクトルの分散を評価し、カメラワークがチルト
乃至パンなどの平行移動系のカメラワークなのか、ズー
ム乃至ドリー等の前後進移動系のカメラワークなのかを
判別する。

【０１１３】平行移動系の場合には、分散が小さくある
カメラワークに対応した方向にピークが生じる。そこ
で、動きベクトル分布のピークを検出し、そのピークに
関連した動きベクトルをカメラワークとしている。

【０１１４】動きベクトル分布の分散が大きい場合に
は、前後進移動系のカメラワークとし、中心に向かって
いるか、後退しているかは、画像の縁に位置する動きベ
クトルの方向から判別を行っている。

【０１１５】なお、図１０に、図９に示す連続類似動き
ベクトルの分布の１例を示す。

【０１１６】図１０に示す例では、図８のＩ−ｐｉｃｔ
ｕｒｅ番号８からＩ−ｐｉｃｔｕｒｅ番号９の間で観察
されたベクトル分布を表示している。即ち、右から左方
向へのカメラワークを有している例である。

【０１１７】実際のグラフにおいては頻度方向の情報も
有しており、ほとんどのベクトルがカメラの動いた向き
と対応していることがわかる。

【０１１８】したがって、カメラワークベクトルの算出
の際には、このグラフの、ピークを取る、平均ベクトル
を算出する、あるいは、主軸分析によるベクトルの決定
等を行っても良い。

【０１１９】本実施の形態では、平均ベクトルによって
パンニングやチルティングの時の動きベクトルとしてい
る。そのベクトル値は図１０中に図示してある。

【０１２０】本実施の形態では、カメラワークとして、
カメラワークがあるかどうか、カメラワークの種類はど
うか、パンニングやチルティングの場合、グローバルな
動きベクトルまでを算出することとしているが、これ以
上の処理を行っても良い。

【０１２１】また、グローバルな動きベクトルに基づい
て動被写体の抽出などを行うこともできる。

【０１２２】なお本実施の形態では各特徴量の判定に用
いる閾値はあらかじめ与えられるものとしていたが、映
像や画像の内容によって適宜変化させても良く、また、
インタフェースを付加することによって人間の手によっ
てチューニングし、適宜情報を与えるとしても良い。

【０１２３】また、動き情報を反映していない動きベク
トルが除去されているため、従来方法で検討された理想
的な方法の適用も可能であり、カメラワーク情報の算出
については、これら従来方法を用いて検出しても良い。

【０１２４】このように、本実施の形態のカメラワーク
算出装置によれば、圧縮された画像データ列から、カメ
ラワーク情報を抽出し、従来方法によって抽出されてい
るカット点の情報を組み合わせることによって、カット
点とカメラワーク情報という映像内容における特別な情
報を基に、圧縮された画像データ列の内容を高速、簡便
に閲覧することが可能である。また、本実施の形態のカ
メラワーク算出装置は、その仕様をソフトウェアで記述
し、汎用コンピュータにおいて実行するだけで容易に実
現することができる。

【０１２５】以上、本発明者によってなされた発明を、
前記実施の形態に基づき具体的に説明したが、本発明
は、前記実施の形態に限定されるものではなく、その要
旨を逸脱しない範囲において種々変更可能であることは
勿論である。

【０１２６】

【発明の効果】本願において開示される発明のうち代表
的なものによって得られる効果を簡単に説明すれば、下
記のとおりである。

【０１２７】（１）本発明によれば、カメラワーク算出
方法及び装置において、理想的な環境下でなくても、ア
ナログ信号の乱れやＡ／Ｄ変換時のノイズなどの影響を
受けることなく、正しいカメラワークの有無を判定する
ことが可能であり、これにより原画像を復号化しなくて
も、原画像の内容を推測することが可能となる。

【０１２８】（２）本発明によれば、カメラワーク算出
方法及び装置において、動き情報と無関係な動きベクト
ルを正確に判定することが可能となる。

【０１２９】（３）本発明によれば、カメラワーク算出
方法及び装置において、カメラワークを正確に判定し、
さらに、カメラワーク情報を正確に抽出することが可能
となる。

【０１３０】（４）本発明によれば、圧縮された画像デ
ータ列の内容を高速、簡便に閲覧することが可能であ
る。

【図面の簡単な説明】

【図１】本発明の一発明の実施の形態であるカメラワー
ク算出方法を説明するための図である。

【図２】本発明の一発明の実施の形態であるカメラワー
ク算出装置を備える映像再生装置の概略構成を示すブロ
ック図である。

【図３】右から左へパンニングを行っているカメラによ
り撮影された画像列の中の１つの画像を示す模式図であ
る。

【図４】図３に示す原画像を予測符号化した時の動きベ
クトルの分布を示す図である。

【図５】図４に示す動きベクトルの中で、ノイズ動きベ
クトルと判定された動きベクトルを除去した後の動きベ
クトル分布を示す図である。

【図６】図４あるいは図５に示す動きベクトルの方向と
角度の定義を説明するための図である。

【図７】本実施の形態のカメラワーク算出部３２におい
て、カメラワークの有無を判定する手法を説明するため
のフローチャートである。

【図８】同一シーン中でカメラワークを有する原画像の
推移の一例を示す模式図である。

【図９】図８の原画像に対して、本実施の形態により、
実際に検出された０ベクトルを持つマクロブロック（Ｍ
Ｂ）数の変化と、連続類似ベクトルを持つマクロブロッ
ク（ＭＢ）数の変化の一例を示す図である。

【図１０】図９に示す連続類似動きベクトルの分布の１
例を示す図である。

【図１１】カメラワークや動被写体領域の存在によって
画像内容が変化している場合の動きベクトルの分布の一
例を示す図である。

【符号の説明】

１…フレーム間予測符号化画像データ列、１０，２０…
入力ＭＰＥＧデータ列、２１…ショット単位分類部、２
３…符号化情報解析部、２５…符号化情報抽出部、２８
…特徴量算出部、３０…ノイズ判定部、３２…カメラワ
ーク算出部、６０…可変長復号器、６１…逆走査部、６
２…逆量子化部、６３…逆ＤＣＴ部、６４…加算器、６
５…動き補償部、６６…再生（復号化）画像データ列、
６７…再生表示部。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68 H04N 5/232

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】 動き予測方式を用いた圧縮符号化方式に
   よって符号化された映像圧縮符号化データからカメラワ
   ーク情報を判定するカメラワーク算出方法において、 前記映像圧縮符号化データの中から、符号化情報として
   動き予測符号化時に算出された動きベクトルと予測残差
   符号化情報を抽出する第１のステップと、 前記第１のステップにおいて抽出された動きベクトルの
   対象動きベクトルと当該対象動きベクトルを持つ領域に
   含まれる予測残差符号化係数とに関し、予測残差符号化
   係数のＤＣ成分、予測残差符号化係数のＡＣ成分の中で
   「０」でないものの個数、対象動きベクトルと類似度が
   高い隣接するマクロブロックに含まれる動きベクトルの
   個数を特徴量とし、それぞれの特徴量が、それぞれに対
   して与えられる所定の閾値を満たすか否かに基づき、対
   象動きベクトルがカメラワークあるいは動被写体とは無
   関係なノイズ動きベクトルであるかどうかを判定し、対
   象動きベクトルがノイズ動きベクトルと判定された場合
   には、当該ベクトルを０ベクトルと置き換えて除去する
   第２のステップと、 前記第２のステップにおいて、ノイズ動きベクトルと判
   定された動きベクトルが除去された動きベクトルからカ
   メラワーク情報を抽出する第３のステップとを具備する
   ことを特徴とするカメラワーク算出方法。
2. 【請求項２】 前記第２のステップにおいて、前記対象
   動きベクトルと前記隣接するマクロブロックに含まれる
   動きベクトルの大きさの比と角度の余弦をそれぞれ所定
   の閾値と比較し、所定の条件を満たしている場合に、当
   該両ベクトルの類似度が高いと判断することを特徴とす
   る請求項１に記載のカメラワーク算出方法。
3. 【請求項３】 前記第３のステップにおいて、各フレー
   ム内に存在する０ベクトルのマクロブロック数が所定の
   第１の閾値を上回る場合には、画面が静止していると判
   断し、 ０ベクトルのマクロブロック数が所定の第１の閾値より
   小さい場合には、各フレーム内に存在する、数フレーム
   に渡って動きベクトルが類似しているマクロブロック数
   が、所定の第２の閾値を超えているときにカメラワーク
   が存在したと判 断して、カメラワーク時の動きベクトル
   分布の特徴からカメラワーク情報を抽出し、数フレーム
   に渡って動きベクトルが類似しているマクロブロック数
   が、所定の第２の閾値を下回るときにカメラワークは存
   在しないと判断 することを特徴とする請求項１または請
   求項２に記載のカメラワーク算出方法。
4. 【請求項４】 動き予測方式を用いた圧縮符号化方式に
   よって符号化された映像圧縮符号化データからカメラワ
   ークの判定の有無を行うカメラワーク算出装置におい
   て、 前記映像圧縮符号化データの中から、符号化情報として
   動き予測符号化時に算出された動きベクトルと予測残差
   符号化情報を抽出する符号化情報抽出部と、 前記符号化情報抽出部において抽出された動きベクトル
   の中の対象動きベクトルと当該対象動きベクトルを持つ
   領域に含まれる予測残差符号化係数とに関し、予測残差
   符号化係数のＤＣ成分、予測残差符号化係数のＡＣ成分
   の中で「０」でないものの個数、対象動きベクトルと類
   似度が高い隣接するマクロブロックに含まれる動きベク
   トルの個数を特徴量とし、それぞれの特徴量が、それぞ
   れに対して与えられる所定の閾値を満たすか否かに基づ
   き、対象動きベクトルがカメラワークあるいは動被写体
   とは無関係なノイズ動きベクトルであるかどうかを判定
   し、対象動きベクトルがノイズ動きベクトルと判定され
   た場合には、当該ベクトルを０ベクトルと置き換えて除
   去するノイズ判定部と、 前記ノイズ判定部において、ノイズ動きベクトルと判定
   された動きベクトルが除去された動きベクトルからカメ
   ラワーク情報を抽出するカメラワーク算出部とを具備す
   る ことを特徴とするカメラワーク算出装置。
5. 【請求項５】 前記ノイズ判定部は、前記対象動きベク
   トルと前記隣接するマクロブロックに含まれる動きベク
   トルの大きさの比と角度の余弦をそれぞれ所定の閾値と
   比較し、所定の条件を満たしている場合に、当該両ベク
   トルの類似度が高いと判断することを特徴とする請求項
   ４に記載のカメラワーク算出装置。
6. 【請求項６】 前記カメラワーク算出部は、各フレーム
   内に存在する０ベクトルのマクロブロック数が所定の第
   １の閾値を上回る場合には、画面が静止していると判断
   し、 ０ベクトルのマクロブロック数が所定の第１の閾値より
   小さい場合には、各フレーム内に存在する、数フレーム
   に渡って動きベクトルが類似しているマクロブロック数
   が、所定の第２の閾値を超えているときにカメラワーク
   が存在したと判断して、カメラワーク時の動きベクトル
   分布の特徴からカメラワーク情報を抽出し、数フレーム
   に渡って動きベクトルが類似しているマクロブロック数
   が、所定の第２の閾値を下回るときにカメラワークは存
   在しないと判断することを特徴とする請求項４または請
   求項５に記載のカメラワーク算出装置。