JP4410039B2

JP4410039B2 - 動き検出装置および動き検出方法、画像処理装置

Info

Publication number: JP4410039B2
Application number: JP2004174003A
Authority: JP
Inventors: 一人大原
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2004-06-11
Filing date: 2004-06-11
Publication date: 2010-02-03
Anticipated expiration: 2024-06-11
Also published as: JP2005354478A

Description

本発明は、画像通信、画像記録等に利用される画像のデジタル圧縮符号化技術に関し、特に、予測符号化処理のために動画像の動きを検出する動き検出技術に関する。

近年、広帯域の通信手段や、大容量の記録メディアが普及するにつれ、動画像データの利用が盛んになっている。通信手段の広帯域化や記録メディアの大容量化が進んでいるものの、動画像データはデータ量が膨大なため、動画像データを利用するためには、例えば符号化によるデータ量の圧縮が必要不可欠である。

動画像の符号化方式としては、国際標準であるＭＰＥＧ−２やＭＰＥＧ−４などが知られている。これらの符号化方式では、動画像データの１フレームを符号化するに当たり、予測のために、時間的に前後するフレームを参照し、参照フレームとの差分（以下、「予測誤差」と称する。）を用いることにより情報量を少なくし、圧縮効率を上げる予測符号化方式が用いられている。

このような予測符号化方式においては、予測誤差が小さいほど符号化効率が向上する。したがって、予測誤差が小さくなるようにフレーム間の動きを検出するのが好ましい。

一般的な動き検出処理の概要について図５を参照しつつ説明を行う。図５（Ａ）において、符号５００は動き検出処理の対象となる処理フレーム、符号５０１は処理フレームを分割した処理単位（以下、「ブロック」と称する。）である。図５（Ｂ）において、符号５０２は処理フレーム５００よりも時間的に前又は後に存在する予測のための参照フレームであり、符号５０３はフレーム５０２に設定された所定のサイズを有する動き探索範囲であり、符号５０４は動き検出処理によって決められた予測ブロックである。動き検出処理では、ブロック５０１に対応させて参照フレーム５０２内に動き探索範囲５０３を設定し、動き探索範囲５０３中の所定位置での予測誤差を計算する。このようにして計算した予測誤差が小さくなる位置のブロックを予測ブロック５０４として決定する。予測ブロック５０４とブロック５０１（図５（Ｂ）では破線で示されている。）との位置の変化量を矢印で示す動きベクトルにより表す。

この際、動き探索範囲５０３を狭く設定することにより予測誤差を計算する位置の数が少なくなるため動きベクトルを算出するための演算量も少なくなる。しかしながら、動きベクトルの大きさが制限されるため実際の動きの大きさに対して予測効率の良い動きベクトルを検出することできず、十分な予測誤差が得られない。

一方、動き探索範囲５０３を広く設定することにより、実際の動きにあった動きベクトルを算出しやすくなるが、その分だけ動きベクトルを算出するための演算量が多くなる。このように、予測効率の良い動きベクトルを検出するためには、動き探索範囲を適切に設定する必要がある。例えば、下記特許文献１に記載の技術は、ブロック毎に決定された動きベクトルの大きさ（ベクトル長）の分布から、最も動きベクトルが集中するベクトル長の範囲を計測するものである。その計測結果から、動きベクトルの発生頻度が最も高い範囲を選び出し、動き探索範囲を制御することにより予測効率を上げている。

特開２００３−２１９４２８号公報

しかしながら、特許文献１に記載の技術では、動画像におけるフレーム間の動きが大きい画像に関しては十分な動き検出が行われず、かえって予測効率を悪くするという問題点がある。すなわち、動画像におけるフレーム間の動きが大きく、設定した動き探索範囲を超えるような動き量が含まれる場合には、動きベクトルの大きさは動き探索範囲で制限されるために、動画像の動きに十分見合った動きベクトルを検出することができない。この点について図６を参照しつつ説明する。図６は、動きベクトルの分布の一例を示す図であり、例として水平方向のベクトル長の分布を示したものである。図６に示す例では、８０≦｜ＭＶ｜＜９６のベクトル数の割合が相対的に大きくなっており、この範囲を超える動きベクトルが存在することを示唆している。このような場合に予測効率を上げるためには、動き探索範囲を広くする必要がある。上記特許文献１に記載の技術を用いると、動きベクトルの集中する範囲（例えば、１６≦｜ＭＶ｜＜３２及び３２≦｜ＭＶ｜＜４８）に合わせて動き探索範囲を変更するために、本来大きな動きを持つ８０≦｜ＭＶ｜＜９６の部分の動きベクトルの検出処理が十分でなく、かえって予測率を悪くしてしまう場合がありうる。本発明は、予測符号化における符号化効率をさらに向上させることを目的とする。

本発明に係る動き検出装置は、動画像の動きに応じて適応的に動き探索範囲を調整することを特徴とする。これにより予測符号化における符号化効率を向上させることができる。

本発明に係る動き検出装置は、動画像のフレームを所定の処理単位に分割し、時間的に前のフレーム又は後のフレームの少なくともいずれか一方からの動きを示す動きベクトルを前記処理単位ごとに検出する動きベクトル検出手段と、前記動きベクトルをその大きさによりＮ個（ここでＮは自然数である）のグループに分類し、各グループの動きベクトル数を数える動きベクトル計数手段と、前記動きベクトル数の分布に応じて、前記動きベクトル検出手段における動き探索範囲を決定する探索範囲決定手段とを備えることを特徴とする。本発明によれば、動きベクトル数の分布に基づいて動き探索範囲を決定するため、動きの変化への追従性が良く、例えば動きが大きく変化することがあるケースにも対応可能である。加えて、無駄な処理をなくすことができるため処理効率も良くなる。

前記探索範囲決定手段は、前記Ｎ個のグループのうち動きベクトルの大きさが最大のグループに含まれる動きベクトル数に応じて、動き探索範囲を決定することもできるし、動きベクトルの大きさが最大のグループのベクトル数が所定の閾値よりも大きい場合に、動き探索範囲が広くなるように決定することもできる。また、動きベクトルの大きさが最大のグループのベクトル数が所定の閾値よりも小さい場合に、動き探索範囲が狭くなるように決定することも可能であり、前記Ｎ個のグループそれぞれに含まれる動きベクト数の分布に応じて、動き探索範囲を決定することも、前記Ｎ個のグループのうち、動きベクトルの大きさが最大のグループのベクトル数が、動きベクトルの大きさが所定サイズだけ小さいグループのベクトル数よりも多い場合に、動き探索範囲を広くなるように決定することを特徴とする。

また前記探索範囲決定手段は、前記Ｎ個のグループのうち、動きベクトルの大きさが最大のグループから動きベクトルの大きさが小さくなる順にベクトル数の和を算出する手段を備え、前記ベクトル数の和が所定の閾値を越えない範囲で動き探索範囲を狭くするようにすることも可能である。それぞれ、処理対象の特徴に応じて、追従性の良い、かつ、効率の良い処理方法を選択すれば良い。

また、動画像のフレームを所定の処理単位に分割し、時間的に前又は後の少なくともいずれかのフレームからの動きを示す動きベクトルを前記処理単位毎に検出する動きベクトル検出手段と、該動きベクトル検出手段により検出された前記動画像の動きに応じて動き探索範囲を演算し決定する探索範囲決定手段とを備えることを特徴とする動き検出装置が提供される。これにより予測符号化における符号化効率を向上させることができる。

また、本発明に係る動き検出方法は、動画像のフレームを所定の処理単位に分割し、時間的に前および後のフレームからの動きを示す動きベクトルを前記処理単位ごとに検出する動きベクトル検出ステップと、前記動きベクトルをその大きさによりＮ個（ここでＮは自然数である）のグループに分類し、各グループの動きベクトル数を数える動きベクトル計数ステップと、前記動きベクトル数の分布に応じて、前記動きベクトル検出ステップにおける動き探索範囲を決定する探索範囲決定ステップとを備えることを特徴とする。

本発明によれば、動き検出処理によって検出された動きベクトルの大きさに関する分布をとって分析することにより、動画像の動きに対して適応的に動き探索範囲を設定するので、フレーム間の予測効率を向上させることができ、予測符号化における符号化効率を向上させることができる。従って、動きの激しい動画像に関しても適切な画像処理を行うことができるという利点がある。

以下、本発明の実施の形態について、図面を参照しながら説明する。適宜、図５（Ａ）、（Ｂ）を参照しつつ説明を行う。図１は、本発明の実施の形態による動き検出装置の一構成例を示すブロック図である。図１に示すように、動き検出装置１００は、動きベクトル検出手段１０１と、動きベクトル計数手段１０２と、探索範囲決定手段１０３と、を含んで構成される。

動きベクトル検出手段１０１は、動き探索範囲のサイズをパラメータとして持ち、動き検出処理の対象となる処理フレーム５００と予測のための参照フレーム５２０との少なくとも２つのフレームにおける信号を入力とし、パラメータにより予め決められた動き探索範囲５０３からフレーム間の動きベクトル（図５）を検出する。動きベクトル計数手段１０２は、動きベクトル検出手段１０１により検出された動きベクトルをその大きさに基づいてグループ分けを行い、グループ分けされた動きベクトルのグループ毎に、そのグループに含まれる動きベクトルの数をカウントする。探索範囲決定手段１０３は、動きベクトル計数手段１０２によってカウントされた動きベクトル数に応じて、次の動き検出処理で用いるのに適した動き探索範囲を演算により決定し、決定された動き探索範囲を動きベクトル検出手段１０１に対して出力し、動きベクトル検出手段１０１に設定する。

以下においては、図１に示す動き検出装置１００の動作について図面を参照しつつ説明を行う。図２は、動き検出装置１００により１フレームの動き検出処理を行う際の処理の流れを示すフローチャート図である。図２に示すように、まず、ステップＳＴ２００において、動き検出装置１００内の動きベクトル検出手段１０１が、１ブロックの動き検出処理を行なう。動きベクトル検出手段１０１は図示しないメモリに格納されている処理フレームのデータのうち、動き検出処理の対象となるブロックデータを読み込み、次いでメモリに格納されている参照フレームのデータのうち、動き探索範囲の画素データを読み込む。これらのデータに基づいて動きベクトルを決定する。動きベクトルの決定法としては、動き探索範囲中の全部の位置について予測誤差を計算する全探索法など、従来から提案されている様々な手法を用いることが可能であり、動きベクトルの決定法については限定されるものではない。

ステップＳＴ２０１において、動きベクトル計数手段１０２が、動きベクトルの大きさに関してグループ分けする場合のグループ数の基準となる所定サイズＳ単位でＮ個のグループに分類し、入力された動きベクトルの大きさに応じて、その動きベクトルが含まれるグループｎ（ここでｎは１からＮまでの整数であり、動きベクトルの小さいグループから動きベクトルの大きい順に向けてｎが１からＮまで変化する。）のベクトル数Ｃ（ｎ）をカウントする。ここで動きベクトルの大きさとは、いわゆるベクトル長のみを指すのではなく、水平成分又は垂直成分の大きさ成分も含まれる。例えば、水平方向の動き探索範囲が−９６〜＋９５画素の場合では、所定サイズＳを１６とすると、グループ１（０〜１５と−１６〜−１）からグループ６（８０〜９５と−９６〜−８１）までの６つのグループに分割されるため、Ｎは６となる。動きベクトル計数手段１０２は、入力された動きベクトルの総数Ｔもカウントする。

ステップＳＴ２０２において、全てのブロックについて動き検出処理を行ったか否かを判定する。全てのブロックについて動き検出済みである場合には処理をステップＳＴ２０３に進める。動き検出を行っていないブロックが存在する場合には、ステップＳＴ２００に戻る。

ステップＳＴ２０３においては、動きベクトル計数手段１０２が、各グループのベクトル数Ｃ（ｎ）を動きベクトルの総数Ｔで除算し、グループｎに属する動きベクトル数の全体数に対する比率Ｒ（ｎ）を算出する。Ｒ（１）からＲ（Ｎ）までを算出するとステップＳＴ２０４に進む。

ステップＳＴ２０４において、探索範囲決定手段１０３により次のフレームの動き検出に用いる動き探索範囲が決定される。ここで探索範囲決定手段１０３は、動きベクトル計数手段１０２により計測された比率Ｒ（１）からＲ（Ｎ）に基づいて以下のように動き探索範囲を決定する。

２つの閾値Ｔ１、Ｔ２と、動きベクトルの大きさが最大であるグループにおける比率Ｒ（Ｎ）とを比較する。その結果、次のように動き探索範囲を決定する。
ａ．Ｒ（Ｎ）＜Ｔ１のとき、動き探索範囲を例えば所定サイズＳだけ狭くする。
ｂ．Ｒ（Ｎ）＞Ｔ２のとき、動き探索範囲を例えば所定サイズＳだけ広くする。
ｃ．上記ａおよびｂ以外のとき、動き探索範囲は変更しない。

ここで、閾値Ｔ１およびＴ２は、例えばＴ１＝０．０１、Ｔ２＝０．０５というように、予め定められた定数であってもよい。または、Ｔ１＝１／（１０×Ｎ）、Ｔ２＝１／（２×Ｎ）というように、グループ数Ｎの値に応じて変化する変数であってもよい。グループ数Ｎが大きいほど、あるグループに属する動きベクトル数が減りしきい値も小さい値にする必要があるからである。さらに動き探索範囲の決定の仕方としては、所定サイズＳと無関係に任意の値を設定してもよいし、任意の値ではなく狭い範囲・中程度の範囲・広い範囲などのように予め定められた動き探索範囲の選択肢の中から適した範囲を選択するようにしてもよい。

動きベクトルの大きさ分布が変化する様子を図３および図４を参照しつつ説明する。図３及び図４は、動きベクトルの水平成分の大きさが分布する様子を示す図である。

図３（Ａ）は、Ｒ（Ｎ）＜Ｔ１の場合を示している（Ｎ＝６）。Ｎ＝６におけるＲがＴ１よりも小さいことがわかる。このとき動き探索範囲を所定サイズＳだけ狭くしたときの分布は図３（Ｂ）のようになる。動き探索範囲を所定サイズＳだけ狭くするのでＮの値は例えば６から５となるが、図３（Ｂ）に示すように、各グループの割合は若干増えるものの、その量は微小であるため、全体的な予測効率にはあまり影響を及ぼさずに動き検出処理における演算量を減らすことができるという利点がある。

図４は、Ｒ（Ｎ）＞Ｔ２の場合を示している（Ｎ＝６）。Ｎ＝６におけるＲがＴ２よりも大きいことがわかる。このとき、動き探索範囲を所定サイズＳだけ広くしたときの分布は図４（Ｂ）のようになる。この場合には、動き探索範囲を所定サイズＳだけ広くするのでＮの値は６から７となる。図４（Ｂ）に示すように、動き探索範囲よりも大きいにもかかわらず、動き探索範囲のサイズによって制限されていたＲ（６）の動きベクトルが、本来の動きに合致した大きさを有するＲ（７）として検出される。従って、動画像のうち特に動きの大きいシーンの予測効率を向上することができるという利点がある。

探索範囲決定手段１０３は、このようにして決定した動き探索範囲を動きベクトル検出手段１０１に設定する。動きベクトル検出手段１０１は次のフレームを処理する際に、設定された動き探索範囲を使用する。

次に、本発明の第２の実施の形態による動き検出技術について説明する。本実施の形態による動き検出技術は、動き検索範囲を広くしたり狭くしたりする際の処理が、第１の実施の形態と異なる。

本実施の形態による動き検出技術においては、動き探索範囲を狭くする際には、以下のようにする。すなわち、Ｒ（Ｎ）＜Ｔ１のとき、さらに、Ｒ（Ｎ）＋Ｒ（Ｎ−１）とＴ１との大小を比較する。Ｒ（Ｎ）＋Ｒ（Ｎ−１）＜Ｔ１である場合には、さらにＲ（Ｎ）＋Ｒ（Ｎ−１）＋Ｒ（Ｎ−２）をＴ１と比較する。これらの処理を繰り返し実行し、Ｒ（Ｎ）からＲ（Ｎ−ｋ）までのｋ＋１グループの比率がＴ１以上となった場合に比較処理を終了し、動き探索範囲を所定サイズＳのｋ倍だけ狭くする。

動き探索範囲を広くする際には、以下のようにする。すなわちＲ（Ｎ）とＲ（Ｎ−１）との大小を比較する。一般に、動き探索範囲が十分に広い場合には、動きベクトル数の分布は図３（Ａ）に示したようになる。一方、動き探索範囲の広さが不十分な場合には、動きベクトル数の分布は図４（Ｂ）に示したようになる。図３（Ａ）と図４（Ｂ）とを比較すると、動き探索範囲が十分に広い場合にはＲ（Ｎ−１）＞Ｒ（Ｎ）の関係が成り立ち、動き探索範囲の広さが不十分な場合にはＲ（Ｎ−１）≦Ｒ（Ｎ）となっていることがわかる。このことから、Ｒ（Ｎ−１）とＲ（Ｎ）との大きさを比較し、Ｒ（Ｎ−１）≦Ｒ（Ｎ）である場合に動き探索範囲を広くするようにしても同様の効果が得られる。

次に、本発明の第３の実施の形態による動き検出技術について説明を行う。本発明の第１の実施の形態による動き検出技術は、処理単位毎に１本の動きベクトルを検出する処理を行うものである。これに対して、本実施の形態による動き検出技術においては、処理単位毎に複数本の動きベクトルを検出する処理を行うことを特徴とする。この場合には、複数本の動きベクトルのそれぞれについて分布を計測しても良いし、複数本の動きベクトルのうちの１本の動きベクトルのみを計測の対象としてもよい。本実施の形態による動き検出技術においては、処理単位毎に複数本の動きベクトルを検出する処理を行うため、動きベクトルの検出処理が簡単化されるという利点がある。

次に、本発明の第４の実施の形態による動き検出技術について説明を行う。上記の実施の形態では、正負の区別をなく動きベクトルの大きさのみを考慮していた。本実施の形態による動き検出技術においては、正と負とを区別して動きベクトルの向きを考慮し、正と負とで別々に動きベクトル数をカウントする処理を行う。例えば、水平方向の動き探索範囲が−９６〜＋９５画素の場合では、所定サイズＳを８の２倍の１６とするとＮは６の２倍の１２となる。このようにすると、動き探索範囲を変更する際に、上下左右のそれぞれの方向において、別々に広さを設定することが可能となる。動画像における動き（被写体の動きやカメラの動き）は、その動きが完結するまでは１つの方向性を持っている。例えばカメラがパンしている場合には、動画像全体が１つの動きを持っている。このような場合には、動画像の動きに応じて、動きのある方向の探索範囲を広くし、その反対方向の探索範囲を狭くすることで、より効率的に動き検出を行うことができる。したがって、動画像の動きに適応して探索範囲を設定することができ、フレーム間の予測効率をさらに向上することができる。

以上、本発明の実施形態について説明したが、本発明の動き検出装置および動き検出方法は、上記の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々の変更を加えうることは勿論である。

本発明の動き検出装置は、動画処理を行う画像処理回路又は画像処理装置に適用可能である。また、画像処理技術を用いた画像再生装置又は画像記録装置にも応用することができる。

本発明の実施の形態による動き検出装置の一構成例を示すブロック図である。本発明の実施の形態による動き検出装置における処理の流れを示すフローチャート図である。図３（Ａ）及び（Ｂ）は、動きベクトルの水平成分の大きさの分布を示す図である。図３（Ａ）はＲ（Ｎ）＜Ｔ１の場合を示している（Ｎ＝６）。図３（Ｂ）は、動き探索範囲を所定サイズＳだけ狭くしたときの分布を示す図である。図４（Ａ）は、Ｒ（Ｎ）＞Ｔ２の場合を示す図である（Ｎ＝６）。図４（Ｂ９は、動き探索範囲を所定サイズＳだけ広くしたときの分布を示す図である。図５（Ａ）、（Ｂ）は、一般的な動き検出処理の概要を示す図である。動きベクトル数の分布の例を示す図である。

符号の説明

１００…動き検出装置、１０１…動きベクトル検出手段、１０２…動きベクトル計数手段、１０３…探索範囲決定手段。

Claims

動画像のフレームを所定の処理単位に分割し、時間的に前又は後の少なくともいずれかのフレームからの動きを示す動きベクトルを前記処理単位毎に検出する動きベクトル検出手段と、
前記動きベクトルを、該動きベクトルの大きさを基準にＮ個（ここでＮは自然数である）のグループに分類し、分類された各グループの動きベクトルの数を数える動きベクトル計数手段と、
該動きベクトル計数手段により分類されたグループ毎の前記動きベクトル数の分布に応じて、前記動きベクトル検出手段における動き探索範囲を決定する探索範囲決定手段とを備え、
前記探索範囲決定手段は、前記Ｎ個のグループのそれぞれに含まれる動きベクトル数の分布に応じて、前記動き探索範囲を決定するものであって、
前記Ｎ個のグループのうち、動きベクトルの大きさが最大のグループのベクトル数が、動きベクトルの大きさが所定サイズだけ小さいグループのベクトル数よりも多い場合に、前記動き探索範囲を広くなる方向に変更することを特徴とする動き検出装置。
請求項１に記載の動き検出装置を備える画像処理装置。
動画像のフレームを所定の処理単位に分割し、時間的に前又は後の少なくともいずれかのフレームからの動きを示す動きベクトルを前記処理単位毎に検出する動きベクトル検出ステップと、前記動きベクトルを該動きベクトルの大きさを基準にＮ個（ここでＮは自然数である）のグループに分類し、分類された各グループの動きベクトルの数を数える動きベクトル計数ステップと、該動きベクトル計数ステップにより分類されたグループ毎の前記動きベクトル数の分布に応じて、前記動きベクトル検出ステップにおける動き探索範囲を決定する探索範囲決定ステップとを備え、
前記探索範囲決定ステップは、前記Ｎ個のグループのそれぞれに含まれる動きベクトル数の分布に応じて、前記動き探索範囲を決定するものであって、前記Ｎ個のグループのうち、動きベクトルの大きさが最大のグループのベクトル数が、動きベクトルの大きさが所定サイズだけ小さいグループのベクトル数よりも多い場合に、前記動き探索範囲を広くなる方向に変更することを特徴とする動き検出方法。