JP3941921B2 - 動画像符号化装置 - Google Patents
動画像符号化装置 Download PDFInfo
- Publication number
- JP3941921B2 JP3941921B2 JP2002017294A JP2002017294A JP3941921B2 JP 3941921 B2 JP3941921 B2 JP 3941921B2 JP 2002017294 A JP2002017294 A JP 2002017294A JP 2002017294 A JP2002017294 A JP 2002017294A JP 3941921 B2 JP3941921 B2 JP 3941921B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- vector
- motion vector
- distribution
- concentration range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は動画像符号化装置に関し、特に、フレーム間予測に動き補償予測を用いて、ディジタル化された画像データの符号化を行う画像符号化装置に関するものである。
【０００２】
【従来の技術】
図８は例えば特開平６−２９２２０３号公報に記載されている従来の動画像解析装置である。図において、５は過去に符号化した画像データを格納するフレームメモリ、６はフレームメモリ５から読み出した画像データの動き補償を行う動き補償部、１は動き補償部６で動き補償された画像データと新たに入力された次フレームの画像データとの差分を算出する減算器、２は減算器１の出力データを符号化する符号化部、３は符号化したデータを復号する局所復号部、４は復号したデータに動き補償部６で生成した画像データを加算してフレームメモリに格納する加算器、２１は動き補償部６で算出する動きベクトルを抽出する動きベクトル抽出手段、２２は抽出した動きベクトルの分布を計測する計測手段、２３は計測手段２２が計測した動きベクトルの分布を解析する動きベクトル解析手段である。
【０００３】
次に動作について説明する。フレームメモリ５には符号化部２および局所復号部３において過去に符号化および復号した画像データが格納されている。動き補償部６では、まず、フレームメモリ５に蓄積された画像データと装置外部から入力された次フレームの画像データとを比較し、両者の間の動きを動きベクトルとして算出する。動きベクトルは、例えば、この装置がＭＰＥＧ２の符号化方式に準拠したものである場合には、縦横１６画素のマクロブロックと呼ばれる単位で算出する。次に、算出した動きベクトルを用いてフレームメモリ５に蓄積された画像データを動き補償する。減算器１では、動き補償部６で動き補償された画像データと新たに入力された画像データとの差分を求める。符号化部２では、減算器１から出力される差分データを符号化する。局所復号部３では、符号化部２で符号化したデータを復号する。加算器４において、局所復号部３で復号した画像データと、減算器１で減算した動き補償された画像データを加算する。加算器４から出力される画像データをフレームメモリ５に格納する。動きベクトル抽出手段２１では、動き補償部６で算出した動きベクトル抽出する。計測手段２２では、抽出した動きベクトルの分布を計測する。動きベクトル解析手段２３では、計測手段２２で計測した動きベクトルの分布を解析して、動物体の存在、動物体の移動速度、動物体の個数、動物体の形状や大きさなどを計測する。
【０００４】
【発明が解決しようとする課題】
従来の動画像解析装置は、動画像符号化装置を含む構成になっているが、当該動画像符号化装置においては、下記のような問題点があった。
（１）動きベクトルの探索範囲をユーザの操作によって適当に絞っていたため、適切な範囲を設定することが出来ず、効率が悪いという問題点があった。
（２）動きベクトルの分布の偏りの有無に合わせて予測モードを切り換える等の工夫がなされていないため、効率が悪いという問題点があった。
（３）画像データにおける動きの速度に合わせて予測距離を切り換える等の工夫がなされていないため、効率が悪いという問題点があった。
【０００５】
従来の装置においては、上記の理由により、動画像符号化装置としての性能向上が図れず、ひいては、解析装置としても、解析の効率や解析結果の信頼性がひくくなってしまっていた。
【０００６】
この発明はかかる問題点を解決するためになされたものであり、動き補償処理の性能向上を実現し、高効率な動画像符号化装置を得ることを目的とする。
【０００７】
【課題を解決するための手段】
この発明は、動き補償手段により動きベクトルを算出し、この動きベクトルに基づいて符号化を行う動画像符号化装置であって、算出された上記動きベクトルを集計して、動きベクトルの分布を計測するベクトル分布計測手段と、上記ベクトル分布計測手段により計測された上記動きベクトルの分布に基づいて、上記分布中の動きベクトルが集中しているベクトル集中範囲を計測するベクトル集中範囲計測手段と、上記ベクトル集中範囲計測手段により計測された上記ベクトル集中範囲を用いて、上記動き補償手段による上記動きベクトルの探索範囲を制御する探索範囲制御手段と、上記動き補償手段とは別に、動きベクトルを算出して、上記ベクトル分布計測手段に出力する補助動き検出手段とを備え、上記動き補償手段が、上記探索範囲制御手段により制御された上記探索範囲内で上記動きの探索を行って、上記動きベクトルを算出し、上記補助動き検出手段が、動きベクトルの算出を行うフレームを制限して動きベクトルの算出を行い、上記ベクトル分布計測手段が、上記補助動き検出手段により動きベクトルの算出が行われたフレームについては、当該算出された動きベクトルによって動きベクトルの分布の計測を行うとともに、上記補助動き検出手段により動きベクトルの算出が行われないフレームについては、推定により動きベクトルの分布を生成する動画像符号化装置である。
【０００８】
また、この発明は、動き補償手段により動きベクトルを算出し、この動きベクトルに基づいて符号化を行う動画像符号化装置であって、算出された上記動きベクトルを集計して、動きベクトルの分布を計測するベクトル分布計測手段と、上記ベクトル分布計測手段により計測された上記動きベクトルの分布に基づいて、上記分布中の動きベクトルが集中しているベクトル集中範囲を計測するベクトル集中範囲計測手段と、上記ベクトル集中範囲計測手段により計測された上記ベクトル集中範囲を用いて、上記動き補償手段の予測モードの選択を制御する予測モード制御手段と、上記動き補償手段とは別に、動きベクトルを算出して、上記ベクトル分布計測手段に出力する補助動き検出手段とを備え、上記動き補償手段が、上記予測モード制御手段により制御されて選択された上記予測モードで、上記動きベクトルの算出と上記前フレームの動き補償を行い、上記補助動き検出手段が、動きベクトルの算出を行うフレームを制限して動きベクトルの算出を行い、上記ベクトル分布計測手段が、上記補助動き検出手段により動きベクトルの算出が行われたフレームについては、当該算出された動きベクトルによって動きベクトルの分布の計測を行うとともに、上記補助動き検出手段により動きベクトルの算出が行われないフレームについては、推定により動きベクトルの分布を生成する動画像符号化装置である。
【０００９】
また、この発明は、動き補償手段により動きベクトルを算出し、この動きベクトルに基づいて符号化を行う動画像符号化装置であって、算出された上記動きベクトルを集計して、動きベクトルの分布を計測するベクトル分布計測手段と、上記ベクトル分布計測手段により計測された上記動きベクトルの分布に基づいて、上記分布中の動きベクトルが集中しているベクトル集中範囲を計測するベクトル集中範囲計測手段と、計測された上記ベクトル集中範囲を用いて、上記動きベクトルの分布から動きベクトルの対象となる動きの速度を判定し、当該速度に基づいて上記動き補償手段により比較される上記前フレームと上記現フレームとの間の予測距離を制御する予測距離制御手段と、上記動き補償手段とは別に、動きベクトルを算出して、上記ベクトル分布計測手段に出力する補助動き検出手段とを備え、上記動き補償手段が、上記予測距離制御手段により制御された上記予測距離において、上記前フレームと上記現フレームの比較を行い、上記動きベクトルの算出と上記前フレームの動き補償を行い、上記補助動き検出手段が、動きベクトルの算出を行うフレームを制限して動きベクトルの算出を行い、上記ベクトル分布計測手段が、上記補助動き検出手段により動きベクトルの算出が行われたフレームについては、当該算出された動きベクトルによって動きベクトルの分布の計測を行うとともに、上記補助動き検出手段により動きベクトルの算出が行われないフレームについては、推定により動きベクトルの分布を生成する動画像符号化装置である。
【００１０】
また、この発明は、動き補償手段により動きベクトルを算出し、この動きベクトルに基づいて符号化を行う動画像符号化装置であって、算出された上記動きベクトルを集計して、動きベクトルの分布を計測するベクトル分布計測手段と、上記ベクトル分布計測手段により計測された上記動きベクトルの分布に基づいて、上記分布中の動きベクトルが集中しているベクトル集中範囲を計測するベクトル集中範囲計測手段と、上記動き補償手段とは別に、動きベクトルを算出して、上記ベクトル分布計測手段に出力する補助動き検出手段と、上記ベクトル集中範囲計測手段により計測された上記ベクトル集中範囲を用いて、上記動き補償手段による上記動きベクトルの探索範囲を制御する探索範囲制御手段と、上記ベクトル集中範囲計測手段により計測された上記ベクトル集中範囲を用いて、上記動き補償手段の予測モードの選択を制御する予測モード制御手段と、計測された上記ベクトル集中範囲を用いて、上記動きベクトルの分布から動きベクトルの対象となる動きの速度を判定し、当該速度に基づいて上記動き補償手段により比較される上記前フレームと上記現フレームとの間の予測距離を制御する予測距離制御手段とのうちの少なくとも１つを備え、上記補助動き検出手段が、動きベクトルの算出を行うフレームを制限して動きベクトルの算出を行い、上記ベクトル分布計測手段が、上記補助動き検出手段により動きベクトルの算出が行われたフレームについては、当該算出された動きベクトルによって動きベクトルの分布の計測を行うとともに、上記補助動き検出手段により動きベクトルの算出が行われないフレームについては、推定により動きベクトルの分布を生成する動画像符号化装置である。
【００１１】
また、上記ベクトル集中範囲計測手段が、動きベクトルの発生数に関する閾値を設定し、動きベクトルがその閾値以上発生している範囲を上記ベクトル集中範囲として計測する。
【００１２】
また、上記ベクトル集中範囲計測手段が、上記閾値を可変とする。
【００１３】
また、上記ベクトル分布計測手段が、上記補助動き検出手段により算出された上記動きベクトルを集計して、動きベクトルの分布を計測する。
【００１４】
また、上記補助動き検出手段が、上記動き補償手段の動きベクトル算出の処理と同一の処理により動きベクトルを算出する。
【００１６】
また、上記探索範囲制御手段が、レート歪特性に基づいて上記探索範囲を決定する。
【００１７】
また、上記ベクトル集中範囲計測手段が、上記動きベクトルの発生数に関する閾値を、レート歪特性に基づいて設定する。
【００１８】
また、上記探索範囲制御手段が、動きベクトルの符号長をＲ、符号化歪をＤ、変数をλとし、Ｄ＋λＲが最小となるように上記探索範囲を決定する。
【００１９】
【発明の実施の形態】
実施の形態１．
図１はこの発明の動画像符号化装置の実施の形態１を示すブロック図である。本実施の形態における動画像符号化装置は、例えば、カメラ等により撮像された動画像がＡ／Ｄ変換されて得られた画像データか、もしくは、ディジタルカメラにより撮像された画像データが外部から入力されて、１画像データと次に入力された画像データとの間のフレーム間予測に動き補償予測を用いて、当該画像データの符号化を行うためのものである。特に、伝送または磁気媒体への記録のために圧縮符号化を行うために有効である。
【００２０】
図１において、５は過去に符号化した画像データ（すなわち、前フレーム）を格納しているフレームメモリ、６はフレームメモリ５から読み出した前フレームの画像データと新たに入力された次フレームの画像データ（すなわち、現フレーム）とを比較して、前フレームの画像データの動き補償を行う動き補償部、７は動き補償された画像データを、新たに入力された次フレームの画像データの符号化に利用するか否かを選択するスイッチ、１は新たに入力された画像データとスイッチ７の出力データとの差分を算出する減算器、２は減算器１の出力データを直交変換および量子化してそれをスイッチ７の出力データと多重化し、動画像符号化データとして出力する符号化部、３は直交変換および量子化により符号化された動画像符号化データを復号する局所復号部、４は復号したデータにスイッチ７の出力データを加算してフレームメモリ５に格納する加算器である。１３は動き補償部６よりも早い段階で動き予測を実行する補助動き検出部、８は補助動き検出部１３で算出した動きベクトルを集計し、動きベクトルの分布を計測するベクトル分布計測手段、９はベクトル分布計測手段８で計測した分布中の動きベクトルが集中する範囲を計測するベクトル集中範囲計測手段、１０はベクトル集中範囲計測手段９で計測した動きベクトルの集中範囲を参照して動きベクトルの探索範囲を制御する探索範囲制御手段、１１は前記動きベクトルの集中範囲を参照して動き補償の予測モードを制御する予測モード制御手段、１２は前記動きベクトルの集中範囲を参照して動き補償の予測距離を制御する予測距離制御手段である。
【００２１】
次に動作について説明する。フレームメモリ５には符号化部２および局所復号部３において過去に符号化および復号した画像データを格納している。動き補償部６では、まず、フレームメモリ５に蓄積された１フレーム分の画像データと装置外部から入力された次フレームの画像データとを比較し、両者の間の動きを動きベクトルとして算出する。動きベクトルは、例えばこの装置がＭＰＥＧ２の符号化方式に準拠したものである場合には、縦横１６画素のマクロブロックと呼ばれる単位で算出する。ここでいう動き補償予測は、フレーム間で同一位置にある画素どうしを減算するという単純なフレーム間差分ではなく、被写体の動きを検出し、この動きに応じてフレーム間差分をとる画素を可変にできる方式である。簡単に説明すれば、入力された画像データを縦横１６画素のマクロブロックに分割し、１つのマクロブロックにつき、当該マクロブロックと最もよく一致するマクロブロックをフレームメモリ５内に蓄積されている前画像データからパターンマッチングにより選出し、当該マクロブロック間の移動距離を動きベクトルとして算出する。例えば、動きの全くないフレームが連続する場合には、動きベクトルは０となる。
【００２２】
次に、算出した動きベクトルを用いてフレームメモリ５に蓄積された画像データを動き補償する。スイッチ７では、次フレームの符号化に、動き補償部６で生成した動き補償された画像データを利用するか否かを選択する。当該選択は、あらかじめ用意された選択プログラムやユーザの指示によって行われるものとする。選択プログラムは、例えば、動き補償された画像データと次フレームとの一致の度合を基準に選択する。動き補償された画像データを利用する場合には、減算器１において入力画像データと動き補償された画像データの差分が求められ、その差分のみを符号化部２に対して出力する。動き補償された画像データを利用しない場合には、減算器１の出力は、外部から入力された画像データそのものになる。なお、ＭＰＥＧ２では、動き補償された画像データを利用するか否かをマクロブロック単位で選択できる。
【００２３】
符号化部２では、減算器１からの出力データを符号化する。局所復号部３では、符号化部２で符号化したデータを復号する。加算器４では、局所復号部３で復号した画像データとスイッチ７の出力データとを加算する。加算器４から出力される画像データをフレームメモリ５に格納する。
【００２４】
補助動き検出部１３では、動き補償部６よりも早い段階で動き予測をおこない、動きベクトルを算出する。補助動き検出部１３での動き予測の方法は動き補償部６と同等であることが望ましい。ベクトル分布計測手段８では、補助動き検出部１３で算出した動きベクトルをフレームやスライスなどの単位で集計し、動きベクトルの分布を計測する。ベクトル集中範囲計測手段９では、ベクトル分布計測手段８で計測したベクトル分布中でベクトルが集中する範囲を計測する。探索範囲制御手段１０では、計測したベクトル集中範囲を参照して動き補償部６での動きベクトルの探索範囲を制御する。予測モード制御手段１１では、計測したベクトル集中範囲を参照して動き補償部６での予測モードを制御する。なお、予測モードにてついては後述する。予測距離制御手段１２では、計測したベクトル集中範囲を参照して動き補償部６での予測距離を制御する。
【００２５】
図２に、前記ベクトル分布計測手段８で計測する動きベクトルの分布の例１を示す。グラフの横軸はベクトル長であり、縦軸はベクトル長ごとのベクトル数である。この例では、動きベクトルの水平方向の成分（図２（ａ））と垂直方向の成分（図２（ｂ））を個別に分布を求めているが、分布を求める方法はこの限りではない。図２について説明すれば、動きベクトル（ｘ，ｙ）の水平方向への変位ｘと垂直方向の変位ｙが所定のしきい値よりも大きい動きベクトルの発生頻度を計測して、水平方向と垂直方向とを別個に、２次元のヒストグラムに示したものである。このような動きベクトルが発生していれば、動物体が存在すると判定する。図３に、ベクトル分布計測手段８で計測する動きベクトルの分布の例２を示す。この例では２次元空間における分布を計測している。すなわち、動きベクトル（ｘ，ｙ）の水平方向への変位ｘと垂直方向の変位ｙが所定のしきい値よりも大きい動きベクトルの発生頻度を計測して３次元のヒストグラムに示したものである。ベクトル分布計測手段８の出力は、図２または図３に示した形式でなくても、ベクトル長とベクトル長ごとのベクトル数の関係が分かるようなものであればよい。
【００２６】
図２および図３の例を参照すれば、動きベクトルが最も集中している範囲は、水平成分および垂直成分のベクトル長がともに０以上１６未満の範囲であり、次が、水平成分が０以上１６未満、垂直成分が１６以上３２未満の範囲で、次が、水平成分が１６以上３２未満、垂直成分が０以上１６未満の範囲となっている。なお、図２および図３の動きベクトルの分布において、ベクトル長を０以上１６未満、１６以上３２未満、３２以上６４未満、６４以上１２８未満、１２８以上２５６未満の５つの区間に分割して分布を求めている。この区間分けはＭＰＥＧ２に規定された動きベクトルの範囲に沿ったものであるが、必ずしもこのとおりである必要はない。
【００２７】
前記探索範囲制御手段１０では、動きベクトルの分布を参照して、動きベクトルの発生頻度の高い所を選び出して、動き補償部６における動きベクトルの探索範囲を制御する。符号化方式がＭＰＥＧ２の場合には、動きベクトルの探索範囲の上限を小さくすることで動きベクトルの符号長を短くすることができるため、動きベクトルの分布に応じて、必要最小限の探索範囲となるように制御することで予測効率を上げることができる。
【００２８】
また、動き補償部６における動き探索に、ブロックマッチングなどの方法を採用している場合には、実際の動きに一致しない乱雑な動きベクトルが算出されることがあるが、前記探索範囲制御手段１０によって動きベクトルが集中する領域が探索範囲となるように制御することで、ベクトルの乱雑性を抑制し、予測効率を上げることができる。
【００２９】
前記予測モード制御手段１１では、動きベクトルの分布を参照して動き補償部６における予測モードを制御する。動き予測の効果が高いシーンでは、実際の画像の動きにあわせて動きベクトルの分布に偏りが生じる傾向があるが、動き予測が困難なシーンでは、方向や長さがランダムな動きベクトル発生し、動きベクトルの分布に偏りが見られなくなる。このようなシーンでは、符号長がなるべく短くなるような予測モードを選択する（すなわち、予測モードの選択候補が複数あるなかで、相対的に符号長が短くなるほうを選択する。）ことで符号化効率を上げることができる。予測モード制御手段１１で制御する予測モードは、予測方向や予測方法などである。この予測モードは、予め複数種類を用意しておき、その中から１つを選択する。符号化方式がＭＰＥＧ２の場合、フィールドベクトルよりもフレームベクトルのほうが符号長が短く、また、両方向予測よりも片方向予測のほうが符号長が短くなる傾向がある。
【００３０】
前記予測距離制御手段１２では、動きベクトルの分布を参照して、動きベクトルの対象となる動きの速度を判定し、当該速度に基づいて、動き補償部６における予測距離を制御する。例えば動きベクトルの分布が長いベクトル長の区間に偏っている場合に、符号化対象のシーンは動きの速いシーンであると判断することができる。このようなシーンでは、符号化画像と予測参照画像との予測距離を縮めることで符号化効率を上げることができる。符号化方式がＭＰＥＧ２の場合には、Ｐピクチャの挿入間隔を狭くすることで予測距離を短くすることができる。
【００３１】
図４に、前記ベクトル集中範囲計測手段９において動きベクトルの集中範囲を特定するための処理の流れの例を示す。ステップＳ１において変数Ｌ、Ｈ、θの初期化を行う。Ｌは求める範囲の下限を表す変数、Ｈは求める範囲の上限を表す変数である。ステップＳ１の時点では、変数Ｌ、Ｈには、例えば、ベクトル分布中の最もベクトル数が多い区間を設定しておく。また、θは求める範囲に含まれるべき最低限のベクトル数を指定する閾値である。θにはベクトル分布中のベクトル総数以下の適切な値を設定する。フレームやスライスに含まれる動きベクトル数は符号化のピクチャタイプなどによって変化するため、閾値θはフレームごとあるいはスライスごとに適宜を変更することが望ましい。
【００３２】
次に、ステップＳ２においてベクトル長の範囲が［Ｌ：Ｈ］であるベクトル数Ｎを求める。ステップＳ３においてＮとθの大小を比較する。ステップＳ３の判定条件Ｎ≧θが成り立たない場合には、ステップＳ４においてＬの値を減少させるか、または、Ｈの値を増加させて、処理ステップＳ２に戻る。判定条件が成り立つ場合には、ステップＳ５において、範囲［Ｌ：Ｈ］をベクトル集中範囲として出力する。
【００３３】
図４に示した方法では、前記閾値θの値によって求められるベクトル集中範囲が変化する。θの値が大きい場合には求められるベクトル集中範囲が広くなるため、前記探索範囲を抑えることができない。θの値が小さい場合には求められる探索範囲を狭く抑えることができるが、必要以上に狭くなると動き予測の性能に悪影響を及ぼす。
【００３４】
探索範囲制御手段１０が、探索範囲を決定する方法として、例えばレート歪特性を用いて決定すれば、符号長が短くなり、かつ符号化歪が小さくなる最適化な探索範囲を決定することが可能である。また、ベクトル集中範囲計測手段９が、動きベクトルの発生数に関する閾値をレート歪特性を用いて設定するようにすれば、符号化効率の良いベクトル集中範囲を設定することができる。
【００３５】
図５に、上記閾値θを、ベクトル総数のＲ１％、Ｒ２％、Ｒ３％の値にそれぞれ設定して、探索範囲の制御をおこなったときのレート歪特性のグラフを示す。図５において、５０，５１，５２が、それぞれ、Ｒ１％、Ｒ２％、Ｒ３％に対応している。この例ではθにベクトル総数のＲ２％の値を設定したとき（図５の符号５１）に、ビットレート、すなわち、単位時間あたりに発生した符号長に対する符号化歪が最小になっており、最も高い符号化効率を期待できる。通常、符号長をＲとし、符号化歪をＤとし、符号化後に測定したＤ＋λＲ（λは変数）の値が最小となるθを選択することで、符号化効率が高い探索範囲を決定することができる。
【００３６】
なお、ベクトル集中範囲を求める方法は図４に示した方法に限定する必要はない。例えばベクトル発生分布図のうち、ベクトル数が多い区間から優先的にベクトル集中範囲に加えていくような方法を用いてもよい。
【００３７】
以上のように、本実施の形態に係る動画像符号化装置によれば、動き補償処理の性能を向上させるために、動きベクトルの分布から動きベクトルが集中するベクトル長の範囲を計測するベクトル集中範囲計測手段９と、その計測結果を用いて動きベクトルの探索範囲を制御する探索範囲制御手段１０とを備えるので、符号長の削減や動きベクトルの乱雑性の抑制が可能となり、高い符号化効率を実現でき、高性能な動画像符号化装置を得ることができる。
【００３８】
また、動きベクトルの分布からベクトルが集中するベクトル長の範囲を計測するベクトル集中範囲計測手段９と、その計測結果を用いて予測モードを制御する予測モード制御手段１１とを備えるので、動きベクトルの乱雑性等を抑制し、高い符号化効率および高性能を実現することができる。
【００３９】
また、動きベクトルの分布からベクトルが集中するベクトル長の範囲を計測するベクトル集中範囲計測手段９と、その計測結果を用いて予測距離を制御する予測距離制御手段１２とを備えるので、高効率および高性能な動き予測を実現できる。
【００４０】
なお、上記の説明においては、探索範囲制御手段１０、予測モード制御手段１１および予測距離制御手段１２を全て設ける場合について説明したが、その場合に限らず、これらのうち少なくとも１つ設けるようにしてもよく、その場合においても、動き補償処理の性能向上を実現し、高効率な符号化を行うことができる。
【００４１】
また、前記ベクトル集中範囲計測手段９において、ベクトル数の閾値を設定し、その閾値以上のベクトル数を含むようなベクトル長の範囲を計測するので、簡単な方法でベクトル集中範囲を特定することができる。
【００４２】
また、前記ベクトル集中範囲計測手段９において、前記閾値を可変としているので、適切なベクトル集中範囲を特定することができる。
【００４３】
また、前記動きのベクトル分布を得るために、動き補償部６とは別に動き検出を行う補助動き検出手段１３を備えているので、動きベクトルの分布を容易に計測することができる。
【００４４】
また、前記補助動き検出手段１３における動き検出に、動き補償における動き検出と同等の方法を用いるので、信頼性の高い動きベクトルの分布を計測することができる。
【００４５】
また、前記探索範囲制御手段１０において、レート歪特性を用いて探索範囲を切り替えるこので、符号化効率の良い探索範囲を設定することができる。
【００４６】
また、前記ベクトル集中範囲計測手段９において、前記ベクトル数の閾値をレート歪特性を用いて設定するので、符号化効率の良いベクトル集中範囲を設定することができる。
【００４７】
また、符号長をR、符号化歪をD、変数をλとし、D+λRが最小となるように探索範囲を決定するので、符号化効率の良い探索範囲を設定することができる。
【００４８】
実施の形態２．
図６はこの発明の動画像符号化装置の実施の形態２を示すブロック図である。本実施の形態は、図６に示すように、図１に示した実施の形態１の動画像符号化装置から補助動き検出部１３を削除した構成になっている。実施の形態１における補助動き検出部１３の動作は動き補償部６が代行する。ベクトル分布計測手段８は動き補償部６で算出した動きベクトルの分布を計測する。
【００４９】
本実施の形態の場合、動き補償部６では補助動き検出部１３の代行処理のために、処理の負荷が増大する。ただし、補助動き検出部１３の代行処理は全てのフレームで実行する必要はなく、代行処理の実行するフレームを制限してもよい。代行処理を実行しないフレームの動きベクトルの分布は、代行処理を実行したフレームの動きベクトルの分布から推定することが可能である。例えば、図７に示したように動き予測がおこなわれる場合、フレーム＃２の前方向および後方向の動きベクトルのベクトル長は、フレーム＃３の動きベクトルの約１／２であると予想できる。したがって、フレーム＃３の動きベクトルの分布からフレーム＃２の動きベクトルの分布は容易に推定できる。このように代行処理を実行するフレームを制限し、推定によって求めたベクトル分布を扱うことで処理の負荷を削減できる。
【００５０】
以上のように、本実施の形態においても、上述の実施の形態１と同様の効果を得ることができる。さらに、本実施の形態においては、実施の形態１で示した補助動き検出部１３の処理を動き補償部６で代行することにしたため、装置の構成を容易にすることができる。また、動き補償部６が代行することにより処理の負荷が増大してしまうことを避けるために、代行処理を実行するフレームを制限し、推定によって求めたベクトル分布を扱うことで、処理の負荷を削減することができる。
【００５１】
【発明の効果】
この発明は、動き補償手段により動きベクトルを算出し、この動きベクトルに基づいて符号化を行う動画像符号化装置であって、算出された上記動きベクトルを集計して、動きベクトルの分布を計測するベクトル分布計測手段と、上記ベクトル分布計測手段により計測された上記動きベクトルの分布に基づいて、上記分布中の動きベクトルが集中しているベクトル集中範囲を計測するベクトル集中範囲計測手段と、上記ベクトル集中範囲計測手段により計測された上記ベクトル集中範囲を用いて、上記動き補償手段による上記動きベクトルの探索範囲を制御する探索範囲制御手段と、上記動き補償手段とは別に、動きベクトルを算出して、上記ベクトル分布計測手段に出力する補助動き検出手段とを備え、上記動き補償手段が、上記探索範囲制御手段により制御された上記探索範囲内で上記動きの探索を行って、上記動きベクトルを算出し、上記補助動き検出手段が、動きベクトルの算出を行うフレームを制限して動きベクトルの算出を行い、上記ベクトル分布計測手段が、上記補助動き検出手段により動きベクトルの算出が行われたフレームについては、当該算出された動きベクトルによって動きベクトルの分布の計測を行うとともに、上記補助動き検出手段により動きベクトルの算出が行われないフレームについては、推定により動きベクトルの分布を生成する動画像符号化装置であるので、符号長の削減や動きベクトルの乱雑性の抑制が可能となり、符号化高い符号化効率をすることが実現できる。
【００５２】
また、この発明は、動き補償手段により動きベクトルを算出し、この動きベクトルに基づいて符号化を行う動画像符号化装置であって、算出された上記動きベクトルを集計して、動きベクトルの分布を計測するベクトル分布計測手段と、上記ベクトル分布計測手段により計測された上記動きベクトルの分布に基づいて、上記分布中の動きベクトルが集中しているベクトル集中範囲を計測するベクトル集中範囲計測手段と、上記ベクトル集中範囲計測手段により計測された上記ベクトル集中範囲を用いて、上記動き補償手段の予測モードの選択を制御する予測モード制御手段と、上記動き補償手段とは別に、動きベクトルを算出して、上記ベクトル分布計測手段に出力する補助動き検出手段とを備え、上記動き補償手段が、上記予測モード制御手段により制御されて選択された上記予測モードで、上記動きベクトルの算出と上記前フレームの動き補償を行い、上記補助動き検出手段が、動きベクトルの算出を行うフレームを制限して動きベクトルの算出を行い、上記ベクトル分布計測手段が、上記補助動き検出手段により動きベクトルの算出が行われたフレームについては、当該算出された動きベクトルによって動きベクトルの分布の計測を行うとともに、上記補助動き検出手段により動きベクトルの算出が行われないフレームについては、推定により動きベクトルの分布を生成する動画像符号化装置であるので、動きベクトルの乱雑性等を抑制し、高い符号化効率を実現することができる。
【００５３】
また、この発明は、動き補償手段により動きベクトルを算出し、この動きベクトルに基づいて符号化を行う動画像符号化装置であって、算出された上記動きベクトルを集計して、動きベクトルの分布を計測するベクトル分布計測手段と、上記ベクトル分布計測手段により計測された上記動きベクトルの分布に基づいて、上記分布中の動きベクトルが集中しているベクトル集中範囲を計測するベクトル集中範囲計測手段と、計測された上記ベクトル集中範囲を用いて、上記動きベクトルの分布から動きベクトルの対象となる動きの速度を判定し、当該速度に基づいて上記動き補償手段により比較される上記前フレームと上記現フレームとの間の予測距離を制御する予測距離制御手段と、上記動き補償手段とは別に、動きベクトルを算出して、上記ベクトル分布計測手段に出力する補助動き検出手段とを備え、上記動き補償手段が、上記予測距離制御手段により制御された上記予測距離において、上記前フレームと上記現フレームの比較を行い、上記動きベクトルの算出と上記前フレームの動き補償を行い、上記補助動き検出手段が、動きベクトルの算出を行うフレームを制限して動きベクトルの算出を行い、上記ベクトル分布計測手段が、上記補助動き検出手段により動きベクトルの算出が行われたフレームについては、当該算出された動きベクトルによって動きベクトルの分布の計測を行うとともに、上記補助動き検出手段により動きベクトルの算出が行われないフレームについては、推定により動きベクトルの分布を生成する動画像符号化装置であるので、効率の良い動き予測を実現できる。
【００５４】
また、この発明は、動き補償手段により動きベクトルを算出し、この動きベクトルに基づいて符号化を行う動画像符号化装置であって、算出された上記動きベクトルを集計して、動きベクトルの分布を計測するベクトル分布計測手段と、上記ベクトル分布計測手段により計測された上記動きベクトルの分布に基づいて、上記分布中の動きベクトルが集中しているベクトル集中範囲を計測するベクトル集中範囲計測手段と、上記動き補償手段とは別に、動きベクトルを算出して、上記ベクトル分布計測手段に出力する補助動き検出手段と、上記ベクトル集中範囲計測手段により計測された上記ベクトル集中範囲を用いて、上記動き補償手段による上記動きベクトルの探索範囲を制御する探索範囲制御手段と、上記ベクトル集中範囲計測手段により計測された上記ベクトル集中範囲を用いて、上記動き補償手段の予測モードの選択を制御する予測モード制御手段と、計測された上記ベクトル集中範囲を用いて、上記動きベクトルの分布から動きベクトルの対象となる動きの速度を判定し、当該速度に基づいて上記動き補償手段により比較される上記前フレームと上記現フレームとの間の予測距離を制御する予測距離制御手段とのうちの少なくとも１つを備え、上記補助動き検出手段が、動きベクトルの算出を行うフレームを制限して動きベクトルの算出を行い、上記ベクトル分布計測手段が、上記補助動き検出手段により動きベクトルの算出が行われたフレームについては、当該算出された動きベクトルによって動きベクトルの分布の計測を行うとともに、上記補助動き検出手段により動きベクトルの算出が行われないフレームについては、推定により動きベクトルの分布を生成する動画像符号化装置であるので、高い符号化効率が実現できる。
【００５５】
また、上記ベクトル集中範囲計測手段が、動きベクトルの発生数に関する閾値を設定し、動きベクトルがその閾値以上発生している範囲を上記ベクトル集中範囲として計測するので、簡単な方法でベクトル集中範囲を特定することができる。
【００５６】
また、上記ベクトル集中範囲計測手段が、上記閾値を可変とするので、適切なベクトル集中範囲を特定することができる。
【００５７】
また、上記ベクトル分布計測手段が、上記補助動き検出手段により算出された上記動きベクトルを集計して、動きベクトルの分布を計測するので、動きベクトルの分布を容易に計測することができる。
【００５８】
また、上記補助動き検出手段が、上記動き補償手段の動きベクトル算出の処理と同一の処理により動きベクトルを算出するので、信頼性の高い動きベクトルの分布を計測することができる。
【００６０】
また、上記探索範囲制御手段が、レート歪特性に基づいて上記探索範囲を決定するので、符号化効率の良い探索範囲を設定することができる。
【００６１】
また、上記ベクトル集中範囲計測手段が、上記動きベクトルの発生数に関する閾値を、レート歪特性に基づいて設定するので、符号化効率の良い探索範囲を設定することができる。
【００６２】
また、上記探索範囲制御手段が、動きベクトルの符号長をＲ、符号化歪をＤ、変数をλとし、Ｄ＋λＲが最小となるように上記探索範囲を決定するので、符号化効率の良い探索範囲を設定することができる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１に係る動画像符号化装置の構成を示すブロック図である。
【図２】 本発明の実施の形態１に係る動画像符号化装置に設けられたベクトル分布計測手段で計測する動きベクトルの分布の一例を示した説明図である。
【図３】 本発明の実施の形態１に係る動画像符号化装置に設けられたベクトル分布計測手段で計測する動きベクトルの分布の他の例を示した説明図である。
【図４】 本発明の実施の形態１に係る動画像符号化装置に設けられたベクトル集中範囲計測手段における動きベクトルの集中範囲を特定するための処理の流れを示した流れ図である。
【図５】 本発明の実施の形態１に係る動画像符号化装置に設けられたベクトル集中範囲計測手段における各閾値でのレート歪特性を示した説明図である。
【図６】 本発明の実施の形態２に係る動画像符号化装置の構成を示すブロック図である。
【図７】 本発明の実施の形態２に係る動画像符号化装置において、動き予測がおこなわれる例を示した説明図である。
【図８】 従来の画像解析装置の構成を示すブロック図である。
【符号の説明】
１ 減算器、２ 符号化部、３ 局所復号部、４ 加算器、５ フレームメモリ、６ 動き補償部、７ スイッチ、８ ベクトル分布計測手段、９ ベクトル集中範囲計測手段、１０ 探索範囲制御手段、１１ 予測モード制御手段、１２ 予測距離制御手段、１３ 補助動き検出部、２１ 動きベクトル抽出手段、２２
計測手段、２３ 動きベクトル解析手段。
【発明の属する技術分野】
この発明は動画像符号化装置に関し、特に、フレーム間予測に動き補償予測を用いて、ディジタル化された画像データの符号化を行う画像符号化装置に関するものである。
【０００２】
【従来の技術】
図８は例えば特開平６−２９２２０３号公報に記載されている従来の動画像解析装置である。図において、５は過去に符号化した画像データを格納するフレームメモリ、６はフレームメモリ５から読み出した画像データの動き補償を行う動き補償部、１は動き補償部６で動き補償された画像データと新たに入力された次フレームの画像データとの差分を算出する減算器、２は減算器１の出力データを符号化する符号化部、３は符号化したデータを復号する局所復号部、４は復号したデータに動き補償部６で生成した画像データを加算してフレームメモリに格納する加算器、２１は動き補償部６で算出する動きベクトルを抽出する動きベクトル抽出手段、２２は抽出した動きベクトルの分布を計測する計測手段、２３は計測手段２２が計測した動きベクトルの分布を解析する動きベクトル解析手段である。
【０００３】
次に動作について説明する。フレームメモリ５には符号化部２および局所復号部３において過去に符号化および復号した画像データが格納されている。動き補償部６では、まず、フレームメモリ５に蓄積された画像データと装置外部から入力された次フレームの画像データとを比較し、両者の間の動きを動きベクトルとして算出する。動きベクトルは、例えば、この装置がＭＰＥＧ２の符号化方式に準拠したものである場合には、縦横１６画素のマクロブロックと呼ばれる単位で算出する。次に、算出した動きベクトルを用いてフレームメモリ５に蓄積された画像データを動き補償する。減算器１では、動き補償部６で動き補償された画像データと新たに入力された画像データとの差分を求める。符号化部２では、減算器１から出力される差分データを符号化する。局所復号部３では、符号化部２で符号化したデータを復号する。加算器４において、局所復号部３で復号した画像データと、減算器１で減算した動き補償された画像データを加算する。加算器４から出力される画像データをフレームメモリ５に格納する。動きベクトル抽出手段２１では、動き補償部６で算出した動きベクトル抽出する。計測手段２２では、抽出した動きベクトルの分布を計測する。動きベクトル解析手段２３では、計測手段２２で計測した動きベクトルの分布を解析して、動物体の存在、動物体の移動速度、動物体の個数、動物体の形状や大きさなどを計測する。
【０００４】
【発明が解決しようとする課題】
従来の動画像解析装置は、動画像符号化装置を含む構成になっているが、当該動画像符号化装置においては、下記のような問題点があった。
（１）動きベクトルの探索範囲をユーザの操作によって適当に絞っていたため、適切な範囲を設定することが出来ず、効率が悪いという問題点があった。
（２）動きベクトルの分布の偏りの有無に合わせて予測モードを切り換える等の工夫がなされていないため、効率が悪いという問題点があった。
（３）画像データにおける動きの速度に合わせて予測距離を切り換える等の工夫がなされていないため、効率が悪いという問題点があった。
【０００５】
従来の装置においては、上記の理由により、動画像符号化装置としての性能向上が図れず、ひいては、解析装置としても、解析の効率や解析結果の信頼性がひくくなってしまっていた。
【０００６】
この発明はかかる問題点を解決するためになされたものであり、動き補償処理の性能向上を実現し、高効率な動画像符号化装置を得ることを目的とする。
【０００７】
【課題を解決するための手段】
この発明は、動き補償手段により動きベクトルを算出し、この動きベクトルに基づいて符号化を行う動画像符号化装置であって、算出された上記動きベクトルを集計して、動きベクトルの分布を計測するベクトル分布計測手段と、上記ベクトル分布計測手段により計測された上記動きベクトルの分布に基づいて、上記分布中の動きベクトルが集中しているベクトル集中範囲を計測するベクトル集中範囲計測手段と、上記ベクトル集中範囲計測手段により計測された上記ベクトル集中範囲を用いて、上記動き補償手段による上記動きベクトルの探索範囲を制御する探索範囲制御手段と、上記動き補償手段とは別に、動きベクトルを算出して、上記ベクトル分布計測手段に出力する補助動き検出手段とを備え、上記動き補償手段が、上記探索範囲制御手段により制御された上記探索範囲内で上記動きの探索を行って、上記動きベクトルを算出し、上記補助動き検出手段が、動きベクトルの算出を行うフレームを制限して動きベクトルの算出を行い、上記ベクトル分布計測手段が、上記補助動き検出手段により動きベクトルの算出が行われたフレームについては、当該算出された動きベクトルによって動きベクトルの分布の計測を行うとともに、上記補助動き検出手段により動きベクトルの算出が行われないフレームについては、推定により動きベクトルの分布を生成する動画像符号化装置である。
【０００８】
また、この発明は、動き補償手段により動きベクトルを算出し、この動きベクトルに基づいて符号化を行う動画像符号化装置であって、算出された上記動きベクトルを集計して、動きベクトルの分布を計測するベクトル分布計測手段と、上記ベクトル分布計測手段により計測された上記動きベクトルの分布に基づいて、上記分布中の動きベクトルが集中しているベクトル集中範囲を計測するベクトル集中範囲計測手段と、上記ベクトル集中範囲計測手段により計測された上記ベクトル集中範囲を用いて、上記動き補償手段の予測モードの選択を制御する予測モード制御手段と、上記動き補償手段とは別に、動きベクトルを算出して、上記ベクトル分布計測手段に出力する補助動き検出手段とを備え、上記動き補償手段が、上記予測モード制御手段により制御されて選択された上記予測モードで、上記動きベクトルの算出と上記前フレームの動き補償を行い、上記補助動き検出手段が、動きベクトルの算出を行うフレームを制限して動きベクトルの算出を行い、上記ベクトル分布計測手段が、上記補助動き検出手段により動きベクトルの算出が行われたフレームについては、当該算出された動きベクトルによって動きベクトルの分布の計測を行うとともに、上記補助動き検出手段により動きベクトルの算出が行われないフレームについては、推定により動きベクトルの分布を生成する動画像符号化装置である。
【０００９】
また、この発明は、動き補償手段により動きベクトルを算出し、この動きベクトルに基づいて符号化を行う動画像符号化装置であって、算出された上記動きベクトルを集計して、動きベクトルの分布を計測するベクトル分布計測手段と、上記ベクトル分布計測手段により計測された上記動きベクトルの分布に基づいて、上記分布中の動きベクトルが集中しているベクトル集中範囲を計測するベクトル集中範囲計測手段と、計測された上記ベクトル集中範囲を用いて、上記動きベクトルの分布から動きベクトルの対象となる動きの速度を判定し、当該速度に基づいて上記動き補償手段により比較される上記前フレームと上記現フレームとの間の予測距離を制御する予測距離制御手段と、上記動き補償手段とは別に、動きベクトルを算出して、上記ベクトル分布計測手段に出力する補助動き検出手段とを備え、上記動き補償手段が、上記予測距離制御手段により制御された上記予測距離において、上記前フレームと上記現フレームの比較を行い、上記動きベクトルの算出と上記前フレームの動き補償を行い、上記補助動き検出手段が、動きベクトルの算出を行うフレームを制限して動きベクトルの算出を行い、上記ベクトル分布計測手段が、上記補助動き検出手段により動きベクトルの算出が行われたフレームについては、当該算出された動きベクトルによって動きベクトルの分布の計測を行うとともに、上記補助動き検出手段により動きベクトルの算出が行われないフレームについては、推定により動きベクトルの分布を生成する動画像符号化装置である。
【００１０】
また、この発明は、動き補償手段により動きベクトルを算出し、この動きベクトルに基づいて符号化を行う動画像符号化装置であって、算出された上記動きベクトルを集計して、動きベクトルの分布を計測するベクトル分布計測手段と、上記ベクトル分布計測手段により計測された上記動きベクトルの分布に基づいて、上記分布中の動きベクトルが集中しているベクトル集中範囲を計測するベクトル集中範囲計測手段と、上記動き補償手段とは別に、動きベクトルを算出して、上記ベクトル分布計測手段に出力する補助動き検出手段と、上記ベクトル集中範囲計測手段により計測された上記ベクトル集中範囲を用いて、上記動き補償手段による上記動きベクトルの探索範囲を制御する探索範囲制御手段と、上記ベクトル集中範囲計測手段により計測された上記ベクトル集中範囲を用いて、上記動き補償手段の予測モードの選択を制御する予測モード制御手段と、計測された上記ベクトル集中範囲を用いて、上記動きベクトルの分布から動きベクトルの対象となる動きの速度を判定し、当該速度に基づいて上記動き補償手段により比較される上記前フレームと上記現フレームとの間の予測距離を制御する予測距離制御手段とのうちの少なくとも１つを備え、上記補助動き検出手段が、動きベクトルの算出を行うフレームを制限して動きベクトルの算出を行い、上記ベクトル分布計測手段が、上記補助動き検出手段により動きベクトルの算出が行われたフレームについては、当該算出された動きベクトルによって動きベクトルの分布の計測を行うとともに、上記補助動き検出手段により動きベクトルの算出が行われないフレームについては、推定により動きベクトルの分布を生成する動画像符号化装置である。
【００１１】
また、上記ベクトル集中範囲計測手段が、動きベクトルの発生数に関する閾値を設定し、動きベクトルがその閾値以上発生している範囲を上記ベクトル集中範囲として計測する。
【００１２】
また、上記ベクトル集中範囲計測手段が、上記閾値を可変とする。
【００１３】
また、上記ベクトル分布計測手段が、上記補助動き検出手段により算出された上記動きベクトルを集計して、動きベクトルの分布を計測する。
【００１４】
また、上記補助動き検出手段が、上記動き補償手段の動きベクトル算出の処理と同一の処理により動きベクトルを算出する。
【００１６】
また、上記探索範囲制御手段が、レート歪特性に基づいて上記探索範囲を決定する。
【００１７】
また、上記ベクトル集中範囲計測手段が、上記動きベクトルの発生数に関する閾値を、レート歪特性に基づいて設定する。
【００１８】
また、上記探索範囲制御手段が、動きベクトルの符号長をＲ、符号化歪をＤ、変数をλとし、Ｄ＋λＲが最小となるように上記探索範囲を決定する。
【００１９】
【発明の実施の形態】
実施の形態１．
図１はこの発明の動画像符号化装置の実施の形態１を示すブロック図である。本実施の形態における動画像符号化装置は、例えば、カメラ等により撮像された動画像がＡ／Ｄ変換されて得られた画像データか、もしくは、ディジタルカメラにより撮像された画像データが外部から入力されて、１画像データと次に入力された画像データとの間のフレーム間予測に動き補償予測を用いて、当該画像データの符号化を行うためのものである。特に、伝送または磁気媒体への記録のために圧縮符号化を行うために有効である。
【００２０】
図１において、５は過去に符号化した画像データ（すなわち、前フレーム）を格納しているフレームメモリ、６はフレームメモリ５から読み出した前フレームの画像データと新たに入力された次フレームの画像データ（すなわち、現フレーム）とを比較して、前フレームの画像データの動き補償を行う動き補償部、７は動き補償された画像データを、新たに入力された次フレームの画像データの符号化に利用するか否かを選択するスイッチ、１は新たに入力された画像データとスイッチ７の出力データとの差分を算出する減算器、２は減算器１の出力データを直交変換および量子化してそれをスイッチ７の出力データと多重化し、動画像符号化データとして出力する符号化部、３は直交変換および量子化により符号化された動画像符号化データを復号する局所復号部、４は復号したデータにスイッチ７の出力データを加算してフレームメモリ５に格納する加算器である。１３は動き補償部６よりも早い段階で動き予測を実行する補助動き検出部、８は補助動き検出部１３で算出した動きベクトルを集計し、動きベクトルの分布を計測するベクトル分布計測手段、９はベクトル分布計測手段８で計測した分布中の動きベクトルが集中する範囲を計測するベクトル集中範囲計測手段、１０はベクトル集中範囲計測手段９で計測した動きベクトルの集中範囲を参照して動きベクトルの探索範囲を制御する探索範囲制御手段、１１は前記動きベクトルの集中範囲を参照して動き補償の予測モードを制御する予測モード制御手段、１２は前記動きベクトルの集中範囲を参照して動き補償の予測距離を制御する予測距離制御手段である。
【００２１】
次に動作について説明する。フレームメモリ５には符号化部２および局所復号部３において過去に符号化および復号した画像データを格納している。動き補償部６では、まず、フレームメモリ５に蓄積された１フレーム分の画像データと装置外部から入力された次フレームの画像データとを比較し、両者の間の動きを動きベクトルとして算出する。動きベクトルは、例えばこの装置がＭＰＥＧ２の符号化方式に準拠したものである場合には、縦横１６画素のマクロブロックと呼ばれる単位で算出する。ここでいう動き補償予測は、フレーム間で同一位置にある画素どうしを減算するという単純なフレーム間差分ではなく、被写体の動きを検出し、この動きに応じてフレーム間差分をとる画素を可変にできる方式である。簡単に説明すれば、入力された画像データを縦横１６画素のマクロブロックに分割し、１つのマクロブロックにつき、当該マクロブロックと最もよく一致するマクロブロックをフレームメモリ５内に蓄積されている前画像データからパターンマッチングにより選出し、当該マクロブロック間の移動距離を動きベクトルとして算出する。例えば、動きの全くないフレームが連続する場合には、動きベクトルは０となる。
【００２２】
次に、算出した動きベクトルを用いてフレームメモリ５に蓄積された画像データを動き補償する。スイッチ７では、次フレームの符号化に、動き補償部６で生成した動き補償された画像データを利用するか否かを選択する。当該選択は、あらかじめ用意された選択プログラムやユーザの指示によって行われるものとする。選択プログラムは、例えば、動き補償された画像データと次フレームとの一致の度合を基準に選択する。動き補償された画像データを利用する場合には、減算器１において入力画像データと動き補償された画像データの差分が求められ、その差分のみを符号化部２に対して出力する。動き補償された画像データを利用しない場合には、減算器１の出力は、外部から入力された画像データそのものになる。なお、ＭＰＥＧ２では、動き補償された画像データを利用するか否かをマクロブロック単位で選択できる。
【００２３】
符号化部２では、減算器１からの出力データを符号化する。局所復号部３では、符号化部２で符号化したデータを復号する。加算器４では、局所復号部３で復号した画像データとスイッチ７の出力データとを加算する。加算器４から出力される画像データをフレームメモリ５に格納する。
【００２４】
補助動き検出部１３では、動き補償部６よりも早い段階で動き予測をおこない、動きベクトルを算出する。補助動き検出部１３での動き予測の方法は動き補償部６と同等であることが望ましい。ベクトル分布計測手段８では、補助動き検出部１３で算出した動きベクトルをフレームやスライスなどの単位で集計し、動きベクトルの分布を計測する。ベクトル集中範囲計測手段９では、ベクトル分布計測手段８で計測したベクトル分布中でベクトルが集中する範囲を計測する。探索範囲制御手段１０では、計測したベクトル集中範囲を参照して動き補償部６での動きベクトルの探索範囲を制御する。予測モード制御手段１１では、計測したベクトル集中範囲を参照して動き補償部６での予測モードを制御する。なお、予測モードにてついては後述する。予測距離制御手段１２では、計測したベクトル集中範囲を参照して動き補償部６での予測距離を制御する。
【００２５】
図２に、前記ベクトル分布計測手段８で計測する動きベクトルの分布の例１を示す。グラフの横軸はベクトル長であり、縦軸はベクトル長ごとのベクトル数である。この例では、動きベクトルの水平方向の成分（図２（ａ））と垂直方向の成分（図２（ｂ））を個別に分布を求めているが、分布を求める方法はこの限りではない。図２について説明すれば、動きベクトル（ｘ，ｙ）の水平方向への変位ｘと垂直方向の変位ｙが所定のしきい値よりも大きい動きベクトルの発生頻度を計測して、水平方向と垂直方向とを別個に、２次元のヒストグラムに示したものである。このような動きベクトルが発生していれば、動物体が存在すると判定する。図３に、ベクトル分布計測手段８で計測する動きベクトルの分布の例２を示す。この例では２次元空間における分布を計測している。すなわち、動きベクトル（ｘ，ｙ）の水平方向への変位ｘと垂直方向の変位ｙが所定のしきい値よりも大きい動きベクトルの発生頻度を計測して３次元のヒストグラムに示したものである。ベクトル分布計測手段８の出力は、図２または図３に示した形式でなくても、ベクトル長とベクトル長ごとのベクトル数の関係が分かるようなものであればよい。
【００２６】
図２および図３の例を参照すれば、動きベクトルが最も集中している範囲は、水平成分および垂直成分のベクトル長がともに０以上１６未満の範囲であり、次が、水平成分が０以上１６未満、垂直成分が１６以上３２未満の範囲で、次が、水平成分が１６以上３２未満、垂直成分が０以上１６未満の範囲となっている。なお、図２および図３の動きベクトルの分布において、ベクトル長を０以上１６未満、１６以上３２未満、３２以上６４未満、６４以上１２８未満、１２８以上２５６未満の５つの区間に分割して分布を求めている。この区間分けはＭＰＥＧ２に規定された動きベクトルの範囲に沿ったものであるが、必ずしもこのとおりである必要はない。
【００２７】
前記探索範囲制御手段１０では、動きベクトルの分布を参照して、動きベクトルの発生頻度の高い所を選び出して、動き補償部６における動きベクトルの探索範囲を制御する。符号化方式がＭＰＥＧ２の場合には、動きベクトルの探索範囲の上限を小さくすることで動きベクトルの符号長を短くすることができるため、動きベクトルの分布に応じて、必要最小限の探索範囲となるように制御することで予測効率を上げることができる。
【００２８】
また、動き補償部６における動き探索に、ブロックマッチングなどの方法を採用している場合には、実際の動きに一致しない乱雑な動きベクトルが算出されることがあるが、前記探索範囲制御手段１０によって動きベクトルが集中する領域が探索範囲となるように制御することで、ベクトルの乱雑性を抑制し、予測効率を上げることができる。
【００２９】
前記予測モード制御手段１１では、動きベクトルの分布を参照して動き補償部６における予測モードを制御する。動き予測の効果が高いシーンでは、実際の画像の動きにあわせて動きベクトルの分布に偏りが生じる傾向があるが、動き予測が困難なシーンでは、方向や長さがランダムな動きベクトル発生し、動きベクトルの分布に偏りが見られなくなる。このようなシーンでは、符号長がなるべく短くなるような予測モードを選択する（すなわち、予測モードの選択候補が複数あるなかで、相対的に符号長が短くなるほうを選択する。）ことで符号化効率を上げることができる。予測モード制御手段１１で制御する予測モードは、予測方向や予測方法などである。この予測モードは、予め複数種類を用意しておき、その中から１つを選択する。符号化方式がＭＰＥＧ２の場合、フィールドベクトルよりもフレームベクトルのほうが符号長が短く、また、両方向予測よりも片方向予測のほうが符号長が短くなる傾向がある。
【００３０】
前記予測距離制御手段１２では、動きベクトルの分布を参照して、動きベクトルの対象となる動きの速度を判定し、当該速度に基づいて、動き補償部６における予測距離を制御する。例えば動きベクトルの分布が長いベクトル長の区間に偏っている場合に、符号化対象のシーンは動きの速いシーンであると判断することができる。このようなシーンでは、符号化画像と予測参照画像との予測距離を縮めることで符号化効率を上げることができる。符号化方式がＭＰＥＧ２の場合には、Ｐピクチャの挿入間隔を狭くすることで予測距離を短くすることができる。
【００３１】
図４に、前記ベクトル集中範囲計測手段９において動きベクトルの集中範囲を特定するための処理の流れの例を示す。ステップＳ１において変数Ｌ、Ｈ、θの初期化を行う。Ｌは求める範囲の下限を表す変数、Ｈは求める範囲の上限を表す変数である。ステップＳ１の時点では、変数Ｌ、Ｈには、例えば、ベクトル分布中の最もベクトル数が多い区間を設定しておく。また、θは求める範囲に含まれるべき最低限のベクトル数を指定する閾値である。θにはベクトル分布中のベクトル総数以下の適切な値を設定する。フレームやスライスに含まれる動きベクトル数は符号化のピクチャタイプなどによって変化するため、閾値θはフレームごとあるいはスライスごとに適宜を変更することが望ましい。
【００３２】
次に、ステップＳ２においてベクトル長の範囲が［Ｌ：Ｈ］であるベクトル数Ｎを求める。ステップＳ３においてＮとθの大小を比較する。ステップＳ３の判定条件Ｎ≧θが成り立たない場合には、ステップＳ４においてＬの値を減少させるか、または、Ｈの値を増加させて、処理ステップＳ２に戻る。判定条件が成り立つ場合には、ステップＳ５において、範囲［Ｌ：Ｈ］をベクトル集中範囲として出力する。
【００３３】
図４に示した方法では、前記閾値θの値によって求められるベクトル集中範囲が変化する。θの値が大きい場合には求められるベクトル集中範囲が広くなるため、前記探索範囲を抑えることができない。θの値が小さい場合には求められる探索範囲を狭く抑えることができるが、必要以上に狭くなると動き予測の性能に悪影響を及ぼす。
【００３４】
探索範囲制御手段１０が、探索範囲を決定する方法として、例えばレート歪特性を用いて決定すれば、符号長が短くなり、かつ符号化歪が小さくなる最適化な探索範囲を決定することが可能である。また、ベクトル集中範囲計測手段９が、動きベクトルの発生数に関する閾値をレート歪特性を用いて設定するようにすれば、符号化効率の良いベクトル集中範囲を設定することができる。
【００３５】
図５に、上記閾値θを、ベクトル総数のＲ１％、Ｒ２％、Ｒ３％の値にそれぞれ設定して、探索範囲の制御をおこなったときのレート歪特性のグラフを示す。図５において、５０，５１，５２が、それぞれ、Ｒ１％、Ｒ２％、Ｒ３％に対応している。この例ではθにベクトル総数のＲ２％の値を設定したとき（図５の符号５１）に、ビットレート、すなわち、単位時間あたりに発生した符号長に対する符号化歪が最小になっており、最も高い符号化効率を期待できる。通常、符号長をＲとし、符号化歪をＤとし、符号化後に測定したＤ＋λＲ（λは変数）の値が最小となるθを選択することで、符号化効率が高い探索範囲を決定することができる。
【００３６】
なお、ベクトル集中範囲を求める方法は図４に示した方法に限定する必要はない。例えばベクトル発生分布図のうち、ベクトル数が多い区間から優先的にベクトル集中範囲に加えていくような方法を用いてもよい。
【００３７】
以上のように、本実施の形態に係る動画像符号化装置によれば、動き補償処理の性能を向上させるために、動きベクトルの分布から動きベクトルが集中するベクトル長の範囲を計測するベクトル集中範囲計測手段９と、その計測結果を用いて動きベクトルの探索範囲を制御する探索範囲制御手段１０とを備えるので、符号長の削減や動きベクトルの乱雑性の抑制が可能となり、高い符号化効率を実現でき、高性能な動画像符号化装置を得ることができる。
【００３８】
また、動きベクトルの分布からベクトルが集中するベクトル長の範囲を計測するベクトル集中範囲計測手段９と、その計測結果を用いて予測モードを制御する予測モード制御手段１１とを備えるので、動きベクトルの乱雑性等を抑制し、高い符号化効率および高性能を実現することができる。
【００３９】
また、動きベクトルの分布からベクトルが集中するベクトル長の範囲を計測するベクトル集中範囲計測手段９と、その計測結果を用いて予測距離を制御する予測距離制御手段１２とを備えるので、高効率および高性能な動き予測を実現できる。
【００４０】
なお、上記の説明においては、探索範囲制御手段１０、予測モード制御手段１１および予測距離制御手段１２を全て設ける場合について説明したが、その場合に限らず、これらのうち少なくとも１つ設けるようにしてもよく、その場合においても、動き補償処理の性能向上を実現し、高効率な符号化を行うことができる。
【００４１】
また、前記ベクトル集中範囲計測手段９において、ベクトル数の閾値を設定し、その閾値以上のベクトル数を含むようなベクトル長の範囲を計測するので、簡単な方法でベクトル集中範囲を特定することができる。
【００４２】
また、前記ベクトル集中範囲計測手段９において、前記閾値を可変としているので、適切なベクトル集中範囲を特定することができる。
【００４３】
また、前記動きのベクトル分布を得るために、動き補償部６とは別に動き検出を行う補助動き検出手段１３を備えているので、動きベクトルの分布を容易に計測することができる。
【００４４】
また、前記補助動き検出手段１３における動き検出に、動き補償における動き検出と同等の方法を用いるので、信頼性の高い動きベクトルの分布を計測することができる。
【００４５】
また、前記探索範囲制御手段１０において、レート歪特性を用いて探索範囲を切り替えるこので、符号化効率の良い探索範囲を設定することができる。
【００４６】
また、前記ベクトル集中範囲計測手段９において、前記ベクトル数の閾値をレート歪特性を用いて設定するので、符号化効率の良いベクトル集中範囲を設定することができる。
【００４７】
また、符号長をR、符号化歪をD、変数をλとし、D+λRが最小となるように探索範囲を決定するので、符号化効率の良い探索範囲を設定することができる。
【００４８】
実施の形態２．
図６はこの発明の動画像符号化装置の実施の形態２を示すブロック図である。本実施の形態は、図６に示すように、図１に示した実施の形態１の動画像符号化装置から補助動き検出部１３を削除した構成になっている。実施の形態１における補助動き検出部１３の動作は動き補償部６が代行する。ベクトル分布計測手段８は動き補償部６で算出した動きベクトルの分布を計測する。
【００４９】
本実施の形態の場合、動き補償部６では補助動き検出部１３の代行処理のために、処理の負荷が増大する。ただし、補助動き検出部１３の代行処理は全てのフレームで実行する必要はなく、代行処理の実行するフレームを制限してもよい。代行処理を実行しないフレームの動きベクトルの分布は、代行処理を実行したフレームの動きベクトルの分布から推定することが可能である。例えば、図７に示したように動き予測がおこなわれる場合、フレーム＃２の前方向および後方向の動きベクトルのベクトル長は、フレーム＃３の動きベクトルの約１／２であると予想できる。したがって、フレーム＃３の動きベクトルの分布からフレーム＃２の動きベクトルの分布は容易に推定できる。このように代行処理を実行するフレームを制限し、推定によって求めたベクトル分布を扱うことで処理の負荷を削減できる。
【００５０】
以上のように、本実施の形態においても、上述の実施の形態１と同様の効果を得ることができる。さらに、本実施の形態においては、実施の形態１で示した補助動き検出部１３の処理を動き補償部６で代行することにしたため、装置の構成を容易にすることができる。また、動き補償部６が代行することにより処理の負荷が増大してしまうことを避けるために、代行処理を実行するフレームを制限し、推定によって求めたベクトル分布を扱うことで、処理の負荷を削減することができる。
【００５１】
【発明の効果】
この発明は、動き補償手段により動きベクトルを算出し、この動きベクトルに基づいて符号化を行う動画像符号化装置であって、算出された上記動きベクトルを集計して、動きベクトルの分布を計測するベクトル分布計測手段と、上記ベクトル分布計測手段により計測された上記動きベクトルの分布に基づいて、上記分布中の動きベクトルが集中しているベクトル集中範囲を計測するベクトル集中範囲計測手段と、上記ベクトル集中範囲計測手段により計測された上記ベクトル集中範囲を用いて、上記動き補償手段による上記動きベクトルの探索範囲を制御する探索範囲制御手段と、上記動き補償手段とは別に、動きベクトルを算出して、上記ベクトル分布計測手段に出力する補助動き検出手段とを備え、上記動き補償手段が、上記探索範囲制御手段により制御された上記探索範囲内で上記動きの探索を行って、上記動きベクトルを算出し、上記補助動き検出手段が、動きベクトルの算出を行うフレームを制限して動きベクトルの算出を行い、上記ベクトル分布計測手段が、上記補助動き検出手段により動きベクトルの算出が行われたフレームについては、当該算出された動きベクトルによって動きベクトルの分布の計測を行うとともに、上記補助動き検出手段により動きベクトルの算出が行われないフレームについては、推定により動きベクトルの分布を生成する動画像符号化装置であるので、符号長の削減や動きベクトルの乱雑性の抑制が可能となり、符号化高い符号化効率をすることが実現できる。
【００５２】
また、この発明は、動き補償手段により動きベクトルを算出し、この動きベクトルに基づいて符号化を行う動画像符号化装置であって、算出された上記動きベクトルを集計して、動きベクトルの分布を計測するベクトル分布計測手段と、上記ベクトル分布計測手段により計測された上記動きベクトルの分布に基づいて、上記分布中の動きベクトルが集中しているベクトル集中範囲を計測するベクトル集中範囲計測手段と、上記ベクトル集中範囲計測手段により計測された上記ベクトル集中範囲を用いて、上記動き補償手段の予測モードの選択を制御する予測モード制御手段と、上記動き補償手段とは別に、動きベクトルを算出して、上記ベクトル分布計測手段に出力する補助動き検出手段とを備え、上記動き補償手段が、上記予測モード制御手段により制御されて選択された上記予測モードで、上記動きベクトルの算出と上記前フレームの動き補償を行い、上記補助動き検出手段が、動きベクトルの算出を行うフレームを制限して動きベクトルの算出を行い、上記ベクトル分布計測手段が、上記補助動き検出手段により動きベクトルの算出が行われたフレームについては、当該算出された動きベクトルによって動きベクトルの分布の計測を行うとともに、上記補助動き検出手段により動きベクトルの算出が行われないフレームについては、推定により動きベクトルの分布を生成する動画像符号化装置であるので、動きベクトルの乱雑性等を抑制し、高い符号化効率を実現することができる。
【００５３】
また、この発明は、動き補償手段により動きベクトルを算出し、この動きベクトルに基づいて符号化を行う動画像符号化装置であって、算出された上記動きベクトルを集計して、動きベクトルの分布を計測するベクトル分布計測手段と、上記ベクトル分布計測手段により計測された上記動きベクトルの分布に基づいて、上記分布中の動きベクトルが集中しているベクトル集中範囲を計測するベクトル集中範囲計測手段と、計測された上記ベクトル集中範囲を用いて、上記動きベクトルの分布から動きベクトルの対象となる動きの速度を判定し、当該速度に基づいて上記動き補償手段により比較される上記前フレームと上記現フレームとの間の予測距離を制御する予測距離制御手段と、上記動き補償手段とは別に、動きベクトルを算出して、上記ベクトル分布計測手段に出力する補助動き検出手段とを備え、上記動き補償手段が、上記予測距離制御手段により制御された上記予測距離において、上記前フレームと上記現フレームの比較を行い、上記動きベクトルの算出と上記前フレームの動き補償を行い、上記補助動き検出手段が、動きベクトルの算出を行うフレームを制限して動きベクトルの算出を行い、上記ベクトル分布計測手段が、上記補助動き検出手段により動きベクトルの算出が行われたフレームについては、当該算出された動きベクトルによって動きベクトルの分布の計測を行うとともに、上記補助動き検出手段により動きベクトルの算出が行われないフレームについては、推定により動きベクトルの分布を生成する動画像符号化装置であるので、効率の良い動き予測を実現できる。
【００５４】
また、この発明は、動き補償手段により動きベクトルを算出し、この動きベクトルに基づいて符号化を行う動画像符号化装置であって、算出された上記動きベクトルを集計して、動きベクトルの分布を計測するベクトル分布計測手段と、上記ベクトル分布計測手段により計測された上記動きベクトルの分布に基づいて、上記分布中の動きベクトルが集中しているベクトル集中範囲を計測するベクトル集中範囲計測手段と、上記動き補償手段とは別に、動きベクトルを算出して、上記ベクトル分布計測手段に出力する補助動き検出手段と、上記ベクトル集中範囲計測手段により計測された上記ベクトル集中範囲を用いて、上記動き補償手段による上記動きベクトルの探索範囲を制御する探索範囲制御手段と、上記ベクトル集中範囲計測手段により計測された上記ベクトル集中範囲を用いて、上記動き補償手段の予測モードの選択を制御する予測モード制御手段と、計測された上記ベクトル集中範囲を用いて、上記動きベクトルの分布から動きベクトルの対象となる動きの速度を判定し、当該速度に基づいて上記動き補償手段により比較される上記前フレームと上記現フレームとの間の予測距離を制御する予測距離制御手段とのうちの少なくとも１つを備え、上記補助動き検出手段が、動きベクトルの算出を行うフレームを制限して動きベクトルの算出を行い、上記ベクトル分布計測手段が、上記補助動き検出手段により動きベクトルの算出が行われたフレームについては、当該算出された動きベクトルによって動きベクトルの分布の計測を行うとともに、上記補助動き検出手段により動きベクトルの算出が行われないフレームについては、推定により動きベクトルの分布を生成する動画像符号化装置であるので、高い符号化効率が実現できる。
【００５５】
また、上記ベクトル集中範囲計測手段が、動きベクトルの発生数に関する閾値を設定し、動きベクトルがその閾値以上発生している範囲を上記ベクトル集中範囲として計測するので、簡単な方法でベクトル集中範囲を特定することができる。
【００５６】
また、上記ベクトル集中範囲計測手段が、上記閾値を可変とするので、適切なベクトル集中範囲を特定することができる。
【００５７】
また、上記ベクトル分布計測手段が、上記補助動き検出手段により算出された上記動きベクトルを集計して、動きベクトルの分布を計測するので、動きベクトルの分布を容易に計測することができる。
【００５８】
また、上記補助動き検出手段が、上記動き補償手段の動きベクトル算出の処理と同一の処理により動きベクトルを算出するので、信頼性の高い動きベクトルの分布を計測することができる。
【００６０】
また、上記探索範囲制御手段が、レート歪特性に基づいて上記探索範囲を決定するので、符号化効率の良い探索範囲を設定することができる。
【００６１】
また、上記ベクトル集中範囲計測手段が、上記動きベクトルの発生数に関する閾値を、レート歪特性に基づいて設定するので、符号化効率の良い探索範囲を設定することができる。
【００６２】
また、上記探索範囲制御手段が、動きベクトルの符号長をＲ、符号化歪をＤ、変数をλとし、Ｄ＋λＲが最小となるように上記探索範囲を決定するので、符号化効率の良い探索範囲を設定することができる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１に係る動画像符号化装置の構成を示すブロック図である。
【図２】 本発明の実施の形態１に係る動画像符号化装置に設けられたベクトル分布計測手段で計測する動きベクトルの分布の一例を示した説明図である。
【図３】 本発明の実施の形態１に係る動画像符号化装置に設けられたベクトル分布計測手段で計測する動きベクトルの分布の他の例を示した説明図である。
【図４】 本発明の実施の形態１に係る動画像符号化装置に設けられたベクトル集中範囲計測手段における動きベクトルの集中範囲を特定するための処理の流れを示した流れ図である。
【図５】 本発明の実施の形態１に係る動画像符号化装置に設けられたベクトル集中範囲計測手段における各閾値でのレート歪特性を示した説明図である。
【図６】 本発明の実施の形態２に係る動画像符号化装置の構成を示すブロック図である。
【図７】 本発明の実施の形態２に係る動画像符号化装置において、動き予測がおこなわれる例を示した説明図である。
【図８】 従来の画像解析装置の構成を示すブロック図である。
【符号の説明】
１ 減算器、２ 符号化部、３ 局所復号部、４ 加算器、５ フレームメモリ、６ 動き補償部、７ スイッチ、８ ベクトル分布計測手段、９ ベクトル集中範囲計測手段、１０ 探索範囲制御手段、１１ 予測モード制御手段、１２ 予測距離制御手段、１３ 補助動き検出部、２１ 動きベクトル抽出手段、２２
計測手段、２３ 動きベクトル解析手段。
Claims (11)
- 動き補償手段により動きベクトルを算出し、この動きベクトルに基づいて符号化を行う動画像符号化装置であって、
算出された上記動きベクトルを集計して、動きベクトルの分布を計測するベクトル分布計測手段と、
上記ベクトル分布計測手段により計測された上記動きベクトルの分布に基づいて、上記分布中の動きベクトルが集中しているベクトル集中範囲を計測するベクトル集中範囲計測手段と、
上記ベクトル集中範囲計測手段により計測された上記ベクトル集中範囲を用いて、上記動き補償手段による上記動きベクトルの探索範囲を制御する探索範囲制御手段と、
上記動き補償手段とは別に、動きベクトルを算出して、上記ベクトル分布計測手段に出力する補助動き検出手段と
を備え、
上記動き補償手段が、上記探索範囲制御手段により制御された上記探索範囲内で上記動きの探索を行って、上記動きベクトルを算出し、
上記補助動き検出手段が、動きベクトルの算出を行うフレームを制限して動きベクトルの算出を行い、
上記ベクトル分布計測手段が、上記補助動き検出手段により動きベクトルの算出が行われたフレームについては、当該算出された動きベクトルによって動きベクトルの分布の計測を行うとともに、上記補助動き検出手段により動きベクトルの算出が行われないフレームについては、推定により動きベクトルの分布を生成する
ことを特徴とする動画像符号化装置。 - 動き補償手段により動きベクトルを算出し、この動きベクトルに基づいて符号化を行う動画像符号化装置であって、
算出された上記動きベクトルを集計して、動きベクトルの分布を計測するベクトル分布計測手段と、
上記ベクトル分布計測手段により計測された上記動きベクトルの分布に基づいて、上記分布中の動きベクトルが集中しているベクトル集中範囲を計測するベクトル集中範囲計測手段と、
上記ベクトル集中範囲計測手段により計測された上記ベクトル集中範囲を用いて、上記動き補償手段の予測モードの選択を制御する予測モード制御手段と、
上記動き補償手段とは別に、動きベクトルを算出して、上記ベクトル分布計測手段に出力する補助動き検出手段と
を備え、
上記動き補償手段が、上記予測モード制御手段により制御されて選択された上記予測モードで、上記動きベクトルの算出と上記前フレームの動き補償を行い、
上記補助動き検出手段が、動きベクトルの算出を行うフレームを制限して動きベクトルの算出を行い、
上記ベクトル分布計測手段が、上記補助動き検出手段により動きベクトルの算出が行われたフレームについては、当該算出された動きベクトルによって動きベクトルの分布の計測を行うとともに、上記補助動き検出手段により動きベクトルの算出が行われないフレームについては、推定により動きベクトルの分布を生成する
ことを特徴とする動画像符号化装置。 - 動き補償手段により動きベクトルを算出し、この動きベクトルに基づいて符号化を行う動画像符号化装置であって、
算出された上記動きベクトルを集計して、動きベクトルの分布を計測するベクトル分布計測手段と、
上記ベクトル分布計測手段により計測された上記動きベクトルの分布に基づいて、上記分布中の動きベクトルが集中しているベクトル集中範囲を計測するベクトル集中範囲計測手段と、
計測された上記ベクトル集中範囲を用いて、上記動きベクトルの分布から動きベクトルの対象となる動きの速度を判定し、当該速度に基づいて上記動き補償手段により比較される上記前フレームと上記現フレームとの間の予測距離を制御する予測距離制御手段と、
上記動き補償手段とは別に、動きベクトルを算出して、上記ベクトル分布計測手段に出力する補助動き検出手段と
を備え、
上記動き補償手段が、上記予測距離制御手段により制御された上記予測距離において、上記前フレームと上記現フレームの比較を行い、上記動きベクトルの算出と上記前フレームの動き補償を行い、
上記補助動き検出手段が、動きベクトルの算出を行うフレームを制限して動きベクトルの算出を行い、
上記ベクトル分布計測手段が、上記補助動き検出手段により動きベクトルの算出が行われたフレームについては、当該算出された動きベクトルによって動きベクトルの分布の計測を行うとともに、上記補助動き検出手段により動きベクトルの算出が行われないフレームについては、推定により動きベクトルの分布を生成する
ことを特徴とする動画像符号化装置。 - 動き補償手段により動きベクトルを算出し、この動きベクトルに基づいて符号化を行う動画像符号化装置であって、
算出された上記動きベクトルを集計して、動きベクトルの分布を計測するベクトル分布計測手段と、
上記ベクトル分布計測手段により計測された上記動きベクトルの分布に基づいて、上記分布中の動きベクトルが集中しているベクトル集中範囲を計測するベクトル集中範囲計測手段と、
上記動き補償手段とは別に、動きベクトルを算出して、上記ベクトル分布計測手段に出力する補助動き検出手段と、
上記ベクトル集中範囲計測手段により計測された上記ベクトル集中範囲を用いて、上記動き補償手段による上記動きベクトルの探索範囲を制御する探索範囲制御手段と、上記ベクトル集中範囲計測手段により計測された上記ベクトル集中範囲を用いて、上記動き補償手段の予測モードの選択を制御する予測モード制御手段と、計測された上記ベクトル集中範囲を用いて、上記動きベクトルの分布から動きベクトルの対象となる動きの速度を判定し、当該速度に基づいて上記動き補償手段により比較される上記前フレームと上記現フレームとの間の予測距離を制御する予測距離制御手段とのうちの少なくとも１つを備え、
上記補助動き検出手段が、動きベクトルの算出を行うフレームを制限して動きベクトルの算出を行い、
上記ベクトル分布計測手段が、上記補助動き検出手段により動きベクトルの算出が行われたフレームについては、当該算出された動きベクトルによって動きベクトルの分布の計測を行うとともに、上記補助動き検出手段により動きベクトルの算出が行われないフレームについては、推定により動きベクトルの分布を生成する
ことを特徴とする動画像符号化装置。 - 上記ベクトル集中範囲計測手段が、
動きベクトルの発生数に関する閾値を設定し、動きベクトルがその閾値以上発生している範囲を上記ベクトル集中範囲として計測する
ことを特徴とする請求項１ないし４のいずれかに記載の動画像符号化装置。 - 上記ベクトル集中範囲計測手段が、
上記閾値を可変とした
ことを特徴とする請求項５に記載の動画像符号化装置。 - 上記ベクトル分布計測手段が、上記補助動き検出手段により算出された上記動きベクトルを集計して、動きベクトルの分布を計測する
ことを特徴とする請求項１ないし６のいずれかに記載の動画像符号化装置。 - 上記補助動き検出手段が、上記動き補償手段の動きベクトル算出の処理と同一の処理により動きベクトルを算出することを特徴とする請求項７に記載の動画像符号化装置。
- 上記探索範囲制御手段が、レート歪特性に基づいて上記探索範囲を決定することを特徴とする請求項１または請求項１，４ないし８のいずれかに記載の動画像符号化装置。
- 上記ベクトル集中範囲計測手段が、上記動きベクトルの発生数に関する閾値を、レート歪特性に基づいて設定することを特徴とする請求項５ないし９のいずれかに記載の動画像符号化装置。
- 上記探索範囲制御手段が、
動きベクトルの符号長をＲ、符号化歪をＤ、変数をλとし、Ｄ＋λＲが最小となるように上記探索範囲を決定することを特徴とする請求項９または１０に記載の動画像符号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002017294A JP3941921B2 (ja) | 2002-01-25 | 2002-01-25 | 動画像符号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002017294A JP3941921B2 (ja) | 2002-01-25 | 2002-01-25 | 動画像符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003219428A JP2003219428A (ja) | 2003-07-31 |
| JP3941921B2 true JP3941921B2 (ja) | 2007-07-11 |
Family
ID=27653041
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002017294A Expired - Lifetime JP3941921B2 (ja) | 2002-01-25 | 2002-01-25 | 動画像符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3941921B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8494052B2 (en) | 2006-04-07 | 2013-07-23 | Microsoft Corporation | Dynamic selection of motion estimation search ranges and extended motion vector ranges |
| JP4895853B2 (ja) * | 2007-02-15 | 2012-03-14 | パナソニック株式会社 | 動きベクトル検出装置および動きベクトル検出システム |
| JP5995583B2 (ja) | 2012-07-26 | 2016-09-21 | キヤノン株式会社 | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、及びプログラム |
| US9769494B2 (en) * | 2014-08-01 | 2017-09-19 | Ati Technologies Ulc | Adaptive search window positioning for video encoding |
| JP6527460B2 (ja) * | 2015-12-25 | 2019-06-05 | 日本電信電話株式会社 | 映像符号化装置、映像符号化方法及び映像符号化プログラム |
-
2002
- 2002-01-25 JP JP2002017294A patent/JP3941921B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003219428A (ja) | 2003-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1147668B1 (en) | Improved motion estimation and block matching pattern | |
| WO2001050770A2 (en) | Methods and apparatus for motion estimation using neighboring macroblocks | |
| JPH10304374A (ja) | 動画像符号化装置 | |
| US7961789B2 (en) | Method and apparatus for determining search range for adaptive motion vector for use in video encoder | |
| TW200942045A (en) | Method for video coding | |
| JP2008227670A (ja) | 画像符号化装置 | |
| JP2012034225A (ja) | 動きベクトル検出装置及び動きベクトル検出方法、コンピュータプログラム | |
| JP2011528534A (ja) | 動き推定反復検索のための簡単な次検索位置選択 | |
| US7433407B2 (en) | Method for hierarchical motion estimation | |
| US20140233645A1 (en) | Moving image encoding apparatus, method of controlling the same, and program | |
| JP3531532B2 (ja) | 動画像符号化装置、及び方法 | |
| JP2002051341A (ja) | 動画像符号化装置および動画像の特殊効果シーン検出装置 | |
| JP3941921B2 (ja) | 動画像符号化装置 | |
| JP5178616B2 (ja) | シーンチェンジ検出装置および映像記録装置 | |
| JP2001128179A (ja) | 動画像符号化装置および方法 | |
| Bachu et al. | Adaptive order search and tangent-weighted trade-off for motion estimation in H. 264 | |
| US10148954B2 (en) | Method and system for determining intra mode decision in H.264 video coding | |
| JP4676513B2 (ja) | 符号化ピクチャタイプ決定方法，装置，そのプログラムおよびその記録媒体 | |
| Park et al. | Improved motion estimation time using a combination of dynamic reference frame selection and residue-based mode decision | |
| JP2006033433A (ja) | 動き推定方法及び動き推定装置、並びにプログラム | |
| JP2002112270A (ja) | 動画像高速符号化装置及び動画像高速符号化方法 | |
| JPH10191347A (ja) | 動き検出装置、動き検出方法、及び、記憶媒体 | |
| KR100413002B1 (ko) | 동영상 부호화기의 확산누적배열을 이용한 블록정합 장치및 그 방법 | |
| KR101021538B1 (ko) | Ｈ．264 인코딩 시 고속 인트라 모드 결정 방법 | |
| He et al. | An efficient fast block-matching motion estimation algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050107 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070109 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070223 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070327 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070328 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100413 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110413 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120413 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120413 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130413 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130413 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140413 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |