JPH1155677A - 動画像符号化装置 - Google Patents
動画像符号化装置Info
- Publication number
- JPH1155677A JPH1155677A JP21430797A JP21430797A JPH1155677A JP H1155677 A JPH1155677 A JP H1155677A JP 21430797 A JP21430797 A JP 21430797A JP 21430797 A JP21430797 A JP 21430797A JP H1155677 A JPH1155677 A JP H1155677A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- search
- search range
- retrieval
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【課題】フレーム間ブロック動き予測により動画像を圧
縮符号化する動画像符号化装置に関し,ピクチャー毎の
演算量をある一定範囲に保ったまま,動き探索範囲を適
応的に変更して,動きの激しい画像でもリアルタイムに
効率よく符号化できるようにすることを目的とする。 【解決手段】動き探索範囲判定部5を設け,これにより
動きベクトルの探索範囲が十分足りているかどうかを判
定し,動き探索範囲の大きさを適応的に変更する。動き
補償部2の動きベクトル探索部21では,動き探索範囲判
定部5が決定した動き探索範囲内における動きベクトル
の探索を,飛び越し探索または探索対象の解像度を変更
したものによる探索によって,ピクチャー毎に所定の探
索回数で実行する。
縮符号化する動画像符号化装置に関し,ピクチャー毎の
演算量をある一定範囲に保ったまま,動き探索範囲を適
応的に変更して,動きの激しい画像でもリアルタイムに
効率よく符号化できるようにすることを目的とする。 【解決手段】動き探索範囲判定部5を設け,これにより
動きベクトルの探索範囲が十分足りているかどうかを判
定し,動き探索範囲の大きさを適応的に変更する。動き
補償部2の動きベクトル探索部21では,動き探索範囲判
定部5が決定した動き探索範囲内における動きベクトル
の探索を,飛び越し探索または探索対象の解像度を変更
したものによる探索によって,ピクチャー毎に所定の探
索回数で実行する。
Description
【0001】
【発明の属する技術分野】本発明は,通信・放送・蓄積
・コンピュータなどの様々な分野で用いられている,デ
ィジタル画像システムやアプリケーション,画像データ
ベースの動画像符号化装置に関する。
・コンピュータなどの様々な分野で用いられている,デ
ィジタル画像システムやアプリケーション,画像データ
ベースの動画像符号化装置に関する。
【0002】
【従来の技術】動画像符号化装置においては,現在,動
き補償(MC:Motion Compensation)と離散コサイン変
換(DCT:Discrete Cosine Transfer) を行う方式が
主流となっている。動き補償は,画面を小さく分割した
ブロック単位で行われ,符号化する差分情報をできるだ
け小さくするために,動き探索によって画像が似ている
ブロックを参照ブロックとして行われる。
き補償(MC:Motion Compensation)と離散コサイン変
換(DCT:Discrete Cosine Transfer) を行う方式が
主流となっている。動き補償は,画面を小さく分割した
ブロック単位で行われ,符号化する差分情報をできるだ
け小さくするために,動き探索によって画像が似ている
ブロックを参照ブロックとして行われる。
【0003】この動き探索を含む動き補償部の演算量
は,動画像符号化の中で全体の演算量に占める割合が大
きく,動き探索の範囲は,処理するブロックを中心とし
た,ある一定の限られた大きさで行われるのが普通であ
る。しかしながら,探索範囲をある一定の大きさに限定
してしまうと,実際,動きの極端に大きな画像などで
は,探索範囲が足りず,差分情報が大きくなって符号化
効率の低下を招くことになる。
は,動画像符号化の中で全体の演算量に占める割合が大
きく,動き探索の範囲は,処理するブロックを中心とし
た,ある一定の限られた大きさで行われるのが普通であ
る。しかしながら,探索範囲をある一定の大きさに限定
してしまうと,実際,動きの極端に大きな画像などで
は,探索範囲が足りず,差分情報が大きくなって符号化
効率の低下を招くことになる。
【0004】これを解決するために,動きの大きさを予
測して,予測結果に応じて動きベクトルの探索範囲を変
化させることによって,符号化効率を低下させることな
く全体の探索時間を短縮させる方式が考えられている
(特開昭63−144626号「動ベクトル検出方
式」)。
測して,予測結果に応じて動きベクトルの探索範囲を変
化させることによって,符号化効率を低下させることな
く全体の探索時間を短縮させる方式が考えられている
(特開昭63−144626号「動ベクトル検出方
式」)。
【0005】
【発明が解決しようとする課題】元来,MPEGやH.
26x等の動画像符号化の規定は,符号化されたビット
ストリームから画像信号を生成する復号方法を規定して
いて,符号化側の規定はされていない。すなわち,動画
像のフレーム間符号化を行う際に,原画のあるブロック
が参照画像のどの位置のブロックに近いかを探索する動
き探索の範囲等は,符号化側で自由に設定することがで
きる。
26x等の動画像符号化の規定は,符号化されたビット
ストリームから画像信号を生成する復号方法を規定して
いて,符号化側の規定はされていない。すなわち,動画
像のフレーム間符号化を行う際に,原画のあるブロック
が参照画像のどの位置のブロックに近いかを探索する動
き探索の範囲等は,符号化側で自由に設定することがで
きる。
【0006】一般には,符号化する画像の性質(動きの
大きさ等)にかかわらず,同範囲の探索が行われている
が,全体の探索時間の短縮のために,画像の性質によっ
て探索範囲を適応的に制限する方法も用いられている。
しかし,以上のような従来方式では,探索範囲を大きく
すれば演算量が増え,演算量をある一定値にすると,探
索範囲の大きさが限定されるという問題があった。
大きさ等)にかかわらず,同範囲の探索が行われている
が,全体の探索時間の短縮のために,画像の性質によっ
て探索範囲を適応的に制限する方法も用いられている。
しかし,以上のような従来方式では,探索範囲を大きく
すれば演算量が増え,演算量をある一定値にすると,探
索範囲の大きさが限定されるという問題があった。
【0007】現在では,LSI等の動画像符号化のため
の専用回路はもちろん,DSPでさえも演算能力が以前
に比べてはるかに向上しており,ある定められた範囲の
動き探索をリアルタイムで行うことは実現が容易になっ
てきている。これに伴い,符号化対象の画像として,ス
ポーツ番組等のテレビ番組や映画等のダイナミックな動
きをする動画像までもターゲットとなってきている。こ
のため,LSI等のように,1ピクチャーの処理に費や
すクロック数が同じ,つまりは一定の演算量を保ったま
まの処理でも,動画像の動きの大きさによって,動き探
索の範囲を適応的に変更することの実現が望まれる。
の専用回路はもちろん,DSPでさえも演算能力が以前
に比べてはるかに向上しており,ある定められた範囲の
動き探索をリアルタイムで行うことは実現が容易になっ
てきている。これに伴い,符号化対象の画像として,ス
ポーツ番組等のテレビ番組や映画等のダイナミックな動
きをする動画像までもターゲットとなってきている。こ
のため,LSI等のように,1ピクチャーの処理に費や
すクロック数が同じ,つまりは一定の演算量を保ったま
まの処理でも,動画像の動きの大きさによって,動き探
索の範囲を適応的に変更することの実現が望まれる。
【0008】本発明は上記問題点の解決を図り,ピクチ
ャー毎の演算量をある一定範囲に保ったまま,動き探索
範囲を適応的に変更して,動きの激しい画像でもリアル
タイムに効率よく符号化できるようにすることを目的と
する。
ャー毎の演算量をある一定範囲に保ったまま,動き探索
範囲を適応的に変更して,動きの激しい画像でもリアル
タイムに効率よく符号化できるようにすることを目的と
する。
【0009】
【課題を解決するための手段】本発明は,過去の符号化
処理の履歴を調べる手段を設けることにより,符号化パ
ラメータの動き探索範囲を適応的に増減できる符号器を
提供するものである。なおかつ,探索範囲の変更の仕方
を工夫することにより,動き探索部分での演算量の増加
を抑制する。探索範囲の決定は,次のように行う。
処理の履歴を調べる手段を設けることにより,符号化パ
ラメータの動き探索範囲を適応的に増減できる符号器を
提供するものである。なおかつ,探索範囲の変更の仕方
を工夫することにより,動き探索部分での演算量の増加
を抑制する。探索範囲の決定は,次のように行う。
【0010】まず,過去の符号化の動きベクトルのヒス
トグラムをとる計測手段を設ける。そのとき,その計測
時の探索範囲の大きさにより,探索範囲を変更する基準
となる閾値を設定する。動きベクトルを計測し,設定し
た閾値との大小関係を比較して,閾値を超えるベクトル
の数が一定割合より多くなると,動き範囲が足りていな
いと判断し,これを拡大する。また,現在の動き探索範
囲で足りていると判断された場合で,閾値を超えるベク
トルの数が一定割合より少なくなると(つまり,閾値を
下回るベクトルの数が一定割合より多くなると),動き
探索範囲が広すぎると判断し,これを縮小する。もちろ
ん,この動き探索範囲の変更とは,符号化パラメータも
含めての変更である。
トグラムをとる計測手段を設ける。そのとき,その計測
時の探索範囲の大きさにより,探索範囲を変更する基準
となる閾値を設定する。動きベクトルを計測し,設定し
た閾値との大小関係を比較して,閾値を超えるベクトル
の数が一定割合より多くなると,動き範囲が足りていな
いと判断し,これを拡大する。また,現在の動き探索範
囲で足りていると判断された場合で,閾値を超えるベク
トルの数が一定割合より少なくなると(つまり,閾値を
下回るベクトルの数が一定割合より多くなると),動き
探索範囲が広すぎると判断し,これを縮小する。もちろ
ん,この動き探索範囲の変更とは,符号化パラメータも
含めての変更である。
【0011】この方式で,動きベクトルの探索範囲を変
更する閾値の数を増やして,これらそれぞれの閾値を超
える動きベクトルの割合を調べることにより,変更する
動き探索範囲をいくつか選べるようにすることも可能で
ある。
更する閾値の数を増やして,これらそれぞれの閾値を超
える動きベクトルの割合を調べることにより,変更する
動き探索範囲をいくつか選べるようにすることも可能で
ある。
【0012】また,動きベクトル探索範囲を周期的に初
期値にリセットする手段を設けることも望ましい。探索
範囲の変更は,単純に動き探索の演算量を変更するので
はなく,探索範囲が変更されても,動き探索部分でのピ
クチャー毎の演算量を一定に保つために,動き探索をn
画素(n:整数)飛びのステップ動き探索にしたり,動
き探索を行う原画/参照画の片方の解像度または原画/
参照画の両方の解像度をn:1に縮小して全探索を行
い,実際の動きベクトルは,その低解像度で求めたベク
トルのn倍として求めたりする方式を用いる。nの値
は,探索範囲の変更に応じて変更する。
期値にリセットする手段を設けることも望ましい。探索
範囲の変更は,単純に動き探索の演算量を変更するので
はなく,探索範囲が変更されても,動き探索部分でのピ
クチャー毎の演算量を一定に保つために,動き探索をn
画素(n:整数)飛びのステップ動き探索にしたり,動
き探索を行う原画/参照画の片方の解像度または原画/
参照画の両方の解像度をn:1に縮小して全探索を行
い,実際の動きベクトルは,その低解像度で求めたベク
トルのn倍として求めたりする方式を用いる。nの値
は,探索範囲の変更に応じて変更する。
【0013】特に,探索範囲を変更しても,一定範囲の
演算量でベクトルの精度を最小単位まで出せるように,
後段に探索最小単位のベクトルまで検出可能な探索手段
を設けることも好ましい。また,n:1に解像度を縮小
して動き探索を行うときには,低解像度にしたことによ
る動きベクトルの誤検出を低減するために,サブサンプ
ルフィルタをかけて低解像度の画面を作成することも望
ましい。
演算量でベクトルの精度を最小単位まで出せるように,
後段に探索最小単位のベクトルまで検出可能な探索手段
を設けることも好ましい。また,n:1に解像度を縮小
して動き探索を行うときには,低解像度にしたことによ
る動きベクトルの誤検出を低減するために,サブサンプ
ルフィルタをかけて低解像度の画面を作成することも望
ましい。
【0014】以上により,探索範囲を変更しても所定の
探索回数で精度よく探索を行うことができる。ここで,
所定の探索回数とは,各ピクチャーについての動き探索
が,あらかじめ定まったほぼ同じような探索回数である
ことを意味する。
探索回数で精度よく探索を行うことができる。ここで,
所定の探索回数とは,各ピクチャーについての動き探索
が,あらかじめ定まったほぼ同じような探索回数である
ことを意味する。
【0015】
【発明の実施の形態】図1は,本発明の構成例を示す。
図中の1は画像前処理部,2は動き補償(MC)部,3
は符号化部,4は量子化制御部,5は本発明の制御を行
うために付加した動き探索範囲判定部を表す。このう
ち,画像前処理部1,動き補償部2の大部分,符号化部
3および量子化制御部4は従来技術と同様であり,周知
の構成である。動き探索範囲決定部5は,動きベクトル
の大きさの統計をとるベクトル計測部51,計測結果か
ら探索範囲を決定する探索範囲決定部52,動きベクト
ルの統計をとるときの閾値を記憶する閾値格納部53,
初期値を格納する初期値格納部54,所定の周期でリセ
ット信号を生成するためのクロック生成部55を持つ。
図中の1は画像前処理部,2は動き補償(MC)部,3
は符号化部,4は量子化制御部,5は本発明の制御を行
うために付加した動き探索範囲判定部を表す。このう
ち,画像前処理部1,動き補償部2の大部分,符号化部
3および量子化制御部4は従来技術と同様であり,周知
の構成である。動き探索範囲決定部5は,動きベクトル
の大きさの統計をとるベクトル計測部51,計測結果か
ら探索範囲を決定する探索範囲決定部52,動きベクト
ルの統計をとるときの閾値を記憶する閾値格納部53,
初期値を格納する初期値格納部54,所定の周期でリセ
ット信号を生成するためのクロック生成部55を持つ。
【0016】符号化系を簡単に説明すると,符号化対象
の原画は,画像前処理部1に入力される。画像前処理部
1では,入力された原画についてフレーム構造やフィー
ルド構造の画像処理構造を作成する。動き補償部2で
は,画像前処理部1で作成された画像をブロックに分割
し,動きベクトル探索部21によりブロック単位に最適
な動きベクトルを検出し,その動きベクトルを用いて予
測ブロック(動き補償を行った画像)を作成する。
の原画は,画像前処理部1に入力される。画像前処理部
1では,入力された原画についてフレーム構造やフィー
ルド構造の画像処理構造を作成する。動き補償部2で
は,画像前処理部1で作成された画像をブロックに分割
し,動きベクトル探索部21によりブロック単位に最適
な動きベクトルを検出し,その動きベクトルを用いて予
測ブロック(動き補償を行った画像)を作成する。
【0017】予測ブロックと原画ブロックとの差分が,
符号化部3でDCT変換され,量子化,可変長符号化を
経て,符号化画像として出力される。この際に,主に発
生情報量を一定に保つため,符号化情報を与えられた量
子化制御部4により,量子化パラメータの大きさが制御
される。
符号化部3でDCT変換され,量子化,可変長符号化を
経て,符号化画像として出力される。この際に,主に発
生情報量を一定に保つため,符号化情報を与えられた量
子化制御部4により,量子化パラメータの大きさが制御
される。
【0018】図2および図3は,本発明に関連する部分
の処理概要を説明する図である。動画像符号化における
フレーム間ブロック動き予測では,図2(A)に示すよ
うに,フレームを分割したブロック(BL)単位で動き
ベクトルが求められる。ベクトル計測部51は,動き補
償部2によって求められた各ブロックの動きベクトルの
大きさの統計をとる。MVxは,この動きベクトルの水
平方向成分,MVyは,この動きベクトルの垂直方向成
分を表す。
の処理概要を説明する図である。動画像符号化における
フレーム間ブロック動き予測では,図2(A)に示すよ
うに,フレームを分割したブロック(BL)単位で動き
ベクトルが求められる。ベクトル計測部51は,動き補
償部2によって求められた各ブロックの動きベクトルの
大きさの統計をとる。MVxは,この動きベクトルの水
平方向成分,MVyは,この動きベクトルの垂直方向成
分を表す。
【0019】この統計情報の収集では,図2(B)に示
すように,MVxの絶対値が,所定の閾値THx(i)
〔ただし,Imin≦i≦Imax〕によって区切られ
たどのクラスに属するかによって,各クラス毎に該当す
るブロックの個数(ベクトルの個数)がカウントされ
る。垂直方向についても同様に,MVyの絶対値が,所
定の閾値THy(j)〔ただし,Jmin≦j≦Jma
x〕によって区切られたどのクラスに属するかによっ
て,各クラス毎に該当するブロックの個数(ベクトルの
個数)がカウントされる。
すように,MVxの絶対値が,所定の閾値THx(i)
〔ただし,Imin≦i≦Imax〕によって区切られ
たどのクラスに属するかによって,各クラス毎に該当す
るブロックの個数(ベクトルの個数)がカウントされ
る。垂直方向についても同様に,MVyの絶対値が,所
定の閾値THy(j)〔ただし,Jmin≦j≦Jma
x〕によって区切られたどのクラスに属するかによっ
て,各クラス毎に該当するブロックの個数(ベクトルの
個数)がカウントされる。
【0020】NumX(i)は,これまでにカウントさ
れた|MVx|が閾値THx(i)以上のブロックの個
数を表し,NumY(j)は,これまでにカウントされ
た|MVy|が閾値THy(j)以上のブロックの個数
を表す。
れた|MVx|が閾値THx(i)以上のブロックの個
数を表し,NumY(j)は,これまでにカウントされ
た|MVy|が閾値THy(j)以上のブロックの個数
を表す。
【0021】探索範囲決定部52では,このNumX
(i),NumY(j)の全ブロック数に対する割合を
算出し,所定の閾値との比較により動きベクトルの探索
範囲を決定する。
(i),NumY(j)の全ブロック数に対する割合を
算出し,所定の閾値との比較により動きベクトルの探索
範囲を決定する。
【0022】動き補償部2の動きベクトル探索部21で
は,探索範囲決定部52が決定した探索範囲に応じて,
まず図3(A)に示すように,水平方向i画素ステッ
プ,垂直方向j画素ステップの飛び越し探索を行い,そ
の中で画素差分絶対値の和が最小となるブロック位置を
見つけ,次に,図3(B)に示すように,そのブロック
位置の近傍で1画素単位に全探索を行う。
は,探索範囲決定部52が決定した探索範囲に応じて,
まず図3(A)に示すように,水平方向i画素ステッ
プ,垂直方向j画素ステップの飛び越し探索を行い,そ
の中で画素差分絶対値の和が最小となるブロック位置を
見つけ,次に,図3(B)に示すように,そのブロック
位置の近傍で1画素単位に全探索を行う。
【0023】図4は,ベクトル計測部51の処理フロー
チャートである。ベクトル計測部51は,閾値格納部5
3から与えられるいくつかの動き探索範囲変更のための
閾値THx(i),THy(j)や,動き探索範囲決定
のための係数の最大値,最小値であるImax,Imi
n,Jmax,Jminと,動き補償部2から与えられ
る各ブロックの動きベクトルMVx,MVyとによっ
て,動きベクトルの絶対値が動き探索範囲変更のための
閾値によって区切られたどのクラスに属するかを判断
し,カウントしていく。
チャートである。ベクトル計測部51は,閾値格納部5
3から与えられるいくつかの動き探索範囲変更のための
閾値THx(i),THy(j)や,動き探索範囲決定
のための係数の最大値,最小値であるImax,Imi
n,Jmax,Jminと,動き補償部2から与えられ
る各ブロックの動きベクトルMVx,MVyとによっ
て,動きベクトルの絶対値が動き探索範囲変更のための
閾値によって区切られたどのクラスに属するかを判断
し,カウントしていく。
【0024】まず,ステップS1では,動き補償部2か
ら与えられる各ブロックの動きベクトルMVx,MVy
の絶対値を,それぞれ変数X,Yに設定し,また,Im
ax,Jmaxを,変数i,jに設定する。
ら与えられる各ブロックの動きベクトルMVx,MVy
の絶対値を,それぞれ変数X,Yに設定し,また,Im
ax,Jmaxを,変数i,jに設定する。
【0025】次に,Xが閾値THx(i)より大きい
か,またはiがIminになるまで,iを1ずつカウン
トダウンする(ステップS2,S3)。Xが閾値THx
(i)より大きいか,またはiがIminになったなら
ば,ステップS4へ進み,THx(i)を超えるベクト
ル(もしくはブロック)の数NumX(i)を1カウン
トアップする。
か,またはiがIminになるまで,iを1ずつカウン
トダウンする(ステップS2,S3)。Xが閾値THx
(i)より大きいか,またはiがIminになったなら
ば,ステップS4へ進み,THx(i)を超えるベクト
ル(もしくはブロック)の数NumX(i)を1カウン
トアップする。
【0026】同様に,Yが閾値THy(j)より大きい
か,またはjがJminになるまで,jを1ずつカウン
トダウンし(ステップS5,S6),Yが閾値THy
(j)より大きいか,またはjがJminになったなら
ば,ステップS7により,THy(j)を超えるベクト
ル(もしくはブロック)の数NumY(j)を1カウン
トアップする。
か,またはjがJminになるまで,jを1ずつカウン
トダウンし(ステップS5,S6),Yが閾値THy
(j)より大きいか,またはjがJminになったなら
ば,ステップS7により,THy(j)を超えるベクト
ル(もしくはブロック)の数NumY(j)を1カウン
トアップする。
【0027】以上の処理を1ピクチャーの全ブロックに
ついて繰り返し(ステップS8),1ピクチャー分終了
したならば,結果を探索範囲決定部52へ通知する。図
5は,探索範囲決定部52の処理フローチャートであ
る。
ついて繰り返し(ステップS8),1ピクチャー分終了
したならば,結果を探索範囲決定部52へ通知する。図
5は,探索範囲決定部52の処理フローチャートであ
る。
【0028】探索範囲決定部52には,閾値格納部53
から,動き探索範囲決定のための係数の最大値,最小値
であるImax,Imin,Jmax,Jminと,ベ
クトル測定の閾値THx(i),THy(j)を超える
ベクトルが,全体のベクトルに対してどれだけの割合を
超えると,ベクトル探索範囲を決定するかを決める閾値
RTHx,RTHyが与えられる。
から,動き探索範囲決定のための係数の最大値,最小値
であるImax,Imin,Jmax,Jminと,ベ
クトル測定の閾値THx(i),THy(j)を超える
ベクトルが,全体のベクトルに対してどれだけの割合を
超えると,ベクトル探索範囲を決定するかを決める閾値
RTHx,RTHyが与えられる。
【0029】また,初期値格納部54から,デフォルト
の探索範囲を設定する係数であるIinit,Jini
tが与えられる。ベクトル計測部51からは,図4に示
す処理によりカウントされたNumX(i),NumY
(j)が与えられる。
の探索範囲を設定する係数であるIinit,Jini
tが与えられる。ベクトル計測部51からは,図4に示
す処理によりカウントされたNumX(i),NumY
(j)が与えられる。
【0030】探索範囲決定部52には,フレームのクロ
ック生成部55からNフレーム周期の探索範囲リセット
信号が入力される。探索範囲決定部52は,まずクロッ
ク生成部55からの探索範囲リセットかどうかを判断
し,そうであれば初期値Iinit,Jinitとし
て,探索範囲を決定する。そうでなければ,ベクトル計
測部51の閾値THx(i),THy(j)を超えるベ
クトルの,全体のベクトルに対する割合が,それぞれ閾
値RTHx,RTHyを超えるまで計算していき,その
ときのi,jにより,ベクトル探索範囲を決定する。
ック生成部55からNフレーム周期の探索範囲リセット
信号が入力される。探索範囲決定部52は,まずクロッ
ク生成部55からの探索範囲リセットかどうかを判断
し,そうであれば初期値Iinit,Jinitとし
て,探索範囲を決定する。そうでなければ,ベクトル計
測部51の閾値THx(i),THy(j)を超えるベ
クトルの,全体のベクトルに対する割合が,それぞれ閾
値RTHx,RTHyを超えるまで計算していき,その
ときのi,jにより,ベクトル探索範囲を決定する。
【0031】具体的には,探索範囲決定部52は以下の
ように処理する。まず,ステップS10において,クロ
ック生成部55からのリセット信号の入力を検出する
と,ステップS11により水平方向(X方向)の探索範
囲をIinitに,垂直方向(Y方向)の探索範囲をJ
initに設定し,ステップS23により,それを探索
範囲として決定する。
ように処理する。まず,ステップS10において,クロ
ック生成部55からのリセット信号の入力を検出する
と,ステップS11により水平方向(X方向)の探索範
囲をIinitに,垂直方向(Y方向)の探索範囲をJ
initに設定し,ステップS23により,それを探索
範囲として決定する。
【0032】リセット信号の入力がない場合,ステップ
S12では,Imax,Jmaxを,それぞれ変数i,
jに設定する。ステップS13では,閾値THx(i)
を超えるベクトルの数NumX(i)の,全体のベクト
ル数(ΣNumX(k),ただしΣはk=Iminから
Imaxまでの総和)に対する割合RX(i)を計算
し,ステップS14では,RX(i)の累積値RXを算
出する。
S12では,Imax,Jmaxを,それぞれ変数i,
jに設定する。ステップS13では,閾値THx(i)
を超えるベクトルの数NumX(i)の,全体のベクト
ル数(ΣNumX(k),ただしΣはk=Iminから
Imaxまでの総和)に対する割合RX(i)を計算
し,ステップS14では,RX(i)の累積値RXを算
出する。
【0033】次に,RXが閾値RTHxより大きいか,
またはiがIminになるまで,iを1ずつカウントダ
ウンする(ステップS15,S16)。RXが閾値RT
Hx(i)より大きいか,またはiがIminになった
ならば,水平方向(X方向)の探索範囲CXrange
をiとし(ステップS17),それを探索範囲とする。
またはiがIminになるまで,iを1ずつカウントダ
ウンする(ステップS15,S16)。RXが閾値RT
Hx(i)より大きいか,またはiがIminになった
ならば,水平方向(X方向)の探索範囲CXrange
をiとし(ステップS17),それを探索範囲とする。
【0034】垂直方向(Y方向)についても同様に,閾
値THy(i)を超えるベクトルの数NumY(j)
の,全体のベクトル数(ΣNumY(k),ただしΣは
k=JminからJmaxまでの総和)に対する割合R
Y(j)を計算し(ステップS18),RY(j)の累
積値RYを算出する(ステップS19)。
値THy(i)を超えるベクトルの数NumY(j)
の,全体のベクトル数(ΣNumY(k),ただしΣは
k=JminからJmaxまでの総和)に対する割合R
Y(j)を計算し(ステップS18),RY(j)の累
積値RYを算出する(ステップS19)。
【0035】次に,RYが閾値RTHyより大きいか,
またはjがJminになるまで,jを1ずつカウントダ
ウンする(ステップS20,S21)。RYが閾値RT
Hy(j)より大きいか,またはjがJminになった
ならば,垂直方向(Y方向)の探索範囲CYrange
をjとし(ステップS22),それをステップS23に
より探索範囲とする。
またはjがJminになるまで,jを1ずつカウントダ
ウンする(ステップS20,S21)。RYが閾値RT
Hy(j)より大きいか,またはjがJminになった
ならば,垂直方向(Y方向)の探索範囲CYrange
をjとし(ステップS22),それをステップS23に
より探索範囲とする。
【0036】図6は,動きベクトル探索部21の処理フ
ローチャートである。この例では,1段目の探索(ステ
ップS40〜S46)で,n画素毎の探索を行い,2段
目の探索(ステップS47〜S53)で,近傍全探索を
行うものとする。1段目の探索の水平探索範囲を[h1
min,h1max],垂直探索範囲を[v1min,
v1max],動きベクトルを(Vech1,Vecv
1),探索の幅を(Steph1,Stepv1)とす
る。また,2段目の探索の水平探索範囲を[h2mi
n,h2max],垂直探索範囲を[v2min,v2
max],動きベクトルを(Vech2,Vecv
2),探索の幅を(Steph2(=1),Stepv
2(=1))とする。
ローチャートである。この例では,1段目の探索(ステ
ップS40〜S46)で,n画素毎の探索を行い,2段
目の探索(ステップS47〜S53)で,近傍全探索を
行うものとする。1段目の探索の水平探索範囲を[h1
min,h1max],垂直探索範囲を[v1min,
v1max],動きベクトルを(Vech1,Vecv
1),探索の幅を(Steph1,Stepv1)とす
る。また,2段目の探索の水平探索範囲を[h2mi
n,h2max],垂直探索範囲を[v2min,v2
max],動きベクトルを(Vech2,Vecv
2),探索の幅を(Steph2(=1),Stepv
2(=1))とする。
【0037】MSEを,動きベクトルを探索するブロッ
ク内の画素差分絶対値和,Maxmseをブロックの画
素差分絶対値和の取り得る最大値として,ブロック単位
に以下の処理を行う。
ク内の画素差分絶対値和,Maxmseをブロックの画
素差分絶対値和の取り得る最大値として,ブロック単位
に以下の処理を行う。
【0038】まず,ステップS40では,h1min,
v1min,Maxmseを,それぞれ変数i,j,M
SEに設定する。次に,iがh1maxになるまで(ス
テップS43),iをSteph1ずつ増加させながら
(ステップS44),i,jの位置におけるブロック内
の画素差分絶対値和MSEijがMSEより小さいもの
を探索する(ステップS41)。それまでのMSEより
小さいものが見つかったならば,i,j,MSEijを
それぞれVech1,Vecv1,MSEに設定し(ス
テップS42),次のiについて探索を繰り返す。
v1min,Maxmseを,それぞれ変数i,j,M
SEに設定する。次に,iがh1maxになるまで(ス
テップS43),iをSteph1ずつ増加させながら
(ステップS44),i,jの位置におけるブロック内
の画素差分絶対値和MSEijがMSEより小さいもの
を探索する(ステップS41)。それまでのMSEより
小さいものが見つかったならば,i,j,MSEijを
それぞれVech1,Vecv1,MSEに設定し(ス
テップS42),次のiについて探索を繰り返す。
【0039】iがh1maxになったならば,同様にj
をStepv1ずつ増加させながら(ステップS4
6),jがv1maxになるまで,前述したステップS
41〜S44の探索を繰り返す。
をStepv1ずつ増加させながら(ステップS4
6),jがv1maxになるまで,前述したステップS
41〜S44の探索を繰り返す。
【0040】Steph1,Stepv1がnであると
すると,以上の処理により,n画素おきの飛び越し探索
が行われたことになる。次に,求まったVech1,V
ecv1の近傍について,以下の2段目の探索により1
画素毎の全探索を行う。
すると,以上の処理により,n画素おきの飛び越し探索
が行われたことになる。次に,求まったVech1,V
ecv1の近傍について,以下の2段目の探索により1
画素毎の全探索を行う。
【0041】ステップS47では,h2min,v2m
inを,それぞれ変数i,jに設定する。次に,iがh
2maxになるまで(ステップS50),iを1ずつ増
加させながら(ステップS51),i,jの位置におけ
るブロック内の画素差分絶対値和MSEijがMSEよ
り小さいものを探索する(ステップS48)。それまで
のMSEより小さいものが見つかったならば,Vech
2に(Vech1+i)を,Vecv2に(Vecv1
+j)を,MSEにMSEijをそれぞれ設定し(ステ
ップS49),次のiについて探索を繰り返す。
inを,それぞれ変数i,jに設定する。次に,iがh
2maxになるまで(ステップS50),iを1ずつ増
加させながら(ステップS51),i,jの位置におけ
るブロック内の画素差分絶対値和MSEijがMSEよ
り小さいものを探索する(ステップS48)。それまで
のMSEより小さいものが見つかったならば,Vech
2に(Vech1+i)を,Vecv2に(Vecv1
+j)を,MSEにMSEijをそれぞれ設定し(ステ
ップS49),次のiについて探索を繰り返す。
【0042】iがh2maxになったならば,同様にj
を1ずつ増加させながら(ステップS53),jがv2
maxになるまで,前述したステップS48〜S51の
探索を繰り返す。
を1ずつ増加させながら(ステップS53),jがv2
maxになるまで,前述したステップS48〜S51の
探索を繰り返す。
【0043】図6に示す動きベクトルの探索は一例であ
るが,以上の処理により,探索範囲の大きさによらず
に,演算量をほぼ一定に保つことができる。ここでは,
飛び越し探索の例を説明したが,飛び越し探索に代え
て,1段目の探索では,動き探索を行う原画/参照画の
片方または両方の解像度をn:1に縮小して全探索を行
い,2段目の探索では,その低解像度で求めたベクトル
の近傍について通常の解像度で全探索を行うようにして
も,同様に演算量をほぼ一定に保つことが可能である。
また,2段の探索ではなく,段階的に飛び越し探索の幅
または解像度の縮小率を変化させることにより,3段以
上の探索を行うような実施も可能である。
るが,以上の処理により,探索範囲の大きさによらず
に,演算量をほぼ一定に保つことができる。ここでは,
飛び越し探索の例を説明したが,飛び越し探索に代え
て,1段目の探索では,動き探索を行う原画/参照画の
片方または両方の解像度をn:1に縮小して全探索を行
い,2段目の探索では,その低解像度で求めたベクトル
の近傍について通常の解像度で全探索を行うようにして
も,同様に演算量をほぼ一定に保つことが可能である。
また,2段の探索ではなく,段階的に飛び越し探索の幅
または解像度の縮小率を変化させることにより,3段以
上の探索を行うような実施も可能である。
【0044】
【発明の効果】以上説明したように,本発明によれば,
動きベクトル探索において,過去の動きベクトルの統計
を取ることにより,探索範囲の適切さを判断し,適応的
に探索範囲を変更するので,画像の動きの大きさが変化
することによる符号化効率の低下を低減させることがで
きる。しかも,動き探索の部分における演算量を,探索
範囲に関係なくほぼ一定にすることが可能であるので,
特にハードウェア化する場合などに非常に効果的であ
る。
動きベクトル探索において,過去の動きベクトルの統計
を取ることにより,探索範囲の適切さを判断し,適応的
に探索範囲を変更するので,画像の動きの大きさが変化
することによる符号化効率の低下を低減させることがで
きる。しかも,動き探索の部分における演算量を,探索
範囲に関係なくほぼ一定にすることが可能であるので,
特にハードウェア化する場合などに非常に効果的であ
る。
【図1】本発明の概要説明図である。
【図2】本発明の処理概要を説明する図である。
【図3】本発明の処理概要を説明する図である。
【図4】ベクトル計測部の処理フローチャートである。
【図5】探索範囲決定部の処理フローチャートである。
【図6】動きベクトル探索部の処理フローチャートであ
る。
る。
1 画像前処理部 2 動き補償(MC)部 21 動きベクトル探索部 3 符号化部 4 量子化制御部 5 動き探索範囲判定部 51 ベクトル計測部 52 探索範囲決定部 53 閾値格納部 54 初期値格納部 55 クロック生成部
Claims (5)
- 【請求項1】 フレーム間ブロック動き予測により動画
像を圧縮符号化する動画像符号化装置において,動きベ
クトルの探索範囲が十分足りているかどうかを判定し,
判定結果に応じて動き探索範囲の大きさを変更する動き
探索範囲判定手段と,前記動き探索範囲内における動き
ベクトルの探索を,ピクチャー毎に所定の探索回数で実
行する動き補償手段とを備えたことを特徴とする動画像
符号化装置。 - 【請求項2】 請求項1記載の動画像符号化装置におい
て,前記動き探索範囲判定手段は,各ブロック毎の動き
ベクトルの統計をとり,あらかじめ決められた一つまた
は複数の閾値のそれぞれを超えているブロックの割合を
求め,その割合の大きさにより動き探索範囲の大きさを
変更することを特徴とする動画像符号化装置。 - 【請求項3】 請求項1記載の動画像符号化装置におい
て,前記動き探索範囲判定手段は,変更した動き探索範
囲の大きさを周期的に初期値にリセットする手段を持つ
ことを特徴とする動画像符号化装置。 - 【請求項4】 請求項1記載の動画像符号化装置におい
て,前記動き補償手段は,動きベクトルの探索をn画素
おきの飛び越し探索により行う探索手段を持ち,動き探
索範囲の大きさが変更された場合にnの値を変更するこ
とにより,所定の探索回数で探索を行うことを特徴とす
る動画像符号化装置。 - 【請求項5】 請求項1記載の動画像符号化装置におい
て,前記動き補償手段は,フレーム間予測の原画と参照
画のいずれか一方または両方をn:1に間引くことによ
って帯域を落とした画像を用いて動きベクトルを探索す
る手段を持ち,動き探索範囲の大きさが変更された場合
にnの値を変更することにより,所定の探索回数で探索
を行うことを特徴とする動画像符号化装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP21430797A JPH1155677A (ja) | 1997-08-08 | 1997-08-08 | 動画像符号化装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP21430797A JPH1155677A (ja) | 1997-08-08 | 1997-08-08 | 動画像符号化装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH1155677A true JPH1155677A (ja) | 1999-02-26 |
Family
ID=16653582
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP21430797A Pending JPH1155677A (ja) | 1997-08-08 | 1997-08-08 | 動画像符号化装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH1155677A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003087799A (ja) * | 2001-09-17 | 2003-03-20 | Fujitsu Ltd | 追跡型動きベクトル探索方法及び装置 |
WO2003056838A1 (en) * | 2001-12-25 | 2003-07-10 | Matsushita Electric Industrial Co., Ltd. | Moving picture compression/coding apparatus and motion vector detection method |
US7764739B2 (en) | 2004-02-13 | 2010-07-27 | Panasonic Corporation | Moving picture encoding device and method with time constraint |
JP2012038031A (ja) * | 2010-08-05 | 2012-02-23 | Kyushu Institute Of Technology | 移動体の前方への飛出し物体の検出方法及びその装置 |
-
1997
- 1997-08-08 JP JP21430797A patent/JPH1155677A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003087799A (ja) * | 2001-09-17 | 2003-03-20 | Fujitsu Ltd | 追跡型動きベクトル探索方法及び装置 |
WO2003056838A1 (en) * | 2001-12-25 | 2003-07-10 | Matsushita Electric Industrial Co., Ltd. | Moving picture compression/coding apparatus and motion vector detection method |
US7764739B2 (en) | 2004-02-13 | 2010-07-27 | Panasonic Corporation | Moving picture encoding device and method with time constraint |
JP2012038031A (ja) * | 2010-08-05 | 2012-02-23 | Kyushu Institute Of Technology | 移動体の前方への飛出し物体の検出方法及びその装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7292634B2 (en) | Image coding method and apparatus | |
KR950009699B1 (ko) | 움직임벡터 검출방법 및 장치 | |
EP0896300B1 (en) | Device and method for motion vector detection | |
JP4724459B2 (ja) | 適応時間予測を用いた動きベクトル検出 | |
US7599436B2 (en) | Method of determining search region of motion vector and motion vector detection apparatus | |
US6418168B1 (en) | Motion vector detection apparatus, method of the same, and image processing apparatus | |
US5687097A (en) | Method and apparatus for efficiently determining a frame motion vector in a video encoder | |
JP3655651B2 (ja) | データ処理装置 | |
KR20030014716A (ko) | 미디어 프로세서에서 mpeg2 디코딩의 동적인 복잡도예측 및 조절 | |
US20050232360A1 (en) | Motion estimation apparatus and method with optimal computational complexity | |
JPH10304374A (ja) | 動画像符号化装置 | |
JPH11289544A (ja) | 動き検出装置およびその方法 | |
JPH05328333A (ja) | 動きベクトル検出装置 | |
JP2684941B2 (ja) | 画像符号化方法及び画像符号化装置 | |
Young et al. | Automatic layout generation for CMOS operational amplifiers | |
JP3531532B2 (ja) | 動画像符号化装置、及び方法 | |
US20040105589A1 (en) | Moving picture compression/coding apparatus and motion vector detection method | |
JP3283159B2 (ja) | ソフトウェアによる画像符号化方法 | |
JPH10336672A (ja) | 符号化方式変換装置およびその動きベクトル検出方法 | |
JPH1155677A (ja) | 動画像符号化装置 | |
JPH0832969A (ja) | 動きベクトル検出装置 | |
JPH0262178A (ja) | 画像処理装置の動き検出方式 | |
US6788741B1 (en) | Device and method of retrieving high-speed motion | |
US6332001B1 (en) | Method of coding image data | |
JPH07231446A (ja) | 動きベクトル補正制御方式 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050712 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050912 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060912 |