JP3604864B2 - 動画像符号化装置 - Google Patents
動画像符号化装置 Download PDFInfo
- Publication number
- JP3604864B2 JP3604864B2 JP10868297A JP10868297A JP3604864B2 JP 3604864 B2 JP3604864 B2 JP 3604864B2 JP 10868297 A JP10868297 A JP 10868297A JP 10868297 A JP10868297 A JP 10868297A JP 3604864 B2 JP3604864 B2 JP 3604864B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- prediction
- coded
- coding
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明はデジタル動画像の符号化装置に関する。
【０００２】
【従来の技術】
近年、動画像符号化方式として、ＭＰＥＧ−１（ＩＳＯ／ＩＥＣ１１１７２）、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ１３８１８）などの動き補償フレーム間予測を用いたフレーム間符号化方式が蓄積、通信、放送の分野で用いられつつある。これらの方式においては、動画像シーケンスの各フレームを符号化ブロックに分割し、符号化ブロック毎に参照フレームから検出した動きベクトルを用いて予測ブロックを求める、動き補償フレーム間予測が行なわれている。
【０００３】
ＭＰＥＧにおける符号化ブロックの符号化モードとしては、過去の参照フレームからの予測を用いる前方予測モードと、未来の参照フレームからの予測を用いる後方予測モードと、過去の参照フレームからの予測と未来の参照フレームからの予測の平均値を用いる双方向予測モードと、予測を用いないフレーム内符号化モードが用いられる。
【０００４】
さらに、ＭＰＥＧにおいては各フレームを、フレーム内符号化モードのみで符号化するフレーム内符号化フレームと、前方予測モードもしくはフレーム内符号化モードを用いて符号化する前方予測符号化フレームと、前方予測モードもしくは後方予測モードもしくは双方向予測モードもしくはフレーム内符号化モードを用いて符号化する双方向予測符号化フレームのいずれかに分類して符号化する。
【０００５】
ここで、フレーム内符号化フレームはＩピクチャ、前方予測符号化フレームはＰピクチャ、双方向予測符号化フレームはＢピクチャと呼ばれる。図２０にＩ，Ｐ，Ｂピクチャの予測構造を示す。
【０００６】
動画像シーケンスにおいては、まずＩピクチャ２１が符号化される。Ｉピクチャは自身の符号化データのみで復号できる。続いて、Ｉピクチャ２１を参照フレームとし、Ｉピクチャ２１からの前方予測を用いてＰピクチャ２３が符号化される。次にＢピクチャ２２が、過去の参照フレームをＩピクチャ２１、未来の参照フレームをＰピクチャ２３として、前方予測，後方予測，双方向予測のいずれかを用いて符号化される。Ｂピクチャ２２の符号化の後、続くＰピクチャ２５がＰピクチャ２３を参照フレームとして符号化され、Ｐピクチャ２５の符号化後にＢピクチャ２４がＰピクチャ２３，２５を参照フレームとして符号化される。
【０００７】
以上から、画像の入力順序が２１，２２，２３，２４，２５であるのに対して、符号化の順序は２１，２３，２２，２５，２４となり、画像の順序を並べ替える必要が生じる。
【０００８】
図２１に、画像の入力順序と符号化順序の関係を示す。図２１（ａ）は参照フレームの時間間隔（以下、参照フレーム間隔）を１とした場合、図２１（ｂ）は参照フレーム間隔を２とした場合、図２１（ｃ）は参照フレーム間隔を３とした場合である。
【０００９】
図２２に、上述した従来の動画像符号化における符号化装置のブロック図を示す。ここで、１は画像順序の並べ替えのために画像を一時記憶するフレームメモリ、２はフレームメモリ１を制御する画像並べ替え制御回路、３は動き補償フレーム間予測のための動きベクトルを算出する動きベクトル検出回路、４は動きベクトル検出回路によって計算された情報から符号化モードを決定する符号化モード判定回路、５は予測ブロックを生成する動き補償予測回路、６はセレクタ、７は符号化ブロックと予測ブロックの差分ブロックを計算する減算器、８は差分ブロックを符号化する符号化器、９は符号化データを復号する復号器、１０は復号された差分ブロックと予測ブロックとを加算して復号ブロックを生成する加算器、１１は復号された参照フレームを記憶するフレームメモリである。
【００１０】
以下、図２２の動作について説明する。入力画像は、入力順序で一旦フレームメモリ１に書き込まれ、画像並べ替え制御回路２によって前記した符号化の順序で読み出される。フレームメモリ１から読み出された符号化ブロックの画素データは、動きベクトル検出回路３に入力される。
【００１１】
動きベクトル検出回路３は参照フレームのデータをフレームメモリ１１から読み出し、符号化ブロックとの間でマッチング誤差演算を行ない動きベクトルを検出する。この時、動きベクトル検出回路３においては、動き補償フレーム間予測における予測誤差や、符号化ブロックのアクティビティが計算され、符号化モード判定回路４に出力される。
【００１２】
符号化モード判定回路４は、動きベクトル検出回路３から出力された前記予測誤差や前記アクティビティなどの情報を用いて、当該符号化ブロックの符号化モードを決定する。ここで、一般的に、予測モードとしては予測誤差が最も小さいものが選択される。また、フレーム内符号化が用いられるか否かは、予測誤差とアクティビティの大小を比較し、予測誤差が小さければフレーム間予測が選択され、アクティビティが小さければフレーム内符号化が選択される。
【００１３】
動き補償予測回路５は、符号化モード判定回路４によって決定された予測モードに従い、フレームメモリ１１から読み出した参照フレームの画素データを用いて予測ブロックを生成する。
【００１４】
セレクタ６は、符号化モード判定回路４によって決定された予測モードに従って出力を切り替える。ここで、フレーム内符号化モードにおいては‘０’が選択され、それ以外の場合は動き補償予測回路５の出力（予測ブロック）が選択される。
【００１５】
符号化ブロックと予測ブロックとの間の差分ブロックが減算器７で算出される。差分ブロックは符号化器８で符号化され、符号化データが出力される。
【００１６】
ここで、ＩピクチャおよびＰピクチャは参照フレームとして以後のフレームに対する予測に用いられるため、ＩピクチャおよびＰピクチャの符号化データは復号器９で復号され、復号された差分ブロックは加算器１０において予測ブロックと加算される。加算器１０の出力（復号ブロック）はフレームメモリ１１に記憶される。
【００１７】
以上述べたように、Ｉ，Ｐピクチャの符号化データは復号され、以後のフレームに対する予測に用いられる。このため、Ｉ，Ｐピクチャで発生した符号化誤差はＰピクチャを通して時間方向に伝搬していく。これに対して、Ｂピクチャは他のフレームに対する予測には用いられないため、Ｂピクチャにおいて発生した符号化誤差は伝搬しない。
【００１８】
一方、Ｐピクチャにおけるフレーム間予測は過去からの予測のみであり、Ｂピクチャにおけるフレーム間予測は過去，未来両方からの予測である。このため、一般的にＰピクチャに比べてＢピクチャの方が予測誤差が小さくなり、符号化データの発生量が少なくなる。
【００１９】
以上の性質を利用し、符号化誤差が伝搬せず符号化データの発生量も少ないＢピクチャには情報量を少なく割り当て、符号化誤差が伝搬するＩ，Ｐピクチャには情報量を多く割り当てる。これにより、Ｉ，Ｐピクチャが高画質になって、Ｉ，Ｐピクチャを予測に使うＢピクチャの予測誤差が小さくなり、Ｂピクチャの符号化に必要な情報量が少なくなるためＩ，Ｐピクチャに割り当てる情報量が大きくなって、さらにＩ，Ｐピクチャが高画質になるという好循環に入り、シーケンス全体の画質を向上することが可能となる。
【００２０】
しかし、Ｉ，Ｐピクチャの画質が悪いと、Ｂピクチャの予測誤差が大きくなって、Ｂピクチャの符号化に、より多くの情報量が必要になり、さらにＩ，Ｐピクチャへの割り当て情報量が少なくなってＩ，Ｐピクチャの画質が低下し、Ｂピクチャの予測誤差が大きくなるという悪循環に陥り、シーケンス全体の画質が著しく悪化する。
【００２１】
ここで、動き補償フレーム間予測の予測誤差量は、符号化フレームと参照フレームの間の時間的な距離と、動きベクトルの探索範囲と、被写体の動き量などに依存する。
【００２２】
図２３に、動き補償予測における動きベクトルの例を示す。動きベクトルの検出方式としては、ブロックマッチング方式が一般的である。ブロックマッチング方式では、動きベクトル探索領域内の予測ブロック候補に対し、予測ブロック候補と符号化ブロックとの間の誤差量を計算する。そして、誤差量が最小となる候補を予測ブロックとし、予測ブロック位置の符号化ブロック位置からの相対的なズレ量を動きベクトルとする。
【００２３】
ここで、符号化フレームと参照フレームが時間的に離れていればいるほど、被写体の動き量も大きくなるため、より大きな動きベクトルの探索範囲が必要になる。
【００２４】
図２４に、符号化フレームと参照フレームのフレーム間距離と、必要な動きベクトル探索領域の関係を示す。図２４に示すように、符号化フレームと参照フレームが１フレーム時間離れている時に必要な動きベクトルの探索範囲が水平方向に±Ｋ、垂直方向に±Ｌの場合、符号化フレームと参照フレームが２フレーム時間離れている時には、動きベクトルの探索範囲は水平方向に±２Ｋ、垂直方向に±２Ｌ必要になる。
【００２５】
さらに、符号化フレームと参照フレームが時間的に離れていると、被写体の動きに、平行移動だけでなく回転や変形などの複雑な要素が加わり、予測が困難になる。
【００２６】
よって、一般的には、符号化フレームと参照フレームが時間的に離れると、予測誤差が増大する。すなわち、参照フレーム間隔が大きくなると、Ｐピクチャの符号化における予測誤差が大きくなる。しかしその一方で、参照フレーム間隔が大きくなり、Ｉ，Ｐピクチャの間に存在するＢピクチャのフレーム数が多くなると、情報量を少なく割り当てられるＢピクチャの割合が大きくなるため、Ｉ，Ｐピクチャへの割り当てビット数が多くなり、Ｉ，Ｐピクチャの画質を向上することができる。
【００２７】
以上から、参照フレーム間隔には、画像に応じて最適な値が存在することが分かる。
【００２８】
特開平８−６５６７８号「動画像符号化方式」に、ＮフレームからなるＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）の単位で、参照フレーム間隔ｍとＩ，Ｐピクチャの枚数ｎを最適化する方式が述べられている。ここで、ＧＯＰの中のＩピクチャは１枚とし、Ｎ，ｍ，ｎは式（１）を満足する。
【００２９】
【数１】
【００３０】
図２５に、特開平８−６５６７８号記載の処理を行なうブロック図を示す。ここで、２６は符号化ブロックと予測ブロックの相関を計算する相関計算回路、２７は相関計算回路２６によって計算された相関係数に基づき、前記ｍ，ｎを決定する予測構造判定回路である。なお、図２２と同一の機能を有するブロックには、同一の番号を付している。
【００３１】
相関計算回路２６は、式（２）で表される相関係数ρを計算する。
【００３２】
【数２】
【００３３】
ここで、ｘ（ｓ）は第ｓフレームの符号化画像の画素値、ｘ（ｓ−１）は第ｓ−１フレームの符号化画像の画素値である。また、Ｅ［・］は平均値を求める操作を表している。
【００３４】
予測構造判定回路２７は、ＧＯＰのフレーム数Ｎにおいて可能な全ての（ｍ，ｎ）の組み合わせに対して、式（３）で表される符号化効率を計算し、Ｇａｉｎが最大になる（ｍ，ｎ）の組を求める。
【００３５】
【数３】
【００３６】
ここで、ｗＰ ，ｗＢ は定数であり、Ｓ（ｍ−１）は式（４）で表される。
【００３７】
【数４】
【００３８】
画像並べ替え制御回路２は、予測構造判定回路２７によって決定された（ｍ，ｎ）に従ってＩ，Ｐ，Ｂピクチャの位置を決定し、フレームメモリ１から符号化フレームを読み出す。
【００３９】
【発明が解決しようとする課題】
前記特開平８−６５６７８号においては、式（２），（３），（４）に示す複雑な演算が必要である。これらは複数の乗除算演算やべき乗演算を含むため、実現するためには大規模な演算回路および演算時間が必要になる。特に、式（２）は画素単位の演算であるから処理量が大きく、さらに２個の乗算を含むため、回路規模が非常に大きくなる。
【００４０】
また、（ｍ，ｎ）の算出はＧＯＰ単位に行なわれるため、実時間符号化時に被写体やカメラの急な挙動などによって、式（２）に示す相関係数が急に変化した場合など、予測構造の変更が画像の変化に追随できず、画質劣化が発生する場合がある。
【００４１】
本発明は以上の問題点に鑑み、簡単な演算で予測構造を可変することができ、さらに、ＧＯＰよりも小さい単位で、より精密に予測構造を変更することが可能となる動画像符号化装置を提供することを目的とする。
【００４２】
【課題を解決するための手段】
本発明の請求項１記載の動画像符号化装置においては、動画像シーケンスの各フレームを符号化ブロックに分割し、各符号化ブロックを参照フレームからのフレーム間予測を用いて符号化する動画像符号化であって、前記符号化ブロックに対する符号化モードとして、過去の参照フレームからの予測を用いる前方予測モードと、未来の参照フレームからの予測を用いる後方予測モードと、過去の参照フレームからの予測と未来の参照フレームからの予測の平均値を予測として用いる双方向予測モードと、フレーム間予測を用いないフレーム内符号化モードとを備え、各フレームは、フレーム内の全ての符号化ブロックをフレーム内符号化モードで符号化するフレーム内符号化フレーム、フレーム内の各符号化ブロックを前方予測モードもしくはフレーム内符号化モードを用いて符号化する前方予測符号化フレーム、フレーム内の各符号化ブロックを前方予測モードもしくは後方予測モードもしくは双方向予測モードもしくはフレーム内符号化モードを用いて符号化する双方向予測符号化フレームのいずれかに分類され、フレーム内符号化フレームもしくは前方予測符号化フレームを参照フレームとする動画像符号化において、フレーム間予測の予測効率を計算する予測効率計算回路と、参照フレーム間隔決定回路とを具備し、フレーム内符号化フレームと前方予測符号化フレーム、もしくは前方予測符号化フレームと前方予測符号化フレーム、もしくはフレーム内符号化フレームとフレーム内符号化フレームの時間間隔である参照フレーム間隔を適応的に可変とし、該参照フレーム間隔を、予測効率計算回路の出力に応じて参照フレーム間隔決定回路において決定し、予測効率の算出に前記符号化ブロックのフレーム間予測における予測誤差を用い、前記符号化ブロックのフレーム間予測における予測誤差が所定のしきい値よりも小さい符号化ブロックを高効率予測ブロックと判定し、フレーム内における高効率予測ブロックの個数を予測効率とし、前記参照フレーム間隔決定回路において、フレーム内符号化フレームの位置を該フレーム内符号化フレームの直前で用いられていた第１の参照フレーム間隔から所定の値だけ増加した第２の参照フレーム間隔によって設定し、該フレーム内符号化フレームに対しても前方予測符号化フレームと同様の方法で該フレーム内符号化フレームに対する予測効率を算出して、該予測効率が所定のしきい値を上回った時には、該フレーム内符号化フレームの以後の符号化における参照フレーム間隔を第２の参照フレーム間隔とし、該予測効率が所定のしきい値を下回った時には、以後の符号化における参照フレーム間隔を第１の参照フレーム間隔とすることを特徴とする。
【００５２】
本発明の請求項２記載の動画像符号化装置においては、動画像シーケンスの各フレームを符号化ブロックに分割し、各符号化ブロックを参照フレームからのフレーム間予測を用いて符号化する動画像符号化であって、前記符号化ブロックに対する符号化モードとして、過去の参照フレームからの予測を用いる前方予測モードと、未来の参照フレームからの予測を用いる後方予測モードと、過去の参照フレームからの予測と未来の参照フレームからの予測の平均値を予測として用いる双方向予測モードと、フレーム間予測を用いないフレーム内符号化モードとを備え、各フレームは、フレーム内の全ての符号化ブロックをフレーム内符号化モードで符号化するフレーム内符号化フレーム、フレーム内の各符号化ブロックを前方予測モードもしくはフレーム内符号化モードを用いて符号化する前方予測符号化フレーム、フレーム内の各符号化ブロックを前方予測モードもしくは後方予測モードもしくは双方向予測モードもしくはフレーム内符号化モードを用いて符号化する双方向予測符号化フレームのいずれかに分類され、フレーム内符号化フレームもしくは前方予測符号化フレームを参照フレームとする動画像符号化において、フレーム間予測の予測効率を計算する予測効率計算回路と、参照フレーム間隔決定回路とを具備し、フレーム内符号化フレームと前方予測符号化フレーム、もしくは前方予測符号化フレームと前方予測符号化フレーム、もしくはフレーム内符号化フレームとフレーム内符号化フレームの時間間隔である参照フレーム間隔を適応的に可変とし、該参照フレーム間隔を、予測効率計算回路の出力に応じて参照フレーム間隔決定回路において決定し、予測効率の算出に前記符号化ブロックのフレーム間予測における予測誤差を用い、前記符号化ブロックのフレーム間予測における予測誤差が所定のしきい値よりも小さい符号化ブロックを高効率予測ブロックと判定し、フレーム内における高効率予測ブロックの個数を予測効率とし、参照フレーム間にある双方向予測符号化フレームの符号化において、前方予測モードが選択された符号化ブロックの個数が所定のしきい値を下回り、かつ、後方予測モードが選択された符号化ブロックの個数が所定のしきい値を下回る双方向予測符号化フレームが存在する条件が成立する場合のみ、該双方向予測符号化フレーム以降の参照フレーム間隔の増減を制御することを特徴とする。
【００５３】
本発明の請求項３記載の動画像符号化装置においては、動画像シーケンスの各フレームを符号化ブロックに分割し、各符号化ブロックを参照フレームからのフレーム間予測を用いて符号化する動画像符号化であって、前記符号化ブロックに対する符号化モードとして、過去の参照フレームからの予測を用いる前方予測モードと、未来の参照フレームからの予測を用いる後方予測モードと、過去の参照フレームからの予測と未来の参照フレームからの予測の平均値を予測として用いる双方向予測モードと、フレーム間予測を用いないフレーム内符号化モードとを備え、各フレームは、フレーム内の全ての符号化ブロックをフレーム内符号化モードで符号化するフレーム内符号化フレーム、フレーム内の各符号化ブロックを前方予測モードもしくはフレーム内符号化モードを用いて符号化する前方予測符号化フレーム、フレーム内の各符号化ブロックを前方予測モードもしくは後方予測モードもしくは双方向予測モードもしくはフレーム内符号化モードを用いて符号化する双方向予測符号化フレームのいずれかに分類され、フレーム内符号化フレームもしくは前方予測符号化フレームを参照フレームとする動画像符号化において、フレーム間予測の予測効率を計算する予測効率計算回路と、参照フレーム間隔決定回路とを具備し、フレーム内符号化フレームと前方予測符号化フレーム、もしくは前方予測符号化フレームと前方予測符号化フレーム、もしくはフレーム内符号化フレームとフレーム内符号化フレームの時間間隔である参照フレーム間隔を適応的に可変とし、該参照フレーム間隔を、予測効率計算回路の出力に応じて参照フレーム間隔決定回路において決定し、予測効率の算出に前記符号化ブロックのフレーム間予測における予測誤差を用い、前記符号化ブロックのフレーム間予測における予測誤差が所定のしきい値よりも小さい符号化ブロックを高効率予測ブロックと判定し、フレーム内における高効率予測ブロックの個数を予測効率とし、参照フレーム間にある双方向予測符号化フレームの符号化において、予測効率が所定のしきい値を上回る双方向予測符号化フレームが存在する条件が成立する場合のみ、該双方向予測符号化フレーム以降の参照フレーム間隔の増減を制御することを特徴とする。
【００５４】
本発明の請求項４記載の動画像符号化装置においては、動画像シーケンスの各フレームを符号化ブロックに分割し、各符号化ブロックを参照フレームからのフレーム間予測を用いて符号化する動画像符号化であって、前記符号化ブロックに対する符号化モードとして、過去の参照フレームからの予測を用いる前方予測モードと、未来の参照フレームからの予測を用いる後方予測モードと、過去の参照フレームからの予測と未来の参照フレームからの予測の平均値を予測として用いる双方向予測モードと、フレーム間予測を用いないフレーム内符号化モードとを備え、各フレームは、フレーム内の全ての符号化ブロックをフレーム内符号化モードで符号化するフレーム内符号化フレーム、フレーム内の各符号化ブロックを前方予測モードもしくはフレーム内符号化モードを用いて符号化する前方予測符号化フレーム、フレーム内の各符号化ブロックを前方予測モードもしくは後方予測モードもしくは双方向予測モードもしくはフレーム内符号化モードを用いて符号化する双方向予測符号化フレームのいずれかに分類され、フレーム内符号化フレームもしくは前方予測符号化フレームを参照フレームとする動画像符号化において、フレーム間予測の予測効率を計算する予測効率計算回路と、参照フレーム間隔決定回路とを具備し、フレーム内符号化フレームと前方予測符号化フレーム、もしくは前方予測符号化フレームと前方予測符号化フレーム、もしくはフレーム内符号化フレームとフレーム内符号化フレームの時間間隔である参照フレーム間隔を適応的に可変とし、該参照フレーム間隔を、予測効率計算回路の出力に応じて参照フレーム間隔決定回路において決定し、予測効率の算出に前記符号化ブロックのフレーム間予測における予測誤差を用い、前記符号化ブロックのフレーム間予測における予測誤差が所定のしきい値よりも小さい符号化ブロックを高効率予測ブロックと判定し、フレーム内における高効率予測ブロックの個数を予測効率とし、参照フレーム間にある双方向予測符号化フレームの符号化において、前方予測モードが選択された符号化ブロックの個数が所定のしきい値を下回り、かつ、後方予測モードが選択された符号化ブロックの個数が所定のしきい値を下回る双方向予測符号化フレームが存在する条件と、予測効率が所定のしきい値を上回る双方向予測符号化フレームが存在する条件が、両方とも成立する場合のみ、該双方向予測符号化フレーム以降の参照フレーム間隔の増減を制御することを特徴とする。
【００５５】
本発明の請求項５記載の動画像符号化装置においては、動画像シーケンスの各フレームを符号化ブロックに分割し、各符号化ブロックを参照フレームからのフレーム間予測を用いて符号化する動画像符号化であって、前記符号化ブロックに対する符号化モードとして、過去の参照フレームからの予測を用いる前方予測モードと、未来の参照フレームからの予測を用いる後方予測モードと、過去の参照フレームからの予測と未来の参照フレームからの予測の平均値を予測として用いる双方向予測モードと、フレーム間予測を用いないフレーム内符号化モードとを備え、各フレームは、フレーム内の全ての符号化ブロックをフレーム内符号化モードで符号化するフレーム内符号化フレーム、フレーム内の各符号化ブロックを前方予測モードもしくはフレーム内符号化モードを用いて符号化する前方予測符号化フレーム、フレーム内の各符号化ブロックを前方予測モードもしくは後方予測モードもしくは双方向予測モードもしくはフレーム内符号化モードを用いて符号化する双方向予測符号化フレームのいずれかに分類され、フレーム内符号化フレームもしくは前方予測符号化フレームを参照フレームとする動画像符号化において、フレーム間予測の予測効率を計算する予測効率計算回路と、参照フレーム間隔決定回路とを具備し、フレーム内符号化フレームと前方予測符号化フレーム、もしくは前方予測符号化フレームと前方予測符号化フレーム、もしくはフレーム内符号化フレームとフレーム内符号化フレームの時間間隔である参照フレーム間隔を適応的に可変とし、該参照フレーム間隔を、予測効率計算回路の出力に応じて参照フレーム間隔決定回路において決定し、予測効率の算出に前記符号化ブロックのフレーム間予測における予測誤差を用い、前記符号化ブロックのフレーム間予測における予測誤差が所定のしきい値よりも小さい符号化ブロックを高効率予測ブロックと判定し、フレーム内における高効率予測ブロックの個数を予測効率とし、前記参照フレーム間隔決定回路において、フレーム内符号化フレームもしくは前方予測符号化フレームの符号化における予測効率が第１のしきい値を下回った時に、該フレーム以後の符号化における参照フレーム間隔を減少し、フレーム内符号化フレームもしくは前方予測符号化フレームの符号化における予測効率が第２のしきい値を上回った時に、該フレーム以後の符号化における参照フレーム間隔を増加することを特徴とする。
【００５６】
本発明の請求項６記載の動画像符号化装置においては、動画像シーケンスの各フレームを符号化ブロックに分割し、各符号化ブロックを参照フレームからのフレーム間予測を用いて符号化する動画像符号化であって、前記符号化ブロックに対する符号化モードとして、過去の参照フレームからの予測を用いる前方予測モードと、未来の参照フレームからの予測を用いる後方予測モードと、過去の参照フレームからの予測と未来の参照フレームからの予測の平均値を予測として用いる双方向予測モードと、フレーム間予測を用いないフレーム内符号化モードとを備え、各フレームは、フレーム内の全ての符号化ブロックをフレーム内符号化モードで符号化するフレーム内符号化フレーム、フレーム内の各符号化ブロックを前方予測モードもしくはフレーム内符号化モードを用いて符号化する前方予測符号化フレーム、フレーム内の各符号化ブロックを前方予測モードもしくは後方予測モードもしくは双方向予測モードもしくはフレーム内符号化モードを用いて符号化する双方向予測符号化フレームのいずれかに分類され、フレーム内符号化フレームもしくは前方予測符号化フレームを参照フレームとする動画像符号化において、フレーム間予測の予測効率を計算する予測効率計算回路と、参照フレーム間隔決定回路とを具備し、フレーム内符号化フレームと前方予測符号化フレーム、もしくは前方予測符号化フレームと前方予測符号化フレーム、もしくはフレーム内符号化フレームとフレーム内符号化フレームの時間間隔である参照フレーム間隔を適応的に可変とし、該参照フレーム間隔を、予測効率計算回路の出力に応じて参照フレーム間隔決定回路において決定し、予測効率の算出に前記符号化ブロックのフレーム間予測における予測誤差を用い、前記符号化ブロックのフレーム間予測における予測誤差が所定のしきい値よりも小さい符号化ブロックを高効率予測ブロックと判定し、フレーム内における高効率予測ブロックの個数を予測効率とし、前記参照フレーム間隔決定回路において、フレーム内符号化フレームもしくは前方予測符号化フレームとする符号化フレームの位置を決定する際に、符号化フレームとなりうる複数の候補フレームの全てに対して前記予測効率を求め、該予測効率が所定のしきい値を上回る前記候補フレームの中で、時間的に最も新しい候補フレームを前記符号化フレームとすることを特徴とする。
本発明の請求項７記載の動画像符号化装置においては、前記符号化ブロックのフレーム間予測における予測誤差として、符号化ブロックと予測ブロックの間の差分絶対値和、もしくは、符号化ブロックと予測ブロックの間の差分自乗和を用いることを特徴とする。
本発明の請求項８記載の動画像符号化装置においては、前記参照フレーム間隔決定回路において、前方予測符号化フレームの符号化における予測効率が所定のしきい値を下回った時に、該前方予測符号化フレーム以降の符号化における参照フレーム間隔を減少することを特徴とする。
【００５７】
本発明の請求項９記載の動画像符号化装置においては、前記フレーム画像に対する処理と同様の処理をフィールド画像に対して適用することを特徴とする。
【００５８】
【発明の実施の形態】
図１に、本発明の動画像符号化装置における一実施形態のブロック図を示す。ここで、１２は予測効率計算回路、１３は参照フレーム間隔決定回路である。なお、図２２と同一の機能を有するブロックには、同一の番号を付している。
【００５９】
予測効率計算回路１２においては、動きベクトル検出回路３から出力され、符号化モード判定回路４で用いられる情報から、当該符号化フレームにおける予測効率が計算される。
【００６０】
参照フレーム間隔決定回路１３においては、予測効率計算回路１２で計算された予測効率と、符号化モード判定回路４で決定された符号化モードから、参照フレーム間隔ｍを決定し、画像並べ替え制御回路２を制御する。
【００６１】
画像並べ替え制御回路２は、参照フレーム間隔決定回路１３から指定された順序でフレームメモリ１から符号化フレームを読み出す。
【００６２】
図２に、本発明の請求項３に記載する予測効率計算回路１２の一実施形態のブロック図を示す。１５は予測誤差と所定のしきい値とを比較し、高効率予測ブロックか否かを判定する比較器、１６は高効率予測ブロックの個数をカウントするカウンタである。
【００６３】
本実施形態においては、予測誤差が所定のしきい値を下回るブロックを予測効率が高いブロック（以下、高効率予測ブロック）と判定し、フレーム内における高効率予測ブロックの個数を当該フレームにおける予測効率としている。なお、高効率予測ブロックの判定は、フレーム内の全てのブロックに対して行なってもよいし、一部のブロックに対してのみ行なってもよい。
【００６４】
ここで、カウンタ１６は、フレーム毎に０にリセットされ、高効率予測ブロックの個数をカウントし、カウント値を符号化フレームにおける予測効率とする。
【００６５】
図３に、本発明の請求項４に記載する予測効率計算回路１２の一実施形態のブロック図を示す。１４はアクティビティに対して定数αを乗ずる定数乗算器、１７は予測誤差と定数乗算器１４の出力としきい値とを比較し、高効率予測ブロックか否かを判定する比較器であり、図２と同一の機能を有するブロックには同一の符号を付している。
【００６６】
図４に、比較器１７の特性の一実施形態を示す。なお、図４において、α＝０とした場合が比較器１５の特性となる。
【００６７】
一般的に、予測誤差が大きいと予測効率が低いと言えるが、複雑な絵柄すなわちアクティビティが大きい場合にも予測誤差が大きくなる傾向がある。これは、動きベクトル検出によって符号化ブロックの動きを正確に追跡していても、アクティビティが大きければ予測誤差が大きくなることを意味し、予測誤差の大きさだけでは予測効率を正確に判断できないことになる。式（５）においては、予測誤差をアクティビティで除することにより、予測効率におけるアクティビティの影響を低減している。
【００６８】
【数５】
【００６９】
すなわち、予測効率の高い符号化ブロックに対しては、式（５）が小さくなり、逆に予測効率が低い符号化ブロックに対しては、式（５）が大きくなる。言いかえると、絵柄は複雑だが予測が当たっている時、式（５）は小さくなり、絵柄は単純だが予測が当たらない時、式（５）は大きくなる。
【００７０】
図４においては、式（５）が定数αを下回る符号化ブロックを、高効率予測ブロックと判定している。ただし、予測誤差が十分小さい時には、式（５）がαを上回っても符号化効率は低くならないので、所定のしきい値を設定して、予測誤差が所定のしきい値よりも小さければ高効率予測ブロックと判定している。よって、符号化ブロックのアクティビティと予測誤差を図４にプロットし、斜線の領域に入れば高効率予測ブロックと判定する。なお、高効率予測ブロックの判定は、フレーム内の全てのブロックに対して行なってもよいし、一部のブロックに対してのみ行なってもよい。
【００７１】
図３においては、図２と同様に、カウンタ１６は、フレーム毎に０にリセットされ、高効率予測ブロックの個数をカウントし、カウント値を当該フレームにおける予測効率とする。
【００７２】
以上のように、図３においては、予測効率の計算に予測誤差だけでなくアクティビティも使用することによって、正確な予測効率を算出することを可能にしている。
【００７３】
図５に、本発明の請求項５に記載する予測効率計算回路の一実施形態のブロック図を示す。１９は加算器、２０は加算結果を保持するレジスタであり、加算器１９とレジスタ２０は累積加算器を構成して予測誤差の累積値を計算する。また、１８は予測誤差の累積値の逆数を算出するための除算器である。
【００７４】
レジスタ２０はフレーム毎にリセットされ、符号化ブロック毎の予測誤差を１フレーム分累積加算する。
【００７５】
除算器１８で計算される符号化フレームに対する予測効率は、式（６）で表される。
【００７６】
【数６】
【００７７】
ここで、式（６）の分母における“＋１”は累積予測誤差が０の時に、式（６）の分母が０になることを防ぐために付加しており、１以外の値の加算でも構わない。
【００７８】
式（６）においては、予測誤差が小さいほど予測効率が高いと判定し、累積予測誤差の逆数を符号化フレームにおける予測効率としている。なお、予測誤差の累積計算は、フレーム内の全てのブロックに対して行なってもよいし、一部のブロックに対してのみ行なってもよい。
【００７９】
図６に、本発明の請求項６に記載する予測効率計算回路の一実施形態のブロック図を示す。加算器１９とレジスタ２０は、図５と同様に累積加算器を構成しており、式（７）で表される符号化ブロック毎の予測効率を１フレーム分累積加算する。
【００８０】
【数７】
【００８１】
ここで、式（７）の分母における”＋１”は予測誤差が０の時に、式（７）の分母が０になることを防ぐために付加しており、１以外の値の加算でも構わない。
【００８２】
式（７）は式（５）の逆数となっており、予測効率が高い符号化ブロックにおいては値が大きくなり、予測効率が低い符号化ブロックにおいては値が小さくなる。
【００８３】
よって、符号化ブロック毎に計算された式（７）の値を１フレーム分累積加算することによって、符号化フレームに対する予測効率を計算することができる。なお、予測誤差の累積計算は、フレーム内の全てのブロックに対して行なってもよいし、一部のブロックに対してのみ行なってもよい。
【００８４】
図５，図６においては、図２，図３と異なり、符号化ブロック単位でのしきい値判定がないため、しきい値判定における誤判定の影響がなく、正確な予測効率の計算が可能となる。
【００８５】
なお、図２，図３，図５，図６においては、予測効率の計算に予測誤差とアクティビティを用いている。これらのパラメータは、通常符号化モードの判定に用いているものであるため、新たに計算する必要はない。よって、予測効率の計算に伴うハードウェア規模の増加はほとんど発生しない。
【００８６】
本発明の請求項７に記載する動画像符号化装置においては、符号化ブロックにおける予測誤差として式（８）もしくは式（９）を用いる。
【００８７】
【数８】
【００８８】
【数９】
【００８９】
ここで、ｘは符号化ブロックの画素値、ｐは予測ブロックの画素値、Ｂはブロック内の画素数、ｉは画素に対するインデックスである。
【００９０】
本発明の請求項８に記載する動画像符号化装置においては、符号化ブロックにおけるアクティビティとして式（１０）もしくは式（１１）を用いる。
【００９１】
【数１０】
【００９２】
【数１１】
【００９３】
【数１２】
【００９４】
式（１２）におけるｄは符号化ブロック内における画素値の平均値（直流成分）である。このため、式（１０）におけるアクティビティは符号化ブロックにおける交流成分の絶対値和となり、式（１１）におけるアクティビティは符号化ブロックにおける交流成分の自乗和となる。
【００９５】
図７に、本発明の請求項９における参照フレーム間隔ｍの制御例を示す。図７においては、ｍ＝２として符号化している時に、第２フレーム以後で被写体の動きが激しくなった場合を仮定している。すなわち、第２フレーム以後で参照フレーム間隔を減じることが必要となる。
【００９６】
この時、画像順序の並べ替えによって、第２フレームよりも第３フレームの方が先に符号化されるため、第３フレームの符号化において、予測効率が所定のしきい値を下回り、被写体の動きが激しくなったことが認識される。この場合、第２フレームは通常の手順で第３フレームの次に符号化しなければならないため、第４フレーム以降の符号化において、参照フレーム間隔を減じる処理が可能になる。図７においては、第３フレームまではｍ＝２としており、第４フレーム以降でｍ＝２から減じてｍ＝１としている。
【００９７】
以上のように、従来例（特開平８−６５６７８号）におけるＧＯＰ単位の制御と異なり、本発明においては、参照フレーム間隔の単位で予測構造の制御を行なっているため、被写体やカメラの動きが急に変化した場合にも、素早く反応することができ、画質も向上する。
【００９８】
また、図２４に示すように、参照フレームと符号化フレームの間の時間的距離を短くすることによって、実質的な動きベクトル探索範囲を広くすることができる。言いかえれば、動きベクトル探索範囲が小さくても、動きベクトル探索範囲に応じて参照フレームと符号化フレームの間の時間的距離が短く設定されて予測効率が高くなるため、動きベクトル検出回路の回路規模に応じた最適な予測構造を設定することができる。
【００９９】
図８，図９に、本発明の請求項１０における参照フレーム間隔ｍの制御例を示す。ここでは、当初ｍ＝１が設定されていると仮定している。
【０１００】
図８，図９において、第３フレームの符号化終了後、ｍ＝２の時の予測効率を調べるため、第４フレームをＢピクチャとして一旦ｍ＝２とし、第５フレームをＩピクチャとする。よって、画像順序の並べ替えから第５フレームを第４フレームよりも先に符号化することになる。
【０１０１】
第５フレームはＩピクチャとして符号化するから、本来フレーム間予測は行なわないが、Ｐピクチャと同様の方法で仮想的に予測を行ない、直前のＰピクチャである第３フレームからの予測効率を算出する。
【０１０２】
図８では、第５フレームの符号化における予測効率が所定のしきい値を上回った、すなわち予測効率が高いと判定されるため、第６フレーム以降においても、ｍ＝２にしたまま符号化を進めている。一方、図９では、第５フレームの符号化における予測効率が所定のしきい値を下回った、すなわち予測効率が低いと判定されるため、第６フレーム以降では、再びｍ＝１にして符号化を進めている。
【０１０３】
Ｉピクチャ自身の符号化効率は予測効率に依存しない。このため、Ｉピクチャにおいてｍを増やして仮想的に予測効率を計算することにより、ｍを増やした時の予測効率を、符号化効率を下げることなく調べることができ、ｍを増加しても予測効率が良好か否かを、効果的に判断することができる。
【０１０４】
図１０，図１１に、本発明の請求項１１における参照フレーム間隔ｍの制御例を示す。
【０１０５】
図１０においては、ｍ＝２として符号化している時に、第２フレームと第３フレームの間でシーンチェンジが発生した場合を仮定しており、図１１においては、ｍ＝２として符号化している時に、第１フレームと第２フレームの間でシーンチェンジが発生した場合を仮定している。
【０１０６】
シーンチェンジが発生すると、シーンの切れ目にあるＢピクチャにおいては、双方向予測の選択率が低下し、前方向予測、もしくは、後方向予測の選択率が上昇する。図１０においては、Ｂピクチャとして符号化される第２フレームの直後でシーンチェンジが発生しており、Ｂピクチャにおいては、前方向予測が選択される率が高くなる。逆に図１１においては、Ｂピクチャとして符号化される第２フレームの直前でシーンチェンジが発生しており、Ｂピクチャにおいては、後方向予測が選択される率が高くなる。また、いずれの場合にも、シーンチェンジをまたいで予測される第３フレームにおいては予測効率が低下する。
【０１０７】
図１０と図１１においては、Ｐピクチャとして符号化される第３フレームにおいて、請求項９に記載した条件が満足されているため、ｍを減じることになる。しかし、第３フレームに続いて符号化される第２フレームにおいて、前方向予測が選択される符号化ブロック（以下、前方向予測ブロック）の個数、もしくは、後方向予測が選択される符号化ブロック（以下、後方向予測ブロック）の個数が所定のしきい値を超えるので、ｍを減じる処理がとりやめられる。
【０１０８】
シーンチェンジが発生した場合には、動画像シーケンス自体の予測効率とは無関係に予測効率が低下するが、低下は一時的なものであり、このような場合には、ｍを減じない方がシーケンス全体の符号化効率が良くなる。
【０１０９】
図１２に、本発明の請求項１２における参照フレーム間隔ｍの制御例を示す。図１２においては、ｍ＝２として符号化している時に、第２フレームから第３フレームにかけてフラッシュがたかれ、輝度値の急激な変化が発生した場合を仮定している。
【０１１０】
フラッシュがたかれた場合、画像の性質が短時間に急激に変化し、一時的に予測効率が低下する。
【０１１１】
図１２においては、第３フレームにおいて、請求項９に記載した条件が満足されるため、ｍを減じることになる。しかし、フラッシュの開始点である第２フレームにおいても、予測効率が所定のしきい値を下回るため、ｍを減じる処理がとりやめられる。
【０１１２】
フラッシュなどによる画像の性質の一過性の変化によって予測効率が低下する場合についても、前記したシーンチェンジと同様の理由でｍを減じない方がシーケンス全体の符号化効率が良くなる。
【０１１３】
図１３，図１４，図１５に、上記した処理の流れをまとめてフローチャートで表す。ここで、図１３はＩピクチャにおける処理の流れを、図１４はＰピクチャにおける処理の流れを、図１５はＢピクチャにおける処理の流れを表している。
【０１１４】
図中における“フラグ”は、Ｂピクチャの符号化後にｍを減少するか否かを判定するためのもので、フラグ＝１の時に、以後のピクチャの符号化におけるｍを減少する。
【０１１５】
Ｉピクチャにおいては、請求項１０に従って、ｍを増加してから符号化を行ない、この時、同時に予測効率を計算する。ここで、予測効率が所定のしきい値を上回ればフラグは０にセットされ、増加したｍの値が以後の符号化において用いられる。逆に、予測効率が所定のしきい値を下回ればフラグは１にセットされる。
【０１１６】
Ｐピクチャにおいては、請求項９に従い、予測効率が所定のしきい値を上回ればフラグは０にセットされ、逆に、予測効率が所定のしきい値を下回ればフラグは１にセットされる。
【０１１７】
Ｂピクチャにおいては、請求項１３に従い、前方向予測ブロックが所定の個数を超えた、もしくは後方向予測ブロックが所定の個数を超えた、もしくは予測効率が所定のしきい値を下回った時にフラグは０にセットされる。すなわち、請求項１３においては、請求項１１，１２の両方の条件を用いることによって、シーンチェンジにもフラッシュにも対応している。
【０１１８】
以上の判定の後、続いて符号化するピクチャがＩピクチャもしくはＰピクチャの時に、フラグ＝１ならば、以後のピクチャの符号化におけるｍを減少し、フラグ＝０ならば、現状のｍを以後のピクチャの符号化においても使用する。
【０１１９】
図１６に、本発明の請求項１４における第１のしきい値と第２のしきい値の例を示し、図１７に、参照フレーム間隔ｍの制御例を示す。
【０１２０】
図１６において、予測効率が第１のしきい値を下回った時には、以後の符号化における参照フレーム間隔ｍを減少し、予測効率が第２のしきい値を上回った時には、以後の符号化における参照フレーム間隔ｍを増加する。
【０１２１】
図１７においては、第３フレームの符号化における予測効率が第１のしきい値を下回ったため、第４フレーム以後のフレームの符号化における参照フレーム間隔ｍをｍ＝２からｍ＝１に減少し、第７フレームの符号化における予測効率が第２のしきい値を上回ったため、第８フレーム以後の符号化における参照フレーム間隔ｍをｍ＝１からｍ＝２に増加している。
【０１２２】
本実施形態においては、ＩピクチャおよびＰピクチャの位置においてｍを増減することができるため、Ｉピクチャの符号化においてのみｍを増加する請求項１０に比較して、より細かな単位でのｍの制御が可能になる。
【０１２３】
以上の実施形態においては、ｍを２もしくは１の間で制御する場合について説明したが、これ以外の値についても、同様の方法で制御することができる。
【０１２４】
図１８に、本発明の請求項１５におけるＩピクチャおよびＰピクチャの処理のフローチャートを示す。図１８においては、ＩピクチャおよびＰピクチャの符号化時に、最大参照フレーム間隔Ｍに対して参照フレーム間隔ｍをｍ＝Ｍ，Ｍ−１，…，１の順に変化して予測効率を試算し、最初に所定のしきい値を上回った予測効率におけるｍを、該符号化フレームにおける参照フレーム間隔として、符号化を行なう。
【０１２５】
図１９を用いて、本実施形態の動作を説明する。図１９（ａ）に、Ｍ＝３とした時の符号化フレームと参照フレームの関係を示す。ここで、第１フレームは符号化済みのＰピクチャであり、次に符号化するＰピクチャのフレーム間予測における参照フレームとして用いられる。
【０１２６】
まず、第４フレーム（ｍ＝３），第３フレーム（ｍ＝２），第２フレーム（ｍ＝１）を、各々Ｐピクチャと仮定して予測効率を試算する。この時のｍと予測効率の関係の例を図１９（ｂ）に示す。一般的に、参照フレームと符号化フレームの間のフレーム間距離が短いほど予測効率は高くなるが、図１９（ｂ）において、予測効率が所定のしきい値を上回るｍの最大値はｍ＝２である。
【０１２７】
よって、図１９（ｃ）に示すように、ｍ＝２が選択され、第３フレームがＰピクチャとして符号化される。このため、第２フレームはＢピクチャとして、第３フレームに続いて符号化される。
【０１２８】
本実施形態においては、ＩピクチャおよびＰピクチャの符号化前に、選択可能な全ての参照フレーム間隔における予測効率を試算し、これに基づき、使用する参照フレーム間隔を決定するため、ＩピクチャおよびＰピクチャの符号化毎に最適な参照フレーム間隔を選択することが可能となる。
【０１２９】
なお、以上の実施形態においては、フレーム画像に対する処理を中心に説明してきたが、同様の処理をフィールド画像に対して適用することによって、フィールド単位の符号化においても同様の効果を得ることができる。
【０１３０】
【発明の効果】
本発明においては、予測効率に応じて参照フレーム間の距離を制御することにより、被写体やカメラの動きが激しい場合などフレーム間予測誤差が大きい時には、参照フレームの時間的距離を小さくし、予測効率を向上することで画質向上を図り、予測誤差が小さい時には、参照フレームの時間的距離を大きくし、参照フレームへの割り当て情報量を増加することで画質を向上することができる。
【０１３１】
また、動きベクトル探索範囲が小さくても、参照フレーム間距離を小さくすることで予測効率を高く保つことができ、動きベクトル検出回路の回路規模に応じて最適な予測構造を設定することが可能になる。
【０１３２】
本発明の請求項３，４においては、比較器とカウンタのみで予測効率を算出できるため、予測効率の演算回路の回路規模を非常に小さすることができる。
【０１３３】
本発明の請求項５，６においては、符号化ブロック単位でのしきい値判定がないため、しきい値判定における誤判定の影響がなく、正確な予測効率の計算が可能となる。
【０１３４】
本発明の請求項４，６においては、予測効率の計算に予測誤差だけでなくアクティビティも使用することによって、予測効率に対する符号化ブロック自身の絵柄の複雑さの影響を抑え、正確な予測効率を算出することが可能になる。
【０１３５】
本発明の請求項１１，１２，１３においては、シーンチェンジやフラッシュなどによって一時的に予測効率が低下する場合に、参照フレームの時間的距離が短くなり符号化効率が低下することを防ぎ、動画像シーケンス全体の画質を向上することができる。
【０１３６】
本発明の請求項１４においては、ＩピクチャおよびＰピクチャの位置において参照フレーム間隔を増減することができるため、細かな単位での参照フレーム間隔の制御が可能になる。
【０１３７】
本発明の請求項１５においては、ＩピクチャおよびＰピクチャの符号化前に、選択可能な全ての参照フレーム間隔における予測効率を試算し、これに基づき、次に使用する参照フレーム間隔を決定するため、ＩピクチャおよびＰピクチャの符号化毎に最適な参照フレーム間隔を選択することが可能となる。
【０１３８】
本発明の請求項１６においては、フィールド構造の符号化に対してもフレーム構造の符号化と同様の効果を得ることができる。
【図面の簡単な説明】
【図１】本発明における一実施形態のブロック図である。
【図２】本発明の請求項３における一実施形態のブロック図である。
【図３】本発明の請求項４における一実施形態のブロック図である。
【図４】図３における比較器の特性の一実施形態である。
【図５】本発明の請求項５における一実施形態のブロック図である。
【図６】本発明の請求項６における一実施形態のブロック図である。
【図７】本発明の請求項９における参照フレーム間隔ｍの制御例を示す図である。
【図８】本発明の請求項１０における参照フレーム間隔ｍの制御例を示す第１の図である。
【図９】本発明の請求項１０における参照フレーム間隔ｍの制御例を示す第２の図である。
【図１０】本発明の請求項１１における参照フレーム間隔ｍの制御例を示す第１の図である。
【図１１】本発明の請求項１１における参照フレーム間隔ｍの制御例を示す第２の図である。
【図１２】本発明の請求項１２における参照フレーム間隔ｍの制御例を示す図である。
【図１３】本発明の請求項９，１０，１３におけるＩピクチャの処理のフローチャートである。
【図１４】本発明の請求項９，１０，１３におけるＰピクチャの処理のフローチャートである。
【図１５】本発明の請求項９，１０，１３におけるＢピクチャの処理のフローチャートである。
【図１６】本発明の請求項１４における第１のしきい値と第２のしきい値の例を示す図である。
【図１７】本発明の請求項１４における参照フレーム間隔ｍの制御例を示す図である。
【図１８】本発明の請求項１５におけるＩピクチャおよびＰピクチャの処理のフローチャートである。
【図１９】本発明の請求項１５における実施形態の動作を説明する図である。
【図２０】ＭＰＥＧにおける予測構造を説明する図である。
【図２１】ＭＰＥＧにおける画像順序の並べ替えを説明する図である。
【図２２】従来の動画像符号化装置のブロック図である。
【図２３】動きベクトル検出を説明する図である。
【図２４】符号化フレームと参照フレームの間の時間的距離と、動きベクトルの探索範囲の関係を説明する図である。
【図２５】特開平８−６５６７８号記載の処理を行なう従来の動画像符号化装置のブロック図である。
【符号の説明】
１ フレームメモリ
２ 画像並べ替え制御回路
３ 動きベクトル検出回路
４ 符号化モード判定回路
５ 動き補償予測回路
６ セレクタ
８ 符号化器
９ 復号器
１１ フレームメモリ
【発明の属する技術分野】
本発明はデジタル動画像の符号化装置に関する。
【０００２】
【従来の技術】
近年、動画像符号化方式として、ＭＰＥＧ−１（ＩＳＯ／ＩＥＣ１１１７２）、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ１３８１８）などの動き補償フレーム間予測を用いたフレーム間符号化方式が蓄積、通信、放送の分野で用いられつつある。これらの方式においては、動画像シーケンスの各フレームを符号化ブロックに分割し、符号化ブロック毎に参照フレームから検出した動きベクトルを用いて予測ブロックを求める、動き補償フレーム間予測が行なわれている。
【０００３】
ＭＰＥＧにおける符号化ブロックの符号化モードとしては、過去の参照フレームからの予測を用いる前方予測モードと、未来の参照フレームからの予測を用いる後方予測モードと、過去の参照フレームからの予測と未来の参照フレームからの予測の平均値を用いる双方向予測モードと、予測を用いないフレーム内符号化モードが用いられる。
【０００４】
さらに、ＭＰＥＧにおいては各フレームを、フレーム内符号化モードのみで符号化するフレーム内符号化フレームと、前方予測モードもしくはフレーム内符号化モードを用いて符号化する前方予測符号化フレームと、前方予測モードもしくは後方予測モードもしくは双方向予測モードもしくはフレーム内符号化モードを用いて符号化する双方向予測符号化フレームのいずれかに分類して符号化する。
【０００５】
ここで、フレーム内符号化フレームはＩピクチャ、前方予測符号化フレームはＰピクチャ、双方向予測符号化フレームはＢピクチャと呼ばれる。図２０にＩ，Ｐ，Ｂピクチャの予測構造を示す。
【０００６】
動画像シーケンスにおいては、まずＩピクチャ２１が符号化される。Ｉピクチャは自身の符号化データのみで復号できる。続いて、Ｉピクチャ２１を参照フレームとし、Ｉピクチャ２１からの前方予測を用いてＰピクチャ２３が符号化される。次にＢピクチャ２２が、過去の参照フレームをＩピクチャ２１、未来の参照フレームをＰピクチャ２３として、前方予測，後方予測，双方向予測のいずれかを用いて符号化される。Ｂピクチャ２２の符号化の後、続くＰピクチャ２５がＰピクチャ２３を参照フレームとして符号化され、Ｐピクチャ２５の符号化後にＢピクチャ２４がＰピクチャ２３，２５を参照フレームとして符号化される。
【０００７】
以上から、画像の入力順序が２１，２２，２３，２４，２５であるのに対して、符号化の順序は２１，２３，２２，２５，２４となり、画像の順序を並べ替える必要が生じる。
【０００８】
図２１に、画像の入力順序と符号化順序の関係を示す。図２１（ａ）は参照フレームの時間間隔（以下、参照フレーム間隔）を１とした場合、図２１（ｂ）は参照フレーム間隔を２とした場合、図２１（ｃ）は参照フレーム間隔を３とした場合である。
【０００９】
図２２に、上述した従来の動画像符号化における符号化装置のブロック図を示す。ここで、１は画像順序の並べ替えのために画像を一時記憶するフレームメモリ、２はフレームメモリ１を制御する画像並べ替え制御回路、３は動き補償フレーム間予測のための動きベクトルを算出する動きベクトル検出回路、４は動きベクトル検出回路によって計算された情報から符号化モードを決定する符号化モード判定回路、５は予測ブロックを生成する動き補償予測回路、６はセレクタ、７は符号化ブロックと予測ブロックの差分ブロックを計算する減算器、８は差分ブロックを符号化する符号化器、９は符号化データを復号する復号器、１０は復号された差分ブロックと予測ブロックとを加算して復号ブロックを生成する加算器、１１は復号された参照フレームを記憶するフレームメモリである。
【００１０】
以下、図２２の動作について説明する。入力画像は、入力順序で一旦フレームメモリ１に書き込まれ、画像並べ替え制御回路２によって前記した符号化の順序で読み出される。フレームメモリ１から読み出された符号化ブロックの画素データは、動きベクトル検出回路３に入力される。
【００１１】
動きベクトル検出回路３は参照フレームのデータをフレームメモリ１１から読み出し、符号化ブロックとの間でマッチング誤差演算を行ない動きベクトルを検出する。この時、動きベクトル検出回路３においては、動き補償フレーム間予測における予測誤差や、符号化ブロックのアクティビティが計算され、符号化モード判定回路４に出力される。
【００１２】
符号化モード判定回路４は、動きベクトル検出回路３から出力された前記予測誤差や前記アクティビティなどの情報を用いて、当該符号化ブロックの符号化モードを決定する。ここで、一般的に、予測モードとしては予測誤差が最も小さいものが選択される。また、フレーム内符号化が用いられるか否かは、予測誤差とアクティビティの大小を比較し、予測誤差が小さければフレーム間予測が選択され、アクティビティが小さければフレーム内符号化が選択される。
【００１３】
動き補償予測回路５は、符号化モード判定回路４によって決定された予測モードに従い、フレームメモリ１１から読み出した参照フレームの画素データを用いて予測ブロックを生成する。
【００１４】
セレクタ６は、符号化モード判定回路４によって決定された予測モードに従って出力を切り替える。ここで、フレーム内符号化モードにおいては‘０’が選択され、それ以外の場合は動き補償予測回路５の出力（予測ブロック）が選択される。
【００１５】
符号化ブロックと予測ブロックとの間の差分ブロックが減算器７で算出される。差分ブロックは符号化器８で符号化され、符号化データが出力される。
【００１６】
ここで、ＩピクチャおよびＰピクチャは参照フレームとして以後のフレームに対する予測に用いられるため、ＩピクチャおよびＰピクチャの符号化データは復号器９で復号され、復号された差分ブロックは加算器１０において予測ブロックと加算される。加算器１０の出力（復号ブロック）はフレームメモリ１１に記憶される。
【００１７】
以上述べたように、Ｉ，Ｐピクチャの符号化データは復号され、以後のフレームに対する予測に用いられる。このため、Ｉ，Ｐピクチャで発生した符号化誤差はＰピクチャを通して時間方向に伝搬していく。これに対して、Ｂピクチャは他のフレームに対する予測には用いられないため、Ｂピクチャにおいて発生した符号化誤差は伝搬しない。
【００１８】
一方、Ｐピクチャにおけるフレーム間予測は過去からの予測のみであり、Ｂピクチャにおけるフレーム間予測は過去，未来両方からの予測である。このため、一般的にＰピクチャに比べてＢピクチャの方が予測誤差が小さくなり、符号化データの発生量が少なくなる。
【００１９】
以上の性質を利用し、符号化誤差が伝搬せず符号化データの発生量も少ないＢピクチャには情報量を少なく割り当て、符号化誤差が伝搬するＩ，Ｐピクチャには情報量を多く割り当てる。これにより、Ｉ，Ｐピクチャが高画質になって、Ｉ，Ｐピクチャを予測に使うＢピクチャの予測誤差が小さくなり、Ｂピクチャの符号化に必要な情報量が少なくなるためＩ，Ｐピクチャに割り当てる情報量が大きくなって、さらにＩ，Ｐピクチャが高画質になるという好循環に入り、シーケンス全体の画質を向上することが可能となる。
【００２０】
しかし、Ｉ，Ｐピクチャの画質が悪いと、Ｂピクチャの予測誤差が大きくなって、Ｂピクチャの符号化に、より多くの情報量が必要になり、さらにＩ，Ｐピクチャへの割り当て情報量が少なくなってＩ，Ｐピクチャの画質が低下し、Ｂピクチャの予測誤差が大きくなるという悪循環に陥り、シーケンス全体の画質が著しく悪化する。
【００２１】
ここで、動き補償フレーム間予測の予測誤差量は、符号化フレームと参照フレームの間の時間的な距離と、動きベクトルの探索範囲と、被写体の動き量などに依存する。
【００２２】
図２３に、動き補償予測における動きベクトルの例を示す。動きベクトルの検出方式としては、ブロックマッチング方式が一般的である。ブロックマッチング方式では、動きベクトル探索領域内の予測ブロック候補に対し、予測ブロック候補と符号化ブロックとの間の誤差量を計算する。そして、誤差量が最小となる候補を予測ブロックとし、予測ブロック位置の符号化ブロック位置からの相対的なズレ量を動きベクトルとする。
【００２３】
ここで、符号化フレームと参照フレームが時間的に離れていればいるほど、被写体の動き量も大きくなるため、より大きな動きベクトルの探索範囲が必要になる。
【００２４】
図２４に、符号化フレームと参照フレームのフレーム間距離と、必要な動きベクトル探索領域の関係を示す。図２４に示すように、符号化フレームと参照フレームが１フレーム時間離れている時に必要な動きベクトルの探索範囲が水平方向に±Ｋ、垂直方向に±Ｌの場合、符号化フレームと参照フレームが２フレーム時間離れている時には、動きベクトルの探索範囲は水平方向に±２Ｋ、垂直方向に±２Ｌ必要になる。
【００２５】
さらに、符号化フレームと参照フレームが時間的に離れていると、被写体の動きに、平行移動だけでなく回転や変形などの複雑な要素が加わり、予測が困難になる。
【００２６】
よって、一般的には、符号化フレームと参照フレームが時間的に離れると、予測誤差が増大する。すなわち、参照フレーム間隔が大きくなると、Ｐピクチャの符号化における予測誤差が大きくなる。しかしその一方で、参照フレーム間隔が大きくなり、Ｉ，Ｐピクチャの間に存在するＢピクチャのフレーム数が多くなると、情報量を少なく割り当てられるＢピクチャの割合が大きくなるため、Ｉ，Ｐピクチャへの割り当てビット数が多くなり、Ｉ，Ｐピクチャの画質を向上することができる。
【００２７】
以上から、参照フレーム間隔には、画像に応じて最適な値が存在することが分かる。
【００２８】
特開平８−６５６７８号「動画像符号化方式」に、ＮフレームからなるＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）の単位で、参照フレーム間隔ｍとＩ，Ｐピクチャの枚数ｎを最適化する方式が述べられている。ここで、ＧＯＰの中のＩピクチャは１枚とし、Ｎ，ｍ，ｎは式（１）を満足する。
【００２９】
【数１】
図２５に、特開平８−６５６７８号記載の処理を行なうブロック図を示す。ここで、２６は符号化ブロックと予測ブロックの相関を計算する相関計算回路、２７は相関計算回路２６によって計算された相関係数に基づき、前記ｍ，ｎを決定する予測構造判定回路である。なお、図２２と同一の機能を有するブロックには、同一の番号を付している。
【００３１】
相関計算回路２６は、式（２）で表される相関係数ρを計算する。
【００３２】
【数２】
ここで、ｘ（ｓ）は第ｓフレームの符号化画像の画素値、ｘ（ｓ−１）は第ｓ−１フレームの符号化画像の画素値である。また、Ｅ［・］は平均値を求める操作を表している。
【００３４】
予測構造判定回路２７は、ＧＯＰのフレーム数Ｎにおいて可能な全ての（ｍ，ｎ）の組み合わせに対して、式（３）で表される符号化効率を計算し、Ｇａｉｎが最大になる（ｍ，ｎ）の組を求める。
【００３５】
【数３】
ここで、ｗＰ ，ｗＢ は定数であり、Ｓ（ｍ−１）は式（４）で表される。
【００３７】
【数４】
画像並べ替え制御回路２は、予測構造判定回路２７によって決定された（ｍ，ｎ）に従ってＩ，Ｐ，Ｂピクチャの位置を決定し、フレームメモリ１から符号化フレームを読み出す。
【００３９】
【発明が解決しようとする課題】
前記特開平８−６５６７８号においては、式（２），（３），（４）に示す複雑な演算が必要である。これらは複数の乗除算演算やべき乗演算を含むため、実現するためには大規模な演算回路および演算時間が必要になる。特に、式（２）は画素単位の演算であるから処理量が大きく、さらに２個の乗算を含むため、回路規模が非常に大きくなる。
【００４０】
また、（ｍ，ｎ）の算出はＧＯＰ単位に行なわれるため、実時間符号化時に被写体やカメラの急な挙動などによって、式（２）に示す相関係数が急に変化した場合など、予測構造の変更が画像の変化に追随できず、画質劣化が発生する場合がある。
【００４１】
本発明は以上の問題点に鑑み、簡単な演算で予測構造を可変することができ、さらに、ＧＯＰよりも小さい単位で、より精密に予測構造を変更することが可能となる動画像符号化装置を提供することを目的とする。
【００４２】
【課題を解決するための手段】
本発明の請求項１記載の動画像符号化装置においては、動画像シーケンスの各フレームを符号化ブロックに分割し、各符号化ブロックを参照フレームからのフレーム間予測を用いて符号化する動画像符号化であって、前記符号化ブロックに対する符号化モードとして、過去の参照フレームからの予測を用いる前方予測モードと、未来の参照フレームからの予測を用いる後方予測モードと、過去の参照フレームからの予測と未来の参照フレームからの予測の平均値を予測として用いる双方向予測モードと、フレーム間予測を用いないフレーム内符号化モードとを備え、各フレームは、フレーム内の全ての符号化ブロックをフレーム内符号化モードで符号化するフレーム内符号化フレーム、フレーム内の各符号化ブロックを前方予測モードもしくはフレーム内符号化モードを用いて符号化する前方予測符号化フレーム、フレーム内の各符号化ブロックを前方予測モードもしくは後方予測モードもしくは双方向予測モードもしくはフレーム内符号化モードを用いて符号化する双方向予測符号化フレームのいずれかに分類され、フレーム内符号化フレームもしくは前方予測符号化フレームを参照フレームとする動画像符号化において、フレーム間予測の予測効率を計算する予測効率計算回路と、参照フレーム間隔決定回路とを具備し、フレーム内符号化フレームと前方予測符号化フレーム、もしくは前方予測符号化フレームと前方予測符号化フレーム、もしくはフレーム内符号化フレームとフレーム内符号化フレームの時間間隔である参照フレーム間隔を適応的に可変とし、該参照フレーム間隔を、予測効率計算回路の出力に応じて参照フレーム間隔決定回路において決定し、予測効率の算出に前記符号化ブロックのフレーム間予測における予測誤差を用い、前記符号化ブロックのフレーム間予測における予測誤差が所定のしきい値よりも小さい符号化ブロックを高効率予測ブロックと判定し、フレーム内における高効率予測ブロックの個数を予測効率とし、前記参照フレーム間隔決定回路において、フレーム内符号化フレームの位置を該フレーム内符号化フレームの直前で用いられていた第１の参照フレーム間隔から所定の値だけ増加した第２の参照フレーム間隔によって設定し、該フレーム内符号化フレームに対しても前方予測符号化フレームと同様の方法で該フレーム内符号化フレームに対する予測効率を算出して、該予測効率が所定のしきい値を上回った時には、該フレーム内符号化フレームの以後の符号化における参照フレーム間隔を第２の参照フレーム間隔とし、該予測効率が所定のしきい値を下回った時には、以後の符号化における参照フレーム間隔を第１の参照フレーム間隔とすることを特徴とする。
【００５２】
本発明の請求項２記載の動画像符号化装置においては、動画像シーケンスの各フレームを符号化ブロックに分割し、各符号化ブロックを参照フレームからのフレーム間予測を用いて符号化する動画像符号化であって、前記符号化ブロックに対する符号化モードとして、過去の参照フレームからの予測を用いる前方予測モードと、未来の参照フレームからの予測を用いる後方予測モードと、過去の参照フレームからの予測と未来の参照フレームからの予測の平均値を予測として用いる双方向予測モードと、フレーム間予測を用いないフレーム内符号化モードとを備え、各フレームは、フレーム内の全ての符号化ブロックをフレーム内符号化モードで符号化するフレーム内符号化フレーム、フレーム内の各符号化ブロックを前方予測モードもしくはフレーム内符号化モードを用いて符号化する前方予測符号化フレーム、フレーム内の各符号化ブロックを前方予測モードもしくは後方予測モードもしくは双方向予測モードもしくはフレーム内符号化モードを用いて符号化する双方向予測符号化フレームのいずれかに分類され、フレーム内符号化フレームもしくは前方予測符号化フレームを参照フレームとする動画像符号化において、フレーム間予測の予測効率を計算する予測効率計算回路と、参照フレーム間隔決定回路とを具備し、フレーム内符号化フレームと前方予測符号化フレーム、もしくは前方予測符号化フレームと前方予測符号化フレーム、もしくはフレーム内符号化フレームとフレーム内符号化フレームの時間間隔である参照フレーム間隔を適応的に可変とし、該参照フレーム間隔を、予測効率計算回路の出力に応じて参照フレーム間隔決定回路において決定し、予測効率の算出に前記符号化ブロックのフレーム間予測における予測誤差を用い、前記符号化ブロックのフレーム間予測における予測誤差が所定のしきい値よりも小さい符号化ブロックを高効率予測ブロックと判定し、フレーム内における高効率予測ブロックの個数を予測効率とし、参照フレーム間にある双方向予測符号化フレームの符号化において、前方予測モードが選択された符号化ブロックの個数が所定のしきい値を下回り、かつ、後方予測モードが選択された符号化ブロックの個数が所定のしきい値を下回る双方向予測符号化フレームが存在する条件が成立する場合のみ、該双方向予測符号化フレーム以降の参照フレーム間隔の増減を制御することを特徴とする。
【００５３】
本発明の請求項３記載の動画像符号化装置においては、動画像シーケンスの各フレームを符号化ブロックに分割し、各符号化ブロックを参照フレームからのフレーム間予測を用いて符号化する動画像符号化であって、前記符号化ブロックに対する符号化モードとして、過去の参照フレームからの予測を用いる前方予測モードと、未来の参照フレームからの予測を用いる後方予測モードと、過去の参照フレームからの予測と未来の参照フレームからの予測の平均値を予測として用いる双方向予測モードと、フレーム間予測を用いないフレーム内符号化モードとを備え、各フレームは、フレーム内の全ての符号化ブロックをフレーム内符号化モードで符号化するフレーム内符号化フレーム、フレーム内の各符号化ブロックを前方予測モードもしくはフレーム内符号化モードを用いて符号化する前方予測符号化フレーム、フレーム内の各符号化ブロックを前方予測モードもしくは後方予測モードもしくは双方向予測モードもしくはフレーム内符号化モードを用いて符号化する双方向予測符号化フレームのいずれかに分類され、フレーム内符号化フレームもしくは前方予測符号化フレームを参照フレームとする動画像符号化において、フレーム間予測の予測効率を計算する予測効率計算回路と、参照フレーム間隔決定回路とを具備し、フレーム内符号化フレームと前方予測符号化フレーム、もしくは前方予測符号化フレームと前方予測符号化フレーム、もしくはフレーム内符号化フレームとフレーム内符号化フレームの時間間隔である参照フレーム間隔を適応的に可変とし、該参照フレーム間隔を、予測効率計算回路の出力に応じて参照フレーム間隔決定回路において決定し、予測効率の算出に前記符号化ブロックのフレーム間予測における予測誤差を用い、前記符号化ブロックのフレーム間予測における予測誤差が所定のしきい値よりも小さい符号化ブロックを高効率予測ブロックと判定し、フレーム内における高効率予測ブロックの個数を予測効率とし、参照フレーム間にある双方向予測符号化フレームの符号化において、予測効率が所定のしきい値を上回る双方向予測符号化フレームが存在する条件が成立する場合のみ、該双方向予測符号化フレーム以降の参照フレーム間隔の増減を制御することを特徴とする。
【００５４】
本発明の請求項４記載の動画像符号化装置においては、動画像シーケンスの各フレームを符号化ブロックに分割し、各符号化ブロックを参照フレームからのフレーム間予測を用いて符号化する動画像符号化であって、前記符号化ブロックに対する符号化モードとして、過去の参照フレームからの予測を用いる前方予測モードと、未来の参照フレームからの予測を用いる後方予測モードと、過去の参照フレームからの予測と未来の参照フレームからの予測の平均値を予測として用いる双方向予測モードと、フレーム間予測を用いないフレーム内符号化モードとを備え、各フレームは、フレーム内の全ての符号化ブロックをフレーム内符号化モードで符号化するフレーム内符号化フレーム、フレーム内の各符号化ブロックを前方予測モードもしくはフレーム内符号化モードを用いて符号化する前方予測符号化フレーム、フレーム内の各符号化ブロックを前方予測モードもしくは後方予測モードもしくは双方向予測モードもしくはフレーム内符号化モードを用いて符号化する双方向予測符号化フレームのいずれかに分類され、フレーム内符号化フレームもしくは前方予測符号化フレームを参照フレームとする動画像符号化において、フレーム間予測の予測効率を計算する予測効率計算回路と、参照フレーム間隔決定回路とを具備し、フレーム内符号化フレームと前方予測符号化フレーム、もしくは前方予測符号化フレームと前方予測符号化フレーム、もしくはフレーム内符号化フレームとフレーム内符号化フレームの時間間隔である参照フレーム間隔を適応的に可変とし、該参照フレーム間隔を、予測効率計算回路の出力に応じて参照フレーム間隔決定回路において決定し、予測効率の算出に前記符号化ブロックのフレーム間予測における予測誤差を用い、前記符号化ブロックのフレーム間予測における予測誤差が所定のしきい値よりも小さい符号化ブロックを高効率予測ブロックと判定し、フレーム内における高効率予測ブロックの個数を予測効率とし、参照フレーム間にある双方向予測符号化フレームの符号化において、前方予測モードが選択された符号化ブロックの個数が所定のしきい値を下回り、かつ、後方予測モードが選択された符号化ブロックの個数が所定のしきい値を下回る双方向予測符号化フレームが存在する条件と、予測効率が所定のしきい値を上回る双方向予測符号化フレームが存在する条件が、両方とも成立する場合のみ、該双方向予測符号化フレーム以降の参照フレーム間隔の増減を制御することを特徴とする。
【００５５】
本発明の請求項５記載の動画像符号化装置においては、動画像シーケンスの各フレームを符号化ブロックに分割し、各符号化ブロックを参照フレームからのフレーム間予測を用いて符号化する動画像符号化であって、前記符号化ブロックに対する符号化モードとして、過去の参照フレームからの予測を用いる前方予測モードと、未来の参照フレームからの予測を用いる後方予測モードと、過去の参照フレームからの予測と未来の参照フレームからの予測の平均値を予測として用いる双方向予測モードと、フレーム間予測を用いないフレーム内符号化モードとを備え、各フレームは、フレーム内の全ての符号化ブロックをフレーム内符号化モードで符号化するフレーム内符号化フレーム、フレーム内の各符号化ブロックを前方予測モードもしくはフレーム内符号化モードを用いて符号化する前方予測符号化フレーム、フレーム内の各符号化ブロックを前方予測モードもしくは後方予測モードもしくは双方向予測モードもしくはフレーム内符号化モードを用いて符号化する双方向予測符号化フレームのいずれかに分類され、フレーム内符号化フレームもしくは前方予測符号化フレームを参照フレームとする動画像符号化において、フレーム間予測の予測効率を計算する予測効率計算回路と、参照フレーム間隔決定回路とを具備し、フレーム内符号化フレームと前方予測符号化フレーム、もしくは前方予測符号化フレームと前方予測符号化フレーム、もしくはフレーム内符号化フレームとフレーム内符号化フレームの時間間隔である参照フレーム間隔を適応的に可変とし、該参照フレーム間隔を、予測効率計算回路の出力に応じて参照フレーム間隔決定回路において決定し、予測効率の算出に前記符号化ブロックのフレーム間予測における予測誤差を用い、前記符号化ブロックのフレーム間予測における予測誤差が所定のしきい値よりも小さい符号化ブロックを高効率予測ブロックと判定し、フレーム内における高効率予測ブロックの個数を予測効率とし、前記参照フレーム間隔決定回路において、フレーム内符号化フレームもしくは前方予測符号化フレームの符号化における予測効率が第１のしきい値を下回った時に、該フレーム以後の符号化における参照フレーム間隔を減少し、フレーム内符号化フレームもしくは前方予測符号化フレームの符号化における予測効率が第２のしきい値を上回った時に、該フレーム以後の符号化における参照フレーム間隔を増加することを特徴とする。
【００５６】
本発明の請求項６記載の動画像符号化装置においては、動画像シーケンスの各フレームを符号化ブロックに分割し、各符号化ブロックを参照フレームからのフレーム間予測を用いて符号化する動画像符号化であって、前記符号化ブロックに対する符号化モードとして、過去の参照フレームからの予測を用いる前方予測モードと、未来の参照フレームからの予測を用いる後方予測モードと、過去の参照フレームからの予測と未来の参照フレームからの予測の平均値を予測として用いる双方向予測モードと、フレーム間予測を用いないフレーム内符号化モードとを備え、各フレームは、フレーム内の全ての符号化ブロックをフレーム内符号化モードで符号化するフレーム内符号化フレーム、フレーム内の各符号化ブロックを前方予測モードもしくはフレーム内符号化モードを用いて符号化する前方予測符号化フレーム、フレーム内の各符号化ブロックを前方予測モードもしくは後方予測モードもしくは双方向予測モードもしくはフレーム内符号化モードを用いて符号化する双方向予測符号化フレームのいずれかに分類され、フレーム内符号化フレームもしくは前方予測符号化フレームを参照フレームとする動画像符号化において、フレーム間予測の予測効率を計算する予測効率計算回路と、参照フレーム間隔決定回路とを具備し、フレーム内符号化フレームと前方予測符号化フレーム、もしくは前方予測符号化フレームと前方予測符号化フレーム、もしくはフレーム内符号化フレームとフレーム内符号化フレームの時間間隔である参照フレーム間隔を適応的に可変とし、該参照フレーム間隔を、予測効率計算回路の出力に応じて参照フレーム間隔決定回路において決定し、予測効率の算出に前記符号化ブロックのフレーム間予測における予測誤差を用い、前記符号化ブロックのフレーム間予測における予測誤差が所定のしきい値よりも小さい符号化ブロックを高効率予測ブロックと判定し、フレーム内における高効率予測ブロックの個数を予測効率とし、前記参照フレーム間隔決定回路において、フレーム内符号化フレームもしくは前方予測符号化フレームとする符号化フレームの位置を決定する際に、符号化フレームとなりうる複数の候補フレームの全てに対して前記予測効率を求め、該予測効率が所定のしきい値を上回る前記候補フレームの中で、時間的に最も新しい候補フレームを前記符号化フレームとすることを特徴とする。
本発明の請求項７記載の動画像符号化装置においては、前記符号化ブロックのフレーム間予測における予測誤差として、符号化ブロックと予測ブロックの間の差分絶対値和、もしくは、符号化ブロックと予測ブロックの間の差分自乗和を用いることを特徴とする。
本発明の請求項８記載の動画像符号化装置においては、前記参照フレーム間隔決定回路において、前方予測符号化フレームの符号化における予測効率が所定のしきい値を下回った時に、該前方予測符号化フレーム以降の符号化における参照フレーム間隔を減少することを特徴とする。
【００５７】
本発明の請求項９記載の動画像符号化装置においては、前記フレーム画像に対する処理と同様の処理をフィールド画像に対して適用することを特徴とする。
【００５８】
【発明の実施の形態】
図１に、本発明の動画像符号化装置における一実施形態のブロック図を示す。ここで、１２は予測効率計算回路、１３は参照フレーム間隔決定回路である。なお、図２２と同一の機能を有するブロックには、同一の番号を付している。
【００５９】
予測効率計算回路１２においては、動きベクトル検出回路３から出力され、符号化モード判定回路４で用いられる情報から、当該符号化フレームにおける予測効率が計算される。
【００６０】
参照フレーム間隔決定回路１３においては、予測効率計算回路１２で計算された予測効率と、符号化モード判定回路４で決定された符号化モードから、参照フレーム間隔ｍを決定し、画像並べ替え制御回路２を制御する。
【００６１】
画像並べ替え制御回路２は、参照フレーム間隔決定回路１３から指定された順序でフレームメモリ１から符号化フレームを読み出す。
【００６２】
図２に、本発明の請求項３に記載する予測効率計算回路１２の一実施形態のブロック図を示す。１５は予測誤差と所定のしきい値とを比較し、高効率予測ブロックか否かを判定する比較器、１６は高効率予測ブロックの個数をカウントするカウンタである。
【００６３】
本実施形態においては、予測誤差が所定のしきい値を下回るブロックを予測効率が高いブロック（以下、高効率予測ブロック）と判定し、フレーム内における高効率予測ブロックの個数を当該フレームにおける予測効率としている。なお、高効率予測ブロックの判定は、フレーム内の全てのブロックに対して行なってもよいし、一部のブロックに対してのみ行なってもよい。
【００６４】
ここで、カウンタ１６は、フレーム毎に０にリセットされ、高効率予測ブロックの個数をカウントし、カウント値を符号化フレームにおける予測効率とする。
【００６５】
図３に、本発明の請求項４に記載する予測効率計算回路１２の一実施形態のブロック図を示す。１４はアクティビティに対して定数αを乗ずる定数乗算器、１７は予測誤差と定数乗算器１４の出力としきい値とを比較し、高効率予測ブロックか否かを判定する比較器であり、図２と同一の機能を有するブロックには同一の符号を付している。
【００６６】
図４に、比較器１７の特性の一実施形態を示す。なお、図４において、α＝０とした場合が比較器１５の特性となる。
【００６７】
一般的に、予測誤差が大きいと予測効率が低いと言えるが、複雑な絵柄すなわちアクティビティが大きい場合にも予測誤差が大きくなる傾向がある。これは、動きベクトル検出によって符号化ブロックの動きを正確に追跡していても、アクティビティが大きければ予測誤差が大きくなることを意味し、予測誤差の大きさだけでは予測効率を正確に判断できないことになる。式（５）においては、予測誤差をアクティビティで除することにより、予測効率におけるアクティビティの影響を低減している。
【００６８】
【数５】
すなわち、予測効率の高い符号化ブロックに対しては、式（５）が小さくなり、逆に予測効率が低い符号化ブロックに対しては、式（５）が大きくなる。言いかえると、絵柄は複雑だが予測が当たっている時、式（５）は小さくなり、絵柄は単純だが予測が当たらない時、式（５）は大きくなる。
【００７０】
図４においては、式（５）が定数αを下回る符号化ブロックを、高効率予測ブロックと判定している。ただし、予測誤差が十分小さい時には、式（５）がαを上回っても符号化効率は低くならないので、所定のしきい値を設定して、予測誤差が所定のしきい値よりも小さければ高効率予測ブロックと判定している。よって、符号化ブロックのアクティビティと予測誤差を図４にプロットし、斜線の領域に入れば高効率予測ブロックと判定する。なお、高効率予測ブロックの判定は、フレーム内の全てのブロックに対して行なってもよいし、一部のブロックに対してのみ行なってもよい。
【００７１】
図３においては、図２と同様に、カウンタ１６は、フレーム毎に０にリセットされ、高効率予測ブロックの個数をカウントし、カウント値を当該フレームにおける予測効率とする。
【００７２】
以上のように、図３においては、予測効率の計算に予測誤差だけでなくアクティビティも使用することによって、正確な予測効率を算出することを可能にしている。
【００７３】
図５に、本発明の請求項５に記載する予測効率計算回路の一実施形態のブロック図を示す。１９は加算器、２０は加算結果を保持するレジスタであり、加算器１９とレジスタ２０は累積加算器を構成して予測誤差の累積値を計算する。また、１８は予測誤差の累積値の逆数を算出するための除算器である。
【００７４】
レジスタ２０はフレーム毎にリセットされ、符号化ブロック毎の予測誤差を１フレーム分累積加算する。
【００７５】
除算器１８で計算される符号化フレームに対する予測効率は、式（６）で表される。
【００７６】
【数６】
ここで、式（６）の分母における“＋１”は累積予測誤差が０の時に、式（６）の分母が０になることを防ぐために付加しており、１以外の値の加算でも構わない。
【００７８】
式（６）においては、予測誤差が小さいほど予測効率が高いと判定し、累積予測誤差の逆数を符号化フレームにおける予測効率としている。なお、予測誤差の累積計算は、フレーム内の全てのブロックに対して行なってもよいし、一部のブロックに対してのみ行なってもよい。
【００７９】
図６に、本発明の請求項６に記載する予測効率計算回路の一実施形態のブロック図を示す。加算器１９とレジスタ２０は、図５と同様に累積加算器を構成しており、式（７）で表される符号化ブロック毎の予測効率を１フレーム分累積加算する。
【００８０】
【数７】
ここで、式（７）の分母における”＋１”は予測誤差が０の時に、式（７）の分母が０になることを防ぐために付加しており、１以外の値の加算でも構わない。
【００８２】
式（７）は式（５）の逆数となっており、予測効率が高い符号化ブロックにおいては値が大きくなり、予測効率が低い符号化ブロックにおいては値が小さくなる。
【００８３】
よって、符号化ブロック毎に計算された式（７）の値を１フレーム分累積加算することによって、符号化フレームに対する予測効率を計算することができる。なお、予測誤差の累積計算は、フレーム内の全てのブロックに対して行なってもよいし、一部のブロックに対してのみ行なってもよい。
【００８４】
図５，図６においては、図２，図３と異なり、符号化ブロック単位でのしきい値判定がないため、しきい値判定における誤判定の影響がなく、正確な予測効率の計算が可能となる。
【００８５】
なお、図２，図３，図５，図６においては、予測効率の計算に予測誤差とアクティビティを用いている。これらのパラメータは、通常符号化モードの判定に用いているものであるため、新たに計算する必要はない。よって、予測効率の計算に伴うハードウェア規模の増加はほとんど発生しない。
【００８６】
本発明の請求項７に記載する動画像符号化装置においては、符号化ブロックにおける予測誤差として式（８）もしくは式（９）を用いる。
【００８７】
【数８】
【数９】
ここで、ｘは符号化ブロックの画素値、ｐは予測ブロックの画素値、Ｂはブロック内の画素数、ｉは画素に対するインデックスである。
【００９０】
本発明の請求項８に記載する動画像符号化装置においては、符号化ブロックにおけるアクティビティとして式（１０）もしくは式（１１）を用いる。
【００９１】
【数１０】
【数１１】
【数１２】
式（１２）におけるｄは符号化ブロック内における画素値の平均値（直流成分）である。このため、式（１０）におけるアクティビティは符号化ブロックにおける交流成分の絶対値和となり、式（１１）におけるアクティビティは符号化ブロックにおける交流成分の自乗和となる。
【００９５】
図７に、本発明の請求項９における参照フレーム間隔ｍの制御例を示す。図７においては、ｍ＝２として符号化している時に、第２フレーム以後で被写体の動きが激しくなった場合を仮定している。すなわち、第２フレーム以後で参照フレーム間隔を減じることが必要となる。
【００９６】
この時、画像順序の並べ替えによって、第２フレームよりも第３フレームの方が先に符号化されるため、第３フレームの符号化において、予測効率が所定のしきい値を下回り、被写体の動きが激しくなったことが認識される。この場合、第２フレームは通常の手順で第３フレームの次に符号化しなければならないため、第４フレーム以降の符号化において、参照フレーム間隔を減じる処理が可能になる。図７においては、第３フレームまではｍ＝２としており、第４フレーム以降でｍ＝２から減じてｍ＝１としている。
【００９７】
以上のように、従来例（特開平８−６５６７８号）におけるＧＯＰ単位の制御と異なり、本発明においては、参照フレーム間隔の単位で予測構造の制御を行なっているため、被写体やカメラの動きが急に変化した場合にも、素早く反応することができ、画質も向上する。
【００９８】
また、図２４に示すように、参照フレームと符号化フレームの間の時間的距離を短くすることによって、実質的な動きベクトル探索範囲を広くすることができる。言いかえれば、動きベクトル探索範囲が小さくても、動きベクトル探索範囲に応じて参照フレームと符号化フレームの間の時間的距離が短く設定されて予測効率が高くなるため、動きベクトル検出回路の回路規模に応じた最適な予測構造を設定することができる。
【００９９】
図８，図９に、本発明の請求項１０における参照フレーム間隔ｍの制御例を示す。ここでは、当初ｍ＝１が設定されていると仮定している。
【０１００】
図８，図９において、第３フレームの符号化終了後、ｍ＝２の時の予測効率を調べるため、第４フレームをＢピクチャとして一旦ｍ＝２とし、第５フレームをＩピクチャとする。よって、画像順序の並べ替えから第５フレームを第４フレームよりも先に符号化することになる。
【０１０１】
第５フレームはＩピクチャとして符号化するから、本来フレーム間予測は行なわないが、Ｐピクチャと同様の方法で仮想的に予測を行ない、直前のＰピクチャである第３フレームからの予測効率を算出する。
【０１０２】
図８では、第５フレームの符号化における予測効率が所定のしきい値を上回った、すなわち予測効率が高いと判定されるため、第６フレーム以降においても、ｍ＝２にしたまま符号化を進めている。一方、図９では、第５フレームの符号化における予測効率が所定のしきい値を下回った、すなわち予測効率が低いと判定されるため、第６フレーム以降では、再びｍ＝１にして符号化を進めている。
【０１０３】
Ｉピクチャ自身の符号化効率は予測効率に依存しない。このため、Ｉピクチャにおいてｍを増やして仮想的に予測効率を計算することにより、ｍを増やした時の予測効率を、符号化効率を下げることなく調べることができ、ｍを増加しても予測効率が良好か否かを、効果的に判断することができる。
【０１０４】
図１０，図１１に、本発明の請求項１１における参照フレーム間隔ｍの制御例を示す。
【０１０５】
図１０においては、ｍ＝２として符号化している時に、第２フレームと第３フレームの間でシーンチェンジが発生した場合を仮定しており、図１１においては、ｍ＝２として符号化している時に、第１フレームと第２フレームの間でシーンチェンジが発生した場合を仮定している。
【０１０６】
シーンチェンジが発生すると、シーンの切れ目にあるＢピクチャにおいては、双方向予測の選択率が低下し、前方向予測、もしくは、後方向予測の選択率が上昇する。図１０においては、Ｂピクチャとして符号化される第２フレームの直後でシーンチェンジが発生しており、Ｂピクチャにおいては、前方向予測が選択される率が高くなる。逆に図１１においては、Ｂピクチャとして符号化される第２フレームの直前でシーンチェンジが発生しており、Ｂピクチャにおいては、後方向予測が選択される率が高くなる。また、いずれの場合にも、シーンチェンジをまたいで予測される第３フレームにおいては予測効率が低下する。
【０１０７】
図１０と図１１においては、Ｐピクチャとして符号化される第３フレームにおいて、請求項９に記載した条件が満足されているため、ｍを減じることになる。しかし、第３フレームに続いて符号化される第２フレームにおいて、前方向予測が選択される符号化ブロック（以下、前方向予測ブロック）の個数、もしくは、後方向予測が選択される符号化ブロック（以下、後方向予測ブロック）の個数が所定のしきい値を超えるので、ｍを減じる処理がとりやめられる。
【０１０８】
シーンチェンジが発生した場合には、動画像シーケンス自体の予測効率とは無関係に予測効率が低下するが、低下は一時的なものであり、このような場合には、ｍを減じない方がシーケンス全体の符号化効率が良くなる。
【０１０９】
図１２に、本発明の請求項１２における参照フレーム間隔ｍの制御例を示す。図１２においては、ｍ＝２として符号化している時に、第２フレームから第３フレームにかけてフラッシュがたかれ、輝度値の急激な変化が発生した場合を仮定している。
【０１１０】
フラッシュがたかれた場合、画像の性質が短時間に急激に変化し、一時的に予測効率が低下する。
【０１１１】
図１２においては、第３フレームにおいて、請求項９に記載した条件が満足されるため、ｍを減じることになる。しかし、フラッシュの開始点である第２フレームにおいても、予測効率が所定のしきい値を下回るため、ｍを減じる処理がとりやめられる。
【０１１２】
フラッシュなどによる画像の性質の一過性の変化によって予測効率が低下する場合についても、前記したシーンチェンジと同様の理由でｍを減じない方がシーケンス全体の符号化効率が良くなる。
【０１１３】
図１３，図１４，図１５に、上記した処理の流れをまとめてフローチャートで表す。ここで、図１３はＩピクチャにおける処理の流れを、図１４はＰピクチャにおける処理の流れを、図１５はＢピクチャにおける処理の流れを表している。
【０１１４】
図中における“フラグ”は、Ｂピクチャの符号化後にｍを減少するか否かを判定するためのもので、フラグ＝１の時に、以後のピクチャの符号化におけるｍを減少する。
【０１１５】
Ｉピクチャにおいては、請求項１０に従って、ｍを増加してから符号化を行ない、この時、同時に予測効率を計算する。ここで、予測効率が所定のしきい値を上回ればフラグは０にセットされ、増加したｍの値が以後の符号化において用いられる。逆に、予測効率が所定のしきい値を下回ればフラグは１にセットされる。
【０１１６】
Ｐピクチャにおいては、請求項９に従い、予測効率が所定のしきい値を上回ればフラグは０にセットされ、逆に、予測効率が所定のしきい値を下回ればフラグは１にセットされる。
【０１１７】
Ｂピクチャにおいては、請求項１３に従い、前方向予測ブロックが所定の個数を超えた、もしくは後方向予測ブロックが所定の個数を超えた、もしくは予測効率が所定のしきい値を下回った時にフラグは０にセットされる。すなわち、請求項１３においては、請求項１１，１２の両方の条件を用いることによって、シーンチェンジにもフラッシュにも対応している。
【０１１８】
以上の判定の後、続いて符号化するピクチャがＩピクチャもしくはＰピクチャの時に、フラグ＝１ならば、以後のピクチャの符号化におけるｍを減少し、フラグ＝０ならば、現状のｍを以後のピクチャの符号化においても使用する。
【０１１９】
図１６に、本発明の請求項１４における第１のしきい値と第２のしきい値の例を示し、図１７に、参照フレーム間隔ｍの制御例を示す。
【０１２０】
図１６において、予測効率が第１のしきい値を下回った時には、以後の符号化における参照フレーム間隔ｍを減少し、予測効率が第２のしきい値を上回った時には、以後の符号化における参照フレーム間隔ｍを増加する。
【０１２１】
図１７においては、第３フレームの符号化における予測効率が第１のしきい値を下回ったため、第４フレーム以後のフレームの符号化における参照フレーム間隔ｍをｍ＝２からｍ＝１に減少し、第７フレームの符号化における予測効率が第２のしきい値を上回ったため、第８フレーム以後の符号化における参照フレーム間隔ｍをｍ＝１からｍ＝２に増加している。
【０１２２】
本実施形態においては、ＩピクチャおよびＰピクチャの位置においてｍを増減することができるため、Ｉピクチャの符号化においてのみｍを増加する請求項１０に比較して、より細かな単位でのｍの制御が可能になる。
【０１２３】
以上の実施形態においては、ｍを２もしくは１の間で制御する場合について説明したが、これ以外の値についても、同様の方法で制御することができる。
【０１２４】
図１８に、本発明の請求項１５におけるＩピクチャおよびＰピクチャの処理のフローチャートを示す。図１８においては、ＩピクチャおよびＰピクチャの符号化時に、最大参照フレーム間隔Ｍに対して参照フレーム間隔ｍをｍ＝Ｍ，Ｍ−１，…，１の順に変化して予測効率を試算し、最初に所定のしきい値を上回った予測効率におけるｍを、該符号化フレームにおける参照フレーム間隔として、符号化を行なう。
【０１２５】
図１９を用いて、本実施形態の動作を説明する。図１９（ａ）に、Ｍ＝３とした時の符号化フレームと参照フレームの関係を示す。ここで、第１フレームは符号化済みのＰピクチャであり、次に符号化するＰピクチャのフレーム間予測における参照フレームとして用いられる。
【０１２６】
まず、第４フレーム（ｍ＝３），第３フレーム（ｍ＝２），第２フレーム（ｍ＝１）を、各々Ｐピクチャと仮定して予測効率を試算する。この時のｍと予測効率の関係の例を図１９（ｂ）に示す。一般的に、参照フレームと符号化フレームの間のフレーム間距離が短いほど予測効率は高くなるが、図１９（ｂ）において、予測効率が所定のしきい値を上回るｍの最大値はｍ＝２である。
【０１２７】
よって、図１９（ｃ）に示すように、ｍ＝２が選択され、第３フレームがＰピクチャとして符号化される。このため、第２フレームはＢピクチャとして、第３フレームに続いて符号化される。
【０１２８】
本実施形態においては、ＩピクチャおよびＰピクチャの符号化前に、選択可能な全ての参照フレーム間隔における予測効率を試算し、これに基づき、使用する参照フレーム間隔を決定するため、ＩピクチャおよびＰピクチャの符号化毎に最適な参照フレーム間隔を選択することが可能となる。
【０１２９】
なお、以上の実施形態においては、フレーム画像に対する処理を中心に説明してきたが、同様の処理をフィールド画像に対して適用することによって、フィールド単位の符号化においても同様の効果を得ることができる。
【０１３０】
【発明の効果】
本発明においては、予測効率に応じて参照フレーム間の距離を制御することにより、被写体やカメラの動きが激しい場合などフレーム間予測誤差が大きい時には、参照フレームの時間的距離を小さくし、予測効率を向上することで画質向上を図り、予測誤差が小さい時には、参照フレームの時間的距離を大きくし、参照フレームへの割り当て情報量を増加することで画質を向上することができる。
【０１３１】
また、動きベクトル探索範囲が小さくても、参照フレーム間距離を小さくすることで予測効率を高く保つことができ、動きベクトル検出回路の回路規模に応じて最適な予測構造を設定することが可能になる。
【０１３２】
本発明の請求項３，４においては、比較器とカウンタのみで予測効率を算出できるため、予測効率の演算回路の回路規模を非常に小さすることができる。
【０１３３】
本発明の請求項５，６においては、符号化ブロック単位でのしきい値判定がないため、しきい値判定における誤判定の影響がなく、正確な予測効率の計算が可能となる。
【０１３４】
本発明の請求項４，６においては、予測効率の計算に予測誤差だけでなくアクティビティも使用することによって、予測効率に対する符号化ブロック自身の絵柄の複雑さの影響を抑え、正確な予測効率を算出することが可能になる。
【０１３５】
本発明の請求項１１，１２，１３においては、シーンチェンジやフラッシュなどによって一時的に予測効率が低下する場合に、参照フレームの時間的距離が短くなり符号化効率が低下することを防ぎ、動画像シーケンス全体の画質を向上することができる。
【０１３６】
本発明の請求項１４においては、ＩピクチャおよびＰピクチャの位置において参照フレーム間隔を増減することができるため、細かな単位での参照フレーム間隔の制御が可能になる。
【０１３７】
本発明の請求項１５においては、ＩピクチャおよびＰピクチャの符号化前に、選択可能な全ての参照フレーム間隔における予測効率を試算し、これに基づき、次に使用する参照フレーム間隔を決定するため、ＩピクチャおよびＰピクチャの符号化毎に最適な参照フレーム間隔を選択することが可能となる。
【０１３８】
本発明の請求項１６においては、フィールド構造の符号化に対してもフレーム構造の符号化と同様の効果を得ることができる。
【図面の簡単な説明】
【図１】本発明における一実施形態のブロック図である。
【図２】本発明の請求項３における一実施形態のブロック図である。
【図３】本発明の請求項４における一実施形態のブロック図である。
【図４】図３における比較器の特性の一実施形態である。
【図５】本発明の請求項５における一実施形態のブロック図である。
【図６】本発明の請求項６における一実施形態のブロック図である。
【図７】本発明の請求項９における参照フレーム間隔ｍの制御例を示す図である。
【図８】本発明の請求項１０における参照フレーム間隔ｍの制御例を示す第１の図である。
【図９】本発明の請求項１０における参照フレーム間隔ｍの制御例を示す第２の図である。
【図１０】本発明の請求項１１における参照フレーム間隔ｍの制御例を示す第１の図である。
【図１１】本発明の請求項１１における参照フレーム間隔ｍの制御例を示す第２の図である。
【図１２】本発明の請求項１２における参照フレーム間隔ｍの制御例を示す図である。
【図１３】本発明の請求項９，１０，１３におけるＩピクチャの処理のフローチャートである。
【図１４】本発明の請求項９，１０，１３におけるＰピクチャの処理のフローチャートである。
【図１５】本発明の請求項９，１０，１３におけるＢピクチャの処理のフローチャートである。
【図１６】本発明の請求項１４における第１のしきい値と第２のしきい値の例を示す図である。
【図１７】本発明の請求項１４における参照フレーム間隔ｍの制御例を示す図である。
【図１８】本発明の請求項１５におけるＩピクチャおよびＰピクチャの処理のフローチャートである。
【図１９】本発明の請求項１５における実施形態の動作を説明する図である。
【図２０】ＭＰＥＧにおける予測構造を説明する図である。
【図２１】ＭＰＥＧにおける画像順序の並べ替えを説明する図である。
【図２２】従来の動画像符号化装置のブロック図である。
【図２３】動きベクトル検出を説明する図である。
【図２４】符号化フレームと参照フレームの間の時間的距離と、動きベクトルの探索範囲の関係を説明する図である。
【図２５】特開平８−６５６７８号記載の処理を行なう従来の動画像符号化装置のブロック図である。
【符号の説明】
１ フレームメモリ
２ 画像並べ替え制御回路
３ 動きベクトル検出回路
４ 符号化モード判定回路
５ 動き補償予測回路
６ セレクタ
８ 符号化器
９ 復号器
１１ フレームメモリ
Claims (9)
- 動画像シーケンスの各フレームを符号化ブロックに分割し、各符号化ブロックを参照フレームからのフレーム間予測を用いて符号化する動画像符号化であって、
前記符号化ブロックに対する符号化モードとして、過去の参照フレームからの予測を用いる前方予測モードと、未来の参照フレームからの予測を用いる後方予測モードと、過去の参照フレームからの予測と未来の参照フレームからの予測の平均値を予測として用いる双方向予測モードと、フレーム間予測を用いないフレーム内符号化モードとを備え、
各フレームは、フレーム内の全ての符号化ブロックをフレーム内符号化モードで符号化するフレーム内符号化フレーム、フレーム内の各符号化ブロックを前方予測モードもしくはフレーム内符号化モードを用いて符号化する前方予測符号化フレーム、フレーム内の各符号化ブロックを前方予測モードもしくは後方予測モードもしくは双方向予測モードもしくはフレーム内符号化モードを用いて符号化する双方向予測符号化フレームのいずれかに分類され、
フレーム内符号化フレームもしくは前方予測符号化フレームを参照フレームとする動画像符号化において、フレーム間予測の予測効率を計算する予測効率計算回路と、参照フレーム間隔決定回路とを具備し、
フレーム内符号化フレームと前方予測符号化フレーム、もしくは前方予測符号化フレームと前方予測符号化フレーム、もしくはフレーム内符号化フレームとフレーム内符号化フレームの時間間隔である参照フレーム間隔を適応的に可変とし、該参照フレーム間隔を、予測効率計算回路の出力に応じて参照フレーム間隔決定回路において決定し、
予測効率の算出に前記符号化ブロックのフレーム間予測における予測誤差を用い、
前記符号化ブロックのフレーム間予測における予測誤差が所定のしきい値よりも小さい符号化ブロックを高効率予測ブロックと判定し、フレーム内における高効率予測ブロックの個数を予測効率とし、
前記参照フレーム間隔決定回路において、フレーム内符号化フレームの位置を該フレーム内符号化フレームの直前で用いられていた第１の参照フレーム間隔から所定の値だけ増加した第２の参照フレーム間隔によって設定し、該フレーム内符号化フレームに対しても前方予測符号化フレームと同様の方法で該フレーム内符号化フレームに対する予測効率を算出して、該予測効率が所定のしきい値を上回った時には、該フレーム内符号化フレームの以後の符号化における参照フレーム間隔を第２の参照フレーム間隔とし、該予測効率が所定のしきい値を下回った時には、以後の符号化における参照フレーム間隔を第１の参照フレーム間隔とすることを特徴とする動画像符号化装置。 - 動画像シーケンスの各フレームを符号化ブロックに分割し、各符号化ブロックを参照フレームからのフレーム間予測を用いて符号化する動画像符号化であって、
前記符号化ブロックに対する符号化モードとして、過去の参照フレームからの予測を用いる前方予測モードと、未来の参照フレームからの予測を用いる後方予測モードと、過去の参照フレームからの予測と未来の参照フレームからの予測の平均値を予測として用いる双方向予測モードと、フレーム間予測を用いないフレーム内符号化モードとを備え、
各フレームは、フレーム内の全ての符号化ブロックをフレーム内符号化モードで符号化するフレーム内符号化フレーム、フレーム内の各符号化ブロックを前方予測モードもしくはフレーム内符号化モードを用いて符号化する前方予測符号化フレーム、フレーム内の各符号化ブロックを前方予測モードもしくは後方予測モードもしくは双方向予測モードもしくはフレーム内符号化モードを用いて符号化する双方向予測符号化フレームのいずれかに分類され、
フレーム内符号化フレームもしくは前方予測符号化フレームを参照フレームとする動画像符号化において、フレーム間予測の予測効率を計算する予測効率計算回路と、参照フレーム間隔決定回路とを具備し、
フレーム内符号化フレームと前方予測符号化フレーム、もしくは前方予測符号化フレー ムと前方予測符号化フレーム、もしくはフレーム内符号化フレームとフレーム内符号化フレームの時間間隔である参照フレーム間隔を適応的に可変とし、該参照フレーム間隔を、予測効率計算回路の出力に応じて参照フレーム間隔決定回路において決定し、
予測効率の算出に前記符号化ブロックのフレーム間予測における予測誤差を用い、
前記符号化ブロックのフレーム間予測における予測誤差が所定のしきい値よりも小さい符号化ブロックを高効率予測ブロックと判定し、フレーム内における高効率予測ブロックの個数を予測効率とし、
参照フレーム間にある双方向予測符号化フレームの符号化において、
前方予測モードが選択された符号化ブロックの個数が所定のしきい値を下回り、かつ、後方予測モードが選択された符号化ブロックの個数が所定のしきい値を下回る双方向予測
符号化フレームが存在する条件が成立する場合のみ、該双方向予測符号化フレーム以降の参照フレーム間隔の増減を制御することを特徴とする動画像符号化装置。 - 動画像シーケンスの各フレームを符号化ブロックに分割し、各符号化ブロックを参照フレームからのフレーム間予測を用いて符号化する動画像符号化であって、
前記符号化ブロックに対する符号化モードとして、過去の参照フレームからの予測を用いる前方予測モードと、未来の参照フレームからの予測を用いる後方予測モードと、過去の参照フレームからの予測と未来の参照フレームからの予測の平均値を予測として用いる双方向予測モードと、フレーム間予測を用いないフレーム内符号化モードとを備え、
各フレームは、フレーム内の全ての符号化ブロックをフレーム内符号化モードで符号化するフレーム内符号化フレーム、フレーム内の各符号化ブロックを前方予測モードもしくはフレーム内符号化モードを用いて符号化する前方予測符号化フレーム、フレーム内の各符号化ブロックを前方予測モードもしくは後方予測モードもしくは双方向予測モードもしくはフレーム内符号化モードを用いて符号化する双方向予測符号化フレームのいずれかに分類され、
フレーム内符号化フレームもしくは前方予測符号化フレームを参照フレームとする動画像符号化において、フレーム間予測の予測効率を計算する予測効率計算回路と、参照フレーム間隔決定回路とを具備し、
フレーム内符号化フレームと前方予測符号化フレーム、もしくは前方予測符号化フレームと前方予測符号化フレーム、もしくはフレーム内符号化フレームとフレーム内符号化フレームの時間間隔である参照フレーム間隔を適応的に可変とし、該参照フレーム間隔を、予測効率計算回路の出力に応じて参照フレーム間隔決定回路において決定し、
予測効率の算出に前記符号化ブロックのフレーム間予測における予測誤差を用い、
前記符号化ブロックのフレーム間予測における予測誤差が所定のしきい値よりも小さい符号化ブロックを高効率予測ブロックと判定し、フレーム内における高効率予測ブロックの個数を予測効率とし、
参照フレーム間にある双方向予測符号化フレームの符号化において、
予測効率が所定のしきい値を上回る双方向予測符号化フレームが存在する条件が成立する場合のみ、該双方向予測符号化フレーム以降の参照フレーム間隔の増減を制御することを特徴とする動画像符号化装置。 - 動画像シーケンスの各フレームを符号化ブロックに分割し、各符号化ブロックを参照フレームからのフレーム間予測を用いて符号化する動画像符号化であって、
前記符号化ブロックに対する符号化モードとして、過去の参照フレームからの予測を用いる前方予測モードと、未来の参照フレームからの予測を用いる後方予測モードと、過去の参照フレームからの予測と未来の参照フレームからの予測の平均値を予測として用いる双方向予測モードと、フレーム間予測を用いないフレーム内符号化モードとを備え、
各フレームは、フレーム内の全ての符号化ブロックをフレーム内符号化モードで符号化するフレーム内符号化フレーム、フレーム内の各符号化ブロックを前方予測モードもしくはフレーム内符号化モードを用いて符号化する前方予測符号化フレーム、フレーム内の各 符号化ブロックを前方予測モードもしくは後方予測モードもしくは双方向予測モードもしくはフレーム内符号化モードを用いて符号化する双方向予測符号化フレームのいずれかに分類され、
フレーム内符号化フレームもしくは前方予測符号化フレームを参照フレームとする動画像符号化において、フレーム間予測の予測効率を計算する予測効率計算回路と、参照フレーム間隔決定回路とを具備し、
フレーム内符号化フレームと前方予測符号化フレーム、もしくは前方予測符号化フレームと前方予測符号化フレーム、もしくはフレーム内符号化フレームとフレーム内符号化フレームの時間間隔である参照フレーム間隔を適応的に可変とし、該参照フレーム間隔を、予測効率計算回路の出力に応じて参照フレーム間隔決定回路において決定し、
予測効率の算出に前記符号化ブロックのフレーム間予測における予測誤差を用い、
前記符号化ブロックのフレーム間予測における予測誤差が所定のしきい値よりも小さい符号化ブロックを高効率予測ブロックと判定し、フレーム内における高効率予測ブロックの個数を予測効率とし、
参照フレーム間にある双方向予測符号化フレームの符号化において、
前方予測モードが選択された符号化ブロックの個数が所定のしきい値を下回り、かつ、後方予測モードが選択された符号化ブロックの個数が所定のしきい値を下回る双方向予測符号化フレームが存在する条件と、予測効率が所定のしきい値を上回る双方向予測符号化フレームが存在する条件が、両方とも成立する場合のみ、該双方向予測符号化フレーム以降の参照フレーム間隔の増減を制御することを特徴とする動画像符号化装置。 - 動画像シーケンスの各フレームを符号化ブロックに分割し、各符号化ブロックを参照フレームからのフレーム間予測を用いて符号化する動画像符号化であって、
前記符号化ブロックに対する符号化モードとして、過去の参照フレームからの予測を用いる前方予測モードと、未来の参照フレームからの予測を用いる後方予測モードと、過去の参照フレームからの予測と未来の参照フレームからの予測の平均値を予測として用いる双方向予測モードと、フレーム間予測を用いないフレーム内符号化モードとを備え、
各フレームは、フレーム内の全ての符号化ブロックをフレーム内符号化モードで符号化するフレーム内符号化フレーム、フレーム内の各符号化ブロックを前方予測モードもしくはフレーム内符号化モードを用いて符号化する前方予測符号化フレーム、フレーム内の各符号化ブロックを前方予測モードもしくは後方予測モードもしくは双方向予測モードもしくはフレーム内符号化モードを用いて符号化する双方向予測符号化フレームのいずれかに分類され、
フレーム内符号化フレームもしくは前方予測符号化フレームを参照フレームとする動画像符号化において、フレーム間予測の予測効率を計算する予測効率計算回路と、参照フレーム間隔決定回路とを具備し、
フレーム内符号化フレームと前方予測符号化フレーム、もしくは前方予測符号化フレームと前方予測符号化フレーム、もしくはフレーム内符号化フレームとフレーム内符号化フレームの時間間隔である参照フレーム間隔を適応的に可変とし、該参照フレーム間隔を、予測効率計算回路の出力に応じて参照フレーム間隔決定回路において決定し、
予測効率の算出に前記符号化ブロックのフレーム間予測における予測誤差を用い、
前記符号化ブロックのフレーム間予測における予測誤差が所定のしきい値よりも小さい符号化ブロックを高効率予測ブロックと判定し、フレーム内における高効率予測ブロックの個数を予測効率とし、
前記参照フレーム間隔決定回路において、フレーム内符号化フレームもしくは前方予測符号化フレームの符号化における予測効率が第１のしきい値を下回った時に、該フレーム以後の符号化における参照フレーム間隔を減少し、フレーム内符号化フレームもしくは前方予測符号化フレームの符号化における予測効率が第２のしきい値を上回った時に、該フレーム以後の符号化における参照フレーム間隔を増加することを特徴とする動画像符号化装置。 - 動画像シーケンスの各フレームを符号化ブロックに分割し、各符号化ブロックを参照フレームからのフレーム間予測を用いて符号化する動画像符号化であって、
前記符号化ブロックに対する符号化モードとして、過去の参照フレームからの予測を用いる前方予測モードと、未来の参照フレームからの予測を用いる後方予測モードと、過去の参照フレームからの予測と未来の参照フレームからの予測の平均値を予測として用いる双方向予測モードと、フレーム間予測を用いないフレーム内符号化モードとを備え、
各フレームは、フレーム内の全ての符号化ブロックをフレーム内符号化モードで符号化するフレーム内符号化フレーム、フレーム内の各符号化ブロックを前方予測モードもしくはフレーム内符号化モードを用いて符号化する前方予測符号化フレーム、フレーム内の各符号化ブロックを前方予測モードもしくは後方予測モードもしくは双方向予測モードもしくはフレーム内符号化モードを用いて符号化する双方向予測符号化フレームのいずれかに分類され、
フレーム内符号化フレームもしくは前方予測符号化フレームを参照フレームとする動画像符号化において、フレーム間予測の予測効率を計算する予測効率計算回路と、参照フレーム間隔決定回路とを具備し、
フレーム内符号化フレームと前方予測符号化フレーム、もしくは前方予測符号化フレームと前方予測符号化フレーム、もしくはフレーム内符号化フレームとフレーム内符号化フレームの時間間隔である参照フレーム間隔を適応的に可変とし、該参照フレーム間隔を、予測効率計算回路の出力に応じて参照フレーム間隔決定回路において決定し、
予測効率の算出に前記符号化ブロックのフレーム間予測における予測誤差を用い、
前記符号化ブロックのフレーム間予測における予測誤差が所定のしきい値よりも小さい符号化ブロックを高効率予測ブロックと判定し、フレーム内における高効率予測ブロックの個数を予測効率とし、
前記参照フレーム間隔決定回路において、フレーム内符号化フレームもしくは前方予測符号化フレームとする符号化フレームの位置を決定する際に、符号化フレームとなりうる複数の候補フレームの全てに対して前記予測効率を求め、該予測効率が所定のしきい値を上回る前記候補フレームの中で、時間的に最も新しい候補フレームを前記符号化フレームとすることを特徴とする動画像符号化装置。 - 前記符号化ブロックのフレーム間予測における予測誤差として、符号化ブロックと予測ブロックの間の差分絶対値和、もしくは、符号化ブロックと予測ブロックの間の差分自乗和を用いることを特徴とする請求項１〜６のいずれかに記載の動画像符号化装置。
- 前記参照フレーム間隔決定回路において、前方予測符号化フレームの符号化における予測効率が所定のしきい値を下回った時に、該前方予測符号化フレーム以降の符号化における参照フレーム間隔を減少することを特徴とする請求項１〜７のいずれかに記載の動画像符号化装置。
- 前記フレーム画像に対する処理と同様の処理をフィールド画像に対して適用することを特徴とする請求項１〜８のいずれかに記載の動画像符号化装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10868297A JP3604864B2 (ja) | 1997-04-25 | 1997-04-25 | 動画像符号化装置 |
| US09/063,895 US6052417A (en) | 1997-04-25 | 1998-04-22 | Motion image coding apparatus adaptively controlling reference frame interval |
| EP98303137A EP0874525A3 (en) | 1997-04-25 | 1998-04-23 | Motion image coding apparatus adaptively controlling reference frame interval |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10868297A JP3604864B2 (ja) | 1997-04-25 | 1997-04-25 | 動画像符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10304374A JPH10304374A (ja) | 1998-11-13 |
| JP3604864B2 true JP3604864B2 (ja) | 2004-12-22 |
Family
ID=14491006
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10868297A Expired - Lifetime JP3604864B2 (ja) | 1997-04-25 | 1997-04-25 | 動画像符号化装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6052417A (ja) |
| EP (1) | EP0874525A3 (ja) |
| JP (1) | JP3604864B2 (ja) |
Families Citing this family (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3249729B2 (ja) * | 1995-10-24 | 2002-01-21 | シャープ株式会社 | 画像符号化装置及び画像復号装置 |
| JP3224514B2 (ja) * | 1996-08-21 | 2001-10-29 | シャープ株式会社 | 動画像符号化装置および動画像復号装置 |
| JP3356004B2 (ja) * | 1997-05-30 | 2002-12-09 | 日本ビクター株式会社 | 可変レート符号化装置及び方法 |
| FR2783388B1 (fr) * | 1998-09-15 | 2000-10-13 | Thomson Multimedia Sa | Procede de compression d'images et dispositif pour la mise en oeuvre de ce procede |
| JP4656680B2 (ja) * | 1998-11-30 | 2011-03-23 | シャープ株式会社 | 画像検索情報記録装置及び画像検索装置 |
| US6973126B1 (en) * | 1999-03-05 | 2005-12-06 | Kdd Corporation | Video coding apparatus according to a feature of a video picture |
| US6499060B1 (en) * | 1999-03-12 | 2002-12-24 | Microsoft Corporation | Media coding for loss recovery with remotely predicted data units |
| JP3531532B2 (ja) | 1999-05-18 | 2004-05-31 | 日本電気株式会社 | 動画像符号化装置、及び方法 |
| JP2001086512A (ja) * | 1999-09-14 | 2001-03-30 | Nec Corp | 可変ビットレート符号化装置 |
| US6731813B1 (en) * | 1999-10-07 | 2004-05-04 | World Multicast.Com, Inc. | Self adapting frame intervals |
| JP3757088B2 (ja) | 1999-10-26 | 2006-03-22 | 日本電気株式会社 | 動画像符号化装置および方法 |
| JP3496604B2 (ja) * | 1999-12-20 | 2004-02-16 | 日本電気株式会社 | 圧縮画像データ再生装置および圧縮画像データ再生方法 |
| JP2002101416A (ja) * | 2000-09-25 | 2002-04-05 | Fujitsu Ltd | 画像制御装置 |
| WO2002037859A2 (en) * | 2000-11-03 | 2002-05-10 | Compression Science | Video data compression system |
| US7136394B2 (en) | 2001-03-12 | 2006-11-14 | Polycom, Inc. | Low-delay video encoding method for concealing the effects of packet loss in multi-channel packet switched networks |
| EP1725038A3 (en) * | 2001-03-12 | 2009-08-26 | Polycom, Inc. | A low-delay video encoding method for concealing the effects of packet loss in multi-channel packet switched networks |
| FR2830159A1 (fr) * | 2001-09-24 | 2003-03-28 | Thomson Licensing Sa | Procede de codage selon la norme mpeg |
| JP2004023458A (ja) * | 2002-06-17 | 2004-01-22 | Toshiba Corp | 動画像符号化／復号化方法及び装置 |
| WO2004014085A1 (ja) * | 2002-08-05 | 2004-02-12 | Matsushita Electric Industrial Co., Ltd. | データ処理装置およびデータ処理方法 |
| US8085844B2 (en) * | 2003-09-07 | 2011-12-27 | Microsoft Corporation | Signaling reference frame distances |
| US7577198B2 (en) * | 2003-09-07 | 2009-08-18 | Microsoft Corporation | Number of reference fields for an interlaced forward-predicted field |
| JP4591657B2 (ja) * | 2003-12-22 | 2010-12-01 | キヤノン株式会社 | 動画像符号化装置及びその制御方法、プログラム |
| JP2005184626A (ja) * | 2003-12-22 | 2005-07-07 | Canon Inc | 画像処理装置 |
| TW200525902A (en) | 2003-12-25 | 2005-08-01 | Nec Corp | Moving image encoding method and apparatus |
| KR20070026515A (ko) * | 2004-06-14 | 2007-03-08 | 모노리스 컴퍼니 리미티드 | 동영상 부호화 방법 및 동영상 복호 방법 |
| JP4541825B2 (ja) * | 2004-10-15 | 2010-09-08 | キヤノン株式会社 | 動画像符号化装置及びその制御方法 |
| US8634413B2 (en) * | 2004-12-30 | 2014-01-21 | Microsoft Corporation | Use of frame caching to improve packet loss recovery |
| CN100414999C (zh) * | 2005-03-07 | 2008-08-27 | 明基电通股份有限公司 | 处理视讯信号的方法及装置 |
| JP4556773B2 (ja) * | 2005-06-02 | 2010-10-06 | ソニー株式会社 | 映像信号処理方法 |
| JP4556774B2 (ja) * | 2005-06-02 | 2010-10-06 | ソニー株式会社 | 映像信号処理方法 |
| FR2887731A1 (fr) * | 2005-06-23 | 2006-12-29 | Nextream France Sa | Methode et dispositif de detection de fondus dans une sequence d'images |
| JP2007043651A (ja) | 2005-07-05 | 2007-02-15 | Ntt Docomo Inc | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム |
| KR100723507B1 (ko) * | 2005-10-12 | 2007-05-30 | 삼성전자주식회사 | Ｉ-프레임 움직임 예측을 이용한 동영상 압축 장치의 적응양자화 제어기 및 적응 양자화 제어 방법 |
| US9137537B2 (en) * | 2006-02-01 | 2015-09-15 | Flextronics Ap, Llc | Dynamic reference frame decision method and system |
| FR2898757A1 (fr) * | 2006-03-14 | 2007-09-21 | Canon Kk | Procede et dispositif d'adaptation d'une frequence temporelle d'une sequence d'images video |
| JP2008011158A (ja) * | 2006-06-29 | 2008-01-17 | Matsushita Electric Ind Co Ltd | 動きベクトル探索方法及び動きベクトル探索装置 |
| JPWO2009041215A1 (ja) * | 2007-09-25 | 2011-01-20 | シャープ株式会社 | 動画像符号化装置及び動画像復号装置 |
| US20090268097A1 (en) * | 2008-04-28 | 2009-10-29 | Siou-Shen Lin | Scene change detection method and related apparatus according to summation results of block matching costs associated with at least two frames |
| WO2018110270A1 (ja) * | 2016-12-12 | 2018-06-21 | ソニー株式会社 | 画像処理装置および方法 |
| JP7017223B2 (ja) * | 2017-07-31 | 2022-02-08 | 株式会社Free-D | 動画圧縮方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2586260B2 (ja) * | 1991-10-22 | 1997-02-26 | 三菱電機株式会社 | 適応的ブロッキング画像符号化装置 |
| US5592226A (en) * | 1994-01-26 | 1997-01-07 | Btg Usa Inc. | Method and apparatus for video data compression using temporally adaptive motion interpolation |
| JP2970417B2 (ja) * | 1994-08-22 | 1999-11-02 | 日本電気株式会社 | 動画像符号化方式 |
| JP3876392B2 (ja) * | 1996-04-26 | 2007-01-31 | 富士通株式会社 | 動きベクトル探索方法 |
-
1997
- 1997-04-25 JP JP10868297A patent/JP3604864B2/ja not_active Expired - Lifetime
-
1998
- 1998-04-22 US US09/063,895 patent/US6052417A/en not_active Expired - Fee Related
- 1998-04-23 EP EP98303137A patent/EP0874525A3/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10304374A (ja) | 1998-11-13 |
| EP0874525A3 (en) | 1999-07-07 |
| EP0874525A2 (en) | 1998-10-28 |
| US6052417A (en) | 2000-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3604864B2 (ja) | 動画像符号化装置 | |
| KR100508798B1 (ko) | 쌍방향 예측 블록 예측 방법 | |
| US7058130B2 (en) | Scene change detection | |
| US6934335B2 (en) | Video encoder with embedded scene change and 3:2 pull-down detections | |
| US7203238B2 (en) | 3:2 Pull-down detection | |
| JPH09294266A (ja) | 動きベクトル探索方法 | |
| JP2012520025A (ja) | ビデオデータの動きベクトルを処理するためのシステムおよび方法 | |
| WO2010109564A1 (ja) | 画像符号化装置及び画像符号化方法 | |
| JP2000083257A (ja) | ビデオエンコ―ダの運動推定器における場面の変化の検知 | |
| JP4328000B2 (ja) | 動画像符号化装置および動画像の特殊効果シーン検出装置 | |
| JP3531532B2 (ja) | 動画像符号化装置、及び方法 | |
| JP4257655B2 (ja) | 動画像符号化装置 | |
| USRE43491E1 (en) | Image shake correction image processing apparatus and program | |
| JP2001128179A (ja) | 動画像符号化装置および方法 | |
| JPH0846969A (ja) | 映像信号符号化方式 | |
| JP2002247584A (ja) | 画像符号化方法および装置、並びに、画像符号化処理用プログラム及びそのプログラムの記録媒体 | |
| JP4507896B2 (ja) | 動画像圧縮装置と動画像圧縮処理方法 | |
| JP2000261809A (ja) | 画像特徴に応じた画像符号化装置 | |
| KR101678138B1 (ko) | 동화상 부호화 방법, 장치 및 프로그램 | |
| JP4676513B2 (ja) | 符号化ピクチャタイプ決定方法，装置，そのプログラムおよびその記録媒体 | |
| JP3941921B2 (ja) | 動画像符号化装置 | |
| JPH10304371A (ja) | 動きベクトル検出装置 | |
| JP2006197006A (ja) | 動画像符号化装置 | |
| JP6740533B2 (ja) | 符号化装置、復号装置及びプログラム | |
| RU2338332C2 (ru) | Способ предсказания блока изображения с использованием усовершенствованного режима прямого предсказания |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040406 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040607 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040914 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040930 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071008 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081008 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081008 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091008 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091008 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101008 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111008 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121008 Year of fee payment: 8 |