JP3560958B2 - 動画符号化制御方法および装置 - Google Patents

動画符号化制御方法および装置 Download PDF

Info

Publication number
JP3560958B2
JP3560958B2 JP2002114391A JP2002114391A JP3560958B2 JP 3560958 B2 JP3560958 B2 JP 3560958B2 JP 2002114391 A JP2002114391 A JP 2002114391A JP 2002114391 A JP2002114391 A JP 2002114391A JP 3560958 B2 JP3560958 B2 JP 3560958B2
Authority
JP
Japan
Prior art keywords
local
block
amount
types
image quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002114391A
Other languages
English (en)
Other versions
JP2003309850A (ja
Inventor
正志 森
邦夫 中岡
宏明 堺
貴也 菅ヶ谷
悟 磯田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2002114391A priority Critical patent/JP3560958B2/ja
Priority to US10/273,149 priority patent/US6937654B2/en
Publication of JP2003309850A publication Critical patent/JP2003309850A/ja
Application granted granted Critical
Publication of JP3560958B2 publication Critical patent/JP3560958B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【０００１】
【発明の属する技術分野】
この発明は、与えられたデータ量の範囲内で符号化パラメータの最適な制御を行うことで、少ないデータ量で高画質な再生品質を得ることが必要な動画再生装置、データ帯域の小さい回線での動画配信を行う動画配信装置、データ蓄積量が多く取れない携帯動画再生端末などに適用して好適な動画符号化制御方法および装置に関するものである。
【０００２】
【従来の技術】
ＭＰＥＧなどの動画符号化方式においては、少ない動画データ量で利用者にとっての高画質な再生品質を提供するため、あるいはデータ蓄積量が多く取れない携帯動画再生端末などでより高画質を得るためには、符号化パラメータの最適な制御を行うことが必要である。
【０００３】
従来の動画符号化装置においては、符号化ブロックに関する局所的な情報だけに基づいて、データ割り当てのための各種の符号化パラメータの制御を行っていた。このため、従来技術においては、全体に割り当てられるデータ量が少ない場合には、フレーム内またはフレーム間でバランスがとれた各ブロックに対するデータ量割り当てを実現することが可能な適切な局所的符号化パラメータの設定を行うことができず、これが各種の画像の歪の原因になっていた。
【０００４】
【発明が解決しようとする課題】
例えば、或る符号化ブロックに過剰にデータ量が割り当てられる一方、境界領域などのデータ量割り当ての必要なブロックに十分なデータ量が割り当てられずに、ブロックノイズやモスキートノイズが生じていた。さらに、従来技術では、隣接するブロック間で連続性が考慮された符号化パラメータの設定が行われていないので、ブロックノイズが生じる問題もある。またフレーム間で、シーンチェンジなどが生じた場合に、フレーム間でバランスがとれたデータ量割り当てが適切に行われていないために、再生動画の動きがぎこちなくなるなどの現象が生じていた。
【０００５】
この発明は上記に鑑みてなされたもので、与えられたデータ量の範囲内で符号化パラメータの最適な大域的制御を行うことで、少ないデータ量、データ帯域の小さい回線、さらにはデータ蓄積量が多く取れない場合においても高画質な再生品質を得ることが可能な動画符号化制御方法および装置を得ることを目的とする。
【０００９】
【課題を解決するための手段】
この発明にかかる動画符号化制御方法は、大域的符号化パラメータおよび各ブロック毎の複数種の局所符号化パラメータを用いて各ブロックの動画データを符号化する動画符号化制御方法において、複数種の局所符号化パラメータを設定するための複数種の局所特徴量と符号化データ量とに基づいて複数種の局所符号化パラメータを計算するための第１の対応関係と、複数種の局所特徴量と複数種の局所符号化パラメータとに基づいて画質をあらわす量を計算するための第２の対応関係と、複数種の局所特徴量と画質をあらわす量とに基づいて複数種の局所符号化パラメータを求めるための第３の対応関係と、複数種の局所特徴量と複数種の局所符号化パラメータとに基づいて符号化データ量を計算するための第４の対応関係とを、サンプル動画を用いた統計的手法によって予め求める第１ステップと、前記第１の対応関係に基づき、動画データ中の当該ブロックの複数種の局所特徴量と、各フレームに割り当てられるデータ量をブロック数で均等割りした初期符号化データ量とに対応する複数種の局所符号化パラメータを計算する第２ステップと、前記第２の対応関係に基づき、前記第２ステップで計算された複数種の局所符号化パラメータと当該ブロックの複数種の局所特徴量とに対応する画質をあらわす量を計算し、前記計算した画質をあらわす量を基準値と比較することにより基準値よりも画質が良いブロックを抽出する第３ステップと、前記抽出されたブロックについて、画質をあらわす量を基準値に変更したときの複数種の局所符号化パラメータを、前記第３の対応関係と基準値と当該ブロックの複数種の局所特徴量とに基づき計算する第４ステップと、前記抽出されたブロックについて、前記第４の対応関係に基づき前記第４ステップで計算した複数種の局所符号化パラメータと当該ブロックの複数種の局所特徴量とに対応する新符号化データ量を計算する第５ステップと、前記第２ステップ〜第５ステップを１〜複数のフレーム内のブロックに対し繰り返し実行する第６ステップと、前記抽出されたブロックの画質をあらわす量を基準値に変更したときの１〜複数のフレーム中の全てのブロック分の符号化データ量を前記新符号化データ量を用いて計算し、該計算した全てのブロック分の符号化データ量が、各ブロックの符号化データ量を前記初期符号化データ量として計算した１〜複数のフレーム中の全てのブロック分の符号化データ量よりも少なくなった場合にのみ、前記抽出したブロックについては画質をあらわす量を基準値に変更したときの複数種の局所符号化パラメータを有効とする第７ステップと、前記抽出したブロックについては前記有効とされた複数種の局所符号化パラメータおよび大域的符号化パラメータを用い、それ以外のブロックについては前記第２ステップで求められた複数種の局所符号化パラメータおよび大域的符号化パラメータを用いて動画データを符号化して出力する第８ステップとを備えることを特徴とする。
【００１０】
つぎの発明にかかる動画符号化制御方法は、上記の発明において、前記第３ステップでは、前記第２の対応関係に基づき前記第２ステップで計算された複数種の局所符号化パラメータと当該ブロックの複数種の局所特徴量とに対応する画質をあらわす量を計算し、前記計算した画質をあらわす量を基準値と比較することにより基準値よりも画質が良いブロックおよび基準値よりも画質が悪いブロックを抽出することを特徴とする。
【００１１】
つぎの発明にかかる動画符号化制御方法は、上記の発明において、前記各フレーム中の全てのブロックについて、その周辺ブロックの画質をあらわす量の平均画質値を求め、当該ブロックの画質をあらわす量が前記平均画質値よりも所定値以上悪い場合は、当該ブロックの局所符号化パラメータを平均画質値に対応する局所符号化パラメータに変更し、変更後のフレーム中の全てのブロック分の符号化データ量が、各ブロックの符号化データ量を前記初期符号化データ量として計算したフレーム中の全てのブロック分の符号化データ量よりも少なくなった場合にのみ、前記平均画質値に対応する局所符号化パラメータへの局所符号化パラメータの変更を有効とする処理を、前記第７ステップと第８ステップとの間に実行することを特徴とする。
【００１２】
つぎの発明にかかる動画符号化制御装置は、局所符号化パラメータを設定するための複数種の局所特徴量と符号化データ量とに基づいて複数種の局所符号化パラメータを計算するための第１の関数テーブルと、複数種の局所特徴量と複数種の局所符号化パラメータとに基づいて画質をあらわす量を計算するための第２の関数テーブルと、複数種の局所特徴量と画質をあらわす量とに基づいて複数種の局所符号化パラメータを求めるための第３の関数テーブルと、複数種の局所特徴量と複数種の局所符号化パラメータとに基づいて符号化データ量を計算するための第４の関数テーブルとが記憶される制御データ記憶部を有する符号化制御データベース手段と、入力された動画データを分析して動画データ中の各ブロックの局所特徴量を抽出する動画特徴抽出部と、前記動画特徴抽出部で抽出された複数種の局所特徴量を１〜複数のフレーム分蓄積するパラメータ情報記憶部と、前記第１の関数テーブルに基づき、前記パラメータ情報記憶部に蓄積された当該ブロックの複数種の局所特徴量と、各フレームに割り当てられるデータ量をブロック数で均等割りした初期符号化データ量とに対応する複数種の局所符号化パラメータを計算する第１の処理と、前記第２の関数テーブルに基づき、前記第１の処理で計算された複数種の局所符号化パラメータと当該ブロックの複数種の局所特徴量とに対応する画質をあらわす量を計算し、前記計算した画質をあらわす量を基準値と比較することにより基準値よりも画質が良いブロックを抽出する第２の処理と、前記第２の処理で抽出されたブロックについて、画質をあらわす量を基準値に変更したときの複数種の局所符号化パラメータを、前記第３の関数テーブルと基準値と当該ブロックの複数種の局所特徴量とに基づき計算する第３の処理と、前記抽出されたブロックについて、前記第４の関数テーブルに基づき前記第３の処理で計算した複数種の局所符号化パラメータと当該ブロックの複数種の局所特徴量とに対応する新符号化データ量を計算する第４の処理とを１〜複数のフレーム内のブロックに対し繰り返し実行し、前記抽出されたブロックの画質をあらわす量を基準値に変更したときの１〜複数のフレーム中の全てのブロック分の符号化データ量を前記新符号化データ量を用いて計算し、該計算した全てのブロック分の符号化データ量が、各ブロックの符号化データ量を前記初期符号化データ量として計算した１〜複数のフレーム中の全てのブロック分の符号化データ量よりも少なくなった場合にのみ、前記抽出したブロックについては画質をあらわす量を基準値に変更したときの複数種の局所符号化パラメータを有効とする最適局所符号化パラメータ制御部と、前記抽出したブロックについては前記最適局所符号化パラメータ制御部により有効とされた複数種の局所符号化パラメータおよび大域的符号化パラメータを用い、それ以外のブロックについては前記最適局所符号化パラメータ制御部での前記第２の処理で求められた複数種の局所符号化パラメータおよび大域的符号化パラメータを用いて動画データを符号化する動画符号化部と、該動画符号化部で符号化された動画データを出力する動画符号出力部とを備えることを特徴とする。
【００１３】
つぎの発明にかかる動画符号化制御装置は、上記の発明において、前記最適局所符号化パラメータ制御部は、前記第２の処理では、前記制御データ記憶部に記憶された第２の関数テーブルに基づき前記第１の処理で計算された複数種の局所符号化パラメータと当該ブロックの複数種の局所特徴量とに対応する画質をあらわす量を計算し、前記計算した画質をあらわす量を基準値と比較することにより基準値よりも画質が良いブロックおよび基準値よりも画質が悪いブロックを抽出することを特徴とする。
【００１５】
つぎの発明にかかる動画符号化制御装置は、上記の発明において、前記最適局所符号化パラメータ制御部は、前記各フレーム中の全てのブロックについて、その周辺ブロックの画質をあらわす量の平均画質値を求め、当該ブロックの画質をあらわす量が前記平均画質値よりも所定値以上悪い場合は、当該ブロックの局所符号化パラメータを平均画質値に対応する局所符号化パラメータに変更し、変更後のフレーム中の全てのブロック分の符号化データ量が、各ブロックの符号化データ量を前記初期符号化データ量として計算したフレーム中の全てのブロック分の符号化データ量よりも少なくなった場合にのみ、前記平均画質値に対応する局所符号化パラメータへの局所符号化パラメータの変更を有効とする処理を、前記第４の処理の後に実行することを特徴とする。
【００１６】
つぎの発明にかかる動画符号化制御装置は、上記の発明において、前記動画特徴抽出部は、入力されたサンプル動画データを分析して動画の複数種の局所符号化パラメータを設定するための複数種の局所特徴量を各ブロック毎に抽出するものであり、前記動画特徴抽出部で抽出されたサンプル動画データの複数種の局所特徴量に基づき複数種の局所符号化パラメータを各ブロック毎に導出する局所符号化パラメータ制御部を更に備え、前記動画符号化部は、外部入力される大域的符号化パラメータおよび前記局所符号化パラメータ制御部からの複数種の局所符号化パラメータを用いて入力されるサンプル動画データを符号化するものであり、前記サンプル動画データおよび動画符号化部からの符号化データにおける局所復号画像ブロックに基づき画質をあらわす量を各ブロック毎に計算するとともに、前記動画符号化部からの符号化データに基づき符号化データ量を各ブロック毎に計算し、該計算した画質をあらわす量と、符号化データ量と、前記動画特徴抽出部からの複数種の局所特徴量と、前記局所符号化パラメータ制御部からの複数種の局所符号化パラメータとを組にして蓄積記憶し、該蓄積されたデータを統計処理することにより前記第１〜第４の関数テーブルを作成して前記符号化制御データベース手段に記憶させる動画データ解析部を更に備えることを特徴とする。
【００１９】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかる動画符号化制御方法および装置の好適な実施の形態を詳細に説明する。
【００２０】
実施の形態１．
まず、この明細書で用いる用語の定義について説明する。動画符号化装置においては、ほとんどの符号化方式で、フレームとブロックという単位で符号化を行う。動画は、所定の時間間隔（一定の場合が多い）での静止画の列とみなすことが出来る。図２に示すように、撮影された各々の静止画をフレームと呼ぶ。さらに、各フレームは、図３に示すように、同じサイズの矩形にわけられる。この矩形はブロックと呼ばれ、このブロック単位に符号化が行われる。ブロックの分け方、ブロックの名前は、符号化方式ごとに異なっている。例えばＭＰＥＧ方式の場合、ブロックはマクロブロックと呼ばれ、これが実質的な符号化の処理単位となっている。
【００２１】
さらに、動画符号化装置においては、動作制御を左右する幾つかの符号化パラメータを静的あるいは動作の途中に動的に指定する必要がある。このように、符号化パラメータは、大域的符号化パラメータと局所符号化パラメータに分けられる。
【００２２】
・大域的符号化パラメータ
大域的符号化パラメータとは、符号化全体の方針を決定するために静的に決定する符号化パラメータのことであると定義する。大域的符号化パラメータには、平均のフレームレート（ｆｐｓ： ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）、データレート（ｂｐｓ： ｂｉｔ ｐｅｒ ｓｅｃｏｎｄ）、解像度（ＨＸＶ（ｌｉｎｅ ｘ ｐｉｘｅｌ））などが含まれる。
【００２３】
・局所符号化パラメータ
局所符号化パラメータとは、符号化動作中にブロック単位で動的に変更される符号化パラメータのことであると定義する。ＭＰＥＧ方式を例にとると、局所符号化パラメータには、離散コサイン変換後に行う量子化の際の量子化レベル、マクロブロックタイプ、マクロブロックパターン（ＣＢＰ、ｃｏｄｅｄ ｂｌｏｃｋ ｐａｔｔｅｒｎ）、評価後の最適動きベクトルなどがあり、局所符号化パラメータには、通常複数のパラメータが含まれる。ＭＰＥＧなどの符号化方式では、局所符号化パラメータの変更設定手法は、規格ではないが、標準的な制御手順が参照実装として幾つか提供されている。
【００２４】
・局所特徴量
局所特徴量（以下、単に特徴量ともいう）とは、局所符号化パラメータを動的に設定するための規準となる量のことであると定義する。例えば、動き補償を行う符号化方式などでは、ブロックが所属する現フレームと隣接するフレームなどとで、最もブロック間の誤差（各画素間の絶対差分の和）が小さくなる位置を表す移動ベクトルとしての動きベクトルを探索する処理を行うが、局所特徴量とは、この動きベクトルや、動きベクトルを求めるための前記誤差（各画素間の絶対差分の和）などのことをいうとする。
【００２５】
局所特徴量の他の例およびこれに対応する局所符号化パラメータを以下に列挙する。
局所特徴量として「ＤＣＴ後のＡＣ成分の絶対値の総和」−これに対応する局所符号化パラメータが「量子化レベル」、
局所特徴量として「現在のブロックと隣接ブロックの同じ位置のブロックとのブロック間誤差」−これに対応する局所符号化パラメータが「マクロブロックタイプ」、
局所特徴量として「動きベクトル探索処理における最小ブロック間誤差とその位置を示す動きベクトル」−これに対応する局所符号化パラメータが「マクロブロックタイプ」、
局所特徴量として「量子化処理後のＤＣＴ係数の絶対値の総和」−これに対応する局所符号化パラメータが「ＣＢＰ（Ｃｏｄｅｄ Ｂｌｏｃｋ Ｐａｔｔｅｒｎ）」である。
【００２６】
・画質をあらわす量
また、画質をあらわす量とは、元画像ブロックと復号画像ブロックとの間のＳＮ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ）比や元画像ブロックと復号画像ブロックとの各画素間の絶対差分和などのことをいうものとする。
【００２７】
実施の形態１においては、動画符号化の制御において、データ量割り当ての制御をブロック単位の局所的な情報のみに基づくのではなく、１〜複数のフレームの単位で各ブロックの局所特徴量の情報を収集し、特徴量の分布を１〜複数のフレームに渡って大域的に判断した上で、各ブロックへの局所的符号パラメータの設定を行うことで、最適なデータ量割り当てを行うようにしている。
【００２８】
また、このような動画符号化の制御を実現するため、予め複数のサンプル動画データの符号化を行い、ブロックを符号化する際に必要となる、ブロックの特徴量、局所的符号化パラメータ、符号化データ量、並びに画質をあらわす量の情報を多量に収集し、これらについて統計的分析を行うことによって、ブロックの特徴量、局所的符号化パラメータ、符号化データ量、および画質をあらわす量の各関係を抽出し、この関係をデータベース化して、上記動画符号化の制御に用いることによって、高い精度で最適なデータ量割り当てを行うことを可能にしている。
【００２９】
まず、符号化制御データベースを作成する符号化制御データベース生成装置について説明する。図１は、符号化制御データベース生成装置の内部構成を示すブロック図である。この符号化制御データベース生成装置においては、符号化方式として、シンプルプロファイルと呼ばれるＭＰＥＧ−４の中で、最も基本的なプロファイルを使用するとする。
【００３０】
この符号化制御データベース生成装置は、動画入力部１、動画特徴抽出部２、局所符号化パラメータ制御部３、動画符号化部４、動画データ解析部５、および制御データ記憶部９を備えている。
【００３１】
動画入力部１は、撮像カメラやコンピュータなどから入力される符号化処理前のサンプル画像データをフレーム単位さらにはブロック単位に分解し、この分解したブロック単位のサンプル画像データを動画特徴抽出部２、動画符号化部４および動画データ解析部５に出力する。動画特徴抽出部２は、動画入力部１からのブロックデータに基づき前述した動きベクトルなどの各種の局所特徴量を計算し、計算した局所特徴量を局所符号化パラメータ制御部３および動画データ解析部５に出力する。局所符号化パラメータ制御部３は、動画特徴抽出部２から出力された局所特徴量を基にこの局所特徴量に対応する、量子化レベル、マクロブロックタイプなどの局所符号化パラメータを導出し、該導出した局所符号化パラメータを動画符号化部４および動画データ解析部５に出力する。
【００３２】
動画符号化部４は、局所符号化パラメータ制御部３からの局所符号化パラメータと外部入力される大域的符号化パラメータと動画入力部１からのブロックデータとを入力データとし、大域的符号化パラメータおよび局所符号化パラメータを用いてブロックデータのＭＰＥＧ−４シンプルプロファイルでの符号化を行い、符号化データを動画データ解析部５に出力する。
【００３３】
動画データ解析部５は、動画入力部１からのブロックデータと、動画特徴抽出部２からの局所特徴量と、局所符号化パラメータ制御部３からの局所符号化パラメータと、動画符号化部４からの符号化データ量などを入力データとしている。動画データ解析部５は、動画入力部１からの元画像ブロックと、動画符号化部４からの局所復号画像ブロックとを用いて、これら各画像ブロック間のＳＮ比やこれら各画像ブロックの画素間の絶対差分和などを導出することで、各ブロックについての画質をあらわす量を計算する。なお、ＭＰＥＧ方式の符号化を行う場合、動画符号化部４は、動き補償処理を行うために、ＤＣＴ係数を量子化したものを逆量子化し、さらに逆ＤＣＴ化して、局所復号動画データを作成するようにしているので、この局所復号動画データを用いて画質をあらわす量を計算することができる。
【００３４】
動画データ解析部５は、局所特徴量と、局所符号化パラメータと、画質をあらわす量と、符号化データ量とを組にして蓄積する。そして、動画データ解析部５は、蓄積された組にされたデータを分析し、局所特徴量と、局所符号化パラメータと、画質をあらわす量と、符号化データ量との関係を解析して符号化制御データベースを作成する。
【００３５】
制御データ記憶部９には、動画データ解析部５によって作成された符号化制御データベースが記憶される。
【００３６】
つぎに、図４を参照して、符号化制御データベースの作成手順について説明する。
【００３７】
まず、動画入力部１は、サンプル画像データをフレーム単位さらにはブロック単位に分解し、この分解したブロック単位のサンプル画像データを動画特徴抽出部２、動画符号化部４および動画データ解析部５に出力する（ステップ１００）。
【００３８】
動画特徴抽出部２は、動画入力部１からのブロックデータに基づき前述した動きベクトルなどの局所特徴量を計算し、計算した局所特徴量を局所符号化パラメータ制御部３および動画データ解析部５に出力する（ステップ１１０）。
【００３９】
局所符号化パラメータ制御部３は、動画特徴抽出部２から出力された局所特徴量を基に量子化レベル、マクロブロックタイプなどの局所符号化パラメータを導出し、該導出した局所符号化パラメータを動画符号化部４および動画データ解析部５に出力する（ステップ１２０）。
【００４０】
動画符号化部４は、局所符号化パラメータ制御部３からの局所符号化パラメータと外部入力される大域的符号化パラメータと動画入力部１からのブロックデータとを入力データとし、大域的符号化パラメータおよび局所符号化パラメータを用いてブロックデータのＭＰＥＧ−４シンプルプロファイルでの符号化を行い、符号化データを動画データ解析部５に出力する（ステップ１３０）。
【００４１】
動画データ解析部５は、動画入力部１からの元画像ブロックと、動画符号化部４からの局所復号画像ブロックとを用いて、当該ブロックについての画質をあらわす量を計算する（ステップ１４０）。
【００４２】
つぎに、動画データ解析部５は、動画符号化部からの符号化データを用いて当該ブロックの符号化データ量を計算する。そして、動画データ解析部５は、これら計算した画質をあらわす量、符号化データ量を、動画特徴抽出部２からの局所特徴量および局所符号化パラメータ制御部３からの局所符号化パラメータとともに、組にして動画データ解析部５内のメモリに蓄積記憶する（ステップ１５０）。
【００４３】
このようなステップ１００〜１５０の一連の処理を、符号化するサンプルの動画データの各フレーム、各ブロックが全て無くなるまで繰り返す（ステップ１６０）。
【００４４】
このようにして、多数のサンプル動画についてのデータ収集が終了すると、動画データ解析部５は、蓄積された組にされたデータを分析し、局所特徴量と、局所符号化パラメータと、画質をあらわす量と、符号化データ量との関係を解析し、これらの関係を示すデータテーブルとしての符号化制御データベースを作成する（ステップ１７０）。
【００４５】
一般に動画符号化の対象となるブロックの局所特徴量やブロックの符号化パラメータ等の間には、何らかの（関数）関係がある。この関係は大量のデータを収集し、統計的処理を行ってその関係を抽出することによって得ることが可能である。一般に大量のデータを収集して、ノイズ的な成分を取り除き、本質的な関係を抽出する統計的手法が幾つか知られている。これらの手法では、さらに、関係および因果性がある部分と、そうでない関係がない部分を抽出し、関係のある部分についてはその因果性を（関数）関係として取り出してくれる。
【００４６】
動画符号化装置では、一般に、幾つかの典型的なサンプル動画の符号化を行うことにより、大量のブロックに関する情報を網羅的に得ることが可能である。そこで、幾つかの典型的なサンプル動画についての、局所特徴量と、局所符号化パラメータ、画質をあらわす量、符号化データ量とをブロック毎に収集し、これら収集した多量のデータに関して、何らかの統計的手法を実行することで、局所特徴量と、局所符号化パラメータ、画質をあらわす量、符号化データ量との関係を抽出して関数化するようにしている。
【００４７】
図５は、このような統計的手法を採用することにより得られた符号化制御データベースの一例を示すものである。
【００４８】
この符号化制御データベースにおいては、
・局所特徴量と局所符号化パラメータを引数にし、符号化データ量を与える関数(以下第４の関数Ｄと呼ぶ)と、
・局所特徴量と符号化データ量を引数として、局所符号化パラメータを与える関数(以下第１の関数Ａと呼ぶ)と、
・局所特徴量と局所符号化パラメータを引数にし、画質をあらわす量を与える関数(以下第２の関数Ｂと呼ぶ)と、
・局所特徴量と画質をあらわす量を引数として、局所符号化パラメータを与える関数(以下第３の関数Ｃと呼ぶ)と、
の４つの関数Ａ，Ｂ，Ｃ，Ｄから構成されている。
【００４９】
そして、このようにして得られた、４つの関数、すなわちこれら４つの関数関係を表すデータテーブル（関数テーブル）を符号化制御データベースとして制御データ記憶部９に記憶する。
【００５０】
つぎに、図６〜図１０を用いて動画符号化制御装置についての実施形態を説明する。この動画符号化制御装置においては、符号化方式として、シンプルプロファイルと呼ばれるＭＰＥＧ−４の中で、最も基本的なプロファイルを使用するとする。
【００５１】
図６は動画符号化制御装置の実施の形態を示すブロック図である。この動画符号化制御装置は、動画入力部１と、動画特徴抽出部２、動画符号化部４、制御データ記憶部９、最適局所符号化パラメータ制御部１０、パラメータ情報記憶部１１および動画符号出力部１２を備えている。図１に示す構成要素と同一機能を達成する構成要素に関しては同一符号を付している。
【００５２】
つぎに、図７および図８のフローチャートを参照して、図６に示した動画符号化制御装置の動作を説明する。
【００５３】
動画入力部１は、撮像カメラやコンピュータなどから入力される符号化処理前の任意の動画データをフレーム単位さらにはブロック単位に分解し、この分解したブロック単位の動画データを動画特徴抽出部２および動画符号化部４に出力する（ステップ２００）。動画特徴抽出部２は、動画入力部１からのブロックデータに基づき前述した動きベクトルなどの局所特徴量を計算し、計算した局所特徴量を最適局所符号化パラメータ制御部１０に出力する（ステップ２１０）。
【００５４】
最適局所符号化パラメータ制御部１０は、動画特徴抽出部２から入力された各ブロック毎の特徴量をパラメータ情報記憶部１１に対し、１〜複数のフレーム分蓄積記憶する（ステップ２２０）。
【００５５】
図９は、パラメータ情報記憶部１１に対し１フレーム分の特徴量をブロック毎に記憶する場合を示したものであり、また図１０はパラメータ情報記憶部１１に対し複数フレーム分の特徴量をブロック毎に記憶する場合を示したものである。
【００５６】
最適局所符号化パラメータ制御部１０は、パラメータ情報記憶部１１に蓄積された１〜複数フレーム分の特徴量のデータと、制御データ記憶部９に記憶された４つの関数から構成される符号化制御データベースとに基づいて、１〜複数のフレーム中の各ブロックの局所符号化パラメータを夫々設定することで、データ量の分布を大域的に調節する。そして、このようにして設定した各ブロックの局所符号化パラメータをパラメータ情報記憶部１１に蓄積記憶する。この動作は後で詳述する。
【００５７】
最適局所符号化パラメータ制御部１０では、このような１〜複数のフレーム単位での各ブロックの局所符号化パラメータの設定処理を、該設定処理を行うフレームが無くなるまで繰り返し実行する（ステップ２４０〜ステップ２３０のループ）。すなわち、図９に示すように、１フレーム単位に各ブロックの局所符号化パラメータの設定処理を行う場合は、１フレーム単位にステップ２００〜２４０の局所符号化パラメータの設定蓄積処理を実行し、図１０に示すように複数フレーム単位に各ブロックの局所符号化パラメータの設定処理を行う場合は、複数フレーム単位にステップ２００〜２４０の局所符号化パラメータの設定蓄積処理を実行する。
【００５８】
つぎに、最適局所符号化パラメータ制御部１０は、パラメータ情報記憶部１１に蓄積された１〜複数フレーム分の各ブロックの局所符号化パラメータを動画符号化部４に出力する（ステップ２５０）。
【００５９】
動画符号化部４は、最適局所符号化パラメータ制御部１０から入力された各ブロックの局所符号化パラメータと、外部入力される大域的符号化パラメータと、動画入力部１から入力される符号化前のブロックデータとを用いて符号化を行い、符号化データを動画符号出力部１２へ出力する（ステップ２６０）。
【００６０】
動画符号出力部１２は、入力された動画符号化データを記憶装置への蓄積や通信回線への送信可能な形式などにデータ変換した後、この変換した動画符号化データを出力する（ステップ２７０）。
【００６１】
このような一連の処理を、符号化する動画データ中のフレームがなくなるまで繰り返し実行する（ステップ２８０〜２７０のループ）。
【００６２】
つぎに、図８を参照して、図７のステップ２３０での処理の詳細について説明する。
【００６３】
各ブロックに割り当てられた符号化データ量は、初期段階では各フレームに割り当てられたデータ量を均等割りにした量であるとする。また、画質をあらわす量に対して、基準値が設定されているものとする。
【００６４】
最適局所符号化パラメータ制御部１０では、前述した局所符号化パラメータの設定蓄積処理の単位である１〜複数のフレームの全てのブロックに対し、ステップ３００〜ステップ３４０の処理を繰り返し実行する。
【００６５】
まず、最適局所符号化パラメータ制御部１０は、パラメータ情報記憶部１１に蓄積された当該ブロックの特徴量と当該ブロックに割り当てられた符号化データ量（この場合は均等割りした量）とを、制御データ記憶部９の符号化制御データベースの第１の関数テーブルＡに割り当てることで、これらの値に対応する局所符号化パラメータを計算する（ステップ３００）。
【００６６】
さらに、最適局所符号化パラメータ制御部１０は、この計算された局所符号化パラメータと当該ブロックの特徴量とを、制御データ記憶部９の符号化制御データベースの第２の関数テーブルＢに割り当てることで、これらの値に対応する画質をあらわす量を計算する（ステップ３１０）。
【００６７】
この画質をあらわす量を所定の基準値と比較し（ステップ３２０）、画質をあらわす量が基準値を上回る場合は、この基準値と当該ブロックの特徴量とを、制御データ記憶部９の符号化制御データベースの第３の関数テーブルＣに割り当てることで、基準値（画質）に対応する局所符号化パラメータを計算し、新しい局所符号化パラメータとする（ステップ３３０）。
【００６８】
さらに、この新たな局所符号化パラメータと当該ブロックの特徴量とを、制御データ記憶部９の符号化制御データベースの第４の関数テーブルＤに割り当てることで、符号化データ量を計算し、これを当該ブロックについての新しい符号化データ量とする（ステップ３４０）。
【００６９】
なお、ステップ３２０の比較で、画質をあらわす量が基準値を上回らないブロックについては、局所符号化パラメータの変更を行わず、また符号化データ量も均等割りした量のままとする。
【００７０】
このような処理を１〜複数のフレーム中の全てのブロックに対し、繰り返し実行する。そして、１〜複数のフレーム中の全てのブロックに対する上記の処理が終了すると（ステップ３５０）、１〜複数のフレーム中の全てのブロック分の符号化データ量を合計して、１〜複数のフレーム中でのデータ量を計算する（ステップ３６０）。つぎに、この計算したデータ量を初期段階のデータ量と比較し（ステップ３７０）、データ量が減少したら、すなわち計算したデータ量＜初期段階のデータ量となったら、変更した各ブロックの局所符号化パラメータを有効とする（ステップ３８０）。しかし、データ量が同じ或いは増加した場合は、変更した各ブロックの局所符号化パラメータを元に戻し（ステップ３９０）、これでこの１〜複数のフレーム中についての処理を終了する。
【００７１】
つぎは、この１〜複数のフレーム中の画質が基準値を下回るブロックに着目した処理を実行する。
【００７２】
まず、ステップ３１０で求めた画質をあらわす量を所定の基準値と比較し（ステップ４００）、画質をあらわす量が基準値を下回るブロックの場合は、この基準値と当該ブロックの特徴量とを、制御データ記憶部９の符号化制御データベースの第３の関数テーブルＣに割り当てることで、基準値（画質）に対応する局所符号化パラメータを計算し、新しい局所符号化パラメータとする（ステップ４１０）。
【００７３】
さらに、この新たな局所符号化パラメータと当該ブロックの特徴量とを、制御データ記憶部９の符号化制御データベースの第４の関数テーブルＤに割り当てることで、符号化データ量を計算し、これを当該ブロックについての新しい符号化データ量とする（ステップ４２０）。
【００７４】
なお、ステップ４００の比較で、画質をあらわす量が基準値を下回らないブロックについては、局所符号化パラメータの変更を行わず、また符号化データ量も均等割りした量のままあるいはステップ３４０で変更されたデータ量のままとする。
【００７５】
このような処理を１〜複数のフレーム中の全てのブロックに対し、繰り返し実行する。そして、１〜複数のフレーム中の全てのブロックに対する上記の処理が終了すると（ステップ４３０）、１〜複数のフレーム中の全てのブロック分の符号化データ量を合計して、１〜複数のフレーム中でのデータ量を計算する（ステップ４４０）。つぎに、この計算したデータ量を初期段階のデータ量と比較し（ステップ４５０）、データ量が減少したら、すなわち計算したデータ量＜初期段階のデータ量となったら、変更した各ブロックの局所符号化パラメータを有効とする（ステップ４６０）。しかし、データ量が同じ或いは増加した場合は、今回のステップ４１０での処理で変更した各ブロックの局所符号化パラメータを元に戻し（ステップ３９０）、これでこの１〜複数のフレーム中についての処理を全て終了する。
【００７６】
そして、このような処理によって得られた１〜複数のフレーム中の全てのブロックについての局所符号化パラメータをパラメータ情報記憶部１１に記憶する。
【００７７】
このようにこの実施の形態１においては、動画符号化の制御において、データ量割り当ての制御をブロック単位の局所的な情報のみに基づくのではなく、１〜複数のフレームの単位で各ブロックの局所特徴量の情報を収集し、特徴量の分布を１〜複数のフレームに渡って大域的に判断した上で、各ブロックへの局所的符号パラメータの設定を行うことで、最適なデータ量割り当てを行うようにしている。したがって、ブロックノイズ、モスキートノイズが低減され、また滑らかな動きを有する再生動画を提供することができる。
【００７８】
また、このような動画符号化の制御を実現するため、予め複数のサンプル動画データの符号化を行い、ブロックを符号化する際に必要となる、ブロックの特徴量、局所的符号化パラメータ、符号化データ量、並びに画質をあらわす量の情報を多量に収集し、これらについて統計的分析を行うことによって、ブロックの特徴量、局所的符号化パラメータ、符号化データ量、および画質をあらわす量の各関係を抽出し、この関係をデータベース化して、上記動画符号化の制御に用いるようにしており、高い精度での最適なデータ量割り当てが可能となる。
【００７９】
実施の形態２．
つぎに、図１１を用いてこの発明の実施の形態２について説明する。この実施の形態２においては、動画符号化制御装置の最適局所符号化パラメータ制御部１０において、データ量の分布を大域的に調節するとともに、各符号化ブロック近傍のデータ量分布の調節も行うようにしている。
【００８０】
以下の説明において、周辺のブロックとは、パラメータ情報記憶部１１で１フレーム分のデータを蓄積している場合は、１フレーム内で隣接しているブロックのことをいい、パラメータ情報記憶部１１で複数のフレーム分のデータを蓄積している場合は、１フレーム内で隣接しているブロックあるいは前のフレームで同じ位置にあるブロックあるいはそれに隣接しているブロックのことをいうものとする。
【００８１】
すでに、前述したデータ量の分布を大域的に調節する処理がなされているものとし、また、この大域的調節処理によって処理後のデータ量が初期段階で割り当てられたデータ量より少なくなっているものとする。
【００８２】
１つのフレームにおける１つの着目ブロックの周辺ブロックの夫々について、制御データ記憶部９の符号化制御データベースの第２の関数テーブルＢを用いて、画質をあらわす量を計算し（ステップ５００）、さらにそれの平均値を計算する（ステップ５１０）。
【００８３】
当該着目ブロックについても、制御データ記憶部９の符号化制御データベースの第２の関数テーブルＢを用いて、画質をあらわす量を計算する（ステップ５２０）。
【００８４】
この着目ブロックの画質をあらわす量と、周辺ブロックについての前記平均値を比較し（ステップ５３０）、着目ブロックの画質をあらわす量が平均値に対して著しく劣っている場合、すなわち両者に所定値以上の差があるときは、つぎのステップ５５０〜５７０の処理を実行し、そうでない場合は、当該着目ブロックについての局所符号化パラメータを変更しない（ステップ５４０）。
【００８５】
ステップ５５０においては、周辺ブロックについての前記平均値と、当該着目ブロックの特徴量とを、制御データ記憶部９の符号化制御データベースの第３の関数テーブルＣに割り当てることで、これらの値に対応する局所符号化パラメータを計算すし、新しい局所符号化パラメータとする。
【００８６】
さらに、この新たな局所符号化パラメータと当該着目ブロックの特徴量とを、制御データ記憶部９の符号化制御データベースの第４の関数テーブルＤに割り当てることで、符号化データ量を計算し、これを当該着目ブロックについての新しい符号化データ量とする（ステップ５６０）。
【００８７】
つぎに、１つのフレームについての全てのブロックについての処理が終了したか否かを判定し（ステップ５７０）、終了していない場合は、着目ブロックを変更して（ステップ５８０）、ステップ５００〜ステップ５６０の処理を再度実行する。このような処理を当該１フレーム中の全てのブロックに対し、着目ブロックを変更しながら繰り返し実行する。
【００８８】
そして、１フレーム中の全てのブロックに対する上記の処理が終了すると（ステップ５７０）、１フレーム中の全てのブロック分の符号化データ量を合計して、１フレーム中でのデータ量を計算する（ステップ５９０）。つぎに、この計算したデータ量を、初期段階のデータ量（前述した大域的調節処理前のデータ量）と比較し（ステップ６００）、計算したデータ量が初期段階のデータ量よりも増加しない場合は、変更した各ブロックの局所符号化パラメータを有効とする（ステップ６１０）。しかし、計算したデータ量が初期段階のデータ量よりも増加した場合は、今回のステップ５５０での処理で変更した各ブロックの局所符号化パラメータを元に戻し（ステップ６２０）、これでこの１フレームについての処理を終了する。
【００８９】
そして、このような処理によって得られた１フレーム中の全てのブロックについての局所符号化パラメータをパラメータ情報記憶部１１に記憶する。
【００９０】
このようにこの実施の形態２においては、各符号化ブロックの周辺のデータ量分布の調節も行うようにしているので、ブロック間での符号化パラメータの連続性が確保され、ブロックノイズを低減することが可能となる。
【００９１】
ところで、制御データ記憶部９に記憶される符号化制御データベースをパラメータ情報記憶部１１に記憶される情報を基に改定可能に構成することもできる。この場合は、動画符号化制御装置の最適局所符号化パラメータ制御部１０に、前述した統計的手法を用いて、制御データ記憶部９に記憶される符号化制御データベースの関数関係に、パラメータ情報記憶部１１に記憶される情報を反映させることができる機能を持たせるようにする。
【００９２】
図１の動画データ解析部５が行う統計的手法では、一般に大量のデータを収集して、ノイズ的な成分を取り除き、本質的な（関数）関係を抽出するだけではなく、さらに新しいデータが入ってきた場合に効率よく、このデータを関数関係に反映させ、関数の精度を向上させることが可能である。したがって、このような機能を動画符号化制御装置の最適局所符号化パラメータ制御部１０にも、持たせるようにする。
【００９３】
このようなデータベースの改定機能を可能とするために、最適局所符号化パラメータ制御部１０は、動画入力部１から入力される各種の動画データに関して、ブロック毎の局所特徴量と、ブロック毎の局所符号化パラメータと、ブロック毎の画質をあらわす量と、ブロック毎の符号化データ量とを組にしてパラメータ情報記憶部１１に蓄積するようにする。
【００９４】
そして、最適局所符号化パラメータ制御部１０は、蓄積した多量のデータに関して統計的手法を実行することで、局所特徴量と、局所符号化パラメータ、画質をあらわす量、符号化データ量との関係を抽出し、この抽出結果を制御データ記憶部９の符号化制御データベースの関数テーブルＡ〜Ｄに反映させる。
【００９５】
このような符号化制御データベースの改定によって、局所符号化パラメータの設定変更処理の精度が向上し、与えられたデータ量の範囲内で高画質の動画再生が可能となる。
【００９６】
【発明の効果】
以上説明したように、この発明によれば、画質が基準値よりも良いブロックは、局所符号化パラメータを基準値に対応する局所符号化パラメータに変更して、この変更に対応する１〜複数フレーム分の符号化データ量が局所符号化パラメータを変更する前の１〜複数フレーム分の符号化データ量よりも少なくなった場合のみ前記局所符号化パラメータの変更を有効として動画データを符号化するようにしたので、１〜複数のフレーム中の各ブロックの画質を所定のデータ量の範囲内で基準値に近づける最適化が行われるように各ブロックの局所符号化パラメータが調整され、これにより少ないデータ量、データ帯域の小さい回線、さらにはデータ蓄積量が多く取れない場合においても高画質な再生品質を得ることが可能となる。また、ブロックノイズ、モスキートノイズが低減され、滑らかな動きを有する再生動画を提供することができる。
【００９７】
つぎの発明によれば、画質が基準値よりも良いブロックおよび悪いブロックは、局所符号化パラメータを基準値に対応する符号化パラメータに変更して、この変更に対応する１〜複数フレーム分の符号化データ量が局所符号化パラメータを変更する前の１〜複数フレーム分の符号化データ量よりも少なくなった場合のみ前記局所符号化パラメータの変更を有効として動画データを符号化するようにしたので、１〜複数のフレーム中の各ブロックの画質を所定のデータ量の範囲内で基準値に近づける最適化が行われるように各ブロックの局所符号化パラメータが調整され、これにより少ないデータ量、データ帯域の小さい回線、さらにはデータ蓄積量が多く取れない場合においても高画質な再生品質を得ることが可能となる。また、ブロックノイズ、モスキートノイズが低減され、滑らかな動きを有する再生動画を提供することができる。
【００９８】
つぎの発明によれば、所定のデータ量の範囲内で、各ブロックの画質が周辺ブロックの画質に対し同等化されるよう各ブロックの局所符号化パラメータを調整するようにしているので、ブロック間での局所符号化パラメータの連続性が確保され、ブロックノイズを低減することが可能となる。
【図面の簡単な説明】
【図１】この発明の実施の形態１の符号化制御データベース生成装置の構成を示すブロック図である。
【図２】動画のフレームの概念を示す図である。
【図３】動画フレーム内のブロックの概念を示す図である。
【図４】図１の符号化制御データベース生成装置の動作を示すフローチャートである。
【図５】制御データ記憶部の記憶内容を説明するための図である。
【図６】この発明の実施の形態１の動画符号化制御装置の構成を示すブロック図である。
【図７】図６の動画符号化制御装置の動作を示すフローチャートである。
【図８】図６の動画符号化制御装置の最適局所符号化パラメータ制御部の動作を示すフローチャートである。
【図９】図６の動画符号化制御装置のパラメータ情報記憶部の記憶内容の一例を示す図である。
【図１０】図６の動画符号化制御装置のパラメータ情報記憶部の記憶内容の他の例を示す図である。
【図１１】この発明の実施の形態２の動画符号化制御装置の動作を示すフローチャートである。
【符号の説明】
１ 動画入力部、２ 動画特徴抽出部、３ 局所符号化パラメータ制御部、４動画符号化部、５ 動画データ解析部、９ 制御データ記憶部、１０ 最適局所符号化パラメータ制御部、１１ パラメータ情報記憶部、１２ 動画符号出力部。

Claims (7)

  1. 大域的符号化パラメータおよび各ブロック毎の複数種の局所符号化パラメータを用いて各ブロックの動画データを符号化する動画符号化制御方法において、
    複数種の局所符号化パラメータを設定するための複数種の局所特徴量と符号化データ量とに基づいて複数種の局所符号化パラメータを計算するための第１の対応関係と、複数種の局所特徴量と複数種の局所符号化パラメータとに基づいて画質をあらわす量を計算するための第２の対応関係と、複数種の局所特徴量と画質をあらわす量とに基づいて複数種の局所符号化パラメータを求めるための第３の対応関係と、複数種の局所特徴量と複数種の局所符号化パラメータとに基づいて符号化データ量を計算するための第４の対応関係とを、サンプル動画を用いた統計的手法によって予め求める第１ステップと、
    前記第１の対応関係に基づき、動画データ中の当該ブロックの複数種の局所特徴量と、各フレームに割り当てられるデータ量をブロック数で均等割りした初期符号化データ量とに対応する複数種の局所符号化パラメータを計算する第２ステップと、
    前記第２の対応関係に基づき、前記第２ステップで計算された複数種の局所符号化パラメータと当該ブロックの複数種の局所特徴量とに対応する画質をあらわす量を計算し、前記計算した画質をあらわす量を基準値と比較することにより基準値よりも画質が良いブロックを抽出する第３ステップと、
    前記抽出されたブロックについて、画質をあらわす量を基準値に変更したときの複数種の局所符号化パラメータを、前記第３の対応関係と基準値と当該ブロックの複数種の局所特徴量とに基づき計算する第４ステップと、
    前記抽出されたブロックについて、前記第４の対応関係に基づき前記第４ステップで計算した複数種の局所符号化パラメータと当該ブロックの複数種の局所特徴量とに対応する新符号化データ量を計算する第５ステップと、
    前記第２ステップ〜第５ステップを１〜複数のフレーム内のブロックに対し繰り返し実行する第６ステップと、
    前記抽出されたブロックの画質をあらわす量を基準値に変更したときの１〜複数のフレーム中の全てのブロック分の符号化データ量を前記新符号化データ量を用いて計算し、該計算した全てのブロック分の符号化データ量が、各ブロックの符号化データ量を前記初期符号化データ量として計算した１〜複数のフレーム中の全てのブロック分の符号化データ量よりも少なくなった場合にのみ、前記抽出したブロックについては画質をあらわす量を基準値に変更したときの複数種の局所符号化パラメータを有効とする第７ステップと、
    前記抽出したブロックについては前記有効とされた複数種の局所符号化パラメータおよび大域的符号化パラメータを用い、それ以外のブロックについては前記第２ステップで求められた複数種の局所符号化パラメータおよび大域的符号化パラメータを用いて動画データを符号化して出力する第８ステップと、
    を備えることを特徴とする動画符号化制御方法。
  2. 前記第３ステップでは、前記第２の対応関係に基づき前記第２ステップで計算された複数種の局所符号化パラメータと当該ブロックの複数種の局所特徴量とに対応する画質をあらわす量を計算し、前記計算した画質をあらわす量を基準値と比較することにより基準値よりも画質が良いブロックおよび基準値よりも画質が悪いブロックを抽出することを特徴とする請求項１に記載の動画符号化制御方法。
  3. 前記各フレーム中の全てのブロックについて、その周辺ブロックの画質をあらわす量の平均画質値を求め、当該ブロックの画質をあらわす量が前記平均画質値よりも所定値以上悪い場合は、当該ブロックの局所符号化パラメータを平均画質値に対応する局所符号化パラメータに変更し、変更後のフレーム中の全てのブロック分の符号化データ量が、各ブロックの符号化データ量を前記初期符号化データ量として計算したフレーム中の全てのブロック分の符号化データ量よりも少なくなった場合にのみ、前記平均画質値に対応する局所符号化パラメータへの局所符号化パラメータの変更を有効とする処理を、前記第７ステップと第８ステップとの間に実行することを特徴とする請求項１または２に記載の動画符号化制御方法。
  4. 局所符号化パラメータを設定するための複数種の局所特徴量と符号化データ量とに基づいて複数種の局所符号化パラメータを計算するための第１の関数テーブルと、複数種の局所特徴量と複数種の局所符号化パラメータとに基づいて画質をあらわす量を計算するための第２の関数テーブルと、複数種の局所特徴量と画質をあらわす量とに基づいて複数種の局所符号化パラメータを求めるための第３の関数テーブルと、複数種の局所特徴量と複数種の局所符号化パラメータとに基づいて符号化データ量を計算するための第４の関数テーブルとが記憶される制御データ記憶部を有する符号化制御データベース手段と、
    入力された動画データを分析して動画データ中の各ブロックの局所特徴量を抽出する動画特徴抽出部と、
    前記動画特徴抽出部で抽出された複数種の局所特徴量を１〜複数のフレーム分蓄積するパラメータ情報記憶部と、
    前記第１の関数テーブルに基づき、前記パラメータ情報記憶部に蓄積された当該ブロックの複数種の局所特徴量と、各フレームに割り当てられるデータ量をブロック数で均等割りした初期符号化データ量とに対応する複数種の局所符号化パラメータを計算する第１の処理と、前記第２の関数テーブルに基づき、前記第１の処理で計算された複数種の局所符号化パラメータと当該ブロックの複数種の局所特徴量とに対応する画質をあらわす量を計算し、前記計算した画質をあらわす量を基準値と比較することにより基準値よりも画質が良いブロックを抽出する第２の処理と、前記第２の処理で抽出されたブロックについて、画質をあらわす量を基準値に変更したときの複数種の局所符号化パラメータを、前記第３の関数テーブルと基準値と当該ブロックの複数種の局所特徴量とに基づき計算する第３の処理と、前記抽出されたブロックについて、前記第４の関数テーブルに基づき前記第３の処理で計算した複数種の局所符号化パラメータと当該ブロックの複数種の局所特徴量とに対応する新符号化データ量を計算する第４の処理とを１〜複数のフレーム内のブロックに対し繰り返し実行し、前記抽出されたブロックの画質をあらわす量を基準値に変更したときの１〜複数のフレーム中の全てのブロック分の符号化データ量を前記新符号化データ量を用いて計算し、該計算した全てのブロック分の符号化データ量が、各ブロックの符号化データ量を前記初期符号化データ量として計算した１〜複数のフレーム中の全てのブロック分の符号化データ量よりも少なくなった場合にのみ、前記抽出したブロックについては画質をあらわす量を基準値に変更したときの複数種の局所符号化パラメータを有効とする最適局所符号化パラメータ制御部と、
    前記抽出したブロックについては前記最適局所符号化パラメータ制御部により有効とされた複数種の局所符号化パラメータおよび大域的符号化パラメータを用い、それ以外のブロックについては前記最適局所符号化パラメータ制御部での前記第２の処理で求められた複数種の局所符号化パラメータおよび大域的符号化パラメータを用いて動画データを符号化する動画符号化部と、
    該動画符号化部で符号化された動画データを出力する動画符号出力部と、
    を備えることを特徴とする動画符号化制御装置。
  5. 前記最適局所符号化パラメータ制御部は、前記第２の処理では、前記制御データ記憶部に記憶された第２の関数テーブルに基づき前記第１の処理で計算された複数種の局所符号化パラメータと当該ブロックの複数種の局所特徴量とに対応する画質をあらわす量を計算し、前記計算した画質をあらわす量を基準値と比較することにより基準値よりも画質が良いブロックおよび基準値よりも画質が悪いブロックを抽出することを特徴とする請求項４に記載の動画符号化制御装置。
  6. 前記最適局所符号化パラメータ制御部は、前記各フレーム中の全てのブロックについて、その周辺ブロックの画質をあらわす量の平均画質値を求め、当該ブロックの画質をあらわす量が前記平均画質値よりも所定値以上悪い場合は、当該ブロックの局所符号化パラメータを平均画質値に対応する局所符号化パラメータに変更し、変更後のフレーム中の全てのブロック分の符号化データ量が、各ブロックの符号化データ量を前記初期符号化データ量として計算したフレーム中の全てのブロック分の符号化データ量よりも少なくなった場合にのみ、前記平均画質値に対応する局所符号化パラメータへの局所符号化パラメータの変更を有効とする処理を、前記第４の処理の後に実行することを特徴とする請求項４または５に記載の動画符号化制御装置。
  7. 前記動画特徴抽出部は、入力されたサンプル動画データを分析して動画の複数種の局所符号化パラメータを設定するための複数種の局所特徴量を各ブロック毎に抽出するものであり、
    前記動画特徴抽出部で抽出されたサンプル動画データの複数種の局所特徴量に基づき複数種の局所符号化パラメータを各ブロック毎に導出する局所符号化パラメータ制御部を更に備え、
    前記動画符号化部は、外部入力される大域的符号化パラメータおよび前記局所符号化パラメータ制御部からの複数種の局所符号化パラメータを用いて入力されるサンプル動画データを符号化するものであり、
    前記サンプル動画データおよび動画符号化部からの符号化データにおける局所復号画像ブロックに基づき画質をあらわす量を各ブロック毎に計算するとともに、前記動画符号化部からの符号化データに基づき符号化データ量を各ブロック毎に計算し、該計算した画質をあらわす量と、符号化データ量と、前記動画特徴抽出部からの複数種の局所特徴量と、前記局所符号化パラメータ制御部からの複数種の局所符号化パラメータとを組にして蓄積記憶し、該蓄積されたデータを統計処理することにより前記第１〜第４の関数テーブルを作成して前記符号化制御データベース手段に記憶させる動画データ解析部を更に備えることを特徴とする請求項４〜６の何れか一つに記載の動画符号化制御装置。
JP2002114391A 2002-04-17 2002-04-17 動画符号化制御方法および装置 Expired - Fee Related JP3560958B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002114391A JP3560958B2 (ja) 2002-04-17 2002-04-17 動画符号化制御方法および装置
US10/273,149 US6937654B2 (en) 2002-04-17 2002-10-18 Moving picture coding control apparatus, and coding control database generating apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002114391A JP3560958B2 (ja) 2002-04-17 2002-04-17 動画符号化制御方法および装置

Publications (2)

Publication Number Publication Date
JP2003309850A JP2003309850A (ja) 2003-10-31
JP3560958B2 true JP3560958B2 (ja) 2004-09-02

Family

ID=29243384

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002114391A Expired - Fee Related JP3560958B2 (ja) 2002-04-17 2002-04-17 動画符号化制御方法および装置

Country Status (2)

Country Link
US (1) US6937654B2 (ja)
JP (1) JP3560958B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4335779B2 (ja) * 2004-10-28 2009-09-30 富士通マイクロエレクトロニクス株式会社 符号化装置およびこれを用いた録画装置、並びに符号化方法および録画方法
US7456760B2 (en) * 2006-09-11 2008-11-25 Apple Inc. Complexity-aware encoding
US9754237B2 (en) * 2015-12-18 2017-09-05 Ricoh Co., Ltd. Index image quality metric
US11166027B2 (en) * 2016-06-10 2021-11-02 Apple Inc. Content adaptation for streaming

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3093499B2 (ja) 1992-03-06 2000-10-03 三菱電機株式会社 シーンチェンジ検出装置
JP2611607B2 (ja) 1992-06-29 1997-05-21 日本ビクター株式会社 シーンチェンジ検出装置
JP2500439B2 (ja) 1993-05-14 1996-05-29 日本電気株式会社 動画像の予測符号化方式
JPH09261648A (ja) 1996-03-21 1997-10-03 Fujitsu Ltd シーンチェンジ検出装置
JPH1023421A (ja) 1996-07-09 1998-01-23 Toshiba Corp 動画像処理方法
JP3427820B2 (ja) 1999-06-14 2003-07-22 株式会社ニコン 圧縮符号化方法，圧縮符号化プログラムを記録した記録媒体，および圧縮符号化方法を実施する電子カメラ
JP4149120B2 (ja) 2000-06-07 2008-09-10 日本放送協会 画像の属性推定装置

Also Published As

Publication number Publication date
US6937654B2 (en) 2005-08-30
JP2003309850A (ja) 2003-10-31
US20030202577A1 (en) 2003-10-30

Similar Documents

Publication Publication Date Title
US7023914B2 (en) Video encoding apparatus and method
JP4717138B2 (ja) 画像符号化方法および画像符号化装置
CN1960495B (zh) 图像编码装置、图像编码方法和集成电路装置
US11743475B2 (en) Advanced video coding method, system, apparatus, and storage medium
KR20040106480A (ko) 움직임 정보를 사용하는 ｍｐｅｇ 트랜스코딩 시스템 및방법
JP2007521740A (ja) 変換ドメイン内のゼロを早期に発見する方法
JP2002223443A (ja) トランスコーディング方法およびトランスコーディング装置
JP5055078B2 (ja) 画像処理装置及びその方法
US20070147515A1 (en) Information processing apparatus
JP3560958B2 (ja) 動画符号化制御方法および装置
JP2003264840A (ja) 符号化動画像データの方式変換装置
KR20060029535A (ko) 트랜스코딩을 위해 출력 매크로블록 모드와 출력움직임벡터를 추정하는 방법 및 이를 이용한 트랜스코더
JP2015076765A (ja) 画像処理装置及びその制御方法、並びに、コンピュータプログラム
US10356424B2 (en) Image processing device, recording medium, and image processing method
JPH07336684A (ja) 画像信号復号化装置
US7130349B1 (en) Method and apparatus to improve efficiency in multiple-pass, bit-rate-controlled frame encoding
CN115225911B (zh) 一种码率自适应方法、装置、计算机设备和存储介质
JP4747109B2 (ja) 演算量調整装置
JP2008072608A (ja) 画像符号化装置及び画像符号化方法
JP4478480B2 (ja) 動画像符号化装置及びその方法
JPH0795578A (ja) 符号化装置
JP2005252870A (ja) 画像データ処理方法及び装置
Gries Analysing the quantization parameters for quality assessment of digital video
JPH0730895A (ja) 画像処理装置及びその処理方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040224

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040518

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040526

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080604

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090604

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100604

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100604

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110604

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120604

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130604

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees