JPWO2009035149A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JPWO2009035149A1
JPWO2009035149A1 JP2009532268A JP2009532268A JPWO2009035149A1 JP WO2009035149 A1 JPWO2009035149 A1 JP WO2009035149A1 JP 2009532268 A JP2009532268 A JP 2009532268A JP 2009532268 A JP2009532268 A JP 2009532268A JP WO2009035149 A1 JPWO2009035149 A1 JP WO2009035149A1
Authority
JP
Japan
Prior art keywords
quantization
unit
value
quantization parameter
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009532268A
Other languages
English (en)
Other versions
JP5212373B2 (ja
Inventor
祐哉 堀内
祐哉 堀内
正二郎 柴田
正二郎 柴田
孝明 渕江
孝明 渕江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009532268A priority Critical patent/JP5212373B2/ja
Publication of JPWO2009035149A1 publication Critical patent/JPWO2009035149A1/ja
Application granted granted Critical
Publication of JP5212373B2 publication Critical patent/JP5212373B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

符号化による画質低下を抑制する。本発明は、復号化の際に使用される可能性のある復号リスケーリングファクター（ＲＦｒ）に対してスケール変動である変換行列（Ｄ）だけを乗算することにより、複数の除算ファクターであるリスケーリングファクター（ＲＦ）を算出し、ＤＣＴ係数における要素を複数のリスケーリングファクター（ＲＦ）によって除算したときの剰余（ｒ）に基づく評価値（Ｙ）の総和（ΣＹ）を、検出単位毎に算出する。さらに本発明は、複数のリスケーリングファクター（ＲＦ）に対する評価値（Ｙ）の総和（ΣＹ）との関係を比較し、評価値（Ｙ）の総和（ΣＹ）が極小値をとるリスケーリングファクター（ＲＦ）に基づいて、入力画像データが前回符号化されたときに使用された量子化因子を検出するようにした。

Description

本発明は、例えば前回の符号化で使われた量子化行列や量子化パラメータ等を所定単位で検出する符号化装置に関する。
従来、テレビジョン放送局間で映像データの伝送を行う際、或いは複数のビデオテープレコーダ（ＶＴＲ装置）を用いて映像データの複写を行う際には、ＭＰＥＧ（Ｍｏｖｉｎｇ ｐｉｃｔｕｒｅ ｅｘｐｅｒｔｓ ｇｒｏｕｐ）方式で符号化した映像データを復号化し、再度、符号化することから、エンコーダとデコーダを直列にタンデム接続する必要がある。
そして、このようなタンデム接続時の符号化と復号化の繰り返しによる映像の品質劣化を低減する手法として所謂「バックサーチ」という手法が採用されている。
ここで、「バックサーチ」とは、以前の符号化で使用された量子化ステップ、或いは、その倍数関係にある量子化ステップを用いると、離散余弦変換（ＤＣＴ；ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｅｒ）係数の剰余の総和が極小となるという性質を利用して、最小値に係る量子化ステップを最適な量子化ステップとして求める手法である。
この「バックサーチ」を用いた技術については、例えば特許文献１では、前回の符号化における量子化ステップをバックサーチ方式により再生し、前回と同じ量子化ステップおよびＧＯＰ（Ｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅｓ）位相で再び入力映像データを符号化し、エンコーダとデコーダをタンデム接続して映像データの符号化及び復号化を繰り返した場合の映像の品質の劣化を防止する映像データ圧縮装置が開示されている。
一方、今日では、ＭＰＥＧ方式に代えて、ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格が、携帯電話のテレビ電話といった低速・低画質の用途からハイビジョンテレビ放送等の大容量・高画質の動画まで幅広い用途に用いられてきているが、動き補償、フレーム間予測、ＤＣＴ、エントロピー符号化などを組み合わせたアルゴリズムを利用しており、ＭＰＥＧに比べて同じクオリティならば、概ね半分程度のデータ量で済むよう改良されている。
そして、特にＡＶＣ規格におけるイントラ（Ｉｎｔｒａ）画像（以下、「ＡＶＣ Ｉｎｔｒａ」と称する）では、量子化の為に目標とするビットレートに合わせて最適な量子化パラメータＱＰの値を決定するが、そのときの量子化パラメータＱＰの値は前回の符号化で使用した値であるとは限らない。仮に、前回の符号化と異なる量子化パラメータＱＰの値が使われると、再び量子化の際に丸めによる歪が生じてしまい、ダビングを繰り返す度に画質の低下を引き起こすことになる。
特開平１０−１７４０９８号公報。
しかしながら、ＡＶＣ Ｉｎｔｒａでは、前述したダビングによる問題に対する従来のＭＰＥＧに使われていた検出技術をそのまま適用すると、符号化方式の差異により、バックサーチの検出の精度が低下してしまい、ダビング時に画質の低下を引き起こしてしまうという問題があった。
かかる課題を解決するため本発明の画像処理装置においては、画像データに対し直交変換を実行して変換係数を生成すると共に、逆直交変換との関係において、当該変換係数を構成する係数要素の値を複数のスケールでスケール変動させる直交変換部と、復号化の際に使用される可能性のある複数の量子化因子に基づいて算出される復号ファクターに対してスケール変動を乗算することにより、複数の除算ファクターを算出する除算因子算出部と、変換係数における要素を複数の除算ファクターによって除算したときの剰余に基づく評価値の総和を、検出単位毎に算出する総和算出部と、複数の除算ファクターに対する評価値の総和との関係を比較し、評価値の総和が極小値をとる除算ファクターに基づいて、画像データが前回符号化されたときに使用された量子化因子を検出する量子化因子検出部とを設けるようにした。
これにより画像処理装置は、ＤＣＴ処理によるスケール変動を除算ファクターによって相殺することができるため、複数のスケールで剰余がスケール変動してしまうことを防止して剰余に基づく各評価値を対等に比較することができ、バックサーチの検出精度を向上することができる。
また本発明の画像処理方法においては、画像データに対し直交変換を実行して変換係数を生成すると共に、逆直交変換との関係において、当該変換係数を構成する係数要素の値を複数のスケールでスケール変動させる直交変換ステップと、復号化の際に使用される可能性のある複数の量子化因子に基づいて算出される復号ファクターに対してスケール変動を乗算することにより、複数の除算ファクターを算出する除算因子算出ステップと、変換係数における要素を複数の除算ファクターによって除算したときの剰余に基づく評価値の総相を、検出単位毎に算出する総和算出ステップと、複数の除算ファクターに対する評価値の総和との関係を比較し、評価値の総和が極小値をとる除算ファクターに基づいて、画像データが前回符号化されたときに使用された量子化因子を検出する量子化因子検出ステップとを設けるようにした。
これにより画像処理装置は、ＤＣＴ処理によるスケール変動を除算ファクターによって相殺することができるため、複数のスケールで剰余がスケール変動してしまうことを防止して剰余に基づく各評価値を対等に比較することができ、バックサーチの検出精度を向上することができる。
さらに本発明の画像処理装置においては、画像データに対し直交変換を実行して変換係数を生成する直交変換部と、変換係数を構成する係数要素の値ごとの発生回数を要素発生回数としてカウントする要素カウント部と、要素発生回数の分散状態に基づいて、画像データが一度も符号化されたことのない原画であるか、少なくとも一度以上符号化されたことのある非原画であるかを判定する原画判定部とを設けるようにした。
これにより画像処理装置では、バックサーチ処理の前に画像データが原画であるか非原画であるかを検出することができ、原画に対するバックサーチ処理の誤適用を防止し得る。
整数精度ＤＣＴ処理として８×８ＤＣＴ処理を実行する際、水平方向及び垂直方向による８×８ＤＣＴ演算処理が終了する前に、演算処理の対象となる画像データ又は変換行列の各要素を水平方向及び垂直方向に対応させてそれぞれ３ｂｉｔずつ桁上げする桁上げ部と、
水平方向及び垂直方向による８×８ＤＣＴ演算処理が終了した後に、ＤＣＴ係数に基づく係数データを６ｂｉｔずつ桁下げする桁下げ部とを設けるようにした。
これにより画像処理装置では、８×８ＤＣＴ処理における演算丸め回数を低減することができ、演算精度を向上させることができる。
本発明によれば、ＤＣＴ処理によるスケール変動を除算ファクターによって相殺することができるため、複数のスケールで剰余がスケール変動してしまうことを防止して剰余に基づく各評価値を対等に比較することができ、バックサーチの検出精度を向上することができ、かくして符号化による画質低下を抑制し得る画像処理装置及び画像処理方法を実現できる。
また本発明によれば、バックサーチ処理の前に画像データが原画であるか非原画であるかを検出することができ、原画に対するバックサーチ処理の誤適用を防止し得、かくして符号化による画質低下を抑制し得る画像処理装置を実現できる。
さらに本発明によれば、８×８ＤＣＴ処理における演算丸め回数を低減することができ、演算精度を向上させることができ、かくして符号化による画質低下を抑制し得る画像処理装置を実現できる。
図１は、本発明の第１及び第２の実施の形態に係る画像処理装置の概念図。
図２は、ＡＶＣ規格における変換と量子化の説明に供する略線図である。
図３は、一度も符号化されていない画像を入力画像としたときの、量子化パラメータＱＰと剰余の総和Σｒとの関係を示す図。
図４は、符号化と復号が行われた入力画像について、量子化パラメータＱＰと剰余の総和Σｒとの関係を示す図。
図５は、リスケーリングファクターＲＦによる規格化後の量子化パラメータＱＰと剰余の
総和Σｒとの関係を示す図。
図６は、リスケーリングファクターＲＦによる規格化、所定領域の補正後の量子化パラメータＱＰと剰余の総和Σｒとの関係を示す図。
図７は、本発明の第１の実施の形態に係る符号化装置の構成図。
図８は、（ａ）はＱｍａｔｒｉｘ検出部の構成図、（ｂ）はＱＰ検出部の構成図。
図９は、マクロブロックとイントラ符号化単位との関係を示す略線図。
図１０は、本発明の第１の実施の形態に係る符号化装置のＱｍａｔｒｉｘ検出部によるスライス単位での量子化行列検出処理について説明するフローチャート。
図１１は、本発明の第１の実施の形態に係る符号化装置のＱＰ検出部によるマクロブロック単位での量子化パラメータ検出処理について説明するフローチャート。
図１２は、本発明の第２の実施の形態に係る符号化装置による画面内予測モード検出処理について説明するフローチャート。
図１３は、ＱＰとＤＣＴ係数の剰余の関係を示す図。
図１４は、本発明の第２の実施の形態に係る符号化装置の構成図。
図１５は、本発明の第２の実施の形態に係る符号化装置のバックサーチによる原画判定処理について説明するフローチャート。
図１６は、本発明の第３の実施の形態に係る符号化装置の構成図。
図１７は、本発明の第３の実施の形態に係る符号化装置による符号化に係る一連の処理を更に詳細に説明するフローチャート。
図１８は、符号量予測処理（基本）の詳細を説明するフローチャート。
図１９は、符号量予測処理（アクティビティ対応）の詳細を説明するフローチャート。
図２０は、符号量予測処理（量子化行列対応）の詳細を説明するフローチャート。
図２１は、発生符号量が目標符号量より少ない、且つ量子化パラメータＱＰが最小値ではないときの符号量補正処理を説明するフローチャート。
図２２は、原画像を入力した場合のｅａｃｈ＿ａｃｔｉｖｉｔｙ＿ｇｒｏｕｐ＝０、ｅａｃｈ＿ｐｏｓｉｔｉｏｎ＝５のときの分布状態実測値を示す図。
図２３は、前回ＱＰ＝２０で符号化した画像を入力した場合のｅａｃｈ＿ａｃｔｉｖｉｔｙ＿ｇｒｏｕｐ＝０、ｅａｃｈ＿ｐｏｓｉｔｉｏｎ＝５のときの分布状態実測値を示す図。
図２４は、量子化係数による原画判定処理について説明するフローチャート。
図２５は、判定処理を説明するフローチャート。
図２６は、入力画像切替処理について詳細に説明するフローチャート。
図２７は、本発明の他の実施の形態に係る符号化装置の構成図。
図２８は、本発明の他の実施の形態に係る符号化装置による符号化に係る一連の処理を更に詳細に説明するフローチャート。
図２９は、本発明の第５の実施の形態に係る符号化装置の構成図。
図３０は、本発明の第６の実施の形態に係るＤＣＴ部及び量子化部の詳細な構成図。
図３１は、本発明の復号化装置の構成図。
 符号の説明
２……第１の符号化部、３……バックサーチ部、４……第２の符号化部、５……予測モード検出部、６……Ｑｍａｔｒｉｘ検出部、７……ＱＰ検出部、２０……プレエンコーダ、２１……画面内予測モード判定部、２２……整数精度ＤＣＴ部、２３……量子化部、２４……エントロピー計算部、３０……バックサーチ部、３１……Ｑｍａｔｒｉｘ検出部、３２……ＱＰ検出部、３３……画面内予測モード検出部、４０……符号量制御部、４１……Ｑｍａｔｒｉｘ／ＱＰ決定部、４５……画面内予測モード決定部、５０……パラメータエンコーダ、５１……画面内予測処理部、５２……整数精度ＤＣＴ部、５３……量子化部、５４……エントロピー符号化部、１００……第１のプレエンコーダ、１０９……符号量制御部、２００……第２のプレエンコーダ、３００……パラメータエンコーダ
以下、図面を参照して、本発明を実施するための最良の形態（以下、単に実施の形態と称する）について詳細に説明する。なお説明は以下の順序で行う。
（１）本発明の概略
（２）第１の実施の形態（ＡＶＣ規格によるバックサーチ）
（３）第２の実施の形態（バックサーチにおける原画／非原画の判定）
（４）第３の実施の形態（バックサーチ前におけるＱＰの予備検出）
（５）第４の実施の形態（量子化行列の設定）
（６）第５の実施の形態（８×８整数ＤＣＴ時の演算丸めの抑制）
（１）本発明の概略
（１−１）前提
一般に、ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格による符号化は非可逆変換であるため符号化と復号化を行うと元のベースバンド（Ｂａｓｅｂａｎｄ）画像に対して歪が生じる。従って、例えばタンデム接続によるダビング等により符号化と復号化を繰り返す度に該歪により画質が低下していく。
この点に鑑みて、本発明の第１の実施の形態では、ＡＶＣ規格の画面内符号化において、一度符号化、復号化を通した画像を再度符号化する際に、前回の符号化で使われた以下の３つのパラメータを再利用することで、画像の歪を符号器と復号器の演算誤差のみに抑えることを特徴の一つとしている。
（１）画面内予測モード
（２）量子化行列（Ｑｍａｔｒｉｘ）
（３）量子化パラメータ（ＱＰ）
これらのうち、第１の実施の形態における量子化行列検出処理では、特に（２）に着目し、量子化パラメータ検出処理では（３）に着目し、画面内予測モード検出処理では（１）に着目する。
すなわちＡＶＣ規格におけるイントラ（Ｉｎｔｒａ）画像、即ちＡＶＣ Ｉｎｔｒａに対しダビングを行う際に、前回の符号化で使われた量子化行列Ｑｍａｔｒｉｘ、量子化パラメータＱＰ及び画面内予測モードを検出して、同じＱｍａｔｒｉｘとＱＰとを利用することで量子化丸めを防ぎ、ダビング特性の向上を実現する。
ここで、図１には本発明の第１の実施の形態に係る符号化装置及び方法における概念図を示し説明する。
同図に示されるように、この画像処理装置１は第１の符号化部２、第２の符号化部３、バックサーチ部３を備え、更にバックサーチ部３は予測モード検出部５、量子化行列（Ｑｍａｔｒｉｘ）検出部６、量子化パラメータ（ＱＰ）検出部７を有している。
このような構成において、第１の符号化部２は、入力された画像情報に対して第１の符号化を行う。バックサーチ部３は、種々の量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰの組み合わせによるリスケーリングファクター（ＲＦ；Ｒｅｓｃａｌｉｎｇ ｆａｃｔｏｒ）で第１の符号化の過程で得られる整数精度ＤＣＴ係数を除算したときに得られる剰余ｒの大きさを評価することで、第１の符号化において使われた量子化行列Ｑｍａｔｒｉｘ、量子化パラメータＱＰ及び画面内予測モードを検出する。そして、第２の符号化部２は、第１の符号化においてバックサーチ部３により検出された量子化行列Ｑｍａｔｒｉｘ、量子化パラメータＱＰ及び画面内予測モードを用いて第２の符号化を行う。
即ち、より詳細には、バックサーチ部３では、Ｑｍａｔｒｉｘ検出部６は、第１の符号化の過程で得られる整数精度ＤＣＴ係数に基づいて、第１の符号化において、上記整数精度ＤＣＴ係数を種々の量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰの組み合わせによるリスケーリングファクターＲＦで除算した剰余を用いて、スライス毎に量子化行列Ｑｍａｔｒｉｘを検出する。
ＱＰ検出部７は、第１の符号化の過程で得られる整数精度ＤＣＴ係数に基づいて、整数精度ＤＣＴ係数を種々の量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰの組み合わせによるリスケーリングファクターＲＦで除算した剰余を用いて、量子化パラメータＱＰをマクロブロック毎に検出する。
さらに、予測モード検出部５は、前回の符号化の際に使用された画面内予測モードを検出する。この検出された予測モードは第２の符号化部２において採用される。
先ず、本発明の第１の実施の形態に係る画像処理装置１に対する理解を深めるべく、本実施の形態が着目した特徴的な性質・原理について詳細に説明する。
図１に示すように、ＡＶＣ規格では、Ｉｎｔｒａ画像に対し、９つの画面内予測モードから選択された一の画面内予測モードを用いて入力画像から差分画像データを生成する。なお以下、Ｉｎｔｒａ画像に対するＡＶＣ規格をＡＶＣ Ｉｎｔｒａと称する。次いでＡＶＣ Ｉｎｔｒａでは、差分画像データに対してＤＣＴ処理を実行し、得られたＤＣＴ係数を量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰの組み合わせにより量子化して量子化レベル（量子化係数）でなる量子化データを生成する。この量子化データは、さらに所定の符号化方式により符号化され、符号化ストリームとなる。この符号化ストリームは、符号化に使用された画面内予測モード、量子化行列Ｑｍａｔｒｉｘ及び量子化パラメータＱＰが設定されることになる。
ＡＶＣ規格では、復号化の際、設定された画面内予測モード、量子化行列Ｑｍａｔｒｉｘ及び量子化パラメータＱＰを用いて量子化データを復号するが、符号化の際に丸められた剰余部分を復元することはできない。従って、ＡＶＣ規格では、この量子化の剰余分だけ画質を低下させることになる。以下、この画質の低下を量子化歪と呼ぶ。
例えば業務用の放送装置などでは、映像データに対し、複数回に亘って符号化及び復号化を繰り返すような場合が想定される。このとき、毎回異なる画面内予測モード、量子化行列Ｑｍａｔｒｉｘ及び量子化パラメータＱＰを用いると、符号化の度に量子化歪が発生してしまい、符号化の度に映像データの画質を低下させてしまう。
ＡＶＣ Ｉｎｔｒａでは、一度符号化、復号化を通した画像を再度符号化する際に、前回の符号化で使われた量子化行列Ｑｍａｔｒｉｘ、量子化パラメータＱＰ及び画面内予測モードを使うと、前回の符号化で量子化歪が既に落とされているので、それ以上量子化歪が生じにくいという性質がある。
このため本発明では、前回の符号化で使われた量子化行列Ｑｍａｔｒｉｘ、量子化パラメータＱＰ又は画面内予測モードを検出し、これらを用いて符号化を実行することにより、映像データの画質低下を抑制する。
このように前回の符号化で使われた量子化行列Ｑｍａｔｒｉｘ、量子化パラメータＱＰ又は画面内予測モードを高い確率で検出することを、以下の説明においては「バックサーチ」と称する。
ここで上述した特許文献１に記載されているように、バックサーチは、ＭＰＥＧ（Ｍｏｖｉｎｇ ｐｉｃｔｕｒｅ ｅｘｐｅｒｔｓ ｇｒｏｕｐ）−２において、ＤＣＴ係数を各量子化スケールＱによって除算すると共に、剰余ｒの最も小さい量子化スケールＱを前回符号化したときに使用した量子化スケールＱとして検出することができる。
しかしながらＡＶＣ規格では、ＭＰＥＧ−２とは以下の点において相違しており、ＭＰＥＧ−２の手法をそのまま適用すると、検出の精度が低下してしまう。
・整数精度演算の導入により符号化と復号化におけるＤＣＴ係数が等価に扱えない。
・復号時の演算誤差が大きく、検出精度に大きく影響する。
・剰余関数が量子化パラメータＱＰに関して周期をもつため、同じ値の最小値が複数存在する。
そこで、本発明は、ＡＶＣによる符号化を採用し、前回の符号化で使われた量子化行列Ｑｍａｔｒｉｘや量子化パラメータＱＰ等を所定単位で高い確率で検出し、それらを再利用することでダビング時の量子化による丸め誤差を低減し、ダビング特性を向上することを課題とする。
（１−２）バックサーチの原理
（１−２−１）量子化パラメータ及び量子化行列の検出
以下、該バックサーチの具体的方法につき言及する。
ＡＶＣ Ｉｎｔｒａでは、復号化の際に、量子化レベルＺに量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰの関数であるリスケーリングファクターＲＦが乗算されて整数精度ＤＣＴ係数Ｗを６ｂｉｔ左シフトしたものが復号される。
（Ｗ＜＜６）＝Ｚ＊ＲＦ ・・・（１）
ＲＦｒ＝｛Ｖ Ｑｍａｔｒｉｘ２ｆｌｏｏｒ（ＱＰ／６）｝＞＞４ ・・・（２）
Ｖ：ＡＶＣの規格で定められたＭｕｌｔｉｐｌｉｃａｔｉｏｎ ｆａｃｔｏｒ
このように、復号の過程で、量子化レベルＺにＲＦを乗算して整数精度ＤＣＴ係数Ｗを得ているので、次の符号化において整数制度ＤＣＴ係数ＷはＲＦで割り切れる。つまり、次の符号化の際にシフトされた整数精度ＤＣＴ係数（Ｗ＜＜６）を同じＲＦで割った場合に、その剰余ｒは０になると考えられる。このような性質に着目から、種々の量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰの組み合わせによるリスケーリングファクターＲＦを用いてシフトされた整数精度ＤＣＴ係数（Ｗ＜＜６）を割った剰余ｒの大きさを評価することで、前回の符号化で使われた量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰを検出することができる。
以上に加えて、第１の実施の形態に係る画像処理装置１では、検出精度を向上させる為に、ＭＰＥＧでは考慮されなかった、ＡＶＣ Ｉｎｔｒａ特有の性質に起因する以下の（ｉ）〜（ｖｉ）の点を考慮する。以下、各点につき詳述する。
（ｉ）符号化と復号化におけるＲＦの変換
ＡＶＣ Ｉｎｔｒａでは、ＤＣＴ部を整数精度部と非整数精度部に分け、整数精度部を整数精度ＤＣＴと称し、非整数精度部と量子化を合わせて量子化と称している。ＡＶＣ Ｉｎｔｒａでは、符号化と復号化で整数精度部と非整数精度部の切り分け位置が異なるため、符号化に用いる整数精度ＤＣＴ（以下、単に「ＤＣＴ」と表記する）と復号に用いる整数精度逆ＤＣＴ（以下、単に「逆ＤＣＴ」と表記する）は逆変換ではない。ゆえに、符号化で使われるＤＣＴ係数Ｗと復号で使われる逆ＤＣＴ係数Ｗ（以下、「Ｗ’」と表記する）は等しくならない。
即ち、ＤＣＴ係数Ｗと逆ＤＣＴ係数Ｗ’は次式で示される。
Figure 2009035149
このＤＣＴ、逆ＤＣＴの式より、ＤＣＴ係数Ｗと逆ＤＣＴ係数Ｗ’の間には次式が成立する。
Figure 2009035149
このようにＤＣＴ係数Ｗ’の位置（ｉ，ｊ）により１６、２０、２５を掛けたものがＷとなるが、この変換行列を「Ｄ」とし、（６）式に定義する。即ち、バックサーチ処理における符号化で用いるＲＦは復号化で用いるＲＦ（以下、「ＲＦｒ」と表記する）に、ＤＣＴ係数Ｗと逆ＤＣＴ係数Ｗ’の変換行列Ｄを乗じたものとする。
Figure 2009035149
すなわちＡＶＣ Ｉｎｔｒａでは、図２に示すように、差分画像データに対して符号化及び復号化によりＤＣＴ処理を施した後に逆ＤＣＴ処理を行うと、復号差分画像データの値が変換行列Ｄだけスケールアップされることになる。
またＡＶＣ Ｉｎｔｒａでは、量子化の際に、次式で表されるスケーリングＥＲが発生する。なお（７）式を実際の数値として表すと、（８）式のように表すことができる。すなわちＡＶＣ Ｉｎｔｒａでは、ＤＣＴ係数に対して符号化及び復号化により量子化処理及び逆量子化処理を行うと、逆ＤＣＴ係数の要素の値が量子化誤差ＥＲだけスケールアップされることになる。
ＥＲ＝ＭＦ×Ｖ／２１５ ・・・（７）
Figure 2009035149
このためＡＶＣ Ｉｎｔｒａでは、復号化の際、復号差分画像データを「６４」で除算することにより、復号差分画像データの値を差分画像データと同レベルにするようなされている。
すなわちＡＶＣ Ｉｎｔｒａでは、差分画像データに対してＤＣＴ処理を施した時点で、変換行列Ｄが乗算されてスケールアップされているものとみなすことができる。これに伴い、剰余ｒの値もスケールアップされることになるが、（８）式に示したように、その値（すなわち係数要素）は行列の位置によって異なっている。
従って仮にＤＣＴ係数を復号リスケーリングファクターＲＦによって除算すると、ＤＣＴ係数の位置に応じて剰余ｒが大きくなったり、小さくなったりしてしまうことになり、剰余ｒを単純に比較できなくなってしまう。
従って画像処理装置１では、次式のように復号時のリスケーリングファクター（以下、これを復号リスケーリングファクターＲＦｒと呼ぶ）に対して変換行列Ｄを乗算することにより、バックサーチ処理の際に除算する値として使用されるリスケーリングファクターＲＦを算出する。
Figure 2009035149
即ち、一度、符号化を介した入力画像（差分画像データ）のＤＣＴ係数Ｗは（５）式によるＤＣＴ係数Ｗと逆ＤＣＴ係数Ｗ’の変換行列Ｄを考慮すると、｛Ｖ Ｑｍａｔｒｉｘ Ｄ ２ｆｌｏｏｒ（ＱＰ／６）｝で割り切れ、剰余ｒが０となると考えられる。
これにより画像処理装置１では、剰余ｒからＤＣＴ処理に伴うスケールアップの影響を排除することができ、剰余ｒを同一スケールで比較し得るようになされている。
このように画像処理装置１では、復号リスケーリングファクターＲＦｒに対して変換行列Ｄの値を乗算してリスケーリングファクターＲＦを算出する。これにより画像処理装置１では、リスケーリングファクターＲＦによって差分画像データを除算することにより、ＤＣＴ処理によって一律にスケールアップされる分をも同時に除算することができるため、スケールアップによる剰余ｒの変動を低減し、バックサーチの検出の精度を向上させ得るようになされている。
（ｉｉ）復号時の誤差
ＡＶＣ Ｉｎｔｒａでは、周辺画素からの予測画像との差分となる差分画像データを符号化する。復号時に量子化レベルＺに復号リスケーリングファクターＲＦｒを乗じるが、復号時の演算丸めを防ぐため、復号リスケーリングファクターＲＦｒは規格上予め６ｂｉｔ桁上げされている（復号の際に逆ＤＣＴ係数Ｗ’を６ｂｉｔ左シフトしたものが得られるのはそのためである）。
従って、逆量子化、逆ＤＣＴ処理は、６ｂｉｔ桁上げされた状態で演算され、予測画像を６ｂｉｔ桁上げしたものと足し合わせた後に、その相を６ｂｉｔ桁下げしてベースバンド画像を得る。この６ｂｉｔの桁下げにより、下位６ｂｉｔに入っていたデータが四捨五入される為、演算誤差Ｅが発生し、次回の符号化で生じたシフトされたＤＣＴ係数（Ｗ＜＜６）はリスケーリングファクターＲＦで割り切れないことがある。
そこで本発明は、剰余ｒが０になる量子化パラメータＱＰではなく、剰余ｒが最小値になる量子化パラメータＱＰを検出する。
ここでこの復号時の演算誤差Ｅは負の値であることもあるので、実際の剰余ｒの値と、剰余ｒをリスケーリングファクターＲＦから引いた値を比較し、小さい方を評価値Ｙとする。
例として、ＲＦ＝３６００、ＤＣＴ係数Ｗ＝７２００の場合を考える。
演算誤差Ｅがない場合の剰余ｒは、次式のようになる
Figure 2009035149
実際には演算誤差Ｅは見積もれないが、Ｅ＝−２として単純に剰余ｒを評価値Ｙとすると、次式のようになり、最小値として検出され難くなる。
Ｙ＝ｒ＝（Ｗ＋Ｅ）％ＲＦ＝３５９８ ・・・（１１）
ここで、上記のように実際の剰余ｒの値と、剰余ｒをリスケーリングファクターＲＦから引いた値を比較し、小さい方を評価値Ｙとすると、次式が得られ、評価値Ｙは演算誤差Ｅの絶対値となる。
Ｙ＝ｍｉｎ［ｒ，（ＲＦ−ｒ）］＝ｍｉｎ［３５９８，２］＝２ ・・・（１２）
従って本発明の画像処理装置１では、（１２）式に従って評価値Ｙを算出すると共に、評価値Ｙが最小値となる量子化パラメータＱＰを検出するようにした。これにより画像処理装置１は、適切な評価値Ｙを用いて適切に量子化パラメータＱＰを検出することができる。
（ｉｉｉ）剰余曲線の性質と量子化パラメータＱＰの周期について
一度も符号化されていない画像を入力画像として、６ｂｉｔシフトされたＤＣＴ係数（Ｗ＜＜６）を種々の量子化パラメータＱＰによるリスケーリングファクターＲＦで割って剰余ｒを算出し、横軸に量子化パラメータＱＰ、縦軸に剰余の総和（Σｒ）をとると、図３に示されるような右上がりの曲線となる。
同様に、符号化と復号化が行われた入力画像について６ｂｉｔシフトされたＤＣＴ係数（Ｗ＜＜６）を種々の量子化パラメータＱＰによるリスケーリングファクターＲＦで割って剰余ｒを算出し、横軸に量子化パラメータ、縦軸に剰余の総和（Σｒ）をとると、図４に示されるようになる。この場合、剰余ｒの総和（Σｒ）の極小値は生じるが、やはり右上がりの傾向があり、符号化と復号化を既に行っているか否かによらず量子化パラメータＱＰが小さいほど剰余ｒの総和（Σｒ）も小さくなることが分かる。
従って、種々の量子化パラメータＱＰによる剰余ｒの総和（Σｒ）の大小関係を単純に評価すると、前回の符号化で使われた量子化パラメータＱＰよりも小さい量子化パラメータＱＰが最小値として誤検出されることがある。この問題を解決するために、剰余ｒの値をさらにリスケーリングファクターＲＦで規格化したものを評価値Ｙとして用いる。
このときの評価値Ｙの総和（ΣＹ）と量子化パラメータＱＰとの関係を図５に示している。図５から、前回の符号化で使用された量子化パラメータＱＰについての評価値Ｙの総和（ΣＹ）が、６ｎずれた量子化パラメータＱＰについての評価値Ｙの総和（ΣＹ）よりも小さくなっていることがわかる。
また、図３、図４に示されるように、（｜Ｗ｜＜＜７）≦ＲＦとなる量子化パラメータＱＰで評価値Ｙの値（剰余ｒの絶対値）がフラットになる領域が発生する傾向があり、この領域はリスケーリングファクターＲＦによる規格化を行うと単調減少して（図５参照）、誤検出の原因となる。
この際、同じリスケーリングファクターＲＦで割った場合でも統計的にはＤＣＴ係数Ｗが大きいほど剰余ｒも大きくなるため、剰余ｒをＤＣＴ係数の絶対値｜Ｗ｜でスケーリングした後、リスケーリングファクターＲＦで規格化する。これにより、大きな剰余を採り得るＤＣＴ係数Ｗが小さな剰余をもった場合は偶然ではないと考え、重み付けできる（通常、低周波成分ほど大きなＤＣＴ係数Ｗを持つため、低周波成分が重み付けされる）。
図６に、剰余ｒをＤＣＴ係数の絶対値｜Ｗ｜でスケーリングした後、リスケーリングファクターＲＦで規格化した評価値Ｙの総和（ΣＹ）と、量子化パラメータＱＰとの関係を示している。図から、前回の符号化で使用された量子化パラメータＱＰにおける評価値Ｙの総和（ΣＹ）と６ｎずれた量子化パラメータＱＰについての評価値Ｙの総和（ΣＹ）は図５と比較して殆ど変化していないことがわかる。
さらに画像処理装置１では、評価値Ｙの総和（ΣＹ）が傾斜を有する（｜Ｗ｜＜＜７）＞ＲＦとなる領域のみでリスケーリングファクターＲＦによる規格化を行い、それ以外の領域ではＤＣＴ係数｜Ｗ｜の値を評価値Ｙとして用いることもできる。
これにより、画像処理装置１では、図６に示したように、リスケーリングファクターＲＦによる規格化に起因して、（｜Ｗ｜＜＜７）≦ＲＦとなる領域において評価値Ｙの総和（ΣＹ）が最小となり、誤った量子化パラメータＱＰが前回使用された量子化パラメータＱＰとして検出されてしまうことを確実に防止し得るようになされている。
（ｉｖ）量子化パラメータＱＰの周期について
ＡＶＣ Ｉｎｔｒａでは、規格上、量子化パラメータＱＰが±６変化すると、リスケーリングファクターＲＦが±２倍になる性質を有している。従って、ある量子化パラメータＱＰにおいて剰余ｒの総和（Σｒ）が極小値をもった場合、ＱＰ±６ｎ（ｎ＝１、２…）でも剰余ｒの総和（Σｒ）が極小値を持つことがある（図４参照）。
このため単純に上記の評価値Ｙを評価すると、６ｎずれた量子化パラメータＱＰが検出されることがある。従って画像処理装置１では、剰余ｒの総和（Σｒ）が最小となる量子化パラメータＱＰより６ｎ大きな量子化パラメータＱＰに極小値がある場合はその量子化パラメータＱＰを採用する。
具体的に、画像処理装置１は、剰余ｒの総和（Σｒ）が小さい方から順に５個程度の量子化パラメータＱＰの値を配列に格納しておき、剰余ｒの総和（Σｒ）が最小となるＱＰと２番目に剰余ｒの総和（Σｒ）が小さいＱＰとを比較してその差が６ｎであれば、ＱＰの大きな方を採用する。更に、画像処理装置１は、採用した量子化パラメータＱＰと３番目に剰余ｒの総和（Σｒ）が小さい量子化パラメータＱＰとを比較し、両者の差が６ｎであれば、また大きい方の量子化パラメータＱＰを採用し、採用された量子化パラメータＱＰの入れ替えを行う。
このように画像処理装置１は、剰余ｒの総和（Σｒ）の極小値を複数検出した場合には、剰余が最小でなくても６ｎ大きな量子化パラメータＱＰを優先して採用する。これにより画像処理装置１は、６ｎずれた量子化パラメータＱＰが前回の符号化に使用された量子化パラメータＱＰとして誤検出されることを抑制し得るようになされている。
さらに画像処理装置１は、当該検出された複数の剰余ｒの総和（Σｒ）が６ｎ周期でなるか否かを確認し偶発的に存在する極小値が前回の符号化に使用された量子化パラメータＱＰとして誤検出されることを抑制し得るようになされている。
（ｖ）演算量の削減方法
本発明の画像処理装置１では、種々の量子化パラメータＱＰに関して前述したようにリスケーリングファクターＲＦを計算し、剰余ｒから算出される評価値Ｙを用いて前回の符号化で使われた量子化パラメータＱＰを検出する。従って、採り得る量子化パラメータＱＰの数が多い程、演算、評価も処理量が多くなる。この問題を避けるために、前回符号化に使われた量子化パラメータＱＰの大体の値が既知の場合は、その周辺の量子化パラメータＱＰのみで評価すれば十分とし、演算量を削減している。
なおこの量子化パラメータＱＰは、例えば第３の実施の形態における量子化係数による原画判定処理において算出することができる。また入力画像データのアクティビティなどから推測することもできる。
（ｖｉ）その他、以下の条件も考慮する。
画面内予測モードが前回の符号化の時と異なっていても、上記（ｉｖ）の６ｎ入れ替えを行うと、検出率は維持できる。また、量子化パラメータＱＰの大体の値が既知である場合にも同様である。これは、予測モードを前回の符号化時と異なるモードに変えたときに生じる問題に着目したものであるが、予測モードが前回の符号化時と異なっていても、この実施の形態では対応可能とする。
量子化行列Ｑｍａｔｒｉｘは予めいくつかのパターンが定義されているものとする（例えばＩＤ番号などで識別できるものとする）。
すなわち画像処理装置１では、量子化行列Ｑｍａｔｒｉｘが変化することによりリスケーリングファクターＲＦも変化するため、量子化パラメータＱＰに加えて量子化行列Ｑｍａｔｒｉｘをも検出する必要がある。
画像処理装置１では、マクロブロック単位で量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰの組み合わせを変えて、各量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰごとにリスケーリングファクターＲＦを計算する。尚、先に図４で前述したように、剰余ｒの最小値は、量子化パラメータＱＰに関して６ｎの周期を有しており、量子化パラメータＱＰが６ｎずれていても、量子化行列Ｑｍａｔｒｉｘさえ検出できれば良い。このため画像処理装置１では、前回の符号化で使われた量子化パラメータＱＰの大体の値が分かっていれば、該ＱＰの値を含んだ連続した６個の量子化パラメータＱＰで評価すれば十分であるものとする。
以上を考慮して、本発明の画像処理装置１では、上記特徴的な視点をふまえて、先ず前回使用した量子化行列Ｑｍａｔｒｉｘを検出する量子化行列検出処理を実行した後、該量子化行列Ｑｍａｔｒｉｘを用いて量子化パラメータＱＰを検出する量子化パラメータ検出処理を実行する。
（１−２−２）画面内予測モードの検出
ＡＶＣのイントラ（画面内符号化）フレームでは、ダビングにおいて前回の符号化で使用された画面内予測モードを再利用することは画質低下を防ぐために有効な手段である。そこで、画面内予測モード検出処理では、入力画像データのみを利用し、その剰余ｒを用いて算術的に前回の符号化で使われた画面内予測モードを検出することを特徴とする。
量子化行列検出処理及び量子化パラメータ検出処理において、前述したように、ＡＶＣ Ｉｎｔｒａでは、復号の際に、量子化レベル２に量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰの関数であるリスケーリングファクターＲＦが乗算されてＤＣＴ係数Ｗを６ｂｉｔ左シフトしたものが復号される。画面内予測モードが変わった場合はＤＣＴ係数の分布が変わるので、剰余ｒが０である確率は低くなる。
すなわち、図９に示すように、上述した量子化行列検出処理及び量子化パラメータ検出処理はマクロブロックＭＢごと（１６×１６画素）単位で実行される。これに対して画面予測は、例えば４×４画素のサブマクロブロックによるイントラ符号化単位ＩＡで実行される。すなわち、マクロブロックＭＢには４×４＝１６のイントラ符号化単位ＩＡが含まれることになる。
画像処理装置１では、予め符号量が最小となる画面内予測モードを検出すると共に、当該検出された画面内予測モードにおいて上述した量子化行列検出処理及び量子化パラメータ検出処理を実行する。このとき、検出された画面内予測モードが前回符号化された画面内予測モードとは限らないものの、発生符号量が最小となる画面内予測モードを用いているため、１６のイントラ符号化単位ＩＡのうち、多数は前回符号化された画面内予測モードであることが想定される。
この場合、画像処理装置１は、上述したようにマクロブロックごとに剰余ｒの総和（Σｒ）を用いて極小値を検出する。このため画像処理装置１は、１６のイントラ符号化単位ＩＡにおいて、前回使用したものとは異なる画面内予測モードが混ざっていたとしても、多数の前回符号化された画面内予測モードに基づいて、量子化行列Ｑｍａｔｒｉｘ及び量子化パラメータＱＰを適切に検出することができる。
従って画像処理装置１は、量子化行列Ｑｍａｔｒｉｘ及び量子化パラメータＱＰを検出した後に、当該量子化行列Ｑｍａｔｒｉｘ及び量子化パラメータＱＰを用いて、イントラ符号化単位ＩＡごとに画面内予測モードを変えて剰余ｒの総和（Σｒ）を用いて極小値を検出する。これにより画像処理装置１は、マクロブロックＭＢにおける全てのイントラ符号化単位ＩＡについて、前回符号化された画面内予測モードを検出することが可能となる。
すなわち画面内予測モード検出処理では、量子化行列検出処理及び量子化パラメータ検出処理で前述した考え方等に基づき前回の符号化で使われた量子化行列と量子化パラメータが既知の場合、９個の画面内予測モードのそれぞれのＤＣＴ係数を６ビットシフトした（Ｗ＜＜６）をリスケーリングファクターＲＦで割っていくことにより、剰余ｒが最小となる画面内予測モードを検出する。
以上に加えて、画像処理装置１では、検出精度を向上させる為に、ＭＰＥＧでは考慮されなかった、ＡＶＣ Ｉｎｔｒａ特有の性質に起因する以下の点を考慮する。即ち、この画面内予測モード検出処理おいては、量子化行列検出処理及び量子化パラメータ検出処理で前述した（ｉ）、（ｉｉ）に加えて、以下の（ｖｉｉ）を考慮する。
（ｖｉｉ）ＤＣＴ係数の分布
画面内予測モードが異なると、差分の値も変わり、結果としてＤＣＴ係数の分布が異なる。したがって、一般的にはサブマクロブロック内の剰余ｒの総和を０でないＤＣＴ係数の個数で除算し、１サンプルあたりの剰余で比較するのが公平であると考えられる。
しかしながら、実際には、前回の符号化で使われた予測モードが選ばれると、予測が高
い精度で当たるために、０でないＤＣＴ係数の個数が少なくなり、前回の予測と方向的にずれたモードであるほど、０でないＤＣＴ係数の個数も増加する傾向にある。
従って、画面内予測モード検出処理では、剰余ｒの総和に対し、０でないＤＣＴ係数の個数で除算せず、０でないＤＣＴ係数の個数を乗算した。これにより、前回の予測と方向的にずれたモードの剰余ｒの総和に数値的なペナルティを与えることができると考えられる。
剰余ｒの総和に０でないＤＣＴ係数の個数を乗算したものを評価値Ｙとし、各予測モード間で、この評価値Ｙを比較して、評価値Ｙが最小の予測モードを前回の符号化で使われた予測モードと考える。
本発明の画像処理装置１における予測モード検出部５では、上記特徴的な視点（ｖｉｉ）をふまえて、最適な予測モードを決定する。
（２）第１の実施の形態
（２−１）符号化装置の構成
以下、図７には本発明の第１の実施の形態に係る符号化装置１０の構成を示し説明する。なお符号化装置１０は、図１における画像処理装置１に対応するものである。またバックサーチ部３０はバックサーチ部３に、パラメータエンコーダ５０は第２の符号化部４に、予測モード検出部３３は予測モード検出部５に、Ｑｍａｔｒｉｘ検出部３１はＱｍａｔｒｉｘ検出部６に、ＱＰ検出部３２はＱＰ検出部７にそれぞれ対応するものである。
図７に示されるように、符号化装置１０は、１パス（ｐａｓｓ）目のプレエンコーダ２０とバックサーチ部３０、２パス（ｐａｓｓ）目のパラメータエンコーダ５０、符号量制御部４０、Ｑｍａｔｒｉｘ／ＱＰ決定部４１、画面内予測モード決定部４５を備えている。より詳細には、１パス目のプレエンコーダ２０は、更に画面内予測モード判定部２１、整数精度ＤＣＴ部２２、量子化部２３、エントロピー計算部２４からなる。バックサーチ部３０は、更にＱｍａｔｒｉｘ検出部３１、ＱＰ検出部３２、画面内予測モード検出部３３からなる。そして、２パス目のパラメータエンコーダ５０は、画面内予測処理部５１、整数精度ＤＣＴ部５２、量子化部５３、エントロピー符号化部５４からなる。尚、ここでは、２パス符号化を採用することを想定しているが、それ以上のマルチパス（ｍｕｌｔｉ−ｐａｓｓ）符号化であっても基本的な考え方は同じである。
ここで、Ｑｍａｔｒｉｘ検出部３１の詳細な構成例を図８（ａ）に示している。またＱＰ検出部３２の詳細な構成例を図８（ｂ）に示している。
図８（ａ）に示すように、Ｑｍａｔｒｉｘ検出部３１は、剰余計算部３１ａ、評価値判定部３１ｂ、Ｑｍａｔｒｉｘ判定部３１ｃからなる。そして、図８（ｂ）に示すように、ＱＰ検出部３２は、剰余計算部３２ａ、評価値判定部３２ｂ、ＱＰ判定部３２ｃからなる。
このような構成において、入力画像は１パス目のプレエンコーダ２０に入力される。
より詳細には、入力画像は画面内予測モード判定部２１に入力される。この画面内予測モード判定部２１は、９つの画面内予測モードから最適な画面内予測モードを決定すると共に、入力画像が周辺画素を用いた予測画像からの差分画像データを生成し、整数精度ＤＣＴ部２２に入力する。
整数精度ＤＣＴ部２２は、離散余弦変換による直行変換により差分画像データからＤＣＴ係数Ｗを生成し、量子化部２３及びバックサーチ部３に供給する。
量子化部２３ではＤＣＴ係数Ｗが入力されると、当該ＤＣＴ係数を量子化し、量子化データを生成する。この量子化により量子化部２３より出力された量子化レベルＺは、エントロピー計算部２４に送られる。
エントロピー計算部２４は、入力された量子化レベルＺをバイナライズ、算術符号化して符号化ストリームを生成し、符号量制御部４０に供給する。符号量制御部４０は、当該符号化ストリームの発生符号量に基づいてパラメータエンコーダ５０に対する符号量制御を実行する場合の量子化行列Ｑｍａｔｒｉｘ及び量子化パラメータＱＰを見積り、これをＱｍａｔｒｉｘ／ＱＰ決定部４１に送出する。
一方、スライス単位で整数精度ＤＣＴ部２２よりバックサーチ部３０に送られたＤＣＴ係数Ｗは、Ｑｍａｔｒｉｘ検出部３１に入力される。Ｑｍａｔｒｉｘ検出部３１は、剰余計算部３１ａによってＤＣＴ係数Ｗを種々の量子化行列ＱｍａｔｒｉｘによるリスケーリングファクターＲＦによって除算し、評価値判定部３１ｂに供給する。評価値判定部３１ｂは、剰余ｒを剰余ｒを（ｉｉｉ）で前述した考え方に従って評価値Ｙに変換し、Ｑｍａｔｒｉｘ判定部３１ｃに送出する。Ｑｍａｔｒｉｘ判定部３１ｃは、種々の量子化行列Ｑｍａｔｒｉｘについての評価値Ｙを比較し、評価値Ｙが最小である量子化行列Ｑｍａｔｒｉｘを前回使われた量子化行列Ｑｍａｔｒｉｘとして出力する。尚、Ｑｍａｔｒｉｘ検出部３１による量子化行列検出処理手順の詳細については後述する。
このとき検出された量子化行列ＱｍａｔｒｉｘはＱＰ検出部３２に送られる。剰余計算部３２ａは、ＤＣＴ係数Ｗを種々の量子化パラメータＱＰによるリスケーリングファクターＲＦによって除算し、評価値判定部３２ｂに供給する。評価値判定部３２ｂは、評価値Ｑｍａｔｒｉｘ検出部３１によって検出された量子化行列Ｑｍａｔｒｉｘを用い、剰余ｒを（ｉｉｉ）で前述した考え方に従って評価値Ｙに変換し、ＱＰ判定部３２ｃに送出する。ＱＰ判定部３２ｃは、種々の量子化パラメータＱＰについての評価値Ｙを比較し、評価値Ｙが最小である量子化パラメータＱＰを前回使われた量子化パラメータＱＰとして出力する。尚、ＱＰ検出部３２による量子化パラメータ検出処理手順の詳細については後述する。
この検出された前回の量子化パラメータＱＰと量子化行列Ｑｍａｔｒｉｘは、Ｑｍａｔｒｉｘ／ＱＰ決定部４１に送られる。Ｑｍａｔｒｉｘ／ＱＰ決定部４１では、量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰに関して、１パス目のプレエンコーダ２０で見積もられたものを採用するのか、バックサーチ部３０で検出されたものを使うかを決定する。通常、入力画像データが一度も符号化されていない原画像である場合には、前回の符号化がないためバックサーチは失敗し、１パス目のプレエンコーダ２０による符号化処理により見積もられたものを採用する。逆に入力画像が既に符号化されたことのある非原画である場合には、量子化歪が繰り返し乗ることを避ける為、バックサーチ部３０によって検出されたものを採用する。
また、バックサーチ部３０によって検出された前回の符号化に使用された量子化パラメータＱＰと量子化行列Ｑｍａｔｒｉｘは、画面内予測モード検出部３３にも送られる。画面内予測モード検出部３３は、量子化パラメータＱＰと量子化行列Ｑｍａｔｒｉｘを用いることにより、上述した画面内予測モード検出処理により前回の画面内予測モードを検出する。尚、この画面内予測モード検出部３３による画面内予測モード検出処理手順の詳細については後述する。この前回の予測モードは画面内予測モード決定部４５に送出される。画面内予測モード決定部４５では、１パス符号化で差分絶対値和ＳＡＤが最小となる第１予測モードを採用するか、画面内予測モード検出部３３により検出された前回の予測モードを採用するかを決定する。
即ち、画面内予測モード検出部３３は、量子化パラメータＱＰと量子化行列Ｑｍａｔｒｉｘに基づいて、前回の予測モードを検出する。この前回の予測モードは画面内予測モード決定部４５に送出される。画面内予測モード決定部４５では、１パス符号化で差分絶対値和ＳＡＤが最小となる第１予測モードを採用するか、画面内予測モード検出部３３により検出された前回の予測モードを採用するかを決定する。
すなわち、入力画像データが一度も符号化されていない原画像である場合には、前回の符号化がないため画面内予測モードの検出（バックサーチ）は失敗し、画面内予測モード判定部２１により見積もられたものを採用する。逆に入力画像が既に符号化されたことのある非原画である場合には、量子化歪が繰り返し乗ることを避ける為、画面内予測モード検出部３３によって検出されたものを採用する。
２パス目のパラメータエンコーダ５０では、前述したようにＱｍａｔｒｉｘ／ＱＰ決定部４１で決定された量子化行列Ｑｍａｔｒｉｘ、量子化パラメータＱＰ、画面内予測モード決定部４５で決定された画面内予測モードを使って、入力画像を符号化し、符号化ストリーム（Ｓｔｒｅａｍ）として出力する。
より詳細には、画面内予測処理部５１では、最適な画面内予測モードとして画面内予測モード決定部４５で決定された画面内予測モードに選定し、周辺画素の予測画像を用いて入力画像から差分画像データを生成し、当該差分画像データを整数精度ＤＣＴ部５２に入力する。整数精度ＤＣＴ部５２では、離散コサイン変換による直行変換により差分画像データをＤＣＴ係数Ｗとして出力する。量子化部５３ではＤＣＴ係数Ｗを入力として、Ｑｍａｔｒｉｘ／ＱＰ決定部４１で決定された量子化行列Ｑｍａｔｒｉｘ、量子化パラメータＱＰを用いて量子化を行い、量子化レベルＺをエントロピー符号化部５４に送出する。エントロピー符号化部５４では、入力された量子化レベルＺをバイナライズ、算術符号化して符号化ストリームとして出力する。
（２−２）処理手順
（２−２−１）量子化行列検出処理
以下、量子化行列検出処理手順ＲＴ１を示す図１０のフローチャートを参照して、本発明の第１の実施の形態に係る符号化装置１０のＱｍａｔｒｉｘ検出部２５によるスライス単位でのＱｍａｔｒｉｘ検出の処理について更に説明する。これは、同実施の形態に係る画像情報符号化方法にも相当する。
なおこの図１０において、符号化装置１０は、各ＤＣＴ係数の絶対値｜Ｗ｜が規格化閾値以下（すなわち｜Ｗ｜＜＜７がＲＦ以下）である場合にのみ、剰余ｒをリスケーリングファクターＲＦによって規格化することにより評価値Ｙを算出し、ＤＣＴ係数の絶対値｜Ｗ｜が規格化閾値より大きい場合には、剰余ｒを評価値Ｙとする。そして符号化装置１０は、評価値Ｙが最小となるリスケーリングファクターＲＦに基づいて量子化行列Ｑｍａｔｒｉｘを検出するようになされている。
Ｑｍａｔｒｉｘ検出部３１は、整数精度ＤＣＴ部２１で求められたＤＣＴ係数Ｗの絶対値｜Ｗ｜を入力として、前回の符号化で使われた可能性のある量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰの中から初期値を決める（ステップＳ１）。続いてＱｍａｔｒｉｘ検出部３１は、マクロブロック単位で量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰの組み合わせを変えて、各量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰごとにリスケーリングファクターＲＦを計算する。このとき剰余計算部３１ａは、スライス内の各サンプルに対して｜Ｗ｜＜＜６を該リスケーリングファクターＲＦで割った剰余ｒを計算する（ステップＳ２）。尚、先に図４で前述したように、剰余ｒの最小値は、量子化パラメータＱＰに関して６ｎの周期を有しており、量子化パラメータＱＰが６ｎずれていても、この図１０の処理では量子化行列Ｑｍａｔｒｉｘさえ検出できればいいので、前回の符号化で使われた量子化パラメータＱＰの大体の値が分かっていれば、該ＱＰの値を含んだ連続した６個の量子化パラメータＱＰで評価すれば十分であるものとする。
続いて、評価値判定部３１ｂは、｜Ｗ｜＜＜７＞ＲＦであるか否かを判定し、該関係が成立する場合には、剰余ｒをリスケーリングファクターＲＦで規格化（スケーリング）したものを評価値Ｙとする（ステップＳ４）。一方評価値判定部３１ｂは、該関係が成立しない場合には、｜Ｗ｜＜＜６を評価値Ｙとする（ステップＳ５）。このように、評価値判定部２５ｂは、マクロブロック内の２５６（＝１６ｘ１６）サンプルに関して、シフトされたＤＣＴ係数（Ｗ＜＜６）をリスケーリングファクターＲＦで割った剰余ｒに上記（ｉｉｉ）の規格化と補正を施したものを評価値Ｙとし、該評価値Ｙの総和を量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰ毎に計算する（ステップＳ６〜８）。
こうして、可能性のある全ての量子化行列Ｑｍａｔｒｉｘ、６つの量子化パラメータＱＰについて評価値Ｙが計算されると（ステップＳ７をＹｅｓに分岐）、Ｑｍａｔｒｉｘ判定部３１ｃは、スライス単位で量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰごとの評価値Ｙの総和を比較し（ステップＳ９）、総和（ΣＹ）が最小となる量子化行列Ｑｍａｔｒｉｘを検出し、前回使われた量子化行列Ｑｍａｔｒｉｘであるものとし（ステップＳ１０）、該量子化行列ＱｍａｔｒｉｘのＩＤ番号を出力する。
なお符号化装置１０は、例えばステップＳ２の前段において剰余ｒに対してＤＣＴ係数の絶対値｜Ｗ｜を乗算して重み付けした乗算値を算出し、当該乗算値をリスケーリングファクターＲＦによって規格化し、評価値Ｙとしても良い。この場合、符号化装置１０は、各ＤＣＴ係数の絶対値｜Ｗ｜が大きい領域であっても、当該領域の評価値Ｙを大きくして誤検出を防止し得るため、重み付けによって当該規格化した値を一律に評価値Ｙとすることができる。
また符号化装置１０は、例えば剰余ｒをそのまま評価値Ｙとして極小値を検出し、複数の極小値が検出された場合には、量子化パラメータＱＰにおける極小値の周期が６ｎであることを確認した上で、大きい値でなる量子化パラメータＱＰを前回の符号化に使用された量子化パラメータＱＰとして検出することも可能である。
（２−２−２）量子化パラメータ検出処理
次に、量子化パラメータ検出処理手順ＲＴ２を示す図１１のフローチャートを参照して、本発明の第１の実施の形態に係る符号化装置１０のＱＰ検出部３２によるマクロブロック単位での量子化パラメータＱＰ検出の処理について更に説明する。これは、同実施の形態に係る画像情報符号化方法にも相当する。
なおこの図１１において、符号化装置１０は、各ＤＣＴ係数の絶対値｜Ｗ｜が規格化閾値以下（すなわち｜Ｗ｜＜＜７がＲＦ以下）である場合にのみ、剰余ｒをリスケーリングファクターＲＦによって規格化することにより評価値Ｙを算出し、ＤＣＴ係数の絶対値｜Ｗ｜が規格化閾値より大きい場合には、剰余ｒを評価値Ｙとする。そして符号化装置１０は、評価値Ｙが最小となるリスケーリングファクターＲＦに基づいて量子化パラメータＱＰを検出するようになされている。
ＱＰ検出部３２は、整数精度ＤＣＴ部２２で求められたＤＣＴ係数Ｗの絶対値｜Ｗ｜を入力として、で検出された量子化行列Ｑｍａｔｒｉｘを用いて、マクロブロック単位で種々の量子化パラメータＱＰごとにリスケーリングファクターＲＦを計算する。ＱＰ検出部３２は、この時点で前回使われた量子化パラメータＱＰの大体の値が分かっている場合は、その周辺のＱＰのみを検出対象とすることで演算量を減らすことができる。ＱＰ検出部３２は、前回の符号化で使われた可能性のある量子化パラメータＱＰの中から初期値を求めると（ステップＳ２１）、マクロブロック内の全てのＤＣＴ係数の絶対値｜Ｗ｜が０であるか否かを判断する（ステップＳ２２）。そしてＱＰ検出部３２は、全てのＤＣＴ係数の絶対値｜Ｗ｜が０である場合には量子化パラメータＱＰは検出不可能とする（ステップＳ２３）。即ちＱＰ検出部３２は、マクロブロック内のすべてのＤＣＴ係数の絶対値｜Ｗ｜が０の場合はどの量子化パラメータＱＰで割っても剰余ｒは０となるので量子化パラメータＱＰは検出できない為、検出除外する。
一方、ステップＳ２２にて、全てのＤＣＴ係数の絶対値｜Ｗ｜が０でない場合には、ＱＰ検出部３２の剰余計算部３２ａは、マクロブロック内の２５６（＝１６ｘ１６）の各サンプルに対してシフトされたＤＣＴ係数（｜Ｗ｜＜＜６）を（９）式に従ってに求めたリスケーリングファクターＲＦで割った剰余ｒを計算する（ステップＳ２４）。
続いて、評価値判定部３２ｂは、（｜Ｗ｜＜＜７）＞ＲＦであるか否かを判定し（ステップＳ２５）、（｜Ｗ｜＜＜７）＞ＲＦである場合には、剰余ｒをリスケーリングファクターＲＦで規格化したものを評価値Ｙとし（ステップＳ２６）、（｜Ｗ｜＜＜７）＞ＲＦでない場合には（｜Ｗ｜＜＜６）を評価値Ｙとする（ステップＳ２７）。即ち評価値判定部３２ｂは、マクロブロック内の２５６（＝１６ｘ１６）サンプルに関して、シフトされたＤＣＴ係数（Ｗ＜＜６）をＲＦで割った剰余に（ｉｉｉ）で述べた規格化と補正を行ったものを評価値Ｙとし、その総和（ΣＹ）を量子化パラメータＱＰごとに計算する（ステップＳ２８）。
次いで、評価値判定部３２ｂは、可能性のある全ての量子化パラメータＱＰに関して評価値Ｙが計算されているか否かを判断し（ステップＳ２９）、全ての量子化パラメータＱＰに関して評価値Ｙが計算されていない場合には、量子化パラメータＱＰを変更し（ステップＳ３０）、ステップＳ２６、Ｓ２８、Ｓ２９の処理を繰り返す。
こうして、可能性のある全ての量子化パラメータＱＰについて評価値Ｙが計算されると（ステップＳ２９をＹｅｓに分岐）、ＱＰ判定部３２ｃは、マクロブロック単位でＱＰ毎の評価値Ｙの総和（ΣＹ）を比較し（ステップＳ３１）、総和が最小となる量子化パラメータＱＰを前回使用された量子化パラメータＱＰとし（ステップＳ３２）、当該量子化パラメータＱＰの値を出力することになる。
このとき、量子化パラメータＱＰが６未満となる領域は誤検出の可能性が高くなるので除外する。それは、例えば２００Ｍｂｐｓ以下の実用領域では６未満の量子化パラメータＱＰが使われることはほとんどなく、除外した方が検出率が高くなるからである。
以上説明したように、本発明の第１の実施の形態の符号化装置１０は、Ｑｍａｔｒｉｘ検出部３１により、符号化の過程で得られるＤＣＴ係数から前回の符号化で使われたＱｍａｔｒｉｘをスライスごとに剰余ｒを用いて高い確率で検出することができる。更に符号化装置１０は、ＱＰ検出部３２により、符号化の過程で得られるＤＣＴ係数から前回の符号化で使われたＱＰをマクロブロックごとに剰余ｒを用いて高い確率で検出することができる。そして、符号化装置１０は、これら検出された量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰを再利用することでダビング時の丸め誤差を低減し、ダビング特性を向上することができる。また符号化装置１０は、変換行列Ｄを導入することで、符号化と復号化におけるＤＣＴ係数を等価に扱うことが可能となる。さらに符号化装置１０は、剰余ｒをＤＣＴ係数Ｗで重み付けし、リスケーリングファクターＲＦで規格化することで検出精度を高めることができる。
また符号化装置１０は、ＡＶＣから導入された量子化パラメータのＱＰの６ｎの周期性を考慮し、剰余ｒが最小値をと量子化パラメータＱＰより、６ｎ大きいＱＰに剰余ｒの極小値がある場合は、最小値でなくてもその量子化パラメータＱＰを前回の符号化で使われた量子化パラメータＱＰとする。そして符号化装置１０は、前回の符号化で使われた量子化パラメータのＱＰのおおよその値が既知の場合、該値から±ｎだけ量子化パラメータＱＰを変化させて評価することで、演算量を減らすことができる。
（２−２−３）画面内予測モード検出処理
以下、画面内予測モード検出処理手順ＲＴ３を示す図１２のフローチャートを参照して、本発明の第２の実施の形態に係る符号化装置１０の画面内予測モード検出部３３による予測モード検出の処理について更に説明する。これは、同実施の形態に係る画像情報符号化方法にも相当する。
先ず画面内予測モード検出部３３は、予測画像からの差分絶対値和（すなわち差分画像データの絶対値の総和）が最も小さい画面内予測モードを初期値とする（ステップＳ５１）。続いて画面内予測モード検出部３３は、予測画像からの差分画像データ分に対してＤＣＴ処理を行う（ステップＳ５２）。画面内予測モード検出部３３は４×４のサブマクロブロック内の各サンプルに対してＤＣＴ係数Ｗの絶対値｜Ｗ｜を６ビットシフトした（｜Ｗ｜＜＜６）をＲＦで割った剰余ｒを計算する（ステップＳ５３）。
そして画面内予測モード検出部３３は、剰余ｒの総和にＤＣＴ係数の偶数を掛けたものを評価値Ｙとする（ステップＳ５６）。
続いて画面内予測モード検出部３３は、画面ない可能性のある全ての画面内予測モードに関してＹが計算されたか否かを判定し（ステップＳ５７）、評価値Ｙが計算されていなければ次に差分絶対値和ＳＡＤが小さい予測モードに切り替え（ステップＳ５８）、ステップＳ５２〜Ｓ５７の処理を繰り返す。そして画面内予測モード検出部３３は、可能性のある全ての画面内予測モードに関してＹが計算されたものと判定すると（ステップＳ５７をＹｅｓに分岐）、各画面内予測モード間で評価値Ｙを比較し（ステップＳ５９）、評価値Ｙが最小である画面内予測モードを前回使われた予測モードとし（ステップＳ６０）、処理を終了する。
以上説明したように、本発明の第１の実施の形態の符号化装置１０は、前回の符号化で使われた画面内予測モードを入力画像から算術的に検出することにより、ＡＶＣイントラフレームのダビング時に繰り返し量子化歪が発生することを抑制することができる。これにより符号化装置１０は、ダビング時のＳＮ比と視覚特性の低下を改善することができる。
さらに符号化装置１０は、画面内予測モード間で、サブマクロブロック内の予測画像からの差分絶対値和ＳＡＤを比較する際に、該差分絶対値和ＳＡＤの小さい物から順に比較するが、これは、前回の符号化で使われた確率の高い画面内予測モードから比較していくことと等価であり、例えば差分絶対値相ＳＡＤの小さい画面内予測モードから順に所定数（例えば３つ）のモードのみを比較することで演算量を軽減することが可能となる。また符号化装置１０は、変換行列Ｄの導入により、符号化と復号化におけるＤＣＴ係数を等価に扱うことが可能となる。
以上のほか、符号化装置１０は、前回の符号化の画面内予測のアルゴリズムによらず検出できるので、一回目の符号化で視覚特性を考慮した画面内予測方法を用いてもダビング時には本アルゴリズムを利用可能である。
以上、本発明の実施の形態について説明したが、本発明はこれに限定されることなくその趣旨を逸脱しない範囲で種々の改良・変更が可能であることは勿論である。
例えば、前述した第１及び第２の実施の形態に係る画像情報符号化処理装置及び方法は、コンピュータにより実行されるプログラム、及び該プログラムを格納した記録媒体としても実施可能であることは勿論であり、その場合も、前述した作用効果が奏される。
（２−３）動作及び効果
以上の構成において、符号化装置１０は、画像データとしての入力画像データに基づく差分画像データ対し直交変換としてのＤＣＴ処理を実行して変換係数としてのＤＣＴ係数を生成する。このとき符号化装置１０は、ＡＶＣ規格上、逆直交変換である逆ＤＣＴ処理との関係において、（５）式に示したように、当該ＤＣＴ係数を構成する係数要素の値を、複数のスケールでなる変換行列Ｄ（（８）式）だけスケール変動させるようになされている。
符号化装置１０は、復号化の際に使用される可能性のある複数の量子化因子に基づいて算出される複復号ファクターである復号リスケーリングファクターＲＦｒに対してスケール変動である変換行列Ｄだけを乗算することにより、複数の除算ファクターであるリスケーリングファクターＲＦを算出する。さらに符号化装置１０は、ＤＣＴ係数における要素を複数のリスケーリングファクターＲＦによって除算したときの剰余ｒに基づく評価値Ｙの総和（ΣＹ）を、検出単位毎に算出する。
そして符号化装置１０は、複数のリスケーリングファクターＲＦに対する評価値Ｙの総和（ΣＹ）との関係を比較し、評価値Ｙの総和（ΣＹ）が極小値をとるリスケーリングファクターＲＦに基づいて、差分画像データが前回符号化されたときに使用された量子化因子を検出するようにした。
これにより符号化装置１０は、ＤＣＴ係数をリスケーリングファクターＲＦで除算する際、ＤＣＴ係数を変換行列Ｄによって除算してＤＣＴ処理によるスケールアップを相殺することができるため、剰余ｒの値が行列の位置による複数の値によってスケールアップされてしまうことを防止することができる。
この結果符号化装置１０は、各剰余ｒを単純比較することができるため、当該剰余ｒに基づく評価値Ｙの総和（ΣＹ）の極小値を検出することにより、差分画像データが前回符号化されたときに使用された量子化因子を検出することが可能となる。
これにより符号化装置１０は、前回符号化されたときに使用された量子化因子を用いて符号化を実行することができるため、ダビング時の量子化丸めによる差分画像データの画質劣化を抑制することができる。
符号化装置１０は、量子化因子として量子化単位であるマクロブロックごとに設定される量子化パラメータＱＰを検出する。この場合、符号化装置１０は、検出単位をマクロブロックに設定することになる。
符号化装置１０は、量子化因子として、符号化単位であるスライスごとに設定され、ＤＣＴ係数の係数要素ごとの値が定められている量子化行列Ｑｍａｔｒｉｘを検出する。この場合、符号化装置１０は、検出単位をスライスに設定することになる。
符号化装置１０は、画面内符号化単位であるイントラ符号化単位ＩＡ（例えば４×４画素のサブマクロブロック）ごとに設定され、予め定められた複数の画面内符号化方式によって入力画像データを符号化し、複数の差分画像データを生成する。複数の差分画像データのうち、検出された量子化パラメータＱＰ及び量子化行列Ｑｍａｔｒｉｘを用いたときの評価値Ｙの総和（ΣＹ）に基づいて、入力画像データが前回符号化されたときに使用された一の画面内符号化方式を検出する。この場合、符号化装置１０は、検出単位をスライスに設定することになる。
上述したように、量子化パラメータＱＰは、その値が「６」増加するごとに、リスケーリングファクターＲＦが２倍になるパラメータ周期を有している。このため評価値Ｙの総和（ΣＹ）では、前回符号化に使用された量子化パラメータＱＰよりも６ｎだけ小さい量子化パラメータＱＰにおいて、評価値Ｙの総和（ΣＹ）から極小値を有する可能性がある。
このとき評価値Ｙの総和（ΣＹ）では、量子化パラメータＱＰが小さい程評価値Ｙの総和（ΣＹ）も小さくなる傾向にある。符号化装置１０は、剰余ｒをリスケーリングファクターＲＦによって除算した除算値を評価値Ｙとすることにより、前回符号化に使用された量子化パラメータＱＰについての値を最小値にすることができる。
また符号化装置１０は、複数の極小値を検出した場合には、評価値Ｙが最小となるリスケーリングファクターＲＦに基づいて、差分画像データが前回符号化されたときに使用された量子化因子を検出する。
この結果符号化装置１０は、前回符号化に使用された量子化パラメータＱＰを検出することができ、当該検出のための処理を簡易にすることができる。
また符号化装置１０は、係数要素の絶対値であるＤＣＴ係数の絶対値｜Ｗ｜が規格化閾値未満である場合には、剰余ｒをリスケーリングファクターＲＦによって除算した除算値を評価値Ｙとし、ＤＣＴ係数の絶対値｜Ｗ｜が規格化閾値以上である場合には、剰余ｒを評価値Ｙとする。
これにより符号化装置１０は、リスケーリングファクターＲＦが非常に大きい領域におけるリスケーリングファクターＲＦによる規格化により、評価値Ｙの総相（ΣＹ）が不当に小さくなることを防止し得、前回符号化に使用された量子化パラメータＱＰの誤検出を防止できる。
さらに符号化装置１０は、剰余ｒに対して係数要素を乗算して乗算値を算出し、当該乗算値をリスケーリングファクターＲＦによって除算した除算値を評価値Ｙとする。
これにより符号化装置１０は、ＤＣＴ係数によって評価値Ｙを重み付けできるため、リスケーリングファクターＲＦが非常に大きい領域におけるリスケーリングファクターＲＦによる規格化により、評価値Ｙの総和（ΣＹ）が不当に小さくなることを防止し得、前回符号化に使用された量子化パラメータＱＰの誤検出を防止できる。
さらに符号化装置１０は、複数の極小値を検出した場合には、極小値を検出したときのリスケーリングファクターＲＦが、量子化パラメータＱＰに起因するパラメータ周期によって検出されたか否かを確認する。そして符号化装置１０は、当該パラメータ周期であると判別すると、大きい値でなるリスケーリングファクターＲＦに基づいて、差分画像データが前回符号化されたときに使用された量子化因子を検出する。
これにより符号化装置１０は、剰余ｒをそのまま評価値Ｙとして用いることができ、規格化や重み付けなどの処理が不要となるため、評価値Ｙを算出する演算処理を省略することができる。
また符号化装置１０は、復号化の際に使用される可能性のある複数の復号リスケーリングファクターを検索範囲として特定する。これのより符号化装置１０は、全ての復号リスケーリングファクター（すなわち全ての量子化パラメータＱＰ及び量子化行列Ｑｍａｔｒｉｘ）について評価値Ｙの総和（ΣＹ）を算出しなくて済み、バックサーチ処理の負荷を軽減することができる。
さらに符号化装置１０は、量子化パラメータＱＰと量子化行列Ｑｍａｔｒｉｘとに基づいてリスケーリングファクターを算出する。符号化装置１０は、量子化パラメータＱＰに起因するパラメータ周期の１周期分（すなわち「６」）に亘って複数のリスケーリングファクターに対する評価値Ｙの総和（ΣＹ）との関係を比較することにより、差分画像データが前回符号化されたときに使用された量子化行列Ｑｍａｔｒｉｘを検出する。
これにより符号化装置１０は、全ての量子化パラメータＱＰについて処理をする必要がなく、処理負荷を格段に軽減することができる。
また符号化装置１０は、検出された量子化行列Ｑｍａｔｒｉｘを用い、リスケーリングファクターＲＦにおける量子化パラメータＱＰの値を変動させることにより算出された評価値Ｙの総和（ΣＹ）に基づいて量子化パラメータＱＰを検出する。
これにより符号化装置１０は、後は量子化パラメータＱＰのみを検出すれば良いため、処理対象となるリスケーリングファクターＲＦの数を減少させることができ、処理負荷を軽減することができる。
さらに符号化装置１０は、複数の画面内予測モードによって生成された複数の差分画像データについて、検出された量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰを用いたリスケーリングファクターＲＦから算出された評価値Ｙの総和（ΣＹ）をそれぞれ算出する。そして符号化装置１０は、複数の差分画像データのうち、評価値Ｙの総和（ΣＹ）から極小値が検出された差分画像データに対応する画面内予測モードを前回符号化された画面内予測モードとして検出する。
これにより符号化装置１０は、処理対象となる画面内予測モードの数だけ処理を実行すれば良いため、少ない処理で画面内予測モードとして検出できる。
以上の構成によれば、符号化装置１０は、ＤＣＴ係数を復号リスケーリングファクターＲＦｒに対して変換行列Ｄを乗算したリスケーリングファクターＲＦによって除算することにより算出された剰余に基づいて量子化パラメータＱＰを検出するようにした。
これにより符号化装置１０は、ＤＣＴ処理と逆ＤＣＴ処理との関係においてスケール変動が生じるような場合であっても、剰余ｒの値がスケール変動されることを防止でき、剰余ｒの比較によって量子化パラメータＱＰを適切に検出してバックサーチの検出精度を向上することができる。
かくして本発明は、符号化による画質低下を抑制し得る画像処理装置及び画像処理方法を実現できる。
（２−４）他の実施の形態
なお上述した第１の実施の形態においては、ＡＶＣ規格に準拠して処理が実行されるようにした場合について述べた。本発明はこれに限らず、いかなる規格に準拠して処理が実行されるようにしても良い。要は直交変換と逆直交変換との関係において係数要素の値を複数のスケールでスケール変動させるような全ての方式に対して本発明を適用することができる。また本発明は、直交変換に限らず、符号化と当該符号化に対応する復号化との関係において同様のスケール変動を生じさせる場合においても同様の効果を奏することができる。
また上述した第１の実施の形態においては、直交変換としてＤＣＴ処理を実行するようにした場合について述べた。本発明はこれに限らず、例えばウェーブレット変換など、他の直交変換を用いても良い。またＤＣＴ変換として、小数部分の演算をも行うＤＣＴ変換であっても良い。
さらに上述した第１の実施の形態においては、４×４ＤＣＴ処理に本発明を適用するようにした場合について述べた。本発明はこれに限らず、例えば８×８ＤＣＴ処理や１６×１６ＤＣＴ処理に適用しても良い。この場合であっても、（５）式にそれぞれの処理に応じた変換行列Ａ及びＣをそれぞれ代入することにより、変動スケールを表す変換行列Ｄを算出することができる。
さらに上述した第１の実施の形態においては、量子化行列Ｑｍａｔｒｉｘがスライス単位ごとに設定されるようにした場合について述べた。本発明はこれに限らず、例えばピクチャごとに設定されても良い。
さらに上述した第１の実施の形態においては、量子化行列Ｑｍａｔｒｉｘ、量子化パラメータＱＰ及び画面内符号化モードの順で前回符号化されたものを検出するようにした場合について述べた。本発明はこれに限らず、その順序に特に制限はない。また本発明は、例えば量子化行列Ｑｍａｔｒｉｘ、量子化パラメータＱＰ及び画面内符号化モード全ての組み合わせについて総当たりで処理をしてから比較するようにしても良い。
さらに上述した第１の実施の形態においては、直交変換部としての整数精度ＤＣＴ部２２と、除算因子算出部及び総和算出部としての剰余計算部３２ａと、量子化因子検出部としての評価値判定部３２ｂ及びＱＰ判定部３２ｃとによって画像処理装置としての符号化装置１０を構成するようにした場合について述べた。本発明はこれに限らず、その他種々の公正でなる直交変換部と、除算因子算出部と、総和算出部と、量子化因子検出部とによって本発明の画像処理装置を構成しても良い。
（３）第２の実施の形態
（３−１）本発明の原理
ＩｎｔｒａフレームのみのＡＶＣ（ＡＶＣ Ｉｎｔｒａ）では、ダビング特性を向上させるために、符号化プロセスの中に上述した量子化行列検出処理及び量子化パラメータ検出処理を実行するためのダビング補償回路が導入されることがある。
一般的に、ダビング補償回路は、入力画像の情報から前回の符号化で採用された量子化パラメータ等の検出を行うものである。このプロセスに先立ち、先ず、原画（即ち、一度も符号化されていない入力画）か否かを判定し、原画であれば補償回路をオフにするか補償回路で検出したパラメータを使わないように後段の符号化部に伝え、通常の符号量制御を行わなければならない。ＭＰＥＧやＡＶＣにおいて、原画かどうかを判定するためのアルゴリズムは従来も提案されているが、１フレームあたりの統計量を利用するものが多く、判定用部分だけで比較的大きな回路を必要とする。従って、製品開発においてはＬＳＩの消費電力、チップサイズなどの面で不利になる場合があった。
そこで、この第２の実施の形態では、バックサーチと呼ばれる補償回路の一部に原画判定部を導入し、入力画が原画であった場合の補償回路の誤適用を防止する。
即ち、過去に提案したダビング補償回路であるバックサーチの中に原画判定部を組み込み、バックサーチを行う過程で得られるパラメータをカウントすることで原画かどうかを判定できるため、バックサーチと組み合わせて使用することで、特別大きな回路を追加することなく原画か否かを判定することを可能とする。具体的には、次のようになる。
（１）入力画の情報からＤＣＴ係数の剰余を用いて原画か否かを判定する。
（２）バックサーチの回路の中で検出される量子化パラメータＱＰの値から原画か否かを判定する。
以下、この第２の実施の形態において着目した特徴について説明する。
前述したが、（１）式及び（２）式に示したように、ＡＶＣ Ｉｎｔｒａでは復号の際に量子化レベルＺに量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰの関数である復号リスケーリングファクタＲＦｒが乗算されてＤＣＴ係数Ｗを６ｂｉｔ左シフトしたものが復号される。
従って、一度符号化、復号化された入力画から得られるＤＣＴ係数Ｗを６ｂｉｔ左シフトしたものは、前回使われた量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰにより構成された復号リスケーリングファクタＲＦで割り切れると考えることができる。尚、ＡＶＣ Ｉｎｔｒａでは符号化と復号化でＤＣＴの整数部／非整数部の切り分け位置が異なるため、符号化と復号化でＤＣＴ係数を等価に扱うことができない。等価に扱うためには変換が必要であるが、その変換行列Ｄとしては（７）式で前述したものを、ここでも採用することができる。
実際にはこの時点で前回使われた量子化パラメータＱＰは未知であるため、符号量制御部で求めたおおまかな量子化パラメータＱＰを中心に種々の量子化パラメータＱＰで構成されたリスケーリングファクターＲＦを用いてＤＣＴ係数の剰余ｒを求め、１マクロブロックあたりの合計をみると、少なくとも一度符号化、復号化された入力画（以下、”非原画”と表記）は、図１３の「非原画」のような傾向を示す。同図より、非原画では、前回使われた量子化パラメータＱＰに対して、剰余ｒの総和（Σｒ）に極小値が現れていることがわかる。
理論上、ＤＣＴ係数Ｗを６ｂｉｔ左シフトしたものを前回の符号化で使われた量子化パラメータＱＰで構成されたリスケーリングファクターＲＦで除算することにより理論上、剰余は０になる。しかしながら上述したように、実際のプロセスでは演算誤差の影響により、剰余は完全には０にならないことが多く、その場合は前回の符号化で使われた量子化パラメータＱＰは剰余の極小値をもつ。また、ＡＶＣ Ｉｎｔｒａでは数式上、量子化パラメータＱＰが６小さくなると、ＲＦが１／２倍になる特性がある。したがって、前回の符号化で使われた量子化パラメータＱＰより６ｎ小さい量子化パラメータＱＰも剰余ｒの極小値をもつ。
一方、一度も符号化、復号化されていない入力画（以下、”原画”と表記）では図１３の「原画」に示すとおり、上記のような極小値は発生しない傾向にある。
図１３より、符号化、復号化を通っているかどうかにかかわらず、一般的に量子化パラメータＱＰが大きくなるほど剰余ｒも大きくなる傾向があるということがわかる。これは、統計的に除数（ＲＦ）が大きいほど、剰余も大きくなるという性質に起因している。
ここで、剰余ｒの最小値に注目すると、非原画では極小値が現れるので、これが剰余ｒの最小値となるのに対し、原画では単調増加となるため量子化パラメータＱＰの検索範囲の中で最小の量子化パラメータＱＰが剰余ｒの最小値をもつ傾向にある。従って本発明では、量子化パラメータＱＰの検索範囲を十分に大きくとり、その中で最小の量子化パラメータＱＰが剰余ｒの最小値をもった回数（マクロブロック数）をカウントする。
言い換えると本発明では、十分に大きく設定した量子化パラメータＱＰの検索範囲において、マクロブロックごとに剰余ｒの総和（Σｒ）（すなわち評価値Ｙの総和ΣＹ）を算出する。そして本発明では、剰余ｒの総和（Σｒ）の最小値をとる量子化パラメータＱＰが検索範囲の最小値である場合には、このマクロブロックが原画である可能性が存在すると判別し、当該マクロブロック数をカウントする。
そして、１フレームあたりの合計が閾値を超えた場合は当該フレームが原画であると判別し、ダビング補償回路を使わずに通常の符号量制御を使うように後段の符号化部に伝える。量子化パラメータＱＰの検索精度にも依存するが、この実施の形態に関連して行った検証では８０［％］を閾値（すなわちカウントされたマクロブロック数がフレーム全体のマクロブロック数の８０［％］より大きいときに原画と判別する）としたところ、検証用の２５素材では２００Ｍｂｐｓの符号化において誤検出はなかった。
このように本発明では、マクロブロックごとの剰余ｒの総和（Σｒ）における極小値の有無を検出することにより、適切に入力画像データが原画であるか非原画であるかを判別し得るようになされている。
（３−２）符号化装置の構成
図１４には、本発明の第２の実施の形態に係る符号化装置１１の構成を示し説明する。その基本的な構成は、先に説明した第１の実施の形態と同様（図７）であるので、同一構成については同一符号を付し、重複した説明は省略する。また、前回の符号化で用いられた量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰの検出アルゴリズムに関しては第１の実施の形態で説明したとおりである。
この図１４において、特徴的なのは、ＱＰ検出部３４が、原画判定部３４ａとＱＰカウント部３４ｂを更に備えている点である。原画判定部３４ａは、前述したような方法で原画／非原画の判定を行い、原画と判定された場合はｓｏｕｒｃｅフラグを立てる。
Ｑｍａｔｒｉｘ／ＱＰ決定部４１では、量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰに関して、ｓｏｕｒｃｅフラグの有無によりプレエンコーダ２０（１ｐａｓｓ）符号化部で見積もられたものを採用するか、バックサーチ部３０で検出されたものを使うかを決定する。画面内予測に関しても同様に、画面内予測モード決定部４５は、ｓｏｕｒｃｅフラグの有無により、プレエンコーダ２０（１ｐａｓｓ）で差分絶対値和ＳＡＤが最小となる予測モードを採用するか、画面内予測モード検出部３３により検出された予測モードを採用するかを決定する。
（３−３）バックサーチによる原画判定処理手順
以下、バックサーチによる原画判定処理手順ＲＴ４を示す図１５のフローチャートを参照して、本発明の第２の実施の形態に係る符号化装置１１のＱＰ検出部３４によるマクロブロック単位での量子化パラメータＱＰ検出の処理について更に説明する。これは、同実施の形態に係る画像情報符号化方法にも相当する。
なお符号化装置１１は、量子化パラメータ検出処理ＲＴ２の代りにバックサーチによる原画判定処理手順ＲＴ４を実行し、前段に量子化行列検出処理ＲＴ１（図１０）及び後段に予測画像モード検出処理ＲＴ３（図１２）を実行するようになされている。
符号化装置１１のＱＰ検出部３４は、ステップＳ８０において、量子化パラメータ検出処理ＲＴ２のステップＳ２１〜ステップＳ３２までを実行すると、次のステップＳ８１へ移る。
続いて、ＱＰ検出部３４は、ＱＰカウント部３４ｂによる量子化パラメータＱＰのカウント処理を行う。即ちＱＰカウント部３４ｂは、検出された量子化パラメータＱＰが検出対象の量子化パラメータＱＰの中で最小量子化パラメータＱＰであるか否かを判断する（ステップＳ８１）。ここでＱＰカウント部３４ｂ最小の量子化パラメータＱＰであると判断した場合には、量子化パラメータＱＰの最小値のカウント値であるｍｉｎＱＰＣｏｕｎｔをインクリメントしてステップＳ８３に進む（ステップＳ８２）。一方ＱＰカウント部３４ｂは、検出された量子化パラメータＱＰが最小でないと判断した場合には、ステップＳ８３に進む。ステップＳ８３においてＱＰカウント部３４ｂは、量子化パラメータＱＰの総数のカウント値であるｔｏｔａｌＱＰＣｏｕｎｔをインクリメントする（ステップＳ８３）。
次いで、ＱＰカウント部３４ｂは、フレーム内の全てのＭＢに関して検出が完了しているか否かを判断し（ステップＳ８４）、検出が完了していないと判断した場合には、次のマクロブロックを特定し（ステップＳ８５）、ステップＳ３０１以降の処理を実行する。一方ＱＰカウント部３４ｂは、検出が完了していると判断した場合には、原画判定部３４ａによる原画判定処理に移行する。
即ち原画判定部３４ａは、最小の量子化パラメータＱＰのカウント値であるｍｉｎＱＰＣｏｕｎｔと量子化パラメータＱＰの総数のカウント値であるｔｏｔａｌＱＰＣｏｕｎｔの割合が所定の割合（この例では８０％としている）より大きいか否かを判断する（ステップＳ８６）。ここで原画判定部３４ａは、ｔｏｔａｌＱＰＣｏｕｎｔの割合が所定の割合以下であると判断した場合には入力画を非原画として取り扱う（Ｓｏｕｒｃｅフラグを０に設定）（ステップＳ８７）。一方原画判定部３４ａは、ｔｏｔａｌＱＰＣｏｕｎｔの割合が所定の割合よりも大きいと判断した場合には入力画を原画として扱う（Ｓｏｕｒｃｅフラグを１に設定）（ステップＳ８８）。こうして原画判定部３４ａは、処理を終了する。
以上説明した第２の実施の形態の符号化装置１１は、入力画像データからの情報のみを利用して、その入力画が原画か否かを高い確率で検出することができる。更に符号化装置１１は、検出結果を後段のパラメータエンコーダ５０に伝えることで、入力画像データが原画であった場合にダビング補償回路の誤適用を防ぎ、原画像を符号化した場合の画質向上につながる。そして符号化装置１１は、検出結果を後段のパラメータエンコーダ５０に伝えることで、入力画像データが非原画であった場合にダビング補償回路を有効にでき、非原画を符号化した場合の画質向上につながる。
（３−４）動作及び効果
以上の構成によれば、符号化装置１１は、ＤＣＴ係数を量子化して量子化データを生成し、量子化データに基づくストリームとしての符号化ストリームの発生符号量が目標符号量に近づくよう、マクロブロックごとに量子化パラメータＱＰを設定する。符号化装置１０は、入力画像データが原画であると判定された場合には、符号量制御部４０によって設定された量子化パラメータＱＰに基づいて入力画像データを量子化させる一方、入力画像データが非原画であると判定された場合には、バックサーチ部３０によって検出された量子化パラメータＱＰに基づいて入力画像データを量子化させる。
これにより符号化装置１１は、入力画像データの原画／非原画に応じた適切な量子化パラメータＱＰを用いて量子化を実行することができ、符号化による画質の低下を抑制することができる。
また符号化装置１１は、極小値が検出されたマクロブロックの割合に基づいて、入力画像データが原画であるか、非原画であるかを判定する。
これにより符号化装置１１は、バックサーチ処理において検出された量子化パラメータＱＰの値に基づいて、簡易な処理で力画像データが原画であるか非原画であるかを確実に判定することができる。
符号化装置１１は、復号化の際に使用される可能性のある複数の復号ファクターのうち、一部を検索範囲として特定する。符号化装置１０は、極小値に対応する量子化パラメータの最小値が、検索範囲における量子化パラメータの最小値であった最小回数をカウントし、処理されたマクロブロックごとの画像データの処理回数をカウントする。そして符号化装置１０は、最小回数の処理回数に対する割合に基づいて、入力画像データが原画であるか、非原画であるかを判定する。
これにより符号化装置１１は、最小回数及び処理回数をカウントして比較するだけの簡易な処理で入力画像データが原画であるか非原画であるかを確実に判定することができる。
以上の構成によれば、符号化装置１１は、原画／非原画に応じて量子化に使用するＱＰパラメータを変更することができ、符号化時の画質を向上させ得るようになされている。
（３−５）他の実施の形態
なお上述した第２の実施の形態においては、量子化パラメータの最小値が検索範囲における量子化パラメータの最小値であったときの割合に基づいて原画／非原画を判定するようにした場合について述べた。本発明はこれに限らず、例えば実際に極小値を検出し、当該極小値の割合に基づいて原画／非原画を判定するようにしても良い。また判定時の割合についても特に制限はなく、判定に適した任意の値に設定することができる。
さらに上述した第２の実施の形態においては、ピクチャごとに原画／非原画を判定するようにした場合について述べた。本発明はこれに限らず、例えばスライスやＧＯＰごとでも良い。また全てのピクチャに対して原画／非原画を判定しなくても良く、例えばＧＯＰの先頭ピクチャだけに対して原画／非原画を判定しても良い。
（４）第３の実施の形態
（４−１）本発明の概略
本発明の第３の実施の形態では、第１に、目標符号量を実現する量子化パラメータＱＰを予測し、該量子化パラメータＱＰを用いて本エンコードを行うことで、目標符号量に発生符号量を一致させ、視覚特性を考慮した符号量配分、つまり量子化パラメータの決定を可能とすること。
第２に、前回符号化時のピクチャ内の平均の量子化パラメータと量子化行列を判定し、前回符号化された画像と判定した場合、入力を入力画像データとしローカルデコード画像は使用しないようにすることでバックサーチの検出精度を向上すること。を特徴の一つとしている。以下、詳述する。
この第３の実施の形態に係る符号化装置１２では、ＭＰＥＧ４ Ｐａｒｔ１０：ＡＶＣ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｐｈａｓｅ４ Ｐａｒｔ１０：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）等に代表される算術符号化を用いた画像符号化方式を採用し、符号量制御を行う際にピクチャ内で良好な符号量分布を実現するために、以下に示すような特徴的な処理を行う。
（４−１−１）ＭＢ目標符号量の算出
図１６に示すように、符号化装置１２は、第１の符号化部２としての画面内予測処理部２０４、ＤＣＴ部２０５、量子化部２０６、逆量子化部２０７、ＩＤＣＴ部２０８及びバッファ２０９とを有している。また符号化装置１２は、第２の符号化部４としてのパラメータエンコーダ３００、及びバックサーチ部３としてのバックサーチ部２１０を有している。
符号化装置１２は、第１のプレエンコーダ１００及び第２のプレエンコーダ２００によってプレエンコード（Ｐｒｅ Ｅｎｃｏｄｅ）を２回行い、目標符号量を実現する（すなわち目標符号量に最も近くなる）量子化パラメータＱＰを予測し、該量子化パラメータＱＰを用いて本エンコードを行う。特に、第１のプレエンコードでは、離散コサイン変換（ＤＣＴ；Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、量子化後の量子化係数の絶対値である量子化係数絶対値ｌｅｖｅｌのエントロピーを計算することによりマクロブロックごとのＭＢ発生符号量を粗く見積もる。
このとき、符号化装置１２は、第１のプレエンコーダ１００によって第１のプレエンコードを行い、先ず量子化で使用する量子化パラメータＱＰの中で最小の量子化パラメータＱＰを用いて行い、その時の各値の発生回数をカウントし、最小の量子化パラメータＱＰにおける発生回数から各量子化パラメータＱＰにおける発生回数を求め、その値から各量子化パラメータＱＰでのエントロピーを計算する。
さらに符号化装置１２は、第１のプレエンコーダ１００によって求めたエントロピーから各量子化パラメータＱＰに対する予測発生符号量を求め、目標符号量を実現するためのピクチャ内の平均となる予測量子化パラメータＱＰｄを求める。このとき符号化装置１２は、エントロピー計算を量子化行列Ｑｍａｔｒｉｘを使用した場合に適用するために、ＤＣＴ ｂｌｏｃｋ（すなわちＤＣＴ係数が表す行列）の位置毎に発生回数のカウントを行う。
さらに符号化装置１２は、符号量制御部１０９によってエントロピー計算を適応量子化に対応させるため、アクティビティ（Ａｃｔｉｖｉｔｙ）によりマクロブロック（ＭＢ；Ｍａｃｒｏ Ｂｌｏｃｋ）をグループ分けして、アクティビティにより決定されたグループ毎に発生回数のカウントを行う。
符号量制御部１０９は、量子化行列Ｑｍａｔｒｉｘを絵柄に応じて適応的に切り替えるため、フラットな量子化行列Ｑｍａｔｒｉｘ（Ｑｍａｔｒｉｘを使わないのと同じ）を使った時の、目標符号量を実現するための量子化パラメータＱＰを使用する。そして符号量制御部１０９は、該量子化パラメータＱＰにより量子化行列Ｑｍａｔｒｉｘを切り替える。決定された量子化行列Ｑｍａｔｒｉｘがフラットでないときは、その量子化行列Ｑｍａｔｒｉｘを使った時の量子化パラメータＱＰを求め直す。
符号化装置１２は、第２のプレエンコーダ２００によって第２のプレエンコードを行い、第１のプレエンコードで求めた量子化パラメータＱＰ（以下、これを予測量子化パラメータＱＰｄと呼ぶ）と量子化行列Ｑｍａｔｒｉｘを用いてエンコードを行い、ＭＢ発生符号量を得て、該ＭＢ発生符号量とＭＢ目標発生量との誤差から、予測量子化パラメータＱＰｄを修正し、基本量子化パラメータＱＭＢを算出する。本エンコードでは、この第２のプレエンコードで求め基本量子化パラメータＱＭＢを使用する。
（４−１−２）前回符号化時に使用された量子化パラメータＱＰの見積り
符号化装置１２では、ＭＰＥＧ４ ＡＶＣなどに代表されるＤＣＴ等の直交座標変換を用いた画像符号化方式を採用しつつ、該ＤＣＴ後の係数分布から離散的な分布状態を検出するために、以下に示すような特徴を有している。
符号化装置１２は、Ｑｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８により、前回符号化時のピクチャ内の平均の量子化パラメータＱＰ（以下、これを見積量子化パラメータＱＰｅと呼ぶ）及び前回符号化時の量子化行列Ｑｍａｔｒｉｘ（以下、これを見積量子化行列ＱｍａｔｒｉｘＥと呼ぶ）を見積る。このとき符号化装置１２は、入力を入力画像データとしローカルデコード画像は使用しないようにすることでバックサーチの検出精度を向上する。このとき符号化装置１２は、符号量制御部１０９により、見積量子化パラメータＱＰｅと見積量子化行列ＱｍａｔｒｉｘＥの見つからない状態を前回符号化されていない原画像とみなし、原画像であるか、前回符号化された画像であるかを判定する。
さらに符号化装置１２は、原画像と見なした際、ピクチャ内の平均となる予測量子化パラメータＱＰｄの予測値が大きすぎる場合に、入力値切り換え処理部２０３による入力画像の切換により、入力段のローパスフィルタを使用して主観画質を改善する。一方符号化装置１２は、前回符号化された画像（非原画）と判定した場合、見積量子化行列ＱｍａｔｒｉｘＥと見積量子化パラメータＱＰｅをバックサーチ部２１０に設定し、該バックサーチ処理のサーチ範囲を限定し回路規模を削減する。以上に加えて、Ｌｏｎｇ ＧＯＰの符号化を行った信号を入力するとき、イントラ（Ｉｎｔｒａ）ピクチャの判定に利用する。
すなわち、符号化装置１２は、符号量予測処理を実行し、まず第１のプレエンコーダ１００による第１のプレエンコード処理の際、最小の量子化パラメータＱＰを用いて量子化を行い、エントロピー計算部１０７により他の量子化パラメータＱＰによる予測発生符号量を予測する。そして符号化装置１２は、入力画像が原画であった場合に使用される予測量子化パラメータＱＰｄ及び予測量子化行列ＱｍａｔｒｉｘＤを予測する。
このとき第１のプレエンコーダ１００は、量子化係数による原画判定処理を実行し、最小の量子化パラメータＱＰを用いて量子化を行ったときの量子化係数を用いて、入力画像が原画又は非原画のいずれであるかを判別する。さらに第１のプレエンコーダ１００は、当該入力画像が非原画であった場合には、前回の符号化で使用された量子化パラメータＱＰの近傍の量子化パラメータＱＰ（すなわち見積量子化パラメータＱＰｅ）を見積り、バックサーチ処理の際の検索範囲を決定する。さらに第１のプレエンコーダ１００は、前回符号化されたときに使用された量子化行列Ｑｍａｔｒｉｘ（すなわち見積量子化行列ＱｍａｔｒｉｘＥ）を見積もる。
第２のプレエンコーダ２００は、第１のプレエンコーダ１００によって入力画像が原画であったと判別された場合には、バックサーチ部２１０を「ＯＦＦ」に切り換える。さらに第２のプレエンコーダ２００は、第１のプレエンコーダ１００によって予測されたピクチャ毎の予測量子化パラメータＱＰｄの値に応じて、入力画像に対するローパスフィルタ処理の有無を選択する。そして第２のプレエンコーダ２００は、予測された予測量子化パラメータＱＰｄを用いて第２のプレエンコード処理を行い、例えばピクチャ単位による実際の発生符号量と目標符号量との差から予測量子化パラメータＱＰｄを補正し、本エンコードで使用される基本量子化パラメータＱＰＭＢを算出する。
一方第２のプレエンコーダ２００は、第１のプレエンコーダ１００によって入力画像が非原画であったと判別された場合には、バックサーチ部２１０を「ＯＮ」に切り換える。そして第２のプレエンコーダ２００は、第１のプレエンコーダ１００によって決定された見積量子化パラメータＱＰｅに基づく検索範囲及び見積量子化行列ＱｍａｔｒｉｘＥにおいて、バックサーチ処理を実行し、前回の符号化で使用された量子化パラメータＱＰを検出する。なお以下、バックサーチ処理によって検出された量子化パラメータＱＰを検出量子化パラメータＱＰｂと呼ぶ。
そしてパラメータエンコーダ３００は、入力画像が原画であった場合には、基本量子化パラメータＱＰＭＢ及び予測量子化行列ＱｍａｔｒｉｘＤを用いて本エンコードを実行する一方、入力画像が原画であった場合には、検出量子化パラメータＱＰｂ及び見積量子化行列ＱｍａｔｒｉｘＥを用いて本エンコードを実行するようになされている。
以下、このような特徴をふまえて、第３の実施の形態について詳述する。
（４−２）符号化装置の構成
図１６に示すように、符号化装置１２は、第１のプレエンコードを行う第１のプレエンコーダ１００、第２のプレエンコードを行う第２のプレエンコーダ２００、本エンコードを行うパラメータエンコーダ３００、符号量制御部１０９、ローパスフィルタ処理部２０１、ディレイバッファ２０２、マクロブロック決定部２１２を有する。
より詳細には、第１のプレエンコーダ１００は、さらにアクティビティ決定部１０１、画面内予測モード決定部１０２、画面内予測処理部１０３、ＤＣＴ部１０４、量子化部１０５、レベル計数部１０６、エントロピー計算部１０７、Ｑｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８からなる。第２のプレエンコーダ２００は、入力画切り換え処理部２０３、画面内予測処理部２０４、ＤＣＴ部２０５、量子化部２０６、逆量子化部２０７、ＩＤＣＴ部２０８、バッファ２０９、バックサーチ部２１０、符号長計算部２１１からなる。そして、パラメータエンコーダ３００は、画面内予測処理部３０２、ＤＣＴ部３０３、量子化部３０４、逆量子化部３０５、ＩＤＣＴ部３０６、バッファ３０７、符号化部３０８からなる。
このような構成において、入力画像データは、最初に画面内予測モード決定部１０２に入り、画面内予測モードが決定される。ここで決定されたモードは、第２のプレエンコーダ２００やパラメータエンコーダ３００でも使用される。
次に、画面内予測処理部１０３は、入力画像データと、当該入力画像データにおける周囲の画素との差分が計算されることにより、差分画像データを生成する。この周辺の画素は、入力画像データを用いる。画面内予測処理部１０３は、周辺画素のデータとして、予測画像データの代りに入力画像データを使用することで、周辺画素として予測画像データを使用した場合に、予測を繰り返すことで予測画像データの誤差が累積することを防止することができる。この結果画面内予測処理部１０３は、Ｑｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８による量子化行列Ｑｍａｔｒｉｘや基本量子化パラメータＢａｓｅ ＱＰの検出率を改善できるほか、第２のプレエンコーダ２００にあるような、逆量子化、ＩＤＣＴの処理部を削減できる。
次いで、ＤＣＴ部１０４は、離散コサイン変換等を実行し、ＤＣＴ係数を量子化部１０５に供給する。量子化部１０５は、ＤＣＴ係数に対して量子化を実行し、量子化係数を生成する。その出力は、レベル計数部１０６を経て、エントロピー計算部１０７に入り、エントロピーを計算することにより、全ての量子化パラメータＱＰにおける符号量が予測される。
このときエントロピー計算部１０７は、目標とする発生符号量に近い発生符号量を生じさせる予測量子化パラメータＱＰｄ及び予測量子化行列Ｑｍａｔｒｉｘの値を算出し、Ｑｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８に供給する。またレベル計数部１０６は、量子化係数のレベルを計測し、当該レベル計数結果をエントロピー計算部１０７を介してＱｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８に供給する。このＱｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、入力画像が前回符号化の行われていない原画像に係るものか否かを検出すると同時に、見積量子化行列ＱｍａｔｒｉｘＥと見積量子化パラメータＱＰｅを割り出す。
一方、入力画像はアクティビティ決定部１０１にも入力される。アクティビティ決定部１０１は、マクロブロックごとにアクティビティを計算し、このアクティビティによりマクロブロックをグループ分けする。アクティビティ決定部１０１は、各マクロブロックに対して決定されたアクティビティグループ（Ａｃｔｉｖｉｔｙ Ｇｒｏｕｐ）番号をレベル計数部１０６及び符号量制御部１０９に入力する。
符号量制御部１０９は、Ｑｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８で原画像と検出された場合、第１のプレエンコーダ１００により求まったピクチャごとの平均となる予測量子化パラメータＱＰｄ、予測積量子化行列ＱｍａｔｒｉｘＤを算出し、これらを各マクロブロックのアクティビティグループ（Ａｃｔｉｖｉｔｙ Ｇｒｏｕｐ）と共に第２のプレエンコーダ部２００に渡す。
この結果第２のプレエンコーダ２００は、第２のプレエンコードを行い、第２のプレエンコード終了後、当該予測量子化パラメータＱＰｄ及び予測量子化行列ＱｍａｔｒｉｘＤを用いたときの発生符号量を得る。そして符号量制御部１０９は、得られた発生符号量から、予測量子化パラメータＱＰｄを補正し、ピクチャの基本量子化パラメータＱＰＭＢを生成することになる。このとき第２のプレエンコーダ２００は、バックサーチ部２１０をバイパスする。
このとき第２のプレエンコーダ２００は、ピクチャの予測量子化パラメータＱＰｄが非常に大きく、歪が目立つような場合は、入力画切り替え処理部２０３によって入力画像がローパスフィルタ処理部２０１を経由するように切り換える。これにより入力画切り替え処理部２０３は、入力画像に対してローパルフィルタ処理を施させることができ、視覚的な歪を軽減することができる。
またＱｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８において量子化行列Ｑｍａｔｒｉｘと基本量子化パラメータＢａｓｅ ＱＰが検出された場合（すなわち入力画像が非原画像であった場合）、第２のプレエンコーダ２００は、入力画切り替え処理２０３によって予測画像データとして使用するデータを切り換える。すなわち入力画切り替え処理２０３は、バッファ２０９からのローカルデコード画像の代りに、ディレイバッファ２０２からの入力画像データを予測画像データとして画面内予測処理部２０４に入力する。この結果画面内予測処理部２０４は、入力画像データを予測画像データとして使用することになり、バックサーチ部２１０のバックサーチ処理において検出効率を改善するようにする。
第２のプレエンコーダ２００は、バックサーチ処理を実行する場合にはバックサーチ部２１０によりマクロブロック単位の量子化歪が最小となる量子化パラメータＱＰを割り出す。このときバックサーチ部２１０は、見積量子化パラメータＱＰｅに基づく検索範囲及び見積量子化行列ＱｍａｔｒｉｘＥを用いて第１の実施の形態において上述した量子化パラメータ検出処理を実行する。
マクロブロック決定部２１２は、Ｑｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８において入力画像が原画であると判別された場合には、第２のプレエンコーダ２００において補正された基本量子化パラメータＱＭＢを用いて本エンコードを実行するよう、パラメータエンコーダ３００を制御する。
一方マクロブロック決定部２１２は、入力画像が非原画であると判別された場合には、Ｑｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８によって見積もられた見積量子化行列ＱｍａｔｒｉｘＥと、バックサーチ部２１０によって検出された検出量子化パラメータＱＰｂとを用いて本エンコードを実行するよう、パラメータエンコーダ３００を制御する。
そしてパラメータエンコーダ３００は、マクロブロック決定部２１２の制御により、第１のプレエンコーダ１００で求めた画面内（Ｉｎｔｒａ）予測モードを用いて入力画像データに対して本エンコード処理を実行するようになされている。
（４−３）目標符号量の算出処理
（４−３−１）アクティビティへの対応
以下、３パス符号化処理手順ＲＴ１１を示す図１７のフローチャートを参照して、本発明の第１の実施の形態に係る符号化装置による符号化に係る一連の処理を更に詳細に説明する。
先ず、アクティビティ計算部１０１は、入力画像データに基づいて、マクロブロック毎にアクティビティを計算し、その値に応じてマクロブロックをアクティビティグループに分ける（ステップＳ１０１）。
つまり、アクティビティ計算部１０１は、例えばマクロブロックを１〜ＮｕｍＯｆＡｃｔｉｖｉｔｙＧｒｏｕｐのグループに分ける場合を想定すると、マクロブロックを各アクティビティグループへ振り分けるための閾値（ＡｃｔｉｖｉｔｙＴｈｅｓｈｏｌｄ［０］〜ＡｃｔｉｖｉｔｙＴｈｅｓｈｏｌｄ［ＮｕｍＯｆＡｃｔｉｖｉｔｙＧｒｏｕｐ−２］）と、マクロブロックについて算出されたアクティビティ（Ａｃｔｉｖｉｔｙ）値を比較する。そしてアクティビティ計算部１０１は、アクティビティ値が閾値範囲内でなるアクティビティグループを当該マクロブロックのアクティビティグループに決定する。アクティビティを考慮に入れた各マクロブロックの適応量子化パラメータＱＰｔは、次式に従い、ピクチャの平均となる量子化パラメータＱＰ（ＢａｓｅＱＰ）に対してアクティビティグループに依存したオフセットＡｄａｐｔＱｐＤｅｌｔａを加えることで求めることができる。
ＱＰｔ＝ＢａｓｅＱｐ＋ＡｄａｐｔＱｐＤｅｌｔａ［ａｃｔｉｖｉｔｙ＿ｇｒｏｕｐ］ ・・・（１３）
例えば、アクティビティグループＮｕｍＯｆＡｃｔｉｖｉｔｙＧｒｏｕｐを１３とするならば、これに依存したオフセットＡｄａｐｔＱｐＤｅｌｔａの各値は、次のようにすることができる。
ＡｄａｐｔＱｐＤｅｌｔａ［１３］＝｛−６，−５，−４，−３，−２，−１，０，１，２，３，４，５，６｝ ・・・（１４）
すなわちアクティビティ計算部１０１は、「０」〜「１２」の番号でなるアクティビティグループに分類されたマクロブロックの量子化パラメータＱＰ（ＢａｓｅＱＰ）に対し、それぞれ−６、−５、−４、−３、−１、０、１、２、３、４、５、６を加算することにより適応量子化パラメータＱＰｔを算出することができる。
従ってエントロピー計算部１０７は、各量子化パラメータＱＰについての発生符号量を予測する際、（１４）式によって算出される適応量子化パラメータＱＰｔを用いることになる。
（４−３−２）第１のプレエンコード処理
（４−３−２−１）基本的な処理
続いて、第１のプレエンコーダ１００は、画面内予測モード決定部１０２により画面内予測モードを決定し（ステップＳ１０２）、第１のプレエンコード処理に入ることになる（ステップＳ１０３）。
この第１のプレエンコード処理の目的は、ＤＣＴ、量子化後のデータのエントロピーを計
算することにより、発生符号量を粗く見積もることである。算術符号化を用いた画像圧縮
符号化方式では、理論上の圧縮限界であるエントロピーに近い圧縮効率が得られている事
を利用して、エントロピーを用いて符号量の予測を行うものである。
即ち、画面内予測処理部１０３による画面内予測処理、ＤＣＴ部１０４によるＤＣＴを経て、量子化部１０５により該ＤＣＴ後の値を最小の量子化パラメータＱＰで量子化し、レベル計数部１０６により量子化係数の各値の絶対値の発生回数をカウントする。つまり、レベル計数部１０６は、発生し得る量子化係数の絶対値が、０〜ＭａｘＬｅｖｅｌ＿Ｉｎ＿ＭｉｎＱであるとすると、それぞれの量子化係数の絶対値についての発生回数Ｃｏｕｎｔ［０］〜Ｃｏｕｎｔ［ＭａｘＬｅｖｅｌ＿Ｉｎ＿ＭｉｎＱ］求める。
ここで、最小の量子化パラメータＱＰとは、使用の予定されている量子化パラメータＱＰの中で最小のものである。例えば、ビットレートが低い為に小さい量子化パラメータＱＰを使わないことが予め分かっていれば、該部分を除いた部分で考えればよい。
ここでレベル計数部１０６は、使う量子化パラメータＱＰが大きくなれば、ＭａｘＬｅｖｅｌ＿Ｉｎ＿ＭｉｎＱが小さくなるのでカウンタの数を減らすことができるが、該量子化パラメータＱＰより小さい量子化パラメータＱＰを使ったときの符号量は、情報が失われる為に求めることができない。尚レベル計数部１０６は、量子化後の量子化係数の絶対値について発生回数を求めているが、これは、カウンタの数を少なくする為であり、カウンタの数に制限がないのであれば、量子化前の値、つまりＤＣＴ係数の発生回数を求めてもよい。この発生回数は、１ピクチャ全ての部分に対して求める。
続いて、レベル計数部１０６及びエントロピー計算部１０７は、量子化パラメータＱＰ毎の発生符号量の予測値を求める符号量予測処理を行う（ステップＳ１０４）。これは、量子化パラメータＱＰ毎に実行される処理である。
この符号量予測処理（基本）手順ＲＴ１２の詳細は、図１８のフローチャートに示される通りである。即ち、レベル計数部１０６は、量子化係数の各値の絶対値である量子化係数絶対値ｌｅｖｅｌ毎に発生回数をカウントする（ステップＳ１２１）。まずレベル計数部１０６は、量子化係数絶対値ｌｅｖｅｌのカウンタをイニシャライズ（ｌｅｖｅｌ＝０）し（ステップＳ１２２）、量子化係数絶対値ｌｅｖｅｌが発生符号量を求める（すなわち最小の）量子化パラメータＱＰで量子化したときにいくつになるかを求める（ステップＳ１２３）。次いで、レベル計数部１０６は、量子化係数絶対値ｌｅｖｅｌの発生回数を、発生符号量を求める量子化パラメータＱＰでの量子化係数絶対値ｌｅｖｅｌのカウンタに加算し（ステップＳ１２４）、量子化係数絶対値ｌｅｖｅｌのカウンタをインクリメントし（ステップＳ１２５）、全ての量子化係数絶対値ｌｅｖｅｌを処理したか否かを判断する（ステップＳ１２６）。
レベル計数部１０６は、全ての量子化係数絶対値ｌｅｖｅｌを処理していないと判断した場合（ステップＳ１２６をＮｏに分岐）、上記ステップＳ１２３に戻り、上記処理を繰り返し、全ての量子化係数絶対値ｌｅｖｅｌを処理したと判断した場合には（ステップＳ２６をＹｅｓに分岐）、ステップＳ１２７に進む。
つまり、このステップＳ２１〜Ｓ２６では、最小の量子化パラメータＱＰで量子化した場合の各量子化係数絶対値ｌｅｖｅｌの発生回数を求める。
続いて、エントロピー計算部１０７は、量子化係数絶対値ｌｅｖｅｌの発生確率を求め（ステップＳ２７）、先に求めた発生回数からエントロピーを求める（ステップＳ２８）。
いま、量子化係数絶対値ｌｅｖｅｌの発生確率Ｐ［ｉ］は次式で求められる。
Ｐ［ｉ］＝ｃｏｕｎｔ［ｉ］／ｔｏｔａｌ＿ｃｏｕｎｔ ・・・（１５）
エントロピーＥｎｔｒｏｐｙは、この発生確率Ｐ［ｉ］を用いて、エントロピーを算出するための一般式により、次式で求められる。
Ｅｎｔｒｏｐｙ＝−１＊Σｉ（Ｐ［ｉ］＊ｌｏｇ（Ｐ［ｉ］）／ｌｏｇ（２）） ・・・（１６）
エントロピー計算部１０７は、このステップＳ１２７及びＳ１２８の処理を全ての量子化係数絶対値ｌｅｖｅｌについて行ったか否かを判断し（ステップＳ１２９）、全ての量子化係数絶対値ｌｅｖｅｌについて処理するまで繰り返す。そしてエントロピー計算部１０７は、全ての量子化係数絶対値ｌｅｖｅｌについて処理した場合には（ステップＳ１２９をＹｅｓに分岐）、符号量の予測値Ｅｓｔｉｍａｔｅｄ＿Ｂｉｔｓを次式により求める（ステップＳ１３０）。
Ｅｓｔｉｍａｔｅｄ＿Ｂｉｔｓ＝Ｅｎｔｒｏｐｙ＊ｔｏｔａｌ＿ｃｏｕｎｔ＋ｓｉｇｎ＿ｂｉｔｓ ・・・（１７）
ここで、（１７）式で使用される符号ビットｓｉｇｎ＿ｂｉｔｓは非ゼロ係数の発生回数をｎｏｎ＿ｚｅｒｏ＿ｃｏｕｎｔとすると、次式のように表すことができる。
ｓｉｇｎ＿ｂｉｔｓ＝ｔｏｔａｌ＿ｃｏｕｎｔ−ｎｏｎ＿ｚｅｒｏ＿ｃｏｕｎｔ ・・・（１８）
（４−３−２−２）アクティビティへの対応
ここで、アクティビティに対応させるためには、上記の図１８の符号量予測処理（基本）手順ＲＴ１１を、符号量予測処理（アクティビティ対応）手順ＲＴ１３を示す図１９のフローチャートに示される処理に置き換える必要がある。
先ず、レベル計数部１０６は、量子化係数の各値の絶対値の発生回数をカウントする際に、量子化係数絶対値ｌｅｖｅｌ（ｅａｃｈ＿ｌｅｖｅｌ）毎に加えてアクティビティグループ（ｅａｃｈ＿ａｃｔｉｖｉｔｙ＿ｇｒｏｕｐ）毎にカウントする（ステップＳ１４１）。
このカウント値を、Ｃｏｕｎｔ［ｅａｃｈ＿ａｃｔｉｖｉｔｙ＿ｇｒｏｕｐ］［ｅａｃｈ＿ｌｅｖｅｌ］のように表すことができる。
次に、エントロピー計算部１０７は、ピクチャの量子化パラメータＱＰ毎の発生符号量の予測値を求める処理を行う。この処理は量子化パラメータＱＰ毎に行う。まず、エントロピー計算部１０７は、各アクティビティグループの適応量子化パラメータＱＰｔを求める（ステップＳ１４２）。続いてエントロピー計算部１０７は、量子化係数絶対値ｌｅｖｅｌをイニシャライズ（ｌｅｖｅｌ＝０）した後（ステップＳ１４３）、量子化係数絶対値ｌｅｖｅｌが、発生符号量を求める量子化パラメータＱＰで量子化したとき、いくつになるかを求める。（ステップＳ１４４）さらにエントロピー計算部１０７は、量子化係数絶対値ｌｅｖｅｌの発生回数を、求める量子化パラメータＱＰでの量子化係数絶対値ｌｅｖｅｌのカウントに加算し（ステップＳ１４５）、量子化係数絶対値ｌｅｖｅｌをインクリメントする（ステップＳ１４６）。エントロピー計算部１０７は、全ての量子化係数絶対値ｌｅｖｅｌを処理したか否かを判断する（ステップＳ１４７）。エントロピー計算部１０７は、全ての量子化係数絶対値ｌｅｖｅｌを処理していないと判断した場合（ステップＳ１４７をＮｏに分岐）、上記ステップＳ１４４に戻り、上記処理を繰り返す。一方エントロピー計算部１０７は、全ての量子化係数絶対値ｌｅｖｅｌを処理したと判断した場合には（ステップＳ１４７をＹｅｓに分岐）、ステップＳ１４８に進む。
以上のステップでは、各アクティビティグループ毎に、発生符号量を求める量子化パラメータＱＰでの量子化係数の各値の絶対値の発生回数を、最小の量子化パラメータＱＰでの量子化係数の各値の絶対値の発生回数から求めることになる。
ステップＳ１４８において、エントロピー計算部１０７は、全てのアクティビティグループを処理したか否かを判別する。エントロピー計算部１０７は、全てのアクティビティグループを処理していない場合（ステップＳ１４８をＮｏに分岐）、上記ステップＳ１４２に戻り、上記処理を繰り返す。エントロピー計算部１０７は、全てのアクティビティグループについて処理を終了すると（ステップＳ１４８をＹｅｓに分岐）、求めた発生回数からエントロピーを求め、符号量の予測値を求める（ステップＳ１４９〜Ｓ５３）。
このステップＳ１４９〜Ｓ１５３の処理は、図１８のステップＳ１２７〜Ｓ１３１と同様であるので、重複した説明は省略する。
（４−３−２−３）量子化行列への対応
また、更に量子化行列Ｑｍａｔｒｉｘに対応させるためには、上記の図１８の符号量予測処理（基本）手順ＲＴ１１を、符号量予測処理（量子化行列対応）手順ＲＴ１４を示す図２０のフローチャートに示される処理に置き換える必要がある。
まず、量子化係数の各値の絶対値の発生回数をカウントする際に、量子化係数絶対値ｌｅｖｅｌ（ｅａｃｈ＿ｌｅｖｅｌ）毎、アクティビティグループ（ｅａｃｈ＿ａｃｔｉｖｉｔｙ＿ｇｒｏｕｐ）毎に加えて、ＤＣＴ Ｂｌｏｃｋ内の位置（ｅａｃｈ＿ｐｏｓｉｔｉｏｎ）毎にカウントする（ステップＳ１６１）。
このカウント値を、Ｃｏｕｎｔ［ｅａｃｈ＿ａｃｔｉｖｉｔｙ＿ｇｒｏｕｐ］［ｅａｃｈ＿ｐｏｓｉｔｉｏｎ］［ｅａｃｈ＿ｌｅｖｅｌ］のように表すことができる。
次に、量子化パラメータＱＰ毎の発生符号量の予測値を求める処理を行う。この処理は量子化パラメータＱＰ毎の処理である。ここで追加される処理は、最小の量子化パラメータＱＰで量子化した時の値が、発生符号量を求める他の量子化パラメータＱＰでいくつになるかを求める時に、量子化行列Ｑｍａｔｒｉｘの各要素をＤＣＴ Ｂｌｏｃｋ内の位置毎に考慮に入れて計算することである（ステップＳ１６４）。つまり、ＤＣＴ後の係数は、量子化パラメータＱＰと量子化行列Ｑｍａｔｒｉｘの要素をかけたもので量子化されると言う事である。次に、ＤＣＴ Ｂｌｏｃｋ内の位置毎に、発生符号量を求める他の量子化パラメータＱＰでの量子化係数の各値の絶対値の発生回数を、最小の量子化パラメータＱＰで量子化したときの量子化係数絶対値ｌｅｖｅｌの発生回数から求める（ステップＳ１６５）。
これらを全ての量子化係数絶対値ｌｅｖｅｌを処理するまで繰り返し（ステップＳ１６３〜Ｓ１６７）、更にはＤＣＴ Ｂｌｏｃｋ内の全ての位置（ｐｏｓｉｔｉｏｎ）について処理するまで繰り返す（ステップＳ１６３〜Ｓ１６８）。これ以降の処理（ステップＳ１６９〜Ｓ１７４）は、図１８のステップＳ１２８〜Ｓ１３１と同様であるので、重複した説明は省略する。
（４−３−２−４）量子化パラメータの見積
さて、図１７の説明に戻り、続いて量子化パラメータ決定処理に入る。即ち、エントロピー計算部１７は、上記処理で各量子化パラメータＱＰに対する予測符号量が求められたので、その中で、目標符号量に最も近い量子化パラメータＱＰを予測量子化パラメータＱＰｄとして選択することになる（ステップＳ１０５）。
（４−３−２−５）適応的な量子化行列の切替
なお、適応的な量子化行列Ｑｍａｔｒｉｘの切り替え処理を行う場合には、ステップＳ１０５の処理を次のように変更すればよい。即ち、その場合、フラット（Ｆｌａｔ）な量子化行列Ｑｍａｔｒｉｘ（Ｑｍａｔｒｉｘを使わないのと同じ事）を使った時の量子化パラメータＱＰに対する予測符号量を求め、その中で目標符号量に最も近い量子化パラメータＱＰを選択する。
この求めた量子化パラメータＱＰの値から使用する量子化行列Ｑｍａｔｒｉｘを選択する（ステップＳ１０６）。より詳細には、切り替えて使う量子化行列Ｑｍａｔｒｉｘの種類の数をＮｕｍＯｆＱｍａｔｒｉｘＩｄとすると、求めた量子化パラメータＱＰを各量子化行列Ｑｍａｔｒｉｘに対応させるための閾値ＱｍａｔｒｉｘＴｈｅｓｈｏｌｄ［０］〜ＱｍａｔｒｉｘＴｈｅｓｈｏｌｄ［ＮｕｍＯｆＱｍａｔｒｉｘＩｄ−２］と量子化パラメータＱＰとを比較することにより、量子化行列Ｑｍａｔｒｉｘを決定する。そして、使用する量子化行列Ｑｍａｔｒｉｘを使った時の、量子化パラメータＱＰに対する予測符号量を求め、その中で、目標符号量に最も近い量子化パラメータＱＰを選択する（ステップＳ１０７）。これが、第１のプレエンコーダ１００で決定されるピクチャの予測量子化パラメータＱＰｄとなる。
（４−３−３）第２のプレエンコード処理
続いて、第２のプレエンコーダ２００が、第１のプレエンコーダ１００による第１のプレエンコード処理により決定されたピクチャの予測量子化パラメータＱＰｄ、予測量子化行列ＱｍａｔｒｉｘＤ、アクティビティグループＡｃｔｉｖｉｔｙ Ｇｒｏｕｐを用いて、第２のプレエンコードを行う（ステップＳ１０８）。この第２のプレエンコード処理の目的は、第１のプレエンコード処理により大まかに見積もった予測量子化パラメータＱＰｄで実際にエンコードすることにより、予測の誤差を求め、それを補正することである。第２のプレエンコード処理では、エンコード終了後、予測量子化パラメータＱＰｄによる発生符号量を得る。
次に、マクロブロック決定部２１２は、この第２のプレエンコーダ２による第２のプレエンコード処理で得た発生符号量と目標符号量との違いから、予測量子化パラメータＱＰｄを補正する（ステップＳ１０９）。即ち、マクロブロック決定部２１２は、量子化パラメータＱＰが１変わる毎に、発生符号量が所定の変化割合ＤｉｆｆＲａｔｉｏ［％］だけ変わるものと仮定し、予測量子化パラメータＱＰｄを補正する。補正量が小さいので、絵柄（すなわちアクティビティグループ）によらず量子化パラメータＱＰ対発生符号量の変化を一定としても、誤差は問題ないレベルにあるとみなす。
ここで、量子化パラメータ補正処理手順ＲＴ１５を示す図２１のフローチャートを参照して、予測量子化パラメータＱＰｄによる発生符号量が目標符号量より少なく、且つ予測量子化パラメータＱＰｄが最小値ではないときの符号量補正処理を説明する。
尚、発生符号量が目標符号量より多い場合についても、基本的に同じである。
さて、この処理に入ると、マクロブロック決定部２１２は、発生符号量をＰｒｅＧｅｎｂｉｔｓに代入し、現在の予測量子化パラメータＱＰをＰｒｅＱＰに代入し（ステップＳ１８１）、ＰｒｅＱＰより１引いた値をＮｅｘｔＱＰと（ステップＳ１８２）して算出する。なお、マクロブロック決定部２１２は、発生符号量が目標符号量より小さい場合には、ＰｒｅＱＰより１加算した値をＮｅｘｔＱＰとすることになる。
続いてマクロブロック決定部２１２は、ＰｒｅＧｅｎｂｉｔｓ＊（１００＋ＤｉｆｆＲａｔｉｏ）／１００をＰｒｅＱＰから「１」だけ変化したＮｅｘｔＱＰに対応する発生符号量ＮｅｘｔＧｅｎｂｉｔｓとする（ステップＳ１８３）。ここでは、量子化パラメータＱＰが１変化する毎に、発生符号量が変化割合ＤｉｆｆＲａｔｉｏだけ小さくなるものと仮定している。
続いて、マクロブロック決定部２１２は、発生符号量ＮｅｘｔＧｅｎｂｉｔｓが目標符号量ＴａｒｇｅｔＧｅｎｂｉｔよりも大きいか否か（すなわち発生符号量と目標符号量との大小関係が反転したか否か）を判定する（ステップＳ１８４）。ここでマクロブロック決定部２１２は、ＮｅｘｔＧｅｎｂｉｔｓ＞ＴａｒｇｅｔＧｅｎｂｉｔでない（すなわち発生符号量と目標符号量との大小関係が変化していない）場合には、現在のＮｅｘｔＱＰをＰｒｅＱＰに代入し、現在のＮｅｘｔＧｅｎＢｉｔｓをＰｒｅＧｅｎｂｉｔｓに代入する（ステップＳ１８５）。ＮｅｘｔＱＰが最小の量子化パラメータＱＰであるか否かを判定する（ステップＳ１８６）。
ここで、マクロブロック決定部２１２はＮｅｘｔＱＰが最小の量子化パラメータＱＰでない場合にはステップＳ１８２に戻り上記処理を繰り返す。すなわちマクロブロック決定部２１２は、Ｓ１８２において、前回の処理よりも「１」だけ変化したＮｅｘｔＱＰについて、上述した処理を実行する。一方マクロブロック決定部２１２は、ステップＳ１８６においてＮｅｘｔＱＰが最小の量子化パラメータＱＰである場合には、ＮｅｘｔＱＰを基本量子化パラメータＱＰＭＢとし、処理を終了する。一方マクロブロック決定部２１２は、ステップＳ１８４においてＮｅｘｔＧｅｎｂｉｔｓ＞ＴａｒｇｅｔＧｅｎｂｉｔ（すなわち発生符号量と目標符号量との大小関係が反転した）の場合には（ＮｅｘｔＧｅｎｂｉｔｓ−ＴａｒｇｅｔＧｅｎｂｉｔ）＞（ＴａｒｇｅｔＧｅｎｂｉｔ−ＰｒｅＧｅｎＢｉｔｓ）であるか否かを判断する（ステップＳ１８８）。この関係が成立する場合、マクロブロック決定部２１２は、ＰｒｅＱＰによる発生符号量ＰｒｅＧｅｎＢｉｔｓが目標符号量ＴａｒｇｅｔＧｅｎｂｉｔに最も近いことから、ＰｒｅＱＰを基本量子化パラメータＱＰＭＢに決定する。一方マクロブロック決定部２１２は、ステップＳ１８８における関係が成立しない場合、ＮｅｘｔＱＰによる発生符号量ＮｅｘｔＧｅｎｂｉｔｓがＴａｒｇｅｔＧｅｎｂｉｔに最も近いことから、目標符号量ＮｅｘｔＱＰを基本量子化パラメータＱＰＭＢに決定し、処理を終了する。
（４−３−４）本エンコード処理
再び図１７の説明に戻り、パラメータエンコーダ３００により本エンコードを行う（ステップＳ１１０）。この本エンコードでは、第２のプレエンコーダ２００による第２のプレエンコード処理により決定された基本量子化パラメータＱＰＭＢ、第１のプレエンコード処理により決定された予測量子化行列ＱｍａｔｒｉｘＤ、アクティビティグループＡｃｔｉｖｉｔｙ Ｇｒｏｕｐ及び画面内予測モードを使用してエンコードを行う。こうして、画像情報の符号化に係る一連の処理を終了する。
以上説明したように、本発明の第３の実施の形態によれば、１ピクチャに与えられた目標符号量に、画面内フィードバック（Ｆｅｅｄ Ｂａｃｋ）制御を行わずに発生符号量を合わせ込むことが可能になる。これにより、フィードバックパラメータの不適切な初期値による弊害や、不適切な目標符号量配分など、フィードバック制御の問題を取り除くことが可能になる。結果として、目標符合量に発生符号量を一致させ、視覚特性を考慮した符号量配分、つまり量子化パラメータの決定が可能となる。
（４−４）量子化係数による原画判定処理
（４−４−１）原理
次に、量子化係数による原画判定処理の原理について説明する。
ここでは、処理の基本情報として量子化係数各値の絶対値である量子化係数絶対値ｌｅｖｅｌの各発生回数を、アクティビティグループ及びＤＣＴ Ｂｌｏｃｋごとにカウントしたカウント値（Ｃｏｕｎｔ［ｅａｃｈ＿ａｃｔｉｖｉｔｙ＿ｇｒｏｕｐ］［ｅａｃｈ＿ｐｏｓｉｔｉｏｎ］［ｅａｃｈ＿ｌｅｖｅｌ］）の分布データを使用する。
図２２には、原画像を入力した場合のｅａｃｈ＿ａｃｔｉｖｉｔｙ＿ｇｒｏｕｐ＝０、ｅａｃｈ＿ｐｏｓｉｔｉｏｎ＝５のときの分布状態実測値を示し、図２３には、前回に量子化パラメータＱＰ＝２０で符号化した画像を入力した場合のｅａｃｈ＿ａｃｔｉｖｉｔｙ＿ｇｒｏｕｐ＝０、ｅａｃｈ＿ｐｏｓｉｔｉｏｎ＝５のときの分布状態実測値を示す。各横軸は量子化係数絶対値ｌｅｖｅｌの値、縦軸は量子化係数絶対値ｌｅｖｅｌの発生回数のカウント値である。
図から、原画像では量子化係数絶対値ｌｅｖｅｌが大きくなるに従って発生回数が単調減少する。これに対して非原画像では一度量子化によって量子化係数絶対値ｌｅｖｅｌが丸められているため、量子化パラメータＱＰに基づく量子化ステップの整数倍のときに量子化係数絶対値ｌｅｖｅｌの発生回数が大きくなり、当該発生回数に離散的なピークが表われる。
ここで量子化係数絶対値ｌｅｖｅｌは、上述したエントロピー計算部１７による符号量予測処理において、最小の量子化パラメータＱＰを用いて量子化された量子化係数である。すなわち、最小の量子化パラメータＱＰとして非常に小さい値が想定されているため、仮に量子化パラメータＱＰが「０」以外の値であっても、量子化係数絶対値ｌｅｖｅｌは、ＤＣＴ係数をＡＶＣ規格で規定しているスケーリングファクターＭＦによって除算した値に近い値をとることになる。
すなわちＱｍａｔｒｉｘを考慮にいれない場合、上述したピークは、予測量子化パラメータＱＰｄと量子化行列Ｑｍａｔｒｉｘの要素値との乗算値の整数倍近傍に周期的に表われることになる。
特に量子化係数絶対値ｌｅｖｅｌが「０」の次のピーク（以下、これを１番目ピークと呼ぶ）の場合には、符号量予測処理において使用された最小の量子化パラメータＱＰが「０」以外の場合における影響を小さくすることができる。
従って符号化装置１２では、この１番目ピークを検出できたか否かにより、入力画像データが表す画像が一度も符号化されていない原画像又は符号化されたことのある非原画像のいずれであるかを判定するようになされている。
また符号化装置１２では、１番目ピークの検出された量子化パラメータＱＰを、見積量子化パラメータＱＰｅとして見積もる。この見積量子化パラメータＱＰｅは、前回の符号化処理において使用されたピクチャ内の平均の量子化パラメータＱＰに相当するものとなる。さらに符号化装置１２では、量子化係数の行列内の位置ごとに処理を実行することにより、見積量子化行列Ｑｍａｔｒｉｘを検出するようになされている。
（４−４−２）具体的な処理内容
以下、本発明の量子化係数による原画判定処理を更に詳細に説明する。
一般に、Ｈ．２６４ ＡＶＣの符号化方式では、ＩＤＣＴの演算精度が十分でない、Ｉｎｔｒａ予測モードが１００［％］再現されない、等の非線形な歪要因により、量子化による離散状態に広がりが見られるものの、離散状態を検出することは可能である。１画面分のデータは統計的に十分過ぎる情報であるため、本件では演算量を削減する目的で、量子化パラメータＱＰ近傍の分布、即ち量子化後の係数レベルが１であるものの剰余が最小となる、量子化パラメータＱＰと量子化行列Ｑｍａｔｒｉｘを求める。尚、隣接する量子化レベルを示す分布のデータは除外する必要がある為、ＱＰ／２〜３ＱＰ／２の範囲のデータを評価対象とする。
以下、量子化係数による原画判定処理手順ＲＴ１６を示す図２４のフローチャートを参照して、ステップＳ２０１の処理について更に説明する。
まず、符号量予測処理で求めた予測量子化パラメータＱＰｄの近傍±６程度で変化する変数（すなわち検出対象となる量子化パラメータ）をサーチ量子化パラメータＱＰ（ｓｃｈ＿ｑｐ）とすると、当該サーチ量子化パラメータＱＰ（ｓｃｈ＿ｑｐ）にアクティビティによるオフセットを付加した適応量子化パラメータＱＰｔ（ｑｐ）を次式に従って算出することができる。
ｑｐ＝ｓｃｈ＿ｑｐ＋ＡｄａｐｔＱｐＤｅｌｔａ［ａｃｔｉｖｉｔｙ＿ｇｒｏｕｐ］ ・・・（１９）
次いで、量子化パラメータＱＰの量子化レベルを示すピークレベル（ｔ［０］）、ＱＰ／２のレベルを示すボトムレベル１（ｔ［１］）と３ＱＰ／２のレベルを示すボトムレベル２（ｔ［２］）を次式により決定する（ステップＳ２２１）。
ｔ［０］＝（（Ｑ＿Ｍａｔｒｉｘ［ｍｉｄ］［ｐｏｓ］＊２（ｑｐ／６））／１６） ・・・（２０）
ここで、Ｑ＿ｍａｔｒｉｘ［ｍｉｄ］［ｐｏｓ］＊は４ｘ４ＤＣＴブロックのｍｉｄ種類目のＱｍａｔｒｉｘのうち、 ｐｏｓ番目の位置の値を示す。すなわちＱｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、予測量子化パラメータＱＰｄに基づき１番ピークが出現するであろうピークレベル（ｔ［０］）の量子化係数絶対値ｌｅｖｅｌを（２０）式に従って予測する。
すなわちＱｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、サーチ量子化パラメータＱＰ（ｓｃｈ＿ｑｐ）について、適応量子化を行った適応量子化パラメータＱＰｔ及びＱｍａｔｒｉｘの位置（ｐｏｓ）ごとに、検索対象となるサーチＱｍａｔｒｉｘの値が乗算されたものをピークレベル（ｔ［０］）として設定する。言い換えると、Ｑｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、一のサーチ量子化パラメータＱＰ（ｓｃｈ＿ｑｐ）について、適応量子化パラメータＱＰｔ及びＱｍａｔｒｉｘの位置（ｐｏｓ）に応じて異なる値をピークレベル（ｔ［０］）に設定している。
ｔ［１］＝ｔ［０］／２ ・・・（２１）
ｔ［２］＝ｔ［０］＋ｔ［１］ ・・・（２２）
すなわちＱｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、ｔ［０］の１／２をｔ［１］とし、ｔ［０］とｔ［１］とを加算した値をｔ［２］として算出する。
次に、ピークレベル（ｔ［０］）のカウント値のピーク積算（ｐ［ｍｉｄ］［ｑｐ］）、ボトムレベル１（ｔ［１］）のカウント値のボトム積算（ｂ［ｍｉｄ］［ｑｐ］）を処理する（ステップＳ２２２）。
ｐ［ｍｉｄ］［ｑｐ］＋＝Ｃｏｕｎｔ［ａｃｔｉｖｉｔｙ＿ｇｒｏｕｐ］［ｐｏｓ］［ｔ［０］］ ・・・（２３）
すなわちＱｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、各サーチ対象となるサーチＱｍａｔｒｉｘ（ｍｉｄ）及びサーチ量子化パラメータＱＰ（ｓｃｈ＿ｑｐ）ごとに、アクティビティグループ（ａｃｔｉｖｉｔｙ＿ｇｒｏｕｐ）及びＱｍａｔｒｉｘの位置（ｐｏｓ）ごとにカウントされたピークレベル（ｔ［０］）における発生回数のカウント値を積算する。
ｂ［ｍｉｄ］［ｑｐ］＋＝Ｃｏｕｎｔ［ａｃｔｉｖｉｔｙ＿ｇｒｏｕｐ］［ｐｏｓ］［ｔ［１］］ ・・・（２４）
すなわちＱｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、各Ｑｍａｔｒｉｘ及びサーチ量子化パラメータＱＰ（ｓｃｈ＿ｑｐ）ごとに、アクティビティグループ（ａｃｔｉｖｉｔｙ＿ｇｒｏｕｐ）及びＱｍａｔｒｉｘの位置（ｐｏｓ）ごとにカウントされたボトムレベル１（ｔ［１］）における発生回数のカウント値を積算する。
ここでカウント値は、Ｑｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、アクティビティグループ（ａｃｔｉｖｉｔｙ＿ｇｒｏｕｐ）及びＱｍａｔｒｉｘの位置（ｐｏｓ）ごとにカウントされている。
Ｑｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、（２１）式に示したように、ｔ［０］として、アクティビティグループごとに量子化係数絶対値ｌｅｖｅｌに対して２ＱＰ／６（ただしサーチ量子化パラメータＱＰは符号量算出処理の際に量子化に使用された適応量子化パラメータＱＰｔ）を乗算している。すなわちＱｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、サーチ量子化パラメータＱＰ（ｓｃｈ＿ｑｐ）として、適応量子化パラメータＱＰｔに応じた値を設定している。
これによりＱｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、アクティビティグループの異なる量子化係数絶対値ｌｅｖｅｌの発生回数を等価に扱うことが可能となり、各アクティビティグループにおけるピーク同士を重複させることが可能となる。
またＱｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、（２１）式に示したように、ｔ［０］として、Ｑｍａｔｒｉｘの位置（ｐｏｓ）ごとに、量子化係数絶対値ｌｅｖｅｌに対してサーチＱｍａｔｒｉｘ（ｍｉｄ）における各値を乗算している。
これによりＱｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、Ｑｍａｔｒｉｘの位置（ｐｏｓ）の異なる量子化係数絶対値ｌｅｖｅｌの発生回数を等価に扱うことが可能となり、各Ｑｍａｔｒｉｘの位置（ｐｏｓ）におけるピーク同士を重複させることが可能となる。
この結果Ｑｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、適応量子化パラメータＱＰｔの相違や、Ｑｍａｔｒｉｘの位置（ｐｏｓ）の相違を補正して、全てを量子化係数絶対値ｌｅｖｅｌの発生回数として取り扱うことができる。このためＱｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、１番ピークを検出するために十分なサンプル数を得ることができ、ピークの検出精度を向上しうるようになされている。
そして、Ｑｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、次式に従って、サーチ量子化パラメータＱＰ（ｓｃｈ＿ｑｐ）及び量子化行列Ｑｍａｔｒｉｘ（ｍｉｄ）ごとの量子化係数の誤差（ｒｅｓｔ［ｍｉｄ］［ｑｐ］）を積算する（ステップＳ２２３）。
ｒｅｓｔ［ｍｉｄ］［ｑｐ］＋＝ａｂｓ（ｔ［０］−ｌｅｖ）×Ｃｏｕｎｔ［ａｃｔｉｖｉｔｙ＿ｇｒｏｕｐ］［ｐｏｓ］［ｌｅｖ］・・・（２５）
ここで、ｌｅｖはボトムレベルｔ［１］からｔ［２］まで変化する変数であり、ａｂｓは絶対値を表している。
このとき、Ｑｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、ピークレベル（ｔ［０］）及びボトムレベル１（ｔ［１］）と同様に、各アクティビティグループ及び各Ｑｍａｔｒｉｘの位置（ｐｏｓ）ごとの補正を行うことにより、量子化係数絶対値ｌｅｖｅｌの発生回数を等価に扱った上で、誤差（ｒｅｓｔ［ｍｉｄ］［ｑｐ］）を積算する。
すなわちＱｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、各Ｑｍａｔｒｉｘ及びサーチ量子化パラメータＱＰ（ｓｃｈ＿ｑｐ）について、アクティビティグループ（ａｃｔｉｖｉｔｙ＿ｇｒｏｕｐ）及びＱｍａｔｒｉｘの位置（ｐｏｓ）ごとに、変数ｌｅｖにおける発生回数を積算して積算値を算出する。さらにＱｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、当該積算値に対してピークレベル（ｔ［０］）から変数ｌｅｖを減算した減算値の絶対値を乗算することにより、誤差（ｒｅｓｔ［ｍｉｄ］［ｑｐ］）（すなわち剰余の大きさ）を算出する。
言い換えると、Ｑｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、ピークレベル（ｔ［０］）に対する変数ｌｅｖの差異値を積算値に乗算している。このため誤差（ｒｅｓｔ［ｍｉｄ］［ｑｐ］）は、ピークレベル（ｔ［０］）が実際のピークと合致したときには、大きな値でなるピーク部分に対して小さな差異値が乗算されるため、その値が小さくなる。一方、誤差（ｒｅｓｔ［ｍｉｄ］［ｑｐ］）は、ピークレベル（ｔ［０］）が実際のピークと離隔すればするほど、大きな値でなるピーク部分に対して大きな差異値が乗算されることになるため、その値が大きくなる。
このようにピーク積算ｐ［ｍｉｄ］［ｑｐ］、ボトム積算ｂ［ｍｉｄ］［ｑｐ］、誤差ｒｅｓｔ［ｍｉｄ］［ｑｐ］は、全てのａｃｔｉｖｉｔｙ＿ｇｒｏｕｐ、Ｑｍａｔｒｉｘの位置（ｐｏｓ）におけるカウント値を積算することで、ピクチャ内における全てのサンプルの平均分布を表すパラメータをあらわすことができる。
Ｑｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、ボトムレベル間を全て処理したか否かを判定し（ステップＳ２２４）、全て処理するまでステップＳ２２３の処理を繰り返し、全て処理すると全てのＱｍａｔｒｉｘの位置（ｐｏｓ）を処理したか否かを判定する（ステップＳ２２５）。
このステップＳ２２５にて、Ｑｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、全て処理するまでステップＳ２２１〜Ｓ２２５の処理を繰り返し、全て処理すると、Ｑｍａｔｒｉｘの位置（ｐｏｓ）を初期化し（ステップＳ２２６）する。Ｑｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、全てのアクティビティグループを処理したか否かを判定する（ステップＳ２２７）。Ｑｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、ここで全てのアクティビティグループを処理していなければステップＳ２２１に戻り上記処理を繰り返す。一方、Ｑｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、全てのアクティビティグループを処理していれば、全てのサーチ量子化パラメータＱＰ（ｓｃｈ＿ｑｐ）について処理したか否かを判定する（ステップＳ２２８）。
Ｑｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、このステップＳ２２８にて、全てのサーチ量子化パラメータＱＰ（ｓｃｈ＿ｑｐ）について処理していなければ上記ステップＳ２２１に戻り、上記処理を繰り返し、一方、全てのサーチ量子化パラメータＱＰ（ｓｃｈ＿ｑｐ）について処理していれば、全てのサーチＱｍａｔｒｉｘ（ｍｉｄ）について処理したか否かを判定する（ステップ２２９）。Ｑｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、このステップＳ２２９にて、全てのサーチ量子化パラメータＱＰ（ｓｃｈ＿ｑｐ）について処理していなければ上記ステップＳ２２１に戻り、上記処理を繰り返し、一方、全てのサーチ量子化パラメータＱＰ（ｓｃｈ＿ｑｐ）について処理していれば、判定処理を行い（ステップＳ２３０）、こうして一連の処理を終了することになる。
次に、判定処理手順ＲＴ１７を示す図２５のフローチャートを参照して、図２４のステップＳ２３０の判定処理について更に詳細に説明する。
ここでは、ピーク積算ｐ［ｍｉｄ］［ｑｐ］、ボトム積算ｂ［ｍｉｄ］［ｑｐ］、誤差ｒｅｓｔ［ｍｉｄ］［ｑｐ］を用いて前回符号化した場合の量子化行列Ｑｍａｔｒｉｘとピクチャの量子化パラメータＱＰを求める。尚、ステップＳ２３１及びステップＳ２３７は省略することもできる。
先ず、Ｑｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、誤差最小値（ｍｉｎ＿ｒｅｓｔ＿ｎｏｒｍ）をｒｅｓｔ［０］［０］などで初期化する（ステップＳ２３１）。次いで、Ｑｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、ピーク積算ｐ［ｍｉｄ］［ｑｐ］がボトム積算ｂ［ｍｉｄ］［ｑｐ］よりも大きいか否かを判断する（ステップＳ２３２）。ここでＱｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、ピーク積算ｐ［ｍｉｄ］［ｑｐ］がボトム積算ｂ［ｍｉｄ］［ｑｐ］よりも大きくなければ、ピークｔ［０］が実際のピークである可能性がないため、ステップＳ２３６に移行する。一方Ｑｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、ピーク値積算値がボトム値積算値よりも大きければ、ピークｔ［０］が実際のピークである可能性があるため、誤差ｒｅｓｔ［ｍｉｄ］［ｑｐ］をピーク積算ｐ［ｍｉｄ］［ｑｐ］とボトム積算ｂ［ｍｉｄ］［ｑｐ］の差で正規化した正規化誤差ｒｅｓｔ＿ｎｏｒｍを次式に従って求める（ステップＳ２３３）。
ｒｅｓｔ＿ｎｏｒｍ＝ｒｅｓｔ［ｍｉｄ］［ｑｐ］／（ｐ［ｍｉｄ］［ｑｐ］−ｂ［ｍｉｄ］［ｑｐ］）・・・（２６）
これによりＱｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、ピークｔ［０］が実際のピークと一致していれば検出されないボトム積算ｂ［ｍｉｄ］［ｑｐ］をペナルティ因子とした上で、全体的な誤差ｒｅｓｔ［ｍｉｄ］［ｑｐ］の変動をピークの高さで正規化することができる。またＱｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、入力画像データが原画像を表すため単調増加するような場合の正規化誤差ｒｅｓｔ＿ｎｏｒｍを大きくし、誤差最小値として誤検出されることを確実に防止し得る。
続いてＱｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、ステップＳ２３３によって算出された正規化誤差ｒｅｓｔ＿ｎｏｒｍが誤差最小値より小さいか否かを判定する（ステップＳ２３４）。Ｑｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、正規化誤差ｒｅｓｔ＿ｎｏｒｍが誤差最小値より小さければ誤差最小値を更新し（ステップＳ２３５）、ステップＳ２３６に進む。すなわちステップＳ２３５は、離散的な分布状態を検出した場合のみ実行される処理であってｍｉｎ＿ｒｅｓｔ＿ｎｏｒｍ＝ｒｅｓｔ＿ｎｏｒｍとする。
また、全ての量子化行列Ｑｍａｔｒｉｘ及びサーチ量子化パラメータＱＰ（ｓｃｈ＿ｑｐ）のうちで、正規化誤差ｒｅｓｔ＿ｎｏｒｍが最小となる場合のサーチ量子化パラメータＱＰ（ｓｃｈ＿ｑｐ）とサーチＱｍａｔｒｉｘ（ｍｉｄ）が前回の符号化で使用されたピクチャの量子化パラメータＱＰと量子化行列Ｑｍａｔｒｉｘを示す。この処理が一度も呼ばれない場合、量子化の離散状態が検出されなかった場合で、前回１度も符号化していない原画像と見なすことができる。
続いてＱｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、全てのサーチ量子化パラメータＱＰ（ｓｃｈ＿ｑｐ）を処理したか否かを判定する（ステップＳ２３６）。Ｑｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、全てのサーチ量子化パラメータＱＰ（ｓｃｈ＿ｑｐ）を処理していなければステップＳ２３２に戻り、上記処理を繰り返す。一方、Ｑｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、全てのサーチ量子化パラメータＱＰ（ｓｃｈ＿ｑｐ）を処理していれば、サーチ量子化パラメータＱＰ（ｓｃｈ＿ｑｐ）の範囲を初期化し（ステップＳ２３７）、全ての量子化行列Ｑｍａｔｒｉｘの候補を処理したか否かを判断する（ステップＳ２３８）。ここでＱｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８は、全ての候補を処理していなければステップＳ２３２に戻り、上記処理を繰り返し、一方で全ての候補を処理していれば、一例の処理を終了する。
次に、入力画像切替処理手順ＲＴ１８を示す図２６のフローチャートを参照して、入力画像切り替え処理について詳細に説明する。符号化装置１２では、前述した図２５の処理により、入力信号が原画像であるか、前回符号化した画像であるかを検出できるため、この条件に基づいて、入力信号を切り替える。すなわち符号化装置１２では、量子化歪の目立ちやすい原画像に対しては入力画像データに対してローパスフィルタ処理を施し、目立ちにくい原画像の場合にはそのまま入力画像データを入力する。一方符号化装置１２は、入力画像データが符号化したことのある非原画である場合は、入力画像データを用いてバックサーチ処理をすることで効率を改善するものである。
すなわち、符号量制御部１０９は、Ｑｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８から見積量子化行列ＱｍａｔｒｉｘＥ及び見積量子化パラメータＱｅが供給されたか否かにより前回符号化時の量子化行列Ｑｍａｔｒｉｘとピクチャの量子化パラメータＱＰが見つかったか否かを判別する（ステップＳ２４１）。符号量制御部１０９は、それらが見つかった場合には、バックサーチ部２１０を「ＯＮ」に切り替え（ステップＳ２４２）、入力画切り替え処理部２０３によってＤＣＴ部２０５に対して入力画像データを出力する（ステップＳ２４３）。この結果、バックサーチ処理では、予測画像として入力画像が使用されることになる。
一方、符号は制御部１０９は、ステップＳ２４１で、前回符号化時の量子化行列Ｑｍａｔｒｉｘとピクチャの量子化パラメータＱＰが見つからなかった場合には、バックサーチ部２１０を「ＯＦＦ」に切り替え（ステップＳ２４４）、符号量予測処理で求めた予測量子化パラメータＱＰｄが所定の歪閾値よりも大きいか否かを判断する（ステップＳ２４５）。ここで、符号量制御部１０９は、符号量予測処理で求めた予測量子化パラメータＱＰが歪閾値よりも大きい場合、入力画切り替え処理部２０３によってローパスフィルタ処理部２０１からの信号をＤＣＴ部２０５に対して出力し、大きくない場合には入力画切り替え処理部２０３によってディレイバッファ２０２からの信号を出力し（ステップＳ２４７）、この処理を終了する。
以上説明したように、本発明の量子化係数による原画判定処理によれば、ＤＣＴ後の離散的な分布状態から、高い精度で、前回符号化した信号か否かを見極めることで、１ｓｔ時（原画像）に対してのみに使用したいプレフィルタ処理（ローパスフィルタ処理）を切り替える判定することができるため、１ｓｔ画像の主観画質を改善しつつ、ダビング特性を維持することができる。また、前回符号化した信号である場合は、予測画像に入力画像を使用することで、バックサーチの検出効率を改善する。分布状態から割り出したピクチャの平均量子化パラメータＱＰと量子化行列Ｑｍａｔｒｉｘを割り出し、バックサーチ部の演算を削減することが出来る。
（４−５）３パス符号化処理手順
次に、第３の実施の形態における３パス符号化処理手順ＲＴ１１を、図１７のフローチャートを用いて説明する。
符号化装置１２は、入力画像データが供給されると、ステップＳ１０１に移り、アクティビティグループを算出し、次のステップＳ１０２へ移る。
ステップＳ１０２において、符号化装置１２は、画面内予測モードを決定すると、次のステップＳ１０３へ移る。なおステップＳ１０１とＳ１０２は、同時並行的に実行されても良い。
ステップＳ１０３において、符号化装置１２は、ステップＳ１０２において決定された画面内予測モードを用いて画面内予測を行うと共に、ＤＣＴ処理、量子化処理を実行すると、次のステップＳ１０３へ移る。
ステップＳ１０３において、符号化装置１２は、符号量予測処理手順ＲＴ１４へ移り、全ての量子化パラメータＱＰによる発生符号量を予測すると、次のステップＳ２０１へ移る。
ステップＳ２０１において、符号化装置１２は、量子化係数による原画判定処理手順ＲＴ１６へ移り、符号量予測処理で用いた量子化係数をそのまま使用して原画判定を実行すると、次のステップＳ２０２へ移る。このとき符号化装置１２は、入力画像データが非原画像であった場合には、見積量子化行列ＱｍａｔｒｉｘＥ及び見積量子化パラメータＱＰｅを検出することになる。
ステップＳ２０２において、符号化装置１２は、入力画像データが原画像であるか否かを判別し、肯定結果が得られた場合には、次のステップＳ１０５へ移る。
ステップＳ１０５において、符号化装置１２は、Ｆｌａｔな量子化行列Ｑｍａｔｒｉｘを用いて目標符号量に最も近い量子化パラメータＱＰを選択すると、次のステップＳ１０６へ移る。ステップＳ１０６において、符号化装置１２は、当該量子化パラメータＱＰに基づいて予測量子化行列ＱｍａｔｒｉｘＤを決定し、次のステップＳ１０７へ移る。
ステップＳ１０７において、符号化装置１２は、予測量子化行列ＱｍａｔｒｉｘＤを用いたときの発生符号量が目標符号量に最も近くなる量子化パラメータＱＰを予測量子化パラメータＱＰｄとして決定すると、次のステップＳ１０８へ移る。
ステップＳ１０８において、符号化装置１２は、予測量子化パラメータＱＰｄ及び予測量子化行列ＱｍａｔｒｉｘＤを用いて第２のプレエンコード処理を実行すると、次のステップＳ１０９へ移る。
ステップＳ１０９において、符号化装置１２は、ステップＳ１０９における発生符号量から予測量子化パラメータＱＰｄを補正することにより、基本量子化パラメータＱＭＢを算出すると、次のステップＳ１１０へ移る。
このときステップＳ１１０において、符号化装置１２は、予測量子化行列ＱｍａｔｒｉｘＤ及び基本量子化パラメータＱＭＢを用いて本エンコードを実行すると、終了ステップに移って処理を終了する。
これに対してステップＳ２０２において否定結果が得られた場合、このことは入力画像データが既に符号化されたことのある非原画像であるため、符号化装置１２は、次のステップＳ２０４へ移る。
ステップＳ２０４において、符号化装置１２は、ステップＳ２０１において見積もられた見積量子化行列ＱｍａｔｒｉｘＥを用い、見積量子化パラメータＱＰｅに基づく検索範囲によりバックサーチ処理を実行すると、次のステップＳ１１０へ移る。このとき符号化装置１２は、検出量子化パラメータＱＰｂを検出することになる。
ステップＳ１１０において、符号化装置１２は、見積量子化行列ＱｍａｔｒｉｘＥ及び検出量子化パラメータＱＰｂを用いて本エンコードを実行すると、終了ステップへ移って処理を終了する。
（４−６）動作及び効果
以上の構成において、符号化装置１２は、画像データとしての差分画像データに対し直交変換を実行してＤＣＴ係数を生成する。符号化装置１２は当該ＤＣＴ係数に基づく量子化係数を構成する係数要素（量子化係数絶対値ｌｅｖｅｌ）の値ごとの発生回数をカウントし、量子化係数絶対値ｌｅｖｅｌの分散状態に基づいて、ピクチャごとの量子化パラメータを見積もる。
これにより符号化装置１２は、量子化係数絶対値ｌｅｖｅｌの発生回数の分散状態に基づいて入力画像データが原画であるか非原画であるかを判別できる。すなわち符号化装置１２は、バックサーチ処理のように量子化パラメータを変更して何度も処理を行わなくても、一度算出された量子化係数絶対値ｌｅｖｅｌの発生回数を用いて、簡易な処理で原画／非原画を判別することができる。
また符号化装置１２は、バックサーチ処理の前段で原画／非原画を判別することができるため、原画であった場合には処理の複雑なバックサーチ処理を実行しなくても済む。これにより符号化装置１２は、バックサーチ処理の後に原画／非原画を判別する方法と比較して、原画であった場合の符号化処理を高速化し得る。
さらに符号化装置１２は、ＤＣＴ係数をスケーリング値としての最小の量子化パラメータＱＰで除算した量子化係数を用いる。これにより符号化装置１２は、ＤＣＴ係数をスケーリングすることができるため、量子化係数をカウントするためのカウンタの数を減少させることができる。
また符号化装置１２は、量子化係数の要素の絶対値ごとの発生回数をカウントすることにより、カウンタの数をさらに減少させることができる。
さらに符号化装置１２は、量子化係数絶対値ｌｅｖｅｌが最小値（ただし、ゼロを除く）となる１番目ピークに基づいて、量子化パラメータＱＰを検出する。これにより符号化装置１２は、１番目ピークについてのみ処理を実行すれば良いため、処理負荷を軽減できる。
また符号化装置１２は、量子化係数の発生回数に基づいたエントロピー計算により、各量子化パラメータにおける発生符号量を予測し、予測された発生符号量が目標符号量に近くなる量子化パラメータＱＰを、予測量子化パラメータＱＰｄとして予測する。符号化装置１２は、予測量子化パラメータＱＰｄを用いてＤＣＴ係数を量子化し、結果として得られる符号化ストリームの発生符号量に基づいて、予測量子化パラメータＱＰｄを補正する。
これにより符号化装置１２は、発生符号量の予測のためにカウントされた量子化係数の発生回数をそのまま原画／非原画の判定に用いることができる。
さらに符号化装置１２は、マクロブロックでなる入力画像データを、当該入力画像データの複雑さを表すアクティビティに応じてアクティビティグループ分類する。そして符号化装置１２は、アクティビティグループごとにカウントされた量子化係数絶対値ｌｅｖｅｌの発生回数を、アクティビティを用いて補正した上で積算することにより、量子化係数絶対値ｌｅｖｅｌの値ごとの発生回数として生成する。
これにより符号化装置１２は、発生符号量の算出のためにアクティビティグループごとにカウントされたカウント値をそのまま用いて量子化係数絶対値ｌｅｖｅｌの値ごとの発生回数を算出することができ、カウント値を再度カウントし直さなくても済む。
また符号化装置１２は、量子化係数絶対値ｌｅｖｅｌの行列における位置ごとにカウントされた量子化係数絶対値ｌｅｖｅｌの発生回数を、使用されたと想定したサーチ量子化係数における同位置の値を用いて補正した上で積算することにより、量子化係数絶対値ｌｅｖｅｌの値ごとの発生回数として生成する。
これにより符号化装置１２は、量子化行列Ｑｍａｔｒｉｘの予測のために行列の位置ごとにカウントされたカウント値をそのまま用いて量子化係数絶対値ｌｅｖｅｌの値ごとの発生回数を算出することができ、カウント値を再度カウントし直さなくても済む。
さらに符号化装置１２は量子化係数絶対値ｌｅｖｅｌに対して基準要素値であるピークレベル（ｔ［０］）を設定し、当該ピークレベル（ｔ［０］）と離隔する離隔値（ｔ［０］−ｌｅｖ）と量子化係数絶対値ｌｅｖｅｌの発生回数とを乗算した値を積算した積算値を、当該ピークレベル（ｔ［０］）に対応する誤差ｒｅｓｔ［ｍｉｄ］［ｑｐ］として算出する。
このとき符号化装置１２は、ピークレベル（ｔ［０］）ごとの積算値のうち、最小の値をとる誤差ｒｅｓｔ［ｍｉｄ］［ｑｐ］に対応するピークレベル（ｔ［０］）に基づいて、前回の符号化に使用された量子化パラメータＱＰ近傍の見積量子化パラメータＱＰｅを決定する。
これにより符号化装置１２は、誤差ｒｅｓｔ［ｍｉｄ］［ｑｐ］が最小となる誤差最小値（ｍｉｎ＿ｒｅｓｔ＿ｎｏｒｍ）を１番目ピークとして検出することができ、当該１番目ピークの量子化係数絶対値ｌｅｖｅｌから、ピクチャの平均となる見積量子化パラメータＱＰｅを検出することができる。
また符号化装置１２は、量子化係数絶対値ｌｅｖｅｌに対して検出対象となるサーチ量子化パラメータＱＰ（ｓｃｈ＿ｑｐ）に基づくピークレベル（ｔ［０］）を設定し、ピークレベル（ｔ［０］）とボトムレベル（ｔ［１］）との比較により当該ピークレベル（ｔ［０］）が極大値であると判別された場合に、当該サーチ量子化パラメータＱＰ（ｓｃｈ＿ｑｐ）を見積量子化パラメータＱＰｅとして決定する。
これにより符号化装置１２は、ピークのみを確実に検出することができ、見積量子化パラメータＱＰｅを適切に決定することができる。
さらに見積量子化パラメータＱＰｅ及び検出対象となる量子化行列であるサーチＱｍａｔｒｉｘに基づくピークレベル（ｔ［０］）を設定し、当該ピークレベル（ｔ［０］）が極大値であると判別された場合に、当該サーチＱｍａｔｒｉｘを見積量子化行列サーチＱｍａｔｒｉｘＥとして決定する。
これにより符号化装置１２は、量子化係数から、量子化パラメータＱＰに加えて見積量子化行列サーチＱｍａｔｒｉｘＥを検出することができる。
以上の構成によれば、符号化装置１２は、一旦符号化された画像データではＤＣＴ係数の発生回数が離散的になることを利用し、当該ＤＣＴ係数の要素値の発生回数に基づいて前回符号化された量子化パラメータＱＰを見積量子化パラメータＱＰｅとして見積もるようにした。
これにより符号化装置１２は、バックサーチ処理の際、見積量子化パラメータＱＰｅに基づいて検索範囲を設定することができるため、バックサーチ処理の対象となる量子化パラメータＱＰの数を減少させることができ、バックサーチ処理の処理負荷を軽減することができる。
また符号化装置１２は、見積量子化パラメータＱＰｅの検出有無に応じて、入力画像データが原画であるか非原画であるかを判別するようにした。これにより符号化装置１２は、バックサーチ処理の前段で原画／非原画を判別することができるため、原画である場合に処理負荷の大きいバックサーチ処理を実行しなくて済むと共に、原画に対して発生符号量の予測により算出された適切な基本量子化パラメータＱＰＭＢを用いることができる。
（４−７）他の実施の形態
なお上述した第３の実施の形態においては、符号化装置１２がエントロピー計算を用いた符号量予測処理及び量子化係数を用いた原画判定処理を実行するようにした場合について述べた。本発明はこれに限らず、例えば符号化装置１２がエントロピー計算を用いた符号量予測処理のみを実行するようにしても良い。
この場合、符号化装置１３は、図２７に示されるように、第１のプレエンコードを行う第１のプレエンコーダ１００、第２のプレエンコードを行う第２のプレエンコーダ２００、本エンコードを行うパラメータエンコーダ３００、符号量制御部１０９、ディレイバッファ２０１、３０１を有する。第１のプレエンコーダ１００は、画面内予測モード決定部１０２、画面内予測処理部１０３、ＤＣＴ部１０４、量子化部１０５、エントロピー計算部１０７、アクティビティ計算部１０１からなる。第２のプレエンコーダ２００は、画面内予測処理部２０３、ＤＣＴ部２０４、量子化部２０６、符号長計算部２１１、バッファ２０９、ＩＤＣＴ（Ｉｎｖｅｒｓｅ ＤＣＴ）部２０８、逆量子化部２０７からなる。パラメータエンコーダ３００は、画面内予測処理部３０２、ＤＣＴ部３０３、量子化部３０４、エントロピー符号化部３０８、バッファ３０７、ＩＤＣＴ部３０６、逆量子化部３０５からなる。
このような構成において、入力画像データは、最初に第１のプレエンコーダ１００の画面内予測モード決定部１０２に入力される。画面内予測モード決定部１０２は、この入力画像データに基づいて画面内予測モードを決定する。ここで決定された画面内予測モードは、第２のプレエンコーダ２００、パラメータエンコーダ３００にも送出され、第２のプレエンコーダ２００による第２のプレエンコード処理、パラメータエンコーダ３００による本エンコード処理でも使用される。
次に画面内予測処理部１０３では、予測画像データと入力画像データとの差分画像が計算される。ここでは、処理を簡単にするために入力画像データから予測画像データを生成する。ＤＣＴ部１０４では整数精度ＤＣＴがなされＤＣＴ係数が量子化部１０５に送られる。量子化部１０５では、ＤＣＴ係数について量子化を行い、その出力をエントロピー計算部１０７に送出する。エントロピー計算部１０７は、エントロピーを計算し発生符号量を予測する。符号量予測の結果、次のステップで使用するピクチャの予測量子化パラメータＱＰｄと予測量子化行列ＱｍａｔｒｉｘＤが求められ、符号量制御部１０９に入力される。ここで、補足すると、量子化パラメータＱＰとは、ＡＶＣにおいて量子化ステップを指定するための値であり、量子化パラメータＱＰが大きくなると量子化ステップも大きな値となる。
画面内予測モードの決定と同時に、第１のプレエンコーダ１００では、アクティビティ計算部１０１がアクティビティを計算し、該アクティビティによりマクロブロックＭＢをグループ分けする。各マクロブロックＭＢに対して決定されたアクティビティグループ（Ａｃｔｉｖｉｔｙ Ｇｒｏｕｐ）番号はエントロピー計算部１０７と符号量制御部１０９に入力される。
符号量制御部１０９は、第１のプレエンコーダ１００の第１のプレエンコード処理により求められたピクチャの平均となる予測量子化パラメータＱＰｄ、予測量子化行列ＱｍａｔｒｉｘＤ、各マクロブロックのＡｃｔｉｖｉｔｙ Ｇｒｏｕｐから、量子化の情報（量子化行列Ｑｍａｔｒｉｘ、各ＭＢの量子化パラメータＱＰ）を第２のプレエンコーダ２００に送り、第２のプレエンコード処理を行う。
即ち、ディレイバッファ２０１を介して遅延処理の後に入力画像データが入力され、画面内予測処理部２０３では予測画像データと入力画像データとの差分が計算され、ＤＣＴ部２０４によるＤＣＴ、量子化部２０６による量子化を経て、符号長計算２１１において逆量子化され係数データが再生され、ＩＤＣＴ部２０８により該係数データがＩＤＣＴ変換され、入力画像に係る画像データが再現され、バッファ２０９に保存されることになる。
この第２のプレエンコーダ２００による第２のプレエンコード処理の終了後、発生符号量を得る。符号量制御部１０９は、得られた発生符号量から、ピクチャの予測量子化パラメータＱＰｄを補正して基本量子化パラメータＱＰＭＢを算出することになる。
パラメータエンコーダ３００は、第２のプレエンコーダ２００による第２のプレエンコード処理により決定されたピクチャの基本量子化パラメータＱＰＭＢ、第１のプレエンコード処理により決定された予測量子化行列ＱｍａｔｒｉｘＤ、アクティビティグループＡｃｔｉｖｉｔｙ Ｇｒｏｕｐを使用して本エンコードを行うことになる。
即ち、ディレイバッファ３０１を介して遅延処理された入力画像データを受けると、画面内予測処理部３０２では第１のプレエンコード時に決定された予測モードで、予測画像と入力画像との差分画像が計算され、ＤＣＴ部３０３によるＤＣＴ部３０３、量子化部３０４による量子化を経てエントロピー符号化部３０８によりエントロピー符号化がなされ、出力ストリームが出力される。尚、量子化部３０４の出力は、逆量子化部３０５において逆量子化され、係数データが再生され、ＩＤＣＴ部３０６により該係数データがＩＤＣＴ変換され、入力画像に係る画像データが再現され、バッファ３０７に保存されることになる。
図２８に、符号化装置１３によって実行される３パス符号化処理手順ＲＴ１９を示している。各ステップにおける処理は、図１７とほぼ同様なため、説明を省略する。
さらに上述した第３の実施の形態においては、アクティビティに対応して符号量予測処理を実行するようにした場合について述べたが、本発明はこれに限らず、必ずしもアクティビティに対応する必要はない。また量子化行列Ｑｍａｔｒｉｘについても同様である。また適応量子化の指標としてアクティビティを用いる必要はなく、他の指標を用いて適応量子化を行っても良い。
また上述した第３の実施の形態においては、バックサーチ処理の際、見積量子化行列Ｑｍａｔｒｉｘを用いて量子化パラメータＱＰのみを検出する場合について述べた。本発明はこれに限らず、バックサーチ処理により量子化行列Ｑｍａｔｒｉｘを検出するようにしても良い。この場合、例えば見積量子化行列ＱｍａｔｒｉｘＥに基づいて量子化行列Ｑｍａｔｒｉｘの検索数を限定して演算を削減することができる。
さらに上述した第３の実施の形態においては、ピクチャごとに見積量子化パラメータＱＰｅ及び見積量子化行列ＱｍａｔｒｉｘＥを見積もるようにした場合について述べた。本発明はこれに限らず、検出する単位に制限はない。本発明は、例えば量子化行列Ｑｍａｔｒｉｘがスライス毎に設定されている場合には、スライスごとに処理しても良い。また本発明は、予測量子化パラメータＱＰｄ、予測量子化行列ＱｍａｔｒｉｘＤ及び基本量子化パラメータＱＰＭＢを予測するときについても同様であり、予測する単位に制限はない。
さらに上述した第３の実施の形態においては、ピクチャごとに発生符号量を予測するようにした場合について述べた。本発明はこれに限らず、発生符号量の予測する単位について、特に制限はなく、例えばスライス単位やＧＯＰ単位ごとに予測することが可能である。
さらに上述した第３の実施の形態においては、符号化装置１３が符号量予測処理と量子化係数による原画判定処理の双方を実行するようにした場合について述べた。本発明はこれに限らず、量子化係数による原画判定処理のみを実行するようにしても良い。この場合、符号化装置１３は、３パスによる符号化処理手順ＲＴ１１（図１７）におけるステップＳ２０１〜Ｓ２０４を順次実行する。このとき符号化装置は、適応量子化を実行しないようにし、量子化係数の位置にのみ応じて量子化係数の発生回数を単純にカウントしても良い。また符号化装置は、量子化行列Ｑｍａｔｒｉｘがフラットな場合には、量子化係数を単純にカウントしても良い。
さらに上述した第３の実施の形態においては、ＤＣＴ係数を使用が想定される最小の量子化パラメータＱＰによって除算するようにした場合について述べた。本発明はこれに限らず、ＤＣＴ係数における係数要素の値の発生回数をそのままカウントしても良い。また、符号量予測処理において「０」以外の量子化パラメータＱＰを用いた場合には、「０」で除算したときの値になるよう量子化係数を補正しても良い。
さらに上述した第３の実施の形態においては、判定処理手順ＲＴ１７に従って量子化係数絶対値レベルＬｅｖｅｌのカウント値から１番目ピークを検出するようにした場合について述べた。本発明はこれに限らず、その他種々の方法により１番目ピークを検出しても良い。また必ずしも１番目ピークを検出する必要はなく、２番目以降のピークを検出したり、複数のピークを検出、または全体的な波形により分散状態を算出しても良い。
さらに上述した第３の実施の形態においては、アクティビティグループ及び量子化係数における位置ごとにカウントされた発生回数を補正して積算するようにした場合について述べた。本発明はこれに限らず、例えばサンプル数が十分に確保できる場合には、アクティビティグループ及び量子化係数における位置ごとに量子化パラメータＱＰを検出しても良い。
さらに上述した第３の実施の形態においては、原画判定処理として、原画／非原画の判定と見積量子化パラメータＱＰ及び見積量子化行列Ｑｍａｔｒｉｘの見積もりの両方を実行するようにした場合について述べた。本発明はこれに限らず、一方のみを実行するようにしても良い。
さらに上述した第３の実施の形態においては、ＡＶＣ規格に準拠して量子化係数による原画判定処理を実行するようにした場合について述べた。本発明はこれに限らず、例えばＭＰＥＧ−２等、予め定められた複数の量子化パラメータＱＰ等の量子化指標に基づく複数の量子化ステップにより量子化を実行する符号化方式に適用することができる。
さらに上述した第３の実施の形態においては、直交変換部としてのＤＣＴ部１０４と、除算因子算出部、総和算出部及び量子化因子検出部としてのバックサーチ部２１０とによって画像処理装置としての符号化装置１０を構成するようにした場合について述べた。本発明はこれに限らず、その他種々の構成でなる直交変換部と、除算因子算出部と、総和算出部と、量子化因子検出部とによって本発明の画像処理装置を構成しても良い。
さらに上述した第３の実施の形態においては、直交変換部としてのＤＣＴ部１０４と、要素カウント部としてのレベル計数部１０６と、原画判定部としてのＱｍａｔｒｉｘ／Ｂａｓｅ ＱＰ検出部１０８とによって画像処理装置としての符号化装置１２を構成するようにした場合について述べた。本発明はこれに限らず、その他種々の構成による直交変換部と、要素カウント部と、原画判定部とによって本発明の画像処理装置を構成するようにしても良い。
（５）第４の実施の形態
次に、第４の実施の形態について説明する。第４の実施の形態においては、演算丸めを抑制するために、量子化パラメータＱＰに応じて量子化行列Ｑｍａｔｒｉｘにおける各値（以下、これを要素と呼ぶ）に所定の選択ルールを設ける点が、上述した第２の実施の形態と異なっている。
（５−１）選択ルール
ＭＰＥＧやＡＶＣ規格において、ダビング特性を良くするために補償回路がしばしば導入される。ダビング補償回路は符号化で使われるパラメータ（量子化パラメータＱＰや量子化行列Ｑｍａｔｒｉｘなど）の再現性を良くして、繰り返し量子化による歪が乗るのを避けることもなされているが、それだけではダビングを繰り返した場合にＳＮＲが収束しないことがある。また、補償回路により全体的なＳＮＲの低下は抑制される一方、特定のマクロブロックに対して演算誤差が蓄積した場合には、そのマクロブロックが浮き出て、視覚的に不自然な映像になることがある。
一方、ＡＶＣ Ｉｎｔｒａではダビング（符号化、復号を繰り返し行うこと）時に、ＳＮＲ低下を抑制するために符号化で使われるパラメータを再利用するという手法がしばしば採用される。しかし、実際には前回の符号化で使われたものと完全に同じ符号化パラメータを使って再度符号化しても、演算丸めでＳＮＲの低下が起こることがある。
そこで、この第４の実施の形態に係る符号化装置、方法は、符号化の過程で演算丸
めが起こる箇所の一つである量子化行列Ｑｍａｔｒｉｘを用いた演算部において、予め丸めの影響が出ない、または影響が出にくいような値を提案するものである。
具体的には、ダビング特性の向上のために、以下の手段を採用する。
・量子化行列Ｑｍａｔｒｉｘの要素として、１６の倍数を使う。
・量子化パラメータＱＰが６以上の場合、量子化行列Ｑｍａｔｒｉｘの要素として、８の倍数を使う。
・量子化パラメータＱＰが１２以上の場合、量子化行列Ｑｍａｔｒｉｘの要素として、４の倍数を使う。
・量子化行列Ｑｍａｔｒｉｘの直流成分（ＤＣ）に１６を使う。
以下、第４の実施の形態について詳述する。
ＡＶＣ Ｉｎｔｒａでは、符号化の際にＤＣＴ係数Ｗと量子化パラメータＱＰを用いて、次式により量子化レベルＺが計算される（量子化）。
Ｚ＝｛（ＭＦ＊１６／Ｑｍａｔｒｉｘ）＊Ｗ＋ｆ｝＞＞（１５＋ＱＰ／６） ・・・（２７）
ただし、 ＭＦ：ＡＶＣの規格で定められている値から算出されるスケーリングファクタ
ｆ：切り上げ、切捨て位置を決める丸めファクタ
また、復号の際には量子化レベルＺに量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰが掛けられてＤＣＴ係数Ｗを６ｂｉｔ左シフトしたものが復号される（逆量子化）。
（Ｗ＜＜６）＝（Ｚ＊Ｖ＊Ｑｍａｔｒｉｘ＊２ｆｌｏｏｒ（ＱＰ／６））＞＞４ ・・・（２８）
ただし、Ｖ：ＡＶＣの規格で定められている復号スケーリングファクタ
この量子化、逆量子化の式では共に１６を量子化行列Ｑｍａｔｒｉｘで除算する、または量子化行列Ｑｍａｔｒｉｘを１６で除算するという計算が含まれており、ダビング時に符号化パラメータを完全に再利用しても除算丸めが起こる。この演算において除算丸めを完全になくすためには、数式上量子化行列Ｑｍａｔｒｉｘの各要素が１６でなくてはならないが、全ての要素を１６とした場合にはダビング特性は良くなるものの、周波数に応じて量子化の強さを変えるという本来の量子化行列Ｑｍａｔｒｉｘ導入の意味がなく、現実的ではない。
そこで、周波数に応じて量子化の強さを変えるという量子化行列Ｑｍａｔｒｉｘの利点を考慮した上で、上記の特性を最大限に活かすために以下の選定ルールをとる。
（１）量子化行列Ｑｍａｔｒｉｘの要素として、１６の倍数を使う。
量子化で１６のｎ倍の値を量子化行列Ｑｍａｔｒｉｘの要素として採用した場合、ＭＦがｎの倍数であれば除算丸めは起こらない。従って、除算丸めが起こる確率が小さくなる。また、逆量子化では１６の倍数を１６で除算することになるので、除算丸めは起こらない。
（２）量子化パラメータＱＰが６以上の場合、量子化行列Ｑｍａｔｒｉｘの要素として、８の倍数を使う。 上記のとおり、除算丸めをなくすためには量子化行列Ｑｍａｔｒｉｘの要素を１６とすることが必要であるが、量子化行列Ｑｍａｔｒｉｘの要素が８でも量子化では除算丸めが発生せず、逆量子化においてもＱＰが６以上の場合には、２ｆｌｏｏｒ（ＱＰ／６）が２の倍数となるため、１６で除算される積が１６の倍数となり、除算丸めは発生しない。
（３）量子化パラメータＱＰが１２以上の場合、量子化行列Ｑｍａｔｒｉｘの要素として、４の倍数を使う。 これは（２）と同様の考え方で、ＱＰが１２以上の場合には、２ｆｌｏｏｒ（ＱＰ／６）が４の倍数となるため、１６で除算される積が１６の倍数となり、除算丸めは発生しない。
（４）量子化行列Ｑｍａｔｒｉｘの直流成分（ＤＣ）に１６を使う。
入力画像の周波数空間におけるそれぞれの要素の視覚的特性を考えると、ダビング時にＤＣが除算丸めにより発散（増加、または減少を繰り返す）した場合、そのマクロブロックのみが浮き上がって見えることがあるため、上記（２）、（３）の場合を除いては、ＤＣに関しては１６を使うことが重要であると考えられる。
またＡＶＣ Ｉｎｔｒａでは画面内予測により、近隣のマクロブロックの値が参照される為、一つのマクロブロックに歪が乗ると、近隣のマクロブロックにも影響し、特にＤＣの影響が大きい。その点に関しても１６を使うことが望ましい。
具体的に図２９に示すように、符号化装置１５は、初期パラメータ設定部４００を有しており、選択ルールに沿った量子化行列Ｑｍａｔｒｉｘを記憶している。そして量子化部２３は、量子化する際に使用する量子化パラメータＱＰに応じ、後述する選択ルールに従って量子化行列Ｑｍａｔｒｉｘを選択するようになされている。
また符号化装置１５のＱｍａｔｒｉｘ／ＱＰ決定部４１は、プレエンコーダ２０による符号化処理に基づいて、量子化パラメータＱＰに応じて、選択ルールに従って量子化行列Ｑｍａｔｒｉｘを選択するようになされている。
以上説明したように、本発明の第４の実施の形態によれば、ダビングを繰り返した場合に、除算丸めによる切り上げ、切捨ての蓄積を低減し、結果として、ＳＮＲの低下を抑制できると共に、ＭＢの浮き上がりを抑制でき、視覚特性を向上させることができる。
（５−２）動作及び効果
以上の構成において、符号化装置１５は、量子化パラメータＱＰの値に応じた量子化行列Ｑｍａｔｒｉｘを設定することにより、効果的に除算丸めを防止し得、符号化による画質の低下を抑制するようになされている。
（６）第５の実施の形態
次に、第５の実施の形態について説明する。第４の実施の形態では、８×８画素に対するＤＣＴ処理（以下、これを８×８ＤＣＴと呼ぶ）を実行する場合において、演算丸めを抑制する点が、上述した第４の実施の形態と異なっている。この第５の実施の形態による符号化装置１６の構成は、第４の実施の形態による符号化装置１５とほぼ同一なため、説明を省略する。
（６−１）８×８ＤＣＴにおける演算丸め抑制処理
ＡＶＣでは整数精度ＤＣＴのブロックサイズの一つとして８×８画素でなるサブブロックを利用することができるが、８×８ＤＣＴは４×４画素に対するＤＣＴ処理（以下、これを４×４ＤＣＴと呼ぶ）に比べて整数精度での演算がやや複雑になる。
例えばＪｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ（ＪＶＴ）から提案された参照ソフトウエア（ＪＭ）では、整数精度の演算でなる８×８ＤＣＴとして、８×８ＤＣＴの演算途中で小数部が落とされる演算方法を採用しており、４×４ＤＣＴと比較してＤＣＴの演算精度が悪い。
特にこのＪＭでは、ダビング（符号化、復号を繰り返すこと）することにより演算誤差が蓄積してしまい、画質の劣化を引き起こしてしまう。例えばＪＭでは、ＳＮＲが４０ｄＢを超えるような領域に対するダビング時の８×８ＤＣＴと４×４ＤＣＴのＳＮＲを比較すると、４×４ＤＣＴと比較して８×８ＤＣＴにおけるＳＮＲの低下が顕著となってしまう。
ここで、８×８ＤＣＴの入力（実空間サンプル、すなわち８×８画素単位で供給される差分画像データ）をｘ、出力（周波数空間ＤＣＴ係数サンプル）をＸとすると、出力Ｘは（２９）式の変換行列Ａを用いて（３０）式のように表される。
Figure 2009035149
Ｘ＝ＡｘＡＴ ・・・（３０）
すなわち８×８ＤＣＴにおける変換行列Ａは、４×４ＤＣＴ（（３）式）とは異なり、分母が「２」、「４」又は「８」でなる分数が含まれている。
説明の簡略化のため、上記（３０）式の水平方向の変換のみを考えると、変換は以下のように表記できる（添字のＨは水平成分を表す）。
ＸＨ＝ＡｘＨ ・・・（３１）
入力成分ｘＨは実空間におけるサンプルの座標（すなわち８×８画素のサンプルの位置）をインデックスｉとして入力成分ｘＨ［ｉ］と表記することができ、出力成分ＸＨは周波数空間におけるサンプルの座標をインデックスｊとして出力成分ＸＨ［ｊ］のように表記することができる。
ここで出力成分ＸＨ［０］は８×８ＤＣＴ後の水平方向の直流成分（ＤＣ）の係数であり、出力成分ＸＨ［７］は８×８ＤＣＴ後の水平方向の最も高い周波数成分の係数である。例としてＡＶＣで採用されている８×８ＤＣＴの水平方向の低周波側から２番目の成分ＸＨ［１］を数式で表すと、以下のように記述される。
Figure 2009035149
ＡＶＣ規格では、整数精度ＤＣＴが用いられており、乗算と右シフト（２のべき乗による除算）の整数演算で直行変換が実現できるようになっており、小数部が演算の過程で落とされることになる。（２９）式に示したように、８×８ＤＣＴでは、変換行列Ａの各要素が整数でなく、各演算において小数部が発生してしまう。
このため仮に符号化装置は、ＤＣＴの演算の過程で係数の右シフトを行った場合、小数部が演算の過程で落とされ、演算の精度が悪くなってしまう。
本発明は、上記の問題への対策として、本考案は演算丸めが起こる右シフトの演算を８×８ＤＣＴを実行する整数精度ＤＣＴ部２２のあとにまとめて行い、演算途中の丸めを最小限に抑えるものである。
具体的に、符号化装置１６は、図３０に示すように、８×８ＤＣＴの演算に先立ち、整数精度の演算でも演算丸めが発生しないよう水平方向、垂直方向の８×８ＤＣＴ演算の直前にそれぞれ３ｂｉｔ左シフトした入力サンプルからＤＣＴ係数Ｘを計算する。次式に、水平方向における実際の８×８ＤＣＴ演算を示す。
Figure 2009035149
（３３）式は、次式のように表すことができる。
Figure 2009035149
すなわち符号化装置１６は、３ｂｉｔの桁上げにより、変換行列Ａの各要素に対して「８」を乗算することになり、変換行列Ａの全ての要素が整数である場合と同様の演算精度を保ち得るようになされている。
なお（３３）式及び（３４）式の例は水平方向の低周波側から２番目の成分に関しての記述であるが、他の水平方向、垂直方向の変換に関しても同様に３ｂｉｔ左シフトしたものを８×８ＤＣＴの入力信号とする。
これらの演算によって得られた８×８ＤＣＴ係数Ｘは水平方向、垂直方向それぞれ３ｂｉｔ、すなわち合計６ｂｉｔ左シフトされたものであるので、システム全体（符号化部、復号部）の整合性を保つためには８×８ＤＣＴ演算処理の後に、６ｂｉｔ右シフトしなければならない。
この６ｂｉｔ右シフトの演算は、これを量子化部２３の内部でまとめて行うことができる。すなわち従来の符号化装置では、下記に示す（３５）式に従って量子化演算を実行することにより、量子化係数に対応する量子化レベルＺを算出する。なおＺは量子化レベル、ＭＦはＡＶＣ規格で定められている値から算出されるスケーリングファクター、ＷはＤＣＴ係数、ｆ１は切り上げ、切り捨て位置を決める丸めファクターである。
Ｚ＝｛（ＭＦ＊１６／Ｑｍａｔｒｉｘ）＊Ｗ＋ｆ１｝＞＞（１５＋ＱＰ／６） ・・・（３５）
これに対して符号化装置１６の量子化部２３では、（３６）式に従って量子化演算を実行することにより、６ｂｉｔの右シフトを含めて演算することができ、システム全体の整合性を保つことができる。なおｆ２は切り上げ、切り捨て位置を決める丸めファクターであり、整数ＤＣＴ処理部２２における桁上げに伴ってその値がｆ１から変動している。
Ｚ＝｛（ＭＦ＊１６／Ｑｍａｔｒｉｘ）＊Ｗ＋ｆ２｝＞＞（１５＋ＱＰ／６＋６）・・・（３６）
すなわち符号化装置１６では、８×８ＤＣＴ演算の前に変換行列Ａの各要素を３ｂｉｔずつ桁上げしておき、量子化演算部２３ｂにおいて６ｂｉｔだけ桁下げする。このとき符号化装置１６は、量子化演算処理時に実行する桁下げと同時に６ｂｉｔの桁下げを実行するため、桁下げの回数を極力減少させることができ、桁下げによる演算丸めを最大限抑制することが可能となる。
図３０に、８×８ＤＣＴにおける演算丸め抑制処理を概念的なブロック図として示している。
符号化装置１６における整数精度ＤＣＴ部２２は、入力ｘが供給されると、これを桁上げ部２２ａによって桁上げし、８×８ＤＣＴ演算部２２ｂによって水平方向の８×８ＤＣＴ演算を実行し、出力ＸＨを算出する。なお実際上整数精度ＤＣＴ部２２は、（３３）式に示したように、８×８ＤＣＴ演算の際に各要素を３ｂｉｔ桁上げする。
さらに整数精度ＤＣＴ部２２は、同様にして、出力ＸＨを桁上げ部２２ｄによって桁上げし、８×８ＤＣＴ演算部２２ｂによって垂直方向の８×８ＤＣＴ演算を実行し、出力Ｘを算出する。この出力Ｘは、ＤＣＴ係数Ｗとして量子化部２３に供給される。
量子化部２３は、ＤＣＴ係数Ｗが供給されると、量子化演算部２３ａによって量子化処理を実行して量子化レベルＺを算出し、桁下げ部２３ｂによって当該量子化レベルＺを６ｂｉｔ桁下げする。なお実際上量子化部２３は、（３６）式に従って、量子化演算の際に各要素を６ｂｉｔ桁上げする。
このように符号化装置１６は、８×８ＤＣＴにおいて、８×８ＤＣＴ演算処理前に変換行列Ａの各要素を３ｂｉｔだけ桁上げしておき、演算結果を後に６ｂｉｔだけ桁上げする。これにより符号化装置１６は、変換行列Ａの各要素が分数でなることに起因して８×８ＤＣＴ演算処理における演算丸めを防止すると共に、システム全体の整合性を保ち得るようになされている。
（６−２）動作及び効果
以上の構成において、符号化装置１６は、整数精度ＤＣＴ処理として８×８ＤＣＴ処理を実行する際、水平方向及び垂直方向による８×８ＤＣＴ演算処理が終了する前に、演算処理の対象となる画像データ又は変換行列の各要素を水平方向及び垂直方向に対応させてそれぞれ３ｂｉｔずつ桁上げする（（３３）式）。そして符号化装置１６は、水平方向及び垂直方向による８×８ＤＣＴ演算処理が終了した後に、ＤＣＴ係数に基づく係数データを各３ｂｉｔずつ桁下げする（（３６）式）。
これにより符号化装置１６は、８×８ＤＣＴ演算処理おいて生じる小数点部分の演算丸めを抑制し得、符号化による画質の低下を効果的に防止できる。符号化装置１６は、特にダビング時における複数の８×８ＤＣＴ演算処理に応じた画質の低下を効果的に防止できる。
（６−３）復号化装置
次に、このようにして符号化された本符号化ストリームを復号する復号化装置５００の構成を、図３１を用いて説明する。
復号化装置５００は、本符号化ストリームが供給されると、当該本符号化ストリームに設定された設定情報を用いて当該本符号化ストリームの復号化を行う。具体的に復号化装置５００は、本符号化ストリームを復号化部５０１に供給する。復号化部５０１は、本符号化ストリームを復号化して量子化データを生成し、逆量子化部５０２に供給する。
逆量子化部５０２は、設定情報に設定された量子化パラメータＱＰを用いて量子化データを逆量子化することにより、ＤＣＴ係数でなる画像データを復元し、これをＩＤＣＴ部５０３へ供給する。ＩＤＣＴ部５０３は、画像データに対してＩＤＣＴ処理を施し、差分画像データを予測画像加算部５０４に供給する。
予測画像加算部５０４は、差分画像データに対し、逆イントラ予測処理及び動き予測処理によって予測した予測値を加算し、画像を表すビデオ出力信号を生成し、これを図示しない外部機器などに出力するようになされている。
（６−４）他の実施の形態
なお上述した第５の実施の形態においては、８×８ＤＣＴ演算処理の際に、変換行列Ａの各要素を３ｂｉｔだけ桁上げするようにした場合について述べた。本発明はこれに限らず、例えば予め変換行列Ａの各要素を３ｂｉｔだけ桁上げしたものを記憶しておき、これを使用するようにしても良い。また本発明では、入力ｘの各要素を予め３ｂｉｔずつ桁上げするようにしても、同様の効果を得ることができる。さらに本発明では、２桁〜１桁若しくは４桁以上桁上げしても、演算丸めを抑制する効果を得ることができる。
さらに上述した第５の実施の形態においては、量子化演算部２３ａの後段で６ｂｉｔ桁下げを実行するようにした場合について述べた。本発明はこれに限らず、例えば８×８ＤＣＴ演算部２２ｄの後段で６ｂｉｔ桁下げをしても良い。これにより、整数精度ＤＣＴ部２２と量子化部２３とが回路上別ブロックとして設計されている場合、桁上げによりデータ量が増大することによりデータの伝送経路を太くしなくて済む。また８×８ＤＣＴ演算部２２ｂ及び２２ｃの後段でそれぞれ３ｂｉｔづつ桁下げするようにしても良い。
さらに上述した第５の実施の形態においては、桁上げ部としての桁上げ部２２ａと、桁下げ部としての桁上げ部２２ｃとによって画像処理装置としての符号化装置１６を構成するようにした場合について述べた。本発明はこれに限らず、その他種々の構成による桁上げ部と桁下げ部とによって本発明の画像処理装置を構成するようにしても良い。
さらに上述した第１〜第５の実施の形態においては、画像処理装置としての符号化装置が符号化処理を実行する場合について述べた。本発明はこれに限らず、画像処理装置が符号化処理及び復号化処理の両方を実行するようにしても良い。
以上、本発明の実施の形態について説明したが、本発明はこれに限定されることなくその趣旨を逸脱しない範囲で種々の改良・変更が可能であることは勿論である。
例えば、前述した符号化装置及び方法の機能をコンピュータがプログラムにより実現し、或いは該プログラムを記録した記録媒体として実現することも可能である。

Claims (20)

  1. 画像データに対し直交変換を実行して変換係数を生成すると共に、逆直交変換との関係において、当該変換係数を構成する係数要素の値を複数のスケールでスケール変動させる直交変換部と、
    復号化の際に使用される可能性のある複数の量子化因子に基づいて算出される復号ファクターに対して上記スケール変動を乗算することにより、複数の除算ファクターを算出する除算因子算出部と、
    上記変換係数における上記要素を上記複数の除算ファクターによって除算したときの剰余に基づく評価値の総和を、検出単位毎に算出する総和算出部と、
    上記複数の除算ファクターに対する上記評価値の総和との関係を比較し、上記評価値の総和が極小値をとる上記除算ファクターに基づいて、上記画像データが前回符号化されたときに使用された上記量子化因子を検出する量子化因子検出部と
    を有する画像処理装置。
  2. 上記量子化因子は、
    量子化単位ごとに設定される量子化パラメータである
    請求項１に記載の画像処理装置。
  3. 上記量子化因子は、
    画面内符号化単位ごとに設定され、上記変換係数の係数要素ごとの値が定められている量子化行列である
    請求項２に記載の画像処理装置。
  4. 画面内符号化単位ごとに設定され、予め定められた複数の画面内符号化方式によって入力画像データを符号化し、複数の画像データを生成する画面内符号化部と、
    上記複数の画像データのうち、上記量子化因子検出部によって検出された上記量子化因子を用いたときの上記評価値の総和に基づいて、上記入力画像データが前回符号化されたときに使用された一の画面内符号化方式を検出する画面内符号化方式検出部と
    を有する請求項３に記載の画像処理装置。
  5. 上記総和算出部は、
    上記剰余を上記除算ファクターによって除算した除算値を上記評価値とする
    請求項１に記載の画像処理装置。
  6. 上記総和算出部は、
    上記係数要素の絶対値が規格化閾値未満である場合には、上記剰余を上記除算ファクターによって除算した除算値を上記評価値とし、上記係数要素の絶対値が上記規格化閾値以上である場合には、上記剰余を上記評価値とする
    請求項５に記載の画像処理装置。
  7. 上記総和算出部は、
    上記剰余に対して上記係数要素を乗算して乗算値を算出し、当該乗算値を上記除算ファクターによって除算した除算値を上記評価値とする
    請求項５に記載の画像処理装置。
  8. 上記量子化因子検出部による処理対象となる画像データに対する上記極小値が検出された画像データの割合に基づいて、上記画像データが一度も符号化されたことのない原画であるか、少なくとも一度以上符号化されたことのある非原画であるかを判定する後段原画判定部と
    を有する請求項２に記載の画像処理装置。
  9. 上記画像処理装置は、
    上記復号化の際に使用される可能性のある複数の復号ファクターのうち、一部を検索範囲として特定する検索範囲特定部
    を有し、
    上記原画判定部は、
    上記極小値に対応する量子化パラメータの最小値が、上記検索範囲における量子化パラメータの最小値であった最小回数をカウントする最小値カウント部と、
    上記符号化単位検出部によって処理された上記検出単位ごとの画像データの処理回数をカウントする処理回数カウント部と、
    上記最小回数の上記処理回数に対する割合を、上記量子化因子検出部の処理対象となる画像データに対する上記極小値が検出された画像データの割合とする
    請求項８に記載の画像処理装置。
  10. 上記検索範囲設定部は、
    画像データに対し直交変換を実行して変換係数を生成する前段直交変換部と、
    上記変換係数を構成する係数要素の値ごとの発生回数を要素発生回数としてカウントする要素カウント部と、
    上記要素発生回数の分散状態に基づいて、画像符号化単位ごとの上記量子化パラメータを見積もる量子化パラメータ見積部と
    を有する請求項１に記載の画像処理装置。
  11. 上記要素発生回数の分散状態に基づいて、上記画像データが一度も符号化されたことのない原画であるか、少なくとも一度以上符号化されたことのある非原画であるかを判定する前段原画判定部と
    を有する請求項１０に記載の画像処理装置。
  12. 上記量子化パラメータ見積部は、
    上記要素発生回数において、上記係数要素の絶対値が最小値（ただし、ゼロを除く）となる１番目ピークに基づいて、上記量子化パラメータを検出する
    請求項１１に記載の画像処理装置。
  13. 上記量子化パラメータ見積部は、
    上記係数要素の絶対値に対して基準要素値を設定し、当該基準要素値と離隔する離隔値と上記係数要素の絶対値の発生回数とを乗算した値を積算した積算値を、上記基準要素値に対応する積算値として算出する積算部と、
    上記基準要素値ごとの上記積算値のうち、最小の値をとる積算値に対応する基準要素値に基づいて、上記前回の符号化に使用された量子化パラメータ近傍の見積量子化パラメータを決定する見積量子化パラメータ決定部と
    請求項１０に記載の画像処理装置。
  14. 上記見積量子化パラメータ決定部は、
    上記係数要素の絶対値に対して検出対象となるサーチ量子化パラメータに基づく基準要素値を設定し、当該基準値が極大値であると判別された場合に、当該サーチ量子化パラメータを上記見積量子化パラメータとして決定する
    請求項１３に記載の画像処理装置。
  15. 上記見積量子化パラメータ及び検出対象となる量子化行列に基づく基準要素値を設定し、当該基準値が極大値であると判別された場合に、当該サーチ量子化行列を上記見積量子化行列として決定する見積量子化行列決定部
    を有する請求項１０に記載の画像処理装置。
  16. 上記要素発生回数に基づいたエントロピー計算により、各量子化パラメータにおける上記発生符号量を予測する発生符号量予測部と、
    上記発生符号量予測部によって予測された上記発生符号量が上記目標符号量に近くなる量子化パラメータを、予測パラメータとして予測する量子化パラメータ予測部と、
    上記予測パラメータを用いて上記変換係数を量子化して予測量子化データを生成する予測量子化部と、
    上記予測量子化データに基づく予測ストリームの発生符号量に基づいて、上記予測パラメータを補正するパラメータ補正部と
    を有する請求項１０に記載の画像処理装置。
  17. 量子化パラメータの値に応じた量子化行列を設定する初期パラメータ設定部
    を有する請求項１に記載の画像処理装置。
  18. 画像データに対し直交変換を実行して変換係数を生成する直交変換部と、
    上記変換係数を構成する係数要素の値ごとの発生回数を要素発生回数としてカウントする要素カウント部と、
    上記要素発生回数の分散状態に基づいて、上記画像データが一度も符号化されたことのない原画であるか、少なくとも一度以上符号化されたことのある非原画であるかを判定する原画判定部と
    を有する画像処理装置。
  19. 整数精度ＤＣＴ処理として８×８ＤＣＴ処理を実行する際、水平方向及び垂直方向による８×８ＤＣＴ演算処理が終了する前に、演算処理の対象となる画像データ又は変換行列の各要素を水平方向及び垂直方向に対応させてそれぞれ３ｂｉｔずつ上げする桁上げ部と、
    水平方向及び垂直方向による８×８ＤＣＴ演算処理が終了した後に、ＤＣＴ係数に基づく係数データを３ｂｉｔずつ桁下げする桁下げ部と
    を有する画像処理装置。
  20. 画像データに対し直交変換を実行して変換係数を生成すると共に、逆直交変換との関係において、当該変換係数を構成する係数要素の値を複数のスケールでスケール変動させる直交変換ステップと、
    復号化の際に使用される可能性のある複数の量子化因子に基づいて算出される復号ファクターに対して上記スケール変動を乗算することにより、複数の除算ファクターを算出する除算因子算出ステップと、
    上記変換係数における上記要素を上記複数の除算ファクターによって除算したときの剰余に基づく評価値の総和を、検出単位毎に算出する総和算出ステップと、
    上記複数の除算ファクターに対する上記評価値の総和との関係を比較し、上記評価値の総和が極小値をとる上記除算ファクターに基づいて、上記画像データが前回符号化されたときに使用された上記量子化因子を検出する量子化因子検出ステップと
    を有する画像処理方法。
JP2009532268A 2007-09-12 2008-09-12 画像処理装置及び画像処理方法 Expired - Fee Related JP5212373B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009532268A JP5212373B2 (ja) 2007-09-12 2008-09-12 画像処理装置及び画像処理方法

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2007236941 2007-09-12
JP2007236942 2007-09-12
JP2007236941 2007-09-12
JP2007236942 2007-09-12
JP2008169398 2008-06-27
JP2008169398 2008-06-27
JP2009532268A JP5212373B2 (ja) 2007-09-12 2008-09-12 画像処理装置及び画像処理方法
PCT/JP2008/066917 WO2009035149A1 (ja) 2007-09-12 2008-09-12 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2009035149A1 true JPWO2009035149A1 (ja) 2010-12-24
JP5212373B2 JP5212373B2 (ja) 2013-06-19

Family

ID=40452147

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009532268A Expired - Fee Related JP5212373B2 (ja) 2007-09-12 2008-09-12 画像処理装置及び画像処理方法

Country Status (5)

Country Link
US (1) US8184711B2 (ja)
JP (1) JP5212373B2 (ja)
CN (1) CN101632307B (ja)
TW (1) TWI410139B (ja)
WO (1) WO2009035149A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4569840B2 (ja) * 2007-09-12 2010-10-27 ソニー株式会社 画像符号化装置、画像符号化方法
JPWO2009157580A1 (ja) * 2008-06-27 2011-12-15 ソニー株式会社 画像処理装置及び画像処理方法
CN101779468B (zh) * 2008-06-27 2012-07-04 索尼公司 图像处理装置和图像处理方法
WO2009157577A1 (ja) * 2008-06-27 2009-12-30 ソニー株式会社 画像処理装置及び画像処理方法
BRPI0904325A2 (pt) * 2008-06-27 2015-06-30 Sony Corp Dispositivo e método de processamento de imagem.
CA2759929C (en) * 2009-04-22 2017-03-21 Mercator Medsystems, Inc. Use of guanethidine for treating hypertension by local vascular delivery
JP5199956B2 (ja) * 2009-06-16 2013-05-15 キヤノン株式会社 画像復号装置及びその制御方法
JP5199955B2 (ja) * 2009-06-16 2013-05-15 キヤノン株式会社 画像復号装置及びその制御方法
JP5251774B2 (ja) * 2009-07-27 2013-07-31 ソニー株式会社 画像符号化装置および画像符号化方法
JP2011029956A (ja) * 2009-07-27 2011-02-10 Sony Corp 画像符号化装置および画像符号化方法
JP5282692B2 (ja) * 2009-07-27 2013-09-04 ソニー株式会社 画像符号化装置と画像符号化方法
JP5484083B2 (ja) * 2010-01-14 2014-05-07 株式会社メガチップス 画像処理装置
US20130058410A1 (en) 2010-05-13 2013-03-07 Sharp Kabushiki Kaisha Encoding device, decoding device, and data structure
JP2012054818A (ja) * 2010-09-02 2012-03-15 Sony Corp 画像処理装置と画像処理方法
WO2012042720A1 (ja) * 2010-09-30 2012-04-05 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP6056122B2 (ja) 2011-01-24 2017-01-11 ソニー株式会社 画像符号化装置と画像復号装置およびその方法とプログラム
JP6327435B2 (ja) 2011-03-03 2018-05-23 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置、及び、画像復号装置
WO2013059735A1 (en) 2011-10-19 2013-04-25 Mercator Medsystems, Inc. Localized modulation of tissues and cells to enhance therapeutic effects including renal denervation
TWI597976B (zh) * 2012-04-16 2017-09-01 Jvc Kenwood Corp Motion picture encoding apparatus, motion picture encoding method, and recording medium for moving picture encoding program
GB2501535A (en) 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9521410B2 (en) 2012-04-26 2016-12-13 Qualcomm Incorporated Quantization parameter (QP) coding in video coding
US9538190B2 (en) * 2013-04-08 2017-01-03 Qualcomm Incorporated Intra rate control for video encoding based on sum of absolute transformed difference
JP6265724B2 (ja) * 2013-12-11 2018-01-24 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム
US10630974B2 (en) * 2017-05-30 2020-04-21 Google Llc Coding of intra-prediction modes
WO2019057846A1 (en) * 2017-09-21 2019-03-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. CONCEPT FOR VARYING A CODING QUANTIFICATION PARAMETER IN AN IMAGE, ADJUSTING A CODING QUANTIFICATION PARAMETER AND ADAPTING A CODING QUANTITY PARAMETER OF A MULTI-CHANNEL IMAGE
CN112616057A (zh) * 2019-10-04 2021-04-06 Oppo广东移动通信有限公司 图像预测方法、编码器、解码器以及存储介质
CN115348450A (zh) * 2019-12-31 2022-11-15 上海海思技术有限公司 编码方法及编码器
US11436699B1 (en) 2020-08-03 2022-09-06 Meta Platforms, Inc. Predicting encoding parameters for convex hull video encoding
US11388413B1 (en) * 2020-08-03 2022-07-12 Meta Platforms, Inc. Fast encoding parameter selection for convex hull video encoding

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4979498A (en) 1989-10-30 1990-12-25 Machida Incorporated Video cervicoscope system
JPH04114585A (ja) 1990-09-04 1992-04-15 Matsushita Electric Ind Co Ltd 動き補償フレーム間符号化装置
JP2908550B2 (ja) 1990-09-28 1999-06-21 株式会社東芝 養液栽培装置
US5428396A (en) * 1991-08-03 1995-06-27 Sony Corporation Variable length coding/decoding method for motion vectors
US5565921A (en) * 1993-03-16 1996-10-15 Olympus Optical Co., Ltd. Motion-adaptive image signal processing system
US5703646A (en) 1993-04-09 1997-12-30 Sony Corporation Picture encoding method, picture encoding apparatus and picture recording medium
JP3358620B2 (ja) 1993-04-09 2002-12-24 ソニー株式会社 画像符号化方法及び画像符号化装置
WO1995009487A1 (en) 1993-09-28 1995-04-06 Sony Corporation High efficiency encoding/decoding device
US5488570A (en) * 1993-11-24 1996-01-30 Intel Corporation Encoding and decoding video signals using adaptive filter switching criteria
JP3561962B2 (ja) 1994-07-25 2004-09-08 ソニー株式会社 量子化コントロール装置および方法
JP2882287B2 (ja) 1994-08-22 1999-04-12 日本電気株式会社 動画像符号化装置
US5870145A (en) 1995-03-09 1999-02-09 Sony Corporation Adaptive quantization of video based on target code length
US6100931A (en) 1996-03-19 2000-08-08 Sony Corporation Method and apparatus for controlling a target amount of code and for compressing video data
JPH09294263A (ja) 1996-04-24 1997-11-11 Victor Co Of Japan Ltd 画像情報圧縮装置
KR100371130B1 (ko) * 1996-05-28 2003-02-07 마쯔시다덴기산교 가부시키가이샤 화상예측 복호화 장치 및 그 방법과 화상예측 부호화 장치및 그 방법
US6101276A (en) * 1996-06-21 2000-08-08 Compaq Computer Corporation Method and apparatus for performing two pass quality video compression through pipelining and buffer management
US5805228A (en) * 1996-08-09 1998-09-08 U.S. Robotics Access Corp. Video encoder/decoder system
US6337879B1 (en) 1996-08-14 2002-01-08 Sony Corporation Video data compression apparatus and method of same
JP3864461B2 (ja) 1996-08-30 2006-12-27 ソニー株式会社 映像データ圧縮装置およびその方法
JP4114210B2 (ja) * 1996-12-12 2008-07-09 ソニー株式会社 映像データ圧縮装置およびその方法
US6163573A (en) 1996-12-12 2000-12-19 Sony Corporation Equipment and method for compressing picture data
KR100610520B1 (ko) 1997-07-08 2006-08-09 소니 가부시끼 가이샤 비디오 데이터 부호화 장치, 비디오 데이터 부호화 방법, 비디오데이터 전송 장치 및 비디오 데이터 기록 매체
EP1788815A3 (en) * 1997-11-05 2008-10-15 Sony Corporation Rate control for video transcoding with resolution conversion
US6393060B1 (en) * 1997-12-31 2002-05-21 Lg Electronics Inc. Video coding and decoding method and its apparatus
US6574274B2 (en) * 1998-02-27 2003-06-03 Sony Corporation Picture signal processing system, decoder, picture signal processing method, and decoding method
JP4511649B2 (ja) * 1999-02-03 2010-07-28 三菱電機株式会社 画像符号化方式および画像符号化装置
JP2001169281A (ja) * 1999-12-13 2001-06-22 Matsushita Electric Ind Co Ltd 動画像符号化装置、および動画像符号化方法
JP2002359853A (ja) 2001-03-26 2002-12-13 Sony Corp 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
JP2002290914A (ja) 2001-03-26 2002-10-04 Sony Corp 記録再生装置及びそのバックサーチ方法
WO2002080573A1 (en) 2001-03-28 2002-10-10 Sony Corporation Quantization apparatus, quantization method, quantization program, and recording medium
US6934330B2 (en) 2001-08-01 2005-08-23 Sony Corporation Image processing apparatus
CA2574127A1 (en) * 2002-01-18 2003-07-31 Kabushiki Kaisha Toshiba Video encoding method and apparatus and video decoding method and apparatus
US7289672B2 (en) 2002-05-28 2007-10-30 Sharp Laboratories Of America, Inc. Methods and systems for image intra-prediction mode estimation
US7386048B2 (en) 2002-05-28 2008-06-10 Sharp Laboratories Of America, Inc. Methods and systems for image intra-prediction mode organization
WO2003101117A1 (en) 2002-05-28 2003-12-04 Sharp Kabushiki Kaisha Methods and systems for image intra-prediction mode estimation, communication, and organization
US7236524B2 (en) 2002-05-28 2007-06-26 Sharp Laboratories Of America, Inc. Methods and systems for image intra-prediction mode communication
WO2003103288A1 (en) * 2002-05-29 2003-12-11 Diego Garrido Predictive interpolation of a video signal
US6944224B2 (en) * 2002-08-14 2005-09-13 Intervideo, Inc. Systems and methods for selecting a macroblock mode in a video encoder
US7400317B2 (en) * 2003-08-29 2008-07-15 Avago Technologies Ecbu Ip Pte Ltd Finger navigation system using captive surface
JP3846489B2 (ja) * 2004-05-10 2006-11-15 セイコーエプソン株式会社 画像データ圧縮装置、エンコーダ、電子機器及び画像データ圧縮方法
JP4235162B2 (ja) 2004-11-18 2009-03-11 日本電信電話株式会社 画像符号化装置，画像符号化方法，画像符号化プログラムおよびコンピュータ読み取り可能な記録媒体
JP2006222555A (ja) 2005-02-08 2006-08-24 Matsushita Electric Ind Co Ltd 符号化装置及び符号化方法
JP4050754B2 (ja) 2005-03-23 2008-02-20 株式会社東芝 ビデオエンコーダ及び動画像信号の符号化方法
KR101088375B1 (ko) * 2005-07-21 2011-12-01 삼성전자주식회사 가변 블록 변환 장치 및 방법 및 이를 이용한 영상부호화/복호화 장치 및 방법
JP4246723B2 (ja) 2005-08-29 2009-04-02 日本電信電話株式会社 フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
RU2008146977A (ru) * 2006-04-28 2010-06-10 НТТ ДоКоМо, Инк. (JP) Устройство прогнозирующего кодирования изображений, способ прогнозирующего кодирования изображений, программа прогнозирующего кодирования изображений, устройство прогнозирующего декодирования изображений, способ прогнозирующего декодирования изображений и программа прогнозирующего декодирования изображений
US8184712B2 (en) * 2006-04-30 2012-05-22 Hewlett-Packard Development Company, L.P. Robust and efficient compression/decompression providing for adjustable division of computational complexity between encoding/compression and decoding/decompression
US7756348B2 (en) * 2006-10-30 2010-07-13 Hewlett-Packard Development Company, L.P. Method for decomposing a video sequence frame

Also Published As

Publication number Publication date
TWI410139B (zh) 2013-09-21
US8184711B2 (en) 2012-05-22
TW200931984A (en) 2009-07-16
WO2009035149A1 (ja) 2009-03-19
CN101632307A (zh) 2010-01-20
CN101632307B (zh) 2012-12-05
JP5212373B2 (ja) 2013-06-19
US20100098173A1 (en) 2010-04-22

Similar Documents

Publication Publication Date Title
JP5212373B2 (ja) 画像処理装置及び画像処理方法
US8509556B2 (en) Image coding apparatus and image coding method to generate a targeted amount of code
US8345767B2 (en) Video encoding method, video encoding device, and video encoding program
US8374451B2 (en) Image processing device and image processing method for reducing the circuit scale
US8369403B2 (en) Image processing device and image processing method
JP5365518B2 (ja) 画像処理装置及び方法
KR0184905B1 (ko) 부호량제어장치 및 이것을 사용한 부호화장치
JP3190002B2 (ja) 量子化方法および回路
US7688234B2 (en) Coding apparatus, coding method, program for executing the method, and recording medium storing the program
US20050243930A1 (en) Video encoding method and apparatus
US20090097546A1 (en) System and method for enhanced video communication using real-time scene-change detection for control of moving-picture encoding data rate
JP2007089035A (ja) 動画像符号化方法、装置及びプログラム
EP1470726A1 (en) Video encoding
US7809198B2 (en) Coding apparatus having rate control to prevent buffer breakdown
JPH10336654A (ja) 画像符号化装置
JP2009135902A (ja) 符号化装置、符号化装置の制御方法及びコンピュータプログラム
JP6431556B2 (ja) バイナリデータを圧縮および復元する方法および装置
JPH11513873A (ja) ブロック・ベースのコード化システムにおいてコード化モードを選択するための装置および方法
US20230199196A1 (en) Methods and Apparatuses of Frequency Domain Mode Decision in Video Encoding Systems
US20240048719A1 (en) Rate control algorithms using a model of the human visual system
CN115834882A (zh) 一种帧内预测方法、装置、电子设备及存储介质
Jiang et al. A rate-distortion based quantization level adjustment algorithm in block-based video compression
JPH0358672A (ja) 画像信号符号化方式及び装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110831

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130211

R151 Written notification of patent or utility model registration

Ref document number: 5212373

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160308

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees