JP4877449B2 - 動画像符号化装置および動画像符号化処理プログラム - Google Patents

動画像符号化装置および動画像符号化処理プログラム Download PDF

Info

Publication number
JP4877449B2
JP4877449B2 JP2004320088A JP2004320088A JP4877449B2 JP 4877449 B2 JP4877449 B2 JP 4877449B2 JP 2004320088 A JP2004320088 A JP 2004320088A JP 2004320088 A JP2004320088 A JP 2004320088A JP 4877449 B2 JP4877449 B2 JP 4877449B2
Authority
JP
Japan
Prior art keywords
parameter
encoding
determination
noise
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004320088A
Other languages
English (en)
Other versions
JP2006135461A (ja
JP2006135461A5 (ja
Inventor
浩一 中込
玲 浜田
紳一 松井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2004320088A priority Critical patent/JP4877449B2/ja
Priority to PCT/JP2005/020689 priority patent/WO2006049335A1/ja
Publication of JP2006135461A publication Critical patent/JP2006135461A/ja
Priority to US11/504,021 priority patent/US8121193B2/en
Publication of JP2006135461A5 publication Critical patent/JP2006135461A5/ja
Priority to US13/351,711 priority patent/US8824552B2/en
Application granted granted Critical
Publication of JP4877449B2 publication Critical patent/JP4877449B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive

Description

本発明は、人の視覚特性を勘案して動画像を圧縮する動画像符号化装置および動画像符号化処理プログラムに関する。
デジタルテレビ放送、インターネットのビデオストリーミングあるいはＤＶＤなどのアプリケーションでは、伝送帯域や記憶容量が限られる為、圧縮率の高い符号化技術が要求されている。そうした要求に応える高圧縮率の符号化技術として、例えばＨ．２６４規格が知られている。以下、図９〜図１５を参照してＨ．２６４規格に準拠した動画像符号化装置の一例について述べる。
図９は動画像符号化装置の概略構成を示すブロック図である。この図において、減算器１０は、現ブロックの画素値から予測ブロックの画素値を減算して輝度差分を表す予測誤差信号を発生する。変換／量子化部１１は、減算器１０から出力される予測誤差信号に整数ＤＣＴ（離散コサイン変換）を施し、これにより得られる変換係数を所定の量子化幅で量子化して係数データを発生する。エントロピー符号化部１２は、変換／量子化部１１が発生した係数データについて、可変長符号化ＶＬＣをベースとした指数ゴロム符号と、それを応用したＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Coding）とを用いてエントロピー符号化する。
逆量子化／逆変換部１３、加算器１４、ループフィルタ１５およびフレームメモリ１６は、ローカル復号部を形成する。ローカル復号部では、変換／量子化部１１が発生した係数データに逆量子化および逆整数ＤＣＴを施した後に前予測ブロックの画素値を加算して復号画像を生成し、生成した復号画像にループフィルタリングを施してブロックノイズを低減させた後、フレームメモリ１６に一時記憶する。フレーム内予測部１７は、フレームメモリ１６から読み出される復号画像を用いてフレーム内予測ブロック値を算出する。
動き検出部１８は、現ブロックの動きベクトルを検出する。動き補償部１９は、動き検出部１８が検出した動きベクトルに応じて参照フレーム（フレームメモリ１６から読み出される復号画像）に動き補償を施してフレーム間予測ブロック値を算出する。セレクタ２０は、判定部２１の指示に応じて、フレーム内予測部１７が算出するフレーム内予測ブロック値あるいは動き補償部１９が算出するフレーム間予測ブロック値のいずれかを選択して減算器１０に供給する。判定部２１は、フレーム内予測符号化時の生成符号量とフレーム間予測符号化の生成符号量とを推定し、生成符号量の小さい符号化方式を選択するようセレクタ２０に指示する。
次に、図１０〜図１５を参照して上記構成による動画像符号化装置の符号化判定動作を説明する。以下では、最初に「符号化判定処理」の動作を説明した後、符号化判定処理を構成する「ｉｎｔｅｒ予測処理」、「ｉｎｔｒａ予測処理」および「ｉｎｔｅｒ Ｄ＆Ｑ処理」の各動作について概説する。
（１）符号化判定処理の動作
図１０は、ブロック画像入力毎に実行される符号化判定処理の動作を示すフローチャートである。ブロック画像入力に応じて本処理が実行されると、ステップＳＦ１に進み、装置各部をイニシャライズする。次いで、ステップＳＦ２では、フレーム間予測符号化時の生成符号量を推定するｉｎｔｅｒ予測処理を実行し、続くステップＳＦ３では、フレーム内予測符号化時の生成符号量を推定すると共に、フレーム内符号化（整数ＤＣＴ、量子化、逆量子化および逆整数ＤＣＴ）を行うｉｎｔｒａ予測処理を実行する。そして、ステップＳＦ４では、上記ステップＳＦ２にて得られる最小の差分絶対値和ＳＡＤinter（ｉｎｔｅｒ予測時の生成符号量に相当）が、上記ステップＳＦ３にて得られる最小の差分絶対値和ＳＡＤintra（ｉｎｔｒａ予測時の生成符号量に相当）より大きいか否かを判断する。
ｉｎｔｅｒ予測時の生成符号量がｉｎｔｒａ予測時の生成符号量より大きければ、判断結果は「ＹＥＳ」になり、本処理を完了させる。したがって、この場合、動画像符号化装置は上記ステップＳＦ３にて実行されたフレーム内符号化にて動画圧縮する。
一方、ｉｎｔｅｒ予測時の生成符号量がｉｎｔｒａ予測時の生成符号量より小さいと、上記ステップＳＦ４の判断結果が「ＮＯ」になり、ステップＳＦ５に進み、フレーム間符号化（整数ＤＣＴ、量子化、逆量子化および逆整数ＤＣＴ）を行うｉｎｔｅｒ Ｄ＆Ｑ処理を実行する。したがって、この場合、動画像符号化装置はフレーム間符号化にて動画圧縮する。
（２）ｉｎｔｅｒ予測処理の動作
次に、図１１〜図１３を参照してｉｎｔｅｒ予測処理の動作を説明する。上述のステップＳＦ２（図１０参照）を介して本処理が実行されると、図１１に図示するステップＳＧ１に進み、１６×１６画素のマクロブロックを１６分割した４×４画素のブロックの全てについて処理し終えたかどうかを判断する。全てのブロックについて処理し終えると、判断結果は「ＹＥＳ」となり、本処理を完了させるが、そうでなければ、判断結果が「ＮＯ」になり、ステップＳＧ２に進む。 なお、１６×１６画素のマクロブロックと４×４画素のブロックとの関係は、図１３に図示する通り、マクロブロックのブロックナンバｎにて４×４画素のブロックが指定されるようになっている。
次いで、ステップＳＧ２では、処理対象の４×４画素のブロック（以下、現ブロックと称す）の画素値Ｏｒｇを算出する。次いで、ステップＳＧ３では、動きベクトルを探索するＭＶサーチ処理を実行する。ＭＶサーチ処理では、図１２のステップＳＨ１〜ＳＨ３に図示するように、参照フレームの探索範囲内で参照ブロックを中心に画素をずらしながら現ブロックとの相関を算出し、その内で最も相関の高い画素の位置を動きベクトルとして抽出する。
ＭＶサーチ処理では、参照ブロックと現ブロックとの相関を、両ブロックの差分絶対値和ＳＡＤで評価している。したがって、最も相関の高い画素の位置を動きベクトルとして抽出した時、差分絶対値和ＳＡＤは最小となる。最小の差分絶対値和ＳＡＤinterは、ｉｎｔｅｒ Ｄ＆Ｑ処理を行うか否かを判断するステップＳＦ４（図１０参照）に用いられる。
（３）ｉｎｔｒａ予測処理の動作
次に、図１４を参照してｉｎｔｒａ予測処理の動作を説明する。前述したステップＳＦ３（図１０参照）を介して本処理が実行されると、図１４に図示するステップＳＪ１に進み、１６×１６画素のマクロブロックを１６分割した４×４画素のブロックの全てについて処理し終えたかどうかを判断する。全てのブロックについて処理し終えると、判断結果は「ＹＥＳ」となり、本処理を完了させるが、そうでなければ、判断結果が「ＮＯ」になり、ステップＳＪ２に進む。ステップＳＪ２では、例えばｉｎｔｒａ４×４ｍｏｄｅの場合、ｍｏｄｅ０〜ｍｏｄｅ８の計９種類の予測方法にて各ｍｏｄｅの予測ブロック値を算出する。
次いで、ステップＳＪ３〜ＳＪ５では、現ブロックと上記各ｍｏｄｅの予測ブロック値との差分絶対値和ＳＡＤを、全てのｍｏｄｅ０〜ｍｏｄｅ８に対応して算出し、その内から最小の差分絶対値和ＳＡＤintraを求める。最小の差分絶対値和ＳＡＤintraは、ｉｎｔｅｒ Ｄ＆Ｑ処理を行うか否かを判断するステップＳＦ４（図１０参照）に用いられる。
全てのｍｏｄｅ０〜ｍｏｄｅ８について差分絶対値和ＳＡＤを算出し終え、その内で最小の差分絶対値和ＳＡＤintraが決定すると、ステップＳＪ３の判断結果が「ＹＥＳ」になり、ステップＳＪ６に進み、最小の差分絶対値和ＳＡＤintraを生成するｍｏｄｅで現ブロックをフレーム内符号化する。以後、上述したステップＳＪ１〜ＳＪ６を全てのブロックについて処理し終えるまで繰り返す。
（４）ｉｎｔｅｒ Ｄ＆Ｑ処理の動作
次に、図１５を参照してｉｎｔｅｒ Ｄ＆Ｑ処理の動作を説明する。前述したステップＳＦ５（図１０参照）を介して本処理が実行されると、図１５に図示するステップＳＫ１に進み、１６×１６画素のマクロブロックを１６分割した４×４画素のブロックの全てについて処理し終えたかどうかを判断する。全てのブロックについて処理し終えていなければ、判断結果は「ＮＯ」となり、ステップＳＫ２に進む。
ステップＳＫ２〜ＳＫ６では、現ブロックの画素値Ｏｒｇ（ｉ，ｊ）からフレーム間予測ブロック値ｒｅｆ（ｉ，ｊ）を減算して生成される予測誤差信号に変換処理（整数ＤＣＴ）、量子化処理Ｑ、逆量子化Ｑ-1および逆変換処理（整数ＤＣＴ-1）を施す。そして、ステップＳＫ７に進み、フレーム間予測ブロック値ｒｅｆ（ｉ，ｊ）を歩進させてから上記ステップＳＫ１に処理を戻す。以後、全てのブロックについて処理し終えるまでステップＳＫ１〜ＳＫ７を繰り返す。
以上のように、空間領域での相関を利用するフレーム内符号化又は時間領域での相関を利用するフレーム間符号化を選択的に用いて動画圧縮する動画像符号化装置では、ブロック画像入力毎に、ｉｎｔｅｒ予測時の生成符号量に相当する最小の差分絶対値和ＳＡＤinterと、ｉｎｔｒａ予測時の生成符号量に相当する最小の差分絶対値和ＳＡＤintraとを算出して大小比較を行い、より差分絶対値和ＳＡＤが小さい側の符号化方式を選択して圧縮符号化するようになっている。
ところで、ｉｎｔｒａ予測時の生成符号量に相当する最小の差分絶対値和ＳＡＤintraを得るには、例えばｉｎｔｒａ４×４ｍｏｄｅであれば、ｍｏｄｅ０〜ｍｏｄｅ８の計９種類の予測方法にて各ｍｏｄｅの予測ブロック値を算出する必要があり、こうした点が演算量の増大を招致する一因となっている。なお、従来技術として説明したＨ．２６４規格による符号化技術については、例えば非特許文献１に開示されている。
Iain E.G.Richardson著、「H.264 and MPEG-4 Video Compression:Video Coding for Next generation Multimedia」、John Wiley & Sons社、２００３年１２月（初版第１版）
上述したフレーム内符号化又はフレーム間符号化を選択的に用いて動画圧縮する動画像符号化装置には、次のような問題がある。
（ａ）例えばシーンチェンジ時や、動きベクトルが正しく検出されない時あるいはフラッシュ等により輝度変化が大きい時などのように参照画像に対して入力画像の変化が著しい場合を除けば、フレーム内符号化が選択されることはほとんど無い。この為、膨大な演算量のｉｎｔｒａ予測処理（図１４参照）が無駄になってしまうという問題がある。
（ｂ）人間の視覚特性を考慮せず、生成符号量の大小比較だけでフレーム内符号化／フレーム間符号化のいずれかを一意的に選択する符号化判定を行うので、高速探索アルゴリズムを用いた動きベクトル探索時にローカルミニマムに陥って量子化誤差伝搬が生じた場合や、量子化値を大きくした低ビットレートの符号化の際にはノイズの目立つ画像に成り易く、画質低下を招致する虞がある。
そこで本発明は、このような事情に鑑みてなされたもので、無駄な演算を行わず、人間の視覚特性を考慮して高速に符号化モードを判定でき、しかもローカルミニマムに陥った場合の量子化誤差伝搬を素速く断ち切り画質低下を回避することができる動画像符号化装置および動画像符号化処理プログラムを提供することを目的としている。
上記目的を達成するため、請求項１に記載の発明では、フレーム内符号化又はフレーム間符号化のいずれかを選択して動画圧縮する動画像符号化装置において、符号化するマクロブロック画像の量子化誤差を代替する第１パラメタ−を算出する第１パラメタ−算出手段と、前記マクロブロック画像の平坦度を表す第２パラメタ−を算出する第２パラメタ−算出手段と、前記マクロブロック画像の動きベクトルの大きさを考慮した第３パラメタ−を算出する第３パラメタ−算出手段と、前記第２パラメタ−と前記第３パラメタ−の積よりも前記第１パラメタ−が大きい場合にフレーム内符号化を選択する第１の符号化判定手段とを具備することを特徴とする。
請求項７に記載の発明では、フレーム内符号化又はフレーム間符号化のいずれかを選択して動画圧縮する動画像符号化プログラムにおいて、符号化するマクロブロック画像の量子化誤差を代替する第１パラメタ−を算出する第１パラメタ−算出処理と、前記マクロブロック画像の平坦度を表す第２パラメタ−を算出する第２パラメタ−算出処理と、前記マクロブロック画像の動きベクトルの大きさを考慮した第３パラメタ−を算出する第３パラメタ−算出処理と、前記第２パラメタ−と前記第３パラメタ−の積よりも前記第１パラメタ−が大きい場合にフレーム内符号化を選択する第１の符号化判定処理とをコンピュータで実行させることを特徴とする。
請求項１、７に記載の発明によれば、符号化するマクロブロック画像をフレーム間符号化する際に、マクロブロック画像の量子化誤差を代替する第１パラメタ−とマクロブロック画像の平坦度を表す第２パラメタ−とマクロブロック画像の動きベクトルの大きさを考慮した第３パラメタ−を算出し、第２パラメタ−と第３パラメタ−の積よりも第１パラメタ−が大きい場合にフレーム内符号化を選択するので、従来、使用頻度が低いにもかかわらず、符号化判定の為に実行されていた、膨大な演算量のｉｎｔｒａ予測処理（図１４参照）を省略でき、無駄な演算を行わず、人間の視覚特性を考慮して高速に符号化モードを判定することができる。
また、視覚的に目立つノイズがあると、即座にフレーム内符号化を選択するので、ローカルミニマムに陥った場合の量子化誤差伝搬を素速く断ち切り画質低下を回避することもできる。
Ａ．発明の概要
人間の視覚特性は、空間的視覚特性と時間的視覚特性とに大別される。空間的視覚特性は、画像の平坦な部分では解像度より階調の感度が高く、平坦でない部分では逆に階調より解像度の感度が高いことが知られている。したがって、動画を静止画の連続として捉えると、空間的視覚特性を考慮する必要が生じる。
ところで、符号化の際に発生する量子化誤差は、逆ＤＣＴされた後に予測画像に加算されて最終的に復号画像の画素毎に生じる。符号化・復号の過程で生じる画素毎の差分値をブロック単位で合算すれば、そのブロックで生じるノイズ量となる。
上述したように、画像の平坦な部分では解像度より階調の感度が高くなる為、ノイズ量が同程度のブロック同士を比較した場合、画像が平坦であるほど視覚的に目立つノイズとなる。具体的には、例えば「人の肌」、「空」あるいは「地面」などの平坦な部分ではノイズは目立つが、「観客席」や「森」などの平坦でない部分のノイズは目立たない。したがって、ブロック単位でノイズ量と平坦度とを検出すれば、そのブロックで生じるノイズが視覚的に目立つものであるか否かを推定できる。
このような知見に基づき、本発明では、符号化しようとする現マクロブロックに、視覚的に目立つノイズが存在するか否かを判断し、視覚的に目立つノイズが存在する場合にのみフレーム内符号化を行う。こうしたことにより、無駄な演算を行わず、人間の視覚特性を考慮して高速に符号化モードを判定し得るようになる。また、後述するように、ローカルミニマムに陥った場合の量子化誤差伝搬を素速く断ち切り画質低下を回避することも可能になる。
Ｂ．第１実施形態
（１）構成
次に、図１を参照して本発明の第１実施形態について説明する。図１は、第１実施形態による動画像符号化装置の概略構成を示すブロック図である。この図に示す動画像符号化装置において、図９に図示した従来例と共通する構成要素には同一の番号を付し、その説明を省略する。
図１に示す動画像符号化装置が図９の従来例と相違する点は、平坦度算出部３０およびノイズ算出部４０とを新たに設ける一方、平坦度算出部３０およびノイズ算出部４０の各出力に応じて判定部２１がフレーム内符号化あるいはフレーム間符号化のいずれかを選択することにある。
平坦度算出部３０は、符号化対象として入力されるブロック画像（現マクロブロック）に周知のアダマール変換を施して平坦度を算出する。具体的には、１６×１６画素の現マクロブロックを１６分割した４×４画素のブロック毎にアダマール変換して得られるアダマール係数の高調波成分係数の絶対和値を、ブロック毎の平坦度ｆｌａｔ（０）〜ｆｌａｔ（１５）として求め、さらにこれらサブブロック毎の平坦度ｆｌａｔ（０）〜ｆｌａｔ（１５）の総和から現マクロブロックの平坦度Ｆｌａｔを得る。
なお、４×４画素のブロック単位で平坦度ｆｌａｔを算出するようにしたのは、下記１）〜３）の理由による。
１）１６×１６画素のマクロブロックについてアダマール変換を行うより４×４画素のブロックについて１６回のアダマール変換を行う方が演算量が圧倒的に少なく処理的に有利であること。
２）４×４画素のアダマール変換は、１６×１６画素のアダマール変換に比べて矩形波分解能が１／４に落ちるものの、本発明が意図する平坦度評価には十分な分解能が得られること。
３）Ｈ．２６４規格の直交変換には、４×４画素のサブブロックに対して整数ＤＣＴが用いられている為、サブブロックの画素値を一時記憶する計算用バッファを平坦度算出用にも共用できること。
ノイズ算出部４０は、画素値に重畳される量子化誤差を抽出してブロック毎のノイズＮｏｉｓｅ（０）〜（１５）を生成する。画素毎の量子化誤差は、現ブロックの画素値Ｏｒｇ（ｉ，ｊ）と参照画像（動き補償されたローカル復号画像）の画素値ｒｅｆ（ｉ，ｊ）との差分値Ａｎ（ｉ，ｊ）と、それをローカル復号した後の差分値Ａ’ｎ（ｉ，ｊ）との差分Ｚｎ（ｉ，ｊ）から求められる。差分Ｚｎ（ｉ，ｊ）の絶対値和が４×４画素のブロック毎のノイズＮｏｉｓｅ（０）〜（１５）となる。
判定部２１では、量子化誤差総量ΣＮｏｉｓｅ（ノイズＮｏｉｓｅ（０）〜（１５）の総和）の代用として、ｉｎｔｅｒ予測時の動きベクトル探索で得られる最小の差分絶対値和ｍｉｎＳＡＤ（以下、ｍｉｎＳＡＤ値と略記する）を用いて誤差状況判定し、この誤差状況判定の結果に応じて第１または第２の符号化判定を行う。
誤差状況判定とは、符号化対象とされる現マクロブロックのｍｉｎＳＡＤ値が閾値ＴＨ１（後述する）より大きいか否かを判定するものである。この誤差状況判定でｍｉｎＳＡＤ値が閾値ＴＨ１より小さければ、第１の符号化判定（後述する）を行い、一方、ｍｉｎＳＡＤ値が閾値ＴＨ１より大きければ、第２の符号化判定（後述する）を行う。
ところで、量子化誤差総量ΣＮｏｉｓｅをｍｉｎＳＡＤ値で代用できる理由について図２を参照して説明する。図２は、放送画像などの一般的な画像において、１６×１６画素のマクロブロック単位で得たｍｉｎＳＡＤ値（ｘ軸）と量子化誤差総量ΣＮｏｉｓｅ（ｙ軸）との関係を図示するグラフである。
このグラフから判るように、ｍｉｎＳＡＤ値は一次関数Ｋ１を境とし、常に量子化誤差総量ΣＮｏｉｓｅを上回る値を取る。このため、量子化誤差総量ΣＮｏｉｓｅをｍｉｎＳＡＤ値で代用しても実際の量子化誤差を見逃す虞がなく、大まかな誤差判定には十分耐え得ることが判る。また、量子化誤差総量ΣＮｏｉｓｅをｍｉｎＳＡＤ値で代用することで演算量増大も回避できる。
判定部２１の誤差状況判定によって量子化誤差（ｍｉｎＳＡＤ値）が小さいと判断されたとしても、マクロブロックの一部画素に視覚的に目立つノイズが存在し、それ以外の他の画素の量子化誤差が少ない状態であれば、平均化されている可能性が残る。
そこで、判定部２１では、マクロブロックを１６分割した４×４画素のブロック単位で抽出される「ノイズＮｏｉｓｅ」と「平坦度ｆｌａｔ」とを勘案した第１の符号化判定を行う。その詳細については追って述べるが、第１の符号化判定では、「ノイズＮｏｉｓｅ」と「平坦度ｆｌａｔ」とから人間が視覚的に判別できるノイズの有無を判断し、視覚的に判別できるノイズが存在する場合にフレーム内符号化を選択するようになっている。
一方、誤差状況判定にて量子化誤差（ｍｉｎＳＡＤ値）が大きいと判断された場合には、一部の画素だけでなくマクロブロック全体に量子化誤差が生じている可能性がある。そこで、判定部２１では、１６×１６画素のマクロブロック単位で「ｍｉｎＳＡＤ値」、「平坦度ｆｌａｔ」および「動きベクトル」を勘案した第２の符号化判定を行う。
ここで、図３を参照して第２の符号化判定の概要について説明する。図３は、視覚的に目立つノイズが有るマクロブロック（グラフ中の黒四角印）の平坦度ｆｌａｔおよびｍｉｎＳＡＤ値、視覚的に目立つノイズが無いマクロブロック（グラフ中の白丸印）の平坦度ｆｌａｔおよびｍｉｎＳＡＤ値をそれぞれプロットしたグラフである。
この図に示すグラフから判るように、ｍｉｎＳＡＤ値が「６００」程度の直線Ａ以上の領域では、直線Ｂで示される一次近似関数を用いて視覚的に目立つノイズが出る領域であるか否かを判別することが可能になる。なお、直線Ａの値とは、上述した誤差状況判定に用いる閾値ＴＨ１に相当する。
したがって、第２の符号化判定では、現マクロブロックの平坦度ｆｌａｔおよびｍｉｎＳＡＤ値が直線Ｂの上側の領域（視覚的に目立つノイズが出る領域）にあるかどうかを判断し、直線Ｂの上側の領域にある場合にフレーム内符号化を選択する。
ところで、物体の移動もしくはカメラパン等により動きベクトルが大きいと、現マクロブロックがぼけた画像になり、その場合、量子化誤差は視覚的に目立たないノイズとなるにもかかわらずｍｉｎＳＡＤ値が大きくなる傾向がある。
そこで、第２の符号化判定では、上述した判定内容を現マクロブロックの動きベクトル（ｕ，ｖ）に応じて適応変化させる必要があることから、結局、次式［１］に基づきフレーム内符号化を行うか否かが判断される。
ｍｉｎＳＡＤ＞（１＋ａ×ｆ（ｍｖ））×ｋ×Ｆｌａｔ …［１］
なお、［１］式において、係数ａは動きベクトルの寄与分を調整する定数、係数ｋは上述した直線Ｂの傾きに相当する定数である。関数ｆ（ｍｖ）は現マクロブロックの動きベクトル（ｕ，ｖ）の大きさ（ｕ2＋ｖ2）である。
（２）動作
次に、図４〜図５を参照して上記構成による第１実施形態の符号化判定動作を説明する。
＜符号化判定処理の動作＞
図４は、ブロック画像入力毎に実行される符号化判定処理の動作を示すフローチャートである。ブロック画像入力に応じて本処理が実行されると、先ずステップＳＡ１において装置各部をイニシャライズした後、ステップＳＡ２に進み、フレーム間予測符号化時の生成符号量を推定するｉｎｔｅｒ予測処理を実行する。このｉｎｔｅｒ予測処理は、図１１に図示した従来例と同一であり、１６×１６画素の現マクロブロックを１６分割した４×４画素のブロックの全てについて動きベクトルを探索するＭＶサーチ処理を行い、ブロック毎のｍｉｎＳＡＤ値を得る。
続いて、ステップＳＡ３では、フレーム間符号化（整数ＤＣＴ、量子化、逆量子化および逆整数ＤＣＴ）を行うｉｎｔｅｒ Ｄ＆Ｑ処理を実行する。そして、ステップＳＡ４では、上記ステップＳＡ２のｉｎｔｅｒ予測処理にて得られるｍｉｎＳＡＤ値が閾値ＴＨ１を超えるか否か、つまり前述の誤差状況判定を実行する。
そして、誤差状況判定にて量子化誤差が小さいと判断された場合には、判断結果が「ＮＯ」になり、ステップＳＡ５に進む。ステップＳＡ５では、フラグＩＮＴＲＡ＿ＦＬＧ（後述する）が「１」か否かを判断する。フラグＩＮＴＲＡ＿ＦＬＧとは、ｉｎｔｅｒＤ＆Ｑ処理（後述する）にて生成されるフラグであり、視覚的に判別できるノイズが現マクロブロックに存在する場合に「１」がセットされる。したがって、このステップＳＡ５は、前述した第１の符号化判定に相当する。
視覚的に判別できるノイズが現マクロブロックに存在していると、フラグＩＮＴＲＡ＿ＦＬＧに「１」がセットされる為、ステップＳＡ５の判断結果は「ＹＥＳ」となり、ステップＳＡ７に進み、フレーム内符号化を行うｉｎｔｒａ Ｄ＆Ｑ処理を実行する。これに対し、視覚的に判別できるノイズが現マクロブロックに存在していなければ、フラグＩＮＴＲＡ＿ＦＬＧには「１」がセットされず、ステップＳＡ５の判断結果は「ＮＯ」となり、本処理を完了させる。
一方、上記ステップＳＡ４の誤差状況判定において、量子化誤差が大きいと判断された場合には、判断結果が「ＹＥＳ」になり、ステップＳＡ６に進む。ステップＳＡ６では、前述した［１］式で表される判定条件に基づき第２の符号化判定を行う。つまり、動きベクトルの大きさを考慮した上で視覚的に目立つノイズが現マクロブロックに存在するかどうかを判断する。視覚的に目立つノイズが有ると、判断結果は「ＹＥＳ」となり、ステップＳＡ７に進み、ｉｎｔｒａ Ｄ＆Ｑ処理を実行する。一方、視覚的に目立つノイズが無ければ、判断結果は「ＮＯ」となり、本処理を完了させる。
＜ｉｎｔｅｒ Ｄ＆Ｑ処理の動作＞
次に、図５を参照してｉｎｔｅｒ Ｄ＆Ｑ処理の動作を説明する。上述したステップＳＡ３（図４参照）を介して本処理が実行されると、図５に図示するステップＳＢ１に進み、１６×１６画素の現マクロブロックを１６分割した４×４画素のブロックの全てについて処理し終えたかどうかを判断する。全てのブロックについて処理し終えると、判断結果は「ＹＥＳ」となり、本処理を完了させるが、そうでなければ、判断結果が「ＮＯ」になり、ステップＳＢ２に進む。ステップＳＢ２では、各ブロック毎にアダマール変換して得られるアダマール係数の高調波成分係数の絶対和値から現ブロックの平坦度ｆｌａｔ（ｎ）を算出する。
次いで、ステップＳＢ３〜ＳＢ７では、現ブロックの画素値Ｏｒｇ（ｉ，ｊ）からフレーム間予測ブロック値（参照画像の画素値）ｒｅｆ（ｉ，ｊ）を減算して生成される予測誤差信号（差分値Ａｎ（ｉ，ｊ））に変換処理（整数ＤＣＴ）、量子化処理Ｑ、逆量子化Ｑ-1および逆変換処理（逆整数ＤＣＴ）を施す。そして、ステップＳＢ８では、上記の差分値Ａｎ（ｉ，ｊ）と、それをローカル復号した後の差分値Ａ’ｎ（ｉ，ｊ）との差分Ｚｎ（ｉ，ｊ）から画素値に重畳される量子化誤差を抽出し、さらに差分Ｚｎ（ｉ，ｊ）の絶対値和を算出して現ブロックのノイズＮｏｉｓｅ（ｎ）を求める。また、ステップＳＢ８では、現ブロックを構成する４×４画素中の量子化誤差最大値ｍａｘ Ｎｏｉｓｅ（ｎ）を検出する。そして、ステップＳＢ９では、フレーム間予測ブロック値ｒｅｆ（ｉ，ｊ）を歩進させる。
続いて、ステップＳＢ１０では、現ブロックのノイズＮｏｉｓｅ値（ｎ）が閾値ＴＨ２より大きく、かつ現ブロックの平坦度ｆｌａｔ（ｎ）が閾値ＴＨ３より小さく、しかも量子化誤差最大値ｍａｘ Ｎｏｉｓｅ（ｎ）が閾値ＴＨ１０より小さいかどうか、すなわち人間が視覚的に判別できるノイズの有無を判断する前述の第１の符号化判定を実行する。
人間が視覚的に判別できるノイズが存在すると、判断結果は「ＹＥＳ」となり、ステップＳＢ１１に進み、フラグＩＮＴＲＡ＿ＦＬＧに「１」をセットした後、ステップＳＢ１に処理を戻す。一方、人間が視覚的に判別できるノイズが存在しなければ、判断結果が「ＮＯ」になり、ステップＳＢ１に処理を戻す。
このように、本実施形態では、ｉｎｔｅｒ予測時の動きベクトル探索で得られるｍｉｎＳＡＤ値を、符号化対象とする現マクロブロックの量子化誤差総量ΣＮｏｉｓｅを表す評価値に代用し、このｍｉｎＳＡＤ値が閾値ＴＨ１を超えるか否かで量子化誤差の大きさを大まかに判断する誤差状況判定を行う。そして、この誤差状況判定で量子化誤差が小さいと見做された場合には、現マクロブロックを１６分割した４×４画素のブロック毎に検出した平坦度ｆｌａｔおよびノイズＮｏｉｓｅに基づき現マクロブロックの一部画素に視覚的に目立つノイズがあるかどうかを判断し、視覚的に目立つノイズがあれば、フレーム内符号化を選択する。一方、誤差状況判定で量子化誤差が大きいと見做された場合には、動きベクトルの大きさを考慮した上で視覚的に目立つノイズが現マクロブロックに存在するかどうかを判断し、視覚的に目立つノイズがあれば、フレーム内符号化を選択する。
これにより、従来では使用頻度が低いにもかかわらず、符号化判定の為に実行されていた、膨大な演算量のｉｎｔｒａ予測処理（図１４参照）を省略するので、無駄な演算を行わず、人間の視覚特性を考慮して高速に符号化モードを判定することが可能になっている。
また、平坦度ｆｌａｔおよびノイズＮｏｉｓｅに基づき現マクロブロックに目立つノイズがあるかどうかを判断し、視覚的に目立つノイズがあれば、即座にフレーム内符号化を選択するようにしたので、ローカルミニマムに陥った場合の量子化誤差伝搬を素速く断ち切り画質低下を回避することも可能になっている。
Ｃ．第２実施形態
次に、図６を参照して第２実施形態による符号化判定処理の動作を説明する。上述の第１実施形態と同様、ブロック画像入力に応じて本処理が実行されると、ステップＳＣ１にて装置各部をイニシャライズした後、ステップＳＣ２に進み、フレーム間予測符号化時の生成符号量を推定するｉｎｔｅｒ予測処理を実行し、１６×１６画素の現マクロブロックを１６分割した４×４画素のブロック毎のｍｉｎＳＡＤ値を得る。
次いで、ステップＳＣ３では、上記ステップＳＣ２のｉｎｔｅｒ予測処理にて得られるｍｉｎＳＡＤ値が閾値ＴＨ１を超えるか否か、つまり量子化誤差が小さいかどうかを判断する誤差状況判定を行う。そして、量子化誤差が小さいと判断された場合には、判断結果が「ＮＯ」になり、ステップＳＣ４に進む。ステップＳＣ４では、フレーム間符号化を行いつつ、４×４画素のブロック毎に検出した平坦度ｆｌａｔおよびノイズＮｏｉｓｅに基づき現マクロブロックの一部画素に視覚的に目立つノイズがあるかどうかを判断し、視覚的に目立つノイズがあれば、フラグＩＮＴＲＡ＿ＦＬＧに「１」をセットするｉｎｔｅｒ Ｄ＆Ｑ処理（図５参照）を実行する。
ステップＳＣ５では、フラグＩＮＴＲＡ＿ＦＬＧが「１」であるか否か、すなわち上記ステップＳＣ４のｉｎｔｅｒ Ｄ＆Ｑ処理において、視覚的に目立つノイズを検出したかどうかを判断する。視覚的に目立つノイズを検出していると、判断結果は「ＹＥＳ」になり、ステップＳＣ６に進み、フレーム内符号化を行うｉｎｔｒａ Ｄ＆Ｑ処理を実行する。これに対し、視覚的に判別できるノイズを検出していなければ、ステップＳＣ５の判断結果は「ＮＯ」となり、本処理を完了させる。
一方、量子化誤差が大きいと判断された場合には、上記ステップＳＣ３の判断結果が「ＹＥＳ」になり、ステップＳＣ７に進む。ステップＳＣ７では、第１実施形態と同様、前述の［１］式で表される判定条件に基づき、動きベクトルの大きさを考慮した上で視覚的に目立つノイズが現マクロブロックに存在するかどうかを判断する。視覚的に目立つノイズが現マクロブロックに存在しなければ、判断結果は「ＮＯ」になり、ステップＳＣ８に進む。
ステップＳＣ８では、フレーム間符号化を行うｉｎｔｅｒ Ｄ＆Ｑ処理（図１５参照）を実行する。これに対し、視覚的に目立つノイズが現マクロブロックに存在する場合には、上記ステップＳＣ７の判断結果が「ＹＥＳ」となり、ステップＳＣ６に進み、フレーム内符号化を行うｉｎｔｒａ Ｄ＆Ｑ処理を実行して本処理を終える。
このように、第２実施形態では、ｉｎｔｅｒ予測時の動きベクトル探索で得られるｍｉｎＳＡＤ値を、符号化対象とする現マクロブロックの量子化誤差総量ΣＮｏｉｓｅを表す評価値に代用し、このｍｉｎＳＡＤ値が閾値ＴＨ１を超えるか否かで量子化誤差の大きさを大まかに判断する誤差状況判定を行い、これにより量子化誤差が小さいと見做された場合には、現マクロブロックを１６分割した４×４画素のブロック毎に検出した平坦度ｆｌａｔおよびノイズＮｏｉｓｅに基づき現マクロブロックの一部画素に視覚的に目立つノイズがあるかどうかを判断する。そして、視覚的に目立つノイズがある場合にフレーム内符号化を選択する。
一方、誤差状況判定で量子化誤差が大きいと見做された場合には、動きベクトルの大きさを考慮した上で視覚的に目立つノイズが現マクロブロックに存在するかどうかを判断する。視覚的に目立つノイズが無ければ、フレーム間符号化を選択し、一方、視覚的に目立つノイズが有ると、フレーム内符号化を選択する。
したがって、第１実施形態と同様、膨大な演算量のｉｎｔｒａ予測処理（図１４参照）を省略する為、無駄な演算を行わず、人間の視覚特性を考慮して高速に符号化モードを判定することが可能になっている。また、平坦度ｆｌａｔおよびノイズＮｏｉｓｅに基づき現マクロブロックに目立つノイズがあるかどうかを判断し、視覚的に目立つノイズがあれば、即座にフレーム内符号化を選択する為、ローカルミニマムに陥った場合の量子化誤差伝搬を素速く断ち切り画質低下を回避することも可能になる。
Ｄ．第３実施形態
次に、図７を参照して第３実施形態による符号化判定処理の動作を説明する。上述の第１実施形態と同様、ブロック画像入力に応じて本処理が実行されると、ステップＳＤ１にて装置各部をイニシャライズした後、ステップＳＤ２に進み、フレーム間予測符号化時の生成符号量を推定するｉｎｔｅｒ予測処理を実行し、１６×１６画素の現マクロブロックを１６分割した４×４画素のブロック毎のｍｉｎＳＡＤ値を得る。次いで、ステップＳＤ３では、上記ステップＳＤ２のｉｎｔｅｒ予測処理にて得られるｍｉｎＳＡＤ値が閾値ＴＨ１を超えるか否か、つまり量子化誤差が小さいかどうかを判断する誤差状況判定を行う。
誤差状況判定で量子化誤差が小さいと判断された場合には、判断結果が「ＮＯ」になり、ステップＳＤ４に進む。ステップＳＤ４では、４×４画素のブロック毎にアダマール変換して得られるアダマール係数の高調波成分係数の絶対和値から現マクロブロックの平坦度Ｆｌａｔを算出する。次いで、ステップＳＤ５では、算出した平坦度Ｆｌａｔが閾値ＴＨ３より小さいか否か、すなわち視覚的にノイズが目立つ平坦度であるかどうかを判断する。
視覚的にノイズが目立ち難い平坦度ならば、判断結果は「ＮＯ」になり、ステップＳＤ８に進み、フレーム間符号化（整数ＤＣＴ、量子化、逆量子化および逆整数ＤＣＴ）を行うｉｎｔｅｒ
Ｄ＆Ｑ処理（図１５参照）を実行する。これに対し、視覚的にノイズが目立ち易い平坦度であると、上記ステップＳＤ５の判断結果が「ＹＥＳ」になり、ステップＳＤ６に進み、フレーム内符号化を行うｉｎｔｒａ
Ｄ＆Ｑ処理を実行する。
一方、量子化誤差が大きいと判断された場合には、上記ステップＳＤ３の判断結果が「ＹＥＳ」になり、ステップＳＤ７に進む。ステップＳＤ７では、第１実施形態と同様、前述の［１］式で表される判定条件に基づき、動きベクトルの大きさを考慮した上で視覚的に目立つノイズが現マクロブロックに存在するかどうかを判断する。視覚的に目立つノイズが現マクロブロックに存在しなければ、判断結果は「ＮＯ」になり、ステップＳＤ８に進み、フレーム間符号化を行うｉｎｔｅｒ Ｄ＆Ｑ処理（図１５参照）を実行する。
これに対し、視覚的に目立つノイズが現マクロブロックに存在する場合には、上記ステップＳＤ７の判断結果が「ＹＥＳ」となり、ステップＳＤ６に進み、フレーム内符号化を行うｉｎｔｒａ Ｄ＆Ｑ処理を実行して本処理を終える。
このように、第３実施形態では、ｉｎｔｅｒ予測時の動きベクトル探索で得られるｍｉｎＳＡＤ値を、符号化対象とする現マクロブロックの量子化誤差総量ΣＮｏｉｓｅを表す評価値に代用し、このｍｉｎＳＡＤ値が閾値ＴＨ１を超えるか否かで量子化誤差の大きさを大まかに判断する誤差状況判定を行い、これにより量子化誤差が小さいと見做された場合には、現マクロブロックの平坦度を算出し、視覚的にノイズが目立ち難い平坦度であるかどうかを判断する。
視覚的にノイズが目立ち難い場合には、フレーム間符号化を行い、視覚的にノイズが目立ち易い場合には、フレーム内符号化を行う。一方、量子化誤差が大きいと見做された場合には、動きベクトルの大きさを考慮した上で視覚的に目立つノイズが現マクロブロックに存在するかどうかを判断し、視覚的に目立つノイズが無ければ、フレーム間符号化を選択し、一方、視覚的に目立つノイズが有ると、フレーム内符号化を選択する。
したがって、第１実施形態と同様、膨大な演算量のｉｎｔｒａ予測処理（図１４参照）を省略する為、無駄な演算を行わず、人間の視覚特性を考慮して高速に符号化モードを判定することが可能になる上、視覚的に目立つノイズがあれば、即座にフレーム内符号化を選択する為、ローカルミニマムに陥った場合の量子化誤差伝搬を素速く断ち切り画質低下を回避することも可能になる。
Ｅ．第４実施形態
次に、図８を参照して第４実施形態による符号化判定処理の動作を説明する。上述の第１実施形態と同様、ブロック画像入力に応じて本処理が実行されると、ステップＳＥ１にて装置各部をイニシャライズした後、ステップＳＥ２に進み、フレーム間予測符号化時の生成符号量を推定するｉｎｔｅｒ予測処理を実行する。次いで、ステップＳＥ３では、フレーム間符号化を行いつつ、４×４画素のブロック毎に検出した平坦度ＦｌａｔおよびノイズＮｏｉｓｅに基づき現マクロブロックの一部画素に視覚的に目立つノイズがあるかどうかを判断し、視覚的に目立つノイズがあれば、フラグＩＮＴＲＡ＿ＦＬＧに「１」をセットするｉｎｔｅｒ Ｄ＆Ｑ処理（図５参照）を実行する。
続いて、ステップＳＥ４では、上記ステップＳＥ３のｉｎｔｅｒ Ｄ＆Ｑ処理にて得られるノイズＮｏｉｓｅの総和、すなわち現マクロブロックにおける量子化誤差総量ΣＮｏｉｓｅが閾値ＴＨ１を超えるか否か、つまり量子化誤差総量ΣＮｏｉｓｅが小さいかどうかを判断する。量子化誤差総量ΣＮｏｉｓｅが小さいと判断された場合には、判断結果が「ＮＯ」になり、ステップＳＥ５に進む。ステップＳＥ５では、フラグＩＮＴＲＡ＿ＦＬＧが「１」であるか否か、すなわち上記ステップＳＥ３のｉｎｔｅｒ Ｄ＆Ｑ処理において、視覚的に目立つノイズを検出したかどうかを判断する。視覚的に目立つノイズを検出していると、判断結果は「ＹＥＳ」になり、ステップＳＥ７に進み、フレーム内符号化を行うｉｎｔｒａ Ｄ＆Ｑ処理を実行する。これに対し、視覚的に判別できるノイズを検出していなければ、ステップＳＥ５の判断結果は「ＮＯ」となり、本処理を完了させる。
一方、量子化誤差総量ΣＮｏｉｓｅが大きいと判断された場合には、上記ステップＳＥ４の判断結果が「ＹＥＳ」になり、ステップＳＥ７に進む。ステップＳＥ７では、次式［２］で表される判定条件に基づき、動きベクトルの大きさを考慮した上で視覚的に目立つノイズが現マクロブロックに存在するかどうかを判断する。
ΣＮｏｉｓｅ＞（１＋ａ×ｆ（ｍｖ））×ｋ×Ｆｌａｔ…［２］
なお、［２］式において、係数ａは動きベクトルの寄与分を調整する定数、係数ｋは上述した直線Ｂの傾きに相当する定数である。関数ｆ（ｍｖ）は現マクロブロックの動きベクトル（ｕ，ｖ）の大きさ（ｕ2＋ｖ2）である。
視覚的に目立つノイズが有ると、上記ステップＳＥ６の判断結果は「ＹＥＳ」となり、ステップＳＥ７に進み、フレーム内符号化を行うｉｎｔｒａ Ｄ＆Ｑ処理を実行する。一方、視覚的に目立つノイズが無ければ、判断結果は「ＮＯ」となり、本処理を完了させる。
このように、第４実施形態では、量子化誤差総量ΣＮｏｉｓｅが閾値ＴＨ１を超えるか否かで現マクロブロックの量子化誤差の大きさを判断し、量子化誤差が小さい場合には、現マクロブロックを１６分割した４×４画素のブロック毎に検出した平坦度ｆｌａｔおよびノイズＮｏｉｓｅに基づき現マクロブロックの一部画素に視覚的に目立つノイズがあるかどうかを判断する。そして、視覚的に目立つノイズがある場合にはフレーム内符号化を選択する。一方、量子化誤差が大きい場合には、動きベクトルの大きさを考慮した上で視覚的に目立つノイズが現マクロブロックに存在するかどうかを判断し、視覚的に目立つノイズが有ると、フレーム内符号化を選択する。
したがって、第１実施形態と同様、膨大な演算量のｉｎｔｒａ予測処理（図１４参照）を省略する為、無駄な演算を行わず、人間の視覚特性を考慮して高速に符号化モードを判定することが可能になっている。また、平坦度ｆｌａｔおよびノイズＮｏｉｓｅに基づき現マクロブロックに目立つノイズがあるかどうかを判断し、視覚的に目立つノイズがあれば、即座にフレーム内符号化を選択する為、ローカルミニマムに陥った場合の量子化誤差伝搬を素速く断ち切り画質低下を回避することも可能になる。
本発明による第１実施形態の構成を示すブロック図である。 放送画像などの一般的な画像のｍｉｎＳＡＤ値（ｘ軸）と量子化誤差総量ΣＮｏｉｓｅ（ｙ軸）との対応関係を図示したグラフである。 視覚的に目立つノイズが有るマクロブロックの平坦度ｆｌａｔ／ｍｉｎＳＡＤ値および視覚的に目立つノイズが無いマクロブロックの平坦度ｆｌａｔ／ｍｉｎＳＡＤ値をプロットしたグラフである。 第１実施形態による符号化判定処理の動作を示すフローチャートである。 第１実施形態によるｉｎｔｅｒＤ＆Ｑ処理の動作を示すフローチャートである。 第２実施形態による符号化判定処理の動作を示すフローチャートである。 第３実施形態による符号化判定処理の動作を示すフローチャートである。 第４実施形態による符号化判定処理の動作を示すフローチャートである。 従来例の動画像符号化装置の構成を示すブロック図である。 従来例の符号化判定処理の動作を示すフローチャートである。 従来例のＩｎｔｅｒ予測処理の動作を示すフローチャートである。 従来例のＭＶサーチ処理の動作を示すフローチャートである。 １６×１６画素のマクロブロックと４×４画素のブロックとの関係を示す図である。 従来例のＩｎｔｒａ予測処理の動作を示すフローチャートである。 従来例のＩｎｔｅｒＤ＆Ｑ処理の動作を示すフローチャートである。
符号の説明
１０ 減算器
１１ 変換／量子化部
１２ エントロピー符号化部
１３ 逆量子化／逆変換部
１４ 加算器
１５ ループフィルタ
１６ フレームメモリ
１７ フレーム内予測部
１８ 動き検出部
１９ 動き補償部
２０ セレクタ
２１ 判定部
３０ 平坦度算出部
４０ ノイズ算出部

Claims (12)

  1. フレーム内符号化又はフレーム間符号化のいずれかを選択して動画圧縮する動画像符号化装置において、
    符号化するマクロブロック画像の量子化誤差を代替する第１パラメタ−を算出する第１パラメタ−算出手段と、
    前記マクロブロック画像の平坦度を表す第２パラメタ−を算出する第２パラメタ−算出手段と、
    前記マクロブロック画像の動きベクトルの大きさを考慮した第３パラメタ−を算出する第３パラメタ−算出手段と、
    前記第２パラメタ−と前記第３パラメタ−の積よりも前記第１パラメタ−が大きい場合にフレーム内符号化を選択する第１の符号化判定手段と
    を具備する動画符号化装置
  2. 前記第１パラメタ−が所定の閾値よりも大きい場合に前記第１の符号化判定手段による判定を行う第２の符号化判定手段をさらに具備することを特徴とする請求項１に記載の動画符号化装置。
  3. 前記第２の判定手段による判定に先だって、フレーム間符号化を行うことを特徴とする請求項２に記載の動画符号化装置。
  4. 前記第２の判定手段による判定が否であった場合にフレーム間符号化を行うことを特徴とする請求項２に記載の動画符号化装置。
  5. 前記第２の判定手段による判定が否であった場合に前記第２のパラメタ−が所定の閾値よりも小さい場合にフレーム内符号化を行うことを特徴とする請求項２に記載の動画符号化装置。
  6. 前記第１パラメタ−は、最も相関の高い動きベクトルを検出した時の差分絶対値和であることを特徴とする請求項１〜５のいずれかに記載の動画像符号化装置。
  7. フレーム内符号化又はフレーム間符号化のいずれかを選択して動画圧縮する動画像符号化プログラムにおいて、
    符号化するマクロブロック画像の量子化誤差を代替する第１パラメタ−を算出する第１パラメタ−算出処理と、
    前記マクロブロック画像の平坦度を表す第２パラメタ−を算出する第２パラメタ−算出処理と、
    前記マクロブロック画像の動きベクトルの大きさを考慮した第３パラメタ−を算出する第３パラメタ−算出処理と、
    前記第２パラメタ−と前記第３パラメタ−の積よりも前記第１パラメタ−が大きい場合にフレーム内符号化を選択する第１の符号化判定処理と
    をコンピュータで実行させることを特徴とする動画符号化処理プログラム。
  8. 前記第１パラメタ−が所定の閾値よりも大きい場合に前記第１の符号化判定処理による判定を行う第２の符号化判定処理をさらに実行させることを特徴とする請求項７に記載の動画符号化処理プログラム。
  9. 前記第２の判定処理による判定に先だって、フレーム間符号化を行うことを特徴とする請求項８に記載の動画符号化処理プログラム。
  10. 前記第２の判定処理による判定が否であった場合にフレーム間符号化を行うことを特徴とする請求項８に記載の動画符号化処理プログラム。
  11. 前記第２の判定処理による判定が否であった場合に前記第２のパラメタ−が所定の閾値よりも小さい場合にフレーム内符号化を行うことを特徴とする請求項８に記載の動画符号化処理プログラム。
  12. 前記第１パラメタ−は、最も相関の高い動きベクトルを検出した時の差分絶対値和であることを特徴とする請求項７〜１１のいずれかに記載の動画符号化処理プログラム。
JP2004320088A 2004-11-04 2004-11-04 動画像符号化装置および動画像符号化処理プログラム Expired - Fee Related JP4877449B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004320088A JP4877449B2 (ja) 2004-11-04 2004-11-04 動画像符号化装置および動画像符号化処理プログラム
PCT/JP2005/020689 WO2006049335A1 (ja) 2004-11-04 2005-11-04 動画像符号化装置および動画像符号化処理プログラム
US11/504,021 US8121193B2 (en) 2004-11-04 2006-08-14 Motion picture encoding device and motion picture encoding processing program
US13/351,711 US8824552B2 (en) 2004-11-04 2012-01-17 Motion picture encoding device and motion picture encoding processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004320088A JP4877449B2 (ja) 2004-11-04 2004-11-04 動画像符号化装置および動画像符号化処理プログラム

Publications (3)

Publication Number Publication Date
JP2006135461A JP2006135461A (ja) 2006-05-25
JP2006135461A5 JP2006135461A5 (ja) 2007-12-06
JP4877449B2 true JP4877449B2 (ja) 2012-02-15

Family

ID=36319322

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004320088A Expired - Fee Related JP4877449B2 (ja) 2004-11-04 2004-11-04 動画像符号化装置および動画像符号化処理プログラム

Country Status (3)

Country Link
US (2) US8121193B2 (ja)
JP (1) JP4877449B2 (ja)
WO (1) WO2006049335A1 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006254225A (ja) * 2005-03-11 2006-09-21 Toshiba Corp 可変長符号の復号装置及び復号方法
CN101292537B (zh) * 2005-11-08 2010-10-20 松下电器产业株式会社 运动图像编码方法、运动图像解码方法以及装置
US7667776B2 (en) * 2006-02-06 2010-02-23 Vixs Systems, Inc. Video display device, video encoder, noise level estimation module and methods for use therewith
JP4901450B2 (ja) * 2006-12-19 2012-03-21 株式会社東芝 動画像符号化装置
US8737485B2 (en) * 2007-01-31 2014-05-27 Sony Corporation Video coding mode selection system
JP4748603B2 (ja) * 2007-02-28 2011-08-17 株式会社Ｋｄｄｉ研究所 動画像符号化装置
JP4739295B2 (ja) * 2007-08-27 2011-08-03 日本電信電話株式会社 映像信号生成装置、映像信号生成方法、映像信号生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
KR101496324B1 (ko) * 2007-10-17 2015-02-26 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US8363719B2 (en) * 2007-10-29 2013-01-29 Canon Kabushiki Kaisha Encoding apparatus, method of controlling thereof, and computer program
JP5081729B2 (ja) * 2008-06-03 2012-11-28 株式会社日立国際電気 画像符号化装置
US8503527B2 (en) 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
JP5339855B2 (ja) * 2008-10-31 2013-11-13 キヤノン株式会社 動きベクトル探索装置、動きベクトル探索方法、画像処理装置、画像処理方法、プログラム及び記憶媒体
KR101538704B1 (ko) * 2009-01-28 2015-07-28 삼성전자주식회사 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치
KR20100095992A (ko) * 2009-02-23 2010-09-01 한국과학기술원 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
JP5215951B2 (ja) * 2009-07-01 2013-06-19 キヤノン株式会社 符号化装置及びその制御方法、コンピュータプログラム
US20120019727A1 (en) * 2010-07-21 2012-01-26 Fan Zhai Efficient Motion-Adaptive Noise Reduction Scheme for Video Signals
US9532059B2 (en) 2010-10-05 2016-12-27 Google Technology Holdings LLC Method and apparatus for spatial scalability for video coding
US8787454B1 (en) * 2011-07-13 2014-07-22 Google Inc. Method and apparatus for data compression using content-based features
US9094681B1 (en) 2012-02-28 2015-07-28 Google Inc. Adaptive segmentation
US11317101B2 (en) * 2012-06-12 2022-04-26 Google Inc. Inter frame candidate selection for a video encoder
US8396127B1 (en) * 2012-06-27 2013-03-12 Google Inc. Segmentation for video coding using predictive benefit
JP2012227955A (ja) * 2012-07-12 2012-11-15 Hitachi Kokusai Electric Inc 画像符号化装置
US9332276B1 (en) 2012-08-09 2016-05-03 Google Inc. Variable-sized super block based direct prediction mode
US9380298B1 (en) 2012-08-10 2016-06-28 Google Inc. Object-based intra-prediction
US9288484B1 (en) 2012-08-30 2016-03-15 Google Inc. Sparse coding dictionary priming
US9369732B2 (en) 2012-10-08 2016-06-14 Google Inc. Lossless intra-prediction video coding
US9210432B2 (en) * 2012-10-08 2015-12-08 Google Inc. Lossless inter-frame video coding
US9756346B2 (en) 2012-10-08 2017-09-05 Google Inc. Edge-selective intra coding
US9407915B2 (en) 2012-10-08 2016-08-02 Google Inc. Lossless video coding with sub-frame level optimal quantization values
US9300906B2 (en) * 2013-03-29 2016-03-29 Google Inc. Pull frame interpolation
US9106888B2 (en) * 2013-09-25 2015-08-11 Apple Inc. Reducing quantization artifacts using neighbor-based weighted dithering
US9286653B2 (en) 2014-08-06 2016-03-15 Google Inc. System and method for increasing the bit depth of images
JP6052319B2 (ja) * 2015-03-25 2016-12-27 Ｎｔｔエレクトロニクス株式会社 動画像符号化装置
DE102016207017A1 (de) 2016-04-26 2017-10-26 Trumpf Laser Gmbh Pumplichtanordnung, Scheibenlaser damit und Verfahren zum Pumpen eines laseraktiven Mediums
EP3370419B1 (en) 2017-03-02 2019-02-13 Axis AB A video encoder and a method in a video encoder
EP3987794A4 (en) * 2019-06-21 2022-09-07 Huawei Technologies Co., Ltd. ENCODER, DECODER AND METHOD THEREOF

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH082106B2 (ja) * 1986-11-10 1996-01-10 国際電信電話株式会社 動画像信号のハイブリツド符号化方式
JP3219205B2 (ja) * 1992-02-17 2001-10-15 ソニー株式会社 画像データ処理装置
EP0557007A2 (en) 1992-02-15 1993-08-25 Sony Corporation Picture processing apparatus
US5436665A (en) * 1992-03-03 1995-07-25 Kabushiki Kaisha Toshiba Motion picture coding apparatus
US5387938A (en) * 1992-10-08 1995-02-07 Matsushita Electric Industrial Co., Ltd. Adaptive interframe/intraframe block coding method and apparatus
US5724097A (en) * 1993-10-18 1998-03-03 Mitsubishi Denki Kabushiki Kaisha Adaptive quantization of video based on edge detection
JP3954656B2 (ja) * 1994-09-29 2007-08-08 ソニー株式会社 画像符号化装置及び方法
US6415057B1 (en) * 1995-04-07 2002-07-02 Sony Corporation Method and apparatus for selective control of degree of picture compression
US6151360A (en) * 1995-04-28 2000-11-21 Sony Corporation Method for encoding video signal using statistical information
JPH09163373A (ja) * 1995-12-08 1997-06-20 Toshiba Corp 雑音低減装置
JPH09214975A (ja) * 1996-02-02 1997-08-15 Graphics Commun Lab:Kk シーンチェンジ適応動画像符号化方法および装置
GB2311184A (en) * 1996-03-13 1997-09-17 Innovision Plc Motion vector field error estimation
JPH09294262A (ja) * 1996-04-26 1997-11-11 Hitachi Ltd 画像符号化装置
JPH1079948A (ja) * 1996-09-03 1998-03-24 Mitsubishi Electric Corp 画像符号化装置
JP3633159B2 (ja) * 1996-12-18 2005-03-30 ソニー株式会社 動画像信号符号化方法及び装置、並びに動画像信号伝送方法
JP3633204B2 (ja) * 1997-05-14 2005-03-30 ソニー株式会社 信号符号化装置、信号符号化方法、信号記録媒体及び信号伝送方法
EP0921497B1 (en) * 1997-12-02 2004-03-24 Daewoo Electronics Corporation Interlaced binary shape coding apparatus
JP2000134631A (ja) * 1998-10-23 2000-05-12 Canon Inc 画像符号化装置、方法、画像復号化装置、方法及びコンピュータ読み取り可能な記憶媒体
JP2000138937A (ja) * 1998-10-30 2000-05-16 Sony Corp 画像圧縮符号化方法及び装置
US6625211B1 (en) * 1999-02-25 2003-09-23 Matsushita Electric Industrial Co., Ltd. Method and apparatus for transforming moving picture coding system
US6295089B1 (en) * 1999-03-30 2001-09-25 Sony Corporation Unsampled hd MPEG video and half-pel motion compensation
JP3630590B2 (ja) * 1999-08-25 2005-03-16 沖電気工業株式会社 復号化装置及び伝送システム
US7266148B2 (en) * 2001-01-05 2007-09-04 Lg Electronics Inc. Video transcoding apparatus
JP4644939B2 (ja) * 2001-01-17 2011-03-09 日本電気株式会社 動画像符号化装置および動画像符号化方法
CN1224273C (zh) * 2001-03-12 2005-10-19 皇家菲利浦电子有限公司 视频编码器和记录设备
US6831947B2 (en) * 2001-03-23 2004-12-14 Sharp Laboratories Of America, Inc. Adaptive quantization based on bit rate prediction and prediction error energy
WO2002102086A2 (en) * 2001-06-12 2002-12-19 Miranda Technologies Inc. Apparatus and method for adaptive spatial segmentation-based noise reducing for encoded image signal
JP2003037844A (ja) * 2001-07-23 2003-02-07 Sharp Corp 動画像符号化装置
US7944971B1 (en) * 2002-07-14 2011-05-17 Apple Inc. Encoding video
US7173971B2 (en) * 2002-11-20 2007-02-06 Ub Video Inc. Trailing artifact avoidance system and method
JP2006519564A (ja) * 2003-03-03 2006-08-24 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ビデオ符号化
US20060188014A1 (en) * 2005-02-23 2006-08-24 Civanlar M R Video coding and adaptation by semantics-driven resolution control for transport and storage
US8031946B2 (en) * 2008-03-27 2011-10-04 Texas Instruments Incorporated Reduced calculations in determining intra-prediction type method and system
JP5156704B2 (ja) * 2008-07-29 2013-03-06 パナソニック株式会社 画像符号化装置、画像符号化方法、集積回路及びカメラ

Also Published As

Publication number Publication date
US8824552B2 (en) 2014-09-02
JP2006135461A (ja) 2006-05-25
US20070019729A1 (en) 2007-01-25
US20120114035A1 (en) 2012-05-10
US8121193B2 (en) 2012-02-21
WO2006049335A1 (ja) 2006-05-11

Similar Documents

Publication Publication Date Title
JP4877449B2 (ja) 動画像符号化装置および動画像符号化処理プログラム
JP4528694B2 (ja) 動画像符号化装置
JP4529919B2 (ja) 適応量子化装置及び適応量子化プログラム
JP4650173B2 (ja) 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
WO2010137323A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法、および映像復号方法
JP5173409B2 (ja) 符号化装置および符号化装置を備えた動画像記録システム
JP4804107B2 (ja) 画像符号化装置、画像符号化方法及びそのプログラム
JP2006140758A (ja) 動画像符号化方法、動画像符号化装置および動画像符号化プログラム
JP5133290B2 (ja) 動画像符号化装置および復号装置
JP4690966B2 (ja) 動画像符号化装置
JP6149707B2 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像撮影装置
JP2009021927A (ja) 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
JP2004241957A (ja) 画像処理装置および符号化装置とそれらの方法
JP2004215275A (ja) 動き補償に基づいた改善されたノイズ予測方法及びその装置とそれを使用した動画符号化方法及びその装置
JP2001128179A (ja) 動画像符号化装置および方法
JP2005086249A (ja) 動画像符号化方法および動画像符号化装置
JP4971817B2 (ja) 画像符号化装置
JP4911625B2 (ja) 画像処理装置、およびそれを搭載した撮像装置
JP5003534B2 (ja) トランスコード装置、トランスコード方法およびトランスコードプログラム
JP5000012B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP4100067B2 (ja) 画像情報変換方法及び画像情報変換装置
JP2008153802A (ja) 動画像符号化装置及び動画像符号化プログラム
KR100188680B1 (ko) 이산코싸인 변환 모드 선택 장치 및 방법
JPH06105299A (ja) 動画像圧縮装置
JP2020102798A (ja) 動画像符号化装置、イントラリフレッシュ制御装置およびそれらのプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071022

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111102

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111115

R150 Certificate of patent or registration of utility model

Ref document number: 4877449

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141209

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees