JP4732184B2 - 動画像符号化装置及びその制御方法、コンピュータプログラム、記憶媒体 - Google Patents

動画像符号化装置及びその制御方法、コンピュータプログラム、記憶媒体 Download PDF

Info

Publication number
JP4732184B2
JP4732184B2 JP2006044299A JP2006044299A JP4732184B2 JP 4732184 B2 JP4732184 B2 JP 4732184B2 JP 2006044299 A JP2006044299 A JP 2006044299A JP 2006044299 A JP2006044299 A JP 2006044299A JP 4732184 B2 JP4732184 B2 JP 4732184B2
Authority
JP
Japan
Prior art keywords
image data
restored
orthogonal transform
restored image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006044299A
Other languages
English (en)
Other versions
JP2007228077A5 (ja
JP2007228077A (ja
Inventor
大輔 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2006044299A priority Critical patent/JP4732184B2/ja
Priority to US11/675,215 priority patent/US8275034B2/en
Publication of JP2007228077A publication Critical patent/JP2007228077A/ja
Publication of JP2007228077A5 publication Critical patent/JP2007228077A5/ja
Application granted granted Critical
Publication of JP4732184B2 publication Critical patent/JP4732184B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Description

本発明は、動画像符号化装置及びその制御方法、コンピュータプログラム、記憶媒体に関する。
近年、マルチメディアに関連する情報のデジタル化が急進しており、それに伴い映像情報の高画質化に向けた要求が高まっている。具体的な例として、放送メディアの従来の720×480画素のSD(Standard Definition)から、1920×1080画素のHD(High Definition)への移行を挙げることができる。しかしながら、この高画質に対する要求は同時にデータ量の増大を引き起こし、結果として、従来の性能を上回る圧縮符号化技術及び復号化技術が求められることとなった。
これらの要求に対し、ITU−T SG16やISO/IEC JTC1/SC29/WG11の活動で画像間の相関を利用したフレーム間予測を用いた符号化圧縮方式の標準化作業が進められている。この中でも、現状最も高能率符号化を実現しているといわれる符号化方式に、H.264/MPEG−4 PART10(AVC)(以下、H.264と呼ぶ)がある。なお、H.264の符号化・復号化の仕様については、例えば特許文献1などに開示されている。
このH.264で新たに導入された技術の一つとして、フレーム間予測符号化に用いる参照画像を、複数の画像の中から選択する技術がある(以下、複数参照フレーム間予測と呼ぶ)。
従来のMPEG−1、MPEG−2、MPEG−4等の符号化方式(以下、MPEG符号化方式と呼ぶ)では、動きの予測を行う場合、順方向予測及び逆方向予測の機能を有している。ここで、順方向予測とは、時間的に前に位置する画像フレームから時間的に後に位置する画像フレームを予測する予測方式をいう。また、逆方向予測とは、時間的に後に位置する画像フレームから時間的に前に位置する画像フレームを予測する予測方式をいう。例えば、逆方向予測では、現在の画像フレームに基づいて、それ以前の符号化をスキップした画像フレームを予測することができる。
このMPEG符号化方式における順方向予測及び逆方向予測では、処理対象となる画像の直前又は直後の画像を、動き予測を行う際に参照する参照フレームとして用いることが多い。これは、処理対象となる画像と時間的に近傍に位置する画像との間の相関性が、多くの場合において高いためである。
しかし、MPEG符号化方式では、動画像撮影時におけるカメラのパン、チルト等のカメラの動きが速い場合や、カットチェンジやフラッシュ直後の画像のように画像間の変化が大きい場合が発生し得る。このような場合、時間的に近傍な画像であっても画像間の相関性が低くなり、動き補償予測の利点が活用できない可能性が高い。
この問題を解決するものが、H.264で採用された複数参照フレーム間予測である。この予測方式では、時間的に近傍の画像のみならず、離れた画像をも符号化に利用するもので、近傍の画像よりも符号化効率の向上が見込まれるのであれば、離れた画像が参照フレームとして利用されることとなる。
このようにH.264では、入力された画像と、既に符号化された画像との誤差が最小となる画像を、複数の画像の中から選択して参照フレームとして利用することで、動き補償予測を行うことができる。これにより、動画像を圧縮符号化するときに、動画像を撮影したカメラの動きが速い場合や、カットチェンジやフラッシュが発生した場合においても、効率的な符号化が可能となる。
しかし、既に符号化された全ての画像について入力画像との誤差が最小となるフレームを選択する演算を行うと、参照するフレーム数に比例して演算量が増大し、符号化に要する時間が膨大となってしまう。また、ビデオカムコーダなどのモバイル機器の場合には、演算負荷の増大は駆動するバッテリー消費量の増大に結びつくため、撮影時間に対する影響が無視できなくなってしまう。
特開2005-167720号公報
このように、従来は、複数参照フレーム間予測において、動き補償のための演算量を削減しつつ、効率的に動き補償処理を実行することが困難であった。
そこで本発明は、複数参照フレーム間予測において、動き補償のための演算量を削減しつつ、効率的に動き補償処理を実行可能とすることを目的とする。
上記課題を解決するための本発明は、
画像データの予測符号化を行う動画像符号化装置であって、
現在のフレームに対応する入力画像データと、他のフレームに対応する参照用画像データに基づく予測画像データとの差分データを直交変換処理する直交変換処理手段と、
前記直交変換処理の結果を量子化処理して第1の画像情報を生成する量子化処理手段と、
前記第1の画像情報を逆量子化処理する逆量子化処理手段と、
前記逆量子化処理の結果を逆直交変換処理する逆直交変換処理手段と、
前記逆直交変換処理の結果と前記予測画像データとの和により復元画像データを生成する生成手段と、
前記入力画像データと前記復元画像データとに基づき、前記復元画像データを新たな参照用画像データとするか否かを判定する判定手段と
を備え、
前記判定手段は、前記入力画像データと前記復元画像データとによりピーク信号対雑音比を算出し、前記ピーク信号対雑音比の値が予め定められた閾値以上の場合に、前記復元画像データを前記新たな参照用画像データとするとの判定を行うことを特徴とする。
本発明によれば、複数参照フレーム間予測において、動き補償のための演算量を削減しつつ、効率的に動き補償処理を実行することができる。
添付の図面を参照して、以下に発明の好適な実施形態を説明する。
[第1の実施形態]
まず、図1を参照して、本発明の第1の実施形態に対応する動画像符号化装置の構成を説明する。このような動画像符号化装置は、DSP、ASIC或いはFPGAのような処理モジュールをプログラミングしてハードウェアロジック回路として実現されても良い。また、対応するソフトウェアをCPU等の演算素子が実行することで実現されても良い。
図1において、画像入力部1より、現在の画像データが入力される。現在フレーム保存部2は、画像入力部1より入力された現在の画像データを一時保存する保存部である。参照フレーム候補保存部3は、後述するブロック境界補正処理が行われた復元画像データを予測画像情報の参照画像として利用するために保持する。この参照フレーム候補保存部3には、複数枚の復元画像データを保持することができる。
イントラ予測符号化部4は、現在フレーム保存部2に保持されている画像データを所定のブロック単位に分割し、各ブロックの画像データをブロック周辺の画素から予測し、予測画像情報を生成する。
動き検出部5は、入力された現在の画像データを所定のブロック単位に分割し、各ブロックにおいて前記参照フレーム候補と相関の高い位置を検出する動き探索処理を行い、その位置の差分データをフレーム間の動き情報として検出する。インター予測符号化部6は、参照フレームと動き検出部5から与えられる動き情報とに基づき、現在の画像データの予測画像情報を生成する動き補償を行う。
減算器7は、後述する予測画像情報の減算を行い、スイッチ部8は予測画像情報を選択する。DCT部9は画像の差分データに対して整数直交変換を行い、量子化部10では、整数直交変換された変換係数に対して所定の量子化スケールで量子化処理を行う。エントロピー符号化部11は、量子化された変換係数に対して、エントロピー符号化処理を行ってデータ圧縮を行う。
逆量子化部12は、量子化された変換係数に対して所定の逆量子化処理を施し、IDCT部13は、逆量子化された変換係数を元の画像データ空間に戻す逆整数直交変換を行う。加算器14は、画像データ空間に戻された画像差分情報に後述する予測画像情報を加算する。
デブロッキングフィルタ部15は、後述する予測画像情報により復元された画像データに対し、所定のブロック単位の境界データにおける不連続性を補正するデブロッキング処理を施す。復号画像保存部16は、後述する予測画像情報により復元された画像データを保持する。
PSNR演算部17は、符号化前の画像データと予測画像情報により復元された画像データを比較し、画像の劣化具合の指標となるPSNR(ピーク信号対雑音比:peak signal-to-noise ratio)の値を算出する。参照フレーム候補判定部18は、算出されたPSNRの値から予測画像情報により復元された画像データが参照フレーム候補画像として適しているかどうかを判定する。
このような動画像符号化装置において、符号化処理は以下のように行われる。まず、画像入力部1から入力された画像データに対し、減算器7により予測画像情報の減算が行われ、予測画像情報との差分データが生成される。この差分データは、DCT部9により整数直交変換が施され、一般の画像空間からエネルギー集中を高めた変換係数の空間に直交変換される。
この整数直交変換により得られた差分データの変換係数は、量子化部10において所定のステップ幅で直交変換成分に応じて量子化される。量子化された変換係数データはエントロピー符号化部11で圧縮符号化される。更に、エントロピー符号化部11では、後述するインター符号化で参照されたフレーム番号の識別子もまた、多重化されて圧縮符号化される。
次に、予測画像情報生成の処理について説明する。予測画像情報の生成方式には、予測画像情報を入力時の現在の画像フレーム内のデータのみで生成するイントラ予測符号化方式と、入力時の現行画像以外のフレーム画像データから生成するインター符号化方式がある。
まず、現行入力画像内で処理が閉じているイントラ符号化予測方式について説明する。量子化部10において量子化された変換係数に対し、逆量子化部12で変換係数を復元する。復元された変換係数は、IDCT部13で元の画像データ空間に戻され、予測画像情報との差分データとして復元される。この復元差分データに対して、予測画像情報を加算器14で加算することにより、入力画像の復元画像データが得られる。但し、この時点の復元画像データは、予測画像情報の誤差や量子化処理における量子化誤差によって、入力画像データよりも僅かに劣化している画像となっている。
この復元画像データは、復号画像保存部16に保存される。復号画像保存部16に保存された復元画像データは、所定のブロック単位で、同一画像フレーム内の他のブロック内の画素値を予測するために利用される。ここで得られる予測値は予測画像情報としてスイッチ8に送信される。スイッチ8では図示しないコントローラによって、予測画像情報の予測方法に応じて、減算部7や加算器14に出力する予測画像情報を切り替える。イントラ予測符号化方式では、スイッチは8aに接続され、イントラ予測方式により算出された予測画像情報が減算器7や加算器14に出力される。
次に、入力された現在の画像フレームとは別の画像フレームを参照画像として用いて予測画像情報を生成するインター符号化予測方式について図3のフローチャートを用いながら説明する。なお、現在の画像フレームが入力されてから加算器14までで行われる処理は、イントラ予測符号化方式について説明した内容と同様であり、重複を避けるためにここでの説明は省略する。
まず、ステップS301では、加算器14で得られた復元画像データの劣化が多いか否かが判定される。この判定は、不図示のコントローラによって行われる。もし、復元画像データの劣化が多いと判定される場合には(ステップS301において「YES」)、ステップS302に移行する。ステップS302では、復元画像データに対しデブロッキングフィルタ部15により、フィルタ処理を行い、ステップS303へ移行する。
先に述べたように、加算器14で復元される画像データは入力画像よりも劣化した画像となってしまう。特に各処理において所定のブロック単位で処理される画像データは、ブロック境界でデータの不連続性が生じやすくブロック歪として画像認識される可能性が高い。
そこで、デブロッキングフィルタ部15では、ブロック単位の境界におけるデータの不連続性を排除するために、ブロック境界に隣接する画素データに対して所定のフィルタ処理を施し、ブロック境界のデータの不連続性を抑圧する。
ただし、このようなフィルタ処理はオプションであり、復元される画像データの劣化が十分に少ないと判断されるときは、この処理をスキップすることが好ましい。そこで、デブロッキングフィルタ部15を介するか否かをステップS301で判定している。なお、データの劣化が大きい場合とは、例えば動き・変形が激しいために動き補償予測を持っても十分な性能が得られない場合である。
ステップS301において、復元される画像データの劣化が少ないと判定される場合には(ステップS301において「NO」)、ステップS303へ移行する。
ステップS303では、フィルタ処理が施された復元画像データ、或いは、未処理の復元画像データが、復号画像保存部16に保存される。次に、ステップS304において、復号画像保存部16に保存された復元画像データがPSNR演算部17に送信され、PSNRが算出される。なお、このPSNRの算出は、本実施形態ではフレーム単位に行うこととする。
このPSNRは、復号画像保存部16からの復元画像データと、現在フレーム保存部2からの現在の画像データとを用いて、以下の式1により算出される。
Figure 0004732184
ここで、NおよびMは画像の縦と横の画素数を表す。また、p(i,j)は現行の画像データにおける位置(i,j)の画素値を表し、p'(i,j)は復元画像データにおける位置(i,j)の画素値を表す。Tは、画像の階調数−1(8ビット/ピクセル画像ではT=255)を表す。
このようにして算出されたPSNRは、参照フレーム候補決定部18に送信され、参照フレーム候補決定部18ではステップS305において、所定の閾値"Th"とPSNRとの比較を行う。この閾値は、例えば画質の実用レベルと言われる30(dB)などに設定できる。もしほとんどの復元画像のPSNRが30(dB)に満たない場合は復元画像のPSNRの平均値を随時更新しながら求め閾値として用いても良い。ここで、PSNRが閾値Th未満の場合には(ステップS305において「YES」)、ステップS307へ移行する。一方、PSNRが閾値Th以上である場合には、ステップS306へ移行する。
ステップS306では、復元画像データが参照フレームに適すると判断し、該復元画像データを参照フレーム候補保存部3に格納し、ステップS308に移行する。一方、カットチェンジやフラッシュが発生した画像は周辺の画像との相関が低くなるため、PSNRが低くなる。そこで、本実施形態では、PSNRが閾値Th未満の場合には、このようなカットチェンジ等が生じた画像として取り扱うこととする。即ち、ステップS307では、復元画像データは参照フレームに適していないものと判断し、この復元画像データを棄却し、その後ステップS308に移行する。
このようにして、画質が悪く参照フレームとして適さない復元画像データが参照フレーム候補として登録されることがなくなるため、参照可能なフレーム数が少なくなっても、動画像符号化装置における符号化効率を高いままに維持することができる。
ステップS308では、動き検出部5により、動きベクトル情報の生成が行われる。具体的には、まず、入力画像データが所定のブロック単位に分割され、参照フレーム候補保存部3に保存されている複数の参照フレーム候補との相関の強い位置が探索される。そして、最も相関が強いと判断された位置と、処理対象となっている現在の画像データ中のブロックの位置とに基づき動きベクトル情報を算出し、該動きベクトル情報をインター予測符号化部6及びエントロピー符号化部11に送信する。このとき同時に、動きベクトルの生成に使った参照フレームの識別情報も、インター予測符号化部6とエントロピー符号化部11とに送信する。
インター予測符号化部6では、参照フレームの識別情報に基づき該当する復元画像データを参照フレーム候補保存部3から取得する。そして、ステップS309において、取得した復元画像データと動き検出部5から得た動きベクトル情報とに基づいて、現在の画像データの予測画像情報を生成する。
このように、インター予測符号化では、現在の画像とは別のフレーム参照して、予測画像情報を作り出すところが、イントラ予測符号化とは異なる。生成されたインター方式の予測符号化は、スイッチ8で8bに接続され、前記減算器7や加算器14に送られ、画像データと予測画像差分データとの変換に使われる。
以上のように、本実施形態によれば、復元画像データの画質をPSNRにより判定し、参照フレーム候補から予め他のフレームとの相関が低いフレームを除外することができる。この結果、符号化効率の低い参照フレーム候補に対して動きベクトル探索を行うことが無くなるため、参照フレーム候補の数を少なくしても、高い符号化効率を持った動画像符号化装置等を提供できる。
[第2の実施形態]
次に、図2を参照して、本発明の第2の実施形態に対応する動画像符号化装置の構成を説明する。このような動画像符号化装置は、DSP、ASIC或いはFPGAのような処理モジュールをプログラミングしてハードウェアロジック回路として実現されても良い。また、対応するソフトウェアをCPU等の演算素子が実行することで実現されても良い。
本実施形態における動画像符号化装置は、第1の実施形態の装置とほぼ同じ構成を有するが、復元画像保存部16、参照フレーム候補決定部18の代わりに参照フレーム候補決定部218を有する点で異なる。また、参照フレーム候補保存部203、PSNR候補演算部217、参照フレーム候補決定部218以外の動作は、第1の実施形態と同様のため説明は省く。なお、図2の動画像符号化装置の各ブロックは、参照番号の下二桁が一致する図1の動画像符号化装置の各ブロックに対応している。
図4を参照して、本実施形態における処理を説明する。まず、ステップS401において、加算器214で得られた復元画像データ又はデブロッキングフィルタ部215で処理されたデータが、参照フレーム候補保存部203に保存される。また、PSNR演算部217に復元画像データが送信される。
ステップS402において、PSNR演算部217が、現在フレーム保存部2から送信される画像データと、参照フレーム候補保存部203から送信されてくる復元画像データとに基づき、数1によりPSNRを算出する。算出されたPSNR値は参照フレーム候補保存部203に、復元画像データと対応づけて保存される。
次に、ステップS403では、動き検出部205から参照フレーム候補保存部203に対し、参照フレームの要求があったか否かが判定される。もし、参照フレームの要求があった場合には(ステップS403において「YES」)、ステップS404へ移行する。該要求を受け付けない場合には、要求を受け付けるまで待機する。
ステップS404では、参照フレーム候補保存部203において、参照フレームの候補を1フレーム選択する。続いて、ステップS405では選択した候補フレームについて、PSNR−α×tdを算出し、閾値Thと比較する。ここで、αは所定の係数であり、Thは所定の閾値である。この閾値の具体的数値は、第1の実施形態と同様に設定することができる。また、tdは、選択した候補フレームのフレーム番号(表示順)と、現在の画像フレームのフレーム番号との差分値を表す。
もし、PSNR−α×td≧Thが成立する場合には(ステップS405において「NO」)、ステップS406に移行する。一方、PSNR−α×td<Thが成立する場合には(ステップS405において「YES」)、ステップS407に移行する。
ステップS406では、候補フレームが参照フレームに適しているとして、動き検出部205に該候補フレームを送信する。一方のステップS407では、参照フレームとして適していないものとして、動き検出部205に候補フレームを送信しない。その後、ステップS408では、参照フレーム候補保存部203に未処理フレームが内かどうかを判定する。もし、未処理フレームがない場合には(ステップS408において「YES」)、処理を終了する。一方、未処理フレームがある場合には(ステップS408において「NO」)、ステップS404に戻って、未処理フレームを候補フレームとしてステップS405の判定処理を行う。
動き検出部205では、参照フレーム候補保存部203から、上記のようにして選択され送信された参照フレームに基づいて動きベクトル情報の生成が行われることとなる。
以上のように、本実施形態では、単に画質の品質のみによらず、処理対象となっている現在の画像フレームから参照フレーム候補までの時間的な距離も考慮して、復元画像データを参照フレームとすべきかを決定することができる。これにより、画質が優れていても時間的に遠く離れていて参照フレームとして適さないフレームを、参照フレームから除外することができるので、参照フレーム数が少なくとも符号化効率を高いままで維持できる。
なお、本実施形態では参照フレーム候補保存部203に復元画像データを無条件に記録しているが、第1実施形態と同様に、PSNRの値に基づき画質評価を行い、極端に画質の悪い復元画像データを保存対象から除外することもできる。その場合には、参照フレーム候補保存部203に保存された画像に対してのみ、図4のフローチャートに示す処理に従って参照フレームとして適するか否かを評価することができる。
なお、以上の各実施形態では、PSNRをフレーム単位で求める場合を説明した。しかし、これに限らず画像を分割したブロック単位、例えばマクロブロック単位にPSNRを算出し、マクロブロック単位ごとに参照フレームとして用いるか否かを判定してもよい。
[その他の実施形態]
なお、本発明は、複数の機器(例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置など)に適用してもよい。
また、本発明の目的は、前述した機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムに供給し、そのシステムがプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現し、そのプログラムコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。
さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
本発明の第1の実施形態に対応する動画像符号化装置の構成の一例を示すブロック図である。 本発明の第2の実施形態に対応する動画像符号化装置の構成の一例を示すブロック図である。 本発明の第1の実施形態に対応する動画像符号化装置における処理の一例を示すフローチャートである。 本発明の第2の実施形態に対応する動画像符号化装置における処理の一例を示すフローチャートである。

Claims (6)

  1. 画像データの予測符号化を行う動画像符号化装置であって、
    現在のフレームに対応する入力画像データと、他のフレームに対応する参照用画像データに基づく予測画像データとの差分データを直交変換処理する直交変換処理手段と、
    前記直交変換処理の結果を量子化処理して第1の画像情報を生成する量子化処理手段と、
    前記第1の画像情報を逆量子化処理する逆量子化処理手段と、
    前記逆量子化処理の結果を逆直交変換処理する逆直交変換処理手段と、
    前記逆直交変換処理の結果と前記予測画像データとの和により復元画像データを生成する生成手段と、
    前記入力画像データと前記復元画像データとに基づき、前記復元画像データを新たな参照用画像データとするか否かを判定する判定手段と
    を備え、
    前記判定手段は、前記入力画像データと前記復元画像データとによりピーク信号対雑音比を算出し、前記ピーク信号対雑音比の値が予め定められた閾値以上の場合に、前記復元画像データを前記新たな参照用画像データとするとの判定を行うことを特徴とする動画像符号化装置。
  2. 前記復元画像データを格納する格納手段を更に備え、
    前記判定手段は、前記入力画像データと前記格納手段に格納された復元画像データとの間のフレーム間隔が広くなるほど大きくなる所定値を算出し、前記復元画像データについて求めた前記ピーク信号対雑音比の値から前記所定値を減じた値が前記予め定められた閾値以上の場合に、当該復元画像データを前記新たな参照用画像データとするとの判定を行うことを特徴とする請求項1に記載の動画像符号化装置。
  3. 画像データの予測符号化を行う動画像符号化装置の制御方法であって、
    現在のフレームに対応する入力画像データと、他のフレームに対応する参照用画像データに基づく予測画像データとの差分データを直交変換処理する直交変換処理工程と、
    前記直交変換処理の結果を量子化処理して第1の画像情報を生成する量子化処理工程と、
    前記第1の画像情報を逆量子化処理する逆量子化処理工程と、
    前記逆量子化処理の結果を逆直交変換処理する逆直交変換処理工程と、
    前記逆直交変換処理の結果と前記予測画像データとの和により復元画像データを生成する生成工程と、
    前記入力画像データと前記復元画像データとに基づき、前記復元画像データを新たな参照用画像データとするか否かを判定する判定工程と
    を備え、
    前記判定工程では、前記入力画像データと前記復元画像データとによりピーク信号対雑音比を算出し、前記ピーク信号対雑音比の値が予め定められた閾値以上の場合に、前記復元画像データを前記新たな参照用画像データとするとの判定を行うことを特徴とする動画像符号化装置の制御方法。
  4. 前記動画像符号化装置は、前記復元画像データを格納する格納部を備え、
    前記判定工程では、前記入力画像データと前記格納部に格納された復元画像データとの間のフレーム間隔が広くなるほど大きくなる所定値を算出し、前記復元画像データについて求めた前記ピーク信号対雑音比の値から前記所定値を減じた値が前記予め定められた閾値以上の場合に、当該復元画像データを前記新たな参照用画像データとするとの判定を行うことを特徴とする請求項に記載の動画像符号化装置の制御方法。
  5. コンピュータを請求項1または2に記載の動画像符号化装置として機能させるためのコンピュータプログラム。
  6. 請求項に記載のコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
JP2006044299A 2006-02-21 2006-02-21 動画像符号化装置及びその制御方法、コンピュータプログラム、記憶媒体 Expired - Fee Related JP4732184B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006044299A JP4732184B2 (ja) 2006-02-21 2006-02-21 動画像符号化装置及びその制御方法、コンピュータプログラム、記憶媒体
US11/675,215 US8275034B2 (en) 2006-02-21 2007-02-15 Moving image encoding apparatus and control method, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006044299A JP4732184B2 (ja) 2006-02-21 2006-02-21 動画像符号化装置及びその制御方法、コンピュータプログラム、記憶媒体

Publications (3)

Publication Number Publication Date
JP2007228077A JP2007228077A (ja) 2007-09-06
JP2007228077A5 JP2007228077A5 (ja) 2009-04-09
JP4732184B2 true JP4732184B2 (ja) 2011-07-27

Family

ID=38428173

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006044299A Expired - Fee Related JP4732184B2 (ja) 2006-02-21 2006-02-21 動画像符号化装置及びその制御方法、コンピュータプログラム、記憶媒体

Country Status (2)

Country Link
US (1) US8275034B2 (ja)
JP (1) JP4732184B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4677351B2 (ja) * 2006-02-17 2011-04-27 キヤノン株式会社 動き補償器、動き補償処理方法、コンピュータプログラム及び記憶媒体
US20090010341A1 (en) * 2007-07-02 2009-01-08 Feng Pan Peak signal to noise ratio weighting module, video encoding system and method for use therewith
US8254441B2 (en) * 2008-08-18 2012-08-28 Sprint Communications Company L.P. Video streaming based upon wireless quality
JP5988252B2 (ja) * 2011-01-12 2016-09-07 サン パテント トラスト 複数の参照ピクチャを用いた、動画像符号化方法、動画像復号方法、動画像符号化装置、及び、動画像復号装置
JP6078883B2 (ja) 2011-02-08 2017-02-15 サン パテント トラスト 多数の参照ピクチャを用いる動画像符号化方法、動画像復号方法、動画像符号化装置、および動画像復号方法
JP6453652B2 (ja) * 2015-01-09 2019-01-16 株式会社東芝 映像伝送システム
JP6626319B2 (ja) * 2015-11-18 2019-12-25 キヤノン株式会社 符号化装置、撮像装置、符号化方法、及びプログラム
US10798396B2 (en) * 2015-12-08 2020-10-06 Samsung Display Co., Ltd. System and method for temporal differencing with variable complexity

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004128941A (ja) * 2002-10-03 2004-04-22 Matsushita Electric Ind Co Ltd 画像符号化方法および画像符号化装置
WO2005064947A1 (ja) * 2003-12-25 2005-07-14 Nec Corporation 動画像符号化方法及び装置
JP2005303555A (ja) * 2004-04-09 2005-10-27 Matsushita Electric Ind Co Ltd 動画像符号化装置および動画像符号化方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6973126B1 (en) * 1999-03-05 2005-12-06 Kdd Corporation Video coding apparatus according to a feature of a video picture
AU2003279015A1 (en) * 2002-09-27 2004-04-19 Videosoft, Inc. Real-time video coding/decoding
JP2005167720A (ja) 2003-12-03 2005-06-23 Canon Inc 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP2005260912A (ja) * 2004-02-10 2005-09-22 Matsushita Electric Ind Co Ltd 映像通信装置および映像通信方法
JP4677351B2 (ja) 2006-02-17 2011-04-27 キヤノン株式会社 動き補償器、動き補償処理方法、コンピュータプログラム及び記憶媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004128941A (ja) * 2002-10-03 2004-04-22 Matsushita Electric Ind Co Ltd 画像符号化方法および画像符号化装置
WO2005064947A1 (ja) * 2003-12-25 2005-07-14 Nec Corporation 動画像符号化方法及び装置
JP2005303555A (ja) * 2004-04-09 2005-10-27 Matsushita Electric Ind Co Ltd 動画像符号化装置および動画像符号化方法

Also Published As

Publication number Publication date
JP2007228077A (ja) 2007-09-06
US20070195886A1 (en) 2007-08-23
US8275034B2 (en) 2012-09-25

Similar Documents

Publication Publication Date Title
US10205960B2 (en) Moving picture encoding apparatus, moving picture decoding apparatus, moving picture encoding method, moving picture decoding method, moving picture encoding program, and moving picture decoding program
US8228989B2 (en) Method and apparatus for encoding and decoding based on inter prediction
JP4898467B2 (ja) 可変ブロックサイズ動き予測のための符号化モードの決定方法及び装置
JP5111127B2 (ja) 動画像符号化装置及びその制御方法、並びに、コンピュータプログラム
JP4732184B2 (ja) 動画像符号化装置及びその制御方法、コンピュータプログラム、記憶媒体
US8204118B2 (en) Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media which store the programs
KR20090099234A (ko) 영상의 부호화, 복호화 방법 및 장치
WO2006073116A1 (ja) 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体
AU2008258910A1 (en) Image prediction encoding device, image prediction decoding device, image prediction encoding method, image prediction decoding method, image prediction encoding program, and image prediction decoding program
US10652570B2 (en) Moving image encoding device, moving image encoding method, and recording medium for recording moving image encoding program
US9332275B2 (en) Methods, apparatuses, and programs for encoding and decoding picture
US20070133689A1 (en) Low-cost motion estimation apparatus and method thereof
US20090028241A1 (en) Device and method of coding moving image and device and method of decoding moving image
JP2010193401A (ja) 画像符号化方法及び画像符号化装置
JP5649296B2 (ja) 画像符号化装置
JP2001251627A (ja) 符号化装置、符号化方法及びプログラムを記録した記録媒体
JP2009049969A (ja) 動画像符号化装置及び方法並びに動画像復号化装置及び方法
JP4789719B2 (ja) 動きベクトル検出装置、動きベクトル検出方法、コンピュータプログラム及び記憶媒体
JP2007228101A (ja) 動画像符号化装置
JP5274181B2 (ja) 動画像符号化装置および動画像符号化方法
JP2007288473A (ja) 符号化装置、画像処理装置
JP2010068219A (ja) 動画像符号化装置
JP2007288674A (ja) 符号化装置、復号化装置、画像処理装置。

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100921

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110418

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110420

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees