JPWO2010100672A1 - 圧縮動画符号化装置、圧縮動画復号化装置、圧縮動画符号化方法および圧縮動画復号化方法 - Google Patents

圧縮動画符号化装置、圧縮動画復号化装置、圧縮動画符号化方法および圧縮動画復号化方法 Download PDF

Info

Publication number
JPWO2010100672A1
JPWO2010100672A1 JP2011502500A JP2011502500A JPWO2010100672A1 JP WO2010100672 A1 JPWO2010100672 A1 JP WO2010100672A1 JP 2011502500 A JP2011502500 A JP 2011502500A JP 2011502500 A JP2011502500 A JP 2011502500A JP WO2010100672 A1 JPWO2010100672 A1 JP WO2010100672A1
Authority
JP
Japan
Prior art keywords
reference image
screen
image
generated
compressed video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011502500A
Other languages
English (en)
Other versions
JP5426655B2 (ja
Inventor
誠二 望月
誠二 望月
木村　淳一
淳一 木村
真和 江浜
真和 江浜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Electronics Corp
Original Assignee
Renesas Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Electronics Corp filed Critical Renesas Electronics Corp
Publication of JPWO2010100672A1 publication Critical patent/JPWO2010100672A1/ja
Application granted granted Critical
Publication of JP5426655B2 publication Critical patent/JP5426655B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

映像入力信号の画像領域と最も類似する画像領域がフレームメモリ１０からの参照画像で探索されて、動きベクトルが生成される。動きベクトルとフレームメモリからの参照画像とから、動き補償された参照画像が生成される。動き補償された参照画像と映像入力信号との減算によって、予測残差が生成される。予測残差の直交変換処理と量子化処理と逆量子化処理と逆直交変換処理の結果と動き補償された参照画像との加算によって、メモリに格納される参照画像が生成される。予測残差の直交変換処理と量子化処理と可変長符号化処理によって、符号化映像出力信号が生成される圧縮動画符号化装置である。参照画像は映像表示画面の内側の画面内参照画像Ａ、Ｂ、Ｃと映像表示画面の外側の画面外参照画像Ｄを含み、画面外参照画像Ｄは画面内参照画像Ａ、Ｂ、Ｃの類似した複数の参照画像Ａ、Ｂの位置関係に基づいて生成される。

Description

本発明は、圧縮動画符号化装置、圧縮動画復号化装置、圧縮動画符号化方法および圧縮動画復号化方法に関し、特に圧縮動画符号化処理または圧縮動画復号化処理で画面外部の周辺領域からの動き補償を可能とするに際して、拡張参照画像の精度を向上するのに有効な技術に関する。
ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、Ｈ．２６４等の国際標準動画像符号化方法では、時間方向の相関を使って高い符号化効率を実現するために、フレーム間予測符号化が使用されている。フレームの符号化モードには、フレーム間の相関を使わずに符号化するＩフレームと、過去に符号化した１フレームから予測するＰフレームと、過去に符号化した２フレームから予測することができるＢフレームがある。尚、Ｉフレームはフレーム内独立フレームと呼ばれ、Ｐフレームは片方向予測フレームと呼ばれ、Ｂフレームは双方向予測フレームと呼ばれる。
このフレーム間予測符号化では、動画像から動き補償された参照画像(予測画像)が減算され、この減算による予測残差が符号化される。符号化の処理は、ＤＣＴ(離散コサイン変換)等の直交変換と量子化と可変長符号化との処理を含んでいる。動き補償(動き補正)はフレーム間予測の参照フレームを空間的に移動させる処理を含むものであり、動き補償の処理は被符号化フレームのブロック単位で行われる。画像内容に動きが無い場合には、移動は無く被予測画素と同一位置の画素が使用される。動きが有る場合には、最も適合するブロックが探索され、移動量が動きベクトルとされる。動き補償のブロックは、ＭＰＥＧ−２の符号化方法では１６画素×１６画素／１６画素×８画素のブロックであり、H．２６３の符号化方法では１６画素×１６画素／８画素×８画素のブロックであり、ＭＰＥＧ−４の符号化方法では１６画素×１６画素／１６画素×８画素／８画素×８画素のブロックであり、H．２６４の符号化方法では１６画素×１６画素／１６画素×８画素／８画素×１６画素／８画素×８画素／８画素×４画素／４画素×８画素／４画素×４画素のブロックである。
ＭＰＥＧ−２の符号化方法では、動きベクトルは画面内から逸脱することは許されていないので、実際の動きが画面外部からの場合には正確な動き補償が不可能であると言う欠点を有していた。それに対して、ＭＰＥＧ−４、Ｈ．２６３、Ｈ．２６４の符号化方法では、画面外部の周辺領域からの動き補償を可能とする非制限動きベクトルが採用されている。尚、非制限動きベクトルは、Unrestricted Motion Vectorと呼ばれている。
一方、下記特許文献１には、予測画素のブロックまたは動き補償画素のブロックの一部が参照画像外部を示す動きベクトルを検出することができるように、動きベクトルに対する動き補償画素を出力する参照画像出力手段に参照画像の周辺画素を予測する周辺画素予測手段を設けることが記載されている。
また、下記特許文献１には、参照画像の周辺画像である拡張参照画像を、参照画像の全画素値の平均値にすること、または最も近い参照画像の画素値とすることが記載されている。
特開平６−３５１００１号 公報
本発明者等は、本発明に先立って、次世代の国際標準動画像符号化方式に関して研究・開発を行ったものである。
図１は、本発明に先立って本発明者等によって検討された国際標準動画像符号化方式に基づき検討された圧縮動画符号化装置(エンコーダ)の構成を示す図である。
図１に示した圧縮動画符号化装置(エンコーダ)１０００は、減算器１、直交変換器２、量子化器３、符号化器４、逆量子化器５、逆直交変換器６、加算器７、動き補償器８、動きベクトル探索器９、フレームメモリ１０を含んでいる。
減算器１の一方の入力端子と動きベクトル探索器９の入力端子には、符号化されるべき映像入力信号が供給される。動きベクトル探索器９は動き推定(ＭＥ：Motion Estimation)を実行するので、その出力端子から動きベクトルが生成されて、この動きベクトルは動き補償(ＭＣ：Motion Compensation)を実行する動き補償器８と可変長符号化(ＶＬＣ：Variable Length Coding)の信号処理を実行する符号化器４に供給される。動き補償器８の出力信号は、減算器１の他方の入力端子と加算器７の一方の入力端子とに供給される。減算器１の出力信号は直交余弦変換(ＤＣＴ：Discrete Cosine Transform)等の直交変換を実行する直交変換器２の入力端子に供給され、直交変換器２の出力信号は量子化処理を実行する量子化器３の入力端子に供給される。量子化器３の出力信号は、符号化器４の入力端子に供給される一方、逆量子化処理を実行する逆量子化器５と逆直交余弦変換(ＩＤＣＴ：Inverse Discrete Cosine Transform)等の逆直交変換を実行する逆直交変換器６を介して加算器７の他方の入力端子に供給される。符号化器４の出力端子から符号化映像出力信号としてのＭＰＥＧのビデオ・ストリームが生成される一方、加算器７の出力から参照画像(局部復号画像)が生成されフレームメモリ１０に格納される。フレームメモリ１０から読み出される参照画像は動き補償器８と動きベクトル探索器９とに供給され、動きベクトル探索器９では符号化されるべき映像入力信号のブロックに最も適合するブロックが参照画像にて探索されて、移動量が動きベクトルとして出力される。動き補償器８は動きベクトルとフレームメモリ１０から読み出される参照画像とから動き補償された参照画像(予測画像)を生成して減算器１の他方の入力端子に供給するので、減算器１では映像入力信号と参照画像(予測画像)との減算による予測残差が生成される。予測誤差は直交変換器２による直交変換と量子化器３による量子化と符号化器４による可変長符号化との符号化処理を受けることによって、符号化器４の出力端子から符号化映像出力信号であるＭＰＥＧのビデオ・ストリームが生成されるものである。
上述した符号化処理は、映像画面(フレームまたはフィールド)毎に行われるものであり、画面を細分化したブロック(通常は１６画素×１６画素、ＭＰＥＧでは「マクロブロック」と呼ばれる)が処理単位となるものである。すなわち、符号化されるべきブロック毎に、既に符号化された参照画像から最も類似したブロック(予測画像)が選択されて、符号化画像(ブロック)と予測画像の差分信号が符号化(直交変換、量子化等)される。画面内での符号化されるブロックと予測信号の相対位置の差が動きベクトルと呼ばれるものである。
冒頭で説明したように、ＭＰＥＧ−２の符号化方法では、動きベクトルの画面内からの逸脱は許されていないので、実際の動きが画面外部からの場合には、正確な動き補償が不可能と言う欠点を有していた。従ってＭＰＥＧ−４の符号化方法では、画面外部の周辺領域からの動き補償を可能とする非制限動きベクトル(ＵＭＶ：Unrestricted Motion Vector)が採用されている。
図２は、ＭＰＥＧ−４の符号化方法で採用されている非制限動きベクトル(ＵＭＶ)を実現するために、上記特許文献１に記載された参照画像の周辺画像である拡張参照画像を最も近い参照画像の画素値とした場合の拡張参照画像を説明する図である。
図２において、境界線２０は画面内と画面外との境界を示す線であり、境界線２０の内側の画面内には対象物(オブジェクト)の参照画像２１が存在するものであり、境界線２０の外側の画面外には対象物(オブジェクト)の最も近い参照画像の画素値から生成された拡張参照画像２２が存在するものである。
しかし、図２に示した本発明に先立って本発明者等によって検討された拡張参照画像の生成方法では、下記のような問題があることが本発明者等による検討によって明らかとされた。
それは、図２に示した方法によって生成された画面外の画像である拡張参照画像２２は画面内の対象物(オブジェクト)の参照画像２１の配置方向を考慮していないために、画面外の拡張参照画像２２の形状が実際の形状と大きく異なることが多い。この結果、(１)拡張参照画像の部分での差分信号が大きくなると言う問題が生じることが明らかとされた。また、(２)拡張参照画像の画素が選択されることができずに、差分信号の電力が増加して符号化効率が低下する一方、符号化されるべきブロックの動きベクトルの大きさ・方向が周囲のブロックの動きベクトルと異なって、動きベクトルの符号量が増大すると言う問題が生じることが明らかとされた。これらの問題の結果として、図１に示した圧縮動画符号化装置(エンコーダ)１０００から生成される符号化映像出力信号の情報量が、著しく増大するものとなる。その結果、一定の情報符号量においては再生画質の劣化が発生する一方、一定の再生画質を維持するためにはＭＰＥＧのビデオ・ストリームの情報量が増大することになる。
このように、本発明は、本発明に先立った本発明者等による検討を基礎としてなされたものである。
従って本発明の目的とするところは、圧縮動画符号化処理または圧縮動画復号化処理で画面外部の周辺領域からの動き補償を可能とするに際して、拡張参照画像の精度を向上することにある。
本発明の他の目的とするところは、再生画質の劣化を軽減する一方、一定の再生画質を維持するためのＭＰＥＧのビデオ・ストリームの情報量の増大を軽減するにある。
本発明の前記ならびにその他の目的と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。
本願において開示される発明のうち代表的なものについて簡単に説明すれば下記のとおりである。
すなわち、本発明の代表的な実施の形態は、符号化されるべき映像入力信号の画像領域と最も類似する画像領域をフレームメモリ(１０)から読み出される参照画像で探索して、動きベクトルが生成される。
前記動きベクトルと前記フレームメモリ(１０)から読み出される前記参照画像とから、予測画像としての動き補償された参照画像が生成される。
前記動き補償された参照画像と前記映像入力信号との減算によって、予測残差が生成される。
前記予測残差の直交変換処理と量子化処理と逆量子化処理と逆直交変換処理の結果と前記動き補償された参照画像との加算によって、前記フレームメモリ(１０)に格納される前記参照画像が生成される。
前記予測残差の前記直交変換処理と前記量子化処理と可変長符号化処理とによって、符号化映像出力信号が生成される圧縮動画符号化装置(１０００)である(図３参照)。
前記参照画像は映像表示画面の内側の画面内参照画像(Ａ、Ｂ、Ｃ)と前記映像表示画面の外側の画面外参照画像(Ｄ)とを含み、前記画面外参照画像(Ｄ)は前記画面内参照画像(Ａ、Ｂ、Ｃ)の類似した複数の参照画像(Ａ、Ｂ)の位置関係に基づいて生成されることを特徴とする(図５参照)。
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記の通りである。
すなわち、圧縮動画符号化処理または圧縮動画復号化処理で画面外部の周辺領域からの動き補償を可能とするに際して、拡張参照画像の精度を向上することができる。
図１は、本発明に先立って本発明者等によって検討された国際標準動画像符号化方式に基づき検討された圧縮動画符号化装置(エンコーダ)の構成を示す図である。 図２は、ＭＰＥＧ−４の符号化方法で採用されている非制限動きベクトル(ＵＭＶ)を実現するために、特許文献１に記載された参照画像の周辺画像である拡張参照画像を最も近い参照画像の画素値とした場合の拡張参照画像を説明する図である。 図３は、本発明の実施の形態１による圧縮動画符号化装置(エンコーダ)の構成を示す図である。 図４は、図３に示す本発明の実施の形態１による圧縮動画符号化装置(エンコーダ)に付加された参照画像画面拡張ユニット１１の構成を示す図である。 図５は、ＭＰＥＧ−４の符号化方法で採用されている非制限動きベクトル(ＵＭＶ)を実現するために、図４に示す参照画像画面拡張ユニット１１が付加された図３に示す本発明の実施の形態１による圧縮動画符号化装置において参照画像の周辺画像の拡張参照画像が生成される方法を説明する図である。 図６は、図５に示した本発明の実施の形態１による拡張参照画像の生成方法によって画面内と画面外の対象物(オブジェクト)の参照画像が生成される様子を説明する図である。 図７は、図３に示した本発明の実施の形態１による圧縮動画符号化装置(エンコーダ)によって生成される符号化映像出力信号であるＭＰＥＧのビデオ・ストリームを復号化する本発明の実施の形態２による圧縮動画復号化装置(デコーダ)の構成を示す図である。 図８は、図３に示した本発明の実施の形態１による圧縮動画符号化装置(エンコーダ)によって生成される符号化映像出力信号であるＭＰＥＧのビデオ・ストリームを復号化する本発明の実施の形態３による圧縮動画復号化装置(デコーダ)の他の構成を示す図である。 図９は、ＭＰＥＧ−４の符号化方法で採用されている非制限動きベクトル(ＵＭＶ)を実現するために、参照画像画面拡張ユニット１１が付加された図３に示す本発明の実施の形態１による圧縮動画符号化装置において参照画像の周辺画像の拡張参照画像が生成される他の方法を説明する図である。
符号の説明
１０００…圧縮動画符号化装置(エンコーダ)
１…減算器
２…直交変換器
３…量子化器
４…符号化器
５…逆量子化器
６…逆直交変換器
７…加算器
８…動き補償器
９…動きベクトル探索器
１０…フレームメモリ
１１…参照画像画面拡張ユニット
１１１…類似度計算ユニット
１１２…最類似画素検索ユニット
１１３…参照画面外画素生成ユニット
５０…参照画面内と画面外との境界
Ａ、Ｂ、Ｃ…境界線５０の内側の参照画像
Ｄ…境界線５０の外側の拡張参照画像
ｗ…拡張参照画の幅
６０…参照画面内と画面外との境界
６１…境界線の内側の対象物(オブジェクト)の参照画像
６２…境界線の外側の拡張参照画像
７０…圧縮動画復号化装置(デコーダ)
７１…復号化器
７２…逆子化器
７３…逆直交変換器
７４…動き補償器
７５…加算器
７６…フレームメモリ
７７…参照画像画面拡張ユニット
８０…圧縮動画復号化装置(デコーダ)
８１…復号化器
８２…逆子化器
８３…逆直交変換器
８４…動き補償器
８５…加算器
９６…フレームメモリ８６
Ｌ０…参照画面内と画面外との境界
Ｌ１、Ｌ２、Ｌ３…延長直線
９０…境界線Ｌ０の外側に拡張参照画像
９１〜９９…参照画面内の内側の画面内には多数の参照画像
１．実施の形態の概要
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。
〔１〕本発明の代表的な実施の形態は、符号化されるべき映像入力信号の画像領域と最も類似する画像領域をフレームメモリ(１０)から読み出される参照画像にて探索することによって、動きベクトルが生成される。
前記動きベクトルと前記フレームメモリ(１０)から読み出される前記参照画像とから、予測画像としての動き補償された参照画像が生成される。
前記動き補償された参照画像と前記符号化されるべき映像入力信号との減算によって、予測残差が生成される。
前記予測残差の直交変換処理と量子化処理と逆量子化処理と逆直交変換処理の結果と前記動き補償された参照画像との加算によって、前記フレームメモリ(１０)に格納される前記参照画像が生成される。
前記予測残差の前記直交変換処理と前記量子化処理と可変長符号化処理とによって、符号化映像出力信号が生成される圧縮動画符号化装置(１０００)である(図３参照)。
前記参照画像は映像表示画面の内側の画面内参照画像(Ａ、Ｂ、Ｃ)と前記映像表示画面の外側の画面外参照画像(Ｄ)とを含み、前記画面外参照画像(Ｄ)は前記画面内参照画像(Ａ、Ｂ、Ｃ)の類似した複数の参照画像(Ａ、Ｂ)の位置関係に基づいて生成されることを特徴とする(図５参照)。
前記実施の形態によれば、画面外参照画像(Ｄ)が画面内参照画像(Ａ、Ｂ、Ｃ)の類似した複数の参照画像(Ａ、Ｂ)の位置関係に基づいて生成されているので、圧縮動画符号化処理で画面外部の周辺領域からの動き補償を可能とするに際して、拡張参照画像の精度を向上することができる。
好適な実施の形態では、前記画面内参照画像(Ａ、Ｂ、Ｃ)の類似した前記複数の参照画像(Ａ、Ｂ)の一方の参照画像(Ａ)は、前記画面内参照画像と前記画面外参照画像との境界線(５０)に近接するものである。
前記複数の参照画像(Ａ、Ｂ)の他方の参照画像(Ｂ)は、前記一方の参照画像(Ａ)よりも前記境界線(５０)から離間して前記画面内参照画像の内部に位置するものである。
前記画面外参照画像(Ｄ)は、前記境界線(５０)を介して前記一方の参照画像(Ａ)と直近するものである。
前記一方の参照画像(Ａ)と前記画面外参照画像(Ｄ)の位置関係と略同一の位置関係で、前記画面内参照画像(Ａ、Ｂ、Ｃ)の他の参照画像(Ｃ)は前記他方の参照画像(Ｂ)に近接するものである。
前記他の参照画像(Ｃ)の画像情報に基づき、前記画面外参照画像(Ｄ)の画像情報が生成されることを特徴とする(図５参照)。
他の好適な実施の形態では、前記画面内参照画像は、複数のスタートの参照画像(９１、９２、９３)を含むものである。
前記画面外参照画像(９０)と前記複数のスタートの参照画像(９１、９２、９３)との間には、複数の延長直線(Ｌ１、Ｌ２、Ｌ３)が存在するものである。
前記複数の延長直線(Ｌ１、Ｌ２、Ｌ３)の各延長直線上の参照画像(９１、９６、９７；９２、９４、９８；９３、９５、９９)の複数の類似度が計算されて、前記複数の類似度の最高類似度の延長直線(Ｌ２)が選択される。
前記最高類似度を持った前記延長直線(Ｌ２)の前記参照画像(９２、９４、９８)の画像情報に基づき、前記画面外参照画像(９０)の画像情報が生成されることを特徴とする(図９参照)。
更に他の好適な実施の形態では、前記最高類似度を持った前記延長直線(Ｌ２)の前記参照画像(９２、９４、９８)の前記画像情報の統計処理結果に基づき、前記画面外参照画像(９０)の画像情報が生成されることを特徴とする(図９参照)。
具体的な実施の形態は、前記画面内参照画像の上方向と下方向と左方向と右方向の各方向に前記画面外参照画像が生成されるか否かを示す情報が、前記符号化映像出力信号に付加されることを特徴とする。
〔２〕別の観点による実施の形態は、符号化映像入力信号の復号化処理によって、動きベクトルが抽出される。
前記動きベクトルと前記フレームメモリ(７６、８６)から読み出される前記参照画像とから、予測画像としての動き補償された参照画像が生成される。
前記符号化映像入力信号の前記復号化処理と逆量子化処理と逆直交変換処理の結果と前記動き補償された参照画像との加算によって、前記フレームメモリ(７６、８６)に格納される前記参照画像が生成される。
前記フレームメモリ(７６、８６)から、復号化映像出力信号が生成される圧縮動画復号化装置(７０)である(図7、図８参照)。
前記参照画像は映像表示画面の内側の画面内参照画像(Ａ、Ｂ、Ｃ)と前記映像表示画面の外側の画面外参照画像(Ｄ)とを含み、前記画面外参照画像(Ｄ)は前記画面内参照画像(Ａ、Ｂ、Ｃ)の類似した複数の参照画像(Ａ、Ｂ)の位置関係に基づいて生成されることを特徴とする(図５参照)。
前記実施の形態によれば、画面外参照画像(Ｄ)が画面内参照画像(Ａ、Ｂ、Ｃ)の類似した複数の参照画像(Ａ、Ｂ)の位置関係に基づいて生成されているので、圧縮動画復号化処理で画面外部の周辺領域からの動き補償を可能とするに際して、拡張参照画像の精度を向上することができる。
好適な実施の形態では、前記画面内参照画像(Ａ、Ｂ、Ｃ)の類似した前記複数の参照画像(Ａ、Ｂ)の一方の参照画像(Ａ)は、前記画面内参照画像と前記画面外参照画像との境界線(５０)に近接するものである。
前記複数の参照画像(Ａ、Ｂ)の他方の参照画像(Ｂ)は、前記一方の参照画像(Ａ)よりも前記境界線(５０)から離間して前記画面内参照画像の内部に位置するものである。
前記画面外参照画像(Ｄ)は、前記境界線(５０)を介して前記一方の参照画像(Ａ)と直近するものである。
前記一方の参照画像(Ａ)と前記画面外参照画像(Ｄ)の位置関係と略同一の位置関係で、前記画面内参照画像(Ａ、Ｂ、Ｃ)の他の参照画像(Ｃ)は前記他方の参照画像(Ｂ)に近接するものである。
前記他の参照画像(Ｃ)の画像情報に基づき、前記画面外参照画像(Ｄ)の画像情報が生成されることを特徴とする(図５参照)。
他の好適な実施の形態では、前記画面内参照画像は、複数のスタートの参照画像(９１、９２、９３)を含むものである。
前記画面外参照画像(９０)と前記複数のスタートの参照画像(９１、９２、９３)との間には、複数の延長直線(Ｌ１、Ｌ２、Ｌ３)が存在するものである。
前記複数の延長直線(Ｌ１、Ｌ２、Ｌ３)の各延長直線上の参照画像(９１、９６、９７；９２、９４、９８；９３、９５、９９)の複数の類似度が計算されて、前記複数の類似度の最高類似度の延長直線(Ｌ２)が選択される。
前記最高類似度を持った前記延長直線(Ｌ２)の前記参照画像(９２、９４、９８)の画像情報に基づき、前記画面外参照画像(９０)の画像情報が生成されることを特徴とする(図９参照)。
更に他の好適な実施の形態では、前記最高類似度を持った前記延長直線(Ｌ２)の前記参照画像(９２、９４、９８)の前記画像情報の統計処理結果に基づき、前記画面外参照画像(９０)の画像情報が生成されることを特徴とする(図９参照)。
具体的な実施の形態は、前記画面内参照画像の上方向と下方向と左方向と右方向の各方向に前記画面外参照画像が生成されるか否かを示す情報が、前記符号化映像入力信号から抽出されるものである。
前記情報が否を示す方向に関しての前記画面外参照画像の生成が省略されることを特徴とする。
２．実施の形態の詳細
実施の形態について更に詳述する。なお、発明を実施するための形態を説明するための全図において、同一の機能を有する要素には同一の符号を付して、その繰り返しの説明を省略する。
［実施の形態１］
《圧縮動画符号化装置の構成》
図３は、本発明の実施の形態１による圧縮動画符号化装置(エンコーダ)の構成を示す図である。
図３に示す本発明の実施の形態１による圧縮動画符号化装置(エンコーダ)１０００は、図１に示した圧縮動画符号化装置と同様に、減算器１、直交変換器２、量子化器３、符号化器４、逆量子化器５、逆直交変換器６、加算器７、動き補償器８、動きベクトル探索器９、フレームメモリ１０を含んでいる。
更に、図３の本発明の実施の形態１による圧縮動画符号化装置１０００では、図１の圧縮動画符号化装置に含まれていない参照画像画面拡張ユニット１１がフレームメモリ１０に付加的に接続されている。
《参照画像画面拡張ユニットの構成》
図４は、図３に示す本発明の実施の形態１による圧縮動画符号化装置(エンコーダ)１０００に付加された参照画像画面拡張ユニット１１の構成を示す図である。
図４に示す参照画像画面拡張ユニット１１は、類似度計算ユニット１１１と、最類似画素検索ユニット１１２と、参照画面外画素生成ユニット１１３とを含んでいる。
参照画像画面拡張ユニット１１の類似度計算ユニット１１１にはフレームメモリ１０から画面内画素値が供給されて、類似度計算ユニット１１１から最類似画素検索ユニット１１２に差分情報が供給されて、最類似画素検索ユニット１１２から参照画面外画素生成ユニット１１３に類似位置情報が供給されるものである。フレームメモリ１０から参照画面外画素生成ユニット１１３に画面内画素値が供給されて、参照画面外画素生成ユニット１１３からフレームメモリ１０に画面外画素値が供給される。
《拡張参照画像の生成方法》
図５は、ＭＰＥＧ−４の符号化方法で採用されている非制限動きベクトル(ＵＭＶ)を実現するために、図４に示す参照画像画面拡張ユニット１１が付加された図３に示す本発明の実施の形態１による圧縮動画符号化装置において参照画像の周辺画像の拡張参照画像が生成される方法を説明する図である。
図５にて、境界線５０は画面内と画面外との境界を示す線である。境界線５０の内側の画面内には多数の参照画像Ａ、Ｂ、Ｃ…が存在しており、ＭＰＥＧ−４の符号化方法で採用の非制限動きベクトル(ＵＭＶ)を実現するために、境界線５０の外側に拡張参照画像Ｄを生成することが必要となる。
例えば、境界線５０に近接する画面内の参照画像Ａに直近して境界線５０の外側に拡張参照画像Ｄを生成する場合には、まず境界線５０の内側の多数の参照画像を探索することによって境界線５０に近接する画面内の参照画像Ａに最も類似した画面内の参照画像Ｂを選択する。その結果、境界線画面内参照画像Ａと最類似画面内参照画像Ｂの位置関係から移動量と移動方向が決定されて、ベクトルＶが生成される。
次に、境界線画面内参照画像Ａと外側拡張参照画像Ｄの位置関係と略同一の位置関係で最類似画面内参照画像Ｂに直近した画面内参照画像Ｃをコピーして外側拡張参照画像Ｄの位置にペーストすることによって拡張参照画像Ｄを生成する。
以下同様にして、縦方向の境界線５０の複数の境界線画面内参照画像に関して上記と同様な処理を反復することによって、必要な横方向の幅ｗで拡張参照画像を生成する。また、横方向の境界線５０の複数の境界線画面内参照画像に関して同様な処理を反復することによって、必要な縦方向の幅で拡張参照画像を生成するも可能である。
図６は、図５に示した本発明の実施の形態１による拡張参照画像の生成方法によって画面内と画面外の対象物(オブジェクト)の参照画像が生成される様子を説明する図である。
図６において、境界線６０は画面内と画面外との境界を示す線であり、境界線６０の内側の画面内には対象物(オブジェクト)の参照画像６１が存在する一方、境界線６０の外側の画面外には拡張参照画像６２が存在するものである。
図６に示した本発明の実施の形態１による拡張参照画像の生成方法によれば、画面外の画像である拡張参照画像６２には画面内の対象物(オブジェクト)の参照画像６１の配置方向(ベクトルＶ)が考慮されているので、画面外の拡張参照画像２２の形状が実際の形状と高精度で一致するものとなる。この結果、(１)拡張参照画像の部分での差分信号が小さくなる、(２)拡張参照画像の画素が選択でき、差分信号の電力が減少し符号化効率が向上する一方、符号化されるべきブロックの動きベクトルの大きさ・方向が周囲のブロックの動きベクトルと同一になり動きベクトルの符号量が小さくなる、と言う効果を得ることができる。
［実施の形態２］
《圧縮動画復号化装置の構成》
図７は、図３に示した本発明の実施の形態１による圧縮動画符号化装置(エンコーダ)によって生成される符号化映像出力信号であるＭＰＥＧのビデオ・ストリームを復号化する本発明の実施の形態２による圧縮動画復号化装置(デコーダ)の構成を示す図である。
図７に示した圧縮動画復号化装置(デコーダ)７０は、復号化器７１、逆子化器７２、逆直交変換器７３、動き補償器７４、加算器７５、フレームメモリ７６、参照画像画面拡張ユニット７７を含んでいる。
可変長復号化(ＶＬＤ：Variable Length Decoding)の信号処理を実行する復号化器７１には符号化映像出力信号であるＭＰＥＧのビデオ・ストリームが供給されて、復号化器７１の出力信号は逆量子化処理を実行する逆量子化器７２と逆直交余弦変換(ＩＤＣＴ)等の逆直交変換を実行する逆直交変換器７３を介して加算器７５の一方の入力端子に供給される。復号化器７１の出力端子から動きベクトルが生成されて、この動きベクトルは動き補償器７４に供給される。動き補償器７４は動きベクトルとフレームメモリ７６から読み出される参照画像とから動き補償された参照画像(予測画像)を生成して、加算器７５の他方の入力端子に供給する。従って、加算器７５では逆直交変換器７３の逆直交変換出力と予測画像との加算が実行され、フレームメモリ７６から復号化映像信号が生成される。
図３に示した本発明の実施の形態１による圧縮動画符号化装置では、図４の参照画像画面拡張ユニット１１を使用して図５と図６に示すようにＭＰＥＧ−４の符号化方法で採用されている非制限動きベクトル(ＵＭＶ)を実現するために、拡張参照画像を生成するものであった。
図７に示した本発明の実施の形態２による圧縮動画復号化装置では、図４の参照画像画面拡張ユニット１１を使用する図３の圧縮動画符号化装置により生成した拡張参照画像を利用した非制限動きベクトル(ＵＭＶ)の採用のＭＰＥＧのビデオ・ストリームを復号化するために参照画像画面拡張ユニット７７が付加されている。すなわち、図７の圧縮動画復号化装置では、復号化処理に際して供給される非制限動きベクトル(ＵＭＶ)の採用のＭＰＥＧのビデオ・ストリームに従って参照画像画面拡張ユニット７７を使用して画面内参照画像から画面外の拡張参照画像を生成するものである。この画面外の拡張参照画像を利用して、画面外部の周辺領域からの動き補償を可能とする非制限動きベクトル(ＵＭＶ：Unrestricted Motion Vector)が採用されたＭＰＥＧ−４の符号化ビデオ・ストリームの圧縮動画復号化処理が実行されるものである。
尚、上述と同一の参照画像画面拡張方法を行う図７の圧縮動画像復号化装置が、ビデオ・ストリームを正確に復号化するものである。これは、符号化装置と復号化装置が常に同一の参照画面を保持しなければ、正確な画像を復号することができないためである。従って、図７の圧縮動画復号化装置参照画像画面拡張ユニット７７は、図５と図６とに示した圧縮動画符号化装置の参照画像画面拡張ユニットと同一の方法によって、圧縮動画復号化処理に際して画面内参照画像から画面外の拡張参照画像を生成することが可能となる。また、参照画像画面拡張ユニット７７が、後述する図９に示す方法と同一の方法によって、画面内参照画像から画面外の拡張参照画像を生成する場合は、圧縮動画像符号化装置、圧縮動画像復号化装置の双方で図９に示す方法を使用しなければならない。また図５、図６に示した方法と、図９に示した方法を併用することも、あるいは従来のＭＰＥＧ−４等における画像拡張を含めて２種類あるいは３種類の方法を併用することもできる。この併用の場合には、ビデオ・ストリーム内の各フレームが符号化される際に、いずれの方法によって画面拡張処理を行ったかを示す必要があり、復号化装置においては指定された方法によって画面拡張処理を行った後の各フレームの復号化によって正確な再生画像を得ることができる。
［実施の形態３］
《圧縮動画復号化装置の他の構成》
図８は、図３に示した本発明の実施の形態１による圧縮動画符号化装置(エンコーダ)によって生成される符号化映像出力信号であるＭＰＥＧのビデオ・ストリームを復号化する本発明の実施の形態３による圧縮動画復号化装置(デコーダ)の他の構成を示す図である。
図８に示した圧縮動画復号化装置(デコーダ)８０は、復号化器８１、逆子化器８２、逆直交変換器８３、動き補償器８４、加算器８５、フレームメモリ８６を含んでいる。図８の圧縮動画復号化装置(デコーダ)８０では、復号化器８１、逆子化器８２、逆直交変換器８３、加算器８５、フレームメモリ８６は、図７の圧縮動画復号化装置(デコーダ)７０に含まれた復号化器７１、逆子化器７２、逆直交変換器７３、加算器７５、フレームメモリ７６とそれぞれ等価の動作機能を持つものである。また、図８の圧縮動画復号化装置(デコーダ)８０に含まれた動き補償器８４は、図７の圧縮動画復号化装置(デコーダ)７０の動き補償器７４と参照画像画面拡張ユニット７７との両者の動作機能を持っている。従って、図８の圧縮動画復号化装置でも、図７の圧縮動画復号化装置と同様に、復号化処理に際して非制限動きベクトル(ＵＭＶ)の採用のＭＰＥＧのビデオ・ストリームに従って動き補償器８４を使用して画面内参照画像から画面外の拡張参照画像を生成することができる。また、図８の圧縮動画復号化装置でも、この画面外の拡張参照画像を利用して、画面外部の周辺領域からの動き補償を可能とする非制限動きベクトル(ＵＭＶ)が採用されたＭＰＥＧ−４の符号化ビデオ・ストリームの圧縮動画復号化処理が実行されることができる。
尚、図８の圧縮動画復号化装置の動き補償器８４は、図７に示した圧縮動画復号化装置の参照画像画面拡張ユニット７７と同様に図５と図６に示した方法と同一の方法によって、圧縮動画復号化処理に際して画面内参照画像から画面外の拡張参照画像を生成することが可能となる。また、この動き補償器８４は、後述する図９に示す方法と同一の方法によって画面内参照画像から画面外の拡張参照画像を生成することもできる。
［実施の形態４］
《拡張参照画像の他の生成方法》
図９は、ＭＰＥＧ−４の符号化方法で採用されている非制限動きベクトル(ＵＭＶ)を実現するために、参照画像画面拡張ユニット１１が付加された図３に示す本発明の実施の形態１による圧縮動画符号化装置において参照画像の周辺画像の拡張参照画像が生成される他の方法を説明する図である。
図９にて、境界線Ｌ０は画面内と画面外との境界を示す線である。境界線Ｌ０の内側の画面内には多数の参照画像９１〜９９…が存在しており、ＭＰＥＧ−４の符号化方法で採用の非制限動きベクトル(ＵＭＶ)を実現するために、境界線Ｌ０の外側に拡張参照画像９０を生成することが必要となる。
例えば、拡張参照画像９０と画面内の第１のスタートの参照画像９１との間の直線Ｌ１上に配置された画面内の複数の第１参照画像９１、９６、９７の類似度が、図３に示す本発明の実施の形態１による圧縮動画符号化装置の参照画像画面拡張ユニット１１によって計算される。次に、拡張参照画像９０と画面内の第２のスタートの参照画像９２の間の直線Ｌ２上に配置された画面内の複数の第２参照画像９２、９４、９８の類似度が、図３の本発明の実施の形態１による圧縮動画符号化装置の参照画像画面拡張ユニット１１によって計算される。また同様に、拡張参照画像９０と画面内の第３のスタートの参照画像９３の間の直線Ｌ３上に配置された画面内の複数の第３参照画像９３、９５、９９の類似度が、図３の本発明の実施の形態１による圧縮動画符号化装置の参照画像画面拡張ユニット１１によって計算される。この類似度の計算によって計算された最も高い類似度に従って、境界線Ｌ０の外側の拡張参照画像９０が決定される。
すなわち、例えば最も高い類似度の延長直線が第２の直線Ｌ２であると想定すると、直線Ｌ２上に配置された画面内の複数の第２参照画像９２、９４、９８の各輝度信号と各色相信号を所定の係数で乗算した値を総和して平均化することで、境界線Ｌ０の外側の拡張参照画像９０の輝度信号と色相信号を決定することができる。
また、図９に示した周拡張参照画像の生成方法を使用する圧縮動画符号化装置により生成した拡張参照画像を利用した非制限動きベクトルの採用のＭＰＥＧ・ＴＳを復号化するために、図７と図８とに示したような圧縮動画復号化装置(デコーダ)を使用することができることは言うまでもない。
以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
［他の実施の形態］
例えば、図３に示した圧縮動画符号化装置１０００に含まれる減算器１、直交変換器２、量子化器３、符号化器４、逆量子化器５、逆直交変換器６、加算器７、動き補償器８、動きベクトル探索器９、参照画像画面拡張ユニット１１は、それぞれ専用ハードウェアによる信号処理に限定されるものではない。すなわち、これらの信号処理は、圧縮動画符号化装置１０００に含まれる中央処理ユニット(ＣＰＵ)によって実行されるソフトウェア処理によって置換されることが可能である。
また、図７に示した圧縮動画復号化装置(デコーダ)７０に含まれる復号化器７１、逆子化器７２、逆直交変換器７３、動き補償器７４、加算器７５、参照画像画面拡張ユニット７７は、それぞれ専用ハードウェアによる信号処理に限定されるものではない。すなわち、これらの信号処理は、圧縮動画復号化装置７０に含まれる中央処理ユニット(ＣＰＵ)によって実行されるソフトウェア処理によって置換されることが可能である。
また更に、図５に示したような参照画像の画面内と画面外の境界線５０の外側に拡張参照画像Ｄを生成する際の拡張方向は、四角形の参照画像の四辺の全てに、限定されるものではない。例えば。動画像撮影デバイスに搭載される加速度センサーから出力される動画像撮影デバイスの移動方向を基にして、拡張参照画像の生成方向を制限することも可能である。また、動画像撮影デバイスの移動ベクトルのＸ方向とＹ方向とに、拡張参照画像の生成方向を制限することもできる。すなわち、生成方向を制限する場合には、どの方向に拡張参照画像生成を制限したかの情報や、どの方向に拡張参照画像生成を制限しなかったかの情報をビデオ・ストリームに重畳することによって、ビデオ・ストリームを復号する動画像復号化装置の復号処理を簡略化することが可能となる。例えば、上述の拡張参照画像生成を制限する情報(制限情報)は、画面の各方向ついて拡張参照画像生成を制限しない場合を“１”、制限する場合を“０”とし、この信号を上下左右の順に配列した４ビットの情報とすることができる。例えば、４ビットの情報が“０００１”の場合には、Ｐフレーム(片方向予測フレーム)でカメラが右方向に動いている場合のように、画面の右方向の拡張参照画像を生成する必要があることが示される。この制限情報は、符号化画像のフレーム毎に付加することも可能であり、複数のフレーム単位で付加することも可能である。前者の場合には、各フレーム単位のカメラの動き等に適応して制限方向を適切に設定できるので、符号化効率を低下させることなく、拡張参照画像の生成を制限することができる。尚、拡張最小画像生成が制限された方向に関しては、ＭＰＥＧ−４等で用いた拡張方法を採用することができる。
更に、インターレース画像のようにトップフィールドの画像とボトムフィールドの画像とがライン毎に異なる場合には、符号化されるべき映像入力信号はトップフィールドとボトムフィールドとに分割され、各フィールドで図５に示すような拡張参照画像の生成が行われるものである。
本発明は、画面外部の周辺領域からの動き補償を可能とする非制限動きベクトル(ＵＭＶ)が採用されたＭＰＥＧ−４の符号化方法および復号化方法に限定されるものではない。
本発明は、時間方向の相関を使用するフレーム間予測符号化と動きベクトル検出と動き補償と拡張参照画像等を利用する圧縮動画符号化装置、圧縮動画復号化装置、圧縮動画符号化方法および圧縮動画復号化方法に広く適用することができる。

Claims (20)

  1. 符号化されるべき映像入力信号の画像領域と最も類似する画像領域をフレームメモリから読み出される参照画像にて探索することによって、動きベクトルが生成され、
    前記動きベクトルと前記フレームメモリから読み出される前記参照画像とから、予測画像としての動き補償された参照画像が生成され、
    前記動き補償された参照画像と前記符号化されるべき映像入力信号との減算によって、予測残差が生成され、
    前記予測残差の直交変換処理と量子化処理と逆量子化処理と逆直交変換処理の結果と前記動き補償された参照画像との加算によって、前記フレームメモリに格納される前記参照画像が生成され、
    前記予測残差の前記直交変換処理と前記量子化処理と可変長符号化処理とによって、符号化映像出力信号が生成される圧縮動画符号化装置であって、
    前記参照画像は映像表示画面の内側の画面内参照画像と前記映像表示画面の外側の画面外参照画像とを含み、
    前記画面外参照画像は前記画面内参照画像の類似した複数の参照画像の位置関係に基づいて生成されることを特徴とする圧縮動画符号化装置。
  2. 請求項１に記載の圧縮動画符号化装置であって、
    前記画面内参照画像の類似した前記複数の参照画像の一方の参照画像は、前記画面内参照画像と前記画面外参照画像との境界線に近接するものであり、
    前記複数の参照画像の他方の参照画像は、前記一方の参照画像よりも前記境界線から離間して前記画面内参照画像の内部に位置するものであり、
    前記画面外参照画像は、前記境界線を介して前記一方の参照画像と直近するものであり、
    前記一方の参照画像と前記画面外参照画像の位置関係と略同一の位置関係で、前記画面内参照画像の他の参照画像は前記他方の参照画像に近接するものである。
    前記他の参照画像の画像情報に基づき、前記画面外参照画像の画像情報が生成されることを特徴とする圧縮動画符号化装置。
  3. 請求項１に記載の圧縮動画符号化装置であって、
    前記画面内参照画像は、複数のスタートの参照画像を含むものであり、
    前記画面外参照画像と前記複数のスタートの参照画像との間には、複数の延長直線が存在するものであり、
    前記複数の延長直線の各延長直線上の参照画像の複数の類似度が計算されて、前記複数の類似度の最高類似度の延長直線が選択され、
    前記最高類似度を持った前記延長直線の前記参照画像の画像情報に基づき、前記画面外参照画像の画像情報が生成されることを特徴とする圧縮動画符号化装置。
  4. 請求項３に記載の圧縮動画符号化装置であって、
    前記最高類似度を持った前記延長直線の前記参照画像の前記画像情報の統計処理結果に基づき、前記画面外参照画像の画像情報が生成されることを特徴とする圧縮動画符号化装置。
  5. 請求項１乃至請求項４のいずれかに記載の圧縮動画符号化装置であって、
    前記画面内参照画像の上方向と下方向と左方向と右方向の各方向に前記画面外参照画像が生成されるか否かを示す情報が、前記符号化映像出力信号に付加されることを特徴とする圧縮動画符号化装置。
  6. 符号化映像入力信号の復号化処理によって、動きベクトルが抽出され、
    前記動きベクトルと前記フレームメモリから読み出される前記参照画像とから、予測画像としての動き補償された参照画像が生成され、
    前記符号化映像入力信号の前記符号化処理と逆量子化処理と逆直交変換処理の結果と前記動き補償された参照画像との加算によって、前記フレームメモリに格納される前記参照画像が生成され、
    前記フレームメモリから、復号化映像出力信号が生成される圧縮動画復号化装置であって、
    前記参照画像は映像表示画面の内側の画面内参照画像と前記映像表示画面の外側の画面外参照画像とを含み、
    前記画面外参照画像は前記画面内参照画像の類似した複数の参照画像の位置関係に基づいて生成されることを特徴とする圧縮動画復号化装置。
  7. 請求項６に記載の圧縮動画復号化装置であって、
    前記画面内参照画像の類似した前記複数の参照画像の一方の参照画像は、前記画面内参照画像と前記画面外参照画像との境界線に近接するものであり、
    前記複数の参照画像の他方の参照画像は、前記一方の参照画像よりも前記境界線から離間して前記画面内参照画像の内部に位置するものであり、
    前記画面外参照画像は、前記境界線を介して前記一方の参照画像と直近するものであり、
    前記一方の参照画像と前記画面外参照画像の位置関係と略同一の位置関係で、前記画面内参照画像の他の参照画像は前記他方の参照画像に近接するものである。
    前記他の参照画像の画像情報に基づき、前記画面外参照画像の画像情報が生成されることを特徴とする圧縮動画復号化装置。
  8. 請求項６に記載の圧縮動画復号化装置であって、
    前記画面内参照画像は、複数のスタートの参照画像を含むものであり、
    前記画面外参照画像と前記複数のスタートの参照画像との間には、複数の延長直線が存在するものであり、
    前記複数の延長直線の各延長直線上の参照画像の複数の類似度が計算されて、前記複数の類似度の最高類似度の延長直線が選択され、
    前記最高類似度を持った前記延長直線の前記参照画像の画像情報に基づき、前記画面外参照画像の画像情報が生成されることを特徴とする圧縮動画復号化装置。
  9. 請求項８に記載の圧縮動画復号化装置であって、
    前記最高類似度を持った前記延長直線の前記参照画像の前記画像情報の統計処理結果に基づき、前記画面外参照画像の画像情報が生成されることを特徴とする圧縮動画復号化装置。
  10. 請求項６乃至請求項９のいずれかに記載の圧縮動画復号化装置であって、
    前記画面内参照画像の上方向と下方向と左方向と右方向の各方向に前記画面外参照画像が生成されるか否かを示す情報が、前記符号化映像入力信号から抽出されるものであり、
    前記情報が否を示す方向に関しての前記画面外参照画像の生成が省略されることを特徴とする圧縮動画復号化装置。
  11. 符号化されるべき映像入力信号の画像領域と最も類似する画像領域をフレームメモリから読み出される参照画像にて探索することによって、動きベクトルが生成され、
    前記動きベクトルと前記フレームメモリから読み出される前記参照画像とから、予測画像としての動き補償された参照画像が生成され、
    前記動き補償された参照画像と前記符号化されるべき映像入力信号との減算によって、予測残差が生成され、
    前記予測残差の直交変換処理と量子化処理と逆量子化処理と逆直交変換処理の結果と前記動き補償された参照画像との加算によって、前記フレームメモリに格納される前記参照画像が生成され、
    前記予測残差の前記直交変換処理と前記量子化処理と可変長符号化処理とによって、符号化映像出力信号が生成される圧縮動画符号化方法であって、
    前記参照画像は映像表示画面の内側の画面内参照画像と前記映像表示画面の外側の画面外参照画像とを含み、
    前記画面外参照画像は前記画面内参照画像の類似した複数の参照画像の位置関係に基づいて生成されることを特徴とする圧縮動画符号化方法。
  12. 請求項１１に記載の圧縮動画符号化方法であって、
    前記画面内参照画像の類似した前記複数の参照画像の一方の参照画像は、前記画面内参照画像と前記画面外参照画像との境界線に近接するものであり、
    前記複数の参照画像の他方の参照画像は、前記一方の参照画像よりも前記境界線から離間して前記画面内参照画像の内部に位置するものであり、
    前記画面外参照画像は、前記境界線を介して前記一方の参照画像と直近するものであり、
    前記一方の参照画像と前記画面外参照画像の位置関係と略同一の位置関係で、前記画面内参照画像の他の参照画像は前記他方の参照画像に近接するものである。
    前記他の参照画像の画像情報に基づき、前記画面外参照画像の画像情報が生成されることを特徴とする圧縮動画符号化方法。
  13. 請求項１１に記載の圧縮動画符号化方法であって、
    前記画面内参照画像は、複数のスタートの参照画像を含むものであり、
    前記画面外参照画像と前記複数のスタートの参照画像との間には、複数の延長直線が存在するものであり、
    前記複数の延長直線の各延長直線上の参照画像の複数の類似度が計算されて、前記複数の類似度の最高類似度の延長直線が選択され、
    前記最高類似度を持った前記延長直線の前記参照画像の画像情報に基づき、前記画面外参照画像の画像情報が生成されることを特徴とする圧縮動画符号化方法。
  14. 請求項１３に記載の圧縮動画符号化方法であって、
    前記最高類似度を持った前記延長直線の前記参照画像の前記画像情報の統計処理結果に基づき、前記画面外参照画像の画像情報が生成されることを特徴とする圧縮動画符号化方法。
  15. 請求項１１乃至請求項１４のいずれかに記載の圧縮動画符号化方法であって、
    前記画面内参照画像の上方向と下方向と左方向と右方向の各方向に前記画面外参照画像が生成されるか否かを示す情報が、前記符号化映像出力信号に付加されることを特徴とする圧縮動画符号化方法。
  16. 符号化映像入力信号の復号化処理によって、動きベクトルが抽出され、
    前記動きベクトルと前記フレームメモリから読み出される前記参照画像とから、予測画像としての動き補償された参照画像が生成され、
    前記符号化映像入力信号の前記復号化処理と逆量子化処理と逆直交変換処理の結果と前記動き補償された参照画像との加算によって、前記フレームメモリに格納される前記参照画像が生成され、
    前記フレームメモリから、復号化映像出力信号が生成される圧縮動画復号化装置であって、
    前記参照画像は映像表示画面の内側の画面内参照画像と前記映像表示画面の外側の画面外参照画像とを含み、
    前記画面外参照画像は前記画面内参照画像の類似した複数の参照画像の位置関係に基づいて生成されることを特徴とする圧縮動画復号化方法。
  17. 請求項１６に記載の圧縮動画復号化方法であって、
    前記画面内参照画像の類似した前記複数の参照画像の一方の参照画像は、前記画面内参照画像と前記画面外参照画像との境界線に近接するものであり、
    前記複数の参照画像の他方の参照画像は、前記一方の参照画像よりも前記境界線から離間して前記画面内参照画像の内部に位置するものであり、
    前記画面外参照画像は、前記境界線を介して前記一方の参照画像と直近するものであり、
    前記一方の参照画像と前記画面外参照画像の位置関係と略同一の位置関係で、前記画面内参照画像の他の参照画像は前記他方の参照画像に近接するものである。
    前記他の参照画像の画像情報に基づき、前記画面外参照画像の画像情報が生成されることを特徴とする圧縮動画復号化方法。
  18. 請求項１６に記載の圧縮動画復号化方法であって、
    前記画面内参照画像は、複数のスタートの参照画像を含むものであり、
    前記画面外参照画像と前記複数のスタートの参照画像との間には、複数の延長直線が存在するものであり、
    前記複数の延長直線の各延長直線上の参照画像の複数の類似度が計算されて、前記複数の類似度の最高類似度の延長直線が選択され、
    前記最高類似度を持った前記延長直線の前記参照画像の画像情報に基づき、前記画面外参照画像の画像情報が生成されることを特徴とする圧縮動画復号化方法。
  19. 請求項１８に記載の圧縮動画復号化方法であって、
    前記最高類似度を持った前記延長直線の前記参照画像の前記画像情報の統計処理結果に基づき、前記画面外参照画像の画像情報が生成されることを特徴とする圧縮動画復号化方法。
  20. 請求項１６乃至請求項１９のいずれかに記載の圧縮動画復号化方法であって、
    前記画面内参照画像の上方向と下方向と左方向と右方向の各方向に前記画面外参照画像が生成されるか否かを示す情報が、前記符号化映像入力信号から抽出されるものであり、
    前記情報が否を示す方向に関しての前記画面外参照画像の生成が省略されることを特徴とする圧縮動画復号化方法。
JP2011502500A 2009-03-04 2009-03-04 圧縮動画符号化装置、圧縮動画復号化装置、圧縮動画符号化方法および圧縮動画復号化方法 Active JP5426655B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/000969 WO2010100672A1 (ja) 2009-03-04 2009-03-04 圧縮動画符号化装置、圧縮動画復号化装置、圧縮動画符号化方法および圧縮動画復号化方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013245969A Division JP5718438B2 (ja) 2013-11-28 2013-11-28 圧縮動画符号化装置、圧縮動画復号化装置、圧縮動画符号化方法および圧縮動画復号化方法

Publications (2)

Publication Number Publication Date
JPWO2010100672A1 true JPWO2010100672A1 (ja) 2012-09-06
JP5426655B2 JP5426655B2 (ja) 2014-02-26

Family

ID=42709252

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011502500A Active JP5426655B2 (ja) 2009-03-04 2009-03-04 圧縮動画符号化装置、圧縮動画復号化装置、圧縮動画符号化方法および圧縮動画復号化方法

Country Status (6)

Country Link
US (2) US8958479B2 (ja)
EP (2) EP2405655B1 (ja)
JP (1) JP5426655B2 (ja)
KR (2) KR101671676B1 (ja)
CN (1) CN102369730B (ja)
WO (1) WO2010100672A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7319795B2 (en) * 2003-09-23 2008-01-15 Broadcom Corporation Application based adaptive encoding
US8773887B1 (en) * 2011-05-25 2014-07-08 Peter K. Naji Resistive memory devices and related methods
US9892782B1 (en) 2011-05-25 2018-02-13 Terra Prime Technologies, Llc Digital to analog converters and memory devices and related methods
US9589633B2 (en) 2011-05-25 2017-03-07 Peter K. Nagey Memory devices and related methods
WO2013187060A1 (ja) * 2012-06-12 2013-12-19 パナソニック株式会社 動画像符号化方法、動画像復号化方法、動画像符号化装置および動画像復号化装置
CN104104960B (zh) * 2013-04-03 2017-06-27 华为技术有限公司 多级双向运动估计方法及设备
JP6590412B2 (ja) * 2014-04-04 2019-10-16 日本電気株式会社 映像符号化装置、方法及びプログラム、並びに映像復号装置、方法及びプログラム
JP6904200B2 (ja) * 2017-09-27 2021-07-14 株式会社Ｊｖｃケンウッド 動きベクトル検出装置
US11315326B2 (en) * 2019-10-15 2022-04-26 At&T Intellectual Property I, L.P. Extended reality anchor caching based on viewport prediction
JP7359653B2 (ja) * 2019-11-06 2023-10-11 ルネサスエレクトロニクス株式会社 動画像符号化装置
CN112733616B (zh) * 2020-12-22 2022-04-01 北京达佳互联信息技术有限公司 一种动态图像的生成方法、装置、电子设备和存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06351001A (ja) 1993-06-08 1994-12-22 Matsushita Electric Ind Co Ltd 動きベクトル検出方法および動き補償予測方法並びにその装置
JP2001251632A (ja) * 1999-12-27 2001-09-14 Toshiba Corp 動きベクトル検出方法および装置並びに動きベクトル検出プログラム
US7450641B2 (en) * 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
JP3971930B2 (ja) * 2002-01-18 2007-09-05 日本電信電話株式会社 動画像符号化方法と装置、並びにこの方法の実行プログラムとこの方法の実行プログラムを記録した記録媒体
EP1503597A3 (en) * 2003-07-28 2007-01-03 Matsushita Electric Industrial Co., Ltd. Video decoding apparatus
US7623682B2 (en) * 2004-08-13 2009-11-24 Samsung Electronics Co., Ltd. Method and device for motion estimation and compensation for panorama image
KR100688383B1 (ko) * 2004-08-13 2007-03-02 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상
KR20060123939A (ko) * 2005-05-30 2006-12-05 삼성전자주식회사 영상의 복부호화 방법 및 장치
KR100694137B1 (ko) * 2005-07-08 2007-03-12 삼성전자주식회사 동영상 부호화 장치, 동영상 복호화 장치, 및 그 방법과,이를 구현하기 위한 프로그램이 기록된 기록 매체

Also Published As

Publication number Publication date
EP2773123B1 (en) 2016-06-29
KR101589334B1 (ko) 2016-01-27
WO2010100672A1 (ja) 2010-09-10
JP5426655B2 (ja) 2014-02-26
KR20110122167A (ko) 2011-11-09
US9813703B2 (en) 2017-11-07
CN102369730A (zh) 2012-03-07
KR20160017100A (ko) 2016-02-15
CN102369730B (zh) 2015-12-16
EP2405655A4 (en) 2012-09-12
KR101671676B1 (ko) 2016-11-01
US20110305280A1 (en) 2011-12-15
EP2405655B1 (en) 2015-02-25
EP2405655A1 (en) 2012-01-11
US8958479B2 (en) 2015-02-17
EP2773123A1 (en) 2014-09-03
US20140376636A1 (en) 2014-12-25

Similar Documents

Publication Publication Date Title
JP5426655B2 (ja) 圧縮動画符号化装置、圧縮動画復号化装置、圧縮動画符号化方法および圧縮動画復号化方法
KR20110008653A (ko) 움직임 벡터 예측 방법과 이를 이용한 영상 부호화/복호화 장치 및 방법
JP2004336369A (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
JP2004056823A (ja) 動きベクトル符号化／復号化方法及びその装置
JP2006279573A (ja) 符号化装置と方法、ならびに復号装置と方法
TWI511531B (zh) 影像編碼裝置、影像編碼方法及影像編碼程式
US20070133689A1 (en) Low-cost motion estimation apparatus and method thereof
JP2013115583A (ja) 動画像符号化装置及びその制御方法並びにプログラム
JP2004242309A (ja) 飛越走査方式の動画符号化／復号化方法及びその装置
JP2008219141A (ja) 動きベクトル検出装置、それを用いた画像符号化装置および撮像装置
US8411749B1 (en) Optimized motion compensation and motion estimation for video coding
JP2007243784A (ja) 動画像復号装置および動画像復号方法
JP2006246277A (ja) 再符号化装置、再符号化方法、および再符号化用プログラム
JP2009284058A (ja) 動画像符号化装置
JP5718438B2 (ja) 圧縮動画符号化装置、圧縮動画復号化装置、圧縮動画符号化方法および圧縮動画復号化方法
JP5281597B2 (ja) 動きベクトル予測方法，動きベクトル予測装置および動きベクトル予測プログラム
JP5171675B2 (ja) 画像処理装置、およびそれを搭載した撮像装置
JP5281596B2 (ja) 動きベクトル予測方法，動きベクトル予測装置および動きベクトル予測プログラム
WO2011099242A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP2014200078A (ja) 動画像符号化装置及びその制御方法
JP2006295502A (ja) 再符号化装置、再符号化方法、および再符号化用プログラム
JP4533157B2 (ja) 画像復号方法
JP2007221202A (ja) 動画像符号化装置及び動画像符号化プログラム
KR101021538B1 (ko) Ｈ．264 인코딩 시 고속 인트라 모드 결정 방법
JP2010074347A (ja) 動画符号化装置および動画符号化方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130328

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130613

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130723

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130822

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131128

R150 Certificate of patent or registration of utility model

Ref document number: 5426655

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350