WO2009090884A1 - 画像符号化方法及び画像復号方法 - Google Patents

画像符号化方法及び画像復号方法

Info

Publication number
WO2009090884A1
WO2009090884A1 PCT/JP2009/000150 JP2009000150W WO2009090884A1 WO 2009090884 A1 WO2009090884 A1 WO 2009090884A1 JP 2009000150 W JP2009000150 W JP 2009000150W WO 2009090884 A1 WO2009090884 A1 WO 2009090884A1
Authority
WO
Grant status
Application
Patent type
Prior art keywords
prediction
block
edge
step
prediction mode
Prior art date
Application number
PCT/JP2009/000150
Other languages
English (en)
French (fr)
Inventor
Virginie Drugeon
Thomas Wedi
Torsten Palfner
Hisao Sasai
Original Assignee
Panasonic Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Classifications

    • H04N19/00733
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Abstract

 より符号化効率の高いイントラ予測を行う画像符号化方法を提供する。  画像データをブロック毎に符号化する画像符号化方法であって、対象ブロックを予測することで予測ブロックを生成する予測ステップと、対象ブロックと予測ブロックとの差分を算出する減算ステップと、減算ステップで算出された差分を符号化する符号化ステップと、符号化された差分を復号する復号ステップと、復号された差分と予測ブロックとを加算することで復号ブロックを生成する加算ステップとを含み、予測ステップは、対象ブロックに近接するブロックに対応する、前に生成された復号ブロック内のエッジを検出するエッジ検出ステップと、検出されたエッジの方向に沿って、対象ブロックに近接するブロックに含まれる画素に対応する、前に生成された復号画像データを外挿又は内挿することで予測ブロックを生成する予測ブロック生成ステップとを含む。

Description

画像符号化方法及び画像復号方法

 本発明は、より良い符号化効率で画像及び映像データを圧縮符号化する画像符号化方法と、圧縮符号化された画像及び映像データを復元する画像復号方法と、対応する画像符号化装置及び画像復号装置に関する。

 インターネットを介したビデオ会議、デジタルビデオ放送、及び、映像コンテンツのストリーミングを含む、例えば、ビデオ・オン・デマンドタイプのサービスのためのアプリケーションの数は右肩上がりであり、これらのアプリケーションは、映像情報の送信に頼っている。映像データが送信され、又は、記録される時、かなりの量のデータは、限られたバンド幅の従来の伝送路を通って送信され、又は、限られたデータ容量の従来の記憶媒体に記憶される。従来の伝送チャネル及び記憶媒体に映像情報を送信及び記憶するためには、デジタルデータの量を圧縮又は削減することが不可欠である。

 そこで、映像データの圧縮のために、複数の映像符号化規格が開発されている。このような映像符号化規格は、例えば、H.26xで示されるITU-T規格、及び、MPEG-xで示されるISO/IEC規格である。最新かつ最も進んだ映像符号化規格は、現在、H.264/MPEG-4 AVCで示される規格である(非特許文献1参照)。

 これらの規格のほとんどの基礎をなす符号化アプローチは、以下の(a)~(d)で示される主な段階を含む予測符号化に基づいている。

 (a)映像フレームのそれぞれをブロックレベルでデータ圧縮するために、映像フレームを画素のブロックに分割する。

 (b)先に符号化された映像データから個々のブロックを予測することで、時間的及び空間的冗長性を特定する。

 (c)映像データから予測データを減ずることで、特定された冗長性を除去する。

 (d)フーリエ変換、量子化、及び、エントロピー符号化によって、残りのデータを圧縮する。

 現在の映像符号化規格では、各マクロブロックを予測するのに用いられる予測モードが異なる。ほとんどの映像符号化規格は、前に符号化及び復号されたフレームから映像データを予測するために動き検出及び動き補償を用いる(インターフレーム予測)。あるいは、ブロックデータは、同じフレームの隣接するブロックから外挿されてもよい(イントラフレーム予測)。H.264/AVC規格は、例えば、外挿のために用いられる参照画素に対して、又は、画素が外挿される方向に対して、いくつかの異なるイントラフレーム予測モードを定義する。

 図1A及び図1Bは、H.264/AVC規格で定められたイントラ予測モードを示す図である。図1Aに示すように、4×4画素の対象ブロック10は、予測される対象ブロック10の上と左とに位置する13個の参照画素20を外挿することで予測される。この予測により、対象ブロック10に対応する予測ブロックが生成される。このとき、外挿を実行するために、図1Bに示される8個のとり得る外挿方向(イントラ予測方向)から1つが選択される。あるいは、DC予測モードが選択されてもよい。DC予測モードでは、対象ブロック10を予測するために参照画素の平均値を用いる。

 イントラフレーム予測では、4×4、8×8又は16×16画素のサイズのサブブロックの空間予測が、自然画像に存在する空間的冗長性を低減するために実行される。既に符号化された周囲ブロックの画素値(参照画素の画素値)は、対象ブロックの画素値を予測するために用いられる。これらの参照画素は、予め定義された予測モードに従って外挿される。H.264/AVC規格では、4×4及び8×8サイズのサブブロックのために9つの予測モードが、16×16画素サイズのマクロブロックのために4つの予測モードがある。

 8×8画素より小さいサブブロックに対して、9つの予測モードは、方向性構造を予測するのに適した8つの予測方向(図1B参照)と、いわゆるDC予測モードとから構成される。DC予測モードでは、対象ブロックの全ての画素は、周囲参照画素の平均値である単一の値で予測される。方向モードでは、参照画素が、対応する方向に沿って繰り返される。例えば、垂直モードの場合、対象ブロックのすぐ上の行の参照画素が、垂直方向に繰り返される(外挿される)。一方で、水平モードの場合、対象ブロックのすぐ左の列の画素が水平方向に繰り返される(外挿される)。残りのモードは、同様に派生する斜め方向モードである。
ISO/IEC 14496-10「MPEG-4 Part 10 Advanced Video Coding」

 しかしながら、上記従来技術では、対象ブロックにシャープな直線のエッジが含まれ、適切な予測ブロックを生成することができない場合には、符号量が多くなる、又は、符号化画像内に歪みが生じるという課題がある。具体的には、以下の通りである。

 従来の予め定義されたイントラ予測方向には、限界がある。すなわち、イントラ予測方向は、図1Bに示す8方向に限られている。したがって、上記従来技術では、8方向のいずれか1つの方向に従ったイントラ予測しか実行することができない。

 シャープな直線のエッジがある場合、エッジの角度に最も近い角度を持つイントラ予測モードが、図1Bの8方向の中から選択され、選択された方向の予測モードに従って対象ブロックは予測される。しかし、予測モードの角度が、エッジの本当の角度からわずかに異なっている場合、予測ブロックは、実際のエッジの方向とは異なる方向にもエッジを含む。このため、対象ブロックから予測ブロックを減算することで算出される差分画像には、特に、参照画素から最も離れた画素で大きな高周波成分が生じる。

 高周波成分は、通常符号化するのに多くのビットが必要であるので、発生する符号量が多くなる。あるいは、符号量の発生を抑えるために高周波成分をカットすると符号化画像内に歪みが生じる。

 そこで、本発明は、上記課題を解決するためになされたものであって、より高い符号化効率が達成され、符号化歪みが抑制されるように、画像及び映像データを符号化する画像符号化方法、及び、符号化された画像及び映像データを復号する画像復号方法を提供することを目的とする。

 上記課題を解決するため、本発明の画像符号化方法は、画像データをブロック毎に符号化する画像符号化方法であって、前記画像データを複数のブロックに分割する分割ステップと、前記複数のブロックの1つである対象ブロックを予測することで予測ブロックを生成する予測ステップと、前記対象ブロックと前記予測ブロックとの差分を算出する減算ステップと、前記減算ステップで算出された差分を符号化する符号化ステップと、前記符号化ステップで符号化された差分を復号する復号ステップと、前記予測ブロックと前記復号ステップで復号された差分とを加算する加算ステップとを含み、前記予測ステップは、前記対象ブロックに近接するブロックに対応する、前に生成された復号ブロック内のエッジを検出するエッジ検出ステップと、前記エッジ検出ステップで検出されたエッジの方向に沿って、前記対象ブロックに近接するブロックに含まれる画素に対応する、前に生成された復号画像データを外挿又は内挿することで前記予測ブロックを生成する予測ブロック生成ステップとを含む。

 これにより、対象ブロックの周囲のブロックにおいて検出されたエッジの方向を予測方向として予測ブロックを生成することができる。このため、特に対象ピクチャがシャープなエッジを含む場合には、従来の予め定義された方向予測モードを用いて生成した予測ブロックよりも適切な予測ブロックを生成することができる。したがって、対象ブロックと予測ブロックとの差分である予測残差は小さくなるので、符号化歪みを抑制することができ、また、符号化効率を高めることができる。

 また、前記予測ブロック生成ステップでは、前記復号画像データを線形に外挿又は内挿することで前記予測ブロックを生成してもよい。

 また、前記予測ブロック生成ステップでは、前記予測ブロックを構成する予測画素毎に前記復号画像データに含まれる複数の復号画素の画素値の少なくとも2つの重み付け加算和を算出し、算出した重み付け加算和を外挿又は内挿することで、前記予測ブロックを生成し、前記重み付け加算和の算出に用いられる重みは、前記エッジ検出ステップで検出されたエッジの方向に基づいて決定されてもよい。

 これにより、予測値の算出の対象となる予測画素を通り、検出されたエッジの方向の直線上に整数画素がない場合であっても、近傍の画素の重み付け加算和を算出することにより、適切な予測値を算出することができる。

 また、前記重みのそれぞれは、前記予測画素の位置に対応して決定されてもよい。具体的には、前記予測画素と予測ブロック生成に用いられる前記復号画素の距離が小さいほど、大きな値になるように決定されてもよい。

 また、前記エッジ検出ステップでは、互いに異なる方向を有する少なくとも2つのエッジを検出し、前記予測ブロック生成ステップでは、前記予測画素毎に、前記少なくとも2つのエッジそれぞれの方向に沿って外挿又は内挿するための前記複数の復号画素の画素値を合成し、合成した画素値を外挿又は内挿することで、前記予測ブロックを生成してもよい。

 これにより、複数のエッジが対象ブロックの周囲のブロックにおいて検出された場合であっても、複数のエッジのそれぞれの方向に沿って予測値を算出することができるので、適切な予測値を算出することができる。

 また、前記予測ブロック生成ステップでは、前記予測画素毎に、前記複数の復号画素の画素値のそれぞれに重みを乗じることで前記重み付け加算和を算出し、算出した重み付け加算和を外挿又は内挿することで、前記予測ブロックを生成し、前記重みのそれぞれは、当該重みに対応する復号画素から、前記少なくとも2つのエッジのいずれかが検出された復号ブロックまでの距離が小さいほど、大きな値になるように決定されてもよい。

 また、前記重みのそれぞれは、当該重みに対応する復号画素から、前記少なくとも2つのエッジのいずれかの延長線までの距離が小さいほど、大きな値になるように決定されてもよい。

 また、前記予測ステップは、さらに、エッジ予測モードを含む複数の予測モードから1つの予測モードを選択する予測モード選択ステップを含み、前記予測ブロック生成ステップでは、前記エッジ予測モードが選択された場合に、前記エッジ検出モードで検出されたエッジの方向に沿って前記復号画像データを外挿又は内挿することで、前記予測ブロックを生成してもよい。

 これにより、エッジが検出された場合には検出されたエッジの方向に沿った外挿又は内挿を行うエッジ予測モードを実行することができ、エッジが検出されない場合には、通常の予測モードを実行することができる。

 また、前記複数の予測モードは、さらに、DC予測モードと予め定義された複数の方向予測モードとを含み、前記予測ブロック生成ステップでは、前記DC予測モードが選択された場合には、前記復号画像データの平均値を算出することで前記予測ブロックを生成し、前記複数の方向予測モードの1つが選択された場合には、選択された方向予測モードに対応する方向に沿って前記復号画像データを外挿することで前記予測ブロックを生成してもよい。

 また、前記予測モード選択ステップでは、前記エッジ検出ステップでエッジが検出された場合に、前記エッジ予測モードと前記複数の方向予測モードとの中から1つの予測モードを選択し、前記エッジ検出ステップでエッジが検出されない場合に、前記DC予測モードと前記複数の方向予測モードとの中から1つの予測モードを選択してもよい。

 これにより、エッジが検出された場合にはエッジ予測モードと従来の方向予測モードとを予測モードの候補として最適な予測モードを選択することができ、エッジが検出されない場合にはDC予測モードと従来の方向予測モードとを予測モードの候補として最適な予測モードを選択することができる。なお、エッジが検出された場合には、対象ブロックは平坦である可能性は低く、DC予測モードで生成した予測ブロックと対象ブロックとの差分は通常大きくなる。このため、符号化効率は悪くなるので、エッジが検出された場合にDC予測モードが選択されることはほとんどないため、DC予測モードを予測モードの候補から除外することができる。

 また、前記符号化ステップでは、さらに、前記予測モード選択ステップで前記複数の方向予測モードの1つが選択された場合、選択された方向予測モードを示すモード指示を符号化し、前記DC予測モード又は前記エッジ予測モードが選択された場合、前記DC予測モード及び前記エッジ予測モードのいずれかのモードであることを示すモード指示を符号化してもよい。

 これにより、従来のDC予測モードを示す情報をエッジ予測モードを示す情報として用いることができるので、符号化時にエッジ予測モードを示す情報を新たに符号化する必要がなく、符号化効率を高めることができる。上述のように、エッジが検出された場合などのようなエッジ予測モードが選択されうる場合に、DC予測モードが選択される可能性は低い。また、DC予測モードが選択されうる場合に、エッジ予測モードが選択される可能性も低い。したがって、予測モードの候補としてエッジ予測モードとDC予測モードとの双方が必要となる場合はほとんどないため、DC予測モードを示す情報をエッジ予測モードを示す情報としても割り当てることができる。

 また、前記予測モード選択ステップでは、前記エッジ検出ステップでエッジが検出され、かつ、検出されたエッジの方向が前記対象ブロックを指す場合に、前記エッジ予測モードと前記複数の方向予測モードとの中から1つの予測モードを選択し、前記エッジ検出ステップでエッジが検出されない場合、又は、エッジが検出され、検出されたエッジの方向が前記対象ブロックを指さない場合に、前記DC予測モードと前記複数の方向予測モードとの中から1つの予測モードを選択してもよい。

 また、前記エッジ検出ステップは、前記対象ブロックに近接するブロックに対応する、前に生成(符号化及び復号)された復号ブロックの複数の画素のそれぞれに対応する勾配ベクトルを算出する勾配ベクトル算出ステップと、前記勾配ベクトル算出ステップで算出された勾配ベクトルのうち、ノルムが予め定められた閾値を超え、かつ、当該勾配ベクトルに直交する直交ベクトルが前記対象ブロックを指すという条件を満たす少なくとも1つの勾配ベクトルが存在するか否かを判定するベクトル判定ステップと、前記ベクトル判定ステップで前記条件を満たす少なくとも1つの勾配ベクトルが存在すると判定された場合、前記条件を満たす少なくとも1つの勾配ベクトルに直交する直交ベクトルの方向をエッジの方向とするエッジを検出するエッジ方向決定ステップとを含んでもよい。

 これにより、対象ブロックからではなく周囲のブロックを利用してエッジを検出することができるので、エッジの方向を示す情報などのエッジ予測モードに必要な情報を復号器側に伝送する必要がなくなる。よって、符号化効率をより高めることができる。

 また、前記エッジ方向決定ステップでは、前記条件を満たす少なくとも1つの勾配ベクトルのうち最大のノルムを有する勾配ベクトルから決められる方向を前記エッジの方向として決定してもよい。

 また、前記エッジ方向決定ステップでは、前記条件を満たす少なくとも1つの勾配ベクトルのうち少なくとも1つの勾配ベクトルの方向を平均することで得られる方向から決められる方向を前記エッジの方向として決定してもよい。

 また、本発明の画像復号方法は、符号化された予測残差を含む画像データをブロック毎に復号する画像復号方法であって、対象ブロックの前記予測残差を復号する復号ステップと、前記対象ブロックを予測することで予測ブロックを生成する予測ステップと、前記予測ステップで生成された予測ブロックと、前記復号ステップで復号された予測残差とを加算することで復号ブロックを生成する加算ステップとを含み、前記予測ステップは、前記対象ブロックに近接するブロックに対応する、前に生成された復号ブロック内のエッジを検出するエッジ検出ステップと、前記エッジ検出ステップで検出されたエッジの方向に沿って、前記対象ブロックに近接するブロックに含まれる画素に対応する予測ブロック生成ステップとを含む。

 これにより、対象ブロックの周囲のブロックにおいて検出されたエッジの方向を予測方向として予測ブロックを生成することができる。このため、特に対象ピクチャがシャープなエッジを含む場合には、従来の予め定義された方向予測モードを用いて生成した予測ブロックよりも適切な予測ブロックを生成することができる。したがって、対象ブロックと予測ブロックとの差分である予測残差は小さくなるので、符号化歪みを抑制することができる。

 また、前記予測ブロック生成ステップでは、前記予測ブロックを構成する予測画素毎に前記復号画像データに含まれる複数の復号画素の画素値の少なくとも2つの重み付け加算和を算出し、算出した重み付け加算和を外挿又は内挿することで、前記予測ブロックを生成し、前記重み付け加算和の算出に用いられる重みは、前記エッジ検出ステップで検出されたエッジの方向に基づいて決定されてもよい。

 これにより、予測値の算出の対象となる予測画素を通り、検出されたエッジの方向の直線上に整数画素がない場合であっても、近傍の画素の重み付け加算和を算出することにより、適切な予測値を算出することができる。

 また、前記エッジ検出ステップでは、互いに異なる方向を有する少なくとも2つのエッジを検出し、前記予測ブロック生成ステップでは、前記予測画素毎に、前記少なくとも2つのエッジそれぞれの方向に沿って外挿又は内挿するための前記複数の復号画素の画素値を合成し、合成した画素値を外挿又は内挿することで、前記予測ブロックを生成してもよい。

 これにより、複数のエッジが対象ブロックの周囲のブロックにおいて検出された場合であっても、複数のエッジのそれぞれの方向に沿って予測値を算出することができるので、適切な予測値を算出することができる。

 また、前記予測ステップは、さらに、エッジ予測モードを含む複数の予測モードから1つの予測モードを選択する予測モード選択ステップを含み、前記予測ブロック生成ステップでは、前記エッジ予測モードが選択された場合に、前記エッジ検出モードで検出されたエッジの方向に沿って前記復号画像データを外挿又は内挿することで、前記予測ブロックを生成してもよい。

 これにより、エッジが検出された場合には検出されたエッジの方向に沿った外挿又は内挿を行うエッジ予測モードを実行することができ、エッジが検出されない場合には、通常の予測モードを実行することができる。

 また、前記予測モード選択ステップでは、前記エッジ検出ステップでエッジが検出された場合に、前記エッジ予測モードと前記複数の方向予測モードとの中から1つの予測モードを選択し、前記エッジ検出ステップでエッジが検出されない場合に、前記DC予測モードと前記複数の方向予測モードとの中から1つの予測モードを選択してもよい。

 これにより、エッジが検出された場合にはエッジ予測モードと従来の方向予測モードとを予測モードの候補として最適な予測モードを選択することができ、エッジが検出されない場合にはDC予測モードと従来の方向予測モードとを予測モードの候補として最適な予測モードを選択することができる。

 また、前記画像データは、さらに、予測モードを示す予測モード指示を含み、前記予測モード選択ステップでは、前記予測モード指示が前記DC予測モード又は前記エッジ予測モードを示す場合であって、さらに、前記エッジ検出ステップでエッジが検出された場合には前記エッジ予測モードを選択し、前記エッジ検出ステップでエッジが検出されない場合には前記DC予測モードを選択してもよい。

 これにより、従来のDC予測モードを示す情報をエッジ予測モードを示す情報として符号化されたビットストリームを正しく復号することができるので、符号化時にエッジ予測モードを示す情報を新たに符号化する必要がなく、符号化効率を高めることができる。

 また、前記エッジ検出ステップは、前記対象ブロックに近接するブロックに対応する、前に生成された復号ブロックの複数の画素のそれぞれに対応する勾配ベクトルを算出する勾配ベクトル算出ステップと、前記勾配ベクトル算出ステップで算出された勾配ベクトルのうち、ノルムが予め定められた閾値を超え、かつ、当該勾配ベクトルに直交する直交ベクトルが前記対象ブロックを指すという条件を満たす少なくとも1つの勾配ベクトルが存在するか否かを判定するベクトル判定ステップと、前記ベクトル判定ステップで前記条件を満たす少なくとも1つの勾配ベクトルが存在すると判定された場合、前記条件を満たす少なくとも1つの勾配ベクトルに直交する直交ベクトルの方向をエッジの方向とするエッジを検出するエッジ方向決定ステップとを含んでもよい。

 これにより、対象ブロックからではなく周囲のブロックを利用してエッジを検出することができるので、エッジの方向を示す情報などのエッジ予測モードに必要な情報が符号化器側から伝送されなくても、正しくビットストリームを復号することができる。

 なお、本発明は、画像符号化方法及び画像復号方法として実現できるだけではなく、当該画像符号化方法及び画像復号方法に含まれるそれぞれのステップを処理手段とする画像符号化装置及び画像復号装置として実現することもできる。また、これらステップをコンピュータに実行させるプログラムとして実現してもよい。さらに、当該プログラムを記録したコンピュータ読み取り可能なCD-ROM(Compact Disc-Read Only Memory)などの記録媒体、並びに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信してもよい。

 また、上記の画像符号化装置及び画像復号装置を構成する構成要素の一部又は全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されていてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM及びRAM(Random Access Memory)などを含んで構成されるコンピュータシステムである。

 本発明によれば、対象ブロックをより正確に予測することができるので、符号化歪みを抑制し、かつ、符号化効率を高めることができる。

図1Aは、従来のH.264/AVC規格に従ったイントラ予測が適用される対象ブロックと参照画素との関係の一例を示す図である。 図1Bは、従来のH.264/AVC規格に従ったイントラ予測モードセットに含まれる予測方向を示す図である。 図2は、本実施の形態のハイブリッド符号化を行う画像符号化装置の構成の一例を示すブロック図である。 図3は、本実施の形態の画像符号化装置が備えるイントラ予測モード決定部の詳細な構成の一例を示す図である。 図4は、エッジを検出し、検出したエッジの方向を推定する方法を示す概略図である。 図5は、本実施の形態の画像復号装置の構成の一例を示すブロック図である。 図6は、本実施の形態の画像復号装置が備えるイントラ予測部の詳細な構成の一例を示すブロック図である。 図7は、本実施の形態におけるエッジ検出処理を示すフローチャートである。 図8は、本実施の形態における予測モードセットを決定する処理を示すフローチャートである。 図9は、本実施の形態におけるイントラ予測に基づいた画像又は映像データの符号化処理を示すフローチャートである。 図10は、本実施の形態におけるエッジの角度の算出処理を示すフローチャートである。 図11Aは、本実施の形態における前に符号化及び復号された画像データの外挿を用いて、エッジ予測モードに従って予測ブロックを生成する処理を示す概略図である。 図11Bは、本実施の形態における前に符号化及び復号された画像データの外挿を用いて、エッジ予測モードに従って予測ブロックを生成する処理を示す異なる概略図である。 図12は、本実施の形態における前に符号化及び復号された画像データの内挿を用いたエッジ予測を示す概略図である。 図13は、本実施の形態におけるエッジ予測モードによる予測ブロックを生成する方法を示すフローチャートである。 図14は、本実施の形態における少なくとも2つのエッジに基づいたエッジ予測モードに従って予測ブロックを生成する処理を示す概略図である。 図15は、本実施の形態におけるイントラ予測に基づいて画像及び映像データを復号する処理を示すフローチャートである。 図16は、本実施の形態におけるイントラ予測方法を示すフローチャートである。 図17Aは、フォアマンシーケンス(CIF)の最初の10フレームのレート/ディストーションカーブを示す図である。 図17Bは、スピンカレンダーシーケンス(720p)のレート/ディストーションカーブを示す図である。 図18は、エッジ予測モードを用いて符号化されたブロックの割合とビットレート減少率とを示す図である。 図19は、本実施の形態の画像符号化装置の異なる構成の一例を示すブロック図である。 図20は、本実施の形態におけるメモリに格納される画素の一例を示す概略図である。

符号の説明

10 対象ブロック
20 参照画素
30 周囲ブロック
40、41、61、62 エッジ
50、51、52、65、66 エッジの方向
63、64 対象画素
71、72 画素群
100、500 画像符号化装置
101、304 フレームメモリ
102 減算部
103 周波数変換部
104 量子化部
105、505 可変長符号化部
106、301 逆量子化部
107、302 逆周波数変換部
108、303 加算部
109、509 参照ピクチャメモリ
110、510 イントラ予測モード決定部
111 動き検出部
112、305 イントラ予測部
113、306 動き補償部
114、115、308、309 スイッチ
116、307 制御部
117 確率テーブル保持部
118 符号化モード決定部
120 差分符号化部
130 差分復号部
201、401 エッジ検出部
202、402 方向判定部
203、403 ノルム判定部
204 予測モードセット決定部
205 予測モード選択部
300 画像復号装置
404 予測モード判定部
405 予測ブロック生成部
519 閾値決定部

 本実施の形態の画像符号化装置及び画像復号装置は、画像及び映像データを符号化及び復号する際に、対象ブロックの周囲に位置する周囲ブロックに含まれるエッジを検出し、検出したエッジの方向をイントラ予測方向として用いるエッジ予測モードを利用することができる。つまり、本実施の形態では、シャープなエッジを含むピクチャをイントラ予測により符号化する際に、エッジの方向を考慮に入れたイントラ予測符号化を行うことができる。

 図2は、本実施の形態のハイブリッド符号化を行う画像符号化装置100の構成の一例を示すブロック図である。同図に示す画像符号化装置100は、フレームメモリ101と、減算部102と、周波数変換部103と、量子化部104と、可変長符号化部105と、逆量子化部106と、逆周波数変換部107と、加算部108と、参照ピクチャメモリ109と、イントラ予測モード決定部110と、動き検出部111と、イントラ予測部112と、動き補償部113と、スイッチ114及び115と、制御部116と、確率テーブル保持部117と、符号化モード決定部118とを備える。なお、図2に示すように、周波数変換部103と量子化部104とは、差分符号化部120に含まれる。また、逆量子化部106と逆周波数変換部107とは、差分復号部130に含まれる。

 以下では、画像符号化装置100が複数のフレームから構成される入力映像データを符号化するときの動作に沿って、各処理部の処理について説明する。

 入力映像データの各ピクチャは、フレームメモリ101に格納される。各ピクチャは、複数のブロックに分割され、フレームメモリ101からブロック単位で(例えば、水平16画素、垂直16画素のマクロブロック単位で)出力される。なお、入力映像データは、プログレッシブ形式及びインターレース形式のいずれでもよい。

 各マクロブロックは、イントラ又はインター予測モードのいずれかで符号化される。まず、対象マクロブロックがイントラ予測モードで符号化される場合について説明する。

 イントラ予測モード(イントラフレーム予測)の場合、フレームメモリ101から出力されたマクロブロックは、イントラ予測モード決定部110に入力される(このとき、スイッチ114は、制御部116によって端子“a”に接続される)。イントラ予測モード決定部110は、入力されたマクロブロックにどのようにイントラ予測を実行するかを決定する。具体的には、イントラ予測モード決定部110は、イントラ予測モード(IPM:Intra-Prediction Mode)として、イントラ予測ブロックサイズ(以下のサイズの1つ:水平4画素×垂直4画素、水平8画素×垂直8画素、水平16画素×垂直16画素)と、イントラ予測方向とを決定する必要がある。イントラ予測モード決定部110の詳細な構成については、図3を用いて後で説明する。

 例えば、図1Aに示す対象ブロック10(水平4画素×垂直4画素)は、参照画素20を用いて、8つの予め定義されたイントラ予測方向に従って、予測されてもよい。ここで、イントラ予測に用いられる参照画素20(図1Aで対角方向の網掛けされた四角)は、既に符号化及び復号され、参照ピクチャメモリ109に格納されているとする。決定されたイントラ予測モードIPMを示す情報は、イントラ予測部112と符号化モード決定部118とに出力される。

 イントラ予測部112は、イントラ予測モード決定部110によって決定されたイントラ予測モードIPMに基づいて、参照ピクチャメモリ109からイントラ予測に用いられる参照画素(イントラ参照画素)を取得する。そして、イントラ予測部112は、参照画素の画素値を外挿又は内挿することでイントラ予測された画像IPを生成し、生成したイントラ予測画像IPを減算部102に出力する(このとき、スイッチ115は、制御部116によって端子“a”に接続される)。

 減算部102は、フレームメモリ101から入力映像データに含まれるピクチャのマクロブロック(対象マクロブロック)と、イントラ予測部112によって生成されたイントラ予測画像IPとを受け取る。そして、減算部102は、対象マクロブロックとイントラ予測画像IPとの差分(予測残差とも記載)を算出することで差分画像を生成し、生成した差分画像を周波数変換部103に出力する。

 周波数変換部103は、減算部102によって生成された差分画像に、離散コサイン変換などの周波数変換を実行することで周波数変換係数を生成し、生成した周波数変換係数を出力する。

 量子化部104は、周波数変換部103によって生成された周波数変換係数の量子化を行い、量子化された周波数変換係数QTを出力する。ここで、量子化は、予め定められた値(量子化ステップ)によって周波数変換係数を割り算する処理である。この量子化ステップは、制御部116によって与えられるとする(量子化ステップは、制御部116に入力される制御信号CTLに含まれてもよい)。量子化周波数変換係数QTは、可変長符号化部105と逆量子化部106とに出力される。

 逆量子化部106は、量子化周波数変換係数QTを逆量子化し、逆量子化した周波数変換係数を逆周波数変換部107に出力する。このとき、量子化部104による量子化時に用いられた量子化ステップと同じ量子化ステップが、制御部116から逆量子化部106に入力される。

 逆周波数変換部107は、逆量子化された周波数変換係数を逆周波数変換することで復号された差分画像LDDを生成する。逆周波数変換部107は、生成した復号差分画像LDDを加算部108に出力する。

 加算部108は、復号差分画像LDDを予測画像IP又はMPに加算することで、復号画像LDを生成する。加算部108は、生成した復号画像LDを参照ピクチャメモリ109に格納する。参照ピクチャメモリ109に格納された復号画像LDは、参照画像として後の符号化に用いられる。

 可変長符号化部105は、量子化部104から入力される量子化周波数変換係数QTに可変長符号化を実行し、イントラ予測モード決定部110から符号化モード決定部118を介して入力されるイントラ予測モードIPMを示す情報を同様に処理し、符号化シーケンスとしても参照されるビットストリームを出力する。

 ここで、可変長符号化部105が用いる可変長符号化方法の1つの方法として、動画像を符号化する国際規格H.264で採用されるコンテキスト適応型算術符号化方法がある。コンテキスト適応型算術符号化方法は、可変長符号化の対象データと、既に可変長符号化(コンテキスト適応型)が実行されたデータとに従って、算術符号化するために用いられる確率テーブルを切り替える方法である。例えば、量子化周波数変換係数QTの可変長符号化を実行するためのコンテキストとして、イントラ予測のためのブロックサイズと、周波数変換のためのブロックサイズとなどが用いられる。ここでは、確率テーブルは、確率テーブル保持部117に保持される。

 次に、対象マクロブロックがインター予測モードで符号化される場合について説明する。

 インター予測モード(インターフレーム予測)の場合、フレームメモリ101から出力されるマクロブロックは、動き検出部111に入力される(このとき、スイッチ114は、制御部116によって端子“b”に接続される)。動き検出部111は、入力されたマクロブロックに対して、参照ピクチャ(参照ピクチャメモリ109に保持された再構成されたピクチャで、符号化されるピクチャとは異なるピクチャ)に対する動き(動きベクトル)を検出する。動き検出では、以下に示す動きベクトルが一般的には選択される。すなわち、符号化されるブロックと予測画像との最小差分値と、動きベクトルの符号量の重みの最小和とを有する動きベクトルである。検出された動きベクトルは、動き補償部113と符号化モード決定部118とに出力される。

 動き補償部113は、動き検出部111によって決定された動きベクトルに基づいて、インター予測に用いられる参照画素(インター参照画素)を参照ピクチャメモリ109から取得する。そして、動き補償部113は、予測画像MPを生成し、生成した予測画像MPを減算部102に出力する(このとき、スイッチ115は、制御部116によって端子“b”に接続される)。

 減算部102と、周波数変換部103と、量子化部104と、逆量子化部106と、逆周波数変換部107と、加算部108とによって実行される処理は、イントラ予測の場合に説明した処理と同じである。それゆえに、これらの処理についての説明はここでは省略する。

 符号化モード決定部118は、イントラ予測モード決定部110と、動き検出部111と、量子化部104と、フレームメモリ101と、加算部108となどからの出力を用いて符号化されるマクロブロックの符号化モードを決定する。ここでは、イントラピクチャ予測符号化とインターピクチャ予測符号化とのいずれか1つが、符号化対象のマクロブロックの符号化に用いられる。符号化モード決定部118は、一般的に、生成されるビット量と符号化歪みとの重み和が最も小さくなる値を有する符号化モードが選択することで、符号化モードを決定する。イントラピクチャ予測符号化が符号化モードとして選択された場合、符号化モード決定部118は、符号化モードMDと、イントラ予測モードIPMを示す情報(イントラ予測ブロックサイズ、イントラ予測方向など)とを可変長符号化部105に出力する。一方で、インターピクチャ予測符号化が符号化モードとして選択された場合、符号化モード決定部118は、符号化モードMDと動きベクトルMVとを可変長符号化部105に出力する。

 例えば、H.264規格のビットレートと符号化歪みとを用いたコスト関数が、対象ブロックを符号化するための最良の予測モードを決定するために用いられてもよい。それぞれの予測モードに対して、差分画像が、直交変換され、量子化され、可変長符号化される。そして、それぞれの予測モードに対して、ビットレートと、符号化歪みとが計算される。なお、コスト関数として、例えば、式1で示されるラグランジュコスト関数Jが用いられる。

Figure JPOXMLDOC01-appb-M000001

 式1において、Rは、差分画像(予測残差とも記載)と予測モード情報とを符号化するのに用いられるビットレートであり、Dは、符号化歪みであり、λは、符号化するのに選択される量子化パラメータQPに応じて算出されるラグランジュ乗数である。符号化モード決定部118は、最も低いコスト関数Jが最も低くなる予測モードを、対象ブロックを予測する際の予測モードとして選択する。

 なお、符号化モード決定部118は、最適な予測モードを選択するためにコスト関数Jを一時的に格納するメモリを備える。

 可変長符号化部105は、量子化部104から入力される量子化周波数変換係数QTと、符号化モード決定部118から出力される符号化モードMDとイントラ予測モードIPM又は動きベクトルMVとに可変長符号化を実行し、ビットストリームを出力する。

 ここで、可変長符号化部105が、コンテキスト適応型算術符号化を用いて動きベクトルMVを符号化する場合、符号化された周辺ブロックの動きベクトルのサイズ(コンテキスト)に依存する確率テーブルを変更する方法が用いられることができる。ここでは、確率テーブルは、確率テーブル保持部117に保持される。

 予測モードは、映像データを符号化する処理において符号化器(画像符号化装置100)側で実行された予測を復号器(例えば、後述する画像復号装置300(図5参照))側で再現するために、復号器によって必要とされる情報のフルセットを含む。それゆえに、予測モードは、マクロブロック毎に符号化モード、すなわち、イントラ及びインター予測のいずれが適用されたかを定義する。さらに、予測モードは、マクロブロックがどのようにサブ分割されたかについての情報を含む。H.264/AVCによると、16×16画素からなるマクロブロックは、例えば、イントラ予測の場合に、さらに、8×8又は4×4画素のブロックにサブ分割されてもよい。

 符号化モードに依存して、予測モードは、さらに、動き補償に用いられる動きベクトルのセット、又は、対象ブロックをイントラ予測するのに適用されたイントラ予測モードを特定する情報を含んでいる。

 続いて、本実施の形態のイントラ予測モード決定部110の詳細な構成について図3を用いて説明する。

 図3は、イントラ予測モード決定部110の詳細な構成の一例を示すブロック図である。同図に示すように、イントラ予測モード決定部110は、エッジ検出部201と、方向判定部202と、ノルム判定部203と、予測モードセット決定部204と、予測モード選択部205とを備える。

 エッジ検出部201は、参照ピクチャメモリ109から参照画像を読み出し、読み出した参照画像に含まれるエッジを検出する。例えば、エッジ検出部201は、参照画像の勾配ベクトル場を算出し、エッジの最大値を与える勾配のノルムを評価することによって検出する。エッジの方向は、対応する勾配の方向に直交するベクトルの方向である。

 なお、エッジ検出処理に用いられる参照画像は、対象ブロックに直接隣接するブロックに属する画素のうち、既に符号化及び復号されているブロックに含まれる画素である。勾配値は、式2に示す垂直及び水平ソーベル演算子を用いて近接画素で算出される。

Figure JPOXMLDOC01-appb-M000002

 エッジ検出部201は、画素毎に、垂直ソーベル演算子及び水平ソーベル演算子を用いることで、対応する画素の垂直方向及び水平方向の勾配の大きさ(勾配値)をそれぞれ算出する。算出した垂直方向及び水平方向の勾配値のベクトル合成などを行うことで、画素毎に勾配の方向が決定される。

 図4は、エッジを検出し、検出したエッジの方向を推定する方法を示す概略図である。左斜め下方向に網掛けされた領域は、勾配を計算するために考慮される周囲ブロック30の画素を示す。エッジ検出部201は、図4の左斜め下方向に網掛けされた画素のそれぞれに対して、式2を用いて勾配値を算出する。そして、算出した勾配値に基づいて勾配の方向を算出し、勾配の方向に直交する方向をエッジの方向として決定する。このとき勾配の方向に直交する方向のベクトルをエッジベクトルとも記載する。なお、エッジベクトルのノルムは、例えば、当該エッジベクトルが検出された画素の勾配ベクトルのノルムと同じである。

 図3に戻ると、方向判定部202は、エッジ検出部201によって検出されたエッジの方向が、イントラ予測の対象ブロックを指しているか否かを判定する。例えば、図4に示すエッジ40が検出された場合、エッジ40の延長線が対象ブロック10に含まれるので、方向判定部202は、エッジ40はイントラ予測の対象ブロック10を指していると判定する。一方で、図4に示すエッジ41が検出された場合、エッジ41の延長線は対象ブロック10に含まれないので、方向判定部202は、エッジ41はイントラ予測の対象ブロック10を指していないと判定する。

 ノルム判定部203は、方向判定部202によってイントラ予測の対象ブロックを指していると判定されたエッジのノルムを算出し、算出したノルムが予め定められた閾値より大きいか否かを判定する。エッジのノルムとは、エッジベクトル又は勾配ベクトルのノルムである。ノルム判定部203は、算出したノルムが閾値より大きい場合に、エッジは検出されたと判定する。算出したノルムが閾値以下の場合に、エッジは検出されなかったと判定する。なお、このときに用いられる閾値は、例えば、異なる最大ベクトルノルムと、シャープなエッジ及び滑らかな領域の両方を含む異なるシーケンスとの違いの比較に基づいて、経験的に選択される。

 予測モードセット決定部204は、対象ブロックを符号化する際に用いられる予測モードのセットをエッジが検出されたか否かに応じて決定する。具体的には、従来と同様にDC予測モードと8つの方向モードとからなる予測モードセット(従来の予測モードセット)か、エッジ予測モードと8つの方向モードとからなる予測モードセット(新たな予測モードセット)かを決定する。

 エッジベクトルのノルムが閾値以下であるとき、エッジは検出されないので、予測モードセット決定部204は、利用可能な予測モードセットとして、H.264映像符号化規格で用いられる9つの従来の予測モードセットに決定する。

 エッジベクトル(又は、勾配ベクトル)のノルムが閾値より大きいとき、エッジは検出されるので、予測モードセット決定部204は、利用可能な予測モードセットとして、新たな予測モードセットに決定する。なお、エッジが検出された場合、対象ブロックは、方向性の強い構造を含む傾向にあるので、DC予測モードが対象ブロックを予測するのに良い候補ではないと考えられる。それゆえに、DC予測モードが、エッジ予測モードに置き換えられる。しかしながら、H.264映像符号化規格の残りの8つの方向性予測モードは、保持される。それらは、特に、前のブロック(エッジが検出されたブロック)と対象ブロックとの間でエッジの方向が変更した時に有用である。

 予測モード選択部205は、予測モードセット決定部204によって決定された予測モードセットの中から1つの予測モードを選択する。

 以上のように本実施の形態の画像符号化装置100は、対象ブロックを符号化する際に選択される予測モードとして、新たなエッジ予測モードを備える。さらに、エッジ予測モードに従って対象ブロックをイントラ符号化するために、対象ブロックの周囲のブロックからエッジを検出し、検出したエッジの方向をイントラ予測方向としてイントラ予測符号化を行う。本実施の形態の画像符号化装置100の具体的な動作については、フローチャートを用いて後で説明する。

 次に、本実施の形態の画像復号装置300の構成について説明する。

 図5は、本実施の形態の画像復号装置300の構成の一例を示すブロック図である。同図に示す画像復号装置300は、逆量子化部301と、逆周波数変換部302と、加算部303と、フレームメモリ304と、イントラ予測部305と、動き補償部306と、制御部307と、スイッチ308及び309とを備える。

 以下では、画像復号装置300が、ビットストリーム(符号化された映像データ)を復号するときの動作に沿って、各処理部の処理について説明する。本実施の形態の画像復号装置300は、予測残差を含む符号化映像データをブロック毎にイントラ又はインターフレーム予測符号化ブロックのいずれかとして復号する。符号化モードMDは、制御部307に入力され、イントラ予測モードIPM又は動きベクトルMVを示す情報は、スイッチ308に入力され、量子化周波数変換係数QTは、逆量子化部301に入力される。

 制御部307は、符号化モードMDに基づいてスイッチ308及び309を制御する。符号化モードMDがイントラ予測符号化を示す場合、スイッチ308は、端子“a”に接続され、イントラ予測モードIPMを示す情報がイントラ予測部305に入力される。符号化モードMDがインター予測符号化を示す場合、スイッチ308は、端子“b”に接続され、動きベクトルMVが動き補償部306に入力される。

 対象ブロックがイントラ予測符号化ブロックの場合、スイッチ308及び309は、端子“a”に接続される。そして、イントラ予測モードを示す情報は、イントラ予測部305に入力され、量子化周波数変換係数QTは、逆量子化部301に入力される。なお、量子化周波数変換係数QTが、符号化器(例えば、画像符号化装置100)によって符号化された予測誤差に相当する。

 イントラ予測部305は、入力されたイントラ予測モードに基づいて、イントラ予測参照画素をフレームメモリ304から取得し、イントラ予測された画像(予測ブロック)を生成し、加算部303にイントラ予測画像を出力する。

 逆量子化部301は、量子化周波数変換係数QTを逆量子化し、逆量子化した周波数変換係数を逆周波数変換部302に出力する。そして、逆周波数変換部302は、逆量子化された周波数変換係数を逆周波数変換することで、復号された差分画像LDDを生成する。逆周波数変換部302は、生成した復号差分画像LDDを加算部303に出力する。

 加算部303は、復号差分画像LDDとイントラ予測画像IPとを加算することで、復号画像LDを生成する。生成した復号画像LDは、フレームメモリ304に格納される。なお、フレームメモリ304に格納された復号画像は、後の復号で参照ピクチャとして用いられる。また、復号画像は、復号映像データを成すように出力される。

 対象ブロックがインター予測ブロックの場合、スイッチ308及び309は、端子“b”に接続される。そして、動きベクトルMVを示す情報が動き補償部306に入力され、量子化周波数変換係数QTが逆量子化部301に入力される。

 動き補償部306は、入力された動きベクトルMVに基づいて、参照画素をフレームメモリ304から取得し、予測されたピクチャを生成し、加算部303に予測ピクチャを出力する。

 逆量子化部301、逆周波数変換部302及び加算部303の処理は、イントラ予測ブロックの場合に説明した処理と同じである。復号画像LDは、フレームメモリ304に格納される。フレームメモリ304に格納された復号画像は、後の復号で参照ピクチャとして用いられる。また、復号画像は、復号映像データを成すように出力される。

 続いて、本実施の形態のイントラ予測部305の詳細な構成について図6を用いて説明する。

 図6は、本実施の形態のイントラ予測部305の詳細な構成の一例を示す図である。同図に示すように、イントラ予測部305は、エッジ検出部401と、方向判定部402と、ノルム判定部403と、予測モード判定部404と、予測ブロック生成部405とを備える。

 エッジ検出部401は、予測モード判定部404によってイントラ予測モードがエッジ予測モード又はDC予測モードであると判定された場合、フレームメモリ304から参照画像を読み出し、読み出した参照画像に含まれるエッジを検出する。具体的なエッジ検出処理は、エッジ検出部201と同様であり、後で詳しく説明する。

 方向判定部402は、エッジ検出部401によって検出されたエッジの方向が、イントラ予測の対象ブロックを指しているか否かを判定する。具体的なエッジの方向判定処理は、方向判定部202と同様であり、後で詳しく説明する。

 ノルム判定部403は、方向判定部402によってイントラ予測の対象ブロックを指していると判定されたエッジのノルムを算出し、算出したノルムが予め定められた閾値より大きいか否かを判定する。なお、このときに用いられる閾値は、符号化時のノルム判定処理で用いられた閾値と同じ閾値であることが望ましい。したがって、閾値が装置に固有の値でない場合は、符号化装置から送信される。具体的なノルム判定処理は、ノルム判定部203と同様であり、後で詳しく説明する。

 予測モード判定部404は、ビットストリームに含まれるイントラ予測モードIPMを示す情報を取得し、イントラ予測モードがエッジ予測モード又はDC予測モードであるかを判定する。エッジ予測モード又はDC予測モードのいずれかである場合は、予測モード判定部404は、エッジ検出部401にエッジ検出処理を行わせる。そして、ノルム判定部403の判定結果に基づいて、イントラ予測モードがDC予測モードであるかエッジ予測モードであるかを予測ブロック生成部405に通知する。

 なお、エッジ予測モード及びDC予測モードのいずれでもない場合、すなわち、従来の方向予測モード(図1B)である場合、予測モード判定部404は、イントラ予測モードが方向予測モードであることを予測ブロック生成部405に通知する。

 予測ブロック生成部405は、予測モード判定部404から通知されるイントラ予測モードに従って予測ブロックを生成する。具体的には、フレームメモリ304から参照画素を読み出し、読み出した参照画素を外挿又は内挿することで予測ブロックを生成する。生成した予測ブロックは、スイッチ309を介して加算部303に出力される。

 以上のように、本実施の形態の画像復号装置300は、対象ブロックを復号する際に選択される予測モードとして、新たなエッジ予測モードを備える。さらに、エッジ予測モードに従って対象ブロックを復号するために、対象ブロックの周囲のブロックからエッジを検出し、検出したエッジの方向をイントラ予測方向としてイントラ予測復号を行う。本実施の形態の画像復号装置300の具体的な動作については、フローチャートを用いて後で説明する。

 続いて、本実施の形態の画像符号化装置100の動作について説明する。まず、以下ではエッジ検出処理について図7を用いて説明する。図7は、本実施の形態のエッジ検出処理を示すフローチャートである。

 エッジ検出処理は、勾配を算出するために考慮される全ての画素(例えば、図4の左斜め下方向に網掛けされた画素)に対して実行される(S101)。

 エッジ検出部201は、対象画素位置の勾配ベクトルを式2のソーベル演算子を適用することで算出する(S102)。そして、エッジ検出部201は、算出した勾配ベクトルに直交するエッジベクトルを算出し、算出したエッジベクトルの方向を検出する(S103)。

 次に、方向判定部202は、勾配が対象ブロックを横切るエッジを示すか否か、すなわち、勾配ベクトルに直交するエッジベクトルが予測の対象ブロックを指しているか否かを判定する(S104)。エッジベクトルが予測の対象ブロックを指していない場合であって(S104でNo)、かつ、次の画素がある場合(S105でYes)、処理は次の画素に進む。すなわち、次の画素に対して、勾配ベクトルの算出(S102)から繰り返される。

 エッジベクトルが予測の対象ブロックを指している場合には(S104でYes)、ノルム判定部203は、勾配ベクトルのノルムを算出する(S106)。そして、ノルム判定部203は、算出したノルムが予め定められた閾値より大きいか否かを判定する(S107)。算出したノルムが閾値以下である場合(S107でNo)、かつ、次の画素がある場合(S105でYes)、処理は次の画素に進む。すなわち、次の画素に対して、勾配ベクトルの算出(S102)から繰り返される。

 算出したノルムが閾値より大きい場合には(S107でYes)、ノルム判定部203は、算出したノルムが、前に決定された全ての勾配ベクトルのうち最大ノルムを有する勾配ベクトルのノルムより大きいか否かを判定する(S108)。算出したノルムが最大ノルムより大きい場合は(S108でYes)、当該勾配ベクトルを、新たな最大ベクトルとして設定する(S109)。

 そして、算出したノルムと最大ノルムとの比較結果に関わらず、ノルム判定部203は、画素のベクトルと位置とをメモリに格納する(S110)。このとき、メモリに格納する画素のベクトルは、エッジベクトルであることが望ましい。また、メモリは、例えばノルム判定部203が内部に備えるメモリである。

 そして、次の画素がある場合(S105でYes)、処理は次の画素に進む。すなわち、次の画素に対して、勾配ベクトルの算出(S102)から繰り返される。

 以上のようにして、対象ブロック(対象ブロック10)の周囲に位置する周囲ブロック(周囲ブロック30)に含まれる画素であって、エッジ検出処理の対象となる全ての画素(図4の左斜め下方向に網掛けされた画素)に対して、エッジ検出処理が実行され、エッジが検出された画素の位置と、そのエッジベクトルとがメモリに格納される。

 また、本実施の形態によると、画像データのブロックを符号化するのに用いられるイントラ予測モードセットは、近接する前に符号化及び復号されたブロックに実行されるエッジ検出処理の結果に依存する。すなわち、対象ブロックからエッジを検出するのではなく、周囲ブロックからエッジを検出し、その検出結果に基づいて対象ブロックを符号化する際のイントラ予測モードセットを決定する。

 なお、上述のエッジ検出処理を画像復号装置300が実行する場合も同様である。具体的には、エッジ検出部201、方向判定部202及びノルム判定部203のそれぞれが行う処理を、エッジ検出部401、方向判定部402及びノルム判定部403がそれぞれ実行する。

 続いて、イントラ予測モードセットを決定する処理について図8を用いて説明する。図8は、適切なイントラ予測モードセットを決定する処理を示すフローチャートである。

 まず始めに、図7のエッジ検出処理が、エッジ検出部201、方向判定部202及びノルム判定部203によって実行される(S201)。次に、予測モードセット決定部204は、少なくとも1つのエッジベクトルが格納されているか、すなわち、対象ブロックを指すエッジに対応する方向で閾値より大きなノルムを有するベクトルがあるかを判定する。

 少なくとも1つのエッジベクトルが格納されている場合、すなわち、エッジが検出された場合(S202でYes)、イントラ予測モードセット決定部204は、利用可能なイントラ予測モードセットとして、新たな予測モードセットを選択する(S203)。新たな予測モードセットは、上述のように、8つの従来の予測方向(H.264符号化規格の方向性予測モード)と新たなエッジ予測モードとで構成される。

 エッジベクトルが1つも格納されていない場合、すなわち、エッジが検出されなかった場合(S202でNo)、イントラ予測モードセット決定部204は、利用可能なイントラ予測モードのセットとして、従来の予測モードセットを選択する(S204)。従来の予測モードセットは、上述のように、H.264符号化器各の9つの従来の予測モード、すなわち、8つの従来の予測方向と従来のDC予測モードとで構成される。

 以上のようにして、本実施の形態の画像符号化装置100は、エッジが検出されたか否かに応じて、イントラ予測モードセットを決定する。すなわち、エッジが検出された場合は、エッジ予測モードを含むイントラ予測モードセットを選択し、エッジが検出されない場合は、DC予測モードを含むイントラ予測モードセットを選択する。

 なお、続く処理では、予測モード選択部205は、イントラ予測部112を用いてイントラ予測を実行するために、利用可能なイントラ予測モードのセットから1つのイントラ予測モードを選択する。

 続いて、本実施の形態の画像符号化装置100のイントラ予測に基づいた符号化処理について図9を用いて説明する。図9は、本実施の形態において、イントラ予測に基づいて画像又は映像データを符号化する処理を示すフローチャートである。

 図9に示す符号化処理は、16×16画素のマクロブロック毎に実行される(S301)。さらに、マクロブロックを可能なサイズに分割した分割サイズ(4×4画素、8×8画素、16×16画素)毎に実行される(S302)。さらに、分割サイズを分割したブロック(4×4画素)毎に実行される(S303)。

 イントラ予測モード決定部110は、図8を用いて説明した処理を実行し、予測モードセット決定部204は、適したイントラ予測モードセットを選択する(S304)。そして、イントラ予測モードセットに含まれる各予測モードに対して以下の処理(S305~S314)を実行することで、最適な予測モードが選択される。

 具体的には、まず、予測モード選択部205は、イントラ予測モードセットに含まれる9つの予測モードのうち1つの予測モードを、対象ブロックBに対する対象予測モードとして選択する(S305)。選択した対象予測モードは、イントラ予測部112に出力される。

 イントラ予測部112は、対象予測モードに従って、対象ブロックBに対応する予測ブロックBpredを生成する(S306)。生成した予測ブロックBpredは、減算部102に出力される。

 減算部102は、対象ブロックBと予測ブロックBpredとの差分、すなわち、予測残差(予測誤差)Bres=B-Bpredを算出する(S307)。算出した予測残差Bresは、周波数変換部103に出力される。

 周波数変換部103は、算出した予測残差Bresを周波数変換し、周波数変換された予測残差(周波数変換係数)を量子化部104に出力する。量子化部104は、周波数変換された予測残差を量子化する(S308)。量子化により得られた量子化周波数変換係数QTは、逆量子化部106と可変長符号化部105とに出力される。

 逆量子化部106は、量子化周波数変換係数QTを逆量子化し、逆量子化された周波数変換係数を逆周波数変換部107に出力する。そして、逆周波数変換部107は、逆量子化された周波数変換係数を逆周波数変換することで、復号された差分ブロックBresqを生成する(S309)。生成された差分ブロックBresqは、加算部108に出力される。加算部108は、差分ブロックBresqと予測ブロックBpredとを加算することで、復号ブロックBpred+Bresqを生成する。

 符号化モード決定部118は、原ブロックである対象ブロックBと再構成ブロックBpred+Bresqとの差分である符号化歪みD=B-(Bpred+Bresq)と、予測残差Bresと予測モードとを符号化するのに必要とされるビットレートの和であるビットレートR=Rres+Rmodeとを算出する(S310)。さらに、符号化モード決定部118は、算出した符号化歪みDとビットレートRとを用いて、コスト関数J=D+λRを算出する(S311)。

 符号化モード決定部118は、算出したコスト関数Jの対象値が、前に格納されたコスト関数の最小値Jminより小さいか否かを判定する(S312)。算出したコスト関数Jが最小値Jminより小さい場合(S312でYes)、符号化モード決定部118は、対象予測モードと対象分割サイズとをメモリに格納し、前に格納した最小値Jminを、今回算出したコスト関数Jの対象値に更新する(S313)。

 続いて、次の予測モードがある場合、すなわち、決定された予測モードセットに含まれる複数の予測モードのうち、まだコスト関数Jが算出されていない予測モードがある場合(S314でYes)、予測モード選択部205は、コスト関数Jが算出されていない予測モードを1つ選択する。そして、選択された予測モードを対象予測モードとして、予測ブロックの生成処理(S306)から繰り返される。

 全ての予測モードに対するコスト関数Jが算出された場合で(S314でNo)、かつ、次のブロックがある場合(S315でYes)、次のブロックを対象ブロックとして、予測モードセットの決定処理(S304)から繰り返される。なお、次のブロックがある場合とは、1つのマクロブロックに含まれる全てのブロックのうち、コスト関数の算出を行っていないブロックがある場合である。

 次のブロックがない場合で(S315でNo)、次の分割サイズがある場合(S316でYes)、マクロブロックを次の分割サイズで分割し、分割により得られたブロック毎に以上の処理が繰り返される。なお、次の分割サイズがある場合とは、1つのマクロブロックを分割可能な複数の分割サイズのうち、ブロック毎の処理が行われていない分割サイズがある場合である。例えば、1つのマクロブロックは、3通りの分割サイズ(4×4画素、8×8画素、16×16画素)に分割することができるので、3通りの分割サイズのそれぞれに対してブロック毎の処理が完了するまで処理(S302~S316)が繰り返される。

 全ての分割サイズに対する処理が完了すると(S316でNo)、符号化モード決定部118は、コスト関数の最も低い値を有する分割サイズと、対応する予測モードとを選択する(S317)。選択した分割サイズと予測モードとを示す情報は、可変長符号化部105に出力される。

 最後に、可変長符号化部105は、選択された分割サイズ、予測モード、及び、対応する残差とを符号化し、符号化により生成された結果を出力ビットストリームに書き込む(S318)。なお、可変長符号化部105は、例えば、統計的符号化器を用いて符号化する。

 このとき、符号化される予測モードを示す情報(モード指示)は、複数の方向予測モードが選択された場合は選択された方向予測モードを示す情報であり、DC予測モード又はエッジ予測モードが選択された場合はDC予測モード及びエッジ予測モードのいずれかを示す情報である。すなわち、可変長符号化部105は、1つの符号語をDC予測モードとエッジ予測モードとの双方に割り当てる。

 そして、次のマクロブロックがある場合(S319でYes)、次のマクロブロックに対して以上に示す処理(S301~S319)は繰り返される。

 以上のようにして、本実施の形態の画像符号化装置100は、ブロック毎に予測モードを決定し、入力映像データを符号化する。上述のように、予測モードを選択する前に予測モードセットが決定される。本実施の形態では、選択候補となる予測モードセットは、従来の予測モードセットと新たな予測モードセットとがあり、新たな予測モードセットには、DC予測モードの代わりにエッジ予測モードが含まれる。

 このとき新たな予測モードであるエッジ予測モードを示す情報は、DC予測モードを示す情報と同一の符号語を用いて符号化される。したがって、この符号語を受け取った復号器側で、DC予測モードであるかエッジ予測モードであるかを判定する。これにより、エッジ予測モードを示す情報に新たな符号語を割り当てる必要がなくなるので、符号量の増加を防ぐことができる。

 以下では、新たなエッジ予測モードについてより詳細に説明する。

 上述したように周囲ブロックに含まれる、勾配の算出処理の対象となる画素毎に、勾配が算出され、イントラ予測部112は、最大ノルムを有するベクトルと、最大ノルムを有するベクトルが得られた画素に隣接する画素のベクトルとを用いてエッジの角度を算出する。具体的には、隣接画素のそれぞれに対して、対応するエッジベクトル(又は勾配ベクトル)のノルムは、最大ベクトルのノルムと比較される。隣接画素のエッジベクトルのノルムが、最大ベクトルのノルムの50%より大きい場合のみ、当該隣接画素のエッジベクトルを利用するためにメモリに格納する。そして、イントラ予測部112は、メモリに格納された最大ベクトルと周囲ベクトルとのそれぞれの角度の平均を、新たなエッジ予測モードの方向の角度αとして算出する。具体的には、以下の図10に示すフローチャートに従って実行される。

 図10は、本実施の形態においてエッジの角度を算出する処理を示すフローチャートである。この処理は、図7を用いて説明したエッジ検出処理の結果に依存する。図7に示すエッジ検出処理を行った結果、閾値より大きいと判定された1つ以上のエッジベクトルと対応する画素の位置とが格納される。

 ノルム判定部203は、エッジ検出処理で検出された最大エッジベクトルの角度を算出し、メモリに格納する(S401)。そして、以下の処理は、最大エッジベクトルが算出された画素に隣接する全ての画素に対して実行される(S402)。すなわち、ノルム判定部203は、最大エッジベクトルが算出された画素に隣接する画素のうち、1つの画素の位置を対象画素位置として以下の処理を行う。

 次に、ノルム判定部203は、対象画素位置に対応するエッジベクトルがノルム判定部203の有するメモリに格納されるか否かを判定する(S403)。すなわち、閾値より大きいノルムを有し、かつ、対象ブロックを指すエッジベクトルが格納されているか否かを判定する。

 エッジベクトルが格納されている場合(S403でYes)、ノルム判定部203は、このベクトルのノルムを算出する(S404)。そして、ノルム判定部203は、算出したノルムと最大エッジベクトルのノルムとを比較する(S405)。算出したノルムが最大ノルムの50%より大きい場合(S405でYes)、ノルム判定部203は、対象画素位置のベクトルの角度を算出し、メモリに格納する(S406)。

 以上の処理(S403~S406)を全ての対象画素位置に対して実行する。次の画素がない場合、すなわち、全ての対象画素位置に対して処理が終了した場合(S407でNo)、ノルム判定部203は、メモリに格納された角度を平均することで、エッジの角度を算出する(S408)。

 なお、図10に示すような検出したエッジの角度を決定する上述の処理は、単なる例示である。本発明は、エッジを検出し、又は、その方向を決定するいかなる特定の方法にも限定されない。例えば、エッジの角度は、最大エッジベクトルのみの方向から決定されてもよい。あるいは、より多く又はより少ない数の近接するベクトル、又は、エッジに沿った他のベクトルの方向から決定されてもよい。また、メモリに格納するベクトルはエッジベクトルであるとしたが、勾配ベクトルであってもよい。

 予測モード選択部205がエッジ予測モードを選択した場合、イントラ予測部112は、以上のようにして決定したエッジの角度、すなわち、エッジの方向を予測方向として予測ブロックを生成する。なお、以上のエッジの角度算出処理をイントラ予測部112が行ってもよい。このとき、イントラ予測部112は、エッジ検出部201、方向判定部202及びノルム判定部203に相当する処理部を有する。

 なお、上述のエッジの角度算出処理を画像復号装置300が実行する場合も同様である。具体的には、エッジ検出部201、方向判定部202及びノルム判定部203のそれぞれが行う処理を、エッジ検出部401、方向判定部402及びノルム判定部403がそれぞれ実行する。

 続いて、本実施の形態のエッジ予測モードに従って予測ブロックを生成する動作について図11A~図13を用いて説明する。

 図11A、図11B及び図12は、本実施の形態のエッジ予測モードを示す概略図である。このモードによれば、対象ブロックは、ある方向に沿って前に符号化及び復号された映像データを外挿又は内挿することによって予測される。従来の方向のイントラ予測モード(図1B)は、イントラ予測の方向が固定的であったのに対して、エッジ予測モードは、任意の方向に沿って対象ブロックを予測することができる。本実施の形態によれば、予測の方向は、前に符号化及び復号された画像データ内のエッジを検出することによって決定される。

 図11Aは、検出されたエッジの方向50が対象ブロック10の上境界を横切る場合の図である。図11Aに示すように、対象ブロック10は、前に符号化及び復号された映像データを外挿することによって、具体的には、検出されたエッジの方向50に沿って参照画素20を連続させることによって、予測される。すなわち、イントラ予測部112は、エッジの方向から決定される参照画素20の画素値(あるいは、2つ以上の参照画素20から算出される補間値)を、予測ブロックを構成する画素の画素値(予測値)とすることで、予測ブロックを構成する。

 イントラ予測部112は、エッジのシャープさを保つために、参照画素20の間の線形補間を、画素の予測値を算出するために用いる。図11Aに示すように、決定された角度αに沿った参照画素の平行移動は、整数画素位置に一致しない。

 位置(x,y)で予測する各画素に対して、参照位置x-δxは、エッジの方向50によって示されるエッジの角度αに依存して見つけられる。そして、参照位置の参照値は、2つの周囲の整数参照画素aとbとを線形補間することによって算出される。このように算出された参照値は、予測される画素の予測値pとして用いられる。なお、利用可能な参照画素は、対象ブロック10に直接隣接する参照画素20である。

 予測値pは、2つの参照画素の画素値aとbとの重み付け加算和として式3によって算出される。

Figure JPOXMLDOC01-appb-M000003
 なお、wa=δx-floor(δx)、wb=ceil(δx)-δx、かつδx=ycotαである。

 水平方向の増加量δxは、検出されたエッジの角度αと、ブロック内の予測される画素の位置(x,y)とから算出される。なお、図11Aにおいて、位置(0,0)は、対象ブロック10に隣接する参照画素20の左上角の位置である。よって、同図において、予測値pの画素位置は、(3,2)で示される。

 画素を通過し、検出されたエッジに平行な線(エッジの方向51)が、対象ブロックの上境界ではなく左境界を横切る場合、式3に類似の式が用いられる。図11Bは、検出されたエッジの方向51が対象ブロック10の左境界を横切る場合の図である。ここで、垂直方向の増加量は、δyであり、参照画素値cとdとを用いて位置(x,y)の画素に対する予測値pは、式4を用いて算出される。

Figure JPOXMLDOC01-appb-M000004
 なお、wc=δy-floor(δy)、wd=ceil(δy)-δy、かつδy=xtanαである。

 なお、図11Bにおいて、位置(0,0)は、対象ブロック10に隣接する参照画素20の左上角の位置である。よって、同図において、予測値pの画素位置は、(4,4)で示される。

 図12に示すように、画素を通過し、検出されたエッジに平行な線(エッジの方向52)が、対象ブロックの左境界を横切るだけでなく、その上境界、又は、対象ブロックの右に位置するブロックの上境界を横切る場合、2つの関連のある参照位置(a及びbと、c及びd)があってもよい。この場合、両方の参照位置が予測に用いられるように、対象ブロック10は、外挿ではなく、前に符号化及び復号された映像データの内挿によって予測されてもよい。予測値は、2つの参照位置の補間された画素値の線形補間の結果である。

 具体的には、予測値pは、例えば、式5のように、4つの参照画素値a、b、c及びdの重み付け加算和として算出されてもよい。

Figure JPOXMLDOC01-appb-M000005
 なお、wup=N-y、wleft=N-x、かつ、N=4又はN=8であり、Nは、ブロックサイズに依存する。

 別の例として、2つの参照位置の本当の補間、すなわち、2つの参照位置間のユークリッド距離であるwupとwleftを算出してもよい。

 以上のように、本実施の形態では、イントラ予測部112は、検出されたエッジの方向に沿って、対象ブロックに近接するブロックに含まれる画素に対応する、前に生成(符号化及び復号)された復号画像データ(すなわち、参照画素(復号画素とも記載))を外挿又は内挿することで予測ブロックを生成する。このときの外挿又は内挿は、線形の外挿又は内挿である。

 より具体的には、予測ブロックを構成する予測画素毎に、複数の参照画素の画素値の少なくとも2つの重み付け加算和を算出し(式3、式4又は式5参照)、算出した重み付け加算和を外挿又は内挿することで、予測ブロックを生成する。このときの重み(wa、wb、wc及びwd)は、エッジの方向に基づいて決定される。例えば、重みに対応する参照画素から、予測画素を通る直線であって、エッジの方向の直線(エッジの方向50など)までの距離が小さいほど、大きな値になるように決定される。

 図13は、本実施の形態におけるエッジ予測モードに従って予測値を算出する(すなわち、予測ブロックを生成する)方法を示すフローチャートである。

 まず始めに、例えば、図10を用いて説明した処理に従って、イントラ予測部112は、エッジの角度を決定する(S501)。以下の処理は、予測される対象ブロックの全ての画素に対して実行される(S502)。

 イントラ予測部112は、例えば、図11Aに示すように、対象画素から、決定された角度が示す方向に上部の参照画素があるか否かを判定する(S503)。上部の参照画素がある場合(S503でYes)、イントラ予測部112は、上部の参照値rupを式3に従って算出する(S504)。なお、ここでは、式3においてpをrupに置き換えることで上部の参照値rupを算出する。

 続いて、イントラ予測部112は、例えば、図11Bに示すように、対象画素から、決定された角度が示す方向に左の参照画素があるか否かを判定する(S505)。左の参照画素がある場合(S505でYes)、イントラ予測部112は、左の参照値rleftを式4に従って算出する(S506)。なお、ここでは、式4においてpをrleftに置き換えることで左の参照値rleftを算出する。

 そして、イントラ予測部112は、対象画素の予測値pを上部の参照値及び左の参照値の利用可能性に従って算出する(S507)。両方が利用可能である場合、予測値pは、p=(wupup+wleftleft)/(wup+wleft)により算出される。上部の参照値又は左の参照値のみが利用できる場合、予測値pはそれぞれ、p=rup及びp=rleftである。双方共に利用できない場合、予測値pは、前に予測された、近接画素の平均値、すなわち、式6に従って算出される。

Figure JPOXMLDOC01-appb-M000006
 なお、式6において、p(x,y)は、位置(x,y)における予測値を表している。

 次の画素がある場合(S508でYes)、以上の処理(S503~S507)は、繰り返される。すなわち、対象ブロックに含まれる全ての画素について予測値が算出されるまで以上の処理が実行される。

 以上のように、本実施の形態の画像符号化装置100は、エッジ予測モードが選択した場合、検出したエッジの方向に沿って予測値を算出することで予測ブロックを生成することができる。

 なお、上述の予測値の算出処理を画像復号装置300が実行する場合も同様である。具体的には、イントラ予測部112が行う処理を、イントラ予測部305が実行する。

 また、以上に説明したように本実施の形態では、1つの方向に沿って予測ブロックを生成したが、複数の方向に沿って予測ブロックを生成してもよい。

 図14は、本実施の形態において、予測画素が2つ以上の方向に従って予測されることを示す概略図である。例えば、同図に示すように、異なる方向であるが、対象ブロックを指す方向を有する2つの強いエッジ61及び62が2つの隣接しない対象画素63及び64に検出された場合、画素値は、前に復号された参照画素20を、2つの方向のいずれか、又は、より好ましくは、2つのエッジの方向65及び66を合わせた方向に外挿又は内挿することによって予測されてもよい。例えば、2つのエッジの方向65及び66を合わせた方向は、式5のように重み付け加算和を算出することにより決定されてもよい。このとき、水平方向の増加分δx及び垂直方向の増加分δyはそれぞれ、第1及び第2エッジの方向65及び66(角度)から算出される。

 なお、本実施の形態では、予測に用いられるエッジ及び方向の数に対しては限定されることはなく、また、個々の結果を合成する方法に対しても限定されることはない。

 これらの複数のエッジのそれぞれのシャープさを保護するために、重み付け加算和の算出に用いられる重みは、検出されたエッジのそれぞれのまっすぐな延長線までの予測される各予測画素からの距離に従って計算されてもよい。例えば、重みのそれぞれは、重みに対応する参照画素(図14のa、b、c及びd)から、少なくとも2つのエッジのいずれかの延長線までの距離が小さいほど、大きな値になるように決定される。

 特に、重みwleft及びwupは、対象ブロックの左のブロックで検出されたエッジ(又は、エッジの延長線)が通過する全ての画素に対して、それぞれ1及び0に設定されてもよい。逆に、重みwleft及びwupは、対象ブロックの上のブロックで検出されたエッジ(又は、エッジの延長線)が通過する全ての画素に対して、それぞれ1及び0に設定されてもよい。すなわち、重みのそれぞれは、重みに対応する参照画素(図14のa、b、c及びd)から、少なくとも2つのエッジのいずれかが検出された復号ブロックまでの距離が小さいほど、大きな値になるように決定される。なお、残りの画素、すなわち、検出されたエッジ(又は、エッジの延長線)のいずれも通過しない画素に対する重みは、上述のように予測画素からの距離に基づいて設定されてもよい。

 次に、本実施の形態の画像復号装置300のイントラ予測を用いた復号処理について図15を用いて説明する。図15は、本実施の形態におけるイントラ予測に基づいて画像及び映像データを復号する処理を示すフローチャートである。

 図15に示す復号処理は、16×16画素のマクロブロック毎に実行される(S601)。まず、分割サイズが、入力ビットストリームから読み出され、すなわち、統計的復号器を用いて復号される(S602)。そして、分割サイズに従って対象マクロブロックのブロック毎に復号処理は実行される(S603)。

 入力ビットストリームから対象ブロックの予測モードと符号化された予測誤差を示す残差情報とが読み出される(S604)。読み出された予測モードは、制御部307と、スイッチ308を介してイントラ予測部305又は動き補償部306に出力される。残差情報は、逆量子化部301に出力される。

 次に、イントラ予測部305又は動き補償部306は、読み出された予測モードに基づいて、対象ブロックに対応する予測ブロックを生成する(S605)。なお、この予測ブロックの生成処理のうち特にイントラ予測部305が実行する処理については、図16を用いてより詳細に後で説明する。

 逆量子化部301は、残差情報を逆量子化し、逆量子化された残差情報を逆周波数変換部302に出力する。そして、逆周波数変換部302は、逆量子化された残差情報を逆周波数変換する(S606)。逆周波数変換により得られた復号差分画像は加算部303に出力される。

 加算部303は、予測ブロックと復号差分画像とを加算することで対象ブロックを再構成する(S607)。加算部303によって生成された復号画像は、フレームメモリ304に格納され、参照ピクチャとしてイントラ予測部305又は動き補償部306によって用いられる。

 そして、次のブロックがある場合(S608でYes)、次のブロックに対して予測モードと予測残差との読み出し処理(S604)から繰り返される。次のブロックがない場合(S608でNo)、かつ、次のマクロブロックがある場合(S609でYes)、次のマクロブロックに対して分割サイズの読み出し処理(S602)から繰り返される。

 次に、本実施の形態の画像復号装置300のイントラ予測処理について図16を用いて説明する。図16は、本実施の形態におけるイントラ予測処理を示すフローチャートである。なお、同図に示すイントラ予測処理は、予測ブロックを生成する際(図15のS605)にイントラ予測部305によって行われる。

 予測モード判定部404は、予測モードが2であるか否か、すなわち、予測モードがDC予測モード又はエッジ予測モードを示しているか否かを判定する(S701)。予測モードが2である場合(S701でYes)、エッジ検出部401、方向判定部402及びノルム判定部403は、エッジ検出処理(図7)を実行する(S702)。

 エッジが検出された場合(S703でYes)、予測モード判定部404は、エッジ予測モードを選択し、予測ブロック生成部405は、エッジ予測モードに従って予測ブロックを生成する(S704)。なお、このときの予測ブロックの生成処理は、図13を用いて説明した通りである。

 エッジが検出されない場合(S703でNo)、予測モード判定部404は、DC予測モードを選択し、予測ブロック生成部405は、従来のDC予測モードに従って予測ブロックを生成する(S705)。

 予測モードが2ではない場合(S701でNo)、予測モード判定部404は、予測モードが示す方向予測モードを選択し、予測ブロック生成部405は、従来の方向予測モードに従って予測ブロックを生成する(S706)。

 以上のように、本実施の形態の画像復号装置300は、対象ブロックの予測モードを判定し、イントラ予測モードのモードが2である場合、すなわち、DC予測モードかエッジ予測モードかを示す予測モードである場合に、エッジ検出処理を行う。そして、エッジが検出された場合に、予測モードをエッジ予測モードであると判定し、エッジが検出されない場合に、予測モードをDC予測モードであると判定する。

 これにより、エッジ予測モードに従って符号化されたビットストリームを正しく復号することができる。また、常にエッジ検出処理を行うのではなく、エッジ検出処理を行う場合を制限するので画像復号装置300の処理負担を軽減することができ、復号処理に多くの時間が費やされることを防ぐことができる。

 以上のように、本実施の形態の画像符号化装置100及び画像復号装置300は、イントラ予測を行う際に新たなエッジ予測モードを利用することができる。これにより、特に、シャープな線形エッジを含む符号化対象ピクチャを符号化する際に、符号化効率をより高めることができる。

 また、本実施の形態の画像符号化装置100は、新たなエッジ予測モードを示す情報をDC予測モードを示す情報として符号化する。すなわち、従来のDC予測モードと新たなエッジ予測モードとを伝送する際に、全く同一の符号を用いる。これにより、新たなエッジ予測モードを導入したことに伴う符号量は増加しない。

 さらに、本実施の形態の画像符号化装置100は、対象ブロックの周囲のブロックからエッジの方向を検出するために、エッジの方向などのエッジ予測モードに必要な情報を符号化しない。さらに、画像復号装置300は、画像符号化装置100と同様にエッジ検出処理を行う処理部を備えることで、エッジ予測モードに必要な情報を伝送する必要もなくなる。

 したがって、本実施の形態の画像符号化装置100と画像復号装置300とを備えるコーデック装置では、新たなイントラ予測モードを導入するときのいかなる追加的な伝送オーバーヘッドも避けることができる。

 図17A、図17B及び図18は、本実施の形態の画像符号化装置100による効果を説明するための図である。図17Aは、フォアマンのシーケンス(CIF:Common Intermediate Format(解像度352×288))の最初の10フレームを符号化したときのPSNR(Peak Signal-to-Noise Ratio)とビットレートとの関係を示す図である。図17Bは、スピンカレンダーのシーケンスを符号化したときのPSNRとビットレートとの関係を示す図である。また、図18は、様々なシーケンスに対するエッジ予測モードを用いて符号化されたブロックの割合とビットレート減少率とを示す図である。

 例えば、スピンカレンダーシーケンスを符号化した場合には、ビットレートの減少率は8%を超えており、多くのシャープなエッジを含むシーケンスに対して、充分に符号化効率が高められたことを示す。また、フォアマンシーケンスを符号化した場合は、300フレーム(シーケンス全部)よりもシーケンスの最初の10フレームだけに行われた場合に、より符号化効率が高められたことが分かった(6.44%のビットレートの減少)。なぜなら、フォアマンシーケンスは、シーケンスの最初にシャープな線形エッジを多く含むためである。これらのフレームでは、エッジ予測モードがよく選択され(平均でブロックのおよそ15%)、エッジがより適切に検出される。他方で、シーケンスの終わりにはほとんどエッジはない。これらのフレームでは、エッジ予測モードは、ほとんど用いられていない(平均でブロックのおよそ3~4%)。このため、シーケンス全体での平均ビットレートの減少率は、3.37%である。

 以上のことから、エッジ予測の実行は、大きく画像内容に依存していることも示している。すなわち、ほとんどエッジのない、又は、ボケたエッジを含む画像では、エッジ予測モードは、ほとんど用いられない。本実施の形態の画像符号化方法は、そのようなシーケンスにとって、従来の符号化方法と比較して有利な点はないが、不利な点もない。なぜなら、予測モードセットには、DC予測モードがほとんど常に用いられるからである。そのような画像は、H.264の9つの従来の予測モードで符号化される。

 次の表は、ビットレートの減少率とシミュレートされたシーケンスのPSNR改良度との点から見た高精度エッジ予測技術の結果を示す。

Figure JPOXMLDOC01-appb-T000001

 表1に示すように、結果は、異なるシーケンス間で大きく異なっている。エッジ予測モードの使用の頻度と、最終的なゲインとの間に線形の関係はないが、最も良いゲインは、エッジ予測モードで簡単に予測されたエッジを多く含む画像に対して得られている。

 以上、本発明の画像符号化装置、画像復号装置及びこれらの方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものも、本発明の範囲内に含まれる。

 例えば、本実施の形態によれば、ソーベル演算子を用いて勾配を算出することで、エッジの検出を行った。しかしながら、本発明は、この点には限定されない。代わりに、検出されたエッジの方向性が算出されれば、どのようなエッジ検出ツールが用いられてもよい。ソーベル演算子は、可能なエッジ検出技術の一例に過ぎない。例えば、式7に示すプレウィット演算子を用いてもよい。

Figure JPOXMLDOC01-appb-M000007

 また、ローパスフィルタ(LPF:Low Pass Filter)処理を行ったブロックに対して勾配を算出してもよい。具体的には、ローパスフィルタを構成するフィルタ係数とソーベル演算子又はプレウィット演算子とを畳み込んだ演算子を用いて勾配を算出することができる。したがって、例えば、本実施の形態では、エッジ検出部201又は401は、ソーベル演算子のみ、プレウィット演算子のみ、ソーベル演算子とローパスフィルタとの合成フィルタ、又は、プレウィット演算子とローパスフィルタとの合成フィルタの4種類の中から選択して、勾配を算出してもよい。いずれのフィルタを選択するかは、例えば、外部からのユーザの指示、又は、対象ピクチャの特徴に基づいて決定される。例えば、対象ピクチャに多くのノイズが含まれる場合、すなわち、対象ピクチャが平坦な画像でない場合は、ローパスフィルタを含むフィルタを用いる。

 また、本実施の形態の画像符号化装置100は、ノルム判定部203又は403は、予め定められた閾値を用いてノルムの判定を行ったのに対して、シーケンス、ピクチャ、スライス、又は、ブロック単位で変更してもよい。この場合、決定した閾値をビットストリームに含めることで復号器側に伝送する必要がある。例えば、閾値を決定する単位に応じて、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、又はスライスヘッダ(SH)などに閾値を示す情報は含められる。

 図19は、本実施の形態とは異なる形態の画像符号化装置500の構成の一例を示すブロック図である。同図の画像符号化装置500は、図2の画像符号化装置100と比べて、可変長符号化部105の代わりに可変長符号化部505を備え、参照ピクチャメモリ109の代わりに参照ピクチャメモリ509を備え、イントラ予測モード決定部110の代わりにイントラ予測モード決定部510を備え、さらに新たに閾値決定部519を備える点が異なっている。以下では、図2の画像符号化装置100と同じ点は説明を省略し、異なる点を中心に説明する。

 また、図19に示すように、画像符号化装置500は、外部からエッジ検出フラグを受け取ってもよい。エッジ検出フラグは、エッジ検出処理の有効又は無効を切り替えるためのフラグである。例えば、シーケンス、ピクチャ、又はスライス単位でエッジ検出処理の有効又は無効を切り替えることができる。

 可変長符号化部505は、可変長符号化部105の処理に加えて、さらに、閾値決定部519によって決定された閾値と、エッジ検出フラグとをビットストリームに含める。閾値を示す情報及びエッジ検出フラグは、例えば、SPS、PPS、SHなどに含められる。

 参照ピクチャメモリ509は、加算部108によって生成された復号画像LDを格納する。そして、イントラ予測モード決定部510、動き検出部111、イントラ予測部112、及び、動き補償部113だけでなく、閾値決定部519にも格納している復号画像LDを参照ピクチャとして出力する。

 イントラ予測モード決定部510は、イントラ予測モード決定部110の処理に加えて、エッジ検出フラグを受け取る。そして、イントラ予測モード決定部510は、受け取ったエッジ検出フラグに応じて、エッジ検出処理の有効又は無効を切り替える。具体的には、エッジ検出フラグがエッジ検出処理の有効を示す場合には、上述したイントラ予測モード決定部110と同様の処理を行う。エッジ検出フラグがエッジ検出処理の無効を示す場合には、イントラ予測モードセットは常に従来のDC予測モードと8つの方向予測モードとを含む予測モードセットに設定する。すなわち、エッジの検出処理を行わない。

 また、イントラ予測モード決定部510は、閾値決定部519によって決定された閾値を用いてノルムの判定を行う。具体的なノルムの判定処理については上述した内容と同じであるため、説明を省略する。

 閾値決定部519は、参照ピクチャメモリ509から参照ピクチャを読み出し、読み出した参照ピクチャの画像特徴量を算出することで、閾値を決定する。参照ピクチャの画像特徴量は、例えば、エッジ検出処理が行われる参照ピクチャの分散、強度などである。例えば、分散が大きいほど、ノルム判定に用いる閾値が大きな値になるように決定する。分散が大きいということは、参照ピクチャに多くのノイズが含まれることであり、エッジが誤検出されてしまう可能性が大きくなる。したがって、ノルム判定に用いる閾値を大きくすることで、エッジの誤検出される可能性を小さくすることができる。

 また、閾値決定部519は、前のピクチャに対するエッジ検出処理の結果に基づいて閾値を決定してもよい。例えば、前のピクチャに対して異なる方向のエッジが多く検出されるほど、閾値が大きな値になるように決定する。異なる方向のエッジが多く検出されるということは、ノイズなどの影響で正確なエッジが検出されていない可能性があるので、ノルム判定に用いる閾値を大きくすることで、エッジが誤検出される可能性を小さくすることができる。

 以上のように、図19に示す画像符号化装置500は、閾値を適応的に変更することができるので、より適切な閾値を決定することができ、より適切な予測ブロックを生成することができる。これにより、符号化歪みなどを削減することができる。

 また、本発明の効果が充分に得られない平坦な画像などに対しては、エッジ検出処理を無効にすることができるので、画像符号化装置100に対する処理負担を軽減し、符号化処理の速度を高めることができる。

 また、エッジ検出フラグを復号器側にも伝送するので、復号器側で、エッジ検出処理が行われていないビットストリームに対してエッジ検出処理が行われることを防ぐことができる。

 なお、本実施の形態の画像復号装置300では、エッジ検出処理を行うために、図1Aに示す参照画素20だけではなく、参照画素20を含むブロックに含まれる全画素のデータを、フレームメモリ304に格納する必要がある。これに対して、周囲のブロックを復号すると同時に、すなわち、勾配の算出に必要な参照画素の画素値が得られると同時に、勾配の算出処理を行い、勾配の算出処理結果だけをフレームメモリ304に格納してもよい。このとき、例えば、閾値を超えたノルム(又は、勾配値)のみを格納することで、よりメモリ資源を節約することができる。あるいは、各ブロックの最大のノルムとその画素位置のみを格納してもよい。

 この場合、図20に示すように、従来及び上述の説明と同様に、対象ブロック10の直ぐ上の画素群72に含まれる画素は、予測ブロックを生成する際に参照される参照画素として格納される。さらに、周囲ブロック30に含まれる画素値ではなく、エッジの方向を算出する対象となる画素群71の画素に対して算出したノルム(又は、勾配値)をフレームメモリ304又はノルム判定部403が備えるメモリなどに格納する。

 これにより、画像復号装置300が備えるメモリ資源を有効に利用することができる。

 また、予測値を算出する上述の方法は、検出されたエッジの方向を正式に考慮に入れて、本発明の範囲内で、いかなる他の方法に置き換えられてもよい。具体的には、上記の説明で用いた参照画素より多くの参照画素、又は、別の参照画素を、予測される対象ブロックに近接する参照画素の代わりに用いてもよい。

 また、本発明は、H.264映像符号化規格に限定されず、上述の従来のイントラ予測モードセットに限定されない。事実、発明のエッジ予測モードは、空間予測を用いるいかなるブロックベースの映像符号化器に用いられてもよい。特に、DC予測モードの置き換えとしてエッジ予測モードを用いるのではなく、H.264/AVCの付加的モードとして用いることもできる。

 また、本発明のエッジ予測モードは、エッジ予測モードとDC予測モードとを合わせた上述の伝送とは異なる伝送メカニズムと共に用いられてもよい。例えば、エッジ予測モードは、DC予測モードとは無関係の専用符号語によって伝送されてもよく、又は、予め定義された方向予測モードの1つ以上の組み合わせで伝送されてもよい。

 また、本発明は、映像符号化アプリケーションに限られず、ブロックベースの静止画像符号化に用いられてもよい。

 また、本発明は、上述したように、画像符号化装置、画像復号装置及びこれらの方法として実現できるだけではなく、本実施の形態の画像符号化方法及び画像復号方法のそれぞれをコンピュータに実行させるためのプログラムとして実現してもよい。また、当該プログラムを記録するコンピュータ読み取り可能なCD-ROMなどの記録媒体として実現してもよい。さらに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、これらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信されてもよい。

 また、本発明は、画像符号化装置及び画像復号装置のそれぞれを構成する構成要素の一部又は全部を、1個のシステムLSIから構成してもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM及びRAMなどを含んで構成されるコンピュータシステムである。

 要約すると、本発明は、画像及び映像データの符号化及び復号に関し、特に、前に符号化及び復号されたブロックの画像データから対象ブロックを予測する新たな空間予測モードに関する。この予測モードによれば、シャープなエッジを含むブロックは、エッジの正確な方向を考慮に入れることでより信頼性の高い予測が行われる。さらに、本発明では、新たな予測モードは、追加の伝送オーバーヘッドを必要としない。なぜなら、(1)エッジの方向は、前に符号化されたブロックから推定され、(2)新たな予測モードは、シャープなエッジを含むブロックに対する従来のDC予測モードに置き換えることができるためである。

 本発明の画像符号化方法及び画像復号方法は、符号化効率をより高めることができるという効果を奏し、例えば、デジタルカメラ、デジタルテレビ、BD(Blu-ray Disc)レコーダなどに利用することができる。

Claims (35)

  1.  画像データをブロック毎に符号化する画像符号化方法であって、
     前記画像データを複数のブロックに分割する分割ステップと、
     前記複数のブロックの1つである対象ブロックを予測することで予測ブロックを生成する予測ステップと、
     前記対象ブロックと前記予測ブロックとの差分を算出する減算ステップと、
     前記減算ステップで算出された差分を符号化する符号化ステップと、
     前記符号化ステップで符号化された差分を復号する復号ステップと、
     前記復号ステップで復号された差分と前記予測ブロックとを加算することで復号ブロックを生成する加算ステップとを含み、
     前記予測ステップは、
     前記対象ブロックに近接するブロックに対応する、前に生成された復号ブロック内のエッジを検出するエッジ検出ステップと、
     前記エッジ検出ステップで検出されたエッジの方向に沿って、前記対象ブロックに近接するブロックに含まれる画素に対応する、前に生成された復号画像データを外挿又は内挿することで前記予測ブロックを生成する予測ブロック生成ステップとを含む
     画像符号化方法。
  2.  前記予測ブロック生成ステップでは、前記復号画像データを線形に外挿又は内挿することで前記予測ブロックを生成する
     請求項1記載の画像符号化方法。
  3.  前記予測ブロック生成ステップでは、前記予測ブロックを構成する予測画素毎に前記復号画像データに含まれる複数の復号画素の画素値の少なくとも2つの重み付け加算和を算出し、算出した重み付け加算和を外挿又は内挿することで、前記予測ブロックを生成し、
     前記重み付け加算和の算出に用いられる重みは、前記エッジ検出ステップで検出されたエッジの方向に基づいて決定される
     請求項2記載の画像符号化方法。
  4.  前記重みのそれぞれは、当該重みに対応する復号画素から、前記予測画素への距離が小さいほど、大きな値になるように決定される
     請求項3記載の画像符号化方法。
  5.  前記エッジ検出ステップでは、互いに異なる方向を有する少なくとも2つのエッジを検出し、
     前記予測ブロック生成ステップでは、前記予測画素毎に、前記少なくとも2つのエッジそれぞれの方向に沿って外挿又は内挿するための前記複数の復号画素の画素値を合成し、合成した画素値を外挿又は内挿することで、前記予測ブロックを生成する
     請求項4記載の画像符号化方法。
  6.  前記予測ブロック生成ステップでは、前記予測画素毎に、前記複数の復号画素の画素値のそれぞれに重みを乗じることで前記重み付け加算和を算出し、算出した重み付け加算和を外挿又は内挿することで、前記予測ブロックを生成し、
     前記重みのそれぞれは、当該重みに対応する復号画素から、前記少なくとも2つのエッジのいずれかが検出された復号ブロックまでの距離が小さいほど、大きな値になるように決定される
     請求項5記載の画像符号化方法。
  7.  前記重みのそれぞれは、当該重みに対応する復号画素から、前記少なくとも2つのエッジのいずれかの延長線までの距離が小さいほど、大きな値になるように決定される
     請求項6記載の画像符号化方法。
  8.  前記予測ステップは、さらに、
     エッジ予測モードを含む複数の予測モードから1つの予測モードを選択する予測モード選択ステップを含み、
     前記予測ブロック生成ステップでは、前記エッジ予測モードが選択された場合に、前記エッジ検出モードで検出されたエッジの方向に沿って前記復号画像データを外挿又は内挿することで、前記予測ブロックを生成する
     請求項1記載の画像符号化方法。
  9.  前記複数の予測モードは、さらに、DC予測モードと予め定義された複数の方向予測モードとを含み、
     前記予測ブロック生成ステップでは、前記DC予測モードが選択された場合には、前記復号画像データの平均値を算出することで前記予測ブロックを生成し、前記複数の方向予測モードの1つが選択された場合には、選択された方向予測モードに対応する方向に沿って前記復号画像データを外挿することで前記予測ブロックを生成する
     請求項8記載の画像符号化方法。
  10.  前記予測モード選択ステップでは、
     前記エッジ検出ステップでエッジが検出された場合に、前記エッジ予測モードと前記複数の方向予測モードとの中から1つの予測モードを選択し、
     前記エッジ検出ステップでエッジが検出されない場合に、前記DC予測モードと前記複数の方向予測モードとの中から1つの予測モードを選択する
     請求項9記載の画像符号化方法。
  11.  前記符号化ステップでは、さらに、
     前記予測モード選択ステップで前記複数の方向予測モードの1つが選択された場合、選択された方向予測モードを示すモード指示を符号化し、
     前記DC予測モード又は前記エッジ予測モードが選択された場合、前記DC予測モード及び前記エッジ予測モードのいずれかのモードであることを示すモード指示を符号化する
     請求項10記載の画像符号化方法。
  12.  前記予測モード選択ステップでは、
     前記エッジ検出ステップでエッジが検出され、かつ、検出されたエッジの方向が前記対象ブロックを指す場合に、前記エッジ予測モードと前記複数の方向予測モードとの中から1つの予測モードを選択し、
     前記エッジ検出ステップでエッジが検出されない場合、又は、エッジが検出され、検出されたエッジの方向が前記対象ブロックを指さない場合に、前記DC予測モードと前記複数の方向予測モードとの中から1つの予測モードを選択する
     請求項9記載の画像符号化方法。
  13.  前記エッジ検出ステップは、
     前記対象ブロックに近接するブロックに対応する、前に生成された復号ブロックの複数の画素のそれぞれに対応する勾配ベクトルを算出する勾配ベクトル算出ステップと、
     前記勾配ベクトル算出ステップで算出された勾配ベクトルのうち、ノルムが予め定められた閾値を超え、かつ、当該勾配ベクトルに直交する直交ベクトルが前記対象ブロックを指すという条件を満たす少なくとも1つの勾配ベクトルが存在するか否かを判定するベクトル判定ステップと、
     前記ベクトル判定ステップで前記条件を満たす少なくとも1つの勾配ベクトルが存在すると判定された場合、前記条件を満たす少なくとも1つの勾配ベクトルに直交する直交ベクトルの方向をエッジの方向とするエッジを検出するエッジ方向決定ステップとを含む
     請求項1記載の画像符号化方法。
  14.  前記エッジ方向決定ステップでは、前記条件を満たす少なくとも1つの勾配ベクトルのうち最大のノルムを有する勾配ベクトルの方向から前記エッジの方向を決定する
     請求項13記載の画像符号化方法。
  15.  前記エッジ方向決定ステップでは、前記条件を満たす少なくとも1つの勾配ベクトルのうち少なくとも1つの勾配ベクトルの方向を平均することで得られる方向から前記エッジの方向を決定する
     請求項13記載の画像符号化方法。
  16.  符号化された予測残差を含む画像データをブロック毎に復号する画像復号方法であって、
     対象ブロックの前記予測残差を復号する復号ステップと、
     前記対象ブロックを予測することで予測ブロックを生成する予測ステップと、
     前記予測ステップで生成された予測ブロックと、前記復号ステップで復号された予測残差とを加算することで復号ブロックを生成する加算ステップとを含み、
     前記予測ステップは、
     前記対象ブロックに近接するブロックに対応する、前に生成された復号ブロック内のエッジを検出するエッジ検出ステップと、
     前記エッジ検出ステップで検出されたエッジの方向に沿って、前記対象ブロックに近接するブロックに含まれる画素に対応する、前に生成された復号画像データを外挿又は内挿することで前記予測ブロックを生成する予測ブロック生成ステップとを含む
     画像復号方法。
  17.  前記予測ブロック生成ステップでは、前記復号画像データを線形に外挿又は内挿することで前記予測ブロックを生成する
     請求項16記載の画像復号方法。
  18.  前記予測ブロック生成ステップでは、前記予測ブロックを構成する予測画素毎に前記復号画像データに含まれる複数の復号画素の画素値の少なくとも2つの重み付け加算和を算出し、算出した重み付け加算和を外挿又は内挿することで、前記予測ブロックを生成し、
     前記重み付け加算和の算出に用いられる重みは、前記エッジ検出ステップで検出されたエッジの方向に基づいて決定される
     請求項17記載の画像復号方法。
  19.  前記重みのそれぞれは、当該重みに対応する復号画素から、前記予測画素への距離が小さいほど、大きな値になるように決定される
     請求項18記載の画像復号方法。
  20.  前記エッジ検出ステップでは、互いに異なる方向を有する少なくとも2つのエッジを検出し、
     前記予測ブロック生成ステップでは、前記予測画素毎に、前記少なくとも2つのエッジそれぞれの方向に沿って外挿又は内挿するための前記複数の復号画素の画素値を合成し、合成した画素値を外挿又は内挿することで、前記予測ブロックを生成する
     請求項19記載の画像復号方法。
  21.  前記予測ブロック生成ステップでは、前記予測画素毎に、前記複数の復号画素の画素値のそれぞれに重みを乗じることで前記重み付け加算和を算出し、算出した重み付け加算和を外挿又は内挿することで、前記予測ブロックを生成し、
     前記重みのそれぞれは、当該重みに対応する復号画素から、前記少なくとも2つのエッジのいずれかが検出された復号ブロックまでの距離が小さいほど、大きな値になるように決定される
     請求項20記載の画像復号方法。
  22.  前記重みのそれぞれは、当該重みに対応する復号画素から、前記少なくとも2つのエッジのいずれかの延長線までの距離が小さいほど、大きな値になるように決定される
     請求項21記載の画像復号方法。
  23.  前記予測ステップは、さらに、
     エッジ予測モードを含む複数の予測モードから1つの予測モードを選択する予測モード選択ステップを含み、
     前記予測ブロック生成ステップでは、前記エッジ予測モードが選択された場合に、前記エッジ検出モードで検出されたエッジの方向に沿って前記復号画像データを外挿又は内挿することで、前記予測ブロックを生成する
     請求項16記載の画像復号方法。
  24.  前記複数の予測モードは、さらに、DC予測モードと予め定義された複数の方向予測モードとを含み、
     前記予測ブロック生成ステップでは、前記DC予測モードが選択された場合には、前記復号画像データの平均値を算出することで前記予測ブロックを生成し、前記複数の方向予測モードの1つが選択された場合には、選択された方向予測モードに対応する方向に沿って前記復号画像データを外挿することで前記予測ブロックを生成する
     請求項23記載の画像復号方法。
  25.  前記予測モード選択ステップでは、
     前記エッジ検出ステップでエッジが検出された場合に、前記エッジ予測モードと前記複数の方向予測モードとの中から1つの予測モードを選択し、
     前記エッジ検出ステップでエッジが検出されない場合に、前記DC予測モードと前記複数の方向予測モードとの中から1つの予測モードを選択する
     請求項24記載の画像復号方法。
  26.  前記画像データは、さらに、予測モードを示す予測モード指示を含み、
     前記予測モード選択ステップでは、前記予測モード指示が前記DC予測モード又は前記エッジ予測モードを示す場合であって、さらに、前記エッジ検出ステップでエッジが検出された場合には前記エッジ予測モードを選択し、前記エッジ検出ステップでエッジが検出されない場合には前記DC予測モードを選択する
     請求項25記載の画像復号方法。
  27.  前記予測モード選択ステップでは、
     前記エッジ検出ステップでエッジが検出され、かつ、検出されたエッジの方向が前記対象ブロックを指す場合に、前記エッジ予測モードと前記複数の方向予測モードとの中から1つの予測モードを選択し、
     前記エッジ検出ステップでエッジが検出されない場合、又は、エッジが検出され、検出されたエッジの方向が前記対象ブロックを指さない場合に、前記DC予測モードと前記複数の方向予測モードとの中から1つの予測モードを選択する
     請求項24記載の画像復号方法。
  28.  前記エッジ検出ステップは、
     前記対象ブロックに近接するブロックに対応する、前に生成された復号ブロックの複数の画素のそれぞれに対応する勾配ベクトルを算出する勾配ベクトル算出ステップと、
     前記勾配ベクトル算出ステップで算出された勾配ベクトルのうち、ノルムが予め定められた閾値を超え、かつ、当該勾配ベクトルに直交する直交ベクトルが前記対象ブロックを指すという条件を満たす少なくとも1つの勾配ベクトルが存在するか否かを判定するベクトル判定ステップと、
     前記ベクトル判定ステップで前記条件を満たす少なくとも1つの勾配ベクトルが存在すると判定された場合、前記条件を満たす少なくとも1つの勾配ベクトルに直交する直交ベクトルの方向をエッジの方向とするエッジを検出するエッジ方向決定ステップとを含む
     請求項16記載の画像復号方法。
  29.  前記エッジ方向決定ステップでは、前記条件を満たす少なくとも1つの勾配ベクトルのうち最大のノルムを有する勾配ベクトルの方向から前記エッジの方向を決定する
     請求項28記載の画像復号方法。
  30.  前記エッジ方向決定ステップでは、前記条件を満たす少なくとも1つの勾配ベクトルのうち少なくとも1つの勾配ベクトルの方向を平均することで得られる方向から前記エッジの方向を決定する
     請求項28記載の画像復号方法。
  31.  画像データをブロック毎に符号化する画像符号化装置であって、
     前記画像データを複数のブロックに分割する分割手段と、
     前記複数のブロックの1つである対象ブロックを予測することで予測ブロックを生成する予測手段と、
     前記対象ブロックと前記予測ブロックとの差分を算出する減算手段と、
     前記減算手段によって算出された差分を符号化する符号化手段と、
     前記符号化手段によって符号化された差分を復号する復号手段と、
     前記復号手段によって復号された差分と前記予測ブロックとを加算することで復号ブロックを生成する加算手段とを備え、
     前記予測手段は、
     前記対象ブロックに近接するブロックに対応する、前に生成された復号ブロック内のエッジを検出するエッジ検出部と、
     前記エッジ検出部によって検出されたエッジの方向に沿って、前記対象ブロックに近接するブロックに含まれる画素に対応する、前に生成された復号画像データを外挿又は内挿することで前記予測ブロックを生成する予測ブロック生成部とを有する
     画像符号化装置。
  32.  符号化された予測残差を含む画像データをブロック毎に復号する画像復号装置であって、
     対象ブロックの前記予測残差を復号する復号手段と、
     前記対象ブロックを予測することで予測ブロックを生成する予測手段と、
     前記予測手段によって生成された予測ブロックと、前記復号ステップで復号された予測残差とを加算することで復号ブロックを生成する加算手段とを備え、
     前記予測手段は、
     前記対象ブロックに近接するブロックに対応する、前に生成された復号ブロック内のエッジを検出するエッジ検出部と、
     前記エッジ検出部によって検出されたエッジの方向に沿って、前記対象ブロックに近接するブロックに含まれる画素に対応する、前に生成された復号画像データを外挿又は内挿することで前記予測ブロックを生成する予測ブロック生成部とを有する
     画像復号装置。
  33.  請求項31記載の画像符号化装置と、請求項32記載の画像復号装置とを備える
     コーデック装置。
  34.  画像データをブロック毎に符号化する画像符号化方法をコンピュータに実行させるためのプログラムであって、
     前記画像データを複数のブロックに分割する分割ステップと、
     前記複数のブロックの1つである対象ブロックを予測することで予測ブロックを生成する予測ステップと、
     前記対象ブロックと前記予測ブロックとの差分を算出する減算ステップと、
     前記減算ステップで算出された差分を符号化する符号化ステップと、
     前記符号化ステップで符号化された差分を復号する復号ステップと、
     前記復号ステップで復号された差分と前記予測ブロックとを加算することで復号ブロックを生成する加算ステップとを含み、
     前記予測ステップは、
     前記対象ブロックに近接するブロックに対応する、前に生成された復号ブロック内のエッジを検出するエッジ検出ステップと、
     前記エッジ検出ステップで検出されたエッジの方向に沿って、前記対象ブロックに近接するブロックに含まれる画素に対応する、前に生成された復号画像データを外挿又は内挿することで前記予測ブロックを生成する予測ブロック生成ステップとを含む
     プログラム。
  35.  符号化された予測残差を含む画像データをブロック毎に復号する画像復号方法をコンピュータに実行させるためのプログラムであって、
     対象ブロックの前記予測残差を復号する復号ステップと、
     前記対象ブロックを予測することで予測ブロックを生成する予測ステップと、
     前記予測ステップで生成された予測ブロックと、前記復号ステップで復号された予測残差とを加算することで復号ブロックを生成する加算ステップとを含み、
     前記予測ステップは、
     前記対象ブロックに近接するブロックに対応する、前に生成された復号ブロック内のエッジを検出するエッジ検出ステップと、
     前記エッジ検出ステップで検出されたエッジの方向に沿って、前記対象ブロックに近接するブロックに含まれる画素に対応する、前に生成された復号画像データを外挿又は内挿することで前記予測ブロックを生成する予測ブロック生成ステップとを含む
     プログラム。
PCT/JP2009/000150 2008-01-18 2009-01-16 画像符号化方法及び画像復号方法 WO2009090884A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP20080000979 EP2081386A1 (en) 2008-01-18 2008-01-18 High precision edge prediction for intracoding
EP08000979.8 2008-01-18

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
CN 200980000159 CN101682781B (zh) 2008-01-18 2009-01-16 图像编码方法以及图像解码方法
CA 2680698 CA2680698A1 (en) 2008-01-18 2009-01-16 Image coding method and image decoding method
EP20090702704 EP2230851A4 (en) 2008-01-18 2009-01-16 Image encoding method and image decoding method
JP2009534005A JP5530181B2 (ja) 2008-01-18 2009-01-16 画像符号化方法及び画像復号方法
US12529813 US8442334B2 (en) 2008-01-18 2009-01-16 Image coding method and image decoding method based on edge direction
US13862829 US8971652B2 (en) 2008-01-18 2013-04-15 Image coding method and image decoding method for coding and decoding image data on a block-by-block basis

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US12529813 A-371-Of-International US8442334B2 (en) 2008-01-18 2009-01-16 Image coding method and image decoding method based on edge direction
US13862829 Continuation US8971652B2 (en) 2008-01-18 2013-04-15 Image coding method and image decoding method for coding and decoding image data on a block-by-block basis

Publications (1)

Publication Number Publication Date
WO2009090884A1 true true WO2009090884A1 (ja) 2009-07-23

Family

ID=39535617

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/000150 WO2009090884A1 (ja) 2008-01-18 2009-01-16 画像符号化方法及び画像復号方法

Country Status (8)

Country Link
US (2) US8442334B2 (ja)
EP (2) EP2081386A1 (ja)
JP (1) JP5530181B2 (ja)
KR (1) KR20100113448A (ja)
CN (2) CN101682781B (ja)
CA (1) CA2680698A1 (ja)
RU (1) RU2010129443A (ja)
WO (1) WO2009090884A1 (ja)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110032485A (ko) * 2009-09-23 2011-03-30 광주과학기술원 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 방법 및 장치
WO2011129074A1 (ja) * 2010-04-13 2011-10-20 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラム、及び集積回路
WO2011129085A1 (ja) * 2010-04-12 2011-10-20 パナソニック株式会社 空間予測方法、画像復号方法、および画像符号化方法
WO2011129084A1 (ja) * 2010-04-12 2011-10-20 パナソニック株式会社 空間予測方法、画像復号方法、および画像符号化方法
WO2011135841A1 (ja) * 2010-04-29 2011-11-03 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
WO2011145328A1 (ja) * 2010-05-18 2011-11-24 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置および画像符号化装置
WO2012043676A1 (ja) * 2010-09-29 2012-04-05 シャープ株式会社 復号装置、符号化装置、および、データ構造
WO2012043678A1 (ja) * 2010-09-30 2012-04-05 シャープ株式会社 画像復号装置、画像符号化装置、および、データ構造
WO2012077795A1 (ja) * 2010-12-09 2012-06-14 シャープ株式会社 画像符号化装置、画像復号装置、およびデータ構造
JP2012119892A (ja) * 2010-11-30 2012-06-21 Nippon Hoso Kyokai <Nhk> イントラ予測装置、符号化器、復号器、及びプログラム
WO2012090413A1 (ja) * 2010-12-27 2012-07-05 日本電気株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
WO2012161318A1 (ja) * 2011-05-25 2012-11-29 シャープ株式会社 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
JP2013502808A (ja) * 2009-08-17 2013-01-24 サムスン エレクトロニクス カンパニー リミテッド 映像の符号化方法及びその装置、並びに映像の復号化方法及びその装置
JP2013502807A (ja) * 2009-08-17 2013-01-24 サムスン エレクトロニクス カンパニー リミテッド 映像の符号化方法及びその装置、映像復号化方法及びその装置
JP2013507087A (ja) * 2009-10-05 2013-02-28 トムソン ライセンシングThomson Licensing 映像符号化及び復号化における色度成分の予測画素の適応フィルタリング
JP2013059131A (ja) * 2012-12-28 2013-03-28 Sony Corp 画像処理装置および方法、並びに記録媒体
JP2013059132A (ja) * 2012-12-28 2013-03-28 Sony Corp 画像処理装置および方法、並びに記録媒体
US20130101032A1 (en) * 2010-04-26 2013-04-25 Panasonic Corporation Filtering mode for intra prediction inferred from statistics of surrounding blocks
JP2014507857A (ja) * 2011-01-14 2014-03-27 シーメンス アクチエンゲゼルシヤフトSiemens Aktiengesellschaft 予測値を形成するための方法および装置
JP2014509119A (ja) * 2011-01-21 2014-04-10 トムソン ライセンシングThomson Licensing 幾何学ベースのイントラ予測の方法および装置
JP2014086961A (ja) * 2012-10-25 2014-05-12 Sharp Corp 画像符号化装置
JP2014112941A (ja) * 2014-02-20 2014-06-19 Sony Corp 画像処理装置および方法、並びに記録媒体
JP2014135742A (ja) * 2014-02-20 2014-07-24 Sony Corp 画像処理装置および方法、並びに記録媒体
JP2014519768A (ja) * 2011-06-20 2014-08-14 メディア テック シンガポール ピーティーイー.リミテッド 方向性イントラ予測の方法及び装置
JP2014225795A (ja) * 2013-05-16 2014-12-04 日本電信電話株式会社 イントラ予測方向絞込み方法、イントラ予測方向絞込み装置及びイントラ予測方向絞込みプログラム
US8989796B2 (en) 2010-04-26 2015-03-24 Kyocera Corporation Method for adjusting parameter of radio communication system and radio communication system
JP2015149778A (ja) * 2010-08-17 2015-08-20 サムスン エレクトロニクス カンパニー リミテッド ビデオ復号化方法及びその装置
US9123109B2 (en) 2009-04-24 2015-09-01 Sony Corporation Image processing device and method

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9330060B1 (en) 2003-04-15 2016-05-03 Nvidia Corporation Method and device for encoding and decoding video image data
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
CN107105257A (zh) 2007-06-29 2017-08-29 夏普株式会社 图像编码装置、图像编码方法、图像译码装置、图像译码方法
US8873625B2 (en) * 2007-07-18 2014-10-28 Nvidia Corporation Enhanced compression in representing non-frame-edge blocks of image frames
KR101452859B1 (ko) 2009-08-13 2014-10-23 삼성전자주식회사 움직임 벡터를 부호화 및 복호화하는 방법 및 장치
EP2579598A4 (en) * 2010-06-07 2014-07-23 Humax Co Ltd Method for encoding/decoding high-resolution image and device for performing same
US9467705B2 (en) * 2009-12-30 2016-10-11 Ariscale Inc. Video encoding apparatus, video decoding apparatus, and video decoding method for performing intra-prediction based on directionality of neighboring block
KR101495724B1 (ko) 2010-02-02 2015-02-25 삼성전자주식회사 계층적 데이터 단위의 스캔 순서에 기반한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
WO2011095959A1 (en) * 2010-02-08 2011-08-11 Nokia Corporation An apparatus, a method and a computer program for video coding
WO2011130051A1 (en) * 2010-04-12 2011-10-20 Sony Corporation Context adaptive directional intra prediction
CN102835114B (zh) 2010-04-13 2016-06-15 松下电器(美国)知识产权公司 图像解码方法及图像解码装置
US20110274169A1 (en) * 2010-05-05 2011-11-10 Paz Adar Device, system, and method for spatially encoding video data
US8559512B2 (en) 2010-05-05 2013-10-15 Ceva D.S.P. Ltd. Device, system, and method for predicting residual data for intra and inter frame encoding of image or video data
KR101690253B1 (ko) * 2010-05-06 2016-12-27 삼성전자주식회사 영상 처리 장치 및 그 방법
KR101781874B1 (ko) 2010-05-25 2017-09-26 엘지전자 주식회사 신규한 평면 예측 모드
EP2583457A4 (en) 2010-06-21 2015-07-29 Thomson Licensing Method and apparatus for encoding/decoding image data
US9661338B2 (en) 2010-07-09 2017-05-23 Qualcomm Incorporated Coding syntax elements for adaptive scans of transform coefficients for video coding
US8787444B2 (en) * 2010-07-16 2014-07-22 Sony Corporation Differential coding of intra directions (DCIC)
KR101530284B1 (ko) * 2010-07-16 2015-06-19 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR101663762B1 (ko) * 2010-07-20 2016-10-07 에스케이 텔레콤주식회사 다중 예측 필터를 이용하는 경쟁기반 인트라 예측 부호화/복호화 장치 및 방법
KR101673025B1 (ko) * 2010-07-22 2016-11-04 에스케이 텔레콤주식회사 전 방위 기반의 인트라 예측 부호화/복호화 장치 및 방법
EP3125553B1 (en) * 2010-08-17 2018-04-18 M&K Holdings Inc. Method for encoding an intra prediction mode
KR20160056901A (ko) 2010-09-24 2016-05-20 노키아 코포레이션 비디오 코딩 방법, 장치 및 컴퓨터 프로그램
CN103141105B (zh) * 2010-09-27 2018-05-15 Lg电子株式会社 用于分割块的方法和解码设备
WO2012042860A1 (ja) * 2010-09-30 2012-04-05 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラム、及び集積回路
US9258573B2 (en) 2010-12-07 2016-02-09 Panasonic Intellectual Property Corporation Of America Pixel adaptive intra smoothing
WO2012081193A1 (ja) * 2010-12-17 2012-06-21 株式会社Jvcケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム
EP2658263A4 (en) 2010-12-22 2016-12-28 Lg Electronics Inc Intra prediction method and apparatus using the method
JP2012142702A (ja) * 2010-12-28 2012-07-26 Sony Corp 画像処理装置および方法、並びにプログラム
CN104811706B (zh) * 2011-01-06 2017-10-27 三星电子株式会社 视频的编码方法和装置及视频的解码方法和装置
CN102595120A (zh) * 2011-01-14 2012-07-18 华为技术有限公司 一种空域预测编码方法、解码方法、装置和系统
CN102595124B (zh) 2011-01-14 2014-07-16 华为技术有限公司 图像编码解码方法、处理图像数据方法及其设备
US8538179B2 (en) 2011-02-10 2013-09-17 Sony Corporation Image coding device, image decoding device, methods thereof, and programs
JPWO2012120840A1 (ja) * 2011-03-07 2014-07-17 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置および画像符号化装置
CN102685473B (zh) * 2011-03-10 2015-03-25 华为技术有限公司 一种帧内预测方法和装置
US20140056352A1 (en) * 2011-04-25 2014-02-27 Lg Electronics Inc. Intra-prediction method, and encoder and decoder using same
CN102137262B (zh) * 2011-05-03 2017-04-12 深圳市云宙多媒体技术有限公司 一种不规则划分视频编码模式选择方法、装置
CN102186081B (zh) * 2011-05-11 2013-09-18 北京航空航天大学 一种基于梯度向量的h.264帧内模式选择方法
US20130016783A1 (en) * 2011-07-12 2013-01-17 Hyung Joon Kim Method and Apparatus for Coding Unit Partitioning
JP2013085096A (ja) * 2011-10-07 2013-05-09 Sony Corp 画像処理装置および方法
US9280835B2 (en) 2011-10-18 2016-03-08 Nokia Technologies Oy Method for coding and an apparatus based on a DC prediction value
US9282344B2 (en) 2011-11-04 2016-03-08 Qualcomm Incorporated Secondary boundary filtering for video coding
CN104247422A (zh) * 2011-11-07 2014-12-24 华为技术有限公司 用于改进帧内预测的新的角度表
JP5711098B2 (ja) * 2011-11-07 2015-04-30 日本電信電話株式会社 画像符号化方法,画像復号方法,画像符号化装置,画像復号装置およびそれらのプログラム
WO2013075101A1 (en) 2011-11-18 2013-05-23 General Instrument Corporation An explicit way for signaling a collocated picture for high efficicency video coding (hevc)
US9392235B2 (en) 2011-11-18 2016-07-12 Google Technology Holdings LLC Explicit way for signaling a collocated reference picture for video coding
US9531990B1 (en) 2012-01-21 2016-12-27 Google Inc. Compound prediction using multiple sources or prediction modes
US8737824B1 (en) 2012-03-09 2014-05-27 Google Inc. Adaptively encoding a media stream with compound prediction
WO2013154674A1 (en) 2012-04-11 2013-10-17 Motorola Mobility Llc Evaluation of signaling of collocated reference picture for temporal prediction
US9185414B1 (en) 2012-06-29 2015-11-10 Google Inc. Video encoding using variance
US9319681B2 (en) 2012-07-18 2016-04-19 Google Technology Holdings LLC Signaling of temporal motion vector predictor (MVP) enable flag
US20140056356A1 (en) * 2012-08-21 2014-02-27 Motorola Mobility Llc Method and apparatus for efficient signaling of weighted prediction in advanced coding schemes
US9035999B2 (en) * 2012-09-17 2015-05-19 Google Inc. Bandwidth reduction system and method
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
CN103067716B (zh) * 2013-01-10 2016-06-29 华为技术有限公司 深度图像的编解码方法和编解码装置
CN103067715B (zh) 2013-01-10 2016-12-28 华为技术有限公司 深度图像的编解码方法和编解码装置
CN103237214B (zh) * 2013-04-12 2016-06-08 华为技术有限公司 深度图像的编解码方法和编解码装置
KR20150019888A (ko) 2013-08-16 2015-02-25 삼성전자주식회사 비디오 인코딩을 위한 인트라 리프레쉬 방법
US9986236B1 (en) * 2013-11-19 2018-05-29 Google Llc Method and apparatus for encoding a block using a partitioned block and weighted prediction values
JP6268989B2 (ja) * 2013-11-29 2018-01-31 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
JP2015119282A (ja) * 2013-12-17 2015-06-25 株式会社メガチップス 画像処理装置
US9609343B1 (en) * 2013-12-20 2017-03-28 Google Inc. Video coding using compound prediction
US20150189269A1 (en) * 2013-12-30 2015-07-02 Google Inc. Recursive block partitioning
WO2016145162A3 (en) * 2015-03-12 2016-11-03 NGCodec Inc. Intra-picture prediction processor with progressive block size computations and dual stage computations
WO2017093604A1 (en) * 2015-11-30 2017-06-08 Nokia Technologies Oy A method, an apparatus and a computer program product for encoding and decoding video
CN107105208A (zh) * 2017-06-06 2017-08-29 山东大学 一种Bayer图像的无损编码与解码方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04277982A (en) * 1991-03-06 1992-10-02 Matsushita Electric Ind Co Ltd High efficient coder for video signal
JP2006523073A (ja) * 2003-03-03 2006-10-05 エージェンシー・フォア・サイエンス・テクノロジー・アンド・リサーチ 高度動画像符号化におけるイントラ予測のための高速モード決定アルゴリズム
JP2007166617A (ja) * 2005-12-12 2007-06-28 Samsung Electronics Co Ltd 映像のイントラ予測符号化、復号化方法及び装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2900998B2 (ja) * 1997-07-31 1999-06-02 日本ビクター株式会社 ブロック間内挿予測符号化装置、復号化装置、符号化方法及び復号化方法
CN100459715C (zh) * 1997-07-31 2009-02-04 日本胜利株式会社 数字视频信号块间预测编码/解码装置及编码/解码方法
FI116819B (fi) 2000-01-21 2006-02-28 Nokia Corp Menetelmä kuvien lähettämiseksi ja kuvakooderi
US6633654B2 (en) * 2000-06-19 2003-10-14 Digimarc Corporation Perceptual modeling of media signals based on local contrast and directional edges
US6765964B1 (en) 2000-12-06 2004-07-20 Realnetworks, Inc. System and method for intracoding video data
DE10158658A1 (de) * 2001-11-30 2003-06-12 Bosch Gmbh Robert Verfahren zur gerichteten Prädiktion eines Bildblockes
US20050249429A1 (en) * 2004-04-22 2005-11-10 Fuji Photo Film Co., Ltd. Method, apparatus, and program for image processing
US7587098B2 (en) * 2005-07-14 2009-09-08 Mavs Lab. Inc. Pixel data generating method
KR100678911B1 (ko) 2005-07-21 2007-02-05 삼성전자주식회사 방향적 인트라 예측의 적용을 확장하여 비디오 신호를인코딩하고 디코딩하는 방법 및 장치
KR100750128B1 (ko) 2005-09-06 2007-08-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
CN100484249C (zh) * 2005-09-25 2009-04-29 海信集团有限公司 视频帧间编码基于边缘方向的帧内预测方法
KR100750136B1 (ko) 2005-11-02 2007-08-21 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
WO2007055158A1 (ja) * 2005-11-08 2007-05-18 Matsushita Electric Industrial Co., Ltd. 動画像符号化方法、動画像復号化方法および装置
CN107105257A (zh) * 2007-06-29 2017-08-29 夏普株式会社 图像编码装置、图像编码方法、图像译码装置、图像译码方法
US20090046202A1 (en) * 2007-08-17 2009-02-19 Himax Technologies Limited De-interlace method and apparatus
KR20090095316A (ko) * 2008-03-05 2009-09-09 삼성전자주식회사 영상 인트라 예측 방법 및 장치
US20120020580A1 (en) * 2009-01-29 2012-01-26 Hisao Sasai Image coding method and image decoding method
WO2011031332A1 (en) * 2009-09-14 2011-03-17 Thomson Licensing Methods and apparatus for efficient video encoding and decoding of intra prediction mode
WO2011130051A1 (en) * 2010-04-12 2011-10-20 Sony Corporation Context adaptive directional intra prediction
US9661338B2 (en) * 2010-07-09 2017-05-23 Qualcomm Incorporated Coding syntax elements for adaptive scans of transform coefficients for video coding
US8787444B2 (en) * 2010-07-16 2014-07-22 Sony Corporation Differential coding of intra directions (DCIC)

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04277982A (en) * 1991-03-06 1992-10-02 Matsushita Electric Ind Co Ltd High efficient coder for video signal
JP2006523073A (ja) * 2003-03-03 2006-10-05 エージェンシー・フォア・サイエンス・テクノロジー・アンド・リサーチ 高度動画像符号化におけるイントラ予測のための高速モード決定アルゴリズム
JP2007166617A (ja) * 2005-12-12 2007-06-28 Samsung Electronics Co Ltd 映像のイントラ予測符号化、復号化方法及び装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2230851A4 *

Cited By (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9123109B2 (en) 2009-04-24 2015-09-01 Sony Corporation Image processing device and method
JP2014195290A (ja) * 2009-08-17 2014-10-09 Samsung Electronics Co Ltd 映像復号化方法
US9036703B2 (en) 2009-08-17 2015-05-19 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
US8989266B2 (en) 2009-08-17 2015-03-24 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
US9071839B2 (en) 2009-08-17 2015-06-30 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
US9313502B2 (en) 2009-08-17 2016-04-12 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
JP2016195444A (ja) * 2009-08-17 2016-11-17 サムスン エレクトロニクス カンパニー リミテッド 映像復号化方法
JP2016195445A (ja) * 2009-08-17 2016-11-17 サムスン エレクトロニクス カンパニー リミテッド 映像復号化方法
JP2015156708A (ja) * 2009-08-17 2015-08-27 サムスン エレクトロニクス カンパニー リミテッド 映像の符号化方法及びその装置、並びに映像の復号化方法及びその装置
US9392283B2 (en) 2009-08-17 2016-07-12 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
US9049458B2 (en) 2009-08-17 2015-06-02 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
US9374591B2 (en) 2009-08-17 2016-06-21 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
JP2013502808A (ja) * 2009-08-17 2013-01-24 サムスン エレクトロニクス カンパニー リミテッド 映像の符号化方法及びその装置、並びに映像の復号化方法及びその装置
JP2013502807A (ja) * 2009-08-17 2013-01-24 サムスン エレクトロニクス カンパニー リミテッド 映像の符号化方法及びその装置、映像復号化方法及びその装置
JP2014180026A (ja) * 2009-08-17 2014-09-25 Samsung Electronics Co Ltd 映像復号化方法
US9369715B2 (en) 2009-08-17 2016-06-14 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
US9319686B2 (en) 2009-08-17 2016-04-19 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
US9313503B2 (en) 2009-08-17 2016-04-12 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
US9277224B2 (en) 2009-08-17 2016-03-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
JP2014180027A (ja) * 2009-08-17 2014-09-25 Samsung Electronics Co Ltd 映像復号化方法
JP2015156707A (ja) * 2009-08-17 2015-08-27 サムスン エレクトロニクス カンパニー リミテッド 映像の符号化方法及びその装置、並びに映像の復号化方法及びその装置
JP2015111907A (ja) * 2009-08-17 2015-06-18 サムスン エレクトロニクス カンパニー リミテッド 映像復号化方法
JP2015111908A (ja) * 2009-08-17 2015-06-18 サムスン エレクトロニクス カンパニー リミテッド 映像復号化方法
KR20110032485A (ko) * 2009-09-23 2011-03-30 광주과학기술원 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 방법 및 장치
KR101629475B1 (ko) 2009-09-23 2016-06-22 삼성전자주식회사 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 방법 및 장치
JP2013507087A (ja) * 2009-10-05 2013-02-28 トムソン ライセンシングThomson Licensing 映像符号化及び復号化における色度成分の予測画素の適応フィルタリング
JP2015213377A (ja) * 2010-04-12 2015-11-26 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 画像符号化方法および画像符号化装置
US8824817B2 (en) 2010-04-12 2014-09-02 Panasonic Intellectual Property Corporation Of America Spatial prediction method, image decoding method, and image coding method
US9215465B2 (en) 2010-04-12 2015-12-15 Panasonic Intellectual Property Corporation Of America Spatial prediction method, image decoding method, and image coding method
JP5798550B2 (ja) * 2010-04-12 2015-10-21 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 空間予測方法および空間予測装置
US9602837B2 (en) 2010-04-12 2017-03-21 Sun Patent Trust Spatial prediction method, image decoding method, and image coding method
WO2011129084A1 (ja) * 2010-04-12 2011-10-20 パナソニック株式会社 空間予測方法、画像復号方法、および画像符号化方法
WO2011129085A1 (ja) * 2010-04-12 2011-10-20 パナソニック株式会社 空間予測方法、画像復号方法、および画像符号化方法
US9961367B2 (en) 2010-04-12 2018-05-01 Sun Patent Trust Spatial prediction method, image decoding method, and image coding method
JP2017055409A (ja) * 2010-04-12 2017-03-16 サン パテント トラスト 画像復号化方法および画像復号化装置
WO2011129074A1 (ja) * 2010-04-13 2011-10-20 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラム、及び集積回路
US9197893B2 (en) * 2010-04-26 2015-11-24 Panasonic Intellectual Property Corporation Of America Filtering mode for intra prediction inferred from statistics of surrounding blocks
US9973772B2 (en) 2010-04-26 2018-05-15 Sun Patent Trust Filtering mode for intra prediction inferred from statistics of surrounding blocks
US20130101032A1 (en) * 2010-04-26 2013-04-25 Panasonic Corporation Filtering mode for intra prediction inferred from statistics of surrounding blocks
US20160021383A1 (en) * 2010-04-26 2016-01-21 Panasonic Intellectual Property Corporation Of America Filtering mode for intra prediction inferred from statistics of surrounding blocks
US8989796B2 (en) 2010-04-26 2015-03-24 Kyocera Corporation Method for adjusting parameter of radio communication system and radio communication system
WO2011135841A1 (ja) * 2010-04-29 2011-11-03 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
WO2011145328A1 (ja) * 2010-05-18 2011-11-24 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置および画像符号化装置
JP2015164338A (ja) * 2010-08-17 2015-09-10 サムスン エレクトロニクス カンパニー リミテッド ビデオ復号化方法及びその装置
US9674553B2 (en) 2010-08-17 2017-06-06 Samsung Electronics Co., Ltd. Video encoding method and apparatus using transformation unit of variable tree structure, and video decoding method and apparatus
US9661347B2 (en) 2010-08-17 2017-05-23 Samsung Electronics Co., Ltd. Video encoding method and apparatus using transformation unit of variable tree structure, and video decoding method and apparatus
US9654799B2 (en) 2010-08-17 2017-05-16 Samsung Electronics Co., Ltd. Video encoding method and apparatus using transformation unit of variable tree structure, and video decoding method and apparatus
US9654800B2 (en) 2010-08-17 2017-05-16 Samsung Electronics Co., Ltd. Video encoding method and apparatus using transformation unit of variable tree structure, and video decoding method and apparatus
US9648349B2 (en) 2010-08-17 2017-05-09 Samsung Electronics Co., Ltd. Video encoding method and apparatus using transformation unit of variable tree structure, and video decoding method and apparatus
JP2015149778A (ja) * 2010-08-17 2015-08-20 サムスン エレクトロニクス カンパニー リミテッド ビデオ復号化方法及びその装置
JP2015164337A (ja) * 2010-08-17 2015-09-10 サムスン エレクトロニクス カンパニー リミテッド ビデオ復号化方法及びその装置
JP2015149777A (ja) * 2010-08-17 2015-08-20 サムスン エレクトロニクス カンパニー リミテッド ビデオ復号化方法及びその装置
WO2012043676A1 (ja) * 2010-09-29 2012-04-05 シャープ株式会社 復号装置、符号化装置、および、データ構造
WO2012043678A1 (ja) * 2010-09-30 2012-04-05 シャープ株式会社 画像復号装置、画像符号化装置、および、データ構造
JP2012119892A (ja) * 2010-11-30 2012-06-21 Nippon Hoso Kyokai <Nhk> イントラ予測装置、符号化器、復号器、及びプログラム
WO2012077795A1 (ja) * 2010-12-09 2012-06-14 シャープ株式会社 画像符号化装置、画像復号装置、およびデータ構造
WO2012090413A1 (ja) * 2010-12-27 2012-07-05 日本電気株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
JP2014507857A (ja) * 2011-01-14 2014-03-27 シーメンス アクチエンゲゼルシヤフトSiemens Aktiengesellschaft 予測値を形成するための方法および装置
US9225985B2 (en) 2011-01-14 2015-12-29 Siemens Aktiengesellschaft Methods and devices for forming a prediction value
JP2014509119A (ja) * 2011-01-21 2014-04-10 トムソン ライセンシングThomson Licensing 幾何学ベースのイントラ予測の方法および装置
WO2012161318A1 (ja) * 2011-05-25 2012-11-29 シャープ株式会社 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
JP2014519768A (ja) * 2011-06-20 2014-08-14 メディア テック シンガポール ピーティーイー.リミテッド 方向性イントラ予測の方法及び装置
JP2014086961A (ja) * 2012-10-25 2014-05-12 Sharp Corp 画像符号化装置
JP2013059131A (ja) * 2012-12-28 2013-03-28 Sony Corp 画像処理装置および方法、並びに記録媒体
JP2013059132A (ja) * 2012-12-28 2013-03-28 Sony Corp 画像処理装置および方法、並びに記録媒体
JP2014225795A (ja) * 2013-05-16 2014-12-04 日本電信電話株式会社 イントラ予測方向絞込み方法、イントラ予測方向絞込み装置及びイントラ予測方向絞込みプログラム
JP2014135742A (ja) * 2014-02-20 2014-07-24 Sony Corp 画像処理装置および方法、並びに記録媒体
JP2014112941A (ja) * 2014-02-20 2014-06-19 Sony Corp 画像処理装置および方法、並びに記録媒体

Also Published As

Publication number Publication date Type
CN102883159A (zh) 2013-01-16 application
CN101682781A (zh) 2010-03-24 application
JP5530181B2 (ja) 2014-06-25 grant
US20130251039A1 (en) 2013-09-26 application
CN102883159B (zh) 2016-03-02 grant
KR20100113448A (ko) 2010-10-21 application
US8442334B2 (en) 2013-05-14 grant
EP2230851A4 (en) 2011-01-19 application
JPWO2009090884A1 (ja) 2011-05-26 application
EP2081386A1 (en) 2009-07-22 application
US20100128995A1 (en) 2010-05-27 application
CA2680698A1 (en) 2009-07-23 application
CN101682781B (zh) 2012-11-07 grant
RU2010129443A (ru) 2012-02-27 application
EP2230851A1 (en) 2010-09-22 application
US8971652B2 (en) 2015-03-03 grant

Similar Documents

Publication Publication Date Title
US7643559B2 (en) Coding method, decoding method, coding apparatus, decoding apparatus, image processing system, coding program, and decoding program
US20030156646A1 (en) Multi-resolution motion estimation and compensation
US20080123977A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080123947A1 (en) Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein
US20080165849A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20090034856A1 (en) Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein
US20090034857A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20070098067A1 (en) Method and apparatus for video encoding/decoding
US20090232217A1 (en) Method and apparatus for encoding and decoding image
US20080137744A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20120033736A1 (en) Image processing device and method
US20080130990A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20090110067A1 (en) Image encoding device, image decoding device, image encoding method and image decoding method
US20080130989A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US8509551B2 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recording with image encoding program and computer readable recording medium recorded with image decoding program
US20050013500A1 (en) Intelligent differential quantization of video coding
US20070098078A1 (en) Method and apparatus for video encoding/decoding
US20050013497A1 (en) Intraframe and interframe interlace coding and decoding
US20080130747A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
EP2262267A1 (en) Filter coefficient coding scheme for video coding
EP2081386A1 (en) High precision edge prediction for intracoding
US20120033728A1 (en) Method and apparatus for encoding and decoding images by adaptively using an interpolation filter
US20120140821A1 (en) Pixel adaptive intra smoothing
KR20110017719A (ko) 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US20080130988A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program

Legal Events

Date Code Title Description
ENP Entry into the national phase in:

Ref document number: 2009534005

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2009534005

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 12529813

Country of ref document: US

ENP Entry into the national phase in:

Ref document number: 2680698

Country of ref document: CA

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09702704

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 207018

Country of ref document: IL

WWE Wipo information: entry into national phase

Ref document number: 586840

Country of ref document: NZ

NENP Non-entry into the national phase in:

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2009205202

Country of ref document: AU

ENP Entry into the national phase in:

Ref document number: 2009205202

Country of ref document: AU

Date of ref document: 20090116

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2010129443

Country of ref document: RU

ENP Entry into the national phase in:

Ref document number: 2010129443

Country of ref document: RU

Kind code of ref document: A

ENP Entry into the national phase in:

Ref document number: PI0906880

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20100716