JP5625073B2 - 画像符号化装置及び画像復号装置 - Google Patents

画像符号化装置及び画像復号装置 Download PDF

Info

Publication number
JP5625073B2
JP5625073B2 JP2012553573A JP2012553573A JP5625073B2 JP 5625073 B2 JP5625073 B2 JP 5625073B2 JP 2012553573 A JP2012553573 A JP 2012553573A JP 2012553573 A JP2012553573 A JP 2012553573A JP 5625073 B2 JP5625073 B2 JP 5625073B2
Authority
JP
Japan
Prior art keywords
information
prediction
image
vector
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012553573A
Other languages
English (en)
Other versions
JPWO2012098776A1 (ja
Inventor
亮司 橋本
亮司 橋本
誠二 望月
誠二 望月
憲一 岩田
憲一 岩田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Electronics Corp
Original Assignee
Renesas Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Electronics Corp filed Critical Renesas Electronics Corp
Priority to JP2012553573A priority Critical patent/JP5625073B2/ja
Publication of JPWO2012098776A1 publication Critical patent/JPWO2012098776A1/ja
Application granted granted Critical
Publication of JP5625073B2 publication Critical patent/JP5625073B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、画像の予測符号化を行う画像符号化装置及び予測符号化された情報に対する予測復号を行う画像復号装置に関し、例えば携帯電話、ナビゲーションシステム、DVD（Digital Versatile Disc）/HDD（Hard Disk Drive）/BD（Blue-ray Disc）レコーダ、デジタルビデオカメラ、デジタルカメラ、デジタルテレビ、電話会議システムなどの動画像符号化復号装置に適用して有効な技術に関する。
従来、動画像符号化の分野の技術では、MPEG（Moving Picture Experts Group）、ITU-T（International Telecommunication Union、Telecommunication Standardization Sector）が規格化したH.264に代表される符号化方式等が幅広く使用されている。これらの符号化方式では，符号量を削減するために予測符号化が採用されており，符号化の際には、ある方法で予測した画像(予測画像)と元の画像の差分を符号化する。逆に、復号時には，予測画像に差分を加えることで復号画像を得る。
１枚の画像は、例えば輝度と２つの色差から構成される。このフォーマットはYCbCrと呼ばれる。動画像は，複数枚の連続した画像から構成される。現在の地上デジタル放送においては１秒間に約３０枚となっている。これに基づき、予測画像の生成手法は、大きく分けて２つの種類に分類される。一方は、１枚の画像を単独で用いて、同一画面内で予測を行う手法(フレーム内予測若しくは画面内予測)、もう一方は，連続する画像という特徴を用いて画面間で予測を行う手法(フレーム間予測若しくは画面間予測)である。一般に、動画像では連続する画像間の相関は高いため，画面内予測より画面間予測の方が、符号化効率が高い。しかしながら、画面内予測のみで符号化された画像は、動画像の先頭、再生時のランダムアクセス性の向上、エラー時の復帰に必要であり、一般的に0．5 秒から2秒に１回程度挿入されている。
非特許文献１および２において、画面内予測手法、画面間予測手法のそれぞれが記載されている。これらの非特許文献では、画像を16画素×16ラインに分割したマクロブロックと呼ばれる処理単位で符号化処理を行う。予測画像の生成単位は、マクロブロックの内部をさらに細分化した8×8、4×4単位等となる (以降、予測画像の生成単位を本稿では、「ブロック」と呼称する)。
画面間予測においては、符号化／復号済みの画像を用いて予測画像の生成を行う。その際には、ブロックごとにどの画像のどの位置から予測を行うかを示す「参照インデックス（リファレンスインデックス：(reference index）」と「動きベクトル（モーションベクタ：(motion vector）」が符号化される。参照インデックスは、予測に用いる画像を示すものであり、例えば、現在の画像の１枚前がインデックス0、2枚前がインデックス1のように割り当てられる。動きベクトルは、現在のブロックの位置と予測に用いる画像の位置との差分値であり、画像は2 次元情報であるため、水平成分、垂直成分の2つの値から構成される。非特許文献においては、ビットストリーム中には、輝度のベクトルのみが符号化されている。
一方、画面内予測においては、ブロックに隣接する画素から一定の規則にしたがって、予測画像の生成を行う。非特許文献１，２ においては、左、上の画素から予測する方法等９種類が規定されている。また、輝度と色差のそれぞれに予測方法が存在し、輝度と色差の予測方法が異なることもある。この他の画面内予測手法として特許文献１および２が存在する。これらの文献では、ベクトルによって同一画面内の参照位置を指定することで予測画像の生成を行う。つまり、画面間予測における符号化／復号済みの画像の代わりに現在符号化/復号中の画像を予測に用いることで、周期的な離散パターンに対して高い符号化効率を実現する。特許文献１では、予測画像を作成する単位を16×16、8×8と可変にすることで符号化効率を向上させている。また、特許文献２では、参照範囲に含まれるまだ符号化／復号が終わってない領域(以降、未符号化領域と呼称する)を逓倍のベクトルを用いて補間することで未符号化領域が多く含まれる範囲を参照した場合における符号化効率の低下を抑制している。この予測方法を以降、ベクトル予測と呼称する。
米国特許公開第２００３／０２０２５８８号 国際公開パンフレットＷＯ／２０１０／０８２２３１号
ITU-T H.264、 SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services - Coding of moving video、 Advanced video coding for generic audiovisual services ISO/IEC 14496-10、Information technology − Coding of audio-visual objects − Part 10: Advanced Video Coding
復号装置側で予測画像を生成するには符号装置から復号装置に予測方法の情報が伝達されなければならない。すなわち、予測方法にはフレーム間予測とフレーム内予測があり、フレーム内予測には上記ベクトル予測やその他の予測方法がある。何れの予測方法を用いたかを正確に伝達しなければ画像の復号を行うことができない。しかも、毎秒３０フレームというような膨大なデータ量を扱う性質上、ブロック単位でいかなる符号化方式を用いたかを示す情報は１ビットでもそのデータサイズを小さくすることが必要になるとこが本発明者によって見出された。
本発明の目的は、符号化方法の伝達という点で、ベクトル情報を用いたフレーム内予測符号化により符号化された情報の復号を保証することができる画像符号化装置を提供することにある。
本発明の別の目的は、符号化方法の受領という点で、ベクトル情報を用いたフレーム内予測符号化により符号化された情報の復号を保証することができる画像復号装置を提供することにある。
本発明の前記並びにその他の目的と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。
すなわち、画像の予測符号化の対象にされる分割された画像の情報と予測情報との誤差を求めて予測符号化を行い、その予測符号化の処理系列にしたがって、前記分割された画像の情報に対する処理毎に予測方法を特定する情報とその方法によって予測符号化された情報とを配列したデータストリームを生成する。このとき、前記データストリームは、前記予測方法がベクトル情報を用いるフレーム内予測符号化である場合には、予測符号化された情報として、前記分割された画像の情報に対する処理毎に、ベクトル情報と前記誤差の情報とのペアを有する。
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記のとおりである。
すなわち、符号化方法の伝達並びに受領という点で、ベクトル情報を用いたフレーム内予測符号化により符号化された情報の復号を保証することができる。
図１はストリーム符号化部（復号部）による符号化処理（復号処理）の処理手順を例示するフローチャートである。 図２は携帯電話やDVD/HDD/BDレコーダなどの動画像符号化復号装置に適用される画像符号化装置及び画像復号装置を例示するブロック図である。 図３は予測ベクトルの説明図である。 図４はベクトル情報などの説明図である。 図５は図１に係るデータストリームの配列を例示する説明図である。 図６はストリーム符号化部（復号部）による符号化処理（復号処理）の別の処理手順を例示するフローチャートである。 図７は図６に係るデータストリームの配列を例示する説明図である。 図８はリファレンスインデックス（reference index）による参照フレームの指定の具体例を示す説明図である。 図９はトリーム符号化部（復号部）による符号化処理（復号処理）の更に別の処理手順を例示するフローチャートである。 図１０は図９に係るデータストリームの配列を例示する説明図である。 図１１はパートサイズ（part_size）とベクタモード（vec_mode）の値の割り当てとプレッドモード（pred_mode）の値の割り当てとの関係を例示する説明図である。 図１２はストリーム符号化部（復号部）による符号化処理（復号処理）の更に別の処理手順を例示するフローチャートである。 図１３は図１２に係るデータストリームの配列を例示する説明図である。 図１４はストリーム符号化部（復号部）による符号化処理（復号処理）の更に別の処理手順を例示するフローチャートである。 図１５は図１４に係るデータストリームの配列を例示する説明図である。 図１６は画像符号化装置の具体例を示すブロック図である。 図１７は画像復号装置の具体例を示すブロック図である。
１．実施の形態の概要
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。
〔１〕＜符号化装置のデータストリーム＞
本発明の代表的な実施の形態に係る画像符号化装置（１０）は、画像の予測符号化の対象にされる分割された画像の情報と予測情報との誤差を求めて予測符号化を行う画像符号化部と、前記画像符号化部による予測符号化の処理結果に基づいて、前記分割された画像の情報に対する処理毎に予測方法を特定する情報とその方法によって予測符号化された情報とを配列したデータストリームを生成するストリーム符号化部とを有する。このとき、前記データストリームは、前記予測方法が、前記予測情報を生成するための予測画像の指定にベクトル情報を用いるフレーム内予測符号化である場合には、予測符号化された情報として、前記分割された画像の情報に対する処理毎に、ベクトル情報と前記誤差の情報とのペアを有する。
上記より、生成されるデータストリームには予測符号化の処理毎に、予測方法を特定する情報とその方法によって予測符号化された情報とが配置され、ベクトル情報を用いるフレーム内予測符号化に対しては予測符号化された情報としてベクトル情報と前記誤差の情報とのペアを有する。したがって、符号化方法の伝達という点で、ベクトル情報を用いたフレーム内予測符号化により符号化された情報の復号を保証することができる。
〔２〕＜図１、図９のマクロブロックタイプとベクタモード＞
項１の画像復号化装置において、前記予測方法を特定する情報は、前記分割された画像の情報に対する予測がフレーム内予測又はフレーム間予測の何れであったかを示す情報（mb_type）と、フレーム内予測にベクトル情報を用いたか否かを示す情報（vec_mode、図９のpred_mode）とである。
前記予測方法を特定する情報を例えば２ビット単位で表すことができる。
〔３〕＜図９のpred mode ←vec_mode、 part size＞
項２の画像復号化装置において、前記フレーム内予測にベクトル情報を用いたか否かを示す情報は、前記分割された画像の情報の画像サイズを細分化したサブサイズとフレーム内予測にベクトル情報を用いるか否かを示す情報との組み合わせを示す情報である。
サブサイズを表すビット数に対してサブサイズの種類に余裕があれば、複数の要素をまとめて符号化することによって、夫々の要素を個別にする場合に比べて情報のビット数の削減が可能になる。
〔４〕＜図９のpred mode ←vec_mode、 part sizeのビット数圧縮＞
項３の画像符号化装置において、前記分割された画像の情報の画像サイズを細分化したサブサイズとフレーム内予測にベクトル情報を用いたか否かを示す情報との組み合わせを示す情報は、前記サブサイズの種類を２のべき乗で区別するために必用なビット数で表した情報である。
サブサイズを表すビット数に対してサブサイズの種類に余裕があるから、複数の要素をまとめて符号化することによって、夫々の要素を個別にする場合に比べて情報のビット数を削減することができる。
〔５〕＜図６；フレーム間予測で自フレームを指定して実質フレーム内予測＞
項１の画像符号化装置において、前記予測方法を特定する情報は、前記分割された画像情報に対する予測がフレーム間予測若しくはベクトル情報を用いたフレーム内予測の何れか又はその他のフレーム内予測であるかを示す情報（pred_type）と、前記ベクトル情報を用いて参照するフレームが前記分割された画像情報を含む自らのフレームも含めた複数フレームの内の何れのフレームであるかを示す情報（reference index）とである。
後者の情報（reference index）はフレーム間予測符号化において参照するフレームを特定するのにそもそも必要な情報であり、そのような情報を流用するから、前記予測方法を特定するためだけの情報を項２に比べて１ビット少ない１ビット単位で表すことができる。
〔６〕＜図１２フレーム内予測をベクトル予測に限定する場合＞
項１記載の画像符号化装置において、フレーム内予測にベクトル情報を用いる予測だけを採用するとき、前記予測方法を特定する情報は、前記分割された画像情報に対する予測がフレーム内予測又はフレーム間予測の何れであるかを示す情報（mb_type）である。
フレーム内予測にベクトル情報を用いたか否かを示す情報が不要となり、前記予測方法を特定するだけの情報を項２に比べて１ビット少ない１ビット単位で表すことができる。
〔７〕＜図１４；フレーム間予測で自フレームを指定して実質ベクトルを用いたフレーム内予測＞
項１の画像符号化装置において、フレーム内予測にベクトル情報を用いる予測だけを採用するとき、前記予測方法を特定する情報は、参照するフレームが前記分割された画像情報を含む自らのフレームも含めた複数フレームの内の何れのフレームであるかを示す情報（reference index）である。
前記予測方法を特定する情報を項５に比べて１ビット少ない１ビット単位で表すことができる。
〔８〕＜輝度成分のベクトル情報＞
項１の画像符号化装置において、前記ベクトル情報は、輝度成分のベクトル情報を含む。
データストリーム中のベクトル情報を必要最低限に限定することができる。
〔９〕＜輝度成分のベクトル情報、色差成分のベクトル情報＞
項１の画像符号化装置において、前記予測方法を特定する情報は、それが特定する予測方法が、前記予測情報を生成するために用いる予測画像の指定にベクトル情報を用いる予測符号化である場合に、当該ベクトル情報として輝度成分のベクトル情報のみ、又は輝度成分のベクトル情報と色差成分のベクトル情報の双方の何れを用いるかを示す情報を含む。
ベクトル情報として輝度成分のベクトル情報のみ、又は輝度成分のベクトル情報と色差成分のベクトル情報の双方を必要に応じて選択して用いることができる。
〔１０〕＜ベクトルを用いたフレーム内予測符号化をフレーム間予測符号化の範疇に含める＞
本発明の代表的な別の実施の形態に係る画像符号化装置（１０；図２及び図６）は、画像の予測符号化の対象にされる分割された画像の情報と予測情報との誤差を求めて予測符号化を行う画像符号化部と、前記画像符号化部による予測符号化の処理結果に基づいて、前記分割された画像の情報に対する処理毎に予測方法を特定する情報とその方法によって予測符号化された情報とを配列したデータストリームを生成するストリーム符号化部とを有する。前記データストリームは、前記予測方法が、前記予測情報を生成するための予測画像の指定にベクトル情報を用いる予測符号化である場合には、予測符号化された情報として、前記分割された画像の情報に対する処理毎に、ベクトル情報と前記誤差の情報とのペアを有する。前記予測方法を特定する情報は、前記分割された画像情報に対する予測がベクトル情報を用いた予測又はその他のフレーム内予測であるかを示す情報（pred_type）と、前記ベクトル情報を用いて参照するフレームが前記分割された画像情報を含む自らのフレームも含めた複数フレームの内の何れのフレームであるかを示す情報（reference index）とであり、前記分割された画像情報を含む自らのフレームをフレーム間予測符号化の対象フレームとすることによってベクトル情報を用いたフレーム内予測符号化を行う。
上記により、ベクトル情報を用いるフレーム内予測符号化をフレーム間予測符号化の範疇に含めて符号化方法を伝達することができる。特に、後者の情報（reference index）はフレーム間予測符号化において参照するフレームを特定するのにそもそも必要な情報であり、そのような情報を流用するから、前記予測方法を特定するためだけの情報ビット数を減らすことができる。
〔１１〕＜復号装置のデータストリーム＞
本発明の代表的な更に別の実施の形態に係る画像復号装置（２０）は、画像の予測符号化の対象にされる分割された画像の情報に対する予測符号化の予測方法を特定する情報とその方法によって予測符号化された情報とを配列したデータストリームを入力系列にしたがって復号するストリーム復号部と、前記ストリーム復号部で復号された前記予測方法を特定する情報とその方法によって予測符号化された情報とを利用することにより、先に復号した画像情報に基づいて取得した予測情報に誤差の情報を加えて画像の復号を行う画像復号部と、を有する。前記データストリームは、前記予測方法が、前記予測情報を生成するための予測画像の指定にベクトル情報を用いるフレーム内予測符号化である場合には、予測符号化された情報として、前記分割された画像の情報に対する処理毎に、ベクトル情報と前記誤差の情報とのペアを有する。
上記より、入力されるデータストリームには予測符号化の処理毎に、予測方法を特定する情報とその方法によって予測符号化された情報とが配置され、ベクトル情報を用いるフレーム内予測復号を行うためには、予測符号化された情報としてベクトル情報と前記誤差の情報とのペアを有する。したがって、符号化方法の伝達という点で、ベクトル情報を用いたフレーム内予測符号化により符号化された情報の復号を保証することができる。
〔１２〕＜図１、図９のマクロブロックタイプとベクタモード＞
項１１の画像復号装置において、前記予測方法を特定する情報は、前記分割された画像の情報に対する予測がフレーム内予測又はフレーム間予測の何れであったかを示す情報（mb_type）と、フレーム内予測にベクトル情報を用いたか否かを示す情報（vec_mode、図９のpred_mode）とである。
ストリーム復号部は前記予測方法を特定する情報を例えば２ビット単位で受けることができる。
〔１３〕＜図９のpred mode ←vec_mode、 part size＞
項１２の画像復号装置において、前記フレーム内予測にベクトル情報を用いたか否かを示す情報は、前記分割された画像の情報の画像サイズを細分化したサブサイズとフレーム内予測にベクトル情報を用いるか否かを示す情報との組み合わせを示す情報である。
サブサイズを表すビット数に対してサブサイズの種類に余裕があれば、複数の要素をまとめて符号化することによって、夫々の要素を個別にする場合に比べて情報のビット数の削減が可能になる。
〔１４〕＜図９のpred mode ←vec_mode、 part sizeのビット数圧縮＞
項１３の画像復号装置において、前記分割された画像の情報の画像サイズを細分化したサブサイズとフレーム内予測にベクトル情報を用いたか否かを示す情報との組み合わせを示す情報は、前記サブサイズの種類を２のべき乗で区別するために必用なビット数で表した情報である。
サブサイズを表すビット数に対してサブサイズの種類に余裕があるから、複数の要素をまとめて符号化することによって、夫々の要素を個別にする場合に比べて情報のビット数を削減することができる。
〔１５〕＜図６；フレーム間予測で自フレームを指定して実質ベクトルを用いたフレーム内予測＞
項１１の画像復号装置において、前記予測方法を特定する情報は、前記分割された画像情報に対する予測がフレーム間予測若しくはベクトル情報を用いたフレーム内予測の何れか又はその他のフレーム内予測であるかを示す情報（pred_type）と、前記ベクトル情報を用いて参照するフレームが前記分割された画像情報を含む自らのフレームも含めた複数フレームの内の何れのフレームであるかを示す情報（reference index）とである。
後者の情報（reference index）はフレーム間予測符号化において参照するフレームを特定するのにそもそも必要な情報であり、そのような情報を流用するから、ストリーム復号部は、前記予測方法を特定するためだけの情報を項２に比べて１ビット少ない１ビット単位で受けることができる。
〔１６〕＜図１２；フレーム内予測をベクトル予測に限定する場合＞
項１１の画像復号装置において、フレーム内予測にベクトル情報を用いる予測だけを採用するとき、前記予測方法を特定する情報は、前記分割された画像情報に対する予測がフレーム内予測又はフレーム間予測の何れであるかを示す情報（mb_type）である。
フレーム内予測にベクトル情報を用いたか否かを示す情報が不要となり、ストリーム復号部は、前記予測方法を特定するだけの情報を項２に比べて１ビット少ない１ビット単位で受けることができる。
〔１７〕＜図１４フレーム間予測で自フレームを指定して実質ベクトルを用いたフレーム内予測＞
項１１の画像復号装置において、フレーム内予測にベクトル情報を用いる予測だけを採用するとき、前記予測方法を特定する情報は、参照するフレームが前記分割された画像情報を含む自らのフレームも含めた複数フレームの内の何れのフレームであるかを示す情報（reference index）である。
フレーム内予測にベクトル情報を用いたか否かを示す情報が不要となり、ストリーム復号部は前記予測方法を特定する情報を項５に比べて１ビット少ない１ビット単位で受けることができる。
〔１８〕＜輝度成分のベクトル情報＞
項１１の画像復号装置において、前記ベクトル情報は、輝度成分のベクトル情報を含む。
データストリームによってストリーム復号部に伝達されるベクトル情報を必要最低限に限定することができる。
〔１９〕＜輝度成分のベクトル情報、色差成分のベクトル情報＞
項１１の画像復号装置において、前記予測方法を特定する情報は、それが特定する予測方法が、前記予測情報を生成するために用いる予測画像の指定にベクトル情報を用いる予測符号化である場合に、当該ベクトル情報として輝度成分のベクトル情報のみ、又は輝度成分のベクトル情報と色差成分のベクトル情報の双方の何れを用いるかを示す情報を含む。
ベクトル情報として輝度成分のベクトル情報のみ、又は輝度成分のベクトル情報と色差成分のベクトル情報の双方を必要に応じて選択して用いることができる。
〔２０〕＜ベクトルを用いたフレーム内予測符号化をフレーム間予測符号化の範疇に含める＞
本発明の代表的な更に別の実施の形態に係る画像復号装置（２０；図２及び図６）は、画像の予測符号化の対象にされる分割された画像の情報に対する予測符号化の予測方法を特定する情報とその方法によって予測符号化された情報とを配列したデータストリームを入力系列にしたがって復号するストリーム復号部と、前記ストリーム復号部で復号された前記予測方法を特定する情報とその方法によって予測符号化された情報とを利用することにより、先に復号した画像情報に基づいて取得した予測情報に誤差の情報を加えて画像の復号を行う画像復号部と、を有する。前記データストリームは、前記予測方法が、前記予測情報を生成するための予測画像の指定にベクトル情報を用いる予測符号化である場合には、予測符号化された情報として、前記分割された画像の情報に対する処理毎に、ベクトル情報と前記誤差の情報とのペアを有する。前記予測方法を特定する情報は、前記分割された画像情報に対する予測がベクトル情報を用いた予測又はその他のフレーム内予測であるかを示す情報（pred_type）と、前記ベクトル情報を用いて参照するフレームが前記分割された画像情報を含む自らのフレームも含めた複数フレームの内の何れのフレームであるかを示す情報（reference index）とであり、復号対象である自らのフレームをフレーム間予測復号の対象フレームとすることによってベクトル情報を用いたフレーム内予測復号を行う。
上記により、ベクトル情報を用いるフレーム内予測符号化をフレーム間予測符号化の範疇に含めて符号化方法を伝達することができる。特に、後者の情報（reference index）はフレーム間予測符号化において参照するフレームを特定するのにそもそも必要な情報であり、そのような情報を流用するから、ストリーム復号部は、前記予測方法を特定するためだけの情報ビット数を減らして受けることができる。
２．実施の形態の詳細
実施の形態について更に詳述する。
図２には携帯電話やDVD/HDD/BDレコーダなどの動画像符号化復号装置に適用される画像符号化装置０及び画像復号装置２０が例示される。画像符号化装置１０及び画像復号装置２０について詳細を説明する前に画像の予測符号化及び予測復号についての基本的な処理形態を説明する。
予測方法として、ベクトル（以下、特に指定のない場合、フレーム内の画素位置を示す情報についても単に「ベクトル」と称する。いわゆる動き補償フレーム間符号化に用いる「動きベクトル」と区別することが必要な場合は「フレーム内ベクトル」と称する）を用いて予測信号を生成する位置を指示することが必要になる。図２において、一つの画像が符号化済み領域３０と未符号化領域４０からなり、符号化ブロック４１を符号化するときに、予測信号を生成するために用いるのに好適なブロック（予測ブロック３１）を符号化済み領域３０から選択し、その位置を符号化ブロック４１からの２次元相対位置（予測ベクトル５０）にて示す。図ではブロック３１の左上の画素（小さな四角にて図示）の相対位置にてベクトル５０を示している。このとき、符号化ブロック４１内の各画素信号は、対応する予測ブロック１１０内の画素信号との誤差（差分）がとられ、この差分信号が直交変換・量子化されて得られた信号と、前記ベクトルとが符号化され、それがビットストリームＢＳｏｕｔとして出力される。復号の場合もそれと同様であり、未符号化領域４０を未復号領域とし、符号化ブロック４１を復号対象とする復号化ブロックとし、符号化済み領域３０を復号済み領域とし、入力されたビットストリームＢＳｉｎから得られるベクトル情報によって復号済み領域３０から取得した予測信号に、差分情報を加えて再生画像を形成すればよい。
画像符号化装置１０は画像符号化部１１とストリーム符号化部１２とを有する。画像符号化部１２は動画の画像信号ＶＤｉｎを入力し、画像の予測符号化の対象にされる分割された画像の情報（符号化ブロック４１に対応する情報）と予測情報（予測ブロック３１に対応する情報）との誤差を求めて予測符号化を行う。ストリーム符号化部１２は、前記画像符号化部１１による符号化の処理系列にしたがって、前記分割された画像４１の情報に対する処理毎に予測方法を特定する情報とその方法によって予測符号化された情報とを入力して符号化し、符号化した情報を例えば復号処理系列に適した配列とするデータストリームＢＳｏｕｔを生成して出力する。画像復号装置２０はストリーム復号部２１と画像復号部２２とを有する。ストリーム復号部は、前記符号化の処理毎に予測符号化の予測方法を特定する情報とその方法によって予測符号化された情報とを配列したデータストリームＢｓｉｎを入力し、入力系列にしたがって復号する。画像復号部２２は、ストリーム復号部２１で復号された予測方法を特定する情報とその方法によって予測符号化された情報とを利用することにより、先に復号した画像情報に基づいて取得した予測情報に誤差の情報を加えて画像の復号を行う。
画像符号化装置１０及び画像復号装置２０において、その特徴的要素の代表は、ベクトル情報を用いたベクトル予測符号化における予測方法及びベクトル情報をデータストリームＢＳｏｕｔ，ＢＳｉｎ上でどのように表現するか、換言すれば、如何にして伝送データのデータ量削減と復号処理効率の向上に資するようにするか、ということである。以下、この点に重点を置いて画像符号化装置１０及び画像復号装置２０について説明する。
《実施の形態１》
図１にはストリーム符号化部１２による符号化処理の処理手順が例示される。データストリームＢＳｏｕｔ，ＢＳｉｎによって画像符号化装置から画像復号装置に伝達される前記ベクトル情報は、ベクトルの値そのもの、もしくはベクトルの値と予測ベクトルとの差分値とされる。差分値の場合には、図３に例示されるように符号化対象ブロック１２０の近隣のブロックのベクトル１１６〜１１９から符号化対象ブロック１２０の予測ベクトル１２１を算出することになる。予測ベクトル１２１が左の隣接ブロックのベクトル１１９となる（ＰＭＶ＝ＭＶＬ）場合もある。
図４の１００で例示されるようにベクトル情報は少なくとも輝度成分のベクトル情報とされるが、色差成分のベクトル情報（Cb、Cr それぞれに存在）を含んでもよい。即ち、画像の輝度成分と色差成分のそれぞれに対して別々に予測符号化を行ってベクトル情報を取得する。この場合には、図４に例示されるようにベクトルを用いた予測符号化（ベクトル予測符号化）において輝度と色差で異なるベクトルを使用するか否かを示す情報を付加することが望ましい。画像によって輝度と色差で異なるベクトルを使用することを要しない場合があることを考慮したものである。ベクトル予測符号化の方法が複数種類ある場合にはその方法を特定するための情報が必要である。特定のベクトル予測符号化方法を用いることが暗黙的に指定される場合には前記方法を特定する情報を顕在化させなくてもよい。
画像符号化装置１０による処理は画像データＶＤｉｎの逐次入力に同期して順次行われ、図１のストリーム符号化部１２の符号化処理は画像符号化１１部の予測符号化の処理に従って順次行われる。画像符号化部１１による動画像の符号化は、大きく分けて、時間的に前後の画像（以下、符号化あるいは復号処理における、動画像を構成する１枚の画面を「画像」と称する。「画像」は、プログレッシブ信号、インターレース信号における「フレーム」、「フィールド」のいずれをも示すことができ、例えば、符号化がフレーム単位で行われているときは「画像」は「フレーム」を示し、処理がフィールド単位の場合は「フィールド」を示す。なお、符号化分野において一般名称化している「フレーム間」、「フレーム間」、「フレームメモリ」は、このまま用いるが、プログレッシブ信号の「フレーム」に特定したものではなく、その時の処理モードによって「フレーム」「フィールド」いずれをも意味する）からの差分を符号化するフレーム間符号化と、１つの画像を単独で符号化するフレーム内符号化がある。一般に、フレーム内符号化した画像の符号量は、フレーム間符号化した画像の符号量よりも大きくなる。しかし、フレーム内符号化は、映像コンテンツ（シーケンス）の先頭に必要な他、再生時のランダムアクセス性の向上や、エラー時の復帰用に必要な方式であり、通常、０．５秒から２秒間隔、すなわち１５フレームから６０フレームごとに周期的に選択される。
符号化処理は画像を細分化したブロック（通常１６画素×１６ライン、ＭＰＥＧでは「マクロブロック」と呼ぶ。もし、本発明の処理単位が、ＭＰＥＧにおけるマクロブロックのサイズと異なる場合は、マクロブロックと明確に区別するために「サブブロック」と称することもある）が処理単位となる。フレーム内符号化では、ブロック毎に、同一画像内にありかつ既に符号化された画像信号（画素）の値を用いて予測信号が生成され、符号化するブロックの信号と予測信号との差分値が、直交変換および量子化され、符号に変換されて、符号化処理が行われる。同時に、予測信号を生成する上での予測方法を示す情報があわせて生成される。
予測信号の生成方法としては、符号化するブロックの周囲画素の平均値を用いる方法や、これから符号化される符号化ブロックの予測信号として、画像の内容の方向に応じて複数の方向の予測方法を予め定義しておき、縦方向に相関が強いというような画像の内容に従って、好適な予測方向を選択し、符号化ブロックに隣接する符号化済みである信号を選択した方向に繰返しコピーすることによって予測信号を生成する。この場合には予測方法を特定する情報として、どの方向の予測を用いたかを示す情報も併せて取得される。更に、特許文献１，２に示されるように、ベクトル情報を用いてフレーム内予測符号化を行うことも可能である。特に、特許文献２に示されるように、参照範囲に含まれるまだ符号化／復号が終わってない領域（未符号化領域）を逓倍のベクトルを用いて補間することで未符号化領域が多く含まれる範囲を参照した場合における符号化効率の低下を抑制可能にする予測符号化方法を用いることも可能である。この予測方法を以降、特定ベクトル予測と呼称する。
図２のストリーム符号化部１２における処理では、図１で示されるように、最初に、マクロブロックが画面内予測、画面間予測のどちらで符号化されているかを示す情報（マクロブロックタイプ：mb_type）１０１が生成され、次に、マクロブロックをどのようにブロックに分割するかを示す情報（パートサイズ：part_size）１０２が生成される。マクロブロックタイプ（mb_type）１０１の値によって後続するデータ構成が相違される（１０３）。マクロブロックタイプ（mb_type）１０１が画面間予測の場合には、いくつの参照面を用いるかを示す情報（リファレンスナンバー：reference number）１０４、参照する画面を示す情報（リファレンスインデックス： refernce index）、及び参照画面の参照位置を示す情報（モーションベクタ： motion vector）１０６が後続する。それぞれ、画面間予測でどの画像を参照するかと画像内のどの位置を参照するかを示す情報であり、リファレンスナンバー（reference number）１０４及びパートサイズ（part_size）１０２に応じた個数が繰り返し数１０７の繰り返しによってビットストリームに含まれる。最後に誤差情報（residual）１１４が存在する。これによるデータストリームの一単位の配列は図５のＵＤ＿Ａのようにされる。
一方、画面内予測の場合には、情報（ベクタモード：vec_mode）１０８によって、画面内予測の方法として、上記特定ベクトル予測によるフレーム内予測を用いるか、或いはベクトルを用いないフレーム内予測を用いるかが示される。この後には、前記特定ベクトル予測ならば輝度成分と色差成分のベクトル情報（vector）１１１が含まれ、ベクタを用いない画面内予測手法ならば、その手法を特定する情報（予測モード：mode）１１２が取得される。ベクトル情報（vector）１１１の取得処理の繰り返しによって得られる画面内予測に用いるベクトルの本数は、マクロブロックをどのようなブロックに分割するか、輝度、色差で同じベクトルを用いるか異なるベクトルを用いるかによって変化する。ここでは、輝度、色差で同じベクトルを用いるかどうかを示す情報はベクタモード（vec_mode）１０８が保有する。或いは、上位層(非特許文献１、２のSlice等に相当)の情報に保有させてもよい。以上の情報に基づき、定められた数のベクトルがビットストリームに含まれることとなる。最後に誤差情報（residual）１１４が存在する。系列に予測モード（mode）１１２を有するデータストリームの一単位の配列は図５のＵＤ＿Ｃのようにされる。系列にベクトル情報（vector）１１１を有するデータストリームの一単位の配列は図５のＵＤ＿Ｂのようにされる。
予測モード（mode）１１２の繰り返し回数はパートサイズ（part_size）１０２によってのみ定まる。
図１のフローに示される各系列の処理若しくは情報は画面サイズに応じた回数だけ繰り返され（１１５）、これによって１画面分もしくは1フレーム分の符号化された情報がデータストリームＢＳｏｕｔとして出力され、画像復号装置に伝達される。
実施の形態１によれば、生成されるデータストリームＢＳｏｕｔには予測符号化の処理毎に、予測方法を特定する情報（mb_type１０１、vec_mode１０８、mode１１３）とその方法によって予測符号化された情報（１０２，１０４〜１０７、１１４）とが配置され、ベクトル情報を用いるフレーム内予測符号化に対しては予測符号化された情報としてベクトル情報１１０と前記誤差の情報１１４などを有する。したがって、符号化方法の伝達という点で、ベクトル情報を用いたフレーム内予測符号化により符号化された情報の復号を保証することができる。
図１の場合には特に、前記予測方法を特定する情報は、前記分割された画像の情報に対する予測がフレーム内予測又はフレーム間予測の何れであったかを示す情報（mb_type）１０１と、フレーム内予測にベクトル情報を用いたか否かを示す情報（vec_mode）１０８とであるから、この予測方法を特定する情報を例えば２ビット単位で表すことができる。
《実施の形態２》
図６には図２のストリーム符号化部１２による符号化処理の別の処理手順が例示される。これはフレーム間予測で自フレームを指定して実質フレーム内予測とするものである。すなわち、前記予測方法を特定する情報として、画像情報に対する予測がフレーム間予測若しくはベクトル情報を用いたフレーム内予測の何れか又はその他のフレーム内予測であるかを示す情報（プレッドタイプ：pred_type）２００と、リファレンスインデックス（reference index）１０５とするものである。ここでのリファレンスインデックス（reference index）１０５は、前記ベクトル情報を用いて参照するフレームが符号化対象の自らのフレームも含めた複数フレームの内の何れのフレームであるかを示す情報として位置づけられる。ベクタ（vector）１１１は前記ベクタ（vector）１１０及びモーションベクタ（motion vector）１０６を総称する。
その他の点については図１と同じであるからその詳細な説明を省略する。系列にリファレンスインデックス（reference index）１０５を有するデータストリームの一単位の配列は図７のＵＤ＿Ｄのようにされ、系列に予測モード（mode）１１２を有するデータストリームの一単位の配列は図７のＵＤ＿Ｅのようにされる。
図８にはリファレンスインデックス（reference index）１０５による参照フレームの指定の具体例が示される。図８の例においては、リファレンスインデックス（reference index）１０５に値０又は値１が指定された場合には画像３００又は３０１を参照し、フレーム間予測を行う。一方、リファレンスインデックス（reference index）１０５に値２が指定された場合には、現在符号化処理中の画像３０２からベクタ３０３の指し示す領域３０４を参照し、符号化対象ブロック３０５の予測画像を３０４の画像とする。リファレンスインデックス（reference index）１０５のどの値が現在処理中の画像かどうかは、取り得るリファレンスインデックス（reference index）１０５の値の最小値、もしくは最大値ならば現在符号化中の画像と判断する、もしくはSlice等の上位層中に現在符号化中の画像がどのリファレンスインデックスの値に割当てられているかの情報を追加し、この情報を用いて判断することができる。また、マクロブロックごとに輝度、色差で別々のベクトルを用いるかどうかを変更したい場合には、リファレンスインデックス（reference index）１０５の次に図１と同様のベクタモード（vec_mode）１０８を追加し、ベクタの本数なども伝達してもよい。リファレンスナンバー（reference number）１０４に応じて、複数の参照面が参照されることになり、ベクトル予測で複数の領域が参照されることやベクトル予測とフレーム間予測の双方が用いられる場合がある。これらの場合においては、それぞれの参照位置に応じた予測画像を生成し、その結果を重み付け加算することによって現在のブロックの予測画像とすればよい。
実施の形態２によれば、リファレンスインデックス（reference index）１０５はフレーム間予測符号化において参照するフレームを特定するのにそもそも必要な情報であり、そのような情報を流用するから、前記予測方法を特定するためだけの情報を図１に比べて１ビット少ない１ビット単位で表すことができる。したがって予測符号化による画像情報の圧縮率向上に寄与することができる。
《実施の形態３》
図９には図２のストリーム符号化部１２による符号化処理の更に別の処理手順が例示される。これは、図１で説明したパートサイズ（part_size）１０２とベクタモード（vec_mode）１０８を集約した情報（プレッドモード：pred_mode）４００をそれらに代えて用いるようにしたものである。すなわち、プレッドモード（pred_mode）４００は、マクロブロックのサブサイズを示すパートサイズ（part_size）１０２と、フレーム内予測にベクトル情報を用いるか否かを示すベクタモード（vec_mode）１０８との組み合わせを示す情報である。図９の場合には、パートサイズ（part_size）１０２はフレーム間予測時のみ符号化され、フレーム内予測が用いられる場合には、プレッドモード（pred_mode）４００が符号化される。プレッドモード（pred_mode）４００の値によって、図１のパートサイズ（part_size）１０２とベクタモード（vec_mode）１０８に相当する情報を同時に取得可能になる。図１ではベクタの数がパートサイズ（part_size）１０２とベクタモード（vec_mode）１０８の値から定まったのに対し、図９ではプレッドモード（pred_mode）４００の値のみから決定される。プレッドモード（pred_mode）４００以降の処理若しくはデータは、図１と同様であるからその詳細な説明は省略する。
系列にパートサイズ（part size）１０２を有するデータストリームの一単位の配列は図１０のＵＤ＿Ｆのようにされ、系列にベクタ（vector）１１０を有するデータストリームの一単位の配列は図１０のＵＤ＿Gのようにされ、系列にモード（mode）１１２を有するデータストリームの一単位の配列は図１０のＵＤ＿Hのようにされる。
図１１にはパートサイズ（part_size）１０２とベクタモード（vec_mode）１０８の値の割り当てとプレッドモード（pred_mode）４００の値の割り当てとの関係が例示される。パートサイズ（part_size）１０２のビット数に対してサブサイズの種類、即ちベクタの本数に余裕があれば、複数の要素をまとめて符号化することによって、夫々の要素を個別にする場合に比べて情報のビット数の削減が可能になる。例えば、図１１に例示されるように、３ビットのパートサイズ（part_size）１０２で区別する６通りと、1ビットのベクタモード（vec_mode）１０８で区別する２通りの状態を、３ビットのプレッドモード（pred_mode）４００により区別することがきき、データストリームＢＳｏｕｔの一単位について１ビットのデータビット数を削減することができる。
《実施の形態４》
図１２には図２のストリーム符号化部１２による符号化処理の更に別の処理手順が例示される。これは、図１の処理においてフレーム内予測をベクトル予測に限定した場合の例である。したがって、図１のベクタモード（vec_mode）１０８及びモード（mode）１１２が不要になる。
系列にリファレンスナンバー（reference number）１０４を有するデータストリームの一単位の配列は図１３のＵＤ＿Iのようにされ、系列にベクタ（vector）１１０を有するデータストリームの一単位の配列は図１３のＵＤ＿Jのようにされる。
尚、マクロブロックごとに輝度、色差で別々のベクトル情報を用いるかどうかを変更したい場合には、図１２には図示を省略するが、図１２のベクタ（vector）１１０の前に図１と同様のベクタモード（vec mode）１０８を追加し、vector の本数を伝達するようにすればよい。
《実施の形態５》
図１４にはストリーム符号化部１２による符号化処理の更に別の処理手順が例示される。これは、図６の処理においてフレーム内予測をベクトル予測に限定した場合の例である。したがって、図６のプレッドタイプ（pred type）２００及びモード（mode）１１２が不要になる。図６の場合と同様に、リファレンスインデックス（reference index）１０５の値によって、画面間予測かベクトル予測かを判断することによって、マクロブロックタイプ（mb_type）の符号化が不要となる。この場合のデータストリームの一単位の配列は図１５のＵＤ＿Kのようにされる。
尚、マクロブロック毎に輝度、色差で別々のベクトル情報を用いるかどうかを変更したい場合には、図１４には図示を省略するが、図１４のベクタ（vector）１１０の前に図１と同様のベクタタモード（vec mode）１０８を追加し、vector の本数を伝達するようにすればよい。
《実施の形態６》
図２のストリーム復号部２１による復号処理の処理順はストリーム符号化部１２による符号化の処理順と同一になる。したがって実施の形態1乃至５で説明したストリーム符号化部１２による符号化の処理における符号化を復号に置き換えることによって、ストリーム復号部２１による処理内容とみなすことができる。実施の形態６乃至１０においては、ストリーム符号化部１２の説明に用いた図面を流用しながら、ストリーム復号部２１の処理について説明する。
図１はストリーム復号部２１による復号処理の処理手順を例示することにもなり、実施の形態１によるストリーム符号化処理に対応するストリーム復号処理を説明する。データストリームＢＳｏｕｔ，ＢＳｉｎによって画像符号化装置から画像復号装置に伝達される前記ベクトル情報は、ベクトルの値そのもの、もしくはベクトルの値と予測ベクトルとの差分値とされ、差分値の場合に例えば図３で説明したように予測ベクトルが算出されることは、画像符号化の場合に説明したのと同様であり、ここではその詳細な説明は省略する。ベクトル情報は少なくとも輝度成分のベクトル情報とされ、色差成分のベクトル情報（Cb、Cr それぞれに存在）を含んでもよいことは画像符号化の場合と同様である。予測画像の生成方法が複数種類ある場合にはその方法を特定するための情報１００Ａが伝達される。特定のベクトル予測復号方法を用いることが暗黙的に指定される場合には前記情報１００Ａは伝達されなくてよい。
画像復号装置２０による処理はデータストリームＢＳｉｎの逐次入力に同期して順次行われ、図２のストリーム復号部２１の復号処理はデータストリームＢＳｉｎの入力順従って行われる。
図２のストリーム復号部２１における処理では、最初に、マクロブロックが画面内予測、画面間予測のどちらで符号化されているかを示す情報（マクロブロックタイプ：mb_type）１０１が復号され、次に、マクロブロックをどのようにブロックに分割するかを示す情報（パートサイズ：part_size）１０２が復号される。マクロブロックタイプ（mb_type）１０１の値によって後続するデータ構成が相違される（１０３）。マクロブロックタイプ（mb_type）１０１が画面間予測の場合には、いくつの参照面を用いるかを示す情報（リファレンスナンバー：reference number）１０４、参照する画面を示す情報（リファレンスインデックス： refernce index）、及び参照画面の参照位置を示す情報（モーションベクタ： motion vector）１０６が後続する。それぞれ、画面間予測でどの画像を参照するかと画像内のどの位置を参照するかを示す情報であり、リファレンスナンバー（reference number）１０４及びパートサイズ（part_size）１０２に応じた個数が繰り返し数１０７の繰り返しによってビットストリームに含まれる。最後に誤差情報（residual）１１４が存在する。入力されるデータストリームＢＳｉｎの一単位の配列は図５のＵＤ＿Ａの通りである。
一方、画面内予測の場合には、情報（ベクタモード：vec_mode）１０８によって、画面内予測の方法として、上記特定ベクトル予測によるフレーム内予測を用いるか、或いはベクトルを用いないフレーム内予測を用いるかが示される。この後には、前記特定ベクトル予測ならば輝度成分と色差成分のベクトル情報（vector）１１１が含まれ、ベクトルを用いない画面予測手法ならば、その手法を特定する情報（予測モード：mode）１１２が取得される。ベクトル情報（vector）１１１の取得処理の繰り返しによって得られる画面内予測に用いるベクトルの本数は、マクロブロックをどのようなブロックに分割するか、輝度、色差で同じベクトルを用いるか異なるベクトルを用いるかによって変化する。ここでは、輝度、色差で同じベクトルを用いるかどうかを示す情報はベクタモード（vec_mode）１０８が保有する。或いは、上位層(非特許文献１、２のSlice等に相当)の情報に保有させてもよい。以上の情報に基づき、定められた数のベクトルがビットストリームに含まれることとなる。最後に誤差情報（residual）１１４が存在する。系列に予測モード（mode）１１２を有するデータストリームＢＳｉｎの一単位の配列は図５のＵＤ＿Ｃのようにされる。系列にベクトル情報（vector）１１１を有するデータストリームＢＳｉｎの一単位の配列は図５のＵＤ＿Ｂのようにされる。
予測モード（mode）１１２の繰り返し回数はパートサイズ（part_size）１０２によってのみ定まる。
図１のフローに示される各系列の処理若しくは情報は画面サイズに応じた回数だけ繰り返され（１１５）、これによって１画面分もしくは1フレーム分の復号された情報が画像復号部２２に供給され、それに従って画像が復号される。
実施の形態６によれば、入力されるデータストリームＢＳｉｎには予測符号化の処理毎に、予測方法を特定する情報（mb_type１０１、vec_mode１０８、mode１１３）とその方法によって予測符号化された情報（１０２，１０４〜１０７、１１４）とが配置され、ベクトル情報を用いるフレーム内予測符号化に対しては予測符号化された情報としてベクトル情報１１０と前記誤差の情報１１４などを有する。したがって、符号化方法の伝達という点で、ベクトル情報を用いたフレーム内予測符号化により符号化された情報の復号が保証される。
《実施の形態７》
図６は図２のストリーム復号部２１による復号処理の別の処理手順を例示することにもなり、実施の形態２によるストリーム符号化処理に対応するストリーム復号処理を説明する。これはフレーム間予測で自フレームを指定して実質フレーム内予測とするものに対応する。すなわち、前記予測方法を特定する情報として、画像情報に対する予測がフレーム間予測若しくはベクトル情報を用いたフレーム内予測の何れか又はその他のフレーム内予測であるかを示す情報（プレッドタイプ：pred_type）２００と、リファレンスインデックス（reference index）１０５とを復号するものである。ここでのリファレンスインデックス（reference index）１０５は、前記ベクトル情報を用いて参照するフレームが復号対象の自らのフレームも含めた複数フレームの内の何れのフレームであるかを示す情報として位置つけられる。ベクタ（vector）１１１は前記ベクタ（vector）１１０及びモーションベクタ（motion vector）１０６を総称する。
その他の点については図１に基づいて説明した実施の形態６と同じであるからその詳細な説明を省略する。系列にリファレンスインデックス（reference index）１０５を有するデータストリームＢＳｉｎの一単位の配列は図７のＵＤ＿Ｄのようにされ、系列に予測モード（mode）１１２を有するデータストリームＢＳｉｎの一単位の配列は図７のＵＤ＿Ｅのようにされる。
データストリームの復号処理におけるリファレンスインデックス（reference index）１０５による参照フレームの指定の具体例は図８と同様であるからここではその詳細な説明は省略する。
実施の形態７によれば、リファレンスインデックス（reference index）１０５はフレーム間予測符号化において参照するフレームを特定するのにそもそも必要な情報であり、データストリームＢＳｉｎはそのような情報を流用するから、前記予測方法を特定するためだけの情報を図１に比べて１ビット少ない１ビット単位で表すことができる。したがって復号すべきデータストリームＢＳｉｎのデータ量が削減される。
《実施の形態８》
図９は図２のストリーム復号部２１による復号処理の更に別の処理手順を例示することにもなり、実施の形態３によるストリーム符号化処理に対応するストリーム復号処理を説明する。ここでは、図１で説明したパートサイズ（part_size）１０２とベクタモード（vec_mode）１０８を集約した情報（プレッドモード：pred_mode）４００をそれらに代えて伝送される。すなわち、プレッドモード（pred_mode）４００は、マクロブロックのサブサイズを示すパートサイズ（part_size）１０２と、フレーム内予測にベクトル情報を用いるか否かを示すベクタモード（vec_mode）１０８との組み合わせを示す情報である。図９の場合には、パートサイズ（part_size）１０２はフレーム間予測時のみ符号化され、フレーム内予測が用いられる場合には、プレッドモード（pred_mode）４００が符号化される。プレッドモード（pred_mode）４００の値によって、図１のパートサイズ（part_size）１０２とベクタモード（vec_mode）１０８に相当する情報を同時に取得可能になる。図１ではベクタの数がパートサイズ（part_size）１０２とベクタモード（vec_mode）１０８の値から定まったのに対し、図９ではプレッドモード（pred_mode）４００の値のみから決定される。プレッドモード（pred_mode）４００以降の処理若しくはデータは、図１と同様であるからその詳細な説明は省略する。
系列にパートサイズ（part size）１０２を有するデータストリームＢＳｉｎの一単位の配列は図１０のＵＤ＿Ｆのようにされ、系列にベクタ（vector）１１０を有するデータストリームＢＳｉｎの一単位の配列は図１０のＵＤ＿Gのようにされ、系列にモード（mode）１１２を有するデータストリームＢＳｉｎの一単位の配列は図１０のＵＤ＿Hのようにされる。
パートサイズ（part_size）１０２とベクタモード（vec_mode）１０８の値の割り当てとプレッドモード（pred_mode）４００の値の割り当てとの関係については図１１と同様であるからここではその詳細な説明を省略する。
《実施の形態９》
図１２は図２のストリーム符号化部１２による復号処理の更に別の処理手順を例示することにもなり、実施の形態４によるストリーム符号化処理に対応するストリーム復号処理を説明する。これは、図１の処理においてフレーム内予測をベクトル予測に限定した場合に対応する。したがって、図１のベクタモード（vec_mode）１０８及びモード（mode）１１２が不要になる。
系列にリファレンスナンバー（reference number）１０４を有するデータストリームＢＳｉｎの一単位の配列は図１３のＵＤ＿Iのようにされ、系列にベクタ（vector）１１０を有するデータストリームＢＳｉｎの一単位の配列は図１３のＵＤ＿Jのようにされる。
尚、マクロブロックごとに輝度、色差で別々のベクトル情報を用いるかどうかを変更したい場合には、図１２には図示を省略するが、図１２のベクタ（vector）１１０の前に図１と同様のベクタモード（vec mode）１０８が追加され、vectorの本数が伝達される。
《実施の形態１０》
図１４はストリーム符号化部１２による符号化処理の更に別の処理手順を例示することにもなり、実施の形態５によるストリーム符号化処理に対応するストリーム復号処理を説明する。図６の処理においてフレーム内予測をベクトル予測に限定した場合に対応する。したがって、図６のプレッドタイプ（pred type）２００及びモード（mode）１１２が不要になる。図６の場合と同様に、リファレンスインデックス（reference index）１０５の値によって、画面間予測かベクトル予測かを判断することによって、マクロブロックタイプ（mb_type）の符号化が不要となる。この場合のデータストリームＢＳｉｎの一単位の配列は図１５のＵＤ＿Kのようにされる。
尚、マクロブロック毎に輝度、色差で別々のベクトル情報を用いるかどうかを変更したい場合には、図１４には図示を省略するが、図１４のベクタ（vector）１１０の前に図１と同様のベクタタモード（vec mode）１０８が追加され、vector の本数が伝達される。
《実施の形態１１》
画像復号装置において、ビットストリーム上のvectorの復号結果を用いて、ベクトル予測に用いるベクトルの算出方法を、最初に輝度、次に色差の場合に分けて順次説明する。
まず、輝度のベクトルの算出方法について述べる。ビットストリームを復号して得られた値を輝度のベクトルの値とする。もしくは、ビットストリーム上には、ベクトルの差分値が符号化されており、復号器側で算出した予測ベクトルにビットストリームから得られた値を加算した値を輝度のベクトルの値とする。前者の方法は、符号量が増加するものの、ベクトル算出回路の単純化が可能であるという利点が存在する。後者は、差分値のみが送信されるため、符号量が減るという利点が存在する。予測ベクトルの作成方法については、以下で述べる。
図３に例示されたブロックの位置関係において、予測ベクトルは、左のブロックのベクトル予測で用いられているベクトル１１９を現在のブロック１２０の予測ベクトル１２１とする。ただし、現在のブロックが画面左端である等の理由で左のブロックが存在しない場合や、左のブロックがベクトル予測でない場合には、代わりに上のブロックのベクトル１１７を用い、上も条件に合致しない場合は、左上１１６や右上１１８を使用する。もしくは、予測ベクトルの値としてあらかじめ定められた固定値を用いる。得られた予測ベクトルにビットストリームを復号して得られたベクトルの差分値を加えることで予測に用いるベクトルを得る。さらに、別の予測ベクトルの算出手法では、予測ベクトルは、左、上等の近隣ブロックのベクトルの平均値や中央値とする。この際には、ベクトル予測ではないブロックのベクトルはあらかじめ定められた固定値として扱う、若しくは考慮しない。
更に、別の予測ベクトルの算出手法では、予測ベクトルは、復号順において、現在のブロックの直前に復号したベクトル予測を用いるブロックのベクトルとする。現在のブロックが現在の画像中で最初に復号したベクトル予測を用いるブロックの場合には、前の画像の最後のベクトル予測のベクトルを用いる、もしくは、あらかじめ定められた固定値を予測ベクトルとする。
更に、別の予測ベクトルの算出手法では、Slice等の上位層に予測ベクトルの値を符号化しておき、この符号化された値を予測ベクトルとする。
更に、別の予測ベクトルの算出手法では、予測ベクトルは、既に復号済みの画像における同位置のブロックのベクトルとする。復号済みの画像がない(最初の画像等)場合や該当位置のブロックがベクトル予測でない場合には、あらかじめ定められた固定値を予測ベクトルとする。復号済みの画像の選択方法に関しては、マクロブロック毎にどの復号済み画像を使うかの情報を伝送してもよいし、Slice等の上位層で伝達してもよい。この手法は、これまでの手法と組み合わせることが可能である。例えば、初めの手法と組み合わせた場合においては、初めの手法で左、上のブロック等がベクトル予測ではない場合には、この手法を適用して、既に復号済みの画像から予測ベクトルを得る。また、先にこの手法を行った後に、初めの手法を行うケースのように手法を適用する順序を任意に変更することも可能である。
次に、色差のベクトルの算出方法について述べる。色差のベクトルが符号化されていない場合には、輝度成分のベクトルを輝度と色差の画像サイズに応じてスケーリングしたものを色差のベクトルとする。一方、色差のベクトルが符号化されている場合には、輝度成分のベクトルと同様の方法で予測ベクトルを得て、ビットストリームから復号したベクトルの差分値を加算することで色差のベクトルを得る。輝度成分の予測ベクトルの算出方法とは別に、色差の予測ベクトルを輝度成分のベクトルの値を輝度と色差の画像サイズに応じてスケーリングしたものとしてもよい。更に、この手法と輝度成分の予測ベクトルの算出方法を組み合わせてもよい。例えば、初めの手法と組み合わせた場合、左、上のブロックがベクトル予測でない場合は、輝度のベクトルをスケーリングしたものを色差の予測ベクトルとする。このように、色差成分のベクトルを輝度成分から予測する方法は、他の予測方法と組み合わせて用いることが可能である。また、輝度成分と同様にこの手法と復号済みの画像から予測ベクトルを算出する手法、それ以外の手法の3つの手法を組み合わせることも可能である。
符号化の際にも，復号時と同様の手順で予測ベクトルの生成を行い，データストリーム中に，符号化器でベクトル予測に用いたベクトルと予測ベクトルの差分を符号化する．予測ベクトルの生成を行わない場合は，ベクトル予測に用いたベクトルの値をデータストリーム中に符号化する。
《実施の形態１２》
図１６には画像符号化装置１０の具体例が示される。図１６において図２の画像符号化部１１は１０００〜１００８の回路によって構成される。
入力された画像信号ＤＶｉｎはブロックに分割され入力される。入力された信号ＤＶｉｎは、差分回路（−）１０００において、予測信号１０１１と画素毎に差分がとられ、以降、直交変換回路（Ｔ）１００１、量子化回路（Ｑ）１００２にて信号１０１０に変換された後、ストリーム符号化部（ＶＣＬ）１２にて符号化されてデータストリームＢＳｏｕｔとして出力される。同時に、信号１０１０は、逆量子化回路（ＩＱ）１００３、逆直交変換回路（ＩＴ）１００４にて差分信号に逆変換された後、加算回路（＋）１００５において、先の予測信号１０１１と画素毎に加算され、画像復号装置で得られるものと同一の画像信号（ローカルデコード画像）が得られる。ローカルデコード画像はフレームメモリ（ＦＭ）１００６に書き込まれ、以降の予測信号１０１１生成処理に用いられる。
予測信号１０１１は、予測モード決定回路（ＭＯＤＥ）１００７において、以下のように生成される。入力された画像信号（符号化ブロック）ＤＶｉｎは予測モード決定回路１００７に入力される。予測モード決定回路１００７は、該当する符号化ブロックの予測信号の候補を得るための候補ベクトル（実施形態１１とは，異なる意味で使用しており、実施形態１１のベクトル予測に用いるベクトルに相当する。）を複数用意し、これらを候補ベクトル１０１３として順次、予測信号生成回路（Ｐ）１００８に入力する。予測信号生成回路１００８はアドレス信号１０１７でフレームメモリの符号化済み領域（後で説明する復号装置の場合の復号済み領域に相当）をアクセスして画素信号１０１６を取得し、取得した画素信号から、指定された候補ベクトルによる予測信号１０１４を生成する。予測モード決定回路１００７は入力信号ＤＶｉｎ（符号化ブロック信号）と、予測ブロック信号（１０１４）を画素毎に差分をとり、予測誤差を計算する。そして、全ての候補ベクトルの予測誤差を計算した後に、最も予測誤差の小さい（最も類似した）ものをベクトル予測に用いるベクトル１０１２とするとともに、ベクトル予測に用いるベクトル１０１２に対応する予測信号１０１１を出力する。なお、ベクトル予測に用いるベクトル１０１２は符号化部１２においてデータストリームＢＳｏｕｔの一部とされる。
特に制限されないが、予測モード決定回路１００７はフレーム間予測の場合には動きベクトル（motion vector）を、フレーム内予測の場合にはベクタ（vector）をベクトル予測に用いるベクトル１０１２として出力する。その他、データストリームＢＳｏｕｔを構成するために必要な情報は予測モード決定回路１００７が生成してストリーム符号化部１２に与える。
図１７には画像復号装置２０の具体例が示される。図１７において図２の画像復号部２２は２０００〜２００４の回路によって構成される。
入力されるデータストリームＢＳｉｎには、画像を構成するブロック毎にベクトル予測に用いるベクトルと、予測信号に対する差分信号の情報が含まれている。ストリーム復号部（ＶＬＤ）２１ではデータストリームＢＳｉｎを復号して、ベクトル予測に用いるベクトル２０１３及び差分情報２０１１などを抽出する。差分情報２０１１は逆量子化回路（ＩＱ）２０００、逆直交変換回路（ＩＴ）２００１にて差分信号２０１２に変換される。これと並行して、予測信号生成回路（Ｐ）２００３では、ベクトル予測に用いるベクトル２０１３をもとに、フレームメモリ（ＦＭ）２０１５の復号済み領域の指定アドレス２０１６を生成し、該当アドレスの画素信号２０１５を取得し、予測ブロックの画素信号２０１４を生成する。生成した予測ブロックの画素信号２０１４は画像再生回路（＋）２００２において、差分信号２０１２に加算され、該当するブロックの画像が再生される。再生された画像はフレームメモリ２００４に書き込まれ、以降のブロックの画像再生時の予測画像生成の候補として使用される。１画面分の復号処理が終了したのち、生成された画像の信号は出力信号ＤＶｏｕｔとして出力され、テレビなどの表示装置などに表示される。
特に制限されないが、予測信号生成回路２００３はフレーム間予測の場合にはベクトル予測に用いるベクトル２０１３を動きベクトル（motion vector）として、フレーム内予測の場合にはベクタ（vector）をベクトル予測に用いるベクトル２０１３として用いる。その他、データストリームＢＳｉｎを構成する情報はストリーム復号部２１で復号され、予測信号生成回路２００３などの処理に用いられる。
以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
本発明は、画像の予測符号化を行う画像符号化装置及び予測符号化された情報に対する予測復号を行う画像復号装置に関し、動画像符号化復号装置技術に広く適用することができる。
３０ 符号化済み領域
４０ 未符号化領域
４１ 符号化ブロック
３１ 予測ブロック
ＢＳｏｕｔ、ＢＳｉｎ データストリーム
１０ 画像符号化装置
１２ 画像符号化部１１
１２ ストリーム符号化部
ＶＤｉｎ 動画の画像信号
２０ 画像復号装置
２１ ストリーム復号部
２２ 画像復号部

Claims (10)

  1. 画像の予測符号化の対象にされる分割された画像の情報と予測情報との誤差を求めて予測符号化を行う画像符号化部と、
    前記画像符号化部による予測符号化の処理結果に基づいて、前記分割された画像の情報に対する処理毎に予測方法を特定する情報とその方法によって予測符号化された情報とを配列したデータストリームを生成するストリーム符号化部とを有し、
    前記データストリームは、前記予測方法が、前記予測情報を生成するための予測画像の指定にベクトル情報を用いるフレーム内予測符号化である場合には、予測符号化された情報として、前記分割された画像の情報に対する処理毎に、ベクトル情報と前記誤差の情報とのペアを有し、
    前記予測方法を特定する情報は、前記分割された画像の情報に対する予測がフレーム内予測又はフレーム間予測の何れであったかを示す情報と、フレーム内予測にベクトル情報を用いたか否かを示す情報とであり、
    前記フレーム内予測にベクトル情報を用いたか否かを示す情報は、前記分割された画像の情報の画像サイズを細分化したサブサイズとフレーム内予測にベクトル情報を用いるか否かを示す情報との組み合わせを示す情報である、画像符号化装置。
  2. 前記分割された画像の情報の画像サイズを細分化したサブサイズとフレーム内予測にベクトル情報を用いたか否かを示す情報との組み合わせを示す情報は、前記サブサイズの種類を２のべき乗で区別するために必用なビット数で表した情報である、請求項１記載の画像符号化装置。
  3. 画像の予測符号化の対象にされる分割された画像の情報と予測情報との誤差を求めて予測符号化を行う画像符号化部と、
    前記画像符号化部による予測符号化の処理結果に基づいて、前記分割された画像の情報に対する処理毎に予測方法を特定する情報とその方法によって予測符号化された情報とを配列したデータストリームを生成するストリーム符号化部とを有し、
    前記データストリームは、前記予測方法が、前記予測情報を生成するための予測画像の指定にベクトル情報を用いるフレーム内予測符号化である場合には、予測符号化された情報として、前記分割された画像の情報に対する処理毎に、ベクトル情報と前記誤差の情報とのペアを有し、
    前記予測方法を特定する情報は、前記分割された画像情報に対する予測がフレーム間予測かベクトル情報を用いたフレーム内予測かの何れか一方又はその他のフレーム内予測であるかを示す情報と、前記ベクトル情報を用いて参照するフレームが前記分割された画像情報を含む自らのフレームも含めた複数フレームの内の何れのフレームであるかを示す情報とである、画像符号化装置。
  4. 画像の予測符号化の対象にされる分割された画像の情報と予測情報との誤差を求めて予測符号化を行う画像符号化部と、
    前記画像符号化部による予測符号化の処理結果に基づいて、前記分割された画像の情報に対する処理毎に予測方法を特定する情報とその方法によって予測符号化された情報とを配列したデータストリームを生成するストリーム符号化部とを有し、
    前記データストリームは、前記予測方法が、前記予測情報を生成するための予測画像の指定にベクトル情報を用いるフレーム内予測符号化である場合には、予測符号化された情報として、前記分割された画像の情報に対する処理毎に、ベクトル情報と前記誤差の情報とのペアを有し、
    フレーム内予測にベクトル情報を用いる予測だけを採用するとき、前記予測方法を特定する情報は、参照するフレームが前記分割された画像情報を含む自らのフレームも含めた複数フレームの内の何れのフレームであるかを示す情報である、画像符号化装置。
  5. 画像の予測符号化の対象にされる分割された画像の情報と予測情報との誤差を求めて予測符号化を行う画像符号化部と、
    前記画像符号化部による予測符号化の処理結果に基づいて、前記分割された画像の情報に対する処理毎に予測方法を特定する情報とその方法によって予測符号化された情報とを配列したデータストリームを生成するストリーム符号化部とを有し、
    前記データストリームは、前記予測方法が、前記予測情報を生成するための予測画像の指定にベクトル情報を用いる予測符号化である場合には、予測符号化された情報として、前記分割された画像の情報に対する処理毎に、ベクトル情報と前記誤差の情報とのペアを有し、
    前記予測方法を特定する情報は、前記分割された画像情報に対する予測がベクトル情報を用いた予測又はその他のフレーム内予測であるかを示す情報と、前記ベクトル情報を用いて参照するフレームが前記分割された画像情報を含む自らのフレームも含めた複数フレームの内の何れのフレームであるかを示す情報とであり、
    前記分割された画像情報を含む自らのフレームをフレーム間予測符号化の対象フレームとすることによってベクトル情報を用いたフレーム内予測符号化を行う、画像符号化装置。
  6. 画像の予測符号化の対象にされる分割された画像の情報に対する予測符号化の予測方法を特定する情報とその方法によって予測符号化された情報とを配列したデータストリームを入力系列にしたがって復号するストリーム復号部と、
    前記ストリーム復号部で復号された前記予測方法を特定する情報とその方法によって予測符号化された情報とを利用することにより、先に復号した画像情報に基づいて取得した予測情報に誤差の情報を加えて画像の復号を行う画像復号部と、を有し、
    前記データストリームは、前記予測方法が、前記予測情報を生成するための予測画像の指定にベクトル情報を用いるフレーム内予測符号化である場合には、予測符号化された情報として、前記分割された画像の情報に対する処理毎に、ベクトル情報と前記誤差の情報とのペアを有し、
    前記予測方法を特定する情報は、前記分割された画像の情報に対する予測がフレーム内予測又はフレーム間予測の何れであったかを示す情報と、フレーム内予測にベクトル情報を用いたか否かを示す情報とであり、
    前記フレーム内予測にベクトル情報を用いたか否かを示す情報は、前記分割された画像の情報の画像サイズを細分化したサブサイズとフレーム内予測にベクトル情報を用いるか否かを示す情報との組み合わせを示す情報である、画像復号装置。
  7. 前記分割された画像の情報の画像サイズを細分化したサブサイズとフレーム内予測にベクトル情報を用いたか否かを示す情報との組み合わせを示す情報は、前記サブサイズの種類を２のべき乗で区別するために必用なビット数で表した情報である、請求項６記載の画像復号装置。
  8. 画像の予測符号化の対象にされる分割された画像の情報に対する予測符号化の予測方法を特定する情報とその方法によって予測符号化された情報とを配列したデータストリームを入力系列にしたがって復号するストリーム復号部と、
    前記ストリーム復号部で復号された前記予測方法を特定する情報とその方法によって予測符号化された情報とを利用することにより、先に復号した画像情報に基づいて取得した予測情報に誤差の情報を加えて画像の復号を行う画像復号部と、を有し、
    前記データストリームは、前記予測方法が、前記予測情報を生成するための予測画像の指定にベクトル情報を用いるフレーム内予測符号化である場合には、予測符号化された情報として、前記分割された画像の情報に対する処理毎に、ベクトル情報と前記誤差の情報とのペアを有し、
    前記予測方法を特定する情報は、前記分割された画像情報に対する予測がフレーム間予測かベクトル情報を用いたフレーム内予測かの何れか一方又はその他のフレーム内予測であるかを示す情報と、前記ベクトル情報を用いて参照するフレームが前記分割された画像情報を含む自らのフレームも含めた複数フレームの内の何れのフレームであるかを示す情報とである、画像復号装置。
  9. 画像の予測符号化の対象にされる分割された画像の情報に対する予測符号化の予測方法を特定する情報とその方法によって予測符号化された情報とを配列したデータストリームを入力系列にしたがって復号するストリーム復号部と、
    前記ストリーム復号部で復号された前記予測方法を特定する情報とその方法によって予測符号化された情報とを利用することにより、先に復号した画像情報に基づいて取得した予測情報に誤差の情報を加えて画像の復号を行う画像復号部と、を有し、
    前記データストリームは、前記予測方法が、前記予測情報を生成するための予測画像の指定にベクトル情報を用いるフレーム内予測符号化である場合には、予測符号化された情報として、前記分割された画像の情報に対する処理毎に、ベクトル情報と前記誤差の情報とのペアを有し、
    フレーム内予測にベクトル情報を用いる予測だけを採用するとき、前記予測方法を特定する情報は、参照するフレームが前記分割された画像情報を含む自らのフレームも含めた複数フレームの内の何れのフレームであるかを示す情報である、画像復号装置。
  10. 画像の予測符号化の対象にされる分割された画像の情報に対する予測符号化の予測方法を特定する情報とその方法によって予測符号化された情報とを配列したデータストリームを入力系列にしたがって復号するストリーム復号部と、
    前記ストリーム復号部で復号された前記予測方法を特定する情報とその方法によって予測符号化された情報とを利用することにより、先に復号した画像情報に基づいて取得した予測情報に誤差の情報を加えて画像の復号を行う画像復号部と、を有し、
    前記データストリームは、前記予測方法が、前記予測情報を生成するための予測画像の指定にベクトル情報を用いる予測符号化である場合には、予測符号化された情報として、前記分割された画像の情報に対する処理毎に、ベクトル情報と前記誤差の情報とのペアを有し、
    前記予測方法を特定する情報は、前記分割された画像情報に対する予測がベクトル情報を用いた予測又はその他のフレーム内予測であるかを示す情報と、前記ベクトル情報を用いて参照するフレームが前記分割された画像情報を含む自らのフレームも含めた複数フレームの内の何れのフレームであるかを示す情報とであり、
    復号対象である自らのフレームをフレーム間予測復号の対象フレームとすることによってベクトル情報を用いたフレーム内予測復号を行う、画像復号装置。
JP2012553573A 2011-01-19 2011-12-06 画像符号化装置及び画像復号装置 Active JP5625073B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012553573A JP5625073B2 (ja) 2011-01-19 2011-12-06 画像符号化装置及び画像復号装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011008902 2011-01-19
JP2011008902 2011-01-19
PCT/JP2011/078135 WO2012098776A1 (ja) 2011-01-19 2011-12-06 画像符号化装置及び画像復号装置
JP2012553573A JP5625073B2 (ja) 2011-01-19 2011-12-06 画像符号化装置及び画像復号装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014198305A Division JP5918328B2 (ja) 2011-01-19 2014-09-29 画像符号化方法及び画像復号方法

Publications (2)

Publication Number Publication Date
JPWO2012098776A1 JPWO2012098776A1 (ja) 2014-06-09
JP5625073B2 true JP5625073B2 (ja) 2014-11-12

Family

ID=46515413

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2012553573A Active JP5625073B2 (ja) 2011-01-19 2011-12-06 画像符号化装置及び画像復号装置
JP2014198305A Active JP5918328B2 (ja) 2011-01-19 2014-09-29 画像符号化方法及び画像復号方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2014198305A Active JP5918328B2 (ja) 2011-01-19 2014-09-29 画像符号化方法及び画像復号方法

Country Status (7)

Country Link
US (2) US9787981B2 (ja)
EP (1) EP2667613A4 (ja)
JP (2) JP5625073B2 (ja)
KR (2) KR101912059B1 (ja)
CN (1) CN103329534B (ja)
TW (2) TWI665910B (ja)
WO (1) WO2012098776A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10015515B2 (en) * 2013-06-21 2018-07-03 Qualcomm Incorporated Intra prediction from a predictive block
AU2013228045A1 (en) * 2013-09-13 2015-04-02 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
CN105659602B (zh) 2013-10-14 2019-10-08 微软技术许可有限责任公司 用于视频和图像编码的帧内块复制预测模式的编码器侧选项
KR102257269B1 (ko) 2013-10-14 2021-05-26 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩 및 디코딩을 위한 인트라 블록 카피 예측 모드의 피쳐
US10469863B2 (en) * 2014-01-03 2019-11-05 Microsoft Technology Licensing, Llc Block vector prediction in video and image coding/decoding
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
US10368091B2 (en) 2014-03-04 2019-07-30 Microsoft Technology Licensing, Llc Block flipping and skip mode in intra block copy prediction
WO2015192353A1 (en) 2014-06-19 2015-12-23 Microsoft Technology Licensing, Llc Unified intra block copy and inter prediction modes
EP3202150B1 (en) 2014-09-30 2021-07-21 Microsoft Technology Licensing, LLC Rules for intra-picture prediction modes when wavefront parallel processing is enabled
US9832467B2 (en) * 2014-10-07 2017-11-28 Qualcomm Incorporated Deblock filtering for intra block copying
WO2016154930A1 (en) 2015-03-31 2016-10-06 Realnetworks, Inc. Motion vector selection and prediction in video coding systems and methods
WO2017107072A1 (en) 2015-12-22 2017-06-29 Realnetworks, Inc. Motion vector selection and prediction in video coding systems and methods
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
CN110753222B (zh) * 2018-08-14 2022-03-25 北京达佳互联信息技术有限公司 视频编码方法和确定采用帧间编码方式的方法及设备
JP2020150294A (ja) 2019-03-11 2020-09-17 ルネサスエレクトロニクス株式会社 復号方法、復号装置及び符号化方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030202588A1 (en) * 2002-04-29 2003-10-30 Divio, Inc. Intra-prediction using intra-macroblock motion compensation
JP2009527169A (ja) * 2006-02-17 2009-07-23 トムソン ライセンシング イントラ予測モードを使用した画像符号化方法
WO2010082231A1 (ja) * 2009-01-15 2010-07-22 ルネサスエレクトロニクス株式会社 画像処理装置、デコード方法、フレーム内復号装置、フレーム内復号方法、及びフレーム内符号化装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003021971A1 (en) 2001-08-28 2003-03-13 Ntt Docomo, Inc. Moving picture encoding/transmission system, moving picture encoding/transmission method, and encoding apparatus, decoding apparatus, encoding method, decoding method, and program usable for the same
JP4820191B2 (ja) 2006-03-15 2011-11-24 富士通株式会社 動画像符号化装置及びプログラム
KR101365570B1 (ko) * 2007-01-18 2014-02-21 삼성전자주식회사 인트라 예측 부호화, 복호화 방법 및 장치
CA2681025C (en) 2007-03-20 2015-10-13 Fujitsu Limited Video encoding and decoding apparatus and method using quantization in sub-blocks
US9008174B2 (en) * 2008-01-10 2015-04-14 Thomson Licensing Methods and apparatus for illumination compensation of intra-predicted video
JP2010258738A (ja) * 2009-04-24 2010-11-11 Sony Corp 画像処理装置および方法、並びにプログラム
US8743957B2 (en) * 2010-04-12 2014-06-03 Sony Corporation Context adaptive directional intra prediction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030202588A1 (en) * 2002-04-29 2003-10-30 Divio, Inc. Intra-prediction using intra-macroblock motion compensation
JP2009527169A (ja) * 2006-02-17 2009-07-23 トムソン ライセンシング イントラ予測モードを使用した画像符号化方法
WO2010082231A1 (ja) * 2009-01-15 2010-07-22 ルネサスエレクトロニクス株式会社 画像処理装置、デコード方法、フレーム内復号装置、フレーム内復号方法、及びフレーム内符号化装置

Also Published As

Publication number Publication date
EP2667613A4 (en) 2016-12-07
CN103329534A (zh) 2013-09-25
US20130287105A1 (en) 2013-10-31
US9787981B2 (en) 2017-10-10
TW201249212A (en) 2012-12-01
KR20170141813A (ko) 2017-12-26
WO2012098776A1 (ja) 2012-07-26
JPWO2012098776A1 (ja) 2014-06-09
JP2015027095A (ja) 2015-02-05
TW201824869A (zh) 2018-07-01
EP2667613A1 (en) 2013-11-27
CN103329534B (zh) 2017-03-08
TWI665910B (zh) 2019-07-11
US10306236B2 (en) 2019-05-28
KR101912059B1 (ko) 2018-10-25
JP5918328B2 (ja) 2016-05-18
KR101811090B1 (ko) 2017-12-20
TWI611698B (zh) 2018-01-11
KR20140029383A (ko) 2014-03-10
US20170366817A1 (en) 2017-12-21

Similar Documents

Publication Publication Date Title
JP5918328B2 (ja) 画像符号化方法及び画像復号方法
US8903188B2 (en) Method and device for processing components of an image for encoding or decoding
US11153560B2 (en) Method and apparatus for performing non-separable transform based on modified intra prediction mode
US10542265B2 (en) Self-adaptive prediction method for multi-layer codec
US12034917B2 (en) Affine motion prediction-based video decoding method and device using subblock-based temporal merge candidate in video coding system
CN113424529A (zh) 用于执行基于mrl的帧内预测的图像编译方法和装置
CN116193141A (zh) 视频编码和解码设备、以及发送图像数据的设备
WO2012098845A1 (ja) 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
TW202232955A (zh) 對參考像素進行上採樣以用於視頻譯碼中的幀內預測
CN115699775A (zh) 视频或图像编码系统中基于单色颜色格式的色度去块参数信息的图像编码方法
JP2023508101A (ja) サブピクチャに基づく映像コーディング装置及び方法
KR20060085150A (ko) 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치
US20200195952A1 (en) Method and apparatus for processing video signal through target area modification
JP5038400B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
CN115280771A (zh) 基于滤波相关信息信令的图像编码设备和方法
EP4268460A1 (en) Temporal filter
CN113767625A (zh) 基于mpm列表的帧内预测方法及其设备
CN114556949A (zh) 帧内预测装置和方法
CN113273210A (zh) 用于编译关于合并数据的信息的方法和装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140929

R150 Certificate of patent or registration of utility model

Ref document number: 5625073

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350