JP5951063B2 - 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法、及び、画像予測復号プログラム - Google Patents

画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法、及び、画像予測復号プログラム Download PDF

Info

Publication number
JP5951063B2
JP5951063B2 JP2015045725A JP2015045725A JP5951063B2 JP 5951063 B2 JP5951063 B2 JP 5951063B2 JP 2015045725 A JP2015045725 A JP 2015045725A JP 2015045725 A JP2015045725 A JP 2015045725A JP 5951063 B2 JP5951063 B2 JP 5951063B2
Authority
JP
Japan
Prior art keywords
prediction
information
signal
region
motion information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015045725A
Other languages
English (en)
Other versions
JP2015130692A (ja
Inventor
鈴木　芳典
芳典 鈴木
順也 瀧上
順也 瀧上
ブン　チュンセン
チュンセン ブン
タン　ティオ　ケン
ティオ ケン タン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=45496857&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP5951063(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2015045725A priority Critical patent/JP5951063B2/ja
Publication of JP2015130692A publication Critical patent/JP2015130692A/ja
Application granted granted Critical
Publication of JP5951063B2 publication Critical patent/JP5951063B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明の一側面は、画像予測符号化装置、画像予測符号化方法、及び、画像予測符号化プログラムに関するものである。また、本発明の別の一側面は、画像予測復号装置、画像予測復号方法及び画像予測復号プログラムに関するものである。とりわけ、これらの側面は、周囲ブロックの動き情報を用いて対象ブロックの予測信号を生成する画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラムに関するものである。また、本発明の更に別の一側面は、動きベクトルによる動き補償によって予測信号の生成を行う動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び、動画像復号プログラムに関するものである。
静止画像や動画像データの伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられる。動画像の場合では、ＭＰＥＧ−１〜４やＩＴＵ（International Telecommunication Union）Ｈ．２６１〜Ｈ．２６４の方式が広く用いられている。
これらの符号化方式では、符号化の対象となる画像を複数のブロックに分割した上で符号化処理又は復号処理を行う。画面内の予測符号化では、対象ブロックと同じ画面内にある隣接する既再生の画像信号（圧縮された画像データが復元されたもの）を用いて予測信号を生成した上で、その予測信号を対象ブロックの信号から引き算することによって得られる差分信号を符号化する。画面間の予測符号化では、対象ブロックと異なる画面内にある隣接する既再生の画像信号を参照し、動きの補正を行ない、予測信号を生成し、その予測信号を対象ブロックの信号から引き算することによって得られる差分信号を符号化する。
例えば、Ｈ．２６４の画面内予測符号化では、符号化の対象となるブロックに隣接する既再生の画素値を所定の方向に外挿して予測信号を生成する方法を採用している。図２２は、ＩＴＵ Ｈ．２６４に用いられる画面内予測方法を説明するための模式図である。図２２の（Ａ）において、対象ブロック８０２は符号化の対象となるブロックであり、その対象ブロック８０２の境界に隣接する画素ＰＡ〜ＰＭからなる画素群８０１は隣接領域であり、過去の処理において既に再生された画像信号である。
図２２の（Ａ）に示す場合には、対象ブロック８０２の真上にある隣接画素である画素群８０１を下方に引き伸ばすことにより予測信号を生成する。また図２２の（Ｂ）に示す場合では、対象ブロック８０４の左にある既再生画素（ＰＩ〜ＰＬ）を右に引き伸ばすことにより予測信号を生成する。予測信号を生成する具体的な方法は、例えば特許文献１に記載されている。このように図２２の（Ａ）〜（Ｉ）に示す方法で生成された９つの予測信号のそれぞれと対象ブロックの画素信号との差分をとり、差分値が最も小さいものを最適な予測信号とする。以上のように、画素を外挿することにより予測信号を生成することができる。以上の内容については、下記特許文献１に記載されている。
通常の画面間予測符号化では、符号化の対象となるブロックについて、その画素信号に類似する信号を既に再生済みの画面から探索するという方法で予測信号を生成する。そして、対象ブロックと探索した信号が構成する領域との間の空間的な変位量である動きベクトルと、対象ブロックの画素信号と予測信号との残差信号とを符号化する。このようにブロック毎に動きベクトルを探索する手法はブロックマッチングと呼ばれる。
図２１は、ブロックマッチング処理を説明するための模式図である。以下、符号化対象の画面７０１上の対象ブロック７０２を例に予測信号の生成手順を説明する。画面７０３は既に再生済みであり、領域７０４は対象ブロック７０２と空間的に同一位置の領域である。ブロックマッチングでは、領域７０４を囲む探索範囲７０５を設定し、この探索範囲の画素信号から対象ブロック７０２の画素信号との絶対値誤差和が最小となる領域７０６を検出する。この領域７０６の信号が予測信号となり、領域７０４から領域７０６への変位量が動きベクトル７０７として検出される。また、参照画面７０３を複数用意し、対象ブロック毎にブロックマッチングを実施する参照画面を選択し、参照画面選択情報を検出する方法も用いられることがある。Ｈ．２６４では、画像の局所的な特徴の変化に対応するため、動きベクトルを符号化するブロックサイズが異なる複数の予測タイプを用意している。Ｈ．２６４の予測タイプについては、例えば特許文献２に記載されている。
動画像データの圧縮符号化では、各画面（フレーム、フィールド）の符号化順序は任意でよい。そのため、再生済み画面を参照して予測信号を生成する画面間予測にも、符号化順序について３種類の手法がある。第１の手法は、再生順で過去の再生済み画面を参照して予測信号を生成する前方向予測であり、第２の手法は、再生順で未来の再生済み画面を参照して予測信号を生成する後方向予測であり、第３の手法は、前方向予測と後方向予測を共に行い、２つの予測信号を平均化する双方向予測である。画面間予測の種類については、例えば特許文献３に記載されている。
次世代符号化映像符号化方式として標準化が始まったHEVC（Highefficiency video coding）では、予測ブロックの分割タイプとして、図２０の（Ｂ）と（Ｃ）に示す矩形２分割、図２０の（Ｄ）に示す正方４分割に加えて、図２０の（Ｅ）〜（Ｆ）に示すように非対称分割の導入も検討されている。さらに、HEVCでは、このように分割された予測ブロックの予測信号を生成する際に、予測対象となる対象予測ブロックに隣接するブロックの動き情報（動きベクトルや参照画面情報ならびに前方向/後方向/双方向を識別する画面間予測モード）を利用する手法が検討されている。この予測手法はブロックマージングと呼ばれており、動き情報を効率良く符号化できるという特徴がある。図２の（Ａ）は、符号化ブロック４００を縦分割して生成した予測ブロックＴ１にブロックマージングする際の隣接ブロックを模式的に説明する図である。予測ブロックＴ１の予測信号は、１）隣接ブロックＡの動き情報、２）隣接ブロックＢの動き情報あるいは、３）ブロックマッチングにて検出した動き情報のいずれかを用いて生成される。たとえば、符号化器が隣接ブロックＡの動き情報を選択した場合、符号化器は、第１に、隣接ブロックの動き情報を利用することを示すマージ識別情報（merge_flag）を”merge_flag=1”とし、当該マージ識別情報（merge_flag）を復号器に送る。第２に、符号化器は、隣接ブロックＡと隣接ブロックＢから隣接ブロックＡを利用することを示すマージブロック選択情報（merge_flag_left）を”merge_flag_left=1”とし、当該マージブロック選択情報（merge_flag_left）を復号器に送る。復号器は、この２つの情報を受信することにより、対象予測ブロックの予測信号を隣接ブロックＡの動き情報を用いて生成すべきことを識別できる。同様に、復号器は”merge_flag=1”、”merge_flag_left=0”（隣接ブロックＢを選択）を受信したときには、対象予測ブロックの予測信号を隣接ブロックＢの動き情報を用いて生成し、”merge_flag=0”を受信したときには、さらに符号化器から動き情報を受信して対象予測ブロックの動き情報を復元すべきことを識別できる。ここで示したブロックマージングについては、非特許文献１に記載されている。
また、ＭＰＥＧ−１，２やＭＰＥＧ−４等の規格におけるフレーム間予測では、それぞれのピクチャは互いに重ならない矩形のブロックのセットに分割され、ブロックのそれぞれに動きベクトルが関連付けられる。動きベクトルは、ブロックごとの動き探索によって得られものであり、現在のブロックの画像信号を予測するために使用する第２のブロックからの現在のブロックの水平変位及び垂直変位を示している。
下記特許文献４には、ブロック内に斜め方向に動きの境界が存在する場合に、より精度の高い動き補償予測を行うための方法が記載されている。この方法は、ブロックを更に非矩形の小区画に区切り、当該小区画ごとに動き補償予測を行うものである。
また、下記特許文献５には、ブロックを更に小さな矩形の小区画に区切り、当該小区画ごとに動き補償予測を行う方法が記載されている。この方法は、処理対象の小区画の動きベクトルを符号化する際に、処理対象の小区画に接するブロックであって当該小区画より処理順で前のブロックの動きベクトルから予測動きベクトルを生成し、処理対象の小区画の動きベクトルと予測動きベクトルの差分、即ち差分動きベクトルのみを符号化するものである。この方法では、処理対象の小区画が処理順で前のブロックに接していない場合には、当該処理対象の小区画を含むブロック内の処理順で前の他の小区画の動きベクトルから当該処理対象の小区画の予測動きベクトルを生成している。
米国特許公報第６７６５９６４号 米国特許公報第７００３０３５号 米国特許公報第６２５９７３９号 特開２００５−２７７９６８号公報 特開２００９−２４６９７２号公報
Test Model under Consideration, JointCollaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IECJTC1/SC29/WG11, 1st Meeting: Dresden, DE, 15-23 April, 2010, Document:JCTVC-A205
上記の非特許文献１では、符号化対象の対象符号化ブロックを分割した複数の予測ブロックのブロックマージングにて利用する動き情報の候補の選出を予測ブロックとその周囲の状況に関わらず同じ方法で実施する。そのため、たとえば、図２の（Ｂ）に示すように、予測ブロックＴ２の予測信号を生成する際の動き情報の候補に、同じ符号化ブロックに含まれる予測ブロックＴ１の動き情報が含まれる。この予測ブロックＴ１と予測ブロックＴ２から成る予測ブロック分割タイプは、２つのブロックの予測信号が異なる動き情報で生成されることを想定して用意されたものである。従って、予測ブロックＴ２の動き情報の候補に予測ブロックＴ１の動き情報が含まれることは好ましくない。即ち、符号化が非効率となることがある。
そこで、本発明は、幾つかの側面においては、対象予測ブロックの予測信号の生成に用いる動き情報の候補を、対象符号化ブロックや周囲の符号化ブロックの符号化済み又は復号済み予測情報（動き情報や予測ブロック分割タイプ）に基づいて選出することにより、非効率な符号の発生を抑制する画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラムを提供することを目的とする。即ち、これら側面においては、本発明は、符号化効率を向上することが可能な画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラムを提供することを目的とする。
また、特許文献４又は特許文献５に記載されているように、処理対象のブロックを区切ることで得られる小区画ごとに動き補償予測を行う方法がある。このような動き補償予測においては、処理対象の小区画より処理順で前のブロックの動きベクトルに基づいて小区画用の予測動きベクトルを生成し、当該小区画の動きベクトルと当該予測動きベクトルの間の差分動きベクトルのみを符号化することが、符号量の観点から好ましい。
図２３は、動き補償予測を説明するための図である。図２３に示すように、処理対象のブロックＰには、当該ブロックＰより処理順で前の一以上のブロックＣＰに接する小区画ＳＰ１とブロックＣＰに接しない小区画ＳＰ２が存在し得る。このような小区画ＳＰ２の動きベクトルＶ２は、特許文献４に記載されている方法では、予測動きベクトルを用いずに、そのまま符号化される。この方法は、予測動きベクトルをゼロベクトルとする方法と等価である。
一方、特許文献５に記載される方法では、ブロックＰ内の他の小区画であって小区画ＳＰ２より処理順で前の小区画ＳＰ１の動きベクトルＶ１から、小区画ＳＰ２の予測動きベクトルが生成される。しかしながら、小区画ＳＰ１の動きベクトルと小区画ＳＰ２の動きベクトルは、本来的に互いに異なるものであると考えられる。したがって、特許文献５に記載されている方法では、小区画ＳＰ２の動きベクトルを効率良く符号化できないことがある。
そこで、本発明は、別の幾つかの側面においても、符号化効率を向上することが可能な動画像符号化装置、動画像符号化方法、及び、動画像符号化プログラム、また、当該動画像符号化に対応する動画像復号装置、動画像復号方法、及び動画像復号プログラムを提供することを目的とする。
本発明の一側面は、画像予測符号化に関するものであり、以下のように、画像予測符号化装置、方法およびプログラムとして記述することができる。
本発明に係る画像予測符号化装置は、入力画像を複数の領域に分割する領域分割手段と、前記領域分割手段により分割された符号化対象とする対象領域を第１の予測領域と第２の予測領域とに小分割し、前記対象領域に適した予測領域の数と領域形状を示す予測ブロック分割タイプを決定し、前記第１、第２の予測領域との相関が高い信号を既再生信号から取得するための第１、第２の動き情報をそれぞれ予測し、前記予測ブロック分割タイプと、前記第１、第２の動き情報と、前記第１の予測領域の予測信号の生成に、該第１の予測領域に隣接する隣接領域に付随する復号済み動き情報及び動きベクトルが０であることを示す動き情報を含むか、或いは前記動きベクトルが０であることを示す動き情報のみを含む動き情報候補を利用するか否かを示す第１のマージ識別情報と、前記第２の予測領域の予測信号の生成に該第２の予測領域に隣接する隣接領域に付随する復号済み動き情報のうち、前記第１の動き情報を除く復号済み動き情報を利用するか否かを示す第２のマージ識別情報と、を含む予測情報を求める予測情報推定手段と、前記対象領域に付随する予測情報を符号化する予測情報符号化手段と、前記第１の動き情報と前記第２の動き情報に基づいて、前記第１の予測領域と第２の予測領域の各々の予測信号を生成する予測信号生成手段と、前記第１の予測領域と第２の予測領域の各々の予測信号と画素信号とに基づく残差信号を生成する残差信号生成手段と、前記残差信号生成手段により生成された残差信号を符号化する残差信号符号化手段と、前記残差信号の符号化データを復号することにより再生残差信号を生成する残差信号復元手段と、前記予測信号と前記再生残差信号とに基づいて前記対象領域の復元画素信号を生成し、該復元画素信号を前記既再生信号として保存する記録手段と、を具備する。
本発明に係る画像予測符号化方法は、画像予測符号化装置により実行される画像予測符号化方法であって、入力画像を複数の領域に分割する領域分割ステップと、前記領域分割ステップにより分割された符号化対象とする対象領域を第１の予測領域と第２の予測領域とに小分割し、前記対象領域に適した予測領域の数と領域形状を示す予測ブロック分割タイプを決定し、前記第１、第２の予測領域との相関が高い信号を既再生信号から取得するための第１、第２の動き情報をそれぞれ予測し、前記予測ブロック分割タイプと、前記第１、第２の動き情報と、前記第１の予測領域の予測信号の生成に、該第１の予測領域に隣接する隣接領域に付随する復号済み動き情報及び動きベクトルが０であることを示す動き情報を含むか、或いは前記動きベクトルが０であることを示す動き情報のみを含む動き情報候補を利用するか否かを示す第１のマージ識別情報と、前記第２の予測領域の予測信号の生成に該第２の予測領域に隣接する隣接領域に付随する復号済み動き情報のうち、前記第１の動き情報を除く復号済み動き情報を利用するか否かを示す第２のマージ識別情報と、を含む予測情報を求める予測情報推定ステップと、前記対象領域に付随する予測情報を符号化する予測情報符号化ステップと、前記第１の動き情報と前記第２の動き情報に基づいて、前記第１の予測領域と第２の予測領域の各々の予測信号を生成する予測信号生成ステップと、前記第１の予測領域と第２の予測領域の各々の予測信号と画素信号とに基づく残差信号を生成する残差信号生成ステップと、前記残差信号生成ステップにより生成された残差信号を符号化する残差信号符号化ステップと、前記残差信号の符号化データを復号することにより再生残差信号を生成する残差信号復元ステップと、前記予測信号と前記再生残差信号とに基づいて前記対象領域の復元画素信号を生成し、該復元画素信号を前記既再生信号として保存する記録ステップと、を含む。
本発明に係る画像予測符号化プログラムは、コンピュータを、入力画像を複数の領域に分割する領域分割手段と、前記領域分割手段により分割された符号化対象とする対象領域を第１の予測領域と第２の予測領域とに小分割し、前記対象領域に適した予測領域の数と領域形状を示す予測ブロック分割タイプを決定し、前記第１、第２の予測領域との相関が高い信号を既再生信号から取得するための第１、第２の動き情報をそれぞれ予測し、前記予測ブロック分割タイプと、前記第１、第２の動き情報と、前記第１の予測領域の予測信号の生成に、該第１の予測領域に隣接する隣接領域に付随する復号済み動き情報及び動きベクトルが０であることを示す動き情報を含むか、或いは前記動きベクトルが０であることを示す動き情報のみを含む動き情報候補を利用するか否かを示す第１のマージ識別情報と、前記第２の予測領域の予測信号の生成に該第２の予測領域に隣接する隣接領域に付随する復号済み動き情報のうち、前記第１の動き情報を除く復号済み動き情報を利用するか否かを示す第２のマージ識別情報と、を含む予測情報を求める予測情報推定手段と、前記対象領域に付随する予測情報を符号化する予測情報符号化手段と、前記第１の動き情報と前記第２の動き情報に基づいて、前記第１の予測領域と第２の予測領域の各々の予測信号を生成する予測信号生成手段と、前記第１の予測領域と第２の予測領域の各々の予測信号と画素信号とに基づく残差信号を生成する残差信号生成手段と、前記残差信号生成手段により生成された残差信号を符号化する残差信号符号化手段と、前記残差信号の符号化データを復号することにより再生残差信号を生成する残差信号復元手段と、前記予測信号と前記再生残差信号とに基づいて前記対象領域の復元画素信号を生成し、該復元画素信号を前記既再生信号として保存する記録手段、として機能させる。
本発明の一側面は、画像予測復号に関するものであり、以下のように、画像予測復号装置、方法およびプログラムとして記述することができる。
本発明に係る画像予測復号装置は、複数の領域に分割して符号化された画像の圧縮データの中から、復号対象となる対象領域の信号の予測に用いる予測方法を指示する予測情報の符号化データと、残差信号の符号化データとを抽出するデータ解析手段と、前記予測情報の符号化データから動き情報を復元する予測情報復号手段であって、前記予測情報の符号化データから、前記対象領域を小分割する予測領域の数を示す予測ブロック分割タイプを復元し、前記予測ブロック分割タイプが、前記対象領域が第１の予測領域と第２の予測領域を含むことを示す場合に、前記予測情報の符号化データを更に復号して、前記第１の予測領域の予測信号の生成に、該第１の予測領域に隣接する隣接領域に付随する復号済み動き情報及び動きベクトルが０であることを示す動き情報を含むか、或いは前記動きベクトルが０であることを示す動き情報のみを含む動き情報候補を利用するか否かを示す第１のマージ識別情報を復元し、前記第１のマージ識別情報が前記動き情報候補を利用しないことを示す場合に、前記予測情報の符号化データを更に復号して、前記第１の予測領域の予測信号の生成に用いる第１の動き情報を復元し、前記第１のマージ識別情報が前記動き情報候補を利用することを示す場合に、前記予測情報の符号化データを更に復号して、前記動き情報候補から前記第１の予測領域の予測信号の生成に用いる第１の動き情報を特定する第１の選択情報を復元し、該第１の選択情報に基づいて前記第１の動き情報を復元し、前記予測情報の符号化データを更に復号して、前記第２の予測領域の予測信号の生成に該第２の予測領域に隣接する隣接領域に付随する復号済み動き情報を利用するか否かを示す第２のマージ識別情報を復元し、前記第２のマージ識別情報が復号済み動き情報を利用しないことを示す場合に、前記予測情報の符号化データを更に復号して、第２の予測領域の予測信号の生成に用いる第２の動き情報を復元し、前記第２のマージ識別情報が復号済み動き情報を利用することを示す場合に、前記予測情報の符号化データを更に復号して、前記第２の予測領域に隣接する複数の隣接領域に付随する復号済み動き情報のうち、前記第１の動き情報を除く復号済み動き情報の候補から、前記第２の予測領域の予測信号の生成に用いる第２の動き情報を特定する第２の選択情報を復元し、該第２の選択情報に基づいて前記第２の動き情報を復元する、該予測情報復号手段と、復元した予測情報に含まれる動き情報を保存する保存手段と、復元された前記第１の動き情報と前記第２の動き情報に基づいて、前記対象領域に含まれる前記第１の予測領域と第２の予測領域の各々の予測信号を生成する予測信号生成手段と、前記残差信号の符号化データから前記対象領域の再生残差信号を復元する残差信号復元手段と、前記予測信号と前記再生残差信号とに基づいて前記対象領域の画素信号を復元し、該画素信号を既再生信号として保存する記録手段と、を具備する。
本発明に係る画像予測復号方法は、画像予測復号装置により実行される画像予測復号方法であって、複数の領域に分割して符号化された画像の圧縮データの中から、復号対象となる対象領域の信号の予測に用いる予測方法を指示する予測情報の符号化データと、残差信号の符号化データとを抽出するデータ解析ステップと、前記予測情報の符号化データから動き情報を復元する予測情報復号ステップであって、前記予測情報の符号化データから、前記対象領域を小分割する予測領域の数を示す予測ブロック分割タイプを復元し、前記予測ブロック分割タイプが、前記対象領域が第１の予測領域と第２の予測領域を含むことを示す場合に、前記予測情報の符号化データを更に復号して、前記第１の予測領域の予測信号の生成に、該第１の予測領域に隣接する隣接領域に付随する復号済み動き情報及び動きベクトルが０であることを示す動き情報を含むか、或いは前記動きベクトルが０であることを示す動き情報のみを含む動き情報候補を利用するか否かを示す第１のマージ識別情報を復元し、前記第１のマージ識別情報が前記動き情報候補を利用しないことを示す場合に、前記予測情報の符号化データを更に復号して、前記第１の予測領域の予測信号の生成に用いる第１の動き情報を復元し、前記第１のマージ識別情報が前記動き情報候補を利用することを示す場合に、前記予測情報の符号化データを更に復号して、前記動き情報候補から前記第１の予測領域の予測信号の生成に用いる第１の動き情報を特定する第１の選択情報を復元し、該第１の選択情報に基づいて前記第１の動き情報を復元し、前記予測情報の符号化データを更に復号して、前記第２の予測領域の予測信号の生成に該第２の予測領域に隣接する隣接領域に付随する復号済み動き情報を利用するか否かを示す第２のマージ識別情報を復元し、前記第２のマージ識別情報が復号済み動き情報を利用しないことを示す場合に、前記予測情報の符号化データを更に復号して、第２の予測領域の予測信号の生成に用いる第２の動き情報を復元し、前記第２のマージ識別情報が復号済み動き情報を利用することを示す場合に、前記予測情報の符号化データを更に復号して、前記第２の予測領域に隣接する複数の隣接領域に付随する復号済み動き情報のうち、前記第１の動き情報を除く復号済み動き情報の候補から、前記第２の予測領域の予測信号の生成に用いる第２の動き情報を特定する第２の選択情報を復元し、該第２の選択情報に基づいて前記第２の動き情報を復元する、該予測情報復号ステップと、復元した予測情報に含まれる動き情報を保存する保存ステップと、復元された前記第１の動き情報と前記第２の動き情報に基づいて、前記対象領域に含まれる前記第１の予測領域と第２の予測領域の各々の予測信号を生成する予測信号生成ステップと、前記残差信号の符号化データから前記対象領域の再生残差信号を復元する残差信号復元ステップと、前記予測信号と前記再生残差信号とに基づいて前記対象領域の画素信号を復元し、該画素信号を既再生信号として保存する記録ステップと、を含む。
本発明に係る画像予測復号プログラムは、コンピュータを、複数の領域に分割して符号化された画像の圧縮データの中から、復号対象となる対象領域の信号の予測に用いる予測方法を指示する予測情報の符号化データと、残差信号の符号化データとを抽出するデータ解析手段と、前記予測情報の符号化データから動き情報を復元する予測情報復号手段であって、前記予測情報の符号化データから、前記対象領域を小分割する予測領域の数を示す予測ブロック分割タイプを復元し、前記予測ブロック分割タイプが、前記対象領域が第１の予測領域と第２の予測領域を含むことを示す場合に、前記予測情報の符号化データを更に復号して、前記第１の予測領域の予測信号の生成に、該第１の予測領域に隣接する隣接領域に付随する復号済み動き情報及び動きベクトルが０であることを示す動き情報を含むか、或いは前記動きベクトルが０であることを示す動き情報のみを含む動き情報候補を利用するか否かを示す第１のマージ識別情報を復元し、前記第１のマージ識別情報が前記動き情報候補を利用しないことを示す場合に、前記予測情報の符号化データを更に復号して、前記第１の予測領域の予測信号の生成に用いる第１の動き情報を復元し、前記第１のマージ識別情報が前記動き情報候補を利用することを示す場合に、前記予測情報の符号化データを更に復号して、前記動き情報候補から前記第１の予測領域の予測信号の生成に用いる第１の動き情報を特定する第１の選択情報を復元し、該第１の選択情報に基づいて前記第１の動き情報を復元し、前記予測情報の符号化データを更に復号して、前記第２の予測領域の予測信号の生成に該第２の予測領域に隣接する隣接領域に付随する復号済み動き情報を利用するか否かを示す第２のマージ識別情報を復元し、前記第２のマージ識別情報が復号済み動き情報を利用しないことを示す場合に、前記予測情報の符号化データを更に復号して、第２の予測領域の予測信号の生成に用いる第２の動き情報を復元し、前記第２のマージ識別情報が復号済み動き情報を利用することを示す場合に、前記予測情報の符号化データを更に復号して、前記第２の予測領域に隣接する複数の隣接領域に付随する復号済み動き情報のうち、前記第１の動き情報を除く復号済み動き情報の候補から、前記第２の予測領域の予測信号の生成に用いる第２の動き情報を特定する第２の選択情報を復元し、該第２の選択情報に基づいて前記第２の動き情報を復元する、該予測情報復号手段と、復元した予測情報に含まれる動き情報を保存する保存手段と、復元された前記第１の動き情報と前記第２の動き情報に基づいて、前記対象領域に含まれる前記第１の予測領域と第２の予測領域の各々の予測信号を生成する予測信号生成手段と、前記残差信号の符号化データから前記対象領域の再生残差信号を復元する残差信号復元手段と、前記予測信号と前記再生残差信号とに基づいて前記対象領域の画素信号を復元し、該画素信号を既再生信号として保存する記録手段、として機能させる。
また、他の形態に係る画像予測復号方法は、画像予測復号装置により実行される画像予測復号方法であって、複数の領域に分割して符号化された画像の圧縮データの中から、復号対象となる対象領域の信号の予測に用いる予測方法を指示する予測情報の符号化データと、残差信号の符号化データとを抽出するデータ解析ステップと、前記予測情報の符号化データから動き情報を復元する予測情報復号ステップであって、前記予測情報の符号化データから、前記対象領域を小分割する予測領域の数を示す予測ブロック分割タイプを復元し、前記予測ブロック分割タイプが、前記対象領域が第１の予測領域と第２の予測領域を含むことを示す場合に、前記予測情報の符号化データを更に復号して、前記第１の予測領域の予測信号の生成に、該第１の予測領域に隣接する隣接領域に付随する復号済み動き情報及び動きベクトルが０であることを示す動き情報を含む動き情報候補を利用するか否かを示す第１のマージ識別情報を復元し、前記第１のマージ識別情報が前記動き情報候補を利用しないことを示す場合に、前記予測情報の符号化データを更に復号して、前記第１の予測領域の予測信号の生成に用いる第１の動き情報を復元し、前記第１のマージ識別情報が前記動き情報候補を利用することを示す場合に、前記予測情報の符号化データを更に復号して、前記動き情報候補から前記第１の予測領域の予測信号の生成に用いる第１の動き情報を特定する第１の選択情報を復元し、該第１の選択情報に基づいて前記第１の動き情報を復元し、前記予測情報の符号化データを更に復号して、前記第２の予測領域の予測信号の生成に該第２の予測領域に隣接する隣接領域に付随する復号済み動き情報を利用するか否かを示す第２のマージ識別情報を復元し、前記第２のマージ識別情報が復号済み動き情報を利用しないことを示す場合に、前記予測情報の符号化データを更に復号して、第２の予測領域の予測信号の生成に用いる第２の動き情報を復元し、前記第２のマージ識別情報が復号済み動き情報を利用することを示す場合に、前記予測情報の符号化データを更に復号して、前記第２の予測領域に隣接する複数の隣接領域に付随する復号済み動き情報のうち、前記第１の動き情報を除く復号済み動き情報の候補から、前記第２の予測領域の予測信号の生成に用いる第２の動き情報を特定する第２の選択情報を復元し、該第２の選択情報に基づいて前記第２の動き情報を復元する、該予測情報復号ステップと、復元した予測情報に含まれる動き情報を保存する保存ステップと、復元された前記第１の動き情報と前記第２の動き情報に基づいて、前記対象領域に含まれる前記第１の予測領域と第２の予測領域の各々の予測信号を生成する予測信号生成ステップと、前記残差信号の符号化データから前記対象領域の再生残差信号を復元する残差信号復元ステップと、前記予測信号と前記再生残差信号とに基づいて前記対象領域の画素信号を復元し、該画素信号を既再生信号として保存する記録ステップと、を含む。
本発明は、以下の態様も考えられる。本発明の第１の側面は、画像予測符号化に関する。
本発明の第１の側面は、画像予測符号化に関するものであり、以下のように、画像予測符号化装置、方法およびプログラムとして記述することができる。
本発明に係る画像予測符号化装置は、入力画像を複数の領域に分割する領域分割手段と、前記領域分割手段により分割された符号化対象とする対象領域を第１の予測領域と第２の予測領域とに小分割し、前記対象領域に適した予測領域の数と領域形状を示す予測ブロック分割タイプを決定し、前記第１、第２の予測領域との相関が高い信号を既再生信号から取得するための第１、第２の動き情報をそれぞれ予測し、前記予測ブロック分割タイプと、前記第１、第２の動き情報と、前記第１の予測領域の予測信号の生成に該第１の予測領域に隣接する隣接領域に付随する復号済み動き情報を利用するか否かを示す第１のマージ識別情報と、前記第２の予測領域の予測信号の生成に該第２の予測領域に隣接する隣接領域に付随する復号済み動き情報のうち、前記第１の動き情報を除く復号済み動き情報を利用するか否かを示す第２のマージ識別情報と、を含む予測情報を求める予測情報推定手段と、前記対象領域に付随する予測情報を符号化する予測情報符号化手段と、前記第１の動き情報と前記第２の動き情報に基づいて、前記第１の予測領域と第２の予測領域の各々の予測信号を生成する予測信号生成手段と、前記第１の予測領域と第２の予測領域の各々の予測信号と画素信号とに基づく残差信号を生成する残差信号生成手段と、前記残差信号生成手段により生成された残差信号を符号化する残差信号符号化手段と、前記残差信号の符号化データを復号することにより再生残差信号を生成する残差信号復元手段と、前記予測信号と前記再生残差信号とに基づいて前記対象領域の復元画素信号を生成し、該復元画素信号を前記既再生信号として保存する記録手段と、を具備する。
本発明に係る画像予測符号化方法は、画像予測符号化装置により実行される画像予測符号化方法であって、入力画像を複数の領域に分割する領域分割ステップと、前記領域分割ステップにより分割された符号化対象とする対象領域を第１の予測領域と第２の予測領域とに小分割し、前記対象領域に適した予測領域の数と領域形状を示す予測ブロック分割タイプを決定し、前記第１、第２の予測領域との相関が高い信号を既再生信号から取得するための第１、第２の動き情報をそれぞれ予測し、前記予測ブロック分割タイプと、前記第１、第２の動き情報と、前記第１の予測領域の予測信号の生成に該第１の予測領域に隣接する隣接領域に付随する復号済み動き情報を利用するか否かを示す第１のマージ識別情報と、前記第２の予測領域の予測信号の生成に該第２の予測領域に隣接する隣接領域に付随する復号済み動き情報のうち、前記第１の動き情報を除く復号済み動き情報を利用するか否かを示す第２のマージ識別情報と、を含む予測情報を求める予測情報推定ステップと、前記対象領域に付随する予測情報を符号化する予測情報符号化ステップと、前記第１の動き情報と前記第２の動き情報に基づいて、前記第１の予測領域と第２の予測領域の各々の予測信号を生成する予測信号生成ステップと、前記第１の予測領域と第２の予測領域の各々の予測信号と画素信号とに基づく残差信号を生成する残差信号生成ステップと、前記残差信号生成ステップにより生成された残差信号を符号化する残差信号符号化ステップと、前記残差信号の符号化データを復号することにより再生残差信号を生成する残差信号復元ステップと、前記予測信号と前記再生残差信号とに基づいて前記対象領域の復元画素信号を生成し、該復元画素信号を前記既再生信号として保存する記録ステップと、を含む。
本発明に係る画像予測符号化プログラムは、コンピュータを、入力画像を複数の領域に分割する領域分割手段と、前記領域分割手段により分割された符号化対象とする対象領域を第１の予測領域と第２の予測領域とに小分割し、前記対象領域に適した予測領域の数と領域形状を示す予測ブロック分割タイプを決定し、前記第１、第２の予測領域との相関が高い信号を既再生信号から取得するための第１、第２の動き情報をそれぞれ予測し、前記予測ブロック分割タイプと、前記第１、第２の動き情報と、前記第１の予測領域の予測信号の生成に該第１の予測領域に隣接する隣接領域に付随する復号済み動き情報を利用するか否かを示す第１のマージ識別情報と、前記第２の予測領域の予測信号の生成に該第２の予測領域に隣接する隣接領域に付随する復号済み動き情報のうち、前記第１の動き情報を除く復号済み動き情報を利用するか否かを示す第２のマージ識別情報と、を含む予測情報を求める予測情報推定手段と、前記対象領域に付随する予測情報を符号化する予測情報符号化手段と、前記第１の動き情報と前記第２の動き情報に基づいて、前記第１の予測領域と第２の予測領域の各々の予測信号を生成する予測信号生成手段と、前記第１の予測領域と第２の予測領域の各々の予測信号と画素信号とに基づく残差信号を生成する残差信号生成手段と、前記残差信号生成手段により生成された残差信号を符号化する残差信号符号化手段と、前記残差信号の符号化データを復号することにより再生残差信号を生成する残差信号復元手段と、前記予測信号と前記再生残差信号とに基づいて前記対象領域の復元画素信号を生成し、該復元画素信号を前記既再生信号として保存する記録手段、として機能させる。
本発明の第２の側面は、画像予測復号に関するものであり、以下のように、画像予測復号装置、方法およびプログラムとして記述することができる。
本発明に係る画像予測復号装置は、複数の領域に分割して符号化された画像の圧縮データの中から、復号対象となる対象領域の信号の予測に用いる予測方法を指示する予測情報の符号化データと、残差信号の符号化データとを抽出するデータ解析手段と、前記予測情報の符号化データから動き情報を復元する予測情報復号手段であって、前記予測情報の符号化データから、前記対象領域を小分割する予測領域の数を示す予測ブロック分割タイプを復元し、前記予測ブロック分割タイプが、前記対象領域が第１の予測領域と第２の予測領域を含むことを示す場合に、前記予測情報の符号化データを更に復号して、前記第１の予測領域の予測信号の生成に該第１の予測領域に隣接する隣接領域に付随する復号済み動き情報を利用するか否かを示す第１のマージ識別情報を復元し、前記第１のマージ識別情報が復号済み動き情報を利用しないことを示す場合に、前記予測情報の符号化データを更に復号して、前記第１の予測領域の予測信号の生成に用いる第１の動き情報を復元し、前記第１のマージ識別情報が復号済み動き情報を利用することを示す場合に、前記予測情報の符号化データを更に復号して、前記第１の予測領域に隣接する複数の隣接領域に付随する復号済み動き情報から前記第１の予測領域の予測信号の生成に用いる第１の動き情報を特定する第１の選択情報を復元し、該第１の選択情報に基づいて前記第１の動き情報を復元し、前記予測情報の符号化データを更に復号して、前記第２の予測領域の予測信号の生成に該第２の予測領域に隣接する隣接領域に付随する復号済み動き情報を利用するか否かを示す第２のマージ識別情報を復元し、前記第２のマージ識別情報が復号済み動き情報を利用しないことを示す場合に、前記予測情報の符号化データを更に復号して、第２の予測領域の予測信号の生成に用いる第２の動き情報を復元し、前記第２のマージ識別情報が復号済み動き情報を利用することを示す場合に、前記予測情報の符号化データを更に復号して、前記第２の予測領域に隣接する複数の隣接領域に付随する復号済み動き情報のうち、前記第１の動き情報を除く復号済み動き情報の候補から、前記第２の予測領域の予測信号の生成に用いる第２の動き情報を特定する第２の選択情報を復元し、該第２の選択情報に基づいて前記第２の動き情報を復元する該予測情報復号手段と、復元した予測情報に含まれる動き情報を保存する保存手段と、復元された前記第１の動き情報と前記第２の動き情報に基づいて、前記対象領域に含まれる前記第１の予測領域と第２の予測領域の各々の予測信号を生成する予測信号生成手段と、前記残差信号の符号化データから前記対象領域の再生残差信号を復元する残差信号復元手段と、前記予測信号と前記再生残差信号とに基づいて前記対象領域の画素信号を復元し、該画素信号を既再生信号として保存する記録手段と、を具備する。
本発明に係る画像予測復号方法は、画像予測復号装置により実行される画像予測復号方法であって、複数の領域に分割して符号化された画像の圧縮データの中から、復号対象となる対象領域の信号の予測に用いる予測方法を指示する予測情報の符号化データと、残差信号の符号化データとを抽出するデータ解析ステップと、前記予測情報の符号化データから動き情報を復元する予測情報復号ステップであって、前記予測情報の符号化データから、前記対象領域を小分割する予測領域の数を示す予測ブロック分割タイプを復元し、前記予測ブロック分割タイプが、前記対象領域が第１の予測領域と第２の予測領域を含むことを示す場合に、前記予測情報の符号化データを更に復号して、前記第１の予測領域の予測信号の生成に該第１の予測領域に隣接する隣接領域に付随する復号済み動き情報を利用するか否かを示す第１のマージ識別情報を復元し、前記第１のマージ識別情報が復号済み動き情報を利用しないことを示す場合に、前記予測情報の符号化データを更に復号して、前記第１の予測領域の予測信号の生成に用いる第１の動き情報を復元し、前記第１のマージ識別情報が復号済み動き情報を利用することを示す場合に、前記予測情報の符号化データを更に復号して、前記第１の予測領域に隣接する複数の隣接領域に付随する復号済み動き情報から前記第１の予測領域の予測信号の生成に用いる第１の動き情報を特定する第１の選択情報を復元し、該第１の選択情報に基づいて前記第１の動き情報を復元し、前記予測情報の符号化データを更に復号して、前記第２の予測領域の予測信号の生成に該第２の予測領域に隣接する隣接領域に付随する復号済み動き情報を利用するか否かを示す第２のマージ識別情報を復元し、前記第２のマージ識別情報が復号済み動き情報を利用しないことを示す場合に、前記予測情報の符号化データを更に復号して、第２の予測領域の予測信号の生成に用いる第２の動き情報を復元し、前記第２のマージ識別情報が復号済み動き情報を利用することを示す場合に、前記予測情報の符号化データを更に復号して、前記第２の予測領域に隣接する複数の隣接領域に付随する復号済み動き情報のうち、前記第１の動き情報を除く復号済み動き情報の候補から、前記第２の予測領域の予測信号の生成に用いる第２の動き情報を特定する第２の選択情報を復元し、該第２の選択情報に基づいて前記第２の動き情報を復元する該予測情報復号ステップと、復元した予測情報に含まれる動き情報を保存する保存ステップと、復元された前記第１の動き情報と前記第２の動き情報に基づいて、前記対象領域に含まれる前記第１の予測領域と第２の予測領域の各々の予測信号を生成する予測信号生成ステップと、前記残差信号の符号化データから前記対象領域の再生残差信号を復元する残差信号復元ステップと、前記予測信号と前記再生残差信号とに基づいて前記対象領域の画素信号を復元し、該画素信号を既再生信号として保存する記録ステップと、を含む。
本発明に係る画像予測復号プログラムは、コンピュータを、複数の領域に分割して符号化された画像の圧縮データの中から、復号対象となる対象領域の信号の予測に用いる予測方法を指示する予測情報の符号化データと、残差信号の符号化データとを抽出するデータ解析手段と、前記予測情報の符号化データから動き情報を復元する予測情報復号手段であって、前記予測情報の符号化データから、前記対象領域を小分割する予測領域の数を示す予測ブロック分割タイプを復元し、前記予測ブロック分割タイプが、前記対象領域が第１の予測領域と第２の予測領域を含むことを示す場合に、前記予測情報の符号化データを更に復号して、前記第１の予測領域の予測信号の生成に該第１の予測領域に隣接する隣接領域に付随する復号済み動き情報を利用するか否かを示す第１のマージ識別情報を復元し、前記第１のマージ識別情報が復号済み動き情報を利用しないことを示す場合に、前記予測情報の符号化データを更に復号して、前記第１の予測領域の予測信号の生成に用いる第１の動き情報を復元し、前記第１のマージ識別情報が復号済み動き情報を利用することを示す場合に、前記予測情報の符号化データを更に復号して、前記第１の予測領域に隣接する複数の隣接領域に付随する復号済み動き情報から前記第１の予測領域の予測信号の生成に用いる第１の動き情報を特定する第１の選択情報を復元し、該第１の選択情報に基づいて前記第１の動き情報を復元し、前記予測情報の符号化データを更に復号して、前記第２の予測領域の予測信号の生成に該第２の予測領域に隣接する隣接領域に付随する復号済み動き情報を利用するか否かを示す第２のマージ識別情報を復元し、前記第２のマージ識別情報が復号済み動き情報を利用しないことを示す場合に、前記予測情報の符号化データを更に復号して、第２の予測領域の予測信号の生成に用いる第２の動き情報を復元し、前記第２のマージ識別情報が復号済み動き情報を利用することを示す場合に、前記予測情報の符号化データを更に復号して、前記第２の予測領域に隣接する複数の隣接領域に付随する復号済み動き情報のうち、前記第１の動き情報を除く復号済み動き情報の候補から、前記第２の予測領域の予測信号の生成に用いる第２の動き情報を特定する第２の選択情報を復元し、該第２の選択情報に基づいて前記第２の動き情報を復元する該予測情報復号手段と、復元した予測情報に含まれる動き情報を保存する保存手段と、復元された前記第１の動き情報と前記第２の動き情報に基づいて、前記対象領域に含まれる前記第１の予測領域と第２の予測領域の各々の予測信号を生成する予測信号生成手段と、前記残差信号の符号化データから前記対象領域の再生残差信号を復元する残差信号復元手段と、前記予測信号と前記再生残差信号とに基づいて前記対象領域の画素信号を復元し、該画素信号を既再生信号として保存する記録手段、として機能させる。
本発明は、以下の態様も考えられる。本発明の第１の側面は、画像予測符号化に関する。
本発明の第１の側面に係る画像予測符号化装置は、入力画像を複数の領域に分割する領域分割手段と、上記領域分割手段により分割された符号化対象とする対象領域を複数の予測領域に小分割し、上記対象領域に適した予測領域の数と領域形状を示す予測ブロック分割タイプを決定し、該複数の予測領域との相関が高い信号を既再生信号から取得するための動き情報をそれぞれ予測し、上記予測ブロック分割タイプと上記動き情報を含む予測情報を求める予測情報推定手段と、上記対象領域に付随する予測情報を符号化する予測情報符号化手段と、上記対象領域に付随する予測情報に基づいて、上記対象領域の予測信号を生成する予測信号生成手段と、上記対象領域の予測信号と上記対象領域の画素信号とに基づく残差信号を生成する残差信号生成手段と、上記残差信号生成手段により生成された残差信号を符号化する残差信号符号化手段と、上記残差信号の符号化データを復号することにより再生残差信号を生成する残差信号復元手段と、上記予測信号と上記再生残差信号とを加算することによって上記対象領域の復元画素信号を生成し、該復元画素信号を上記既再生信号として保存する記録手段と、を具備する。上記予測情報符号化手段は、符号化済みの予測情報を保存する予測情報保存手段を有し、上記対象領域の予測ブロック分割タイプを符号化し、該予測ブロック分割タイプを上記予測情報保存手段に保存し、上記対象領域に隣接する隣接領域の予測情報と上記対象領域内の符号化済み予測領域の数と上記対象領域の符号化済み予測情報に基づいて、次の予測領域である対象予測領域の予測信号の生成に用いる動き情報の候補を該対象予測領域に隣接する領域の符号化済み動き情報から選出し、上記選出した動き情報の候補の数に応じて、選出した動き情報の候補を用いた上記対象予測領域の予測信号の生成を指示するマージブロック情報及び上記予測情報推定手段にて検出した動き情報、又は、該マージブロック情報と該動き情報の何れか一方を符号化し、上記対象予測領域の予測信号の生成に用いる動き情報を上記予測情報保存手段に保存する。
本発明の第１の側面に係る画像予測符号化方法は、入力画像を複数の領域に分割する領域分割ステップと、上記領域分割ステップにより分割された符号化対象とする対象領域を複数の予測領域に小分割し、上記対象領域に適した予測領域の数と領域形状を示す予測ブロック分割タイプを決定し、該複数の予測領域との相関が高い信号を既再生信号から取得するための動き情報をそれぞれ予測し、上記予測ブロック分割タイプと上記動き情報を含む予測情報を求める予測情報推定ステップと、上記対象領域に付随する予測情報を符号化する予測情報符号化ステップと、上記対象領域に付随する予測情報に基づいて、上記対象領域の予測信号を生成する予測信号生成ステップと、上記対象領域の予測信号と上記対象領域の画素信号とに基づく残差信号を生成する残差信号生成ステップと、上記残差信号生成ステップにより生成された残差信号を符号化する残差信号符号化ステップと、上記残差信号の符号化データを復号することにより再生残差信号を生成する残差信号復元ステップと、上記予測信号と上記再生残差信号とを加算することによって上記対象領域の復元画素信号を生成し、該復元画素信号を上記既再生信号として保存する記録ステップと、を含む。予測情報符号化ステップでは、上記対象領域の予測ブロック分割タイプを符号化し、該予測ブロック分割タイプを、符号化済みの予測情報を保存する予測情報保存手段に保存し、上記対象領域に隣接する隣接領域の予測情報と上記対象領域内の符号化済み予測領域の数と上記対象領域の符号化済み予測情報に基づいて、次の予測領域である対象予測領域の予測信号の生成に用いる動き情報の候補を該対象予測領域に隣接する領域の符号化済み動き情報から選出し、上記選出した動き情報の候補の数に応じて、選出した動き情報の候補を用いた上記対象予測領域の予測信号の生成を指示するマージブロック情報及び上記予測情報推定ステップにて検出した動き情報、又は、該マージブロック情報と該動き情報の何れか一方を符号化し、上記対象予測領域の予測信号の生成に用いる動き情報を上記予測情報保存手段に保存する。
また、本発明の第１の側面に係る画像予測符号化プログラムは、コンピュータを上述した画像予測符号化装置の各手段として機能させる。
本発明の第１の側面によれば、対象予測ブロックの予測信号の生成に用いる動き情報の候補が、対象符号化ブロックや周囲の符号化ブロックの符号化済みの予測情報（動き情報や予測ブロック分割タイプ）に基づいて選出されるので、非効率な符号の発生が抑制される。
一実施形態においては、上記対象領域内の符号化済み予測領域の数と上記対象領域の予測ブロック分割タイプと上記対象領域に隣接する隣接領域の予測ブック分割タイプに基づいて、次の予測領域である対象予測領域の動き情報の候補が、対象予測領域に隣接する領域の符号化済み動き情報から選出され得る。
一実施形態においては、上記対象領域内の符号化済み予測領域の数と上記対象領域の予測ブロック分割タイプに基づいて、次の予測領域である対象予測領域の動き情報の候補が、該対象予測領域に隣接する領域の符号化済み動き情報から選出され、上記対象領域が２つの予測領域に分割されて、上記対象予測領域が上記対象領域内で２番目に符号化される予測領域であるとき、上記対象予測領域に隣接し、上記対象領域に含まれない領域の動き情報が、該対象予測領域の予測信号の生成に用いる動き情報の候補として選出され得る。
また、一実施形態においては、上記対象領域内の符号化済み予測領域の数と上記対象領域の予測ブロック分割タイプと上記対象領域内の符号化済み動き情報と上記対象領域に隣接する隣接領域の動き情報とに基づいて、次の予測領域である対象予測領域の予測信号の生成に用いる動き情報の候補が、該対象予測領域に隣接する領域の符号化済み動き情報から選出され、上記対象領域が２つの予測領域に分割されており、上記対象予測領域が上記対象領域内で２番目に符号化される予測領域であり、上記対象領域の１番目に符号化された予測領域の動き情報が、上記対象予測領域に隣接し、上記対象領域に含まれない領域の動き情報と同じであるとき、上記対象予測領域に隣接する領域の動き情報が、上記対象予測領域の予測信号の生成に利用しないと判断して、動き情報が符号化され得る。
本発明の第２の側面は画像予測復号に関する。
本発明の第２の側面に係る画像予測復号装置は、複数の領域に分割して符号化された画像の圧縮データの中から、復号対象となる対象領域の信号の予測に用いる予測方法を指示する予測情報の符号化データと、上記対象領域の予測信号の符号化データと、残差信号の符号化データとを抽出するデータ解析手段と、上記予測情報の符号化データを復号して、上記対象領域の小分割領域である複数の予測領域の数と領域形状を示す予測ブロック分割タイプと、各予測領域の予測信号を既再生信号から取得するための動き情報を復元する予測情報復号手段と、上記対象領域に付随する予測情報に基づいて、上記対象領域の予測信号を生成する予測信号生成手段と、上記残差信号の符号化データから上記対象領域の再生残差信号を復元する残差信号復元手段と、上記予測信号と上記再生残差信号とを加算することによって上記対象領域の画素信号を復元し、該画素信号を上記既再生信号として保存する記録手段と、を具備する。予測情報復号手段は、復号済みの予測情報を保存する予測情報保存手段を有し、上記対象領域の予測ブロック分割タイプを復号して上記予測情報保存手段に保存し、上記対象領域に隣接する隣接領域の予測情報と上記対象領域内の復号済み予測領域の数と上記対象領域の復号済み予測情報に基づいて、次の予測領域である対象予測領域の予測信号の生成に用いる動き情報の候補を該対象予測領域に隣接する領域の復号済み動き情報から選出し、上記選出した動き情報の候補の数に応じて、選出した動き情報の候補を用いた上記対象予測領域の予測信号の生成を指示するマージブロック情報及び動き情報、又は該マージブロック情報と該動き情報の何れか一方を復号し、上記対象予測領域の予測信号の生成に用いる動き情報を上記予測情報保存手段に保存する。
本発明の第２の側面に係る画像予測復号方法は、複数の領域に分割して符号化された画像の圧縮データの中から、復号対象となる対象領域の信号の予測に用いる予測方法を指示する予測情報の符号化データと、上記対象領域の予測信号の符号化データと、残差信号の符号化データとを抽出するデータ解析ステップと、上記予測情報の符号化データを復号して、上記対象領域の小分割領域である複数の予測領域の数と領域形状を示す予測ブロック分割タイプと、各予測領域の予測信号を既再生信号から取得するための動き情報を復元する予測情報復号ステップと、上記対象領域に付随する予測情報に基づいて、上記対象領域の予測信号を生成する予測信号生成ステップと、上記残差信号の符号化データから上記対象領域の再生残差信号を復元する残差信号復元ステップと、上記予測信号と上記再生残差信号とを加算することによって上記対象領域の画素信号を復元し、該画素信号を上記既再生信号として保存する記録ステップと、を含む。予測情報復号ステップでは、上記対象領域の予測ブロック分割タイプを復号して、該予測ブロック分割タイプを、復号済みの予測情報を保存する予測情報保存手段に保存し、上記対象領域に隣接する隣接領域の予測情報と上記対象領域内の復号済み予測領域の数と上記対象領域の復号済み予測情報に基づいて、次の予測領域である対象予測領域の予測信号の生成に用いる動き情報の候補を該対象予測領域に隣接する領域の復号済み動き情報から選出し、上記選出した動き情報の候補の数に応じて、選出した動き情報の候補を用いた上記対象予測領域の予測信号の生成を指示するマージブロック情報及び動き情報、又は該マージブロック情報と該動き情報の何れか一方を復号し、上記対象予測領域の予測信号の生成に用いる動き情報を上記予測情報保存手段に保存する。
また、本発明の第２の側面に係る画像予測復号プログラムは、コンピュータを上述した画像予測復号装置の各手段として機能させる。
本発明の第２の側面によれば、上述した画像予測符号化によって生成される圧縮データから画像を復号することができる。
一実施形態においては、上記対象領域内の復号済み予測領域の数と上記対象領域の予測ブロック分割タイプと上記対象領域に隣接する隣接領域の予測ブック分割タイプに基づいて、次の予測領域である対象予測領域の動き情報の候補が、該対象予測領域に隣接する領域の復号済み動き情報から選出され得る。
一実施形態においては、上記対象領域内の復号済み予測領域の数と上記対象領域の予測ブロック分割タイプに基づいて、次の予測領域である対象予測領域の予測信号の生成に用いる動き情報の候補が、該対象予測領域に隣接する領域の復号済み動き情報から選出され、上記対象領域が２つの予測領域に分割されており、上記対象予測領域が上記対象領域内で２番目に復号される予測領域であるとき、上記対象予測領域に隣接し、上記対象領域に含まれない領域の動き情報が、対象予測領域の動き情報の候補として選出され得る。
また、一実施形態においては、上記対象領域内の復号済み予測領域の数と上記対象領域の予測ブロック分割タイプと上記対象領域内の復号済み動き領域と上記対象領域に隣接する隣接領域の動き情報とに基づいて、次の予測領域である対象予測領域の予測信号の生成に用いる動き情報の候補が、該対象予測領域に隣接する領域の復号済み動き情報から選出され、上記対象領域が２つの予測領域に分割されており、上記対象予測領域が上記対象領域内で２番目に復号される予測領域であり、上記対象領域の１番目に復号された予測領域の動き情報が、上記対象予測領域に隣接し、上記対象領域に含まれない領域の動き情報と同じであるとき、上記対象予測領域に隣接する領域の動き情報を上記対象予測領域の予測信号の生成に利用しないと判断して、動き情報が復号され得る。
また、本発明の第３の側面は、動画像符号化に関する。
第３の側面に係る動画像符号化装置は、分割手段、小区画生成手段、動き検出手段、予測信号生成手段、動き予測手段、差分動きベクトル生成手段、残差信号生成手段、加算手段、記憶手段、及び、符号化手段を備える。分割手段は、動画像中の入力画像を複数の区画に分割する。小区画生成手段は、分割手段によって生成された処理対象の区画を複数の小区画に区切り、該小区画の形状を特定する形状情報を生成する。動き検出手段は、処理対象の区画の動きベクトルを検出する。予測信号生成手段は、動き検出手段により検出された動きベクトルを用いて、処理対象の区画の予測信号を既再生の画像信号から生成する。動き予測手段は、小区画生成手段によって生成された形状情報と、処理対象の区画より処理順で前の区画又は小区画である処理済みの部分領域の動きベクトルに基づいて、処理対象の区画の予測動きベクトルを生成する。差分動きベクトル生成手段は、処理対象の区画の予測信号の生成に用いた動きベクトルと、予測動きベクトルとの差分に基づき、差分動きベクトルを生成する。残差信号生成手段は、予測信号と処理対象の区画の画素信号との差分に基づく残差信号を生成する。加算手段は、残差信号と予測信号とを加算して再生画像信号を生成する。記憶手段は、再生画像信号を既再生の画像信号として記憶する。符号化手段は、残差信号生成手段により生成された残差信号と、差分ベクトル生成手段により生成された差分動きベクトルと、小区画生成手段により生成された形状情報と、を符号化して圧縮データを生成する。動き予測手段は、処理対象の区画内の処理対象の小区画が当該処理対象の小区画より処理順で前の区画に接しない場合に、当該処理対象の小区画と当該処理対象の区画内の他の小区画との間の境界の延長線に対して一方側の領域と他方側の領域のうち処理対象の小区画が含まれる領域に属する処理済みの部分領域の動きベクトルに基づいて、当該処理対象の小区画の予測動きベクトルを生成する。
第３の側面に係る動画像符号化方法は、（ａ）動画像からの入力画像を複数の区画に分割する分割ステップと、（ｂ）分割ステップにおいて生成された処理対象の区画を複数の小区画に区切り、当該小区画の形状を特定する形状情報を生成する小区画生成ステップと、（ｃ）処理対象の区画の動きベクトルを検出する動き検出ステップと、（ｄ）動き検出ステップにおいて検出された動きベクトルを用いて、処理対象の区画の予測信号を既再生の画像信号から生成する予測信号生成ステップと、（ｅ）小区画生成ステップにおいて生成された形状情報と、処理対象の区画より処理順で前の区画又は小区画である処理済みの部分領域の動きベクトルに基づいて、処理対象の区画の予測動きベクトルを生成する動き予測ステップと、（ｆ）処理対象の区画の予測信号の生成に用いた動きベクトルと予測動きベクトルとの差分に基づき、差分動きベクトルを生成する差分動きベクトル生成ステップと、（ｇ）予測信号と処理対象の区画の画素信号との差分に基づく残差信号を生成する残差信号生成ステップと、（ｈ）残差信号と予測信号とを加算して再生画像信号を生成する加算ステップと、（ｉ）再生画像信号を既再生の画像信号として記憶する記憶ステップと、（ｊ）残差信号生成ステップにおいて生成された残差信号と、差分動きベクトル生成ステップにおいて生成された差分動きベクトルと、小区画生成ステップにおいて生成された形状情報と、を符号化して圧縮データを生成する符号化ステップと、を含む。動き予測ステップにおいては、処理対象の区画内の処理対象の小区画が当該処理対象の小区画より処理順で前の区画に接しない場合に、処理対象の小区画と処理対象の区画内の他の小区画との間の境界の延長線に対して一方側の領域と他方側の領域のうち処理対象の小区画が含まれる領域に属する処理済みの部分領域の動きベクトルに基づいて、処理対象の小区画の予測動きベクトルが生成される。
また、第３の側面に係る動画像符号化プログラムは、コンピュータを上述した動画像符号化装置の各手段として機能させる。
上述した境界の延長線によって画成される二つの領域のうち、処理順で前の区画に接していない小区画を含む領域は、当該小区画の動きに類似する動きを有している可能性が高い。したがって、第３の側面によれば、予測動きベクトルの精度が向上し、差分動きベクトルの値が小さくなり、少ない符号量で動きベクトルが符号化される。故に、符号化効率が向上される。
本発明の第４の側面は動画像復号に関する。
第４の側面に係る動画像復号装置は、復号手段、動き予測手段、ベクトル加算手段、予測信号生成手段、加算手段、及び、記憶手段を備える。復号手段は、圧縮データを復号して、画像内の処理対象の区画の再生残差信号と、処理対象の区画の差分動きベクトルと、処理対象の区画内の複数の小区画の形状を特定する形状情報を生成する。動き予測手段は、形状情報と、処理対象の区画より処理順で前の区画又は小区画である処理済みの部分領域の動きベクトルに基づいて、処理対象の区画の予測動きベクトルを生成する。ベクトル加算手段は、動き予測手段により生成された予測動きベクトルと、復号手段によって生成された差分動きベクトルとを加算して、処理対象の区画の動きベクトルを生成する。予測信号生成手段は、処理対象の区画の動きベクトルに基づいて、処理対象の区画の予測信号を既再生の画像信号から生成する。加算手段は、予測信号と、復号手段によって生成された再生残差信号とを加算して、再生画像信号を生成する。記憶手段は、再生画像信号を既再生の画像信号として記憶する。動き予測手段は、処理対象の区画内の処理対象の小区画が当該処理対象の小区画より処理順で前の区画に接しない場合に、処理対象の小区画と処理対象の区画内の他の小区画との間の境界の延長線に対して一方側の領域と他方側の領域のうち処理対象の小区画が含まれる領域に属する処理済みの部分領域の動きベクトルに基づいて、処理対象の小区画の予測動きベクトルを生成する。
第４の側面に係る動画像復号方法は、圧縮データを復号して動画像を生成する方法であって、（ａ）圧縮データを復号して、画像内の処理対象の区画の再生残差信号と、処理対象の区画の差分動きベクトルと、処理対象の区画内の複数の小区画の形状を特定する形状情報を生成する復号ステップと、（ｂ）形状情報と、処理対象の区画より処理順で前の区画又は小区画である処理済みの部分領域の動きベクトルに基づいて、処理対象の区画の予測動きベクトルを生成する動き予測ステップと、（ｃ）動き予測ステップにおいて生成された予測動きベクトルと復号ステップにおいて生成された差分動きベクトルを加算して、処理対象の区画の動きベクトルを生成するベクトル加算ステップと、（ｄ）処理対象の区画の動きベクトルに基づいて、処理対象の区画の予測信号を既再生の画像信号から生成する予測信号生成ステップと、（ｅ）予測信号と、復号ステップにおいて生成された再生残差信号とを加算して、再生画像信号を生成する加算ステップと、（ｆ）再生画像信号を既再生の画像信号として記憶する記憶ステップと、を含む。動き予測ステップにおいては、処理対象の区画内の処理対象の小区画が当該処理対象の小区画より処理順で前の区画に接しない場合に、処理対象の小区画と処理対象の区画内の他の小区画との間の境界の延長線に対して一方側の領域と他方側の領域のうち処理対象の小区画が含まれる領域に属する処理済みの部分領域の動きベクトルに基づいて、処理対象の小区画の予測動きベクトルが生成される。
第４の側面にかかる動画像復号プログラムは、コンピュータを上述した動画像復号装置の各手段として機能させる。
第４の側面によれば、処理順で前の区画に接していない小区画を含む領域の復号済みの動きベクトルから当該小区画の予測動きベクトルが生成される。この予測動きベクトルは、当該小区画の動きベクトルに類似する可能性が高い。したがって、上述した実施形態によれば、予測動きベクトルの精度が向上し、差分動きベクトルの値が小さくなり、少ないビット量の圧縮データからの復号が可能となる。故に、効率の良い復号が実現される。
本発明の幾つかの側面に係る画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラムによれば、対象予測ブロックの予測信号生成に利用する動き情報の候補を周囲の符号化済み又は復号済み情報に基づいて選出できるので、より効率良く動き情報が符号化できるという効果がある。
また、本発明の別の幾つかの側面によれば、符号化効率を向上することが可能な動画像符号化装置、動画像符号化方法、及び、動画像符号化プログラムが提供される。また、これら動画像符号化に対応する動画像復号装置、動画像復号方法、及び動画像復号プログラムが提供される。
一実施形態に係る画像予測符号化装置を示すブロック図である。 従来のブロックマージングにおける動き情報の候補を説明するための模式図である。 一実施形態に係るブロックマージングにおける動き情報の候補を説明するための模式図である。 図１に示す予測情報符号化器の処理を説明するフローチャートである。 図１に示す画像予測符号化装置の画像予測符号化方法の手順を示すフローチャートである。 一実施形態に係る画像予測復号装置を示すブロック図である。 図６に示す予測情報復号器の処理を説明するフローチャートである。 図６に示す画像予測復号装置の画像予測復号方法の手順を示すフローチャートである。 対象予測ブロックに隣接する複数の隣接ブロックの動き情報を対象予測ブロックの動き情報として利用する処理を説明するための第１の模式図である。 対象予測ブロックに隣接する複数の隣接ブロックの動き情報を対象予測ブロックの動き情報として利用する処理を説明するための第２の模式図である。 対象予測ブロックに隣接する複数の隣接ブロックの動き情報を対象予測ブロックの動き情報として利用する処理を説明するフローチャートである。 対象予測ブロックに隣接する複数の隣接ブロックの動き情報を対象予測ブロックの動き情報として利用する処理を説明するための第３の模式図である。 対象予測ブロックに隣接する複数の隣接ブロックの動き情報を対象予測ブロックの動き情報として利用する処理を説明するフローチャートの第２例である。 一実施形態に係るブロックマージングにおける動き情報の候補を説明するための模式図の第２例である。 一実施形態に係るブロックマージングにおける動き情報の候補を説明するための模式図の第３例である。 一実施形態に係る画像予測符号化方法を実行することができるプログラムを示すブロック図である。 一実施形態に係る画像予測復号方法を実行することができるプログラムを示すブロック図である。 記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。 記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。 符号化ブロックの予測ブロック分割タイプを説明するための模式図である。 画面間予測における動き推定処理（Ａ）とテンプレートマッチング処理（Ｂ）に関する模式図である。 従来の画面内予測方法を説明するための模式図である。 動き補償予測を説明するための図である。 一実施形態に係る動画像符号化装置の構成を概略的に示す図である。 小区画の生成を説明するための図である。 一実施形態に動き予測器の構成を示す図である。 一実施形態に係る動画像符号化方法のフローチャートである。 一実施形態に係る動き予測器の処理を示すフローチャートである。 対象ブロックの小区画と周囲の部分領域の一例を示す図である。 対象ブロックの小区画と周囲の部分領域の別の一例を示す図である。 対象ブロックの小区画と周囲の部分領域の更に別の例を示す図である。 対象ブロックの小区画と周囲の部分領域の更に別の例を示す図である。 対象ブロックの小区画と周囲の部分領域の更に別の例を示す図である。 一実施形態に係る動画像復号装置の構成を概略的に示す図である。 一実施形態に係る動き予測器の構成を示す図である。 一実施形態に係る動画像復号方法のフローチャートである。 一実施形態に係る動き予測器の処理を示すフローチャートである。 一実施形態に係る動画像符号化プログラムの構成を示す図である。 一実施形態に係る動画像復号プログラムの構成を示す図である。
以下、添付図面を参照しながら種々の実施形態について詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。
図１は、一実施形態に係る画像予測符号化装置１００を示すブロック図である。この画像予測符号化装置１００は、入力端子１０１、ブロック分割器１０２、予測信号生成器１０３、フレームメモリ１０４、減算器１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、量子化変換係数符号化器１１１、出力端子１１２、予測ブロック分割タイプ選択器１１３、動き情報推定器１１４、予測情報用メモリ１１５、予測情報符号化器１１６を備えている。
変換器１０６、量子化器１０７及び量子化変換係数符号化器１１１は、残差信号符号化手段として機能し、逆量子化器及び逆変換器は残差信号復元手段として機能する。また、予測ブロック分割タイプ選択器１１３と動き情報推定器１１４は、予測情報推定手段として機能し、予測情報用メモリ１１５と予測情報符号化器１１６は予測情報符号化手段として機能する。
入力端子１０１は、複数枚の画像からなる動画像の信号を入力する端子である。
ブロック分割器１０２は、入力端子１０１から入力された信号で表される、符号化処理の対象となる画像を複数の領域（符号化ブロック）に分割する。本実施形態では、符号化対象の画像を１６ｘ１６の画素からなるブロックに分割するが、それ以外の大きさ又は形状のブロックに分割してもよい。また、画面内にサイズの異なるブロックが混在してもよい。
予測ブロック分割タイプ選択器１１３は、符号化処理の対象となる対象領域（対象符号化ブロック）を予測処理が行われる予測領域に分割する。例えば、符号化ブロック毎に図２０の（Ａ）〜（Ｈ）の何れかを選択して当該符号化ブロックを小分割する。分割された領域を予測領域（予測ブロック）と呼び、図２０の（Ａ）〜（Ｈ）の各分割方法を予測ブロック分割タイプと呼ぶ。予測ブロック分割タイプの選択方法は限定されるものではない。例えば、ラインＬ１０２を経由して入力された対象符号化ブロックの信号に対して各小分割を実施し、後述する予測処理や符号化処理を実際に実施して、符号化ブロックの原信号と再生信号との間の符号化誤差信号電力と符号化ブロックの符号化に要する符号量から算出されるレート歪値が最小となる分割タイプを選択する方法などが利用できる。対象符号化ブロックの予測ブロック分割タイプはラインＬ１１３ａとラインＬ１１３ｂとラインＬ１１３ｃを経由してそれぞれ、予測情報用メモリ１１５と動き情報推定器１１４と予測信号生成器１０３に出力される。
動き情報推定器１１４は、対象符号化ブロック内の各予測ブロックの予測信号を生成するために必要な動き情報を検出する。予測信号の生成方法（予測方法）については、限定されるものではないが、背景技術で説明したような画面間予測や画面内予測（画面内予測については図示せず）が適用可能である。ここでは、図２１に示したブロックマッチングにて動き情報を検出するものと考える。予測対象の対象予測ブロックの原信号はラインＬ１０２ａ経由で入力された符号化ブロックの原信号とラインＬ１１３ｂ経由で入力された対象符号化ブロックの予測ブロック分割タイプから生成できる。この対象予測ブロックの原信号に対する絶対値誤差和が最小となる予測信号をラインＬ１０４経由で取得される画像信号から検出する。この場合、動き情報には、動きベクトル、画面間予測モード（前方向/後方向/双方向）、参照画面番号などが含まれる。検出された動き情報はラインＬ１１４を経由して、それぞれ予測情報用メモリ１１５と予測情報符号化器１１６に出力される。
予測情報用メモリ１１５は、入力された動き情報と予測ブロック分割タイプを保存する。
予測情報符号化器１１６は、各予測ブロックのブロックマージングに用いる動き情報の候補を選出すると共に、対象符号化ブロックの予測情報をエントロピー符号化し、符号化データをラインＬ１１６経由で出力端子１１２に出力する。エントロピー符号化の方法は限定されないが、算術符号化や可変長符号化などが適用できる。なお、予測情報には、対象符号化ブロックの予測ブロック分割タイプ、予測ブロックの動き情報に加えて、予測ブロックに隣接するブロックの動き情報を用いてブロックマージングを実施するためのブロックマージング情報が含まれる。予測情報符号化器１１６の処理については後述する。
予測信号生成器１０３では、ラインＬ１１４経由で入力された対象符号化ブロック内の各予測ブロックの動き情報とラインＬ１１３ｃ経由で入力された予測ブロック分割タイプに基づいて、フレームメモリ１０４から既再生信号を取得し、対象符号化ブロック内の各予測ブロックの予測信号を生成する。
予測信号生成器１０３にて生成された予測信号は、ラインＬ１０３経由で減算器１０５と加算器１１０に出力される。
減算器１０５は、ブロック分割器１０２で分割されてラインＬ１０２ｂを経由して入力された対象符号化ブロックの画素信号からラインＬ１０３を経由して入力される対象符号化ブロックに対する予測信号を減算して、残差信号を生成する。減算器１０５は、減算して得た残差信号を、ラインＬ１０５を経由して変換器１０６に出力する。
変換器１０６は、入力された残差信号を離散コサイン変換する部分である。また、量子化器１０７は、変換器１０６により離散コサイン変換された変換係数を量子化する部分である。量子化変換係数符号化器１１１は、量子化器１０７により量子化された変換係数をエントロピー符号化する。符号化データはラインＬ１１１を経由して出力端子１１２に出力される。エントロピー符号化の方法は限定されないが、算術符号化や可変長符号化などが適用できる。
出力端子１１２は、予測情報符号化器１１６及び量子化変換係数符号化器１１１から入力された情報をまとめて外部に出力する。
逆量子化器１０８は、量子化された変換係数を逆量子化する。逆変換器１０９は、逆離散コサイン変換により残差信号を復元する。加算器１１０は、復元された残差信号とラインＬ１０３経由で入力される予測信号とを加算し、対象符号化ブロックの信号を再生し、再生された信号をフレームメモリ１０４に格納する。本実施形態では、変換器１０６と逆変換器１０９とを用いているが、これらの変換器に代わる他の変換処理を用いてもよい。また、変換器１０６及び逆変換器１０９は必須ではない。このように、後続の対象符号化ブロックの予測信号生成に用いるため、符号化された対象符号化ブロックの再生信号は、逆処理にて復元されフレームメモリ１０４に記憶される。
次に、予測情報符号化器１１６の処理について説明する。予測情報符号化器１１６は、まず、各予測ブロックのブロックマージングに用いる動き情報の候補（対象予測領域の予測信号生成に用いる動き情報の候補）を対象予測ブロックに隣接するブロックの動き情報から選出する。ブロックマージングとは、対象予測ブロックの予測信号を隣接ブロックの動き情報を用いて生成することを示す。次に、予測情報符号化器１１６は、動き情報推定器１１４にて検出した動き情報と選出された動き情報の候補を比較し、ブロックマージングの実施の可否を判断する。そして、予測情報符号化器１１６は、ブロックマージングに用いる動き情報の候補の数とブロックマージングの実施の可否に応じて、ブロックマージング情報と動き情報のいずれか或いは両方を予測ブロック分割タイプと共にエントロピー符号化する。ブロックマージング情報は、隣接ブロックの動き情報を利用して対象予測ブロックの予測信号を生成するか否か、すなわちブロックマージングの実施の可否を指示するマージ識別情報（merge_flag）と対象予測ブロックに隣接する２つのブロックの動き情報のうち、いずれを用いて対象予測ブロックの予測信号を生成するかを示すマージブロック選択情報（merge_flag_left）にて構成される。
各予測ブロックのブロックマージングに用いる動き情報の候補が０個の場合にはこれら２つの情報、即ち、マージ識別情報及びマージブロック選択情報は符号化する必要がない。動き情報の候補が１個の場合には、マージ識別情報を符号化し、動き情報の候補が２個以上であり、ブロックマージングを実施する場合には、２つの情報、即ち、マージ識別情報及びマージブロック選択情報を符号化する。動き情報の候補が２個以上であっても、ブロックマージングを実施しない場合には、マージブロック選択情報の符号化は必要ない。
図３は、一実施形態の予測ブロックのブロックマージングに用いる動き情報の候補の選出処理を説明するための模式図である。図３は、図２０の（Ｂ）に示すブロック３０１と同様に、符号化ブロックを縦に２分割する（左右の二つのブロックに分割する）予測ブロック分割タイプの例を示している。以降、このブロック３０１を例に説明するが、ブロック３０２、３０４、３０５、３０６、３０７でも同様の説明が可能である。
動き情報の候補の選出は、以下の情報に基づいて実施する。
１）対象符号化ブロック内の符号化済み/復号済み予測ブロックの数
２）対象符号化ブロックの予測ブロック分割タイプ
３）対象予測ブロックに隣接するブロックの予測ブロック分割タイプ
４）対象符号化ブロック内の符号化済み/復号済み予測ブロックの動き情報
５）対象予測ブロックに隣接するブロックの動き情報と予測モード（画面内予測/画面間予測）
図３の例では、１）と２）と４）と５）の情報を用いて、ブロックマージングに用いる動き情報の候補を選出する。
まず、２）の情報より、対象符号化ブロック４００内の予測ブロックの総数が予測ブロックＴ１とＴ２の２個であり、符号化ブロックが縦に２分割されることが分かる。次の予測ブロックが予測ブロックＴ１であるか予測ブロックＴ２であるかは、１）の情報より分かる。
次の予測ブロックが予測ブロックＴ１（対象符号化ブロック内の符号化済み/復号済み予測ブロックの数が０）のときは、隣接ブロックＡと隣接ブロックＢの動き情報がブロックマージングの動き情報の候補となる（図面内の矢印は、隣接ブロックＡとＢの動き情報が、予測ブロックＴ１の予測信号の生成に用いる動き情報の候補であることを示す）。この際、隣接ブロックＡ又はＢが画面内予測にて生成されたブロックや画面外のブロックである場合には、そのブロックの動き情報をブロックマージングの動き情報の候補から除外するようにしてもよい（擬似的に動き情報をデフォルト値とすることも可能。例えば、動きベクトルを０とし、参照画面番号を０とする）。また、２つの隣接ブロックＡとＢの動き情報が一致する場合には、一方の隣接ブロックの動き情報を候補から外すようにしてもよい。
次の予測ブロックが予測ブロックＴ２（対象符号化ブロック内の符号化済み/復号済み予測ブロックの数が１個）のときは、図３の（Ａ）に示すように、隣接ブロックであるＴ１の動き情報はブロックマージングの動き情報の候補から除外される。これは、予測ブロックＴ１と予測ブロックＴ２は、本来異なる動き情報にて予測信号が生成されることを想定して２つに分割されているためである。つまり、これは、予測ブロックＴ１の動き情報と予測ブロックＴ２の動き情報が同じ動き情報となることを避けるためである。この処理により、予測ブロックＴ２のブロックマージングの動き情報が１個となるため、マージブロック選択情報の符号化に要するコストを削減できる（図面内の矢印は、隣接ブロックＤの動き情報は予測ブロックＴ２の予測信号の生成に利用可能であることを示す）。
さらに、上記４）と５）の情報に基づいて、予測ブロックＴ１と隣接ブロックＤの動き情報を比較し、予測ブロックＴ１と隣接ブロックＤの動き情報が一致する場合には、図３の（Ｂ）に示すように隣接ブロックＤの動き情報もブロックマージングの動き情報の候補から除外される。この理由は、隣接ブロックＤの動き情報を用いて予測ブロックＴ２の予測信号を生成した場合、予測ブロックＴ１とＴ２の動き情報が同じとなるためである。この処理により、予測ブロックＴ２のブロックマージングの動き情報が０個となり、マージ識別情報とマージブロック選択情報の符号化に要するコストが削減できる。
図４は、図３の処理を実現する予測情報符号化器１１６のフローチャートである。
最初に予測情報符号化器１１６は、対象符号化ブロックの予測ブロック分割タイプを符号化し、当該予測ブロック分割タイプを予測情報用メモリ１１５に保存する。同時に、予測情報符号化器１１６は、対象符号化ブロック内の予測ブロック数Ｎを符号化した予測ブロック分割タイプに基づいて設定し、対象予測ブロック番号iを0にリセットする（ステップＳ１５１）。次に、予測情報符号化器１１６は、対象予測ブロックが対象符号化ブロック内で最後に符号化される予測ブロックであり、対象符号化ブロック内の予測ブロック数が２以上であるかを判断する（ステップＳ１５２）。例えば、Ｎ＝２の場合では、i=1のとき、判定が可となり、処理はステップＳ１５７に進む。Ｎ＝４（図２０の（Ｄ））の場合では、i=3のとき、判定が可となる。判定が否の場合には、処理はステップＳ１５３に進む。図３の場合では、対象予測ブロックが予測ブロックＴ１のときには処理はステップＳ１５３に進み、予測ブロックＴ２のときには処理はステップＳ１５７に進む。
ステップＳ１５３では、マージ識別情報が符号化される。マージ識別情報は、対象予測ブロックの動き情報とブロックマージングの動き情報の候補が一致する場合には、可（merge_flag=1,動き情報の候補を用いて対象予測ブロックの予測信号を生成）となり、一致しない場合には否（merge_flag=0,符号化した動き情報を用いて対象予測ブロックの予測信号を生成）となる。次に、対象予測ブロックの動き情報とブロックマージングの動き情報の候補が一致する場合には処理はステップＳ１６４に進む。ステップＳ１６４では、予測情報符号化器１１６は、動き情報の候補が２個であるかを判定し、動き情報の候補の数が２個である場合には、マージブロック選択情報を符号化し、処理はステップＳ１５５に進む。動き情報の候補の数が１個である場合には、処理はステップＳ１６５に進む。一方、対象予測ブロックの動き情報とブロックマージングの動き情報の候補が一致しない場合には処理はステップＳ１５６に進み、予測情報符号化器１１６は、動き情報推定器１１４にて検出した動き情報を符号化し、ステップＳ１６５に進む。
ステップＳ１５７では、予測情報符号化器１１６は、対象符号化ブロックの全ての符号化済み動き情報と対象符号化ブロックに属さない隣接ブロックの動き情報が一致するかを判定する。このステップＳ１５７の説明は、Ｎ＝２の場合には、図３に示す予測ブロックＴ１と隣接ブロックＤの動き情報を比較することを意味する。また、ステップＳ１５７の説明は、Ｎ＝４（図２０の（Ｄ））の場合には、対象予測ブロックが右下の分割ブロックであり、それ以外の３つの予測ブロック（左上、右上、左下）の動き情報を比較することを意味する。判定が可（比較した動き情報が一致）の場合には、図３の（Ｂ）の例で示したように、対象予測ブロックのブロックマージングに用いる動き情報の候補の数が０個となるため、予測情報符号化器１１６は、ブロックマージング情報を送らずに、動き情報推定器１１４にて検出した動き情報を符号化し、処理はステップＳ１６５に進む（ステップＳ１６０）。一方、判定が否（比較した動き情報が不一致）の場合、処理はステップＳ１６３に進む。なお、Ｎ＝４のときは，対象符号化ブロック内の右上と左下のブロックの動き情報が対象予測ブロックの隣接ブロックとなる。そのため、３つの予測ブロック（左上、右上、左下）の動き情報が一致するときに対象予測ブロック（右下）にブロックマージングを適用することは、対象符号化ブロック内の４つの予測ブロックの予測信号が全て同じ動き情報で生成されることを意味する。そのため、Ｎ＝４で３つの予測ブロック（左上、右上、左下）の動き情報が同じ場合には，対象予測ブロック（右下）の動き情報の候補を０個とする。
ステップＳ１６３では、予測情報符号化器１１６は、対象符号化ブロックの予測ブロック分割タイプが２分割のタイプであるかを判定し、判定が否の場合には処理はステップＳ１５３に進む（以降説明を割愛）。ステップＳ１６３の判定が可の場合には処理はステップＳ１５８に進み、予測情報符号化器１１６は、マージ識別情報を符号化する。この場合には、図３の（Ａ）の例のように、対象予測ブロックのブロックマージングに用いる動き情報の候補の数が１個であるため、マージブロック選択情報の符号化は不要である。次いで、対象予測ブロックの動き情報とブロックマージングの動き情報の候補が一致する場合には、処理はステップＳ１６５に進む。対象予測ブロックの動き情報とブロックマージングの動き情報の候補が一致しない場合には、処理はステップＳ１６０に進み、予測情報符号化器１１６は、動き情報推定器１１４にて検出した動き情報を符号化し、処理はステップＳ１６５に進む。
ステップＳ１６５では、対象ブロックの動き情報を予測情報用メモリ１１５に保存する。続いて、予測情報符号化器１１６は、ステップＳ１６１にて対象符号化ブロック内のすべての予測ブロックの符号化が終了したか（i=N-1であるか）を判定し、i=N-1のときは、この対象符号化ブロックの予測情報符号化処理を終了し、i<N-1のときには、ステップＳ１６２にてiを更新し（i=i+1）、次の予測ブロックの動き情報符号化処理のためステップＳ１５２に戻る。
このように、下記の情報を用いて予測ブロックのブロックマージングに用いる動き情報の候補を事前に選出できるため、ブロックマージング情報を効率よく伝送することが可能となる。
１）対象符号化ブロック内の符号化済み/復号済み予測ブロックの数
２）対象符号化ブロックの予測ブロック分割タイプ
４）対象符号化ブロック内の符号化済み/復号済み予測ブロックの動き情報
５）対象予測ブロックに隣接するブロックの動き情報と予測モード（画面内予測/画面間予測）
図５は、本実施形態に係る画像予測符号化装置１００における画像予測符号化方法の手順を示すフローチャートである。まず、ブロック分割器１０２にて入力画像を１６ｘ１６の符号化ブロックに分割する（それ以外の大きさ又は形状のブロックに分割してもよい。また、画面内にサイズの異なるブロックが混在してもよい）。そして、予測ブロック分割タイプ選択器１１３と動き情報推定器１１４は、符号化対象となる対象符号化ブロックの予測ブロック分割タイプと各予測ブロックの動き情報を決定する（ステップＳ１０１）。次に、予測情報符号化器１１６が予測情報を符号化する（ステップＳ１０２、図４）。
次に、予測信号生成器１０３では、対象符号化ブロックの予測ブロック分割タイプと各予測ブロックの動き情報に基づいて、対象符号化ブロックの予測信号が生成され、対象符号化ブロックの画素信号と予測信号との差分を示す残差信号は、変換器１０６、量子化器１０７及び量子化変換係数符号化器１１１により変換符号化される（ステップＳ１０３）。そして、予測情報と量子化変換係数の符号化データは出力端子１１２を介して出力される（ステップＳ１０４）。
後続の対象符号化ブロックを予測符号化するため、これら処理の後に又はこれらの処理と並行して符号化された残差信号が逆量子化器１０８及び逆変換器１０９により復号される。そして、加算器１１０にて、復号された残差信号と予測信号とが加算され、対象符号化ブロックの信号が再生される。再生信号はフレームメモリ１０４に参照画面として記憶される（ステップＳ１０５）。そして、すべての対象符号化ブロックの処理が完了していない場合には処理はステップＳ１０１に戻り、次の対象符号化ブロックに対する処理が行われる。すべての対象符号化ブロックの処理が完了している場合には、処理を終了する（ステップＳ１０６）。
次に、一実施形態に係る画像予測復号について説明する。図６は、一実施形態に係る画像予測復号装置２００を示すブロック図である。この画像予測復号装置２００は、入力端子２０１、データ解析器２０２、逆量子化器２０３、逆変換器２０４、加算器２０５、出力端子２０６、量子化変換係数復号器２０７、予測情報復号器２０８、フレームメモリ１０４、予測信号生成器１０３、予測情報用メモリ１１５を備えている。
逆量子化器２０３、逆変換器２０４及び量子化変換係数復号器２０７は、残差信号復号手段として機能する。逆量子化器２０３及び逆変換器２０４による復号手段は、これらのもの以外を用いて行ってもよい。また、逆変換器２０４はなくてもよい。また、予測情報用メモリ１１５と予測情報復号器２０８は予測情報復号手段として機能する。
入力端子２０１は、上述した画像予測符号化方法で圧縮符号化された圧縮データを入力する。この圧縮データには、複数に分割された符号化ブロックについて、誤差信号を変換量子化してエントロピー符号化した量子化変換係数の情報と、ブロックの予測信号を生成するための予測情報の符号化データが含まれている。ここで予測情報には、対象符号化ブロックの予測ブロック分割タイプ、予測ブロックの動き情報に加えて、ブロックマージングの候補となる動き情報を用いてブロックマージングを実施するためのブロックマージング情報が含まれる。また、動き情報には、動きベクトル、画面間予測モード（前方向/後方向/双方向）、参照画面番号などが含まれる。
データ解析器２０２は、入力端子２０１に入力された圧縮データを解析し、復号対象の対象符号化ブロックに関して、量子化変換係数の符号化データ、予測情報の符号化データに分離して、ラインＬ２０２ａ、ラインＬ２０２ｂ経由で、それぞれ、量子化変換係数復号器２０７、予測情報復号器２０８に出力する。
予測情報復号器２０８は、各予測ブロックのブロックマージングに用いる動き情報の候補を選出すると共に、対象符号化ブロックに付随する予測情報の符号化データをエントロピー復号する。復号された予測情報はラインＬ２０８a、ラインＬ２０８ｂ経由で、それぞれ予測情報用メモリ１１５と予測信号生成器１０３に出力される。予測情報用メモリ１１５は、入力された予測情報を保存する。予測情報復号器２０８の処理については後述する。
予測信号生成器１０３では、ラインＬ２０８ａ経由で入力される対象符号化ブロックの予測情報に基づいて、フレームメモリ１０４から既再生信号を取得し、対象符号化ブロック内の各予測ブロックの予測信号を生成する。生成された予測信号はラインＬ１０３経由で加算器２０５に出力される。
量子化変換係数復号器２０７は、対象符号化ブロックにおける残差信号の量子化変換係数の符号化データをエントロピー復号し、ラインＬ２０７経由で逆量子化器２０３に出力する。
逆量子化器２０３は、ラインＬ２０７経由で入力した対象符号化ブロックの残差信号情報を逆量子化する。逆変換器２０４は、逆量子化したデータを逆離散コサイン変換する。
加算器２０５は、予測信号生成器１０３で生成された予測信号を、逆量子化器２０３および逆変換器２０４により復元された残差信号に加算して、対象符号化ブロックの再生画素信号をラインＬ２０５経由で出力端子２０６およびフレームメモリ１０４に出力する。出力端子２０６は、外部に（例えばディスプレイ）出力する。
フレームメモリ１０４は、次の復号処理のための参照用の再生画像として、加算器２０５から出力された再生画像を参照画面として記憶する。
図７は、図３の処理を実現する予測情報復号器２０８のフローチャートである。
最初に予測情報復号器２０８は、対象符号化ブロックの予測ブロック分割タイプを復号し、予測情報用メモリ１１５に保存する。同時に、予測情報復号器２０８は、復号した予測ブロック分割タイプに基づいて、対象符号化ブロック内の予測ブロック数Ｎを設定し、対象予測ブロック番号iを0にリセットする（ステップＳ２５１）。次に、予測情報復号器２０８は、対象予測ブロックが対象符号化ブロック内で最後に復号される予測ブロックであり、対象符号化ブロック内の予測ブロック数が２以上であるかを判断する（ステップＳ２５２）。例えば、Ｎ＝２の場合では、i=1のとき、判定が可となり、処理はステップＳ２５８に進む。Ｎ＝４（図２０の（Ｄ））の場合では、i=3のとき、判定が可となる。判定が否の場合には処理はステップＳ２５３に進む。図３では、対象予測ブロックが予測ブロックＴ１のとき処理はステップＳ２５３に進み、対象予測ブロックが予測ブロックＴ２のとき処理はステップＳ２５８に進む。
ステップＳ２５３では、マージ識別情報が復号される。ここで、マージ識別情報が可（merge_flag=1）であるときは、マージ識別情報は、動き情報の候補を用いて対象予測ブロックの予測信号を生成することを示す。一方、マージ識別情報が否（merge_flag=0）であるときは、復号した動き情報を用いて対象予測ブロックの予測信号を生成することを示す。次のステップＳ２５４では、予測情報復号器２０８は、マージ識別情報が動き情報の復号を指示しているか、つまりmerge_flagの値が0であるかを判定する。復号したmerge_flagの値が0の場合には、予測情報復号器２０８は、対象予測ブロックの予測信号を生成するための動き情報を復号し（ステップＳ２５７）、処理はステップＳ２６７に進む。merge_flagの値が1の場合には、予測情報復号器２０８は、ステップＳ２６６において、ブロックマージングに用いる動き情報の候補の数が２個であるかを判定し、候補の数が２個の場合にはマージブロック選択情報を復号し、処理はステップＳ２５６に進む（ステップＳ２５５）。対象予測ブロックのブロックマージングに用いる動き情報の候補の数が１個の場合には、処理はステップＳ２５６に進む。ステップＳ２５６では、動き情報の候補の数が１個の場合には、予測情報復号器２０８は、その動き情報を対象予測ブロックの動き情報に決定する。動き情報の候補の数が２個の場合には、予測情報復号器２０８は、マージブロック選択情報にて指示される隣接ブロックの動き情報を対象予測ブロックの動き情報に決定する。
ステップＳ２５８では、予測情報復号器２０８は、対象符号化ブロックの全ての復号済み動き情報と対象符号化ブロックに属さない隣接ブロックの動き情報が一致するかを判定する。このステップＳ２５８の説明は、Ｎ＝２の場合には、図３に示す予測ブロックＴ１と隣接ブロックＤの動き情報を比較することを意味する。また、このステップＳ２５８の説明は、Ｎ＝４（図２０の（Ｄ））の場合には、対象予測ブロックが右下の分割ブロックであり、それ以外の３つの予測ブロック（左上、右上、左下）の動き情報を比較することを意味する。判定が可（比較した動き情報が一致）の場合には、図３の（Ｂ）の例で示したように、対象予測ブロックのブロックマージングに用いる動き情報の候補の数が０個となるため、予測情報復号器２０８は、ブロックマージング情報を復号せずに、対象予測ブロックの予測信号生成に用いる動き情報を復号し、処理はステップＳ２６７に進む（ステップＳ２６２）。一方、判定が否（比較した動き情報が不一致）の場合、処理はステップＳ２６５に進む。なお、Ｎ＝４のときは、対象符号化ブロック内の、右上と左下のブロックの動き情報が対象予測ブロックの隣接ブロックとなる。そのため、３つの予測ブロック（左上、右上、左下）の動き情報が一致するときに対象予測ブロック（右下）にブロックマージングを適用することは、対象符号化ブロック内の４つの予測ブロックの予測信号が全て同じ動き情報で生成されることを意味する。そのため、Ｎ＝４で３つの予測ブロック（左上、右上、左下）の動き情報が同じ場合には、対象予測ブロック（右下）の動き情報の候補を０個とする。
ステップＳ２６５では、予測情報復号器２０８は、対象符号化ブロックの予測ブロック分割タイプが２分割のタイプであるかを判定し、判定が否の場合には処理はステップＳ２５３に進む（以降説明を割愛）。ステップＳ２６５の判定が可の場合には処理はステップＳ２５９に進み、予測情報復号器２０８はマージ識別情報を復号する。この場合、図３の（Ａ）の例のように、対象予測ブロックのブロックマージングに用いる動き情報の候補の数が１個であるため、マージブロック選択情報の復号は不要である。
次のステップＳ２６０では、予測情報復号器２０８は、マージ識別情報が動き情報の復号を指示しているか、つまりmerge_flagの値が0であるかを判定する。復号したmerge_flagの値が0の場合には、予測情報復号器２０８は、対象予測ブロックの予測信号を生成するための動き情報を復号し（ステップＳ２６２）、処理はステップＳ２６７に進む。merge_flagの値が1の場合には、処理はステップＳ２６１に進む。ステップＳ２６１では、動き情報の候補が１個であるため、図３の（Ａ）に示すように、予測情報復号器２０８は、隣接ブロックＤの動き情報を対象予測ブロックの動き情報に決定し、処理はステップＳ２６７に進む。
ステップＳ２６７では、復元した予測ブロックの動き情報を予測情報用メモリ１１５に保存する。続いて、ステップＳ２６３にて、予測情報復号器２０８は、対象符号化ブロック内のすべての予測ブロックの復号が終了したか（i=N-1であるか）を判定し、i=N-1のときは、この対象符号化ブロックの予測情報復号処理を終了し、i<N-1のときには、ステップＳ２６４にてiを更新し（i=i+1）、次の予測ブロックの動き情報復号処理のためステップＳ２５２に戻る。
次に、図８を用いて、図６に示す画像予測復号装置２００における画像予測復号方法を説明する。まず、入力端子２０１を介して、圧縮データが入力される（ステップＳ２０１）。そして、データ解析器２０２にて圧縮データのデータ解析を行い、復号対象の対象領域に関する予測情報と量子化変換係数の符号化データを抽出する。予測情報は予測情報復号器２０８にて復号される（Ｓ２０３）。
その後、復元された予測情報に基づいて、予測信号生成器１０３が対象符号化ブロックの予測信号を生成する（Ｓ２０４）。
量子化変換係数復号器２０７にて復号された量子化変換係数は、逆量子化器２０３において逆量子化され、逆変換器２０４において逆変換が行われ、再生残差信号が生成される（Ｓ２０５）。そして、生成された予測信号と再生残差信号とが加算されることで再生信号が生成され、この再生信号が次の対象符号化ブロックを再生するためにフレームメモリ１０４に格納される（ステップＳ２０６）。次の圧縮データがある場合には、Ｓ２０４〜Ｓ２０６のプロセスを繰り返し（Ｓ２０７）、全データが最後まで処理される。
ここまでは、予測ブロックに隣接する隣接ブロックの数は２個以下の例で説明してきたが、次に、予測ブロックの上と左のブロック境界に接する隣接ブロックの数が３個以上の場合に注目する。
図３の例では、予測ブロックに接する隣接ブロックは２個であったが、符号化ブロックとその隣接ブロックの予測ブロック分割タイプの組み合わせによっては、予測ブロックが２つ以上の隣接ブロックと接する場合も発生する。図９は予測ブロックに３つの隣接ブロックが接する場合の例を示している。ここでは図２０のブロック３０１を例に説明するが、ブロック３０２、３０４、３０５、３０６、３０７でも同様の説明が可能である。
図９の（Ａ）と（Ｂ）では、対象符号化ブロック４００が当該ブロック４００を縦に２分割した２つの予測ブロックを有しているのに対して、予測ブロックＴ１の左辺に接するブロック４０１は横に２分割（上下の二つのブロックに分割）されている。そのため、予測ブロックＴ１は３個の隣接ブロックＡとＢとＣに接する。この場合、対象予測ブロックの左上頂点に接する２つの隣接ブロックＡとＢを代表とするように符号化側と復号側で予め決めておけば、隣接ブロックの数が必ず２個に限定できるため、上記で説明した手法が利用できる。
一方、図９の（Ｂ）に示すように、予測ブロックＴ１を隣接ブロック４０１の予測ブロック分割タイプに併せて仮想的に横に２分割する手法も利用できる。この場合、対象予測ブロックＴ１をＴ１ａとＴ１ｂに分割し、隣接ブロックＡとブロックＣに属する２つの動き情報を用いてブロックＴ１ａの予測信号とＴ１ｂの予測信号をそれぞれ生成する。
この際、マージブロック選択情報の選択候補を、図９の（Ａ）の隣接ブロックＢの動き情報と、図９の（Ｂ）の隣接ブロックＡとＣの動き情報の組み合わせの２つとすれば、ブロックマージング情報の構成を変更することなく、効率良くマージブロック選択情報が符号化できる。
一方、マージブロック選択情報にて図９の（Ａ）と図９の（Ｂ）のいずれかを識別し、図９の（Ｂ）を選択した場合には、さらに仮想ブロック毎に第２のマージ識別情報を伝送し、隣接ブロックの動き情報で仮想ブロックの予測信号を生成するか、動き情報を符号化/復号するかを識別するようにしてもよい。
なお、予測ブロックＴ１を分割せずに、予測ブロックＴ１におけるマージブロック選択情報の選択候補を隣接ブロックＡとＢとＣの３個の動き情報とし、Ｔ１の予測信号の生成に用いる動き情報を３個から選択するようにしてもよいが、この場合には下記の変更が必要である。
１．図４のステップＳ１６４と図７のステップＳ２６６の前に、「隣接ブロックの予測ブロック分割タイプを取得し、予測ブロックの隣接するブロックの数を導出する」フローを追加。
２．図４のステップＳ１６４と図７のステップＳ２６６を「選択候補の動き情報が２個以上」に変更。
３．マージブロック選択情報は３個以上の候補から１個を選択する情報に拡張。
この図９の（Ａ）と（Ｂ）に示すブロックマージングの処理は図７のステップＳ２５６を図１１に示す処理に拡張することにより実現できる。まず、ステップＳ２５６ａにて、対象予測ブロックに接する符号化ブロックの予測ブロック分割タイプを取得する。次にステップＳ２５６ｂにて、復号されたマージブロック選択情報が指示するブロック境界に隣接する予測ブロックの数Ｍを、取得した予測ブロック分割タイプから導出する。例えば、図９の（Ｂ）では、Ｍ＝２となる。さらにステップＳ２５６ｃでは、Ｍの値が１より大きいかどうかを判断する（M>1）。Ｍ＞１の場合には、対象予測ブロックをＭ個の仮想ブロックに分割し、Ｍ個の隣接ブロックの動き情報を分割したＭ個の仮想ブロックに設定する（追加で、仮想ブロック毎にマージ識別情報を送り、動き情報を復号するか否かを判定してもよい）。Ｍ＝１の場合には、対象予測ブロックの動き情報に、ブロックマージングの候補となる隣接ブロックの動き情報を設定する。
このように図７と図１１によれば、図９の例における動き情報の候補の選出は、以下の情報に基づいて実施される。
１）対象符号化ブロック内の符号化済み/復号済み予測ブロックの数
２）対象符号化ブロックの予測ブロック分割タイプ
３）対象予測ブロックに隣接するブロックの予測ブロック分割タイプ
このように、動き情報の候補が３個以上となるケースでは、図３の例による動き情報の候補の選出の際には用いていない３）の情報が利用される。
図９の（Ｃ）は、予測ブロック４００の左辺に隣接するブロックが非対称に２分割されている例を示している。この場合でも、予測ブロックＴ１を隣接ブロック４０１の予測ブロック分割タイプに併せて仮想的に横に２分割する（ブロックＴ１ａ及びＴ１ｂに分割する）手法が利用できる。つまり、図９の（Ｃ）の隣接ブロックＡとＣの動き情報の組み合わせを予測ブロックＴ１のブロックマージングの動き情報の候補として、対象予測ブロックＴ１の予測信号を生成できる。
また、図９の（Ｄ）〜（Ｆ）に示すように符号化ブロックの予測ブロック分割タイプが図２０のブロック３００に示すように予測ブロック数が１個のタイプである場合でも、隣接ブロック４０１の予測ブロック分割タイプに併せて予測ブロックＴ１（ブロック４００）を仮想的に横分割（縦方向に並ぶ複数のブロックに分割）して予測信号を生成する手法が利用できる。さらに図示しないが、隣接ブロック４０２が縦分割（横方向に並ぶ複数のブロックに分割）されている場合には、隣接ブロック４０２の予測ブロック分割タイプに併せて予測ブロックＴ１（ブロック４００）を仮想的に縦分割して予測信号を生成する手法が利用できる。
なお、予測ブロックに隣接するブロックに画面内予測ブロック（intra）が含まれる場合でも、予めルールを定めておく事により、予測ブロックを仮想分割して予測信号を生成する手法が利用できる。図１０の（Ａ）〜（Ｆ）は、予測ブロックの左辺に接する複数の隣接ブロックＡとＣとＥとＧに画面内予測ブロック（intra）が含まれる場合の例を示している。隣接ブロックの予測ブロック分割タイプと予測情報に含まれる予測モード（画面間/画面内）に基づいて、隣接ブロックの画面内予測ブロックを動き情報を伴う画面間予測ブロックに仮想的に統合する（図面の太線）。この例では、画面内予測ブロックは、隣接ブロックの左上頂点に近く且つ距離の近い画面間予測ブロックに仮想的に統合される。その結果、予測ブロックＴ１は、図１０の（Ａ）〜（Ｆ）に示すように、隣接ブロック内の画面間予測ブロックの数に応じて仮想的に分割される。このように、隣接ブロックに画面内予測ブロック（intra）が含まれる場合でも、隣接ブロック内の画面間予測ブロックの動き情報を用いてブロックマージングによる予測信号の生成が実施できる。
なお、隣接ブロックの画面内予測ブロックを画面間予測ブロックに統合するルールは限定されない。このような複数のルールを用意し、フレーム毎やスライス毎にルールを選択して符号化するようにしてもよい。
この場合、動き情報の候補の選出は、以下の情報に基づいて実施される。
１）対象符号化ブロック内の符号化済み/復号済み予測ブロックの数
２）対象符号化ブロックの予測ブロック分割タイプ
３）対象予測ブロックに隣接するブロックの予測ブロック分割タイプ
５）対象予測ブロックに隣接するブロックの予測モード（画面内予測/画面間予測）
図１２は、符号化ブロック４００と隣接ブロック４０２が同様に縦に２分割されているが、分割形状が異なる場合の例を示している。この例でも、図１２の（Ａ）の予測ブロックＴ１（ブロックＴ１ａ及びＴ１ｂを含むブロック）と図１２の（Ｂ）の予測ブロックＴ２（ブロックＴ２ａ及びＴ２ｂを含むブロック）が３個の隣接ブロックを有する。図１２の（Ａ）のＴ１については、図１１の処理フローを図７のステップＳ２５６に適用することにより、予測ブロックＴ１を仮想的に縦に２分割したＴ１ａとＴ１ｂに、それぞれブロックＢａとＢｂの動き情報を設定したブロックマージングを実施することが可能となる。また、図１２の（Ｂ）のＴ２については、次に説明する図１３の処理フローを図７のステップＳ２６１に適用することで、予測ブロックＴ２を仮想的に縦に２分割したＴ２ａとＴ２ｂに、それぞれブロックＢａとＢｂの動き情報を設定したブロックマージングを実施することが可能となる。この際、仮想ブロック毎に第２のマージ識別情報を伝送し隣接ブロックの動き情報で仮想ブロックの予測信号を生成するか、動き情報を符号化/復号するかを識別するようにしてもよい。
なお、予測ブロックＴ２を分割せずに、予測ブロックＴ２のブロックマージングに用いる動き情報の候補をブロックＢａの動き情報とブロックＢｂの動き情報の２個とし、ブロックＢａの動き情報及びブロックＢｂの動き情報のうち一つをＴ２の予測信号の生成に用いる動き情報として選択するようにしてもよいが、その場合には、図７のフローを下記のように拡張する必要がある。
１．図４のステップＳ１５８と図７のステップＳ２５９の後に、「隣接ブロックの予測ブロック分割タイプを取得し、予測ブロックに隣接するブロックの数を導出する」フローを追加。
２．図４のステップＳ１５９と図７のステップＳ２６０を「選択候補の動き情報が２個以上」に変更。
３．図４のステップＳ１５９と図７のステップＳ２６０の後にブロック選択情報の符号化/復号を行うステップを追加。
以下、図１３のフローについて説明する。図１３では、まず、ステップＳ２６１ａにて、対象予測ブロックに接する符号化ブロックの予測ブロック分割タイプを取得する。次にステップＳ２６１ｂにて、対象符号化ブロックに属さない隣接ブロックが接するブロック境界に隣接する予測ブロックの数Ｍを、取得した予測ブロック分割タイプから導出する。例えば、図１２の（Ｂ）に示す場合では、Ｍ＝２となる。さらに、ステップＳ２６１ｃでは、Ｍの値が１より大きいか否かを判断する（Ｍ＞１）。Ｍ＞１の場合には、対象予測ブロックをＭ個の仮想ブロックに分割し、Ｍ個の隣接ブロックの動き情報を、分割したＭ個の仮想ブロックに設定する（追加で、仮想ブロック毎にマージ識別情報を送り、動き情報を復号するか否かを判定してもよい）。Ｍ＝１の場合には、対象予測ブロックの動き情報としてブロックマージングの候補となる隣接ブロックの動き情報を設定する。
このように図１２と図１３によれば、図１１の例における動き情報の候補の選出は、以下の情報に基づいて実施される。
１）対象符号化ブロック内の符号化済み/復号済み予測ブロックの数
２）対象符号化ブロックの予測ブロック分割タイプ
３）対象予測ブロックに隣接するブロックの予測ブロック分割タイプ
なお、図１１では、縦分割の例を説明したが、図２０のブロック３０６と３０７のように横分割（縦方向に並ぶ複数のブロックに分割）の例にも同様の処理が適用できる。
さらに下記の変形が可能である。
（動き情報の候補）
上述の説明では、予測ブロックの上辺と左辺に接するブロックの動き情報をブロックマージングの候補としているが、図１４の（Ａ）及び（Ｂ）並びに図１５の（Ａ）に示すように、対象符号化ブロックと隣接ブロックの予測ブロック分割タイプに基づいて、制限をかけることも可能である。図１４の（Ａ）と（Ｂ）は、２つの隣接ブロックが存在する場合に、予測ブロックの上辺と左辺のうち２個以上の隣接ブロックが接する辺の隣接ブロックの動き情報をブロックマージングの候補から除外する例を示している。この場合、マージブロック選択情報の符号化は不要となるため、付加情報が削減できる。図１４の（Ａ）の予測ブロックＴ１と図１４の（Ｂ）の予測ブロックＴ１のブロックマージングに用いる動き情報の候補は、それぞれブロックＢとブロックＡの動き情報に確定する。
図１５の（Ａ）は、対象符号化ブロックの予測ブロック分割タイプにより、予測ブロックＴ１とＴ２のブロックマージングに用いる動き情報の候補を自動的に選出する手法を示している。
図１５の（Ｂ）は、対象符号化ブロックの予測ブロック分割タイプと対象符号化ブロック内の符号化/復号済みブロックの数に応じて、ブロックマージングを適用する予測ブロックを制限する例を示している。図３に示す例では、ブロックＴ１とブロックＤの動き情報が一致する場合に、ブロックＴ２のブロックマージングに用いる動き情報の候補からブロックＤの動き情報を除外しているが、図１５の（Ａ）に示す例では、ブロックＴ１とブロックＤの動き情報を比較することなく、対象符号化ブロック内の符号化/復号済み予測ブロックの数により、ブロックＤをブロックマージングの候補から除外している。このように、対象符号化ブロックにて符号化する動きベクトルの数により、ブロックマージングを適用する予測ブロックを制限してもよい。
さらに、予測ブロックの左上端に接する２つの隣接ブロックのブロックサイズと予測ブロックのブロックサイズによって、制限をかけることも可能である。例えば、対象予測ブロックの左辺に接する隣接ブロックの右辺のサイズが、予め設定した大きさ（例えば、予測ブロックの左辺の幅の半分や１／４）より小さい場合には、その隣接ブロックの動き情報を対象予測ブロックのブロックマージングの候補から除外することも可能である。
このように、動き情報の候補を制限することにより、ブロックマージング情報の符号量が削減できる。
（動き情報の候補の選出）
動き情報の候補の選出は、以下の情報に基づいて実施するが、その利用方法は上記で説明した方法に限定されない。これらの情報を用いて動き情報の候補を選出する手段は図１並びに図６の構成にて実施できる。
１）対象符号化ブロック内の符号化済み/復号済み予測ブロックの数
２）対象符号化ブロックの予測ブロック分割タイプ
３）対象予測ブロックに隣接するブロックの予測ブロック分割タイプ
４）対象符号化ブロック内の符号化済み/復号済み予測ブロックの動き情報
５）対象予測ブロックに隣接するブロックの動き情報と予測モード（画面内予測/画面間予測）
（予測ブロックの符号化）
上述した説明では、符号化ブロック内の予測ブロックの符号化/復号は、ラスタスキャン順で実施しているが、上に説明したブロックマージングに利用する動き情報の候補の選出は、任意の順序で予測ブロックが符号化/復号される場合にも適用可能である。例えば、図３の例で、対象符号化ブロック４００の予測ブロックＴ２を先に符号化/復号する場合には、予測ブロックＴ２の動きベクトルは、予測ブロックＴ１のブロックマージングに用いる動き情報の候補には含めない。
（ブロックの形状）
上述した説明では、符号化ブロック内の部分領域は常に矩形であったが、任意の形状であってもよい。この場合、符号化ブロックの予測情報に形状情報を含めてもよい。
（変換器、逆変換器）
残差信号の変換処理は、固定のブロックサイズで行っても良いし、部分領域にあわせて対象領域を再分割して変換処理を行ってもよい。
（予測情報）
上述した説明では、予測信号の生成方法を画面間予測（動きベクトルと参照画面情報を利用する予測）として説明したが、予測信号の生成方法はこれに限定されない。画面内予測や、輝度補償などを含む予測方法にも上述した予測信号生成処理は適用可能である。この場合、モード情報や輝度補償パラメータなどが予測情報に含まれる。
図１０では、隣接ブロック内の画面内予測ブロックを画面間予測ブロックに仮想的に統合するが、隣接ブロックの予測モードに関わらず、予測ブロックを仮想的に分割し、画面内予測にて予測ブロック内の部分信号を予測するようにしてもよい。
（色信号）
上述した説明では、色フォーマットについては特に述べていないが、色信号あるいは色差信号についても、輝度信号と個別に予測信号の生成処理を行ってもよい。また、輝度信号の処理と連動して予測信号の生成処理を行ってもよい。
（ブロックノイズ除去処理）
上述した説明では述べていないが、再生画像に対してブロックノイズ除去処理を行う場合には、部分領域の境界部分に対してノイズ除去処理を行うとよい。図９、図１０、図１２に示した例において予測ブロックを仮想的に分割する場合には、仮想的に分割したブロックの境界にもブロックノイズ除去処理を適用してもよい。
本実施形態に係る画像予測符号化方法及び画像予測復号方法を、プログラムとして記録媒体に格納して提供することもできる。記録媒体としては、フロッピーディスク（登録商標）、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体、あるいは半導体メモリ等が例示される。
図１６は、画像予測符号化方法を実行することができるプログラムのモジュールを示すブロック図である。画像予測符号化プログラムＰ１００は、ブロック分割モジュールＰ１０１、動き情報推定モジュールＰ１０２、予測信号生成モジュールＰ１０３、記憶モジュールＰ１０４、減算モジュールＰ１０５、変換モジュールＰ１０６、量子化モジュールＰ１０７、逆量子化モジュールＰ１０８、逆変換モジュールＰ１０９、加算モジュールＰ１１０、量子化変換係数符号化モジュールＰ１１１、予測分割タイプ選択モジュールＰ１１２、予測情報記憶モジュールＰ１１３、及び予測情報符号化モジュールＰ１１４を備えている。上記各モジュールがコンピュータで実行されることにより実現される機能は、上述した画像予測符号化装置１００の機能と同じである。すなわち、ブロック分割モジュールＰ１０１、動き情報推定モジュールＰ１０２、予測信号生成モジュールＰ１０３、記憶モジュールＰ１０４、減算モジュールＰ１０５、変換モジュールＰ１０６、量子化モジュールＰ１０７、逆量子化モジュールＰ１０８、逆変換モジュールＰ１０９、加算モジュールＰ１１０、量子化変換係数符号化モジュールＰ１１１、予測分割タイプ選択モジュールＰ１１２、予測情報記憶モジュールＰ１１３、予測情報符号化モジュールＰ１１４は、ブロック分割器１０２、動き情報推定器１１４、予測信号生成器１０３、フレームメモリ１０４、減算器１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、量子化変換係数符号化器１１１、予測ブロック分割タイプ選択器１１３、予測情報用メモリ１１５、予測情報符号化器１１６とそれぞれ同様の機能をコンピュータに実行させる。
また、図１７は、画像予測復号方法を実行することができるプログラムのモジュールを示すブロック図である。画像予測復号プログラムＰ２００は、量子化変換係数復号モジュールＰ２０１、予測情報復号モジュールＰ２０２，予測情報記憶モジュールＰ１１３、逆量子化モジュールＰ２０６、逆変換モジュールＰ２０７、加算モジュールＰ２０８、予測信号生成モジュールＰ１０３及び記憶モジュールＰ１０４を備えている。
上記各モジュールが実行されることにより実現される機能は、上述した画像予測復号装置２００の各構成要素と同じである。すなわち、量子化変換係数復号モジュールＰ２０１、予測情報復号モジュールＰ２０２，予測情報記憶モジュールＰ１１３、逆量子化モジュールＰ２０６、逆変換モジュールＰ２０７、加算モジュールＰ２０８、予測信号生成モジュールＰ１０３、記憶モジュールＰ１０４は、量子化変換係数復号器２０７、予測情報復号器２０８、予測情報用メモリ１１５、逆量子化器２０３、逆変換器２０４、加算器２０５、予測信号生成器１０３、フレームメモリ１０４と、それぞれ同様の機能をコンピュータに実行させる。
このように構成された画像予測符号化プログラムＰ１００または画像予測復号プログラムＰ２００は、記録媒体ＳＭに記憶され、後述するコンピュータで実行される。
図１８は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図１９は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。なお、記録媒体に記憶されたプログラムを実行するものはコンピュータに限定されず、ＣＰＵを具備しソフトウエアによる処理や制御を行なうＤＶＤプレーヤ、セットトップボックス、携帯電話などでもよい。
図１９に示すように、コンピュータＣ１０は、フロッピーディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読取装置Ｃ１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）Ｃ１４と、記録媒体ＳＭに記憶されたプログラムを記憶するメモリＣ１６と、ディスプレイといった表示装置Ｃ１８と、入力装置であるマウスＣ２０及びキーボードＣ２２と、データ等の送受を行うための通信装置Ｃ２４と、プログラムの実行を制御するＣＰＵ Ｃ２６とを備えている。コンピュータＣ１０は、記録媒体ＳＭが読取装置Ｃ１２に挿入されると、読取装置Ｃ１２から記録媒体ＳＭに格納された画像予測符号化・復号プログラムにアクセス可能になり、当該画像符号化又は復号プログラムによって、本実施形態に係る画像符号化装置又は画像復号装置として動作することが可能になる。
図１８に示すように、画像予測符号化プログラム及び画像復号プログラムは、搬送波に重畳されたコンピュータデータ信号ＣＷとしてネットワークを介して提供されるものであってもよい。この場合、コンピュータＣ１０は、通信装置Ｃ２４によって受信した画像予測符号化プログラムもしくは画像復号プログラをメモリＣ１６に格納し、当該画像予測符号化プログラムもしくは画像予測復号プログラムを実行することができる。
以下、更に別の実施形態について説明する。図２４は、一実施形態に係る動画像符号化装置の構成を概略的に示す図である。図２４に示す動画像符号化装置１０は、ブロック分割器５０１、小区画生成器５０２、フレームメモリ５０３、動き検出器５０４、予測信号生成器５０５、動き予測器５０６、減算器５０７、残差信号生成器５０８、変換器５０９、量子化器５１０、逆量子化器５１１、逆変換器５１２、加算器５１３、及び、エントロピー符号化器５１４を備えている。この動画像符号化装置１０に入力される入力映像信号（動画像信号）は、フレーム単位の画像信号（以下、フレーム画像信号）の時間系列で構成されている。
ブロック分割器５０１は、ラインＬ５０１経由で入力された入力映像信号から符号化処理の対象となるフレーム画像信号、即ち入力画像を順次選択する。ブロック分割器５０１は、入力画像を複数の区画、即ちブロックに分割する。ブロック分割器５０１は、複数のブロックを、符号化処理の対象ブロックとして順次選択して、当該対象ブロックの画素信号（以下、対象ブロック信号）を、ラインＬ５０２経由で、出力する。
動画像符号化装置１０では、ブロック単位で以下の符号化処理が行われる。なお、ブロック分割器５０１は、例えば、入力画像を８×８の画素の複数のブロックに分割し得る。しかしながら、ブロックの大きさ及び形状は任意のものであってもよい。ブロックは、例えば３２×１６の画素のブロック、１６×６４の画素のブロックであってもよい。
小区画生成器５０２は、ラインＬ５０２経由で入力される対象ブロックを複数の小区画に区切る。図２５は、小区画の生成を説明するための図である。図２５に示すように、小区画生成器５０２は、式（１）の１次式で記載される直線Ｌｎによって対象ブロックＰを二つの小区画ＳＰ１及びＳＰ２に区切る。
ｙ＝ｍｘ＋ｋ・・・（１）
例えば、小区画生成器５０２は、パラメータｍ及びｋを変更しつつ、小区画ＳＰ１の予測信号及び小区画ＳＰ２の予測信号を求め、小区画ＳＰ１の予測信号と小区画ＳＰ１の画像信号との間の誤差、及び、小区画ＳＰ２の予測信号と小区画ＳＰ２の画像信号との間の誤差を最小とするｍ及びｋを、直線Ｌｎのパラメータとして決定することができる。
小区画生成器５０２は、対象ブロックＰ内の小区画の形状を特定するための形状情報、即ち、第１小区画ＳＰ１と第２小区画ＳＰ２の形状を特定するための形状情報として、決定した式（１）におけるパラメータｍ及びｋを、ラインＬ５０４経由で出力する。
なお、直線Ｌｎを表す１次式は任意のものであってもよい。例えば、直線Ｌｎは、式（２）に示すように表現されてもよい。
ｙ＝−ｘ／ｔａｎθ＋ρ／ｓｉｎθ・・・（２）
この場合には、形状情報は、θとρである。
また、形状情報は、直線Ｌｎが通る任意の２点、例えば直線とブロックＰの境界との交点を示す情報であってもよい。また、ブロックは必ずしも直線で区切られる必要はなく、予め用意された複数のパターンの中から選択されるパターンに基づき、小区画が生成されてもよい。この場合には、選択されたパターンを特定するインデックスといった情報が形状情報として利用され得る。
以下の説明では、対象ブロックの最も左上の位置が原点となるように座標を設定し、対象ブロックＰ内の最も左上の画素を含む小区画を第１小区画、他方を第２小区画という。しかしながら、任意の方法、例えば対象ブロック内の中心の位置を含まない小区画を第１小区画、他方を第２小区画としてもよい。この場合には、形状情報はブロック境界の交点情報やパターンの識別情報としてもよい。
フレームメモリ５０３は、ラインＬ５０５経由で入力される既再生の画像信号、即ち、過去に符号化済みのフレーム画像信号（以下、参照フレーム画像信号）を格納する。また、フレームメモリ５０３は、ラインＬ５０６経由で参照フレーム画像信号を出力する。
動き検出器５０４は、ラインＬ５０２を介して入力される対象ブロック信号と、ラインＬ５０４を介して入力されるブロックの形状情報と、ラインＬ５０６を介して入力される参照フレーム画像信号を受け取る。動き検出器５０４は、参照フレーム画像信号の所定範囲内の画像信号から、処理対象の小区画の画像信号に類似した信号を探索し、動きベクトルを算出する。この動きベクトルは、処理対象の小区画の画像信号に類似した画素信号を有する参照フレーム画像信号内の領域と対象ブロックとの間の空間的な変位量である。動き検出器５０４は、算出した動きベクトルを、ラインＬ５０７経由で出力する。
なお、動き検出器５０４は、同時に、対象ブロックについても動きベクトルを検出し、対象ブロックを二つの小区画に区切って予測信号を生成するか否かを判断してもよい。この判断は、対象ブロックの予測信号と対象ブロックの画像信号との間の誤差が、当該対象ブロックを二つの小区画に区切って生成した予測信号と二つの小区画の画像信号との間の誤差より小さい場合には、対象ブロックを小区画に区切らないという判断をなすものであってもよい。このような判断を行う場合には、判断の結果を示す情報を区画可否情報として符号化し、区画可否情報が対象ブロックを小区画に区切ることを示しているときにのみ、形状情報を符号化し得る。
予測信号生成器５０５は、ラインＬ５０６経由で入力される参照フレーム画像信号の所定範囲内の画像信号から、ラインＬ５０７経由で入力される動きベクトルとラインＬ５０４経由で入力されるブロックの形状情報に基づいて、処理対象の小区画の画像信号の予測信号を生成する。
予測信号生成器５０５は、対象ブロック内の各小区画の予測信号を合成することにより、当該対象ブロックの予測信号を生成する。予測信号生成器５０５は、生成した予測信号を、ラインＬ５０８経由で出力する。なお、予測信号は、画面間予測に代えて画面内予測によって生成されてもよい。
動き予測器５０６は、ラインＬ５０４経由で入力されるブロックの形状情報、ラインＬ５０７経由で入力された動きベクトル、及び、処理対象の小区画よりより順で前のブロック又は小区画である処理済みの部分領域の動きベクトルに基づいて、対象ブロック内の処理対象の小区画の予測動きベクトルを生成する。動き予測器５０６は、生成した予測動きベクトルを、ラインＬ５０９経由で出力する。
動き予測器５０６は、複数の予測動きベクトルの候補から一つの予測動きベクトルを選択し得る。この場合に、動き予測器５０６は、選択した一つの予測動きベクトルを特定する指示情報もラインＬ５１０経由で出力する。なお、復号側と共有した所定の規則に従い処理対象の小区画の予測動きベクトルの候補を一つに絞り込むことにより、指示情報の出力は省略することもできる。
減算器５０７はラインＬ５０７経由で入力される処理対象の小区画の動きベクトルから、ラインＬ５０９経由で入力される予測動きベクトルを減算して、差分動きベクトルを生成する。減算器５０７は、生成した差分動きベクトルを、ラインＬ５１１経由で出力する。
残差信号生成器５０８は、ラインＬ５０２経由で入力された対象ブロック信号から、ラインＬ５０８経由で入力された対象ブロックの予測信号を減算して、残差信号を生成する。残差信号生成器５０８は、生成した残差信号を、ラインＬ５１２経由で出力する。
変換器５０９は、ラインＬ５１２経由で入力された残差信号を直交変換することにより変換係数を生成する。変換器５０９は、生成した変換係数をラインＬ５１３経由で出力する。この直交変換には、例えば、ＤＣＴを用いることができる。しかしながら、変換器５０９によって用いられる変換には、任意の変換を用いることができる。
量子化器５１０は、ラインＬ５１３経由で入力された変換係数を量子化することにより量子化変換係数を生成する。量子化器５１０は、生成した量子化変換係数を、ラインＬ５１４経由で出力する。
逆量子化器５１１は、ラインＬ５１４経由で入力された量子化変換係数を逆量子化することにより逆量子化変換係数を生成する。逆量子化器５１１は、生成した逆量子化変換係数をラインＬ５１５経由で出力する。
逆変換器５１２は、ラインＬ５１５で経由して入力された逆量子化変換係数を逆直交変換することにより再生残差信号を生成する。逆変換器５１２は、生成した再生残差信号をラインＬ５１６経由で出力する。逆変換器５１２によって用いられる逆変換は、変換器５０９の変換と対称な処理である。
なお、変換は必須ではなく、動画像符号化装置は、変換器５０９及び逆変換器５１２を備えていなくてもよい。同様に量子化は必須ではなく、動画像符号化装置は、量子化器５１０及び逆量子化器５１１を備えていなくてもよい。
加算器５１３は、ラインＬ５１６経由で入力された再生残差信号と、ラインＬ５０８経由で入力された対象ブロックの予測信号とを加算することにより、再生画像信号を生成する。加算器５１３は、再生画像信号を既再生の画像信号としてラインＬ５０５経由で出力する。
エントロピー符号化器５１４は、ラインＬ５１４経由で入力される量子化変換係数と、ラインＬ５０４経由で入力される対象ブロックの形状情報と、ラインＬ５１０経由で入力される予測動きベクトルの指示情報と、ラインＬ５１１経由で入力される差分動きベクトルと、を符号化する。また、エントロピー符号化器５１４は、符号化により生成した符号を多重化することにより圧縮ストリームを生成し、当該圧縮ストリームをラインＬ５１７に出力する。
エントロピー符号化器５１４は、算術符号化、ランレングス符号化といった任意の符号化方法を用いることができる。また、エントロピー符号化器５１４はラインＬ５０４を経由して入力される対象ブロックの形状情報に基づいて、ラインＬ５１０を経由して入力される予測動きベクトルの指示情報を算術符号化する際の生起確率を適応的に決定し得る。例えば、エントロピー符号化器５１４は、処理対象の小区画と接している部分領域の動きベクトルを指示する指示情報の生起確率を高く設定し得る。
図２６は、一実施形態に動き予測器の構成を示す図である。図２６に示すように、動き予測器５０６は、動きベクトルメモリ５０６１、動き参照先候補生成器５０６２、及び予測動きベクトル生成器５０６３、を有している。
動きベクトルメモリ５０６１は、処理済みの部分領域の動きベクトルを格納し、処理対象の小区画の予測動きベクトルの導出のために、当該符号化済みの動きベクトルを、ラインＬ５０６１経由で出力する。
動き参照先候補生成器５０６２は、ラインＬ５０４経由で入力された形状情報に基づいて、後述する方法によって、ラインＬ５０６１経由で入力された部分領域の動きベクトルから、予測動きベクトルの候補を生成する。動き参照先候補生成器５０６２は、生成した予測動きベクトルの候補をラインＬ５０６２経由で出力する。
予測動きベクトル生成器５０６３は、ラインＬ５０６２経由で入力された予測動きベクトルの候補から、処理対象の小区画の動きベクトルとの差分が最小となる候補を選択する。予測動きベクトル生成器５０６３は、選択した候補を、予測動きベクトルとして、ラインＬ５０９経由で出力する。また、選択した候補を特定する指示情報をラインＬ５１０経由で出力する。
なお、動き参照先候補生成器において生成する候補の数を一つに限定することで、指示情報の出力を省略することができる。候補の数を一つに限定する方法は、制限するものではないが、例えば、三つの候補の中間値を用いる方法、二つの候補の平均値を用いる方法、複数の候補から一つを選択するための優先順位を決めておく方法、といった任意の方法を利用することができる。
以下、動画像符号化装置１０の動作について説明し、また、一実施形態に係る動画像符号化方法について説明する。図２７は、一実施形態に係る動画像符号化方法のフローチャートである。
図２７に示すように、一実施形態においては、まず、ステップＳ５０１において、ブロック分割器５０１が、入力画像を複数のブロックに分割する。続くステップＳ５０２において、小区画生成器５０２が、上述したように、対象ブロックを複数の小区画に区切る。また、小区画生成器５０２は、上述したように形状情報を生成する。
次いで、ステップＳ５０３において、動き検出器５０４が、上述したように、処理対象の小区画の動きベクトルを求める。続くステップＳ５０４においては、予測信号生成器５０５が、上述したように、対象ブロック内の各小区画の動きベクトルと参照フレーム画像信号とを用いて、当該対象ブロックの予測信号を生成する。
次いで、ステップＳ５０５において、動き予測器５０６が、予測動きベクトルを求める。また、動き予測器５０６は、予測動きベクトルの複数の候補から選択した候補を特定するための指示情報を生成する。このステップＳ５０５の処理の詳細については、後述する。続くステップＳ５０６においては、減算器５０７が、上述したように各小区画の動きベクトルと予測動きベクトルとの差を求めて差分動きベクトルを生成する。
次いで、ステップＳ５０７において、残差信号生成器５０８が、対象ブロックの画像信号と予測信号との差を求めて残差信号を生成する。続くステップＳ５０８においては、変換器５０９が、残差信号を直交変換して変換係数を生成する。続くステップＳ５０９においては、量子化器５１０が、変換係数を量子化して量子化変換係数を生成する。続くステップＳ５１０においては、逆量子化器５１１が、量子化変換係数を逆量子化して逆量子化変換係数を生成する。続くステップＳ５１１においては、逆変換器５１２が、逆量子化変換係数を逆変換して再生残差信号を生成する。
次いで、ステップＳ５１２において、加算器５１３が、対象ブロックの予測信号と再生残差信号とを加算することにより、再生画像信号を生成する。続くステップＳ５１３において、再生画像信号が、フレームメモリ５０３によって既再生の画像信号として記憶される。
次いで、ステップＳ５１４において、エントロピー符号化器５１４が、量子化変換係数と、対象ブロックの形状情報と、予測動きベクトルの指示情報と、差分動きベクトルと、を符号化する。
次いで、ステップＳ５１５において、全てのブロックが処理されたか否かが判定される。全てのブロックが処理されていない場合には、未処理のブロックを対象としてステップＳ５０２からの処理が継続される。一方、全てのブロックの処理が終了している場合には、処理が終了する。
以下、動き予測器５０６の動作についてより詳細に説明する。図２８は、一実施形態に係る動き予測器の処理を示すフローチャートである。動き予測器５０６は、図２８に示すフローチャートに従って、予測動きベクトル（以下、ＰＭＶ）、及び、ＰＭＶを特定するための指示情報を出力する。
図２８に示すように、動き予測器５０６の処理では、まず、ステップＳ５０５−１において、カウンタｉの値が０に設定される。以下、ｉ＝０のときには、第１小区画に対する処理が行われ、ｉ＝１のときには第２小区画に対する処理が行われるものとする。
次いで、ステップＳ５０５−２において、処理済みの部分領域の動きベクトルから、処理対象の小区画のＰＭＶの候補が、後述する方法に従って生成される。ＰＭＶの候補の数は、本例では二つである。即ち、ＰＭＶの候補として、処理対象の小区画の左側の処理済みの部分領域の動きベクトル及び上側の処理済みの部分領域の動きベクトルが、処理対象の小区画の予測動きベクトルの候補として設定され得る。ステップＳ５０５−２においては、生成された候補の数がＮｃａｎｄに設定される。
次いで、ステップＳ５０５−３において、ＮＣａｎｄが「０」であるか否かが判定される。ＮＣａｎｄが「０」である場合（Ｙｅｓ）には、処理がステップＳ５０５−４に進む。ＮＣａｎｄが「０」でない場合（Ｎｏ）には、処理はステップＳ５０５−５に進む。
ステップＳ５０５−４においては、ＰＭＶがゼロベクトルに設定され、処理はステップＳ５０５−１０に進む。この際、ＰＭＶは、ゼロベクトルでなく、予め定められたブロックの動きベクトルや、処理対象の小区画の直前に処理された部分領域の動きベクトルなどに設定されてもよい。
ステップＳ５０５−５においては、ＮＣａｎｄが「１」であるか否かが判定される。ＮＣａｎｄが「１」である場合（Ｙｅｓ）には、処理はステップＳ５０５−１０に進む。ＮＣａｎｄが「１」でない場合（Ｎｏ）には、処理はステップＳ５０５−６に進む。
ステップＳ５０５−６においては、ステップＳ５０５−２で生成されたＰＭＶの候補から、ＰＭＶが選択される。ＰＭＶとしては、処理対象の小区画の動きベクトルに対する差分が最小となる候補が選択され得る。
次いで、Ｓ５０５−７においてはステップＳ５０５−６で選択されたＰＭＶが左側の候補、即ち、左側の部分領域の動きベクトルであるか否かが判定される。ステップＳ５０５−６で選択されたＰＭＶが左側の候補である場合（Ｙｅｓ）には、処理はステップＳ５０５−８に進む。ステップＳ５０５−６で選択されたＰＭＶが左側の候補でない場合（Ｎｏ）には、処理はステップＳ５０５−９に進む。
ステップＳ５０５−８においては、処理対象の小区画の左側の部分領域の動きベクトルをＰＭＶとする指示情報ｐｍｖ＿ｌｅｆｔ＿ｆｌａｇ＝１が出力される。一方、ステップＳ５０５−９においては、処理対象の小区画の上側の部分領域の動きベクトルをＰＭＶとする指示情報ｐｍｖ＿ｌｅｆｔ＿ｆｌａｇ＝０が出力される。
次いで、ステップＳ５０５−１０においては、候補として残ったＰＭＶが出力される。続くステップＳ５０５−１１においては、カウンタｉの値に「１」が加算される。
次いで、ステップＳ５０５−１２において、カウンタｉの値が「２」より小さいか否かが判定される。カウンタｉの値が「２」より小さい場合（Ｙｅｓ）には、処理はステップＳ５０５−２に進む。カウンタｉの値が「２」より小さくない場合（Ｎｏ）には処理が終了する。
なお、ステップＳ５０５−２において、生成する候補の数を一つに限定することで、ステップＳ５０５−５、Ｓ５０５−６、Ｓ５０５−７、Ｓ５０５−８、Ｓ５０５−９を省略することができる。この限定の方法は、制限されるものではないが、予測動きベクトル生成器５０６３の説明にて上述したように、例えば、三つの候補の中間値を用いる方法、二つの候補の平均値を用いる方法、複数の候補から一つの候補を選択するための優先順位を決めておく方法、といった方法が利用可能である。ステップＳ５０５−２において生成される候補の数が一つに限定される形態では、ステップＳ５０５−３においてＮＣａｎｄが「０」でない場合（Ｎｏ）には、処理はステップＳ５０５−１０に進む。
以下、ステップＳ５０５−２における、処理対象の小区画の予測動きベクトルの候補の生成方法についてより詳細に説明する。図２９は、対象ブロックの小区画と周囲の部分領域の一例を示す図である。
動き参照先候補生成器５０６２は、図２９に示すように、第１小区画ＳＰ１に対して部分領域Ｕ１及び部分領域Ｌ１を参照し、それぞれの部分領域がフレーム間予測にて処理済みである場合には、その部分領域の動きベクトルを、第１小区画ＳＰ１の予測動きベクトルの候補とする。同様に、動き参照先候補生成器５０６２は、第２小区画に対して部分領域Ｕ２または部分領域Ｌ２を参照し、第２小区画の予測動きベクトルの候補を生成する。ここで、部分領域Ｕ１、Ｌ１、Ｕ２、Ｌ２は、対象ブロックＰの周囲のブロック又は小区画であって、予測信号を生成する単位となる領域である。また、部分領域は、予測信号を生成する単位とは無関係に、予測動きベクトルの候補生成のために準備されるブロック（例えば、単一形状に区切ることで生成されるもの）であってもよい。
部分領域Ｕ１は、第１小区画ＳＰ１の最も左上の画素Ｆ（０、０）に上側において隣接する画素Ｐｉ１（０、−１）を含む部分領域であり、小区画ＳＰ１に接している処理済みの部分領域である。また、部分領域Ｌ１は、第１小区画ＳＰ１の最も左上の画素Ｆ（０、０）に左側において隣接する画素Ｐｉ２（−１、０）を含む部分領域であり、第１小区画ＳＰ１に接している部分領域である。部分領域Ｕ２は、画素Ｐｉ３（ｘ１、−１）を含む部分領域に右側において隣接する部分領域であって、ｘ軸に接している部分領域である。部分領域Ｌ２は、画素Ｐｉ４（−１、ｙ１）を含む部分領域に下側において隣接する部分領域であって、ｙ軸に接している部分領域である。
画素Ｐｉ３のｘ座標ｘ１及び画素Ｐｉ４のｙ座標ｙ１は、式（３）及び式（４）で算出され得る。
ｘ１＝ｃｅｉｌ（−ｋ／ｍ）・・・（３）
ｙ１＝ｃｅｉｌ（ｋ）・・・（４）
式（３）及び式（４）は、第１小区画ＳＰ１と第２小区画ＳＰ２を区切る境界の延長線Ｌｎを表す１次式（１）にｙ＝０、ｘ＝０をそれぞれ代入した値にｃｅｉｌ（ｚ）関数を適用したものである。ｃｅｉｌ（ｚ）は、天井関数と呼ばれるものであり、実数ｚに対して、ｚ以上の最小の整数を導出するための関数である。
なお、ｃｅｉｌ関数の代わりにｆｌｏｏｒ関数が用いられてもよい。ｆｌｏｏｒ（ｚ）は、床関数と呼ばれるものであり、実数ｚに対してｚ以下の最大の整数を導出するための関数である。
また、式（５）及び（６）によりｘ１及びｙ１が算出されてもよい。
ｘ１＝ｃｅｉｌ（（−１−ｋ）／ｍ）・・・（５）
ｙ１＝ｃｅｉｌ（−ｍ＋ｋ）・・・（６）
式（５）及び式（６）は、式（１）にｙ＝−１、ｘ＝−１をそれぞれ代入することによって得られる値にｃｅｉｌ（ｚ）関数を適用したものである。
部分領域Ｕ２及びＬ２が存在するか否かは、以下に説明するように判定される。部分領域Ｕ２が存在するための条件は、画面内であること、且つ、式（７）を満たすことである。また、部分領域Ｌ２が存在するための条件は、画面内であること、且つ、式（８）を満たすことである。
０＜ｘ１・・・（７）
０＜ｙ１・・・（８）
式（７）の条件を満たしていない場合には、第２小区画ＳＰ２と部分領域Ｕ２の間に部分領域Ｌ２が存在することになる。その場合、第２小区画ＳＰ２に近い部分領域Ｌ２よりも第２小区画ＳＰ２から遠い部分領域Ｕ２の方が第２小区画ＳＰ２の動きベクトルに近い動きベクトルを有する可能性は少ない。このような場合には、式（７）の条件によって部分領域Ｕ２の動きベクトルを予測動きベクトルの候補から除外し得る。
同様に、式（８）の条件を満たしていない場合には、第２小区画ＳＰ２と部分領域Ｌ２の間に部分領域Ｕ２が存在することになる。その場合、第２小区画ＳＰ２に近い部分領域Ｕ２よりも第２小区画ＳＰ２から遠い部分領域Ｌ２の方が第２小区画ＳＰ２の動きベクトルに近い動きベクトルを有する可能性は少ない。そのような場合には、式（８）の条件によって、部分領域Ｕ２の動きベクトルを予測動きベクトルの候補から除外し得る。
なお、一例においては、式（７）及び式（８）の条件に代えて、以下の式（９）及び式（１０）で規定される条件が用いられてもよい。
０＜ｘ１＜ｂｌｏｃｋｓｉｚｅＸ・・・（９）
０＜ｙ１＜ｂｌｏｃｋｓｉｚｅＹ・・・（１０）
ここで、ｂｌｏｃｋｓｉｚｅＸ及びｂｌｏｃｋｓｉｚｅＹは、対象ブロックＰの水平方向の画素数、垂直方向の画素数である。例えば、対象ブロックＰが８×８画素のブロックである場合には、ｂｌｏｃｋｓｉｚｅＸ＝８、ｂｌｏｃｋｓｉｚｅＹ＝８である。
式（９）又は式（１０）の条件を用いることで、部分領域Ｕ２、部分領域Ｌ２のうち、第２小区画ＳＰ２に接していない部分領域の動きベクトルを予測動きベクトルの候補から除外することができる。これにより、予測精度が高いと考えられる予測動きベクトルの候補のみが残され得る。
このように部分領域Ｕ１、Ｌ１、Ｕ２、Ｌ２を設定することで、各小区画の予測動きベクトルの候補は、小区画間の境界の延長線に対して同じ側にある処理済みの部分領域の動きベクトルから生成される。
なお、小区画ＳＰ２の予測動きベクトルの候補は、小区画ＳＰ２と小区画ＳＰ２を含む対象ブロックの他の小区画との境界の延長線Ｌｎに対して、小区画ＳＰ２と同じ側の領域にある部分領域の動きベクトルから生成されれば、上述した実施形態の予測動きベクトルの生成方法に限定されるものではない。例えば、部分領域Ｕ２は画素Ｐｉ３を含む部分領域であってもよく、部分領域Ｌ２は画素Ｐｉ４を含む部分領域であってもよい。
また、部分領域の全体が、線Ｌｎに対して小区画ＳＰ２と同じ側の領域にあることを、当該部分領域の動きベクトルを小区画ＳＰ２の予測動きベクトルの候補と加える条件としてもよい。この場合には、例えば、部分領域の全ての頂点の位置を検査するといった方法を用いることができる。
また、部分領域が延長線に対して小区画と同じ側の領域に完全に含まれていなくても、当該部分領域の動きベクトルを当該小区画の予測動きベクトルの候補として用いてもよい。図３０は、対象ブロックの小区画と周囲の部分領域の別の一例を示す図である。図３０に一例として示すように、第１小区画ＳＰ１の予測動きベクトルの候補として、部分領域ＲＡ、ＲＢ、ＲＧ、及びＲＥの動きベクトルが用いられてもよい。また、第２小区画ＳＰ２の予測動きベクトルの候補に、部分領域ＲＥの予測動きベクトルを加えてもよい。
また、図２８及び図２９に関する説明では、予測動きベクトルの候補となる動きベクトルの数を最大二つとしたが、上述の何れかの条件によって求められる動きベクトルから二つが選択されてもよい。例えば、図２９に示す部分領域Ｕ２の動きベクトルと、部分領域Ｕ２に隣接する部分領域の動きベクトルとが、予測動きベクトルの候補とされてもよい。同様に、部分領域Ｌ２の動きベクトルと、部分領域Ｕ２に隣接する部分領域の動きベクトルとが、予測動きベクトルの候補とされてもよい。さらに、上述の何れかの条件によって特定される動きベクトルから三つ以上の動きベクトルが予測動きベクトルの候補とされてもよい。さらに、複数の予測動きベクトルの候補の平均値又は中央値が予測動きベクトルの候補に加えられてもよい。
また、図２８のステップＳ５０５−２において生成する予測動きベクトルの候補の数を最大で一つに限定する方法として、区画の形状情報を用いることができる。例えば、処理対象の小区画に接する符号化済みの部分領域のうち、当該小区画と接している部分の長さが最大である部分領域の動きベクトルを予測動きベクトルの候補としてもよい。また、処理対象の小区画からの最短距離が最も短い符号化済みの部分領域の動きベクトルを、当該小区画の予測動きベクトルの候補としてもよい。
また、上述の予測動きベクトルの候補の生成方法は、任意の形状の小区画に適用することができる。図３１は、対象ブロックの小区画と周囲の部分領域の更に別の例を示す図である。図３１の（Ａ）は、図２９に示す線Ｌｎとはｙ軸と交差する座標及び傾きの異なる線Ｌｎによって画成される小区画を示している。図３１の（Ｂ）は、図２９に示す線Ｌｎとはｙ軸に対して傾きが略対称でありｙ軸と交差する座標が異なる線Ｌｎによって画成される小区画を示している。図３１の（Ｃ）は、二つの線Ｌｎ１及びＬｎ２により画成される小区画を示している。また、図３１の（Ｄ）は、互いに交差する二つの線Ｌｎ１及びＬｎ２により画成される小区画を示している。図３１の（Ａ）〜（Ｄ）に示すような境界の延長線を基準としても、小区画ＳＰ２の予測動きベクトルの候補となり得る動きベクトルを有する部分領域Ｌ２及びＵ２を、上述した予測動きベクトルの候補の生成方法によって、特定することが可能である。
また、小区画は直線で区切られた小区画のみに限定されない。例えば、予め決められたパターンの中から小区画の形状を選択する場合においても、小区画間の境界の延長線に対して処理対象の小区画と同じ側の領域に属する符号化済みの部分領域の動きベクトルを予測動きベクトルの候補として用いることができる。なお、小区画の形状のパターンが予め定められている場合には、各形状パターンに対して、予測動きベクトルの候補とする動きベクトルをもつ部分領域を予め定めておくことも可能である。このパターンに対象ブロックを矩形に区切るパターンが含まれていてもよい。
また、上述した予測動きベクトルの選択方法は、符号化済みの部分領域の動きベクトルを用いて処理対象の小区画の予測信号を生成する際の動きベクトルの選択方法としても適用することができる。つまり、図２８のステップＳ５０５−２にて選択された予測動きベクトルを用いて、処理対象の小区画の予測信号が生成されてもよい。この場合には、差分動きベクトルを符号化する必要がないので、動き予測器５０６から出力される予測動きベクトルは、減算器５０７ではなく、予測信号生成器５０５に出力される。
さらに、動画像符号化装置１０は、差分動きベクトルを符号化するか否かを判断し、その判断結果を特定する適用情報を符号化してもよい。この変形態様では、動き予測器５０６は、適用情報に基づいて、予測動きベクトルを減算器５０７に出力するか、予測信号生成器５０５に出力するかを切り替える機能を含み得る。
なお、この変形態様では、対象ブロック内の全ての小区画の動きベクトルが同じとなることは、対象ブロックを区切る意味がなくなるので、好ましくない。つまり、図２８のステップＳ５０５−２において処理対象の小区画の動きベクトルの候補を生成する際に、対象ブロックに含まれる符号化済みの小区画の動きベクトルを、候補から除外してもよい。例えば、対象ブロックが二つの小区画に区切られており、第１小区画の動きベクトルが先に符号化された場合には、第１小区画の動きベクトルは第２小区画の予測動きベクトルの候補から除外される。また、第１小区画の動きベクトルと、部分領域Ｕ２の動きベクトルが同じ場合には、部分領域Ｕ２の動きベクトルを第２小区画の予測動きベクトルの生成には用いなくてもよい。
差分動きベクトルを符号化するか否かを指示する場合には、上記の適用情報を算術符号化する際の生起確率を小区画の形状情報に応じて適応的に決定してもよい。例えば、第２小区画の差分動きベクトルを符号化しないことを示す適用情報用の生起確率よりも、第１小区画の差分動きベクトルを符号化しないことを示す適用情報用の生起確率を高く設定し得る。これは、第２小区画が符号化済みの部分領域と接しないことがあり得る一方で、第１小区画は常に符号化済みの部分領域と接するので、このように生起確率を設定することで、適用情報の符号量が削減され得るからである。
ここで、簡単化のため、対象ブロックを矩形に分割した例を示す図３２を参照して、一実施形態の効果を説明する。この例では、対象ブロックＰは、直線Ｌｎにより左側の小区画ＳＰ１と右側の小区画ＳＰ２に区切られている。この例では、第１小区画ＳＰ１の動きベクトルと部分領域ＲＢの動きベクトルが、第２小区画ＳＰ２の予測動きベクトルの候補となる。
図３２に示す例では、第１小区画ＳＰ１の動きベクトルを用いて第２小区画ＳＰ２の予測信号を生成すれば、第１小区画ＳＰ１の予測信号と第２小区画ＳＰ２の予測信号は同じ動きベクトルで生成されることになり、対象ブロックを二つの小区画に分ける意味がなくなる。そのため、第２小区画ＳＰ２の予測信号は、当該小区画ＳＰ２の上側の部分領域ＲＢの動きベクトルを用いて生成され得る。従って、符号化装置と復号装置が、図３２に示す例では、第２小区画ＳＰ２の予測信号を部分領域ＲＢの動きベクトルを用いて生成することを予め決めておくことにより、予測動きベクトルの候補が減り、複数の予測動きベクトルの候補から、一つの予測動きベクトルを指示するための指示情報を送る必要がなくなる。
さらに、動画像符号化装置１０が差分動きベクトルの符号化の可否を判断する方法（動き予測器５０６が適用情報に基づいて予測動きベクトルを減算器５０７に出力するか、予測信号生成器５０５に出力かを切り替える）について考察する。このとき、部分領域ＲＢの動きベクトルが第１小区画ＳＰ１の動きベクトルと同じであれば、二つの予測動きベクトルの候補のいずれを選択しても第２小区画ＳＰ２の予測動きベクトルは第１小区画ＳＰ１の動きベクトルと同じになる。従って、符号化装置と復号装置が、二つの予測動きベクトルの候補が同じ場合には、差分動きベクトルと予測動きベクトルを加算した動きベクトルにより第２小区画ＳＰ２の予測信号を生成することを予め決めておくことにより、上記指示情報に加えて、差分動きベクトルを符号化するか否かを指示する適用情報も送る必要がなくなる。
なお、図３３に示すように、対象ブロックが３個以上の小区画に区切られている場合には、第１小区画ＳＰ１、第２小区画ＳＰ２、及び第３小区画ＳＰ３が同じ動きベクトルを有し、第４小区画ＳＰ４のみが異なる動きベクトルを有するのであれば、対象ブロックを区切る意味がある。従って、この場合には、第２小区画ＳＰ２の予測信号と第３小区画ＳＰ３の予測信号は、それぞれ部分領域ＲＢ、部分領域ＲＥの動きベクトルではなく、第１小区画ＳＰ１の動きベクトルを用いて生成してもよい。但し、第４小区画ＳＰ４については、第２小区画ＳＰ２の動きベクトルと第３小区画ＳＰ３の動きベクトルが同じであれば、二つの予測動きベクトルの候補が同じとなるので、予め符号化装置と復号装置でルールを決めておくことにより、一つの予測動きベクトルを指示するための指示情報を送る必要はなくなる。さらに、第１小区画ＳＰ１、第２小区画ＳＰ２、及び第３小区画ＳＰ３が同じ動きベクトルを有する場合に、第４小区画ＳＰ４の予測信号を第２小区画ＳＰ２又は第３小区画ＳＰ３の動きベクトルを用いて生成すれば、四つの区画が全て同じ動きベクトルを有することになるので、符号化装置と復号装置でルールを予め定めておくことにより、上記指示情報に加えて、差分動きベクトルを符号化するか否かを指示する適用情報も送る必要がなくなる。
以下、一実施形態に係る動画像復号装置について説明する。図３４は、一実施形態に係る動画像復号装置の構成を概略的に示す図である。図３４に示す動画像復号装置２０は、動画像符号化装置１０によって生成された圧縮ストリームを復号して動画像を生成することができる装置である。
図３４に示すように、動画像復号装置２０は、データ復号器６０１、動き予測器６０２、加算器６０３、逆量子化器６０４、逆変換器６０５、フレームメモリ６０６、予測信号生成器６０７、及び、加算器６０８を備えている。
データ復号器６０１は、ラインＬ６０１を経由して入力された圧縮ストリームを解析する。データ復号器６０１は、復号の対象となるブロック（以下、対象ブロック）に関して、以下の処理を順次行う。
データ復号器６０１は、圧縮ストリーム内の対象ブロックに関連する符号化データを復号して、対象ブロックの量子化変換係数を復元し、当該量子化変換係数をラインＬ６０２経由で出力する。また、データ復号器６０１は、符号化データを復号して、対象ブロックの形状情報を復元し、当該形状情報をラインＬ６０３経由で出力する。この際、対象ブロックを区切るか否かを指示する区画可否情報が復元されており、当該区画可否情報が対象ブロックを区切らないことを示している場合には、形状情報は復元されなくてもよい。
また、データ復号器６０１は、符号化データを復号することにより、対象ブロック内の各小区画用の指示情報、即ち、複数の予測動きベクトルの候補のうち一つを指示する情報を復元し、当該指示情報をラインＬ６０４経由で出力する。また、データ復号器６０１は、符号化データを復号することにより、対象ブロックの差分動きベクトルを復元し、当該差分動きベクトルをラインＬ６０５経由で出力する。また、データ復号器６０１は対象ブロックの形状情報に基づいて、予測動きベクトルの指示情報を復元する際の符号化データの復号における生起確率を適応的に決定し得る。この方法として、例えば、処理対象の小区画と接している部分領域の動きベクトルを予測動きベクトルとして指示する指示情報の生起確率を高くすることができる。
動き予測器６０２は、ラインＬ６０３経由で入力される形状情報とラインＬ６０６経由で入力された処理順で前の部分領域の動きベクトルと、ラインＬ６０４経由で入力される指示情報に基づいて、処理対象の小区画の予測動きベクトルを生成し、当該予測動きベクトルをラインＬ６０７経由で出力する。なお、所定の方法で予測動きベクトルの候補を一つに絞り込むことで、指示情報の入力は省略することもできる。
加算器６０３は、ラインＬ６０７経由で入力される予測動きベクトルと、ラインＬ６０５経由で入力される差分動きベクトルを加算し、対象ブロック又は当該対象ブロック内の小区画の動きベクトルを生成し、当該動きベクトルをラインＬ６０６を介して出力する。
逆量子化器６０４は、ラインＬ６０２経由で入力された量子化変換係数を逆量子化することにより、逆量子化変換係数を生成する。逆量子化器６０４は、生成した逆量子化変換係数をラインＬ６０８経由で出力する。
逆変換器６０５は、ラインＬ６０８経由で入力された逆量子化変換係数を逆直交変換することにより、再生残差信号を生成する。逆変換器６０５は、生成した再生残差信号をラインＬ６０９経由で出力する。
なお、生成された再生残差信号が量子化されていない場合には、動画像復号装置２０は、逆量子化器６０４を備えていなくてもよい。同様に生成された再生残差信号が変換されていない場合には、動画像復号装置２０は、逆変換器６０５を備えていなくてもよい。
フレームメモリ６０６は、ラインＬ６１０経由で入力される既再生の画像信号、即ち、処理対象の入力画像より処理順で前のフレーム画像信号（以下、参照フレーム画像信号）を格納する。また、フレームメモリ６０６は、ラインＬ６１１経由で、参照フレーム画像信号を出力する。
予測信号生成器６０７は、ラインＬ６１１経由で入力される参照フレーム画像信号の所定範囲内の画像信号から、ラインＬ６０６経由で入力される動きベクトルとラインＬ６０３経由で入力される形状情報に基づいて、対象ブロック内の各小区画の画像の予測信号を生成する。予測信号生成器６０７は、ラインＬ６１２経由で、生成した予測信号を出力する。なお、本明細書においては説明を省略したが、予測信号は画面間予測以外にも、画面内予測によって生成されてもよい。
加算器６０８は、ラインＬ６０９経由で入力される再生残差信号と、ラインＬ６１２経由で入力される対象ブロックの予測信号とを加算することにより、再生画像信号を生成する。加算器６０８は、再生画像信号をラインＬ６１０経由で出力する。
図３５は、一実施形態に係る動き予測器の構成を示す図である。図３５に示すように、動き予測器６０２は、動きベクトルメモリ６０２１、動き参照先候補生成器６０２２、及び、予測動きベクトル生成器６０２３を有している。
動きベクトルメモリ６０２１は、ラインＬ６０６経由で入力される動きベクトルを格納する。動きベクトルメモリ６０２１に格納される動きベクトルは、対象ブロック又は処理対象の小区画よりも処理順で前の処理済みの部分領域の動きベクトルである。動きベクトルメモリ６０２１は、格納した動きベクトルを、処理対象の小区画用の予測動きベクトルの導出のために、ラインＬ６０２１経由で出力する。
動き参照先候補生成器６０２２は、ラインＬ６０３経由で入力される形状情報に基づいて、後述する方法によって、ラインＬ６０２１経由で入力される動きベクトルから、予測動きベクトルの候補を生成し、ラインＬ６０２２を経由して出力する。
予測動きベクトル生成器６０２３は、ラインＬ６０２２経由で入力される予測動きベクトルの候補から、ラインＬ６０４経由で入力される予測動きベクトルの指示情報に基づいて、予測動きベクトルを決定し、決定した予測動きベクトルをラインＬ６０７経由で出力する。なお、動き参照先候補生成器において生成する候補の数を一つに限定することで、選択すべき候補を特定する指示情報の入力を省略することができる。
以下、動画像復号装置２０の動作と、一実施形態に係る動画像復号方法について説明する。図３６は、一実施形態に係る動画像復号方法のフローチャートである。図３６に示すように、一実施形態においては、まず、ステップＳ６２１において、データ復号器６０１が、上述したように、対象ブロックに関して、圧縮データ内の符号化データを復号して、対象ブロックの量子化変換係数、形状情報、及び、差分動きベクトルを復元する。また、ステップＳ６２１においては、区画可否情報及び指示情報が復元され得る。さらに、ステップＳ６２１においては、逆量子化器６０４が、復元された量子化変換係数から逆量子化変換係数を生成し、逆変換器６０５が逆量子化変換係数から再生残差信号を生成し得る。
次いで、ステップＳ６２２において、動き予測器６０２が、対象ブロック内の各小区画を処理対象とし、処理対象の小区画の予測動きベクトルを求める。続くステップＳ６２３においては、加算器６０３が、処理対象の小区画の予測動きベクトルと差分動きベクトルとを加算することにより、動きベクトルを生成する。
次いで、ステップＳ６２４において、予測信号生成器６０７が、対象ブロックの動きベクトルを用いて、フレームメモリ６０６内の参照フレーム画像信号から、予測信号を生成する。続くステップＳ６２５においては、加算器６０８が、対象ブロックの予測信号と再生残差信号を加算することにより、再生画像信号を生成する。
次いで、ステップＳ６２６においては、ステップＳ６２５で生成された再生画像信号が既再生の画像信号としてフレームメモリ６０６に格納される。続くステップＳ６２７においては、全てのブロックに対して処理が行われたか否かが判定される。全てのブロックに対する処理が終了していない場合には、未処理のブロックを対象ブロックとして、ステップＳ６２１からの処理が継続される。一方、全てのブロックの処理が終了している場合には、処理は終了する。
以下、動き予測器６０２の動作について詳細に説明する。図３７は、一実施形態に係る動き予測器の処理を示すフローチャートである。動き予測器６０２は、図３７に示すフローチャートに従って、予測動きベクトルを生成する。
一実施形態においては、ステップＳ６１５−１において、カウンタｉの値が「０」に設定される。以下、ｉ＝０のときは第１小区画に対する処理が行われ、ｉ＝１のときは第２小区画に対する処理が行われるものとする。
次いで、ステップＳ６１５−２において、処理対象の小区画より処理順で前の部分領域の動きベクトルのうち、処理対象の小区画の予測動きベクトルになり得る２通りの候補（左側の候補及び上側の候補）が、図２９、図３０、図３１、図３２、及び図３３を用いて上述した方法に従って求められる。
次いで、ステップＳ６１５−３において、ステップＳ６１５−２で生成された候補の数ＮＣａｎｄが、「０」であるか否かが判定される。ＮＣａｎｄが「０」である場合（Ｙｅｓ）には、処理はステップＳ６１５−４に進む。ＮＣａｎｄが「０」でない場合（Ｎｏ）には、処理はステップＳ６１５−５に進む。
ステップＳ６１５−４においては、予測動きベクトルＰＭＶがゼロベクトルに設定され、処理はステップＳ６１５−１１に進む。この際、ゼロベクトルでなく、予め定めておいたブロックの動きベクトルや処理対象の小区画に対して処理順で直前の部分領域の動きベクトルが予測動きベクトルＰＭＶとして設定されてもよい。
ステップＳ６１５−５においては、ステップＳ６１５−２で生成された候補の数ＮＣａｎｄが「１」であるか否かが判定される。ＮＣａｎｄが「１」である場合（Ｙｅｓ）には、処理はステップＳ６１５−６に進む。ＮＣａｎｄが「１」でない場合（Ｎｏ）には、処理はステップＳ６１５−７に進む。
ステップＳ６１５−６においては、ステップＳ６１５−２で生成された一つの候補が、ＰＭＶに設定される。そして、処理はステップＳ６１５−１１に進む。
ステップＳ６１５−７においては、ステップＳ６１５−２で生成された候補から、選択すべきＰＭＶを指示するための情報ｐｍｖ＿ｌｅｆｔ＿ｆｌａｇが取得される。そして、処理は、ステップＳ６１５−８に進む。
ステップＳ６１５−８においては、ｐｍｖ＿ｌｅｆｔ＿ｆｌａｇの値が「１」であるか否かが判定される。ｐｍｖ＿ｌｅｆｔ＿ｆｌａｇの値が「１」である場合（Ｙｅｓ）には、処理はステップＳ６１５−９に進む。ｐｍｖ＿ｌｅｆｔ＿ｆｌａｇの値が「１」でない場合（Ｎｏ）には、処理はステップＳ６１５−１０に進む。
ステップＳ６１５−９においては、処理対象の小区画の左側の部分領域の動きベクトルがＰＭＶに設定される。そして、処理はステップＳ６１５−１１に進む。
ステップＳ６１５−１０においては、処理対象の小区画の左側の部分領域の動きベクトルがＰＭＶに設定される。そして、処理はステップＳ６１５−１１に進む。
ステップＳ６１５−１１においては、設定されたＰＭＶが出力される。そして、処理はステップＳ６１５−１２に進む。
次いで、ステップＳ６１５−１２においては、カウンタｉの値に「１」が加算される。そして、処理はステップＳ６１５−１３に進む。
次いで、ステップＳ６１５−１３においては、カウンタｉの値が「２」より小さいか否かが判定される。カウンタｉの値が「２」より小さい場合（Ｙｅｓ）には、処理はステップＳ６１５−２に進む。一方、カウンタｉの値が２より小さくない場合（Ｎｏ）には、処理は終了する。
なお、ステップＳ６１５−２において、生成する予測動きベクトルの候補の数を一つに限定することで、ステップＳ６１５−５、Ｓ６１５−６、Ｓ６１５−７、Ｓ６１５−８、Ｓ６１５−９、Ｓ６１５−１０の処理を省略することができる。この限定のための方法は、予測動きベクトル生成器６０２３について上述したように、制限するものではないが、例えば、三つの候補の中間値を用いる方法、二つの候補の平均値を用いる方法、複数の予測動きベクトルの候補から一つの予測動きベクトルを選択するための優先順位を決めておく方法、といった方法を利用することができる。その場合には、ステップＳ６１５−０３において、ＮＣａｎｄが「０」でない場合（Ｎｏ）には、処理はステップＳ６１５−６に進む。
また、上述した方法は、復号済みの動きベクトルを用いて処理対象の小区画の予測信号を生成する場合における動きベクトル選択方法として適用することができる。つまり、図３７のステップＳ６１５−２にて選択された予測動きベクトルを用いて、処理対象の小区画の予測信号を生成してもよい。この場合には、差分動きベクトルを復号する必要がないため、動き予測器６０２から出力される予測動きベクトルは、加算器６０３ではなく、予測信号生成器６０７に出力される。
さらに、差分動きベクトルを復号するか否かを特定する適用情報をデータ復号器６０１にて復号してもよい。この変形態様では、適用情報に基づいて動き予測器６０２が、予測動きベクトルを加算器６０３に出力するか、予測信号生成器６０７に出力かを切り替える機能を含み得る。
なお、この変形態様では、対象ブロック内の全ての小区画の動きベクトルが同じとなることは、対象ブロックを区切る意味がなくなるため、好ましくない。したがって、この変形態様では、図３７のステップＳ６１５−２において処理対象の小区画の予測動きベクトルの候補を生成する際に、対象ブロックに含まれる小区画であり処理対象の小区画より処理順で前の小区画の動きベクトルは予測動きベクトルの候補から除外してもよい。例えば、対象ブロックが二つの小区画に区切られており、第１小区画の動きベクトルが先に復元されている場合には、第１小区画の動きベクトルは第２小区画の予測動きベクトルの候補から除外される。また、第１小区画の動きベクトルと、部分領域Ｕ２の動きベクトルが同じ場合には、部分領域Ｕ２の動きベクトルは第２小区画の予測動きベクトルの生成には用いなくてもよい。
また、この変形態様においては、差分動きベクトルを復号するか否かを指示する適用情報を算術復号する際の生起確率を、形状情報に応じて適応的に決定し得る。この方法として、例えば、復号済みの部分領域と接しないことのある第２小区画よりも、常に符号化済みの領域と接する第１区画のほうが、差分動きベクトルを符号化しない確率を高く設定し得る。なお、この変形態様の効果については、図３４と図３５を用いて説明済みのためここでは割愛する。
以下、コンピュータを動画像符号化装置１０として動作させるための動画像符号化プログラム、及び、コンピュータを動画像復号装置２０として動作させるための動画像復号プログラムについて説明する。
図３８は、一実施形態に係る動画像符号化プログラムの構成を示す図である。図３９は、一実施形態に係る動画像復号プログラムの構成を示す図である。以下、図３８及び、図３９と共に、一実施形態に係るコンピュータのハードウェア構成を示す図１８、及び、一実施形態に係るコンピュータを示す斜視図である図１９を参照する。
図３８に示す動画像符号化プログラムＰ１０は、記録媒体ＳＭに格納されて提供され得る。また、図３８に示す動画像復号プログラムＰ２０も、記録媒体ＳＭに格納されて提供され得る。なお、記録媒体ＳＭとしては、フロッピーディスク、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体、あるいは半導体メモリ等が例示される。
上述したように、コンピュータＣ１０は、フロッピーディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読取装置Ｃ１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）Ｃ１４と、記録媒体ＳＭに記憶されたプログラムを記憶するメモリＣ１６と、ディスプレイといった表示装置Ｃ１８と、入力装置であるマウスＣ２０及びキーボードＣ２２と、データ等の送受を行うための通信装置Ｃ２４と、プログラムの実行を制御するＣＰＵ Ｃ２６と、を備え得る。
コンピュータＣ１０は、記録媒体ＳＭが読取装置Ｃ１２に挿入されると、読取装置Ｃ１２から記録媒体ＳＭに格納された動画像符号化プログラムＰ１０にアクセス可能になり、当該プログラムＰ１０によって、動画像符号化装置１０として動作することが可能になる。
また、コンピュータＣ１０は、記録媒体ＳＭが読取装置Ｃ１２に挿入されると、読取装置Ｃ１２から記録媒体ＳＭに格納された動画像復号プログラムＰ２０にアクセス可能になり、当該プログラムＰ２０によって、動画像復号装置２０として動作することが可能になる。
図１９に示すように、動画像符号化プログラムＰ１０及び動画像復号プログラムＰ２０は、搬送波に重畳されたコンピュータデータ信号ＣＷとしてネットワークを介して提供されるものであってもよい。この場合、コンピュータＣ１０は、通信装置Ｃ２４によって受信した動画像符号化プログラムＰ１０又は動画像復号プログラムＰ２０をメモリＣ１６に格納し、プログラムＰ１０又はＰ２０を実行することができる。
図３８に示すように、動画像符号化プログラムＰ１０は、ブロック分割モジュールＭ１０１、小区画生成器モジュールＭ１０２、記憶モジュールＭ１０３、動き検出モジュールＭ１０４、予測信号生成モジュールＭ１０５、動き予測モジュールＭ１０６、減算モジュールＭ１０７、残差信号生成モジュールＭ１０８、変換モジュールＭ１０９、量子化モジュールＭ１１０、逆量子化モジュールＭ１１１、逆変換モジュールＭ１１２、加算モジュールＭ１１３、及びエントロピー符号化モジュールＭ１１４を含んでいる。
一実施形態においては、ブロック分割モジュールＭ１０１、小区画生成器モジュールＭ１０２、記憶モジュールＭ１０３、動き検出モジュールＭ１０４、予測信号生成モジュールＭ１０５、動き予測モジュールＭ１０６、減算モジュールＭ１０７、残差信号生成モジュールＭ１０８、変換モジュールＭ１０９、量子化モジュールＭ１１０、逆量子化モジュールＭ１１１、逆変換モジュールＭ１１２、加算モジュールＭ１１３、エントロピー符号化モジュールＭ１１４は、動画像符号化装置１０のブロック分割器５０１、小区画生成器５０２、フレームメモリ５０３、動き検出器５０４、予測信号生成器５０５、動き予測器５０６、減算器５０７、残差信号生成器５０８、変換器５０９、量子化器５１０、逆量子化器５１１、逆変換器５１２、加算器５１３、エントロピー符号化器５１４と同様の機能を、それぞれコンピュータＣ１０に実行させる。かかる動画像符号化プログラムＰ１０によれば、コンピュータＣ１０は、動画像符号化装置１０として動作することが可能となる。
図３９に示すように、動画像復号プログラムＰ２０は、データ復号モジュールＭ２０１、動き予測モジュールＭ２０２、加算モジュールＭ２０３、逆量子化モジュールＭ２０４、逆変換モジュールＭ２０５、記憶モジュールＭ２０６、予測信号生成モジュールＭ２０７、及び、加算モジュールＭ２０８を含んでいる。
一実施形態においては、データ復号モジュールＭ２０１、動き予測モジュールＭ２０２、加算モジュールＭ２０３、逆量子化モジュールＭ２０４、逆変換モジュールＭ２０５、記憶モジュールＭ２０６、予測信号生成モジュールＭ２０７、加算モジュールＭ２０８は、動画像復号装置２０のデータ復号器６０１、動き予測器６０２、加算器６０３、逆量子化器６０４、逆変換器６０５、フレームメモリ６０６、予測信号生成器６０７、加算器６０８と同様の機能を、それぞれコンピュータＣ１０に実行させる。かかる動画像復号プログラムＰ２０によれば、コンピュータＣ１０は、動画像復号装置２０として動作することが可能となる。
以上、種々の実施形態について詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
１００…画像予測符号化装置、１０１…入力端子、１０２…ブロック分割器、１０３…予測信号生成器、１０４…フレームメモリ、１０５…減算器、１０６…変換器、１０７…量子化器、１０８…逆量子化器、１０９…逆変換器、１１０…加算器、１１１…量子化変換係数符号化器、１１２…出力端子、１１３…予測ブロック分割タイプ選択器、１１４…動き情報推定器、１１５…予測情報用メモリ、１１６…予測情報符号化器、２０１…入力端子、２０２…データ解析器、２０３…逆量子化器、２０４…逆変換器、２０５…加算器、２０６…出力端子、２０７…量子化変換係数復号器、２０８…予測情報復号器、１０…動画像符号化装置、２０…動画像復号装置、５０１…ブロック分割器、５０２…小区画生成器、５０３…フレームメモリ、５０４…動き検出器、５０５…予測信号生成器、５０６…動き予測器、５０７…減算器、５０８…残差信号生成器、５０９…変換器、５１０…量子化器、５１１…逆量子化器、５１２…逆変換器、５１３…加算器、５１４…エントロピー符号化器、６０１…データ復号器、６０２…動き予測器、６０３…加算器、６０４…逆量子化器、６０５…逆変換器、６０６…フレームメモリ、６０７…予測信号生成器、６０８…加算器、５０６１…動きベクトルメモリ、５０６２…動き参照先候補生成器、５０６３…予測動きベクトル生成器、６０２１…動きベクトルメモリ、６０２２…動き参照先候補生成器、６０２３…予測動きベクトル生成器。

Claims (7)

  1. 入力画像を複数の領域に分割する領域分割手段と、
    前記領域分割手段により分割された符号化対象とする対象領域を第１の予測領域と第２の予測領域とに小分割し、前記対象領域に適した予測領域の数と領域形状を示す予測ブロック分割タイプを決定し、前記第１、第２の予測領域との相関が高い信号を既再生信号から取得するための第１、第２の動き情報をそれぞれ予測し、前記予測ブロック分割タイプと、前記第１、第２の動き情報と、前記第１の予測領域の予測信号の生成に、該第１の予測領域に隣接する隣接領域に付随する復号済み動き情報及び動きベクトルが０であることを示す動き情報を含むか、或いは前記動きベクトルが０であることを示す動き情報のみを含む動き情報候補を利用するか否かを示す第１のマージ識別情報と、前記第２の予測領域の予測信号の生成に該第２の予測領域に隣接する隣接領域に付随する復号済み動き情報のうち、前記第１の動き情報を除く復号済み動き情報を利用するか否かを示す第２のマージ識別情報と、を含む予測情報を求める予測情報推定手段と、
    前記対象領域に付随する予測情報を符号化する予測情報符号化手段と、
    前記第１の動き情報と前記第２の動き情報に基づいて、前記第１の予測領域と第２の予測領域の各々の予測信号を生成する予測信号生成手段と、
    前記第１の予測領域と第２の予測領域の各々の予測信号と画素信号とに基づく残差信号を生成する残差信号生成手段と、
    前記残差信号生成手段により生成された残差信号を符号化する残差信号符号化手段と、
    前記残差信号の符号化データを復号することにより再生残差信号を生成する残差信号復元手段と、
    前記予測信号と前記再生残差信号とに基づいて前記対象領域の復元画素信号を生成し、該復元画素信号を前記既再生信号として保存する記録手段と、
    を具備する画像予測符号化装置。
  2. 画像予測符号化装置により実行される画像予測符号化方法であって、
    入力画像を複数の領域に分割する領域分割ステップと、
    前記領域分割ステップにより分割された符号化対象とする対象領域を第１の予測領域と第２の予測領域とに小分割し、前記対象領域に適した予測領域の数と領域形状を示す予測ブロック分割タイプを決定し、前記第１、第２の予測領域との相関が高い信号を既再生信号から取得するための第１、第２の動き情報をそれぞれ予測し、前記予測ブロック分割タイプと、前記第１、第２の動き情報と、前記第１の予測領域の予測信号の生成に、該第１の予測領域に隣接する隣接領域に付随する復号済み動き情報及び動きベクトルが０であることを示す動き情報を含むか、或いは前記動きベクトルが０であることを示す動き情報のみを含む動き情報候補を利用するか否かを示す第１のマージ識別情報と、前記第２の予測領域の予測信号の生成に該第２の予測領域に隣接する隣接領域に付随する復号済み動き情報のうち、前記第１の動き情報を除く復号済み動き情報を利用するか否かを示す第２のマージ識別情報と、を含む予測情報を求める予測情報推定ステップと、
    前記対象領域に付随する予測情報を符号化する予測情報符号化ステップと、
    前記第１の動き情報と前記第２の動き情報に基づいて、前記第１の予測領域と第２の予測領域の各々の予測信号を生成する予測信号生成ステップと、
    前記第１の予測領域と第２の予測領域の各々の予測信号と画素信号とに基づく残差信号を生成する残差信号生成ステップと、
    前記残差信号生成ステップにより生成された残差信号を符号化する残差信号符号化ステップと、
    前記残差信号の符号化データを復号することにより再生残差信号を生成する残差信号復元ステップと、
    前記予測信号と前記再生残差信号とに基づいて前記対象領域の復元画素信号を生成し、該復元画素信号を前記既再生信号として保存する記録ステップと、
    を含む画像予測符号化方法。
  3. コンピュータを、
    入力画像を複数の領域に分割する領域分割手段と、
    前記領域分割手段により分割された符号化対象とする対象領域を第１の予測領域と第２の予測領域とに小分割し、前記対象領域に適した予測領域の数と領域形状を示す予測ブロック分割タイプを決定し、前記第１、第２の予測領域との相関が高い信号を既再生信号から取得するための第１、第２の動き情報をそれぞれ予測し、前記予測ブロック分割タイプと、前記第１、第２の動き情報と、前記第１の予測領域の予測信号の生成に、該第１の予測領域に隣接する隣接領域に付随する復号済み動き情報及び動きベクトルが０であることを示す動き情報を含むか、或いは前記動きベクトルが０であることを示す動き情報のみを含む動き情報候補を利用するか否かを示す第１のマージ識別情報と、前記第２の予測領域の予測信号の生成に該第２の予測領域に隣接する隣接領域に付随する復号済み動き情報のうち、前記第１の動き情報を除く復号済み動き情報を利用するか否かを示す第２のマージ識別情報と、を含む予測情報を求める予測情報推定手段と、
    前記対象領域に付随する予測情報を符号化する予測情報符号化手段と、
    前記第１の動き情報と前記第２の動き情報に基づいて、前記第１の予測領域と第２の予測領域の各々の予測信号を生成する予測信号生成手段と、
    前記第１の予測領域と第２の予測領域の各々の予測信号と画素信号とに基づく残差信号を生成する残差信号生成手段と、
    前記残差信号生成手段により生成された残差信号を符号化する残差信号符号化手段と、
    前記残差信号の符号化データを復号することにより再生残差信号を生成する残差信号復元手段と、
    前記予測信号と前記再生残差信号とに基づいて前記対象領域の復元画素信号を生成し、該復元画素信号を前記既再生信号として保存する記録手段、
    として機能させるための画像予測符号化プログラム。
  4. 複数の領域に分割して符号化された画像の圧縮データの中から、復号対象となる対象領域の信号の予測に用いる予測方法を指示する予測情報の符号化データと、残差信号の符号化データとを抽出するデータ解析手段と、
    前記予測情報の符号化データから動き情報を復元する予測情報復号手段であって、
    前記予測情報の符号化データから、前記対象領域を小分割する予測領域の数を示す予測ブロック分割タイプを復元し、
    前記予測ブロック分割タイプが、前記対象領域が第１の予測領域と第２の予測領域を含むことを示す場合に、
    前記予測情報の符号化データを更に復号して、前記第１の予測領域の予測信号の生成に、該第１の予測領域に隣接する隣接領域に付随する復号済み動き情報及び動きベクトルが０であることを示す動き情報を含むか、或いは前記動きベクトルが０であることを示す動き情報のみを含む動き情報候補を利用するか否かを示す第１のマージ識別情報を復元し、
    前記第１のマージ識別情報が前記動き情報候補を利用しないことを示す場合に、前記予測情報の符号化データを更に復号して、前記第１の予測領域の予測信号の生成に用いる第１の動き情報を復元し、
    前記第１のマージ識別情報が前記動き情報候補を利用することを示す場合に、前記予測情報の符号化データを更に復号して、前記動き情報候補から前記第１の予測領域の予測信号の生成に用いる第１の動き情報を特定する第１の選択情報を復元し、該第１の選択情報に基づいて前記第１の動き情報を復元し、
    前記予測情報の符号化データを更に復号して、前記第２の予測領域の予測信号の生成に該第２の予測領域に隣接する隣接領域に付随する復号済み動き情報を利用するか否かを示す第２のマージ識別情報を復元し、
    前記第２のマージ識別情報が復号済み動き情報を利用しないことを示す場合に、前記予測情報の符号化データを更に復号して、第２の予測領域の予測信号の生成に用いる第２の動き情報を復元し、
    前記第２のマージ識別情報が復号済み動き情報を利用することを示す場合に、前記予測情報の符号化データを更に復号して、前記第２の予測領域に隣接する複数の隣接領域に付随する復号済み動き情報のうち、前記第１の動き情報を除く復号済み動き情報の候補から、前記第２の予測領域の予測信号の生成に用いる第２の動き情報を特定する第２の選択情報を復元し、該第２の選択情報に基づいて前記第２の動き情報を復元する、
    該予測情報復号手段と、
    復元した予測情報に含まれる動き情報を保存する保存手段と、
    復元された前記第１の動き情報と前記第２の動き情報に基づいて、前記対象領域に含まれる前記第１の予測領域と第２の予測領域の各々の予測信号を生成する予測信号生成手段と、
    前記残差信号の符号化データから前記対象領域の再生残差信号を復元する残差信号復元手段と、
    前記予測信号と前記再生残差信号とに基づいて前記対象領域の画素信号を復元し、該画素信号を既再生信号として保存する記録手段と、
    を具備する画像予測復号装置。
  5. 画像予測復号装置により実行される画像予測復号方法であって、
    複数の領域に分割して符号化された画像の圧縮データの中から、復号対象となる対象領域の信号の予測に用いる予測方法を指示する予測情報の符号化データと、残差信号の符号化データとを抽出するデータ解析ステップと、
    前記予測情報の符号化データから動き情報を復元する予測情報復号ステップであって、
    前記予測情報の符号化データから、前記対象領域を小分割する予測領域の数を示す予測ブロック分割タイプを復元し、
    前記予測ブロック分割タイプが、前記対象領域が第１の予測領域と第２の予測領域を含むことを示す場合に、
    前記予測情報の符号化データを更に復号して、前記第１の予測領域の予測信号の生成に、該第１の予測領域に隣接する隣接領域に付随する復号済み動き情報及び動きベクトルが０であることを示す動き情報を含むか、或いは前記動きベクトルが０であることを示す動き情報のみを含む動き情報候補を利用するか否かを示す第１のマージ識別情報を復元し、
    前記第１のマージ識別情報が前記動き情報候補を利用しないことを示す場合に、前記予測情報の符号化データを更に復号して、前記第１の予測領域の予測信号の生成に用いる第１の動き情報を復元し、
    前記第１のマージ識別情報が前記動き情報候補を利用することを示す場合に、前記予測情報の符号化データを更に復号して、前記動き情報候補から前記第１の予測領域の予測信号の生成に用いる第１の動き情報を特定する第１の選択情報を復元し、該第１の選択情報に基づいて前記第１の動き情報を復元し、
    前記予測情報の符号化データを更に復号して、前記第２の予測領域の予測信号の生成に該第２の予測領域に隣接する隣接領域に付随する復号済み動き情報を利用するか否かを示す第２のマージ識別情報を復元し、
    前記第２のマージ識別情報が復号済み動き情報を利用しないことを示す場合に、前記予測情報の符号化データを更に復号して、第２の予測領域の予測信号の生成に用いる第２の動き情報を復元し、
    前記第２のマージ識別情報が復号済み動き情報を利用することを示す場合に、前記予測情報の符号化データを更に復号して、前記第２の予測領域に隣接する複数の隣接領域に付随する復号済み動き情報のうち、前記第１の動き情報を除く復号済み動き情報の候補から、前記第２の予測領域の予測信号の生成に用いる第２の動き情報を特定する第２の選択情報を復元し、該第２の選択情報に基づいて前記第２の動き情報を復元する、
    該予測情報復号ステップと、
    復元した予測情報に含まれる動き情報を保存する保存ステップと、
    復元された前記第１の動き情報と前記第２の動き情報に基づいて、前記対象領域に含まれる前記第１の予測領域と第２の予測領域の各々の予測信号を生成する予測信号生成ステップと、
    前記残差信号の符号化データから前記対象領域の再生残差信号を復元する残差信号復元ステップと、
    前記予測信号と前記再生残差信号とに基づいて前記対象領域の画素信号を復元し、該画素信号を既再生信号として保存する記録ステップと、
    を含む画像予測復号方法。
  6. コンピュータを、
    複数の領域に分割して符号化された画像の圧縮データの中から、復号対象となる対象領域の信号の予測に用いる予測方法を指示する予測情報の符号化データと、残差信号の符号化データとを抽出するデータ解析手段と、
    前記予測情報の符号化データから動き情報を復元する予測情報復号手段であって、
    前記予測情報の符号化データから、前記対象領域を小分割する予測領域の数を示す予測ブロック分割タイプを復元し、
    前記予測ブロック分割タイプが、前記対象領域が第１の予測領域と第２の予測領域を含むことを示す場合に、
    前記予測情報の符号化データを更に復号して、前記第１の予測領域の予測信号の生成に、該第１の予測領域に隣接する隣接領域に付随する復号済み動き情報及び動きベクトルが０であることを示す動き情報を含むか、或いは前記動きベクトルが０であることを示す動き情報のみを含む動き情報候補を利用するか否かを示す第１のマージ識別情報を復元し、
    前記第１のマージ識別情報が前記動き情報候補を利用しないことを示す場合に、前記予測情報の符号化データを更に復号して、前記第１の予測領域の予測信号の生成に用いる第１の動き情報を復元し、
    前記第１のマージ識別情報が前記動き情報候補を利用することを示す場合に、前記予測情報の符号化データを更に復号して、前記動き情報候補から前記第１の予測領域の予測信号の生成に用いる第１の動き情報を特定する第１の選択情報を復元し、該第１の選択情報に基づいて前記第１の動き情報を復元し、
    前記予測情報の符号化データを更に復号して、前記第２の予測領域の予測信号の生成に該第２の予測領域に隣接する隣接領域に付随する復号済み動き情報を利用するか否かを示す第２のマージ識別情報を復元し、
    前記第２のマージ識別情報が復号済み動き情報を利用しないことを示す場合に、前記予測情報の符号化データを更に復号して、第２の予測領域の予測信号の生成に用いる第２の動き情報を復元し、
    前記第２のマージ識別情報が復号済み動き情報を利用することを示す場合に、前記予測情報の符号化データを更に復号して、前記第２の予測領域に隣接する複数の隣接領域に付随する復号済み動き情報のうち、前記第１の動き情報を除く復号済み動き情報の候補から、前記第２の予測領域の予測信号の生成に用いる第２の動き情報を特定する第２の選択情報を復元し、該第２の選択情報に基づいて前記第２の動き情報を復元する、
    該予測情報復号手段と、
    復元した予測情報に含まれる動き情報を保存する保存手段と、
    復元された前記第１の動き情報と前記第２の動き情報に基づいて、前記対象領域に含まれる前記第１の予測領域と第２の予測領域の各々の予測信号を生成する予測信号生成手段と、
    前記残差信号の符号化データから前記対象領域の再生残差信号を復元する残差信号復元手段と、
    前記予測信号と前記再生残差信号とに基づいて前記対象領域の画素信号を復元し、該画素信号を既再生信号として保存する記録手段、
    として機能させるための画像予測復号プログラム。
  7. 画像予測復号装置により実行される画像予測復号方法であって、
    複数の領域に分割して符号化された画像の圧縮データの中から、復号対象となる対象領域の信号の予測に用いる予測方法を指示する予測情報の符号化データと、残差信号の符号化データとを抽出するデータ解析ステップと、
    前記予測情報の符号化データから動き情報を復元する予測情報復号ステップであって、
    前記予測情報の符号化データから、前記対象領域を小分割する予測領域の数を示す予測ブロック分割タイプを復元し、
    前記予測ブロック分割タイプが、前記対象領域が第１の予測領域と第２の予測領域を含むことを示す場合に、
    前記予測情報の符号化データを更に復号して、前記第１の予測領域の予測信号の生成に、該第１の予測領域に隣接する隣接領域に付随する復号済み動き情報及び動きベクトルが０であることを示す動き情報を含む動き情報候補を利用するか否かを示す第１のマージ識別情報を復元し、
    前記第１のマージ識別情報が前記動き情報候補を利用しないことを示す場合に、前記予測情報の符号化データを更に復号して、前記第１の予測領域の予測信号の生成に用いる第１の動き情報を復元し、
    前記第１のマージ識別情報が前記動き情報候補を利用することを示す場合に、前記予測情報の符号化データを更に復号して、前記動き情報候補から前記第１の予測領域の予測信号の生成に用いる第１の動き情報を特定する第１の選択情報を復元し、該第１の選択情報に基づいて前記第１の動き情報を復元し、
    前記予測情報の符号化データを更に復号して、前記第２の予測領域の予測信号の生成に該第２の予測領域に隣接する隣接領域に付随する復号済み動き情報を利用するか否かを示す第２のマージ識別情報を復元し、
    前記第２のマージ識別情報が復号済み動き情報を利用しないことを示す場合に、前記予測情報の符号化データを更に復号して、第２の予測領域の予測信号の生成に用いる第２の動き情報を復元し、
    前記第２のマージ識別情報が復号済み動き情報を利用することを示す場合に、前記予測情報の符号化データを更に復号して、前記第２の予測領域に隣接する複数の隣接領域に付随する復号済み動き情報のうち、前記第１の動き情報を除く復号済み動き情報の候補から、前記第２の予測領域の予測信号の生成に用いる第２の動き情報を特定する第２の選択情報を復元し、該第２の選択情報に基づいて前記第２の動き情報を復元する、
    該予測情報復号ステップと、
    復元した予測情報に含まれる動き情報を保存する保存ステップと、
    復元された前記第１の動き情報と前記第２の動き情報に基づいて、前記対象領域に含まれる前記第１の予測領域と第２の予測領域の各々の予測信号を生成する予測信号生成ステップと、
    前記残差信号の符号化データから前記対象領域の再生残差信号を復元する残差信号復元ステップと、
    前記予測信号と前記再生残差信号とに基づいて前記対象領域の画素信号を復元し、該画素信号を既再生信号として保存する記録ステップと、
    を含む画像予測復号方法。
JP2015045725A 2010-07-20 2015-03-09 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法、及び、画像予測復号プログラム Active JP5951063B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015045725A JP5951063B2 (ja) 2010-07-20 2015-03-09 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法、及び、画像予測復号プログラム

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2010163245 2010-07-20
JP2010163245 2010-07-20
JP2010174869 2010-08-03
JP2010174869 2010-08-03
JP2015045725A JP5951063B2 (ja) 2010-07-20 2015-03-09 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法、及び、画像予測復号プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014244133A Division JP5712330B2 (ja) 2010-07-20 2014-12-02 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法、及び、画像予測復号プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016084633A Division JP2016165135A (ja) 2010-07-20 2016-04-20 画像予測符号化装置、画像予測符号化方法、画像予測復号装置、及び、画像予測復号方法

Publications (2)

Publication Number Publication Date
JP2015130692A JP2015130692A (ja) 2015-07-16
JP5951063B2 true JP5951063B2 (ja) 2016-07-13

Family

ID=45496857

Family Applications (8)

Application Number Title Priority Date Filing Date
JP2012525384A Active JP5661114B2 (ja) 2010-07-20 2011-07-14 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法、及び、画像予測復号プログラム
JP2014244133A Active JP5712330B2 (ja) 2010-07-20 2014-12-02 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法、及び、画像予測復号プログラム
JP2015045725A Active JP5951063B2 (ja) 2010-07-20 2015-03-09 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法、及び、画像予測復号プログラム
JP2016084633A Pending JP2016165135A (ja) 2010-07-20 2016-04-20 画像予測符号化装置、画像予測符号化方法、画像予測復号装置、及び、画像予測復号方法
JP2018051220A Active JP6535780B2 (ja) 2010-07-20 2018-03-19 画像予測復号装置、及び、画像予測復号方法
JP2019103922A Pending JP2019140703A (ja) 2010-07-20 2019-06-03 画像予測復号装置、及び、画像予測復号方法
JP2019103920A Pending JP2019165499A (ja) 2010-07-20 2019-06-03 画像予測復号装置、及び、画像予測復号方法
JP2019103923A Pending JP2019140704A (ja) 2010-07-20 2019-06-03 画像予測復号装置、及び、画像予測復号方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2012525384A Active JP5661114B2 (ja) 2010-07-20 2011-07-14 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法、及び、画像予測復号プログラム
JP2014244133A Active JP5712330B2 (ja) 2010-07-20 2014-12-02 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法、及び、画像予測復号プログラム

Family Applications After (5)

Application Number Title Priority Date Filing Date
JP2016084633A Pending JP2016165135A (ja) 2010-07-20 2016-04-20 画像予測符号化装置、画像予測符号化方法、画像予測復号装置、及び、画像予測復号方法
JP2018051220A Active JP6535780B2 (ja) 2010-07-20 2018-03-19 画像予測復号装置、及び、画像予測復号方法
JP2019103922A Pending JP2019140703A (ja) 2010-07-20 2019-06-03 画像予測復号装置、及び、画像予測復号方法
JP2019103920A Pending JP2019165499A (ja) 2010-07-20 2019-06-03 画像予測復号装置、及び、画像予測復号方法
JP2019103923A Pending JP2019140704A (ja) 2010-07-20 2019-06-03 画像予測復号装置、及び、画像予測復号方法

Country Status (19)

Country Link
US (8) US9185409B2 (ja)
EP (6) EP3661204B8 (ja)
JP (8) JP5661114B2 (ja)
KR (7) KR101809187B1 (ja)
CN (7) CN105847837B (ja)
AU (1) AU2011280629B2 (ja)
BR (1) BR112013001351B1 (ja)
CA (8) CA3102661C (ja)
DK (6) DK3661204T3 (ja)
ES (6) ES2820437T3 (ja)
FI (1) FI3661210T3 (ja)
HU (4) HUE056567T2 (ja)
MX (5) MX2013000666A (ja)
PL (3) PL3664453T3 (ja)
PT (6) PT3661204T (ja)
RU (8) RU2573208C2 (ja)
SG (1) SG187094A1 (ja)
TW (2) TWI519140B (ja)
WO (1) WO2012011432A1 (ja)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK3567852T3 (da) 2009-03-23 2023-01-16 Ntt Docomo Inc Billedforudsigelsesafkodningsindretning og billedforudsigelsesafkodningsfremgangsmåde
CN103385002A (zh) * 2010-02-17 2013-11-06 韩国电子通信研究院 用于对超高清图像进行编码的装置及其方法、以及解码装置及其方法
ES2820437T3 (es) 2010-07-20 2021-04-21 Ntt Docomo Inc Método de codificación predictiva de imágenes, dispositivo de decodificación predictiva de imágenes, método de decodificación predictiva de imágenes y programa de decodificación predictiva de imágenes
JP5698541B2 (ja) * 2011-01-12 2015-04-08 株式会社Ｎｔｔドコモ 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム
JP5857244B2 (ja) * 2011-03-07 2016-02-10 パナソニックＩｐマネジメント株式会社 動き補償装置、動画像符号化装置、動画像復号装置、動き補償方法、プログラム、及び集積回路
JP2013207402A (ja) * 2012-03-27 2013-10-07 Nippon Hoso Kyokai <Nhk> 画像符号化装置及びプログラム
TWI597967B (zh) * 2012-04-06 2017-09-01 Jvc Kenwood Corp Video decoding apparatus, video decoding method, and video decoding program medium
TWI657696B (zh) * 2012-04-16 2019-04-21 日商Ｊｖｃ建伍股份有限公司 動態影像編碼裝置、動態影像編碼方法、及記錄動態影像編碼程式之記錄媒體
GB2501535A (en) 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
JP5972687B2 (ja) * 2012-07-02 2016-08-17 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
JP5798539B2 (ja) * 2012-09-24 2015-10-21 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測復号装置及び動画像予測復号方法
JP5719401B2 (ja) * 2013-04-02 2015-05-20 日本電信電話株式会社 ブロックサイズ決定方法、映像符号化装置、及びプログラム
CN103702127B (zh) * 2013-12-30 2016-10-12 清华大学 基于运动向量相关性的运动估计搜索范围预测方法和系统
WO2015100729A1 (en) * 2014-01-03 2015-07-09 Mediatek Singapore Pte. Ltd. Improved merging candidate list construction in 3dvc
CN103841405B (zh) * 2014-03-21 2016-07-06 华为技术有限公司 深度图像的编解码方法和编解码装置
WO2015196333A1 (en) * 2014-06-23 2015-12-30 Mediatek Singapore Pte. Ltd. Segmental prediction for video coding
WO2015196966A1 (en) * 2014-06-23 2015-12-30 Mediatek Singapore Pte. Ltd. Method of segmental prediction for depth and texture data in 3d and multi-view coding systems
WO2016044979A1 (en) * 2014-09-22 2016-03-31 Mediatek Singapore Pte. Ltd. Segmental prediction for video coding
US10681371B2 (en) 2015-06-07 2020-06-09 Lg Electronics Inc. Method and device for performing deblocking filtering
WO2017026681A1 (ko) * 2015-08-07 2017-02-16 엘지전자 주식회사 비디오 코딩 시스템에서 인터 예측 방법 및 장치
KR20180040517A (ko) * 2015-09-10 2018-04-20 삼성전자주식회사 비디오 부호화, 복호화 방법 및 장치
US10375156B2 (en) 2015-09-11 2019-08-06 Facebook, Inc. Using worker nodes in a distributed video encoding system
US10602157B2 (en) 2015-09-11 2020-03-24 Facebook, Inc. Variable bitrate control for distributed video encoding
US10341561B2 (en) * 2015-09-11 2019-07-02 Facebook, Inc. Distributed image stabilization
US10499070B2 (en) 2015-09-11 2019-12-03 Facebook, Inc. Key frame placement for distributed video encoding
US10506235B2 (en) 2015-09-11 2019-12-10 Facebook, Inc. Distributed control of video encoding speeds
US10063872B2 (en) 2015-09-11 2018-08-28 Facebook, Inc. Segment based encoding of video
US10602153B2 (en) 2015-09-11 2020-03-24 Facebook, Inc. Ultra-high video compression
FR3047379A1 (fr) * 2016-01-29 2017-08-04 Orange Procede de codage et decodage de donnees, dispositif de codage et decodage de donnees et programmes d'ordinateur correspondants
CN109565595B (zh) * 2016-06-24 2021-06-22 华为技术有限公司 一种使用基于分割的视频编码块划分的视频编码设备和方法
US20190253624A1 (en) * 2017-07-17 2019-08-15 Ki Baek Kim Image data encoding/decoding method and apparatus
US10957068B2 (en) * 2017-01-06 2021-03-23 Canon Kabushiki Kaisha Information processing apparatus and method of controlling the same
JP6894707B2 (ja) * 2017-01-06 2021-06-30 キヤノン株式会社 情報処理装置およびその制御方法、プログラム
US10218448B2 (en) * 2017-02-02 2019-02-26 Osram Sylvania Inc. System and method for determining vehicle position based upon light-based communication and time-of-flight measurements
US10531085B2 (en) * 2017-05-09 2020-01-07 Futurewei Technologies, Inc. Coding chroma samples in video compression
CN110999303B (zh) * 2017-08-22 2023-07-07 松下电器（美国）知识产权公司 图像编码器、图像解码器、图像编码方法和图像解码方法
CN111264060B (zh) * 2017-10-20 2023-10-17 富士通株式会社 动态图像编码装置、动态图像编码方法和存储介质
CN107659804B (zh) * 2017-10-30 2019-03-12 河海大学 一种针对虚拟现实头戴式显示设备的屏幕内容视频编码算法
US11025904B2 (en) * 2018-06-08 2021-06-01 Tencent America LLC Method and apparatus for temporal motion vector prediction
CN110662076B (zh) * 2018-06-29 2022-10-04 北京字节跳动网络技术有限公司 子块的边界增强
CN110677679B (zh) * 2018-07-01 2022-07-26 北京字节跳动网络技术有限公司 依赖形状的帧内编码
US11671619B2 (en) 2018-07-02 2023-06-06 Intellectual Discovery Co., Ltd. Video coding method and device using merge candidate
US10404980B1 (en) * 2018-07-10 2019-09-03 Tencent America LLC Intra prediction with wide angle mode in video coding
WO2020059051A1 (ja) * 2018-09-19 2020-03-26 富士通株式会社 映像符号化装置、映像符号化方法、映像符号化プログラム、映像復号装置、映像復号方法、及び映像復号プログラム
CN109547781B (zh) * 2018-10-26 2020-12-22 嘉兴奥恒进出口有限公司 基于图像预测的压缩方法及设备
FR3088511B1 (fr) * 2018-11-09 2021-05-28 Fond B Com Procede de decodage d’au moins une image, procede de codage, dispositifs, signal et programmes d’ordinateur correspondants.
CN111263144B (zh) * 2018-11-30 2022-07-01 杭州海康威视数字技术股份有限公司 一种运动信息确定方法及其设备
US11102513B2 (en) * 2018-12-06 2021-08-24 Tencent America LLC One-level transform split and adaptive sub-block transform
US11533506B2 (en) * 2019-02-08 2022-12-20 Tencent America LLC Method and apparatus for video coding
AR118250A1 (es) 2019-03-08 2021-09-22 Jvckenwood Corp Dispositivos, métodos y programas de codificación y decodificación de imágenes en movimiento
FI3915254T3 (fi) * 2019-03-12 2023-12-28 Beijing Dajia Internet Information Tech Co Ltd Videokoodauksen menetelmät ja laitteistot kolmion muotoista ennustuskenttää varten
CN114009047A (zh) * 2019-06-23 2022-02-01 Lg 电子株式会社 视频/图像编译系统中用于合并数据语法的信令方法和装置

Family Cites Families (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3869672A (en) 1972-05-13 1975-03-04 Int Standard Electric Corp Method and arrangements for the digital control of operating functions, radio and television receivers
KR0166716B1 (ko) 1992-06-18 1999-03-20 강진구 블럭 dpcm을 이용한 부호화/복호화방법 및 장치
JPH07264598A (ja) 1994-03-23 1995-10-13 Nippon Telegr & Teleph Corp <Ntt> 動き補償方法、動きベクトル検出回路および動き補償回路
US5608458A (en) 1994-10-13 1997-03-04 Lucent Technologies Inc. Method and apparatus for a region-based approach to coding a sequence of video images
US5682204A (en) 1995-12-26 1997-10-28 C Cube Microsystems, Inc. Video encoder which uses intra-coding when an activity level of a current macro-block is smaller than a threshold level
WO1997027707A1 (en) 1996-01-22 1997-07-31 Matsushita Electric Industrial Co., Ltd. Digital image encoding and decoding method and digital image encoding and decoding device using the same
KR100371130B1 (ko) 1996-05-28 2003-02-07 마쯔시다덴기산교 가부시키가이샤 화상예측 복호화 장치 및 그 방법과 화상예측 부호화 장치및 그 방법
EP0817499A3 (en) 1996-06-28 2002-05-22 Matsushita Electric Industrial Co., Ltd. Image coding method using extrapolated pixels in insignificant areas of blocks
JP2004343788A (ja) 1996-10-31 2004-12-02 Toshiba Corp 画像符号化装置および画像復号化装置および画像符号化データを記録した記録媒体
US6687405B1 (en) 1996-11-13 2004-02-03 Koninklijke Philips Electronics N.V. Image segmentation
CN1155259C (zh) * 1996-11-26 2004-06-23 松下电器产业株式会社 运动图象可变比特率编码装置和编码方法
US6359929B1 (en) 1997-07-04 2002-03-19 Matsushita Electric Industrial Co., Ltd. Image predictive decoding method, image predictive decoding apparatus, image predictive coding apparatus, and data storage medium
KR100563756B1 (ko) * 1997-11-05 2006-03-24 소니 가부시끼 가이샤 디지탈 신호 변환 방법 및 디지탈 신호 변환 장치
US6483521B1 (en) 1998-02-02 2002-11-19 Matsushita Electric Industrial Co., Ltd. Image composition method, image composition apparatus, and data recording media
US7184482B2 (en) * 1999-04-17 2007-02-27 Altera Corporation Encoding system using motion vectors to represent frame-to-frame changes, wherein a decoder uses predictions of motion vectors in decoding
US6765964B1 (en) * 2000-12-06 2004-07-20 Realnetworks, Inc. System and method for intracoding video data
US7643559B2 (en) 2001-09-14 2010-01-05 Ntt Docomo, Inc. Coding method, decoding method, coding apparatus, decoding apparatus, image processing system, coding program, and decoding program
CN1285216C (zh) 2001-11-16 2006-11-15 株式会社Ntt都科摩 图像编码方法和装置、图像译码方法和装置
JP3861698B2 (ja) * 2002-01-23 2006-12-20 ソニー株式会社 画像情報符号化装置及び方法、画像情報復号装置及び方法、並びにプログラム
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
ES2745058T3 (es) 2002-04-19 2020-02-27 Panasonic Ip Corp America Método de cálculo de vectores de movimiento
AU2003281133A1 (en) 2002-07-15 2004-02-02 Hitachi, Ltd. Moving picture encoding method and decoding method
JP3504256B1 (ja) 2002-12-10 2004-03-08 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化方法、動画像復号方法、動画像符号化装置、及び動画像復号装置
KR100560843B1 (ko) 2003-04-10 2006-03-13 에스케이 텔레콤주식회사 비디오 부호기에서 적응 움직임 벡터의 탐색 영역을결정하는 방법 및 장치
JP4373702B2 (ja) 2003-05-07 2009-11-25 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
JP2005005844A (ja) 2003-06-10 2005-01-06 Hitachi Ltd 計算装置及び符号化処理プログラム
US9210441B2 (en) 2003-06-25 2015-12-08 Thomson Licensing Fast mode-decision encoding for interframes
US7646815B2 (en) * 2003-07-15 2010-01-12 Lsi Corporation Intra estimation chroma mode 0 sub-block dependent prediction
US20050013498A1 (en) 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7400681B2 (en) 2003-11-28 2008-07-15 Scientific-Atlanta, Inc. Low-complexity motion vector prediction for video codec with two lists of reference pictures
JP4213646B2 (ja) 2003-12-26 2009-01-21 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、及び画像復号プログラム。
JP4313710B2 (ja) 2004-03-25 2009-08-12 パナソニック株式会社 画像符号化方法および画像復号化方法
JP4414904B2 (ja) 2004-04-16 2010-02-17 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
CN101023672A (zh) * 2004-07-12 2007-08-22 诺基亚公司 在可调整视频编码中用于运动预测的系统和方法
KR100907847B1 (ko) * 2004-07-20 2009-07-14 퀄컴 인코포레이티드 순간적 비디오 압축으로 이동 벡터 예측을 위한 방법 및장치
US8085846B2 (en) 2004-08-24 2011-12-27 Thomson Licensing Method and apparatus for decoding hybrid intra-inter coded blocks
CN100471280C (zh) * 2005-01-07 2009-03-18 株式会社Ntt都科摩 运动图像编码及译码装置、方法
KR101108681B1 (ko) 2005-01-19 2012-01-25 삼성전자주식회사 동영상 코덱에서의 주파수 변환 계수 예측 방법 및 장치,이를 구비한 부호화 및 복호화 장치와 방법
US7580456B2 (en) * 2005-03-01 2009-08-25 Microsoft Corporation Prediction-based directional fractional pixel motion estimation for video coding
US20070025444A1 (en) 2005-07-28 2007-02-01 Shigeyuki Okada Coding Method
US8446954B2 (en) 2005-09-27 2013-05-21 Qualcomm Incorporated Mode selection techniques for multimedia coding
KR100977101B1 (ko) 2005-11-30 2010-08-23 가부시끼가이샤 도시바 화상 부호화/화상 복호화 방법 및 화상 부호화/화상 복호화장치
US8446956B2 (en) * 2006-01-05 2013-05-21 Thomson Licensing Inter-layer motion prediction method using resampling
TW200806040A (en) * 2006-01-05 2008-01-16 Nippon Telegraph & Telephone Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
EP1995967A4 (en) 2006-03-16 2009-11-11 Huawei Tech Co Ltd METHOD AND APPARATUS FOR ADAPTIVE QUANTIFICATION IN AN ENCODING PROCEDURE
JP5002286B2 (ja) 2006-04-27 2012-08-15 キヤノン株式会社 画像符号化装置、画像符号化方法、プログラム及び記憶媒体
CN101455087B (zh) * 2006-05-24 2011-01-12 松下电器产业株式会社 图像编码装置、图像编码方法及图像编码用集成电路
US20080026729A1 (en) 2006-07-31 2008-01-31 Research In Motion Limited Method and apparatus for configuring unique profile settings for multiple services
CN101502119B (zh) 2006-08-02 2012-05-23 汤姆逊许可公司 用于视频编码的自适应几何分割方法和设备
KR101382101B1 (ko) * 2006-08-25 2014-04-07 톰슨 라이센싱 감소된 해상도의 파티셔닝을 위한 방법 및 장치
US8355438B2 (en) * 2006-10-30 2013-01-15 Nippon Telegraph And Telephone Corporation Predicted reference information generating method, video encoding and decoding methods, apparatuses therefor, programs therefor, and storage media which store the programs
KR101383540B1 (ko) 2007-01-03 2014-04-09 삼성전자주식회사 복수의 움직임 벡터 프리딕터들을 사용하여 움직임 벡터를추정하는 방법, 장치, 인코더, 디코더 및 복호화 방법
BRPI0720806B1 (pt) * 2007-01-18 2023-03-28 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Corrente de dados de vídeo de qualidade escalonável
US20080240242A1 (en) 2007-03-27 2008-10-02 Nokia Corporation Method and system for motion vector predictions
WO2008126843A1 (ja) 2007-04-09 2008-10-23 Ntt Docomo, Inc. 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法および画像予測復号プログラム
JP5666293B2 (ja) 2007-04-12 2015-02-12 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ビデオ・エンコーディング、およびデコーディングのためのスキップ／ダイレクトモードのコンテクストに依存するマージのための方法と装置
JP4788649B2 (ja) 2007-04-27 2011-10-05 株式会社日立製作所 動画像記録方法及びその装置
JP5188875B2 (ja) * 2007-06-04 2013-04-24 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム
JP2008311781A (ja) 2007-06-12 2008-12-25 Ntt Docomo Inc 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
JP4947364B2 (ja) 2007-06-22 2012-06-06 ソニー株式会社 情報処理システムおよび方法、情報処理装置および方法、並びにプログラム
KR100901874B1 (ko) 2007-07-11 2009-06-09 한국전자통신연구원 비디오 인코딩을 위한 인터 모드 결정 방법
JP4678015B2 (ja) * 2007-07-13 2011-04-27 富士通株式会社 動画像符号化装置及び動画像符号化方法
KR101408698B1 (ko) 2007-07-31 2014-06-18 삼성전자주식회사 가중치 예측을 이용한 영상 부호화, 복호화 방법 및 장치
JP2009111691A (ja) 2007-10-30 2009-05-21 Hitachi Ltd 画像符号化装置及び符号化方法、画像復号化装置及び復号化方法
US20090168871A1 (en) * 2007-12-31 2009-07-02 Ning Lu Video motion estimation
JP4990927B2 (ja) 2008-03-28 2012-08-01 三星電子株式会社 動きベクトル情報の符号化／復号化方法及び装置
JP5406465B2 (ja) * 2008-04-24 2014-02-05 株式会社Ｎｔｔドコモ 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム
US8548041B2 (en) * 2008-09-25 2013-10-01 Mediatek Inc. Adaptive filter
CN102224734B (zh) 2008-10-02 2013-11-13 索尼公司 图像处理设备和方法
RU2011122801A (ru) 2008-11-07 2012-12-20 Мицубиси Электрик Корпорейшн Кодер изображения и декодер изображения
US9560368B2 (en) * 2008-12-03 2017-01-31 Hitachi Maxell, Ltd. Moving picture decoding method and moving picture encoding method
DK3567852T3 (da) 2009-03-23 2023-01-16 Ntt Docomo Inc Billedforudsigelsesafkodningsindretning og billedforudsigelsesafkodningsfremgangsmåde
US9626769B2 (en) * 2009-09-04 2017-04-18 Stmicroelectronics International N.V. Digital video encoder system, method, and non-transitory computer-readable medium for tracking object regions
CN106067983B (zh) * 2010-04-13 2019-07-12 Ge视频压缩有限责任公司 解码数据流的方法、生成数据流的方法及解码器
US9100655B2 (en) * 2010-04-13 2015-08-04 Panasonic Intellectual Property Corporation Of America Motion compensation method, image decoding method, image coding method, motion compensation apparatus, program, and integrated circuit
WO2012005520A2 (en) 2010-07-09 2012-01-12 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using block merging, and method and apparatus for decoding video by using block merging
KR101484281B1 (ko) * 2010-07-09 2015-01-21 삼성전자주식회사 블록 병합을 이용한 비디오 부호화 방법 및 그 장치, 블록 병합을 이용한 비디오 복호화 방법 및 그 장치
ES2820437T3 (es) * 2010-07-20 2021-04-21 Ntt Docomo Inc Método de codificación predictiva de imágenes, dispositivo de decodificación predictiva de imágenes, método de decodificación predictiva de imágenes y programa de decodificación predictiva de imágenes
PL3637778T3 (pl) * 2010-10-06 2024-09-23 Ntt Docomo, Inc. Sposób dwupredykcyjnego dekodowania obrazu
KR20120140181A (ko) * 2011-06-20 2012-12-28 한국전자통신연구원 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
CN107105279B (zh) * 2011-09-23 2020-03-06 株式会社Kt 用于引导合并候选块的方法和使用该方法的设备

Also Published As

Publication number Publication date
US10225580B2 (en) 2019-03-05
EP3661210B1 (en) 2023-08-09
EP3070945B1 (en) 2020-03-11
DK3070945T3 (da) 2020-04-06
ES2887307T3 (es) 2021-12-22
FI3661210T3 (fi) 2023-08-31
TW201215161A (en) 2012-04-01
PT3664453T (pt) 2022-09-20
PT3661211T (pt) 2021-09-24
US10230987B2 (en) 2019-03-12
RU2685389C1 (ru) 2019-04-17
EP2597874A4 (en) 2016-03-09
EP3661211A1 (en) 2020-06-03
JP5712330B2 (ja) 2015-05-07
DK3661211T3 (da) 2021-09-27
CN105898327B (zh) 2019-03-01
CN105847837B (zh) 2019-01-04
KR20170044764A (ko) 2017-04-25
CA3050052A1 (en) 2012-01-26
CA2805735C (en) 2016-02-09
KR101770662B1 (ko) 2017-08-23
EP3664453B1 (en) 2022-08-24
HUE063032T2 (hu) 2023-12-28
CN105898326A (zh) 2016-08-24
HUE056567T2 (hu) 2022-02-28
RU2658798C1 (ru) 2018-06-22
WO2012011432A1 (ja) 2012-01-26
EP3661204A1 (en) 2020-06-03
RU2685388C1 (ru) 2019-04-17
KR101729051B1 (ko) 2017-04-21
KR20130041146A (ko) 2013-04-24
PL3661210T3 (pl) 2023-11-06
TW201507445A (zh) 2015-02-16
RU2013107368A (ru) 2014-10-20
CA2805735A1 (en) 2012-01-26
KR20170098990A (ko) 2017-08-30
KR101600919B1 (ko) 2016-03-21
ES2926898T3 (es) 2022-10-31
CN105898326B (zh) 2019-01-29
PT3661210T (pt) 2023-09-04
CA3011217C (en) 2021-08-03
US9986261B2 (en) 2018-05-29
PT3070945T (pt) 2020-04-22
RU2619202C1 (ru) 2017-05-12
ES2887236T3 (es) 2021-12-22
EP3664453A2 (en) 2020-06-10
US20180278959A1 (en) 2018-09-27
PT2597874T (pt) 2020-09-25
KR20160030322A (ko) 2016-03-16
TWI469646B (zh) 2015-01-11
MX2019010472A (es) 2019-10-15
CN103004206B (zh) 2016-06-01
CA3102661C (en) 2022-05-17
US20180249180A1 (en) 2018-08-30
EP3661210A1 (en) 2020-06-03
DK3661204T3 (da) 2021-09-20
KR101695170B1 (ko) 2017-01-11
CA3011236A1 (en) 2012-01-26
CN105120279A (zh) 2015-12-02
KR101809187B1 (ko) 2017-12-14
US10542287B2 (en) 2020-01-21
CA3011221C (en) 2019-09-03
AU2011280629A1 (en) 2013-02-21
CA3011236C (en) 2019-09-03
EP3661211B1 (en) 2021-08-25
EP2597874B1 (en) 2020-08-26
JP2016165135A (ja) 2016-09-08
JP2019165499A (ja) 2019-09-26
MX367864B (es) 2019-09-05
CA3011217A1 (en) 2012-01-26
US20130136184A1 (en) 2013-05-30
US20180014032A1 (en) 2018-01-11
JPWO2012011432A1 (ja) 2013-09-09
MX350471B (es) 2017-09-07
JP6535780B2 (ja) 2019-06-26
DK3661210T3 (da) 2023-09-11
ES2820437T3 (es) 2021-04-21
ES2955687T3 (es) 2023-12-05
JP5661114B2 (ja) 2015-01-28
US20180249181A1 (en) 2018-08-30
KR20170137962A (ko) 2017-12-13
PT3661204T (pt) 2021-09-22
BR112013001351B1 (pt) 2019-01-29
CA2903530A1 (en) 2012-01-26
US20180332307A1 (en) 2018-11-15
TWI519140B (zh) 2016-01-21
RU2667716C1 (ru) 2018-09-24
HUE059918T2 (hu) 2023-01-28
BR112013001351A2 (pt) 2016-05-17
JP2019140704A (ja) 2019-08-22
KR101772183B1 (ko) 2017-08-28
CA3011241A1 (en) 2012-01-26
JP2015130692A (ja) 2015-07-16
US9794592B2 (en) 2017-10-17
EP3070945A1 (en) 2016-09-21
AU2011280629B2 (en) 2015-08-06
US9497480B2 (en) 2016-11-15
PL3664453T3 (pl) 2022-11-21
CN105120278A (zh) 2015-12-02
US20160021389A1 (en) 2016-01-21
EP3664453A3 (en) 2020-07-29
KR20170003736A (ko) 2017-01-09
CA3011241C (en) 2019-09-10
CN105120278B (zh) 2016-11-30
KR20170045368A (ko) 2017-04-26
US20170034531A1 (en) 2017-02-02
US9185409B2 (en) 2015-11-10
CN105898327A (zh) 2016-08-24
RU2685390C1 (ru) 2019-04-17
KR101903643B1 (ko) 2018-10-02
CA3102661A1 (en) 2012-01-26
EP3661204B1 (en) 2021-08-18
SG187094A1 (en) 2013-03-28
MX338236B (es) 2016-04-08
CN105120280A (zh) 2015-12-02
CN105847837A (zh) 2016-08-10
RU2685393C1 (ru) 2019-04-17
DK3664453T3 (da) 2022-09-12
CA3011221A1 (en) 2012-01-26
JP2015065690A (ja) 2015-04-09
JP2019140703A (ja) 2019-08-22
HUE056566T2 (hu) 2022-02-28
CN105120280B (zh) 2018-04-20
JP2018121354A (ja) 2018-08-02
RU2573208C2 (ru) 2016-01-20
EP3661204B8 (en) 2021-09-22
EP2597874A1 (en) 2013-05-29
CN103004206A (zh) 2013-03-27
US10063888B1 (en) 2018-08-28
CN105120279B (zh) 2018-05-29
DK2597874T3 (da) 2020-09-28
ES2785606T3 (es) 2020-10-07
CA2903530C (en) 2018-08-28
PL3661211T3 (pl) 2021-12-13
MX2013000666A (es) 2013-02-26

Similar Documents

Publication Publication Date Title
JP6535780B2 (ja) 画像予測復号装置、及び、画像予測復号方法
US11290738B2 (en) Image encoding and decoding method with a merge flag and motion vectors

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160607

R150 Certificate of patent or registration of utility model

Ref document number: 5951063

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250