JP4666255B2 - 符号化データ選定、符号化データ設定、再符号化データ生成及び再符号化の方法及び装置 - Google Patents

符号化データ選定、符号化データ設定、再符号化データ生成及び再符号化の方法及び装置 Download PDF

Info

Publication number
JP4666255B2
JP4666255B2 JP2005375404A JP2005375404A JP4666255B2 JP 4666255 B2 JP4666255 B2 JP 4666255B2 JP 2005375404 A JP2005375404 A JP 2005375404A JP 2005375404 A JP2005375404 A JP 2005375404A JP 4666255 B2 JP4666255 B2 JP 4666255B2
Authority
JP
Japan
Prior art keywords
encoded data
macroblock
sub
predetermined
prediction mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2005375404A
Other languages
English (en)
Other versions
JP2007180776A (ja
Inventor
敏之 池田
慶一 蝶野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2005375404A priority Critical patent/JP4666255B2/ja
Priority to CA 2572515 priority patent/CA2572515C/en
Priority to US11/645,977 priority patent/US8254463B2/en
Priority to TW95148874A priority patent/TWI364989B/zh
Priority to MYPI20064767 priority patent/MY145659A/en
Priority to KR20060134771A priority patent/KR100903712B1/ko
Priority to SG200609070-8A priority patent/SG133582A1/en
Priority to SG200904364-7A priority patent/SG153866A1/en
Priority to CN2006100644930A priority patent/CN101014132B/zh
Priority to EP06127214.2A priority patent/EP1833256B1/en
Priority to AU2006252282A priority patent/AU2006252282B2/en
Publication of JP2007180776A publication Critical patent/JP2007180776A/ja
Application granted granted Critical
Publication of JP4666255B2 publication Critical patent/JP4666255B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

本発明は、符号化データ選定方法及びこれに対応した符号化データ設定方法並びにこれらの装置に関する。また、本発明は、符号化データ選定方法を含む再符号化データ生成方法及びそれに対応した装置に関する。更に、本発明は、符号化データ設定方法を含む再符号化方法及びそれに対応した装置に関する。例えば、符号化データ選定方法は、復号化装置が出力する符号化データの一部を選定するようなものである。
ＭＰＥＧ−２復号化装置が出力するＭＰＥＧ−２ビットストリームの復号化画像を入力とするタンデム接続のＭＰＥＧ−２再符号化装置において、ビットストリーム中の符号化データをデコード画像に多重化して伝送する技術がある（非特許文献１参照）。
ＳＭＰＴＥ３１９Ｍ−２０００規格をサポートするＭＰＥＧ−２再符号化装置では、デコード画像からそれに多重化されている符号化データを分離し、分離した符号化データを利用して再符号化することで、再符号化による画質劣化を極力抑えることができる。ここで、符号化データとは、ビットストリーム中に可変長符号化された符号語を、元の数値に戻したデータである。
ＳＭＰＴＥ３１９Ｍ−２０００規格では、入力されるデコード画像のクロミナンスのＬＳＢに前記の符号化データを重畳することが規格化されており、１マクロブロック分の画像で２５６ｂｉｔの符号化データを伝送できる。
ＭＰＥＧ−２の符号化データ規格である非特許文献２のテーブル２を参照すると、ＭＰＥＧ−２の１マクロブロックあたりの符号化データは１１３ｂｉｔであり、上記の１マクロブロックあたり２５６ｂｉｔの帯域で十分に伝送が可能であった。
「ＳＭＰＴＥ ３１９Ｍ−２０００」（２０００年１月２０日にＳＭＰＴＥにより認証された。） 「ＳＭＰＴＥ ３２７Ｍ−２０００」（２０００年１月２０日にＳＭＰＴＥにより認証された。）
ところで、Ｈ．２６４（ＩＳＯ／ＩＥＣ １４４９６−１０）が近年注目されている。あるビットレートで符号化されたＨ．２６４のビットストリームを、所望のビットレートを有するＨ．２６４のビットストリーム又は所望のビットレートを有するＭＰＥＧ−２のビットストリームに変換することが必要となる場合がある。この様な場合のために、Ｈ．２６４復号化装置とＨ．２６４再符号化装置又はＭＰＥＧ−２再符号化装置とをタンデム接続し、これらの間で、Ｈ．２６４のビットストリームのデコード画像を伝送する必要がある。また、再符号化による画質劣化を極力抑えるためには、ＳＭＰＴＥ ３１９Ｍ−２０００と同様に、符号化データをＨ．２６４のビットストリームのデコード画像に多重して伝送する必要がある。
ところで、Ｈ．２６４の１マクロブロックあたりの符号化データは、マクロブロックの符号化モードによる異なる。
符号化モードは、ピクチャ内符号化のイントラモードとピクチャ間符号化のインターモードに分類される。
また、マクロブロックのサイズは、１６×１６であるが、図１（ａ）〜（ｄ）に示すように、インターモードにおいては、マクロブロックは、４種類のタイプに分類される。図１（ａ）に示すように、第１のマクロブロックタイプにおいては、１６×１６画素のサブマクロブロック１つにより１つのマクロブロックが構成さる。図１（ｂ）に示すように、第２のマクロブロックタイプにおいては、１６×８画素のサブマクロブロック２つにより１つのマクロブロックが構成さる。図１（ｃ）に示すように、第３のマクロブロックタイプにおいては、８×１６画素のサブマクロブロック２つにより１つのマクロブロックが構成される。図１（ｄ）に示すように、第４のマクロブロックタイプにおいては、８×８画素のサブマクロブロック４つにより１つのマクロブロックが構成される。
また、第４のマクロタイプにおける各サブマクロブロックは、４種類のタイプに分類される。図２（ａ）に示すように、第１のサブマクロブロックタイプにおいては、８×８画素の２次サブマクロブロック１つにより１つのサブマクロブロックが構成される。図２（ｂ）に示すように、第２のサブマクロブロックタイプにおいては、８×４画素の２次サブマクロブロック２つにより１つのサブマクロブロックが構成される。図２（ｃ）に示すように、第３のサブマクロブロックタイプにおいては、４×８画素の２次サブマクロブロック２つにより１つのサブマクロブロックが構成される。図２（ｄ）に示すように、第４のサブマクロブロックタイプにおいては、４×４画素の２次サブマクロブロック４つにより１つのサブマクロブロックが構成される。
図１（ａ）に示すように、第１のマクロブロックタイプにおいては、１つのマクロブロックに１つ含まれる１６×１６画素のサブマクロブロックは、前方向予測（Ｆ）、後方向予測（Ｂ）又は双方向予測（ＢＩ）される。また、１つのサブマクロブロックあたりの動きベクトルは、１方向につき１本である。そうすると、１つのマクロブロックあたりの動きベクトルは、１本又は２本である。
図１（ｂ）に示すように、第２のマクロブロックタイプにおいては、１つのマクロブロックに２つ含まれる１６×８画素のサブマクロブロックは、それぞれ、前方向予測、後方向予測又は双方向予測される。また、１つのサブマクロブロックあたりの動きベクトルは、１方向につき１本である。そうすると、１つのマクロブロックあたりの動きベクトルは、２本、３本又は４本である。
図１（ｃ）に示すように、第３のマクロブロックタイプにおいては、１つのマクロブロックに２つ含まれる８×１６画素のサブマクロブロックは、それぞれ、前方向予測、後方向予測又は双方向予測される。また、１つのサブマクロブロックあたりの動きベクトルは、１方向につき１本である。そうすると、１つのマクロブロックあたりの動きベクトルは、２本、３本又は４本である。
図１（ｄ）に示すように、第４のマクロブロックタイプにおいては、１つのマクロブロックに４つ含まれる８×８画素のサブマクロブロックは、それぞれ、前方向予測、後方向予測又は双方向予測される。また、個々のサブマクロブロックに含まれる２次サブマクロブロックは、動き予測方向を共通とするが、別々に、動き予測される。また、１つのサブマクロブロックに含まれる個々の２次サブマクロブロックあたりの動きベクトルは、１方向につき１本である。そうすると、１つのマクロブロックに含まれる２次サブマクロブロックの数は最大で１６個であり、これらが全て双方向予測される場合には、１つのマクロブロックあたりの動きベクトルは、３２本である。
なお、動き予測の単位となるサブマクロブロック又は２次サブマクロブロックのことを動き補償ブロックという。
マクロブロックあたりの符号化データのビット数は、図３に示すようになる。簡単に説明すると、左から、
（１）イントラモード：８７ビット
（２）インターモード、第１のマクロブロックタイプ、前方向予測又は後方向予測：５２ビット
（３）インターモード、第１のマクロブロックタイプ、双方向予測：８３ビット
（４）インターモード、第２又は３のマクロブロックタイプ、２つのサブマクロブロックが前方向予測又は後方向予測：８３ビット
（５）インターモード、第２又は３のマクロブロックタイプ、１つのサブマクロブロックが前方向予測又は後方向予測、他の１つのサブマクロブロックが双方向予測：１１４ビット
（６）インターモード、第２又は３のマクロブロックタイプ、２つのサブマクロブロックが双方向予測：１４５ビット
（７）インターモード、第１〜４のマクロブロックタイプ、Ｐピクチャで全ての動き補償ブロックが前方向予測：最大で４７３ビット：４７３ビット
（８）インターモード、第４のマクロブロックタイプ、４つのサブマクロブロックが前方向予測又は後方向予測：４７３ビット
（９）インターモード、第４のマクロブロックタイプ、３つのサブマクロブロックが前方向予測又は後方向予測、１つのサブマクロブロックが双方向予測：５８２ビット
（１０）インターモード、第４のマクロブロックタイプ、２つのサブマクロブロックが前方向予測又は後方向予測、２つのサブマクロブロックが双方向予測：６９１ビット
（１１）インターモード、第４のマクロブロックタイプ、１つのサブマクロブロックが前方向予測又は後方向予測、３つのサブマクロブロックが双方向予測：８００ビット
（１２）インターモード、第４のマクロブロックタイプ、４つのサブマクロブロックが双方向予測：９０９ビット
となる。
従って、Ｈ．２６４の１マクロブロックあたりの符号化データは、最大で１マクロブロックあたり９０９ｂｉｔもあり、ＳＭＰＴＥ ３１９Ｍ−２０００規格で規定されている１マクロブロックあたり２５６ｂｉｔの帯域では到底伝送できない。
このため、再符号化による画質劣化を極力抑えた再符号化を実現するためには、１）伝送帯域を拡大することか、２）従来の伝送帯域内に効率良くデータを配置するか、のどちらかの方法をとることが必要となる。
１）の方法は安易であるが、これ以上のデータを重畳すると、画像に可視化される特殊なパタンが生じるなどの弊害が考えられる。また、現状のシステムを利用しているＭＰＥＧ−２再符号化装置との互換性が大きく崩れることも考えられる。
したがって、２）の方法を採用せざるを得ない。２）の方法を採用した場合、安直なデータ配置（すなわち、「安直なデータ削減」）では、本来の「画質劣化を極力抑える」するという目的を達成できなくなる可能性がある。
そこで、本発明は、符号化データの情報量の欠落率を極力抑えながら、復号化装置から再符号化装置に伝送される1マクロブロックあたりの符号化データをある一定の値(例えば２５６ｂｉｔ)以下に制限可能な符号化データ選定方法及びその装置を提供することを目的とする。
また、本発明は、上記の符号化データ選定方法及びその装置により選定された符号化データを利用して、再符号化装置により再符号化されたビットストリームにより表される再符号化画像の品質劣化を極力抑えることを可能とする符号化データ設定方法及びその装置を提供することを目的とする。
本発明の第１の観点によれば、入力したビットストリームに対応する各マクロブロックの符号化データを所定のビット数以下で出力する符号化データ出力方法であって、マクロブロックに適用される予測モードが所定の予測モードであるか否かを判断する予測モード判断ステップと、前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素に対応する所定の種類の符号化データを選定する符号化データ選定ステップと、前記所定の予測モードが適用されるマクロブロックにおいて、前記符号化データ選定ステップで選定されなかった所定の種類の符号化データよりも、前記符号化データ選定ステップで選定された所定の種類の符号化データに対して優先的にビット数を配分するビット数配分ステップと、を備える符号化データ出力方法であって、前記所定の予測モードは、マクロブロックを構成する各サブマクロブロックを、更に１乃至複数の２次サブマクロブロックに分割し、各２次サブマクロブロックを動き補償ブロックとするモードであり、前記所定の位置は、マクロブロックの四隅であり、前記所定の種類の符号化データは、動きベクトルであることを特徴とする符号化データ出力方法が提供される。
本発明の第２の観点によれば、入力したビットストリームに対応する各マクロブロックの符号化データを所定のビット数以下で出力する符号化データ出力方法であって、マクロブロックに適用される予測モードが所定の予測モードであるか否かを判断する予測モード判断ステップと、前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素に対応する所定の種類の符号化データを選定する符号化データ選定ステップと、前記所定の予測モードが適用されるマクロブロックにおいて、前記符号化データ選定ステップで選定されなかった所定の種類の符号化データよりも、前記符号化データ選定ステップで選定された所定の種類の符号化データに対して優先的にビット数を配分するビット数配分ステップと、を備える符号化データ出力方法であって、前記所定の予測モードは、マクロブロックを構成する各サブマクロブロックを、更に１乃至複数の２次サブマクロブロックに分割し、各２次サブマクロブロックを動き補償ブロックとするモードであり、前記所定の位置は、他のマクロブロックの前記所定の種類の符号化データが欠落している場合に、その欠落した前記所定の種類の符号化データを再生するために利用される前記所定の種類の符号化データに関連した位置であり、前記所定の種類の符号化データは、動きベクトルであることを特徴とする符号化データ出力方法が提供される。
本発明の第３の観点によれば、入力したビットストリームに対応する各マクロブロックの符号化データを所定のビット数以下で出力する符号化データ出力方法により生成された各マクロブロックの符号化データを基に、符号化のための各マクロブロックの符号化データを復元する符号化データ復元方法において、マクロブロックに適用される予測モードが所定の予測モードであるか否かを判断する予測モード判断ステップと、前記符号化データ出力方法において、前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素に対応する所定の種類の符号化データが、選定されたこと、を判断する符号化データ選定判断ステップと、前記符号化データ出力方法において、前記所定の予測モードが適用されるマクロブロックにおいて、前記符号化データ選定ステップで選定されなかった所定の種類の符号化データよりも、前記符号化データ選定ステップで選定された所定の種類の符号化データに対して、優先的にビット数が配分されたこと、を判断するビット数配分判断ステップと、前記ビット数配分判断ステップの結果に基づいて、再符号化のための各マクロブロックの符号化データを復元する符号化データ復元ステップと、を備える符号化データ復元方法であって、前記所定の予測モードは、マクロブロックを構成する各サブマクロブロックを、更に１乃至複数の２次サブマクロブロックに分割し、各２次サブマクロブロックを動き補償ブロックとするモードであり、前記所定の位置は、マクロブロックの四隅であり、前記所定の種類の符号化データは、動きベクトルであることを特徴とする符号化データ復元方法が提供される。
本発明の第４の観点によれば、入力したビットストリームに対応する各マクロブロックの符号化データを所定のビット数以下で出力する符号化データ出力方法により生成された各マクロブロックの符号化データを基に、符号化のための各マクロブロックの符号化データを復元する符号化データ復元方法において、マクロブロックに適用される予測モードが所定の予測モードであるか否かを判断する予測モード判断ステップと、前記符号化データ出力方法において、前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素に対応する所定の種類の符号化データが、選定されたこと、を判断する符号化データ選定判断ステップと、前記符号化データ出力方法において、前記所定の予測モードが適用されるマクロブロックにおいて、前記符号化データ選定ステップで選定されなかった所定の種類の符号化データよりも、前記符号化データ選定ステップで選定された所定の種類の符号化データに対して、優先的にビット数が配分されたこと、を判断するビット数配分判断ステップと、前記ビット数配分判断ステップの結果に基づいて、再符号化のための各マクロブロックの符号化データを復元する符号化データ復元ステップと、を備える符号化データ復元方法であって、前記所定の予測モードは、マクロブロックを構成する各サブマクロブロックを、更に１乃至複数の２次サブマクロブロックに分割し、各２次サブマクロブロックを動き補償ブロックとするモードであり、前記所定の位置は、他のマクロブロックの前記所定の種類の符号化データが欠落している場合に、その欠落した前記所定の種類の符号化データを再生するために利用される前記所定の種類の符号化データに関連した位置であり、前記所定の種類の符号化データは、動きベクトルであることを特徴とする符号化データ復元方法が提供される。
本発明の第５の観点によれば、入力したビットストリームに対応する各マクロブロックの符号化データを所定のビット数以下で出力する符号化データ出力装置であって、マクロブロックに適用される予測モードが所定の予測モードであるか否かを判断する予測モード判断手段と、前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素に対応する所定の種類の符号化データを選定する符号化データ選定手段と、前記所定の予測モードが適用されるマクロブロックにおいて、前記符号化データ選定手段で選定されなかった所定の種類の符号化データよりも、前記符号化データ選定手段で選定された所定の種類の符号化データに対して優先的にビット数を配分するビット数配分手段と、を備える符号化データ出力装置であって、前記所定の予測モードは、マクロブロックを構成する各サブマクロブロックを、更に１乃至複数の２次サブマクロブロックに分割し、各２次サブマクロブロックを動き補償ブロックとするモードであり、前記所定の位置は、マクロブロックの四隅であり、前記所定の種類の符号化データは、動きベクトルであることを特徴とする符号化データ出力装置が提供される。
本発明の第６の観点によれば、入力したビットストリームに対応する各マクロブロックの符号化データを所定のビット数以下で出力する符号化データ出力装置であって、マクロブロックに適用される予測モードが所定の予測モードであるか否かを判断する予測モード判断手段と、前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素に対応する所定の種類の符号化データを選定する符号化データ選定手段と、前記所定の予測モードが適用されるマクロブロックにおいて、前記符号化データ選定手段で選定されなかった所定の種類の符号化データよりも、前記符号化データ選定手段で選定された所定の種類の符号化データに対して優先的にビット数を配分するビット数配分手段と、を備える符号化データ出力装置であって、前記所定の予測モードは、マクロブロックを構成する各サブマクロブロックを、更に１乃至複数の２次サブマクロブロックに分割し、各２次サブマクロブロックを動き補償ブロックとするモードであり、前記所定の位置は、他のマクロブロックの前記所定の種類の符号化データが欠落している場合に、その欠落した前記所定の種類の符号化データを再生するために利用される前記所定の種類の符号化データに関連した位置であり、前記所定の種類の符号化データは、動きベクトルであることを特徴とする符号化データ出力装置が提供される。
本発明の第７の観点によれば、入力したビットストリームに対応する各マクロブロックの符号化データを所定のビット数以下で出力する符号化データ出力装置により生成された各マクロブロックの符号化データを基に、符号化のための各マクロブロックの符号化データを復元する符号化データ復元装置において、マクロブロックに適用される予測モードが所定の予測モードであるか否かを判断する予測モード判断手段と、前記符号化データ出力装置において、前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素に対応する所定の種類の符号化データが、選定されたこと、を判断する符号化データ選定判断手段と、前記符号化データ出力装置において、前記所定の予測モードが適用されるマクロブロックにおいて、前記符号化データ選定手段で選定されなかった所定の種類の符号化データよりも、前記符号化データ選定手段で選定された所定の種類の符号化データに対して、優先的にビット数が配分されたこと、を判断するビット数配分判断手段と、前記ビット数配分判断手段の結果に基づいて、再符号化のための各マクロブロックの符号化データを復元する符号化データ復元手段と、を備える符号化データ復元装置であって、前記所定の予測モードは、マクロブロックを構成する各サブマクロブロックを、更に１乃至複数の２次サブマクロブロックに分割し、各２次サブマクロブロックを動き補償ブロックとするモードであり、前記所定の位置は、マクロブロックの四隅であり、前記所定の種類の符号化データは、動きベクトルであることを特徴とする符号化データ復元装置が提供される。
本発明の第８の観点によれば、入力したビットストリームに対応する各マクロブロックの符号化データを所定のビット数以下で出力する符号化データ出力装置により生成された各マクロブロックの符号化データを基に、符号化のための各マクロブロックの符号化データを復元する符号化データ復元装置において、マクロブロックに適用される予測モードが所定の予測モードであるか否かを判断する予測モード判断手段と、前記符号化データ出力装置において、前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素に対応する所定の種類の符号化データが、選定されたこと、を判断する符号化データ選定判断手段と、前記符号化データ出力装置において、前記所定の予測モードが適用されるマクロブロックにおいて、前記符号化データ選定手段で選定されなかった所定の種類の符号化データよりも、前記符号化データ選定手段で選定された所定の種類の符号化データに対して、優先的にビット数が配分されたこと、を判断するビット数配分判断手段と、前記ビット数配分判断手段の結果に基づいて、再符号化のための各マクロブロックの符号化データを復元する符号化データ復元手段と、を備える符号化データ復元装置であって、前記所定の予測モードは、マクロブロックを構成する各サブマクロブロックを、更に１乃至複数の２次サブマクロブロックに分割し、各２次サブマクロブロックを動き補償ブロックとするモードであり、前記所定の位置は、他のマクロブロックの前記所定の種類の符号化データが欠落している場合に、その欠落した前記所定の種類の符号化データを再生するために利用される前記所定の種類の符号化データに関連した位置であり、前記所定の種類の符号化データは、動きベクトルであることを特徴とする符号化データ復元装置が提供される。
本発明の第９の観点によれば、動画像データと共に動きベクトルを送信する装置であって、マクロブロックが分割されていなければ、前記マクロブロックについて、該マクロブロックの予測モードに応じて、１以上の動きベクトルを送信する第１送信手段と、マクロブロックが第１のサブマクロブロックと第２のサブマクロブロックとに分割されていれば、前記第１のサブマクロブロックについて、該第１のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを送信し、前記第２のサブマクロブロックについて、該第２のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを送信する第２送信手段と、マクロブロックが４つのサブマクロブロックに分割されていれば、選択された１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを送信する第３送信手段と、を備え、前記第２次サブマクロブロックは、各サブマクロブロックを分割することにより得られるものであり、前記第３送信手段は、マクロブロックが４つのサブマクロブロックに分割されていれば、片方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを送信することを特徴とする装置が提供される。
本発明の第１０の観点によれば、動画像データと共に動きベクトルを送信する装置であって、マクロブロックが分割されていなければ、前記マクロブロックについて、該マクロブロックの予測モードに応じて、１以上の動きベクトルを送信する第１送信手段と、マクロブロックが第１のサブマクロブロックと第２のサブマクロブロックとに分割されていれば、前記第１のサブマクロブロックについて、該第１のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを送信し、前記第２のサブマクロブロックについて、該第２のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを送信する第２送信手段と、マクロブロックが４つのサブマクロブロックに分割されていれば、選択された１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを送信する第３送信手段と、を備え、前記第２次サブマクロブロックは、各サブマクロブロックを分割することにより得られるものであり、前記第３送信手段は、マクロブロックが４つのサブマクロブロックに分割されていれば、片方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを送信し、更に、双方向予測されているサブマクロブロックの数が３以下であれば、双方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを送信することを特徴とする装置が提供される。
本発明の第１１の観点によれば、動画像データと共に動きベクトルを受信する装置であって、マクロブロックが分割されていなければ、前記マクロブロックについて、該マクロブロックの予測モードに応じて、１以上の動きベクトルを受信する第１受信手段と、マクロブロックが第１のサブマクロブロックと第２のサブマクロブロックとに分割されていれば、前記第１のサブマクロブロックについて、該第１のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを受信し、前記第２のサブマクロブロックについて、該第２のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを受信する第２受信手段と、マクロブロックが４つのサブマクロブロックに分割されていれば、選択された１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを受信する第３受信手段と、を備え、前記第２次サブマクロブロックは、各サブマクロブロックを分割することにより得られるものであり、前記第３受信手段は、マクロブロックが４つのサブマクロブロックに分割されていれば、片方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを受信することを特徴とする装置が提供される。
本発明の第１２の観点によれば、動画像データと共に動きベクトルを受信する装置であって、マクロブロックが分割されていなければ、前記マクロブロックについて、該マクロブロックの予測モードに応じて、１以上の動きベクトルを受信する第１受信手段と、マクロブロックが第１のサブマクロブロックと第２のサブマクロブロックとに分割されていれば、前記第１のサブマクロブロックについて、該第１のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを受信し、前記第２のサブマクロブロックについて、該第２のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを受信する第２受信手段と、マクロブロックが４つのサブマクロブロックに分割されていれば、選択された１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを受信する第３受信手段と、を備え、前記第２次サブマクロブロックは、各サブマクロブロックを分割することにより得られるものであり、前記第３受信手段は、マクロブロックが４つのサブマクロブロックに分割されていれば、片方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを受信し、更に、双方向予測されているサブマクロブロックの数が３以下であれば、双方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを受信することを特徴とする装置が提供される。
本発明の第１３の観点によれば、動画像データと共に動きベクトルを送信する方法であって、マクロブロックが分割されていなければ、前記マクロブロックについて、該マクロブロックの予測モードに応じて、１以上の動きベクトルを送信する第１送信ステップと、マクロブロックが第１のサブマクロブロックと第２のサブマクロブロックとに分割されていれば、前記第１のサブマクロブロックについて、該第１のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを送信し、前記第２のサブマクロブロックについて、該第２のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを送信する第２送信ステップと、マクロブロックが４つのサブマクロブロックに分割されていれば、選択された１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを送信する第３送信ステップと、を備え、前記第２次サブマクロブロックは、各サブマクロブロックを分割することにより得られるものであり、前記第３送信ステップでは、マクロブロックが４つのサブマクロブロックに分割されていれば、片方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを送信することを特徴とする方法が提供される。
本発明の第１４の観点によれば、動画像データと共に動きベクトルを送信する方法であって、マクロブロックが分割されていなければ、前記マクロブロックについて、該マクロブロックの予測モードに応じて、１以上の動きベクトルを送信する第１送信ステップと、マクロブロックが第１のサブマクロブロックと第２のサブマクロブロックとに分割されていれば、前記第１のサブマクロブロックについて、該第１のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを送信し、前記第２のサブマクロブロックについて、該第２のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを送信する第２送信ステップと、マクロブロックが４つのサブマクロブロックに分割されていれば、選択された１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを送信する第３送信ステップと、を備え、前記第２次サブマクロブロックは、各サブマクロブロックを分割することにより得られるものであり、前記第３送信ステップでは、マクロブロックが４つのサブマクロブロックに分割されていれば、片方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを送信し、更に、双方向予測されているサブマクロブロックの数が３以下であれば、双方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを送信することを特徴とする方法が提供される。
本発明の第１５の観点によれば、動画像データと共に動きベクトルを受信する方法であって、マクロブロックが分割されていなければ、前記マクロブロックについて、該マクロブロックの予測モードに応じて、１以上の動きベクトルを受信する第１受信ステップと、マクロブロックが第１のサブマクロブロックと第２のサブマクロブロックとに分割されていれば、前記第１のサブマクロブロックについて、該第１のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを受信し、前記第２のサブマクロブロックについて、該第２のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを受信する第２受信ステップと、マクロブロックが４つのサブマクロブロックに分割されていれば、選択された１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを受信する第３受信ステップと、を備え、前記第２次サブマクロブロックは、各サブマクロブロックを分割することにより得られるものであり、前記第３受信ステップでは、マクロブロックが４つのサブマクロブロックに分割されていれば、片方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを受信することを特徴とする方法が提供される。
本発明の第１６の観点によれば、動画像データと共に動きベクトルを受信する方法であって、マクロブロックが分割されていなければ、前記マクロブロックについて、該マクロブロックの予測モードに応じて、１以上の動きベクトルを受信する第１受信ステップと、マクロブロックが第１のサブマクロブロックと第２のサブマクロブロックとに分割されていれば、前記第１のサブマクロブロックについて、該第１のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを受信し、前記第２のサブマクロブロックについて、該第２のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを受信する第２受信ステップと、マクロブロックが４つのサブマクロブロックに分割されていれば、選択された１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを受信する第３受信ステップと、を備え、前記第２次サブマクロブロックは、各サブマクロブロックを分割することにより得られるものであり、前記第３受信ステップでは、マクロブロックが４つのサブマクロブロックに分割されていれば、片方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを受信し、更に、双方向予測されているサブマクロブロックの数が３以下であれば、双方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを受信することを特徴とする方法が提供される。
本発明による、入力したビットストリームに対応する各マクロブロックの符号化データを所定のビット数以下で出力する符号化データ出力方法は、マクロブロックに適用される予測モードが所定の予測モードであるか否かを判断する予測モード判断ステップと、前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素に対応する所定の種類の符号化データを選定する符号化データ選定ステップと、前記所定の予測モードが適用されるマクロブロックにおいて、前記符号化データ選定ステップで選定されなかった所定の種類の符号化データよりも、前記符号化データ選定ステップで選定された所定の種類の符号化データに対して優先的にビット数を配分するビット数配分ステップと、を備えるので、各マクロブロックあたりの符号化データのビット数を所定値以下に抑えると共に、所定の予測モード、マクロブロック内の所定の位置の画素に対応する所定の種類の符号化データ又はこれらの組合せを適切に設定することにより、符号化データの情報量の欠落率を極力抑えながら、復号化装置から再符号化装置に伝送される1マクロブロックあたりの符号化データをある一定の値以下に制限することが可能となる。
以下、図面を参照して本発明を実施するための最良の形態について詳細に説明する。
［実施形態１］
図４を参照すると、本実施形態による符号化データ多重化機能付き画像復号化装置は、画像復号化部１００、マルチプレクサ１１０及び本発明の特徴部である符号化データ選定部１２０を備える。
画像復号化部１００は、エントロピー復号化部１０１、逆量子化／逆変換部１０２、画像バッファ１０３、予測部１０４を備える。画像復号化部１００の動作を以下で説明する。
エントロピー復号化部１０１は、入力されるビットストリームをエントロピー復号して、係数情報、予測情報を抽出する。
逆量子化／逆変換部１０２は、エントロピー復号化部１０１から供給される係数情報を逆量子化および逆変換して予測誤差を得る。
予測部１０４は、エントロピー復号化部１０１から供給される予測情報を利用して、画像バッファ１０３に格納された再構築画像から予測画像を生成する。
予測画像には、逆量子化／逆変換部１０２から供給される予測誤差が加えられて再構築画像となる。前記再構築画像は、後の復号のために画像バッファ１０３に格納される。
画像バッファ１０３に格納された再構築画像は、適切な表示タイミングで、マルチプレクサ１１０を介して、外部に出力される。
以上で、画像復号化部１００の説明を終わる。
続いて、マルチプレクサ１１０の動作を説明する。
マルチプレクサ１１０は、画像復号化部１００により復号された映像ベースバンド信号に、符号化データ選定部１２０にて抽出しフォーマッティングされた符号化データをマルチプレクスする機能を有する。映像ベースバンド信号と符号化データは同期している。マルチプレクス後のフォーマットについてはＳＭＰＴＥ３１９Ｍ−２０００で規定されており、重畳位置は輝度１０ｂｉｔクロマ１０ｂｉｔを備える映像信号のクロマＬＳＢである。
以上で、マルチプレクサ１１０の説明を終わる。
続いて、本発明の特徴部である符号化データ選定部１２０を説明する。
符号化データ選定部１２０には、画像復号化装置内のエントロピー復号化部１０１から符号化データが供給される。
図５のフローチャートを参照して、符号化データ選定部１２０の動作を説明する。
ステップＳ１５１では、ｍｂ＿ｔｙｐｅがイントラモードか否かを判断する。ｍｂ＿ｔｙｐｅがイントラモードであればステップＳ１５３、そうでなければステップＳ１５２に移る。
ステップＳ１５２では、ｍｂ＿ｔｙｐｅがツリーモードであるか否かを判断する。ここで、ツリーモードとは、マクロブロックが図１（ｄ）に示すように４つのサブマクロブロックに分割され、更に、各サブマクロブロックが図２（ａ）〜（ｄ）の何れかに示す２次サブマクロブロックに分割されるモードのことである。ｍｂ＿ｔｙｐｅがツリーモードでなければステップＳ１５４、ｍｂ＿ｔｙｐｅがツリーモードであればステップＳ１５５に移る。
ステップＳ１５３（イントラモード）では、エントロピー復号化部１０１から入力した符号化データは、図３に示すように１マクロブロックあたり８７ｂｉｔであり、２５６ｂｉｔ以下であるため、これをそのまま出力する符号化データとする。つまり、全ての符号化データを選定する。従って、イントラモードにおいては、符号化データの情報は欠落しない。選定後は、処理を終了する（次マクロブロックの符号化データ選定に備える）。
ステップＳ１５４（インターモードであるがツリーモードでない場合）（インター１６×１６、１６×８、又は８×１６）では、図３から明らかなように、
・１６×１６モードの符号化データは片方向予測で５２ｂｉｔ、双方予測で８３ｂｉｔ
・片方向予測のみの１６×８モードもしくは８×１６モードの符号化データは８３ｂｉｔ
・一方が片方向予測、他方が双方向予測の１６×８モードもしくは８×１６モードの符号化データは１１４ｂｉｔ
・双方向予測のみの１６×８モードもしくは８×１６モードの符号化データは１４５ｂｉｔ
で１マクロブロックあたりの符号化データを表現できる。これらの１マクロブロックあたりの符号化データのビット数は、２５６ｂｉｔ以下であるため、この符号化データをそのまま出力する符号化データとする。つまり、全ての符号化データを選定する。従って、インターモードであるがツリーモードでないモードにおいては、符号化データの情報は欠落しない。選定後は、処理を終了する（次マクロブロックの符号化データ選定に備える）。
ステップＳ１５５（ツリーモード）では、符号化データを参照することにより、図６（ａ）〜（ｆ）に示すように、マクロブロックを、６種類のタイプに分類する。
図６（ａ）に示すタイプは、Ｐピクチャ内のマクロブロックのタイプであり、全て（４つ）のサブマクロブロックは、前方向予測される。各サブマクロブロックは、１〜４個の２次サブマクロブロックに分割されるため、マクロブロックあたりの動き補償ブロックの数は、４〜１６となる。図６（ａ）には、マクロブロックあたりの動き補償ブロックの数が９である場合の例を示している。また、動き補償ブロックあたりの動きベクトルの数は常に１である。従って、図６（ａ）に示すタイプでは、マクロブロックあたりの動きベクトルの最大数は、１６である。図３の第７列に示すように、図６（ａ）に示すタイプのマクロブロックあたりの符号化データは、最大で４７３ビットとなる。
図６（ｂ）に示すタイプは、Ｂピクチャ内のマクロブロックの複数タイプのうちの１タイプであり、全て（４つ）のサブマクロブロックは、前方向予測又は後方向予測される。各サブマクロブロックは、１〜４個の２次サブマクロブロックに分割されるため、マクロブロックあたりの動き補償ブロックの数は、４〜１６となる。図６（ａ）には、マクロブロックあたりの動き補償ブロックの数が９である場合の例を示している。また、動き補償ブロックあたりの動きベクトルの数は常に１である。従って、図６（ｂ）に示すタイプでは、マクロブロックあたりの動きベクトルの最大数は、１６である。図３の第８列に示すように、図６（ｂ）に示すタイプのマクロブロックあたりの符号化データは、最大で４７３ビットとなる。
図６（ｃ）に示すタイプは、Ｂピクチャ内のマクロブロックの複数タイプのうちの１タイプであり、３つのサブマクロブロックは、前方向予測又は後方向予測され、１つのサブマクロブロックは、双方向予測される。各サブマクロブロックは、１〜４個の２次サブマクロブロックに分割されるため、マクロブロックあたりの動き補償ブロックの数は、５〜２０となる。図６（ｃ）には、マクロブロックあたりの動き補償ブロックの数が９である場合の例を示している。また、前方向予測又は後方向予測される動き補償ブロックあたりの動きベクトルの数は常に１であり、双方向予測される動き補償ブロックあたりの動きベクトルの数は常に２である。従って、図６（ｃ）に示すタイプでは、マクロブロックあたりの動きベクトルの最大数は、２０である。図３の第９列に示すように、図６（ｃ）に示すタイプのマクロブロックあたりの符号化データは、最大で５８２ビットとなる。
図６（ｄ）に示すタイプは、Ｂピクチャ内のマクロブロックの複数タイプのうちの１タイプであり、２つのサブマクロブロックは、前方向予測又は後方向予測され、２つのサブマクロブロックは、双方向予測される。各サブマクロブロックは、１〜４個の２次サブマクロブロックに分割されるため、マクロブロックあたりの動き補償ブロックの数は、６〜２４となる。図６（ｄ）には、マクロブロックあたりの動き補償ブロックの数が９である場合の例を示している。また、前方向予測又は後方向予測される動き補償ブロックあたりの動きベクトルの数は常に１であり、双方向予測される動き補償ブロックあたりの動きベクトルの数は常に２である。従って、図６（ｄ）に示すタイプでは、マクロブロックあたりの動きベクトルの最大数は、２４である。図３の第１０列に示すように、図６（ｄ）に示すタイプのマクロブロックあたりの符号化データは、最大で６９１ビットとなる。
図６（ｅ）に示すタイプは、Ｂピクチャ内のマクロブロックの複数タイプのうちの１タイプであり、１つのサブマクロブロックは、前方向予測又は後方向予測され、３つのサブマクロブロックは、双方向予測される。各サブマクロブロックは、１〜４個の２次サブマクロブロックに分割されるため、マクロブロックあたりの動き補償ブロックの数は、７〜２８となる。図６（ｅ）には、マクロブロックあたりの動き補償ブロックの数が９である場合の例を示している。また、前方向予測又は後方向予測される動き補償ブロックあたりの動きベクトルの数は常に１であり、双方向予測される動き補償ブロックあたりの動きベクトルの数は常に２である。従って、図６（ｅ）に示すタイプでは、マクロブロックあたりの動きベクトルの最大数は、２８である。図３の第１１列に示すように、図６（ｅ）に示すタイプのマクロブロックあたりの符号化データは、最大で８００ビットとなる。
図６（ｆ）に示すタイプは、Ｂピクチャ内のマクロブロックの複数タイプのうちの１タイプであり、全て（４つ）のサブマクロブロックは、双方向予測される。各サブマクロブロックは、１〜４個の２次サブマクロブロックに分割されるため、マクロブロックあたりの動き補償ブロックの数は、８〜３２となる。図６（ｆ）には、マクロブロックあたりの動き補償ブロックの数が９である場合の例を示している。また、双方向予測される動き補償ブロックあたりの動きベクトルの数は常に２である。従って、図６（ｆ）に示すタイプでは、マクロブロックあたりの動きベクトルの最大数は、３２である。図３の第１２列に示すように、図６（ｆ）に示すタイプのマクロブロックあたりの符号化データは、最大で９０９ビットとなる。
従って、図６（ａ）〜（ｆ）に示す６つの何れのタイプにおいても、図３の第７〜１２列に示すように、１マクロブロックあたりの符号化ビットの最大数は、２５６ｂｉｔを超えてしまう。
そこで、ステップＳ１５５では、ツリーモードのマクロブロックあたりの動きベクトルの数を減らすことにより、マクロブロックあたりの符号化データのビット数が２５６ｂｉｔ未満になるようにする。
前方向予測又は後方向予測のサブマクロブロックにおいては、サブマクロブロックあたり最大で４つの動きベクトルとなるが、本実施形態では、1つの動きベクトルのみに十分なビット数を割り当てて、その他の動きベクトルにはビット数を割り当てない。例えば、動きベクトルを一本だけ選定する。
一方、双方向予測のサブマクロブロックにおいては、サブマクロブロックあたり最大で８つの動きベクトルとなるが、本実施形態では、全ての動きベクトルにビット数を割り当てない。つまり、１つも動きベクトルを選定しない。
また、図７に示すマクロブロックの四隅にある画素を含む動き補償ブロックについての動きベクトルを、前方向予測又は後方向予測の１つのサブマクロブロックに対して選定される１つの動きベクトルとする。つまり、例えば、図７に示す４つのサブマクロブロックのうちの左上のサブマクロブロックについて説明すると、左上のマクロブロックに関しては、図８（ａ）に示すように、サブマクロブロックが１つの８×８画素の２次サブマクロブロック（すなわち、動き補償ブロック）のみから構成される場合には、その２次サブマクロブロック（すなわち、動き補償ブロック）についての動きベクトルをマクロブロックに対して選定される１つの動きベクトルとする。図８（ｂ）に示すように、サブマクロブロックが２つの８×４画素の２次サブマクロブロック（すなわち、動き補償ブロック）から構成される場合には、上の２次サブマクロブロック（すなわち、動き補償ブロック）についての動きベクトルをマクロブロックに対して選定される１つの動きベクトルとする。図８（ｃ）に示すように、サブマクロブロックが２つの４×８画素の２次サブマクロブロック（すなわち、動き補償ブロック）から構成される場合には、左の２次サブマクロブロック（すなわち、動き補償ブロック）についての動きベクトルをマクロブロックに対して選定される１つの動きベクトルとする。図８（ｄ）に示すように、サブマクロブロックが４つの４×４画素の２次サブマクロブロック（すなわち、動き補償ブロック）から構成される場合には、左上の２次サブマクロブロック（すなわち、動き補償ブロック）についての動きベクトルをマクロブロックに対して選定される１つの動きベクトルとする。図７に示す４つのサブマクロブロックのうちの左下、右上、右下のサブマクロブロックについての全ての説明は省略するが、例えば、左下のマクロブロックが４つの４×４画素の２次サブマクロブロック（すなわち、動き補償ブロック）から構成される場合には、左下の２次サブマクロブロック（すなわち、動き補償ブロック）についての動きベクトルを左下のマクロブロックに対して選定される１つの動きベクトルとする。
どの２次サブマクロブロックが、図７に示すような四隅の画素を含むかは、符号化データを基に判断することができる。
上記の選定方法に従った場合の例を図９（ａ）〜（ｆ）に示す。これらは、それぞれ、図６（ａ）〜（ｆ）に示す例に対応したものである。
図６（ａ）に示すタイプでは、全て（４つ）のサブマクロブロックが、前方向予測されるので、図９（ａ）に示すように、４つのサブマクロブロックそれぞれにつき１つの動きベクトルが選定される。従って、マクロブロックあたり４つの動きベクトルが選定される。また、選定される動きベクトルは、図９（ａ）に示す「×」で示す画素を含む２次サブマクロブロック（すなわち、動き補償ブロック）についての動きベクトルである。
図６（ｂ）に示すタイプでは、全て（４つ）のサブマクロブロックが、前方向予測又は後方向予測されるので、図９（ｂ）に示すように、各サブマクロブロックにつき１つの動きベクトルが選定される。従って、マクロブロックあたり４つの動きベクトルが選定される。また、選定される動きベクトルは、図９（ｂ）に示す「×」で示す画素を含む２次サブマクロブロック（すなわち、動き補償ブロック）についての動きベクトルである。
図６（ｃ）に示すタイプでは、３つのサブマクロブロックが、前方向予測又は後方向予測され、１つのサブマクロブロックが、双方向予測されるので、図９（ｃ）に示すように、３つの前方向予測又は後方向予測されるサブマクロブロックそれぞれにつき１つの動きベクトルが選定され、１つの双方向予測されるサブマクロブロックについては動きベクトルが廃棄される。従って、マクロブロックあたり３つの動きベクトルが選定される。また、選定される動きベクトルは、図９（ｃ）に示す「×」で示す画素を含む２次サブマクロブロック（すなわち、動き補償ブロック）についてのマクロブロックである。
図６（ｄ）に示すタイプでは、２つのサブマクロブロックが、前方向予測又は後方向予測され、２つのサブマクロブロックが、双方向予測されるので、図９（ｄ）に示すように、２つの前方向予測又は後方向予測されるサブマクロブロックそれぞれにつき１つの動きベクトルが選定され、２つの双方向予測されるサブマクロブロックについては動きベクトルが廃棄される。従って、マクロブロックあたり２つの動きベクトルが選定される。また、選定される動きベクトルは、図９（ｄ）に示す「×」で示す画素を含む２次サブマクロブロック（すなわち、動き補償ブロック）についてのマクロブロックである。
図６（ｅ）に示すタイプでは、１つのサブマクロブロックが、前方向予測又は後方向予測され、３つのサブマクロブロックが、双方向予測されるので、図９（ｅ）に示すように、１つの前方向予測又は後方向予測されるサブマクロブロックにつき１つの動きベクトルが選定され、３つの双方向予測されるサブマクロブロックについては動きベクトルが廃棄される。従って、マクロブロックあたり１つの動きベクトルが選定される。また、選定される動きベクトルは、図９（ｅ）に示す「×」で示す画素を含む２次サブマクロブロック（すなわち、動き補償ブロック）についてのマクロブロックである。
図６（ｆ）に示すタイプでは、全て（４つ）のサブマクロブロックが、双方向予測されるので、図９（ｆ）に示すように、４つの双方向予測されるサブマクロブロックについては動きベクトルが廃棄される。従って、マクロブロックあたりの選定される動きベクトルはない。
図９（ａ）〜（ｆ）それぞれの場合に、それぞれの動き補償ブロックの動きベクトルが選定されるか否かをまとめた表を図１０に示す。
なお、図６（ａ）、（ｂ）と図９（ａ）、（ｂ）とをそれぞれ比較すると明らかなように、或るサブマクロブロック（例えば、図６（ａ）、（ｂ）に示す左上のサブマクロブロック）が１つの８×８画素の２次サブマクロブロックから構成され、かつ、そのサブマクロブロックが前方向予測又は後方向予測される場合には、そのサブマクロブロックに対応する動きベクトルの数は、元々１つであり、これが必ず選定されるので、結局、そのサブマクロブロックに含まれる１つの８×８画素の２次サブマクロブロックに対応する動きベクトルは、全て選定されることとなる。
上記から明らかなように、ツリーモードのマクロブロックについては、情報の欠落の様子は次のようになる。
片方向予測の８×８画素の２次サブマクロブロック（すなわち、動き補償ブロック）の動きベクトルは選定される。
また、片方向予測の８×８未満の２次サブマクロブロック（すなわち、動き補償ブロック）（具体的には、片方向予測の８×４画素の２次サブマクロブロック、片方向予測の４×８画素の２次サブマクロブロック、片方向予測の４×４画素の２次サブマクロブロック）のうちのマクロブロックの四隅の画素（図７に示す画素）を含む２次サブマクロブロックの動きベクトルは選定される。
他方、片方向予測の８×８未満の２次サブマクロブロック（すなわち、動き補償ブロック）（具体的には、片方向予測の８×４画素の２次サブマクロブロック、片方向予測の４×８画素の２次サブマクロブロック、片方向予測の４×４画素の２次サブマクロブロック）のうちのマクロブロックの四隅の画素（図７に示す画素）を含まない２次サブマクロブロックの動きベクトルは廃棄される。
また、双方向予測のサブマクロブロックに含まれる全ての２次サブマクロブロック（すなわち、動き補償ブロック）の動きベクトルは廃棄される。
なお、動きベクトル以外の符号化データは、全て選定する。従って、ｒｅｆ＿ｉｄｘは全て伝送することとしたが、そうでなくてもよい。
このような選定方法により動きベクトルが選定されると、マクロブロックあたりの符号化データのビット数は、図１１に示すようになる。簡単に説明すると、左から、
（１）イントラモード：８７ビット
（２）インターモード、第１のマクロブロックタイプ、前方向予測又は後方向予測：５２ビット
（３）インターモード、第１のマクロブロックタイプ、双方向予測：８３ビット
（４）インターモード、第２又は３のマクロブロックタイプ、２つのサブマクロブロックが前方向予測又は後方向予測：８３ビット
（５）インターモード、第２又は３のマクロブロックタイプ、１つのサブマクロブロックが前方向予測又は後方向予測、他の１つのサブマクロブロックが双方向予測：１１４ビット
（６）インターモード、第２又は３のマクロブロックタイプ、２つのサブマクロブロックが双方向予測：１４５ビット
（７）インターモード、第１〜４のマクロブロックタイプ、Ｐピクチャで全ての動き補償ブロックが前方向予測：１６１ビット
（８）インターモード、第４のマクロブロックタイプ、４つのサブマクロブロックが前方向予測又は後方向予測：１６１ビット
（９）インターモード、第４のマクロブロックタイプ、３つのサブマクロブロックが前方向予測又は後方向予測、１つのサブマクロブロックが双方向予測：１４０ビット
（１０）インターモード、第４のマクロブロックタイプ、２つのサブマクロブロックが前方向予測又は後方向予測、２つのサブマクロブロックが双方向予測：１１９ビット
（１１）インターモード、第４のマクロブロックタイプ、１つのサブマクロブロックが前方向予測又は後方向予測、３つのサブマクロブロックが双方向予測：９８ビット
（１２）インターモード、第４のマクロブロックタイプ、４つのサブマクロブロックが双方向予測：７７ビット
となる。
従って、マクロブロックがどのようなタイプであっても、マクロブロックあたりの符号化データのビット数を２５６以下に抑えることができる。
なお、上記（１）〜（６）の場合には、元々、マクロブロックあたりの符号化データのビット数は２５６以下であるため、これらの場合に行なうステップＳ１５３又はＳ１５４では、ビット数を削減しておらず、従って、マクロブロックあたりの符号化データの数は、図３に示す値と同一であり、上記（７）〜（１２）の場合には、元々、マクロブロックあたりの符号化データのビット数は２５６を超えるため、これらの場合に行なうステップＳ１５５では、ビット数を削減しており、従って、マクロブロックあたりの符号化データの数は、図３に示す値から削減されている。
上述した選定方法を利用して動きベクトルの数に制約を設けることにより、マクロブロックあたりの最大ビット量をある一定の値(例えば２５６ｂｉｔ)以下に制約することができる。ただし、動きベクトルの選定が適用される８×８未満のサイズの２次サブマクロブロック（すなわち、動き補償ブロック）の発生頻度は統計的に低いので、符号化データの欠落率は小さい。よって、上述した選定方法を利用した符号化データを利用して画像の再符号化を行っても、再符号化画像の品質劣化を極力抑えることが出来る。
本実施形態では、
・統計的にツリーモードの発生確率は低い、
・統計的に、ツリーモードにおいて８×８未満のサイズの２次サブマクロブロック（すなわち、動き補償ブロック）の発生確率低い、
・動きベクトルの本数が多い傾向であるＢピクチャでは、同一位置のＰピクチャから動きベクトルを再現できるダイレクトモードの発生確率が高い、
という３つの特性を利用して、ツリーモードの各サブマクロブロックでは、図７に示すようにマクロブロックの四隅に位置する動きベクトル１本をサブマクロブロックの代表動きベクトルとして選定する。図１２に示すようにマクロブロックの四隅に位置する動きベクトルは、Ｈ．２６４でのダイレクトモードで利用される動きベクトルである（ダイレクトモードの詳細についてはH.264勧告 ISO/IEC 14496-10 8.4.1.2 Derivation process for luma motion vectors for B_Skip, B_Direct_16x16, and B_Direct_8x8を参照）。ダイレクトモードでは、図１２に示す位置に関する動きベクトルなどを基に、動きベクトルを算出する。このため、Ｂピクチャの動きベクトルが選定されず欠落したとしても、時間軸で隣接する参照ピクチャ（図１２において、「参照ＰＩＣ１」で示される。）の動きベクトル（選定されて欠落していない）から再現することが可能となる。
図４に示す符号化データ多重化機能付き画像復号化装置から出力される映像ベースバンド信号と符号化データとの多重化データを入力とする画像再符号化装置を図１３に示す。上述したようにツリーモードのマクロブロックの一部では、符号化データの情報量（具体的には１以上の動きベクトル）が欠落している。従って、これを考慮して再符号化装置は動作を行わなくてはならない。
本実施形態による画像再符号化装置は、デマルチプレクサ２１０、画像符号化部２００、本発明の特徴部である符号化データ設定部２２０を備える。
デマルチプレクサ２１０を説明する。
デマルチプレクサ２１０は、マルチプレクサ１１０の逆の操作をする。すなわち、デマルチプレクサ２１０は、符号化データが重畳された映像ベースバンド信号を入力し、これらを分離する。重畳された符号化データのフォーマットについてはＳＭＰＴＥ３１９Ｍ−２０００で規定されており、重畳位置は輝度１０ｂｉｔ／クロマ１０ｂｉｔで構成される映像信号のクロマＬＳＢである。
以上で、デマルチプレクサ２１０の説明を終わる。
続いて、画像復号化部２００を説明する。
画像復号化部２００は、マクロブロックバッファ（ＭＢバッファ）２０１、変換／量子化部２０２、エントロピー符号化部２０３、逆量子化／逆変換部２０４、画像バッファ２０５、予測部２０６、予測データ推定部２０７、スイッチ２０８を備える。
ＭＢバッファ２０１は、デマルチプレクサ２１０から供給される１マクロブロック分の画像を格納する。
予測データ推定部２０７は、画像バッファ２０５に格納された再構築画像から、ＭＢバッファ２０１に格納された入力画像を好適に予測する予測情報を推定する。
予測部２０６は、スイッチ２０８を介して供給される予測情報を利用して、画像バッファ２０５に格納された再構築画像から予測画像を生成する。
ＭＢバッファ２０１から格納された画像から予測部２０６から供給される予測画像を減じて、予測誤差が得られる。
変換／量子化部２０２によって、前記予測誤差は変換および量子化されて、その出力である係数情報は、エントロピー符号化部２０３および逆量子化／逆変換部２０４に供給される。
エントロピー符号化部２０３は、供給される係数情報および予測情報をエントロピー符号化して、その符号化列をビットストリームとして外部に出力する。
逆量子化／逆変換部２０４は、変換／量子化部２０２から供給される係数情報を逆量子化および逆変換して予測誤差を復元する。
前記予測画像には、逆量子化／逆変換部２０４から供給される予測誤差が加えられて再構築画像となる。前記再構築画像は、後の符号化のために画像バッファ２０５に格納される。
以上の処理を画像すべてのマクロブロックに適用することで、ビットストリームが得られる。
以上で、画像復号化部２００の説明を終わる。
続いて、本発明の特徴部である符号化データ設定部２２０を説明する。
符号化データ設定部２２０には、デマルチプレクサ２１０から符号化データが供給される。符号化データ設定部２２０は、入力される符号化データに応じてスイッチ２０８を制御する。符号化データの情報量が欠落している場合には、予測データ推定部２０７の予測情報を予測部２０６に供給し、欠落していない場合にはデマルチプレクサ２１０から供給される符号化データに含まれる予測情報を予測部２０６に供給する。
図１４のフローチャートを参照して、符号化データ設定部２２０及びスイッチ２０８の動作を説明する。
ステップＳ２５１では、ｍｂ＿ｔｙｐｅがイントラモードか否かを判断する。ｍｂ＿ｔｙｐｅがイントラモードであればステップＳ２５３、そうでなければステップＳ２５２に移る。
ステップＳ２５２では、ｍｂ＿ｔｙｐｅがツリーモードであるか否かを判断する。ｍｂ＿ｔｙｐｅがツリーモードでなければステップＳ２５４、ｍｂ＿ｔｙｐｅがツリーモードであればステップＳ２５５に移る。
ステップＳ２５３（イントラモード）では、符号化データ多重化機能付き画像復号化装置の説明から明らかなように、イントラモードの符号化データは、元々、伝送帯域の２５６ｂｉｔよりも少ないｂｉｔで表現できるため、符号化データ選定部１２０によって情報量は全く落ちていない。よって、スイッチ２０８を符号化データ設定部２２０側に切り換えて、デマルチプレクサ２１０から供給される符号化データに含まれる予測情報を予測部２０８に供給して、処理を終了する。
ステップＳ２５４（インターモードであるがツリーモードでない場合）（インター１６×１６、１６×８、又は８×１６）では、符号化データ多重化機能付き画像復号化装置の説明から明らかなように、元々、インターモードであるがツリーモードでないモードのマクロブロックの符号化データは、伝送帯域の２５６ｂｉｔよりも少ない数のｂｉｔで表現できるため、符号化データ選定部１２０によって情報量は全く落ちていない。よって、スイッチ２０８を符号化データ設定部２２０側に切り換えて、デマルチプレクサ２１０から供給される符号化データに含まれる予測情報を予測部２０８に供給して、処理を終了する。
ツリーモードのマクロブロックについての情報の欠落の様子は、符号化データ多重化機能付き画像復号化装置を説明する際に既に述べた。これに応じて、ステップＳ２５５（ツリーモード）では、情報（具体的には、動きベクトル）が欠落している２次サブマクロブロック（すなわち、動き補償ブロック）については、予測データ推定部２０７で推定された動きベクトルを含む予測情報を予測部２０６に供給する。他方、情報（具体的には、動きベクトル）が符号化データ選定部１２０で選定されている（欠落していない）２次サブマクロブロック（すなわち、動き補償ブロック）については、デマルチプレクサ２１０から供給される符号化データに含まれる予測情報を予測部２０８に供給する。なお、情報（具体的には、動きベクトル）が欠落している２次サブマクロブロック（すなわち、動き補償ブロック）について、ダイレクトモードにより動きベクトルが得られる場合には、それを利用する。また、動きベクトル以外の符号化データは符号化データ選定部１２０で選定されているので、それらを予測部２０６に供給する。
符号化データ設定部２２０は、符号化データ選定部１２０と同様に、送られてきた符号化データを基に、ステップＳ２５５（ツリーモード）では、符号化データを参照することにより、各マクロブロックが図６（ａ）〜（ｆ）に示す６種類のタイプのうちどのタイプのものであるのかを判断する。また、符号化データ設定部２２０は、符号化データ選定部１２０と同様に、符号化データを参照することにより、各サブマクロブロックが、図２（ａ）〜（ｄ）に示す分割様式のうちどの分割様式により２次サブマクロブロックに分割されているのかを判断する。そして、それらの判断を基に、どの２次サブマクロブロックの動きベクトルが符号化データ選定部１２０で選定され、どの２次サブマクロブロックの動きベクトルが符号化データ選定部１２０で廃棄されたかを判断する。
また、符号化データ選定部１２０と符号化データ設定部２２０との間で、マクロブロックあたり２５６ｂｉｔの領域における各符号化データの配置を予め決めておいて、その中で、動きベクトルをどうように配置するのかを予め決めておけば、符号化データ設定部２２０は、符号化データ選定部１２０から送られてきたどの動きベクトルが、動きベクトルが選定されていることが判断されたどの２次サブマクロブロックに対応するのかを知ることができる。例えば、それぞれの場合における、選定された動きベクトルを伝送する２次サブマクロブロックの順序を予め決めておけば、符号化データ設定部２２０は、符号化データ選定部１２０から送られてきたどの動きベクトルが、動きベクトルが選定されていることが判断されたどの２次サブマクロブロックに対応するのかを知ることができる。
また、マクロブロックあたりの符号化データのビット数を２５６以下にするためには、マクロブロックあたりの動きベクトルの数を７以下にすればよいのであるが、上述した選定方法により選定されたマクロブロックあたりのマクロブロックの数が６以下である場合には、空いている領域を利用して、選定されたマクロブロックを複数回伝送するようにしてもよい。このような場合にも、符号化データ選定部１２０と符号化データ設定部２２０との間で、動きベクトルをどうように配置するのかを予め決めておく。こうすることにより、例えば、伝送路でのエラー耐性を高めることができる。
また、ステップＳ２５５では、情報（具体的には、動きベクトル）が欠落している２次サブマクロブロック（すなわち、動き補償ブロック）については、周りの動き補償ブロックについての選定された動きベクトルを基に、その２次サブマクロブロックについての動きベクトルを補間してもよい。また、ステップＳ２５５では、情報（具体的には、動きベクトル）が欠落している２次サブマクロブロック（すなわち、動き補償ブロック）については、周りの動き補償ブロックについての選定された動きベクトルを、その２次サブマクロブロックについての動きベクトルを推定する際の初期値としてもよい。こうすることにより、予測データ推定部２０７で、情報（具体的には、動きベクトル）が欠落している２次サブマクロブロック（すなわち、動き補償ブロック）についての動きベクトルを推定する必要がなくなり、演算量を減らすことができる。
本発明の再符号化装置では、欠損している動きベクトルを予測データ推定部２０７により補填するので画質の点で大きな破綻がない。また、符号化データ多重化機能付き画像復号化装置に関連して説明したように、発生確率の低いモードでのみで動きベクトルの補填が適用されるので、全体画質への影響は極めて小さい。
［実施形態２］
実施形態１で採用した動きベクトルの選定方法では、双方向予測のサブマクロブロックについては、元々、１マクロブロックあたり最大で８つのマクロブロックがあるが、全ての動きベクトルを廃棄する（１つもマクロブロックを選定しない）こととしている。これにより、マクロブロックあたりの符号化データのビット数を最大で１６１にすることができるが、双方向予測のサブマクロブロックが１つ以上ある場合（図１１の第９〜１２列の場合）には、マクロブロックあたり２５６ビットの帯域を十分に利用していない。他方、動きベクトルが再符号化装置にできる限り多く伝送された方が、再符号化装置から出力されるビットストリームから得られる復元画像の画質が高くなる可能性が高くなる。ただし、１つの前方向又は後ろ方向予測されるサブマクロブロックについて１つの動きベクトルを選定し、３つの双方向予測されるサブマクロブロックそれぞれについて、２つの動きベクトルを選定した場合には、マクロブロックあたりの符号化データのビット数が２５４となり、これは、２５６以下であるが、４つの双方向予測されるサブマクロブロックそれぞれについて、２つの動きベクトルを選定した場合には、マクロブロックあたりの符号化データのビット数が２８０となり、これは、２５６を超える。
そこで、上述した選定方法を基本として、マクロブロック内の双方向予測されるマクロブロックの数が１〜３である場合には、双方向予測されるマクロブロックそれぞれについての動きベクトルを追加して選定する方法を実施形態２における動きベクトル選定方法として採用する。
この第２の選定方法に従った場合の例を図１５（ａ）〜（ｆ）に示す。これらは、それぞれ、図６（ａ）〜（ｆ）に示す例に対応したものである。
図６（ａ）、（ｂ）及び（ｆ）のタイプの場合に選定される動きベクトルは、第１の選定方法では、図９（ａ）、（ｂ）及び（ｆ）に示すとおりであり、第２の選定方法では、図１５（ａ）、（ｂ）及び（ｆ）に示すとおりであるが、両方の選定方法で共通であるので、重複する説明を省略する。
図６（ｃ）に示すタイプでは、３つのサブマクロブロックが、前方向予測又は後方向予測され、１つのサブマクロブロックが、双方向予測されるので、図１５（ｃ）に示すように、３つの前方向予測又は後方向予測されるサブマクロブロックそれぞれにつき１つの動きベクトルが選定され、１つの双方向予測されるサブマクロブロックについては２つの動きベクトルが選定される。従って、マクロブロックあたり５つの動きベクトルが選定される。また、選定される動きベクトルは、図１５（ｃ）に示す「×」で示す画素を含む２次サブマクロブロック（すなわち、動き補償ブロック）についてのマクロブロックである。
図６（ｄ）に示すタイプでは、２つのサブマクロブロックが、前方向予測又は後方向予測され、２つのサブマクロブロックが、双方向予測されるので、図１５（ｄ）に示すように、２つの前方向予測又は後方向予測されるサブマクロブロックそれぞれにつき１つの動きベクトルが選定され、２つの双方向予測されるサブマクロブロックそれぞれについては２つの動きベクトルが選定される。従って、マクロブロックあたり６つの動きベクトルが選定される。また、選定される動きベクトルは、図１５（ｄ）に示す「×」で示す画素を含む２次サブマクロブロック（すなわち、動き補償ブロック）についてのマクロブロックである。
図６（ｅ）に示すタイプでは、１つのサブマクロブロックが、前方向予測又は後方向予測され、３つのサブマクロブロックが、双方向予測されるので、図１５（ｅ）に示すように、１つの前方向予測又は後方向予測されるサブマクロブロックにつき１つの動きベクトルが選定され、３つの双方向予測されるサブマクロブロックそれぞれについては２つの動きベクトルが選定される。従って、マクロブロックあたり７つの動きベクトルが選定される。また、選定される動きベクトルは、図１５（ｅ）に示す「×」で示す画素を含む２次サブマクロブロック（すなわち、動き補償ブロック）についてのマクロブロックである。
図１５（ａ）〜（ｆ）それぞれの場合に、それぞれの動き補償ブロックの動きベクトルが選定されるか否かをまとめた表を図１６に示す。
なお、図６（ａ）、（ｂ）と図１５（ａ）、（ｂ）とをそれぞれ比較すると明らかなように、或るサブマクロブロック（例えば、図６（ａ）、（ｂ）に示す左上のサブマクロブロック）が１つの８×８画素の２次サブマクロブロックから構成され、かつ、そのサブマクロブロックが前方向予測又は後方向予測される場合には、そのサブマクロブロックに対応する動きベクトルの数は、元々１つであり、これが必ず選定されるので、結局、そのマクロブロックに含まれる１つの８×８画素の２次サブマクロブロックに対応する動きベクトルは、全て選定されることとなる。
また、図６（ｃ）、（ｄ）、（ｅ）と図１５（ｃ）、（ｄ）、（ｅ）とをそれぞれ比較すると明らかなように、或るサブマクロブロック（例えば、図６（ｃ）、（ｄ）、（ｅ）に示す左上のサブマクロブロック）が１つの８×８画素の２次サブマクロブロックから構成され、かつ、そのサブマクロブロックが双方向予測され、かつ、そのサブマクロブロックを含むマクロブロックに含まれる４つのサブマクロブロックのうち双方向予測されるサブマクロブロックの数が３以下である場合には、前記或るサブマクロブロックに対応する動きベクトルの数は、元々２つであり、これが必ず選定されるので、結局、その或るマクロブロックに含まれる１つの８×８画素の２次サブマクロブロックに対応する動きベクトルは、全て選定されることとなる。
上記から明らかなように、ツリーモードのマクロブロックについては、情報の欠落の様子は次のようになる。
片方向予測の８×８画素の２次サブマクロブロック（すなわち、動き補償ブロック）の動きベクトルは選定される。
また、マクロブロックに含まれる双方向予測のサブマクロブロックの数が１〜３であれば、そのマクロブロックに含まれる双方向予測の８×８画素の２次サブマクロブロック（すなわち、動き補償ブロック）の動きベクトルは選定される。
また、マクロブロックに含まれる双方向予測のサブマクロブロックの数が１〜３であれば、そのマクロブロックに含まれる双方向予測の８×８未満の２次サブマクロブロック（すなわち、動き補償ブロック）（具体的には、片方向予測の８×４画素の２次サブマクロブロック、片方向予測の４×８画素の２次サブマクロブロック、片方向予測の４×４画素の２次サブマクロブロック）のうちのマクロブロックの四隅の画素（図７に示す画素）を含む２次サブマクロブロック（すなわち、動き補償ブロック）の動きベクトルは選定される。
他方、片方向予測の８×８未満の２次サブマクロブロック（すなわち、動き補償ブロック）（具体的には、片方向予測の８×４画素の２次サブマクロブロック、片方向予測の４×８画素の２次サブマクロブロック、片方向予測の４×４画素の２次サブマクロブロック）のうちのマクロブロックの四隅の画素（図７に示す画素）を含まない２次サブマクロブロックの動きベクトルは廃棄される。
また、マクロブロックに含まれる双方向予測のサブマクロブロックの数が１〜３であれば、そのマクロブロックに含まれる双方向予測の８×８未満の２次サブマクロブロック（すなわち、動き補償ブロック）（具体的には、片方向予測の８×４画素の２次サブマクロブロック、片方向予測の４×８画素の２次サブマクロブロック、片方向予測の４×４画素の２次サブマクロブロック）のうちのマクロブロックの四隅の画素（図７に示す画素）を含まない２次サブマクロブロックの動きベクトルは廃棄される。
また、マクロブロックに含まれる双方向予測のサブマクロブロックの数が４であれば、そのマクロブロックに含まれる全ての２次サブマクロブロック（すなわち、動き補償ブロック）の動きベクトルは廃棄される。
実施形態２を実施形態１と比較して説明すると、実施形態１で選定される動きベクトルの全ては、実施形態２で選定される。それに追加して、実施形態２では、マクロブロックに含まれる双方向予測のサブマクロブロックの数が１〜３であれば、そのマクロブロックに含まれる双方向予測の８×８画素の２次サブマクロブロック（すなわち、動き補償ブロック）の動きベクトルは選定される。マクロブロックに含まれる双方向予測のサブマクロブロックの数が１〜３であれば、そのマクロブロックに含まれる双方向予測の８×８未満の２次サブマクロブロック（すなわち、動き補償ブロック）（具体的には、片方向予測の８×４画素の２次サブマクロブロック、片方向予測の４×８画素の２次サブマクロブロック、片方向予測の４×４画素の２次サブマクロブロック）のうちのマクロブロックの四隅の画素（図７に示す画素）を含む２次サブマクロブロック（すなわち、動き補償ブロック）の動きベクトルは選定される。
このように動きベクトルが選定されると、マクロブロックあたりの符号化データのビット数は、図１７に示すようになる。簡単に説明すると、左から、
（１）イントラモード：８７ビット
（２）インターモード、第１のマクロブロックタイプ、前方向予測又は後方向予測：５２ビット
（３）インターモード、第１のマクロブロックタイプ、双方向予測：８３ビット
（４）インターモード、第２又は３のマクロブロックタイプ、２つのサブマクロブロックが前方向予測又は後方向予測：８３ビット
（５）インターモード、第２又は３のマクロブロックタイプ、１つのサブマクロブロックが前方向予測又は後方向予測、他の１つのサブマクロブロックが双方向予測：１１４ビット
（６）インターモード、第２又は３のマクロブロックタイプ、２つのサブマクロブロックが双方向予測：１４５ビット
（７）インターモード、第１〜４のマクロブロックタイプ、Ｐピクチャで全ての動き補償ブロックが前方向予測：１６１ビット
（８）インターモード、第４のマクロブロックタイプ、４つのサブマクロブロックが前方向予測又は後方向予測：１６１ビット
（９）インターモード、第４のマクロブロックタイプ、３つのサブマクロブロックが前方向予測又は後方向予測、１つのサブマクロブロックが双方向予測：１９２ビット
（１０）インターモード、第４のマクロブロックタイプ、２つのサブマクロブロックが前方向予測又は後方向予測、２つのサブマクロブロックが双方向予測：２２３ビット
（１１）インターモード、第４のマクロブロックタイプ、１つのサブマクロブロックが前方向予測又は後方向予測、３つのサブマクロブロックが双方向予測：２５４ビット
（１２）インターモード、第４のマクロブロックタイプ、４つのサブマクロブロックが双方向予測：７７ビット
となる。
従って、マクロブロックがどのようなタイプであっても、マクロブロックあたりの符号化データのビット数を２５６以下に抑えることができる。
また、（１２）の場合には、動きベクトルを全く選定しないこととしたが、４つのサブマクロブロックのうちの３つのサブマクロブロックを選択し、選択されたサブマクロブロックについて、（１１）の場合と同様に、動きベクトルを選定してもよい。予め決められた位置にある３つのサブマクロブロックを選択してもよい。また、３つのサブマクロブロックを選択するためには、どの１つのサブマクロブロックについて動きベクトルを廃棄した場合に、画質劣化が最小に抑えられるかを試算してもよい。また、各動き補償ブロックの動きベクトルの大きさ、動き補償ブロック間の動きベクトルの差分、動き補償ブロック毎の画像の変化度等を基に、画質劣化の程度を試算するようにしてもよい。
また、（１２）の場合には、４つのサブマクロブロックのうちの３つのサブマクロブロックを選択し、選択されたサブマクロブロックについて、（１１）の場合と同様に、動きベクトルを選定し、更に、その上で下記の方法により、選択されなかったサブマクロブロックについて、動きベクトルを送るようにしてもよい。
動きベクトルの各成分について、選択されなかったサブマクロブロックの図７に示す位置の画素を含む２次サブマクロブロックの動きベクトルが、所定のビット数で表すことができる範囲に入っていた場合には、その動きベクトルをそのまま送り、そうでない場合には、無効を示す値を動きベクトルの代わりに送る。例えば、所定のビット数を２とし、その範囲を−０．２５画素〜０．２５画素とする。そして、実際の動きベクトルの値が−０．２５画素、０画素又は０．２５画素である場合には、例えば、それぞれ、その値を示す「００」、「０１」、「１０」を送り、実際の動きベクトルの値がその範囲を超える場合には、無効を示す「１１」を送る。
また、このような方法は、（１２）の場合に限らず、他の場合において、余剰なビットを利用するために用いてもよい。例えば、（１０）の場合において、余剰な３３ビットを用いて、上記の方法により他の動き補償ブロックの動きベクトルを送るようにしてもよい。 また、（１２）の場合には、４つの双方向予測されるサブマクロブロックそれぞれの代表ベクトルを２本選定し、マクロブロックあたり８本のマクロブロックを選定し、マクロブロックを通常よりも少ないビット数で伝送することにより、マクロブロックあたりのビット数を２５６以下に収めるようにしてもよい。例えば、通常であれば、１つの動きベクトルは２６ビットで表されるが、これを２４ビットで表すようにしてもよい。そして、予測データ推定部２０７で、２４ビットで表された動きベクトルから２６ビット精度の動きベクトルを推定してもよい。
また、マクロブロック内の双方向予測されるマクロブロックの数が１〜３ではなく、１又は１〜２である場合に、双方向予測されるマクロブロックそれぞれについての動きベクトルを追加して選定するようにしてもよい。
なお、図４及び図１３に示した装置の各部をハードウェアによって実現してもよいが、コンピュータをこれらの部分として機能させるためのプログラムをコンピュータが読み込んで実行することによって実現してもよい。
また、所定の条件が満たされたときに選定され、満たされないときに廃棄される符号化データとして、ビット数が多い動きベクトルを例に取り説明したが、例えば、動きベクトル以外の符号化データも同様な条件の基に、動きベクトルに追加して又は動きベクトルの代わりに、選定／非選定の対象となってもよい。
また、ある符号化データについては、第１の所定の条件（例えば、実施形態１の条件）が満たされたときに選定され、満たされないときに廃棄されるようにして、ある別の符号化データについては、第２の所定の条件（例えば、実施形態２の条件）が満たされたときに選定され、満たされないときに廃棄されるようにしてもよい。
マクロブロックの４種類の分割様式を示す図である。 サブマクロブロックの４種類の分割様式を示す図である。 従来例におけるマクロブロックあたりの符号化データのビット数を説明するための表である。 本発明の実施形態による符号化データ多重化機能付き画像復号化装置の構成を示すブロック図である。 図４に示す符号化データ選定部により行なわれる符号化データ選定方法を示すフローチャートである。 本発明の実施形態１において、図５に示す符号化データ選定方法が適用されない場合に伝送される動きベクトルを示す図である。 図５に示す符号化データ選定方法において、動きベクトルが選定される２次サブマクロブロック（すなわち、動き補償ブロック）が含むべき画素を示す図である。 図５に示す符号化データ選定方法において、図７に示す画素を含む２次サブマクロブロック（すなわち、動き補償ブロック）を示す図である。 本発明の実施形態１において、図５に示す符号化データ選定方法により選定される動きベクトルを示す図である。 本発明の実施形態１において、図５に示す符号化データ選定方法により動きベクトルが選定される２次サブマクロブロック（すなわち、動き補償ブロック）を示す表である。 本発明の実施形態１において、図５に示す符号化データ選定方法が適用された場合のマクロブロックあたりの符号化データのビット数を説明するための表である。 Ｈ．２６４におけるダイレクトモードを説明するための図である。 本発明の実施形態による画像再符号化装置の構成を示すブロック図である。 図１３に示す符号化データ設定部により行なわれる符号化データ設定方法を示すフローチャートである。 本発明の実施形態２において、図５に示す符号化データ選定方法により選定される動きベクトルを示す図である。 本発明の実施形態２において、図５に示す符号化データ選定方法により動きベクトルが選定される２次サブマクロブロック（すなわち、動き補償ブロック）を示す表である。 本発明の実施形態２において、図５に示す符号化データ選定方法が適用された場合のマクロブロックあたりの符号化データのビット数を説明するための表である。
符号の説明
１００ 画像復号化部
１１０ マルチプレクサ
１２０ 符号化データ選定部
２００ 画像符号化部
２１０ デマルチプレクサ
２０７ 予測データ推定部
２０８ スイッチ
２２０ 符号化データ設定部

Claims (49)

  1. 入力したビットストリームに対応する各マクロブロックの符号化データを所定のビット数以下で出力する符号化データ出力方法であって、
    マクロブロックに適用される予測モードが所定の予測モードであるか否かを判断する予測モード判断ステップと、
    前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素に対応する所定の種類の符号化データを選定する符号化データ選定ステップと、
    前記所定の予測モードが適用されるマクロブロックにおいて、前記符号化データ選定ステップで選定されなかった所定の種類の符号化データよりも、前記符号化データ選定ステップで選定された所定の種類の符号化データに対して優先的にビット数を配分するビット数配分ステップと、
    を備える符号化データ出力方法であって、
    前記所定の予測モードは、マクロブロックを構成する各サブマクロブロックを、更に１乃至複数の２次サブマクロブロックに分割し、各２次サブマクロブロックを動き補償ブロックとするモードであり、
    前記所定の位置は、マクロブロックの四隅であり、
    前記所定の種類の符号化データは、動きベクトルであることを特徴とする符号化データ出力方法。
  2. 入力したビットストリームに対応する各マクロブロックの符号化データを所定のビット数以下で出力する符号化データ出力方法であって、
    マクロブロックに適用される予測モードが所定の予測モードであるか否かを判断する予測モード判断ステップと、
    前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素に対応する所定の種類の符号化データを選定する符号化データ選定ステップと、
    前記所定の予測モードが適用されるマクロブロックにおいて、前記符号化データ選定ステップで選定されなかった所定の種類の符号化データよりも、前記符号化データ選定ステップで選定された所定の種類の符号化データに対して優先的にビット数を配分するビット数配分ステップと、
    を備える符号化データ出力方法であって、
    前記所定の予測モードは、マクロブロックを構成する各サブマクロブロックを、更に１乃至複数の２次サブマクロブロックに分割し、各２次サブマクロブロックを動き補償ブロックとするモードであり、
    前記所定の位置は、他のマクロブロックの前記所定の種類の符号化データが欠落している場合に、その欠落した前記所定の種類の符号化データを再生するために利用される前記所定の種類の符号化データに関連した位置であり、
    前記所定の種類の符号化データは、動きベクトルであることを特徴とする符号化データ出力方法。
  3. 請求項１又は２に記載の符号化データ出力方法であって、
    前記ビット数配分ステップでは、前記符号化データ選定ステップで選定されなかった所定の種類の符号化データを削減することを特徴とする符号化データ出力方法。
  4. 請求項１又は２に記載の符号化データ出力方法であって、
    前記ビット数配分ステップでは、前記符号化データ選定ステップで選定された所定の種類の符号化データに、前記入力したビットストリームにおけるビット数と同一又はそれ以下のビット数を配分することを特徴とする符号化データ出力方法。
  5. 請求項１又は２に記載の符号化データ出力方法において、
    前記所定の予測モードが適用されるマクロブロックに含まれる各サブマクロブロックに適用される予測方向が双方向であるか否かを判断する予測方向判断ステップと、
    前記予測方向判断ステップが双方向でないと判断したサブマクロブロックに対してのみ、前記符号化データ選定ステップを適用することを特徴とする符号化データ出力方法。
  6. 請求項１又は２に記載の符号化データ出力方法において、
    前記所定の予測モードが適用されるマクロブロックに含まれる各サブマクロブロックに適用される予測方向が双方向であるか否かを判断する予測方向判断ステップと、
    前記予測方向判断ステップが双方向でないと判断したサブマクロブロックに対して、前記符号化データ選定ステップを適用し、前記予測方向判断ステップが双方向であると判断したサブマクロブロックに対して、前記符号化データ選定ステップを適用し又は適用しないことを特徴とする符号化データ出力方法。
  7. 請求項１又は２に記載の符号化データ出力方法において、
    前記所定の予測モードが適用されるマクロブロックに含まれる各サブマクロブロックに適用される予測方向が双方向であるか否かを判断する予測方向判断ステップと、
    所定の予測モードが適用されるマクロブロックに含まれる双方向の予測方向が適用されるサブマクロブロックの数が所定値以下の場合にのみ、当該マクロブロックに対して、前記符号化データ選定ステップを適用することを特徴とする符号化データ出力方法。
  8. 請求項１又は２に記載の符号化データ出力方法において、
    前記符号化データ選定ステップでは、前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素を含む二次サブマクロブロックに対応する所定の種類の符号化データを選定することを特徴とする符号化データ出力方法。
  9. 請求項１又は２に記載の符号化データ出力方法において、
    前記所定の種類以外の種類の符号化データについては、ビット数を削減しないことを特徴とする符号化データ出力方法。
  10. 請求項１乃至９の何れか１項に記載の符号化データ出力方法の各ステップと、
    入力したビットストリームからベースバンド信号を復号化する復号化ステップと
    前記ベースバンド信号に、入力したビットストリームに対して前記符号化データ出力方法を適用して得られた符号化データを多重化する多重化ステップと、
    を備えることを特徴とする再符号化データ生成方法。
  11. 入力したビットストリームに対応する各マクロブロックの符号化データを所定のビット数以下で出力する符号化データ出力方法により生成された各マクロブロックの符号化データを基に、符号化のための各マクロブロックの符号化データを復元する符号化データ復元方法において、
    マクロブロックに適用される予測モードが所定の予測モードであるか否かを判断する予測モード判断ステップと、
    前記符号化データ出力方法において、前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素に対応する所定の種類の符号化データが、選定されたこと、を判断する符号化データ選定判断ステップと、
    前記符号化データ出力方法において、前記所定の予測モードが適用されるマクロブロックにおいて、前記符号化データ選定ステップで選定されなかった所定の種類の符号化データよりも、前記符号化データ選定ステップで選定された所定の種類の符号化データに対して、優先的にビット数が配分されたこと、を判断するビット数配分判断ステップと、
    前記ビット数配分判断ステップの結果に基づいて、再符号化のための各マクロブロックの符号化データを復元する符号化データ復元ステップと、
    を備える符号化データ復元方法であって、
    前記所定の予測モードは、マクロブロックを構成する各サブマクロブロックを、更に１乃至複数の２次サブマクロブロックに分割し、各２次サブマクロブロックを動き補償ブロックとするモードであり、
    前記所定の位置は、マクロブロックの四隅であり、
    前記所定の種類の符号化データは、動きベクトルであることを特徴とする符号化データ復元方法。
  12. 入力したビットストリームに対応する各マクロブロックの符号化データを所定のビット数以下で出力する符号化データ出力方法により生成された各マクロブロックの符号化データを基に、符号化のための各マクロブロックの符号化データを復元する符号化データ復元方法において、
    マクロブロックに適用される予測モードが所定の予測モードであるか否かを判断する予測モード判断ステップと、
    前記符号化データ出力方法において、前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素に対応する所定の種類の符号化データが、選定されたこと、を判断する符号化データ選定判断ステップと、
    前記符号化データ出力方法において、前記所定の予測モードが適用されるマクロブロックにおいて、前記符号化データ選定ステップで選定されなかった所定の種類の符号化データよりも、前記符号化データ選定ステップで選定された所定の種類の符号化データに対して、優先的にビット数が配分されたこと、を判断するビット数配分判断ステップと、
    前記ビット数配分判断ステップの結果に基づいて、再符号化のための各マクロブロックの符号化データを復元する符号化データ復元ステップと、
    を備える符号化データ復元方法であって、
    前記所定の予測モードは、マクロブロックを構成する各サブマクロブロックを、更に１乃至複数の２次サブマクロブロックに分割し、各２次サブマクロブロックを動き補償ブロックとするモードであり、
    前記所定の位置は、他のマクロブロックの前記所定の種類の符号化データが欠落している場合に、その欠落した前記所定の種類の符号化データを再生するために利用される前記所定の種類の符号化データに関連した位置であり、
    前記所定の種類の符号化データは、動きベクトルであることを特徴とする符号化データ復元方法。
  13. 請求項１１又は１２に記載の符号化データ復元方法であって、
    前記符号化データ出力方法において選定されなかったことが前記符号化データ選定判断ステップで判断された所定の種類の符号化データが、前記符号化データ出力方法において、削減されたことを、前記ビット数配分判断ステップで、判断することを特徴とする符号化データ復元方法。
  14. 請求項１１又は１２に記載の符号化データ復元方法であって、
    前記符号化データ出力方法において選定されたことが前記符号化データ選定判断ステップで判断された所定の種類の符号化データに、前記符号化データ出力方法において、入力したビットストリームにおけるビット数と同一又はそれ以下のビット数が配分削減されたことを、前記ビット数配分判断ステップで、判断することを特徴とする符号化データ復元方法。
  15. 請求項１１又は１２に記載の符号化データ復元方法において、
    前記所定の予測モードが適用されるマクロブロックに含まれる各サブマクロブロックに適用される予測方向が双方向であるか否かを判断する予測方向判断ステップと、
    前記予測方向判断ステップが双方向でないと判断したサブマクロブロックに対してのみ、前記符号化データ選定判断ステップを適用することを特徴とする符号化データ復元方法。
  16. 請求項１１又は１２に記載の符号化データ復元方法において、
    前記所定の予測モードが適用されるマクロブロックに含まれる各サブマクロブロックに適用される予測方向が双方向であるか否かを判断する予測方向判断ステップと、
    前記予測方向判断ステップが双方向でないと判断したサブマクロブロックに対して、前記符号化データ選定判断ステップを適用し、前記予測方向判断ステップが双方向であると判断したサブマクロブロックに対して、前記符号化データ選定判断ステップを適用し又は適用しないことを特徴とする符号化データ復元方法。
  17. 請求項１１又は１２に記載の符号化データ復元方法において、
    前記所定の予測モードが適用されるマクロブロックに含まれる各サブマクロブロックに適用される予測方向が双方向であるか否かを判断する予測方向判断ステップと、
    所定の予測モードが適用されるマクロブロックに含まれる双方向の予測方向が適用されるサブマクロブロックの数が所定値以下の場合にのみ、当該マクロブロックに対して、前記符号化データ選定判断ステップを適用することを特徴とする符号化データ復元方法。
  18. 請求項１１又は１２に記載の符号化データ復元方法において、
    前記符号化データ選定判断ステップでは、前記符号化データ出力方法において、前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素を含む二次サブマクロブロックに対応する所定の種類の符号化データが選定されたこと、を判断することを特徴とする符号化データ復元方法。
  19. 請求項１１又は１２に記載の符号化データ復元方法において、
    前記符号化データ出力方法において、前記所定の種類以外の種類の符号化データについては、ビット数が削減されなかったこと、に基づいて、符号化データを復元することを特徴とする符号化データ復元方法。
  20. 請求項１１乃至１９の何れか１項に記載の符号化データ復元方法の各ステップと、
    前記符号化データ復元方法により復元された符号化データを利用して、入力したベースバンド信号を符号化する符号化ステップと、
    を備えることを特徴とする符号化方法。
  21. 入力したビットストリームに対応する各マクロブロックの符号化データを所定のビット数以下で出力する符号化データ出力装置であって、
    マクロブロックに適用される予測モードが所定の予測モードであるか否かを判断する予測モード判断手段と、
    前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素に対応する所定の種類の符号化データを選定する符号化データ選定手段と、
    前記所定の予測モードが適用されるマクロブロックにおいて、前記符号化データ選定手段で選定されなかった所定の種類の符号化データよりも、前記符号化データ選定手段で選定された所定の種類の符号化データに対して優先的にビット数を配分するビット数配分手段と、
    を備える符号化データ出力装置であって、
    前記所定の予測モードは、マクロブロックを構成する各サブマクロブロックを、更に１乃至複数の２次サブマクロブロックに分割し、各２次サブマクロブロックを動き補償ブロックとするモードであり、
    前記所定の位置は、マクロブロックの四隅であり、
    前記所定の種類の符号化データは、動きベクトルであることを特徴とする符号化データ出力装置。
  22. 入力したビットストリームに対応する各マクロブロックの符号化データを所定のビット数以下で出力する符号化データ出力装置であって、
    マクロブロックに適用される予測モードが所定の予測モードであるか否かを判断する予測モード判断手段と、
    前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素に対応する所定の種類の符号化データを選定する符号化データ選定手段と、
    前記所定の予測モードが適用されるマクロブロックにおいて、前記符号化データ選定手段で選定されなかった所定の種類の符号化データよりも、前記符号化データ選定手段で選定された所定の種類の符号化データに対して優先的にビット数を配分するビット数配分手段と、
    を備える符号化データ出力装置であって、
    前記所定の予測モードは、マクロブロックを構成する各サブマクロブロックを、更に１乃至複数の２次サブマクロブロックに分割し、各２次サブマクロブロックを動き補償ブロックとするモードであり、
    前記所定の位置は、他のマクロブロックの前記所定の種類の符号化データが欠落している場合に、その欠落した前記所定の種類の符号化データを再生するために利用される前記所定の種類の符号化データに関連した位置であり、
    前記所定の種類の符号化データは、動きベクトルであることを特徴とする符号化データ出力装置。
  23. 請求項２１又は２２に記載の符号化データ出力装置であって、
    前記ビット数配分手段は、前記符号化データ選定手段で選定されなかった所定の種類の符号化データを削減することを特徴とする符号化データ出力装置。
  24. 請求項２１又は２２に記載の符号化データ出力装置であって、
    前記ビット数配分手段は、前記符号化データ選定手段で選定された所定の種類の符号化データに、前記入力したビットストリームにおけるビット数と同一又はそれ以下のビット数を配分することを特徴とする符号化データ出力装置。
  25. 請求項２１又は２２に記載の符号化データ出力装置において、
    前記所定の予測モードが適用されるマクロブロックに含まれる各サブマクロブロックに適用される予測方向が双方向であるか否かを判断する予測方向判断手段と、
    前記予測方向判断手段が双方向でないと判断したサブマクロブロックに対してのみ、前記符号化データ選定手段を適用することを特徴とする符号化データ出力装置。
  26. 請求項２１又は２２に記載の符号化データ出力装置において、
    前記所定の予測モードが適用されるマクロブロックに含まれる各サブマクロブロックに適用される予測方向が双方向であるか否かを判断する予測方向判断手段と、
    前記予測方向判断手段が双方向でないと判断したサブマクロブロックに対して、前記符号化データ選定手段を適用し、前記予測方向判断手段が双方向であると判断したサブマクロブロックに対して、前記符号化データ選定手段を適用し又は適用しないことを特徴とする符号化データ出力装置。
  27. 請求項２１又は２２に記載の符号化データ出力装置において、
    前記所定の予測モードが適用されるマクロブロックに含まれる各サブマクロブロックに適用される予測方向が双方向であるか否かを判断する予測方向判断手段と、
    所定の予測モードが適用されるマクロブロックに含まれる双方向の予測方向が適用されるサブマクロブロックの数が所定値以下の場合にのみ、当該マクロブロックに対して、前記符号化データ選定手段を適用することを特徴とする符号化データ出力装置。
  28. 請求項２１又は２２に記載の符号化データ出力装置において、
    前記符号化データ選定手段は、前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素を含む二次サブマクロブロックに対応する所定の種類の符号化データを選定することを特徴とする符号化データ出力装置。
  29. 請求項２１又は２２に記載の符号化データ出力装置において、
    前記所定の種類以外の種類の符号化データについては、ビット数を削減しないことを特徴とする符号化データ出力装置。
  30. 請求項２１乃至２９の何れか１項に記載の符号化データ出力装置の各手段と、
    入力したビットストリームからベースバンド信号を復号化する復号化手段と
    前記ベースバンド信号に、入力したビットストリームに対して前記符号化データ出力装置を通して得られた符号化データを多重化する多重化手段と、
    を備えることを特徴とする再符号化データ生成装置。
  31. 入力したビットストリームに対応する各マクロブロックの符号化データを所定のビット数以下で出力する符号化データ出力装置により生成された各マクロブロックの符号化データを基に、符号化のための各マクロブロックの符号化データを復元する符号化データ復元装置において、
    マクロブロックに適用される予測モードが所定の予測モードであるか否かを判断する予測モード判断手段と、
    前記符号化データ出力装置において、前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素に対応する所定の種類の符号化データが、選定されたこと、を判断する符号化データ選定判断手段と、
    前記符号化データ出力装置において、前記所定の予測モードが適用されるマクロブロックにおいて、前記符号化データ選定手段で選定されなかった所定の種類の符号化データよりも、前記符号化データ選定手段で選定された所定の種類の符号化データに対して、優先的にビット数が配分されたこと、を判断するビット数配分判断手段と、
    前記ビット数配分判断手段の結果に基づいて、再符号化のための各マクロブロックの符号化データを復元する符号化データ復元手段と、
    を備える符号化データ復元装置であって、
    前記所定の予測モードは、マクロブロックを構成する各サブマクロブロックを、更に１乃至複数の２次サブマクロブロックに分割し、各２次サブマクロブロックを動き補償ブロックとするモードであり、
    前記所定の位置は、マクロブロックの四隅であり、
    前記所定の種類の符号化データは、動きベクトルであることを特徴とする符号化データ復元装置。
  32. 入力したビットストリームに対応する各マクロブロックの符号化データを所定のビット数以下で出力する符号化データ出力装置により生成された各マクロブロックの符号化データを基に、符号化のための各マクロブロックの符号化データを復元する符号化データ復元装置において、
    マクロブロックに適用される予測モードが所定の予測モードであるか否かを判断する予測モード判断手段と、
    前記符号化データ出力装置において、前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素に対応する所定の種類の符号化データが、選定されたこと、を判断する符号化データ選定判断手段と、
    前記符号化データ出力装置において、前記所定の予測モードが適用されるマクロブロックにおいて、前記符号化データ選定手段で選定されなかった所定の種類の符号化データよりも、前記符号化データ選定手段で選定された所定の種類の符号化データに対して、優先的にビット数が配分されたこと、を判断するビット数配分判断手段と、
    前記ビット数配分判断手段の結果に基づいて、再符号化のための各マクロブロックの符号化データを復元する符号化データ復元手段と、
    を備える符号化データ復元装置であって、
    前記所定の予測モードは、マクロブロックを構成する各サブマクロブロックを、更に１乃至複数の２次サブマクロブロックに分割し、各２次サブマクロブロックを動き補償ブロックとするモードであり、
    前記所定の位置は、他のマクロブロックの前記所定の種類の符号化データが欠落している場合に、その欠落した前記所定の種類の符号化データを再生するために利用される前記所定の種類の符号化データに関連した位置であり、
    前記所定の種類の符号化データは、動きベクトルであることを特徴とする符号化データ復元装置。
  33. 請求項３１又は３２に記載の符号化データ復元装置であって、
    前記符号化データ出力装置において選定されなかったことが前記符号化データ選定判断手段で判断された所定の種類の符号化データが、前記符号化データ出力装置において、削減されたことを、前記ビット数配分判断手段で、判断することを特徴とする符号化データ復元装置。
  34. 請求項３１又は３２に記載の符号化データ復元装置であって、
    前記符号化データ出力装置において選定されたことが前記符号化データ選定判断手段で判断された所定の種類の符号化データに、前記符号化データ出力装置において、入力したビットストリームにおけるビット数と同一又はそれ以下のビット数が配分削減されたことを、前記ビット数配分判断手段で、判断することを特徴とする符号化データ復元装置。
  35. 請求項３１又は３２に記載の符号化データ復元装置において、
    前記所定の予測モードが適用されるマクロブロックに含まれる各サブマクロブロックに適用される予測方向が双方向であるか否かを判断する予測方向判断手段と、
    前記予測方向判断手段が双方向でないと判断したサブマクロブロックに対してのみ、前記符号化データ選定判断手段を適用することを特徴とする符号化データ復元装置。
  36. 請求項３１又は３２に記載の符号化データ復元装置において、
    前記所定の予測モードが適用されるマクロブロックに含まれる各サブマクロブロックに適用される予測方向が双方向であるか否かを判断する予測方向判断手段と、
    前記予測方向判断手段が双方向でないと判断したサブマクロブロックに対して、前記符号化データ選定判断手段を適用し、前記予測方向判断手段が双方向であると判断したサブマクロブロックに対して、前記符号化データ選定判断手段を適用し又は適用しないことを特徴とする符号化データ復元装置。
  37. 請求項３１又は３２に記載の符号化データ復元装置において、
    前記所定の予測モードが適用されるマクロブロックに含まれる各サブマクロブロックに適用される予測方向が双方向であるか否かを判断する予測方向判断手段と、
    所定の予測モードが適用されるマクロブロックに含まれる双方向の予測方向が適用されるサブマクロブロックの数が所定値以下の場合にのみ、当該マクロブロックに対して、前記符号化データ選定判断手段を適用することを特徴とする符号化データ復元装置。
  38. 請求項３１又は３２に記載の符号化データ復元装置において、
    前記符号化データ選定判断手段は、前記符号化データ出力装置において、前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素を含む二次サブマクロブロックに対応する所定の種類の符号化データが選定されたこと、を判断することを特徴とする符号化データ復元装置。
  39. 請求項３１又は３２に記載の符号化データ復元装置において、
    前記符号化データ出力装置において、前記所定の種類以外の種類の符号化データについては、ビット数が削減されなかったこと、に基づいて、符号化データを復元することを特徴とする符号化データ復元装置。
  40. 請求項３１乃至３９の何れか１項に記載の符号化データ復元装置の各手段と、
    前記符号化データ復元装置により復元された符号化データを利用して、入力したベースバンド信号を符号化する符号化手段と、
    を備えることを特徴とする符号化装置。
  41. 請求項１乃至２０の何れか１項に記載の方法をコンピュータに行なわせるためのプログラム。
  42. 動画像データと共に動きベクトルを送信する装置であって、
    マクロブロックが分割されていなければ、前記マクロブロックについて、該マクロブロックの予測モードに応じて、１以上の動きベクトルを送信する第１送信手段と、
    マクロブロックが第１のサブマクロブロックと第２のサブマクロブロックとに分割されていれば、前記第１のサブマクロブロックについて、該第１のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを送信し、前記第２のサブマクロブロックについて、該第２のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを送信する第２送信手段と、
    マクロブロックが４つのサブマクロブロックに分割されていれば、選択された１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを送信する第３送信手段と、
    を備え、
    前記第２次サブマクロブロックは、各サブマクロブロックを分割することにより得られるものであり、
    前記第３送信手段は、マクロブロックが４つのサブマクロブロックに分割されていれば、片方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１つの動きベクトルのみを送信することを特徴とする装置。
  43. 動画像データと共に動きベクトルを送信する装置であって、
    マクロブロックが分割されていなければ、前記マクロブロックについて、該マクロブロックの予測モードに応じて、１以上の動きベクトルを送信する第１送信手段と、
    マクロブロックが第１のサブマクロブロックと第２のサブマクロブロックとに分割されていれば、前記第１のサブマクロブロックについて、該第１のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを送信し、前記第２のサブマクロブロックについて、該第２のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを送信する第２送信手段と、
    マクロブロックが４つのサブマクロブロックに分割されていれば、選択された１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを送信する第３送信手段と、
    を備え、
    前記第２次サブマクロブロックは、各サブマクロブロックを分割することにより得られるものであり、
    前記第３送信手段は、マクロブロックが４つのサブマクロブロックに分割されていれば、片方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１つの動きベクトルのみを送信し、更に、双方向予測されているサブマクロブロックの数が３以下であれば、双方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの２つの動きベクトルのみを送信することを特徴とする装置。
  44. 動画像データと共に動きベクトルを受信する装置であって、
    マクロブロックが分割されていなければ、前記マクロブロックについて、該マクロブロックの予測モードに応じて、１以上の動きベクトルを受信する第１受信手段と、
    マクロブロックが第１のサブマクロブロックと第２のサブマクロブロックとに分割されていれば、前記第１のサブマクロブロックについて、該第１のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを受信し、前記第２のサブマクロブロックについて、該第２のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを受信する第２受信手段と、
    マクロブロックが４つのサブマクロブロックに分割されていれば、選択された１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを受信する第３受信手段と、
    を備え、
    前記第２次サブマクロブロックは、各サブマクロブロックを分割することにより得られるものであり、
    前記第３受信手段は、マクロブロックが４つのサブマクロブロックに分割されていれば、片方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１つの動きベクトルのみを受信することを特徴とする装置。
  45. 動画像データと共に動きベクトルを受信する装置であって、
    マクロブロックが分割されていなければ、前記マクロブロックについて、該マクロブロックの予測モードに応じて、１以上の動きベクトルを受信する第１受信手段と、
    マクロブロックが第１のサブマクロブロックと第２のサブマクロブロックとに分割されていれば、前記第１のサブマクロブロックについて、該第１のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを受信し、前記第２のサブマクロブロックについて、該第２のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを受信する第２受信手段と、
    マクロブロックが４つのサブマクロブロックに分割されていれば、選択された１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを受信する第３受信手段と、
    を備え、
    前記第２次サブマクロブロックは、各サブマクロブロックを分割することにより得られるものであり、
    前記第３受信手段は、マクロブロックが４つのサブマクロブロックに分割されていれば、片方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１つの動きベクトルのみを受信し、更に、双方向予測されているサブマクロブロックの数が３以下であれば、双方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの２つの動きベクトルのみを受信することを特徴とする装置。
  46. 動画像データと共に動きベクトルを送信する方法であって、
    マクロブロックが分割されていなければ、前記マクロブロックについて、該マクロブロックの予測モードに応じて、１以上の動きベクトルを送信する第１送信ステップと、
    マクロブロックが第１のサブマクロブロックと第２のサブマクロブロックとに分割されていれば、前記第１のサブマクロブロックについて、該第１のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを送信し、前記第２のサブマクロブロックについて、該第２のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを送信する第２送信ステップと、
    マクロブロックが４つのサブマクロブロックに分割されていれば、選択された１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを送信する第３送信ステップと、
    を備え、
    前記第２次サブマクロブロックは、各サブマクロブロックを分割することにより得られるものであり、
    前記第３送信ステップでは、マクロブロックが４つのサブマクロブロックに分割されていれば、片方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１つの動きベクトルのみを送信することを特徴とする方法。
  47. 動画像データと共に動きベクトルを送信する方法であって、
    マクロブロックが分割されていなければ、前記マクロブロックについて、該マクロブロックの予測モードに応じて、１以上の動きベクトルを送信する第１送信ステップと、
    マクロブロックが第１のサブマクロブロックと第２のサブマクロブロックとに分割されていれば、前記第１のサブマクロブロックについて、該第１のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを送信し、前記第２のサブマクロブロックについて、該第２のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを送信する第２送信ステップと、
    マクロブロックが４つのサブマクロブロックに分割されていれば、選択された１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを送信する第３送信ステップと、
    を備え、
    前記第２次サブマクロブロックは、各サブマクロブロックを分割することにより得られるものであり、
    前記第３送信ステップでは、マクロブロックが４つのサブマクロブロックに分割されていれば、片方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１つの動きベクトルのみを送信し、更に、双方向予測されているサブマクロブロックの数が３以下であれば、双方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの２つの動きベクトルのみを送信することを特徴とする方法。
  48. 動画像データと共に動きベクトルを受信する方法であって、
    マクロブロックが分割されていなければ、前記マクロブロックについて、該マクロブロックの予測モードに応じて、１以上の動きベクトルを受信する第１受信ステップと、
    マクロブロックが第１のサブマクロブロックと第２のサブマクロブロックとに分割されていれば、前記第１のサブマクロブロックについて、該第１のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを受信し、前記第２のサブマクロブロックについて、該第２のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを受信する第２受信ステップと、
    マクロブロックが４つのサブマクロブロックに分割されていれば、選択された１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを受信する第３受信ステップと、
    を備え、
    前記第２次サブマクロブロックは、各サブマクロブロックを分割することにより得られるものであり、
    前記第３受信ステップでは、マクロブロックが４つのサブマクロブロックに分割されていれば、片方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１つの動きベクトルのみを受信することを特徴とする方法。
  49. 動画像データと共に動きベクトルを受信する方法であって、
    マクロブロックが分割されていなければ、前記マクロブロックについて、該マクロブロックの予測モードに応じて、１以上の動きベクトルを受信する第１受信ステップと、
    マクロブロックが第１のサブマクロブロックと第２のサブマクロブロックとに分割されていれば、前記第１のサブマクロブロックについて、該第１のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを受信し、前記第２のサブマクロブロックについて、該第２のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを受信する第２受信ステップと、
    マクロブロックが４つのサブマクロブロックに分割されていれば、選択された１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを受信する第３受信ステップと、
    を備え、
    前記第２次サブマクロブロックは、各サブマクロブロックを分割することにより得られるものであり、
    前記第３受信ステップでは、マクロブロックが４つのサブマクロブロックに分割されていれば、片方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１つの動きベクトルのみを受信し、更に、双方向予測されているサブマクロブロックの数が３以下であれば、双方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの２つの動きベクトルのみを受信することを特徴とする方法。
JP2005375404A 2005-12-27 2005-12-27 符号化データ選定、符号化データ設定、再符号化データ生成及び再符号化の方法及び装置 Expired - Lifetime JP4666255B2 (ja)

Priority Applications (11)

Application Number Priority Date Filing Date Title
JP2005375404A JP4666255B2 (ja) 2005-12-27 2005-12-27 符号化データ選定、符号化データ設定、再符号化データ生成及び再符号化の方法及び装置
CA 2572515 CA2572515C (en) 2005-12-27 2006-12-22 Selection of encoded data, setting of encoded data, creation of recoded data, and recoding method and device
TW95148874A TWI364989B (en) 2005-12-27 2006-12-26 "encoded data output device and method,recoded datacreati0n device and method,encoded data restore deviceand method,encoding device and method,computerprogram product,apparatus and method for transmittinga motion vector together with picture data,apparat
MYPI20064767 MY145659A (en) 2005-12-27 2006-12-26 Selection of encoded data, setting of encoded data, creation of recorded data, and recording method and device
US11/645,977 US8254463B2 (en) 2005-12-27 2006-12-26 Selection of encoded data, setting of encoded data, creation of recoded data, and recoding method and device
SG200609070-8A SG133582A1 (en) 2005-12-27 2006-12-27 Selection of encoded data, setting of encoded data, creation of recoded data, and recoding method and device
KR20060134771A KR100903712B1 (ko) 2005-12-27 2006-12-27 부호화 데이터 출력 방법 및 장치, 재부호화 데이터 생성방법 및 장치, 부호화 데이터 복원 방법 및 장치, 부호화방법 및 장치, 및 컴퓨터 판독 가능한 기록 매체
SG200904364-7A SG153866A1 (en) 2005-12-27 2006-12-27 Selection of encoded data, setting of encoded data, creation of recoded data, and recoding method and device
CN2006100644930A CN101014132B (zh) 2005-12-27 2006-12-27 编码数据选定设定、再编码数据生成和再编码方法及装置
EP06127214.2A EP1833256B1 (en) 2005-12-27 2006-12-27 Selection of encoded data, setting of encoded data, creation of recoded data, and recoding method and device
AU2006252282A AU2006252282B2 (en) 2005-12-27 2006-12-28 Selection of encoded data, setting of encoded data, creation of recoded data, and recoding method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005375404A JP4666255B2 (ja) 2005-12-27 2005-12-27 符号化データ選定、符号化データ設定、再符号化データ生成及び再符号化の方法及び装置

Publications (2)

Publication Number Publication Date
JP2007180776A JP2007180776A (ja) 2007-07-12
JP4666255B2 true JP4666255B2 (ja) 2011-04-06

Family

ID=38193693

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005375404A Expired - Lifetime JP4666255B2 (ja) 2005-12-27 2005-12-27 符号化データ選定、符号化データ設定、再符号化データ生成及び再符号化の方法及び装置

Country Status (10)

Country Link
US (1) US8254463B2 (ja)
EP (1) EP1833256B1 (ja)
JP (1) JP4666255B2 (ja)
KR (1) KR100903712B1 (ja)
CN (1) CN101014132B (ja)
AU (1) AU2006252282B2 (ja)
CA (1) CA2572515C (ja)
MY (1) MY145659A (ja)
SG (2) SG153866A1 (ja)
TW (1) TWI364989B (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4739295B2 (ja) 2007-08-27 2011-08-03 日本電信電話株式会社 映像信号生成装置、映像信号生成方法、映像信号生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
TWI433545B (zh) * 2007-10-30 2014-04-01 Nippon Telegraph & Telephone 影像編碼裝置及影像解碼裝置
WO2011040796A2 (ko) * 2009-10-01 2011-04-07 에스케이텔레콤 주식회사 가변 크기의 매크로블록을 이용한 영상 부호화/복호화 방법 및 장치
US9549190B2 (en) 2009-10-01 2017-01-17 Sk Telecom Co., Ltd. Method and apparatus for encoding/decoding image using variable-size macroblocks
KR101484280B1 (ko) * 2009-12-08 2015-01-20 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
JP2011146980A (ja) * 2010-01-15 2011-07-28 Sony Corp 画像処理装置および方法
US9082278B2 (en) * 2010-03-19 2015-07-14 University-Industry Cooperation Group Of Kyung Hee University Surveillance system
RU2607257C2 (ru) 2010-08-17 2017-01-10 Самсунг Электроникс Ко., Лтд. Способ и устройство кодирования видео, использующие блок преобразования переменной древовидной структуры, и способ и устройство декодирования видео
CN103314590B (zh) 2011-01-13 2018-02-27 日本电气株式会社 视频解码设备、视频解码方法
PL2665272T3 (pl) 2011-01-13 2021-10-18 Nec Corporation Urządzenie dekodujące wideo, sposób dekodowania wideo i program
TWI601411B (zh) * 2011-09-14 2017-10-01 三星電子股份有限公司 視訊解碼裝置
WO2013108691A1 (ja) * 2012-01-19 2013-07-25 ソニー株式会社 画像処理装置および方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4432855A (en) * 1982-09-30 1984-02-21 International Business Machines Corporation Automated system for laser mask definition for laser enhanced and conventional plating and etching
SE515535C2 (sv) 1996-10-25 2001-08-27 Ericsson Telefon Ab L M En transkoder
US5828848A (en) * 1996-10-31 1998-10-27 Sensormatic Electronics Corporation Method and apparatus for compression and decompression of video data streams
JP3748895B2 (ja) 1997-02-13 2006-02-22 三菱電機株式会社 符号化装置及び復号装置及び符号化方法及び復号方法
KR100535631B1 (ko) * 1997-09-29 2006-07-10 주식회사 팬택앤큐리텔 적응적 비월주사 모양정보 부호화/복호화 장치및 방법
US6574274B2 (en) 1998-02-27 2003-06-03 Sony Corporation Picture signal processing system, decoder, picture signal processing method, and decoding method
KR100571687B1 (ko) 1999-02-09 2006-04-18 소니 가부시끼 가이샤 코딩 시스템 및 방법, 부호화 장치 및 방법, 복호화 장치및 방법, 기록 장치 및 방법, 및 재생 장치 및 방법
JP3817951B2 (ja) * 1999-02-09 2006-09-06 ソニー株式会社 ストリーム伝送装置および方法、並びに記録媒体
JP2002016913A (ja) * 2000-06-28 2002-01-18 Yamaha Corp トランスコーディング方法およびトランスコーディング装置
JP4228537B2 (ja) * 2000-11-29 2009-02-25 日本ビクター株式会社 画像信号復号・符号化装置
US6700935B2 (en) 2002-02-08 2004-03-02 Sony Electronics, Inc. Stream based bitrate transcoder for MPEG coded video
US20040252758A1 (en) 2002-08-14 2004-12-16 Ioannis Katsavounidis Systems and methods for adaptively filtering discrete cosine transform (DCT) coefficients in a video encoder
WO2004080050A2 (en) 2003-03-03 2004-09-16 Koninklijke Philips Electronics N.V. Video encoding
CN1843037B (zh) * 2003-08-26 2010-09-22 汤姆森特许公司 用于编码混合内部-相互编码块的方法和装置
KR100846780B1 (ko) * 2003-11-10 2008-07-16 삼성전자주식회사 움직임 벡터 추정 방법 및 장치
US7391809B2 (en) 2003-12-30 2008-06-24 Microsoft Corporation Scalable video transcoding
US8369402B2 (en) 2004-06-17 2013-02-05 Canon Kabushiki Kaisha Apparatus and method for prediction modes selection based on image formation
CN1306821C (zh) * 2004-07-30 2007-03-21 联合信源数字音视频技术（北京）有限公司 一种视频图像中运动矢量预测生成的方法及其装置
US7822117B1 (en) * 2005-09-30 2010-10-26 Ambarella, Inc. Video encoder rate control using bit usage measuring and allocating by macroblock classes

Also Published As

Publication number Publication date
AU2006252282B2 (en) 2011-07-07
US20070147503A1 (en) 2007-06-28
SG133582A1 (en) 2007-07-30
EP1833256A1 (en) 2007-09-12
US8254463B2 (en) 2012-08-28
KR20070069073A (ko) 2007-07-02
KR100903712B1 (ko) 2009-06-19
CN101014132B (zh) 2012-01-11
CA2572515A1 (en) 2007-06-27
TW200803522A (en) 2008-01-01
SG153866A1 (en) 2009-07-29
JP2007180776A (ja) 2007-07-12
EP1833256B1 (en) 2017-06-14
TWI364989B (en) 2012-05-21
AU2006252282A1 (en) 2007-07-12
CA2572515C (en) 2013-12-10
CN101014132A (zh) 2007-08-08
MY145659A (en) 2012-03-15

Similar Documents

Publication Publication Date Title
JP4991699B2 (ja) ビデオ信号のスケーラブルなエンコーディング方法およびデコーディング方法
TWI684354B (zh) 動態影像解碼裝置及動態影像解碼方法
JP5242784B2 (ja) 動画像符号化装置及び方法
KR101055738B1 (ko) 베이스 레이어의 내부모드 블록의 예측정보를 이용하여 영상신호를 엔코딩/디코딩하는 방법 및 장치
JP5432355B2 (ja) イントラ予測映像符号化のための方法及び装置
TWI658725B (zh) 動態影像解碼裝置、動態影像解碼方法及動態影像解碼程式
KR20060109249A (ko) 영상신호의 엔코딩/디코딩시에 베이스 레이어 픽처의모션벡터를 사용하여 영상블록을 위한 모션벡터를 예측하는방법 및 장치
KR20060088461A (ko) 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
JP4666255B2 (ja) 符号化データ選定、符号化データ設定、再符号化データ生成及び再符号化の方法及び装置
JP3940657B2 (ja) 動画像符号化方法と装置及び動画像復号化方法と装置
KR100885443B1 (ko) 레이어간 예측방식를 사용해 엔코딩된 영상신호를디코딩하는 방법
JP5090158B2 (ja) 映像情報記録装置、映像情報記録方法、映像情報記録プログラム、及び映像情報記録プログラムを記録した記録媒体
JP5016561B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、及び動画像復号方法
JP5725009B2 (ja) 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
KR100883591B1 (ko) 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치
JP5388977B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラム
KR20060059769A (ko) 영상신호의 엔코딩시에 베이스 레이어 픽처의 벡터를이용하기 위한 미세정보를 코딩하는 방법과 그 미세정보를이용하는 디코딩 방법
JP2007251815A (ja) 再符号化装置及び再符号化用プログラム
JP4390009B2 (ja) 符号化装置及び方法、画像処理システム
JP5911982B2 (ja) 画像復号化方法
JP2002152731A (ja) 画像サイズ変換装置
WO2019017327A1 (ja) 動画像符号化装置、動画像符号化方法、及び、動画像符号化プログラムが格納された記録媒体
HK1124193B (en) Method for scalably encoding and decoding video signal
JP2013118686A (ja) 動画像符号化装置及び方法
KR20150007205A (ko) 영상의 복호화 방법 및 이를 이용하는 장치

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080527

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100723

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100903

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20100916

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100916

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101217

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101230

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140121

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4666255

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

EXPY Cancellation because of completion of term