JP4234771B2 - 送信装置 - Google Patents

送信装置 Download PDF

Info

Publication number
JP4234771B2
JP4234771B2 JP2008040319A JP2008040319A JP4234771B2 JP 4234771 B2 JP4234771 B2 JP 4234771B2 JP 2008040319 A JP2008040319 A JP 2008040319A JP 2008040319 A JP2008040319 A JP 2008040319A JP 4234771 B2 JP4234771 B2 JP 4234771B2
Authority
JP
Japan
Prior art keywords
picture
image
coded
encoded
intra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2008040319A
Other languages
English (en)
Other versions
JP2008182730A (ja
Inventor
眞也 角野
敏志 近藤
誠 羽飼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=19136615&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP4234771(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2008040319A priority Critical patent/JP4234771B2/ja
Publication of JP2008182730A publication Critical patent/JP2008182730A/ja
Application granted granted Critical
Publication of JP4234771B2 publication Critical patent/JP4234771B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Description

本発明は、複数の符号化ピクチャもしくは復号化ピクチャを参照して動画像信号を符号化もしくは復号化する動画像符号化方法、動画像符号化装置、動画像復号化方法、動画像復号化装置、並びにそれをソフトウェアで実施するためのプログラムを格納した記録媒体に関する。
近年、音声、画像、およびその他の画素値等の情報を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式として表すことが必須条件となる。
ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり64kbits （電話品質）、更に動画については１秒当たり100Mbits（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は64kbps〜1.5Mbps の伝送速度を持つサービス総合ディジタル通信網（ＩＳＤＮ：Integrated Services Digital Network ）によって既に実用化されているが、テレビカメラにより撮影された映像の情報をそのままＩＳＤＮで送ることは不可能である。
そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ＩＴＵ―T（国際電気通信連合 電気通信標準化部門）で国際標準化されたH.261 やH.263 規格の動画圧縮技術が用いられている。また、MPEG-1規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。
ここで、ＭＰＥＧ（Moving Picture Experts Group）とは、動画像信号のディジタル圧縮の国際規格であり、MPEG-1は、動画像信号を1.5Mbps まで、つまりテレビ信号の情報を約 100分の１にまで圧縮する規格である。また、MPEG-1規格を対象とする伝送速度が主として約1.5Mbps に制限されていることから、更なる高画質化の要求を満たすべく規格化されたMPEG-2では、動画像信号が２〜１５Mbpsに圧縮される。
更に現状では、MPEG-1、MPEG-2と標準化を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG11）によって、より圧縮率が高いMPEG-4が規格化された。MPEG-4では、低ビットレートで効率の高い符号化が可能になるだけでなく、伝送路誤りが発生しても主観的な画質劣化を小さくできる強力な誤り耐性技術も導入されている。また、ＩＴＵ―Tでは次世代画像符号化方式として、H.26L の標準化活動が開始された。
MPEG-1、MPEG-2、MPEG-4では直前に符号化もしくは復号化したピクチャの画像信号（参照画像）を参照し、参照画像と被符号化・復号化画像との差分値を符号化・復号化する画面間符号化（Inter Predictive Coded Picture：以下Inter Pictureと略す）を用いることで、大幅な圧縮率を可能にした（例えば、非特許文献１参照。）。
更に、時間方向および空間方向の冗長性を削減することによって情報量の圧縮が実現できる。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、既に符号化・復号化したピクチャ（参照画像）を参照して予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは１枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。
２００１年９月時点のH.26L 規格案では更に圧縮率を向上するため、直前に符号化もしくは復号化したピクチャのみを参照するだけでなく、被符号化・復号化画像より前に符号化・復号化した複数のピクチャから任意のピクチャを選択して参照画像とすることが可能になっている。
図１５に従来の動画像符号化方法および動画像復号化方法の概念の説明図を示す。図１５は被符号化・復号化ピクチャより前の３ピクチャから任意のピクチャを選択し、参照画像とする例である。図１５で各ピクチャは表示時刻の順序で並んでおり、左のピクチャの表示時刻が早い。符号化の順序も左のピクチャが早く符号化される。従って、ビットストリームの順序もピクチャＪ1、ピクチャＪ2、ピクチャＪ3、ピクチャＪ4である。従って、被符号化・復号化ピクチャがピクチャＪ4の場合は、ピクチャＪ1、ピクチャＪ2、ピクチャＪ3の中から１つを選択して参照画像とすることが可能であり、被符号化・復号化ピクチャがピクチャＪ5の場合は、ピクチャＪ2、ピクチャＪ3、ピクチャＪ4の中から１つを選択して参照画像とすることが可能である。
図１６は従来の動画像符号化装置の構成を示すブロック図である。
動画像符号化装置４は、入力される画像信号Vin を圧縮符号化して可変長符号化等のビットストリームに変換した画像符号化信号Str を出力する装置であり、動き検出ユニット４０１、選択ユニット４０２、画像信号減算ユニット４０３、符号化ユニット４０４、復号化ユニット４０５、加算ユニット４０６、選択ユニット４０７、およびメモリ４０８〜４１０を備えている。
動き検出ユニット４０１は、メモリ４０８〜４１０に格納されている既に符号化された画像である参照画像をそれぞれ読み出し、入力された画像信号Vin と比較することで画面間差分値の大きさ（誤差エネルギー）が小さい参照画像Refとその画面間差分値が小さくなる画素位置を示す動き情報MVを決定する。通常は、誤差エネルギーが最小となる参照画像Refおよび画素位置を決定することが多いが、最近は単純に誤差エネルギーが最小となるのではなく、誤差エネルギーが小さく且つ圧縮率が大きくできるように動き情報MVを決定する手法も利用されている。なお、参照画像Refおよび画素位置の情報をまとめて動き情報MVと呼ぶことにする。選択ユニット４０２は、切り替え指示信号である参照画像指示信号RefFrmに基づいてメモリ４０８〜４１０に格納されている参照画像Ref1、参照画像Ref2、参照画像Ref3の中から選択された参照画像Ref を出力する。減算ユニット４０３は、画像信号Vin と参照画像Ref の差分画像信号Dif を計算する。
符号化ユニット４０４は、差分画像信号Dif と参照画像を特定するための情報である動き情報MVとを符号化する。復号化ユニット４０５は、符号化ユニット４０４により符号化された符号化データCoded を復号化して復元差分画像信号RecDifを得る。加算ユニット４０６は、参照画像Ref と復元差分画像信号RecDifとを加算する。選択ユニット４０７は、入力された復号画像信号Recon を後続のピクチャの符号化で参照画像として参照可能とするため、メモリ４０８〜４１０のいずれかに復号画像信号Rec1、復号画像信号Rec2、復号画像信号Rec3として出力する。
次に、上記のように構成された動画像符号化装置の動作について説明する。
画像信号Vin は、画像信号減算ユニット４０３と動き検出ユニット４０１に入力される。動き検出ユニット４０１は、メモリ４０８〜４１０に格納されている既に復号化された画像である参照画像Ref1、参照画像Ref2、参照画像Ref3を読み出し、入力された画像信号Vin と比較することで画面間差分値の大きさが最小となる参照画像を決定し、その参照画像および参照する画素位置を特定するための情報である動き情報MVを出力する。
また同時に、動き検出ユニット４０１は、選択ユニット４０２が動き情報MVに対応する参照画像を選択して参照画像Ref として出力できるように、切り替え指示信号である参照画像指示信号RefFrmを出力する。なお、シーンチェンジ等では画面間の相関が失われるため、画面間符号化すると被符号化ピクチャの画像符号化信号のみで復元可能な画面内符号化（Intra Coding Picture：以下Intra Pictureと略す）よりも圧縮率が低下することがある。その場合には、動き検出ユニット４０１は、動き情報MVで画面内符号化であることを示し、常に値０を出力する参照画像Ref4を参照画像Ref として出力するための参照画像指示信号RefFrmを出力する。なお、参照画像Ref4の値は必ずしも０である必要は無く、例えば値０から２５５をとる輝度信号やRGBカラー信号の場合は平均値の１２８としてもよい。
また、エラー伝播防止や画像符号化信号の途中からの画像再生を可能にするためには、一定数のピクチャ毎に被符号化ピクチャの画像符号化信号のみで復元可能な画面内符号化を行う必要がある。そこで、外部から与える画面内符号化指示信号Reset の指示により、強制的に動き検出ユニット４０１で画面内符号化に切り替えることができる。
一方、画像信号Vin が入力された減算ユニット４０３は、この画像信号Vin と選択ユニット４０２により選択された参照画像Ref との差分を計算し、差分画像信号Dif を符号化ユニット４０４へ出力する。次に、符号化ユニット４０４は、差分画像信号Dif と動き検出ユニット４０１が出力した動き情報MVを符号化し、画像符号化信号Str と符号化データCoded を出力する。ここで、符号化データCoded は画像を復元するために必要なデータであり、画像符号化信号Str は符号化データCoded を更に可変長符号化等のビットストリームに変換したものである。
復号化ユニット４０５は、符号化データCoded を復号化して復元差分画像信号RecDifを加算ユニット４０６へ出力する。加算ユニット４０６は、復元差分画像信号RecDifと、選択ユニット４０２により選択された参照画像Ref とを加算し、復号画像信号Recon を選択ユニット４０７へ出力する。選択ユニット４０７は、復号画像信号Recon を後続のピクチャの符号化時に参照画像として参照可能とするため、メモリ４０８〜４１０のいずれかに復号画像信号Rec1、復号画像信号Rec2、復号画像信号Rec3として出力する。本例では、最も古い時刻にメモリに保存した画像が新しい復号画像信号Recon で上書きされるように選択ユニット４０７で切り替えが行われる。
図１７は従来の動画像復号化装置の構成を示すブロック図である。
動画像復号化装置５は、上記のように動画像符号化装置４により符号化された画像符号化信号Str を復号化する装置である。
復号化ユニット５０１は、入力された画像符号化信号Str を復号化し、復元差分画像信号RecDifと動き情報MVとを出力する。動き復元ユニット５０２は動き情報MVを復号化し、参照画像指示信号RefFrmを出力する。選択ユニット５０３、選択ユニット５０５、メモリ５０６〜５０８の動作は図１６に示す動画像符号化装置４の選択ユニット４０２、選択ユニット４０７、およびメモリ４０８〜４１０と同じである。加算ユニット５０４は復元差分画像信号RecDifと参照画像Ref を加算して復号画像信号Vout（これは図１６では復号画像信号Recon に相当）を出力する。
なお、前記動画像符号化装置４および動画像復号化装置５には、図示しない動き補償ユニットがそれぞれ選択ユニット４０２および選択ユニット５０３の出力側に設けられ、メモリから出力した参照画像の画素値から1/2画素位置精度等の画素値である小数画素位置精度の画素値を補間生成する動き補償を行っている。
ＩＳＯ／ＩＥＣ 13818-2 「INTERNATIONAL STANDARD Information technology Generic coding of moving pictures and associated audio information : Video」２０００年１２月１５日、ｐ．７、Intro.4.1.1
ところで、上記のような従来の動画像符号化装置および従来の動画像復号化装置では、参照画像が画面内符号化された画像（Intra Picture）であるか画面内符号化された画像以降に画面間符号化された画像（Inter Picture）であるかを全く区別していない。例えば、図１５の従来の動画像符号化方法および動画像復号化方法の概念の説明図では、ピクチャＪ2が画面内符号化されたピクチャであり、それ以外のピクチャＪ1、ピクチャＪ3、ピクチャＪ4、ピクチャＪ5が画面間符号化されたピクチャであるが、ピクチャＪ4の参照画像としてピクチャＪ1の参照も可能になる。もし、ピクチャＪ4が参照画像としてピクチャＪ1を参照した場合、画面内符号化されたピクチャＪ2より前のピクチャを参照画像として参照したことになる。
しかしながら、画像を途中から再生しようした場合、例えば画像符号化信号の途中の画面内符号化されたピクチャＪ2から画像を復号化し再生しようとしても、ピクチャＪ4を復号化する際には復号化されたピクチャＪ1の参照が必要となる。このため、ピクチャＪ4以降のピクチャが正しく復号化できないという問題が生じる。
また、例えば画像符号化信号の途中でストリーム誤りが発生し、ピクチャＪ1が誤りによって正しく復号化できない場合、画面内符号化されたピクチャＪ2は正しく復号化できるが、ピクチャＪ4を復号化する際にはピクチャＪ1の参照を必要となるため、ピクチャＪ4以降のピクチャが正しく復号化できないという問題が生じる。
そこで、本発明は上記の事情に鑑みてなされたものであり、画像符号化信号の途中の画面内符号化されたピクチャから再生を行うことができ、また、ストリームにエラーが発生した場合であっても画面内符号化されたピクチャ以降はエラー無く再生することができる動画像符号化方法および動画像符号化装置等を提供することを目的とする。
上記目的を達成するために、本発明に係る送信装置は、音声データおよび符号化画像データを多重化した多重化データを送信する送信装置であって、前記送信装置は、音声信号を符号化して音声データを生成する音声処理部と、画像信号を符号化して符号化画像データを生成する画像符号化部と、前記音声データと前記符号化画像データとを多重化する多重化部と、を有し、前記画像符号化部は、画面内符号化手段と画面間符号化手段を含み、前記画面間符号化手段で符号化される画面間符号化ピクチャの符号化の際は、前記画面間符号化ピクチャより表示順で前に位置するピクチャであって、前記画面内符号化手段で符号化される画面内符号化ピクチャより表示順で前に位置するピクチャを参照ピクチャとして選択することが可能であり、前記画面内符号化ピクチャを、参照ピクチャを制限するときに基準となる基準ピクチャとして指定する指定手段と、前記画面内符号化ピクチャが前記指定手段で基準ピクチャとして指定された場合は、前記基準ピクチャ以降に符号化される画面間符号化ピクチャに対しては、前記指定手段で指定された前記基準ピクチャ以降に符号化されたピクチャのみを参照ピクチャとして選択し、前記基準ピクチャより前に符号化されたピクチャの参照を禁止するとともに、前記画面内符号化ピクチャが参照ピクチャを制限するときに基準となる基準ピクチャとして指定されたことを示す情報を符号化し、前記画面内符号化ピクチャが前記指定手段で前記基準ピクチャとして指定されなかった場合は、前記基準ピクチャとして指定されなかった画面内符号化ピクチャ以降に符号化される画面間符号化ピクチャに対しては、前記指定されなかった画面内符号化ピクチャより表示順で前のピクチャを参照ピクチャとして選択することを可能にするとともに、前記画面内符号化ピクチャが前記基準ピクチャとして指定されなかったことを示す情報を符号化する符号化手段とを備えたものである、ことを特徴とする。
また、上記目的を達成するために、本発明に係る動画像符号化方法は、動画像を符号化する符号化方法であって、前記符号化方法は、画面内符号化方法と画面間符号化方法を含み、前記画面間符号化方法で符号化される画面間符号化ピクチャを符号化する際は、前記画面内符号化方法で符号化される画面内符号化ピクチャ、前記画面内符号化ピクチャより表示順で前に位置するピクチャ、及び前記画面内符号化ピクチャより表示順で後に位置するピクチャのうちの少なくとも１つのピクチャを参照ピクチャとして選択するものであり、前記画面内符号化ピクチャを、参照ピクチャを制限するときに基準となる基準ピクチャとして指定する指定ステップと、前記画面内符号化ピクチャが前記指定ステップで基準ピクチャとして指定された場合は、前記基準ピクチャ以降に符号化される画面間符号化ピクチャに対しては、前記指定ステップで指定された前記基準ピクチャ以降に符号化されたピクチャのみを参照ピクチャとして選択し、前記基準ピクチャより前に符号化されたピクチャの参照を禁止するとともに、前記画面内符号化ピクチャが参照ピクチャを制限するときに基準となる基準ピクチャとして指定されたことを示す情報を符号化し、前記画面内符号化ピクチャが前記指定ステップで前記基準ピクチャとして指定されなかった場合は、前記基準ピクチャとして指定されなかった画面内符号化ピクチャ以降に符号化される画面間符号化ピクチャに対しては、前記指定されなかった画面内符号化ピクチャ、前記指定されなかった画面内符号化ピクチャより表示順で前のピクチャ及び前記指定されなかった画面内符号化ピクチャより表示順で後のピクチャのうちの少なくとも１つのピクチャを参照ピクチャとして選択するとともに、前記画面内符号化ピクチャが前記基準ピクチャとして指定されなかったことを示す情報を符号化する符号化ステップとを含むことを特徴とする。
また、前記指定ステップで指定された前記基準ピクチャ以降に符号化されるピクチャは、前記指定ステップで指定された前記基準ピクチャ以降に符号化されたピクチャのみを参照ピクチャとして選択し、前記基準ピクチャより前のピクチャの参照を禁止すべく、前記指定ステップで指定された前記基準ピクチャより前に位置するピクチャを削除するステップを含むことを特徴としてもよい。
また、上記目的を達成するために、本発明に係る動画像符号化方法は、動画像をピクチャの単位で符号化する方法であって、メモリに格納された複数のピクチャの中から、画面内符号化されたピクチャ以降に符号化された１つのピクチャを参照ピクチャとして特定する特定ステップと、特定された参照ピクチャを前記メモリから読み出し、読み出した参照ピクチャと被符号化ピクチャとの差分である差分画像信号を算出し、得られた差分画像信号を符号化する符号化ステップと、符号化された前記差分画像信号を復号化し、前記参照ピクチャの画像信号と加算し、得られたピクチャを前記メモリに格納する格納ステップとを含むことを特徴とする。
また、本発明に係る動画像符号化方法は、動画像をピクチャの単位で符号化する方法であって、メモリに格納された複数のピクチャであって画面内符号化されたピクチャを、参照ピクチャを制限するときに基準となるピクチャとして指定する指定ステップと、前記指定ステップで指定されたピクチャ以降に符号化されるピクチャは、前記指定ステップで指定されたピクチャ以降に符号化されたピクチャのみを参照し、前記参照ピクチャを制限するときに基準となるピクチャであることを示す信号を符号化する符号化ステップと、を含むことを特徴とする。
また、本発明に係る動画像符号化方法は、動画像をピクチャの単位で符号化する方法であって、メモリに格納された複数のピクチャであって画面内符号化されたピクチャを、参照ピクチャを制限するときに基準となるピクチャとして指定する指定ステップと、前記指定ステップで指定されたピクチャより前に符号化されたピクチャを削除するステップと、前記指定ステップで指定されたピクチャ以降に符号化されるピクチャは、前記指定ステップで指定されたピクチャ以降に符号化されたピクチャのみを参照するように、前記指定ステップで指定されたピクチャより前に符号化されたピクチャを削除することを示す信号を符号化する符号化ステップと、を含むことを特徴とする。
また、本発明に係る動画像復号化方法は、動画像をピクチャの単位で復号化する方法であって、入力された画像符号化信号を復号化する復号化ステップと、メモリに格納された複数のピクチャの中から、画面内復号化されたピクチャ以降に復号化された１つのピクチャを参照ピクチャとして特定する特定ステップと、特定された参照ピクチャを前記メモリから読み出し、読み出した参照ピクチャの画像信号を、復号化された被復号化ピクチャの差分画像信号と加算し、得られたピクチャを外部に出力するとともに、前記メモリに格納する格納ステップとを含むことを特徴とする。
また、本発明に係る動画像復号化方法は、動画像をピクチャの単位で復号化する方法であって、復号化対象ピクチャを復号するときに参照する参照ピクチャを制限するときに基準となるピクチャであることを示す信号を復号化する復号化ステップと、前記基準となるピクチャ以降に復号化されるピクチャは、前記基準となるピクチャであって画面内復号化されたピクチャ以降に復号化されたピクチャのみを参照ピクチャとして特定する特定ステップと、を含むことを特徴とする。
また、本発明に係る動画像復号化方法は、動画像をピクチャの単位で復号化する方法であって、復号化対象ピクチャを復号するときに参照する参照ピクチャを制限するときに基準となるピクチャであることを示す信号を復号化する復号化ステップと、前記基準となるピクチャであって画面内復号化されたピクチャより前に復号化されたピクチャを削除するステップと、前記基準となるピクチャ以降に復号化されるピクチャは、前記基準となるピクチャであって画面内復号化されたピクチャ以降に復号化されたピクチャのみを参照ピクチャとして特定する特定ステップと、を含むことを特徴とする。
また、本発明に係る動画像符号化装置は、動画像をピクチャの単位で符号化する動画像符号化装置であって、メモリに格納された複数のピクチャの中から、画面内符号化されたピクチャ以降に符号化された１つのピクチャを参照ピクチャとして特定する特定手段と、特定された参照ピクチャを前記メモリから読み出し、読み出した参照ピクチャと被符号化ピクチャとの差分である差分画像信号を算出し、得られた差分画像信号を符号化する符号化手段と、符号化された前記差分画像信号を復号化し、前記参照ピクチャの画像信号と加算し、得られたピクチャを前記メモリに格納する格納手段とを備えたことを特徴とする。
また、本発明に係る動画像復号化装置は、動画像をピクチャの単位で復号化する動画像復号化装置であって、入力された画像符号化信号を復号化する復号化手段と、メモリに格納された複数のピクチャの中から、画面内復号化されたピクチャ以降に復号化された１つのピクチャを参照ピクチャとして特定する特定手段と、特定された参照ピクチャを前記メモリから読み出し、読み出した参照ピクチャの画像信号を、復号化された被復号化ピクチャの差分画像信号と加算し、得られたピクチャを外部に出力するとともに、前記メモリに格納する格納手段とを備えたことを特徴とする。
さらに、本発明は、前記動画像符号化方法および動画像復号化方法におけるステップをコンピュータに実行させるプログラムとして、また前記動画像符号化方法により符号化したストリームデータとして実現し、ＣＤ−ＲＯＭや通信ネットワーク等の記録媒体や伝送媒体を介して流通させたりすることもできる。
例えば、ピクチャがピクチャＪ1、ピクチャＪ2、ピクチャＪ3、ピクチャＪ4、ピクチャＪ5の順に符号化され、ピクチャＪ2が画面内符号化されたピクチャであり、それ以外のピクチャＪ1、ピクチャＪ3、ピクチャＪ4、ピクチャＪ5が画面間符号化されたピクチャであるとする。すなわち、ビットストリームの順序はピクチャＪ1、ピクチャＪ2、ピクチャＪ3、ピクチャＪ4、ピクチャＪ5の順序である。
この場合、本発明に係る動画像符号化方法および動画像復号化方法では、画面間符号化および復号化を行う時に参照画像として選択可能なピクチャは、例えばピクチャＪ5を符号化する時には、ピクチャＪ2、ピクチャＪ3、ピクチャＪ4の参照が可能である。また、ピクチャＪ4を符号化する時には、画面内符号化されたピクチャＪ2より前のピクチャＪ1を参照することは禁止されるため、ピクチャＪ2とピクチャＪ3のみが参照可能となる。
以上の説明から明らかなように、本発明に係る動画像符号化方法は、動画像をピクチャの単位で符号化する方法であって、メモリに格納された複数のピクチャの中から、画面内符号化されたピクチャ以降に符号化された１つのピクチャを参照ピクチャとして特定する特定ステップと、特定された参照ピクチャを前記メモリから読み出し、読み出した参照ピクチャと被符号化ピクチャとの差分である差分画像信号を算出し、得られた差分画像信号を符号化する符号化ステップと、符号化された前記差分画像信号を復号化し、前記参照ピクチャの画像信号と加算し、得られたピクチャを前記メモリに格納する格納ステップとを含むことを特徴とする。
これによって、画面内符号化されたピクチャより前のピクチャを参照画像として参照した符号化を行わないので、画像符号化信号の途中の画面内符号化されたピクチャから再生を行うことができる。また、ストリームにエラーが発生した場合であっても画面内符号化されたピクチャ以降はエラー無く再生することが可能なストリームである画像符号化信号が生成できる。このように、蓄積メディアで重要な途中からの再生や、無線・有線伝送時に重要な伝送時の誤り耐性の点での長所が大きく、実際のアプリケーションにおいて優れている。
また、本発明に係る動画像復号化方法は、動画像をピクチャの単位で復号化する方法であって、入力された画像符号化信号を復号化する復号化ステップと、メモリに格納された複数のピクチャの中から、画面内復号化されたピクチャ以降に復号化された１つのピクチャを参照ピクチャとして特定する特定ステップと、特定された参照ピクチャを前記メモリから読み出し、読み出した参照ピクチャの画像信号を、復号化された被復号化ピクチャの差分画像信号と加算し、得られたピクチャを外部に出力するとともに、前記メモリに格納する格納ステップとを含むことを特徴とする。
これによって、画面内復号化されたピクチャ以降のピクチャのみを参照画像として参照して符号化した画像符号化信号を正しく復号化して復号画像信号を得ることができ、画像符号化信号の途中の画面内符号化されたピクチャから再生を行うことができる。また、ストリームにエラーが発生した場合であっても画面内符号化されたピクチャ以降はエラー無く再生することが可能である。
以下、本発明の実施の形態について、図１から図１４を用いて説明する。
（実施の形態１）
図１は本発明に係る動画像符号化装置の一実施の形態の構成を示すブロック図である。なお、図１６に示す従来の動画像符号化装置４の各ユニットと同じ動作をする機器は同じ記号を付す。
動画像符号化装置１は、入力される画像信号Vin を圧縮符号化して可変長符号化等のビットストリームに変換した画像符号化信号Str を出力する装置であり、動き検出ユニット１０１、選択ユニット４０２、画像信号減算ユニット４０３、符号化ユニット４０４、復号化ユニット４０５、加算ユニット４０６、選択ユニット４０７、メモリ４０８〜４１０、およびカウンタユニット１０２を備えている。
カウンタユニット１０２は、外部から入力される画面内符号化指示信号Resetで画面内符号化が指示されると、画面内符号化されたピクチャからのピクチャ数の計数を開始し、その結果を参照可能ピクチャ数Numとして動き検出ユニット１０１に通知する。
動き検出ユニット１０１は、参照可能ピクチャ数Num に基づいて、メモリ４０８〜４１０に格納されている参照画像Ref1、参照画像Ref2、参照画像Ref3の中から画面内符号化以降に符号化および復号化したものだけを対象として、それぞれ画像信号Vin と比較することで画面間差分値の大きさ（誤差エネルギー）が小さい参照画像Refとその画面間差分値の大きさが小さくなる画素位置を示す動き情報MVを決定する。なお、通常は、誤差エネルギーが最小となる参照画像Refおよび画素位置を決定することが多いが、誤差エネルギーが最小となるのではなく、誤差エネルギーが小さく且つ圧縮率が大きくできるように動き情報MVを決定してもよい。参照画像Refを示すために、参照画像指示信号RefFrmを選択ユニット４０２に出力する。
選択ユニット４０２は、切り替え指示信号である参照画像指示信号RefFrmに基づいてメモリ４０８〜４１０に格納されている参照画像Ref1、参照画像Ref2、参照画像Ref3の中から選択し、参照画像Ref として出力する。
減算ユニット４０３は、画像信号Vin と参照画像Ref の差分画像信号Dif を計算する。符号化ユニット４０４は、差分画像信号Dif と、参照画像を特定するための情報である動き情報MVとを符号化し、画像符号化信号Str と符号化データCoded を出力する。ここで、符号化データCoded は画像を復元するために必要なデータ（動き情報MVや差分画像信号Difを符号化したデータ）であり、画像符号化信号Strは符号化データCoded を更に可変長符号化等のビットストリームに変換したものである。
復号化ユニット４０５は、符号化データCoded を復号化して復元差分画像信号RecDifを得る。加算ユニット４０６は、参照画像Ref と復元差分画像信号RecDifを加算する。選択ユニット４０７は、入力された復号画像信号Recon を後続のピクチャの符号化時に参照画像として参照可能とするため、メモリ４０８〜４１０のいずれかに復号画像信号Rec1、復号画像信号Rec2、復号画像信号Rec3として出力する。本実施の形態では、最も古い時刻にメモリに保存した復号画像信号が新しい復号画像信号Recon で上書きされるように選択ユニット４０７で切り替えを行う。
次に、上記のように構成された動画像符号化装置の動作について説明する。
図２は、動き検出ユニット１０１の動作を示すフロー図である。
画像信号Vin は、画像信号減算ユニット４０３および動き検出ユニット１０１に入力される。
動き検出ユニット１０１は、画像信号Vin が入力されると、メモリ４０８に格納されている参照画像Ref1を読み出す（ステップＳ１）。次に、動き検出ユニット１０１は、この参照画像Ref1が画面内符号化されたピクチャ以降のピクチャであるか否かの判断を行う。すなわち、各ピクチャ固有のピクチャ番号とカウンタユニット１０２より通知された参照可能ピクチャ数Num とに基づいて、例えば式（Ａ）を用いて判断を行う（ステップＳ２）。ここでピクチャ番号は符号化されたピクチャにつく識別番号であり、下記の特徴を有する。
つまり、画像信号Vin のピクチャ番号は、メモリ４０８〜４１０に保存されて参照画像となるピクチャで最も最近保存されたピクチャのピクチャ番号より１だけ大きい。
参照画像のピクチャ番号
≧ 画像信号Vin のピクチャ番号−参照可能ピクチャ数Num ……（Ａ）
この結果、上式（Ａ）を満たす場合は参照画像Ref1が画面内符号化されたピクチャ以降のピクチャであるので、動き検出ユニット１０１は、画像信号Vin と参照画像Ref1との差分値を算出する（ステップＳ３）。一方、上式（Ａ）を満たさない場合は、差分の算出を行わない。
次に、動き検出ユニット１０１は、メモリ４０９に格納されている参照画像Ref2およびメモリ４１０に格納されている参照画像Ref3について、上記の参照画像Ref1について行った処理と同様の処理をそれぞれ行う（ステップＳ１〜ステップＳ３）。
次に、動き検出ユニット１０１は、上記のように差分の算出を行った参照画像の中で画面間差分値の大きさが最も小さい参照画像を決定する（ステップＳ４）。そして、動き検出ユニット１０１は、決定した参照画像を特定するための情報である動き情報MVとして出力し、同時に、決定した参照画像を選択ユニット４０２が選択して参照画像Ref として出力できるように、切り替え指示信号である参照画像指示信号RefFrmを出力する（ステップＳ５）。
なお、ステップＳ３における差分値の算出をした後、ステップＳ４において差分の算出を行った参照画像の中で画面間差分値の大きさが小さい参照画像を決定し、ステップＳ１，ステップＳ２，ステップＳ３，ステップＳ４をメモリ４０８から４１０において繰返すようにしてもよい。
一方、画像信号Vin が入力された減算ユニット４０３は、この画像信号Vin と、選択ユニット４０２により選択された参照画像Ref との差分を計算し、差分画像信号Dif を符号化ユニット４０４へ出力する。次に、符号化ユニット４０４は、差分画像信号Dif と、動き検出ユニット１０１が出力した動き情報MVとを符号化し、画像符号化信号Str と符号化データCoded を出力する。
復号化ユニット４０５は、符号化データCoded を復号化して復元差分画像信号RecDifを加算ユニット４０６へ出力する。加算ユニット４０６は、復元差分画像信号RecDifと、選択ユニット４０２により選択された参照画像Ref とを加算し、復号画像信号Recon を選択ユニット４０７へ出力する。選択ユニット４０７は、復号画像信号Recon を後続のピクチャの符号化時に参照画像として参照可能とするため、メモリ４０８〜４１０のいずれかに復号画像信号Rec1、復号画像信号Rec2、復号画像信号Rec3として出力する。
図３は、画像符号化時に参照画像として選択可能なピクチャを示す説明図である。図１５と同様にピクチャＪ2が画面内符号化されたピクチャであり、それ以外のピクチャＪ1、ピクチャＪ3、ピクチャＪ4、ピクチャＪ5が画面間符号化されたピクチャである。ビットストリームの符号化順序はピクチャＪ1、ピクチャＪ2、ピクチャＪ3、ピクチャＪ4、ピクチャＪ5の順序である。
上記のように動画像符号化装置１が動作することによって、画面間符号化を行う時に参照画像として選択可能なピクチャは、図３に示すように例えばピクチャＪ5を符号化する時には、ピクチャＪ2、ピクチャＪ3、ピクチャＪ4の参照が可能である。また、ピクチャＪ4を符号化する時には、画面内符号化されたピクチャＪ2より前のピクチャＪ1を参照することは禁止されるため、ピクチャＪ2とピクチャＪ3のみが参照可能となる。
以上のように、画面内符号化されたピクチャ以降に符号化したピクチャのみを参照画像として参照した符号化を行っているので、画像符号化信号の途中の画面内符号化されたピクチャから再生を行うことができる。また、ストリームにエラーが発生した場合であっても画面内符号化されたピクチャ以降はエラー無く再生することが可能なストリームである画像符号化信号Str が生成できる。
また、DVDやハードディスクに記録された画像信号を途中から再生するためには、この途中から復元可能な仕組みが必要であり、途中から再生を開始したいピクチャでReset の指示を行う。このReset の指示は画像を符号化する際に操作者が決定し指示をしても良いし、一定のピクチャ周期もしくは時間が経過する毎にReset の指示を出すようにしてもよい。
なお、各ピクチャが画面内符号化されているか、画面間符号化されているか等の情報は各ピクチャの補助情報として各ピクチャが有している。そこで、さらに上記実施の形態１で説明した画面内符号化されたピクチャが、画面内符号化指示信号Resetにより特定されたピクチャであることを示す信号を符号化してもよい（図４）。そして、画面内符号化されたピクチャでありかつ、この画面内符号化指示信号Resetにより特定されたピクチャであることを示されたピクチャであるときに、この特定されたピクチャより前にメモリに記憶されたピクチャを参照しないようにしてもよい。
また、画面内符号化されているピクチャを基準に、画面内符号化されているピクチャより前に記憶されたピクチャを参照しないことを意味したが、画面内符号化されているピクチャによって、画面内符号化されているピクチャを基準に、画面内符号化されているピクチャより前に記憶されたピクチャをメモリ内から削除するようにしてもよい。
また、画面内符号化指示信号Resetは、画面内符号化されているピクチャより前に記憶されたピクチャを参照しないことを意味したが、画面内符号化されているピクチャより前に記憶されたピクチャをメモリ内から削除するために、この画面内符号化指示信号Resetとは別の制御命令を符号化してもよい。
図５は本発明に係る動画像復号化装置の一実施の形態の構成を示すブロック図である。なお、図１７に示す従来の動画像復号化装置５の各ユニットと同じ動作をする機器は同じ記号を付す。
動画像復号化装置２は、上記実施の形態１に示した動画像符号化装置１が符号化した画像符号化信号Str を復号化する装置であり、復号化ユニット２０１、動き復元ユニット２０２、選択ユニット５０３、加算ユニット５０４、選択ユニット５０５、メモリ５０６〜５０８、およびカウンタユニット２０３を備えている。
復号化ユニット２０１は、入力された画像符号化信号Str を復号化し、復元差分画像信号RecDif、動き情報MV、および画面内符号化指示信号Reset を出力する。カウンタユニット２０３は、画面内符号化指示信号Reset で画面内符号化が指示されると、画面内符号化からのピクチャ数の計数を開始し、その結果を参照可能ピクチャ数Num として動き復元ユニット２０２に通知する。
動き復元ユニット２０２は動き情報MVを復号化し、この動き情報MVに対応する参照画像が、参照可能ピクチャ数Num に基づいて参照可能なピクチャであるか否かの判断を行った上で、参照画像を決定する。
選択ユニット５０３は、切り替え指示信号である参照画像指示信号RefFrmに基づいてメモリ５０６〜５０８に格納されている参照画像Ref1、参照画像Ref2、参照画像Ref3の中から選択し、参照画像Ref として出力する。加算ユニット５０４は復元差分画像信号RecDifと参照画像Ref を加算して復号画像信号Vout1 （これは図１では復号画像信号Recon に相当）を出力する。
選択ユニット５０５は、入力された復号画像信号Vout1 を後続のピクチャの復号化時に参照画像として参照可能とするため、メモリ５０６〜５０８のいずれかに復号画像信号Rec1、復号画像信号Rec2、復号画像信号Rec3として出力する。本実施の形態では、最も古い時刻にメモリに保存した画像が新しい復号画像信号Recon で上書きされるように選択ユニット５０５で切り替えが行われる。
次に、上記のように構成された動画像復号化装置の動作について説明する。
図６は、動き復元ユニット２０２の動作を示すフロー図である。
画像符号化信号Str は、復号化ユニット２０１に入力される。復号化ユニット２０１は、入力された画像符号化信号Str を復号化し、復元差分画像信号RecDifと動き情報MVとを出力する。また、復号化ユニット２０１は、入力された画像符号化信号Str が画面内符号化されたピクチャである場合、画面内符号化指示信号Reset を出力する。
カウンタユニット２０３は、復号化ユニット２０１より画面内符号化指示信号Reset が入力されると、画面内符号化されたピクチャからのピクチャ数の計算を開始し、参照可能ピクチャ数Num として動き復元ユニット２０２に通知する。
動き情報MVと参照可能ピクチャ数Num とが入力された動き復元ユニット２０２は、参照画像を特定するための情報である動き情報MVに基づいて符号化時に参照した参照画像を特定する（ステップＳ１１）。次に、動き復元ユニット２０２は、この参照画像が画面内復号化されたピクチャ以降のピクチャであるか否かの判断を行う。すなわち、各ピクチャ固有のピクチャ番号とカウンタユニット２０３より通知された参照可能ピクチャ数Num とに基づいて、例えば以下の式（Ｂ）を用いて判断を行う（ステップＳ１２）。
参照画像のピクチャ番号
≧ 画像符号化信号Str のピクチャ番号−参照可能ピクチャ数Num ……（Ｂ）
この結果、上式（Ｂ）を満たす場合は参照画像が画面内復号化されたピクチャ以降のピクチャであるので、動き復元ユニット２０２は、動き情報MVに基づいて特定された参照画像を復号化に使用する参照画像として選択する（ステップＳ１３）。
一方、上式（Ｂ）を満たさない場合は、参照画像が画面内復号化されたピクチャより前のピクチャである。本来、符号化時には画面内符号化されたピクチャ以降のピクチャのみを参照して符号化されているはずである。従って、動き情報MVに基づいて特定された復号化に必要な参照画像は、参照可能ピクチャ数Num から得られる画面内復号化されたピクチャ以降に復号化したピクチャであるはずである。しかしながら、伝送誤り等により画面内復号化されたピクチャより前に復号化したピクチャを参照する、すなわち上式（Ｂ）を満たさない可能性がある。そこで、動き復元ユニット２０２は、上式（Ｂ）を満たさない場合に復号化に使用する参照画像をあらかじめ設定する以下に説明する方法１〜３のいずれかによって選択する（ステップＳ１４）。
図７は復号化に使用する参照画像の方法１〜３による選択について説明する説明図であり、（ａ）復号化に使用する参照画像の説明図、（ｂ）ピクチャの位置関係を示す説明図である。ここでは、ピクチャＰ4の復号化時を示し、ピクチャＰ2が画面内復号化されたピクチャであり、それ以外のピクチャＰ1、ピクチャＰ3、ピクチャＰ4が画面間復号化されたピクチャである。ピクチャの表示時刻の順序およびピクチャの復号開始時刻（ストリーム中の位置）の順序はピクチャＰ1、ピクチャＰ2、ピクチャＰ3、ピクチャＰ4の順序で古い時刻である。
（方法１）
動き情報MVに基づいて特定された参照画像（ピクチャＰ1）を、そのまま復号化に使用する参照画像として選択する。この場合、もし、符号化時に誤って画面内符号化されたピクチャより前のピクチャを参照して符号化されていても、ピクチャＰ1が正しく復号化できていれば正しく復号化できる。
（方法２）
画面内復号化されたピクチャ（ピクチャＰ2）を、復号化に使用する参照画像として選択する。この場合、画面内復号化されたピクチャは参照画像として参照可能なピクチャの中で最も前に復号化されたピクチャであるから、参照可能なピクチャの中で画面内復号化されたピクチャより前のピクチャと最も相関が強く、符号化した際の参照画像が画面内復号化されたピクチャより前に復号化されたピクチャであった場合に画質が損なわれない可能性が高い。
（方法３）
直前に復号化されたピクチャ（ピクチャＰ3）を、復号化に使用する参照画像として選択する。一般的に画像信号は時間間隔が短いほど相関が高く、その結果、直前に復号化されたピクチャが参照画像となる確率が非常に高い。従って、動き情報MVに基づいて特定された参照画像が間違っているとすれば、最も相関が強い直前に復号化されたピクチャが本来の参照画像である可能性が高く、画質が損なわれない可能性が高い。
なお、これらの方法１から方法３はいずれか１つを用いても、複数の方法を組み合わせて用いてもいずれでもよい。組合せの例としては、方法１において動き情報MVに基づいて特定された参照画像（ピクチャＰ1）を、そのまま復号化に使用する参照画像として選択できないときに、例えば方法３に示す直前に復号化されたピクチャを、復号化に使用する参照画像として選択するといったデフォルト処理を行うようにする。
次に、動き復元ユニット２０２は、メモリ５０６〜５０８に格納されている参照画像Ref1、参照画像Ref2、参照画像Ref3を順次読み出し、上記のように選択された参照画像であるか否かの判断を行う（図６、ステップＳ１５）。すなわち、選択された参照画像がメモリ５０６〜５０８のどこに格納されているかを特定する。そして、特定した参照画像Ref1、参照画像Ref2、参照画像Ref3のいずれかを選択ユニット５０３が選択して参照画像Ref として出力できるように、切り替え指示信号である参照画像指示信号RefFrmを出力する（図６、ステップＳ１６）。
加算ユニット５０４は、参照画像Ref と復号化ユニット２０１の出力した復元差分画像信号RecDifとを加算して、復号画像信号Vout1 （これは図１では復号画像信号Recon に相当）を選択ユニット５０５へ出力する。選択ユニット５０５は、入力された復号画像信号Vout1 を後続のピクチャの復号化時に参照画像として参照可能とするため、メモリ５０６〜５０８のいずれかに復号画像信号Rec1、復号画像信号Rec2、復号画像信号Rec3として出力する。
以上のように、画面内復号化されたピクチャ以降のピクチャのみを参照画像として参照して符号化した画像符号化信号Str を正しく復号化して復号画像信号Vout1 を得ることができ、画像符号化信号の途中の画面内符号化されたピクチャから再生を行うことができる。また、ストリームにエラーが発生した場合であっても画面内符号化されたピクチャ以降はエラー無く再生することが可能である。
なお、本実施の形態では、動き復元ユニット２０２が復号化に使用する参照画像を選択する方法１〜３があらかじめ設定されているが、本発明はこれに限られるものではない。例えば、動き情報MVで特定されるピクチャが参照可能なピクチャ数と大きく違っている場合は方法３、動き情報MVで特定されるピクチャがメモリ内に格納されていて参照可能な場合は方法１、それ以外は方法２というように状況に応じて３つの方法を、もしくはその中の２つの方法を動的に切り替えてもよい。
また、各ピクチャが画面内復号化されるか、画面間復号化されるか等の情報は各ピクチャの補助情報として各ピクチャが有している。そこで、さらに上記実施の形態１で説明した画面内符号化されたピクチャが、画面内符号化指示信号Resetにより特定されたピクチャであることを示す信号を含む画像符号化信号Strを受信し、画面内符号化指示信号Resetにより特定されたピクチャであることを示す信号を復号化してもよい。そして、画面内符号化されたピクチャでありかつ、この画面内符号化指示信号Resetにより特定されたピクチャであることを示されたピクチャであるときに、この特定されたピクチャより前にメモリに記憶された（復号化された）ピクチャを参照しないようにしてもよい。
また、画面内復号化されているピクチャを基準に、画面内復号化されているピクチャより前に記憶されたピクチャを参照しないことを意味したが、画面内復号化されているピクチャによって、画面内復号化されているピクチャを基準に、画面内復号化されているピクチャより前に記憶されたピクチャをメモリ内から削除するようにしてもよい。
さらに、画面内符号化されているピクチャより前に記憶されたピクチャをメモリ内から削除するために、この画面内符号化指示信号Resetとは別の制御命令を含む画像符号化信号Strを受信し、この制御命令を復号し、画面内符号化指示信号Resetにより特定されたピクチャであることを示す信号とともに受信しているかを判別し、エラー制御をするようにしてもよい。
（実施の形態２）
次に、本発明の実施の形態２の動画像復号化装置について説明する。
図８は本発明に係る動画像復号化装置の実施の形態２の構成を示すブロック図である。なお、図５に示す動画像復号化装置２の各ユニットと同じ動作をする機器は同じ記号を付し、説明を省略する。
動画像復号化装置３は、図５に示す動画像復号化装置２の構成に選択ユニット３０１を加えて備え、伝送誤り等により動き情報MVにより特定される参照画像が、画面内復号化されたピクチャより前に復号化したピクチャである場合の動作が実施の形態１と異なる。
選択ユニット３０１は、動き復元ユニット３０２より通知されるエラー通知信号Err に基づいて、加算ユニット５０４より出力される復号画像信号Recon 、または選択ユニット５０３より出力される参照画像Ref のどちらかを復号画像信号Vout2 として出力する。
次に、上記のように構成された動画像復号化装置の動作について説明するが、上記実施の形態１と同様の部分については説明を省略する。
図９は、動き復元ユニット３０２の動作を示すフロー図である。
図９に示すステップＳ２１〜Ｓ２２までの動作は、図６に示すステップＳ１１〜Ｓ１２までの動作と同様である。次に、動き復元ユニット３０２は、特定した参照画像が画面内復号化されたピクチャ以降のピクチャであるか否かの判断を行った結果、上式（Ｂ）を満たさない場合、すなわち参照画像が画面内復号化されたピクチャより前に復号化したピクチャである場合、誤りがあるとしてエラー通知信号Err を選択ユニット３０１に対して通知する。また、動き復元ユニット３０２は、直前に復号化した復号化画像を参照画像および復号画像信号として選択する（ステップＳ２３）。すなわち、エラー通知信号Errを通知した場合は選択ユニット３０１は参照画像Refを復号画像信号Vout2として出力するため、直前に復号化した復号化画像を参照画像とすることは、直前に復号化した復号化画像を復号画像信号とすることになる。
一方、上記判断の結果、上式（Ｂ）を満たす場合は参照画像が画面内復号化されたピクチャ以降のピクチャであるので、上記実施の形態２と同様に動き復元ユニット３０２は、動き情報MVに基づいて特定された参照画像を復号化に使用する参照画像として選択する（ステップＳ２４）。
次の図９に示すステップＳ２５〜Ｓ２６までの動作は、図６に示すステップＳ１５〜Ｓ１６までの動作と同様である。
次に、加算ユニット５０４は、参照画像Ref と復号化ユニット２０１の出力した復元差分画像信号RecDifとを加算して、復号画像信号Recon を出力する。選択ユニット３０１は、動き復元ユニット３０２よりエラー通知信号Err が通知されていない場合には、加算ユニット５０４より出力される復号画像信号Recon を復号画像信号Vout2 として出力し、エラー通知信号Err が通知された場合には、選択ユニット５０３より出力される参照画像Ref を復号画像信号Vout2 として出力する。すなわち、エラー通知信号Err が通知された場合には、直前に復号化された復号化画像をそのまま復号画像信号Vout2 として出力することになる。
選択ユニット５０５は、入力された復号画像信号Vout2 を後続のピクチャの復号化時に参照画像として参照可能とするため、メモリ５０６〜５０８のいずれかに復号画像信号Rec1、復号画像信号Rec2、復号画像信号Rec3として出力する。
以上のように、例えば伝送誤り等により画面内復号化されたピクチャより前のピクチャを参照するという誤りが発生した場合に、最も画素の相関が強い直前の復号化画像である参照画像Ref を復号画像信号Vout2として出力しているので、誤りによる画像劣化の影響を最小限に抑えることができる。
なお、上記各実施の形態では、メモリの個数は３としたため最大３ピクチャの符号化画像を参照可能であるが、これに限られるものではなく、メモリの個数を増加すればより多くの符号化画像を参照した符号化および復号化が可能である。
また、上記各実施の形態では、前記動画像符号化装置１および動画像復号化装置２、３には、図示しない動き補償ユニットがそれぞれ選択ユニット４０２および選択ユニット５０３の出力側に設けられ、画素のピクチャ間の動き量を補正する動き補償を行っている。
また、上記各実施の形態では、画面間符号化を行う時に、画面内符号化されたピクチャが存在するとそのすべてについて、それより前に符号化されたピクチャを参照画像として参照しないように制限しているが、本発明はこれに限られるものではない。例えば、画面内符号化されたピクチャであっても、それより前に符号化されたピクチャを参照画像として参照しないように制限しない、すなわち従来のようにそれより前に符号化されたピクチャを参照画像として参照することができる種類の画面内符号化されたピクチャを設け、必要に応じて使い分けることも可能である。この場合、２種類の画面内符号化されたピクチャを区別するための情報は、例えば画像符号化信号Str 内のヘッダ情報等に格納することができる。
さらに、上記各実施の形態におけるカウンタユニット１０２、２０３での計数は、ピクチャの符号化および復号化順（Decoding order）でなく、ピクチャの表示順（Display order ）であっても構わない。
（実施の形態３）
更に、上記各実施の形態で示した動画像符号化方法または動画像復号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
図１０は、上記実施の形態１および実施の形態２の動画像符号化方法または動画像復号化方法を格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。
図１０（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１０（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての動画像符号化方法および動画像復号化方法が記録されている。
また、図１０（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての動画像符号化方法または動画像復号化方法をフレキシブルディスクドライブＦＤＤを介して書き込む。また、フレキシブルディスク内のプログラムにより上記動画像符号化方法および動画像復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブＦＤＤによりプログラムをフレキシブルディスクＦＤから読み出し、コンピュータシステムに転送する。
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
さらにここで、上記実施の形態で示した動画像符号化方法や動画像復号化方法の応用例とそれを用いたシステムを説明する。
図１１は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。
このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
しかし、コンテンツ供給システムex１００は図１１のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。
カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。
また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。
このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した動画像符号化装置あるいは動画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。
図１２は、上記実施の形態で説明した動画像符号化方法と動画像復号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。
さらに、携帯電話ex１１５について図１３を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。
電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。
携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。
データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。
画像符号化部ex３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。
多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信信号を変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。
また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。
次に、画像復号化部ex３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１４に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。
なお、カーナビゲーションex４１３の構成は例えば図１３に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。
また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
このように、上記実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
また、上記実施の形態に示した動画像符号化方法および動画像復号化方法は、例えばＤＶＤ、ＳＤカード、メモリ等の記憶メディアに記録したストリームデータを途中再生する場合に有効である。
本発明の動画像符号化方法および動画像符号化装置は、画像符号化信号の途中の画面内符号化されたピクチャから再生を行うことができ、また、ストリームにエラーが発生した場合であっても画面内符号化されたピクチャ以降はエラー無く再生することができるという効果を奏し、例えばデジタルビデオカメラや携帯電話などに適用することができる。
本発明に係る動画像符号化装置の一実施の形態の構成を示すブロック図である。 上記実施の形態での動き検出ユニットの動作を示すフロー図である。 上記実施の形態での画像符号化時に参照画像として選択可能なピクチャを示す説明図である。 本発明に係る動画像符号化装置の他の実施の形態の構成を示すブロック図である。 本発明に係る動画像復号化装置の一実施の形態の構成を示すブロック図である。 上記実施の形態での動き復元ユニットの動作を示すフロー図である。 上記実施の形態での復号化に使用する参照画像の方法１〜３による選択について説明する説明図であり、（ａ）復号化に使用する参照画像の説明図、（ｂ）ピクチャの位置関係を示す説明図である。 本発明に係る動画像復号化装置の実施の形態２の構成を示すブロック図である。 上記実施の形態での動き復元ユニットの動作を示すフロー図である。 上記実施の形態１および実施の形態２の動画像符号化方法および動画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図であり、（ａ）記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示した説明図、（ｂ）フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示した説明図、（ｃ）フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示した説明図である。 コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示すブロック図である。 携帯電話の一例を示す図である。 携帯電話の内部構成を示すブロック図である。 ディジタル放送用システムの全体構成を示すブロック図である。 従来の動画像符号化方法および動画像復号化方法の概念の説明図である。 従来の動画像符号化装置の構成を示すブロック図である。 従来の動画像復号化装置の構成を示すブロック図である。
符号の説明
１、４ 動画像符号化装置
２、３、５ 動画像復号化装置
１０１ 動き検出ユニット
１０２、２０３ カウンタユニット
２０１、４０５ 復号化ユニット
２０２、３０２ 動き復元ユニット
３０１、４０２、４０７、５０３、５０５ 選択ユニット
４０３ 画像信号減算ユニット
４０４ 符号化ユニット
４０６、５０４ 加算ユニット
４０８〜４１０、５０６〜５０８ メモリ
Ｃｓ コンピュータシステム
ＦＤ フレキシブルディスク
ＦＤＤ フレキシブルディスクドライブ

Claims (1)

  1. 音声データおよび符号化画像データを多重化した多重化データを送信する送信装置であって、
    前記送信装置は、
    音声信号を符号化して音声データを生成する音声処理部と、
    画像信号を符号化して符号化画像データを生成する画像符号化部と、
    前記音声データと前記符号化画像データとを多重化する多重化部と、を有し、
    前記画像符号化部は、
    画面内符号化手段と画面間符号化手段を含み、
    前記画面間符号化手段で符号化される画面間符号化ピクチャの符号化の際は、前記画面間符号化ピクチャより表示順で前に位置するピクチャであって、前記画面内符号化手段で符号化される画面内符号化ピクチャより表示順で前に位置するピクチャを参照ピクチャとして選択することが可能であり、
    前記画面内符号化ピクチャを、参照ピクチャを制限するときに基準となる基準ピクチャとして指定する指定手段と、
    前記画面内符号化ピクチャが前記指定手段で基準ピクチャとして指定された場合は、前記基準ピクチャ以降に符号化される画面間符号化ピクチャに対しては、前記指定手段で指定された前記基準ピクチャ以降に符号化されたピクチャのみを参照ピクチャとして選択し、前記基準ピクチャより前に符号化されたピクチャの参照を禁止するとともに、前記画面内符号化ピクチャが参照ピクチャを制限するときに基準となる基準ピクチャとして指定されたことを示す情報を符号化し、
    前記画面内符号化ピクチャが前記指定手段で前記基準ピクチャとして指定されなかった場合は、前記基準ピクチャとして指定されなかった画面内符号化ピクチャ以降に符号化される画面間符号化ピクチャに対しては、前記指定されなかった画面内符号化ピクチャより表示順で前のピクチャを参照ピクチャとして選択することを可能にするとともに、前記画面内符号化ピクチャが前記基準ピクチャとして指定されなかったことを示す情報を符号化する符号化手段とを備えたものである、
    ことを特徴とする送信装置。
JP2008040319A 2001-10-17 2008-02-21 送信装置 Expired - Lifetime JP4234771B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008040319A JP4234771B2 (ja) 2001-10-17 2008-02-21 送信装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2001319002 2001-10-17
JP2008040319A JP4234771B2 (ja) 2001-10-17 2008-02-21 送信装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2002290693A Division JP4142929B2 (ja) 2001-10-17 2002-10-03 動画像符号化方法および動画像符号化装置

Publications (2)

Publication Number Publication Date
JP2008182730A JP2008182730A (ja) 2008-08-07
JP4234771B2 true JP4234771B2 (ja) 2009-03-04

Family

ID=19136615

Family Applications (18)

Application Number Title Priority Date Filing Date
JP2002290693A Expired - Lifetime JP4142929B2 (ja) 2001-10-17 2002-10-03 動画像符号化方法および動画像符号化装置
JP2008039281A Expired - Lifetime JP4275719B2 (ja) 2001-10-17 2008-02-20 動画像復号化方法および動画像復号化装置
JP2008040319A Expired - Lifetime JP4234771B2 (ja) 2001-10-17 2008-02-21 送信装置
JP2009007869A Expired - Lifetime JP4615604B2 (ja) 2001-10-17 2009-01-16 動画像復号化方法および動画像復号化装置
JP2009160293A Expired - Lifetime JP4368942B2 (ja) 2001-10-17 2009-07-06 復号化システム
JP2009211097A Expired - Lifetime JP4405587B1 (ja) 2001-10-17 2009-09-11 復号化システム
JP2010133449A Expired - Lifetime JP4560134B1 (ja) 2001-10-17 2010-06-10 動画像復号化方法および動画像復号化装置
JP2010133450A Expired - Lifetime JP4560135B1 (ja) 2001-10-17 2010-06-10 符号化復号化装置
JP2010158191A Expired - Lifetime JP4615623B2 (ja) 2001-10-17 2010-07-12 動画像復号化方法および動画像復号化装置
JP2010158188A Expired - Lifetime JP4615622B2 (ja) 2001-10-17 2010-07-12 動画像復号化方法および動画像復号化装置
JP2010158197A Expired - Lifetime JP4615624B2 (ja) 2001-10-17 2010-07-12 受信装置
JP2010158198A Expired - Lifetime JP4581035B1 (ja) 2001-10-17 2010-07-12 符号化復号化装置
JP2010197152A Expired - Lifetime JP4907730B2 (ja) 2001-10-17 2010-09-02 符号化復号化装置
JP2011046994A Expired - Lifetime JP4733239B1 (ja) 2001-10-17 2011-03-03 送信・受信システム
JP2011048145A Expired - Lifetime JP4733241B1 (ja) 2001-10-17 2011-03-04 受信装置および受信方法
JP2011048141A Expired - Lifetime JP4733240B1 (ja) 2001-10-17 2011-03-04 受信装置および受信方法
JP2011258213A Expired - Lifetime JP5401530B2 (ja) 2001-10-17 2011-11-25 符号化復号化装置
JP2013108377A Expired - Lifetime JP5355807B2 (ja) 2001-10-17 2013-05-22 符号化データ配信方法および配信システム

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2002290693A Expired - Lifetime JP4142929B2 (ja) 2001-10-17 2002-10-03 動画像符号化方法および動画像符号化装置
JP2008039281A Expired - Lifetime JP4275719B2 (ja) 2001-10-17 2008-02-20 動画像復号化方法および動画像復号化装置

Family Applications After (15)

Application Number Title Priority Date Filing Date
JP2009007869A Expired - Lifetime JP4615604B2 (ja) 2001-10-17 2009-01-16 動画像復号化方法および動画像復号化装置
JP2009160293A Expired - Lifetime JP4368942B2 (ja) 2001-10-17 2009-07-06 復号化システム
JP2009211097A Expired - Lifetime JP4405587B1 (ja) 2001-10-17 2009-09-11 復号化システム
JP2010133449A Expired - Lifetime JP4560134B1 (ja) 2001-10-17 2010-06-10 動画像復号化方法および動画像復号化装置
JP2010133450A Expired - Lifetime JP4560135B1 (ja) 2001-10-17 2010-06-10 符号化復号化装置
JP2010158191A Expired - Lifetime JP4615623B2 (ja) 2001-10-17 2010-07-12 動画像復号化方法および動画像復号化装置
JP2010158188A Expired - Lifetime JP4615622B2 (ja) 2001-10-17 2010-07-12 動画像復号化方法および動画像復号化装置
JP2010158197A Expired - Lifetime JP4615624B2 (ja) 2001-10-17 2010-07-12 受信装置
JP2010158198A Expired - Lifetime JP4581035B1 (ja) 2001-10-17 2010-07-12 符号化復号化装置
JP2010197152A Expired - Lifetime JP4907730B2 (ja) 2001-10-17 2010-09-02 符号化復号化装置
JP2011046994A Expired - Lifetime JP4733239B1 (ja) 2001-10-17 2011-03-03 送信・受信システム
JP2011048145A Expired - Lifetime JP4733241B1 (ja) 2001-10-17 2011-03-04 受信装置および受信方法
JP2011048141A Expired - Lifetime JP4733240B1 (ja) 2001-10-17 2011-03-04 受信装置および受信方法
JP2011258213A Expired - Lifetime JP5401530B2 (ja) 2001-10-17 2011-11-25 符号化復号化装置
JP2013108377A Expired - Lifetime JP5355807B2 (ja) 2001-10-17 2013-05-22 符号化データ配信方法および配信システム

Country Status (9)

Country Link
US (15) US7209520B2 (ja)
EP (2) EP1850600A3 (ja)
JP (18) JP4142929B2 (ja)
KR (3) KR100766657B1 (ja)
CN (6) CN101494791B (ja)
BR (4) BRPI0206157B1 (ja)
CA (1) CA2430919C (ja)
MX (1) MXPA03005034A (ja)
WO (1) WO2003034744A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101494791B (zh) * 2001-10-17 2010-12-29 松下电器产业株式会社 动态图像解码方法及装置
EP1422928A3 (en) * 2002-11-22 2009-03-11 Panasonic Corporation Motion compensated interpolation of digital video signals
US8175154B2 (en) * 2003-06-03 2012-05-08 General Instrument Corporation Method for restructuring a group of pictures to provide for random access into the group of pictures
WO2005022923A2 (en) * 2003-08-26 2005-03-10 Thomson Licensing S.A. Method and apparatus for minimizing number of reference pictures used for inter-coding
JP4574444B2 (ja) * 2005-05-27 2010-11-04 キヤノン株式会社 画像復号装置及び方法、画像符号化装置及び方法、コンピュータプログラム及び記憶媒体
US8036281B2 (en) * 2005-06-01 2011-10-11 Canon Kabushiki Kaisha Image coding apparatus and image coding method
JP4795211B2 (ja) * 2005-12-05 2011-10-19 キヤノン株式会社 画像符号化装置、画像符号化装置の制御方法、プログラム並びに記憶媒体
US8155185B2 (en) * 2005-12-05 2012-04-10 Canon Kabushiki Kaisha Image coding apparatus and method
US8279928B2 (en) * 2006-05-09 2012-10-02 Canon Kabushiki Kaisha Image encoding apparatus and encoding method, image decoding apparatus and decoding method
JP5248802B2 (ja) * 2006-06-16 2013-07-31 カシオ計算機株式会社 動画符号化装置および動画符号化方法と、動画復号化装置および動画復号化方法と、動画記録装置
US8121195B2 (en) * 2006-11-30 2012-02-21 Lsi Corporation Memory reduced H264/MPEG-4 AVC codec
JP5153674B2 (ja) * 2008-02-26 2013-02-27 キヤノン株式会社 動画像符号化装置及び動画像符号化方法
JP5344238B2 (ja) 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP2011199396A (ja) 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
CN107105291B (zh) 2010-12-13 2020-04-07 韩国电子通信研究院 基于帧间预测对视频信号进行解码的方法
CN102291584B (zh) * 2011-09-01 2013-04-17 西安电子科技大学 帧内图像亮度块预测装置及方法
JP6190397B2 (ja) * 2012-07-01 2017-08-30 シャープ株式会社 パラメータセットにおいて長期参照ピクチャをシグナリングするためのデバイス
TWI583195B (zh) * 2012-07-06 2017-05-11 新力股份有限公司 A solid-state imaging device and a solid-state imaging device, and an electronic device
US9248983B2 (en) 2012-10-01 2016-02-02 Illinois Tool Works Inc. Automatically adjustable slide retract for conveyor
US8833541B2 (en) 2012-10-01 2014-09-16 Illinois Tool Works Inc. Slide retract for conveyor
US9407923B2 (en) 2013-05-20 2016-08-02 Gamefly Israel Ltd. Overconing lost IP packets in streaming video in IP networks
JP5999773B2 (ja) * 2013-09-03 2016-09-28 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
CN106416247A (zh) * 2015-12-25 2017-02-15 王晓光 视频软件的编码方法及系统
US10291936B2 (en) 2017-08-15 2019-05-14 Electronic Arts Inc. Overcoming lost or corrupted slices in video streaming
EP3474548A1 (en) * 2017-10-18 2019-04-24 Axis AB Method and encoder for encoding a video stream in a video coding format supporting auxiliary frames

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6261485A (ja) * 1985-09-12 1987-03-18 Fujitsu Ltd フレ−ム間予測復号化装置
DE69031107T2 (de) * 1989-10-14 1997-11-13 Sony Corp Anordnung und Verfahren zum Übertragen eines Videosignals
JPH04127689A (ja) 1990-09-19 1992-04-28 Hitachi Ltd 動画像予測符号化方式
JPH04268892A (ja) * 1991-02-22 1992-09-24 Mitsubishi Electric Corp フレーム間適応予測符号化方式
JP2755851B2 (ja) * 1991-05-31 1998-05-25 株式会社東芝 動画像符号化装置及び動画像符号化方法
US5317397A (en) 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors
JP2699703B2 (ja) * 1991-07-31 1998-01-19 松下電器産業株式会社 動き補償予測方法とそれを用いた画像信号符号化方法
JPH0583700A (ja) 1991-09-18 1993-04-02 Nec Corp Ｄｐｃｍ予測符号化回路
US6870884B1 (en) * 1992-01-29 2005-03-22 Mitsubishi Denki Kabushiki Kaisha High-efficiency encoder and video information recording/reproducing apparatus
US5488482A (en) * 1992-01-29 1996-01-30 Mitsubishi Denki Kabushiki Kaisha High-efficiency encoder and video information recording/reproducing apparatus
JP3699132B2 (ja) 1992-01-29 2005-09-28 三菱電機株式会社 高能率符号化装置
DE69333896T2 (de) * 1992-01-29 2006-07-27 Mitsubishi Denki K.K. Vorrichtung und Verfahren zum Aufzeichnen/Wiedergeben von Videoinformation
JPH05268594A (ja) * 1992-03-18 1993-10-15 Sony Corp 動画像の動き検出装置
JPH06113286A (ja) 1992-09-30 1994-04-22 Matsushita Electric Ind Co Ltd 高能率符号化装置
JP3356413B2 (ja) 1992-12-14 2002-12-16 ソニー株式会社 画像復号化方法及び装置
JP3358835B2 (ja) 1992-12-14 2002-12-24 ソニー株式会社 画像符号化方法及び装置
JP2570964B2 (ja) * 1993-05-31 1997-01-16 日本電気株式会社 動画像の符号復号化装置
JPH0888854A (ja) 1994-09-20 1996-04-02 Toshiba Corp 動画像符号化方式
JP3484832B2 (ja) 1995-08-02 2004-01-06 ソニー株式会社 記録装置、記録方法、再生装置及び再生方法
JP3711591B2 (ja) 1995-09-26 2005-11-02 ソニー株式会社 データ通信方法およびそれを使用したデータ通信装置
JPH1079738A (ja) * 1996-09-03 1998-03-24 Fujitsu Ltd データ転送レート制御方法及びこれを用いたデータ転送レート制御装置
US6222886B1 (en) * 1996-06-24 2001-04-24 Kabushiki Kaisha Toshiba Compression based reduced memory video decoder
JPH1079949A (ja) * 1996-09-04 1998-03-24 Oki Electric Ind Co Ltd 画像符号化装置、画像復号化装置及び画像伝送システム
JPH10191356A (ja) * 1996-12-27 1998-07-21 Oki Electric Ind Co Ltd 画像符号化装置
JPH10200204A (ja) * 1997-01-06 1998-07-31 Fuji Xerox Co Ltd 面発光型半導体レーザ、その製造方法およびこれを用いた面発光型半導体レーザアレイ
SG65064A1 (en) 1997-04-09 1999-05-25 Matsushita Electric Ind Co Ltd Image predictive decoding method image predictive decoding apparatus image predictive coding method image predictive coding apparatus and data storage media
JP3776735B2 (ja) * 1997-04-09 2006-05-17 松下電器産業株式会社 画像予測復号化方法，画像予測復号化装置，画像予測符号化方法，画像予測符号化装置，及びデータ記憶媒体
JPH114448A (ja) 1997-06-13 1999-01-06 Sony Corp 画像信号送出装置及び画像信号送出方法
US5929915A (en) * 1997-12-02 1999-07-27 Daewoo Electronics Co., Ltd. Interlaced binary shape coding method and apparatus
JPH11341435A (ja) * 1998-05-22 1999-12-10 Sony Corp 編集方法および編集装置
JP3879252B2 (ja) 1998-05-22 2007-02-07 ソニー株式会社 編集方法および編集装置
JPH11341496A (ja) 1998-05-28 1999-12-10 Matsushita Electric Ind Co Ltd 画像処理方法，画像処理装置，及びデータ記憶媒体
CN1311958A (zh) * 1998-06-11 2001-09-05 皇家菲利浦电子有限公司 数字视频记录器用的特技播放信号的产生
JP2000059790A (ja) * 1998-08-05 2000-02-25 Victor Co Of Japan Ltd 動画像符号列変換装置及びその方法
US6785338B1 (en) * 1999-01-19 2004-08-31 Sarnoff Corporation Constraining video production based on compression-related information
JP3614695B2 (ja) 1999-01-25 2005-01-26 松下電器産業株式会社 ビデオサーバ装置
JP2000224588A (ja) 1999-01-29 2000-08-11 Matsushita Electric Ind Co Ltd 画像再符号化方法および画像再符号化装置
US6625211B1 (en) * 1999-02-25 2003-09-23 Matsushita Electric Industrial Co., Ltd. Method and apparatus for transforming moving picture coding system
CN101494791B (zh) * 2001-10-17 2010-12-29 松下电器产业株式会社 动态图像解码方法及装置
JP4268892B2 (ja) 2004-03-03 2009-05-27 三菱電機株式会社 光ファイバカプラの製造方法および光ファイバカプラの製造装置
JP4127689B2 (ja) 2004-09-22 2008-07-30 株式会社東芝 無線通信装置

Also Published As

Publication number Publication date
US20090154554A1 (en) 2009-06-18
US20100027656A1 (en) 2010-02-04
JP4907730B2 (ja) 2012-04-04
JP4733241B1 (ja) 2011-07-27
CN101399987B (zh) 2010-12-29
JP4405587B1 (ja) 2010-01-27
US8064519B2 (en) 2011-11-22
KR20050109630A (ko) 2005-11-21
CN101494791B (zh) 2010-12-29
EP1850600A3 (en) 2008-05-14
CN101399987A (zh) 2009-04-01
JP2010045802A (ja) 2010-02-25
JP4615622B2 (ja) 2011-01-19
CN100484248C (zh) 2009-04-29
JP2010259093A (ja) 2010-11-11
JP2013211889A (ja) 2013-10-10
BRPI0216048B1 (pt) 2018-09-25
JP2011151831A (ja) 2011-08-04
CA2430919C (en) 2012-08-07
KR20060018931A (ko) 2006-03-02
KR100796107B1 (ko) 2008-01-21
US9191669B2 (en) 2015-11-17
CN101399986B (zh) 2010-12-22
US7209520B2 (en) 2007-04-24
US20180167633A1 (en) 2018-06-14
JP4368942B2 (ja) 2009-11-18
US20070058721A1 (en) 2007-03-15
JP2008172822A (ja) 2008-07-24
KR20040020870A (ko) 2004-03-09
JP4560135B1 (ja) 2010-10-13
JP2010288315A (ja) 2010-12-24
JP4615623B2 (ja) 2011-01-19
US20070058722A1 (en) 2007-03-15
JP2010246144A (ja) 2010-10-28
JP4615604B2 (ja) 2011-01-19
JP5401530B2 (ja) 2014-01-29
CA2430919A1 (en) 2003-04-24
US20040028132A1 (en) 2004-02-12
US20100027657A1 (en) 2010-02-04
US20160037182A1 (en) 2016-02-04
EP1401214A1 (en) 2004-03-24
BRPI0216072B1 (pt) 2018-09-25
US20070116122A1 (en) 2007-05-24
CN1478356A (zh) 2004-02-25
US20100074335A1 (en) 2010-03-25
CN101494790A (zh) 2009-07-29
BRPI0206157B1 (pt) 2018-09-25
US9900616B2 (en) 2018-02-20
JP2010273369A (ja) 2010-12-02
BR0206157A (pt) 2004-01-06
JP2009077454A (ja) 2009-04-09
WO2003034744A1 (en) 2003-04-24
JP4142929B2 (ja) 2008-09-03
JP2010273368A (ja) 2010-12-02
JP2010259094A (ja) 2010-11-11
CN101399985A (zh) 2009-04-01
KR100766657B1 (ko) 2007-10-15
US9197894B2 (en) 2015-11-24
JP4560134B1 (ja) 2010-10-13
US20160037183A1 (en) 2016-02-04
US8831100B2 (en) 2014-09-09
US10582216B2 (en) 2020-03-03
JP2010246145A (ja) 2010-10-28
US20190191179A1 (en) 2019-06-20
US20140307792A1 (en) 2014-10-16
JP4275719B2 (ja) 2009-06-10
CN101399986A (zh) 2009-04-01
US8179966B2 (en) 2012-05-15
EP1850600A2 (en) 2007-10-31
US9924195B2 (en) 2018-03-20
JP2009268143A (ja) 2009-11-12
US10257537B2 (en) 2019-04-09
JP4733240B1 (ja) 2011-07-27
MXPA03005034A (es) 2003-09-05
US8391361B2 (en) 2013-03-05
JP2012065352A (ja) 2012-03-29
US7693217B2 (en) 2010-04-06
JP4615624B2 (ja) 2011-01-19
CN101399985B (zh) 2012-10-31
US7526026B2 (en) 2009-04-28
US7580459B2 (en) 2009-08-25
JP2008182730A (ja) 2008-08-07
EP1401214A4 (en) 2006-08-02
CN101494790B (zh) 2012-05-23
US8170103B2 (en) 2012-05-01
US20080075167A1 (en) 2008-03-27
JP5355807B2 (ja) 2013-11-27
JP4733239B1 (ja) 2011-07-27
US20140307791A1 (en) 2014-10-16
JP4581035B1 (ja) 2010-11-17
JP2003199112A (ja) 2003-07-11
JP2011151834A (ja) 2011-08-04
JP2011151835A (ja) 2011-08-04
KR100799412B1 (ko) 2008-01-30
CN101494791A (zh) 2009-07-29

Similar Documents

Publication Publication Date Title
JP4234771B2 (ja) 送信装置
JP5674911B2 (ja) 画像符号化復号化装置
JP2004260236A (ja) 動画像の符号化方法および復号化方法
JP4481970B2 (ja) 画像符号化装置及びその方法
JP4481612B2 (ja) 画像復号化装置及びその方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080618

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081118

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081211

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111219

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4234771

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111219

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121219

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121219

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131219

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term