JP3263807B2 - 画像符号化装置および画像符号化方法 - Google Patents

画像符号化装置および画像符号化方法

Info

Publication number
JP3263807B2
JP3263807B2 JP27151296A JP27151296A JP3263807B2 JP 3263807 B2 JP3263807 B2 JP 3263807B2 JP 27151296 A JP27151296 A JP 27151296A JP 27151296 A JP27151296 A JP 27151296A JP 3263807 B2 JP3263807 B2 JP 3263807B2
Authority
JP
Japan
Prior art keywords
image
vop
encoding
unit
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP27151296A
Other languages
English (en)
Other versions
JPH10136372A (ja
Inventor
輝彦 鈴木
陽一 矢ヶ崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP27151296A priority Critical patent/JP3263807B2/ja
Priority to US08/924,778 priority patent/US6097842A/en
Priority to KR1020057017969A priority patent/KR100606588B1/ko
Priority to PCT/JP1997/003178 priority patent/WO1998010593A2/en
Priority to CNB031451098A priority patent/CN1254111C/zh
Priority to AU41371/97A priority patent/AU731425B2/en
Priority to EP97939239A priority patent/EP0860086A3/en
Priority to CNB03145108XA priority patent/CN1298170C/zh
Priority to EP20080017462 priority patent/EP2012546A3/en
Priority to RU98111206A priority patent/RU2189120C2/ru
Priority to CN97191549A priority patent/CN1133328C/zh
Priority to KR1019980703511A priority patent/KR100572130B1/ko
Publication of JPH10136372A publication Critical patent/JPH10136372A/ja
Priority to US09/545,206 priority patent/US6427027B1/en
Priority to US09/545,368 priority patent/US6389173B1/en
Priority to US09/545,290 priority patent/US6459812B2/en
Application granted granted Critical
Publication of JP3263807B2 publication Critical patent/JP3263807B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像符号化装置お
よび画像符号化方法に関する。特に、例えば、動画像デ
ータを、光磁気ディスクや磁気テープなどの記録媒体に
記録し、これを再生してディスプレイなどに表示した
り、テレビ会議システム、テレビ電話システム、放送用
機器、マルチメディアデータベース検索システムなどの
ように、動画像データを伝送路を介して送信側から受信
側に伝送し、受信側において、これを受信し、表示する
場合や、編集して記録する場合などに用いて好適な画像
符号化装置および画像符号化方法に関する。
【０００２】
【従来の技術】例えば、テレビ会議システム、テレビ電
話システムなどのように、動画像データを遠隔地に伝送
するシステムにおいては、伝送路を効率良く利用するた
め、画像データを、そのライン相関やフレーム間相関を
利用して圧縮符号化するようになされている。
【０００３】動画像の高能率符号化方式として代表的な
ものとしてＭＰＥＧ（Moving Picture Experts Group）
（蓄積用動画像符号化）方式がある。これはＩＳＯ−Ｉ
ＥＣ／ＪＴＣ１／ＳＣ２／ＷＧ１１において議論され、
標準案として提案されたものであり、動き補償予測符号
化とＤＣＴ（Discrete Cosine Transform）符号化を組
み合わせたハイブリッド方式が採用されている。
【０００４】ＭＰＥＧでは、様々なアプリケーションや
機能に対応するために、いくつかのプロファイルおよび
レベルが定義されている。最も基本となるのが、メイン
プロファイルメインレベル（ＭＰ＠ＭＬ（Main Profile
at Main Level））である。
【０００５】図４２は、ＭＰＥＧ方式におけるＭＰ＠Ｍ
Ｌのエンコーダの一例の構成を示している。
【０００６】符号化すべき画像データは、フレームメモ
リ３１に入力され、一時記憶される。そして、動きベク
トル検出器３２は、フレームメモリ３１に記憶された画
像データを、例えば、１６画素×１６画素などで構成さ
れるマクロブロック単位で読み出し、その動きベクトル
を検出する。
【０００７】ここで、動きベクトル検出器３２において
は、各フレームの画像データを、Ｉピクチャ、Ｐピクチ
ャ、またはＢピクチャのうちのいずれかとして処理す
る。なお、シーケンシャルに入力される各フレームの画
像を、Ｉ，Ｐ，Ｂピクチャのいずれのピクチャとして処
理するかは、予め定められている（例えば、Ｉ，Ｂ，
Ｐ，Ｂ，Ｐ，・・・Ｂ，Ｐとして処理される）。
【０００８】即ち、動きベクトル検出器３２は、フレー
ムメモリ３１に記憶された画像の中の、予め定められた
所定の参照フレームを参照し、その参照フレームと、現
在符号化の対象となっているフレームの１６画素×１６
ラインの小ブロック（マクロブロック）とをパターンマ
ッチング（ブロックマッチング）することにより、その
マクロブロックの動きベクトルを検出する。
【０００９】ここで、ＭＰＥＧにおいては、画像の予測
モードには、イントラ符号化（フレーム内符号化）、前
方予測符号化、後方予測符号化、両方向予測符号化の４
種類があり、Ｉピクチャはイントラ符号化され、Ｐピク
チャはイントラ符号化または前方予測符号化され、Ｂピ
クチャはイントラ符号化、前方予測符号化、後方予測符
号化、または両方法予測符号化される。
【００１０】即ち、動きベクトル検出器３２は、Ｉピク
チャについては、予測モードとしてイントラ符号化モー
ドを設定する。この場合、動きベクトル検出器３２は、
動きベクトルの検出は行わず、予測モード（イントラ予
測モード）を、ＶＬＣ（可変長符号化）器３６および動
き補償器４２に出力する。
【００１１】また、動きベクトル検出器３２は、Ｐピク
チャについては、前方予測を行い、その動きベクトルを
検出する。さらに、動きベクトル検出器３２は、前方予
測を行うことにより生じる予測誤差と、符号化対象のマ
クロブロック（Ｐピクチャのマクロブロック）の、例え
ば分散とを比較し、マクロブロックの分散の方が予測誤
差より小さい場合、予測モードとしてイントラ符号化モ
ードを設定し、ＶＬＣ器３６および動き補償器４２に出
力する。また、動きベクトル検出器３２は、前方予測を
行うことにより生じる予測誤差の方が小さければ、予測
モードとして前方予測符号化モードを設定し、検出した
動きベクトルとともに、ＶＬＣ器３６および動き補償器
４２に出力する。
【００１２】さらに、動きベクトル検出器３２は、Ｂピ
クチャについては、前方予測、後方予測、および両方向
予測を行い、それぞれの動きベクトルを検出する。そし
て、動きベクトル検出器３２は、前方予測、後方予測、
および両方向予測についての予測誤差の中の最小のもの
（以下、適宜、最小予測誤差という）を検出し、その最
小予測誤差と、符号化対象のマクロブロック（Ｂピクチ
ャのマクロブロック）の、例えば分散とを比較する。そ
の比較の結果、マクロブロックの分散の方が最小予測誤
差より小さい場合、動きベクトル検出器３２は、予測モ
ードとしてイントラ符号化モードを設定し、ＶＬＣ器３
６および動き補償器４２に出力する。また、動きベクト
ル検出器３２は、最小予測誤差の方が小さければ、予測
モードとして、その最小予測誤差が得られた予測モード
を設定し、対応する動きベクトルとともに、ＶＬＣ器３
６および動き補償器４２に出力する。
【００１３】動き補償器４２は、動きベクトル検出器３
２から予測モードと動きベクトルの両方を受信すると、
その予測モードおよび動きベクトルにしたがって、フレ
ームメモリ４１に記憶されている、符号化され、既に局
所復号化された画像データを読み出し、これを、予測画
像として、演算器３３および４０に供給する。
【００１４】演算器３３は、動きベクトル検出器３２が
フレームメモリ３１から読み出した画像データと同一の
マクロブロックを、フレームメモリ３１から読み出し、
そのマクロブロックと、動き補償器４２からの予測画像
との差分を演算する。この差分値は、ＤＣＴ器３４に供
給される。
【００１５】一方、動き補償器４２は、動きベクトル検
出器３２から予測モードのみを受信した場合、即ち、予
測モードがイントラ符号化モードである場合には、予測
画像を出力しない。この場合、演算器３３（演算器４０
も同様）は、特に処理を行わず、フレームメモリ３１か
ら読み出したマクロブロックを、そのままＤＣＴ器３４
に出力する。
【００１６】ＤＣＴ器３４では、演算器３３の出力に対
して、ＤＣＴ処理が施され、その結果得られるＤＣＴ係
数が、量子化器３５に供給される。量子化器３５では、
バッファ３７のデータ蓄積量（バッファ３７に記憶され
ているデータの量）（バッファフィードバック）に対応
して量子化ステップ（量子化スケール）が設定され、そ
の量子化ステップで、ＤＣＴ器３４からのＤＣＴ係数が
量子化される。この量子化されたＤＣＴ係数（以下、適
宜、量子化係数という）は、設定された量子化ステップ
とともに、ＶＬＣ器３６に供給される。
【００１７】ＶＬＣ器３６では、量子化器３５より供給
される量子化ステップに対応して、同じく量子化器３５
より供給される量子化係数が、例えばハフマン符号など
の可変長符号に変換され、バッファ３７に出力される。
さらに、ＶＬＣ器３６は、量子化器３５からの量子化ス
テップ、動きベクトル検出器３２からの予測モード（イ
ントラ符号化（画像内予測符号化）、前方予測符号化、
後方予測符号化、または両方向予測符号化のうちのいず
れが設定されたかを示すモード）および動きベクトルも
可変長符号化し、バッファ３７に出力する。
【００１８】バッファ３７は、ＶＬＣ器３６からのデー
タを一時蓄積し、そのデータ量を平滑化して、例えば、
伝送路に出力し、または記録媒体に記録する。
【００１９】また、バッファ３７は、そのデータ蓄積量
を、量子化器３５に出力しており、量子化器３５は、こ
のバッファ３７からのデータ蓄積量にしたがって量子化
ステップを設定する。即ち、量子化器３５は、バッファ
３７がオーバーフローしそうなとき、量子化ステップを
大きくし、これにより、量子化係数のデータ量を低下さ
せる。また、量子化器３５は、バッファ３７がアンダー
フローしそうなとき、量子化ステップを小さくし、これ
により、量子化係数のデータ量を増大させる。このよう
にして、バッファ３７のオーバフローとアンダフローを
防止するようになっている。
【００２０】量子化器３５が出力する量子化係数と量子
化ステップは、ＶＬＣ器３６だけでなく、逆量子化器３
８にも供給されるようになされている。逆量子化器３５
では、量子化器３５からの量子化係数が、同じく量子化
器３５からの量子化ステップにしたがって逆量子化さ
れ、これによりＤＣＴ係数に変換される。このＤＣＴ係
数は、ＩＤＣＴ器（逆ＤＣＴ器）３９に供給される。Ｉ
ＤＣＴ器３９では、ＤＣＴ係数が逆ＤＣＴ処理され、演
算器４０に供給される。
【００２１】演算器４０には、ＩＤＣＴ器３９の出力の
他、上述したように、動き補償器４２から、演算器３３
に供給されている予測画像と同一のデータが供給されて
おり、演算器４０は、ＩＤＣＴ器３９からの信号（予測
残差）と、動き補償器４２からの予測画像とを加算する
ことで、元の画像を、局所復号する（但し、予測モード
がイントラ符号化である場合には、ＩＤＣＴ器３９の出
力は、演算器４０をスルーして、フレームメモリ４１に
供給される）。なお、この復号画像は、受信側において
得られる復号画像と同一のものである。
【００２２】演算器４０において得られた復号画像（局
所復号画像）は、フレームメモリ４１に供給されて記憶
され、その後、インター符号化（前方予測符号化、後方
予測符号化、量方向予測符号化）される画像に対する参
照画像（参照フレーム）として用いられる。
【００２３】次に、図４３は、図４２のエンコーダから
出力される符号化データを復号化する、ＭＰＥＧにおけ
るＭＰ＠ＭＬのデコーダの一例の構成を示している。
【００２４】伝送路を介して伝送されてきた符号化デー
タが図示せぬ受信装置で受信され、または記録媒体に記
録された符号化データが図示せぬ再生装置で再生され、
バッファ１０１に供給されて記憶される。
【００２５】ＩＶＬＣ器（逆ＶＬＣ器）（可変長復号化
器）１０２は、バッファ１０１に記憶された符号化デー
タを読み出し、可変長復号化することで、その符号化デ
ータを、動きベクトル、予測モード、量子化ステップ、
および量子化係数に分離する。これらのうち、動きベク
トルおよび予測モードは動き補償器１０７に供給され、
量子化ステップおよび量子化係数は逆量子化器１０３に
供給される。
【００２６】逆量子化器１０３は、ＩＶＬＣ器１０２よ
り供給された量子化係数を、同じくＩＶＬＣ器１０２よ
り供給された量子化ステップにしたがって逆量子化し、
その結果得られるＤＣＴ係数を、ＩＤＣＴ器１０４に出
力する。ＩＤＣＴ器１０４は、逆量子化器１０３からの
ＤＣＴ係数を逆ＤＣＴし、演算器１０５に供給する。
【００２７】演算器１０５には、ＩＤＣＴ器１０４の出
力の他、動き補償器１０７の出力も供給されている。即
ち、動き補償器１０７は、フレームメモリ１０６に記憶
されている、既に復号された画像を、図４２の動き補償
器４１における場合と同様に、ＩＶＬＣ器１０２からの
動きベクトルおよび予測モードにしたがって読み出し、
予測画像として、演算器１０５に供給する。演算器１０
５は、ＩＤＣＴ器１０４からの信号（予測残差）と、動
き補償器１０７からの予測画像とを加算することで、元
の画像を復号する。この復号画像は、フレームメモリ１
０６に供給されて記憶される。なお、ＩＤＣＴ器１０４
の出力が、イントラ符号化されたものである場合には、
その出力は、演算器１０５をスルーして、そのままフレ
ームメモリ１０６に供給されて記憶される。
【００２８】フレームメモリ１０６に記憶された復号画
像は、その後に復号される画像の参照画像として用いら
れるとともに、適宜読み出され、例えば、図示せぬディ
スプレイなどに供給されて表示される。
【００２９】なお、ＭＰＥＧ１および２では、Ｂピクチ
ャは、参照画像として用いられないため、エンコーダま
たはデコーダそれぞれにおいて、フレームメモリ４１
（図４２）または１０６（図４３）には記憶されない。
【００３０】ＭＰＥＧでは、以上のようなＭＰ＠ＭＬの
他にも、様々なプロファイルおよびレベルが定義され、
また各種のツールが用意されている。ＭＰＥＧのツール
の代表的なものの１つとしては、例えば、スケーラビリ
ティがある。
【００３１】即ち、ＭＰＥＧでは、異なる画像サイズや
フレームレートに対応するスケーラビリティを実現する
スケーラブル符号化方式が導入されている。例えば、空
間スケーラビリティでは、下位レイヤのビットストリー
ムのみを復号する場合、画像サイズの小さい画像だけが
得られ、下位レイヤおよび上位レイヤの両方のビットス
トリームを復号する場合、画像サイズの大きい画像が得
られる。
【００３２】図４４は、空間スケーラビリティを実現す
るエンコーダの一例の構成を示している。なお、空間ス
ケーラビリティでは、例えば、下位レイヤは画像サイズ
の小さい画像信号、また上位レイヤは画像サイズの大き
い画像信号に対応する。
【００３３】上位レイヤ符号化部２０１には、例えば、
符号化すべき画像が、そのまま上位レイヤの画像として
入力され、下位レイヤ符号化部２０２には、符号化すべ
き画像を間引いて、その画素数を少なくしたもの（従っ
て、解像度を低下させ、そのサイズを小さくしたもの）
が、下位レイヤの画像として入力される。
【００３４】下位レイヤ符号化部２０２では、下位レイ
ヤの画像が、例えば、図４２における場合と同様にして
予測符号化され、その符号化結果としての下位レイヤビ
ットストリームが出力される。さらに、下位レイヤ符号
化部２０２では、局所復号した下位レイヤの画像を、上
位レイヤの画像のサイズと同一サイズに拡大したもの
（以下、適宜、拡大画像という）が生成される。この拡
大画像は、上位レイヤ符号化部２０１に供給される。
【００３５】上位レイヤ符号化部２０１でも、やはり、
例えば、図４２における場合と同様にして、上位レイヤ
の画像が予測符号化され、その符号化結果としての上位
レイヤビットストリームが出力される。なお、上位レイ
ヤ符号化部２０１では、下位レイヤ符号化部２０２から
の拡大画像をも参照画像として用いて、予測符号化が行
われる。
【００３６】上位レイヤビットストリームおよび下位レ
イヤビットストリームは多重化され、符号化データとし
て出力される。
【００３７】図４５は、図４４の下位レイヤ符号化部２
０２の一例の構成を示している。なお、図中、図４２に
おける場合と対応する部分については、同一の符号を付
してある。即ち、下位レイヤ符号化部２０２は、アップ
サンプリング部２１１が新たに設けられている他は、図
４２のエンコーダと同様に構成されている。
【００３８】アップサンプリング部２１１では、演算器
４０が出力する、局所復号された下位レイヤの画像がア
ップサンプリングされる（補間される）ことで、上位レ
イヤの画像サイズと同一の画像サイズに拡大され、上位
レイヤ符号化部２０１に供給される。
【００３９】図４６は、図４４の上位レイヤ符号化部２
０１の一例の構成を示している。なお、図中、図４２に
おける場合と対応する部分については、同一の符号を付
してある。即ち、上位レイヤ符号化部２０１は、重み付
加部２２１，２２２、および演算器２２３が新たに設け
られている他は、基本的に図４２のエンコーダと同様に
構成されている。
【００４０】重み付加部２２１は、動き補償器４２が出
力する予測画像に対して、重みＷを乗算し、演算器２２
３に出力する。演算器２２３には、重み付加部２２１の
出力の他、重み付加部２２２の出力も供給されており、
重み付加部２２２は、下位レイヤ符号化部２０２から供
給される拡大画像に対して、重み（１−Ｗ）を乗算し、
演算器２２３に供給する。
【００４１】演算器２２３は、重み付加回路２２１およ
び２２２の出力を加算し、その加算結果を、予測画像と
して演算器３３および４０に出力する。
【００４２】以下、上位レイヤ符号化部２０１では、図
４２における場合と同様の処理が行われる。
【００４３】従って、上位レイヤ符号化部２０１では、
上位レイヤの画像を参照画像とするだけでなく、下位レ
イヤ符号化部２０２からの拡大画像、即ち、下位レイヤ
の画像をも参照画像として、予測符号化が行われる。
【００４４】なお、重み付加部２２１において用いられ
る重みＷは、あらかじめ設定されており（従って、重み
付加部２２２において用いられる重み１−Ｗも、あらか
じめ設定されている）、また、この重みＷは、ＶＬＣ器
３６に供給され、可変長符号化されるようになされてい
る。
【００４５】次に、図４７は、空間スケーラビリティを
実現するデコーダの一例の構成を示している。
【００４６】図４４のエンコーダから出力された符号化
データは、上位レイヤビットストリームと下位レイヤビ
ットストリームとに分離され、それぞれは、上位レイヤ
復号化部２３１または下位レイヤ復号化部２３２に供給
される。
【００４７】下位レイヤ復号化部２３２では、下位レイ
ヤビットストリームが、図４３における場合と同様にし
て復号化され、その結果得られる下位レイヤの復号画像
が出力される。さらに、下位レイヤ復号化部２３２で
は、下位レイヤの復号画像が、上位レイヤの画像のサイ
ズと同一サイズに拡大され、これにより、拡大画像が生
成される。この拡大画像は、上位レイヤ復号化部２３１
に供給される。
【００４８】上位レイヤ復号化部２３１でも、やはり、
例えば、図４３における場合と同様にして、上位レイヤ
ビットストリームが復号化される。但し、上位レイヤ復
号化部２３１では、下位レイヤ復号化部２３２からの拡
大画像をも参照画像として用いて、復号が行われる。
【００４９】図４８は、図４７の下位レイヤ復号化部２
３２の一例の構成を示している。なお、図中、図４３に
おける場合と対応する部分については、同一の符号を付
してある。即ち、下位レイヤ復号化部２３２は、アップ
サンプリング部２４１が新たに設けられている他は、図
４３のデコーダと同様に構成されている。
【００５０】アップサンプリング部２４１では、演算器
１０５が出力する、復号された下位レイヤの画像がアッ
プサンプリングされる（補間される）ことで、上位レイ
ヤの画像サイズと同一の画像サイズに拡大され、上位レ
イヤ復号化部２３１に供給される。
【００５１】図４９は、図４７の上位レイヤ復号化部２
３１の一例の構成を示している。なお、図中、図４３に
おける場合と対応する部分については、同一の符号を付
してある。即ち、上位レイヤ復号化部２３１は、重み付
加部２５１，２５２、および演算器２５３が新たに設け
られている他は、基本的に図４３のエンコーダと同様に
構成されている。
【００５２】ＩＶＬＣ器１０２は、図４３で説明した処
理の他、符号化データから重みＷを抽出し、重み付加部
２５１および２５２に出力する。重み付加部２５１は、
動き補償器１０７が出力する予測画像に対して、重みＷ
を乗算し、演算器２５３に出力する。演算器２５３に
は、重み付加部２５１の出力の他、重み付加部２５２の
出力も供給されており、重み付加部２５２は、下位レイ
ヤ復号化部２３２から供給される拡大画像に対して、重
み（１−Ｗ）を乗算し、演算器２５３に供給する。
【００５３】演算器２５３は、重み付加回路２５１およ
び２５２の出力を加算し、その加算結果を、予測画像と
して演算器１０５に出力する。
【００５４】以上のように、上位レイヤ復号化部２３１
では、上位レイヤの画像を参照画像とするだけでなく、
下位レイヤ符号化部２３２からの拡大画像、即ち、下位
レイヤの画像をも参照画像として、復号が行われる。
【００５５】なお、以上説明した処理は、輝度信号およ
び色差信号の両方に対して施される。但し、色差信号の
動きベクトルとしては、例えば、輝度信号の動きベクト
ルを１／２倍したものが用いられる。
【００５６】現在、上述のようなＭＰＥＧ方式の他に
も、様々な動画像の高能率符号化方式が標準化されてい
る。例えば、ＩＴＵ−Ｔでは、主に通信用の符号化方式
として、Ｈ．２６１やＨ．２６３という方式が規定され
ている。このＨ．２６１やＨ．２６３も、基本的にはＭ
ＰＥＧ方式と同様に動き補償予測符号化とＤＣＴ変換符
号化を組み合わせたものであり、ヘッダ情報などの詳細
は異なるが、エンコーダやデコーダの基本的な構成は、
ＭＰＥＧ方式の場合と同様となる。
【００５７】
【発明が解決しようとする課題】ところで、複数の画像
を合成して１つの画像を構成する画像合成システムで
は、例えばクロマキーという手法が用いられる。これ
は、ある物体を青などの特定の一様な色の背景の前で撮
影し、青以外の領域をそこから抽出し、別の画像に合成
するもので、抽出した領域を示す信号はキー信号（ｋｅ
ｙ信号）と呼ばれる。
【００５８】図５０は、従来の画像の合成方法を説明す
るための図である。なお、ここでは、画像Ｆ１を背景
と、画像Ｆ２を前景とする。また、画像Ｆ２は、特定の
色の背景の前で、物体（ここでは、人物）を撮影し、そ
の色以外の領域を抽出することによって得られるもので
あり、キー信号Ｋ１は、その抽出した領域を示す信号で
ある。
【００５９】画像合成システムでは、背景である画像Ｆ
１と、前景である画像Ｆ２とが、キー信号Ｋ１にしたが
って合成され、合成画像Ｆ３が生成される。この合成画
像Ｆ３は、例えば、ＭＰＥＧ符号化などされて伝送され
る。
【００６０】ところで、以上のように合成画像Ｆ３を符
号化して伝送した場合、伝送されるのは、合成画像Ｆ３
についての符号化データだけであるから、キー信号Ｋ１
などについての情報は失われ、従って、受信側におい
て、例えば、前景Ｆ２はそのままで、背景Ｆ１のみを変
更するといったような画像の再編集、再合成は困難とな
る。
【００６１】そこで、例えば、図５１に示すように、画
像Ｆ１，Ｆ２、およびキー信号Ｋ１をそれぞれ単独で符
号化し、それぞれのビットストリームを多重化する方法
が考えられる。この場合、受信側では、例えば、図５２
に示すように、多重化されたデータを、逆多重化するこ
とで、画像Ｆ１，Ｆ２、またはキー信号Ｋ１のビットス
トリームを得て、それぞれのビットストリームを復号化
する。そして、それにより得られる画像Ｆ１，Ｆ２、ま
たはキー信号Ｋ１の復号結果を用いて合成を行うこと
で、合成画像Ｆ３が生成される。この場合、受信側で
は、例えば、前景Ｆ２をそのままにして、背景Ｆ１だけ
を他の画像に変更するといった再編集および再合成が可
能となる。
【００６２】ところで、合成画像Ｆ３は、画像Ｆ１とＦ
２とから構成されているが、これと同様に、いかなる画
像も、複数の画像（物体）から構成されていると考える
ことができる。いま、このように画像を構成する単位を
ＶＯ（Video Object）と呼ぶものとすると、このような
ＶＯ単位で符号化を行う方式については、現在、ＩＳＯ
−ＩＥＣ／ＪＴＣ１／ＳＣ２９／ＷＧ１１において、Ｍ
ＰＥＧ４として標準化作業が進められている。
【００６３】しかしながら、いまのところ、ＶＯを効率
良く符号化する方法や、キー信号を符号化する方法が確
立しておらず、未解決な問題となっている。
【００６４】また、ＭＰＥＧ４では、スケーラビリティ
機能の提供について規定しているが、時間とともに位置
と大きさが変化するＶＯを対象としたスケーラビリティ
を実現する具体的な手法も提案されていない。
【００６５】即ち、例えば、遠方から向かってくる人物
などをＶＯとした場合、そのＶＯの位置と大きさは、時
間の経過とともに変化する。従って、上位レイヤの画像
の予測符号化に際し、下位レイヤの画像を参照画像とし
て用いる場合には、その上位レイヤの画像と、参照画像
として用いる下位レイヤの画像との相対的な位置関係を
明確にする必要がある。
【００６６】また、ＶＯ単位のスケーラビリティを行う
場合においては、下位レイヤのスキップマクロブロック
の条件が、上位レイヤのスキップマクロブロックの条件
に、そのまま当てはまるとは限らない。
【００６７】本発明は、このような状況に鑑みてなされ
たものであり、ＶＯ単位の符号化を、容易に実現するこ
とができるようにするものである。
【００６８】
【００６９】
【００７０】
【００７１】
【００７２】
【００７３】
【００７４】
【００７５】
【００７６】
【００７７】
【００７８】
【００７９】
【００８０】
【００８１】
【００８２】
【００８３】
【００８４】
【００８５】
【００８６】
【００８７】
【００８８】
【００８９】
【００９０】
【００９１】
【００９２】
【課題を解決するための手段】請求項１に記載の画像符
号化装置は、オブジェクトを前方予測、後方予測、双方
向予測、およびダイレクトモードのいずれかの予測方法
を用いて予測符号化、またはイントラ符号化を行い、符
号化信号を出力する予測符号化手段と、予測符号化手段
により符号化された符号化信号を可変長符号化する可変
長符号化手段とを備え、可変長符号化手段は、符号化対
象のオブジェクトの大きさと、オブジェクトより最近に
復号化された参照オブジェクトの大きさが同一であるか
否かに対応して、可変長符号化に用いるテーブルを選択
することを特徴とする。
【００９３】請求項３に記載の画像符号化装置は、オブ
ジェクトを前方予測、後方予測、双方向予測、およびダ
イレクトモードのいずれかの予測方法を用いて予測符号
化、またはイントラ符号化を行い、符号化信号を出力す
る予測符号化手段と、予測符号化手段により符号化され
た符号化信号を可変長符号化する可変長符号化手段とを
備え、予測符号化手段は、符号化対象のオブジェクトの
大きさと、オブジェクトより最近に復号化された参照オ
ブジェクトの大きさが同一である場合にのみ、ダイレク
トモード予測方法を使用可能とすることを特徴とする。
【００９４】請求項４に記載の画像符号化方法は、オブ
ジェクトを前方予測、後方予測、双方向予測、およびダ
イレクトモードのいずれかの予測方法を用いて予測符号
化、またはイントラ符号化を行い、符号化信号を出力す
る予測符号化ステップと、予測符号化ステップの処理に
より符号化された符号化信号を可変長符号化する可変長
符号化ステップを含み、可変長符号化ステップの処理
は、符号化対象のオブジェクトの大きさと、オブジェク
トより最近に復号化された参照オブジェクトの大きさが
同一であるか否かに対応して、可変長符号化に用いるテ
ーブルを選択することを特徴とする。
【００９５】請求項６に記載の画像符号化方法は、オブ
ジェクトを前方予測、後方予測、双方向予測、およびダ
イレクトモードのいずれかの予測方法を用いて予測符号
化、またはイントラ符号化を行い、符号化信号を出力す
る予測符号化ステップと、予測符号化ステップの処理に
より符号化された符号化信号を可変長符号化する可変長
符号化ステップを含み、予測符号化ステップの処理は、
符号化対象のオブジェクトの大きさと、オブジェクトよ
り最近に復号化された参照オブジェクトの大きさが同一
である場合にのみ、ダイレクトモード予測方法を使用可
能とすることを特徴とする。
【００９６】請求項１に記載の画像符号化装置および請
求項４に記載の画像符号化方法においては、オブジェク
トを前方予測、後方予測、双方向予測、およびダイレク
トモードのいずれかの予測方法を用いて予測符号化、ま
たはイントラ符号化を行い、符号化信号を出力し、符号
化された符号化信号を可変長符号化する。そして、可変
長符号化は、符号化対象のオブジェクトの大きさと、オ
ブジェクトより最近に復号化された参照オブジェクトの
大きさが同一であるか否かに対応して、可変長符号化に
用いるテーブルを選択するようになされている。
【００９７】請求項３に記載の画像符号化装置および請
求項６に記載の画像符号化方法においては、オブジェク
トを前方予測、後方予測、双方向予測、およびダイレク
トモードのいずれかの予測方法を用いて予測符号化、ま
たはイントラ符号化を行い、符号化信号を出力し、符号
化された符号化信号を可変長符号化する。そして、予測
符号化は、符号化対象のオブジェクトの大きさと、オブ
ジェクトより最近に復号化された参照オブジェクトの大
きさが同一である場合にのみ、ダイレクトモード予測方
法を使用可能とするようになされている。
【００９８】
【００９９】
【０１００】
【０１０１】
【０１０２】
【０１０３】
【０１０４】
【０１０５】
【０１０６】
【０１０７】
【０１０８】
【０１０９】
【０１１０】
【０１１１】
【０１１２】
【０１１３】
【０１１４】
【０１１５】
【０１１６】
【０１１７】
【０１１８】
【０１１９】
【０１２０】
【０１２１】
【０１２２】
【０１２３】
【０１２４】
【０１２５】
【０１２６】
【０１２７】
【０１２８】
【０１２９】
【０１３０】
【０１３１】
【０１３２】
【０１３３】
【発明の実施の形態】 図１は、本発明を適用したエンコ
ーダの一実施の形態を示している。
【０１３４】符号化すべき画像データは、ＶＯ構成部１
に入力され、ＶＯ構成部１では、そこに入力される画像
を構成する物体を抽出し、ＶＯを構成する。さらに、Ｖ
Ｏ構成部１は、各ＶＯについてのキー信号を生成し、対
応するＶＯとともに、ＶＯＰ構成部２1乃至２Nそれぞれ
に出力する。即ち、ＶＯ構成部１においてＮ個のＶＯ１
乃至ＶＯ＃Ｎが構成された場合、そのＮ個のＶＯ１乃至
ＶＯ＃Ｎは、対応するキー信号とともに、ＶＯＰ構成部
２1乃至２Nそれぞれに出力される。
【０１３５】具体的には、例えば、符号化すべき画像デ
ータが、前述の図５１で示したように、背景Ｆ１、前景
Ｆ２、およびキー信号Ｋ１を含んでおり、これらから、
クロマキーにより合成画像を生成することができるもの
である場合、ＶＯ構成部１は、例えば、前景Ｆ２を、Ｖ
Ｏ１とし、キー信号Ｋ１を、そのＶＯ１のキー信号とし
て、ＶＯＰ構成部２1に出力する。さらに、ＶＯ構成部
１は、背景Ｆ１を、ＶＯ２として、ＶＯＰ構成部２2に
出力する。なお、背景についてはキー信号は不要なた
め、出力されない（生成されない）。
【０１３６】また、ＶＯ構成部１は、符号化すべき画像
データが、キー信号を含んでいない、例えば、既に合成
された画像である場合、所定のアルゴリズムにしたがっ
て、画像を領域分割することにより、１以上の領域を抽
出し、さらに、その各領域に対応するキー信号を生成す
る。そして、ＶＯ構成部１は、抽出した領域のシーケン
スをＶＯとし、生成したキー信号とともに、対応するＶ
ＯＰ構成部２n（但し、ｎ＝１，２，・・・，Ｎ）に出
力する。
【０１３７】ＶＯＰ構成部２nは、ＶＯ構成部１の出力
から、ＶＯＰ（VO Plane）を構成する。即ち、各フレー
ムから物体を抽出し、その物体を囲む、例えば、最小の
長方形をＶＯＰとする。なお、このとき、ＶＯＰ構成部
２nは、その横および縦の画素数が、例えば、１６の倍
数となるようにＶＯＰを構成する。ＶＯ構成部２nは、
ＶＯＰを構成すると、そのＶＯＰに含まれる物体の部分
の画像データ（例えば、輝度信号および色差信号など）
を抜くためのキー信号（このキー信号は、上述したよう
に、ＶＯ構成部１から供給される）とともに、ＶＯＰ符
号化部３nに出力する。
【０１３８】さらに、ＶＯＰ構成部２nは、ＶＯＰの大
きさ（例えば、横および縦の長さ）を表すサイズデータ
（VOP size）と、フレームにおける、そのＶＯＰの位置
（例えば、フレームの最も左上を原点とするときの座
標）を表すオフセットデータ（VOP offset）とを検出
し、これらのデータも、ＶＯＰ符号化部３nに供給す
る。
【０１３９】ＶＯＰ符号化部３nは、ＶＯＰ構成部２nの
出力を、例えば、ＭＰＥＧや、Ｈ．２６３などの規格に
準拠した方式で符号化し、その結果得られるビットスト
リームを、多重化部４に出力する。多重化部４は、ＶＯ
Ｐ符号化部３1乃至３Nからのビットストリームを多重化
し、その結果得られる多重化データを、例えば、地上波
や、衛星回線、ＣＡＴＶ網その他の伝送路５を介して伝
送し、または、例えば、磁気ディスク、光磁気ディス
ク、光ディスク、磁気テープその他の記録媒体６に記録
する。
【０１４０】ここで、ＶＯおよびＶＯＰについて説明す
る。
【０１４１】ＶＯは、ある合成画像のシーケンスが存在
する場合の、その合成画像を構成する各物体のシーケン
スであり、ＶＯＰは、ある時刻におけるＶＯを意味す
る。即ち、例えば、いま、画像Ｆ１およびＦ２を合成し
て構成される合成画像Ｆ３がある場合、画像Ｆ１または
Ｆ２が時系列に並んだものが、それぞれＶＯであり、あ
る時刻における画像Ｆ１またはＦ２が、それぞれＶＯＰ
である。従って、ＶＯは、異なる時刻の、同一物体のＶ
ＯＰの集合ということができる。
【０１４２】なお、例えば、画像Ｆ１を背景とするとと
もに、画像Ｆ２を前景とすると、合成画像Ｆ３は、画像
Ｆ２を抜くためのキー信号を用いて、画像Ｆ１およびＦ
２を合成することによって得られるが、この場合におけ
る画像Ｆ２のＶＯＰには、その画像Ｆ２を構成する画像
データ（輝度信号および色差信号）の他、適宜、そのキ
ー信号も含まれるものとする。
【０１４３】画像フレーム（画枠）のシーケンスは、そ
の大きさおよび位置のいずれも変化しないが、ＶＯは、
大きさや位置が変化する場合がある。即ち、同一のＶＯ
を構成するＶＯＰであっても、時刻によって、その大き
さや位置が異なる場合がある。
【０１４４】具体的には、図２は、背景である画像Ｆ１
と、前景である画像Ｆ２とからなる合成画像を示してい
る。
【０１４５】画像Ｆ１は、例えば、ある自然の風景を撮
影したものであり、その画像全体のシーケンスが１つの
ＶＯ（ＶＯ０とする）とされている。また、画像Ｆ２
は、例えば、人が歩いている様子を撮影したものであ
り、その人を囲む最小の長方形のシーケンスが１つのＶ
Ｏ（ＶＯ１とする）とされている。
【０１４６】この場合、ＶＯ０は風景の画像であるか
ら、基本的に、通常の画像のフレームと同様に、その位
置および大きさの両方とも変化しない。これに対して、
ＶＯ１は人の画像であるから、人物が左右に移動した
り、また、図面において手前側または奥側に移動するこ
とにより、その大きさや位置が変化する。従って、図２
は、同一時刻におけるＶＯ０およびＶＯ１を表している
が、両者の位置や大きさが同一とは限らない。
【０１４７】そこで、図１のＶＯＰ符号化部３nは、そ
の出力するビットストリームに、ＶＯＰを符号化したデ
ータの他、所定の絶対座標系におけるＶＯＰの位置（座
標）および大きさに関する情報も含めるようになされて
いる。なお、図２においては、ある時刻におけるＶＯ０
（ＶＯＰ）の位置を示すベクトルをＯＳＴ０と、同一時
刻におけるＶＯ１（ＶＯＰ）の位置を表すベクトルをＯ
ＳＴ１と、それぞれ表してある。
【０１４８】次に、図３は、図１のＶＯＰ符号化部３n
の基本的な構成例を示している。
【０１４９】ＶＯＰ構成部２nからの画像信号（画像デ
ータ）（ＶＯＰを構成する輝度信号および色差信号）
は、画像信号符号化部１１に入力される。画像信号符号
化部１１は、基本的には、前述した図４２のエンコーダ
と同様に構成され、そこでは、ＶＯＰが、例えば、ＭＰ
ＥＧやＨ．２６３などの規格に準拠した方式で符号化さ
れる。画像信号符号化部１１でＶＯＰが符号化されるこ
とにより得られる、その動きおよびテクスチャの情報
は、多重化部１３に供給される。
【０１５０】また、ＶＯＰ構成部２nからのキー信号
は、キー信号符号化部１２に入力され、そこで、例え
ば、ＤＰＣＭ（Differential Pulse Code Modulation）
などにされることにより符号化される。キー信号符号化
部１２における符号化の結果得られるキー信号情報は、
やはり多重化部１３に供給される。
【０１５１】多重化部１３には、画像信号符号化部１１
およびキー信号符号化部１２の出力の他、ＶＯＰ構成部
２nからのサイズデータ（VOP size）およびオフセット
データ（VOP offset）も供給されており、多重化部１３
は、これらを多重化して、バッファ１４に出力する。バ
ッファ１４は、多重化部１３の出力を一時記憶し、その
データ量を平滑化して出力する。
【０１５２】なお、キー信号符号化部１２においては、
ＤＰＣＭの他、例えば、画像信号符号化部１１において
予測符号化が行われることにより検出された動きベクト
ルにしたがって、キー信号を動き補償し、その時間的に
前または後のＶＯＰにおけるキー信号との差分を演算す
ることで、キー信号を符号化するようにすることなども
可能である。
【０１５３】また、キー信号符号化部１２におけるキー
信号の符号化結果のデータ量（バッファフィードバッ
ク）は、画像信号符号化部１１に供給するようにするこ
とが可能である。この場合、画像信号符号化部１１で
は、キー信号符号化部１２からのデータ量をも考慮し
て、量子化ステップが決定される。
【０１５４】次に、図４は、スケーラビリティを実現す
る、図１のＶＯＰ符号化部３nの構成例を示している。
【０１５５】ＶＯＰ構成部２nからのＶＯＰ（画像デー
タ）、並びにそのキー信号、サイズデータ（VOP siz
e）、およびオフセットデータ（VOP offset）は、いず
れも画像階層化部２１に供給される。
【０１５６】画像階層化部２１は、ＶＯＰから、複数の
階層の画像データを生成する（ＶＯＰの階層化を行
う）。即ち、例えば、空間スケーラビリティの符号化を
行う場合においては、画像階層化部２１は、そこに入力
される画像データおよびキー信号を、そのまま上位レイ
ヤ（上位階層）の画像データおよびキー信号として出力
するとともに、それらの画像データおよびキー信号を構
成する画素数を間引くことなどにより縮小し（解像度を
低下させ）、これを下位レイヤ（下位階層）の画像デー
タおよびキー信号として出力する。
【０１５７】なお、入力されたＶＯＰを下位レイヤのデ
ータとするとともに、そのＶＯＰの解像度を、何らかの
手法で高くし（画素数を多くし）、これを、上位レイヤ
のデータとすることなども可能である。
【０１５８】また、階層数は、３以上とすることも可能
であるが、ここでは、簡単のために、２階層の場合につ
いて説明を行う。
【０１５９】画像階層化部２１は、例えば、時間スケー
ラビリティ（テンポラルスケーラビリティ）の符号化を
行う場合、時刻に応じて、画像データおよびキー信号
を、下位レイヤまたは上位レイヤのデータとして、例え
ば、交互に出力する。即ち、例えば、画像階層化部２１
は、そこに、あるＶＯを構成するＶＯＰが、ＶＯＰ０，
ＶＯＰ１，ＶＯＰ２，ＶＯＰ３，・・・の順で入力され
たとした場合、ＶＯＰ０，ＶＯＰ２，ＶＯＰ４，ＶＯＰ
６，・・・を、下位レイヤのデータとして、また、ＶＯ
Ｐ１，ＶＯＰ３，ＶＯＰ５，ＶＯＰ７，・・・を、上位
レイヤデータとして出力する。なお、時間スケーラビリ
ティの場合は、このようにＶＯＰが間引かれたものが、
下位レイヤおよび上位レイヤのデータとされるだけで、
画像データの拡大または縮小（解像度の変換）は行われ
ない（但し、行うようにすることも可能である）。
【０１６０】また、画像階層化部２１は、例えば、ＳＮ
Ｒ（Signal to Noise Ratio）スケーラビリティの符号
化を行う場合、入力された画像データおよびキー信号
を、そのまま上位レイヤまたは下位レイヤのデータそれ
ぞれとして出力する。即ち、この場合、下位レイヤ並び
に上位レイヤの画像データおよびキー信号は、同一のデ
ータとなる。
【０１６１】ここで、ＶＯＰごとに符号化を行う場合の
空間スケーラビリティについては、例えば、次のような
３種類が考えられる。
【０１６２】即ち、例えば、いま、ＶＯＰとして、図２
に示したような画像Ｆ１およびＦ２でなる合成画像が入
力されたとすると、第１の空間スケーラビリティは、図
５に示すように、入力されたＶＯＰ全体（図５（Ａ））
を上位レイヤ（EnhancementLayer）とするとともに、そ
のＶＯＰ全体を縮小したもの（図５（Ｂ））を下位レイ
ヤ（Base Layer）とするものである。
【０１６３】また、第２の空間スケーラビリティは、図
６に示すように、入力されたＶＯＰを構成する一部の物
体（図６（Ａ）（ここでは、画像Ｆ２に相当する部
分）））を抜き出して（なお、このような抜き出しは、
例えば、ＶＯＰ構成部２nにおける場合と同様にして行
われ、従って、これにより抜き出された物体も、１つの
ＶＯＰと考えることができる）、上位レイヤとするとと
もに、そのＶＯＰ全体を縮小したもの（図６（Ｂ））を
下位レイヤとするものである。
【０１６４】さらに、第３の空間スケーラビリティは、
図７および図８に示すように、入力されたＶＯＰを構成
する物体（ＶＯＰ）を抜き出して、その物体ごとに、上
位レイヤおよび下位レイヤを生成するものである。な
お、図７は、図２のＶＯＰを構成する背景（画像Ｆ１）
から上位レイヤおよび下位レイヤを生成した場合を示し
ており、また、図８は、図２のＶＯＰを構成する前景
（画像Ｆ２）から上位レイヤおよび下位レイヤを生成し
た場合を示している。
【０１６５】以上のようなスケーラビリティのうちのい
ずれを用いるかは予め決められており、画像階層化部２
１は、その予め決められたスケーラビリティによる符号
化を行うことができるように、ＶＯＰの階層化を行う。
【０１６６】さらに、画像階層化部２１は、そこに入力
されるＶＯＰのサイズデータおよびオフセットデータ
（それぞれを、以下、適宜、初期サイズデータ、初期オ
フセットデータという）から、生成した下位レイヤおよ
び上位レイヤのＶＯＰの所定の絶対座標系における位置
を表すオフセットデータと、その大きさを示すサイズデ
ータとを計算（決定）する。
【０１６７】ここで、下位レイヤ並びに上位レイヤのＶ
ＯＰのオフセットデータ（位置情報）およびサイズデー
タの決定方法について、例えば、上述の第２のスケーラ
ビリティ（図６）を行う場合を例に説明する。
【０１６８】この場合、下位レイヤのオフセットデータ
ＦＰＯＳ＿Ｂは、例えば、図９（Ａ）に示すように、下
位レイヤの画像データを、その解像度および上位レイヤ
の解像度の違いに基づいて拡大（補間）したときに、即
ち、下位レイヤの画像を、上位レイヤの画像の大きさと
一致するような拡大率（上位レイヤの画像を縮小して下
位レイヤの画像を生成したときの、その縮小率の逆数）
（以下、適宜、倍率ＦＲという）で拡大したときに、そ
の拡大画像の絶対座標系におけるオフセットデータが、
初期オフセットデータと一致するように決定される。ま
た、下位レイヤのサイズデータＦＳＺ＿Ｂも同様に、下
位レイヤの画像を倍率ＦＲで拡大したときに得られる拡
大画像のサイズデータが初期サイズデータと一致するよ
うに決定される。
【０１６９】一方、上位レイヤのオフセットデータＦＰ
ＯＳ＿Ｅは、例えば、図９（Ｂ）に示すように、入力さ
れたＶＯＰから抜き出した物体を囲む１６倍最小長方形
（ＶＯＰ）の、例えば、左上の頂点の座標が、初期オフ
セットデータに基づいて求められ、この値に決定され
る。また、上位レイヤのサイズデータＦＰＯＳ＿Ｅは、
入力されたＶＯＰから抜き出した物体を囲む１６倍最小
長方形の、例えば横および縦の長さに決定される。
【０１７０】従って、この場合、下位レイヤのオフセッ
トデータＦＰＯＳ＿ＢおよびサイズデータＦＰＯＳ＿Ｂ
を、倍率ＦＲにしたがって変換し（変換後のオフセット
データＦＰＯＳ＿ＢまたはサイズデータＦＰＯＳ＿Ｂ
を、それぞれ、変換オフセットデータＦＰＯＳ＿Ｂまた
は変換サイズデータＦＰＯＳ＿Ｂという）、絶対座標系
において、変換オフセットデータＦＰＯＳ＿Ｂに対応す
る位置に、変換サイズデータＦＳＺ＿Ｂに対応する大き
さの画枠を考え、そこに、下位レイヤの画像データをＦ
Ｒ倍だけした拡大画像を配置するとともに（図９
（Ａ））、その絶対座標系において、上位レイヤのオフ
セットデータＦＰＯＳ＿ＥおよびサイズデータＦＰＯＳ
＿Ｅにしたがって、上位レイヤの画像を同様に配置する
と（図９（Ｂ））、拡大画像を構成する各画素と、上位
レイヤの画像を構成する各画素とは、対応するものどう
しが同一の位置に配置されることになる。即ち、この場
合、例えば、図９において、上位レイヤの画像である人
の部分と、拡大画像の中の人の部分とは、同一の位置に
配置されることになる。
【０１７１】第１および第３のスケーラビリティにおけ
る場合も、同様にして、下位レイヤの拡大画像および上
位レイヤの画像を構成する、対応する画素どうしが、絶
対座標系において同一の位置に配置されるように、オフ
セットデータＦＰＯＳ＿ＢおよびＦＰＯＳ＿Ｅ、並びに
サイズデータＦＳＺ＿ＢおよびＦＳＺ＿Ｅが決定され
る。
【０１７２】また、オフセットデータＦＰＯＳ＿Ｂおよ
びＦＰＯＳ＿Ｅ、並びにサイズデータＦＳＺ＿Ｂおよび
ＦＳＺ＿Ｅは、その他、例えば、次のように決定するこ
とも可能である。
【０１７３】即ち、下位レイヤのオフセットデータＦＰ
ＯＳ＿Ｂは、例えば、図１０（Ａ）に示すように、下位
レイヤの拡大画像のオフセットデータが、絶対座標系に
おける所定の位置としての、例えば原点などに一致する
ように決定することができる。
【０１７４】一方、上位レイヤのオフセットデータＦＰ
ＯＳ＿Ｅは、例えば、図１０（Ｂ）に示すように、入力
されたＶＯＰから抜き出した物体を囲む１６倍最小長方
形の、例えば、左上の頂点の座標が、初期オフセットデ
ータに基づいて求められ、その座標から初期オフセット
データを減算した値に決定することができる。
【０１７５】なお、図１０における場合、下位レイヤの
サイズデータＦＳＺ＿Ｂおよび上位レイヤのサイズデー
タＦＰＯＳ＿Ｅは、図９における場合と同様に決定され
る。
【０１７６】以上のようにオフセットデータＦＰＯＳ＿
ＢおよびＦＰＯＳ＿Ｅを決定する場合においても、下位
レイヤの拡大画像および上位レイヤの画像を構成する、
対応する画素どうしが、絶対座標系において同一の位置
に配置されることになる。
【０１７７】図４に戻り、画像階層化部２１において生
成された上位レイヤの画像データ、キー信号、オフセッ
トデータＦＰＯＳ＿Ｅ、およびサイズデータＦＳＺ＿Ｅ
は、遅延回路２２で、後述する下位レイヤ符号化部２５
における処理時間だけ遅延され、上位レイヤ符号化部２
３に供給される。また、下位レイヤの画像データ、キー
信号、オフセットデータＦＰＯＳ＿Ｂ、およびサイズデ
ータＦＳＺ＿Ｂは、下位レイヤ符号化部２５に供給され
る。また、倍率ＦＲは、遅延回路２２を介して、上位レ
イヤ符号化部２３および解像度変換部２４に供給され
る。
【０１７８】下位レイヤ符号化部２５では、下位レイヤ
の画像データ（第２の画像）およびキー信号が符号化さ
れ、その結果得られる符号化データ（ビットストリー
ム）に、オフセットデータＦＰＯＳ＿Ｂおよびサイズデ
ータＦＳＺ＿Ｂが含められ、多重化部２６に供給され
る。
【０１７９】また、下位レイヤ符号化部２５は、符号化
データを局所復号化し、その結果局所復号結果である下
位レイヤの画像データを、解像度変換部２４に出力す
る。解像度変換部２４は、下位レイヤ符号化部２５から
の下位レイヤの画像データを、倍率ＦＲにしたがって拡
大（または縮小）することにより、元の大きさに戻し、
これにより得られる拡大画像を、上位レイヤ符号化部２
３に出力する。
【０１８０】一方、上位レイヤ符号化部２３では、上位
レイヤの画像データ（第１の画像）およびキー信号が符
号化され、その結果得られる符号化データ（ビットスト
リーム）に、オフセットデータＦＰＯＳ＿Ｅおよびサイ
ズデータＦＳＺ＿Ｅが含められ、多重化部２６に供給さ
れる。なお、上位レイヤ符号化部２３においては、上位
レイヤ画像データの符号化は、解像度変換部２４から供
給される拡大画像をも参照画像として用いて行われる。
【０１８１】多重化部２６では、上位レイヤ符号化部２
３および下位レイヤ符号化部２５の出力が多重化されて
出力される。
【０１８２】なお、下位レイヤ符号化部２５から上位レ
イヤ符号化部２３に対しては、下位レイヤのサイズデー
タＦＳＺ＿Ｂ、オフセットデータＦＰＯＳ＿Ｂ、動きベ
クトルＭＶ、フラグＣＯＤなどが供給されており、上位
レイヤ符号化部２３では、これらのデータを必要に応じ
て参照しながら、処理を行うようになされているが、こ
の詳細については、後述する。
【０１８３】次に、図１１は、図４の下位レイヤ符号化
部２５の詳細構成例を示している。なお、図中、図４２
における場合と対応する部分については、同一の符号を
付してある。即ち、下位レイヤ符号化部２５は、キー信
号符号化部４３およびキー信号復号部４４が新たに設け
られている他は、基本的には、図４２のエンコーダと同
様に構成されている。
【０１８４】画像階層化部２１（図４）からの画像デー
タ、即ち、下位レイヤのＶＯＰは、図４２における場合
と同様に、フレームメモリ３１に供給されて記憶され、
動きベクトル検出器３２において、マクロブロック単位
で動きベクトルの検出が行われる。
【０１８５】但し、下位レイヤ符号化部２５の動きベク
トル検出器３２には、下位レイヤのＶＯＰのサイズデー
タＦＳＺ＿ＢおよびオフセットデータＦＰＯＳ＿Ｂが供
給されるようになされており、そこでは、このサイズデ
ータＦＳＺ＿ＢおよびオフセットデータＦＰＯＳ＿Ｂに
基づいて、マクロブロックの動きベクトルが検出され
る。
【０１８６】即ち、上述したように、ＶＯＰは、時刻
（フレーム）によって、大きさや位置が変化するため、
その動きベクトルの検出にあたっては、その検出のため
の基準となる座標系を設定し、その座標系における動き
を検出する必要がある。そこで、ここでは、動きベクト
ル検出器４３は、上述の絶対座標系を基準となる座標系
とし、その絶対座標系に、サイズデータＦＳＺ＿Ｂおよ
びオフセットデータＦＰＯＳ＿Ｂにしたがって、符号化
対象のＶＯＰおよび参照画像とするＶＯＰを配置して、
動きベクトルを検出するようになされている。
【０１８７】さらに、動きベクトル検出器３２には、下
位レイヤのキー信号を符号化し、その符号化結果を復号
化した復号キー信号が、キー信号復号部４４から供給さ
れるようになされており、動きベクトル検出器３２は、
この復号キー信号によって、ＶＯＰから物体を抜き出
し、その動きベクトルを検出するようになされている。
ここで、物体を抜き出すのに、元のキー信号（符号化前
のキー信号）ではなく、復号キー信号を用いるのは、受
信側において用いられるのが復号キー信号だからであ
る。
【０１８８】なお、検出された動きベクトル（ＭＶ）
は、予測モードとともに、ＶＬＣ器３６および動き補償
器４２に供給される他、上位レイヤ符号化部２３（図
４）にも供給される。
【０１８９】また、動き補償を行う場合においても、や
はり、上述したように、基準となる座標系における動き
を検出する必要があるため、動き補償器４２には、サイ
ズデータＦＳＺ＿ＢおよびオフセットデータＦＰＯＳ＿
Ｂが供給されるようになされている。さらに、動き補償
器４２には、動きベクトル検出器３２における場合と同
様の理由から、キー信号復号部４４から復号キー信号が
供給されるようになされている。
【０１９０】動きベクトルの検出されたＶＯＰは、図４
２における場合と同様に量子化データとされてＶＬＣ器
３６に供給される。ＶＬＣ器３６には、やはり図４２に
おける場合と同様に、量子化データ、量子化ステップ、
動きベクトル、および予測モードが供給される他、画像
階層化部２１からのサイズデータＦＳＺ＿Ｂおよびオフ
セットデータＦＰＯＳ＿Ｂも供給されており、そこで
は、これらのデータすべてが可変長符号化される。さら
に、ＶＬＣ器３６には、キー信号符号化部４３からキー
信号の符号化結果（キー信号のビットストリーム）も供
給されるようになされており、ＶＬＣ器３６は、このキ
ー信号の符号化結果も可変長符号化して出力する。
【０１９１】即ち、キー信号符号化部４３は、画像階層
化部２１からのキー信号を、例えば、図３で説明したよ
うに符号化し、その符号化結果を、ＶＬＣ器３６に出力
する。また、キー信号の符号化結果は、ＶＬＣ器３６の
他、キー信号復号部４４にも供給され、キー信号復号部
４４は、キー信号の符号化結果を復号化し、その復号化
されたキー信号（復号キー信号）を、動きベクトル検出
器３２、動き補償器４２、および解像度変換部２４（図
４）に出力する。
【０１９２】ここで、キー信号符号化部４３には、下位
レイヤのキー信号の他、サイズデータＦＳＺ＿Ｂおよび
オフセットデータＦＰＯＳ＿Ｂが供給されるようになさ
れており、そこでも、動きベクトル検出器３２における
場合と同様に、それらのデータに基づいて、絶対座標系
におけるキー信号の位置と範囲とが認識されるようにな
されている。
【０１９３】動きベクトルの検出されたＶＯＰは、上述
したように符号化される他、やはり図４２における場合
と同様に局所復号され、フレームメモリ４１に記憶され
る。この復号画像は、前述したように参照画像として用
いられる他、解像度変換部２４に出力される。
【０１９４】なお、ＭＰＥＧ４においては、ＭＰＥＧ１
および２と異なり、Ｂピクチャも参照画像として用いら
れるため、Ｂピクチャも、局所復号化され、フレームメ
モリ４１に記憶されるようになされている（但し、現時
点においては、Ｂピクチャが参照画像として用いられる
のは上位レイヤについてだけである）。
【０１９５】一方、ＶＬＣ器３６は、図４２で説明した
ように、Ｉ，Ｐ，Ｂピクチャのマクロブロックについ
て、スキップマクロブロックとするかどうかを決定し、
その決定結果を示すフラグＣＯＤ，ＭＯＤＢを設定す
る。このフラグＣＯＤ，ＭＯＤＢは、やはり可変長符号
化されて伝送される。さらに、フラグＣＯＤは、上位レ
イヤ符号化部２３にも供給される。
【０１９６】次に、図１２は、図４の上位レイヤ符号化
部２３の構成例を示している。なお、図中、図１１また
は図４２における場合と対応する部分については、同一
の符号を付してある。即ち、上位レイヤ符号化部２３
は、キー信号符号化部５１、フレームメモリ５２、およ
びキー信号復号部５３が、新たに設けられている他は、
基本的には、図１１の下位レイヤ符号化部２５または図
４２のエンコーダと同様に構成されている。
【０１９７】画像階層化部２１（図４）からの画像デー
タ、即ち、上位レイヤのＶＯＰは、図４２における場合
と同様に、フレームメモリ３１に供給されて記憶され、
動きベクトル検出器３２において、マクロブロック単位
で動きベクトルの検出が行われる。なお、この場合も、
動きベクトル検出器３２には、図１１における場合と同
様に、上位レイヤのＶＯＰの他、そのサイズデータＦＳ
Ｚ＿ＥおよびオフセットデータＦＰＯＳ＿Ｅが供給され
るととも、キー信号復号部５３がら復号キーが供給され
るようになされており、動きベクトル検出器３２では、
上述の場合と同様に、このサイズデータＦＳＺ＿Ｅおよ
びオフセットデータＦＰＯＳ＿Ｅに基づいて、絶対座標
系における上位レイヤのＶＯＰの配置位置が認識される
とともに、そのＶＯＰに含まれる物体の抜き出しが、復
号キー信号に基づいて行われ、マクロブロックの動きベ
クトルが検出される。
【０１９８】ここで、上位レイヤ符号化部２３および下
位レイヤ符号化部２５における動きベクトル検出器３２
では、図４２で説明したように、予め設定されている所
定のシーケンスにしたがって、ＶＯＰが処理されていく
が、そのシーケンスは、ここでは、例えば、次のように
設定されている。
【０１９９】即ち、空間スケーラビリティの場合におい
ては、図１３（Ａ）または図１３（Ｂ）に示すように、
上位レイヤまたは下位レイヤのＶＯＰは、例えば、Ｐ，
Ｂ，Ｂ，Ｂ，・・・またはＩ，Ｐ，Ｐ，Ｐ，・・・の順
でそれぞれ処理されていく。
【０２００】そして、この場合、上位レイヤの最初のＶ
ＯＰであるＰピクチャは、例えば、同時刻における下位
レイヤのＶＯＰ（ここでは、Ｉピクチャ）を参照画像と
して用いて符号化される。また、上位レイヤの２番目以
降のＶＯＰであるＢピクチャは、例えば、その直前の上
位レイヤのＶＯＰおよびそれと同時刻の下位レイヤのＶ
ＯＰを参照画像として用いて符号化される。即ち、ここ
では、上位レイヤのＢピクチャは、下位レイヤのＰピク
チャと同様に他のＶＯＰを符号化する場合の参照画像と
して用いられる。
【０２０１】なお、下位レイヤについては、例えば、Ｍ
ＰＥＧ１や２、あるいはＨ．２６３における場合と同様
に符号化が行われていく。
【０２０２】ＳＮＲスケーラビリティは、空間スケーラ
ビリティにおける倍率ＦＲが１のときと考えられるか
ら、上述の空間スケーラビリティの場合と同様に処理さ
れる。
【０２０３】テンポラルスケーラビリティの場合、即
ち、例えば、上述したように、ＶＯが、ＶＯＰ０，ＶＯ
Ｐ１，ＶＯＰ２，ＶＯＰ３，・・・で構成され、ＶＯＰ
１，ＶＯＰ３，ＶＯＰ５，ＶＯＰ７，・・・が上位レイ
ヤとされ（図１４（Ａ））、ＶＯＰ０，ＶＯＰ２，ＶＯ
Ｐ４，ＶＯＰ６，・・・が下位レイヤとされた場合にお
いては（図１４（Ｂ））、図１４に示すように、上位レ
イヤまたは下位レイヤのＶＯＰは、例えば、Ｂ，Ｂ，
Ｂ，・・・またはＩ，Ｐ，Ｐ，Ｐ，・・・の順でそれぞ
れ処理されていく。
【０２０４】そして、この場合、上位レイヤの最初のＶ
ＯＰ１（Ｂピクチャ）は、例えば、下位レイヤのＶＯＰ
０（Ｉピクチャ）およびＶＯＰ２（Ｐピクチャ）を参照
画像として用いて符号化される。また、上位レイヤの２
番目のＶＯＰ３（Ｂピクチャ）は、例えば、その直前に
Ｂピクチャとして符号化された上位レイヤのＶＯＰ１、
およびＶＯＰ３の次の時刻（フレーム）における画像で
ある下位レイヤのＶＯＰ４（Ｐピクチャ）を参照画像と
して用いて符号化される。上位レイヤの３番目のＶＯＰ
５（Ｂピクチャ）も、ＶＯＰ３と同様に、例えば、その
直前にＢピクチャとして符号化された上位レイヤのＶＯ
Ｐ３、およびＶＯＰ５の次の時刻（フレーム）における
画像である下位レイヤのＶＯＰ６（Ｐピクチャ）を参照
画像として用いて符号化される。
【０２０５】以上のように、あるレイヤのＶＯＰ（ここ
では、上位レイヤ）については、ＰおよびＢピクチャを
符号化するための参照画像として、他のレイヤ（スケー
ラブルレイヤ）（ここでは、下位レイヤ）のＶＯＰを用
いることができる。このように、あるレイヤのＶＯＰを
符号化するのに、他のレイヤのＶＯＰを参照画像として
用いる場合、即ち、ここでは、上位レイヤのＶＯＰを予
測符号化するのに、下位レイヤのＶＯＰを参照画像とし
て用いる場合、上位レイヤ符号化部２３（図１２）の動
きベクトル検出器３２は、その旨を示すフラグｒｅｆ＿
ｌａｙｅｒ＿ｉｄ（階層数が３以上存在する場合、フラ
グｒｅｆ＿ｌａｙｅｒ＿ｉｄは、参照画像として用いる
ＶＯＰが属するレイヤを表す）を設定して出力するよう
になされている。
【０２０６】さらに、上位レイヤ符号化部２３の動きベ
クトル検出器３２は、ＶＯＰについてのフラグｒｅｆ＿
ｌａｙｅｒ＿ｉｄにしたがい、前方予測符号化または後
方予測符号化を、それぞれ、どのレイヤのＶＯＰを参照
画像として行うかを示すフラグｒｅｆ＿ｓｅｌｅｃｔ＿
ｃｏｄｅ（参照画像情報）を設定して出力するようにも
なされている。
【０２０７】即ち、図１５（Ａ）または（Ｂ）は、Ｐま
たはＢピクチャについてのフラグｒｅｆ＿ｓｅｌｅｃｔ
＿ｃｏｄｅを、それぞれ示している。
【０２０８】例えば、上位レイヤ（Enhancement Laye
r）のＰピクチャが、その直前に復号（局所復号）され
る、それと同一のレイヤに属するＶＯＰを参照画像とし
て用いて符号化される場合、フラグｒｅｆ＿ｓｅｌｅｃ
ｔ＿ｃｏｄｅは「００」とされる。また、Ｐピクチャ
が、その直前に表示される、それと異なるレイヤ（ここ
では、下位レイヤ）（Reference Layer）に属するＶＯ
Ｐを参照画像として用いて符号化される場合、フラグｒ
ｅｆ＿ｓｅｌｅｃｔ＿ｃｏｄｅは「０１」とされる。さ
らに、Ｐピクチャが、その直後に表示される、それと異
なるレイヤに属するＶＯＰを参照画像として用いて符号
化される場合、フラグｒｅｆ＿ｓｅｌｅｃｔ＿ｃｏｄｅ
は「１０」とされる。また、Ｐピクチャが、それと同時
刻における、異なるレイヤのＶＯＰを参照画像として用
いて符号化される場合、フラグｒｅｆ＿ｓｅｌｅｃｔ＿
ｃｏｄｅは「１１」とされる（図１５（Ａ））。
【０２０９】一方、例えば、上位レイヤのＢピクチャ
が、それと同時刻における、異なるレイヤのＶＯＰを前
方予測のための参照画像として用い、かつ、その直前に
復号される、それと同一のレイヤに属するＶＯＰを後方
予測のための参照画像として用いて符号化される場合、
フラグｒｅｆ＿ｓｅｌｅｃｔ＿ｃｏｄｅは「００」とさ
れる。また、上位レイヤのＢピクチャが、それと同一の
レイヤに属するＶＯＰを前方予測のための参照画像とし
て用い、かつ、その直前に表示される、それと異なるレ
イヤに属するＶＯＰを後方予測のための参照画像として
用いて符号化される場合、フラグｒｅｆ＿ｓｅｌｅｃｔ
＿ｃｏｄｅは「０１」とされる。さらに、上位レイヤの
Ｂピクチャが、その直前に復号される、それと同一のレ
イヤに属するＶＯＰを前方予測のための参照画像として
用い、かつその直後に表示される、それと異なるレイヤ
に属するＶＯＰを後方予測のための参照画像として用い
て符号化される場合、フラグｒｅｆ＿ｓｅｌｅｃｔ＿ｃ
ｏｄｅは「１０」とされる。また、上位レイヤのＢピク
チャが、その直前に表示される、それと異なるレイヤに
属するＶＯＰを前方予測のための参照画像として用い、
かつその直後に表示される、それと異なるレイヤに属す
るＶＯＰを後方予測のための参照画像として用いて符号
化される場合、フラグｒｅｆ＿ｓｅｌｅｃｔ＿ｃｏｄｅ
は「１１」とされる（図１５（Ｂ））。
【０２１０】ここで、図１３および図１４で説明した予
測符号化の方法は、１つの例であり、前方予測符号化、
後方予測符号化、または両方向予測符号化における参照
画像として、どのレイヤの、どのＶＯＰを用いるかは、
例えば、図１５で説明した範囲で、自由に設定すること
が可能である。
【０２１１】なお、上述の場合においては、便宜的に、
「空間スケーラビリティ」、「時間スケーラビリテ
ィ」、「ＳＮＲスケーラビリティ」という語を用いた
が、図１５で説明したように、予測符号化に用いる参照
画像を設定する場合、即ち、図１５に示したようなシン
タクスを用いる場合、フラグｒｅｆ＿ｓｅｌｅｃｔ＿ｃ
ｏｄｅによって、空間スケーラビリティや、テンポラル
スケーラビリティ、ＳＮＲスケーラビリティを明確に区
別することは困難となる。即ち、逆にいえば、フラグｒ
ｅｆ＿ｓｅｌｅｃｔ＿ｃｏｄｅを用いることによって、
上述のようなスケーラビリティの区別をせずに済むよう
になる。
【０２１２】なお、上述のスケーラビリティとフラグｒ
ｅｆ＿ｓｅｌｅｃｔ＿ｃｏｄｅとを対応付けるとすれ
ば、例えば、次のようになる。即ち、Ｐピクチャについ
ては、フラグｒｅｆ＿ｓｅｌｅｃｔ＿ｃｏｄｅが「１
１」の場合が、フラグｒｅｆ＿ｌａｙｅｒ＿ｉｄが示す
レイヤの同時刻におけるＶＯＰを参照画像（前方予測の
ための参照画像）として用いる場合であるから、これ
は、空間スケーラビリティまたはＳＮＲスケーラビリテ
ィに対応する。そして、フラグｒｅｆ＿ｓｅｌｅｃｔ＿
ｃｏｄｅが「１１」の場合以外は、テンポラルスケーラ
ビリティに対応する。
【０２１３】また、Ｂピクチャについては、フラグｒｅ
ｆ＿ｓｅｌｅｃｔ＿ｃｏｄｅが「００」の場合が、やは
り、フラグｒｅｆ＿ｌａｙｅｒ＿ｉｄが示すレイヤの同
時刻におけるＶＯＰを前方予測のための参照画像として
用いる場合であるから、これが、空間スケーラビリティ
またはＳＮＲスケーラビリティに対応する。そして、フ
ラグｒｅｆ＿ｓｅｌｅｃｔ＿ｃｏｄｅが「００」の場合
以外は、テンポラルスケーラビリティに対応する。
【０２１４】なお、上位レイヤのＶＯＰの予測符号化の
ために、それと異なるレイヤ（ここでは、下位レイヤ）
の、同時刻におけるＶＯＰを参照画像として用いる場
合、両者の間に動きはないので、動きベクトルは、常に
０（０，０）とされる。
【０２１５】図１２に戻り、上位レイヤ符号化部２３の
動き検出器３１では、以上のようなフラグｒｅｆ＿ｌａ
ｙｅｒ＿ｉｄおよびｒｅｆ＿ｓｅｌｅｃｔ＿ｃｏｄｅが
設定され、動き補償器４２およびＶＬＣ器３６に供給さ
れる。
【０２１６】また、動きベクトル検出器３２では、フラ
グｒｅｆ＿ｌａｙｅｒ＿ｉｄおよびｒｅｆ＿ｓｅｌｅｃ
ｔ＿ｃｏｄｅにしたがって、フレームメモリ３１を参照
するだけでなく、必要に応じて、フレームメモリ５２を
も参照して、動きベクトルが検出される。
【０２１７】ここで、フレームメモリ５２には、解像度
変換部２４（図４）から、局所復号された下位レイヤの
拡大画像が供給されるようになされている。即ち、解像
度変換部２４では、局所復号された下位レイヤのＶＯＰ
が、例えば、いわゆる補間フィルタなどによって拡大さ
れ、これにより、そのＶＯＰを、ＦＲ倍だけした拡大画
像、つまり、その下位レイヤのＶＯＰに対応する上位レ
イヤのＶＯＰと同一の大きさとした拡大画像が生成さ
れ、上位レイヤ符号化部２３に供給される。フレームメ
モリ５２では、このようにして解像度変換部２４から供
給される拡大画像が記憶される。
【０２１８】従って、倍率ＦＲが１の場合は、解像度変
換部２４は、下位レイヤ符号化部２５からの局所復号さ
れたＶＯＰに対して、特に処理を施すことなく、そのま
ま、上位レイヤ符号化部２３に供給する。
【０２１９】動きベクトル検出器３２には、下位レイヤ
符号化部２５からサイズデータＦＳＺ＿Ｂおよびオフセ
ットデータＦＰＯＳ＿Ｂが供給されるとともに、遅延回
路２２（図４）からの倍率ＦＲが供給されるようになさ
れており、動きベクトル検出器３１は、フレームメモリ
５２に記憶された拡大画像を参照画像として用いる場
合、即ち、上位レイヤのＶＯＰの予測符号化に、そのＶ
ＯＰと同時刻における下位レイヤのＶＯＰを参照画像と
して用いる場合（この場合、図１５で説明したように、
フラグｒｅｆ＿ｓｅｌｅｃｔ＿ｃｏｄｅは、Ｐピクチャ
については「１１」に（同図（Ａ））、Ｂピクチャにつ
いては「００」にされる（同図（Ｂ））、その拡大画像
に対応するサイズデータＦＳＺ＿Ｂおよびオフセットデ
ータＦＰＯＳ＿Ｂに、倍率ＦＲを乗算する。そして、そ
の乗算結果に基づいて、絶対座標系における拡大画像の
位置を認識し、動きベクトルの検出を行う。
【０２２０】なお、動きベクトル検出器３２には、下位
レイヤの動きベクトルと予測モードが供給されるように
なされており、これは、次のような場合に使用される。
即ち、動きベクトル検出部３２は、例えば、上位レイヤ
のＢピクチャについてのフラグｒｅｆ＿ｓｅｌｅｃｔ＿
ｃｏｄｅが「００」である場合において、倍率ＦＲが１
であるとき、即ち、ＳＮＲスケーラビリティのとき（但
し、この場合、上位レイヤの予測符号化に、上位レイヤ
のＶＯＰが用いられるので、この点で、ここでいうＳＮ
Ｒスケーラビリティは、ＭＰＥＧ２に規定されているも
のと異なる）、上位レイヤと下位レイヤは同一の画像で
あるから、上位レイヤのＢピクチャの予測符号化には、
下位レイヤの同時刻における画像の動きベクトルと予測
モードをそのまま用いることができる。そこで、この場
合、動きベクトル検出部３２は、上位レイヤのＢピクチ
ャについては、特に処理を行わず、下位レイヤの動きベ
クトルと予測モードをそのまま採用する。
【０２２１】なお、この場合、上位レイヤ符号化部２３
では、動きベクトル検出器３２からＶＬＣ器３６には、
動きベクトルおよび予測モードは出力されない（従っ
て、伝送されない）。これは、受信側において、上位レ
イヤの動きベクトルおよび予測モードを、下位レイヤの
復号結果から認識することができるからである。
【０２２２】以上のように、動きベクトル検出器３２
は、上位レイヤのＶＯＰの他、拡大画像をも参照画像と
して用いて、動きベクトルを検出し、さらに、図４２で
説明したように、予測誤差（あるいは分散）を最小にす
る予測モードを設定する。また、動きベクトル検出器３
２は、例えば、フラグｒｅｆ＿ｓｅｌｅｃｔ＿ｃｏｄｅ
やｒｅｆ＿ｌａｙｅｒ＿ｉｄその他の必要な情報を設定
して出力する。
【０２２３】なお、図１２では、下位レイヤ符号化部２
５から、下位レイヤにおけるＩまたはＰピクチャを構成
するマクロブロックがスキップマクロブロックであるか
どうかを示すフラグＣＯＤが、動きベクトル検出器３
２、ＶＬＣ器３６、および動き補償器４２に供給される
ようになされているが、これについては、後述する。
【０２２４】動きベクトルの検出されたマクロブロック
は、上述した場合と同様に符号化され、これにより、Ｖ
ＬＣ器３６からは、その符号化結果としての可変長符号
が出力される。
【０２２５】なお、上位レイヤ符号化部２３のＶＬＣ器
３６は、下位レイヤ符号化部２５における場合と同様
に、フラグＣＯＤ，ＭＯＤＢを設定して出力するように
なされている。ここで、フラグＣＯＤは、上述したよう
に、ＩまたはＰピクチャのマクロブロックがスキップマ
クロブロックであるかどうかを示すものであるが、フラ
グＭＯＤＢは、Ｂピクチャのマクロブロックがスキップ
マクロブロックであるかどうかを示すものである。
【０２２６】また、ＶＬＣ器３６には、量子化係数、量
子化ステップ、動きベクトル、および予測モードの他、
倍率ＦＲ、フラグｒｅｆ＿ｓｅｒｅｃｔ＿ｃｏｄｅ，ｒ
ｅｆ＿ｌａｙｅｒ＿ｉｄ、サイズデータＦＳＺ＿Ｅ、オ
フセットデータＦＰＯＳ＿Ｅ、およびキー信号符号化部
５１の出力も供給されるようになされており、ＶＬＣ器
３６では、これらのデータがすべて可変長符号化されて
出力される。
【０２２７】一方、動きベクトルの検出されたマクロブ
ロックは符号化された後、やはり上述したように局所復
号され、フレームメモリ４１に記憶される。そして、動
き補償器４２において、動きベクトル検出器３２におけ
る場合と同様にして、フレームメモリ４１に記憶され
た、局所復号された上位レイヤのＶＯＰだけでなく、フ
レームメモリ５２に記憶された、局所復号されて拡大さ
れた下位レイヤのＶＯＰをも参照画像として用いて動き
補償が行われ、予測画像が生成される。
【０２２８】即ち、動き補償器４２には、動きベクトル
および予測モードの他、フラグｒｅｆ＿ｓｅｒｅｃｔ＿
ｃｏｄｅ，ｒｅｆ＿ｌａｙｅｒ＿ｉｄ、復号キー信号、
倍率ＦＲ、サイズデータＦＳＺ＿Ｂ，ＦＳＺ＿Ｅ、オフ
セットデータＦＰＯＳ＿Ｂ，ＦＰＯＳ＿Ｅが供給される
ようになされており、動き補償器４２は、フラグｒｅｆ
＿ｓｅｒｅｃｔ＿ｃｏｄｅ，ｒｅｆ＿ｌａｙｅｒ＿ｉｄ
に基づいて、動き補償すべき参照画像を認識し、さら
に、参照画像として、局所復号された上位レイヤのＶＯ
Ｐ、または拡大画像を用いる場合には、その絶対座標系
における位置と大きさを、サイズデータＦＳＺ＿Ｅおよ
びオフセットデータＦＰＯＳ＿Ｅ、またはサイズデータ
ＦＳＺ＿ＢおよびオフセットデータＦＰＯＳ＿Ｂに基づ
いて認識し、必要に応じて、倍率ＦＲと復号キー信号を
用いて予測画像を生成する。
【０２２９】一方、上位レイヤのＶＯＰのキー信号は、
キー信号符号化部５１に供給される。キー信号符号化部
５１では、例えば、図１１のキー信号符号化部４３にお
ける場合と同様にして、キー信号が符号化され、ＶＬＣ
器３６およびキー信号復号部５３に供給される。キー信
号復号部５３では、キー信号符号化部５１によるキー信
号の符号化結果が復号される。この復号化されたキー信
号は、上述したように、動きベクトル検出器３２および
動き補償器４２に供給され、上位レイヤのＶＯＰの抜き
出しに用いられる。
【０２３０】次に、図１６は、図１のエンコーダから出
力されるビットストリームを復号化するデコーダの一実
施の形態の構成を示している。
【０２３１】図１のエンコーダから出力され、伝送路５
を介して伝送されてくるビットストリームは、図示せぬ
受信装置で受信され、あるいは、記録媒体６に記録され
たビットストリームは、図示せぬ再生装置で再生され、
逆多重化部７１に供給される。
【０２３２】逆多重化部７１では、そこに入力されたビ
ットストリームが、ＶＯごとのビットストリームＶＯ
１，ＶＯ２，・・・に分離され、それぞれ、対応するＶ
ＯＰ復号部７２nに供給される。ＶＯＰ復号部７２nで
は、逆多重化部７１からのビットストリームから、ＶＯ
を構成するＶＯＰ（画像データ）、キー信号、サイズデ
ータ（VOP size）、およびオフセットデータ（VOP offs
et）が復号され、画像再構成部７３に供給される。
【０２３３】画像再構成部７３では、ＶＯＰ復号部７２
1乃至７２Nそれぞれからの出力に基づいて、元の画像が
再構成される。この再構成された画像は、例えば、モニ
タ７４に供給されて表示される。
【０２３４】次に、図１７は、図１６のＶＯＰ復号部７
２nの基本的な構成例を示している。
【０２３５】逆多重化部７１（図１６）からのビットス
トリームは、逆多重化部８１に入力され、そこで、キー
信号情報と、動きおよびテクスチャの情報とが抽出され
る。そして、キー信号情報はキー信号復号部８２に供給
され、また、動きおよびテクスチャの情報は画像信号復
号部８３に供給される。さらに、逆多重化部７１では、
そこに入力されるビットストリームから、サイズデータ
（VOP size）およびオフセットデータ（VOP offset）が
抽出され、画像再構成部７３（図１６）に供給される。
【０２３６】キー信号復号部８２または画像信号復号部
８３では、キー信号情報、または動きおよびテクスチャ
の情報それぞれが復号され、その結果得られるキー信
号、またはＶＯＰの画像データ（輝度信号および色差信
号）が、画像再構成部７３に供給される。
【０２３７】なお、図３のキー信号符号化部１２におい
て、キー信号を、画像信号符号化部１１において検出さ
れた動きベクトルにしたがって動き補償することによ
り、その符号化を行った場合には、画像信号復号部８３
において画像を復号するのに用いた動きベクトルは、キ
ー信号復号部８２に供給され、これにより、キー信号復
号部８２では、その動きベクトルを用いて、キー信号の
復号が行われる。
【０２３８】次に、図１８は、スケーラビリティを実現
する、図１６のＶＯＰ復号部７２nの構成例を示してい
る。
【０２３９】逆多重化部７１（図１６）から供給される
ビットストリームは、逆多重化部９１に入力され、そこ
で、上位レイヤのＶＯＰのビットストリームと、下位レ
イヤのＶＯＰのビットストリームとに分離される。上位
レイヤのＶＯＰのビットストリームは、遅延回路９２に
おいて、下位レイヤ復号部９５における処理の時間だけ
遅延された後、上位レイヤ復号部９３に供給され、ま
た、下位レイヤのＶＯＰのビットストリームは、下位レ
イヤ復号部９５に供給される。
【０２４０】下位レイヤ復号部９５では、下位レイヤの
ビットストリームが復号され、その結果得られる下位レ
イヤの復号画像およびキー信号が解像度変換部９４に供
給される。また、下位レイヤ復号部９５は、下位レイヤ
のビットストリームを復号することにより得られるサイ
ズデータＦＳＺ＿Ｂ、オフセットデータＦＰＯＳ＿Ｂ、
動きベクトル（ＭＶ）、予測モード、フラグＣＯＤなど
の、上位レイヤのＶＯＰを復号するのに必要な情報を、
上位レイヤ復号部９３に供給する。
【０２４１】上位レイヤ復号部９３では、遅延回路９２
を介して供給される上位レイヤのビットストリームが、
下位レイヤ復号部９５および解像度変換部９４の出力を
必要に応じて参照することにより復号化され、その結果
得られる上位レイヤの復号画像、キー信号、サイズデー
タＦＳＺ＿Ｅ、およびオフセットデータＦＰＯＳ＿Ｅが
出力される。さらに、上位レイヤ復号部９３は、上位レ
イヤのビットストリームを復号することにより得られる
倍率ＦＲを、解像度変換部９４に出力する。解像度変換
部９４では、上位レイヤ復号部９３からの倍率ＦＲを用
いて、図４における解像度変換部２４における場合と同
様にして、下位レイヤの復号画像が変換される。この変
換により得られる拡大画像は、上位レイヤ復号部９３に
供給され、上述したように、上位レイヤのビットストリ
ームの復号に用いられる。
【０２４２】次に、図１９は、図１８の下位レイヤ復号
部９５の構成例を示している。なお、図中、図４３のデ
コーダにおける場合と対応する部分については、同一の
符号を付してある。即ち、下位レイヤ復号部９５は、キ
ー信号復号部１０８が新たに設けられている他は、図４
３のデコーダと基本的に同様に構成されている。
【０２４３】逆多重化部９１からの下位レイヤのビット
ストリームは、バッファ１０１に供給されて記憶され
る。ＩＶＬＣ器１０２は、その後段のブロックの処理状
態に対応して、バッファ１０１からビットストリームを
適宜読み出し、そのビットストリームを可変長復号化す
ることで、量子化係数、動きベクトル、予測モード、量
子化ステップ、キー信号の符号化データ、サイズデータ
ＦＳＺ＿Ｂ、オフセットデータＦＰＯＳ＿Ｂ、およびフ
ラグＣＯＤなどを分離する。量子化係数および量子化ス
テップは、逆量子化器１０３に供給され、動きベクトル
および予測モードは、動き補償器１０７と上位レイヤ復
号部９３（図１８）に供給される。また、サイズデータ
ＦＳＺ＿ＢおよびオフセットデータＦＰＯＳ＿Ｂは、動
き補償器１０７、キー信号復号部１０８、画像再構成部
７３（図１６）、および上位レイヤ復号部９３に供給さ
れ、フラグＣＯＤは、上位レイヤ復号部９３に供給され
る。さらに、キー信号の符号化データは、キー信号復号
部１０８に供給される。
【０２４４】逆量子化器１０３、ＩＤＣＴ器１０４、演
算器１０５、フレームメモリ１０６、または動き補償器
１０７では、図１１の下位レイヤ符号化部２５の逆量子
化器３８、ＩＤＣＴ器３９、演算器４０、フレームメモ
リ４１、または動き補償器４２における場合とそれぞれ
同様の処理が行われることで、下位レイヤのＶＯＰが復
号され、画像再構成部７３、上位レイヤ復号部９３、お
よび解像度変換部９４（図１８）に供給される。
【０２４５】また、キー信号復号部１０８では、やはり
図１１の下位レイヤ符号化部２５のキー信号復号部４４
における場合と同様の処理が行われることで、キー信号
の符号化データが復号され、その結果得られるキー信号
が、画像再構成部７３、上位レイヤ復号部９３、および
解像度変換部９４に供給される。
【０２４６】次に、図２０は、図１８の上位レイヤ復号
部９３の構成例を示している。なお、図中、図４３にお
ける場合と対応する部分については、同一の符号を付し
てある。即ち、上位レイヤ復号部９３は、キー信号復号
部１１１およびフレームメモリ１１２が新たに設けられ
ている他は、基本的に、図４３のエンコーダと同様に構
成されている。
【０２４７】逆多重化部９１からの上位レイヤのビット
ストリームは、バッファ１０１を介してＩＶＬＣ器１０
２に供給される。ＩＶＬＣ器１０２は、上位レイヤのビ
ットストリームを可変長復号化することで、量子化係
数、動きベクトル、予測モード、量子化ステップ、キー
信号の符号化データ、サイズデータＦＳＺ＿Ｅ、オフセ
ットデータＦＰＯＳ＿Ｅ、倍率ＦＲ、フラグｒｅｆ＿ｌ
ａｙｅｒ＿ｉｄ，ｒｅｆ＿ｓｅｌｅｃｔ＿ｃｏｄｅ，Ｃ
ＯＤ，ＭＯＤＢなどを分離する。量子化係数および量子
化ステップは、図１９における場合と同様に、逆量子化
器１０３に供給され、動きベクトルおよび予測モード
は、動き補償器１０７に供給される。また、サイズデー
タＦＳＺ＿ＥおよびオフセットデータＦＰＯＳ＿Ｅは、
動き補償器１０７、キー信号復号部１０８、および画像
再構成部７３（図１６）に供給され、フラグＣＯＤ，Ｍ
ＯＤＢ，ｒｅｆ＿ｌａｙｅｒ＿ｉｄ、およびｒｅｆ＿ｓ
ｅｌｅｃｔ＿ｃｏｄｅは、動きベクトル検出器１０７に
供給される。さらに、キー信号の符号化データは、キー
信号復号部１１１に供給され、倍率ＦＲは、動き補償器
１０７および解像度変換部９４（図１８）に供給され
る。
【０２４８】なお、動き補償器１０７には、上述したデ
ータの他、下位レイヤ復号部９５（図１８）から、下位
レイヤの動きベクトル、フラグＣＯＤ、サイズデータＦ
ＳＺ＿Ｂ、およびオフセットデータＦＰＯＳ＿Ｂが供給
されるようになされている。また、フレームメモリ１１
２には、解像度変換部９４から拡大画像が供給される。
【０２４９】逆量子化器１０３、ＩＤＣＴ器１０４、演
算器１０５、フレームメモリ１０６、動き補償器１０
７、またはフレームメモリ１１２では、図１２の上位レ
イヤ符号化部２３の逆量子化器３８、ＩＤＣＴ器３９、
演算器４０、フレームメモリ４１、動き補償器４２、ま
たはフレームメモリ５２における場合とそれぞれ同様の
処理が行われることで、上位レイヤのＶＯＰが復号さ
れ、画像再構成部７３に供給される。
【０２５０】また、キー信号復号部１１１では、やはり
図１２の上位レイヤ符号化部２３のキー信号復号部５３
における場合と同様の処理が行われることで、キー信号
の符号化データが復号され、その結果得られるキー信号
が、画像再構成部７３に供給される。
【０２５１】ここで、以上のように構成される上位レイ
ヤ復号部９３および下位レイヤ復号部９５を有するＶＯ
Ｐ復号部７２nにおいては、上位レイヤについての復号
画像、キー信号、サイズデータＦＳＺ＿Ｅ、およびオフ
セットデータＦＰＯＳ＿Ｅ（以下、適宜、これらをすべ
て含めて、上位レイヤデータという）と、下位レイヤに
ついての上位レイヤについての復号画像、キー信号、サ
イズデータＦＳＺ＿Ｂ、およびオフセットデータＦＰＯ
Ｓ＿Ｂ（以下、適宜、これらをすべて含めて、下位レイ
ヤデータという）が得られるが、画像再構成部７３で
は、この上位レイヤデータまたは下位レイヤデータか
ら、例えば、次のようにして画像が再構成されるように
なされている。
【０２５２】即ち、例えば、第１の空間スケーラビリテ
ィ（図５）が行われた場合（入力されたＶＯＰ全体が上
位レイヤとされるとともに、そのＶＯＰ全体を縮小した
ものが下位レイヤされた場合）において、下位レイヤデ
ータおよび上位レイヤデータの両方のデータが復号され
たときには、画像再構成部７３は、上位レイヤデータの
みに基づき、サイズデータＦＳＺ＿Ｅに対応する大きさ
の上位レイヤの復号画像（ＶＯＰ）を、必要に応じて、
そのキー信号で抜き出し、オフセットデータＦＰＯＳ＿
Ｅによって示される位置に配置する。また、例えば、上
位レイヤのビットストリームにエラーが生じたり、ま
た、モニタ７４が、低解像度の画像にしか対応していな
いため、下位レイヤデータのみの復号が行われたときに
は、画像再構成部７３は、その下位レイヤデータのみに
基づき、サイズデータＦＳＺ＿Ｂに対応する大きさの上
位レイヤの復号画像（ＶＯＰ）を、必要に応じて、その
キー信号で抜き出し、オフセットデータＦＰＯＳ＿Ｂに
よって示される位置に配置する。
【０２５３】また、例えば、第２の空間スケーラビリテ
ィ（図６）が行われた場合（入力されたＶＯＰの一部が
上位レイヤとされるとともに、そのＶＯＰ全体を縮小し
たものが下位レイヤとされた場合）において、下位レイ
ヤデータおよび上位レイヤデータの両方のデータが復号
されたときには、画像再構成部７３は、サイズデータＦ
ＳＺ＿Ｂに対応する大きさの下位レイヤの復号画像を、
倍率ＦＲにしたがって拡大し、その拡大画像を生成す
る。さらに、画像再構成部７３は、オフセットデータＦ
ＰＯＳ＿ＢをＦＲ倍し、その結果得られる値に対応する
位置に、拡大画像を配置する。そして、画像再構成部７
３は、サイズデータＦＳＺ＿Ｅに対応する大きさの上位
レイヤの復号画像を、オフセットデータＦＰＯＳ＿Ｅに
よって示される位置に配置する。
【０２５４】この場合、上位レイヤの復号画像の部分
が、それ以外の部分に比較して高い解像度で表示される
ことになる。
【０２５５】なお、上位レイヤの復号画像を配置する場
合、その復号画像と、拡大画像とは合成されることにな
るが、この合成は、上位レイヤのキー信号を用いて行わ
れる。
【０２５６】また、図１８（図１６）には図示しなかっ
たが、上位レイヤ復号部９３（ＶＯＰ復号部７２n）か
ら画像再構成部７３に対しては、上述したデータの他、
倍率ＦＲも供給されるようになされており、画像再構成
部７３は、これを用いて、拡大画像を生成するようにな
されている。
【０２５７】一方、第２の空間スケーラビリティが行わ
れた場合において、下位レイヤデータのみが復号された
ときには、上述の第１の空間スケーラビリティが行われ
た場合と同様にして、画像が再構成される。
【０２５８】さらに、第３の空間スケーラビリティ（図
７、図８）が行われた場合（入力されたＶＯＰを構成す
る物体ごとに、その物体全体を上位レイヤとするととも
に、その物体全体を間引いたものを下位レイヤとした場
合）においては、上述の第２の空間スケーラビリティが
行われた場合と同様にして、画像が再構成される。
【０２５９】上述したように、オフセットデータＦＰＯ
Ｓ＿ＢおよびＦＰＯＳ＿Ｅは、下位レイヤの拡大画像お
よび上位レイヤの画像を構成する、対応する画素どうし
が、絶対座標系において同一の位置に配置されるように
なっているため、以上のように画像を再構成すること
で、正確な（位置ずれのない）画像を得ることができ
る。
【０２６０】次に、スケーラビリティにおけるシンタク
スについて、例えば、ＭＰＥＧ４ＶＭ（Verification M
odel）を例に説明する。
【０２６１】図２１は、スケーラビリティの符号化によ
って得られるビットストリームの構成を示している。
【０２６２】ビットストリームは、ＶＳ（Video Sessio
n Class）を単位として構成され、各ＶＳは、１以上の
ＶＯ（Video Object Class）から構成される。そして、
ＶＯは、１以上のＶＯＬ（Video Object Layer Class）
から構成され（画像を階層化しないときは１のＶＯＬで
構成され、画像を階層化する場合には、その階層数だけ
のＶＯＬで構成される）、ＶＯＬは、ＶＯＰから構成さ
れる。
【０２６３】図２２または図２３は、ＶＳまたはＶＯの
シンタクスをそれぞれ示している。ＶＯは、画像全体ま
たは画像の一部（物体）のシーケンスに対応するビット
ストリームであり、従って、ＶＳは、そのようなシーケ
ンスの集合で構成される（よって、ＶＳは、例えば、一
本の番組に相当する）。
【０２６４】図２４は、ＶＯＬのシンタクスを示してい
る。
【０２６５】ＶＯＬは、スケーラビリティのためのクラ
スであり、video_object_layer_id（図２４において、
Ａ１で示す部分）で示される番号によって識別される。
即ち、例えば、下位レイヤのＶＯＬについてのvideo_ob
ject_layer_idは０とされ、また、例えば、上位レイヤ
のＶＯＬについてのvideo_object_layer_idは１とされ
る。なお、上述したように、スケーラブルのレイヤの数
は２に限られることなく、３以上の任意とすることがで
きる。
【０２６６】また、各ＶＯＬについて、それが画像全体
であるのか、画像の一部であるのかは、video_object_l
ayer_shape（図２４において、Ａ２で示す部分）で識別
される。このvideo_object_layer_shapeは、ＶＯＬの形
状を示すフラグで、例えば、以下のように設定される。
【０２６７】即ち、ＶＯＬの形状が長方形状であると
き、video_object_layer_shapeは、例えば「００」とさ
れる。また、ＶＯＬが、ハードキー（０または１のうち
のいずれか一方の値をとる２値（Binary）の信号）によ
って抜き出される領域の形状をしているとき、video_ob
ject_layer_shapeは、例えば「０１」とされる。さら
に、ＶＯＬが、ソフトキー（０乃至１の範囲の連続した
値（Gray-Scale）をとることが可能な信号）によって抜
き出される領域の形状をしているとき（ソフトキーを用
いて合成されるものであるとき）、video_object_layer
_shapeは、例えば「１０」とされる。
【０２６８】ここで、video_object_layer_shapeが「０
０」とされるのは、ＶＯＬの形状が長方形状であり、か
つ、そのＶＯＬの絶対座標形における位置および大きさ
が、時間とともに変化しない、即ち、一定の場合であ
る。なお、この場合、その大きさ（横の長さと縦の長
さ）は、video_object_layer_widthとvideo_object_lay
er_height（図２４において、Ａ７で示す部分）によっ
て示される。video_object_layer_widthおよびvideo_ob
ject_layer_heightは、いずれも１０ビットの固定長の
フラグで、video_object_layer_shapeが「００」の場合
には、最初に、一度だけ伝送される（これは、video_ob
ject_layer_shapeが「００」の場合、上述したように、
ＶＯＬの絶対座標系における大きさが一定であるからで
ある）。
【０２６９】また、ＶＯＬが、下位レイヤまたは上位レ
イヤのうちのいずれであるかは、１ビットのフラグであ
るscalability（図２４において、Ａ３で示す部分）に
よって示される。ＶＯＬが下位レイヤの場合、scalabil
ityは、例えば１とされ、それ以外の場合、scalability
は、例えば０とされる。
【０２７０】さらに、ＶＯＬが、自身以外のＶＯＬにお
ける画像を参照画像として用いる場合、その参照画像が
属するＶＯＬは、上述したように、ref_layer_id（図２
４において、Ａ４で示す部分）で表される。なお、ref_
layer_idは、上位レイヤについてのみ伝送される。
【０２７１】また、図２４においてＡ５で示すhor_samp
ling_factor_nとhor_sampling_factor_mは、下位レイヤ
のＶＯＰの水平方向の長さに対応する値と、上位レイヤ
のＶＯＰの水平方向の長さに対応する値をそれぞれ示
す。従って、下位レイヤに対する上位レイヤの水平方向
の長さ（水平方向の解像度の倍率）は、式hor_sampling
_factor_n/hor_sampling_factor_mで与えられる。
【０２７２】さらに、図２４においてＡ６で示すver_sa
mpling_factor_nとver_sampling_factor_mは、下位レイ
ヤのＶＯＰの垂直方向の長さに対応する値と、上位レイ
ヤのＶＯＰの垂直方向の長さに対応する値をそれぞれ示
す。従って、下位レイヤに対する上位レイヤの垂直方向
の長さ（垂直方向の解像度の倍率）は、式ver_sampling
_factor_n/ver_sampling_factor_mで与えられる。
【０２７３】次に、図２５は、ＶＯＰ（Video Object P
lane Class）のシンタクスを示している。
【０２７４】ＶＯＰの大きさ（横と縦の長さ）は、例え
ば、１０ビット固定長のVOP_widthとVOP_height（図２
５において、Ｂ１で示す部分）で表される。また、ＶＯ
Ｐの絶対座標系における位置は、例えば、１０ビット固
定長のVOP_horizontal_spatial_mc_ref（図２５におい
て、Ｂ２で示す部分）とVOP_vertical_mc_ref（図２５
において、Ｂ３で示す部分）で表される。なお、VOP_wi
dthまたはVOP_heightは、ＶＯＰの水平方向または垂直
方向の長さをそれぞれ表し、これらは、上述のサイズデ
ータＦＳＺ＿ＢやＦＳＺ＿Ｅに相当する。また、VOP_ho
rizontal_spatial_mc_refまたはVOP_vertical_mc_ref
は、ＶＯＰの水平方向または垂直方向の座標（ｘまたは
ｙ座標）をそれぞれ表し、これらは、上述のオフセット
データＦＰＯＳ＿ＢやＦＰＯＳ＿Ｅに相当する。
【０２７５】VOP_width，VOP_height，VOP_horizontal_
spatial_mc_ref、およびVOP_vertical_mc_refは、video
_object_layer_shapeが「００」以外の場合にのみ伝送
される。即ち、video_object_layer_shapeが「００」の
場合、上述したように、ＶＯＰの大きさおよび位置はい
ずれも一定であるから、VOP_width，VOP_height，VOP_h
orizontal_spatial_mc_ref、およびVOP_vertical_mc_re
fは伝送する必要がない。この場合、受信側では、ＶＯ
Ｐは、その左上の頂点が、例えば、絶対座標系の原点に
一致するように配置され、また、その大きさは、図２４
で説明したvideo_object_layer_widthおよびvideo_obje
ct_layer_heightから認識される。
【０２７６】図２５においてＢ４で示すref_select_cod
eは、図１５で説明したように、参照画像として用いる
画像を表すもので、同図に示すように、ＶＯＰのシンタ
クスにおいて規定されている。
【０２７７】次に、図２６は、ＶＯＰ（Video Object P
lane Class）のシンタクスの他の例を示している。
【０２７８】この実施の形態においても、図２５におけ
る場合と同様に、ＶＯＰの大きさおよび位置に関する情
報は、video_object_layer_shapeが「００」以外の場合
に伝送される。
【０２７９】但し、この実施の形態では、video_object
_layer_shapeが「００」以外の場合、今回伝送するＶＯ
Ｐの大きさが、前回伝送したＶＯＰの大きさと等しいか
どうかを示す１ビットのフラグload_VOP_size（図２６
において、Ｃ１で示す部分）が伝送される。このload_V
OP_sizeは、今回のＶＯＰの大きさが、直前に復号化さ
れるＶＯＰの大きさと等しい場合、または等しくない場
合、例えば、それぞれ０または１とされる。
【０２８０】そして、load_VOP_sizeが０の場合、VOP_w
idth，VOP_height（図２６において、Ｃ２で示す部分）
は伝送されず、また、load_VOP_sizeが１の場合のみ、V
OP_width，VOP_heightは伝送される。ここで、VOP_widt
h，VOP_heightは、図２５で説明したものと同様のもの
である。
【０２８１】なお、図２５や図２６において、VOP_widt
hまたはVOP_heightとしては、今回のＶＯＰの横の長さ
または縦の長さと、直前に復号されるＶＯＰの横の長さ
または縦の長さとの差分値（以下、適宜、大きさ差分と
いう）それぞれを用いることが可能である。
【０２８２】実際の画像では、ＶＯＰの大きさが変化す
る頻度はそれほど多くなく、従って、load_VOP_sizeが
１の場合のみ、VOP_width，VOP_heightを伝送するよう
にすることで、冗長なビットを削減することが可能とな
る。また、大きさ差分を用いる場合には、さらに、情報
量の低減化を図ることが可能となる。
【０２８３】なお、大きさ差分を用いる場合、その算出
は、図１１および図１２におけるＶＬＣ器３６において
行われ、さらに、このＶＬＣ器３６では、大きさ差分
が、例えば可変長符号化されて出力される。また、この
場合、図１９および図２０のＩＶＬＣ器１０２では、大
きさ差分と、直前に復号されたＶＯＰの大きさとを加算
することで、今回復号するＶＯＰの大きさが認識され
る。
【０２８４】一方、ＶＯＰの位置に関する情報について
は、絶対座標系における座標そのものではなく、今回の
ＶＯＰの座標と直前に復号されるＶＯＰ（前回のＶＯ
Ｐ）の座標との差分値（以下、適宜、位置差分という）
が、diff_VOP_horizontal_ref，diff_VOP_vertical_ref
（図２６において、Ｃ３で示す部分）によって伝送され
る。
【０２８５】ここで、直前に復号されるＶＯＰの絶対座
標系におけるｘまたはｙ座標をVOP_horizontal_mc_spat
ial_ref_prevまたはVOP_vertical_mc_spatial_ref_prev
と表すとき、diff_VOP_horizontal_refまたはdiff_VOP_
vertical_refは、図１１および図１２におけるＶＬＣ器
３６において、図２５に示したVOP_hirizontal_mc_spat
ial_refまたはVOP_vertical_mc_spatial_refを用い、次
式にしたがって、それぞれ計算される。
【０２８６】 diff_VOP_horizontal_ref=VOP_hirizontal_mc_spatial_ref -VOP_horizontal_mc_spatial_ref_prev diff_VOP_vertical_ref=VOP_vertical_mc_spatial_ref -VOP_vertical_mc_spatial_ref_prev
【０２８７】なお、図１１および図１２におけるＶＬＣ
器３６では、diff_VOP_horizontal_ref，diff_VOP_vert
ical_refは、それぞれ可変長符号化されて出力される。
【０２８８】即ち、ＶＬＣ器３６では、まず、diff_VOP
_horizontal_refまたはdiff_VOP_vertical_refに対応し
て、図２６においてＣ４で示す位置に配置されるdiff_s
ize_horizontalまたはdiff_size_verticalが、図２７に
示すテーブルにしたがって求められ、可変長符号（Cod
e）にそれぞれ変換される。さらに、ＶＬＣ器３６で
は、diff_VOP_horizontal_refまたはdiff_VOP_vertical
_refが、diff_size_horizontalまたはdiff_size_vertic
alに対応して、図２８に示すテーブルにしたがって可変
長符号（Code）にそれぞれ変換される。そして、このよ
うに可変長符号に変換されたdiff_VOP_horizontal_re
f，diff_VOP_vertical_ref，diff_size_horizontal、お
よびdiff_size_verticalが、他のデータに多重化されて
伝送される。
【０２８９】この場合、図１９および図２０のＩＶＬＣ
器１０２では、diff_size_horizontalまたはdiff_size_
verticalから、diff_VOP_horizontal_refまたはdiff_VO
P_vertical_refの可変長符号の長さが認識され、その認
識結果に基づいて、それぞれ可変長復号される。
【０２９０】以上のように、位置差分を伝送する場合に
おいは、図２５における場合に比較して、やはり情報量
を低減することが可能となる。
【０２９１】なお、図２６においてＣ５で示すref_sele
ct_codeは、図２５で説明したものと同様のものであ
る。
【０２９２】次に、図２９は、マクロブロックのシンタ
クスを示している。
【０２９３】まず、図２９（Ａ）は、ＩまたはＰピクチ
ャ（ＶＯＰ）を構成するマクロブロックのシンタクスを
示しており、先頭のｆｉｒｓｔ＿ＭＭＲ＿ｃｏｄｅの後
に配置されるフラグＣＯＤは、そのＣＯＤより後に配置
されているデータがあるかどうかを示す。
【０２９４】即ち、図１１の下位レイヤ符号化部２５お
よび図１２の上位レイヤ符号化部２３を構成するＶＬＣ
器３６は、ＩまたはＰピクチャを構成するマクロブロッ
クについて得られるＤＣＴ係数（ＤＣＴ係数の量子化結
果）が、すべて０であり、かつその動きベクトルが０の
とき、そのＩまたはＰピクチャのマクロブロックをスキ
ップマクロブロックとし、この場合、ＣＯＤを１とす
る。従って、ＣＯＤが１の場合には、そのマクロブロッ
クについて伝送すべきデータが存在しないため、フラグ
ＣＯＤより後のデータは伝送されない。
【０２９５】一方、ＩまたはＰピクチャのＤＣＴ係数
に、０以外のＡＣ成分が存在するとき、ＶＬＣ器３６で
は、フラグＣＯＤが０とされ、その後に続くデータが必
要に応じて伝送される。なお、フラグＣＯＤの後に配置
されるＭＣＢＰＣは、マクロブロックのタイプを示すも
ので、このＭＣＢＰＣにしたがって、それに続く必要な
データが伝送される。
【０２９６】ここで、Ｉピクチャがスキップマクロブロ
ックとなる場合は、基本的にはないので、Ｉピクチャに
ついてのＣＯＤは伝送されない（伝送しないようにする
ことができる）。
【０２９７】次に、図２９（Ｂ）は、Ｂピクチャ（ＶＯ
Ｐ）を構成するマクロブロックのシンタクスを示してお
り、先頭のｆｉｒｓｔ＿ＭＭＲ＿ｃｏｄｅの後に配置さ
れるフラグＭＯＤＢは、図２９（Ａ）におけるフラグＣ
ＯＤに対応し、そのＭＯＤＢより後に配置されているデ
ータがあるかどうか、即ち、Ｂピクチャのマクロブロッ
クのタイプを表す。
【０２９８】図１１および図１２のＶＬＣ器３６では、
ＭＯＤＢは、例えば、図３０に示すような可変長符号に
符号化されて伝送される。
【０２９９】即ち、本実施の形態では、ＭＯＤＢを可変
長符号化するためのテーブル（可変長符号化するための
テーブルは、その可変長符号を可変長復号化するために
も用いられるので、以下、適宜、その両方を含めて可変
長テーブルという）として、図３０（Ａ）および図３０
（Ｂ）に示す２種類が用意されており、図３０（Ａ）の
可変長テーブル（以下、適宜、ＭＯＤＢテーブルＡとい
う）においては、ＭＯＤＢについて３つの可変長符号
が、また、図３０（Ｂ）の可変長テーブル（以下、適
宜、ＭＯＤＢテーブルＢという）においては、ＭＯＤＢ
について２つの可変長符号が割り当てられている。
【０３００】図１１および図１２のＶＬＣ器３６は、Ｍ
ＯＤＢテーブルＡを用いる場合、Ｂピクチャを構成する
マクロブロックが、それが復号されるまでに復号され
る、他のフレームのマクロブロックについてのデータ
（量子化係数や動きベクトルなど）だけを用いて復号す
ることができるか、または、その直前に復号されるＩま
たはＰピクチャの、対応する位置におけるマクロブロッ
ク（いま処理をしようとしているＢピクチャのマクロブ
ロックの位置と同一の位置にあるＩまたはＰピクチャの
マクロブロック）がスキップマクロブロックであるとき
（ＣＯＤが１のとき）、そのＢピクチャのマクロブロッ
クをスキップマクロブロックとし、ＭＯＤＢを０とす
る。そして、この場合、ＭＢＴＹＰＥおよびＣＢＰＢを
含む、ＭＯＤＢより後のデータは伝送されない。
【０３０１】また、マクロブロックについてのＤＣＴ係
数（量子化されたＤＣＴ係数）がすべて、例えば０など
の同一の値であるが、そのマクロブロックについての動
きベクトルが存在する場合（動きベクトルを伝送する必
要がある場合）、ＭＯＤＢは「１０」とされ、その後に
続くＭＢＴＹＰＥが伝送される。
【０３０２】さらに、マクロブロックについての少なく
とも１つのＤＣＴ係数が０でなく（ＤＣＴ係数が存在
し）、そのマクロブロックについての動きベクトルが存
在する場合、ＭＯＤＢは「１１」とされ、その後に続く
ＭＢＴＹＰＥおよびＣＢＰＢが伝送される。
【０３０３】ここで、ＭＢＴＹＰＥは、マクロブロック
の予測モードおよびそのマクロブロックに含まれるデー
タ（フラグ）を示すものであり、また、ＣＢＰＢは、マ
クロブロック中のどのブロックにＤＣＴ係数が存在する
かを示す６ビットのフラグである。即ち、マクロブロッ
クは、図３１に示すように、４個の輝度信号についての
８×８画素のブロックと、色差信号Ｃｂ，Ｃｒについて
の８×８画素のブロックとの合計で６個のブロックで構
成され、図１１および図１２のＤＣＴ器３４では、この
ブロックごとにＤＣＴ処理が施されるが、図１１および
図１２のＶＬＣ器３６では、６ビットのＣＢＰＢの各ビ
ットが、６個のブロックそれぞれにおけるＤＣＴ係数が
存在するかどうかで０または１とされる。
【０３０４】具体的には、マクロブロックを構成する６
個のブロックについて、例えば、図３１に示すように、
１乃至６のブロック番号が設定されているものとする
と、ＶＬＣ器３６は、例えば、ＣＢＰＢの第Ｎビット
（ここでは、例えば、最下位ビットを第１ビットとし、
最上位ビットを第６ビットとする）を、ブロック番号Ｎ
のブロックにＤＣＴ係数が存在しない場合に０とし、存
在する場合に１とする。従って、ＣＢＰＢが０（「００
００００」）である場合、そのマクロブロックについて
のＤＣＴ係数は存在しないことを意味する。
【０３０５】一方、図１１および図１２のＶＬＣ器３６
において、ＭＯＤＢテーブルＢ（図３０（Ｂ））が用い
られる場合、ＭＯＤＢは、ＭＯＤＢテーブルＡが用いら
れる場合に「１０」または「１１」とされるときに、そ
れぞれ「０」または「１０」とされる。従って、ＭＯＤ
ＢテーブルＢが用いられる場合は、スキップマクロブロ
ックは生じない。
【０３０６】次に、ＭＢＴＹＰＥは、図１１および図１
２のＶＬＣ器３６において、例えば、図３２に示すよう
な可変長符号に符号化されて伝送される。
【０３０７】即ち、本実施の形態では、ＭＢＴＹＰＥの
ための可変長テーブルとして、図３２（Ａ）および図３
２（Ｂ）に示す２種類が用意されており、図３２（Ａ）
の可変長テーブル（以下、適宜、ＭＢＴＹＰＥテーブル
Ａという）においては、ＭＢＴＹＰＥについて４つの可
変長符号が、また、図３２（Ｂ）の可変長テーブル（以
下、適宜、ＭＢＴＹＰＥテーブルＢという）において
は、ＭＢＴＹＰＥについて３つの可変長符号が割り当て
られている。
【０３０８】図１１および図１２のＶＬＣ器３６は、Ｍ
ＢＴＹＰＥテーブルＡを用いる場合、予測モードが双方
向予測符号化モード（Interpolate MC + Q）であるとき
には、ＭＢＴＹＰＥを「０１」に可変長符号化する。そ
して、この場合、ＤＱＵＡＮＴ，ＭＶＤf，ＭＶＤbが伝
送される。ここで、ＤＱＵＡＮＴは量子化ステップを、
ＭＶＤｆまたはＭＶＤｂは前方向予測または後方向予測
に用いられる動きベクトルをそれぞれ示す。なお、ＤＱ
ＵＡＮＴとしては、量子化ステップそのものではなく、
今回の量子化ステップと前回の量子化ステップとの差分
を用いることが可能である。
【０３０９】また、予測モードが後方予測符号化モード
（Backward MC + Q）であるときには、ＭＢＴＹＰＥは
「００１」に可変長符号化され、ＤＱＵＡＮＴ，ＭＶＤ
bが伝送される。
【０３１０】さらに、予測モードが前方予測符号化モー
ド（Forward MC + Q）であるときには、ＭＢＴＹＰＥは
「０００１」に可変長符号化され、ＤＱＵＡＮＴ，ＭＶ
Ｄfが伝送される。
【０３１１】また、予測モードがＨ．２６３に規定され
ているダイレクトモード（Direct codingモード）であ
るときには、ＭＢＴＹＰＥは「１」とされ、ＭＶＤＢが
伝送される。
【０３１２】ここで、上述の場合においては、インター
符号化モードとして、前方予測符号化モード、後方予測
符号化モード、および両方光予測モードの３種類につい
てしか説明しなかったが、ＭＰＥＧ４では、この３種類
に、ダイレクトモードを加えた４種類が規定されてお
り、従って、図１１および図１２の動きベクトル検出器
３２では、Ｂピクチャについては、例えば、イントラ符
号化モード、前方予測符号化モード、後方予測符号化モ
ード、両方向予測モード、またはダイレクトモードのう
ちの、予測誤差を最も少なくするものが予測モードとし
て設定されるようになされている。なお、ダイレクトモ
ードについての詳細は後述する。
【０３１３】一方、図１１および図１２のＶＬＣ器３６
において、ＭＢＴＹＰＥテーブルＢ（図３２（Ｂ））が
用いられる場合、ＭＢＴＹＰＥは、ＭＰＴＹＰＥテーブ
ルＡが用いられる場合に「０１」、「００１」、または
「０００１」とされるときに、それぞれ「１」、「０
１」、または「００１」とされる。従って、ＭＢＴＹＰ
ＥテーブルＢが用いられる場合は、予測モードとしてダ
イレクトモードは設定されない。
【０３１４】次に、図３３を参照して、ダイレクトモー
ドについて説明する。
【０３１５】例えば、いま、ＶＯＰ０，ＶＯＰ１，ＶＯ
Ｐ２，ＶＯＰ３の順で表示される４つのＶＯＰが存在
し、ＶＯＰ０およびＶＯＰ３がＰピクチャ（Ｐ−ＶＯ
Ｐ）で、ＶＯＰ１およびＶＯＰ２がＢピクチャ（Ｂ−Ｖ
ＯＰ）であるとする。また、ＶＯＰ０，ＶＯＰ１，ＶＯ
Ｐ２およびＶＯＰ３は、ＶＯＰ０，ＶＯＰ３，ＶＯＰ
１，ＶＯＰ２の順で符号化／復号化されるものとする。
【０３１６】以上のような条件下において、例えば、Ｖ
ＯＰ１のダイレクトモードでの予測符号化は、次のよう
に行われる。
【０３１７】即ち、ＶＯＰ１の直前に符号化（復号化）
されるＰピクチャ、即ち、図３３の実施の形態ではＶＯ
Ｐ３において、これから符号化しようとするＶＯＰ１の
マクロブロック（符号化対象マクロブロック）と同一位
置にあるマクロブロック（対応マクロブロック）につい
ての動きベクトルをＭＶとするとき、ダイレクトモード
においては、この動きベクトルＭＶおよび所定のベクト
ルＭＶＤＢから、符号化対象マクロブロックを前方予測
符号化するための動きベクトルＭＶＦと、後方予測符号
化するための動きベクトルＭＶＢが、次式にしたがって
計算される。
【０３１８】 ＭＶＦ＝（ＴＲＢ×ＭＶ）／ＴＲＤ＋ＭＶＤＢ ＭＶＢ＝（ＴＲＢ−ＴＲＤ）×ＭＶ／ＴＲＤ 但し、動きベクトルＭＶＢが上式により計算されるの
は、ベクトルＭＶＤＢが０の場合で、このベクトルＭＶ
ＤＢが０でない場合には、動きベクトルＭＶＢは次式に
したがって計算される。 ＭＶＢ＝ＭＶＦ−ＭＶ なお、ＴＲＢは、ＶＯＰ１から、その直前に表示される
ＩまたはＰピクチャ（図３３の実施の形態ではＶＯＰ
０）までの距離を表し、ＴＲＤは、表示順で、ＶＯＰ１
の直前と直後にあるＩまたはＰピクチャ（図３３の実施
の形態ではＶＯＰ０とＶＯＰ３）の間隔を表す。
【０３１９】図１１および図１２の動きベクトル検出器
３２は、ＢピクチャのＶＯＰについては、ベクトルＭＶ
ＤＢを種々の値に変化させ（但し、ベクトルＭＶＤＢ
は、動きベクトルＭＶと方向が同一のベクトル）、例え
ば、上式にしたがって得られる動きベクトルＭＶＦおよ
びＭＶＢを用いて予測符号化を行うことにより生じる予
測誤差が、イントラ符号化モード、前方予測符号化モー
ド、後方予測符号化モード、および両方向予測モードの
うちのいずれのものよりも小さいとき、予測モードとし
てダイレクトモードを設定する。
【０３２０】なお、図３３の実施の形態においては、Ｔ
ＲＢ＝１，ＴＲＤ＝３とされており、従って、動きベク
トルＭＶＦは、ＭＶ／３＋ＭＶＤＢで与えられる。ま
た、動きベクトルＭＶＢは、ＭＶＤＢが０のときは２Ｍ
Ｖ／３で、ＭＶＤＢが０でないときは−２ＭＶ／３＋Ｍ
ＶＤＢで与えられる。
【０３２１】ところで、予測モードがダイレクトモード
とされた場合においては、符号化対象マクロブロックの
符号化／復号化に、最も最近に符号化／復号化されるＰ
ピクチャ（図３３の実施の形態ではＶＯＰ３）における
対応マクロブロックの動きベクトルＭＶが必要となる。
【０３２２】しかしながら、ＶＯＰは、その大きさおよ
び位置が変化する場合があり（上述したように、video_
object_layer_shapeが「１０」または「０１」の場
合）、この場合、対応マクロブロックが存在するとは限
らない。従って、大きさや位置が変化するＶＯＰを対象
とした符号化／復号化を行う場合においては、無条件に
ダイレクトモードを使用したのでは、処理をすることが
できなくなる状態が生じることになる。
【０３２３】そこで、本実施の形態では、ダイレクトモ
ードは、符号化対象マクロブロックを有するＶＯＰ（Ｂ
ピクチャのＶＯＰ）が、最も最近に復号されるＰピクチ
ャのＶＯＰと、その大きさが同一である場合のみ使用可
能とする。具体的には、上述したVOP_widthおよびVOP_h
eightで表されるＶＯＰの大きさが変化しない場合の
み、ダイレクトモードの使用を許可するようにする。
【０３２４】従って、ダイレクトモードに対応するＭＢ
ＴＹＰＥの可変長符号が定義されているＭＢＴＹＰＥテ
ーブルＡは、基本的には、符号化対象マクロブロックを
有するＢピクチャのＶＯＰの大きさと、最も最近に復号
されるＰピクチャのＶＯＰの大きさとが同一である場合
にのみ用いられる。
【０３２５】なお、ＭＯＤＢテーブルＡ（図３０
（Ａ））は、ＭＰＥＧ４において規定されており、ま
た、このＭＯＤＢテーブルＡを用いる場合においては、
ＭＯＤＢが「０」のときであって、図１５で説明したre
f_select_codeが「００」でないときは、予測モードを
ダイレクトモードとすることが規定されている。従っ
て、ＭＯＤＢテーブルＡも、基本的には、符号化対象マ
クロブロックを有するＢピクチャのＶＯＰの大きさと、
最も最近に復号されるＰピクチャのＶＯＰの大きさとが
同一である場合にのみ用いられる。
【０３２６】以上から、ＭＯＤＢテーブルＡおよびＭＢ
ＴＹＰＥテーブルＡが用いられる場合、ＭＯＤＢが
「０」か、または、ＭＢＴＹＰＥが「１」のとき、予測
モードはダイレクトモードとなる。
【０３２７】なお、video_object_layer_shapeが「０
０」の場合は、ＶＯＰの大きさは変化しないため、この
場合も、ＭＯＤＢテーブルＡおよびＭＢＴＹＰＥテーブ
ルＡが用いられることになる。
【０３２８】一方、符号化対象マクロブロックを有する
ＢピクチャのＶＯＰの大きさと、最も最近に復号される
ＰピクチャのＶＯＰの大きさとが異なる場合、ダイレク
トモードを使用することができないので、ＭＢＴＹＰＥ
は、ＭＢＴＹＰＥテーブルＢ（図３２（Ｂ））を用いて
可変長符号化／可変長復号化される。
【０３２９】また、符号化対象マクロブロックを有する
ＢピクチャのＶＯＰの大きさと、最も最近に復号される
ＰピクチャのＶＯＰの大きさとが異なる場合、少なくと
もＭＰＴＹＰＥは伝送する必要があるので、即ち、ＭＢ
ＴＹＰＥおよびＣＢＰＢの両方を伝送せずに済むことは
ないので、ＭＯＤＢは、ＭＢＴＹＰＥおよびＣＢＰＢの
両方を転送しない場合が定義されているＭＯＤＢテーブ
ルＡ（図３０（Ａ））ではなく、そのような場合が定義
されていないＭＯＤＢテーブルＢ（図３０（Ｂ））を用
いて可変長符号化／可変長復号化される。
【０３３０】以上のように、ＶＯＰの大きさの変化に対
応して、用いる可変長テーブルを選択（変更）すること
で、その符号化の結果得られるデータのデータ量を低減
することが可能となる。
【０３３１】即ち、ＭＯＤＢテーブルＡ（図３０
（Ａ））だけを用いた場合、ＭＯＤＢが１ビットの可変
長符号にされる場合が１通りと、２ビットの可変長符号
にされる場合が２通りだけ存在する。一方、ＭＯＤＢテ
ーブルＢ（図３０（Ｂ））を用いた場合、ＭＯＤＢが１
ビットの可変長符号にされる場合が１通りと、２ビット
の可変長符号にされる場合が１通りだけ存在する。従っ
て、ＭＯＤＢテーブルＡおよびＢの両方を用いる場合、
ＭＯＤＢテーブルＡだけを用いる場合に比較して、ＭＯ
ＤＢが２ビットの可変長符号にされる頻度が減少し、そ
の結果、データ量を低減することができる。
【０３３２】同様に、ＭＢＴＹＰＥテーブルＡ（図３２
（Ａ））によれば、ＭＢＴＹＰＥが最長で４ビットの可
変長符号にされる場合があるが、ＭＢＴＹＰＥテーブル
Ｂ（図３２（Ｂ））では、ＭＢＴＹＰＥは、最長でも３
ビットの可変長符号にしかされない。従って、やはり、
データ量を低減することができる。
【０３３３】ところで、以上のように、複数のＭＯＤＢ
テーブルやＭＢＴＹＰＥテーブルを用いる場合、下位レ
イヤと、ｒｅｆ＿ｓｅｌｅｃｔ＿ｃｏｄｅが「００」以
外となっている上位レイヤとについては問題ないが、ｒ
ｅｆ＿ｓｅｌｅｃｔ＿ｃｏｄｅが「００」となっている
上位レイヤについては、次のような問題が生じる。
【０３３４】即ち、上位レイヤにおいて、Ｂピクチャの
処理対象マクロブロックについてのフラグｒｅｆ＿ｓｅ
ｌｅｃｔ＿ｃｏｄｅが「００」である場合というのは、
図３４に示すように、その処理対象マクロブロックを、
同一レイヤ（ここでは上位レイヤ）におけるＩまたはＰ
ピクチャと、そのレイヤと異なるレイヤ（ここでは下位
レイヤ）の同一時刻における画像（拡大画像）とが、必
要に応じて、参照画像として用いられる場合である（図
１５）。
【０３３５】一方、ダイレクトモードは、時刻の異なる
２つのＩまたはＰピクチャの間にあるＢピクチャを、そ
の直前に復号されるＰピクチャの動きベクトルを用いて
予測符号化するものである。
【０３３６】従って、ｒｅｆ＿ｓｅｌｅｃｔ＿ｃｏｄｅ
が「００」の場合、ダイレクトモードは適用し得ないの
に、ＭＢＴＹＰＥテーブルＡが用いられるときには、予
測モードとして、ダイレクトモードが設定されることが
ある。
【０３３７】そこで、本実施の形態においては、上位レ
イヤにおいて、Ｂピクチャの処理対象マクロブロックに
ついてのフラグｒｅｆ＿ｓｅｌｅｃｔ＿ｃｏｄｅが「０
０」である場合、次のような第１または第２の方法のう
ちのいずれかによって、ＭＢＴＹＰＥが可変長符号化／
可変長復号化されるようになされている。
【０３３８】即ち、第１の方法では、上位レイヤにおい
て、Ｂピクチャの処理対象マクロブロックについてのフ
ラグｒｅｆ＿ｓｅｌｅｃｔ＿ｃｏｄｅが「００」である
場合は、ＭＢＴＹＰＥテーブルＡは用いられず、ＭＢＴ
ＹＰＥテーブルＢが用いられる。ＭＢＴＹＰＥテーブル
Ｂには、上述したように、ダイレクトモードは定義され
ていないから、図３４に示したような場合に、予測モー
ドとしてダイレクトモードが設定されることはない。
【０３３９】また、第２の方法では、ダイレクトモード
に準ずる予測モードとして、次のような準ダイレクトモ
ードを定義し、上位レイヤにおいて、Ｂピクチャの処理
対象マクロブロックについてのフラグｒｅｆ＿ｓｅｌｅ
ｃｔ＿ｃｏｄｅが「００」である場合に、ＭＢＴＹＰＥ
テーブルＡが用いられるときには、ＭＢＴＹＰＥの可変
長符号「１」に、ダイレクトモードではなく、準ダイレ
クトモードを割り当てるようにする。
【０３４０】ここで、準ダイレクトモードにおいては、
図３４に示した場合において、前方向予測は、下位レイ
ヤ（異なるレイヤ）の画像を倍率ＦＲにしたがって拡大
した拡大画像を参照画像（予測参照画像）として行い、
また、後方予測は、上位レイヤ（同一レイヤ）の直前に
符号化（復号）された画像を参照画像として行う。
【０３４１】さらに、図３５に示すように、前方予測の
参照画像とされる拡大画像における対応マクロブロック
（符号化対象のマクロブロックと同一位置にあるマクロ
ブロック）についての動きベクトルをＭＶとするとき、
後方予測に用いる動きベクトルＭＶＢとして、次式で与
えられるベクトルを用いる。
【０３４２】ＭＶＢ＝ＭＶ×ＦＲ＋ＭＶＤＢ
【０３４３】即ち、下位レイヤの対応マクロブロックに
ついての動きベクトルＭＶをＦＲ倍し、これに、ベクト
ルＭＶＤＢを加算したものを、後方予測の動きベクトル
ＭＶＢとして用いる。
【０３４４】なお、この場合、動きベクトルＭＶＢは伝
送されない。これは、動きベクトルＭＶＢは、動きベク
トルＭＶ、倍率ＦＲ、およびＭＶＤＢから得ることがで
きるためであり、従って、受信側（デコーダ側）では、
上位レイヤにおいて、Ｂピクチャの処理対象マクロブロ
ックについてのフラグｒｅｆ＿ｓｅｌｅｃｔ＿ｃｏｄｅ
が「００」である場合に、ＭＢＴＹＰＥテーブルＡを用
いて可変長復号化が行われるとき、ＭＢＴＹＰＥが
「１」となっているマクロブロックの動きベクトルＭＶ
Ｂは、下位レイヤの対応マクロブロックについての動き
ベクトルＭＶ、倍率ＦＲ、およびベクトルＭＶＤＢから
求められる。
【０３４５】よって、この場合、いわば冗長なデータで
ある動きベクトルＭＶＢが伝送されないので、符号化効
率を向上させることができる。
【０３４６】次に、図３６および図３７のフローチャー
トを参照して、図１１および図１２のＶＬＣ器３６、並
びに図１９および図２０のＩＶＬＣ器１０２において用
いられる可変長テーブルの決定方法（ＭＯＤＢテーブル
ＡまたはＢのうちのいずれを用いるのかと、ＭＢＴＹＰ
ＥテーブルＡまたはＢのうちのいずれを用いるのかを決
定する方法）について説明する。
【０３４７】図３６は、下位レイヤについて用いる可変
長テーブルの決定方法を示している。
【０３４８】この場合、まず最初に、ステップＳ３１に
おいて、ＶＯＰの大きさが変化しているかどうかが、例
えば、図２５で説明したvideo_object_layer_shapeや、
VOP_width，VOP_height、あるいは図２６で説明したloa
d_VOP_sizeなどを参照することにより判定される。ステ
ップＳ３１において、ＶＯＰの大きさが変化していない
と判定された場合、ステップＳ３２に進み、ＭＯＤＢテ
ーブルＡおよびＭＢＴＹＰＥテーブルＡを用いることが
決定され、処理を終了する。一方、ステップＳ３１にお
いて、ＶＯＰの大きさが変化していると判定された場
合、ステップＳ３３に進み、ＭＯＤＢテーブルＢおよび
ＭＢＴＹＰＥテーブルＢを用いることが決定され、処理
を終了する。
【０３４９】次に、図３７は、上位レイヤについて用い
る可変長テーブルの決定方法を示している。
【０３５０】この場合、まず最初に、ステップＳ４１に
おいて、ref_select_codeが「００」であるかどうかが
判定される。ステップＳ４１において、ref_select_cod
eが「００」であると判定された場合、即ち、処理しよ
うとしている上位レイヤのＶＯＰについて、下位レイヤ
の同一時刻におけるＶＯＰが参照画像として用いられる
場合、ステップＳ４２に進み、ＭＯＤＢテーブルＡおよ
びＭＢＴＹＰＥテーブルＢを用いることが決定され、処
理を終了する。
【０３５１】なお、この場合、準ダイレクトモードを使
用するときには、ＭＢＴＹＰＥテーブルＢではなく、Ｍ
ＢＴＹＰＥテーブルＡを用いるように決定がなされる。
即ち、ステップＳ４２では、第１の方法を適用するとき
はＭＢＴＹＰＥテーブルＢが、また、第２の方法を適用
するときはＭＢＴＹＰＥテーブルＡが選択される。
【０３５２】一方、ステップＳ４１において、ref_sele
ct_codeが「００」でないと判定された場合、ステップ
Ｓ４３に進み、以下、ステップＳ４３乃至Ｓ４５におい
て、図３６のステップＳ３１乃至Ｓ３３における場合と
同様の処理が行われることにより、用いるべきＭＯＤＢ
テーブルおよびＭＢＴＹＰＥテーブルが決定される。
【０３５３】次に、図３８乃至図４０を参照して、図１
１の下位レイヤ符号化部２５および図１２の上位レイヤ
符号化部２３、並びに図１９の下位レイヤ復号部９５お
よび図２０の上位レイヤ復号部９３におけるスキップマ
クロブロックの処理について説明する。
【０３５４】なお、ここでは、上述したように、Ｉピク
チャのマクロブロックがスキップマクロブロックとなる
ことは基本的にはないものとし、従って、ＰおよびＢピ
クチャを対象に説明を行う。
【０３５５】また、ＭＯＤＢテーブルＢが用いられる場
合も、上述したようにスキップマクロブロックが生じる
ことはないので、従って、スキップマクロブロックの処
理は、ＭＯＤＢテーブルＡが用いられる場合にのみ行わ
れる。
【０３５６】まず、図３８は、図１１の下位レイヤ符号
化部２５、および図１９の下位レイヤ復号部９５におけ
るスキップマクロブロックの処理を説明するフローチャ
ートである。
【０３５７】まず最初に、ステップＳ１においては、処
理対象のマクロブロックが、ＰまたはＢピクチャのうち
のいずれであるかが判定される。ステップＳ１におい
て、処理対象のマクロブロックが、Ｐピクチャであると
判定された場合、ステップＳ２に進み、そのマクロブロ
ックについてのＣＯＤが１であるかどうかが判定され
る。ステップＳ２において、処理対象のマクロブロック
についてのＣＯＤが１であると判定された場合、ステッ
プＳ３に進み、そのマクロブロックはスキップマクロブ
ロックであると決定され、そのように取り扱われる。即
ち、この場合、処理対象のマクロブロックの量子化係数
（ＤＣＴ係数）はすべて０であるとされ、また、その動
きベクトルも０であるとされる。
【０３５８】また、ステップＳ２において、処理対象の
マクロブロックについてのＣＯＤが１でないと判定され
た場合、ステップＳ４に進み、そのマクロブロックは、
通常処理される。即ち、この場合、Ｐピクチャのマクロ
ブロックは、０以外のＤＣＴ係数を有し、または０以外
の動きベクトルを有するものとして扱われる。
【０３５９】一方、ステップＳ１において、処理対象の
マクロブロックがＢピクチャであると判定された場合、
ステップＳ５に進み、そのＢピクチャのマクロブロック
が復号される直前に復号されるＩまたはＰピクチャにお
いて、同一位置にあるマクロブロック（対応マクロブロ
ック）のＣＯＤが１であるかどうかが判定される。ステ
ップＳ５において、処理対象のマクロブロックについて
の対応マクロブロックのＣＯＤが１であると判定された
場合、ステップＳ６に進み、その処理対象のマクロブロ
ックは、スキップマクロブロックであると決定され、そ
のように取り扱われる。
【０３６０】即ち、いま、処理すべき画像（ＶＯＰ）と
して、例えば、図４０（Ａ）に示すように、Ｉ／Ｐ（Ｉ
／Ｐは、ＩまたはＰピクチャを意味する），Ｂ，Ｉ／Ｐ
というシーケンスで表示されるものがあり、これらは、
同図（Ａ）において、最も左のＩ／Ｐ、最も右のＩ／
Ｐ、左から２番目のＢの順で符号化／復号化されるもの
とする。さらに、いま、左から２番目のＢピクチャのマ
クロブロックが処理の対象となっているものとする。
【０３６１】この場合、最も右のＩ／Ｐピクチャは、最
も左のＩ／Ｐピクチャを参照画像として用いて符号化／
復号化されることになる。従って、処理対象のＢピクチ
ャのマクロブロックについての、最も右のＩ／Ｐピクチ
ャの対応マクロブロックのＣＯＤが１である場合、即
ち、その対応マクロブロックがスキップマクロブロック
である場合、最も左のＩ／Ｐピクチャから最も右のＩ／
Ｐピクチャまでの間には、画像の変化がなかったことに
なる。そこで、上述したように、処理対象のマクロブロ
ックがＢピクチャであり、かつ、その対応マクロブロッ
クのＣＯＤが１のときは、その処理対象のマクロブロッ
クはスキップマクロブロックとされる。
【０３６２】なお、この場合、そのＢピクチャの処理対
象のマクロブロックについての処理（予測符号化／復号
化）は、最も右のＩ／Ｐピクチャの対応マクロブロック
と同様に行われ、従って、その動きベクトルは０と、ま
た、ＤＣＴ係数もすべて０として扱われる（エンコーダ
側では、上述したように、ＭＯＤＢのみ伝送され、それ
以降のＣＢＰＢやＭＢＴＹＰＥなどは伝送されない）。
【０３６３】図３８に戻り、ステップＳ５において、対
応マクロブロックのＣＯＤが１でないと判定された場
合、ステップＳ７に進み、処理対象のＢピクチャのマク
ロブロックのＭＯＤＢが０であるかどうかが判定され
る。ステップＳ７において、そのＭＯＤＢが０であると
判定された場合、ステップＳ８に進み、その処理対象の
マクロブロックは、スキップマクロブロックであると決
定され、そのように取り扱われる。
【０３６４】即ち、いま、処理すべき画像（ＶＯＰ）と
して、例えば、図４０（Ｂ）に示すように、図４０
（Ａ）における場合と同様の順番で、表示および符号化
／復号化されるものがあり、やはり、同図（Ａ）におけ
る場合と同様に、左から２番目のＢピクチャのマクロブ
ロックが処理の対象となっているものとする。
【０３６５】いまの場合、処理対象のＢピクチャのマク
ロブロックについての、最も右のＩ／Ｐピクチャの対応
マクロブロックのＣＯＤが１でないから、即ち、その対
応マクロブロックがスキップマクロブロックでないか
ら、最も左のＩ／Ｐピクチャから最も右のＩ／Ｐピクチ
ャまでの間には、画像に変化があったことになる。
【０３６６】一方、処理対象のＢピクチャのマクロブロ
ックのＭＯＤＢが０であるから、このマクロブロック
は、それが復号されるまでに復号される、他のフレーム
のマクロブロックについてのデータだけを用いて復号す
ることができるか、その直前に復号されるＩまたはＰピ
クチャにおける対応マクロブロックがスキップマクロブ
ロックである（ＣＯＤが１である）ということになる
が、上述したように、ＣＯＤは１でないから、処理対象
のＢピクチャのマクロブロックは、それが復号されるま
でに復号される、他のフレームのマクロブロックについ
てのデータ（以下、適宜、既復号データという）を用い
て復号することができるということになる。
【０３６７】そこで、最も左のＩ／Ｐピクチャから最も
右のＩ／Ｐピクチャまでの間に、画像に変化があり、か
つ、処理対象のＢピクチャのマクロブロックが、既復号
データだけを用いて復号することができる場合を考える
と、それは、例えば、図４０（Ｂ）に示すように、最も
右のＩ／Ｐピクチャにおける対応マクロブロック（実線
で示す部分）を、最も左のＩ／Ｐピクチャを参照画像と
して処理する場合の動きベクトルＭＶ１を、例えば、１
／２倍または−１／２倍した動きベクトルＭＶ２または
ＭＶ３によって、最も左のＩ／Ｐピクチャまたは最も右
のＩ／Ｐピクチャを動き補償してそれぞれ得られる予測
画像（同図（Ｂ）において、点線で示す部分）の平均値
が、処理対象のマクロブロックと一致する場合（予測誤
差が生じない場合）ということになる。
【０３６８】以上から、図３８のステップＳ８では、Ｂ
ピクチャの処理対象のマクロブロックについての処理
（予測符号化／復号化）は、動きベクトルとして、最も
右のＩ／Ｐピクチャにおける対応マクロブロックの動き
ベクトルＭＶ１から求められる動きベクトルＭＶ２（Ｍ
ＶＦ）およびＭＶ３（ＭＶＢ）が用いられ、かつ、その
画素値（画像データ）として、上述のような予測画像の
平均値が用いられて行われる。
【０３６９】即ち、この場合、例えば、処理対象のマク
ロブロックについての予測モードは、上述したダイレク
トモードとされる。なお、Ｈ．２６３では、ダイレクト
モードが適用されるのはＰＢピクチャであり、従って、
本実施の形態におけるＢピクチャとは、ＭＰＥＧ１，２
におけるＢピクチャや、Ｈ．２６３におけるＰＢピクチ
ャなどを含む、いわば広い概念のものである。
【０３７０】一方、ステップＳ７において、処理対象の
ＢピクチャのマクロブロックについてのＭＯＤＢが０で
ないと判定された場合、ステップＳ９に進み、ステップ
Ｓ４における場合と同様に、通常の処理が行われる。
【０３７１】次に、図３９は、図１２の上位レイヤ符号
化部２３、および図２０の上位レイヤ復号部９３におけ
るスキップマクロブロックの処理を説明するフローチャ
ートである。
【０３７２】この場合、ステップＳ１１乃至Ｓ１４にお
いては、図３８のステップＳ１乃至Ｓ４における場合と
それぞれ同様の処理が行われる。即ち、Ｐピクチャにつ
いては、下位レイヤおよび上位レイヤのいずれについて
も同一の処理が施される。
【０３７３】一方、ステップＳ１１において、処理対象
のマクロブロックがＢピクチャであると判定された場
合、ステップＳ１５に進み、そのマクロブロックについ
てのフラグｒｅｆ＿ｓｅｌｅｃｔ＿ｃｏｄｅが「００」
であるかどうかが判定される。ステップＳ１５におい
て、処理対象のＢピクチャのマクロブロックについての
フラグｒｅｆ＿ｓｅｌｅｃｔ＿ｃｏｄｅが「００」でな
いと判定された場合、即ち、そのＢピクチャのマクロブ
ロックが、下位レイヤの同一時刻における画像を参照画
像として用いて処理されるものではない場合、ステップ
Ｓ１６乃至Ｓ２０に進み、図３８のステップＳ５乃至Ｓ
９における場合とそれぞれ同様の処理が行われる。
【０３７４】また、ステップＳ１５において、処理対象
のＢピクチャのマクロブロックについてのフラグｒｅｆ
＿ｓｅｌｅｃｔ＿ｃｏｄｅが「００」であると判定され
た場合、即ち、そのＢピクチャのマクロブロックが、下
位レイヤの同一時刻における画像を参照画像として用い
て処理されるものである場合、ステップＳ２１に進み、
処理対象のＢピクチャのマクロブロックについてのＭＯ
ＤＢが０であるかどうかが判定される。
【０３７５】ステップＳ２１において、処理対象のＢピ
クチャのマクロブロックについてのＭＯＤＢが０である
と判定された場合、ステップＳ２２に進み、その処理対
象のマクロブロックは、スキップマクロブロックである
と決定され、そのように取り扱われる。また、ステップ
Ｓ２１において、処理対象のＢピクチャのマクロブロッ
クについてのＭＯＤＢが０でないと判定された場合、ス
テップＳ２３に進み、図３８のステップＳ３における場
合と同様に、通常の処理が行われる。
【０３７６】即ち、いま、処理すべき上位レイヤの画像
（ＶＯＰ）として、例えば、図４０（Ｃ）に示すよう
に、Ｉ／Ｐ，Ｂ，Ｂ，・・・というシーケンスで表示さ
れるものがあり、また、下位レイヤの画像としても、同
様のシーケンスで表示されるものがあるとする。さら
に、これらの下位レイヤの画像と上位レイヤの画像とが
交互に符号化／復号化されるものとする。なお、上位レ
イヤのＢピクチャについてのｒｅｆ＿ｓｅｌｅｃｔ＿ｃ
ｏｄｅが「００」である場合には、画像の符号化／復号
化の順序は、このようになる。
【０３７７】この場合において、ｒｅｆ＿ｓｅｌｅｃｔ
＿ｃｏｄｅの値を、ステップＳ１５において判定しない
とすると、即ち、図３８で説明した場合と同様の処理を
行うとすると、処理対象の上位レイヤのＢピクチャのマ
クロブロックが、図４０（Ｃ）に示したように、下位レ
イヤの同一時刻における画像（拡大画像）、または上位
レイヤにおける直前の復号画像（最も左のＩ／Ｐピクチ
ャ）を参照画像として用いて符号化／復号化され、その
Ｂピクチャより後のフレームは参照されないのにもかか
わらず、そのような後のフレームにおける対応マクロブ
ロックについてのＣＯＤ（またはＭＯＤＢ）の値によっ
て、処理対象のマクロブロックがスキップマクロブロッ
クかどうかが決定されることになる。
【０３７８】しかしながら、処理対象のマクロブロック
を符号化／復号化する際に参照されないフレームに基づ
いて、そのマクロブロックがスキップマクロブロックか
どうかを判定するのは好ましくない。
【０３７９】そこで、図３９の実施の形態においては、
上位レイヤのＢピクチャについては、ｒｅｆ＿ｓｅｌｅ
ｃｔ＿ｃｏｄｅに基づき、それが「００」である場合、
即ち、そのＢピクチャのマクロブロックが、図４０
（Ｃ）に示したように、下位レイヤの同一時刻における
画像（拡大画像）、または上位レイヤにおける直前の復
号画像（最も左のＩ／Ｐピクチャ）を参照画像として用
いて処理される場合には、それ以降のフレームにおける
対応マクロブロックについてのＣＯＤまたはＭＯＤＢと
は無関係に、その処理対象のＢピクチャのマクロブロッ
クについてのＭＯＤＢにしたがって、スキップマクロブ
ロックかどうかが決定される。
【０３８０】なお、ｒｅｆ＿ｓｅｌｅｃｔ＿ｃｏｄｅが
「００」である場合において、処理対象のＢピクチャの
マクロブロックについてのＭＯＤＢが０となるのは、参
照画像として、下位レイヤの同一時刻における画像では
なく、上位レイヤにおける直前の復号画像（最も左のＩ
／Ｐピクチャ）を用いたときであるのが一般的であるか
ら、その処理対象のマクロブロックについての処理（予
測符号化／復号化）は、その直前の復号画像を参照画像
とし、動きベクトルは０として行われる。
【０３８１】以上、スキップマクロブロックの処理につ
いて説明したが、このような処理を行う場合において、
処理対象のマクロブロックが上位レイヤまたは下位レイ
ヤのうちのいずれのものであるかの判定は、図２４で説
明したフラグscalabilityに基づいて行われる。
【０３８２】ここで、図１２の動きベクトル検出器３
２、ＶＬＣ器３６、および動き補償器４２に下位レイヤ
のＣＯＤが供給されるのは、次のような理由による。
【０３８３】即ち、例えば、図１４に示した時間スケー
ラビリティの場合、上述したように、上位レイヤの予測
に下位レイヤの画像が参照画像として用いられる。この
場合、例えば、下位レイヤのＶＯＰ０、上位レイヤのＶ
ＯＰ１、下位レイヤのＶＯＰ２は、時間的に連続する画
像であり、従って、このような３つのＶＯＰ１，ＶＯＰ
２，ＶＯＰ３が、図４０（Ａ）で説明した条件を満たせ
ば、上位レイヤのＶＯＰ１のマクロブロックはスキップ
マクロブロックということになる。そして、マクロブロ
ックがスキップマクロブロックであれば、そのマクロブ
ロックは特に処理せずに済む。一方、図４０（Ａ）で説
明した条件を満たすかどうかの判断は、下位レイヤのＶ
ＯＰ２のＣＯＤが必要であり、このため、図１２の上位
レイヤ符号化部２３における動きベクトル検出器３２、
ＶＬＣ器３６、および動き補償器４２には、下位レイヤ
のＣＯＤが供給されるようになされている。
【０３８４】次に、現在、ＭＰＥＧ４では、予測モード
がダイレクトである場合を除き、マクロブロックのＤＣ
Ｔ係数すべてが、量子化により、例えば、０などの所定
の値になる場合（ＤＣＴ係数が存在しない場合）であっ
ても、量子化ステップについてのＤＱＵＡＮＴを伝送す
べきことが規定されているが、マクロブロックのＤＣＴ
係数が存在しない場合に、ＤＱＵＡＮＴを伝送するのは
冗長である。
【０３８５】そこで、図１１および図１２のＶＬＣ器３
６、並びに図１９および図２０のＩＶＬＣ器１０２で
は、量子化ステップＤＱＵＡＮＴが、次のように扱われ
るようになされている。
【０３８６】即ち、まず最初に、ステップＳ５１におい
て、ＣＢＰＢが０であるかどうかが判定され、ＣＢＰＢ
が０であると判定された場合、マクロブロックのＤＣＴ
係数は存在しないため、ステップＳ５６に進み、量子化
ステップは無視され（エンコーダ側では量子化ステップ
ＤＱＵＡＮＴは伝送されず、デコーダ側ではビットスト
リームからの量子化ステップＤＱＵＡＮＴの抽出は行わ
れない（行うことができない））、処理を終了する。
【０３８７】ここで、図３０で説明したように、ＣＢＰ
Ｂは伝送されない場合があるが、この場合には、ステッ
プＳ５１の処理はスキップされ、ステップＳ５２の処理
が行われる。
【０３８８】一方、ステップＳ５１において、ＣＢＰＢ
が０でないと判定された場合、ステップＳ５２に進み、
ＭＯＤＢが０であるか否が判定される。ステップＳ５２
において、ＭＯＤＢが「０」であると判定された場合、
図３０で説明したように、ＣＢＰＢは伝送されず、従っ
て、マクロブロックのＤＣＴ係数は存在しないため、ス
テップＳ５６に進み、量子化ステップは無視され、処理
を終了する。
【０３８９】また、ステップＳ５２において、ＭＯＤＢ
が「０」でないと判定された場合、ステップＳ５３に進
み、ＭＯＤＢテーブルＡまたはＢのうちのいずれが、Ｍ
ＯＤＢの可変長符号化／可変長復号化に用いられるのか
が判定される。ステップＳ５３において、ＭＯＤＢテー
ブルＢが用いられると判定された場合、ステップＳ５４
をスキップして、ステップＳ５５に進む。また、ステッ
プＳ５３において、ＭＯＤＢテーブルＡが用いられると
判定された場合、ステップＳ５４に進み、ＭＯＤＢが
「１０」であるかどうかが判定される。
【０３９０】ステップＳ５４において、ＭＯＤＢが「１
０」であると判定された場合、即ち、ＭＯＤＢテーブル
Ａが用いられる場合であって、ＭＯＤＢが「１０」であ
る場合、やはり図３０で説明したように、ＣＢＰＢは伝
送されず、従って、マクロブロックのＤＣＴ係数は存在
しないため、ステップＳ５６に進み、量子化ステップは
無視され、処理を終了する。
【０３９１】一方、ステップＳ５４において、ＭＯＤＢ
が「１０」でないと判定された場合、量子化ステップに
ついての処理が行われ（エンコーダ側では量子化ステッ
プＤＱＵＡＮＴが伝送され、デコーダ側ではビットスト
リームからの量子化ステップＤＱＵＡＮＴの抽出が行わ
れ）、処理を終了する。
【０３９２】以上のように、マクロブロックのＤＣＴ係
数が存在しないとき、即ち、ＣＢＰＢが０のとき、ＭＯ
ＤＢテーブルＡを用いる場合においてＭＯＤＢが「０」
または「１０」のとき、およびＭＯＤＢテーブルＢを用
いる場合においてＭＯＤＢが「０」のときには、量子化
ステップを無視するようにしたので、データの冗長度を
低減することができる。
【０３９３】なお、ＣＢＰＢが伝送されるが、その値が
「０」である場合というのは、ＭＯＤＢテーブルＡまた
はＢを用いてＭＯＤＢが「１１」または「１０」とそれ
ぞれされる場合であるが、そのような場合は、ＭＯＤＢ
が「１０」または「０」をそれぞれ用いれば済むので、
基本的には生じない。従って、図４１の実施の形態で
は、最初のステップＳ５１において、ＣＢＰＢの値を判
定するようにしたが、この判定処理は、処理効率の観点
からは、ステップＳ５５の処理の直前に行うようにする
のが望ましい。
【０３９４】また、図４１の処理は、上述の第１および
第２の方法のいずれを用いる場合にも適用可能である。
【０３９５】以上のように、位置や大きさの変換するＶ
Ｏを、絶対座標系に配置して処理するようにしたので、
ＶＯごとの予測符号化／復号化が可能となり、また、Ｖ
Ｏを対象としたスケーラビリティを実現することが可能
となる。
【０３９６】さらに、スキップマクロブロックの処理
を、そのスキップマクロブロックに用いられる参照画像
を示すフラグｒｅｆ＿ｓｅｌｅｃｔ＿ｃｏｄｅを考慮し
て決定するようにしたので、効率的な処理が可能とな
る。
【０３９７】また、上位レイヤと下位レイヤの画像が同
一である場合において、上位レイヤの予測符号化のため
の参照画像として、同一時刻における下位レイヤの復号
画像を用いるときには、上位レイヤにおける動きベクト
ルは伝送せず、下位レイヤにおけるもののみを伝送する
ようにしたので、データ量を低減することが可能とな
る。
【０３９８】なお、本実施の形態においてマクロブロッ
ク単位で行われると説明した処理は、マクロブロック単
位以外の単位で行うようにすることも可能である。
【０３９９】また、本実施の形態では、２種類のＭＯＤ
ＢテーブルＡおよびＢを用意し、いずれか一方を選択し
て用いるようにしたが、ＭＯＤＢテーブルは３種類以上
用意することも可能である。このことは、ＭＢＴＹＰＥ
テーブルについても同様である。
【０４００】
【０４０１】
【０４０２】
【０４０３】
【０４０４】
【０４０５】
【０４０６】
【０４０７】
【０４０８】
【０４０９】
【０４１０】
【０４１１】
【発明の効果】請求項１に記載の画像符号化装置および
請求項４に記載の画像符号化方法によれば、オブジェク
トを前方予測、後方予測、双方向予測、およびダイレク
トモードのいずれかの予測方法を用いて予測符号化、ま
たはイントラ符号化を行い、符号化信号を出力し、符号
化された符号化信号を可変長符号化し、可変長符号化
は、符号化対象のオブジェクトの大きさと、オブジェク
トより最近に復号化された参照オブジェクトの大きさが
同一であるか否かに対応して、可変長符号化に用いるテ
ーブルを選択される。従って、可変長符号化処理により
得られるデータのデータ量を低減し、また、そのような
データを可変長復号化することが可能となる。
【０４１２】請求項３に記載の画像符号化装置および請
求項６に記載の画像符号化方法によれば、オブジェクト
を前方予測、後方予測、双方向予測、およびダイレクト
モードのいずれかの予測方法を用いて予測符号化、また
はイントラ符号化を行い、符号化信号を出力し、符号化
された符号化信号を可変長符号化し、予測符号化は、符
号化対象のオブジェクトの大きさと、オブジェクトより
最近に復号化された参照オブジェクトの大きさが同一で
ある場合にのみ、ダイレクトモード予測方法を使用可能
となる。従って、可変長符号化処理により得られるデー
タのデータ量を低減し、また、そのようなデータを可変
長復号化することが可能となる。
【０４１３】
【０４１４】
【図面の簡単な説明】
【図１】本発明を適用したエンコーダの一実施の形態を
示すブロック図である。
【図２】時刻によって、ＶＯの位置、大きさが変化する
ことを説明するための図である。
【図３】図１のＶＯＰ符号化部３1乃至３Nの構成例を示
すブロック図である。
【図４】図１のＶＯＰ符号化部３1乃至３Nの他の構成例
を示すブロック図である。
【図５】空間スケーラビリティを説明するための図であ
る。
【図６】空間スケーラビリティを説明するための図であ
る。
【図７】空間スケーラビリティを説明するための図であ
る。
【図８】空間スケーラビリティを説明するための図であ
る。
【図９】ＶＯＰのサイズデータおよびオフセットデータ
の決定方法を説明するための図である。
【図１０】ＶＯＰのサイズデータおよびオフセットデー
タの決定方法を説明するための図である。
【図１１】図４の下位レイヤ符号化部２５の構成例を示
すブロック図である。
【図１２】図４の上位レイヤ符号化部２３の構成例を示
すブロック図である。
【図１３】空間スケーラビリティを説明するための図で
ある。
【図１４】時間スケーラビリティを説明するための図で
ある。
【図１５】リファレンシャルセレクトコード（ref_sele
ct_code）を説明するための図である。
【図１６】本発明を適用したデコーダの一実施の形態の
構成を示すブロック図である。
【図１７】図１６のＶＯＰ復号部７２1乃至７２Nの構成
例を示すブロック図である。
【図１８】図１６のＶＯＰ復号部７２1乃至７２Nの他の
構成例を示すブロック図である。
【図１９】図１８の下位レイヤ復号部９５の構成例を示
すブロック図である。
【図２０】図１８の上位レイヤ復号部９３の構成例を示
すブロック図である。
【図２１】スケーラブル符号化によって得られるビット
ストリームのシンタクスを示す図である。
【図２２】ＶＳのシンタクスを示す図である。
【図２３】ＶＯのシンタクスを示す図である。
【図２４】ＶＯＬのシンタクスを示す図である。
【図２５】ＶＯＰのシンタクスを示す図である。
【図２６】ＶＯＰのシンタクスを示す図である。
【図２７】diff_size_horizontalおよびdiff_size_vert
icalの可変長符号を示す図である。
【図２８】diff_VOP_horizontal_refおよびdiff_VOP_ve
rtical_refの可変長符号を示す図である。
【図２９】マクロブロックのシンタクスを示す図であ
る。
【図３０】ＭＯＤＢの可変長符号を示す図である。
【図３１】マクロブロックの構成例を示す図である。
【図３２】ＭＢＴＹＰＥの可変長符号を示す図である。
【図３３】ダイレクトモードによる予測符号化を説明す
るための図である。
【図３４】上位レイヤのＢピクチャの予測符号化を説明
するための図である。
【図３５】準ダイレクトモードを説明するための図であ
る。
【図３６】下位レイヤについて用いる可変長テーブルの
決定方法を説明するためのフローチャートである。
【図３７】上位レイヤについて用いる可変長テーブルの
決定方法を説明するためのフローチャートである。
【図３８】下位レイヤにおけるスキップマクロブロック
についての処理を説明するためのフローチャートであ
る。
【図３９】上位レイヤにおけるスキップマクロブロック
についての処理を説明するためのフローチャートであ
る。
【図４０】スキップマクロブロックについての処理を説
明するための図である。
【図４１】量子化ステップＤＱＵＡＮＴについての処理
を説明するためのフローチャートである。
【図４２】従来のエンコーダの一例の構成を示すブロッ
ク図である。
【図４３】従来のデコーダの一例の構成を示すブロック
図である。
【図４４】従来のスケーラブル符号化を行うエンコーダ
の一例の構成を示すブロック図である。
【図４５】図４４の下位レイヤ符号化部２０２の構成例
を示すブロック図である。
【図４６】図４４の上位レイヤ符号化部２０１の構成例
を示すブロック図である。
【図４７】従来のスケーラブル復号化を行うデコーダの
一例の構成を示すブロック図である。
【図４８】図４７の下位レイヤ復号化部２３２の構成例
を示すブロック図である。
【図４９】図４７の上位レイヤ復号化部２３１の構成例
を示すブロック図である。
【図５０】従来の画像合成方法を説明するための図であ
る。
【図５１】画像の再編集および再合成を可能とする符号
化方法を説明するための図である。
【図５２】画像の再編集および再合成を可能とする復号
化方法を説明するための図である。
【符号の説明】 １ ＶＯ構成部， ２1乃至２N ＶＯＰ構成部， ３1
乃至３N ＶＯＰ符号化部， ４ 多重化部， ２１
画像階層化部， ２３ 上位レイヤ符号化部，２４ 解
像度変換部， ２５ 下位レイヤ符号化部， ２６ 多
重化部， ３１フレームメモリ， ３２ 動きベクトル
検出器， ３３ 演算器， ３４ ＤＣＴ器， ３５
量子化器， ３６ ＶＬＣ器， ３８ 逆量子化器，
３９ＩＤＣＴ器， ４０ 演算器， ４１ フレームメ
モリ， ４２ 動き補償器，４３ キー信号符号化部，
４４ キー信号復号部， ５１ キー信号符号化部，
５２ キー信号復号部， ５３ フレームメモリ，
７１ 逆多重化部，７２1乃至７２N ＶＯＰ復号部，
７３ 画像再構成部， ９１ 逆多重化部， ９３ 上
位レイヤ復号部， ９４ 解像度変換部， ９５ 下位
レイヤ復号部， ＩＶＬＣ器， １０３ 逆量子化器，
１０４ ＩＤＣＴ器， １０５演算器， １０６ フ
レームメモリ， １０７ 動き補償器， １０８，１１
１キー信号復号部， １１２ フレームメモリ

Claims (6)

    (57)【特許請求の範囲】
  1. 【請求項１】 画像を構成する任意形状のオブジェクト
    を単位として符号化を行う画像符号化装置において、 前記オブジェクトを前方予測、後方予測、双方向予測、
    およびダイレクトモードのいずれかの予測方法を用いて
    予測符号化、またはイントラ符号化を行い、符号化信号
    を出力する予測符号化手段と、 前記予測符号化手段により符号化された前記符号化信号
    を可変長符号化する可変長符号化手段とを備え、 前記可変長符号化手段は、符号化対象のオブジェクトの
    大きさと、前記オブジェクトより最近に復号化された参
    照オブジェクトの大きさが同一であるか否かに対応し
    て、可変長符号化に用いるテーブルを選択することを特
    徴とする画像符号化装置。
  2. 【請求項２】 前記予測符号化手段は、符号化対象のオ
    ブジェクトの大きさと、前記オブジェクトより最近に復
    号化された参照オブジェクトの大きさとが同一である場
    合にのみ、前記ダイレクトモードを使用可能とすること
    を特徴とする請求項１に記載の画像符号化装置。
  3. 【請求項３】 画像を構成する任意形状のオブジェクト
    を単位として符号化を行う画像符号化装置において、 前記オブジェクトを前方予測、後方予測、双方向予測、
    およびダイレクトモードのいずれかの予測方法を用いて
    予測符号化、またはイントラ符号化を行い、符号化信号
    を出力する予測符号化手段と、 前記予測符号化手段により符号化された前記符号化信号
    を可変長符号化する可変長符号化手段とを備え、 前記予測符号化手段は、符号化対象のオブジェクトの大
    きさと、前記オブジェクトより最近に復号化された参照
    オブジェクトの大きさが同一である場合にのみ、前記ダ
    イレクトモード予測方法を使用可能とすることを特徴と
    する画像符号化装置。
  4. 【請求項４】画像を構成する任意形状のオブジェクトを
    単位として符号化を行う画像符号化 方法において、 前記オブジェクトを前方予測、後方予測、双方向予測、
    およびダイレクトモードのいずれかの予測方法を用いて
    予測符号化、またはイントラ符号化を行い、符号化信号
    を出力する予測符号化ステップと、 前記予測符号化ステップの処理により符号化された前記
    符号化信号を可変長符号化する可変長符号化ステップと
    を含み、 前記可変長符号化ステップの処理は、符号化対象のオブ
    ジェクトの大きさと、前記オブジェクトより最近に復号
    化された参照オブジェクトの大きさが同一であるか否か
    に対応して、可変長符号化に用いるテーブルを選択する
    ことを特徴とする画像符号化方法。
  5. 【請求項５】 前記予測符号化ステップの処理は、符号
    化対象のオブジェクトの大きさと、前記オブジェクトよ
    り最近に復号化された参照オブジェクトの大きさとが同
    一である場合にのみ、前記ダイレクトモードを使用可能
    とすることを特徴とする請求項４に記載の画像符号化方
    法。
  6. 【請求項６】 画像を構成する任意形状のオブジェクト
    を単位として符号化を行う画像符号化方法において、 前記オブジェクトを前方予測、後方予測、双方向予測、
    およびダイレクトモードのいずれかの予測方法を用いて
    予測符号化、またはイントラ符号化を行い、符号化信号
    を出力する予測符号化ステップと、 前記予測符号化ステップの処理により符号化された前記
    符号化信号を可変長符号化する可変長符号化ステップと
    を含み、 前記予測符号化ステップの処理は、符号化対象のオブジ
    ェクトの大きさと、前記オブジェクトより最近に復号化
    された参照オブジェクトの大きさが同一である場合にの
    み、前記ダイレクトモード予測方法を使用可能とするこ
    とを特徴とする画像符号化方法。
JP27151296A 1996-09-09 1996-09-20 画像符号化装置および画像符号化方法 Expired - Fee Related JP3263807B2 (ja)

Priority Applications (15)

Application Number Priority Date Filing Date Title
JP27151296A JP3263807B2 (ja) 1996-09-09 1996-09-20 画像符号化装置および画像符号化方法
US08/924,778 US6097842A (en) 1996-09-09 1997-09-05 Picture encoding and/or decoding apparatus and method for providing scalability of a video object whose position changes with time and a recording medium having the same recorded thereon
KR1019980703511A KR100572130B1 (ko) 1996-09-09 1997-09-09 데이터 인코딩 장치 및 방법, 화상 디코딩장치 및 방법, 기록매체 및 기록방법
CNB031451098A CN1254111C (zh) 1996-09-09 1997-09-09 画面编码和解码装置及其方法
AU41371/97A AU731425B2 (en) 1996-09-09 1997-09-09 Picture encoding and decoding
EP97939239A EP0860086A3 (en) 1996-09-09 1997-09-09 Picture encoding and decoding
CNB03145108XA CN1298170C (zh) 1996-09-09 1997-09-09 画面编码和解码装置及其方法
EP20080017462 EP2012546A3 (en) 1996-09-09 1997-09-09 Picture encoding and decoding
KR1020057017969A KR100606588B1 (ko) 1996-09-09 1997-09-09 화상 처리 장치 및 화상 처리 방법
CN97191549A CN1133328C (zh) 1996-09-09 1997-09-09 画面编码和解码装置及其方法
PCT/JP1997/003178 WO1998010593A2 (en) 1996-09-09 1997-09-09 Picture encoding and decoding
RU98111206A RU2189120C2 (ru) 1996-09-09 1997-09-09 Кодирование и декодирование изображений
US09/545,206 US6427027B1 (en) 1996-09-09 2000-04-07 Picture encoding and/or decoding apparatus and method for providing scalability of a video object whose position changes with time and a recording medium having the same recorded thereon
US09/545,368 US6389173B1 (en) 1996-09-09 2000-04-07 Picture encoding and/or decoding apparatus and method for providing sacalability of a video object whose position changes with time and a recording medium having the same recorded thereon
US09/545,290 US6459812B2 (en) 1996-09-09 2000-04-07 Picture encoding and/or decoding apparatus and method for providing scalability of a video object whose position changes with time and a recording medium having the same recorded thereon

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP26031296 1996-09-09
JP8-260312 1996-09-09
JP27151296A JP3263807B2 (ja) 1996-09-09 1996-09-20 画像符号化装置および画像符号化方法

Related Child Applications (3)

Application Number Title Priority Date Filing Date
JP2000184491A Division JP3344576B2 (ja) 1996-09-09 2000-06-20 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法
JP2000184492A Division JP3263812B2 (ja) 1996-09-09 2000-06-20 画像符号化装置および画像符号化方法、並びに画像復号化装置および画像復号化方法
JP2000184493A Division JP3344577B2 (ja) 1996-09-09 2000-06-20 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録方法

Publications (2)

Publication Number Publication Date
JPH10136372A JPH10136372A (ja) 1998-05-22
JP3263807B2 true JP3263807B2 (ja) 2002-03-11

Family

ID=26544548

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27151296A Expired - Fee Related JP3263807B2 (ja) 1996-09-09 1996-09-20 画像符号化装置および画像符号化方法

Country Status (7)

Country Link
US (4) US6097842A (ja)
EP (2) EP2012546A3 (ja)
JP (1) JP3263807B2 (ja)
KR (2) KR100572130B1 (ja)
CN (3) CN1133328C (ja)
RU (1) RU2189120C2 (ja)
WO (1) WO1998010593A2 (ja)

Families Citing this family (193)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6233356B1 (en) 1997-07-08 2001-05-15 At&T Corp. Generalized scalability for video coder based on video objects
US6993201B1 (en) 1997-07-08 2006-01-31 At&T Corp. Generalized scalability for video coder based on video objects
WO1999004566A1 (en) * 1997-07-18 1999-01-28 Sony Corporation Method and system for multiplexing image signal, method and system for demultiplexing image signal, and transmission medium
US6477202B1 (en) * 1997-09-03 2002-11-05 Matsushita Electric Industrial Co., Ltd. Apparatus of layered picture coding, apparatus of picture decoding, methods of picture decoding, apparatus of recording for digital broadcasting signal, and apparatus of picture and audio decoding
US7177355B1 (en) * 1997-12-01 2007-02-13 Samsung Electronics Co., Ltd. Method for representing encoding upon coding information
JP3382173B2 (ja) * 1998-03-10 2003-03-04 株式会社ハイニックスセミコンダクター 飛越し走査方式の映像信号に対するｖｏｐ境界矩形の設定方法及び装置
US7298425B2 (en) * 1998-03-26 2007-11-20 Micron Technology, Inc. Method for assisting video compression in a computer system
JP4366725B2 (ja) 1998-04-01 2009-11-18 ソニー株式会社 画像信号処理装置及び方法並びに画像信号記録装置及び方法
US7630570B1 (en) * 1998-05-06 2009-12-08 At&T Intellectual Property Ii, L.P. Method and apparatus to prioritize video information during coding and decoding
JP2000013792A (ja) * 1998-06-24 2000-01-14 Toppan Printing Co Ltd カラー画像情報データ処理装置
US6499060B1 (en) 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
US6263022B1 (en) * 1999-07-06 2001-07-17 Philips Electronics North America Corp. System and method for fine granular scalable video with selective quality enhancement
GB9928022D0 (en) * 1999-11-26 2000-01-26 British Telecomm Video coding and decording
US7286724B2 (en) * 1999-12-06 2007-10-23 Hyundai Curitel, Inc. Method and apparatus for searching, browsing and summarizing moving image data using fidelity for tree-structure moving image hierarchy
US6907073B2 (en) * 1999-12-20 2005-06-14 Sarnoff Corporation Tweening-based codec for scaleable encoders and decoders with varying motion computation capability
JP4541482B2 (ja) * 2000-02-29 2010-09-08 キヤノン株式会社 画像処理装置及び画像処理方法
US6650705B1 (en) * 2000-05-26 2003-11-18 Mitsubishi Electric Research Laboratories Inc. Method for encoding and transcoding multiple video objects with variable temporal resolution
US20020057739A1 (en) * 2000-10-19 2002-05-16 Takumi Hasebe Method and apparatus for encoding video
JP4681757B2 (ja) * 2001-05-16 2011-05-11 株式会社リコー 画像処理装置及び画像処理方法
FR2824988B1 (fr) * 2001-05-21 2003-08-01 Thomson Licensing Sa Procede et dispositif de codage video utilisant la norme mpeg4
US7266150B2 (en) * 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
US6904176B1 (en) * 2001-09-19 2005-06-07 Lightsurf Technologies, Inc. System and method for tiled multiresolution encoding/decoding and communication with lossless selective regions of interest via data reuse
US20030076858A1 (en) * 2001-10-19 2003-04-24 Sharp Laboratories Of America, Inc. Multi-layer data transmission system
EP1442601A1 (en) 2001-10-26 2004-08-04 Koninklijke Philips Electronics N.V. Method and appartus for spatial scalable compression
CN100562112C (zh) * 2001-11-06 2009-11-18 松下电器产业株式会社 运动图像编码方法
US7809203B2 (en) * 2001-11-27 2010-10-05 Samsung Electronics Co., Ltd. Apparatus for encoding and decoding key data and key value data of coordinate interpolator and recording medium containing bitstream into which coordinate interpolator is encoded
JP2003299103A (ja) * 2002-03-29 2003-10-17 Toshiba Corp 動画像符号化方法と装置及び動画像復号化方法と装置
JP2005513926A (ja) * 2001-12-20 2005-05-12 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ビデオの符号化及び復号の方法
JP4114859B2 (ja) 2002-01-09 2008-07-09 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
US20030151753A1 (en) * 2002-02-08 2003-08-14 Shipeng Li Methods and apparatuses for use in switching between streaming video bitstreams
JP2003224846A (ja) * 2002-01-29 2003-08-08 Matsushita Electric Ind Co Ltd 画像処理装置、復号化装置、符号化装置、画像処理システム、画像処理方法、及び、符号化方法
JP2004088722A (ja) * 2002-03-04 2004-03-18 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
TWI247531B (en) * 2002-03-11 2006-01-11 Winbond Electronics Corp Digital data processing and storage method and device thereof
CN1992895B (zh) * 2002-04-19 2010-12-08 松下电器产业株式会社 图像编码方法及图像编码装置
WO2003090473A1 (fr) 2002-04-19 2003-10-30 Matsushita Electric Industrial Co., Ltd. Procede de calcul de vecteurs de mouvement
JP2003319391A (ja) 2002-04-26 2003-11-07 Sony Corp 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム
US20030202590A1 (en) * 2002-04-30 2003-10-30 Qunshan Gu Video encoding using direct mode predicted frames
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
EP2227018A1 (en) 2002-07-02 2010-09-08 Panasonic Corporation Motion vector deriving method and image encoding method
WO2004006586A1 (ja) * 2002-07-02 2004-01-15 Matsushita Electric Industrial Co., Ltd. 画像符号化方法および画像復号化方法
US8406301B2 (en) 2002-07-15 2013-03-26 Thomson Licensing Adaptive weighting of reference pictures in video encoding
DE10230812B4 (de) * 2002-07-08 2004-11-25 T-Mobile Deutschland Gmbh Verfahren zur Übertragung von zusätzlichen Informationen bei Verwendung eines Verfahrens zur Komprimierung von Daten mittels einer priorisierenden Pixelübertragung
KR100865034B1 (ko) 2002-07-18 2008-10-23 엘지전자 주식회사 모션 벡터 예측 방법
US7154952B2 (en) 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US7720152B2 (en) * 2002-10-01 2010-05-18 Thomson Licensing Implicit weighting of reference pictures in a video decoder
US7801217B2 (en) * 2002-10-01 2010-09-21 Thomson Licensing Implicit weighting of reference pictures in a video encoder
BR0307197A (pt) * 2002-11-25 2005-08-23 Matsushita Electric Ind Co Ltd Método de compensação de movimento, método de codificação de imagem e método de decodificação de imagem
US7286721B2 (en) * 2003-09-11 2007-10-23 Leadtek Research Inc. Fast edge-oriented image interpolation algorithm
CN1225127C (zh) * 2003-09-12 2005-10-26 中国科学院计算技术研究所 一种用于视频编码的编码端/解码端双向预测方法
JP4409897B2 (ja) * 2003-09-19 2010-02-03 株式会社リコー 画像処理装置、画像処理方法、プログラム及び情報記録媒体
FR2860678A1 (fr) * 2003-10-01 2005-04-08 Thomson Licensing Sa Procede de codage differentiel
JP2007521696A (ja) * 2003-10-09 2007-08-02 トムソン ライセンシング エラー・コンシールメントのための直接モード導出プロセス
US20050111545A1 (en) 2003-11-25 2005-05-26 Ram Prabhakar Dynamic packet size control for MPEG-4 data partition mode
US7889792B2 (en) 2003-12-24 2011-02-15 Apple Inc. Method and system for video encoding using a variable number of B frames
KR20050078099A (ko) * 2004-01-30 2005-08-04 삼성전자주식회사 적응적으로 키 프레임을 삽입하는 비디오 코딩 장치 및 방법
US7492820B2 (en) * 2004-02-06 2009-02-17 Apple Inc. Rate control for video coder employing adaptive linear regression bits modeling
US7453938B2 (en) * 2004-02-06 2008-11-18 Apple Inc. Target bitrate estimator, picture activity and buffer management in rate control for video coder
US7986731B2 (en) * 2004-02-06 2011-07-26 Apple Inc. H.264/AVC coder incorporating rate and quality controller
US7869503B2 (en) 2004-02-06 2011-01-11 Apple Inc. Rate and quality controller for H.264/AVC video coder and scene analyzer therefor
US7590059B2 (en) * 2004-05-21 2009-09-15 Broadcom Corp. Multistandard video decoder
CN100596180C (zh) * 2004-06-02 2010-03-24 松下电器产业株式会社 画面编码装置和画面解码装置
JP4688873B2 (ja) * 2004-07-01 2011-05-25 オーワイ ゲームクラスター リミテッド 予測および非予測データフレームを伝送するための方法および装置
US7664176B2 (en) * 2004-07-09 2010-02-16 Nokia Corporation Method and system for entropy decoding for scalable video bit stream
US20060008009A1 (en) * 2004-07-09 2006-01-12 Nokia Corporation Method and system for entropy coding for scalable video codec
KR20060043118A (ko) * 2004-10-07 2006-05-15 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
WO2006042612A1 (de) * 2004-10-15 2006-04-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zum erzeugen einer codierten videosequenz und zum decodieren einer codierten videosequenz unter verwendung einer zwischen-schicht-restwerte-praediktion
DE102004059978B4 (de) 2004-10-15 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz und zum Decodieren einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Restwerte-Prädiktion sowie ein Computerprogramm und ein computerlesbares Medium
EP1800490A1 (de) * 2004-10-15 2007-06-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zum erzeugen einer codierten videosequenz unter verwendung einer zwischen-schicht-bewegungsdaten-prädiktion
KR100664929B1 (ko) * 2004-10-21 2007-01-04 삼성전자주식회사 다 계층 기반의 비디오 코더에서 모션 벡터를 효율적으로압축하는 방법 및 장치
KR20060059769A (ko) * 2004-11-29 2006-06-02 엘지전자 주식회사 영상신호의 엔코딩시에 베이스 레이어 픽처의 벡터를이용하기 위한 미세정보를 코딩하는 방법과 그 미세정보를이용하는 디코딩 방법
US20060120454A1 (en) * 2004-11-29 2006-06-08 Park Seung W Method and apparatus for encoding/decoding video signal using motion vectors of pictures in base layer
KR20060059764A (ko) * 2004-11-29 2006-06-02 엘지전자 주식회사 앞서 변환된 에이취-픽처를 기준픽처로 이용하는 영상신호의 엔코딩 방법 및 장치와 그 영상신호를 디코딩하는 방법및 장치
WO2006058921A1 (en) * 2004-12-03 2006-06-08 Thomson Licensing Method for scalable video coding
FR2879066B1 (fr) * 2004-12-03 2007-04-06 Thomson Licensing Sa Procede et dispositif de codage hierarchique inter couches
KR20060069227A (ko) * 2004-12-16 2006-06-21 엘지전자 주식회사 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
US8634413B2 (en) 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
US20080267291A1 (en) * 2005-02-18 2008-10-30 Joseph J. Laks Thomson Licensing Llc Method for Deriving Coding Information for High Resolution Images from Low Resolution Images and Coding and Decoding Devices Implementing Said Method
CN101213840B (zh) 2005-02-18 2011-02-02 汤姆森许可贸易公司 从低分辨率图像导出高分辨率图像的编码信息的方法以及实现该方法的编码和解码设备
EP1862010A4 (en) * 2005-03-25 2011-08-17 Korea Electronics Telecomm HIERARCHICAL VIDEO ENCODING / DECODING METHOD FOR COMPLETE SCALE VARIABILITY AND APPARATUS THEREOF
CN101147399B (zh) * 2005-04-06 2011-11-30 汤姆森许可贸易公司 编码增强层视频数据的方法和设备
JP4618676B2 (ja) 2005-04-28 2011-01-26 株式会社リコー 構造化文書符号の転送方法、画像処理システム、サーバ装置、プログラム及び情報記録媒体
TWI284855B (en) * 2005-04-29 2007-08-01 Sunplus Technology Co Ltd Image processing method and method for detecting difference between different image macro-blocks
KR100878811B1 (ko) * 2005-05-26 2009-01-14 엘지전자 주식회사 비디오 신호의 디코딩 방법 및 이의 장치
US20070014346A1 (en) * 2005-07-13 2007-01-18 Nokia Corporation Coding dependency indication in scalable video coding
KR100746006B1 (ko) * 2005-07-19 2007-08-06 삼성전자주식회사 계층적 구조에 적합하게 시간적 다이렉트 모드로인코딩하며, 디코딩하는 방법 및 장치
EP1922881A4 (en) * 2005-09-06 2012-03-21 Samsung Electronics Co Ltd METHOD AND DEVICE FOR INCREASING THE PERFORMANCE OF ENTROPY CODING AND VIDEO CODING METHOD AND DEVICE FOR APPLYING THIS METHOD
KR100736086B1 (ko) * 2005-09-06 2007-07-06 삼성전자주식회사 엔트로피 코딩의 성능 향상 방법 및 장치, 상기 방법을이용한 비디오 코딩 방법 및 장치
KR100714706B1 (ko) * 2005-09-26 2007-05-04 삼성전자주식회사 엔트로피 코딩의 성능 향상 방법 및 장치, 상기 방법을이용한 비디오 코딩 방법 및 장치
CN102036071B (zh) 2005-12-08 2014-04-02 维德约股份有限公司 用于视频通信系统中的差错弹性和随机接入的系统和方法
TW200806040A (en) 2006-01-05 2008-01-16 Nippon Telegraph & Telephone Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
EP1969853A1 (en) * 2006-01-05 2008-09-17 Thomson Licensing Inter-layer motion prediction method
ZA200805337B (en) 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
US8595281B2 (en) 2006-01-11 2013-11-26 Qualcomm Incorporated Transforms with common factors
US8705630B2 (en) * 2006-02-10 2014-04-22 Nvidia Corporation Adapting one type of encoder to another type of encoder
US7966361B1 (en) 2006-02-10 2011-06-21 Nvidia Corporation Single-cycle modulus operation
KR100846787B1 (ko) * 2006-02-15 2008-07-16 삼성전자주식회사 트랜스포트 스트림을 임포트하는 방법 및 장치
US8693538B2 (en) 2006-03-03 2014-04-08 Vidyo, Inc. System and method for providing error resilience, random access and rate control in scalable video communications
US8937997B2 (en) 2006-03-16 2015-01-20 Apple Inc. Scalable video coding/multiplexing compatible with non-scalable decoders
US8761263B2 (en) * 2006-03-27 2014-06-24 Vidyo, Inc. System and method for management of scalability information in scalable video and audio coding systems using control messages
AU2012202123B2 (en) * 2006-03-27 2014-01-30 Vidyo, Inc. System and method for management of scalability information in scalable video and audio coding systems using control messages
US8848789B2 (en) 2006-03-27 2014-09-30 Qualcomm Incorporated Method and system for coding and decoding information associated with video compression
US8401082B2 (en) 2006-03-27 2013-03-19 Qualcomm Incorporated Methods and systems for refinement coefficient coding in video compression
US7778472B2 (en) 2006-03-27 2010-08-17 Qualcomm Incorporated Methods and systems for significance coefficient coding in video compression
US8849884B2 (en) 2006-03-29 2014-09-30 Qualcom Incorporate Transform design with scaled and non-scaled interfaces
KR100781524B1 (ko) * 2006-04-04 2007-12-03 삼성전자주식회사 확장 매크로블록 스킵 모드를 이용한 인코딩/디코딩 방법및 장치
EP1879399A1 (en) 2006-07-12 2008-01-16 THOMSON Licensing Method for deriving motion data for high resolution pictures from motion data of low resolution pictures and coding and decoding devices implementing said method
KR101382101B1 (ko) * 2006-08-25 2014-04-07 톰슨 라이센싱 감소된 해상도의 파티셔닝을 위한 방법 및 장치
US7456760B2 (en) * 2006-09-11 2008-11-25 Apple Inc. Complexity-aware encoding
US8599926B2 (en) 2006-10-12 2013-12-03 Qualcomm Incorporated Combined run-length coding of refinement and significant coefficients in scalable video coding enhancement layers
US8565314B2 (en) 2006-10-12 2013-10-22 Qualcomm Incorporated Variable length coding table selection based on block type statistics for refinement coefficient coding
US9319700B2 (en) 2006-10-12 2016-04-19 Qualcomm Incorporated Refinement coefficient coding based on history of corresponding transform coefficient values
US8325819B2 (en) 2006-10-12 2012-12-04 Qualcomm Incorporated Variable length coding table selection based on video block type for refinement coefficient coding
US7991236B2 (en) 2006-10-16 2011-08-02 Nokia Corporation Discardable lower layer adaptations in scalable video coding
EP2077038B1 (en) * 2006-10-18 2013-01-30 Apple Inc. Scalable video coding with filtering of lower layers
CN101198052B (zh) * 2006-12-04 2010-05-19 华为技术有限公司 一种视频编码方法、解码方法及其装置
SI3920538T1 (sl) 2007-04-12 2023-08-31 Dolby International Ab Razpostavljanje pri kodiranju in dekodiranju videa
US7558760B2 (en) * 2007-06-12 2009-07-07 Microsoft Corporation Real-time key frame generation
JP2009016934A (ja) * 2007-06-29 2009-01-22 Toshiba Corp 映像再生装置
US8254455B2 (en) 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
EP2048887A1 (en) * 2007-10-12 2009-04-15 Thomson Licensing Encoding method and device for cartoonizing natural video, corresponding video signal comprising cartoonized natural video and decoding method and device therefore
US8687875B2 (en) * 2007-12-03 2014-04-01 Nvidia Corporation Comparator based acceleration for media quantization
US8704834B2 (en) * 2007-12-03 2014-04-22 Nvidia Corporation Synchronization of video input data streams and video output data streams
US8934539B2 (en) * 2007-12-03 2015-01-13 Nvidia Corporation Vector processor acceleration for media quantization
US8205148B1 (en) * 2008-01-11 2012-06-19 Bruce Sharpe Methods and apparatus for temporal alignment of media
JP5231284B2 (ja) * 2008-03-31 2013-07-10 富士フイルム株式会社 撮像装置、撮像方法、およびプログラム
JP5181294B2 (ja) * 2008-03-31 2013-04-10 富士フイルム株式会社 撮像システム、撮像方法、およびプログラム
US8948822B2 (en) 2008-04-23 2015-02-03 Qualcomm Incorporated Coordinating power management functions in a multi-media device
US20090304086A1 (en) * 2008-06-06 2009-12-10 Apple Inc. Method and system for video coder and decoder joint optimization
US8908763B2 (en) 2008-06-25 2014-12-09 Qualcomm Incorporated Fragmented reference in temporal compression for video coding
WO2010017166A2 (en) 2008-08-04 2010-02-11 Dolby Laboratories Licensing Corporation Overlapped block disparity estimation and compensation architecture
US8964828B2 (en) 2008-08-19 2015-02-24 Qualcomm Incorporated Power and computational load management techniques in video processing
US8948270B2 (en) 2008-08-19 2015-02-03 Qualcomm Incorporated Power and computational load management techniques in video processing
US8326075B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
JP2010187116A (ja) * 2009-02-10 2010-08-26 Toshiba Corp 動画処理装置
TWI463878B (zh) * 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
US8718142B2 (en) * 2009-03-04 2014-05-06 Entropic Communications, Inc. System and method for frame rate conversion that utilizes motion estimation and motion compensated temporal interpolation employing embedded video compression
JP5199956B2 (ja) * 2009-06-16 2013-05-15 キヤノン株式会社 画像復号装置及びその制御方法
JP5199955B2 (ja) * 2009-06-16 2013-05-15 キヤノン株式会社 画像復号装置及びその制御方法
JP5597968B2 (ja) * 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
KR20110007838A (ko) 2009-07-17 2011-01-25 삼성전자주식회사 영상 처리 방법 및 장치
JP5369982B2 (ja) * 2009-08-06 2013-12-18 株式会社リコー 画像処理装置および画像処理方法
KR101624649B1 (ko) * 2009-08-14 2016-05-26 삼성전자주식회사 계층적인 부호화 블록 패턴 정보를 이용한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR101452713B1 (ko) * 2009-10-30 2014-10-21 삼성전자주식회사 픽처 경계의 부호화 단위를 부호화, 복호화 하는 방법 및 장치
EP2326091B1 (en) * 2009-11-13 2015-08-12 NTT DoCoMo, Inc. Method and apparatus for synchronizing video data
KR101484280B1 (ko) 2009-12-08 2015-01-20 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
KR101522850B1 (ko) 2010-01-14 2015-05-26 삼성전자주식회사 움직임 벡터를 부호화, 복호화하는 방법 및 장치
WO2011099440A1 (ja) 2010-02-09 2011-08-18 日本電信電話株式会社 動きベクトル予測符号化方法、動きベクトル予測復号方法、動画像符号化装置、動画像復号装置およびそれらのプログラム
ES2652337T3 (es) 2010-02-09 2018-02-01 Nippon Telegraph And Telephone Corporation Procedimiento de codificación predictiva para vector de movimiento, procedimiento de decodificación predictiva para vector de movimiento, dispositivo de codificación de imagen, dispositivo de decodificación de imagen, y programas para ello
US8503528B2 (en) * 2010-09-15 2013-08-06 Google Inc. System and method for encoding video using temporal filter
US8976856B2 (en) 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
CA3052608C (en) 2010-12-17 2021-09-21 Mitsubishi Electric Corporation Image coding device, image decoding device, image coding method, and image decoding method
GB2487200A (en) * 2011-01-12 2012-07-18 Canon Kk Video encoding and decoding with improved error resilience
JP5781313B2 (ja) * 2011-01-12 2015-09-16 株式会社Ｎｔｔドコモ 画像予測符号化方法、画像予測符号化装置、画像予測符号化プログラム、画像予測復号方法、画像予測復号装置及び画像予測復号プログラム
UA109312C2 (uk) * 2011-03-04 2015-08-10 Імпульсно-кодова модуляція з квантуванням при кодуванні відеоінформації
US20120236940A1 (en) * 2011-03-16 2012-09-20 Texas Instruments Incorporated Method for Efficient Parallel Processing for Real-Time Video Coding
US8780996B2 (en) 2011-04-07 2014-07-15 Google, Inc. System and method for encoding and decoding video data
US8780971B1 (en) 2011-04-07 2014-07-15 Google, Inc. System and method of encoding using selectable loop filters
US8781004B1 (en) 2011-04-07 2014-07-15 Google Inc. System and method for encoding video using variable loop filter
RU2600936C2 (ru) 2011-04-12 2016-10-27 Сан Пэтент Траст Способ кодирования движущихся изображений, устройство кодирования движущихся изображений, способ декодирования движущихся изображений, устройство декодирования движущихся изображений и устройство кодирования и декодирования движущихся изображений
MX2013012020A (es) 2011-05-24 2013-12-10 Panasonic Corp Metodo de codificacion de imagenes, aparato de codificacion de imagenes, metodo de decodificacion de imagenes, aparato de decodificacion de imagenes y aparato de codificacion /decodificacion de imagenes.
JP5865366B2 (ja) * 2011-05-27 2016-02-17 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像符号化方法、画像符号化装置、画像復号方法、画像復号装置、および、画像符号化復号装置
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
PL3629583T3 (pl) 2011-05-31 2024-03-25 Sun Patent Trust Sposób dekodowania obrazu, urządzenie do dekodowania obrazu
SG194746A1 (en) 2011-05-31 2013-12-30 Kaba Gmbh Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device
BR112013029425B1 (pt) 2011-06-30 2022-03-29 Sun Patent Trust Método de decodificação de imagem, método de codificação de imagem, dispositivo de decodificação de imagem, dispositivo de codificação de imagem, e dispositivo de codifica ção/decodificação de imagem
MX347793B (es) 2011-08-03 2017-05-12 Panasonic Ip Corp America Metodo de codificacion de video, aparato de codificacion de video, metodo de decodificacion de video, aparato de decodificacion de video y aparato de codificacion/ decodificacion de video.
US8885706B2 (en) 2011-09-16 2014-11-11 Google Inc. Apparatus and methodology for a video codec system with noise reduction capability
MX2014003991A (es) 2011-10-19 2014-05-07 Panasonic Corp Metodo de codificacion de imagenes, aparato de codificacion de imagenes, metodo de decodificacion de imagenes y aparato de decodificacion de imagenes.
DE102011119177A1 (de) * 2011-11-23 2013-05-23 Siemens Aktiengesellschaft Verfahren und Vorrichtung zum Verfahren zum Erstellen eines ersten Parametersatzes
FR2985139B1 (fr) * 2011-12-23 2014-01-03 Thales Sa Procede de compression selective bas debit de flux video et codeur mettant en eouvre le procede
US9131073B1 (en) 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
PL3595315T3 (pl) 2012-04-16 2021-04-19 Samsung Electronics Co., Ltd. Sposób i urządzenie do ustalania zestawu widoków odniesienia obrazu
CN104380744B (zh) 2012-06-19 2018-05-04 Lg电子株式会社 处理视频信号的方法和设备
US9344729B1 (en) 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
US20150334389A1 (en) * 2012-09-06 2015-11-19 Sony Corporation Image processing device and image processing method
US20140086328A1 (en) * 2012-09-25 2014-03-27 Qualcomm Incorporated Scalable video coding in hevc
RU2533852C2 (ru) * 2012-12-26 2014-11-20 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ кодирования/декодирования многоракурсной видеопоследовательности на основе адаптивной компенсации локальных различий яркости при межкадровом предсказании (варианты)
US9380324B2 (en) 2013-01-23 2016-06-28 Steven Schoenwald Video content distribution package
US9767854B2 (en) 2013-01-23 2017-09-19 Steven Schoenwald Video content distribution package
CN103297778B (zh) * 2013-05-27 2017-04-19 华为技术有限公司 一种对图像进行编、解码的方法及设备
JP6261215B2 (ja) * 2013-07-12 2018-01-17 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US9294766B2 (en) 2013-09-09 2016-03-22 Apple Inc. Chroma quantization in video coding
JPWO2015132881A1 (ja) * 2014-03-04 2017-03-30 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及びプログラム
US10102613B2 (en) 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising
KR20180053028A (ko) * 2016-11-11 2018-05-21 삼성전자주식회사 계층 구조를 구성하는 프레임들에 대한 인코딩을 수행하는 비디오 처리 장치
CN110049339B (zh) * 2018-01-16 2023-02-17 腾讯科技（深圳）有限公司 图像编码中的预测方向选取方法、装置和存储介质
US10469869B1 (en) 2018-06-01 2019-11-05 Tencent America LLC Method and apparatus for video coding
US11321904B2 (en) 2019-08-30 2022-05-03 Maxon Computer Gmbh Methods and systems for context passing between nodes in three-dimensional modeling
EP4026050A4 (en) * 2019-09-24 2022-11-23 Huawei Technologies Co., Ltd. IMAGE INFORMATION AND DECODE UNIT INFORMATION ON TIME SCALABILITY
US11714928B2 (en) 2020-02-27 2023-08-01 Maxon Computer Gmbh Systems and methods for a self-adjusting node workspace
US11373369B2 (en) 2020-09-02 2022-06-28 Maxon Computer Gmbh Systems and methods for extraction of mesh geometry from straight skeleton for beveled shapes

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9405914D0 (en) * 1994-03-24 1994-05-11 Discovision Ass Video decompression
US4897855A (en) * 1987-12-01 1990-01-30 General Electric Company DPCM system with adaptive quantizer having unchanging bin number ensemble
US4939515A (en) * 1988-09-30 1990-07-03 General Electric Company Digital signal encoding and decoding apparatus
JPH04358486A (ja) * 1991-06-04 1992-12-11 Toshiba Corp 高能率符号化信号処理装置
US5475501A (en) * 1991-09-30 1995-12-12 Sony Corporation Picture encoding and/or decoding method and apparatus
DE4138517A1 (de) * 1991-11-23 1993-05-27 Univ Hannover Einrichtung zur objekt-orientierten codierung von bildsignalen
US5384665A (en) * 1992-02-21 1995-01-24 Mitsubushi Denki Kabushiki Kaisha Data dividing apparatus
US5842033A (en) * 1992-06-30 1998-11-24 Discovision Associates Padding apparatus for passing an arbitrary number of bits through a buffer in a pipeline system
GB2288520B (en) * 1994-03-24 1998-10-14 Discovision Ass Pipeline
NL9201594A (nl) * 1992-09-14 1994-04-05 Nederland Ptt Systeem omvattende ten minste één encoder voor het coderen van een digitaal signaal en ten minste één decoder voor het decoderen van een gecodeerd digitaal signaal, en encoder en decoder voor toepassing in het systeem.
US5414780A (en) * 1993-01-27 1995-05-09 Immix Method and apparatus for image data transformation
US5946040A (en) * 1993-03-25 1999-08-31 Sony Corporation Moving picture coding/decoding method and apparatus for decoders of various processing capability
JP3374989B2 (ja) * 1993-03-26 2003-02-10 ソニー株式会社 画像信号符号化方法および画像信号符号化装置、ならびに画像信号復号化方法および画像信号復号化装置
US5805914A (en) * 1993-06-24 1998-09-08 Discovision Associates Data pipeline system and data encoding method
WO1995002946A1 (en) * 1993-07-12 1995-01-26 Sony Corporation Decoding method and apparatus
JP3364281B2 (ja) * 1993-07-16 2003-01-08 パイオニア株式会社 時分割ビデオ及びオーディオ信号の同期方式
EP0667716B1 (en) * 1993-08-30 1999-11-24 Sony Corporation Device and method for encoding image
JPH07226917A (ja) * 1994-02-14 1995-08-22 Toshiba Corp 画像再生方式及び装置
JP3244399B2 (ja) * 1994-03-25 2002-01-07 三洋電機株式会社 圧縮動画像符号信号の情報量変換回路、及び方法
US5852669A (en) * 1994-04-06 1998-12-22 Lucent Technologies Inc. Automatic face and facial feature location detection for low bit rate model-assisted H.261 compatible coding of video
JP3013698B2 (ja) * 1994-04-20 2000-02-28 松下電器産業株式会社 ベクトル量子化符号化装置と復号化装置
US5767898A (en) * 1994-06-23 1998-06-16 Sanyo Electric Co., Ltd. Three-dimensional image coding by merger of left and right images
US5796438A (en) * 1994-07-05 1998-08-18 Sony Corporation Methods and apparatus for interpolating picture information
JP3711571B2 (ja) * 1994-09-29 2005-11-02 ソニー株式会社 画像符号化装置及び画像符号化方法
JP3954656B2 (ja) * 1994-09-29 2007-08-08 ソニー株式会社 画像符号化装置及び方法
EP0708563B1 (en) * 1994-10-19 2004-12-22 Matsushita Electric Industrial Co., Ltd. Image decoding device
EP1098527A1 (en) * 1994-11-04 2001-05-09 Matsushita Electric Industrial Co., Ltd. Picture coding apparatus and decoding apparatus
DE69530908T2 (de) * 1994-12-20 2004-05-19 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zur Bildkodierung
US5886743A (en) * 1994-12-28 1999-03-23 Hyundai Electronics Industries Co. Ltd. Object-by information coding apparatus and method thereof for MPEG-4 picture instrument
US6023301A (en) 1995-07-14 2000-02-08 Sharp Kabushiki Kaisha Video coding device and video decoding device
WO1997005745A1 (en) * 1995-07-31 1997-02-13 Sony Corporation Image pickup system, picture processor, encoder, encoding method, and random noise removing method
TW436777B (en) * 1995-09-29 2001-05-28 Matsushita Electric Ind Co Ltd A method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween
US5959672A (en) * 1995-09-29 1999-09-28 Nippondenso Co., Ltd. Picture signal encoding system, picture signal decoding system and picture recognition system
TW305043B (ja) * 1995-09-29 1997-05-11 Matsushita Electric Ind Co Ltd
TW303570B (ja) * 1995-09-29 1997-04-21 Matsushita Electric Ind Co Ltd
US5768536A (en) * 1995-10-26 1998-06-16 Advanced Micro Devices, Inc. Generation of a secondary video bitstream from a compressed video bitstream to enhance playback performance
JP3788823B2 (ja) * 1995-10-27 2006-06-21 株式会社東芝 動画像符号化装置および動画像復号化装置
US5708732A (en) * 1996-03-06 1998-01-13 Hewlett-Packard Company Fast DCT domain downsampling and inverse motion compensation
US5912708A (en) * 1996-12-26 1999-06-15 Sony Corporation Picture signal encoding device, picture signal encoding method, picture signal decoding device, picture signal decoding method, and recording medium

Also Published As

Publication number Publication date
JPH10136372A (ja) 1998-05-22
WO1998010593A3 (en) 1998-06-04
CN1298170C (zh) 2007-01-31
US6097842A (en) 2000-08-01
US6427027B1 (en) 2002-07-30
CN1476251A (zh) 2004-02-18
KR20050098979A (ko) 2005-10-12
CN1133328C (zh) 2003-12-31
US6459812B2 (en) 2002-10-01
EP2012546A3 (en) 2009-01-14
RU2189120C2 (ru) 2002-09-10
KR20000064356A (ko) 2000-11-06
WO1998010593A2 (en) 1998-03-12
EP0860086A2 (en) 1998-08-26
CN1254111C (zh) 2006-04-26
US20020001411A1 (en) 2002-01-03
CN1207228A (zh) 1999-02-03
CN1482809A (zh) 2004-03-17
KR100606588B1 (ko) 2006-08-01
KR100572130B1 (ko) 2006-12-13
US6389173B1 (en) 2002-05-14
EP0860086A3 (en) 1999-09-22
EP2012546A2 (en) 2009-01-07

Similar Documents

Publication Publication Date Title
JP3263807B2 (ja) 画像符号化装置および画像符号化方法
US6031575A (en) Method and apparatus for encoding an image signal, method and apparatus for decoding an image signal, and recording medium
US6330280B1 (en) Method and apparatus for decoding enhancement and base layer image signals using a predicted image signal
KR100417932B1 (ko) 영상 인코더, 영상 부호화 방법, 영상 디코더 및 영상 복호화 방법
JP4326743B2 (ja) 予測符号化オブジェクトベース画像信号を予測符号化ブロックベース画像信号にトランスコーディングするトランスコーディング方法およびトランスコーダ
JP3413720B2 (ja) 画像符号化方法及び装置、並びに画像復号方法及び装置
JP3413721B2 (ja) 画像符号化方法及び装置、並びに画像復号方法及び装置
JP3440830B2 (ja) 画像符号化装置及び方法、並びに記録媒体
JP2007266749A (ja) 符号化方法
Haskell et al. Mpeg video compression basics
JP3344577B2 (ja) 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録方法
JP3371191B2 (ja) 画像信号の符号化方法及び復号方法、並びに、符号化装置及び復号装置
JP3344576B2 (ja) 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法
JP3263901B2 (ja) 画像信号符号化方法及び装置、画像信号復号化方法及び装置
JP3318707B2 (ja) 画像信号符号化装置および画像信号符号化方法、画像信号復号装置および画像信号復号方法、画像信号伝送方法、並びに画像信号記録媒体
JP3263812B2 (ja) 画像符号化装置および画像符号化方法、並びに画像復号化装置および画像復号化方法
AU731425B2 (en) Picture encoding and decoding
AU759435B2 (en) Picture encoding and decoding
JP3318712B2 (ja) 画像信号符号化装置および画像信号符号化方法、画像信号復号装置および画像信号復号方法、画像信号伝送方法、並びに画像信号記録媒体
JPH1141558A (ja) 画像信号復号化装置および画像信号復号化方法、並びに伝送媒体
Mandal et al. Digital video compression techniques
JPH07250329A (ja) 画像合成符号化方法及び画像合成装置
Jafari et al. An Efficient Video Transcoding Algorithm Between H. 263 and MPEG-4 for Inter-Network Communications

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20011116

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071228

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081228

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091228

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091228

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101228

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111228

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121228

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131228

Year of fee payment: 12

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees