JPH09182084A - 動画像符号化装置および動画像復号化装置 - Google Patents

動画像符号化装置および動画像復号化装置

Info

Publication number
JPH09182084A
JPH09182084A JP15429696A JP15429696A JPH09182084A JP H09182084 A JPH09182084 A JP H09182084A JP 15429696 A JP15429696 A JP 15429696A JP 15429696 A JP15429696 A JP 15429696A JP H09182084 A JPH09182084 A JP H09182084A
Authority
JP
Japan
Prior art keywords
image
circuit
layer
motion compensation
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP15429696A
Other languages
English (en)
Other versions
JP3788823B2 (ja
Inventor
Takashi Ida
孝 井田
Toshiaki Watanabe
敏明 渡邊
Noboru Yamaguchi
昇 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP15429696A priority Critical patent/JP3788823B2/ja
Priority to US08/738,934 priority patent/US5818531A/en
Priority to EP20020003685 priority patent/EP1215911A3/en
Priority to EP19960307720 priority patent/EP0771119A3/en
Priority to EP20070010441 priority patent/EP1821545A2/en
Publication of JPH09182084A publication Critical patent/JPH09182084A/ja
Priority to US09/111,751 priority patent/US6028634A/en
Priority to US09/334,769 priority patent/US6256346B1/en
Priority to US09/783,549 priority patent/US6519285B2/en
Priority to US10/986,574 priority patent/USRE40079E1/en
Application granted granted Critical
Publication of JP3788823B2 publication Critical patent/JP3788823B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4084—Transform-based scaling, e.g. FFT domain scaling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/619—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Abstract

(57)【要約】 【課題】多階層に解像度や画質を可変可能なスケーラブ
ル符号化法に於て符号化効率低下を抑制した任意形状画
像(Pf)の動画像符号化・復号化装置を得る。 【解決手段】Ｎ×Ｎ個の変換係数(n) 毎に n領域での動
き補償予測(MV)が用られるMV＋変換符号化に於て入力画
像の背景／オブジェクト識別用のアルファマップ信号(A
M)を符号化する手段155 、AMに従いPfを nに変換する手
段101 、AMに従いnを逆変換しPfを再生する手段、Ｍ階
層の SNRスケーラビリティを実現する符号化装置であっ
て第ｍ階層(m=2〜M)の動き補償予測値(p) と第 m-1階層
の pとを n毎に切換える事により第ｍ階層の pを求める
ための第 m-1階層における量子化器の出力(Q) が０の n
は第ｍ階層の pを、Q=1 以上の nは第m-1 階層の pを選
択する手段300 、第ｍ階層の予測誤差信号と第 m-1階層
の逆量子化器の出力との差分dfを得る手段121 、dfの量
子化信号を符号化し出力する手段155,161 を持つ。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像信号を高能率
に符号化し伝送・蓄積する、画像符号化・復号化装置、
特に、多階層に解像度や画質を可変可能なスケーラブル
符号化の可能なスケーラビリティ機能を有する動画像符
号化・復号化装置に関する。
【０００２】
【従来の技術】画像信号は膨大な情報量を持つため、伝
送や蓄積に供する場合には圧縮符号化するのが一般的で
ある。画像信号を高能率に符号化するには、フレーム単
位の画像を、所要画素数単位でブロック分けし、その各
ブロック毎に直交変換して画像の持つ空間周波数を各周
波数成分に分離し、変換係数として取得してこれを符号
化する。
【０００３】ところで、画像符号化の機能として、ビッ
トストリームを部分的に復号することで、画質（ＳＮ
Ｒ； Signal to Noise Ratio）、空間解像度、時間解像
度を段階的に可変とすることを可能にするスケーラビリ
ティの機能が要求されている。
【０００４】ＩＳＯ／ＩＥＣにおいて標準化されたメデ
ィア統合系動画像符号化標準であるＭＰＥＧ２のビデオ
パート（ＩＳ１３８１８‐２）にも、スケーラビリティ
の機能が取り入れられている。
【０００５】このスケーラビリティは、図１６、図１７
に示されるような階層的な符号化法により実現される。
図１６は、ＳＮＲスケーラビリティの場合でのエンコー
ダ（符号化装置）の構成例とデコーダ（復号化装置）の
構成例を、また、図１７は、空間スケーラビリティの場
合でのエンコーダの構成例とデコーダの構成例をそれぞ
れ示したものである。
【０００６】図１６、図１７において、Ｄは遅延手段で
あって、ベースレイヤ（下位階層）からの予測値が得ら
れるまでの遅延を与えるためのものであり、ＤＣＴは離
散コサイン変換（直交変換）を行う手段、Ｑは量子化を
行う量子化器、ＩＱは逆量子化を行う逆量子化器、ＩＤ
ＣＴは逆ＤＣＴを行う手段、ＦＭはフレームメモリ、Ｍ
Ｃは動き補償予測を行う手段、ＶＬＣは可変長符号化を
行う手段、ＶＬＤは可変長復号化を行う手段、ＤＳはダ
ウンサンプリングする手段、ＵＳはアップサンプリング
を行う手段、ｗは重み付けパラメータ（０，０．５，
１）をそれぞれ示している。
【０００７】図１６の（ａ）は符号化のためのエンコー
ダを、そして、図１６の（ｂ）はデコーダの構成例を示
している。エンコーダにおいては、画質の低いレイヤで
あるベースレイヤ（下位階層）と、画質の高いレイヤで
あるエンハンスメントレイヤ（上位階層）に別れてい
る。
【０００８】そして、ベースレイヤではＭＰＥＧ１ある
いはＭＰＥＧ２で符号化され、エンハンスメントレイヤ
では、ベースレイヤで符号化されたデータを再現し、元
のデ−タからこの再現されたものを引き、その結果得ら
れる誤差分だけをベースレイヤの量子化ステップ・サイ
ズよりも小さな量子化ステップ・サイズで量子化して符
号化する。すなわち、より細かく量子化して符号化す
る。そして、ベースレイヤ情報にエンハンスメントレイ
ヤの情報を加えることで、精細さを向上させることがで
き、高画質の画像の伝送・蓄積が可能になる。
【０００９】このように画像をベースレイヤとエンハン
スメントレイヤに分け、ベースレイヤで符号化されたデ
ータを再現し、元のデ−タからこの再現されたものを引
き、その結果得られる誤差分だけをベースレイヤの量子
化ステップ・サイズよりも小さな量子化ステップ・サイ
ズで量子化して符号化することで、高精細な画像の符号
化／復号化できるようにする技術をＳＮＲスケーラビリ
ティという。
【００１０】図１６の（ａ）のエンコーダでは、入力画
像をベースレイヤとエンハンスメントレイヤにそれぞれ
入力し、ベースレイヤではこれを前フレームの画像から
得た動き補償予測値との誤差分を得る処理をした後に直
交変換（ＤＣＴ）し、その変換係数を量子化して可変長
復号化し、ベースレイヤ出力とする。また、量子化出力
は、逆量子化した後、逆ＤＣＴし、これに前フレームの
動き補償予測値を加えてフレーム画像を得、このフレー
ム画像から動き補償予測を行い、前フレームの動き補償
予測値とする。
【００１１】一方、エンハンスメントレイヤでは入力画
像を、ベースレイヤからの予測値が得られるまでの遅延
を与えたのちに、前フレームの画像から得たエンハンス
メントレイヤでの動き補償予測値との誤差分を得る処理
をし、その後に直交変換し（ＤＣＴ）、その変換係数に
ベースレイヤの逆量子化出力分の補正を加えてからこれ
を量子化して可変長復号化し、エンハンスメントレイヤ
出力とする。また、量子化出力は、逆量子化した後、ベ
ースレイヤにて得た前フレームの動き補償予測値を加え
て逆ＤＣＴし、これにエンハンスメントレイヤで得た前
フレームの動き補償予測値を加えてフレーム画像を得、
このフレーム画像から動き補償予測を行い、エンハンス
メントレイヤでの前フレームの動き補償予測値とする。
【００１２】これにより、ＳＮＲスケーラビリティを使
用した動画像の符号化を行うことができる。
【００１３】図１６のＳＮＲスケーラビリティは、図で
は２階層で表現しているが、更に階層数を増やすこと
で、様々なＳＮＲの再生画像が得られる。
【００１４】図１６の（ｂ）に示すデコーダでは、それ
ぞれ別個に与えられるエンハンスメントレイヤとベース
レイヤの可変長復号化データを、それぞれ別個に可変長
復号化し、逆量子化してから両者を加え、これを逆ＤＣ
Ｔした後、前フレームの動き補償予測値を加えて画像信
号を復元すると共に、復元した画像信号から得た１フレ
ーム前の画像から動き補償予測を行い、前フレームの動
き補償予測値とする。
【００１５】以上が、ＳＮＲスケーラビリティを採用し
た符号化と復号化の例である。
【００１６】一方、空間スケーラビリティは、空間解像
度からみたものであり、空間解像度の低いベースレイヤ
と空間解像度の高いエンハンスレイヤに分けて符号化す
る。ベースレイヤは通常のＭＰＥＧ２の符号化方法を使
用して符号化し、エンハンスレイヤではベースレイヤの
画像をアップサンプリング（低解像度画像の画素間に平
均値等の画素を付加し、高解像度画像を作成すること）
してエンハンスレイヤと同じサイズの画像を作成し、エ
ンハンスレイヤの画像からの動き補償予測と、このアッ
プサンプリングされた画像からの動き補償予測とから適
応的に予測をすることで、効率の良い符号化をすること
ができるようにするものであり、エンコーダの構成例は
図１７の（ａ）の如きであり、デコーダの構成例は図１
７の（ｂ）の如きで実現できるものである。
【００１７】図１７の空間スケーラビリティは、例え
ば、ＭＰＥＧ２のビットストリームの一部を取り出すと
ＭＰＥＧ１でデコードすることができるという後方互換
性を実現するために存在しており、様々な解像度の画像
を再生することができるようにする機能ではない（参考
文献：”特集 ＭＰＥＧ”テレビ誌，Vol.49,No.4,pp.4
58-463,1995 ）。
【００１８】すなわち、ＭＰＥＧ２における動画像の符
号化技術においては、高画質の画像の高能率符号化と高
画質再生を目指しており、符号化した画像に忠実な画像
が再現できるようにしている。
【００１９】しかしながら、マルチメディアの普及に伴
い、再生側のシステムでは、高能率符号化された高画質
画像のデータをフルデコードすることができる再生装置
の要求の他、携帯用のシステムなどのように、画質はと
もかくとして画面が再生できれば良いような用途や、シ
ステム価格を抑制するために、簡易型とするシステムの
要求などがある。
【００２０】このような要求に応えるためには、例え
ば、画像を８×８画素のマトリックスにブロック分け
し、各ブロック単位でＤＣＴを行った場合に、８×８の
変換係数が得られるわけであるから、本来ならば第１低
周波項から第８低周波項までの分を復号化しなければな
らないところを、第１低周波項から第４低周波項までの
分を復号化したり、第１低周波項から第６低周波項まで
の分を復号化したりといった具合に、再生は８×８では
なく、４×４とか、６×６の情報で復元するといったよ
うに簡素化することで対応できることになる。
【００２１】しかし、本来、８×８であるものを４×４
とか、６×６の情報で復元すると、動き補償予測値都の
ミスマッチが生じ、誤差が累積するため、画像が著しく
劣化する。このような符号化側と復号化側とのミスマッ
チを如何に克服するかが大きな課題となる。
【００２２】なお、標準化はされてはいないが、符号化
側と復号化側との空間解像度の違いに対処すべく、空間
解像度を変換する方法として直交変換（例えばＤＣＴ
（離散コサイン変換））係数の一部を、元の次数よりも
小さな次数で逆変換することにより、空間解像度を可変
にする方法もある。
【００２３】しかし、解像度変換された画像で動き補償
予測を行う際に、動き補償予測に起因したドリフトと呼
ばれる画質劣化が再生画像に発生してしまう（参考文
献：岩橋他、“スケーラブル・デコーダにおけるドリフ
ト低減のための動き補償”、信学技報ＩＥ９４−９７，
１９９４）。
【００２４】従って、符号化側と復号化側とのミスマッ
チ克服のための技術としては問題がある。
【００２５】一方、図１７の空間スケーラビリティは、
例えば、ＭＰＥＧ２のビットストリームの一部を取り出
すとＭＰＥＧ１でデコードすることができるという後方
互換性を実現するために存在しており、様々な解像度の
画像を再生する機能ではない（参考文献：”特集 ＭＰ
ＥＧ”テレビ誌，Vol.49,No.4,pp.458-463,1995 ）。こ
のように、スケーラビリティ機能を実現するために階層
的な符号化が行なわれるため、情報が分割されて符号化
され、符号化効率の低下が発生する。
【００２６】また、J.Y.A.Wang et.al."Applying Mid-l
evel Vision Techniques for VideoData Compression a
nd Manipulation",M.I.T.MediaLab.Tech.Report No.26
3,Feb.1994，において、ミッドレベル符号化と呼ばれる
範疇に属する画像符号化法が提案されている。
【００２７】この方式では、図１８のように背景と被写
体（以後、オブジェクトと呼ぶ）を分けて符号化してい
る。このように、背景（ｃ）やオブジェクト（ｂ）を別
々に符号化するために、オブジェクトの形状や画面内の
位置を表すアルファマップ信号（図１８（ｄ）白画素が
オブジェクトの画素を示す）が必要となる。なお、背景
のアルファマップ信号（ｅ）は、オブジェクトのアルフ
ァマップ信号から一意に求められる。
【００２８】このような符号化法では、任意形状の画像
を符号化する必要がある。任意形状画像の符号化法とし
ては、先に出願した特願平７‐９７０７３号に記載の任
意形状画像信号の直交変換法がある。図１９は、任意形
状画像を正方ブロックで等分割した際に、形状の境界部
を含むエッジブロックに対する変換手段を図示したもの
である。
【００２９】図１９に示すように、入力されたエッジブ
ロック信号の中で、まず、斜線で示されるコンテントの
内部に含まれる画素の値を分離回路（ＳＥＰ）で分離
し、その平均値ａを平均値計算回路（ＡＶＥ）にて求め
る。
【００３０】次に、セレクタ（ＳＥＬ）において、アル
ファマップ（alpha-map ）が斜線部の画素を示す場合に
は、ブロックメモリ（ＭＥＭ）に蓄積された斜線部の画
素値を、その他の画素を示す場合には、平均値ａを出力
する。このように処理されたブロックの信号を２次元Ｄ
ＣＴすることで、斜線部の画素に対する変換係数を求め
る。
【００３１】一方、逆変換は、この変換係数を逆ＤＣＴ
して得られるブロック内の画素値の中から、斜線部の画
素値を分離することで実現される。
【００３２】
【発明が解決しようとする課題】このように、動画像の
符号化において、多階層に分割することが可能なスケー
ラブル符号化法では、符号化効率が大幅に低下するおそ
れがあった。また、背景とオブジェクトを分離して符号
化する任意形状画像の符号化装置においても解像度と画
質を可変とすることが可能なスケーラブル符号化が必要
となる。また、任意形状画像の動き補償予測符号化の効
率を改善する必要がある。
【００３３】また、ミッドレベル符号化法においては、
図１９に示したように、単純に、オブジェクトの内部の
平均値を背景部に均一に配置する方法は、少ない演算で
実現できるというメリットがある。しかし、反面、オブ
ジェクトと背景の境界に画素値の段差が生じることがあ
り、その場合に、ＤＣＴを施すと、高周波数成分が多く
発生するため、符号量が少なくならないという不具合が
ある。
【００３４】そこで、この発明の目的とするところは、
第１には、動画像の符号化において、多階層に分割する
ことが可能なスケーラブル符号化法での符号化効率の向
上を図ることができるようにした符号化装置および復号
化装置を提供することにある。
【００３５】また、この発明の目的とするところは、第
２には、背景とオブジェクトを分離して符号化する任意
形状画像の符号化装置において、解像度と画質を可変と
することを可能に、しかも、符号化効率の良いスケーラ
ブル符号化装置および復号化装置を提供することにあ
る。するスケーラブル符号化装置および復号化装置を提
供することにある。
【００３６】また、この発明の目的とするところは、第
３には、任意形状画像の動き補償予測符号化の効率を改
善することにある。
【００３７】また、この発明の目的とするところは、第
４には、オブジェクトの内部の平均値を背景部に均一に
配置する方法を採用した場合において、オブジェクトと
背景の境界に画素値の段差が生じても、ＤＣＴを施した
際に、高周波数成分が多く発生することによる符号量が
少なくならないという欠点を改善することにある。
【００３８】
【課題を解決するための手段】本発明は、上記第１の目
的を達成するため、第１には、変換係数領域での動き補
償予測が用られる動き補償予測＋変換符号化装置におい
て、Ｍ階層のＳＮＲスケーラビリティを実現する符号化
装置であって、第ｍ階層（ｍ＝２〜Ｍ）の動き補償予測
値と第ｍ−１階層の動き補償予測値とを変換係数毎に切
り換えることにより、第ｍ階層の予測値を求めるため
の、第ｍ−１階層における量子化器の出力が０である場
合には第ｍ階層の動き補償予測値を第ｍ−１階層におけ
る量子化器の出力が１以上である場合には第ｍ−１階層
の動き補償予測値を変換係数毎に出力する切り換え手段
と、第ｍ階層の動き補償予測誤差信号と第ｍ−１階層の
逆量子化器の出力との差分信号を求める手段と、前記差
分信号を量子化した信号を符号化した後、蓄積および伝
送する手段とを設けて動画像符号化装置を構成する。
【００３９】また、本発明は第２には、上記第１の目的
を達成するため、前記第１の構成の符号化装置で符号化
された符号化ビットストリームから、第ｍ階層（ｍ＝２
〜Ｍ）までの符号を取り出す手段と、第ｍ階層までの各
階層の符号を復号化する手段と、前記手段により復号さ
れた量子化値を各階層において逆量子化する手段と、第
ｍ階層（ｍ＝２〜Ｍ）の動き補償予測値と第ｍ−１階層
の動き補償予測値とを変換係数毎に切り換えることによ
り、第ｍ階層の予測値を求めるための、第ｍ−１階層に
おける量子化器の出力が０である場合には第ｍ階層の動
き補償予測値を第ｍ−１階層における量子化器の出力が
１以上である場合には第ｍ−１階層の動き補償予測値を
変換係数毎に出力する切り換え手段と、第ｍ階層の逆量
子化器の出力と第ｍ−１階層の逆量子化器の出力とを加
算することで第ｍ階層の動き補償予測誤差信号を再生す
る手段を設けて動画像復号化装置を構成する。
【００４０】また、本発明は第３には、前記第１の目的
を達成するため、前記第１の構成の動画像符号化装置で
あって、第ｍ階層（ｍ＝２〜Ｍ）の量子化マトリクス
を、第ｍ−１階層における量子化器の出力が０となる変
換係数と、第ｍ−１階層における量子化器の出力が１以
上となる変換係数とで切り換える手段を有する構成とす
ることを特徴とする。
【００４１】また、本発明は第４には、上記第１の目的
を達成するため、前記第２の構成の画像復号化装置であ
って、第ｍ階層（ｍ＝２〜Ｍ）の量子化マトリクスを、
第ｍ−１階層における量子化値が０となる変換係数と、
第ｍ−１階層における量子化値が１以上となる変換係数
とで切り換える手段を有する構成とすることを特徴とす
る。
【００４２】また、本発明は第５には、上記第１の目的
を達成するため、前記第１あるいは前記第３の構成の動
画像符号化装置であって、第ｍ階層（ｍ＝２〜Ｍ）にお
ける２次元直交変換係数の量子化値を１次元系列に並べ
変える際に、第ｍ−１階層における量子化器の出力が０
となる変換係数よりも、第ｍ−１階層における量子化器
の出力が１以上となる変換係数を先に並べる並べ換え手
段を有する構成とする。
【００４３】また、本発明は第６には、上記第１の目的
を達成するため、前記第２あるいは前記第４の構成の動
画像復号化装置であって、前記第５の構成における並べ
換え手段により１次元系列に並べ換えられた第ｍ階層
（ｍ＝２〜Ｍ）における２次元直交変換係数の量子化値
を、もとの２次元系列に並べ換える第２の並べ換え手段
を設けて構成する。
【００４４】また、本発明は第７には、上記第２の目的
を達成するため、前記第１または前記第３または前記第
５の構成の動画像符号化装置において、入力画像の背景
とオブジェクトを識別するためのアルファマップ信号を
用い、このアルファマップ信号を符号化する手段と、前
記アルファマップ信号にしたがって任意形状画像を変換
係数に変換する手段と、前記アルファマップ信号にした
がって前記変換係数を逆変換することにより、任意形状
画像を再生する手段を設けた構成とする。
【００４５】また、本発明は第８には、前記第２の目的
を達成するため、前記第２または前記第４または前記第
６の構成の画像復号化装置において、入力画像の背景と
オブジェクトを識別するためのアルファマップ信号を用
い、このアルファマップ信号にしたがって変換係数に変
換された任意形状画像を逆変換することにより、任意形
状画像を再生する手段を設ける構成とする。
【００４６】また、本発明は第９には、上記第２の目的
を達成するため、入力画像の背景と１つ以上のオブジェ
クトを識別するためのアルファマップ信号を用い、この
アルファマップ信号を符号化する手段と、アルファマッ
プにしたがって任意形状画像を変換係数に変換する手段
と、アルファマップにしたがって前記変換係数を逆変換
することにより、任意形状画像を再生する手段を有す
る、動き補償予測を用いた動画像符号化装置において、
背景および各オブジェクトに対して、各々に対応するフ
レームメモリを有する構成とする。
【００４７】また、本発明は第１０には、上記第２の目
的を達成するため、符号化されて与えられた入力画像の
背景と１つ以上のオブジェクトを識別するためのアルフ
ァマップ信号を復号化する手段と、再生されたアルファ
マップにしたがって任意形状画像を変換係数に変換する
手段と、再生されたアルファマップにしたがって変換係
数に変換された任意形状画像を逆変換することにより、
任意形状画像を再生する手段を有する、動き補償予測を
用いた動画像復号化装置において、背景および各オブジ
ェクトに対して、各々に対応するフレームメモリを有す
る構成とする。
【００４８】また、本発明は第１１には、上記第３の目
的を達成するため、入力画像の背景と１つ以上のオブジ
ェクトを識別するためのアルファマップ信号を用い、こ
のアルファマップ信号にしたがって、任意形状画像を動
き補償予測を用いて符号化する動画像符号化装置におい
て、複数のオブジェクトあるいは背景を含むブロックで
は、各オブジェクトおよび背景毎に動きベクトルを検出
する手段を有し、複数のオブジェクトあるいは背景を含
むブロックにおいては、１つのオブジェクトあるいは背
景を含むブロックよりも、動きベクトルの検出範囲を狭
くすることを特徴とする動きベクトル検出回路を設けて
動画像符号化装置を構成する。
【００４９】また、本発明は第１１には、上記第４の目
的を達成するため、画像の背景とオブジェクトを識別す
るためのアルファマップの符号と、画像を所要画素数単
位で区分して構成されるブロックの直交変換係数を入力
とする動画像復号装置において、上記アルファマップ信
号を符号化して出力する手段と、上記ブロック毎に上記
アルファマップを用いてオブジェクト部分の平均値を求
める手段と、上記ブロックの背景部分に上記平均値を配
置する手段と、オブジェクト内の画素について背景の近
くか否かを上記アルファマップ信号を用いて判定する手
段と、背景の近くであると判定されたオブジェクト内の
画素については、上記平均値を中心に縮小処理する手段
と、各ブロックを直交変換して直交変換係数を出力する
手段とを設けて動画像符号化装置を構成する。
【００５０】さらには、画像の背景とオブジェクトを識
別するためのアルファマップの符号と、画像を所要画素
数単位で区分して構成されるブロックの直交変換係数を
入力とする動画像復号装置において、上記アルファマッ
プの符号からアルファマップ信号を復号する手段と、上
記直交変換係数からブロックを復号する手段と、オブジ
ェクト部分の平均値を求める手段と、オブジェクト内の
画素について背景の近くか否かを上記アルファマップ信
号を用いて判定する手段と、この判定手段により背景の
近くであると判定されたオブジェクト内の画素について
は、上記平均値を中心に拡大する手段とを設けて動画像
復号装置を構成する。
【００５１】
【発明の実施の形態】本発明では、Ｎ×Ｎ個の変換係数
毎に変換係数の領域で、動き補償を行う際に、既に復号
済みの下位階層（ベースレイヤ）の量子化値に基づいて
上位階層（エンハンスメントレイヤ）の符号化を行うよ
うにし、これにより、符号化効率の低下の少ない符号化
を可能にする符号化方式を実現するようにする。
【００５２】また、本発明では上記符号化装置におい
て、任意形状の画像領域を示すアルファマップ信号にし
たがって、その任意形状の画像領域に対して直交変換を
施すことができるようにしたことにより、任意形状画像
について、画質を可変とした再生画像が得られるように
する。
【００５３】また、本発明では背景と１つ以上のオブジ
ェクトに対して、各々フレームメモリを用意し、背景あ
るいは各オブジェクト毎に動き補償予測を行うようにす
ることで、オブジェクトの重なりにより隠ぺいされる部
分の予測効率を改善することができるようにする。
【００５４】また、オブジェクト境界部での動きベクト
ル検出の範囲を小さくすることで、動き補償予測符号化
の効率を向上させることを可能にする。
【００５５】以下、図面を参照して本発明の具体例を説
明する。
【００５６】本発明は、図１５の画像伝送システムにお
ける送受信装置（図１５のＡ，Ｂ）内の、画像符号化・
復号化装置に関するものである。
【００５７】（第１の具体例）図１、図２および図３、
図４を用いて、本発明の第１の具体例を説明する。本具
体例は、全体でＭ階層のＳＮＲスケーラビリティを実現
する符号化装置および復号化装置であり、第ｍ階層での
動き補償予測信号を、第ｍ−１階層の動き補償予測信号
と第ｍ階層の動き補償予測信号とを変換係数毎に適応的
に切り換えることで、第ｍ階層の符号化効率を向上させ
るものである。図面では、ベースレイヤが第ｍ−１階層
に対応し、エンハンスメントレイヤが第ｍ階層に対応し
ている。
【００５８】《符号化装置の構成》初めに符号化装置か
ら説明する。図１は、本発明の符号化装置のブロック図
である。
【００５９】図において、１００はＤＣＴ回路、１１０
および１１１は差分回路、１２０は差分回路、１３０は
量子化回路、１４０は可変長符号化回路、１５０は多重
化回路、１６０は出力バッファである。
【００６０】また、１７０は逆量子化回路、１８０およ
び１９０は加算回路、２００は動き補償予測装置、３０
０はセレクタ、４００は符号化制御回路である。
【００６１】また、２０１は動き補償予測装置、１３１
は量子化回路、１４１は可変長符号化回路、１７１は逆
量子化回路、２００はエンハンスメントレイヤの動き補
償予測装置、４１０は符号化制御回路、５００は動きベ
クトル検出回路、１５１は多重化回路、１６１は出力バ
ッファ、１９１は加算回路である。
【００６２】前記ＤＣＴ回路１００は、入力された画像
信号１０を直交変換（ＤＣＴ）して周波数成分別の変換
係数を得るものであり、差分回路１１０はこのＤＣＴ回
路１００からの変換係数とセレクタ３００を介して選択
的に与えられるエンハンスレイヤの動き補償予測装置２
００の出力（ＥMC）またはベースレイヤの動き補償予測
装置２０１の出力（ＢMC）との差を求めるものであり、
差分回路１２０はこの差分回路１１０の出力と、逆量子
化回路１７１の出力との差を求めるものである。
【００６３】また、量子化回路１３０はこの差分回路１
２０の出力を、符号化制御回路４００から与えられる量
子化スケールに従って量子化するものであり、可変長符
号化回路１４０はこの量子化回路１３０の量子化出力と
符号化制御回路４００から与えられる量子化スケールな
どのサイド情報を、可変長符号化する回路である。
【００６４】また、多重化回路１５０はこの可変長符号
化回路１４０から与えられる量子化出力の可変長符号と
サイド情報の可変長符号とを多重化する回路であり、出
力バッファ１６０はこの多重化回路１５０で多重化され
たデータストリームを一時保持して出力するものであ
る。
【００６５】符号化制御回路４００はバッファ１６０か
ら与えられるバッファ空き情報に基づいて、最適な量子
化スケールＱ*scaleの情報を出力すると共に、この量子
化スケールＱ*scaleの情報はサイドインフォメーション
として可変長符号化回路１４０にも与えて量子化回路１
３０による量子化の実施と可変長符号化回路１４０によ
る可変長符号化処理の実施制御をするものである。
【００６６】逆量子化回路１７０は量子化回路１３０か
らの量子化出力を受けてこれを逆量子化して出力するも
のであり、加算回路１８０はこの逆量子化回路１７０の
出力と逆量子化回路１７１からの出力とを加算する回路
であり、加算回路１９０は加算回路１８０の出力とセレ
クタ３００により選択されて出力される補償予測値を加
算する回路である。
【００６７】動き補償予測装置２００は、加算回路１８
０の出力と動きベクトル検出回路５００にて検出された
動きベクトルとから、エンハンスメントレイヤでの動き
補償予測値を求める回路であり、セレクタ３００はこの
動き補償予測装置２００の求めた動き補償予測値と、動
き補償予測装置２０１の求めた動き補償予測値とを受
け、２値化回路３１０の出力対応にこれら両動き補償予
測値の一方を選択して出力するものである。
【００６８】以上の構成のうち、差分回路１１０、差分
回路１２０、量子化回路１３０、可変長符号化回路１４
０、多重化回路１５０、出力バッファ１６０、逆量子化
回路１７０、加算回路１８０、加算回路１９０、動き補
償予測装置２００、セレクタ３００、符号化制御回路４
００によりエンハンスメントレイヤが構成される。
【００６９】前記動きベクトル検出回路５００は、前記
ＤＣＴ回路１００に入力される画像信号１０と同じ画像
信号を入力として受け、この画像信号より動きベクトル
を検出する回路であり、動き補償予測装置２０１は動き
ベクトル検出回路５００より供給される動きベクトルと
加算回路１９１からの加算出力とを元に、動き補償予測
を行ってＤＣＴ係数に変換された動き補償予測値
（ＢMC）を得る装置である。
【００７０】差分回路１１１は前記ＤＣＴ回路１００か
ら出力される変換係数と動き補償予測装置２０１から出
力される動き補償予測値（ＢMC）との差を求める回路で
あり、量子化回路１３１はこの差分回路１１１の出力
を、符号化制御回路４１０の指示する量子化スケールで
量子化する回路である。
【００７１】そして、２値化回路３１０は、この量子化
回路１３１の出力する量子化値が“０”であるか否かを
判定して、“０”ならば“０”を、“０”でなければ
“１”を出力する回路であり、逆量子化回路１７１は符
号化制御回路４１０の指示する量子化スケールで逆量子
化する回路であり、加算回路１９１はこの逆量子化回路
１７１の出力と動き補償予測装置２０１の出力とを加算
して動き補償予測装置２０１に与える回路である。
【００７２】また、可変長符号化回路１４１は量子化回
路１３１の量子化出力と符号化制御回路４０１から与え
られる量子化スケールなどのサイド情報を、可変長符号
化する回路であり、多重化回路１５１はこの可変長符号
化回路１４１から与えられる量子化出力の可変長符号と
サイド情報の可変長符号とを多重化する回路であり、出
力バッファ１６１はこの多重化回路１５１で多重化され
たデータストリームを一時保持して出力するものであ
る。
【００７３】符号化制御回路４１０はバッファ１６１か
ら与えられるバッファ空き情報に基づいて、最適な量子
化スケールＱ*scaleの情報を出力すると共に、この量子
化スケールＱ*scaleの情報はサイドインフォメーション
として可変長符号化回路１４１にも与えて量子化回路１
３１による量子化の実施と可変長符号化回路１４１によ
る可変長符号化処理の実施を制御するものである。
【００７４】なお、これら差分回路１１１、量子化回路
１３１、可変長符号化回路１４１、多重化回路１５１、
出力バッファ１６１、逆量子化回路１７１、加算回路１
９１、動き補償予測装置２０１、２値化回路３１０、符
号化制御回路４１０、動きベクトル検出回路５００によ
り、ベースレイヤが構成される。
【００７５】このような構成の本装置はつぎのように動
作する。
【００７６】入力される画像信号１０はＤＣＴ回路１０
０と動きベクトル検出回路５００とに供給される。動き
ベクトル検出回路５００ではこの画像信号１０より動き
ベクトルを検出して動き補償予測装置２００，２０１お
よび可変長符号化回路１４１に与える。
【００７７】一方、ＤＣＴ回路１００に入力された画像
信号１０は、このＤＣＴ回路１００において、Ｎ×Ｎ画
素のサイズのブロックに分割されて、Ｎ×Ｎ画素毎に直
交変換処理されることにより、それぞれのブロックにつ
いて、Ｎ×Ｎ個の変換係数が求められる。この変換係数
は画像の空間周波数成分を直流成分から各交流成分まで
の各成分別に分離したＮ×Ｎ個の変換係数である。
【００７８】ＤＣＴ回路１００により得られたこのＮ×
Ｎ個の変換係数は、エンハンスメントレイヤの差分回路
１１０およびベースレイヤの差分回路１１１に供給され
る。
【００７９】ベースレイヤでは、この変換係数は差分回
路１１１において、動き補償予測装置２０１より供給さ
れる、ＤＣＴ係数に変換された動き補償予測値（ＢMC）
との差が求められることにより、予測誤差信号を得る。
そして、この予測誤差信号は量子化回路１３１に供給さ
れる量子化回路１３１では、この予測誤差信号は、符号
化制御回路４１０より供給される量子化スケール（Ｑ*s
cale）で量子化された後、可変長符号化回路１４１およ
び逆量子化回路１７１に供給される。
【００８０】可変長符号化回路１４１では、この量子化
された予測誤差信号を、符号化制御回路４１０より供給
される量子化サイズ等のサイドインフォメーション情報
や動きベクトル検出回路５００より供給される動きベク
トルの情報をそれぞれ可変長符号化する。そして、この
可変長符号化した出力は多重化回路１５１に与えてここ
で多重化した後、出力バッファ１６１に供給する。出力
バッファ１６１では、この多重化された信号を符号化ビ
ットストリーム２１として伝送路あるいは蓄積媒体に出
力する。また、出力バッファ１６１はバッファの内容量
を符号化制御回路４１０にフィードバックする。
【００８１】符号化制御回路４１０はこのバッファの内
容量情報に応じて、量子化回路１３１の出力を制御する
と共に、量子化スケールＱ*scaleを出力して量子化回路
１３１に与える。また、この量子化スケールＱ*scaleの
情報はサイドインフォメーションとして可変長符号化回
路１４１にも与える。
【００８２】符号化制御回路４１０が、前記バッファの
内容量情報に応じて、量子化回路１３１の出力を制御す
ることにより、出力バッファ１６１が溢れないように、
量子化スケールを制御しながら量子化を進めることがで
きるようになる。
【００８３】そして、量子化スケールＱ*scaleの情報は
サイドインフォメーションとして可変長符号化回路１４
１において可変長符号化され、多重化回路１５１で多重
化して画像符号化装置出力とすることで、画像復号化装
置側で復号化回路する際の逆量子化に使用する量子化ス
ケールを得ることができるようにしている。
【００８４】一方、逆量子化回路１７１に供給された予
測誤差信号の量子化値は、逆量子化された後、加算回路
１９１に送られ、この加算回路１９１において動き補償
予測値ＢMCと加算され、変換係数領域での再生値が求め
られた後、動き補償予測装置２０１に供給される。
【００８５】エンハンスメントレイヤでは、エンハンス
レイヤの動き補償予測装置２００の出力ＥMCと、ベース
レイヤの動き補償予測装置２０１の出力ＢMCとを、変換
係数毎に適応的に切り換えて出力する。すなわち、これ
はセレクタ３００が、ベースレイヤでの量子化回路１３
１の出力ＢQ の値に基づいて、エンハンスレイヤの動き
補償予測装置２００の出力（ＥMC）と、ベースレイヤの
動き補償予測装置２０１の出力ＢMCとを後述する方法で
変換係数毎に適応的に切り換えることによって出力す
る。
【００８６】一方、差分回路１１０において、ＤＣＴ回
路１００より供給される入力画像の変換係数と、セレク
タ３００の出力Ｅp との予測誤差信号が計算され、その
結果が差分回路１２０に供給される。差分回路１２０で
は、逆量子化回路１７１より供給される逆量子化値ＢQ
の信号３０と、差分回路１１０の出力との差分が計算さ
れて差分値出力信号ＥC として量子化回路１３０に供給
される。この差分値出力信号ＥC はすなわち動き補償予
測誤差信号である。
【００８７】量子化回路１３０では、この差分値出力信
号ＥC を、符号化制御回路４００より供給される量子化
スケールＱ*scaleで量子化した後、可変長符号化回路１
４０および逆量子化回路１７０に供給する。
【００８８】そして、可変長符号化回路１４０では、こ
の量子化された動き補償予測誤差信号を、サイドインフ
ォメーション情報と共に可変長符号化して多重化回路１
５０に送り、多重化回路１５０ではこれらの信号を多重
化した後、出力バッファ１６０に供給する。
【００８９】出力バッファ１６０では、この多重化信号
をエンハンスメントレイヤ用の符号化ビットストリーム
２０として伝送路あるいは蓄積媒体に出力すると共に、
バッファの内容量を符号化制御回路４００にフィードバ
ックする。
【００９０】なお、逆量子化回路１７０に供給された量
子化値は、ここで逆量子化された後、加算回路１８０に
おいて、ベースレイヤの逆量子化回路１７１から供給さ
れる出力３０と加算されことにより、予測誤差信号が再
生される。
【００９１】そして、この加算回路１８０で再生された
予測誤差信号は加算回路１９０において動き補償予測値
ＥMCと加算されることにより、変換係数領域での再生値
が求められる。そして、この再生値は動き補償予測装置
２００に供給される。
【００９２】図２は、文献（T.K.Tan et.al."A Frequen
cy Scalable Coding SchemeEmploying Pyramid and Sub
band Techniques",IEEE Trans. CAS for VideoTechnolo
gy,Vol.4,No.2,Apr. 1994）に記載されている前記セレ
クタ３００に適用して最適な切り換え手段の例である。
【００９３】図２において、ベースレイヤにおける量子
化回路１３１の出力ＢQ の値が“０”であるか否かを、
２値化回路３１０において判定する。この判定結果はセ
レクタ３００に与えられる。そして、セレクタ３００
は、量子化回路１３１の出力ＢQ の値が“０”であれ
ば、エンハンスメントレイヤ用動き補償予測装置２００
の変換係数出力ＥMCを選択し、“１”であればベースレ
イヤ用動き補償予測装置２０１の変換係数出力ＢMCを選
択する。
【００９４】すなわち、２値化回路３１０はベースレイ
ヤにおける量子化回路１３１の出力ＢQ の値が“０”で
ある場合には“０”を、“０”でなければ“１”を出力
するので、この２値化回路３１０の出力が“０”である
ときにＥMCを、そして、“１”である時にＢMCを、セレ
クタ３００に選択させることにより、量子化回路１３１
の出力ＢQ が“０”である位置の変換係数には、エンハ
ンスレイヤ側の動き補償予測装置２００の変換係数出力
ＥMCを、そして、量子化回路１３１の出力ＢQが“０”
でない位置の変換係数には、ベースレイヤ側の動き補償
予測装置２０１の変換係数出力ＢMCを当て嵌めるといっ
た処理がなされることになる。
【００９５】ここで、ベースレイヤにおける量子化回路
１３１には差分回路１１１からの出力が与えられて、こ
の差分回路１１１の出力を量子化するように構成してあ
り、差分回路１１１にはＤＣＴ回路１００の出力と、そ
れより１画面前の時点の画像から動き補償予測装置２０
１が得た動き補償予測値とが与えられて、両者の差を得
るように構成してあるから、求めた動き補償予測値が当
っていれば、差分回路１１１の出力する両者の差はない
ことになるから、“０”となる筈である。
【００９６】従って、ベースレイヤにおける量子化回路
１３１の出力ＢQ である量子化値の中で“０”でない係
数（図の白丸印で囲んだ部分の値）は、動き補償予測が
当たらなかった係数ということになる。
【００９７】ここで、動き補償予測装置２００におい
て、動きベクトル検出回路５００より供給される、ベー
スレイヤと同じ動きベクトルを用いて動き補償予測を行
なうと、エンハンスメントレイヤにおいても同じ位置の
係数（白丸印で囲んだ部分の値）の動き補償予測は外れ
たと推定される。
【００９８】そこで、この係数に関しては、セレクタ３
００においてＢMCを選択する。
【００９９】一方、その他の係数は動き補償が当たって
いると推定されるため、セレクタ３００において、より
符号化歪の少ないエンハンスメントレイヤの予測値を選
択する。これにより、エンハンスメントレイヤで符号化
される信号ＥC は、動き補償予測が外れた場合にはベー
スレイヤの量子化誤差信号となり、動き補償予測が当た
った場合にはエンハンスメントレイヤの動き補償予測誤
差信号となり、動き補償予測の外れた係数に対する符号
化効率が改善されることになる。
【０１００】なお、上記文献に開示してある技術におい
ては、ベースレイヤでは解像度の低い画像を再生するこ
とを前提としているため、ＤＣＴ回路１００で求められ
た変換係数の中で低域の１／４の係数を分離してベース
レイヤに供給している。このため、解像度変換に伴う誤
差により、変換係数毎に予測を切り換えるための推定の
信頼性が低下する。
【０１０１】一方、本具体例ではベースレイヤとエンハ
ンスメントレイヤの解像度が等しいため、推定の精度が
高くなる点が上記文献開示の技術と異なるものであり、
画像の品位と云う点で大きな差となる。
【０１０２】《動き補償予測装置２００、２０１の構成
例》ここで、本発明装置に用いる動き補償予測装置２０
０、２０１の構成例を説明しておく。
【０１０３】図３は、動き補償予測装置２００、２０１
の構成例を示すブロック図である。動き補償予測装置２
００，２０１は、ＩＤＣＴ回路２１０、フレームメモリ
２２０、動き補償回路２３０、ＤＣＴ回路２４０で構成
される。
【０１０４】ＩＤＣＴ回路２１０は、加算回路１９０ま
たは１９１の出力を逆直交変換（ＩＤＣＴ）して再生画
像信号に戻す回路であり、フレームメモリ２２０はこの
逆直交変換されて得られた再生画像信号を参照画像とし
てフレーム単位で保持するメモリであり、動き補償回路
２３０は、フレームメモリ２２０に蓄積されている画像
信号（参照画像）の中から、動きベクトルで指し示され
た位置の画像をブロック単位で切り出すものであり、Ｄ
ＣＴ回路２４０はこの切り出した画像を直交変換（ＤＣ
Ｔ）して出力するものである。なお、動きベクトルは、
動きベクトル検出回路５００から与えられる。
【０１０５】このような構成において、変換係数領域で
の再生値はＩＤＣＴ回路２１０において再生画像信号に
逆変換され、フレームメモリ２２０に蓄積される。動き
補償回路２３０では、このフレームメモリ２２０に蓄積
されている参照画像の中から、動きベクトルで指し示さ
れた位置の画像をブロック単位で切り出して、ＤＣＴ回
路２４０に供給する。そして、ＤＣＴ回路２４０では、
これをＤＣＴすることで、ＤＣＴ係数領域での動き補償
予測値として出力する。
【０１０６】このようにして、ＤＣＴ係数領域での動き
補償予測値を求めることができる。
【０１０７】以上は符号化装置の説明であった。つぎに
復号化装置について説明する。
【０１０８】《復号化装置の構成》図４は、本発明の第
１の具体例における復号化装置のブロック図である。
【０１０９】図に示すように、本発明の復号化装置は、
可変長復号化回路１４３、分離化回路１５２，１５３、
入力バッファ１６２，１６３、逆量子化回路１７２，１
７３、加算回路１９３、動き補償予測装置２０３、可変
長復号化回路１４２、入力バッファ１６２、加算回路１
８１，１９２、セレクタ３００、動き補償予測装置２０
２、２値化回路３１０、逆量子化回路１７３とから構成
される。
【０１１０】これらのうち、入力バッファ１６２、分離
化回路１５２、可変長復号化回路１４２、逆量子化回路
１７２、加算回路１８１，１９２、セレクタ３００、動
き補償予測装置２０２によりエンハンスメントレイヤを
構成しており、入力バッファ１６３、分離化回路１５
３、可変長復号化回路１４３、逆量子化回路１７３、加
算回路１９３、２値化回路３１０、動き補償予測装置２
０３によりベースレイヤを構成している。
【０１１１】エンハンスメントレイヤにおける入力バッ
ファ１６２は、符号化され多重化されたエンハンスメン
トレイヤにおけるビットストリーム２２を受けてこれを
一時保持するものであり、分離化回路１５２はこの入力
バッファ１６２を介して得られるビットストリーム２２
を分離化して、多重化されていた信号を元のかたちに分
離してサイドインフォメーションの情報の符号化情報と
画像の差分値出力信号ＥC の符号化情報に戻す回路であ
る。
【０１１２】可変長復号化回路１４２はこの分離化回路
１５２で分離された符号化信号を可変長復号化して元の
サイドインフォメーションの情報と画像の差分値出力信
号ＥC に復元するものである。また、逆量子化回路１７
２はこの復元されたサイドインフォメーションの情報に
おける量子化スケールＱ*scaleの情報を元に、この可変
長復号化回路１４２からの画像の差分値出力信号ＥC を
逆量子化して出力するものであり、加算回路１８１はこ
の逆量子化された信号と、ベースレイヤ用の逆量子化回
路１７３からの逆量子化出力を加算するものである。
【０１１３】また、加算回路１９２はこの加算回路１８
１の出力とセレクタ３００からの出力Ｅp を加算して出
力するものであり、動き補償予測装置２０２はこの加算
回路１９２出力とベースレイヤ用の可変長復号化回路１
４３からの出力である復号化された画像の差分値出力信
号ＥC を受けて動き補償予測値ＥMCを得るものである。
この動き補償予測装置２０２の出力する動き補償予測値
ＥMCは、エンハンスメントレイヤの出力４０となる他、
セレクタ３００の一方の入力として利用される。
【０１１４】セレクタ３００は、エンハンスメントレイ
ヤ用の動き補償予測装置２０２の出力（動き補償予測値
ＥMC）とベースレイヤ用の動き補償予測装置２０３の出
力を入力とし、２値化回路３１０の出力に応じてこれら
のうちの一方を選択して出力する回路である。
【０１１５】入力バッファ１６３は、符号化され多重化
されて入力されたベースレイヤ用のビットストリーム２
３を受けてこれを一時保持するものであり、分離化回路
１５３はこの入力バッファ１６３を介して得られるビッ
トストリーム２３を分離化して、多重化されていた信号
を元のかたちに分離してサイドインフォメーションの情
報の符号化情報と画像の差分値出力信号ＥC の符号化情
報に戻す回路である。
【０１１６】可変長復号化回路１４３はこの分離化回路
１５３で分離された符号化信号を可変長復号化して元の
サイドインフォメーションの情報と画像の差分値出力信
号ＥC に復元するものである。また、逆量子化回路１７
３はこの復元されたサイドインフォメーションの情報に
おける量子化スケールＱ*scaleの情報を元に、この可変
長復号化回路１４３からの画像の差分値出力信号ＥC を
逆量子化して加算回路１８１と１９３に与えるものであ
り、加算回路１９３はこの逆量子化された信号と、ベー
スレイヤ用の動き補償予測装置２０３からの動き補償予
測値ＥMCを受けて、両者を加算するものである。
【０１１７】動き補償予測装置２０３はこの加算回路１
９３の出力と１画面前の自己の出力である動き補償予測
値ＥMCを受けて現在の画面の動き補償予測値ＥMCを得る
ものである。この動き補償予測装置２０３の出力する動
き補償予測値ＥMCは、ベースレイヤの出力４１となる
他、セレクタ３００の他方の入力として利用される。
【０１１８】つぎにこのような構成の復号化装置の作用
を説明する。この装置においては、ベースレイヤのビッ
トストリーム２３が、入力バッファ１６３に与えられ、
エンハンスメントレイヤのビットストリーム２２が、入
力バッファ１６２に与えられる。
【０１１９】そして、入力されたベースレイヤのビット
ストリーム２３は、入力バッファ１６３に蓄積された
後、分離化回路１５３に供給される。そして、分離化回
路１５３で元の信号種別対応に信号分離される。すなわ
ち、ビットストリーム２３は変換係数の量子化値や動き
ベクトル、量子化スケール等のサイドインフォメーショ
ン情報の信号が多重化されており、この分離化回路１５
３に与えることによって変換係数の量子化値や動きベク
トル、そして、サイドインフォメーションの情報におけ
る量子化スケールＱ*scale等といった元の符号に分離す
る。
【０１２０】分離化回路１５３で分離された符号は、各
々、可変長復号化回路１４３に供給され、変換係数の量
子化値、動きベクトル、量子化スケールＱ*scale等の信
号に復号される。そして、復号された信号のうち、動き
ベクトルは動き補償予測装置２０３に与えられ、また、
変換係数の量子化値と量子化スケールＱ*scaleは、逆量
子化回路１７３に与えられ、当該逆量子化回路１７３に
おいて変換係数の量子化値は量子化スケールＱ*scale対
応に逆量子化された後、加算回路１９３に供給される。
【０１２１】加算回路１９３では、この逆量子化された
変換係数と、動き補償予測装置２０３より供給される変
換係数領域での動き補償予測値とが加算され、変換係数
領域での再生値が求められる。
【０１２２】この再生値は、動き補償予測装置２０３に
供給される。動き補償予測装置２０３の構成は図３に示
す如きの構成であり、加算回路１９３から与えられた再
生値は動き補償予測装置２０３内のＩＤＣＴ回路２１０
において逆直交変換されて再生画像信号４１として出力
されると共に、動き補償予測装置２０３内のフレームメ
モリ２２０に蓄積される。
【０１２３】動き補償予測装置２０３では、動き補償回
路２３０がこのフレームメモリ２２０に蓄積されている
画像信号（参照画像）の中から、前記与えられた動きベ
クトルを元に、当該動きベクトルで指し示された位置の
画像をブロック単位で切り出す。そして、ＤＣＴ回路２
４０はこの切り出した画像を直交変換（ＤＣＴ）して変
換係数出力ＢMCとして加算回路１９３およびセレクタ３
００に出力する。
【０１２４】一方、エンハンスメントレイヤにはエンハ
ンスメントレイヤ用のビットストリーム２２が供給さ
れ、このビットストリーム２２は、エンハンスメントレ
イヤ用の入力バッファ１６２に蓄積された後、分離化回
路１５２に供給される。
【０１２５】そして、分離化回路１５２で分離される。
すなわち、ビットストリーム２２は変換係数の量子化値
や動きベクトル、量子化スケールＱ*scaleの情報等の信
号が多重化されており、この分離化回路１５２に与える
ことによって変換係数の量子化値や動きベクトル、量子
化スケールＱ*scaleの情報等の元の符号に分離する。
【０１２６】分離化回路１５２で分離された変換係数の
量子化値や動きベクトル等の符号は、各々、可変長復号
化回路１４２に供給され、変換係数の量子化値、動きベ
クトル等の信号に復号される。そして、復号された信号
のうち、動きベクトルは動き補償予測装置２０２に与え
られ、また、変換係数の量子化値は量子化スケールＱ*s
caleと共に、逆量子化回路１７２に与えられ、ここで当
該量子化スケールＱ*scale対応に前記変換係数の量子化
値は逆量子化された後、加算回路１８１に供給され、逆
量子化回路１７３から供給されるベースレイヤの逆量子
化値３１と加算されてから、加算回路１９２に供給され
る。
【０１２７】加算回路１９３では、加算回路１８１の出
力とセレクタ３００より供給される信号ＥP とが加算さ
れ、変換係数領域での再生値が求められる。この再生値
は、動き補償予測装置２０２に供給される。動き補償予
測装置２０２は図３に示す如きの構成であり、前記再生
値はこの動き補償予測装置２０２内のＩＤＣＴ回路２１
０にて逆直交変換されて再生画像信号４０として出力さ
れると共に、動き補償予測装置２０２内のフレームメモ
リ２２０に蓄積される。
【０１２８】動き補償予測装置２０２では、動き補償回
路２３０がこのフレームメモリ２２０に蓄積されている
画像信号（参照画像）の中から、前記与えられた動きベ
クトルを元に、当該動きベクトルで指し示された位置の
画像をブロック単位で切り出す。そして、ＤＣＴ回路２
４０はこの切り出した画像を直交変換（ＤＣＴ）して変
換係数出力ＢMCとしてセレクタ３００に出力する。
【０１２９】一方、セレクタ３００には、２値化回路３
１０の判定結果が与えられて前記ＢMCとＥMCのうちの一
方を選択する。
【０１３０】すなわち、２値化回路３１０にはベースレ
イヤにおける可変長復号化回路１４３の出力ＢQ が与え
られ、当該２値化回路３１０はその値が“０”であるか
否かを、判定する。この判定結果はセレクタ３００に与
えられる。
【０１３１】そして、セレクタ３００は、可変長復号化
回路１４３の出力ＢQ の値が“０”であれば、動き補償
予測装置２０２の変換係数出力ＥMCを選択し、“１”で
あれば動き補償予測装置２０３の変換係数出力ＢMCを選
択する。
【０１３２】すなわち、２値化回路３１０はベースレイ
ヤにおける可変長復号化回路１４３の出力ＢQ の値が
“０”である場合には“０”を、“０”でなければ
“１”を出力するので、この２値化回路３１０の出力が
“０”であるときにＥMCを、そして、“１”である時に
ＢMCを、セレクタ３００に選択させることにより、可変
長復号化回路１４３の出力ＢQ が“０”である位置の変
換係数には、エンハンスレイヤ側の動き補償予測装置２
０２の変換係数出力ＥMCを、そして、可変長復号化回路
１４３の出力ＢQ が“０”でない位置の変換係数には、
ベースレイヤ側の動き補償予測装置２０３の変換係数出
力ＢMCを当て嵌めるといった処理がなされることにな
る。
【０１３３】ここで、ベースレイヤにおける可変長復号
化回路１４３の出力は、符号化側において求めた動き補
償予測誤差信号と動きベクトルとを含んでいる。
【０１３４】そして、これらの信号は動き補償予測装置
２０３に与えられることにより、動き補償予測装置２０
３では、１画面前の画像と現在の画像との動き補償予測
誤差分を得る。
【０１３５】また、一方、２値化回路３１０には可変長
復号化回路１４３からの復号されたベースレイヤ用動き
補償予測値信号が与えられ、２値化回路３１０は、この
信号の値が“０”ならば“０”を、そして、“０”以外
であれば“１”を出力してセレクタ３００に与える。
【０１３６】そして、セレクタ３００は、２値化回路３
１０の出力が“０”ならばより符号化歪の少ないエンハ
ンスメントレイヤ用動き補償予測装置２０３の出力ＥMC
を選択し、“１”であればそれよりも符号化歪みの大き
いベースレイヤ用動き補償予測装置２０２の変換係数出
力ＢMCを選択する。
【０１３７】結局、ここでの処理は、ベースレイヤ用の
動き補償予測で得たＤＣＴ係数の誤差が零であれば、エ
ンハンスメントレイヤ用動き補償予測装置２００の変換
係数出力ＥMCの再生値である動き補償予測装置２０２の
出力を選択し、“１”であればベースレイヤ用動き補償
予測装置２０１の変換係数出力ＢMCの再生値である動き
補償予測装置２０３の出力を選択する。
【０１３８】これは符号化装置側での処理と同様の処理
となる。
【０１３９】従って、エンハンスメントレイヤにおける
動き補償予測の変換係数出力は、符号化側での選択同様
に、動き補償予測が外れている部分ではベースレイヤ用
のものを、当たっている部分では符号化歪みの少ないエ
ンハンスメントレイヤ用のものを使用することになり、
符号化装置側でのこのような切り替えに追従して、画像
再生を支障なく行えるようになる。
【０１４０】以上の第１の具体例は、動画像の画面を所
定画素数（Ｎ×Ｎ）のマトリックスに分割して直交変換
することにより、空間周波数の帯域別に分けた変換係数
を得、この得たＮ×Ｎ個の変換係数毎に変換係数の領域
で、上位および下位の階層別に動き補償を行う動画像の
符号化において、動き補償を行う際に、下位階層（ベー
スレイヤ）についての既に復号済みの量子化値に基づい
て動き補償予測の当り外れを判定し、動き補償予測が当
っている場合は上位階層（エンハンスメントレイヤ）用
に求めた符号化歪みの少ない動き補償予測値を用い、動
き補償予測が外れている場合は下位階層（ベースレイ
ヤ）用に求めたエンハンスメントレイヤ用より符号化歪
みの多い動き補償予測値を用いて上位階層の符号化を行
うようにしたものであり、これにより、動き補償予測の
外れた係数に対する符号化効率を改善して符号化効率の
低下の少ない符号化を可能にする符号化方式を実現する
ことができるようになる。
【０１４１】（第２の具体例）以上は、スケーラブル符
号化法での動画像全体の符号化を効率良く行う例であっ
たが、動画像における背景とオブジェクトを分離して符
号化する任意形状の画像の符号化に適用する例をつぎに
説明する。図５、図６および図７を用いて、本発明の第
２の具体例を説明をする。本具体例は、前記第１の具体
例の技術を、アルファマップ信号で示された任意形状の
画像に適用するものである。
【０１４２】図５は、第２の具体例としての本発明符号
化装置のブロック図である。
【０１４３】本例は、第１の具体例で説明した符号化装
置と基本構成は変わらない。従って、図１と図４に示す
構成と同一の要素については、同一符号を付してその説
明は省略する。
【０１４４】《第２の具体例における符号化装置の構
成》初めに符号化装置から説明する。図５は、本発明の
符号化装置のブロック図である。この構成で図１と異な
る部分は、ＤＣＴ回路１００に代えて任意形状直交変換
回路１０１を設けたこと、入力はフレームメモリ７００
を介して受けるようにしたこと、符号化制御回路４００
に代えて４２０の符号化制御回路を設けたこと、符号化
制御回路４１０に代えて４３０の符号化制御回路を設け
たこと、エンハンスメントレイヤの動き補償予測装置２
００に代えて６００の動き補償予測装置を設けたこと、
動き補償予測装置２０１に代えて６０１の動き補償予測
装置を設けたこと、動きベクトル検出回路５００に代え
て５１０の動きベクトル検出回路を設けたこと、多重化
回路１５１に代えて１５５の多重化回路を設けたこと、
の８点である。
【０１４５】フレームメモリ７００は入力画像信号をフ
レーム単位で一時保持するメモリであり、任意形状直交
変換回路１０１は別途与えられるアルファマップを参照
して、このフレームメモリ７００の画像のうちの注目領
域部分を取り出し、この注目領域部分を所要の画素サイ
ズのブロックに分割して、各ブロックについてＤＣＴを
行う回路である。
【０１４６】また、符号化制御回路４２０は、アルファ
マップを参照し、出力バッファ１６０の出力するバッフ
ァ内容量情報対応にエンハンスメントスレイヤ用の最適
な量子化スケールを与える量子化スケールＱ*scaleとサ
イドインフォメーション情報を発生するものであり、符
号化制御回路４３０は、アルファマップを参照し、出力
バッファ１６１の出力するバッファ内容量情報対応にベ
ースレイヤ用の最適な量子化スケールを与える量子化ス
ケールＱ*scaleとサイドインフォメーション情報を発生
するものである。
【０１４７】また、動き補償予測装置６００は、アルフ
ァマップを参照し、加算回路１９０から供給される変換
係数領域での再生値と１画面前の同再生値とから注目領
域部分の画像の動き補償予測を行うものであり、動き補
償予測装置６０１は、アルファマップを参照し、加算回
路１９１から供給される変換係数領域での再生値と１画
面前の同再生値とから注目領域部分の画像の動き補償予
測を行うものである。
【０１４８】また、動きベクトル検出回路５１０は、ア
ルファマップを参照して、フレームメモリ７００の画像
のうちの注目領域部分の画像の動きベクトルを検出する
ものである。
【０１４９】多重化回路１５５は、ベースレイヤ用のも
のであり、可変長符号化回路１４１から受ける予測誤差
信号の可変長符号化した符号、量子化スケール情報を含
むモード情報等のサイドインフォメーション情報の可変
長符号化した符号、および、動きベクトルの可変長符号
化した符号と、別途与えられるアルファマップのコード
（alpha-code）を多重化して出力バッファ１６１に供給
する構成である。
【０１５０】このような構成の本装置は、画像信号１０
を入力すると、この画像信号１０は一旦、フレームメモ
リ７００に蓄積され、読み出されて任意形状直交変換回
路１０１と動きベクトル検出回路５１０に与えられる。
任意形状直交変換回路１０１には、この画像信号１０の
他に、画像の背景部分と目的部分とを区別するためのマ
ップ情報の信号であるアルファマップ信号５０が入力さ
れる。
【０１５１】ここでアルファマップ信号は、例えば、ク
ロマキィ技術等の応用により、取得することができるも
ので、例えば人物（オブジェクト）と背景（バックグラ
ウンド）とを区別するアルファマップの場合、人物像を
クロマキィ技術でとらえて、そのとらえた画像を２値化
することにより、人物像領域が“１”、背景領域が
“０”のビットマップ形式の画像が得られるので、それ
を用いれば良い。
【０１５２】任意形状直交変換回路１０１ではこのアル
ファマップ信号を参照して、画像の注目領域がどこであ
るかを知り、その注目領域について、Ｎ×Ｎ画素構成の
正方形ブロックに画像を分割し、その分割ブロック毎に
直交変換してＮ×Ｎ個の変換係数にする。アルファマッ
プを利用した画像の任意形状領域の直交変換技術として
は、本件発明者らが既に技術を確立させて特許出願済み
の前述の特願平７‐９７０７３号に開示した手法を用い
れば良い。
【０１５３】第２の具体例における符号化装置の処理動
作の説明の途中であるが、ここで変形例として段差を小
さくするための処理例に触れておく。
【０１５４】上述の第２の具体例による手法によると、
背景にはオブジェクトの平均値が配置されるのである
が、この処理に加えて、オブジェクトの画素値をその平
均値を中心にして所定のスケーリング係数で縮小する
と、オブジェクトと背景の境界の画素値の段差を小さく
することができる。その詳細を説明する。
【０１５５】＜段差を小さくするための処理例＞ ［オブジェクト部分に縮小処理を加える例］オブジェク
トと背景の境界の画素値の段差を小さくするために、オ
ブジェクトの画素値をその平均値を中心にして所定のス
ケーリング係数で縮小する例を図２０と図２１に示す。
実際の画像は２次元の信号であるが、ここでは簡単のた
め、１次元の信号とした。これらの図においては縦軸に
は画素値を、横軸には画素列をとっており、画素列ｅの
位置よりも左側がオブジェクトの領域、右側が背景の領
域であるものとする。図２０は背景部分にオブジェクト
の画素値平均値ａを配置した状態を示す。
【０１５６】これに対して画素値平均値ａを中心に、縮
小した結果を図２１に示す。これを式で表すと縮小前の
輝度値をｘ、縮小後の輝度値をｙとした場合、縮小後の
輝度値ｙは、 ｙ＝ｃ×（ｘ−ａ）＋ａ と表すことができる。ここで、ｃは“０”と“１”の間
の定数である。
【０１５７】また、この例のように、縮小は図２２に示
したオブジェクト内の全ての画素ｘ1 〜ｘ23に対して行
う方法もあるが、オブジェクトのうち、背景部分との境
界に近い面素ｘ1 〜ｘ8 に対してのみ、縮小を行うよう
にしても段差は小さくなる。このようにすると、境界に
近いか否かの判定の演算が必要になるが、オブジェクト
のうちの背景との境界に接しないｘ9 〜ｘ23の画素は元
のままに保たれるというメリットがある。
【０１５８】この例ではオブジェクト内の画素のうち、
上下左右のいずれかで背景と接しているものを境界に近
い画素と判定した。
【０１５９】以上が、オブジェクトと背景の境界の画素
値の段差を小さくするために、オブジェクトの画素値を
その平均値を中心にして所定のスケーリング係数で縮小
する例を説明したが、背景部分に処理を加えることによ
り、オブジェクトと背景の境界の画素値の段差を小さく
することもできる。その例を次に説明する。
【０１６０】＜段差を小さくするための処理例＞ ［背景部分に処理を加える例］背景部分に処理を加える
具体例を図２３に示す。これは、背景の画素のうち、オ
ブジェクトの領域に近いものの面素値を、段差がを小さ
くする方向に修正するものである。具体例を図２４に示
す。ここで、ｘｎ（ｎ＝１〜２３）がオブジェクトの画
素値であり、ａn （n ＝１〜４１）が背景の面素値であ
る。処理前においては、背景の面素値ａn は全て、画素
値平均値ａに等しい。
【０１６１】まず、上下左右のいずれかでオブジェクト
の領域の画素に接している背景画素ａ1 〜ａ9 の値をそ
の接しているオブジェクトの画素ｘn と自身の両素値の
平均値で置き換える。例えば、背景画素ａ1 は“（ａ1
＋ｘ1 ）／２”で置き換え、背景画素ａ3 は“（ａ3 ＋
ｘ2 ＋ｘ3 ）／３”で置き換える。
【０１６２】次に背景画素ａ1 〜ａ9 に接するａ10〜ａ
17の背景画素を、同様に例えばａ10を“（ａ10＋ａ1 ）
／２”で置き換える。ここで、背景画素ａ1 は先に置き
換えた後の値を用いる。
【０１６３】以下同様に、ａ18〜ａ24の背景画素の置き
換え等を順次行っていく。これにより、オブジェクトと
背景との境界部分の画素値の段差は小さくなる。
【０１６４】以上のように、画素値を修正すると、ブロ
ックの平均値が変化してしまうので、それがもとのブロ
ック平均値になるように背景部分の面素値に補正を加え
てもよい。ここで補正とは、例えば背景の全ての画素に
一定の値を加減算したり、あるいは、境界から離れた背
景め画素値を境界に近い部分で修正した輝度値方向とは
反対の方向に修正するといったようなことを指す。
【０１６５】また、オブジェクト内の面素値を修正した
場合は、画像を復号した後に修正分を元に戻すことで入
力画像に近いものを得ることができる。例えば、平均値
を中心に縮小する前述した例では、符号化時に縮小した
画素の複号値をｙd とし、修正後の画素値をｘd とする
と、 ｘd ＝（ｙd −ａd ）／ｃ＋ａd のように修正する。ここで、ａd は復号画像のオブジェ
クトの平均値あるいは背景の平均値、あるいはブロック
全体の平均値である。符号化・復号化歪により、ｙd は
ｙと多少異なる値になる場合が多いが、このように修正
することで、ｘに近いｘd を得ることができる。
【０１６６】［符号化装置の構成例］以上の例の符号化
装置のブロック図を、図２５に示す。２００３は切り替
え器、２００４は判定器、２００５は切り替え器、２０
０６は符号化器、２００９は切り替え器、２０１０は縮
小器、２０１１は平均器、２０１７はＤＣＴ回路であ
る。
【０１６７】これらのうち、符号化器２００６は外部か
ら入力されるアルファマップ信号２００１を符号化する
ものであり、切り替え器２００３は、アルファマップ信
号２００１と画像信号２００２を入力とし、アルファマ
ップ信号２００１をもとに、画像信号２００２をオブジ
ェクト画像２００７と背景画像２００８に分別すると共
に、背景画像２００８を廃棄するものである。ここで廃
棄とは必ずしもどこか別のところへ送るという意味では
なく、そのまま放置するなりして、その後は用いないと
いう意味である。
【０１６８】また、判定器２００４は、アルファマップ
信号２００１をもとに、切り替え器２００３を介して与
えられたオブジェクト画像２００７のうち、現在処理中
の画素である注目画素が、背景に接しているか否かを判
定し、その判定結果２０１３を切り替え器２００９に与
えるといった機能を有するものである。
【０１６９】平均器２０１１は、切り替え器２００３を
介して与えられるオブジェクト画像２００７から、オブ
ジェクト画像の平均値２０１２を計算して縮小器２０１
０と切り替え器２００５に出力するものであり、縮小器
２０１０はこの平均値２０１２を中心にしてオブジェク
ト画像２００７の振幅を縮小処理して縮小画像２０１４
を得ると共に、この得られた縮小画像２０１４を切り替
え器２００９に出力するものである。
【０１７０】切り替え器２００９は、この縮小画像２０
１４と切り替え器２００３からのオブジェクト画像２０
０７を受け、判定器２００４の判定結果２０１３を用い
て、注目画素が背景に接する部分の画素である場合には
前記縮小画像２０１４をオブジェクトの符号化画像２０
１５として選択して出力し、接しない場合は前記オブジ
ェクト画像２００７をオブジェクトの符号化画像２０１
５として選択して出力するものである。
【０１７１】切り替え器２００５は、アルファマップ信
号２００１と切り替え器２００９の出力するオブジェク
トの符号化画像２０１５および平均器２０１１の求めた
平均値２０１２を入力とし、前記入力されたアルファマ
ップ信号２００１に基づき、現在処理している画素であ
る注目画素がオブジェクトであればオブジェクトの符号
化面像２０１５を選択してこれを符号化画像２０１６と
して出力し、背景であれば、平均値２０１２を選択して
これを符号化画像２０１６として出力するといった機能
を有する。
【０１７２】ＤＣＴ回路２０１７は、切り替え器２００
５の出力する符号化画像２０１６をＤＣＴ処理し、変換
係数２０１８として出力するものである。
【０１７３】このような構成の符号化装置においては、
外部からアルファマップ信号２００１と画像信号２００
２と画像信号２００２とが入力される。そして、これら
のうち、アルファマップ信号２００１は切り替え器２０
０３と判定器２００４、切り替え器２００５および符号
化器２００６にそれぞれ送られ、また、画像信号２００
２は切り替え器２００３に送られる。
【０１７４】切り替え器２００３では、入力されたアル
ファマップ信号２００１をもとに、画像信号２００２を
オブジェクト画像２００７と背景画像２００８に分別
し、背景画像２００８は廃棄する。上述したように、廃
棄とは必ずしもどこか別のところへ送るという意味では
なく、そのまま放置するなりして、その後は用いないと
いう意味である。
【０１７５】切り替え器２００３が分別したオブジェク
ト画像２００７は切り替え器２００９と縮小器２０１
０、平均器２０１１に送られる。そして、平均器２０１
１ではオブジェクト画像の平均値２０１２が計算され、
その平均値２０１２は縮小器２０１０と切り替え器２０
０５に送られる。縮小器２０１０では平均値２０１２を
中心にしてオブジェクト画像２００７の振幅を縮小処理
し、この縮小処理によって得た縮小画像２０１４を切り
替え器２００９に送る。
【０１７６】一方、アルファマップ信号２００１を受け
た判定器２００４ではオブジェクト画像のうち、現在処
理中の画素である注目画素が背景に接しているか否かを
判定し、その判定結果２０１３が切り替え器２００９に
送られる。切り替え器２００９では、判定器２００４か
らの判定結果２０１３により、注目画素が背景に接する
場合には縮小画像２０１４をオブジェクトの符号化画像
２０１５として選択し、接しない場合はオブジェク卜画
像２００７をオブジェクトの符号化画像２０１５として
選択して出力する。
【０１７７】切り替え器２００９から出力されたオブジ
ェクトの符号化画像２０１５は切り替え器２００５に送
られ、切り替え器２００５ではアルファマップ信号２０
０１を参照して、注目画素がオブジェクトであればオブ
ジェクトの符号化面像２０１５を符号化画像２０１６と
し、背景であれば、平均値２０１２を符号化画像２０１
６として選択して出力する。
【０１７８】切り替え器２００５から出力された符号化
画像２０１６はＤＣＴ回路２０１７に送られてここでＤ
ＣＴが施されて、変換係数２０１８が求められ、この変
換係数２０１８が外部に出力される。また、アルファマ
ップ信号２００１は符号化器２００６で符号化され、ア
ルファマップの符号２０１９として外部に出力される。
【０１７９】なお、アルファマップは画像の符号化の前
に符号化を行い、その復号信号を切り替え器２００３、
２００５、判定器２００４に入力する方法もある。こう
するとアルファマップの符号化・復号に歪がある場合
に、アルファマップ信号を符号化側と復号側で一致させ
ることができる。
【０１８０】図２５の符号化装置に対応する復号化装置
の構成例を図２６に示す。図中、２０２０は復号器、２
０２１は逆ＤＣＴ回路、２０２３，２０２５は切り替え
器、２０２４は判定器、２０２９は切り替え器、２０３
０は拡大器、２０３１は平均器である。
【０１８１】これらのうち、復号器２０２０は、外部か
ら入力されるアルファマップの符号２０１９を受けてこ
れを複号すると共に、この複号して得たアルファマップ
信号２０２２を切り替え器２０２３、判定器２０２４、
切り替え器２０２５に与えるものである。また、逆ＤＣ
Ｔ回路２０２１は外部から入力された変換係数２０１８
を逆ＤＣＴ処理し、画像を復号すると共に、その復号さ
れて得られた画像である復号画像２０２６を切り替え器
２０２３に与える構成である。
【０１８２】判定器２０２４は、復号器２０２０で複号
されたアルファマップ信号２０２２をもとに、オブジェ
クト画像２０２７のうち注目画素が背景に接しているか
否かを判定するものであり、その判定結果２０３４を切
り替え器２０２９に出力するものである。
【０１８３】切り替え器２０２３は、復号器２０２０で
複号されたアルファマップ信号２０２２をもとに、逆Ｄ
ＣＴ回路２０２１から与えられる復号画像２０２６のう
ち、オブジェクト画像２０２７と背景画像２０２８に分
別すると共に、オブジェクト画像２０２７は切り替え器
２０２９，拡大器２０３０および平均器２０３１に出力
し、背景画像２０２８は廃棄するものである。
【０１８４】平均器２０３１は、切り替え器２０２３か
ら与えられるオブジェクト画像２０２７の平均値２０３
２を計算し、その求めた平均値２０３２を拡大器２０３
０に出力するものであり、拡大器２０３０は、この平均
値２０３２を中心にしてオブジェクト画像２０２７の振
幅を拡大して、拡大画像２０３３を得ると共に、この拡
大画像２０３３を切り替え器２０２９に出力するもので
ある。
【０１８５】切り替え器２０２９は、入力されたオブジ
ェクト画像２０２７と拡大画像２０３３のうち、判定器
２０２４の出力する判定結果２０３４により、注目画素
が背景に接する場合には拡大画像２０３３をオブジェク
トの復号画像２０３５として選択して切り替え器２０２
５に出力し、接しない場合はオブジェクト画像２０２７
をオブジェクトの復号画像２０３５として選択して切り
替え器２０２５に出力するものである。
【０１８６】切り替え器２０２５は、オブジェクトの復
号画像２０３５と、背景としての別に入力される信号２
０３７とを受け、アルファマップ信号２０２２をもと
に、注目画素がオブジェクトであれば、これらのうち、
オブジェクトの復号画像２０３５を再生画像２０３６と
して選択して外部に出力し、背景であれば、前記信号２
０３７を再生画像２０３６として選択して外部に出力す
るものである。
【０１８７】このような構成の復号化装置において、外
部からアルファマップの符号２０１９と変換係数２０１
８とが入力される。そして、アルファマップの符号２０
１９は復号器２０２０に、また、変換係数２０１８は逆
ＤＣＴ回路２０２１に送られる。
【０１８８】復号器２０２０ではアルファマップ信号２
０２２が復号され、切り替え器２０２３、判定器２０２
４、切り替え器２０２５に送られる。逆ＤＣＴ回路２０
２１において画像が復号され、その復号画像２０２６は
切り替え器２０２３に送られる。
【０１８９】切り替え器２０２３では、復号器２０２０
で複号されたアルファマップ信号２０２２をもとに、復
号画像２０２６がオブジェクト画像２０２７と背景画像
２０２８に分別され、背景画像２０２８は廃棄される。
切り替え器２０２３により分別されたオブジェクト画像
２０２７は、切り替え器２０２９と拡大器２０３０、平
均器２０３１に送られる。
【０１９０】そして、平均器２０３１ではオブジェクト
画像２０２７の平均値２０３２が計算され、その平均値
２０３２は拡大器２０３０に送られる。
【０１９１】拡大器２０３０では平均値２０３２を中心
にしてオブジェクト画像２０２７の振幅が拡大処理さ
れ、これによって得られた拡大画像２０３３は切り替え
器２０２９に送られる。
【０１９２】一方、判定器２０２４ではオブジェクト画
像２０２７のうち注目画素が背景に接しているか否かを
判定し、その判定結果２０３４が切り替え器２０２９に
送られる。切り替え器２０２９では、判定結果２０３４
により、注目画素が背景に接する場合には拡大画像２０
３３が選択されてオブジェクトの復号画像２０３５とし
て出力され、接しない場合はオブジェクト画像２０２７
が選択されてオブジェクトの復号画像２０３５として出
力される。
【０１９３】切り替え器２０２９より出力されたオブジ
ェクトの復号画像２０３５は切り替え器２０２５に送ら
れ、切り替え器２０２５ではアルファマップ信号２０２
２を参照して、現在処理中の画素である注目画素がオブ
ジェクトであれば、オブジェクトの復号画像２０３５を
再生画像２０３６して外部に出力し、また、背景であれ
ば、背景用として別に入力されている信号２０３７が再
生画像２０３６として選択されて出力される。なお、こ
の背景の信号２０３７としては、別途符号化した背景画
像を再生したものや、予め定めた模様などが用いられ
る。以上が、段差を小さくするための処理例である。
【０１９４】段差を小さくするための処理例について説
明を挟んだが、再び、第２の具体例における本論に戻
る。
【０１９５】任意形状直交変換回路１０１ではアルファ
マップ信号を参照して、画像の注目領域がどこであるか
を知り、その注目領域について、Ｎ×Ｎ画素構成の正方
形ブロックに画像を分割し、その分割ブロック毎に直交
変換してＮ×Ｎ個の変換係数にする段までは既に説明し
た。
【０１９６】ここで、オブジェクトと背景の境界を含む
ブロックでは、オブジェクト用の変換係数と背景用の変
換係数とが求められる。この変換係数は、エンハンスメ
ントレイヤおよびベースレイヤの差分回路１１０および
１１１に供給される。
【０１９７】この変換係数を受けたベースレイヤの差分
回路１１１においては、動き補償予測装置６０１より供
給される、直交変換係数に変換された動き補償予測値
（ＢMC）との予測誤差信号が計算され、その結果が量子
化回路１３１に供給される。そして、量子化回路１３１
では、この予測誤差信号を、符号化制御回路４３０より
供給される量子化スケールＱ*scaleで量子化した後、可
変長符号化回路１４１および逆量子化回路１７１に供給
する。
【０１９８】可変長符号化回路１４１では、この量子化
された予測誤差信号は可変長符号化される。また、符号
化制御回路４３０から与えられる量子化スケール情報を
含むモード情報等のサイドインフォメーション情報、お
よび、動きベクトル検出回路５１０より供給される動き
ベクトルも可変長符号化回路１４１でそれぞれ可変長符
号化される。
【０１９９】そして、可変長符号化回路１４１でそれぞ
れ可変長符号化されたこれら符号は多重化回路１５５に
与えられ、また、符号化されてこの多重化回路１５５に
与えられたアルファマップコードの符号５５と共に、こ
の多重化回路１５５にて多重化された後、出力バッファ
１６１に供給される。
【０２００】出力バッファ１６１では、この多重化され
た信号を符号化ビットストリーム２１として伝送路ある
いは蓄積媒体に出力すると共に、バッファの内容量を符
号化制御回路４３０にフィードバックする。そして、符
号化制御回路４３０はこのバッファの内容量対応に最適
な量子化スケールＱ*scaleを発生することになる。
【０２０１】一方、逆量子化回路１７１に供給された予
測誤差信号の量子化値は、逆量子化された後、加算回路
１９１において動き補償予測値（ＢMC）と加算され、変
換係数領域での再生値が求められた後、動き補償予測装
置６０１に供給される。
【０２０２】エンハンスメントレイヤでは、セレクタ３
００がベースレイヤでの量子化回路１３１の出力
（ＢQ ）の値に基づいて選択動作することにより、エン
ハンスレイヤの動き補償予測装置６００の出力（ＥMC）
と、ベースレイヤの動き補償予測装置６０１の出力（Ｂ
MC）とを、後述する方法で変換係数毎に適応的に切り換
えてこれをＥp として出力する。
【０２０３】すなわち、ベースレイヤでの量子化回路１
３１の出力（ＢQ ）を２値化回路３１０に与えることに
より、当該２値化回路３１０はＢQ の値が“０”であれ
ば“０”を出力し、“０”以外の値であれば“１”を出
力してセレクタ３００に与える。
【０２０４】セレクタ３００は２値化回路３１０の出力
が“０”であればＥMCを、そして、“１”である時にＢ
MCを選択してＥp として出力することにより、量子化回
路１３１の出力ＢQ が“０”である位置の変換係数に
は、エンハンスレイヤ側の動き補償予測装置６００の変
換係数出力ＥMCを、そして、量子化回路１３１の出力Ｂ
Q が“０”でない位置の変換係数には、ベースレイヤ側
の動き補償予測装置６０１の変換係数出力ＢMCを当て嵌
めるといった処理をすることになる。
【０２０５】ここで、ベースレイヤにおける量子化回路
１３１には差分回路１１１からの出力が与えられて、当
該出力を量子化するように構成してあり、差分回路１１
１には任意形状直交変換回路１０１の出力と、それより
１画面前の時点の画像から動き補償予測装置６０１が得
た動き補償予測値とが与えられて、両者の差を得るよう
に構成してあるから、求めた動き補償予測値が当ってい
れば、差分回路１１１の出力する両者の差はないことに
なるから、“０”となる筈である。
【０２０６】従って、ベースレイヤにおける量子化回路
１３１の出力ＢQ である量子化値の中で“０”でない係
数は、動き補償予測が当たらなかった係数ということに
なる。
【０２０７】そして、動き補償予測装置６００におい
て、動きベクトル検出回路５１０より供給される、ベー
スレイヤと同じ動きベクトルを用いて動き補償予測を行
なうと、エンハンスメントレイヤにおいても同じ位置の
係数の動き補償予測は外れたと推定される。
【０２０８】そこで、この係数に関しては、セレクタ３
００においてベースレイヤ用の動き補償予測装置６０１
の出力であるＢMCを選択する。
【０２０９】一方、その他の係数は動き補償が当たって
いると推定されるため、セレクタ３００において、より
符号化歪の少ないエンハンスメントレイヤの予測値を選
択する。これにより、エンハンスメントレイヤで符号化
される信号ＥC は、動き補償予測が外れた場合にはベー
スレイヤの量子化誤差信号となり、動き補償予測が当た
った場合にはエンハンスメントレイヤの動き補償予測誤
差信号となり、動き補償予測の外れた係数に対する符号
化効率が改善されることになる。
【０２１０】一方、エンハンスメントレイヤ側における
差分回路１１０では、任意形状直交変換回路１０１より
供給される入力画像の変換係数と、セレクタ３００の出
力（Ｅp ）との予測誤差信号が計算され、その結果が差
分回路１２１に供給される。
【０２１１】また、差分回路１２１には、逆量子化回路
１７１より供給されるＢQ の逆量子化値３０が供給さ
れ、従って差分回路１２１はこれと差分回路１１０の出
力との差分ＥC を計算して予測誤差信号として量子化回
路１３０に供給する。
【０２１２】そして、量子化回路１３０は、この信号Ｅ
C を、符号化制御回路４２０からバッファ内容量対応に
与えられる量子化スケールＱ*scaleで量子化する。そし
て、この量子化出力を可変長符号化回路１４０および逆
量子化回路１７０に供給する。可変長符号化回路１４０
では、この量子化された予測誤差信号は、符号化制御回
路４２０から与えられるモード情報等のサイドインフォ
メーション情報と共にそれぞれ別に可変長符号化して、
多重化回路１５０に与える。
【０２１３】多重化回路１５０でこれら各可変長符号を
多重化した後に出力バッファ１６０に供給する。出力バ
ッファ１６０では、これを一旦保持し、符号化ビットス
トリーム２０として伝送路あるいは蓄積媒体に出力する
と共に、バッファの内容量を符号化制御回路４２０にフ
ィードバックする。これを受けて符号化制御回路４２０
は内容量対応の最適な量子化スケールＱ*scaleを発生
し、量子化回路１３０と可変長符号化回路１４０に与え
ることになる。
【０２１４】また、量子化回路１３０より逆量子化回路
１７０に供給された量子化値はここで逆量子化された
後、加算回路１８０においてベースレイヤの逆量子化回
路１７１から供給される出力３０が加えられ、予測誤差
信号が再生される。
【０２１５】この加算回路１８０において再生された予
測誤差信号は加算回路１９０においてセレクタ３００か
ら与えられる動き補償予測値（Ｅp ）と加算され、変換
係数領域での再生値が求められた後、動き補償予測装置
６００に供給される。
【０２１６】図６は、動き補償予測装置６００，６０１
のブロック図である。動き補償予測装置６００，６０１
は、任意形状逆直交変換回路６１０、フレームメモリ６
２０、動き補償回路６３０、任意形状直交変換回路６４
０より構成されている。任意形状逆直交変換回路６１０
は、入力信号である再生画像信号をアルファマップ信号
にしたがって逆直交変換する回路であり、フレームメモ
リ６２０はこの逆直交変換されたものをフレーム単位で
一時保持するためのメモリである。動き補償回路６３０
は動きベクトルの情報を受けて、フレームメモリ６２０
の画像における前記動きベクトルで指し示された位置の
画像をブロック単位で切り出して、任意形状直交変換回
路６４０に供給するものであり、任意形状直交変換回路
６４０はこの供給された画像に対して、アルファマップ
信号に従って直交変換することにより、任意形状の動き
補償予測値を直交変換することで、変換係数領域での動
き補償予測値を求めるものである。
【０２１７】このような構成において、変換係数領域で
の再生値が動き補償予測装置６００，６０１に与えられ
ると、この再生値は当該動き補償予測装置内の任意形状
逆直交変換回路６１０において、別途供給されるアルフ
ァマップ信号５０にしたがって再生画像信号に逆変換さ
れた後、フレームメモリ６２０に蓄積される。
【０２１８】動き補償予測装置内の動き補償回路６３０
では、フレームメモリ６２０に蓄積されている参照画像
の中から、動きベクトルで指し示された位置の画像をブ
ロック単位で切り出して、動き補償予測装置内の任意形
状直交変換回路６４０に供給する。当該画像のブロック
を受けた任意形状直交変換回路６４０では、外部から与
えられるアルファマップ信号５０に従って直交変換する
ことにより、任意形状の動き補償予測値を直交変換する
ことができ、変換係数領域での動き補償予測値を求めて
出力することができる。ここで、オブジェクトと背景の
境界を含むブロックでは、オブジェクトと背景の変換係
数を各々求める。
【０２１９】こうして、変換係数領域での再生値から動
き補償予測装置６００，６０１は変換係数領域での動き
補償予測値ＥMC，ＢMCを求めてこれをセレクタ３００に
与えることになる。
【０２２０】以上は第２の具体例における符号化装置の
説明であった。つぎに第２の具体例における復号化装置
について説明する。
【０２２１】《第２の具体例における復号化装置の構成
例》図７は、本発明の復号化装置のブロック図である。
【０２２２】この構成で図４と異なる部分は、動き補償
予測装置２０１に代えて６０２の動き補償予測装置を設
けたこと、動き補償予測装置２０３に代えて６０３の動
き補償予測装置を設けたこと、分離化回路１５３に代え
て１５７の分離化回路を設けたこと、の３点である。
【０２２３】動き補償予測装置６０２，６０３はいずれ
もアルファマップ信号（alpha-map）を参照して動き補
償予測を行うものであり、分離化回路１５７は、分離化
回路１５３が変換係数の量子化値や動きベクトル、量子
化スケール等のサイドインフォメーション情報の各信号
に分離して１４３に渡す構成であったのに対して、さら
にアルファコードの符号を分離して、図示しないアルフ
ァマップ復号化装置に渡す機能を追加した点が異なる。
【０２２４】このような構成において、変換係数の量子
化値や動きベクトル、量子化スケール等のサイドインフ
ォメーション情報そして、アルファコードなどが符号化
され多重化されているベースレイヤ用のビットストリー
ム２３がベースレイヤの入力段に入力されると、このビ
ットストリーム２３は、入力バッファ１６７に蓄積され
た後、分離化回路１５７に供給される。
【０２２５】そして、この分離化回路１５７で変換係数
の量子化値、動きベクトル、サイドインフォメーション
情報、アルファマップコード等に分離される。分離され
た符号のうち、変換係数の量子化値、動きベクトル、サ
イドインフォメーション情報は、各々、可変長復号化回
路１４３に供給され、変換係数の量子化値、動きベクト
ル、量子化スケール等の信号に復号される。なお、アル
ファマップ信号の符号（アルファコード）５６は、図示
しないアルファマップ復号化装置に供給され、アルファ
マップ信号に変換されて動き補償予測装置６０２，６０
３に与えられることになる。
【０２２６】可変長復号化回路１４３で復号されたもの
のうち、変換係数の量子化値は、逆量子化回路１７３に
おいて逆量子化された後、加算回路１９３に供給され
る。加算回路１９３では、この逆量子化された変換係数
と、動き補償予測装置６０３より供給される変換係数領
域での動き補償予測値とが加算され、変換係数領域での
再生値が求められる。
【０２２７】この再生値は、動き補償予測装置６０３に
供給され、任意形状逆直交変換回路６１０にて再生画像
信号に逆変換され、出力再生画像信号４１として出力さ
れると共に、フレームメモリ６２０に蓄積される。
【０２２８】一方、変換係数の量子化値や量子化スケー
ル等のサイドインフォメーション情報の信号が符号化さ
れ、多重化されたエンハンスメントレイヤのビットスト
リーム２２がエンハンスメントレイヤの入力段に入力さ
れると、入力バッファ１６２に蓄積された後、分離化回
路１５２に供給される。そして、分離化回路１５２で変
換係数の量子化値の符号、サイドインフォメーション情
報の符号等に分離される。
【０２２９】分離化回路１５２で分離された符号は、各
々、可変長復号化回路１４２に供給され、符号から変換
係数の量子化値、量子化スケール等の信号に復号され
る。そして、変換係数の量子化値は、逆量子化回路１７
２において逆量子化された後、加算回路１８１に供給さ
れ、ここでベースレイヤの逆量子化回路１７３から供給
される逆量子化値３１と加算されて、加算回路１９２に
供給される。
【０２３０】加算回路１９２では、加算回路１８１の出
力とセレクタ３００より供給される信号ＥP とが加算さ
れて変換係数領域での再生値が求められる。この再生値
は、動き補償予測装置６０２に供給され、この動き補償
予測装置６０２内に設けてある任意形状逆直交変換回路
６１０（図６参照）にて再生画像信号に逆変換されて、
出力再生画像信号４０として出力されると共に、動き補
償予測装置６０２内に設けてあるフレームメモリ６２０
（図６参照）に蓄積される。
【０２３１】動き補償予測装置内の動き補償回路６３０
（図６参照）では、フレームメモリ６２０に蓄積されて
いる参照画像の中から、動きベクトルで指し示された位
置の画像をブロック単位で切り出して、動き補償予測装
置内の任意形状直交変換回路６４０に供給する。任意形
状直交変換回路６４０では、外部から与えられるアルフ
ァマップ信号５０に従って任意形状の動き補償予測値を
直交変換することで、変換係数領域での動き補償予測値
を求めて出力する。ここで、オブジェクトと背景の境界
を含むブロックでは、オブジェクトと背景の変換係数を
各々求める。
【０２３２】こうして、動き補償予測装置６００，６０
１は、変換係数領域での再生値から変換係数領域での動
き補償予測値ＥMC，ＢMCを求めてこれをセレクタ３００
に与えることになる。
【０２３３】《動き補償予測装置６００、６０１、６０
２、６０３の構成》図８を用いて、第２の具体例におけ
る動き補償予測装置６００、６０１、６０２、６０３の
別の実施形態を説明する。この例は、従来よりオブジェ
クトの移動により隠ぺいされる背景領域の符号化効率を
改善するために用いられている背景予測方式（例えば、
宮本他：”背景予測を用いた適応予測符号化方式”PCSJ
88,7-4,pp.93〜94、渡邊他：”適応４種差分−ＤＣＴ符
号化方式”PCSJ88,8-2,pp.117 〜118 ）をオブジェクト
同士の重なりに対しても使用可能なように拡張したもの
である。
【０２３４】図８に示すように、動き補償予測装置は、
任意形状逆直交変換回路６１０、ＳＷ回路６５０、フレ
ームメモリ６２１，６２２，６２３、ＳＷ回路６５１、
動き補償回路６３０、任意形状直交変換回路６４０とか
ら構成される。
【０２３５】任意形状逆直交変換回路６１０は、アルフ
ァマップ信号にしたがって再生画像信号を逆変換するも
のであり、変換係数領域での再生値が動き補償予測装置
に与えられると、この再生値が当該動き補償予測装置の
構成要素である任意形状逆直交変換回路６１０に与えら
れ、これによって、当該任意形状逆直交変換回路６１０
は、再生値をアルファマップ信号（alpha-map ）に従っ
て再生画像信号に逆変換するものである。このアルファ
マップ信号（alpha-map ）は復号化系に設けてある図示
しないアルファマップ復号化装置から与えられる構成で
ある。
【０２３６】当該任意形状逆直交変換回路６１０にて逆
変換された再生画像信号は、複数あるフレームメモリ６
２１，６２２，６２３に蓄積されるが、フレームメモリ
６２１，６２２，６２３のうち、どのフレームメモリに
蓄積するか選択するのがＳＷ回路６５０である。フレー
ムメモリ６２１，６２２，６２３のうち、例えば、フレ
ームメモリ６２１と６２２はオブジェクト用、フレーム
メモリ６２３は背景用とする。オブジェクト用のフレー
ムメモリが２画面分用意されているのは、画面に現われ
るオブジェクトが２種類ある場合に、それぞれオブジェ
クト別に画像を保持するためであり、オブジェクトが２
種類以上ある場合に対処するためにはオブジェクト用の
フレームメモリはその数分、用意してＳＷ回路６５０で
選択できるようにすれば良い。
【０２３７】ＳＷ回路６５０はアルファマップ信号（al
pha-map ）に従ってスイッチを切り替えることにより、
任意形状逆直交変換回路６１０からの再生画像信号をア
ルファマップ信号（alpha-map ）対応にフレームメモリ
６２１，６２２，６２３に振り分けて蓄積させることが
できる。
【０２３８】ＳＷ回路６５１はアルファマップ信号（al
pha-map ）に従ってスイッチを切り替えることにより、
アルファマップ信号（alpha-map ）対応にフレームメモ
リ６２１，６２２，６２３を選択してそのメモリに蓄積
されている再生画像信号を読出すものであり、動き補償
回路６３０は、ＳＷ回路６５１を介してフレームメモリ
６２１，６２２，６２３から読み出された再生画像信号
（参照画像）の中から、動きベクトルで指し示された位
置の画像をブロック単位で切り出して、任意形状直交変
換回路６４０に供給するものである。
【０２３９】任意形状直交変換回路６４０は、フレーム
メモリ６２１，６２２，６２３からＳＷ回路６５１を介
して読み出された動きベクトル指示位置の画像の再生画
像信号をアルファマップ信号（alpha-map ）に基づいて
直交変換することにより、アルファマップ信号（alpha-
map ）で示される任意形状の画像の動き補償予測値を直
交変換することができるもので、変換係数領域での動き
補償予測値を求めて出力するものである。
【０２４０】なお、図８の構成において、任意形状逆直
交変換回路６１０に与えられるアルファマップは、複数
のオブジェクトおよび背景に対して、該画素がいずれの
オブジェクトに属しているかを特定することが可能であ
るとする。
【０２４１】このような構成において、変換係数領域で
の再生値が動き補償予測装置に与えられると、この再生
値はアルファマップ信号（alpha-map ）で示される任意
形状の画像部分が任意形状逆直交変換回路６１０にて逆
直交変換され、再生画像信号となる。この再生画像信号
は、アルファマップ信号にしたがって、ＳＷ回路６５０
により各々のオブジェクトおよび背景のフレームメモリ
６２１，６２２，６２３に蓄積する。
【０２４２】この蓄積された信号はアルファマップ信号
にしたがって、ＳＷ回路６５１により順次選択されて読
み出され、動き補償回路６３０に与えられ、動き補償予
測値が求められる。
【０２４３】このように、動き補償回路６３０において
動き補償予測値を求める際には、アルファマップ信号に
したがって、ＳＷ回路６５１により各々のフレームメモ
リに蓄積されている参照画像より動き補償予測値を作成
する。これにより、オブジェクト同士の重なりにより隠
ぺいされた領域の符号化効率が向上する。
【０２４４】動き補償回路６３０において求められた動
き補償予測値は、任意形状直交変換回路６４０に送ら
れ、ここでアルファマップ信号（alpha-map ）に基づい
て直交変換することにより、アルファマップ信号（alph
a-map ）で示される任意形状の画像の動き補償予測値の
直交変換係数が得られることになる。
【０２４５】このように、この例においては、動き補償
回路６３０において動き補償予測値を求める際に、アル
ファマップ信号にしたがってオブジェクトと背景別に画
像を蓄積したフレームメモリに蓄積された画像より、そ
れぞれの動き補償予測値を作成するようにした。これに
より、オブジェクト同士の重なりにより隠ぺいされた領
域の符号化効率が向上する。
【０２４６】《量子化器および逆量子化器の構成例》次
に、図２および、図９乃至図１１を用いて、第１の具体
例および第２の具体例における量子化器１３０，１３１
および逆量子化器１７０，１７１，１７２，１７３の別
の構成例を説明する。
【０２４７】図９および図１０の量子化マトリクスは、
ＭＰＥＧ２のテストモデルであるＴＭ５に記載されてい
るものである。ここでは、８×８個の変換係数に対して
水平方向（ｈ）と垂直方向（ｖ）の２次元マトリクスで
表記している。
【０２４８】次式は、図９、図１０の量子化マトリクス
を用いた量子化および逆量子化の例である。
【０２４９】量子化： level(v,h) = sign(coef(v,h))*|coef(v,h)|*16/w(v,h)/(2*Q_scale); …（１） 逆量子化： coef'(v,h) = sign(level(v,h))(2*|level(v,h)|*w(v,h)/16+1)*Q_scale; …（２） ここで、 coef(v,h): 変換係数, level(v,h): 量子化値, coef'
(v,h): 変換係数（再生値） w(v,h):量子化マトリクス, Q_scale:量子化スケールで
ある。
【０２５０】本例は、変換係数毎に量子化ステップサイ
ズの重みを変えるための量子化マトリクスに関するもの
である。ＳＮＲスケーラビリティでは、ベースレイヤに
比べてエンハンスメントレイヤの量子化が細かく行われ
る。
【０２５１】従って、ベースレイヤでは、図９，図１０
のような量子化マトリクスを用い、低域の変換係数を細
かく量子化し、高域の係数を粗く量子化することで、量
子化ステップサイズを一定にして符号化した場合と同じ
符号化レートで符号化した場合に主観的な評価が高くな
うことが多い。また、量子化回路において、センターデ
ッドゾーンを大きくすることで、０の発生確率を高くし
た方が符号化効率が高くなり、低いレートでの再生画質
が向上する。
【０２５２】一方、エンハンスメントレイヤでも、高域
の変換係数を粗く量子化すると、細かなテクスチャが再
現されず、視覚的な劣化が生じ、高域の変換係数での帰
還量子化雑音の影響も増加する。
【０２５３】そこで、エンハンスメントレイヤではベー
スレイヤの量子化値ＢQ が“０”でない変換係数にのみ
量子化マトリクスを用いる。図１１は、図２の例に対し
て得られた量子化マトリクスの例である。これにより、
エンハンスメントレイヤでは、動き補償予測誤差の大き
な変換係数の量子化誤差が大きくなるが、変化の大きな
所での量子化誤差は視覚特性のマスキング効果により、
目だたないため、視覚的な劣化は少ない。
【０２５４】次に、図２と図１２、図１３を用いて、第
１の具体例および第２の具体例において、量子化された
変換係数を可変長符号化する際に行われる、１次元系列
への変換の例を説明する。この１次元系列への変換は、
一般に図１２に示されるジグザグスキャンと呼ばれる変
換法が用いられる。
【０２５５】図１２は水平方向（ｈ）と垂直方向（ｖ）
各々８個に分けた２次元マトリクスであるが、図１２で
は、８×８個の変換係数を、升目内に付された番号が若
い順に並べることで低域の変換係数が先に、高域の変換
係数が後に並ぶことになる。従って、量子化値は順序が
後になるほど“０”になる確率が高くなり、０ランの数
と０ランの後の量子化値との組み合わせ事象を可変長符
号化する際に符号化効率が高くなる。これは、低域の変
換係数の方が電力が大きいという性質を利用したもので
ある。
【０２５６】そこで、本例では、エンハンスレイヤにお
けるスキャン順序を、ベースレイヤの量子化値ＢQ が
“０”でない位置の変換係数を、ＢQ が“０”となる位
置の変換係数よりも先に並べ、各々をジグザグスキャン
の順序の若い順に並べている。
【０２５７】これは、ＢQ が“０”となる位置の変換係
数は、エンハンスメントレイヤの動き補償予測誤差信号
であり、ＢQ が“０”でない位置の変換係数は、ベース
レイヤの量子化誤差であるため、両者の統計的性質が異
なるものとの仮定に基づいている。図１３は、図２で示
した例に対するスキャン順序である。図１３における升
目内に振られた番号の順がスキャン順序である。
【０２５８】上記の例では、変換基底がブロック間でオ
ーバラップしていない例を示した。一方、文献：“如澤
他，動き補償フィルタバンク構造を用いた画像符号化，
PCSJ92,8-5,1992 ”では、基底がオーバラップしている
場合でも変換後差分構成を取ることで符号化効率の低下
の少ない動き補償フィルタバンク構造を用いた符号化法
を提案している。
【０２５９】本発明のように直交変換係数領域での予測
符号化装置（変換後差分構成）には、上記文献の考え方
が適用できるので、動き補償フィルタバンク構造を、上
記の例に適用しても良い。
【０２６０】以上の第２の具体例は、動画像の画面を所
定画素数（Ｎ×Ｎ）のマトリックスに分割して直交変換
することにより、空間周波数の帯域別に分けた変換係数
を得、この得たＮ×Ｎ個の変換係数毎に変換係数の領域
で、上位および下位の階層別に動き補償を行う動画像の
符号化において、アルファマップ情報を用いて注目領域
の画像についての動き補償を行うと共に、当該動き補償
を行う際に、下位階層（ベースレイヤ）についての既に
復号済みの量子化値に基づいて動き補償予測の当り外れ
を判定し、動き補償予測が当っている場合は上位階層
（エンハンスメントレイヤ）用に求めた符号化歪みの少
ない動き補償予測値を用い、動き補償予測が外れている
場合は下位階層（ベースレイヤ）用に求めたエンハンス
メントレイヤ用より符号化歪みの多い動き補償予測値を
用いて上位階層の符号化を行うようにしたものであり、
これにより、動き補償予測の外れた係数に対する符号化
効率を改善して符号化効率の低下の少ない符号化を可能
にする符号化方式を実現することができるようになる。
【０２６１】従って、背景とオブジェクトを分離して符
号化する任意形状画像の符号化装置において、解像度と
画質を可変とすることが可能であり、しかも、符号化効
率の良いスケーラブルな符号化装置および復号化装置を
提供できる。
【０２６２】（第３の具体例）次に、図１４を用いて第
３の具体例を説明する。
【０２６３】図のように、オブジェクトと背景の境界を
含むブロック（実線で囲んだブロック）では、オブジェ
クトと背景とで別々に動きベクトルが検出される。この
際、オブジェクトあるいは背景のいずれかの画素数が少
なくなるために、ノイズの影響が大きくなり動きベクト
ルの信頼性が低下する。
【０２６４】そこで、境界部のブロックでは、他のブロ
ック（破線のブロック）よりも動きベクトルの検出範囲
を狭めるようにする。
【０２６５】また、現フレームのオブジェクトは、参照
フレームのやはりオブジェクトの部分から動いてきたも
のであるので、オブジェクトの部分の動きベクトルの探
索範囲を参照フレームのオブジェクトの内部に限定した
方が、動きベクトルの誤検出を削減できる。さらには、
探索範囲を限定することで動きベクトルの探索演算量を
少なくする効果もある。背景についても同様に、背景部
分から動きベクトルを求めるようにする。
【０２６６】このように、境界部のブロックでは、他の
ブロック（破線のブロック）よりも動きベクトルの検出
範囲を狭めることで、大きな誤差が発生しにくくするこ
とができるようになる。
【０２６７】（応用例）最後に、本発明の応用例として
本発明の動画像符号化／復号化装置を適用した動画像伝
送システムの実施形態を図１５を用いて説明する。
【０２６８】図１５（ａ）に示すように、このシステム
は、パーソナルコンピュータ（ＰＣ）１００１に備え付
けられたカメラ１００２より入力された動画像信号は、
ＰＣ１００１に組み込まれた動画像符号化装置によって
符号化される。この動画像符号化装置から出力される符
号化データは、他の音声やデータの情報と多重化された
後、無線機１００３により無線で送信され、他の無線機
１００４によって受信される。
【０２６９】無線機１００４で受信された信号は、動画
像信号の符号化データおよび音声やデータの情報に分解
される。これらのうち、動画像信号の符号化データはワ
ークステーション（ＥＷＳ）１００５に組み込まれた動
画像復号化装置によって復号され、ＥＷＳ１００５のデ
ィスプレイに表示される。
【０２７０】一方、ＥＷＳ１００５に備え付けられたカ
メラ１００６より入力された動画像信号は、ＥＷＳ１０
０６に組み込まれた動画像符号化装置を用いて上記と同
様に符号化される。動画像信号の符号化データは、他の
音声やデータの情報と多重化され、無線機１００４によ
り無線で送信され、無線機１００３によって受信され
る。無線機１００３によって受信された信号は、動画像
信号の符号化データおよび音声やデータの情報に分解さ
れる。これらのうち、動画像信号の符号化データはＰＣ
１００１に組み込まれた動画像復号化装置によって復号
され、ＰＣ１００１のディスプレイに表示される。
【０２７１】図１５（ｂ）は、図１５（ａ）におけるＰ
Ｃ１００１およびＥＷＳ１００５に組み込まれた動画像
符号化装置の、そして、図１５（ｃ）は、図１５（ａ）
におけるＰＣ１００１およびＥＷＳ１００５に組み込ま
れた動画像復号化装置の構成を概略的に示すブロック図
である。
【０２７２】図１５（ｂ）に示す動画像符号化装置は、
カメラなどの画像入力部１１０１からの画像信号を入力
して誤り耐性処理部１１０３を有する情報源符号化部１
１０２と、伝送路符号化部１１０４を有し、情報源符号
化部１１０１においては予測残差信号の離散コサイン変
換（ＤＣＴ）と生成されたＤＣＴ係数の量子化などが行
われ、伝送路符号化部１１０４においては可変長符号化
や符号化データの誤り検出および誤り訂正符号化などが
行われる。伝送路符号化部１１０４から出力される符号
化データは無線機１１０５に送られ、送信される。情報
源符号化部１１０１における処理や、伝送路符号化部１
１０４における可変長符号化処理は、本発明の各具体例
で説明した如きの処理手法を適用する。
【０２７３】一方、図１５（ｃ）に示す動画像復号化装
置は、無線機１２０１によって受信された符号化データ
を入力して伝送路符号化部１１０４と逆の処理を行う伝
送路復号化部１２０２と、伝送路復号化部１２０１の出
力信号を入力して情報源符号化部１１０２と逆の処理を
行う誤り耐性処理部１２０４を有する情報源復号化部１
２０３を有し、情報源復号化部１２０３で復号化された
画像はディスプレイなどの画像出力部１０２５によって
出力される。
【０２７４】これらでの復号化処理は、本発明の各具体
例で説明した如きの処理手法を適用する。
【０２７５】
【発明の効果】以上、本発明によれば、大幅な符号化効
率の低下無しに、任意形状画像の画質を多段階に可変と
した、スケーラブル符号化が実現される。また、本発明
によれば、任意形状の画像をＤＣＴ処理した際の発生符
号量を少なくすることが可能となる。
【図面の簡単な説明】
【図１】本発明を説明するための図であって、本発明の
第１の具体例における符号化装置の構成例を示すブロッ
ク図。
【図２】本発明を説明するための図であって、本発明に
適用する予測値切り換え法を説明する図。
【図３】本発明を説明するための図であって、本発明の
第１の具体例における動き補償予測装置の構成例を示す
ブロック図。
【図４】本発明を説明するための図であって、本発明の
第１の具体例における復号化装置の構成例を示すブロッ
ク図。
【図５】本発明を説明するための図であって、本発明の
第２の具体例における符号化装置の構成例を示すブロッ
ク図。
【図６】本発明を説明するための図であって、本発明の
第２の具体例における動き補償予測装置の構成例を示す
ブロック図。
【図７】本発明を説明するための図であって、本発明の
第２の具体例における復号化装置の構成例を示すブロッ
ク図。
【図８】本発明を説明するための図であって、本発明の
第３の具体例における動き補償予測装置の構成例を示す
ブロック図。
【図９】本発明を説明するための図であって、本発明に
用いる量子化マトリクスの例を示す図。
【図１０】本発明を説明するための図であって、本発明
に用いる量子化マトリクスの例を示す図。
【図１１】図２の例に対して得られた量子化マトリクス
の例。
【図１２】水平方向（ｈ）と垂直方向（ｖ）各々８個に
分けた２次元マトリクスの例。
【図１３】図２で示した例に対するスキャン順序を示す
図。
【図１４】本発明を説明するための図であって、本発明
の第４の具体例を説明する図。
【図１５】本発明による画像符号化装置および画像復号
化装置が適用される画像伝送システムの一例を説明する
ための図。
【図１６】ＭＰＥＧ２のＳＮＲスケーラビリティのブロ
ック図。
【図１７】ＭＰＥＧ２の空間スケーラビリティのブロッ
ク図。
【図１８】アルファマップを説明する図。
【図１９】任意形状画像の直交変換を説明する図。
【図２０】本発明の第２の具体例における変形例を説明
するための図であって、背景に平均値を配した例を示す
図。
【図２１】本発明の第２の具体例における変形例を説明
するための図であって、段差を小さくした例を説明する
ための図。
【図２２】本発明の第２の具体例における変形例を説明
するための図であって、ブロック画素値の例を示す図。
【図２３】本発明の第２の具体例における変形例を説明
するための図であって、段差を小さくした別の例を説明
するための図。
【図２４】本発明の第２の具体例における変形例を説明
するための図であって、ブロック画素値の例を示す図。
【図２５】本発明の第２の具体例における変形例として
の符号化装置の例を示すブロック図。
【図２６】本発明の第２の具体例における変形例として
の復号化装置の例を示すブロック図。
【符号の説明】
１００，２４０，２０１７…離散コサイン変換回路（Ｄ
ＣＴ回路） １０１，６４０…任意形状直交変換回路 １１０，１１１，１２０，１２１…差分回路 １３０，１３１…量子化回路 １４０，１４１…可変長符号化回路 １４２，１４３…可変長復号化回路 １５０，１５１，１５５…多重化回路 １５２，１５３，１５７…分離化回路 １６０，１６１…出力バッファ １６２，１６３…入力バッファ １７０，１７１，１７２，１７３…逆量子化回路 １８０〜１８２，１９０〜１９３…加算回路 ２００〜２０３，６００〜６０３…動き補償予測装置。 ２１０，２０２１…逆離散コサイン変換回路（ＩＤＣＴ
回路） ２２０，６２０，６２１〜６２３，７００…フレームメ
モリ ２３０，６３０…動き補償回路 ３００…セレクタ ３１０…２値化回路 ４００，４１０，４２０，４３０…符号化制御回路 ５００，５１０…動きベクトル検出回路 ６１０…任意形状逆直交変換回路 ６５０，６５１…ＳＷ回路 ２００３，２００５，２００９，２０２３，２０２５，
２０２９…切り替え器 ２００４，２０２４…判定器 ２００６…符号化器 ２０１０…縮小器 ２０１１，２０３１…平均器 ２０２０…復号器 ２０３０…拡大器。

Claims (15)

    【特許請求の範囲】
  1. 【請求項１】 動画像の画面を所定画素数（Ｎ×Ｎ）の
    マトリックスに分割して直交変換することにより、空間
    周波数の帯域別に分けた変換係数を得、この得たＮ×Ｎ
    個の変換係数毎に変換係数の領域で、高い画像品位が得
    られるようデータ数を保った上位の階層およびデータ数
    を間引いた下位の階層別に動き補償を行い、この動き補
    償値を符号化することにより動画像の符号化を行うよう
    にした画像符号化装置において、 動き補償を行う際に、下位階層についての復号済みの量
    子化値に基づいて動き補償予測の当り外れを判定し、動
    き補償予測が当っている場合は上位階層用に求めた符号
    化歪みの少ない動き補償予測値を用い、動き補償予測が
    外れている場合は下位階層用に求めた動き補償予測値を
    用いて上位階層の符号化を行う構成としたことを特徴と
    する画像符号化装置。
  2. 【請求項２】 動画像について複数のブロックに分割
    し、この分割したブロックについて直交変換すると共
    に、この直交変換により得られた変換係数領域での動き
    補償予測を行って得た動き補償予測値を符号化すること
    により動画像の符号化を行うようにした動き補償予測＋
    変換符号化装置において、 Ｍ階層のＳＮＲスケーラビリティを実現する符号化装置
    であって、 第ｍ階層（ｍ＝２〜Ｍ）の動き補償予測値と第ｍ−１階
    層の動き補償予測値とを変換係数毎に切り換えることに
    より、第ｍ階層の予測値を求めるための、第ｍ−１階層
    における量子化器の出力が０である場合には第ｍ階層の
    動き補償予測値を第ｍ−１階層における量子化器の出力
    が１以上である場合には第ｍ−１階層の動き補償予測値
    を変換係数毎に出力する、切り換え手段と、 第ｍ階層の動き補償予測誤差信号と第ｍ−１階層の逆量
    子化器の出力との差分信号を求める手段と、 上記差分信号を量子化した信号を符号化する手段とを具
    備することを特徴とする動画像符号化装置。
  3. 【請求項３】 請求項２記載の画像符号化装置で符号化
    された符号化ビットストリームから、第ｍ階層（ｍ＝２
    〜Ｍ）までの符号を取り出す手段と、 第ｍ階層までの各階層の符号を復号化する手段と、 前記復号化手段により復号された量子化値を各階層にお
    いて逆量子化する手段と、 第ｍ階層（ｍ＝２〜Ｍ）の動き補償予測値と第ｍ−１階
    層の動き補償予測値とを変換係数毎に切り換えることに
    より、第ｍ階層の予測値を求めるための、第ｍ−１階層
    における量子化器の出力が０である場合には第ｍ階層の
    動き補償予測値を第ｍ−１階層における量子化器の出力
    が１以上である場合には第ｍ−１階層の動き補償予測値
    を変換係数毎に出力する切り換え手段と、 第ｍ階層での動き補償予測値と第ｍ−１階層での動き補
    償予測値とを加算することで第ｍ階層の動き補償予測誤
    差信号を再生する手段を有する動画像復号化装置。
  4. 【請求項４】 請求項２に記載の動画像符号化装置であ
    って、 第ｍ階層（ｍ＝２〜Ｍ）の量子化マトリクスを、第ｍ−
    １階層における量子化器の出力が０となる変換係数と、
    第ｍ−１階層における量子化器の出力が１以上となる変
    換係数とで切り換える手段を有することを特徴とする。
  5. 【請求項５】 請求項３に記載の動画像復号化装置であ
    って、 第ｍ階層（ｍ＝２〜Ｍ）の量子化マトリクスを、第ｍ−
    １階層における量子化値が０となる変換係数と、第ｍ−
    １階層における量子化値が１以上となる変換係数とで切
    り換える手段を有することを特徴とする。
  6. 【請求項６】 請求項２あるいは請求項４に記載の動画
    像符号化装置であって、 第ｍ階層（ｍ＝２〜Ｍ）における２次元直交変換係数の
    量子化値を１次元系列に並べ変える際に、第ｍ−１階層
    における量子化器の出力が０となる変換係数よりも、第
    ｍ−１階層における量子化器の出力が１以上となる変換
    係数を先に並べる手段を有することを特徴とする動画像
    符号化装置。
  7. 【請求項７】 入力画像の背景とオブジェクトを識別す
    るためのアルファマップ信号を符号化する手段と、 このアルファマップにしたがって任意形状画像を変換係
    数に変換する手段と、 再生されたアルファマップにしたがって上記変換係数を
    逆変換することにより、任意形状画像を再生する手段を
    有することを特徴とする請求項２あるいは請求項４ある
    いは請求項６記載の動画像符号化装置。
  8. 【請求項８】 入力画像の背景とオブジェクトを識別す
    るためのアルファマップ信号を復号化する手段と、 前記アルファマップ信号にしたがって変換係数に変換さ
    れた任意形状画像を逆変換することにより、任意形状画
    像を再生する手段を有することを特徴とする請求項３あ
    るいは請求項５記載の動画像復号化装置。
  9. 【請求項９】 入力画像の背景と１つ以上のオブジェク
    トを識別するためのアルファマップ信号を符号化する手
    段と、 前記アルファマップにしたがって任意形状画像を変換係
    数に変換する手段と、 前記アルファマップにしたがって前記変換係数を逆変換
    することにより、任意形状画像を再生する手段を有す
    る、動き補償予測を用いた動画像符号化装置において、 背景および各オブジェクトに対して、各々に対応するフ
    レームメモリを有することを特徴とする動画像符号化装
    置。
  10. 【請求項１０】 入力画像の背景と１つ以上のオブジェ
    クトを識別するためのアルファマップ信号を用いて、こ
    のアルファマップ信号にしたがって任意形状画像を変換
    係数に変換する手段と、前記アルファマップ信号にした
    がって変換係数に変換された任意形状画像を逆変換する
    ことにより、任意形状画像を再生する手段を有する、動
    き補償予測を用いた動画像復号化装置において、 背景および各オブジェクトに対して、各々に対応するフ
    レームメモリを有することを特徴とする動画像復号化装
    置。
  11. 【請求項１１】 入力画像の背景と１つ以上のオブジェ
    クトを識別するためのアルファマップ信号を用い、動画
    像の画面を所定画素数（Ｎ×Ｎ）構成のブロックのマト
    リックスに分割して直交変換することにより、空間周波
    数の帯域別に分けた変換係数を得ると共に、この変換係
    数は上記アルファマップにしたがった任意形状画像の動
    き補償予測を用いて符号化する動画像符号化装置におい
    て、 複数のオブジェクトあるいは背景を含むブロックでは、
    各オブジェクトおよび背景毎に動きベクトルを検出する
    手段を有し、 複数のオブジェクトあるいは背景を含むブロックにおい
    ては、１つのオブジェクトあるいは背景を含むブロック
    よりも、動きベクトルの検出範囲を狭くすることを特徴
    とする動画像符号化装置。
  12. 【請求項１２】 入力画像の背景と１つ以上のオブジェ
    クトとを識別するためのアルファマップ信号を用い、上
    記アルファマップ信号にしたがって、任意形状画像を動
    き補償予測を用いて符号化する動画像符号化装置におい
    て、 オブジェクト毎に動きベクトルを検出すると共に、動き
    ベクトルの探索は、同じオブジェクト内で行う動きベク
    トル検出手段を備えたことを特徴とする動画像符号化装
    置。
  13. 【請求項１３】 画像の背景とオブジェクトを識別する
    ためのアルファマップの符号と、画像を所要画素数単位
    で区分して構成されるブロックの直交変換係数を出力と
    する動画像符号化装置において、 上記アルファマップ信号を符号化して出力する手段と、 上記ブロック毎に上記アルファマップを用いてオブジェ
    クト部分の画素値の平均値を求める手段と、 上記ブロックの背景部分に上記平均値を配置する手段
    と、 オブジェクト内の画素について背景の近くか否かを上記
    アルファマップ信号を用いて判定する手段と、 背景の近くであると判定されたオブジェクト内の画素に
    ついては、上記平均値を中心に縮小処理する手段と、 各ブロックを直交変換して直交変換係数を出力する手段
    と、を有することを特徴とする動画像符号化装置。
  14. 【請求項１４】 画像の背景とオブジェクトを識別する
    ためのアルファマップの符号と、画像を所要画素数単位
    で区分して構成されるブロックの直交変換係数を入力と
    する動画像復号装置において、 上記アルファマップの符号からアルファマップ信号を復
    号する手段と、 上記直交変換係数からブロックを復号する手段と、 オブジェクト部分あるいは背景部分あるいはブロック全
    体の平均値を求める手段と、 オブジェクト内の画素について背景の近くか否かを上記
    アルファマップ信号を用いて判定する手段と、 この判定手段により背景の近くであると判定されたオブ
    ジェクト内の画素については、上記平均値を中心に拡大
    する手段と、を有することを特徴とする動画像復号装
    置。
  15. 【請求項１５】 入力された画像を所要画素数単位で区
    分して構成されるブロックの直交変換係数に変換すると
    共に、画像中の背景とオブジェクトを識別するためのア
    ルファマップ信号を入力とし、これらを符号化して出力
    する動画像符号化装置において、 上記アルファマップ信号を符号化して出力する手段と、 入力される上記アルファマップ信号を用い、上記画像に
    ついてブロック毎にオブジェクト部分の平均値を求める
    手段と、 上記ブロックの背景部分に上記平均値を求める手段にて
    求められた上記平均値を配置する手段と、 背景内の面素についてオブジェクトの近くか否かを上記
    アルファマップ信号を用いて判定する手段と、 この判定の結果、オブジェクトの近くであると判定され
    た背景内の画素については、その近くのオブジェクトの
    画素値に近づくように画素値を修正処理する手段と、 上記ブロックを直交変換して得られた直交変換係数を出
    力する手段と、を有することを特徴とする動画像符号化
    装置。
JP15429696A 1995-10-27 1996-06-14 動画像符号化装置および動画像復号化装置 Expired - Fee Related JP3788823B2 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP15429696A JP3788823B2 (ja) 1995-10-27 1996-06-14 動画像符号化装置および動画像復号化装置
US08/738,934 US5818531A (en) 1995-10-27 1996-10-24 Video encoding and decoding apparatus
EP19960307720 EP0771119A3 (en) 1995-10-27 1996-10-25 Video encoding and decoding apparatus
EP20070010441 EP1821545A2 (en) 1995-10-27 1996-10-25 Video encoding and decoding apparatus
EP20020003685 EP1215911A3 (en) 1995-10-27 1996-10-25 Video encoding and decoding apparatus
US09/111,751 US6028634A (en) 1995-10-27 1998-07-08 Video encoding and decoding apparatus
US09/334,769 US6256346B1 (en) 1995-10-27 1999-06-16 Video encoding and decoding apparatus
US09/783,549 US6519285B2 (en) 1995-10-27 2001-02-15 Video encoding and decoding apparatus
US10/986,574 USRE40079E1 (en) 1995-10-27 2004-11-12 Video encoding and decoding apparatus

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP7-281029 1995-10-27
JP28102995 1995-10-27
JP15429696A JP3788823B2 (ja) 1995-10-27 1996-06-14 動画像符号化装置および動画像復号化装置

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2001002847A Division JP2001231049A (ja) 1995-10-27 2001-01-10 動画像復号化装置および動画像復号化方法
JP2001002846A Division JP2001238220A (ja) 1995-10-27 2001-01-10 動画像符号化装置および動画像符号化方法

Publications (2)

Publication Number Publication Date
JPH09182084A true JPH09182084A (ja) 1997-07-11
JP3788823B2 JP3788823B2 (ja) 2006-06-21

Family

ID=26482618

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15429696A Expired - Fee Related JP3788823B2 (ja) 1995-10-27 1996-06-14 動画像符号化装置および動画像復号化装置

Country Status (3)

Country Link
US (5) US5818531A (ja)
EP (3) EP1821545A2 (ja)
JP (1) JP3788823B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003533067A (ja) * 1999-07-06 2003-11-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 基準レイヤ符号化情報の使用による改良された精細スケーラブル・ビデオに関するシステム及び方法
KR100480751B1 (ko) * 1998-10-10 2005-05-16 삼성전자주식회사 동영상부호화/복호화방법및장치
USRE40079E1 (en) 1995-10-27 2008-02-19 Kabushiki Kaisha Toshiba Video encoding and decoding apparatus
JP2008533850A (ja) * 2005-03-10 2008-08-21 クゥアルコム・インコーポレイテッド 二層符号化及び単層復号化による階層的ビデオ符号化
JP2011120281A (ja) * 2005-05-03 2011-06-16 Qualcomm Inc 複数層を使用するマルチメディア・データのスケーリング可能なエンコーディング及びデコーディングのためのシステム及び方法
CN110855994A (zh) * 2013-04-05 2020-02-28 Vid拓展公司 针对多层视频编码的层间参考图片增强的设备

Families Citing this family (132)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0687112B1 (en) * 1994-06-08 2006-09-20 Matsushita Electric Industrial Co., Ltd. Image conversion apparatus
KR100381061B1 (ko) * 1995-10-20 2003-08-19 노키아 모빌 폰즈 리미티드 모션벡터필드코딩
US6957350B1 (en) 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
US6031575A (en) * 1996-03-22 2000-02-29 Sony Corporation Method and apparatus for encoding an image signal, method and apparatus for decoding an image signal, and recording medium
JP3263807B2 (ja) * 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
IL119523A0 (en) * 1996-10-30 1997-01-10 Algotec Systems Ltd Data distribution system
TW358296B (en) 1996-11-12 1999-05-11 Matsushita Electric Ind Co Ltd Digital picture encoding method and digital picture encoding apparatus, digital picture decoding method and digital picture decoding apparatus, and data storage medium
DE69835388T2 (de) * 1997-03-17 2007-07-19 Sony Corp. Bildkodiergerät und Bilddekodiergerät
ID20680A (id) 1997-04-01 1999-02-11 Sony Corp Alat dan metode pemberian kode bayangan, alat dan metode penguraian kode bayangan, dan media pendistribusinya
JP3844844B2 (ja) * 1997-06-06 2006-11-15 富士通株式会社 動画像符号化装置及び動画像符号化方法
KR100373331B1 (ko) * 1997-07-02 2003-04-21 주식회사 팬택앤큐리텔 스캔 인터리빙 방법을 이용한 신축형 모양정보 부호화/복호화장치 및 방법
KR100240770B1 (ko) * 1997-07-11 2000-01-15 이형도 에너지보상/역보상기능을개선한스케러블부호화기및그방법
JP4573366B2 (ja) * 1997-09-25 2010-11-04 株式会社大宇エレクトロニクス 動きベクトル符号化方法及び符号化装置
JP3667105B2 (ja) * 1997-10-01 2005-07-06 松下電器産業株式会社 動きベクトル検出方法及びその方法を実施する装置
US6795501B1 (en) * 1997-11-05 2004-09-21 Intel Corporation Multi-layer coder/decoder for producing quantization error signal samples
US5973743A (en) * 1997-12-02 1999-10-26 Daewoo Electronics Co., Ltd. Mode coding method and apparatus for use in an interlaced shape coder
WO1999033274A1 (en) * 1997-12-19 1999-07-01 Kenneth Rose Scalable predictive coding method and apparatus
US6731811B1 (en) 1997-12-19 2004-05-04 Voicecraft, Inc. Scalable predictive coding method and apparatus
US5995150A (en) * 1998-02-20 1999-11-30 Winbond Electronics Corporation America Dual compressed video bitstream camera for universal serial bus connection
KR100328417B1 (ko) * 1998-03-05 2002-03-16 마츠시타 덴끼 산교 가부시키가이샤 화상부호화장치및화상복호화장치, 화상부보화방법 및 화상복호화방법, 및 데이터기억매체
JP3898347B2 (ja) * 1998-06-30 2007-03-28 富士通株式会社 動画データ制御装置、動画データ制御方法、及び動画データ制御プログラムを記録したコンピュータ読みとり可能な記録媒体
US6275531B1 (en) 1998-07-23 2001-08-14 Optivision, Inc. Scalable video coding method and apparatus
US6603883B1 (en) * 1998-09-08 2003-08-05 Canon Kabushiki Kaisha Image processing apparatus including an image data encoder having at least two scalability modes and method therefor
US6546049B1 (en) * 1998-10-05 2003-04-08 Sarnoff Corporation Parameterized quantization matrix adaptation for video encoding
US6499060B1 (en) 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
US6879634B1 (en) * 1999-05-26 2005-04-12 Bigband Networks Inc. Method and system for transmitting media streams over a variable bandwidth network
US6480547B1 (en) * 1999-10-15 2002-11-12 Koninklijke Philips Electronics N.V. System and method for encoding and decoding the residual signal for fine granular scalable video
US6639943B1 (en) 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
US6931060B1 (en) * 1999-12-07 2005-08-16 Intel Corporation Video processing of a quantized base layer and one or more enhancement layers
US6826232B2 (en) * 1999-12-20 2004-11-30 Koninklijke Philips Electronics N.V. Fine granular scalable video with embedded DCT coding of the enhancement layer
KR100359821B1 (ko) * 2000-01-20 2002-11-07 엘지전자 주식회사 움직임 보상 적응형 영상 압축과 복원방법 및 그 장치와디코더
FR2806570B1 (fr) * 2000-03-15 2002-05-17 Thomson Multimedia Sa Procede et dispositif de codage d'images video
WO2001077871A1 (en) * 2000-04-07 2001-10-18 Demografx Enhanced temporal and resolution layering in advanced television
US6493387B1 (en) * 2000-04-10 2002-12-10 Samsung Electronics Co., Ltd. Moving picture coding/decoding method and apparatus having spatially scalable architecture and signal-to-noise ratio scalable architecture together
US7751473B2 (en) * 2000-05-15 2010-07-06 Nokia Corporation Video coding
GB2362532B (en) * 2000-05-15 2004-05-05 Nokia Mobile Phones Ltd Video coding
JP2002010251A (ja) * 2000-06-19 2002-01-11 Matsushita Electric Ind Co Ltd 映像信号符号化装置および映像信号復号化装置
FI109393B (fi) 2000-07-14 2002-07-15 Nokia Corp Menetelmä mediavirran enkoodaamiseksi skaalautuvasti, skaalautuva enkooderi ja päätelaite
US6621865B1 (en) 2000-09-18 2003-09-16 Powerlayer Microsystems, Inc. Method and system for encoding and decoding moving and still pictures
US6940905B2 (en) * 2000-09-22 2005-09-06 Koninklijke Philips Electronics N.V. Double-loop motion-compensation fine granular scalability
AU2002220558A1 (en) 2000-09-22 2002-04-02 Koninklijke Philips Electronics N.V. Double-loop motion-compensation fine granular scalability
US20020080878A1 (en) * 2000-10-12 2002-06-27 Webcast Technologies, Inc. Video apparatus and method for digital video enhancement
US6961383B1 (en) * 2000-11-22 2005-11-01 At&T Corp. Scalable video encoder/decoder with drift control
KR100386639B1 (ko) * 2000-12-04 2003-06-02 주식회사 오픈비주얼 정규화된 역양자화기를 이용한 영상 및 동영상의 복원 방법
KR100952892B1 (ko) * 2000-12-06 2010-04-16 리얼네트웍스 인코포레이티드 비디오 데이타의 인트라코딩 방법 및 장치
DE10121259C2 (de) * 2001-01-08 2003-07-24 Siemens Ag Optimale SNR-skalierbare Videocodierung
JP2002315004A (ja) * 2001-04-09 2002-10-25 Ntt Docomo Inc 画像符号化方法及び装置、画像復号方法及び装置、並びに画像処理システム
US7512189B2 (en) * 2001-04-27 2009-03-31 The Directv Group, Inc. Lower complexity layered modulation signal processor
US7778365B2 (en) 2001-04-27 2010-08-17 The Directv Group, Inc. Satellite TWTA on-line non-linearity measurement
US7423987B2 (en) * 2001-04-27 2008-09-09 The Directv Group, Inc. Feeder link configurations to support layered modulation for digital signals
US7209524B2 (en) * 2001-04-27 2007-04-24 The Directv Group, Inc. Layered modulation for digital signals
US7471735B2 (en) * 2001-04-27 2008-12-30 The Directv Group, Inc. Maximizing power and spectral efficiencies for layered and conventional modulations
US7583728B2 (en) * 2002-10-25 2009-09-01 The Directv Group, Inc. Equalizers for layered modulated and other signals
US7822154B2 (en) 2001-04-27 2010-10-26 The Directv Group, Inc. Signal, interference and noise power measurement
US8005035B2 (en) * 2001-04-27 2011-08-23 The Directv Group, Inc. Online output multiplexer filter measurement
US7136418B2 (en) * 2001-05-03 2006-11-14 University Of Washington Scalable and perceptually ranked signal coding and decoding
US7184548B2 (en) * 2001-05-04 2007-02-27 Hewlett-Packard Development Company, L.P. Encoding and decoding methods for secure scalable streaming and related systems
US7010043B2 (en) * 2001-07-05 2006-03-07 Sharp Laboratories Of America, Inc. Resolution scalable video coder for low latency
US7266150B2 (en) 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
JP4347687B2 (ja) * 2001-07-26 2009-10-21 アイピージー・エレクトロニクス・５０３・リミテッド スケーラブルでないコード化された映像信号からスケーラブルなコード化された映像信号を生成するための方法とデバイス
EP2099228B1 (en) 2001-09-14 2014-11-12 NTT DoCoMo, Inc. Coding method, decoding method, coding apparatus, decoding apparatus, image processing system, coding program, and decoding program
JP2003116004A (ja) * 2001-10-04 2003-04-18 Seiko Epson Corp 透明部分を含む画像ファイル
EP1320216A1 (en) * 2001-12-11 2003-06-18 BRITISH TELECOMMUNICATIONS public limited company Method and device for multicast transmission
FR2834178A1 (fr) * 2001-12-20 2003-06-27 Koninkl Philips Electronics Nv Procede de decodage de signaux video codes
US20030118099A1 (en) * 2001-12-20 2003-06-26 Comer Mary Lafuze Fine-grain scalable video encoder with conditional replacement
US20030118113A1 (en) * 2001-12-20 2003-06-26 Comer Mary Lafuze Fine-grain scalable video decoder with conditional replacement
JP4150951B2 (ja) * 2002-02-19 2008-09-17 ソニー株式会社 動画配信システム、動画配信装置および方法、並びにプログラム
US7391807B2 (en) * 2002-04-24 2008-06-24 Mitsubishi Electric Research Laboratories, Inc. Video transcoding of scalable multi-layer videos to single layer video
US6917713B2 (en) * 2002-05-29 2005-07-12 Koninklijke Philips Electronics N.V. System and method for enhancing videos from drift-free scalable bitstream
TWI324463B (en) * 2002-07-01 2010-05-01 Hughes Electronics Corp Improving hierarchical 8psk performance
AU2003281452A1 (en) 2002-07-03 2004-01-23 The Directv Group, Inc. Method and apparatus for layered modulation
US7529312B2 (en) * 2002-10-25 2009-05-05 The Directv Group, Inc. Layered modulation for terrestrial ATSC applications
US6954501B2 (en) * 2003-02-17 2005-10-11 Xvd Corporation Method and apparatus for object based motion compensation
JP4113044B2 (ja) * 2003-05-23 2008-07-02 松下電器産業株式会社 画像符号化装置
DE502004008221D1 (de) * 2003-07-25 2008-11-20 Sennheiser Electronic Verfahren und vorrichtung zur digitalisierung sowie zur datenkomprimierung analoger signale
JP4409897B2 (ja) * 2003-09-19 2010-02-03 株式会社リコー 画像処理装置、画像処理方法、プログラム及び情報記録媒体
US7627184B2 (en) * 2003-11-21 2009-12-01 Nec Corporation Content distribution/reception device, content transmission/reception method, and content distribution/reception program
US7305031B2 (en) * 2004-01-29 2007-12-04 International Business Machines Corporation Method and system for the error resilient transmission of predictively encoded signals
WO2005081540A1 (ja) * 2004-02-20 2005-09-01 Nec Corporation 画像符号化方法、その装置及びその制御プログラム
US20080144716A1 (en) * 2004-03-11 2008-06-19 Gerard De Haan Method For Motion Vector Determination
JP2005286472A (ja) * 2004-03-29 2005-10-13 Sanyo Electric Co Ltd 画像処理装置および画像処理方法
US20060012719A1 (en) * 2004-07-12 2006-01-19 Nokia Corporation System and method for motion prediction in scalable video coding
JP2008507194A (ja) * 2004-07-15 2008-03-06 サムスン エレクトロニクス カンパニー リミテッド 動き情報符号化装置及び方法、動き情報復号化装置及び方法、これを採用したスケーラブル映像符号化装置及び方法とスケーラブル映像復号化装置及び方法
KR100679018B1 (ko) * 2004-09-07 2007-02-05 삼성전자주식회사 다계층 비디오 코딩 및 디코딩 방법, 비디오 인코더 및디코더
US20060062308A1 (en) * 2004-09-22 2006-03-23 Carl Staelin Processing video frames
US8428116B2 (en) * 2004-10-07 2013-04-23 Nec Corporation Moving picture encoding device, method, program, and moving picture decoding device, method, and program
US20060078049A1 (en) * 2004-10-13 2006-04-13 Nokia Corporation Method and system for entropy coding/decoding of a video bit stream for fine granularity scalability
DE102004059978B4 (de) * 2004-10-15 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz und zum Decodieren einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Restwerte-Prädiktion sowie ein Computerprogramm und ein computerlesbares Medium
KR100664929B1 (ko) 2004-10-21 2007-01-04 삼성전자주식회사 다 계층 기반의 비디오 코더에서 모션 벡터를 효율적으로압축하는 방법 및 장치
US8363714B2 (en) * 2004-12-22 2013-01-29 Entropic Communications, Inc. Video stream modifier
US8634413B2 (en) 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
KR100913088B1 (ko) * 2005-01-21 2009-08-21 엘지전자 주식회사 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치
EP1900222A4 (en) * 2005-01-21 2009-10-28 Lg Electronics Inc METHOD AND APPARATUS FOR ENCODING / DECODING VIDEO SIGNALS USING BLOCK PREDICTION INFORMATION
KR101233854B1 (ko) * 2005-02-18 2013-02-15 톰슨 라이센싱 저해상도 픽처로부터 고해상도 픽처에 대한 코딩 정보를도출하기 위한 방법 및 이 방법을 구현하는 코딩 및 디코딩장치
US7725799B2 (en) * 2005-03-31 2010-05-25 Qualcomm Incorporated Power savings in hierarchically coded modulation
EP1711018A1 (en) * 2005-04-08 2006-10-11 Thomson Licensing Method and apparatus for encoding video pictures, and method and apparatus for decoding video pictures
JP4618676B2 (ja) 2005-04-28 2011-01-26 株式会社リコー 構造化文書符号の転送方法、画像処理システム、サーバ装置、プログラム及び情報記録媒体
AU2006346224A1 (en) * 2005-07-20 2008-05-02 Vidyo, Inc. System and method for jitter buffer reduction in scalable coding
WO2007014216A2 (en) * 2005-07-22 2007-02-01 Cernium Corporation Directed attention digital video recordation
US7924914B2 (en) * 2005-09-20 2011-04-12 Intel Corporation Dynamically configuring a video decoder cache for motion compensation
KR100891662B1 (ko) * 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
KR20070096751A (ko) * 2006-03-24 2007-10-02 엘지전자 주식회사 영상 데이터를 코딩/디코딩하는 방법 및 장치
EP1932363B1 (en) * 2005-10-05 2016-05-18 LG Electronics Inc. Method and apparatus for reconstructing image blocks
KR20070038396A (ko) * 2005-10-05 2007-04-10 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
EP1977391A2 (en) 2006-01-03 2008-10-08 ATI Technologies Inc. Image analyser and adaptive image scaling circuit and methods
CN101356820B (zh) * 2006-01-05 2011-01-26 汤姆森许可贸易公司 层间运动预测方法
US20090304091A1 (en) * 2006-04-03 2009-12-10 Seung Wook Park Method and Apparatus for Decoding/Encoding of a Scalable Video Signal
EP1879399A1 (en) 2006-07-12 2008-01-16 THOMSON Licensing Method for deriving motion data for high resolution pictures from motion data of low resolution pictures and coding and decoding devices implementing said method
JP4787100B2 (ja) * 2006-07-27 2011-10-05 パナソニック株式会社 画像符号化装置
US20080095228A1 (en) * 2006-10-20 2008-04-24 Nokia Corporation System and method for providing picture output indications in video coding
JP4525692B2 (ja) * 2007-03-27 2010-08-18 株式会社日立製作所 画像処理装置、画像処理方法、画像表示装置
KR101365596B1 (ko) * 2007-09-14 2014-03-12 삼성전자주식회사 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법
US20090096927A1 (en) * 2007-10-15 2009-04-16 Camp Jr William O System and method for video coding using variable compression and object motion tracking
KR101375663B1 (ko) * 2007-12-06 2014-04-03 삼성전자주식회사 영상을 계층적으로 부호화/복호화하는 방법 및 장치
KR101446771B1 (ko) * 2008-01-30 2014-10-06 삼성전자주식회사 영상 부호화장치 및 영상 복호화장치
KR101426271B1 (ko) * 2008-03-04 2014-08-06 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US9215467B2 (en) 2008-11-17 2015-12-15 Checkvideo Llc Analytics-modulated coding of surveillance video
US20100278232A1 (en) * 2009-05-04 2010-11-04 Sehoon Yea Method Coding Multi-Layered Depth Images
WO2011005303A1 (en) * 2009-07-06 2011-01-13 Thomson Licensing Methods and apparatus for spatially varying residue coding
US9247247B2 (en) 2010-04-13 2016-01-26 Samsung Electronics Co., Ltd. Video-encoding method and video-encoding apparatus using prediction units based on encoding units determined in accordance with a tree structure, and video-decoding method and video-decoding apparatus using prediction units based on encoding units determined in accordance with a tree structure
JP5707745B2 (ja) * 2010-06-08 2015-04-30 ソニー株式会社 画像安定化装置、画像安定化方法、及びプログラム
JP2011259205A (ja) 2010-06-09 2011-12-22 Sony Corp 画像復号化装置と画像符号化装置およびその方法とプログラム
GB2481856A (en) * 2010-07-09 2012-01-11 British Broadcasting Corp Picture coding using weighted predictions in the transform domain
GB2501517A (en) * 2012-04-27 2013-10-30 Canon Kk Scalable Encoding and Decoding of a Digital Image
US20140086346A1 (en) * 2012-09-21 2014-03-27 Samsung Electronics Co., Ltd. Method and system for removal of baseline wander and power-line interference
CA2908853C (en) 2013-04-08 2019-01-15 Arris Technology, Inc. Signaling for addition or removal of layers in video coding
US9667988B2 (en) * 2014-04-23 2017-05-30 Samsung Electronics Co., Ltd. Method and apparatus for reducing redundancy in residue signel in video data compression
US10034002B2 (en) 2014-05-21 2018-07-24 Arris Enterprises Llc Signaling and selection for the enhancement of layers in scalable video
MX360655B (es) * 2014-05-21 2018-11-12 Arris Entpr Llc Gestión individual de memorias intermedias en transporte de video escalable.
US10136194B2 (en) * 2016-07-06 2018-11-20 Cisco Technology, Inc. Streaming piracy detection method and system
US11399180B1 (en) * 2019-04-09 2022-07-26 Apple Inc. Video encoder with quantization control
US11915432B2 (en) 2020-01-16 2024-02-27 Samsung Electronics Co., Ltd. Method and apparatus for tracking target

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4833535A (en) * 1987-02-04 1989-05-23 Kabushiki Kaisha Toshiba Image transmission apparatus
US4969039A (en) * 1987-07-01 1990-11-06 Nec Corporation Image processing system operable in cooperation with a recording medium
JPH07109990B2 (ja) * 1989-04-27 1995-11-22 日本ビクター株式会社 適応型フレーム間予測符号化方法及び復号方法
US5001561A (en) * 1990-05-02 1991-03-19 At&T Bell Laboratories Embedded coding system for video signals
JP3037383B2 (ja) * 1990-09-03 2000-04-24 キヤノン株式会社 画像処理システム及びその方法
DE69116128T2 (de) * 1990-10-09 1996-08-01 Philips Electronics Nv Gerät zur kodierung von fernsehbildern mit entsprechenden digitalen signalen und entsprechende dekodierungseinrichtung
US5528299A (en) * 1990-10-09 1996-06-18 U.S. Philips Corporation Coding system for digital signals corresponding to television pictures and corresponding decoding system
JPH0595536A (ja) * 1991-10-01 1993-04-16 Toshiba Corp 高能率符号化信号処理装置
US5420638A (en) * 1992-04-14 1995-05-30 U.S. Philips Corporation Subassembly for coding images with refresh correction of the data to be coded, and subassembly for decording signals representing these images and previously coded by means of a subassembly of the former kind
NL9201640A (nl) * 1992-09-22 1994-04-18 Nederland Ptt Systeem omvattende ten minste één encoder voor het coderen van een digitaal signaal en ten minste één decoder voor het decoderen van een digitaal signaal, en encoder en decoder voor toepassing in het systeem volgens de uitvinding.
FR2697393A1 (fr) * 1992-10-28 1994-04-29 Philips Electronique Lab Dispositif de codage de signaux numériques représentatifs d'images, et dispositif de décodage correspondant.
US5592228A (en) * 1993-03-04 1997-01-07 Kabushiki Kaisha Toshiba Video encoder using global motion estimation and polygonal patch motion estimation
KR100292138B1 (ko) * 1993-07-12 2002-06-20 이데이 노부유끼 디지탈비디오신호용송신기및수신기
JP3716866B2 (ja) 1993-07-12 2005-11-16 ソニー株式会社 デジタル画像信号の伝送装置及び受信装置
DE69428308T2 (de) * 1993-07-12 2002-05-08 Sony Corp Verarbeitung von digitalen Bilddaten
JP3271634B2 (ja) 1993-08-10 2002-04-02 ソニー株式会社 デジタル画像信号の伝送装置及び受信装置
CA2126467A1 (en) * 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
US5521628A (en) 1993-08-30 1996-05-28 Lumonics Corporation Laser system for simultaneously marking multiple parts
CA2127151A1 (en) * 1993-09-21 1995-03-22 Atul Puri Spatially scalable video encoding and decoding
US5537440A (en) * 1994-01-07 1996-07-16 Motorola, Inc. Efficient transcoding device and method
KR0159575B1 (ko) * 1994-10-31 1999-01-15 배순훈 영역 분할 부호화 방식의 인접 영역간 불연속 처리 장치
US5978514A (en) * 1994-11-10 1999-11-02 Kabushiki Kaisha Toshiba Image data coding and decoding system for efficiently compressing information using the shape and position of the image content
EP1271957B1 (en) * 1994-12-20 2006-05-24 Matsushita Electric Industrial Co., Ltd. Object-based digital image predictive coding and transfer method and apparatus, and decoding apparatus
KR100186979B1 (ko) * 1994-12-28 1999-05-01 김주용 영상데이터의 물체별 배경 정보 부호화 방법 및 장치
US5812787A (en) * 1995-06-30 1998-09-22 Intel Corporation Video coding scheme with foreground/background separation
US5883678A (en) * 1995-09-29 1999-03-16 Kabushiki Kaisha Toshiba Video coding and video decoding apparatus for reducing an alpha-map signal at a controlled reduction ratio
JP3788823B2 (ja) 1995-10-27 2006-06-21 株式会社東芝 動画像符号化装置および動画像復号化装置
US5870146A (en) * 1997-01-21 1999-02-09 Multilink, Incorporated Device and method for digital video transcoding

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE40079E1 (en) 1995-10-27 2008-02-19 Kabushiki Kaisha Toshiba Video encoding and decoding apparatus
KR100480751B1 (ko) * 1998-10-10 2005-05-16 삼성전자주식회사 동영상부호화/복호화방법및장치
JP2003533067A (ja) * 1999-07-06 2003-11-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 基準レイヤ符号化情報の使用による改良された精細スケーラブル・ビデオに関するシステム及び方法
JP2011254500A (ja) * 2005-03-10 2011-12-15 Qualcomm Incorporated 二層符号化及び単層復号化による階層的ビデオ符号化
US7995656B2 (en) 2005-03-10 2011-08-09 Qualcomm Incorporated Scalable video coding with two layer encoding and single layer decoding
JP2008533850A (ja) * 2005-03-10 2008-08-21 クゥアルコム・インコーポレイテッド 二層符号化及び単層復号化による階層的ビデオ符号化
JP2012120211A (ja) * 2005-03-10 2012-06-21 Qualcomm Inc 二層符号化及び単層復号化による階層的ビデオ符号化
JP2011120281A (ja) * 2005-05-03 2011-06-16 Qualcomm Inc 複数層を使用するマルチメディア・データのスケーリング可能なエンコーディング及びデコーディングのためのシステム及び方法
CN102724496A (zh) * 2005-05-03 2012-10-10 高通股份有限公司 用于对使用多个层的多媒体数据进行可缩放编码及解码的系统及方法
US8619860B2 (en) 2005-05-03 2013-12-31 Qualcomm Incorporated System and method for scalable encoding and decoding of multimedia data using multiple layers
CN102724496B (zh) * 2005-05-03 2017-04-12 高通股份有限公司 用于对使用多个层的多媒体数据进行可缩放编码及解码的系统及方法
CN110855994A (zh) * 2013-04-05 2020-02-28 Vid拓展公司 针对多层视频编码的层间参考图片增强的设备
CN110855994B (zh) * 2013-04-05 2023-09-19 交互数字麦迪逊专利控股公司 针对多层视频编码的层间参考图片增强的设备

Also Published As

Publication number Publication date
EP0771119A2 (en) 1997-05-02
USRE40079E1 (en) 2008-02-19
EP1821545A2 (en) 2007-08-22
US6519285B2 (en) 2003-02-11
EP0771119A3 (en) 1999-07-14
EP1215911A2 (en) 2002-06-19
JP3788823B2 (ja) 2006-06-21
US6028634A (en) 2000-02-22
US6256346B1 (en) 2001-07-03
US20020009141A1 (en) 2002-01-24
EP1215911A3 (en) 2006-05-10
US5818531A (en) 1998-10-06

Similar Documents

Publication Publication Date Title
JP3788823B2 (ja) 動画像符号化装置および動画像復号化装置
US9420279B2 (en) Rate control method for multi-layered video coding, and video encoding apparatus and video signal processing apparatus using the rate control method
JP2744871B2 (ja) 画像信号符号化方法および画像信号符号化装置
EP1528813B1 (en) Improved video coding using adaptive coding of block parameters for coded/uncoded blocks
EP1649697B1 (en) Intra coding video data apparatuses
US20040136457A1 (en) Method and system for supercompression of compressed digital video
EP0782342A2 (en) Video coding and decoding system and method
KR20200023500A (ko) 화상 처리 장치 및 방법
US20020122481A1 (en) Transcoding method and transcoding apparatus
EP1134981A1 (en) Automatic setting of optimal search window dimensions for motion estimation
US9264736B2 (en) Encoding method, decoding method, encoding device, and decoding device
JPH08294119A (ja) 画像符号化／復号化装置
CN114402605A (zh) 图像编码系统中使用残差编码方法的标志的图像解码方法以及用于其的装置
US6556714B2 (en) Signal processing apparatus and method
JP3576660B2 (ja) 画像符号化装置および画像復号化装置
JPH10276437A (ja) 階層的動画像信号符号化／復号化方法及び装置
US7426311B1 (en) Object-based coding and decoding apparatuses and methods for image signals
JP2001238220A (ja) 動画像符号化装置および動画像符号化方法
JP3914214B2 (ja) 画像符号化装置および画像復号化装置
KR20030010983A (ko) 운동객체기반에서의 움직임 예측 웨이브렛 동영상 압축 및복원장치
JPH07107464A (ja) 画像符号化装置および復号化装置
JP2001231049A (ja) 動画像復号化装置および動画像復号化方法
JP2008512023A (ja) 動き予測のための方法及び装置
JP3869303B2 (ja) 画像復号化方法及び装置
JPH07336681A (ja) 画像変換装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041108

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050322

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060324

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100407

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees