JPH08223569A - デジタル画像伝送方法及び復号化合成装置 - Google Patents

デジタル画像伝送方法及び復号化合成装置

Info

Publication number
JPH08223569A
JPH08223569A JP2275595A JP2275595A JPH08223569A JP H08223569 A JPH08223569 A JP H08223569A JP 2275595 A JP2275595 A JP 2275595A JP 2275595 A JP2275595 A JP 2275595A JP H08223569 A JPH08223569 A JP H08223569A
Authority
JP
Japan
Prior art keywords
image
frame memory
layers
layer
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2275595A
Other languages
English (en)
Inventor
Chiyun Sen Bun
チュン セン ブン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2275595A priority Critical patent/JPH08223569A/ja
Priority to DE69535007T priority patent/DE69535007T2/de
Priority to DE69530908T priority patent/DE69530908T2/de
Priority to US08/575,870 priority patent/US5767911A/en
Priority to EP95120198A priority patent/EP0719049B1/en
Priority to EP02017887A priority patent/EP1271957B1/en
Publication of JPH08223569A publication Critical patent/JPH08223569A/ja
Priority to US09/015,055 priority patent/US6167158A/en
Priority to US09/015,056 priority patent/US5969765A/en
Priority to US09/015,058 priority patent/US5999219A/en
Priority to US09/566,626 priority patent/US6510249B1/en
Priority to US10/268,902 priority patent/US6560364B2/en
Priority to US10/387,566 priority patent/US6687408B2/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding

Abstract

(57)【要約】 【目的】 レイヤー数に依存しない復号化器とフレーム
メモリで画像を復号化合成できるイントラクティブ性の
高いシステムを提供する。 【構成】 外部入力端子10に符号化データを入力し、
復号化器12にて符号化データを多重化した順番でレイ
ヤー毎に再生画像に復号化し、再生画像とフレームメモ
リ22から供給される合成画像とを合成器16に入力
し、合成画像と再生画像とを重ね合わせて新たな合成画
像を生成して、フレームメモリ18に格納するととも
に、表示器20に表示する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、圧縮符号化したデジタ
ル画像の蓄積もしくは伝送方法及びそれを復号化合成す
る装置に関するもので、特に、複数のレイヤーの画像を
合成して得られるデジタル画像の蓄積もしくは伝送方法
及びそれを復号化合成する装置に関するものである。
【0002】
【従来の技術】ワンとエデルソン(J. Wang and E. Ade
lson)により動画像を効率的に伝送記録することを目的
として、動画像を物体ごとに、異なるレイヤーに分解し
て符号化する方式が提案されており、次の文献に開示さ
れている(J. Wang and E. Adelson, "Layered Represe
ntation of Image Sequence Coding", Proc. IEEE Int.
Conf. Acoustic Speech Signal Processing , 1993, p
p.V221--V224; J. Wangand E. Adelson, "Layered Repr
esentation for Motion Analysis", Proc. Computer Vi
sion and Pattern Recognition, pp. 361--366, 199
3.)。
【0003】この方式について説明する。図2は複数の
フレームからなる動画像の中の1枚の画像(D)100
3とそれを構成する3つの成分を示す。画像(D)10
03を構成する3つの成分(魚画像(A)1000、水
草画像(B)1001、背景画像(C)1002)をク
ロマキー画像として個別に撮影した後に画像(D)10
03に合成してもいいし、画像(D)1003とその前
後にある複数のフレームの画像系列を解析し3つの構成
成分に分離することも可能である。ワンらによる方式は
一連の動画像を解析し、魚と水草と背景を抽出し、3つ
のレイヤーに分離し、それぞれのレイヤーを圧縮符号化
する。図11に示す方法によれば、魚画像(A)100
0を端子70に入力し、符号化器50によって圧縮符号
化する。同様に、水草画像(B)1001と背景画像
(C)1002はそれぞれ符号化器52、54によって
圧縮符号化される。符号化器50、52、54から出力
される符号化データは多重化器(MUX)56で多重化
され、各レイヤーを重ねるときの上下関係に関する情報
を付加して蓄積もしくは伝送される。なお、各フレーム
の物体の画素をどれぐらいの割合で重ね合わせるかを示
す透過度信号が必要な場合、それも一緒に符号化し伝送
もしくは記録する。図2では、魚画像1000(A)と
水草画像(B)1001の透過度信号をそれぞれ
(A')1004と(B')1005に示す。
【0004】圧縮効率を向上させるために、各レイヤー
に対しそれぞれ代表となる画像(魚、水草、背景)を定
めて参照画像として用いる。あるレイヤーの代表画像は
そのレイヤーの一連の物体系列に最も近いものが用いら
れる。例えば、図10(a)に示す魚のレイヤーの各画
像G1〜G8に対し2つの代表画像T1〜T2が用いら
れる。代表画像の生成については上記文献に記述してあ
る。定められた代表画像を予め圧縮符号化し、再生した
代表画像の変位や変形によりレイヤーの各物体を予測近
似する。動画像を構成する物体に分離することにより、
周辺の物体の影響を受けることなくより正確に近似でき
る。また、カメラから十分な距離にある物体の投影像は
剛体とみなすことができるので、少ないパラメータでそ
の物体の変形や変位を記述することができる。具体的に
はアフィン変換が用いられ、六つのパラメータで一つの
物体が近似できるので、ビット数が少なく非常に高い圧
縮率を実現することができる。
【0005】復号化部では、図11のように、多重化さ
れたデータを分離器(DMUX)58にて各レイヤーの
データに分離する。分離された各レイヤーのデータをそ
れぞれ復号化器60、62、64で復号化し、フレーム
メモリ61、63、65に格納する。レイヤーの上下関
係情報に従ってフレームメモリにある再生物体を合成器
66にて重ね合わせて合成画像(D)1003を生成
し、表示装置68に表示する。
【0006】
【発明が解決しようとする課題】しかしながら、図11
に示す復号化部では、3つのレイヤーに対し3つの復号
化器を必要とする。したがって、復号化部に用意される
復号化器の個数により、再生可能なレイヤーの数が制限
される。また、図11に示すように、復号化器の出力を
格納するためのフレームメモリもレイヤーの数に比例し
ている。レイヤーの数が多いほど復号化装置全体が非常
に大きくなり、高価なものになる。さらに、各レイヤー
の上下関係の情報に従って画像が合成されるために、選
択的にあるレイヤーだけを表示したり、選択されたレイ
ヤーを前景にしたりして表示することができない。すな
わち、イントラクティブ性に欠けているという問題点が
ある。
【0007】
【課題を解決するための手段】上記の問題点を解決する
ために、本発明は、複数のレイヤーの画像を重ね合わせ
ることにより構成されるデジタル画像に対し、複数のレ
イヤーの画像をそれぞれ圧縮符号化し、所定の順番に従
って多重化した符号化データを復号化し合成する装置を
用いる。好ましくは、符号化データを背景または前景と
なるレイヤーから順番に多重化する。本発明による復号
化合成装置は、外部入力端子と復号化器と合成器とフレ
ームメモリと出力器とを具備して構成する。そして、外
部入力端子に符号化データを入力し、復号化器にて符号
化データを多重化した順番でレイヤー毎に再生画像に復
号化する。この再生画像とフレームメモリから供給され
る合成画像とを合成器に入力し、合成画像と再生画像と
を重ね合わせて新たな合成画像を生成する。この新たな
合成画像をフレームメモリに格納するとともに、出力器
に表示する。
【0008】さらに、上記した復号化合成装置の外部入
力端子と復号化器との間に第1の切り換えスイッチを挿
入し、再生しないレイヤーの画像が入力されるときに外
部入力端子と復号化器とを接続しないように第1の切り
替えスイッチを制御する。また、第1の切り替えスイッ
チに加えて合成器とフレームメモリとの間に第2の切り
替えスイッチを挿入し、フレームメモリに格納されてい
る画像を更新しないときに合成器とフレームメモリとを
接続しないように第2の切り替えスイッチを制御する。
【0009】
【作用】符号化データを背景または前景となるレイヤー
から順番に多重化することにより、レイヤー数によらず
1つの復号化器で画像が再生でき、レイヤー数に依存し
ないフレームメモリで画像が合成できる。また、複数の
切り替えスイッチを設けることにより、表示したいレイ
ヤーが選択でき、イントラクティブ性の高いシステムが
得られる。
【0010】
【実施例】以下、本発明に係わるデジタル画像伝送方法
及び復号化合成装置の実施例について、図面を参照しな
がら説明する。
【0011】図2は、複数のフレームからなる動画像の
中の1枚の画像(D)1003の輝度信号と、それを構
成する3つの成分の輝度信号を示す。画像(D)100
3を構成する3つの成分(魚画像(A)1000、水草
画像(B)1001、背景画像(C)1002)をクロ
マキー画像として個別に撮影した後に画像(D)100
3に合成してもいいし、または画像(D)1003とそ
の前後にある複数のフレームの画像系列を解析し三つの
構成成分に分離することも可能である。この3つの構成
成分をレイヤーと呼ぶ。すなわち、画像(D)1003
を含む画像系列は3つのレイヤー(魚画像(A)100
0のレイヤーと水草画像(B)1001のレイヤーと背
景画像(C)1002のレイヤー)から構成される。当
然ながら画像によってレイヤー数が異なる。
【0012】各レイヤーの画像の輝度信号を符号化器に
入力し、所定の方法で圧縮符号化して符号化データを生
成する。次いで各レイヤーの符号化データを多重化器で
多重化して伝送する。好ましくは、各レイヤーの画像の
輝度信号をブロックに分割し、対象ブロックに対して参
照画像から動き補償した最適な予測ブロックを推定し、
対象ブロックと予測ブロックとの差分をとり、離散コサ
イン変換(DCT)をし、次いでこの変換によって得た
DCT係数を所定の量子化幅で量子化する。好ましく
は、各ブロックを16×16画素から構成し、4つの8
×8画素の小ブロックに分けてDCTする。動き補償に
用いられる動き情報と量子化幅と量子化DCT係数を可
変長符号化して伝送する。一方、同じレイヤーの次の画
像の輝度信号を符号化するときの参照画像として用いる
ので、量子化DCT係数を逆量子化し、予測ブロックを
足し算して画像を再生して保存する必要がある。
【0013】また、各レイヤーの画素をどれぐらいの割
合で重ね合わせるのかを示す透過度信号を伝送する場合
がある。透過度100%は、不透明な物体が存在し背景
が見えない状態であり、透過度0%は、物体が存在せず
背景がそのまま見える状態である。中間レベル値が現れ
るのは、ガラス等の半透明な物体が存在する場合と物体
の境界部分である。図2の画像(A)1000と画像
(B)1001の透過度信号を、それぞれ画像(A’)
1004と画像(B’)1005に示す。この場合、輝
度信号と同じように透過度信号をフロックに分割して、
透過度信号の予測ブロックとの差分をとり、DCTした
後に量子化し、可変長符号に変換して伝送する。
【0014】このようにして圧縮符号化し多重化したデ
ータの構造を図3に示す。図3(a)は一フレーム(フ
レーム1)を構成する3つの層の符号化データ(レイヤ
ーAのデータ1010、レイヤーBのデータ1011、
レイヤーCのデータ1012)を多重化したときのデー
タの構造を示す。レイヤーAのデータ1010、レイヤ
ーBのデータ1011、レイヤーCのデータ1012は
それぞれ図2の画像(A)1000、画像(B)100
1、画像(C)1002に対応する。したがって、図3
(a)に示すデータ構造は、前景となるレイヤーから順
番に多重化されたものである。また、別の実施例として
図3(c)のように、レイヤーCのデータ1023、レ
イヤーBのデータ1024、レイヤーAのデータ102
5の順番、すなわち背景となるレイヤーから順番に多重
化することもできる。各レイヤーのデータは図3(b)
に示すように、レイヤーの同期信号(SYNC)101
5から始まり、次いでブロックの同期信号(SYNC)
1014、該ブロックの動き情報1016、量子化幅1
017、DCT係数1018と続く。透過度信号がある
場合には、輝度信号のDCT係数に加えて透過度信号の
係数も含まれる。
【0015】なお、以上の説明は動き補償DCTを中心
に説明したが、サブバンドやウェーブレット、フラクタ
ル符号化方法を用いてもよい。
【0016】次に、本発明による復号化合成装置の第1
実施例を説明する。図1は第1実施例の複号化合成装置
のブロック図を示す。多重化した符号化データ(図3
(a)もしくは図3(c))を外部入力端子10に入力
する。復号化器12にて各レイヤーの符号化データを再
生画像に復号化し、フレームメモリ(FM0)14に格
納する。合成器16は再生画像とフレームメモリ(FM
1)22に格納されている合成画像とを重ね合わせて新
たな合成画像に合成する。この新たな合成画像はフレー
ムメモリ(FM1)22に送られると同時に、ディスプ
レイメモリ18を経由して出力装置20に表示される。
フレームメモリ(FM0)14とフレームメモリ(FM
1)22はプロセッサ24によって制御される。
【0017】図1に示した復号化器12の好ましい実施
例を図4に示す。図3(c)に示す符号化データを復号
化合成する場合について考える。先ずレイヤーCの符号
化データ1023(背景)を外部入力端子10に入力す
る。解析器11にて符号化データを解析し、動き情報を
ライン130を経由してアドレス発生器21に送り、量
子化幅と量子化DCT係数をライン116を経由して逆
量子化器(IQ)13に送る。逆量子化器13にて量子
化DCT係数に量子化幅を乗じて逆量子化DCT係数を
生成する。逆量子化DCT係数をライン118を経由し
て逆離散コサイン変換器(IDCT)15に送り、空間
領域の差分信号に逆変換する。差分信号をライン120
を経由して加算器17に送り、ライン126を経由して
送られる予測信号に加えて、再生信号を生成して出力す
る。同時に再生信号をライン124を経由してフレーム
メモリにフィードバックする。フレームメモリ19cを
レイヤーCの画像を格納するために割り当てて、スイッ
チ80を端子83cに接続し、同様に、スイッチ81を
端子84cに、スイッチ82を端子85cに接続する。
アドレス発生器21は動き情報をフレームメモリのアド
レスに変換し、フレームメモリ19cから予測信号を取
り出し、ライン126を経由して加算器17に送る。
【0018】このようにして復号化したレイヤーCの画
像はフレームメモリ(FM0)14に送られる。レイヤ
ーCは1フレームの最初のレイヤーであるので、プロセ
ッサ24はフレーメモリ(FM1)22を所定値にセッ
トする。この所定値は有効画素でないことを示し、好ま
しくはゼロにセットする。次いでに、プロセッサ24は
フレームメモリ14と22から同位置にある画素値を走
査順に合成器16に送る。合成器16は次の処理を行
う。フレームメモリ(FM0)14の画像はフレームメ
モリ(FM1)22の画像より上のレイヤーにあるの
で、フレームメモリ(FM1)22の画像の上にフレー
ムメモリ(FM0)14の画像を重ねる。合成器16
は、フレームメモリ(FM0)14から送られてきた画
素とフレームメモリ(FM1)22から送られてきた同
位置にある画素を調べ、フレームメモリ(FM0)14
から送られてきた画素が所定値(この実施例ではゼロ)
でなければ、フレームメモリ(FM0)14から送られ
てきた画素を出力し、フレームメモリ(FM0)14か
ら送られてきた画素が所定値(この実施例ではゼロ)で
あれば、フレームメモリ(FM1)22から送られてき
た画素を出力する。出力される画素をディスプレイメモ
リ18を経由し出力装置20に表示すると同時に、フレ
ームメモリ(FM1)22に送り格納する。
【0019】次に、図3(c)のレイヤーBの符号化デ
ータ1024を外部入力端子10に入力し、上述と同じ
ように復号化器12にて再生信号に復号化し、フレーム
メモリ(FM0)14に送られる。復号化器12のフレ
ームメモリ19bをレイヤーBの画像を格納するために
割り当てて、スイッチ80、81、82をそれぞれ端子
83b、端子84b、端子85bに接続し復号化する。
合成器16は上述と同じように、フレームメモリ(FM
0)14の画像とフレームメモリ(FM1)22の画像
とを重ね合わせて、ディスプレイメモリ18とフレーム
メモリ(FM1)22に出力する。このようにして、レ
イヤーCの上にレイヤーBを重ねることになる。
【0020】最後にレイヤーAの符号化データを入力
し、復号化器12にて復号化し、合成器16にてフレー
ムメモリ(FM1)22の画像の上に重ねて出力する。
復号化器12のフレームメモリ19aをレイヤーAの画
像を格納するために割り当てて、スイッチ80、81、
82をそれぞれ端子83a、端子84a、端子85aに
接続し復号化する。このようにして、レイヤーAの画像
をレイヤーBとCの合成画像の上に重ね合わせることが
できる。上記の処理を次のフレームに対し繰り返し行
う。なお、この実施例では3つのレイヤーについて説明
したが、任意のレイヤー数に対しても同様で、復号化器
12のフレームメモリバンク19の個数をレイヤー数に
あわせてやればよい。
【0021】なお、図3(a)に示す符号化データを復
号化合成する場合は、合成器16の処理を変更する必要
がある。画像を前景から順番に伝送することに注意する
と、フレームメモリ(FM1)22の画像はフレームメ
モリ(FM0)14の画像より上にあることがわかる。
この場合、合成器16はフレームメモリ(FM0)14
から送られてきた画素とフレームメモリ(FM1)22
から送られてきた同位置にある画素を調べ、フレームメ
モリ(FM1)22から送られてきた画素が所定値(こ
の実施例ではゼロ)でなければ、フレームメモリ(FM
1)22から送られてきた画素を出力し、フレームメモ
リ(FM1)22から送られてきた画素が所定値(この
実施例ではゼロ)であれば、フレームメモリ(FM0)
14から送られてきた画素を出力する。このようにして
後に送られるレイヤーを先に送られるレイヤーの下に重
ねることができる。
【0022】図5は本発明によるデジタル画像の復号化
合成装置の第2実施例のブロック図である。この第2の
実施例は基本的な構成は図3と同じであるが、外部入力
端子10と復号化器12との間にスイッチ26を挿入す
るとともに、表示選択器(SEL)25を追加した。ス
イッチ26はライン113を経由してプロセッサ24に
よって制御される。復号化合成装置が特定のレイヤーを
再生表示しない時にスイッチ26を開き、外部入力端子
10と復号化器12とを接続しないようにする。プロセ
ッサ24は装置の処理能力を判断し、処理能力が不十分
なときに特定のレイヤーを処理しないようにスイッチ2
6を制御することができる。または、表示選択器(SE
L)25を経由してユーザーがみたいレイヤーだけを再
生表示するように制御することもできる。表示選択器
(SEL)25はキーボードやマウスなどを使用してよ
い。例えば、背景となるレイヤー(図2ではレイヤー
C)を表示しない場合、レイヤー同期信号検出器(図示
せず)によってレイヤーの同期信号を検出し、レイヤー
Cの同期信号が検出されるとスイッチ26を開くように
制御する。
【0023】図6は本発明によるデジタル画像の復号化
合成装置の第3実施例のブロック図であり、基本的な構
成は図5と同じである。この実施例では、合成器16の
出力とフレームメモリ(FM1)22の入力との間にス
イッチ34を挿入し、また、合成器16とディスプレイ
メモリ18との間にスイッチ30を挿入する。これらの
スイッチはプロセッサ24によって制御されるが、表示
選択器(SEL)25を経由してユーザーがイントラク
ティブ的に制御する。プロセッサ24はフレームメモリ
(FM1)22に格納されている画像を更新しないとき
に、合成器16とフレームメモリ22とを接続しないよ
うにスイッチ34を制御する。同じように、合成器の出
力を表示しないときに、合成器16とディスプレイメモ
リ18とを接続しないようにスイッチ30を制御する。
【0024】具体的な例を説明する。レイヤーA(前
景)、B(中間層)、C(背景)からなる多重化データ
を入力し、スイッチ26、30、34が全部閉じた状態
で暫くの間再生表示し続けたあと、表示選択器(SE
L)25を経由してレイヤーBを前景にし他のレイヤー
を静止モードにして表示する場合を考える。
【0025】(表1)は各スイッチの遷移状態とフレー
ムメモリ(FM1)22とディスプレイメモリ(DF
M)18の内容の遷移を示す。
【0026】
【表1】
【0027】符号化データは背景から順番に入力される
場合を示している。すなわち、C1、B1、A1、C
2、B2、A2、・・・の順番に入力し復号化する。
(表1)でにおいて、ONはスイッチが閉じていること
を示し、OFFはスイッチが開いていることを示す。表
示の切り替え信号は表示選択器(SEL)25を経由し
てフレーム2の始まりのところに入力されるとする。フ
レーム1が入力されるときにスイッチ26と34は両方
ともに閉じ、フレームメモリ(FM1)22は次々と更
新され、最終にA1+B1+C1の合成画像が得られ
る。スイッチ30はずっと開いており、A1+B1+C
1の合成画像が得られるとスイッチ30が閉じ、ディス
プレイメモリ(DFM)18をA0+B0+C0の合成
画像からA1+B1+C1の合成画像に更新する。フレ
ーム2の期間中には、所望の画像がまだ得られていない
ためフレーム1の画像を表示し続ける。したがって、ス
イッチ30はずっと開いており、ディスプレイメモリは
フレーム1の画像を格納し続ける。一方、A2+C2の
画像を合成するために、C2とA2のレイヤーが入力さ
れる期間中にスイッチ26と34を閉じ、レイヤーB2
が入力されるとき開く。このようにしてA2+C2の合
成画像が得られる。これ以降、スイッチ30を開き、フ
レームメモリ(FM1)22を更新しないで、A2+C
2の合成画像を格納し続ける。フレーム3とそれ以降の
フレームが入力されるときに、レイヤーB(B3,B
4、・・・)の期間中のみ、スイッチ26と34を閉
じ、レイヤーBを復号化再生しA2+C2の合成画像と
合成し、ディスプレイメモリ18を経由して表示する。
このようにして、レイヤーBを前景として表示するとと
もに、他のレイヤーを静止モードにすることができる。
なお、スイッチ30は表示を制御するためのものでなく
てもよい。
【0028】図7は本発明によるデジタル画像の復号化
合成装置の第4実施例のブロック図であり、基本的な構
成は図6と同じである。この実施例では、フレームメモ
リ(FM1)22に加えてフレームメモリ(FM2)2
3を追加し、さらにこの2つのフレームメモリの入力と
出力を切り替えるためにそれぞれスイッチ34と31が
追加される。また、合成器16の入力としてフレームメ
モリ(FM0)14またはフレームメモリ(FM2)2
3を選択するためのスイッチ38を挿入する。これらの
スイッチはプロセッサ24によって制御されるが、表示
選択器(SEL)25を経由してユーザーがイントラク
ティブ的に制御する。
【0029】この実施例の動作を(表2)を参照しなが
ら説明する。
【0030】
【表2】
【0031】(表2)において、ONはスイッチが閉じ
ていることを示し、OFFはスイッチが開いていること
を示す。また、Pは端子を意味し、SW38の行にP4
0となっていることはスイッチ38が端子40に接続す
ることを意味する。先ず、フレーム1を通常のように復
号化合成する。すなわち、レイヤーC1の上にB1を重
ね、さらにA1を重ねる。そのために、スイッチ26を
閉じ、スイッチ38、スイッチ34、スイッチ31をそ
れぞれを端子40、端子29、端子35に接続する。ス
イッチ30はA1+B1+C1の合成画像が得られてか
ら閉じ、合成画像をディスプレイメモリ(DFM)18
を経由して表示する。レイヤーBを前景に表示しながら
その他のレイヤーも一緒に更新し表示するような表示切
り替え信号は、表示選択器(SEL)25を経由してフ
レーム2の始まりのところに入力されるとする。この場
合、すべてのレイヤーを再生表示するのでスイッチ26
は常に閉じる。また、1フレームの始まりのところで
は、フレームメモリ22と23はともに所定値にセット
される。先ず、C2を入力復号化しスイッチ38を経由
してフレームメモリ(FM0)14から合成器16に送
られ、その出力をスイッチ34を経由してフレームメモ
リ(FM1)22に格納する。次に、B2を復号化しス
イッチ38を経由してフレームメモリ(FM0)14か
ら合成器16に送られ、フレームメモリ(FM2)23
の画像(所定値にセットされている)と合成したあと、
その出力をスイッチ34を経由してフレームメモリ(F
M2)23に格納する。A2も同じように復号化する
が、フレームメモリ(FM1)22に格納されるC2の
画像と合成するので、スイッチ31は端子35に接続
し、合成画像をスイッチ34を経由してフレームメモリ
(FM1)22に格納する。この時点では、フレームメ
モリ22と23にはそれぞれA2+C2,B2が格納さ
れる。次に、スイッチ38と31それぞれを端子39と
35に接続し、B2をA2+C2に重ねて合成画像を生
成し表示する。それ以降のフレームの各レイヤーについ
て同じ処理を行うと、レイヤーBが前景となる動画像が
得られる。
【0032】以上、背景から順番に多重化された符号化
データについて説明したが、前景から順番に多重化され
た符号化データについても同じである。
【0033】図8は本発明によるデジタル画像の復号化
合成装置の第5実施例のブロック図であり、基本的な構
成は図1と同じである。この実施例では、フレームメモ
リ(FM3)42が追加され、透過度信号を含めた符号
化データを復号化合成するためのものである。図3
(c)のように、背景から順番に多重化された符号化デ
ータを入力し復号化合成を行う。基本的な動作は図1と
同じであるが、各レイヤーの再生画像の輝度信号と透過
度信号をそれぞれフレームメモリ(FM0)14とフレ
ームメモリ(FM3)42に格納し、合成器16にてフ
レームメモリ(FM1)22の合成画像に重ねる。合成
器16はフレームメモリ(FM3)42に格納される透
過度信号を用いて、フレームメモリ(FM0)14の画
像をフレームメモリ(FM1)22の画像に重ね合わせ
る。フレームメモリ(FM0)14の画素値をx0、フ
レームメモリ(FM1)22の画素値をx1と表す。フ
レームメモリ(FM3)42の値をαで表す。αが10
0%ときは、不透明な物体が存在し背景が見えない状態
であり、αが0%ときは、物体が存在せず背景がそのま
ま見える状態であるので、合成画素値yは、 y=α×x0+(1−α)×x1 で求められる。このようにして後に送られてきた前景の
画像を上のほうに重ねることができ、αが中間値を持つ
場合半透明となるように合成できる。なお、図8の装置
に図5、図6、図7と同じようにスイッチとフレームメ
モリを追加することにより、上述の選択的表示の機能を
実現することができる。
【0034】図9は本発明によるデジタル画像の復号化
合成装置の第6実施例のブロック図である。図9(a)
の装置は図8と同じように透過度信号を含めた符号化デ
ータを復号化合成するためのもので、図3(a)のよう
に前景から順番に多重化された符号化データを処理す
る。フレームメモリ(FM3)の透過度信号を合成する
ための合成器46と、その結果を格納するためのフレー
ムメモリ(FM4)44を備えている。基本的な処理は
図8と同じであるが、前景から順番に復号化されるので
合成器16、46の処理は異なる。先ず、レイヤーAの
輝度信号と透過度信号とを復号化し、それぞれフレーム
メモリ(FM0)14とフレームメモリ(FM3)42
に格納する。レイヤーAはフレームの始まりなので、合
成されずに輝度信号と透過度信号をそれぞれフレームメ
モリ(FM1)22と(FM4)44に格納する。フレ
ームメモリ(FM4)44には図9(b)に示す透過度
信号(A’)1004が格納される。次にレイヤーBを
復号化し、その輝度信号と透過度信号をそれぞれフレー
ムメモリ14と42に格納する。合成器16では、フレ
ームメモリ(FM4)44の透過度信号(画像100
4)を用いて、フレームメモリ14と22の輝度信号を
合成する。フレームメモリ(FM0)14の画素値をx
0、フレームメモリ(FM1)22の画素値をx1、フ
レームメモリ(FM4)44の値をαと表し、x1はx
0の上に重なるので、合成器16の出力画素yは、 y=α×x1+(1−α)×x0 で与えられる。フレームメモリ42には図9(b)の透
過度信号(B’)1005が格納されており、フレーム
メモリ(FM4)44の透過度信号(1004)と合成
器46にて合成される。好ましくは、フレームメモリ
(FM3)42の透過度信号とフレームメモリ(FM
4)44の透過度信号とを比較し、大きい方の値を出力
する。このようにして合成した透過度信号を図9(b)
の画像(D’)1006に示す。最後に、レイヤーCの
輝度信号と透過度信号を復号化し、同じように合成す
る。なお、図9(a)の装置に図5、図6、図7と同じ
ようにスイッチとフレームメモリを追加することによ
り、上述の選択的表示の機能を実現することができる。
【0035】図10は、複数代表画像を用いた予測符号
化方法によって生成されたデータを多重化した符号化デ
ータの構造を示す。図10(a)は泳いでいる魚の画像
系列(G1〜G8)を示す。この画像系列に対し2つの
代表画像(T1とT2)を用いてG1〜G8の画像を予
測する。先ず、代表画像を所定の方法で圧縮符号化し再
生する。フレーム内もしくはフレーム間のDCT符号化
方式を用いてよい。再生した代表画像の変位や変形によ
り、レイヤーの各画像(G1〜G8)を予測近似する。
好ましくはアフィン変換が用いられる。このようにして
代表画像T1、T2及び画像系列G1〜G8の符号化し
たデータが生成される。図10(b)は本発明による代
表画像の符号化データの伝送方法である。すなわち、代
表画像のデータ1051、1052、1053をまとめ
て伝送してから、画像系列G1〜G8の符号化データ
(1054〜1061)を伝送する。また、図10
(c)に示すように、画像G1、G2、G3は代表画像
T1を参照するが代表画像T2を参照しないので、先ず
T1の符号化データ1062を先に伝送し、続いてG
1、G2、G3の符号化データ(1063、1064、
1065)を伝送してから、T2の符号化データ106
6を伝送する。すなわち、参照されない代表画像の符号
化データを動画像データより先に伝送しないように代表
画像の符号化データを多重化する。
【0036】
【発明の効果】以上のように、本発明は、符号化データ
を背景もしくは前景となるレイヤーから順番に多重化す
ることにより、レイヤー数によらず一つの復号化器で画
像が再生でき、レイヤー数に依存しないフレームメモリ
で画像が合成できる。また、複数の切り替えスイッチを
設けることにより、表示したいレイヤーが選択でき、イ
ントラクティブ性の高いシステムが得られる。
【図面の簡単な説明】
【図1】本発明によるデジタル画像の復号化合成装置の
第1実施例のブロック図
【図2】複数のレイヤーの画像を重ね合わせることによ
り合成した画像を示す模式図
【図3】複数のレイヤーの画像を圧縮符号化し、データ
を多重化した時のデータ構造を示す模式図
【図4】本発明に係る復号化器の一実施例のブロック図
【図5】本発明によるデジタル画像の復号化合成装置の
第2実施例のブロック図
【図6】本発明によるデジタル画像の復号化合成装置の
第3実施例のブロック図
【図7】本発明によるデジタル画像の復号化合成装置の
第4実施例のブロック図
【図8】本発明によるデジタル画像の復号化合成装置の
第5実施例のブロック図
【図9】本発明によるデジタル画像の復号化合成装置の
第6実施例のブロック図
【図10】複数代表画像を用いた予測符号化方法によっ
て生成されたデータの構造を示す模式図
【図11】従来例のデジタル画像の復号化合成装置のブ
ロック図
【符号の説明】
12 復号化器 14 フレームメモリ 16 合成器 18 ディスプレーメモリ 20 表示器 22 フレームメモリ 24 プロセッサ 25 表示切り替え入力器

Claims (13)

    【特許請求の範囲】
  1. 【請求項1】複数のレイヤーの画像を重ね合わせること
    により構成されるデジタル画像に対し、前記複数のレイ
    ヤーの画像をそれぞれ圧縮符号化し、所定の順番に従っ
    て多重化して伝送することを特徴とするデジタル画像伝
    送方法。
  2. 【請求項2】複数のレイヤーの画像を重ね合わせること
    により構成されるデジタル画像に対し、前記複数のレイ
    ヤーの画像をそれぞれ圧縮符号化し、背景となるレイヤ
    ーから順番に多重化して伝送することを特徴とするデジ
    タル画像伝送方法。
  3. 【請求項3】複数のレイヤーの画像を重ね合わせること
    により構成されるデジタル画像に対し、前記複数のレイ
    ヤーの画像をそれぞれ圧縮符号化し、前景となるレイヤ
    ーから順番に多重化して伝送することを特徴とするデジ
    タル画像伝送方法。
  4. 【請求項4】複数のレイヤーの画像を重ね合わせること
    により構成されるデジタル画像に対し、前記複数のレイ
    ヤーの画像をそれぞれ圧縮符号化し、背景となるレイヤ
    ーから順番に多重化した符号化データを復号化し合成す
    る装置であって、 外部入力端子と復号化器と合成器とフレームメモリと出
    力器とを具備して構成し、 前記外部入力端子に前記符号化データを入力し、 前記復号化器にて、前記符号化データを多重化した順番
    でレイヤー毎に再生画像に復号化し、 前記合成器に前記再生画像と前記フレームメモリから供
    給される合成画像とを入力し、前記合成画像と前記再生
    画像とを重ね合わせて新たな合成画像を生成し、 前記フレームメモリに前記新たな合成画像を格納すると
    ともに前記出力器に表示することを特徴とするデジタル
    画像復号化合成装置。
  5. 【請求項5】前記外部入力端子と前記復号化器との間に
    第1の切り換えスイッチを挿入し、再生しないレイヤー
    の画像が入力されるときに前記外部入力端子と前記復号
    化器を接続しないように前記第1の切り替えスイッチを
    制御することを特徴とする請求項4記載のデジタル画像
    復号化合成装置。
  6. 【請求項6】前記合成器と前記フレームメモリとの間に
    第2の切り替えスイッチを挿入し、前記フレームメモリ
    に格納されている画像を更新しないときに前記合成器と
    前記フレームメモリとを接続しないように前記第2の切
    り替えスイッチを制御することを特徴とする請求項5記
    載のデジタル画像復号化合成装置。
  7. 【請求項7】複数のレイヤーの画像を重ね合わせること
    により構成されるデジタル画像に対し、前記複数のレイ
    ヤーの画像をそれぞれ圧縮符号化し、背景となるレイヤ
    ーから順番に多重化した符号化データを復号化し合成す
    る装置であって、 外部入力端子と復号化器と合成器と第1及び第2のフレ
    ームメモリと第1及び第2及び第3の切り替えスイッチ
    と出力器とを具備して構成し、 前記外部入力端子に前記符号化データを入力し、 前記復号化器にて、前記符号化データを多重化した順番
    でレイヤー毎に再生画像に復号化し、 前記合成器は第1と第2の入力端子を有し、前記第1の
    入力端子は前記第1の切り替えスイッチにより前記復号
    化器または前記第2のフレームメモリに接続され、前記
    第2の入力端子は前記第2の切り替えスイッチにより前
    記第1のフレームメモリまたは第2のフレームメモリに
    接続され、前記合成器にて前記第1と第2の入力端子か
    ら入力される画像を重ね合わせて合成画像を生成し、 前記合成画像を前記出力器に表示するとともに、前記第
    3の切り替えスイッチを経由して前記第1または第2の
    フレームメモリに格納することを特徴とするデジタル画
    像復号化合成装置。
  8. 【請求項8】背景となるレイヤーから順番に多重化し、
    符号化データを前景となるレイヤーから順番に多重化し
    たデータで置き換えたことを特徴とする請求項4から請
    求項7のいずれかに記載のデジタル画像復号化合成装
    置。
  9. 【請求項9】前記複数レイヤーの画像は、画素値を表す
    輝度信号と前記画素値の透過状態を表す透過度信号とか
    ら構成されることを特徴とする請求項1から請求項3の
    いずれかに記載のデジタル画像伝送方法。
  10. 【請求項10】画素値を表す輝度信号と前記画素値の透
    過状態を表す透過度信号とを有する複数のレイヤーの画
    像を重ね合わせることにより構成されるデジタル画像に
    対し、前記複数のレイヤーの画像をそれぞれ圧縮符号化
    し、背景となるレイヤーから順番に多重化した符号化デ
    ータを復号化し合成する装置であって、 外部入力端子と復号化器と合成器とフレームメモリと出
    力器とを具備して構成し、 前記外部入力端子に前記符号化データを入力し、 前記復号化器にて、前記符号化データを多重化した順番
    でレイヤー毎に再生画像の輝度信号と透過度信号に復号
    化し、 前記合成器に前記再生画像の輝度信号と透過度信号と前
    記フレームメモリから供給される合成画像の輝度信号と
    を入力し、前記再生画像の透過度信号の示す割合で前記
    再生画像の輝度信号を前記合成画像の輝度信号の上に重
    ね合わせて新たな合成画像の輝度信号を生成し、 前記フレームメモリに前記新たな合成画像の輝度信号を
    格納するとともに前記出力器に表示することを特徴とす
    るデジタル画像復号化合成装置。
  11. 【請求項11】画素値を表す輝度信号と前記画素値の透
    過状態を表す透過度信号とを有する複数のレイヤーの画
    像を重ね合わせることにより構成されるデジタル画像に
    対し、前記複数のレイヤーの画像をそれぞれ圧縮符号化
    し、前景となるレイヤーから順番に多重化した符号化デ
    ータを復号化し合成する装置であって、 外部入力端子と復号化器と第1及び第2の合成器と第1
    及び第2のフレームメモリと出力器とを具備して構成
    し、 前記外部入力端子に前記符号化データを入力し、 前記復号化器にて、前記符号化データを多重化した順番
    でレイヤー毎に再生画像の輝度信号と透過度信号に復号
    化し、 前記第2の合成器に前記再生画像の透過度信号と前記第
    2のフレームメモリから供給される合成画像の透過度信
    号とを入力し、前記再生画像の透過度信号を前記合成画
    像の透過度信号と重ね合わせて新たな合成画像の透過度
    信号を生成し、前記第2のフレームメモリに格納し、 前記第1の合成器に前記再生画像の輝度信号と前記第1
    のフレームメモリから供給される合成画像の輝度信号と
    を入力し、前記第2のフレームメモリから供給される合
    成画像の透過度信号の示す割合で前記再生画像の輝度信
    号と前記合成画像の輝度信号とを重ね合わせて新たな合
    成画像の輝度信号を生成し、 前記第1のフレームメモリに前記新たな合成画像の輝度
    信号を格納するとともに前記出力器に表示することを特
    徴とするデジタル画像復号化合成装置。
  12. 【請求項12】デジタル化した動画像系列に対し、複数
    の代表画像を用意し、前記代表画像をそれぞれ代表符号
    化データに圧縮符号化した後に再生代表画像に復元し、
    前記動画像系列を前記再生代表画像から予測し動画像符
    号化データに圧縮符号化して伝送する方法において、前
    記代表符号化データをまとめて伝送してから前記動画像
    符号化データを伝送することを特徴とするデジタル画像
    伝送方法。
  13. 【請求項13】デジタル化した動画像系列に対し、複数
    の代表画像を用意し、前記代表画像をそれぞれ代表符号
    化データに圧縮符号化した後に再生代表画像に復元し、
    前記動画像系列を前記再生代表画像から予測し動画像符
    号化データに圧縮符号化して伝送する方法において、参
    照されない前記代表画像の符号化データを前記動画像デ
    ータより先に伝送しないことを特徴とするデジタル画像
    伝送方法。
JP2275595A 1994-12-20 1995-02-10 デジタル画像伝送方法及び復号化合成装置 Pending JPH08223569A (ja)

Priority Applications (12)

Application Number Priority Date Filing Date Title
JP2275595A JPH08223569A (ja) 1995-02-10 1995-02-10 デジタル画像伝送方法及び復号化合成装置
EP02017887A EP1271957B1 (en) 1994-12-20 1995-12-20 Object-based digital image predictive coding and transfer method and apparatus, and decoding apparatus
DE69530908T DE69530908T2 (de) 1994-12-20 1995-12-20 Verfahren und Vorrichtung zur Bildkodierung
US08/575,870 US5767911A (en) 1994-12-20 1995-12-20 Object-based digital image predictive coding transfer method and apparatus, and decoding apparatus
EP95120198A EP0719049B1 (en) 1994-12-20 1995-12-20 Method and apparatus for image coding
DE69535007T DE69535007T2 (de) 1994-12-20 1995-12-20 Verfahren und Vorrichtung zur objektbasierten prädiktiven Kodierung und Übertragung von digitalen Bildern und Dekodierungsvorrichtung
US09/015,055 US6167158A (en) 1994-12-20 1998-01-28 Object-based digital image predictive method
US09/015,056 US5969765A (en) 1994-12-20 1998-01-28 Object-based digital image predictive coding transfer method and apparatus, and decoding apparatus
US09/015,058 US5999219A (en) 1994-12-20 1998-01-28 Object-based digital image predictive coding transfer method and apparatus, and decoding apparatus
US09/566,626 US6510249B1 (en) 1994-12-20 2000-05-08 Object-base digital image predictive coding transfer method and apparatus, and decoding apparatus
US10/268,902 US6560364B2 (en) 1994-12-20 2002-10-11 Object-based digital image predictive coding transfer method and apparatus, and decoding apparatus
US10/387,566 US6687408B2 (en) 1994-12-20 2003-03-14 Object-based digital image predictive coding transfer method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2275595A JPH08223569A (ja) 1995-02-10 1995-02-10 デジタル画像伝送方法及び復号化合成装置

Publications (1)

Publication Number Publication Date
JPH08223569A true JPH08223569A (ja) 1996-08-30

Family

ID=12091510

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2275595A Pending JPH08223569A (ja) 1994-12-20 1995-02-10 デジタル画像伝送方法及び復号化合成装置

Country Status (1)

Country Link
JP (1) JPH08223569A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005229620A (ja) * 2004-02-12 2005-08-25 Xerox Corp 複数のフォアグランド平面を有する高圧縮画像データファイルの生成システム及び方法
JP2006311200A (ja) * 2005-04-28 2006-11-09 Ricoh Co Ltd 構造化文書符号の転送方法、画像処理システム、サーバ装置、プログラム及び情報記録媒体
JP2007166134A (ja) * 2005-12-13 2007-06-28 Hitachi Software Eng Co Ltd 非可逆圧縮画像における無効データ領域表示抑制方法
US7606417B2 (en) 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
US7692696B2 (en) 2005-12-27 2010-04-06 Fotonation Vision Limited Digital image acquisition system with portrait mode

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005229620A (ja) * 2004-02-12 2005-08-25 Xerox Corp 複数のフォアグランド平面を有する高圧縮画像データファイルの生成システム及び方法
US7606417B2 (en) 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
US7912285B2 (en) 2004-08-16 2011-03-22 Tessera Technologies Ireland Limited Foreground/background segmentation in digital images with differential exposure calculations
JP2006311200A (ja) * 2005-04-28 2006-11-09 Ricoh Co Ltd 構造化文書符号の転送方法、画像処理システム、サーバ装置、プログラム及び情報記録媒体
JP4618676B2 (ja) * 2005-04-28 2011-01-26 株式会社リコー 構造化文書符号の転送方法、画像処理システム、サーバ装置、プログラム及び情報記録媒体
JP2007166134A (ja) * 2005-12-13 2007-06-28 Hitachi Software Eng Co Ltd 非可逆圧縮画像における無効データ領域表示抑制方法
JP4488430B2 (ja) * 2005-12-13 2010-06-23 日立ソフトウエアエンジニアリング株式会社 非可逆圧縮画像における無効データ領域表示抑制方法
US7692696B2 (en) 2005-12-27 2010-04-06 Fotonation Vision Limited Digital image acquisition system with portrait mode

Similar Documents

Publication Publication Date Title
US5999219A (en) Object-based digital image predictive coding transfer method and apparatus, and decoding apparatus
US5412428A (en) Encoding method and decoding method of color signal component of picture signal having plurality resolutions
AU713780B2 (en) Video encoding apparatus and video decoding apparatus
US5485279A (en) Methods and systems for encoding and decoding picture signals and related picture-signal records
US6879724B2 (en) Video coding and video decoding apparatus
JP3144806B2 (ja) デジタル画像復号化装置
WO2008066025A1 (fr) Appareil de codage d'image et partie de décodage d'image
US6330364B1 (en) Video coding and video decoding apparatus
JPH1155664A (ja) 二値形状信号符号化装置
JPH08223569A (ja) デジタル画像伝送方法及び復号化合成装置
JPH05130591A (ja) 動画像符号化装置及びその復号装置
US20060120459A1 (en) Method for coding vector refinement information required to use motion vectors in base layer pictures when encoding video signal and method for decoding video data using such coded vector refinement information
JPH0670340A (ja) デジタル信号をコード化する少なくも1つのエンコーダー及びコード化デジタル信号をデコード化する少なくも1つのデコーダーを有する装置及び該装置のためのエンコーダー並びにデコーダー
JPH0937260A (ja) 動画像符号化装置及び動画像復号装置
JP3158064B2 (ja) 動画像符号化装置及び動画像復号装置
JPH0591498A (ja) 帯域分割動画像符号化装置
JP3247836B2 (ja) 画像符号化装置及び画像復号装置
JP2002051347A (ja) 動画像符号化装置
JPH0514738A (ja) 画像伝送装置
JPH08140090A (ja) 動画像符号化装置
JPH0638192A (ja) 画像符号化装置および画像復号化装置
JP2004147352A (ja) 画像信号生成装置および方法、並びに、画像信号再生装置および方法
JP2004088795A (ja) 画像信号生成装置および方法、並びに、画像信号再生装置および方法
JPH07135656A (ja) 映像信号符号化装置