JPH11112979A

JPH11112979A - 符号化装置及び方法、復号化装置及び方法並びに記録媒体

Info

Publication number: JPH11112979A
Application number: JP27016297A
Authority: JP
Inventors: Takahiro Fukuhara; 隆浩福原
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-10-02
Filing date: 1997-10-02
Publication date: 1999-04-23

Abstract

(57)【要約】【課題】画像の符号化効率を向上させる。【解決手段】画像の反復変換符号化器では、入力画像
からオブジェクトを分離・構成するオブジェクト構成部
１００と、生成された各オブジェクトを別個に反復変換
符号化する複数個の反復変換符号化部２，３，４，５
と、オブジェクト構成部からのキー情報を符号化するキ
ー情報符号化部２７と、各反復変換符号化部２，３，
４，５で得られた符号化ビットストリーム及びキー情報
の符号化ビットストリームを多重化して送出する多重化
部６とを備え、各オブジェクト毎に異なる反復変換符号
化を行うことにより全体の符号化効率が高めるものであ
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、画像の高能率符
号化あるいは復号化を行い、画像の効率的伝送もしくは
蓄積を行うシステムに供する符号化装置及び方法、復号
化装置及び方法並びに記録媒体に関する。

【０００２】

【従来の技術】従来の代表的な画像圧縮方式として、国
際標準化機構（International Organization for Stand
arization; ISO）によって標準化されたＪＰＥＧ（Join
t Photographic Expert Group）方式がある。これは離
散コサイン変換（Discrete Cosine Transformation;DC
T）を用い、比較的高いビットが割り当てられる場合に
は、良好な符号化・復号化画像を供することが知られて
いる。ところが、ある程度符号化ビット数を少なくする
と、ＤＣＴ特有のブロック歪みが顕著になり、主観的に
劣化が目立つようになる。

【０００３】これとは別に最近、反復変換方式（Iterat
ed Function Systems; IFS）を利用した画像圧縮方式が
注目され始めている。これによれば、画像全体の中で、
その画像の一部分を取り出した場合にその取り出した画
像と良く似た別の画像が、その画像の中に異なるサイズ
で存在するという前提で、画像の自己相似性を利用した
ものである。この反復変換方式は、ＪＰＥＧのようなブ
ロック歪みが目立つことがなく、しかも画像内の異なる
サイズのブロック間の自己相似性を利用していることか
ら、復号化時には解像度に依存しないという利点があ
る。

【０００４】上記反復変換の基本構成は、Arnaud E.Jac
quinによる論文 “Image coding based-on a fractal t
heory of Iterated Contractive Image Transformation
s”，（IEEE Transactions on Image Processing,Vol.
1,No.1,pp.18-30）に示されている。

【０００５】ここで示されている符号化装置及び復号化
装置について図面を参照して説明する。

【０００６】符号化装置の動作については、図１９に示
すように、まず、原画像３００はブロック生成回路２０
０に入力して複数個のブロック３０１に分割される。こ
れらのブロックは互いに重なり合わないように設定され
ている。また、原画像３００を縮小画像生成回路２０２
にて縮小して得られた縮小画像３０７は、縮小画像記憶
回路２０４において記憶される。

【０００７】上記分割されたブロック３０１は、近似領
域検索回路２０１において、縮小画像記憶回路２０４の
中から全探索で縮小画像を探索して、その中から最も良
く似た縮小画像を検出する。ここで得られた、縮小画像
中のどの部分を抜き出すかという近似ブロック位置情報
３０６が、縮小画像記憶回路２０４に伝送され、指定領
域の縮小画像３０５が取り出される。

【０００８】そして、指定領域の縮小画像３０５は、変
換パラメータ３０４に従って、回転・反転・レベル値変
換回路２０３において、例えば回転・変転・レベル値変
換を行い、変換後の縮小画像３０３が出力される。その
結果、変換パラメータ３０４と近似ブロック位置情報３
０６は、ＩＦＳ符号３０２として出力される。

【０００９】続いて、復号化装置の動作については、図
２０に示すように、符号化装置から出力されたＩＦＳ符
号３０２は、一度ＩＦＳ符号蓄積回路２０５に入力して
記憶され、ここから複数回に渡ってシーケンシャルにブ
ロック単位で読み出される。

【００１０】ＩＦＳ符号読み出し回路２０６では、ブロ
ック単位のＩＦＳ符号３０８を読み出して、上記近似ブ
ロック位置情報３０６及び変換パラメータ３０４とに分
ける。続いて、近似ブロック位置情報３０６は縮小画像
記憶回路２０４に入力し、縮小画像中で上記位置情報３
０６によって指定領域の縮小画像３０５が取り出され
る。

【００１１】この指定領域の縮小画像３０５は、回転・
反転・レベル値変換回路２０３において、変換パラメー
タ３０４に基づいた変換処理が施され、復号画像記憶回
路２０８中の復号画像に加算、複写処理されて記憶され
る。

【００１２】ＩＦＳ符号読み出し回路２０６は、全ての
ブロックのＩＦＳ符号３０８を読み出し終わると、読み
出し終了通知信号３１０を複写制御回路２０７に送る。
この複写制御回路２０７では、一連の上記複写処理を何
回実行したかを計測していて、予め設定した値に達して
いない場合には、再読み出し指示信号３０９をＩＦＳ符
号読み出し回路２０６に出力して、上記複写処理を再
度、画像中の全てのブロックに対して行う。同時に、復
号画像出力制御信号３１１で再処理指示情報を送り、復
号画像３１３を縮小画像生成回路２０２への入力３１４
に接続する。

【００１３】縮小画像生成回路２０２は、符号化装置側
と全く同様にして縮小画像３１５を生成して、これによ
り縮小画像記憶回路２０４に記憶されている画像の内容
を書き換える。一方、上記複写処理が一定の回数に達し
た時には、複写制御回路２０７は、復号画像出力制御信
号３１１で終了の指示を出し、復号画像３１３を最終出
力画像３１６側に接続して、復号化装置の出力を得る。

【００１４】

【発明が解決しようとする課題】上記の従来の技術で
は、自画面全体の任意の場所にあるブロックを縮小、及
び変換処理して得られる画像と近似度を測定し、最も似
通ったブロックの位置情報、並びにその時の変換パラメ
ータを考えうる全候補の中から選択する。

【００１５】ところが画面の中には複数個の対象物、い
わゆるオブジェクトが混在している場合が多く、また既
に別々になっているオブジェクトを符号化する場合もあ
る。その場合、従来技術では画面全体を符号化対象とす
るために、各オブジェクト毎に符号化を行うことはでき
なかった。

【００１６】本発明は、上述の実情に鑑みてなされるも
のであって、オブジェクト単位に反復変換符号化・復号
化を行う符号化装置及び方法、復号化装置及び方法並び
に記録媒体を提供することを目的とする。

【００１７】

【課題を解決するための手段】上述の課題を解決するた
めに、この発明に係る符号化装置は、入力画像から対象
物画像を分離・構成する対象物構成手段と、上記対象物
構成手段からの少なくとも１つの対象物画像に反復変換
符号化を施して符号化語とする反復変換符号化手段と、
上記対象物構成手段からの対象物識別情報を符号化して
符号化語とする対象物識別情報符号化手段と、上記反復
変換符号化手段からの符号化語と上記対象物識別情報符
号化手段からの符号化語とを多重化する多重化手段とを
有するものである。

【００１８】ここで、上記各反復変換符号化手段は、入
力画像を記憶する画像メモリ手段と、上記画像メモリ手
段からの画像を分割して第１，第２の多角形画像をそれ
ぞれ生成する第１，第２の多角形生成手段と、上記第２
の多角形生成手段からの第２の多角形画像に所定の変換
処理を施す画像変換・生成手段と、上記第１の多角形生
成手段にて生成された第１の多角形画像と上記画像変換
・生成手段にて変換・生成された多角形画像との近似度
を計測して閾値処理する近似度計測・閾値処理手段と、
上記画像メモリ手段から第２の多角形生成手段への読み
出しを制御する制御手段と、上記第１，第２の多角形生
成手段からの多角形画像の番号と上記画像変換・生成手
段からの変換パラメータを符号化、多重化する符号化・
多重化手段とを有するものである。

【００１９】即ち、上記対象物構成手段は、入力画像を
構成する対象物を生成または別の手段で得られた対象物
を入力して、各対象物画像及び対象物識別情報を供す
る。少なくとも１つの反復変換符号化手段は、入力対象
物画像に対して反復変換符号化処理を施し、符号化語、
即ち符号化ビットストリームを出力する。対象物識別情
報符号化手段は、対象物画像を分割するためのクロマキ
ー情報や対象物の輪郭・形状情報を含む対象物識別情報
を符号化して、符号化ビットストリームを出力する。上
記多重化手段は、上記反復変換符号化手段からの符号化
ビットストリームと対象物識別情報の符号化ビットスト
リームとを多重化して、多重化された符号化ビットスト
リームを送出する。

【００２０】この発明に係る符号化方法は、入力画像か
ら対象物画像を分離・構成する対象物構成工程と、上記
対象物構成工程からの対象物画像を反復変換符号化して
符号化語とする少なくとも１つの反復変換符号化工程
と、上記対象物構成工程からの対象物識別情報を符号化
して符号化語とする対象物識別情報符号化工程と、上記
反復変換符号化工程からの符号化語と上記対象物識別情
報符号化工程からの符号化語とを多重化する多重化工程
とを有するものである。

【００２１】この発明に係る復号化装置は、対象物画像
及び対象物識別情報がそれぞれ符号化されて多重化され
た符号化語を復号する復号化装置において、符号化語を
多重化分離する多重化分離手段と、上記多重化分離手段
にて多重化分離された符号化語を反復変換復号化して復
号化画像とする少なくとも１つの反復変換復号化手段
と、上記多重化分離手段にて多重化分離された対象物識
別情報を復号化する対象物識別情報復号化手段と、上記
対象物識別情報復号手段からの識別情報に基づいて上記
反復変換復号化手段からの復号化画像を合成して合成画
像を生成する合成画像生成手段とを有するものである。

【００２２】即ち、上記復号化装置において多重化分離
手段は、多重化された符号化ビットストリームを多重化
分離して、各符号化ビットストリームに分離する。少な
くとも１つの反復変換復号化手段は、分離された符号化
ビットストリームを読み込んで反復変換復号化を施し、
各復号化対象物画像を出力する。対象物識別情報復号化
手段は、多重化分離された対象物識別情報の符号化ビッ
トストリームを読み込んで復号化を行い、対象物識別情
報を出力する。合成画像生成手段は、上記復号化画像と
対象物識別情報を入力して、対象物の合成画像を出力す
る。

【００２３】この発明に係る復号化方法は、対象物画像
及び対象物識別情報がそれぞれ符号化されて多重化され
た符号化語を復号する復号化方法において、符号化語を
多重化分離する多重化分離工程と、上記多重化分離工程
にて多重化分離された符号化語を反復変換復号化して復
号化画像とする少なくとも１つの反復変換復号化工程
と、上記多重化分離工程にて多重化分離された対象物識
別情報を復号化する対象物識別情報復号化工程と、上記
対象物識別情報復号化工程からの識別情報に基づいて上
記反復変換復号化工程からの復号化画像を合成して合成
画像を生成する合成画像生成工程とを有するものであ
る。

【００２４】上述の課題を解決するために、この発明に
係る記録媒体は、入力画像から対象物画像を分離・構成
する対象物構成工程と、上記対象物構成工程からの対象
物画像を反復変換符号化して符号化語とする少なくとも
１つの反復変換符号化工程と、上記対象物構成工程から
の対象物識別情報を符号化して符号化語とする対象物識
別情報符号化工程と、上記反復変換符号化工程からの符
号化語と上記対象物識別情報符号化工程からの符号化語
とを多重化する多重化工程とを有する符号化方法にて符
号化された信号が記録されてなるものである。

【００２５】また、この発明に係る記録媒体は、入力画
像から対象物画像を分離・構成する対象物構成手順と、
上記対象物構成手順からの対象物画像を反復変換符号化
して符号化語とする少なくとも１つの反復変換符号化手
順と、上記対象物構成手順からの対象物識別情報を符号
化して符号化語とする対象物識別情報符号化手順と、上
記反復変換符号化手順からの符号化語と上記対象物識別
情報符号化手順からの符号化語とを多重化する多重化手
順とを有するプログラムが記録されてなるものである。

【００２６】さらに、この発明に係る記録媒体は、対象
物画像及び対象物識別情報がそれぞれ符号化されて多重
化された符号化語を多重化分離する多重化分離手順と、
上記多重化分離手順にて多重化分離された符号化語を反
復変換復号化して復号化画像とする少なくとも１つの反
復変換復号化手順と、上記多重化分離手順にて多重化分
離された対象物識別情報を復号化する対象物識別情報復
号化手順と、上記対象物識別情報復号手順からの識別情
報に基づいて上記反復変換復号化手順からの復号化画像
を合成して合成画像を生成する合成画像生成手順とを有
するプログラムが記録されてなるものである。

【００２７】

【発明の実施の形態】以下、この発明に係る符号化装置
及び方法、復号化装置及び方法並びに記録媒体について
図面を参照して説明する。

【００２８】先ず、第１の実施の形態として、上記符号
化装置の第１の例について説明をする。

【００２９】この符号化装置は、図１に示すように、入
力画像から対象物、いわゆるオブジェクトを分離するオ
ブジェクト構成部１、上記オブジェクト構成部１からの
第１の対象物画像、いわゆるオブジェクト画像に反復変
換符号化を施して符号化語とする第１の反復変換符号化
部２、同じく第２のオブジェクト画像に反復変換符号化
を施して符号化語とする第２の反復変換符号化部３、同
じく第３のオブジェクト画像に反復変換符号化を施して
符号化語とする第３の反復変換符号化部４、同じく第ｎ
のオブジェクト画像に反復変換符号化を施して符号化語
とする第ｎの反復変換符号化部５を有している。

【００３０】また、上記符号化装置は、上記オブジェク
ト構成部１からの対象物識別情報、いわゆるキー情報を
符号化するキー情報符号化部２７、上記第１の反復変換
符号化部２、第２の反復変換符号化部３、第３の反復変
換符号化部４、第ｎの反復変換符号化部５からの符号化
語を多重化する多重化部６を有している。

【００３１】続いて、上記符号化装置の動作について説
明する。図中、デジタル化された画像１００は、オブジ
ェクト構成部１に入力し、ここで画像を構成するオブジ
ェクトが生成される。

【００３２】オブジェクトとは、例えば図２に示すよう
に、人物部分のオブジェクト５１、背景画像のオブジェ
クト５２というように、特定の対象画像を意味する。

【００３３】画像からその構成要素であるオブジェクト
を切り抜く技術（セグメンテーション）は、画像認識・
分析の分野で研究されており、それらの手法を用いれば
良い。またクロマキーの技術を用いて特定のオブジェク
トを切り出すことも可能である。

【００３４】上記動作により得られた各オブジェクト
は、第１のオブジェクト１０１、第２のオブジェクト１
０２、第３のオブジェクト１０３、第ｎのオブジェクト
１０４として、それぞれ第１の反復変換符号化部２、第
２の反復変換符号化部３、第３の反復変換符号化部４、
第ｎの反復変換符号化部５に入力する。

【００３５】各反復変換符号化部では、後述の反復変換
符号化を施して、第１のオブジェクトの符号化語である
符号化ビットストリーム１０５、第２のオブジェクトの
符号化ビットストリーム１０６、第３のオブジェクトの
符号化ビットストリーム１０７、第ｎのオブジェクトの
符号化ビットストリーム１０８をそれぞれ出力する。

【００３６】これと同時に、上記オブジェクト構成部１
より出力されたキー情報１３７は、キー情報符号化部２
７において符号化されてキー情報の符号化ビットストリ
ーム１３８が得られる。その結果、上記各オブジェクト
の符号化ビットストリーム１０５、１０６、１０７、１
０８とキー情報の符号化ビットストリーム１３８とが、
多重化部６に入力し、同部において多重化され、多重化
された符号化ビットストリーム１０９が出力される。こ
の符号化ビットストリーム１０９は、たとえば光磁気デ
ィスクのような記録媒体４００に記録される。

【００３７】なお、キー情報としては、前述の様なクロ
マキー情報や特定オブジェクトの輪郭線情報等がある。

【００３８】次に、第２の実施の形態として、上記符号
化装置の反復符号化部の第１の例について説明する。こ
の反復変換符号化部は、上記第１の実施の形態の符号化
装置の一構成部位である。

【００３９】この反復変換符号化部は、図３に示すよう
に、画像メモリ部７からの画像から第１の多角形画像を
分割する第１の多角形生成部８、同じく第２の多角形画
像を分割する第２の多角形生成部９、入力画像を記憶・
保持する画像メモリ部７、上記画像メモリ部から上記第
２の多角形生成部への読み出しを制御する制御部１２を
有している。

【００４０】また、上記反復変換符号化部は、上記第１
の多角形画像生成部８からの第１の多角形画像と上記画
像変換・生成部からの画像との近似を計測して閾値を処
理する近似度計測・閾値処理部１１、上記第２の多角形
生成部からの第２の多角形画像に対して所定の変換を施
す画像変換・生成部１０、上記第１，第２の多角形生成
部からの多角形画像番号と上記画像変換・生成部１０か
らの変換パラメータを符号化して多重化する符号化・多
重化部１３を有している。

【００４１】続いて、上記反復変換符号化部の動作につ
いて説明する。この反復変換符号化部においては、第１
のオブジェクト１０１は画像メモリ部７に入力して、あ
る所定時間だけ記憶・保持される。その後、制御部１２
からの読み出し制御信号１１２に従って、第１の多角形
生成部８、第２の多角形生成部９に対し、読み出された
第１の画像データ１１０、第２の画像データ１１１を各
々出力する。

【００４２】ここで読み出された画像データを元に、第
１の多角形生成部８、第２の多角形生成部９では、例え
ば多角形を簡単のためにブロックとすれば、所定のブロ
ックサイズのブロック画像が生成され、第１の多角形画
像１１９、及び第２の多角形画像１１６が出力される。
ここで、これらの多角形画像１１９、１１６のブロック
サイズは同一である必要はなく、任意でよい。

【００４３】出力された第２の多角形画像１１６は、画
像変換・生成部１０において、所定の回転・並進・拡大
・縮小等の変換処理を施され、変換後の多角形画像１１
５が近似度計測・閾値処理部１１に出力される。この変
換処理については、後で詳述する。

【００４４】近似度計測・閾値処理部１１では、第１の
多角形画像１１９と上記変換後の多角形画像１１５との
間でマッチングを取り、両者の誤差値を算出する。さら
にその誤差値と所定の閾値との比較を行い、閾値よりも
大きい場合には制御部１２に対し、閾値処理判定信号１
１３を出力する。

【００４５】上記閾値処理判定信号１１３を受信した制
御部１２では、画像メモリ部７に対して画像読み出し制
御信号１１２を出力して、画像メモリ部７より次の読み
出された画像データ１１１を第２の多角形生成部９に出
力するように制御を行う。以後上記と同様の処理を行
い、変換後の多角形画像１１５が近似度計測・閾値処理
部１１において、第１の多角形画像１１９とマッチング
が取られ、近似度計算、及び上記閾値処理が施される。

【００４６】上記閾値処理で、上記両者の誤差値が閾値
よりも小さい場合には、第１の多角形画像の番号または
アドレス１１４が、符号化・多重化部１３に出力され
る。この時、同じく第２の多角形画像の番号またはアド
レス１１８と、変換パラメータ１１７とが、符号化・多
重化部１３に出力される。

【００４７】ここで、反復変換符号化の基礎理論につい
て図４を用いて述べる。なお、ここでは簡単のために、
多角形として矩形のブロックを例に取って説明する。

【００４８】図中においてレンジブロックＲ_kは第１の
多角形画像１１９に相当し、ドメインブロックＤ_kは第
２の多角形画像１１６に相当する。これら第１の多角形
画像１１９及び第２の多角形画像１１６については後述
する。

【００４９】ここではレンジブロックＲ_kのブロックサ
イズをｍ×ｎ、ドメインブロックＤ_kのブロックサイズ
をＭ×Ｎとしている。図中では、第１の多角形がＬ×Ｌ
個存在することを示している。このレンジブロックとド
メインブロックのブロックサイズは、符号化効率に大き
く影響する要素であり、このサイズ決定は重要である。

【００５０】また、画像変換・生成部１０での画像変換
は、このドメインブロックＤ_kからレンジブロックＲ_kへ
の変換であり、ブロックｋへのマッピング関数をｗ_k、
画面全体を写像変換するために要した第２の多角形画像
のブロック数をＰとすると、画像ｆは画像全体のマッピ
ング関数Ｗによって、Ｗ（ｆ）＝ｗ₁（ｆ）∪ ｗ₂（ｆ）∪・・・∪ｗ_p（ｆ）・・・（１）に写像される。従って、Ｗは下式によって表される。Ｗ = ∪^P _k=1Ｗ_k ・・・（２）ここで、上記マッピング関数ｗは、どのようなものを選
択しても収束すれば良く、収束を確実にするために一般
に縮小写像が用いられることが多い。さらに、処理の簡
単化からアフィン変換がよく用いられる。

【００５１】アフィン変換によってドメインブロックＤ
_kがレンジブロックＲ_kに写像されるケースを、実際の変
換関数をｖ_iとして、数式化すると下記のようになる。

【００５２】

【数１】

【００５３】この（３）式によって、２ブロック間の回
転・並進・縮小・拡大等の変換がすべて表現できること
になる。

【００５４】なお、上記はブロックの空間座標の変換で
あるが、画素値（輝度、色差情報等の濃淡値）に関して
も同様にアフィン変換を用いて写像変換することができ
る。この場合、例えば簡単化のために、ドメインブロ
ックＤ_k内の画素値ｄ_iがレンジブロックＲ_kの画素値ｒ_i
に写像される関係式を表すと、下式のようになる。Ｖ_i（ｄ_i）＝ｓ×ｄ_i＋ｏ≒ｒ_i ・・・（４）ここで、ｓをコントラスト、ｏをオフセット値と定義
することができる。この場合、レンジブロックＲ_k内の
画素値ｒ_iとの誤差の差分２乗和が最小になるような、
パラメータｓ及びｏを算出すれば良い。即ち Σ（ｓ×ｄ_i＋ｏ−ｒ_i）² → 最小値・・・（５）となるように設定する。

【００５５】後述の画像変換・生成部１０では、例えば
（３）式で示される回転・並進・縮小・拡大等の一連の
アフィン変換を行う回路を内蔵していて、第２の多角形
画像１１６に対して、画面内での位置変換を行う。図中
では、画面右下にあったドメインブロックＤ_kが画面左
上にあるレンジブロックＲ_kに、写像変換される様子を
示している。

【００５６】次にブロック内の画素の濃淡値の変換法と
しては、これも同様に、アフィン変換を用いることで実
現できる。即ち、読み出された第２の多角形画像１１６
に対して、（３）の変換係数（ａ_i，ｂ_i，ｃ_i，ｄ_i，ｅ
_i，ｆ_i）を何通りか変えて、変換処理を施すことで変換
後の多角形画像１１５を得ることができる。そして、そ
れらの変換後の多角形画像１１５と、第１の多角形画像
１１９との近似度を測定する。

【００５７】近似度の測定法としては、例えば両者の誤
差値の絶対値和を用いる手法がある。近似度閾値処理部
５での処理及び信号の流れについては、これをフローチ
ャート化したものが、図５である。

【００５８】即ち、最初のステップＳ１１においては、
第２の多角形画像１１６が読み込まれ、次のステップＳ
１２においては、画像変換生成部にて変換が行われ、変
換後の多角形画像１１５が得られる。そして、これに続
くステップＳ１３に進む。

【００５９】ステップＳ１３においては、第１の多角形
画像１１９と変換後の多角形画像１１５の誤差値ｅｒｒ
ｏｒが算出され、ステップＳ１４においては、上記誤差
値の値によって分岐する。即ち、上記誤差値が閾値ＴＨ
よりも小さい場合には“ＹＥＳ”としてステップＳ１５
に進み、そうでない場合には“ＮＯ”としてステップＳ
１４に進む。

【００６０】ステップＳ１４においては、全てのブロッ
クの処理が終了したか否かによって分岐する。即ち、全
てのブロックの処理が終了した場合には“ＹＥＳ”とし
てステップＳ１５に進み、そうでない場合には“ＮＯ”
として上記ステップＳ１１に戻り、次の第２の多角形画
像について処理が行われる。

【００６１】ステップＳ１５においては、符号化ビット
ストリームを多重化部６に出力して、この一連の工程を
終了する。

【００６２】なお、上記符号化装置では、オブジェクト
構成部１において入力画像１００からオブジェクトを構
成していたが、別手段によって既にオブジェクト化され
た画像を入力して、オブジェクト構成部１より各反復変
換符号化部に出力する構成例も考えられる。この場合に
は、現在の入力画像１００に加えて、別のオブジェクト
画像を符号化・復号化、さらに合成することが可能にな
る。

【００６３】次に、第３の実施の形態として、上記反復
変換符号化部の第２の例について説明をする。この反復
変換符号化部は、図６に示すように、上記図３に示した
第２の実施の形態の反復変換符号化部の画像メモリ部７
の全段にスイッチ２４及びダウンサンプリング部２５を
接続したものである。

【００６４】続いて、この反復変換符号化部の動作につ
いて説明する。まず、この反復変換符号化部において
は、スイッチ２４の切り替えにより、ダウンサンプリン
グ部２５によってダウンサンプリングされたオブジェク
ト画像１３４もしくは第１のオブジェクト１０１が、画
像メモリ部７に入力して、ある所定時間だけ記憶・保持
される。

【００６５】ダウンサンプリングされたオブジェクト画
像１３４が選択された場合には、そのダウンサンプリン
グ情報１３５が、多重化部１３に出力される。一方、上
記画像メモリ部７から後段の構成及び動作については、
上記第３の実施の形態で述べたものと同様で良い。

【００６６】この実施の形態は、反復変換符号化の特徴
である、拡大を伴う復号化で生ずる画質劣化が少ないと
いう利点を生かしたものであり、前段部でのダウンサン
プリング部２５での解像度変換を行い、低解像度のオブ
ジェクト画像を符号化することで、オリジナルの解像度
のオブジェクト画像を符号化する場合よりも少ない情報
量で符号化することができる利点がある。

【００６７】従って、オブジェクト画像の特徴に応じ
て、スイッチ２４を切り替えて、所定の解像度で反復変
換符号化を行うことが符号化効率という点で効果的であ
る。例えば、上記図の場合には、人物部分のオブジェク
ト５１をダウンサンプリングして反復変換符号化を施
し、背景部分のオブジェクト５２をそのまま反復変換符
号化することが有効である。

【００６８】この実施の形態の反復変換符号化部の基本
動作については、上記第２の実施の形態において既に説
明したので、図中に同一の符号を付して説明を省略す
る。

【００６９】この実施の形態は、反復変換符号化の特徴
である、拡大を伴う復号化で生ずる画質劣化が少ないと
いう利点を生かしたものであり、前段部でのダウンサン
プリング部２５での解像度変換を行い、低解像度のオブ
ジェクト画像を符号化することで、オリジナルの解像度
のオブジェクト画像を符号化する場合よりも少ない情報
量で符号化することができる利点がある。

【００７０】逆に、同じ符号化ビット量で符号化する場
合を比較すると、画像サイズが小さくなることにより、
符号化対象の第１の多角形の個数が減少するので、該第
１の多角形のサイズを小さく設定できる。

【００７１】従って、画像のエッジ部やテキスチャの細
かい部分には、より小さいサイズでのブロック符号化を
行うことで、符号化効率を向上させることができる。さ
らに、上述のようにコントラスト、ブライトネスの量子
化ステップ値を小さく設定できるので、画質が向上する
という効果がある。

【００７２】図７は、この実施の形態を具体的に示した
図であり、２つのオブジェクト（人物画像と背景画像）
を、まずキー情報を用いて原画像から切り出して、人物
画像に対しては水平・垂直方向に２分の１にダウンサン
プリングを行う。

【００７３】次に、該ダウンサンプリングされた人物画
像を符号化して得られた符号化ビットストリームを、拡
大を伴う復号化により、オリジナルなサイズの復号化画
像を得る。他方、背景画像の方は、入力画像のまま符号
化及び復号化を行い、得られた復号画像同士を、再びキ
ー画像を用いて再合成して、合成復号化画像を出力す
る。

【００７４】従って、オブジェクト画像の特徴に応じ
て、スイッチ２４を切り替えて、所定の解像度で反復変
換符号化を行うことが符号化効率という点で効果的であ
る。

【００７５】次に、第４の実施の形態として上記符号化
装置の第２の例を説明する。この符号化装置は、図８に
示すように、オブジェクト構成部１、スイッチ３１、反
復変換符号化部２９、キー情報符号化部２７、多重化部
６で構成される。

【００７６】続いて、この符号化装置の動作について説
明する。ディジタル化された入力画像データ１００は、
オブジェクト構成部１に入力して、上記実施の形態１と
同様の動作により、第１のオブジェクト１０１、第２の
オブジェクト１０２、第３のオブジェクト１０３、第ｎ
のオブジェクト１０４が出力される。また同時に、キー
情報１３７もオブジェクト構成部１より出力される。

【００７７】上記複数のオブジェクト１０１、１０２、
１０３、１０４はスイッチ３１の切り替え動作によっ
て、反復変換符号化部２９に入力して、同部において前
述の反復変換符号化が施される。

【００７８】本実施の形態では、実施の形態で示したオ
ブジェクトの個数と同じだけ反復変換符号化部を備える
必要はなく、反復変換符号化部２９の入力１３９をスイ
ッチ３１で切り替えるだけで良い。従って、ハードウェ
ア規模を縮小できるという効果がある。但し、各オブジ
ェクト毎の反復変換符号化を順次行なう必要があるた
め、遅延が発生するという欠点もある。

【００７９】上記動作によって得られたオブジェクトの
符号化ビットストリーム１４０と、キー情報の符号化ビ
ットストリーム１３８とは、多重化部６において多重化
され、多重化された符号化ビットストリーム１０９とし
て、本符号化装置の出力となる。この符号化ビットスト
リーム１０９は、記録媒体４００に記録される。以上
が、本実施の形態の符号化装置の一実施例である。

【００８０】次に、第５の実施の形態として、上記符号
化装置の第３の例を説明する。この符号化装置は、図９
に示すように、オブジェクト構成部１、スイッチ３１、
反復変換符号化部２９、変換符号化部３３、キー情報符
号化部２７、多重化部６で構成される。

【００８１】本実施の形態は、上記図８に示した第４の
実施の形態に新たに変換符号化部３３を接続し、反復変
換符号化部２９と共に変換符号化部３３を備えるハイブ
リッド型符号化装置である。

【００８２】続いて、この符号化装置の動作について説
明する。ディジタル化された入力画像データ１００は、
オブジェクト構成部１に入力して、第４の実施の形態と
同様の動作により、第１のオブジェクト１０１、第２の
オブジェクト１０２、第３のオブジェクト１０３、第ｎ
のオブジェクト１０４が出力される。また同時に、キー
情報１３７もオブジェクト構成部１より出力される。

【００８３】上記複数のオブジェクト１０１、１０２、
１０３、１０４はスイッチ３１の切り替え動作によっ
て、反復変換符号化部２９または変換符号化部３３に入
力して、各部において上述の反復変換符号化または変換
符号化が施される。

【００８４】本実施の形態では、入力オブジェクトに応
じて反復変換符号化部２９または変換符号化部３３を切
り替えることができる。従って、常にオブジェクトに最
適な方の符号化部を選択できる構成となっているハイブ
リッド型であるため、ハードウェア規模が大きくなる一
方、符号化効率の向上が期待できる利点がある。

【００８５】上記動作によって得られた反復変換符号化
の符号化ビットストリーム１４０、変換符号化の符号化
ビットストリーム１４４、キー情報の符号化ビットスト
リーム１３８とは、多重化部６において多重化され、多
重化された符号化ビットストリーム１０９として、本符
号化装置の出力となる。この符号化ビットストリーム１
０９は、記録媒体４００に記録される。

【００８６】上記の変換符号化部での動作としては、最
も一般的なものとして、ＪＰＥＧ（Joint Photographic
Expert Group）で用いられている離散コサイン変換（D
iscrete Cosine Transform；DCT）がある。画像信号に
ＤＣＴを掛け、得られたＤＣＴ係数を量子化し、この時
得られた量子化係数を可変長符号化することで、圧縮を
行う手法である。従って、本実施の形態でも、変換符号
化部３３をＤＣＴ部、量子化、可変長符号化部とから構
成すればよい。

【００８７】なお、ＤＣＴは低レート符号化ではブロッ
ク歪み、モスキート歪みが目立ち易いという欠点がある
が、比較的高レートが確保できる場合や、詳細なテキス
チャに対しては優れた方式である。本符号化装置では、
このＤＣＴの長短所を利用して、詳細なテキスチャを持
つオブジェクトは上記変換符号化部３３に入力し、逆に
平坦なテキスチャを持つオブジェクトや低レートで符号
化する必要のあるオブジェクトに対しては上記反復変換
符号化部２９に入力して、それぞれ符号化を行うこと
で、全体の符号化効率を向上させる。

【００８８】次に、第６の実施の形態として、上記符号
化方法に係る一例の工程について、図１０のフローチャ
ートを参照して説明する。

【００８９】最初のステップＳ１１においては入力画像
からオブジェクトを分離・構成するオブジェクト構成を
行い、次のステップＳ１２は上記ステップＳ１１からの
オブジェクト画像を反復変換符号化して符号化語とする
少なくとも１つの反復変換符号符号化の工程である。そ
して、ステップＳ１３に進む。

【００９０】ステップＳ１３においては上記ステップＳ
１１にて分離・構成したオブジェクトの識別情報である
キー情報を符号化し、ステップＳ１４においては、上記
Ｓ１２の反復変換符号化の工程と、上記ステップＳ１３
のキー情報の工程からのそれぞれの符号化語を多重化
し、この一連の工程を終了する。

【００９１】続いて、上記ステップＳ１２の反復変換符
号化の工程について、図１１のフローチャートを参照し
て説明する。

【００９２】最初のステップＳ２１は入力画像を記憶す
る画像メモリ工程であり、これに続くステップＳ２２及
びステップＳ２３においては上記ステップＳ２１にて記
憶した入力画像から第１及び第２の多角形画像をそれぞ
れ生成する。そして、ステップＳ２４に進む。

【００９３】ステップＳ２４においては、上記ステップ
Ｓ２３にて生成された第２の多角形画像に所定の変換処
理が施され、次のステップＳ２５においては上記ステッ
プＳ２２にて生成された第１の多角形画像と上記ステッ
プＳ２４にて変換・生成された多角形画像との近似度を
計測して閾値処理する近似度計測・閾値処理が行われ
る。そして、次のステップＳ２６に進む。

【００９４】ステップＳ２６においては、上記ステップ
Ｓ２１において記憶された入力画像から上記ステップＳ
２３の第２の多角形生成のために読み出しを制御し、ス
テップＳ２７は、上記ステップＳ２２及びＳ２３におい
て生成された第１及び第２の多角形画像の番号と上記ス
テップＳ２４からの変換パラメータを符号化、多重化す
る符号化・多重化が行われる。

【００９５】そして、このステップＳ２７にて、反復変
換符号化に係るこの一連の工程を終了する。

【００９６】次に、第７の実施の形態として、上記復号
化装置の第１の例について説明をする。

【００９７】この復号化装置は、図１２に示すように、
多重化分離部１４、第１の反復変換復号化部１５、第２
の反復変換復号化部１６、第３の反復変換復号化部１
７、第ｎの反復変換復号化部１８、キー情報復号化部２
８、オブジェクト合成部１９で構成される。

【００９８】続いて、上記復号化装置の動作について説
明する。この復号化装置において、多重化された符号化
ビットストリーム１０９は、たとえば光磁気ディスクの
ような記録媒体４００から読み出されて多重化分離部１
４に入力し、ここで各符号化ビットストリームに多重化
分離される。

【００９９】多重化分離された第１のオブジェクトの符
号化ビットストリーム１０５、第２のオブジェクトの符
号化ビットストリーム１０６、第３のオブジェクトの符
号化ビットストリーム１０７、第ｎのオブジェクトの符
号化ビットストリーム１０８はそれぞれ第１の反復変換
復号化部１５、第２の反復変換復号化部１６、第３の反
復変換復号化部１７、第ｎの反復変換復号化部１８にお
いて反復変換復号化され、第１の復号化オブジェクト１
２５、第２の復号化オブジェクト１２６、第３の復号化
オブジェクト１２７、第ｎの復号化オブジェクト１２８
が出力される。

【０１００】同じく多重化分離部１４で多重化分離され
たキー情報の符号化ビットストリーム１３８は、キー情
報復号化部２８で復号化されて、復号化されたキー情報
１３７が得られる。復号化されたキー情報１３７を元
に、オブジェクト合成部１９では、上記各復号化オブジ
ェクト１２５、１２６、１２７、１２８を合成して、最
終的にオブジェクト合成出力１２９を供する。

【０１０１】次に、第８の実施の形態として、上記復号
化装置の反復変換復号化部の第１の例について説明す
る。この反復変換復号化部は、上記図１２の第７の実施
の形態に示した復号化装置の一構成部位である。

【０１０２】この反復変換復号化部は、図１３に示すよ
うに、復号化・多重化分離部２０、変換元多角形再現部
２１、画像メモリ部２２、制御部２３で構成される。

【０１０３】続いて、この反復変換復号化部の動作につ
いて説明する。第１のオブジェクトの符号化ビットスト
リーム１０５は、復号化・多重化分離部２０において復
号化並びに多重化分離される。その結果、第１の多角形
画像の番号またはアドレス１１４、第２の多角形画像の
番号またはアドレス１１８、変換パラメータ１１７と
が、復号化・多重化分離部２０より出力される。

【０１０４】第２の多角形画像の番号またはアドレス１
１８を読み込んだ変換元多角形再現部２１では、再現さ
れた第２の多角形画像１１６を画像変換生成部１０に出
力する。続いて、画像変換生成部１０では、変換パラメ
ータ１１７を読み込んで、変換後の多角形画像１１５を
画像メモリ部２２に出力する。

【０１０５】ここでは、画像メモリ部２２内の第１の多
角形画像の番号またはアドレス１１４で指定された位置
に、変換後の多角形画像１１５を書き込むことになる。
画像メモリ部２２に書き込まれた変換後の多角形画像１
１５は、制御部２３に入力して、制御部２３の復号化ル
ープ制御により、第１の復号化オブジェクト１２５を出
力するまで、同図の復号化ループ内を巡回する。

【０１０６】次回の復号化ループ時には、画像メモリ部
２２より、変換元の多角形画像１３１は変換元多角形再
現部２１に読み出される。ここで読み出された変換元の
多角形画像１３１を元にして、新たな変換元の多角形画
像１１６が再現されることになる。なお、制御部２３か
ら上記復号化ループを継続する際には、画像変換の制御
信号１３３が、画像変換生成部１０に対して出力され
る。

【０１０７】次に、第９の実施の形態として、上記復号
化装置の反復変換復号化部の第２の例について説明す
る。この反復変換復号化部は、第７の実施の形態に示し
た復号化装置の一構成部位である。

【０１０８】この反復変換復号部は、上記図１２の第７
の実施の形態に示した復号化装置の多重化分離部の後段
に、２つの多角形拡大部を接続した構成を取る。

【０１０９】即ち、この反復変換符号化部は、図１４に
示すように、第１の多角形拡大部２６、第２の多角形拡
大部３５が新たに付加されたものである。上記以外の構
成部位は既に述べたもので良い。

【０１１０】続いて、この反復変換復号装置の動作につ
いて説明する。第１のオブジェクトの符号化ビットスト
リーム１０５は、復号化・多重化分離部２０において復
号化並びに多重化分離される。その結果、第１の多角形
画像の番号またはアドレス１１４、第２の多角形画像の
番号またはアドレス１１８、変換パラメータ１１７、ダ
ウンサンプル情報１３５とが、復号化・多重化分離部２
０より出力される。

【０１１１】第１の多角形拡大部２６では、第１の多角
形画像の番号またはアドレス１１４とダウンサンプル情
報１３５とを読み込んで、ダウンサンプル情報１３５で
指定された解像度に拡大した多角形情報を、第１の多角
形画像の拡大された番号またはアドレス１４２として出
力する。この際、上記指定された解像度が現画像と同一
であれば、倍率１の拡大とみなせるので、本実施の形態
の反復変換復号化部ではスイッチは不要である。

【０１１２】また、同様に第２の多角形拡大部３５で
は、第２の多角形画像の番号またはアドレス１１８とダ
ウンサンプル情報１３５とを読み込んで、ダウンサンプ
ル情報１３５で指定された解像度に拡大した多角形情報
を、第２の多角形画像の拡大された番号またはアドレス
１３６として出力する。

【０１１３】これより後段の構成は、上記第８の実施の
形態と同様であり、上記第２の多角形画像の拡大された
番号またはアドレス１３６は、変換元多角形再現部２１
に入力し、変換後の多角形画像１１５を、画像メモリ部
２２内部の、第１の多角形画像の拡大された番号または
アドレス１４２で指定された領域に書き込む。後段の復
号化ループ制御の動作も同一である。

【０１１４】次に、第１０の実施の形態として、上記復
号化装置の第２の例を説明する。この復号化装置は、図
１５に示すように、多重化分離部１４、反復変換復号化
部３０、キー情報復号化部２８、スイッチ３２、オブジ
ェクト合成部１９で構成される。

【０１１５】続いて、この復号化装置の動作について説
明する。この復号化装置においては、多重化された符号
化ビットストリーム１０９は、記録媒体４００から読み
出されて多重化分離部１４に入力し、ここで各符号化ビ
ットストリームに多重化分離される。

【０１１６】多重化分離されたオブジェクトの符号化ビ
ットストリーム１４０は、反復変換復号化部３０におい
て反復変換復号化されて、第１の復号化オブジェクト１
２５、第２の復号化オブジェクト１２６、第３の復号化
オブジェクト１２７、第ｎの復号化オブジェクト１２８
が、スイッチ３２で選択され、処理の順番にオブジェク
ト合成部１９所定のオブジェクト入力部に出力される。

【０１１７】同じく多重化分離部１４で多重化分離され
たキー情報の符号化ビットストリーム１３８は、キー情
報復号化部２８で復号化されて、復号化されたキー情報
１３７が得られる。復号化されたキー情報１３７を元
に、オブジェクト合成部１９では、上記各復号化オブジ
ェクト１２５、１２６、１２７、１２８を合成して、最
終的にオブジェクト合成出力１２９を供する。

【０１１８】次に、第１１の実施の形態として、上記復
号化装置の第３の例を説明する。この復号化装置は、図
１６に示すように、多重化分離部１４、反復変換復号化
部３０、変換復号化部３４、キー情報復号化部２８、ス
イッチ３２、オブジェクト合成部１９で構成される。こ
の復号化装置は、第１０の実施の形態で示した復号化装
置に、新たに変換復号化部３４を接続した構成である。

【０１１９】続いて、この復号化装置の動作について説
明する。多重化された符号化ビットストリーム１０９
は、記録媒体４００から読み出されて多重化分離部１４
に入力し、ここで各符号化ビットストリームに多重化分
離される。多重化分離された反復変換符号化の符号化ビ
ットストリーム１４０は、反復変換復号化部３０におい
て反復変換復号化され、反復変換復号化されたオブジェ
クト画像１４１をスイッチ３２に出力する。

【０１２０】他方、変換符号化の符号化ビットストリー
ム１４４は、変換復号化部３４において変換復号化され
て、変換復号化されたオブジェクト画像１４５を同じく
スイッチ３２に出力する。

【０１２１】反復変換復号化されたオブジェクト画像１
４１及び変換復号化されたオブジェクト画像１４５は、
スイッチ３２において、第１の復号化オブジェクト１２
５、第２の復号化オブジェクト１２６、第３の復号化オ
ブジェクト１２７、第ｎの復号化オブジェクト１２８の
入力のどれかに選択入力されて、復号化が完了した順に
オブジェクト合成部１９所定のオブジェクト入力部に出
力される。

【０１２２】同じく多重化分離部１４で多重化分離され
たキー情報の符号化ビットストリーム１３８は、キー情
報復号化部２８で復号化されて、復号化されたキー情報
１３７が得られる。復号化されたキー情報１３７を元
に、オブジェクト合成部１９では、上記各復号化オブジ
ェクト１２５、１２６、１２７、１２８を合成して、最
終的にオブジェクト合成出力１２９を供する。

【０１２３】上記の変換復号化部３４は、上述した変換
符号化部３３に対応した復号化部であり、最も簡単な構
成では、例えば可変長復号化部、逆量子化部、逆ＤＣＴ
部によって構成することができる。このように反復変換
復号化部３０と共に変換復号化部３４を備えるいわゆる
変換ハイブリッド型の復号化装置の利点については、既
に変換ハイブリッド型の符号化装置について述べた通り
である。

【０１２４】次に、第１２の実施の形態として、上記復
号化方法に係る一連の工程について図１７を参照して説
明する。

【０１２５】最初のステップＳ３１においては入力する
符号化語である多重化されたビットストリームを多重化
分離し、次のステップＳ３２においては上記ステップＳ
３１において多重化分離されたビットストリームを反復
変換復号化する。そして、ステップＳ３３に進む。

【０１２６】ステップＳ３３においては、上記ステップ
Ｓ３３において、多重化分離されたキー情報のビットス
トリームを復号化し、次のステップＳ３４においては、
上記ステップＳ３２にて復号化された反復変換復号化さ
れたオブジェクト画像と、上記ステップＳ３３にて復号
化されたキー情報をオブジェクト合成してオブジェクト
合成出力として出力する。そして、この一連の工程を終
了する。

【０１２７】続いて、上記復号化方法のステップＳ３２
の反復変換復号化工程を構成する一連の工程について、
図１８を参照して説明する。

【０１２８】最初のステップＳ４１においてはオブジェ
クトの符号化ビットストリームを復号化して多重化分離
し、次のステップＳ４２においては上記ステップＳ４１
からの多角形画像の番号又はアドレスを用いて変換元多
角形を再現する。そして、ステップＳ４３に進む。

【０１２９】ステップＳ４３においては上記ステップＳ
４２にて得られた多角形画像に画像変換を施し、これに
続くステップＳ４４においては上記ステップＳ４３にお
いて変換された多角形画像を記憶する。

【０１３０】次のステップＳ４５においては上記ステッ
プＳ４４において記憶した多角形画像を復号化オブジェ
クトとして出力すると共に、上記ステップＳ４２及びス
テップＳ４３の読み出しの制御を行う。そして、この反
復変換復号化に係る一連の工程を終了する。

【０１３１】次に、第１３の実施の形態として、上記記
録媒体について説明する。この記録媒体は、入力画像か
ら対象物画像を分離・構成する対象物構成工程と、上記
対象物構成工程からの対象物画像を反復変換符号化して
符号化語とする少なくとも１つの反復変換符号化工程
と、上記対象物構成工程からの対象物識別情報を符号化
して符号化語とする対象物識別情報符号化工程と、上記
反復変換符号化工程からの符号化語と上記対象物識別情
報符号化工程からの符号化語とを多重化する多重化手順
とを有する符号化方法により符号化された信号が記録さ
れたものである。

【０１３２】また、この記録媒体は、入力画像から対象
物画像を分離・構成する対象物構成手順と、上記対象物
構成手順からの対象物画像を反復変換符号化して符号化
語とする少なくとも１つの反復変換符号化手順と、上記
対象物構成手順からの対象物識別情報を符号化して符号
化語とする対象物識別情報符号化手順と、上記反復変換
符号化手順からの符号化語と上記対象物識別情報符号化
手順からの符号化語とを多重化する多重化手順とを有す
るプログラムが記録されてなるものである。

【０１３３】さらに、この記録媒体には、対象物画像及
び対象物識別情報がそれぞれ符号化されて多重化された
符号化語を多重化分離する多重化分離手順と、上記多重
化分離手順にて多重化分離された符号化語を反復変換復
号化して復号化画像とする少なくとも１つの反復変換復
号化手順と、上記多重化分離手順にて多重化分離された
対象物識別情報を復号化する対象物識別情報復号化手順
と、上記対象物識別情報復号手順からの識別情報に基づ
いて上記反復変換復号化手順からの復号化画像を合成し
て合成画像を生成する合成画像生成手順とを有するプロ
グラムが記録されてなるものである。

【０１３４】このような信号、また一連の手順からなる
プログラムは、いわゆるＣＤ−ＲＯＭやフロッピーディ
スクのような記録媒体に記録して提供することができ
る。また、上記プログラムは通信メディアの伝送路を介
して提供することができる。

【０１３５】すなわち、上述の実施の形態においては、
符号化装置から出力された符号化ビットストリームは記
録媒体に記録され、復号化装置には記録媒体から読み出
された符号化ビットストリームが入力する例を掲げた。
しかし、符号化装置から出力されて復号化装置に入力す
る符号化ビットストリームの経路はこれに限定されな
い。たとえば、符号化装置から出力される符号化ビット
ストリームは、たとえば通信回線等の伝送路を経由して
復号化装置に供給されることもある。

【０１３６】以上説明したような符号化装置及び方法、
復号化装置及び方法並びに記録媒体の具体的な応用例と
しては、ディジタルビデオディスク、画像伝送・受信装
置、画像のデータベース、インターネット上での画像の
ダウンロードを目的とした画像圧縮・伸長器、電子スチ
ルカメラ、ゲーム機、可変サイズ表示可能なディスプレ
イ機搭載の符号化・復号化装置、画像編集装置・オーサ
リング・ツール、または同方式を実現したソフトウェア
モジュールなどがある。

【０１３７】

【発明の効果】上記のように、この発明に係る符号化装
置は、オブジェクト構成部で構成された１つ以上のオブ
ジェクトに対して、各オブジェクト毎に異なる反復変換
符号化を行うことができるので全体の符号化効率を向上
させることができる。即ち、同一ビット発生量で高画質
を得ることができ、または同一画質でより低ビット発生
量に抑えることができる。

【０１３８】また、上記符号化装置においては、オブジ
ェクト構成部で構成された１つ以上のオブジェクトを順
番に、ダウンサンプリング部を備えた１つの反復変換符
号化部で反復変換符号化を行うことができるので、ハー
ドウェア規模が縮小できるという効果がある。

【０１３９】さらに、上記符号化装置においては、各オ
ブジェクトのテキスチャの性質や符号化ビット量等に応
じて、反復変換符号化部と変換符号化部のいずれか効率
的な方を選択することができるので、符号化装置全体の
符号化効率が向上するという効果がある。

【０１４０】上記のように、この発明に係る符号化方法
は、オブジェクト構成工程で構成された１つ以上のオブ
ジェクトに対して、各オブジェクト毎に異なる反復変換
符号化を行うことができるので全体の符号化効率を向上
させることができる。即ち、同一ビット発生量で高画質
を得ることができ、または同一画質でより低ビット発生
量に抑えることができる。

【０１４１】この発明に係る復号化装置は、多重化分離
部にて多重化分離された１つ以上のオブジェクトに対し
て、各オブジェクト毎に異なる反復変換復号化を行うこ
とができるので全体の符号化効率を向上させることがで
きる。即ち、同一ビット発生量で高画質を得ることがで
き、または同一画質でより低ビット発生量に抑えること
ができる。

【０１４２】また、上記復号化装置においては、多重化
分離部にて多重化分離された１つ以上のオブジェクトを
順番に、ダウンサンプリング部を備えた１つの反復変換
復号化部で反復変換復号化を行うことができるので、ハ
ードウェア規模が縮小できるという効果がある。

【０１４３】さらに、上記復号化装置においては、各オ
ブジェクトのテキスチャの性質や符号化ビット量等に応
じて、反復変換復号化部と変換復号化部のいずれか効率
的な方を選択することができるので、復号化装置全体の
復号化効率が向上するという効果がある。

【０１４４】この発明に係る復号化方法は、多重化分離
工程にて多重化分離された１つ以上のオブジェクトに対
して、各オブジェクト毎に異なる反復変換復号化を行う
ことができるので全体の符号化効率を向上させることが
できる。即ち、同一ビット発生量で高画質を得ることが
でき、または同一画質でより低ビット発生量に抑えるこ
とができる。

【０１４５】この発明に係る記録媒体は、上述のよう
な、符号化に係る一連の工程や復号化に係る一連の工程
を記録するので、これら記録された一連の工程を実行す
ることにより、オブジェクト構成工程で構成された１つ
以上のオブジェクトに対して、各オブジェクト毎に異な
る反復変換符号化を行うことができるので全体の符号化
効率を向上させることができる。即ち、同一ビット発生
量で高画質を得ることができ、または同一画質でより低
ビット発生量に抑えることができる。

【０１４６】また、上記記録媒体に記録された復号化に
係る一連の工程を実行することにより、多重化分離工程
にて多重化分離された１つ以上のオブジェクトに対し
て、各オブジェクト毎に異なる反復変換復号化を行うこ
とができるので全体の符号化効率を向上させることがで
きる。即ち、同一ビット発生量で高画質を得ることがで
き、または同一画質でより低ビット発生量に抑えること
ができる。

【図面の簡単な説明】

【図１】符号化装置の第１の例を示すブロック図であ
る。

【図２】オブジェクトの例を示す図である。

【図３】反復変換符号化部の第１の例を示すブロック図
である。

【図４】ブロック間の写像を示す図である。

【図５】近似度計測・閾値処理部周辺の処理のフローチ
ャートである。

【図６】反復変換符号化部の第２の例を示すブロック図
である。

【図７】人物画像及び背景画像のそれぞれの符号化／復
号化を説明する図である。

【図８】符号化装置の第２の例を示すブロック図であ
る。

【図９】符号化装置の第３の例を示すブロック図であ
る。

【図１０】符号化方法に係る一連の工程を示すフローチ
ャートである。

【図１１】上記符号化方法の反復変換符号化工程の手順
を示すフローチャートである。

【図１２】復号化装置の第１の例を示すブロック図であ
る。

【図１３】反復変換復号化部の第１の例を示すブロック
図である。

【図１４】反復変換復号化部の第２の例を示すブロック
図である。

【図１５】復号化装置の第２の例を示すブロック図であ
る。

【図１６】復号化装置の第３の例を示すブロック図であ
る。

【図１７】復号化方法に係る一連の工程を示すフローチ
ャートである。

【図１８】上記復号化方法の反復変換復号化工程の手順
を示すフローチャートである。

【図１９】従来の反復変換符号化装置の構成を示すブロ
ック図である。

【図２０】従来の反復変換復号化装置の構成を示すブロ
ック図である。

【符号の説明】

１オブジェクト構成部、２第１の反復変換符号化
部、３第２の反復変換符号化部、６多重化部、１００
ディジタル化された入力画像データ、１０９多重化
された符号化ビットストリーム

Claims

【特許請求の範囲】

【請求項１】入力画像から対象物画像を分離・構成す
る対象物構成手段と、上記対象物構成手段からの少なくとも１つの対象物画像
に反復変換符号化を施して符号化語とする反復変換符号
化手段と、上記対象物構成手段からの対象物識別情報を符号化して
符号化語とする対象物識別情報符号化手段と、上記反復変換符号化手段からの符号化語と上記対象物識
別情報符号化手段からの符号化語とを多重化する多重化
手段とを有することを特徴とする符号化装置。
【請求項２】上記各反復変換符号化手段は、入力画像
を記憶する画像メモリ手段と、上記画像メモリ手段から
の画像を分割して第１，第２の多角形画像をそれぞれ生
成する第１，第２の多角形生成手段と、上記第２の多角
形生成手段からの第２の多角形画像に所定の変換処理を
施す画像変換・生成手段と、上記第１の多角形生成手段
にて生成された第１の多角形画像と上記画像変換・生成
手段にて変換・生成された多角形画像との近似度を計測
して閾値処理する近似度計測・閾値処理手段と、上記画
像メモリ手段から第２の多角形生成手段への読み出しを
制御する制御手段と、上記第１，第２の多角形生成手段
からの多角形画像の番号と上記画像変換・生成手段から
の変換パラメータを符号化、多重化する符号化・多重化
手段とを有することを特徴とする請求項１記載の符号化
装置。
【請求項３】上記反復変換符号化手段は、入力画像を
ダウンサンプリングして解像度変換を行うダウンサンプ
リング手段と、上記ダウンサンプリング手段のオン／オ
フの切り替えを行うスイッチと、入力画像又は上記ダウ
ンサンプリング手段にてダウンサンプリングされた画像
を記憶する画像メモリ手段と、上記画像メモリ手段から
の画像を分割して第１，第２の多角形画像をそれぞれ生
成する第１，第２の多角形生成手段と、上記第２の多角
形生成手段からの第２の多角形画像に所定の変換処理を
施す画像変換・生成手段と、上記第１の多角形生成手段
からの第１の多角形画像と上記画像変換生成手段にて変
換・生成された多角形画像との近似度を計測して閾値処
理する近似度計測・閾値処理手段と、上記画像メモリ手
段から上記第２の多角形生成手段への読み出しを制御す
る制御手段と、上記第１，第２の多角形生成手段からの
多角形画像の番号と上記画像変換・生成手段からの変換
パラメータを符号化、多重化する符号化・多重化手段と
を有することを特徴とする請求項１記載の符号化装置。
【請求項４】上記反復変換符号化手段は複数個が並列
に備えられ、上記対象物構成手段から出力された各対象
物画像をそれぞれ切り替えて上記複数の反復変換符号化
手段の１つの入力とするスイッチを有することを特徴と
する請求項１記載の符号化装置。
【請求項５】上記対象物画像に変換符号化を施して符
号化語とする変換符号化手段と、上記対象物構成手段か
ら出力された対象物画像を切り替えて上記反復変換符号
化手段又は上記変換符号化手段の入力とするスイッチと
を有することを特徴とする請求項１記載の符号化装置。
【請求項６】入力画像から対象物画像を分離・構成す
る対象物構成工程と、上記対象物構成工程からの対象物画像を反復変換符号化
して符号化語とする少なくとも１つの反復変換符号化工
程と、上記対象物構成工程からの対象物識別情報を符号化して
符号化語とする対象物識別情報符号化工程と、上記反復変換符号化工程からの符号化語と上記対象物識
別情報符号化工程からの符号化語とを多重化する多重化
工程とを有することを特徴とする符号化方法。
【請求項７】上記各反復変換符号化工程は、入力画像
を記憶する画像メモリ工程と、上記画像メモリ工程から
の画像を分割して第１，第２の多角形画像をそれぞれ生
成する第１，第２の多角形生成工程と、上記第２の多角
形生成工程からの第２の多角形画像に所定の変換処理を
施す画像変換・生成工程と、上記第１の多角形生成工程
にて生成された第１の多角形画像と上記画像変換・生成
工程にて変換・生成された多角形画像との近似度を計測
して閾値処理する近似度計測・閾値処理工程と、上記画
像メモリ工程から第２の多角形生成工程への読み出しを
制御する制御工程と、上記第１，第２の多角形生成工程
からの多角形画像の番号と上記画像変換・生成工程から
の変換パラメータを符号化、多重化する符号化・多重化
工程とを有することを特徴とする請求項６記載の符号化
方法。
【請求項８】対象物画像及び対象物識別情報がそれぞ
れ符号化されて多重化された符号化語を復号する復号化
装置において、符号化語を多重化分離する多重化分離手段と、上記多重化分離手段にて多重化分離された符号化語を反
復変換復号化して復号化画像とする少なくとも１つの反
復変換復号化手段と、上記多重化分離手段にて多重化分離された対象物識別情
報を復号化する対象物識別情報復号化手段と、上記対象物識別情報復号手段からの識別情報に基づいて
上記反復変換復号化手段からの復号化画像を合成して合
成画像を生成する合成画像生成手段とを有することを特
徴とする復号化装置。
【請求項９】上記対象物画像及び対象物識別情報がそ
れぞれ符号化されて多重化された符号化語においては、
上記対象物画像は多角形画像として符号化がなされたも
のであり、上記反復変換復号化手段は、変換元多角形を
再現する変換元多角形再現手段と、復号化された変換符
号を元にして多角形画像の変換・生成を行う画像変換生
成手段と、復号化画像を記憶する画像メモリ手段と、復
号化ループ内で復号化ループを制御する制御手段を有す
ることを特徴とする請求項８記載の復号化装置。
【請求項１０】上記対象物画像及び対象物識別情報が
それぞれ符号化されて多重化された符号化語において
は、上記対象物画像は多角形画像として符号化がなされ
たものであり、上記反復変換復号化手段は、変換元多角
形と変換先多角形とを所定の拡大率に基づいて拡大する
多角形拡大手段と、該拡大された後の変換元多角形を再
現する変換元多角形再現手段と、復号化された変換符号
化語に基づいて多角形画像の変換・生成を行う画像変換
生成手段と、復号化画像を記憶する画像メモリ手段と、
復号化ループ内で復号化ループを制御する制御手段を有
することを特徴とする請求項８記載の復号化装置。
【請求項１１】上記反復変換復号化手段は複数個が並
列に備えられ、上記複数の反復変換復号化手段から出力
する復号化画像を切り替えて上記画像生成手段への入力
とするスイッチを有することを特徴とする請求項８記載
の復号化装置。
【請求項１２】上記多重化分離手段にて多重化分離さ
れた符号化語を変換復号化する変換復号化手段と、上記
反復変換復号化手段からの出力又は上記変換復号化手段
からの出力を切り替えて上記合成画像生成手段への入力
とするスイッチとを有することを特徴とする請求項８記
載の復号化装置。
【請求項１３】対象物画像及び対象物識別情報がそれ
ぞれ符号化されて多重化された符号化語を復号する復号
化方法において、符号化語を多重化分離する多重化分離工程と、上記多重化分離工程にて多重化分離された符号化語を反
復変換復号化して復号化画像とする少なくとも１つの反
復変換復号化工程と、上記多重化分離工程にて多重化分離された対象物識別情
報を復号化する対象物識別情報復号化工程と、上記対象物識別情報復号化工程からの識別情報に基づい
て上記反復変換復号化工程からの復号化画像を合成して
合成画像を生成する合成画像生成工程とを有することを
特徴とする復号化方法。
【請求項１４】入力画像から対象物画像を分離・構成
する対象物構成工程と、上記対象物構成工程からの対象物画像を反復変換符号化
して符号化語とする少なくとも１つの反復変換符号化工
程と、上記対象物構成工程からの対象物識別情報を符号化して
符号化語とする対象物識別情報符号化工程と、上記反復変換符号化工程からの符号化語と上記対象物識
別情報符号化工程からの符号化語とを多重化する多重化
工程とからなる符号化方法にて符号化された信号が記録
されてなる記録媒体。
【請求項１５】入力画像から対象物画像を分離・構成
する対象物構成手順と、上記対象物構成手順からの対象物画像を反復変換符号化
して符号化語とする少なくとも１つの反復変換符号化手
順と、上記対象物構成手順からの対象物識別情報を符号化して
符号化語とする対象物識別情報符号化手順と、上記反復変換符号化手順からの符号化語と上記対象物識
別情報符号化手順からの符号化語とを多重化する多重化
手順とを有するプログラムが記録されてなる記録媒体。
【請求項１６】対象物画像及び対象物識別情報がそれ
ぞれ符号化されて多重化された符号化語を多重化分離す
る多重化分離手順と、上記多重化分離手順にて多重化分離された符号化語を反
復変換復号化して復号化画像とする少なくとも１つの反
復変換復号化手順と、上記多重化分離手順にて多重化分離された対象物識別情
報を復号化する対象物識別情報復号化手順と、上記対象物識別情報復号手順からの識別情報に基づいて
上記反復変換復号化手順からの復号化画像を合成して合
成画像を生成する合成画像生成手順とを有するプログラ
ムが記録されてなる記録媒体。