JP3023961B2 - 符号化器及び復号化器 - Google Patents
符号化器及び復号化器Info
- Publication number
- JP3023961B2 JP3023961B2 JP25947689A JP25947689A JP3023961B2 JP 3023961 B2 JP3023961 B2 JP 3023961B2 JP 25947689 A JP25947689 A JP 25947689A JP 25947689 A JP25947689 A JP 25947689A JP 3023961 B2 JP3023961 B2 JP 3023961B2
- Authority
- JP
- Japan
- Prior art keywords
- patch
- image
- triangular
- unit
- dimensional model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000013598 vector Substances 0.000 claims description 30
- 238000013139 quantization Methods 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 description 14
- 230000002194 synthesizing effect Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 238000000034 method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/20—Contour coding, e.g. using detection of edges
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/94—Vector quantisation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/10—Transforming into visible information
- G10L2021/105—Synthesis of the lips movements from speech, e.g. for talking heads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、画像情報を高能率に伝送する符号化器及
び復号化器に関するものである。
び復号化器に関するものである。
第７図は例えば特開平１−162492号公報に示された従
来の画像伝送方式の概念図であり、図において、101は
被写体として、例えば人物の顔画像を扱った場合に口部
分の幾何学的形状を示す１組の口形パラメータによって
定義される口形モデル画像を記憶したメモリ、100は該
口形モデル画像のパラメータ値を全音素符号に対して記
憶したコードブック、102は送信側からの音声情報中の
音素符号により該コードブック100から対応する口形パ
ラメータを選択し、該口形パラメータに基づいて該メモ
リ101中の口形モデル画像を変形し、送信側からの口部
分以外の顔画像と合成して画像再生する合成部、10は入
力情報としての口以外の顔画像、11は同じく入力情報と
しての音声情報中の音素符号、12はコードブック100か
ら出力された口形パラメータ、13はメモリ101から出力
された口画像、14は最初の口画像、20は合成部102から
出力された再生顔画像である。
来の画像伝送方式の概念図であり、図において、101は
被写体として、例えば人物の顔画像を扱った場合に口部
分の幾何学的形状を示す１組の口形パラメータによって
定義される口形モデル画像を記憶したメモリ、100は該
口形モデル画像のパラメータ値を全音素符号に対して記
憶したコードブック、102は送信側からの音声情報中の
音素符号により該コードブック100から対応する口形パ
ラメータを選択し、該口形パラメータに基づいて該メモ
リ101中の口形モデル画像を変形し、送信側からの口部
分以外の顔画像と合成して画像再生する合成部、10は入
力情報としての口以外の顔画像、11は同じく入力情報と
しての音声情報中の音素符号、12はコードブック100か
ら出力された口形パラメータ、13はメモリ101から出力
された口画像、14は最初の口画像、20は合成部102から
出力された再生顔画像である。
また、第８図は伝送方式の実施例を示すブロック図で
あり、112は送信部で符号化情報を生成して送信するた
め画像処理部110および音声符号化部111を要素として備
えている。また、113は受信部で、初期化装置114、前記
コードブック100、口形モデル変形部116、音声認識部11
7および音声復号化部118を備えている。50は顔画像入
力、60は音声入力、51は画像処理部110から出力される
口以外の顔画像情報、61は音声符号化部111から出力さ
れる音声符号、52は顔画像出力、53は口形モデル画像、
54は最初の口画像、62は音声出力である。
あり、112は送信部で符号化情報を生成して送信するた
め画像処理部110および音声符号化部111を要素として備
えている。また、113は受信部で、初期化装置114、前記
コードブック100、口形モデル変形部116、音声認識部11
7および音声復号化部118を備えている。50は顔画像入
力、60は音声入力、51は画像処理部110から出力される
口以外の顔画像情報、61は音声符号化部111から出力さ
れる音声符号、52は顔画像出力、53は口形モデル画像、
54は最初の口画像、62は音声出力である。
次に第８図を参照して動作について説明する。まず、
画像処理部110に顔画像入力50を入力すると該画像処理
部110では口以外の顔画像情報51を抽出して受信部113に
入力する。他方、音声符号化部111では音声入力60を入
力信号として取込むと音声符号61を出力して受信部113
内の音声復号化部118で復号し、音声認識部117で音素符
号に変換する。一方、コードブック100からは音声認識
部117から出力された各音素符号に対する該口形モデル
画像のパラメータ値が出力され、該パラメータ値を取込
んだ口形モデル変形部116からは該パラメータ値に基づ
いて該口形モデル画像53が変形、出力される。さらに口
以外の顔画像情報51と該口形モデル画像53とを合成して
顔画像出力52を出力する。他方、音声復号化部118では
音声符号61を復号し、音声出力62を受信部113より出力
する。
画像処理部110に顔画像入力50を入力すると該画像処理
部110では口以外の顔画像情報51を抽出して受信部113に
入力する。他方、音声符号化部111では音声入力60を入
力信号として取込むと音声符号61を出力して受信部113
内の音声復号化部118で復号し、音声認識部117で音素符
号に変換する。一方、コードブック100からは音声認識
部117から出力された各音素符号に対する該口形モデル
画像のパラメータ値が出力され、該パラメータ値を取込
んだ口形モデル変形部116からは該パラメータ値に基づ
いて該口形モデル画像53が変形、出力される。さらに口
以外の顔画像情報51と該口形モデル画像53とを合成して
顔画像出力52を出力する。他方、音声復号化部118では
音声符号61を復号し、音声出力62を受信部113より出力
する。
従来の画像信号の符号化・復号化器における画像伝送
方式は以上のように構成されているので、顔画像の中で
口以外の部分については未符号化のままで伝送している
ため低ビット・レートでの画像伝送は困難であるという
課題があった。
方式は以上のように構成されているので、顔画像の中で
口以外の部分については未符号化のままで伝送している
ため低ビット・レートでの画像伝送は困難であるという
課題があった。
また、口形モデル画像出力はすべて音声符号化、復号
化部および音声認識部に依存しているため、誤りが発生
すると本来の口以外の顔画像情報と口形モデル画像とが
一致せず、違和感のある画像を提供するという課題があ
った。
化部および音声認識部に依存しているため、誤りが発生
すると本来の口以外の顔画像情報と口形モデル画像とが
一致せず、違和感のある画像を提供するという課題があ
った。
この発明は上記のような課題を解消するためになされ
たもので、被写体画像に対し３次元形状モデルを整合
後、モデルの構成要素であるパッチ内の有限個の特徴点
の画素値によってベクトル量子化を行い、対象画像中に
動きの大きなものが出現した場合、もしくは照明条件の
変化等により対象画像の濃淡情報が変化した場合におい
ても大きな影響を受けることなく、低レートの画像伝送
を実現することができる符号化器及び符号化器を得るこ
とを目的とする。
たもので、被写体画像に対し３次元形状モデルを整合
後、モデルの構成要素であるパッチ内の有限個の特徴点
の画素値によってベクトル量子化を行い、対象画像中に
動きの大きなものが出現した場合、もしくは照明条件の
変化等により対象画像の濃淡情報が変化した場合におい
ても大きな影響を受けることなく、低レートの画像伝送
を実現することができる符号化器及び符号化器を得るこ
とを目的とする。
この発明に係る符号化器は、３角形パッチで構成され
る３次元モデルを記憶する第１の記憶手段と、この第１
の記憶手段により記憶された３次元モデルを、入力した
被写体画像に対して整合させ、この整合された３次元モ
デルを構成する各３角形パッチの座標と、前記整合され
た３次元モデルを構成する各３角形パッチに対応づけら
れた前記被写体画像とを出力する整合手段と、この整合
手段より出力された前記被写体画像の各３角形パッチに
対応する各部分に対し、その３角形パッチを構成する一
つまたは複数の３角形の頂点を特徴点として設定すると
ともにその特徴点の画素値より多次元ベクトルを生成
し、その多次元ベクトルを量子化して出力するパッチ量
子化手段とを備えたものである。
る３次元モデルを記憶する第１の記憶手段と、この第１
の記憶手段により記憶された３次元モデルを、入力した
被写体画像に対して整合させ、この整合された３次元モ
デルを構成する各３角形パッチの座標と、前記整合され
た３次元モデルを構成する各３角形パッチに対応づけら
れた前記被写体画像とを出力する整合手段と、この整合
手段より出力された前記被写体画像の各３角形パッチに
対応する各部分に対し、その３角形パッチを構成する一
つまたは複数の３角形の頂点を特徴点として設定すると
ともにその特徴点の画素値より多次元ベクトルを生成
し、その多次元ベクトルを量子化して出力するパッチ量
子化手段とを備えたものである。
またこの発明に係る復号化器は、３角形パッチで構成
される３次元モデルを記憶する第１の記憶手段と、量子
化された多次元ベクトルを逆量子化して多次元ベクトル
を求め、この多次元ベクトルから３角形の頂点における
画素値を求め、求められた画素値に基づき３角形内部の
補間を行い、この補間された３角形で３角形パッチを構
成して得られるパッチ整合画像を出力するパッチ逆量子
化手段と、各３角形パッチの座標を入力し、この各３角
形パッチの座標と、前記第１の記憶手段に記憶された３
次元モデルと、前記パッチ逆量子化手段から出力される
前記パッチ整合画像と、から被写体画像を合成する被写
体画像合成手段とを備えたものである。
される３次元モデルを記憶する第１の記憶手段と、量子
化された多次元ベクトルを逆量子化して多次元ベクトル
を求め、この多次元ベクトルから３角形の頂点における
画素値を求め、求められた画素値に基づき３角形内部の
補間を行い、この補間された３角形で３角形パッチを構
成して得られるパッチ整合画像を出力するパッチ逆量子
化手段と、各３角形パッチの座標を入力し、この各３角
形パッチの座標と、前記第１の記憶手段に記憶された３
次元モデルと、前記パッチ逆量子化手段から出力される
前記パッチ整合画像と、から被写体画像を合成する被写
体画像合成手段とを備えたものである。
この発明における被写体画像は、３次元形状モデルを
整合させた後、該３次元形状モデルの構成要素であるパ
ッチ内部に有限個の特徴点を取り、該特徴点の画素値に
より多次元ベクトルを生成する。この多次元ベクトルを
量子化して送るため、対象物の動きに伴い濃淡情報が大
きく変化した場合においても同様にパッチ量子化部を経
てパッチ単位に量子化された情報を送信すればよく、常
に低レートでの画像伝送を可能にする。
整合させた後、該３次元形状モデルの構成要素であるパ
ッチ内部に有限個の特徴点を取り、該特徴点の画素値に
より多次元ベクトルを生成する。この多次元ベクトルを
量子化して送るため、対象物の動きに伴い濃淡情報が大
きく変化した場合においても同様にパッチ量子化部を経
てパッチ単位に量子化された情報を送信すればよく、常
に低レートでの画像伝送を可能にする。
以下、この発明の一実施例を図について説明する。図
中、第８図と同一の部分は同一の符号をもって図示した
第１図において、120は顔（被写体）画像抽出部（画像
抽出手段）、121は３次元形状モデル整合部（整合手
段）、122は３次元形状モデル・データベース（第１の
記憶手段）、123は背景画メモリ（背景画記憶手段）、1
24は背景画符号化部、125は第１のセレクタ、126aはパ
ッチ量子化部（パッチ量子化手段）、127はコードブッ
ク（第２の記憶手段）、128aは第１の多重化部であり、
これらを接続して符号化器としたものである。他方、第
２図において、128bは第２の多重化部、129は背景画復
号化部（背景画復号化手段）、130は顔（被写体）画像
合成部（被写体画像合成手段）、131は画像合成部（画
像合成手段）、132bは第２のセレクタ（選択手段）、12
6bはパッチ逆量子化部（パッチ逆量子化手段）で、これ
らを接続して復号化器を構成している。
中、第８図と同一の部分は同一の符号をもって図示した
第１図において、120は顔（被写体）画像抽出部（画像
抽出手段）、121は３次元形状モデル整合部（整合手
段）、122は３次元形状モデル・データベース（第１の
記憶手段）、123は背景画メモリ（背景画記憶手段）、1
24は背景画符号化部、125は第１のセレクタ、126aはパ
ッチ量子化部（パッチ量子化手段）、127はコードブッ
ク（第２の記憶手段）、128aは第１の多重化部であり、
これらを接続して符号化器としたものである。他方、第
２図において、128bは第２の多重化部、129は背景画復
号化部（背景画復号化手段）、130は顔（被写体）画像
合成部（被写体画像合成手段）、131は画像合成部（画
像合成手段）、132bは第２のセレクタ（選択手段）、12
6bはパッチ逆量子化部（パッチ逆量子化手段）で、これ
らを接続して復号化器を構成している。
次に上記の実施例の動作について説明する。まず第１
図において、入力画像信号50が例えば第３図のような人
物の顔画像であった場合、顔（被写体）画像抽出部120
では背景画情報80（第３図の200に相当）と、顔（被写
体）画像70（第３図の201に相当）とに分離する。次に
予め３次元形状モデル・データベース122に登録された
３次元形状モデル情報（第４図参照）を前記顔画像70に
整合する操作を３次元形状モデル整合部121において行
う。この整合操作により整合後の顔（被写体）画像72は
パッチ量子化部126aでパッチ単位に（第４図210が１個
のパッチを表す）ベクトル量子化され、最小歪みdsを与
えるベクトルのインデックス番号73が出力される。いま
パッチを有限個（4n個の合同３角形;n＝0,1,2,…）に分
割し、該３角形群の頂点（頂点数は3/2×（3n＋１）
個）上の画素値を多次元ベクトルとして表す。すなわ
ち、輝度値をＹ、色差値をCb,Crとして表せば、パッチ
の内部に取った3/2×（3n＋１）個の特徴点の画素値情
報ベクトルは以下の式で表される。
図において、入力画像信号50が例えば第３図のような人
物の顔画像であった場合、顔（被写体）画像抽出部120
では背景画情報80（第３図の200に相当）と、顔（被写
体）画像70（第３図の201に相当）とに分離する。次に
予め３次元形状モデル・データベース122に登録された
３次元形状モデル情報（第４図参照）を前記顔画像70に
整合する操作を３次元形状モデル整合部121において行
う。この整合操作により整合後の顔（被写体）画像72は
パッチ量子化部126aでパッチ単位に（第４図210が１個
のパッチを表す）ベクトル量子化され、最小歪みdsを与
えるベクトルのインデックス番号73が出力される。いま
パッチを有限個（4n個の合同３角形;n＝0,1,2,…）に分
割し、該３角形群の頂点（頂点数は3/2×（3n＋１）
個）上の画素値を多次元ベクトルとして表す。すなわ
ち、輝度値をＹ、色差値をCb,Crとして表せば、パッチ
の内部に取った3/2×（3n＋１）個の特徴点の画素値情
報ベクトルは以下の式で表される。
Yn＝（y1,y2,……,ym） …… Cbn＝（cb1,cb2,……,cbm） …… Crn＝（cr1,cr2,……,crm） …… 但し、特徴点の数ｍ＝3/2×（3n＋１）とした。
第５図は、ｎ＝0,1,2の場合のパッチとその内部に取
った特徴点を図示したものである。
った特徴点を図示したものである。
次にパッチ内の特徴点上の画素値の平均をμy,μcb,
μcrとし、Ｙ値の分散をσで表すと、輝度値Ｙの平均値
分離正規化出力yjaは、 yja＝（yj−μｙ）／σ …… 他方、色差値cb,crの平均値分離出力cbja,crjaは、 cbja＝（cbj−μcb） …… crja＝（crj−μcr） …… として表される。（但し、ｊ＝1,2,…,m） 従って、これらｍ次元ベクトルが３個生成され、コー
ドブック中のベクトルと２重歪み計算を行う。すなわ
ち、 さらに、 di＝1/m×［Σ｛（yj）ｉ−（yja）ｉ｝２＋Σ｛（cbj）ｉ−（cbja）ｉ｝２ ＋Σ｛（cbj）ｉ−（cbja）ｉ｝２ …… ｛d|ds＜di（for all i≠ｓ）｝ なる最小歪みdsを与えるベクトルのインデックス番号73
をベクトル量子化出力とする。また、パッチ内の特徴点
上の画素値の平均μy,μcb,μcrおよびσは各パッチ単
位に、平均値、分散値情報77として第１の多重化部128a
の入力となる。他方、前記３次元形状モデル整合部121
によって整合された３次元形状モデル情報71は第４図の
各パッチの頂点座標の形で表され、第１の多重化部128a
の入力となる。最後に、分離された背景画情報80は一度
背景画メモリ123に記録され、背景画符号化部124でスカ
ラ量子化等の符号化を施工され、背景画符号情報82とな
り、第１のセレクタ125aの入力となる。第１のセレクタ
125aでは、ON,OFFを切替えて、入力した背景画符号情報
82を伝送する場合はヘッダ・ビット“1"を背景画符号情
報82に付加して出力信号83とするが、受信側の背景画メ
モリ123中の任意の背景画を用いる場合はヘッダ・ビッ
トとして“0"、続いて背景画の指定番号を表すビットを
付加して、これらのビット列を出力信号83とする。以上
が符号化器の動作となる。
μcrとし、Ｙ値の分散をσで表すと、輝度値Ｙの平均値
分離正規化出力yjaは、 yja＝（yj−μｙ）／σ …… 他方、色差値cb,crの平均値分離出力cbja,crjaは、 cbja＝（cbj−μcb） …… crja＝（crj−μcr） …… として表される。（但し、ｊ＝1,2,…,m） 従って、これらｍ次元ベクトルが３個生成され、コー
ドブック中のベクトルと２重歪み計算を行う。すなわ
ち、 さらに、 di＝1/m×［Σ｛（yj）ｉ−（yja）ｉ｝２＋Σ｛（cbj）ｉ−（cbja）ｉ｝２ ＋Σ｛（cbj）ｉ−（cbja）ｉ｝２ …… ｛d|ds＜di（for all i≠ｓ）｝ なる最小歪みdsを与えるベクトルのインデックス番号73
をベクトル量子化出力とする。また、パッチ内の特徴点
上の画素値の平均μy,μcb,μcrおよびσは各パッチ単
位に、平均値、分散値情報77として第１の多重化部128a
の入力となる。他方、前記３次元形状モデル整合部121
によって整合された３次元形状モデル情報71は第４図の
各パッチの頂点座標の形で表され、第１の多重化部128a
の入力となる。最後に、分離された背景画情報80は一度
背景画メモリ123に記録され、背景画符号化部124でスカ
ラ量子化等の符号化を施工され、背景画符号情報82とな
り、第１のセレクタ125aの入力となる。第１のセレクタ
125aでは、ON,OFFを切替えて、入力した背景画符号情報
82を伝送する場合はヘッダ・ビット“1"を背景画符号情
報82に付加して出力信号83とするが、受信側の背景画メ
モリ123中の任意の背景画を用いる場合はヘッダ・ビッ
トとして“0"、続いて背景画の指定番号を表すビットを
付加して、これらのビット列を出力信号83とする。以上
が符号化器の動作となる。
一方、多重化信号74を受信した復号化器側は第２図で
示すように、まず第２の多重化部128bで各信号に分離す
る。さらにパッチ逆量子化部126bでは、インデックス情
報73に書き込まれたアドレス番号を読み取り、ｍ次元ベ
クトルY,Cb,Crをモードブック127から抽出する。そして
平均値、分散値情報77を用いて同パッチ内部の画素値の
補間を行う。画素値の補間には勾配法を用い、各合同３
角形のｚ座標を画素値に設定し、３次元空間における任
意点に対応するｚ値を算出することにより補間を行う。
示すように、まず第２の多重化部128bで各信号に分離す
る。さらにパッチ逆量子化部126bでは、インデックス情
報73に書き込まれたアドレス番号を読み取り、ｍ次元ベ
クトルY,Cb,Crをモードブック127から抽出する。そして
平均値、分散値情報77を用いて同パッチ内部の画素値の
補間を行う。画素値の補間には勾配法を用い、各合同３
角形のｚ座標を画素値に設定し、３次元空間における任
意点に対応するｚ値を算出することにより補間を行う。
第６図は補間法の概要の説明図であり、あるパッチを
16分割した後の同図（ａ）におけるパッチ220の拡大図
が同図（ｂ）の３角形である。該３角形は画素値をｚ値
に設定した３次元空間に存在する平面の一部であり、点
300,310,320上のそれぞれの画素値をz0,z1,z2、x,y座標
を（x0,y0），（x1,y1），（x2,y2）とすれば、 ax0＋by0＋cz0＋ｄ＝０ …… ax1＋by1＋cz1＋ｄ＝０ …… ax2＋by2＋cz2＋ｄ＝０ …… の３式を連立して解くことにより、a,b,c,dの値が求ま
る。すなわち、３点300,310,320を通過する平面の方程
式が決定することになる。さらに、 ｚ＝−（ｄ＋ax＋by）/c …… によりｚ値を算出すれば、点Ｐ（x,y）上の画素値が求
まることになる。
16分割した後の同図（ａ）におけるパッチ220の拡大図
が同図（ｂ）の３角形である。該３角形は画素値をｚ値
に設定した３次元空間に存在する平面の一部であり、点
300,310,320上のそれぞれの画素値をz0,z1,z2、x,y座標
を（x0,y0），（x1,y1），（x2,y2）とすれば、 ax0＋by0＋cz0＋ｄ＝０ …… ax1＋by1＋cz1＋ｄ＝０ …… ax2＋by2＋cz2＋ｄ＝０ …… の３式を連立して解くことにより、a,b,c,dの値が求ま
る。すなわち、３点300,310,320を通過する平面の方程
式が決定することになる。さらに、 ｚ＝−（ｄ＋ax＋by）/c …… によりｚ値を算出すれば、点Ｐ（x,y）上の画素値が求
まることになる。
以上の処理をすべてのパッチ内の画素に対して行い、
パッチ整合顔画像75が出力され、３次元形状モデル情報
71から実際の画面上の座標値を入力することにより、顔
画像合成部130において１フレーム分の顔（被写体）画
像情報76が出力される。また該顔画像情報76は、第２の
セレクタ132bによって選択された送信側からの出力であ
る背景画符号情報82の符号化画像もしくは背景画メモリ
123中の背景画情報の出力（両者をまとめて背景画出力
情報85とする）のどちらかと画像合成部131において合
成され、最終的な出力画86を得る。
パッチ整合顔画像75が出力され、３次元形状モデル情報
71から実際の画面上の座標値を入力することにより、顔
画像合成部130において１フレーム分の顔（被写体）画
像情報76が出力される。また該顔画像情報76は、第２の
セレクタ132bによって選択された送信側からの出力であ
る背景画符号情報82の符号化画像もしくは背景画メモリ
123中の背景画情報の出力（両者をまとめて背景画出力
情報85とする）のどちらかと画像合成部131において合
成され、最終的な出力画86を得る。
また、上記の実施例では、パッチ量子化部126aにおい
て入力ベクトルとコードブック中のベクトルとの２乗歪
み計算を行い、最小歪みを与えるベクトルのインデック
スを量子化出力としたが、該最小歪みを閾値処理し、あ
る閾値よりも最小歪みが大きい場合は前記インデックス
を出力とせず、ベクトル情報をスカラ量子化して受信側
に伝送することも可能であり、上記実施例と同様の効果
を奏する。さらに、上記の実施例では、被写体として例
えば人物の顔画像について述べたが、その他の被写体に
ついて適応することも可能であり、上記実施例と同様の
効果を奏する。
て入力ベクトルとコードブック中のベクトルとの２乗歪
み計算を行い、最小歪みを与えるベクトルのインデック
スを量子化出力としたが、該最小歪みを閾値処理し、あ
る閾値よりも最小歪みが大きい場合は前記インデックス
を出力とせず、ベクトル情報をスカラ量子化して受信側
に伝送することも可能であり、上記実施例と同様の効果
を奏する。さらに、上記の実施例では、被写体として例
えば人物の顔画像について述べたが、その他の被写体に
ついて適応することも可能であり、上記実施例と同様の
効果を奏する。
以上のように、この発明によれば、３次元モデルを入
力した被写体画像に対して整合させ、この整合された３
次元モデルを構成する各３角形パッチの座標と、前記整
合された３次元モデルを構成する各３角形パッチに対応
づけられた前記被写体画像とを出力する整合手段と、こ
の整合手段より出カされた前記被写体画像の各３角形パ
ッチに対応する各部分に対し、その３角形パッチを構成
する一つまたは複数の３角形の頂点を特徴点として設定
するとともにその特徴点の画素値より多次元ベクトルを
生成し、その多次元ベクトルを量子化して出力するバッ
チ量子化手段とを符号器に備え、また復号器に、多次元
ベクトルから３角形の頂点における画素値を求め、その
３角形内部の補間を行って３角形パッチを構成し、得ら
れたパッチ整合画像を出力するパッチ逆量子化手段と、
各３角形パッチの座標と、３次元モデルと、前記パッチ
整合画像とから被写体画像を合成する被写体画像合成手
段を備えたので、対象物の大きな動きや照明条件の変化
に対しても、違和感なく、かつビットレートを抑えた画
像伝送が可能となる効果がある。
力した被写体画像に対して整合させ、この整合された３
次元モデルを構成する各３角形パッチの座標と、前記整
合された３次元モデルを構成する各３角形パッチに対応
づけられた前記被写体画像とを出力する整合手段と、こ
の整合手段より出カされた前記被写体画像の各３角形パ
ッチに対応する各部分に対し、その３角形パッチを構成
する一つまたは複数の３角形の頂点を特徴点として設定
するとともにその特徴点の画素値より多次元ベクトルを
生成し、その多次元ベクトルを量子化して出力するバッ
チ量子化手段とを符号器に備え、また復号器に、多次元
ベクトルから３角形の頂点における画素値を求め、その
３角形内部の補間を行って３角形パッチを構成し、得ら
れたパッチ整合画像を出力するパッチ逆量子化手段と、
各３角形パッチの座標と、３次元モデルと、前記パッチ
整合画像とから被写体画像を合成する被写体画像合成手
段を備えたので、対象物の大きな動きや照明条件の変化
に対しても、違和感なく、かつビットレートを抑えた画
像伝送が可能となる効果がある。
また３角形パッチの特徴点として３角形パッチ内の３
角形の頂点をとるため、その３角形の数に対応して特徴
点を加減できることから、画像の解像度や伝送ビットレ
ートに合わせて３角形の数を変えることで容易に特徴点
の数を調整することができる。
角形の頂点をとるため、その３角形の数に対応して特徴
点を加減できることから、画像の解像度や伝送ビットレ
ートに合わせて３角形の数を変えることで容易に特徴点
の数を調整することができる。
また３角形パッチの特徴点として３角形パッチ内の３
角形の頂点をとっているので、３角形パッチ内部に分散
して特徴点が設定されるので、画素値のかたよりが少な
い。
角形の頂点をとっているので、３角形パッチ内部に分散
して特徴点が設定されるので、画素値のかたよりが少な
い。
第１図はこの発明の一実施例による画像符号化器の構成
を示すブロック図、第２図はこの発明の一実施例による
復号化器の構成を示すブロック図、第３図は入力画像中
より抽出された背景画および顔画像の説明図、第４図は
３次元形状モデルの説明図、第５図はｎ＝0,1,2の場合
のパッチ内特徴点についての説明図、第６図は３頂点上
の画像値から３角形内の他の点上の画素値を算出する勾
配法の原理図、第７図は従来の画像伝送方式を概念的に
示したブロック図、第８図は従来の画像伝送方式の一実
施例によるブロック図である。 図において、120は顔（被写体）画像抽出部（画像抽出
手段）、121は３次元形状モデル整合部（整合手段）、1
22は３次元形状モデル・データベース（第１の記憶手
段）、123は背景画メモリ（背景画記憶手段）、124は背
景画符号化部、125aは第１のセレクタ、126aはパッチ量
子化部（パッチ量子化手段）、126bはパッチ逆量子化部
（パッチ逆量子化手段）、127はコードブック（第２の
記憶手段）、128a,128bは第1,第２の多重化部、129は背
景画復号化部（背景画復号化手段）、130は顔（被写
体）画像合成部（被写体画像合成手段）、131は画像合
成部（画像合成手段）、132bは第２のセレクタ（選択手
段）である。 なお、図中、同一符号は同一、又は相当部分を示す。
を示すブロック図、第２図はこの発明の一実施例による
復号化器の構成を示すブロック図、第３図は入力画像中
より抽出された背景画および顔画像の説明図、第４図は
３次元形状モデルの説明図、第５図はｎ＝0,1,2の場合
のパッチ内特徴点についての説明図、第６図は３頂点上
の画像値から３角形内の他の点上の画素値を算出する勾
配法の原理図、第７図は従来の画像伝送方式を概念的に
示したブロック図、第８図は従来の画像伝送方式の一実
施例によるブロック図である。 図において、120は顔（被写体）画像抽出部（画像抽出
手段）、121は３次元形状モデル整合部（整合手段）、1
22は３次元形状モデル・データベース（第１の記憶手
段）、123は背景画メモリ（背景画記憶手段）、124は背
景画符号化部、125aは第１のセレクタ、126aはパッチ量
子化部（パッチ量子化手段）、126bはパッチ逆量子化部
（パッチ逆量子化手段）、127はコードブック（第２の
記憶手段）、128a,128bは第1,第２の多重化部、129は背
景画復号化部（背景画復号化手段）、130は顔（被写
体）画像合成部（被写体画像合成手段）、131は画像合
成部（画像合成手段）、132bは第２のセレクタ（選択手
段）である。 なお、図中、同一符号は同一、又は相当部分を示す。
フロントページの続き (56)参考文献 特開 平１−198884（ＪＰ，Ａ) 電子情報通信学会論文誌 Ｊ72−Ｂ１ ［３］（1989−３−25）ｐ200−207 電子情報通信学会論文誌 Ｊ71−Ｂ１ ［12］（1988−12−25）ｐ1554−1563
Claims (2)
- 【請求項１】３角形パッチで構成される３次元モデルを
記憶する第１の記憶手段と、 この第１の記憶手段により記憶された３次元モデルを、
入力した被写体画像に対して整合させ、この整合された
３次元モデルを構成する各３角形パッチの座標と、前記
整合された３次元モデルを構成する各３角形パッチに対
応づけられた前記被写体画像とを出力する整合手段と、 この整合手段より出力された前記被写体画像の各３角形
パッチに対応する各部分に対し、その３角形パッチを構
成する一つまたは複数の３角形の頂点を特徴点として設
定するとともにその特徴点の画素値より多次元ベクトル
を生成し、その多次元ベクトルを量子化して出力するパ
ッチ量子化手段とを備えた符号化器。 - 【請求項２】３角形パッチで構成される３次元モデルを
記憶する第１の記憶手段と、 量子化された多次元ベクトルを逆量子化して多次元ベク
トルを求め、この多次元ベクトルから３角形の頂点にお
ける画素値を求め、求められた画素値に基づき３角形内
部の補間を行ない、この補間された３角形で３角形パッ
チを構成して得られるパッチ整合画像を出力するパッチ
逆量子化手段と、 各３角形パッチの座標を入力し、この各３角形パッチの
座標と、前記第１の記憶手段に記憶された３次元モデル
と、前記パッチ逆量子化手段から出力される前記パッチ
整合画像とから被写体画像を合成する被写体画像合成手
段とを備えた復号化器。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25947689A JP3023961B2 (ja) | 1989-10-04 | 1989-10-04 | 符号化器及び復号化器 |
| KR1019900013367A KR930006535B1 (ko) | 1989-10-04 | 1990-08-29 | 화상신호의 부호화 복호화기 |
| US07/592,582 US5057940A (en) | 1989-04-10 | 1990-10-04 | Image signal encoding/decoding system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25947689A JP3023961B2 (ja) | 1989-10-04 | 1989-10-04 | 符号化器及び復号化器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH03121688A JPH03121688A (ja) | 1991-05-23 |
| JP3023961B2 true JP3023961B2 (ja) | 2000-03-21 |
Family
ID=17334609
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25947689A Expired - Fee Related JP3023961B2 (ja) | 1989-04-10 | 1989-10-04 | 符号化器及び復号化器 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US5057940A (ja) |
| JP (1) | JP3023961B2 (ja) |
| KR (1) | KR930006535B1 (ja) |
Families Citing this family (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6332123B1 (en) * | 1989-03-08 | 2001-12-18 | Kokusai Denshin Denwa Kabushiki Kaisha | Mouth shape synthesizing |
| US5267051A (en) * | 1989-12-22 | 1993-11-30 | Eastman Kodak Company | High speed compression of imagery data |
| US5761342A (en) * | 1991-04-16 | 1998-06-02 | Canon Kabushiki Kaisha | Image processing apparatus and method |
| US5592228A (en) * | 1993-03-04 | 1997-01-07 | Kabushiki Kaisha Toshiba | Video encoder using global motion estimation and polygonal patch motion estimation |
| JPH0730888A (ja) * | 1993-06-24 | 1995-01-31 | Canon Inc | 動画像送信装置及び動画像受信装置 |
| US5608839A (en) * | 1994-03-18 | 1997-03-04 | Lucent Technologies Inc. | Sound-synchronized video system |
| US7859551B2 (en) | 1993-10-15 | 2010-12-28 | Bulman Richard L | Object customization and presentation system |
| US6330023B1 (en) * | 1994-03-18 | 2001-12-11 | American Telephone And Telegraph Corporation | Video signal processing systems and methods utilizing automated speech analysis |
| KR0181031B1 (ko) * | 1995-03-20 | 1999-05-01 | 배순훈 | 움직임 보상된 인터폴레이션에서의 엣지 보상 장치 |
| JP3799633B2 (ja) * | 1995-06-16 | 2006-07-19 | セイコーエプソン株式会社 | 顔画像処理方法および顔画像処理装置 |
| KR0178229B1 (ko) * | 1995-08-08 | 1999-05-01 | 배순훈 | 특징점에 근거한 화소단위 움직임 추정을 이용한 영상 처리 장치 |
| KR0178230B1 (ko) * | 1995-08-08 | 1999-05-01 | 배순훈 | 특징점에 의한 움직임 추정을 이용한 영상 처리 장치 |
| US5953456A (en) * | 1995-09-05 | 1999-09-14 | Canon Kabushiki Kaisha | Recording apparatus for repetitively recording image data of same frame and reproducing apparatus |
| KR100390740B1 (ko) * | 1995-10-26 | 2003-11-01 | 주식회사 팬택앤큐리텔 | 영상신호부호화방법및부호화기 |
| KR970025155A (ko) * | 1995-10-26 | 1997-05-30 | 김주용 | 물체중심 부호화에서의 계층별 부호화 방법 |
| EP0788282B1 (en) * | 1996-02-05 | 2010-01-20 | Panasonic Corporation | Quantization method |
| US5872845A (en) * | 1996-06-05 | 1999-02-16 | Feder; Benjamin | Method and apparatus for interfacing fax machines to digital communication networks |
| KR100393185B1 (ko) * | 1996-12-20 | 2004-01-24 | 삼성전자주식회사 | 삼차원구조 데이터와 그래픽스 오브젝트의 합성장치 및 그 방법 |
| KR100265720B1 (ko) * | 1997-03-31 | 2000-09-15 | 윤종용 | 2차원삼각형선격자모델을이용한동영상의움직임보상방법 |
| EP0893923A1 (en) * | 1997-07-23 | 1999-01-27 | Texas Instruments France | Video communication system |
| EP1079635A1 (en) * | 1998-04-17 | 2001-02-28 | Ultraclean Technology Research Institute, Co. Ltd | Data compressing device and method, data expanding device and method, data compressing/expanding system and method, code book making method, and vector quantizing device and method |
| US6546052B1 (en) * | 1998-05-29 | 2003-04-08 | Canon Kabushiki Kaisha | Image processing apparatus and method, and computer-readable memory |
| JP3655490B2 (ja) * | 1998-09-21 | 2005-06-02 | 富士写真フイルム株式会社 | 画像暗号化装置、画像暗号化方法、画像暗号化のプログラムを記録したコンピュータ読み取り可能な記録媒体及び画像ファイルが記録されたコンピュータ読み取り可能な記録媒体 |
| WO2000025520A1 (de) * | 1998-10-23 | 2000-05-04 | Siemens Aktiengesellschaft | Verfahren und anordnung zur bearbeitung eines digitalisierten bildes |
| JP2000293687A (ja) * | 1999-02-02 | 2000-10-20 | Minolta Co Ltd | ３次元形状データ処理装置および３次元形状データ処理方法 |
| WO2001026356A2 (en) * | 1999-10-07 | 2001-04-12 | World Multicast.Com, Inc. | Video compression system and method using time |
| GB0002623D0 (en) * | 2000-02-05 | 2000-03-29 | Res Councils | Improvements in or relating to data compression |
| US7821658B2 (en) * | 2001-10-16 | 2010-10-26 | Minolta Co., Ltd | Interleaving imaging device controller with multi-use circuitry |
| US7936814B2 (en) * | 2002-03-28 | 2011-05-03 | International Business Machines Corporation | Cascaded output for an encoder system using multiple encoders |
| KR100647957B1 (ko) * | 2004-12-14 | 2006-11-23 | 엘지전자 주식회사 | 사전 기반 압축 방법을 이용한 연속된 이미지 압축 및복원 방법 |
| KR100785012B1 (ko) * | 2005-04-11 | 2007-12-12 | 삼성전자주식회사 | 3ｄ 압축 데이터 생성, 복원 방법 및 그 장치 |
| US7532133B2 (en) * | 2005-04-11 | 2009-05-12 | Samsung Electronics Co., Ltd. | Methods and apparatuses for generating and recovering 3D compression data |
| US9626769B2 (en) | 2009-09-04 | 2017-04-18 | Stmicroelectronics International N.V. | Digital video encoder system, method, and non-transitory computer-readable medium for tracking object regions |
| US8848802B2 (en) * | 2009-09-04 | 2014-09-30 | Stmicroelectronics International N.V. | System and method for object based parametric video coding |
| US10178396B2 (en) | 2009-09-04 | 2019-01-08 | Stmicroelectronics International N.V. | Object tracking |
| US9454607B1 (en) * | 2010-12-10 | 2016-09-27 | A9.Com, Inc. | Image as database |
| US10593033B2 (en) * | 2017-06-27 | 2020-03-17 | Nec Corporation | Reconstructor and contrastor for medical anomaly detection |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4663995A (en) * | 1986-04-02 | 1987-05-12 | Femco Machine Co. | Device for removing or stripping material |
| JPS6430365A (en) * | 1987-07-27 | 1989-02-01 | Sony Corp | Image reader |
| JPH01198884A (ja) * | 1987-10-14 | 1989-08-10 | Toshiba Corp | 画像伝送装置 |
| US4979049A (en) * | 1989-06-01 | 1990-12-18 | At&T Bell Laboratories | Efficient encoding/decoding in the decomposition and recomposition of a high resolution image utilizing its low resolution replica |
-
1989
- 1989-10-04 JP JP25947689A patent/JP3023961B2/ja not_active Expired - Fee Related
-
1990
- 1990-08-29 KR KR1019900013367A patent/KR930006535B1/ko not_active IP Right Cessation
- 1990-10-04 US US07/592,582 patent/US5057940A/en not_active Expired - Lifetime
Non-Patent Citations (2)
| Title |
|---|
| 電子情報通信学会論文誌 Ｊ７１−Ｂ１［１２］（１９８８−１２−２５）ｐ１５５４−１５６３ |
| 電子情報通信学会論文誌 Ｊ７２−Ｂ１［３］（１９８９−３−２５）ｐ２００−２０７ |
Also Published As
| Publication number | Publication date |
|---|---|
| US5057940A (en) | 1991-10-15 |
| KR910009093A (ko) | 1991-05-31 |
| JPH03121688A (ja) | 1991-05-23 |
| KR930006535B1 (ko) | 1993-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3023961B2 (ja) | 符号化器及び復号化器 | |
| US5926575A (en) | Model-based coding/decoding method and system | |
| KR100872732B1 (ko) | 모델에 기초한 코딩 및 우선 순위화 기술들을 사용한비디오 통신 시스템 | |
| JP2020010331A (ja) | 画質を向上させる方法 | |
| JP2000092487A (ja) | ３次元メッシュ情報のプログレッシブ符号化／復号化方法及びその装置 | |
| JPH05153581A (ja) | 顔画像符号化方式 | |
| JP7405989B2 (ja) | マシン向け映像符号化における方法及び装置 | |
| KR20010053286A (ko) | 화상부호／복호방법 및 그 프로그램을 기록한 기록매체 | |
| JP2002329217A (ja) | ３次元オブジェクトの形態変形情報の符号化方法及びその装置 | |
| JP3389369B2 (ja) | 輪郭近似装置 | |
| JP2003116053A (ja) | 特殊効果データ符号化方法及び特殊効果表示方法及び特殊効果データ編集方法 | |
| JP2001186516A (ja) | 画像データの符号化復号化方法及び装置 | |
| CN114422795A (zh) | 一种面部视频编码方法、解码方法及装置 | |
| CN114897189A (zh) | 模型训练方法、视频编码方法及解码方法 | |
| EP1209626B1 (en) | Method and apparatus for data compression | |
| KR101642965B1 (ko) | 비트 심도 감소를 이용한 깊이 영상 처리 장치 및 방법 | |
| JP3955909B2 (ja) | 画像信号処理装置及びその方法 | |
| KR20000029715A (ko) | 화상매핑장치및방법과화상생성장치및방법 | |
| JP2001231037A (ja) | 画像処理システム、画像処理装置、及び記憶媒体 | |
| JPH0846961A (ja) | 画像符号化復号化方法 | |
| JP3953411B2 (ja) | 座標インタポレータのキー値データ符号化／復号化方法及び装置 | |
| JPH08149461A (ja) | 動画像処理装置とその方法 | |
| US20150130898A1 (en) | View synthesis using low resolution depth maps | |
| CN112806015A (zh) | 全向视频的编码和解码 | |
| KR100561835B1 (ko) | 선형 근사화를 이용한 애니메이션 궤적의 압축 및 복원 방법, 이 방법을 수행하는 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |