JP2614918B2

JP2614918B2 - 画像符号化方法

Info

Publication number: JP2614918B2
Application number: JP11723589A
Authority: JP
Inventors: 強藤本; 鈴木　　元; 義政木村; 峰夫正満
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1989-05-12
Filing date: 1989-05-12
Publication date: 1997-05-28
Anticipated expiration: 2012-05-28
Also published as: JPH02298169A

Description

【発明の詳細な説明】（産業上の利用分野）本発明は、情景のようにほとんど静止した対象をカメ
ラなどの画像入力装置により撮影する時にもっぱら画像
入力装置の動きにより画像の変化が生じている動画像の
符号化伝送において、画像入力装置の視点および視線を
表わす情報を利用することにより効率的に符号化伝送す
るための画像符号方法に関するものである。

（従来の技術）従来、画像信号符号化装置で用いられてきた画像符号
化方法においては、画像信号を２次元の情報源としてと
らえ、それらの情報源に適した符号化方法が用いられて
きた。この情報源は以下のように大きく３つに大別され
る（A.K.JAIN:“Advances in Mathematical Models for
Image Processing"proceeding of The IEEE Vol.69,N
o.5 May 1981）。

（ａ）級数展開モデル（ｂ）確率過程による表現（ｃ）線型予測モデル高圧縮率が必要な符号化方法によく用いられている、
（アダプティブ）離散コサイン符号化方式（W.H.CHEN:
“Adaptive Coding of Monochrome and Color Image,"I
EEE Trans.on COM Vol.COM−25,Nol.1pp.1285−1292 No
v.1977）などの変換符号化方法は、級数展開モデル
（ａ）を利用している。また動画像信号の符号化に用い
られる差分パルスコード変調（DPCM）は、線型予測モデ
ル（ｃ）を利用している。また、これらのモデルは単独
で用いられるのみならず、ハイブリッド・コーディング
（Hybrid Coding）のように２つ以上のモデルが同時に
用いられることもある。

さらに、情報源の量子化を行う際に、１つのシンボル
のみを量子化するのではなく、複数個のシンボルの組か
らなる多次元のベクトルを量子化することにより性能の
向上をはかる方法にベクトル量子化がある。

また、動画像の符号化においては、上記画像モデルを
利用した画像符号化方法に対し、動き補償やコマ落とし
などの、時間軸を考慮した符号化方法が用いられてい
る。

（発明が解決しようとする課題）これらの画像モデルにおいて、すなわち画像符号化方
法においては、画像は２次元の情報源としてしかとらえ
らておらず、情報を構成している対象の３次元的位置と
形状を表わすモデルを有していないため、動画像を符号
化する際に動き補償などの認識技術を使用しなければな
らなかった（A.Netravali,et al.:“Motion compensate
d television coding:Part1,"BSTJ,Vol.58,No.3 March
1979）。このため、認識に要する計算量が多く、さら
に、完全には認識しきれないため、補償が十分に行われ
ず、復号画質が劣化する、などといった問題点を有して
いた。

（発明の目的）本発明は、これらの問題点を解決し、送信側及び受信
側のそれぞれに情景を表わす３次元モデルを備える。も
しくは事前に送信側から受信側に伝送するようにして、
復号画質の劣化を防止することを目的とする。

（発明の構成）（発明の特徴と従来技術との差異）本発明は、送信側の画像入力装置により情景を入力す
ると同時に、パラメータ入力／検出部により画像入力装
置の視点の３次元座標と視点を表わす情報を入力する
か、もしくは入力された画像から得られたパラメータ１
と、その情景の３次元モデルからその時点における入力
画像を模倣した画像１を生成する。画像入力装置から入
力された画像と画像１の差分信号を画像２とし、パラメ
ータと画像２をそれぞれ符号化し、かつ多重化して送出
する。

受信側では、まず多重化された信号からパラメータ１
と画像２を復号し、パラメータ１と、受信側が具備して
いる、もしくは事前に伝送された情景の３次元モデルか
ら、送信側において画像２を得るために用いられた画像
１と同じ画像３を生成する。このようにパラメータから
生成された画像：画像３と伝送されてきた差分信号：画
像２の和をとることにより、復号画像を得ることを最も
大きな特徴とする。

本発明では、符号化においてあらかじめわかっている
知識である情景の３次元モデル、及び視点、視線を表わ
す情報を用いる点が従来の技術とは異なる。

第１図は、本発明の動作原理の説明図である。図にお
いて、Ｓは３次元の情景である。Ｍは情景を表わす３次
元の位置と形状を表わすモデルであり、送信側と受信側
で同じものを具備している、もしくは事前に伝送してい
る。撮像装置Ｃからは、撮像装置の視点、視線を表わし
ているパラメータ１と、映像信号が出力される。また、
パラメータ１は、撮像装置からの映像信号から検知され
ることもある。

パラメータ１とモデルＭにより、情景Ｓを模倣した画
像１がＺバッファーなどの画像生成部CG（コンピュータ
ーグラフィックス）により生成される。画像１と撮像装
置からの映像信号の差分：画像２と、パラメータ１が送
信側から受信側へ伝送される。受信側では、画像２とパ
ラメータ１から画像生成部CGなどにより画像３が生成さ
れる。この画像３は画像１とまったく同じものである。
復元画像は、画像３と画像２の和をとることにより得ら
れる。

撮像装置が動くと、送信側では撮像装置の位置、向き
を検知し、パラメータ１として伝送する。受信側では、
視点・視線を表わすパラメータ１を、具備している。も
しくは事前に伝送されたモデルＭにより、撮像装置が移
動した時点での模倣画像を生成し、伝送される差分信号
を低減するように動作する。

（実施例１）第２図は第１図に示す本発明の動作原理を実現するた
めの一実施例のブロック図である。図において、201〜2
08は送信側、210〜214は受信側、の各装置を示し、通信
網209で接続される。図の201は現時点での情景、202は
画像入力部、203は視点・視線を表わすパラメータ、204
はパラメータ入力／検出部、205は画像生成部、206は差
分抽出部、207は差分信号符号化部、208は多重化回路、
209は通信網、210は分離回路、211は差分信号復号部、2
12は画像生成部、213は画像信号加算部、214はディスプ
レイである。

次に動作を説明すると、送信側では、まず画像入力装
置202により、現時点における情景201が連続的に撮影さ
れる。これとともに、画像入力部202に対応した視点と
視線を表わすパラメータ203をパラメータ入力／検出部2
04から入力する。画像生成部205では、入力されたパラ
メータと、送信側で具備しているモデルにより、画像入
力部202から入力した画像を模倣した画像を生成する。

差分抽出部206では、画像生成部205で生成された画像
と、画像入力部202で入力された画像の差分を求める。
該差分信号は、差分信号符号化部207により符号化され
る。差分信号符号化部207で符号化された信号と、パラ
メータ入力／検出部204で入力されたパラメータは、多
重化回路208で多重化され、通信網209を介して伝送され
る。

受信側では、通信網209を介して伝送されてくる多重
化された信号を、分離回路210により差分信号とパラメ
ータに分離する。分離されたパラメータと、受信側で有
しているモデルから、画像生成部212で、送信側の画像
生成部205で生成される信号と同じ画像信号を生成す
る。画像信号加算部213において、復号化された差分信
号と生成された画像信号の和をとり、最終的な復号画像
を得る。復号画像は、ディスプレイ214で表示される。

本実施例においては、パラメータは別途入力される例
について述べたが、画像入力部202から入力された映像
信号から検出することも可能である。

本発明においては、伝送に用いる情報は、視点と視線
を表わすパラメータと、差分信号であり、小容量であ
る。このため、カメラの位置の変化に伴う動画像の符号
化を実時間で行うことができ、画質も従来技術より向上
させうる。

（実施例２）実施例１での３次元モデルとして、複数のポリゴンを
用いた例について説明する。その動作原理図は第１図と
同じであり、また装置のブロック構成は第２図と同じで
ある。実施例２においては、画像の生成方法についての
み説明する。

第３図は、本発明の一実施例における画像生成の説明
図である。31は視点１におけるカメラ、32は視点２にお
けるカメラ、33は物体を複数のポリゴンにより表現した
３次元モデル、34は視点１のカメラにより撮影された画
像、35は視点２のカメラにより撮影された画像である。

第４図は、上記第３図における３次元モデルと視点の
位置関係に合わせた写像の説明図である。41は３次元モ
デル、42はカメラにより撮像された画像が撮影されるス
クリーン、43はカメラの視点、44は３次元モデル41がス
クリーン42に投影された画像である。

３次元座標により表現される４つの点よりなるポリゴ
ンＡは、３次元空間における点からスクリーン42におけ
る点への写像 f:（x,y,z）→（s,t）により、投影画像44のポリゴンＡ′へ写像される。ここ
で、x,y,zは３次元空間における座標であり、s,tはスク
リーン42における座標である。

いまカメラが第３図の視点１の位置にあるとき、３次
元モデル33のポリゴンA,B,Cは、それぞれ画像34のＡ′,
B′,C′に対応する。Ａ′,B′,C′は、複数のポリゴン
よりなる３次元モデル33と、カメラの視点：視点１の位
置関係に合わせた、第４図に示すような写像により生成
される。

一方、カメラが視点２の位置にあるとき、３次元モデ
ル33のポリゴンA,B,Cは、それぞれ画像35のＡ″,B″,
C″に対応する。Ａ″,B″,C″は、複数のポリゴンより
なる３次元モデル33と、カメラの視点：視点２より同様
に生成される。視点１、視点２においてカメラから撮影
された画像は、それぞれ画像34、画像35に対応してい
る。

このように、カメラの視点に応じた画像を生成するこ
とが可能なので、実際にカメラにより撮影された画像と
の差分信号が微弱なものとなり、動画像の効率的な伝送
が可能である。

なお、本実施例においては物体の３次元モデルに、複
数のポリゴンを用いたが、コンストラクション，フリッ
ド，ジエオメトリ（CSG）を用いることにより、本実施
例同様、動画像の効率的な伝送が可能である。

（発明の効果）以上説明したように本発明によれば、伝送に用いる情
報は、視点と視線を表わすパラメータと、差分信号であ
るので小容量である。この結果、カメラの位置変化に伴
なう動画像の符号化を実時間で行ない、かつ効率的な伝
送が可能であるので、復号画質を従来より著しく向上さ
せることができる。

【図面の簡単な説明】

第１図は本発明の動作原理を説明する図、第２図は本発
明の実施例１のブロック構成図、第３図及び第４図は本
発明の実施例２の画像生成及び３次元モデルと視点の位
置関係を説明する図である。 201……現時点での情景、202……画像入力部、203……
パラメータ、204……パラメータ入力／検出部、205,212
……画像生成部、206……差分抽出部、207……差分信号
符号化部、208……多重化回路、209……通信網、210…
…分離回路、211……差分信号復号化部、213……画像信
号加算部、214……ディスプレイ。

Claims

(57)【特許請求の範囲】

【請求項１】情景を画像入力装置で撮影し、視点の移動
により生成される動画像信号を符号化し、送信側と受信
側で情景を表現する３次元モデルを有し、送信側においては、前記画像入力装置により実際に撮像
された入力画像信号と、前記３次元モデル及び視点を表
わすパラメータにより生成された画像信号との差分信号
を生成し、該差分信号を符号化し、視点を表わすパラメ
ータとともに多重化した信号を伝送し、受信側においては、前記多重化された信号を、差分信号
および視点を表わすパラメータに分離し、該視点を表わ
すパラメータと、受信側の有する情景を表現する３次元
モデルから生成される画像信号と、前記分離された差分
信号との和を求めることにより、投影された情景の画信
号を復号することを特徴とする画像符号化方法。