JP3186406B2 - 画像合成符号化方法及び画像合成装置 - Google Patents
画像合成符号化方法及び画像合成装置Info
- Publication number
- JP3186406B2 JP3186406B2 JP3974394A JP3974394A JP3186406B2 JP 3186406 B2 JP3186406 B2 JP 3186406B2 JP 3974394 A JP3974394 A JP 3974394A JP 3974394 A JP3974394 A JP 3974394A JP 3186406 B2 JP3186406 B2 JP 3186406B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- prediction
- frame
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Description
【０００１】
【産業上の利用分野】本発明は、圧縮した画像データの
一部あるいは全部を、圧縮した画像データあるいは実時
間画像データと合成する際に用いる画像合成符号化方法
及び画像合成装置に関するものである。
一部あるいは全部を、圧縮した画像データあるいは実時
間画像データと合成する際に用いる画像合成符号化方法
及び画像合成装置に関するものである。
【０００２】
【従来の技術】デジタル画像信号は膨大な情報量を有
し、伝送、記録のためには高能率符号化が不可欠であ
る。近年、様々な画像圧縮符号化技術が開発され、一部
は画像符号化、復号化装置として製品化されている。こ
のような画像圧縮符号化技術の国際標準規格としてMPEG
( Moving Picture Expert Group )がある。
し、伝送、記録のためには高能率符号化が不可欠であ
る。近年、様々な画像圧縮符号化技術が開発され、一部
は画像符号化、復号化装置として製品化されている。こ
のような画像圧縮符号化技術の国際標準規格としてMPEG
( Moving Picture Expert Group )がある。
【０００３】以下、図面を参考にしながら、上述した従
来の画像符号化装置の一例であるMPEG方式について説明
する。
来の画像符号化装置の一例であるMPEG方式について説明
する。
【０００４】図８は従来の画像符号化装置のブロック図
である。図８において、81は動き検出回路、82はDCTモ
ード判定回路、83はDCT回路、84は量子化回路、85は可
変長符号化回路、86は逆量子化回路、87は逆DCT回路、8
8はフレームバッファ、89は動き補償回路である。ま
た、図９は動き補償予測方法の説明図、図１０はフレー
ムバッファ88及び動き補償回路89の説明図である。
である。図８において、81は動き検出回路、82はDCTモ
ード判定回路、83はDCT回路、84は量子化回路、85は可
変長符号化回路、86は逆量子化回路、87は逆DCT回路、8
8はフレームバッファ、89は動き補償回路である。ま
た、図９は動き補償予測方法の説明図、図１０はフレー
ムバッファ88及び動き補償回路89の説明図である。
【０００５】以上のように構成された従来の画像符号化
装置について、以下その動作を説明する。
装置について、以下その動作を説明する。
【０００６】映像信号はインターレース走査されてお
り、フレーム単位に区切って入力するものとする。符号
化の最初のフレーム、すなわち図９におけるフレームｔ
の画像は、差分を取ることなく、フレーム内符号化す
る。まず、入力画像データは、２次元ブロック単位でラ
イン間の差分をとる等して動きの大小をDCTモード判定
回路82で検出し、フレーム単位あるいはフィールド単位
でDCTを行うかの判定を行い、その結果をDCTモード情報
として出力する。DCT回路83は前記DCTモード情報を入力
し、フレーム単位あるいはフィールド単位でDCTを行い
画像データを変換係数に変換する。変換係数は量子化回
路84で量子化した後、可変長符号化回路85で可変長符号
化し伝送路に送出する。量子化後の変換係数は、同時に
逆量子化回路86、逆ＤＣＴ変換回路87を経て実時間デー
タに戻し、フレームバッファ88に蓄える。
り、フレーム単位に区切って入力するものとする。符号
化の最初のフレーム、すなわち図９におけるフレームｔ
の画像は、差分を取ることなく、フレーム内符号化す
る。まず、入力画像データは、２次元ブロック単位でラ
イン間の差分をとる等して動きの大小をDCTモード判定
回路82で検出し、フレーム単位あるいはフィールド単位
でDCTを行うかの判定を行い、その結果をDCTモード情報
として出力する。DCT回路83は前記DCTモード情報を入力
し、フレーム単位あるいはフィールド単位でDCTを行い
画像データを変換係数に変換する。変換係数は量子化回
路84で量子化した後、可変長符号化回路85で可変長符号
化し伝送路に送出する。量子化後の変換係数は、同時に
逆量子化回路86、逆ＤＣＴ変換回路87を経て実時間デー
タに戻し、フレームバッファ88に蓄える。
【０００７】一般的に画像は相関が高いため、DCTを行
なうと、低い周波数成分に対応する変換係数にエネルギ
ーが集中する。従って、視覚的に目立たない高い周波数
成分をあらく、重要な成分である低い周波数成分を細か
く量子化を行なうことで、画質劣化を最小限にとどめ、
かつデータ量を減らすことが可能となる。また、インタ
ーレース走査した画像は、動きが小さい時は、フレーム
内の相関が強く、動きが大きいときはフレーム間の相関
は小さく、逆にフィールド内の相関が高い。前記したイ
ンターレース走査の特性を利用し、フレーム単位あるい
はフィールド単位でDCTを切り換えることにより、イン
ターレース画像も効率良く符号化することが可能とな
る。
なうと、低い周波数成分に対応する変換係数にエネルギ
ーが集中する。従って、視覚的に目立たない高い周波数
成分をあらく、重要な成分である低い周波数成分を細か
く量子化を行なうことで、画質劣化を最小限にとどめ、
かつデータ量を減らすことが可能となる。また、インタ
ーレース走査した画像は、動きが小さい時は、フレーム
内の相関が強く、動きが大きいときはフレーム間の相関
は小さく、逆にフィールド内の相関が高い。前記したイ
ンターレース走査の特性を利用し、フレーム単位あるい
はフィールド単位でDCTを切り換えることにより、イン
ターレース画像も効率良く符号化することが可能とな
る。
【０００８】一方、（t+1）フレーム以降の画像は、フ
レームごとに予測値を計算し、前記予測値との差分、す
なわち予測誤差を符号化する。MPEGでは、予測値の計算
方法として、前方予測、後方予測及び双方向予測があ
る。図９がこの予測方法の説明図である。時刻ｔのフレ
ームはフレーム内符号化（以下、フレーム内符号化した
フレームを「Iフレーム」と呼ぶ）する。次に符号化、
復号化済みのIフレームを用いて、時刻（t+3）のフレー
ムを、Iフレームと動き補償した後の差分をとり、その
差分を符号化する。このように時間的に前のフレームを
予測に用いることを前方予測と呼ぶ（以下、前方予測を
用いて符号化したフレームを「Pフレーム」と呼ぶ）。
また、時刻（t+1）,（t+2）のフレームは、符号化、復
号化済みのI,Pフレームを用いて同様に動き補償した
後、差分符号化する。この際、予測画像は、Iフレー
ム、Pフレーム、IフレームとPフレームの平均値（双方
向予測）のうちから誤差最小のものをブロック単位に選
択して構成する（以下、双方向予測をフレーム内の一部
もしくは全部に用いて符号化したフレームを「Bフレー
ム」と呼ぶ）。Bフレームは、時間的に前後のフレーム
から予測するため、新たに現われた物体なども正確に予
測することが可能となり、符号化効率が向上する。
レームごとに予測値を計算し、前記予測値との差分、す
なわち予測誤差を符号化する。MPEGでは、予測値の計算
方法として、前方予測、後方予測及び双方向予測があ
る。図９がこの予測方法の説明図である。時刻ｔのフレ
ームはフレーム内符号化（以下、フレーム内符号化した
フレームを「Iフレーム」と呼ぶ）する。次に符号化、
復号化済みのIフレームを用いて、時刻（t+3）のフレー
ムを、Iフレームと動き補償した後の差分をとり、その
差分を符号化する。このように時間的に前のフレームを
予測に用いることを前方予測と呼ぶ（以下、前方予測を
用いて符号化したフレームを「Pフレーム」と呼ぶ）。
また、時刻（t+1）,（t+2）のフレームは、符号化、復
号化済みのI,Pフレームを用いて同様に動き補償した
後、差分符号化する。この際、予測画像は、Iフレー
ム、Pフレーム、IフレームとPフレームの平均値（双方
向予測）のうちから誤差最小のものをブロック単位に選
択して構成する（以下、双方向予測をフレーム内の一部
もしくは全部に用いて符号化したフレームを「Bフレー
ム」と呼ぶ）。Bフレームは、時間的に前後のフレーム
から予測するため、新たに現われた物体なども正確に予
測することが可能となり、符号化効率が向上する。
【０００９】符号化装置としては、まず予測に用いる動
きベクトルを動き検出回路81において、例えば良く知ら
れた全探索方法を用いて、前記２次元ブロック単位に求
める。次に、フレームバッファ88及び動き補償回路89は
前記検出した動きベクトルを用いて、次のフレームの動
き補償した予測値を前記２次元ブロック単位で生成す
る。
きベクトルを動き検出回路81において、例えば良く知ら
れた全探索方法を用いて、前記２次元ブロック単位に求
める。次に、フレームバッファ88及び動き補償回路89は
前記検出した動きベクトルを用いて、次のフレームの動
き補償した予測値を前記２次元ブロック単位で生成す
る。
【００１０】図１０はフレームバッファ88および動き補
償回路89の構成例である。ここでは双方向予測の予測値
生成について説明する。動き検出回路81で計算された動
きベクトルはフレームバッファ88中のアドレス回路882
に入力し、フレームメモリ881に記憶したI及びPフレー
ムの画像を読みだす。この際、DCTと同様にインターレ
ース画像に対応するため、２次元ブロックをフレーム単
位、あるいはフィールド単位に構成し、それぞれについ
てベクトル及び、予測画像を生成する。各２次元ブロッ
クでは、予測誤差として、フレームベクトルを用いた前
方予測、双方向予測、後方予測、フィールドベクトルを
用いた前方予測、双方向予測、後方予測の６種類を２乗
誤差計算回路893〜898で計算し、誤差が最も少ないもの
を誤差比較回路899で選択して、予測値及び予測モード
情報を出力する。前記した、予測モード情報、動きベク
トル、DCTモード情報は、可変長符号化回路85で可変長
符号化し、DCT変換係数と共に伝送路に送出する。
償回路89の構成例である。ここでは双方向予測の予測値
生成について説明する。動き検出回路81で計算された動
きベクトルはフレームバッファ88中のアドレス回路882
に入力し、フレームメモリ881に記憶したI及びPフレー
ムの画像を読みだす。この際、DCTと同様にインターレ
ース画像に対応するため、２次元ブロックをフレーム単
位、あるいはフィールド単位に構成し、それぞれについ
てベクトル及び、予測画像を生成する。各２次元ブロッ
クでは、予測誤差として、フレームベクトルを用いた前
方予測、双方向予測、後方予測、フィールドベクトルを
用いた前方予測、双方向予測、後方予測の６種類を２乗
誤差計算回路893〜898で計算し、誤差が最も少ないもの
を誤差比較回路899で選択して、予測値及び予測モード
情報を出力する。前記した、予測モード情報、動きベク
トル、DCTモード情報は、可変長符号化回路85で可変長
符号化し、DCT変換係数と共に伝送路に送出する。
【００１１】以上の符号化装置によれば、予測誤差を最
適に符号化することになるので、フレーム内符号化のよ
うに、画像データを直接符号化する場合に比べ、エネル
ギーが減少し、さらに高効率な符号化が可能となる（例
えば、ISO/IEC JTC1/SC29 N659, "ISO/IEC CD 13818-2:
Information technology - Generic coding of moving
pictures and associated audio information - Part
2: Video", 1993.12）。
適に符号化することになるので、フレーム内符号化のよ
うに、画像データを直接符号化する場合に比べ、エネル
ギーが減少し、さらに高効率な符号化が可能となる（例
えば、ISO/IEC JTC1/SC29 N659, "ISO/IEC CD 13818-2:
Information technology - Generic coding of moving
pictures and associated audio information - Part
2: Video", 1993.12）。
【００１２】
【発明が解決しようとする課題】しかしながら、上記の
画像符号化方法で符号化された圧縮画像データを、他の
画像データと合成する場合には、種々の問題が生ずる。
従来のアナログ信号の画像合成は、画素同士を加算して
実現するが、圧縮画像データは、可変長符号化されてお
り、ビット単位で単純に加算することができない。ま
た、圧縮画像を復号し実時間画像データに戻し、他の画
像を加えた上で再度符号化すると、合成装置は、復号装
置と符号化装置を両方備える必要があり、大規模なもの
になってしまうという問題点を有していた。
画像符号化方法で符号化された圧縮画像データを、他の
画像データと合成する場合には、種々の問題が生ずる。
従来のアナログ信号の画像合成は、画素同士を加算して
実現するが、圧縮画像データは、可変長符号化されてお
り、ビット単位で単純に加算することができない。ま
た、圧縮画像を復号し実時間画像データに戻し、他の画
像を加えた上で再度符号化すると、合成装置は、復号装
置と符号化装置を両方備える必要があり、大規模なもの
になってしまうという問題点を有していた。
【００１３】本発明は上記問題点に鑑み、可変長符号化
され、またフレーム間差分符号化を用いた圧縮画像でも
他の画像と合成することを可能とする、簡易な構成の画
像合成符号化方法及び画像合成装置を提供するものであ
る。
され、またフレーム間差分符号化を用いた圧縮画像でも
他の画像と合成することを可能とする、簡易な構成の画
像合成符号化方法及び画像合成装置を提供するものであ
る。
【００１４】
【課題を解決するための手段】上記問題点を解決するた
めに、本発明の画像合成符号化方法は、フレーム単位に
構成した映像信号を時間的に前のフレームから予測する
前方予測、及び、時間的に後ろのフレームから予測する
後方予測、並びに前方予測及び後方予測の両方を同時に
用いた双方向予測の少なくとも１種類の予測を用いて予
測符号化して得た圧縮画像データＡと、画像データＢと
を、画像データＡの少なくとも一部の領域において合成
し合成画像を得、前記合成画像を再符号化する方法であ
って、前記合成画像のうち前記圧縮画像データＡのみに
よって構成した部分は前記圧縮画像データＡのみから予
測して再符号化する。
めに、本発明の画像合成符号化方法は、フレーム単位に
構成した映像信号を時間的に前のフレームから予測する
前方予測、及び、時間的に後ろのフレームから予測する
後方予測、並びに前方予測及び後方予測の両方を同時に
用いた双方向予測の少なくとも１種類の予測を用いて予
測符号化して得た圧縮画像データＡと、画像データＢと
を、画像データＡの少なくとも一部の領域において合成
し合成画像を得、前記合成画像を再符号化する方法であ
って、前記合成画像のうち前記圧縮画像データＡのみに
よって構成した部分は前記圧縮画像データＡのみから予
測して再符号化する。
【００１５】あるいは、フレーム単位に構成した映像信
号を時間的に前のフレームから予測する前方予測、及び
時間的に後ろのフレームから予測する後方予測、並びに
前方予測及び後方予測の両方を同時に用いた双方向予
測、の少なくとも１種類の予測を用いて予測符号化して
得た圧縮画像データＡと、画像データＣとを、画像デー
タＡの少なくとも一部の領域において合成し合成画像を
得、前記合成画像を再符号化する方法であって、前記合
成画像データのうち画像データＣを合成した領域の動き
補償は画像データＣの動き情報を用いる。
号を時間的に前のフレームから予測する前方予測、及び
時間的に後ろのフレームから予測する後方予測、並びに
前方予測及び後方予測の両方を同時に用いた双方向予
測、の少なくとも１種類の予測を用いて予測符号化して
得た圧縮画像データＡと、画像データＣとを、画像デー
タＡの少なくとも一部の領域において合成し合成画像を
得、前記合成画像を再符号化する方法であって、前記合
成画像データのうち画像データＣを合成した領域の動き
補償は画像データＣの動き情報を用いる。
【００１６】
【００１７】
【作用】本発明は上記した構成によって、圧縮画像デー
タを復号し、実時間画像データあるいは直交変換係数を
加算するので、画像を合成することができることとな
る。また、合成画像の再符号化の際には、復号して得た
動き補償、動きベクトル、直交変換モード情報を用いる
ため、従来の画像符号化装置で大量の計算が必要であっ
た動き検出回路、直交変換モード判定回路が不要にな
り、動き補償回路も簡易化でき、簡単な構成で、圧縮画
像データの合成が可能となる。
タを復号し、実時間画像データあるいは直交変換係数を
加算するので、画像を合成することができることとな
る。また、合成画像の再符号化の際には、復号して得た
動き補償、動きベクトル、直交変換モード情報を用いる
ため、従来の画像符号化装置で大量の計算が必要であっ
た動き検出回路、直交変換モード判定回路が不要にな
り、動き補償回路も簡易化でき、簡単な構成で、圧縮画
像データの合成が可能となる。
【００１８】
【実施例】以下、本発明の第１の実施例における画像合
成符号化方法及び画像合成装置について、図面を参照し
ながら説明する。
成符号化方法及び画像合成装置について、図面を参照し
ながら説明する。
【００１９】図１は本発明の第１の実施例における画像
合成符号化方法および画像合成装置を説明するためのブ
ロック図である。図１において、1は画像復号部であ
り、可変長復号化回路11、逆量子化回路12、逆DCT回路1
3、フレームバッファ14、簡易動き補償回路15から構成
される。また、2は画像符号化部であり、DCT回路21、量
子化回路22、可変長符号化回路23、逆量子化回路24、逆
DCT回路25、フレームバッファ26、簡易動き補償回路27
で構成される。3は制御部でありCPUを用いている。４は
合成する画像の情報を検出する画像情報検出回路であ
る。また、図２は簡易動き補償回路15及びフレームバッ
ファ14の詳細な構成図、図３はCPU3の動作の一例を示す
アルゴリズムの説明図、図４は合成した画像の動き補償
方法を示す説明図である。
合成符号化方法および画像合成装置を説明するためのブ
ロック図である。図１において、1は画像復号部であ
り、可変長復号化回路11、逆量子化回路12、逆DCT回路1
3、フレームバッファ14、簡易動き補償回路15から構成
される。また、2は画像符号化部であり、DCT回路21、量
子化回路22、可変長符号化回路23、逆量子化回路24、逆
DCT回路25、フレームバッファ26、簡易動き補償回路27
で構成される。3は制御部でありCPUを用いている。４は
合成する画像の情報を検出する画像情報検出回路であ
る。また、図２は簡易動き補償回路15及びフレームバッ
ファ14の詳細な構成図、図３はCPU3の動作の一例を示す
アルゴリズムの説明図、図４は合成した画像の動き補償
方法を示す説明図である。
【００２０】以上のように構成された画像符号化装置に
ついて、以下、図１、図２、図３、図４を用いて説明す
る。
ついて、以下、図１、図２、図３、図４を用いて説明す
る。
【００２１】今、予測符号化した圧縮画像データに、画
像データを合成することを考える。図１において、予測
符号化した圧縮画像データは入力端子16から、画像デー
タは入力端子41から入力される。予測符号化した圧縮画
像データは、まず画像復号部1で復号される。すなわ
ち、可変長復号化回路11で可変長逆復号し、逆量子化回
路12で逆量子化し、逆DCT回路13で、復号したDCTモード
情報に応じてフレームあるいはフィールド単位に逆DCT
して実時間画像データにもどす。また、差分符号化して
いるため、復号した動きベクトル、及び動き補償モード
情報を用いてフレームバッファ14、簡易動き補償回路15
で予測画像を生成し、逆DCT回路出力データと加算して
復号画像データを作成する。
像データを合成することを考える。図１において、予測
符号化した圧縮画像データは入力端子16から、画像デー
タは入力端子41から入力される。予測符号化した圧縮画
像データは、まず画像復号部1で復号される。すなわ
ち、可変長復号化回路11で可変長逆復号し、逆量子化回
路12で逆量子化し、逆DCT回路13で、復号したDCTモード
情報に応じてフレームあるいはフィールド単位に逆DCT
して実時間画像データにもどす。また、差分符号化して
いるため、復号した動きベクトル、及び動き補償モード
情報を用いてフレームバッファ14、簡易動き補償回路15
で予測画像を生成し、逆DCT回路出力データと加算して
復号画像データを作成する。
【００２２】図２はフレームバッファ14、簡易動き補償
回路15の構成例である。従来例の画像符号化装置と比較
し、フレームバッファ14の構成は同じであるが、動き補
償回路15が大きく異なる。符号化装置で動き補償モード
が既に決定しているため、復号部では２乗誤差計算回路
を持つ必要がなく、図２のように、双方向予測が選択さ
れた場合に必要な平均値計算回路151と、動き補償モー
ド情報に応じて予測画像を出力するセレクタ152のみで
良い。
回路15の構成例である。従来例の画像符号化装置と比較
し、フレームバッファ14の構成は同じであるが、動き補
償回路15が大きく異なる。符号化装置で動き補償モード
が既に決定しているため、復号部では２乗誤差計算回路
を持つ必要がなく、図２のように、双方向予測が選択さ
れた場合に必要な平均値計算回路151と、動き補償モー
ド情報に応じて予測画像を出力するセレクタ152のみで
良い。
【００２３】一方、合成する画像データは画像情報検出
回路４で画像情報を検出する。合成する画像データとし
ては、圧縮していない画像データと圧縮した画像データ
の両方がある。検出する画像情報は、圧縮していない画
像データの場合、その画像がフレーム間で何画素動いた
かを示す動き情報等がある。また、圧縮した画像データ
では、画像情報検出回路は、画像復号部１と同様の構成
からなり、検出する情報として、動きベクトル、動き補
償情報、直交変換モード情報などがある。この画像情報
検出回路４は、合成した画像を符号化する際に利用する
画像情報を検出するものである。符号化効率の向上が必
要ないときは省略することもできる。
回路４で画像情報を検出する。合成する画像データとし
ては、圧縮していない画像データと圧縮した画像データ
の両方がある。検出する画像情報は、圧縮していない画
像データの場合、その画像がフレーム間で何画素動いた
かを示す動き情報等がある。また、圧縮した画像データ
では、画像情報検出回路は、画像復号部１と同様の構成
からなり、検出する情報として、動きベクトル、動き補
償情報、直交変換モード情報などがある。この画像情報
検出回路４は、合成した画像を符号化する際に利用する
画像情報を検出するものである。符号化効率の向上が必
要ないときは省略することもできる。
【００２４】合成は、画像復号部１で復号した画像デー
タと、画像情報検出回路４の出力である画像データとを
加算して得る。合成は基本的にはどのフレームからでも
開始することが可能であるが、フレーム内符号化された
フレームより行うのが望ましい。その理由は、予測フレ
ームから合成を開始すると、シーンチェンジ等と同様に
全く新しい画像が出現することになり、前のフレームか
ら予測ができず符号化効率が低下するためである。ま
た、合成する画像によっては、字幕など内容が頻繁には
変化しないものがある。そのような場合は、フレーム内
符号化フレームの周期で内容を変化させることにより、
フレーム間差分が少なくでき、符号化効率を上げること
が可能となる。
タと、画像情報検出回路４の出力である画像データとを
加算して得る。合成は基本的にはどのフレームからでも
開始することが可能であるが、フレーム内符号化された
フレームより行うのが望ましい。その理由は、予測フレ
ームから合成を開始すると、シーンチェンジ等と同様に
全く新しい画像が出現することになり、前のフレームか
ら予測ができず符号化効率が低下するためである。ま
た、合成する画像によっては、字幕など内容が頻繁には
変化しないものがある。そのような場合は、フレーム内
符号化フレームの周期で内容を変化させることにより、
フレーム間差分が少なくでき、符号化効率を上げること
が可能となる。
【００２５】加算後の合成画像データは画像符号化部2
で再符号化し、圧縮画像データを生成する。図４は、各
フレーム内のブロックの動き補償方法を示している。図
４中の実線が復号された画像データで、破線の画像デー
タ、すなわちブロックbは加算した合成画像データとす
る。（t+3）フレームは tフレームを予測画像として用
い、図中の矢印、mva、mvb、mvcがそれぞれのブロック
の復号された動きベクトルを表している。
で再符号化し、圧縮画像データを生成する。図４は、各
フレーム内のブロックの動き補償方法を示している。図
４中の実線が復号された画像データで、破線の画像デー
タ、すなわちブロックbは加算した合成画像データとす
る。（t+3）フレームは tフレームを予測画像として用
い、図中の矢印、mva、mvb、mvcがそれぞれのブロック
の復号された動きベクトルを表している。
【００２６】ブロックaは、復号された画像データを予
測画像に用いている。aブロックの再符号化方法は、従
来例の符号化方法とほぼ同様であるが、動き補償モード
情報や、動きベクトル、DCT切り換え情報は圧縮画像デ
ータを復号して得た情報を用いる。従って、画像符号化
部2は、図９に示す従来例の画像符号化装置から、多大
な計算を必要とする動き検出回路、DCTモード判定回路
を削除し、動き補償回路27を復号化装置と同じ簡易動き
補償回路14に置き換えることが可能になる。
測画像に用いている。aブロックの再符号化方法は、従
来例の符号化方法とほぼ同様であるが、動き補償モード
情報や、動きベクトル、DCT切り換え情報は圧縮画像デ
ータを復号して得た情報を用いる。従って、画像符号化
部2は、図９に示す従来例の画像符号化装置から、多大
な計算を必要とする動き検出回路、DCTモード判定回路
を削除し、動き補償回路27を復号化装置と同じ簡易動き
補償回路14に置き換えることが可能になる。
【００２７】また、bブロックは、（t+3）フレームでは
合成した画像データによって置き換えられている。従っ
て動きベクトルmvbで生成した予測画像とは全く異なっ
た内容となっている。従って、bブロックはフレーム内
符号化するか、あるいはmvbをmvb’に置き換えて、合成
したブロックから予測するように動き補償情報、動きベ
クトルを変更する。ここでmvb’は画像情報検出回路4で
検出された合成する画像データの動き情報である。
合成した画像データによって置き換えられている。従っ
て動きベクトルmvbで生成した予測画像とは全く異なっ
た内容となっている。従って、bブロックはフレーム内
符号化するか、あるいはmvbをmvb’に置き換えて、合成
したブロックから予測するように動き補償情報、動きベ
クトルを変更する。ここでmvb’は画像情報検出回路4で
検出された合成する画像データの動き情報である。
【００２８】cブロックは動きベクトルmvcで予測する
が、合成によってtフレームの予測画像は置き換えられ
てしまっているため、bブロックと同様に予測画像は全
く異なった内容となってしまう。従って、cブロックも
フレーム内符号化ブロックあるいはmvcをmvc’に置き換
えて、復号した画像データから予測するように動き補償
情報、動きベクトルを変更する。
が、合成によってtフレームの予測画像は置き換えられ
てしまっているため、bブロックと同様に予測画像は全
く異なった内容となってしまう。従って、cブロックも
フレーム内符号化ブロックあるいはmvcをmvc’に置き換
えて、復号した画像データから予測するように動き補償
情報、動きベクトルを変更する。
【００２９】以上の制御を行うのがCPU3であり、動き補
償情報制御部分のアルゴリズムを示したのが図３であ
る。
償情報制御部分のアルゴリズムを示したのが図３であ
る。
【００３０】以上の実施例によれば、圧縮画像データを
復号してから画像データと加算し、加算した画像合成デ
ータを復号して得た動き補償情報等を利用して再符号化
するので、簡易な構成で画像合成圧縮データを得ること
ができる。また、画像を合成することによって予測画像
が失われた領域は、フレーム内符号化、あるいはベクト
ルを補正することで予測画像を切り替え、画像を合成し
た領域は合成した画像の動きの情報を用いて予測するの
で、予測画像との不一致が生じず、画像劣化を生ずるこ
となく効率的な符号化ができる。
復号してから画像データと加算し、加算した画像合成デ
ータを復号して得た動き補償情報等を利用して再符号化
するので、簡易な構成で画像合成圧縮データを得ること
ができる。また、画像を合成することによって予測画像
が失われた領域は、フレーム内符号化、あるいはベクト
ルを補正することで予測画像を切り替え、画像を合成し
た領域は合成した画像の動きの情報を用いて予測するの
で、予測画像との不一致が生じず、画像劣化を生ずるこ
となく効率的な符号化ができる。
【００３１】以上の実施例では、ブロック単位に画像を
合成するとしたが、本発明はこれに限るものではなく、
ブロックにまたがって合成する事も可能である。そのよ
うな場合に、動き補償情報を変更するためには、当該ブ
ロックに含まれる合成した画像データの割合に応じて、
復号した画像データの動き補償情報、あるいは合成する
画像データの動き情報を選択して用いることができる。
合成するとしたが、本発明はこれに限るものではなく、
ブロックにまたがって合成する事も可能である。そのよ
うな場合に、動き補償情報を変更するためには、当該ブ
ロックに含まれる合成した画像データの割合に応じて、
復号した画像データの動き補償情報、あるいは合成する
画像データの動き情報を選択して用いることができる。
【００３２】また、以上の実施例においては、符号化
部、復号化部としてフレーム間差分とDCTを組み合わせ
た方式についてのみ説明したが、本発明はこれに限るも
のではなく、動き補償とフレーム間差分を用いた方式な
らば他のものにも用いることができる。
部、復号化部としてフレーム間差分とDCTを組み合わせ
た方式についてのみ説明したが、本発明はこれに限るも
のではなく、動き補償とフレーム間差分を用いた方式な
らば他のものにも用いることができる。
【００３３】図５は、本発明の第２の実施例における画
像合成装置のブロック図である。第１の実施例と異なる
のは、画像データを加算する際に、直交変換された係数
に対して加算することである。画像の合成は、画素を直
交変換で係数に変換し、変換係数同士を加算しても画素
単位に加算するのと等価である。ただし、加算する画像
データは変換係数でなければならないため、図５では、
画像情報検出回路4の出力は変換回路42に接続されてい
る。変換回路42は簡単には、画像データを変換係数に変
換するDCT回路のみでも良いし、また従来例と同様の符
号化回路を用い、DCT変換後の変換係数を出力するよう
に構成しても良い。以上の実施例によっても、第１の実
施例と同様の効果を得ることができる。
像合成装置のブロック図である。第１の実施例と異なる
のは、画像データを加算する際に、直交変換された係数
に対して加算することである。画像の合成は、画素を直
交変換で係数に変換し、変換係数同士を加算しても画素
単位に加算するのと等価である。ただし、加算する画像
データは変換係数でなければならないため、図５では、
画像情報検出回路4の出力は変換回路42に接続されてい
る。変換回路42は簡単には、画像データを変換係数に変
換するDCT回路のみでも良いし、また従来例と同様の符
号化回路を用い、DCT変換後の変換係数を出力するよう
に構成しても良い。以上の実施例によっても、第１の実
施例と同様の効果を得ることができる。
【００３４】図６は、本発明の画像合成符号化方法の一
実施例を示す説明図である。本実施例では、図６で示し
ているように、１つの圧縮画像データに圧縮画像データ
Aと、圧縮画像データAと合成するための圧縮画像データ
Bとを異なった識別子を付与して多重する。
実施例を示す説明図である。本実施例では、図６で示し
ているように、１つの圧縮画像データに圧縮画像データ
Aと、圧縮画像データAと合成するための圧縮画像データ
Bとを異なった識別子を付与して多重する。
【００３５】図７はこのようにして多重化された圧縮画
像データを復号して合成する画像合成装置のブロック図
である。多重化された圧縮画像データはデマルチプレク
ス回路5によって識別子に応じて分離され、異なった復
号部1に入力される。復号部1はここでは図５における復
号部1と同様のものを使用している。それぞれの復号部
で復号して得た画像データは、加算して合成画像データ
を生成する。
像データを復号して合成する画像合成装置のブロック図
である。多重化された圧縮画像データはデマルチプレク
ス回路5によって識別子に応じて分離され、異なった復
号部1に入力される。復号部1はここでは図５における復
号部1と同様のものを使用している。それぞれの復号部
で復号して得た画像データは、加算して合成画像データ
を生成する。
【００３６】以上のように、合成する圧縮画像データを
多重化し、復号側で分離して画素単位で加えることによ
り、合成した画像を得ることができる。本実施例は復号
部1を複数使用する必要があるが、例えば、多数のプロ
グラムを同時放送しており、その各々に同一の文字情報
等を合成したい場合、第１の実施例および第２の実施例
では、送出側でプログラム分だけの合成装置が必要であ
るが、本実施例では送信側では１つですむ。また、受信
側で識別子で選択して合成する画像を選ぶことも可能と
なる。
多重化し、復号側で分離して画素単位で加えることによ
り、合成した画像を得ることができる。本実施例は復号
部1を複数使用する必要があるが、例えば、多数のプロ
グラムを同時放送しており、その各々に同一の文字情報
等を合成したい場合、第１の実施例および第２の実施例
では、送出側でプログラム分だけの合成装置が必要であ
るが、本実施例では送信側では１つですむ。また、受信
側で識別子で選択して合成する画像を選ぶことも可能と
なる。
【００３７】なお、第３の実施例では予測符号化を用い
て圧縮した圧縮画像データの例について説明したが、本
発明はこれに限るものではなく、フレーム内符号化のみ
を用いた圧縮画像データにも適用可能である。
て圧縮した圧縮画像データの例について説明したが、本
発明はこれに限るものではなく、フレーム内符号化のみ
を用いた圧縮画像データにも適用可能である。
【００３８】さらに、第３の実施例では復号部を２つ有
し、それぞれの復号部で復号した画像を加算するとした
が、画面の合成の仕方によっては、一方の画像の一部を
他方の画像で置き換える場合がある。このような場合に
は、復号部を２つ持つ必要がなく、同じ復号部で異なっ
た時間にそれぞれの画像を復号することで１つの復号部
で合成画像を得ることができる。
し、それぞれの復号部で復号した画像を加算するとした
が、画面の合成の仕方によっては、一方の画像の一部を
他方の画像で置き換える場合がある。このような場合に
は、復号部を２つ持つ必要がなく、同じ復号部で異なっ
た時間にそれぞれの画像を復号することで１つの復号部
で合成画像を得ることができる。
【００３９】また、以上の実施例では、合成する画像、
合成される画像の解像度については言及していないが、
それぞれの画像は解像度が異なってもよく、大きな画像
の一部に小さな画像を合成したり、あるいは同じ解像度
であっても画像の一部の領域のみを合成することも可能
である。
合成される画像の解像度については言及していないが、
それぞれの画像は解像度が異なってもよく、大きな画像
の一部に小さな画像を合成したり、あるいは同じ解像度
であっても画像の一部の領域のみを合成することも可能
である。
【００４０】
【発明の効果】以上のように、本発明の画像合成符号化
方法および画像合成装置は、圧縮画像を一旦可変長復号
し、復号して得た画像あるいは変換係数を合成画像と加
算するので、可変長符号化した圧縮画像データでも合成
することができる。また、合成画像データの再符号化に
は、復号して得た動き補償、動きベクトル、DCTモード
情報などを用いるため、簡単な構成で圧縮画像データの
合成が可能となる。さらに、合成するための画像データ
を圧縮画像データに多重化して送ることにより、符号化
側の負担が軽い画像合成装置を構成することも可能とな
る。
方法および画像合成装置は、圧縮画像を一旦可変長復号
し、復号して得た画像あるいは変換係数を合成画像と加
算するので、可変長符号化した圧縮画像データでも合成
することができる。また、合成画像データの再符号化に
は、復号して得た動き補償、動きベクトル、DCTモード
情報などを用いるため、簡単な構成で圧縮画像データの
合成が可能となる。さらに、合成するための画像データ
を圧縮画像データに多重化して送ることにより、符号化
側の負担が軽い画像合成装置を構成することも可能とな
る。
【図１】本発明の第１の実施例における画像合成装置の
ブロック図
ブロック図
【図２】本発明の第１の実施例における簡易動き補償回
路及びフレームバッファの構成図
路及びフレームバッファの構成図
【図３】本発明の第１の実施例におけるCPUの動作を示
すアルゴリズムの説明図
すアルゴリズムの説明図
【図４】本発明の第１の実施例における合成した画像の
動き補償方法を示す説明図
動き補償方法を示す説明図
【図５】本発明の第２の実施例における画像合成装置の
ブロック図
ブロック図
【図６】本発明の第３の実施例における画像合成符号化
方法の説明図
方法の説明図
【図７】本発明の第３の実施例における画像合成装置の
ブロック図
ブロック図
【図８】従来の画像符号化装置のブロック図
【図９】従来の動き補償予測方法の説明図
【図１０】従来の動き補償回路及びフレームバッファの
構成図
構成図
1 画像復号化部 2 画像符号化部 3 制御部 4 画像情報検出回路 5 デマルチプレクス回路 11 可変長復号化回路 12 逆量子化回路 13 逆DCT回路 14 フレームバッファ 15 簡易動き補償回路 21 DCT回路 22 量子化回路 23 可変長符号化回路 24 逆量子化回路 25 逆DCT回路 26 フレームバッファ 27 簡易動き補償回路
フロントページの続き (56)参考文献 特開 平５−308525（ＪＰ，Ａ) 特開 平５−75837（ＪＰ，Ａ) 日比慶一、外３名，“映像の再符号化 における符号化制御方式の検討”，画像 符号化シンポジウム第８回シンポジウム 資料（ＰＣＳＪ93），社団法人電子情報 通信学会，平成５年10月４日，ｐ．27− 28 (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 7/24 - 7/68 H04N 5/91 - 5/956 H04N 1/41 - 1/419
Claims (4)
- 【請求項１】フレーム単位に構成した映像信号を時間的
に前のフレームから予測する前方予測、及び時間的に後
ろのフレームから予測する後方予測、並びに前方予測及
び後方予測の両方を同時に用いた双方向予測、の少なく
とも１種類の予測を用いて予測符号化して得た圧縮画像
データＡと、画像データＢとを、画像データＡの少なく
とも一部の領域において合成し合成画像を得、前記合成
画像を再符号化する方法であって、前記合成画像のうち
前記圧縮画像データＡのみによって構成した部分は前記
圧縮画像データＡのみから予測して再符号化することを
特徴とする画像合成符号化方法。 - 【請求項２】フレーム単位に構成した映像信号を時間的
に前のフレームから予測する前方予測、及び時間的に後
ろのフレームから予測する後方予測、並びに前方予測及
び後方予測の両方を同時に用いた双方向予測、の少なく
とも１種類の予測を用いて予測符号化して得た圧縮画像
データＡと、画像データＢとを、画像データＡの少なく
とも一部の領域において合成し合成画像を得、前記合成
画像を再符号化する方法であって、前記合成画像データ
のうち画像データＢを合成した領域の動き補償は画像デ
ータＢの動き情報を用いることを特徴とする画像合成符
号化方法。 - 【請求項３】フレーム単位に構成した映像信号を時間的
に前のフレームから予測する前方予測、及び時間的に後
ろのフレームから予測する後方予測、並びに前方予測及
び後方予測の両方を同時に用いた双方向予測、の少なく
とも１種類の予測を用いて予測符号化して得た圧縮画像
データＡと、画像データＢとを合成する方法であって、
圧縮画像データＡの中でフレーム内符号化しているフレ
ームから合成を開始することを特徴とする画像合成符号
化方法。 - 【請求項４】フレーム単位に構成した映像信号を時間的
に前のフレームから予測する前方予測、及び時間的に後
ろのフレームから予測する後方予測、並びに前方予測及
び後方予測の両方を同時に用いた双方向予測、の少なく
とも１種類の予測を用いて予測符号化して得た圧縮画像
データＡと、画像データＢとを合成する方法であって、
圧縮画像データＡの中でフレーム内符号化しているフレ
ームで画像データＢの内容を変えることを特徴とする画
像合成方法。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3974394A JP3186406B2 (ja) | 1994-03-10 | 1994-03-10 | 画像合成符号化方法及び画像合成装置 |
| EP94308669A EP0656729B1 (en) | 1993-12-01 | 1994-11-23 | Method and apparatus for editing or mixing compressed pictures |
| DE69422960T DE69422960T2 (de) | 1993-12-01 | 1994-11-23 | Verfahren und Vorrichtung zum Editieren oder zur Mischung von komprimierten Bildern |
| US08/348,980 US5912709A (en) | 1993-12-01 | 1994-11-28 | Method and apparatus for editing or mixing compressed pictures |
| KR1019940031910A KR0161551B1 (ko) | 1993-12-01 | 1994-11-30 | 압축화상의 편집 또는 합성방법 및 장치 |
| US09/128,667 US6088396A (en) | 1993-12-01 | 1998-08-04 | Method and apparatus for editing or mixing compressed pictures |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3974394A JP3186406B2 (ja) | 1994-03-10 | 1994-03-10 | 画像合成符号化方法及び画像合成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07250329A JPH07250329A (ja) | 1995-09-26 |
| JP3186406B2 true JP3186406B2 (ja) | 2001-07-11 |
Family
ID=12561452
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3974394A Expired - Lifetime JP3186406B2 (ja) | 1993-12-01 | 1994-03-10 | 画像合成符号化方法及び画像合成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3186406B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3496604B2 (ja) | 1999-12-20 | 2004-02-16 | 日本電気株式会社 | 圧縮画像データ再生装置および圧縮画像データ再生方法 |
| MX2021003267A (es) * | 2018-09-21 | 2021-05-12 | Panasonic Ip Corp America | Metodo de codificacion de datos tridimensionales, metodo de decodificacion de datos tridimensionales, dispositivo de codificacion de datos tridimensionales y dispositivo de decodificacion de datos tridimensionales. |
-
1994
- 1994-03-10 JP JP3974394A patent/JP3186406B2/ja not_active Expired - Lifetime
Non-Patent Citations (1)
| Title |
|---|
| 日比慶一、外３名，"映像の再符号化における符号化制御方式の検討"，画像符号化シンポジウム第８回シンポジウム資料（ＰＣＳＪ９３），社団法人電子情報通信学会，平成５年１０月４日，ｐ．２７−２８ |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07250329A (ja) | 1995-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9549195B2 (en) | Image decoding device and method thereof using inter-coded predictive encoding code | |
| JP3268306B2 (ja) | 画像符号化方法 | |
| JP3092281B2 (ja) | 画像信号の高能率符号化及び復号化装置 | |
| JPH11112973A (ja) | 映像信号変換装置及び映像信号変換方法 | |
| JP3201079B2 (ja) | インターレース動画像信号の動き補償予測方法、符号化方法及び装置 | |
| JP3623056B2 (ja) | 動画像圧縮装置 | |
| JP3257052B2 (ja) | 画像信号の高能率符号化装置及びその方法 | |
| JP3186406B2 (ja) | 画像合成符号化方法及び画像合成装置 | |
| JPH10276437A (ja) | 階層的動画像信号符号化／復号化方法及び装置 | |
| JP4422629B2 (ja) | 動画像符号化装置、復号化装置、動画像記録装置および動画像再生装置 | |
| JPH09149415A (ja) | 画像符号化装置および画像復号化装置 | |
| JP3188081B2 (ja) | 画像符号化方法および画像符号化装置 | |
| JP3552045B2 (ja) | 画像信号記録媒体の記録方法、画像信号記録装置、および、画像信号再生装置 | |
| JP3381167B2 (ja) | 画像信号の高能率復号化装置及びその方法 | |
| JPH06105299A (ja) | 動画像圧縮装置 | |
| JPH0738899A (ja) | 画像符号化装置 | |
| JP3968528B2 (ja) | 画像信号符号化方法及び装置 | |
| JPH06284415A (ja) | 動き補償予測符号化および復号化装置 | |
| JPH09154136A (ja) | 画像信号符号化方法及び装置、信号記録媒体、並びに画像信号復号方法及び装置 | |
| JP2004088795A (ja) | 画像信号生成装置および方法、並びに、画像信号再生装置および方法 | |
| JP2004153853A (ja) | 映像信号符号化・復号化装置及び符号化・復号化方法 | |
| JPH10174109A (ja) | 画像復号装置 | |
| JP2000350214A (ja) | 動き補償予測符号化方法及びその装置 | |
| JP2004304846A (ja) | 画像符号化方法及び装置 | |
| JPH07184205A (ja) | 画像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090511 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100511 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110511 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110511 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120511 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120511 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130511 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130511 Year of fee payment: 12 |
|
| EXPY | Cancellation because of completion of term |