JPH06205397A - 動画像符号化装置 - Google Patents

Abstract

(57)【要約】 【目的】低解像度局部復号信号をアップサンプリングし
て高解像度画像信号の符号化における予測に用いる際の
アップサンプリング処理を改良して予測効率を向上さ
せ、符号化効率を高くした動画像符号化装置を提供す
る。 【構成】高解像度局部復号信号２６を基に高解像度予測
信号４０を生成する第１の予測器２８、低解像度局部復
号信号５６をアップサンプリングするアップサンプリン
グ回路６０、アップサンプリング信号を基に低解像度予
測信号６２を生成する第２の予測器６１、高解像度予測
信号４０と低解像度予測信号６２およびそれらを重み付
け加算した信号のいずれかを高解像度画像信号１１の符
号化のための予測信号１３として生成する第３の予測器
６３を有し、アップサンプリング回路６０はフィールド
内補間信号とフレーム内補間信号およびそれらの重み付
け加算信号から高解像度画像信号１１を基に一つの信号
を選択して出力する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は動画像符号化装置に係
り、特に放送、ＴＶ会議またはＴＶ電話等のような、回
線を通じて動画像の伝送を行うシステムや、光ディスク
たまはビデオテープ等の蓄積系メディアに動画像を蓄積
するシステムに使用される動画像符号化装置に関する。

【０００２】

【従来の技術】ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭといった
現行ＴＶ方式のＴＶ信号（以下、現行ＴＶ信号という）
をディジタル高能率符号化技術を用いて情報量を削減
し、ＩＳＤＮ回線等のディジタル回線や無線で伝送・分
配したり、光ディスク、ビデオテープ、計算機記憶媒体
などの蓄積系メディアに蓄積するための動画像高能率符
号化方式が提案され、ＣＣＩＴＴ（Ｈ．２６Ｘ）および
ＩＳＯ（ＭＰＥＧ２）の場において標準化作業が進めら
れている。

【０００３】一方、将来のＨＤＴＶ（高精細テレビジョ
ン）方式の普及に向けて、ＨＤＴＶに対応した動画像符
号化方式の開発も行われており、先の標準化の場におい
て検討が進められている。現在のところＮＴＳＣ等の現
行ＴＶ方式のＴＶ受像機が広く一般に普及しているた
め、ＨＤＴＶ信号を放送や蓄積系メディアを用いて分配
する場合、ＨＤＴＶ受像機だけでなく現行ＴＶ受像機に
おいても画像を再生できるようにすることが強く望まれ
ている。また、通信系においてもＨＤＴＶ通信装置と現
行ＴＶ方式の通信装置が混在してマルチポイント接続さ
れる場合に、両方式の通信装置間でも動画像通信が行え
ることが要求されている。

【０００４】このような要求条件を満たすためには、動
画像符号化方式はエンコーダが作成したビット列の一部
を取り出すことにより低解像度の画像を復号できる、い
わゆるスケーラビリティを持ち、しかも現行ＴＶ方式用
のデコーダにおいても復号が行えるコンパチビリティを
持つ方式でなければならない。

【０００５】スケーラビリティを持つ動画像符号化方式
は、様々な方式が考えられる。それらのうち、スケーラ
ビリティをオプションとして定義できる方法として、低
解像度画像信号（例えば現行ＴＶ信号）のエンコーダか
ら得られる低解像度局部復号信号を高解像度画像信号
（例えばＨＤＴＶ信号）を予測符号化する際の予測信号
の候補に加える方式が提案されている。

【０００６】図１０は、この方式に基づく動画像符号化
装置の概略構成を示すブロック図である。高解像度画像
信号（例えばＨＤＴＶ信号）は、高解像度画像エンコー
ダ１に入力されると共に、ダウンサンプリング回路２に
よって低解像度画像信号（例えばＮＴＳＣ信号）にダウ
ンサンプリングされ、低解像度画像エンコーダ３に入力
される。エンコーダ１からの符号化出力は上位レイヤビ
ット列として出力されると共に、高解像度画像ローカル
デコーダ４により局部復号される。エンコーダ３からの
符号化出力は下位レイヤビット列として出力されると共
に、低解像度ローカルデコーダ５により局部復号され
る。高解像度ローカルデコーダ４から得られる高解像度
局部復号信号は、エンコーダ１に予測信号としてフィー
ドバックされ、低解像度ローカルデコーダ５から得られ
る低解像度局部復号信号は低解像度エンコーダ３に予測
信号としてフィードバックされると共に、アップサンプ
リング回路６を経て高解像度エンコーダ１にも予測信号
として供給される。予測器７は高解像度ローカルデコー
ダ４からの局部復号信号、アップサンプリング回路６か
らの予測信号およびこれらを重み付け加算した信号のい
ずれかを選択的し、それを高解像度エンコーダ１に予測
信号として供給する。

【０００７】ここで、ＨＤＴＶ信号および現行ＴＶ信号
は、いずれもインタレース走査された信号であり、高解
像度画像信号と低解像度画像信号の垂直方向の画素位置
は図１１に示すような関係になっている。

【０００８】図１２、図１３および図１４は、アップサ
ンプリング回路６の３通りの従来手法による処理を説明
したものである。

【０００９】図１２の処理では、低解像度画像信号は１
フィールド毎に水平方向および垂直方向にアップサンプ
リングされ、高解像度画像信号が生成される。図１１に
示したように、高解像度画像信号と低解像度画像信号の
垂直方向の画素位置関係が奇数フィールドと偶数フィー
ルドで異なるため、垂直方向のアップサンプリングは奇
数フィールドと偶数フィールドで異なる処理が行われ
る。すなわち、奇数フィールドについては例えば−１
２，０，１４０，２５６，１４０，０，−１２／２５６
という奇数フィールド用フィルタ係数を用いて奇数タッ
プのフィルタリングを行ってアップサンプリングする。
偶数フィールドについては例えば−４，２０，２２０，
２２０，４０，−４／２５６という偶数フィールド用フ
ィルタ係数を用いて偶数タップのフィルタリングを行っ
てアップサンプリングする。

【００１０】図１３の処理では、低解像度画像信号はフ
レーム単位で水平方向および垂直方向にアップサンプリ
ングされ、高解像度画像信号が生成される。

【００１１】図１４の処理では、動き適応ノンインタレ
ース変換を用いたアップサンプリングが行われる。

【００１２】この場合、まず低解像度画像の連続する２
フィールドの信号に対しノンインタレース変換が行われ
る。このノンインタレース変換は、例えば文献(1) ：C.
L.Lee,S.Chang,C.W.Jen,"Motion Detection and Motion
Adaptie Pro-scan Conversion",1991 IEEE Internatio
nal Symposium on Circuits and Systems.vol.1,pp.666
-9,(June 1991)、文献(2) ：A.Nguyen,Eric Dubois,"Sp
atio-temporal Adaptive Interlaced-to-progressive C
onversion",International Workshop on HDTV'92 およ
び文献(3) V.G.Devereux,"Standards Conversion betwe
en 1250/50 and625/50 TV Systems",IBC 1992,pp.51-5,
(July,1992)に記載の手法のように、画像の動きに適応
した処理や時空間処理によって行う。ノンインタレース
変換された信号は、水平方向にアップサンプリングされ
る。偶数フィールドは高解像度画像信号との垂直方向の
画素位置が一致するようにラインシフトされた後、奇数
フィールドとフィールドマージされて高解像度画像信号
が生成される。

【００１３】しかし、これらのアップサンプリング処理
では、インタレース画像信号である低解像度画像信号か
ら高解像度画像信号へのアップサンプリングに関して次
のような問題点がある。

【００１４】図１２の処理においては、フレーム画像を
１／２間引きしたフィールドの単位でアップサンプリン
グが行われるため、画像の静止領域で高域成分の折り返
しを生じ、特に動きの少ない高精細な画像で予測効率が
悪かった。

【００１５】図１３の処理においては、時間的にズレの
ある２つのフィールドが重ね合わされてアップサンプリ
ングされるため、特に動きの大きい領域で予測効率の低
下を招いていた。

【００１６】図１４の処理においては、画像の動きに適
応した処理や時空間処理等によるノンインタレース変換
を用いることにより、図１２および図１３の処理の問題
点を解決しようとしているものの、低解像度画像信号を
用いて動きを検出するため、低解像度復号画像信号に含
まれる符号化歪のために誤った動き判定が行われる可能
性があり、低解像度復号信号をアップサンプリングして
高解像度画像信号の予測に用いる符号化方式には十分な
ものとはいえない。

【００１７】また、文献１〜３に記載されているような
動き適応処理や時空間処理を用いるアップサンプリング
法では、低解像度復号信号の入力順に連続する複数のフ
レームを用いるため、フレームメモリが多く必要とな
る、遅延が大きくなる、ランダムアクセスが不可能とな
る、などの問題点がある。この問題点について、図１５
を用いて説明する。

【００１８】図１５は、高解像度画像および低解像度画
像の入力順、符号化順、フレーム単位の符号化モード
（Ｉ，Ｐ，Ｂ）を示したものである。Ｉ，Ｐ，Ｂはそれ
ぞれフレーム内符号化、前方向予測符号化、両方向予測
符号化を行うフレームを表す。図１５（ａ）は例えばＩ
ＳＯ・ＭＰＥＧのように両方向予測符号化を併用した符
号化方式であり、図１５（ｂ）はフレーム内符号化と前
方向予測符号化のみを用いた符号化方式である。

【００１９】図１５（ａ）において、高解像度画像の入
力順序２のフレームを低解像度画像から予測する場合、
文献１のような入力順で前のフレームを用いて動き適応
処理を行う方法では、低解像度画像の入力順序２のフレ
ームのみでなく、符号化順序がこれより後の入力順序１
のフレームがアップサンプリングに用いられる。このた
め、符号化および復号に際しては入力順序１のフレーム
の局部復号および復号をそれぞれ待たなければならず、
フレームメモリを増やす必要があると共に、符号化およ
び復号化に伴う遅延が増加するという問題がある。この
問題は高解像度画像の入力順序４のフレームを低解像度
画像から予測する場合も同様である。

【００２０】また、文献２，３のように前後の複数フィ
ールドを用いて時空間処理を行う方法では、高解像度画
像の入力順序２のフレームを予測する場合、少なくとも
低解像度画像の入力順序１，２，３のフレームが用いら
れるため、符号化順序４（入力順序３）のフレームの復
号を待たなければならず、フレームメモリはさらに多く
必要となり、符号化遅延も増加する。これは入力順序
１，４のフレームでも同様である。

【００２１】さらに、ＭＰＥＧのような符号化方式で
は、ランダムアクセスを可能にするために、前後のフレ
ームを参照しないフレーム内符号化を定期的に行う方法
がとられることがある。図１５（ａ）では、入力順序２
のフレームがフレーム内符号化であるが、文献１〜３の
ように前方あるいは前後のフレームを用いるアップサン
プリング法では、ランダムアクセスを行うことができな
くなってしまうという問題がある。

【００２２】図１５（ｂ）のように前方向予測のみを用
いる符号化でも、同様にフレームメモリが増加する、符
号化遅延が増加するといった問題が生じる。文献１に記
載されているような前のフレームをアップサンプリング
に用いる方法では、フレームメモリが増加する。文献
２，３のように前後のフレームをアップサンプリングに
用いる方法では、符号化順が後のフレームを用いるた
め、フレームメモリ、符号化および復号に伴う遅延は、
共に増加する。

【００２３】このように文献１〜３に記載された入力順
で前方および後方の少なくとも一方のフレームも用いる
アップサンプリング法では、符号化・復号に伴いフレー
ムメモリの増加、遅延の増加、ランダムアクセスができ
なくなる、などの問題が生じるという欠点があった。

【００２４】

【発明が解決しようとする課題】上述したように、現行
ＴＶ信号のようなインタレース走査された低解像度画像
信号の局部復号信号をアップサンプリングしてＨＤＴＶ
信号のようなインタレース走査された高解像度画像信号
の符号化の際の予測に用いる場合、従来の方式ではイン
タレース走査された低解像度局部復号信号から高解像度
画像信号へのアップサンプリング処理が高解像度画像信
号の予測に用いるための処理としては十分でないため
に、効率の良い予測を行うことができず、符号化効率が
低いという問題があった。

【００２５】本発明は、低解像度局部復号信号をアップ
サンプリングして高解像度画像信号の符号化における予
測に用いる際のアップサンプリング処理を改良して予測
効率を向上させることにより、符号化効率を高くできる
動画像符号化装置を提供することを目的とする。

【００２６】

【課題を解決するための手段】上記の課題を解決するた
めに、本発明は高解像度画像信号を予測符号化すると共
に、高解像度画像信号を変換して得られた低解像度画像
信号を予測符号化する動画像符号化装置において、前記
高解像度画像信号を予測符号化した信号から復号される
高解像度局部復号信号を基に高解像度予測信号を生成す
る第１の予測手段と、前記低解像度画像を予測符号化し
た信号から復号される低解像度局部復号信号をアップサ
ンプリングするアップサンプリング手段と、前記アップ
サンプリング手段の出力信号を基に低解像度予測信号を
生成する第２の予測手段と、前記高解像度予測信号と前
記低解像度予測信号およびそれらを重み付け加算した信
号のいずれかを前記高解像度画像信号の予測符号化に用
いる予測信号として生成する第３の予測手段とを備え
る。

【００２７】そして、第１の発明では前記アップサンプ
リング手段は、(a) 前記低解像度局部復号信号の１フィ
ールド内の信号のみからなるフィールド内補間信号を作
成するフィールド内補間信号作成手段と、(b) 前記低解
像度局部復号信号の連続する２つのフィールドの信号か
らなるフレーム内補間信号を作成するフレーム内補間信
号作成手段と、(c) 前記フィールド内補間信号と前記フ
レーム内補間信号およびそれらを重み付け加算した信号
から、前記高解像度画像信号と符号化に必要な他の情報
の少なくとも一つを基に適応的に決定された一つの信号
を該アップサンプリング手段の出力信号として選択する
選択手段とにより構成される。

【００２８】第２の発明では、前記アップサンプリング
手段は、(a) 前記低解像度局部復号信号の連続する２つ
のフィールドに対して動き補償アップサンプリングを行
う第１および第２の動き補償アップサンプリング手段
と、(b) これら第１および第２の動き補償アップサンプ
リング手段で用いる動きベクトルを前記高解像度画像信
号を参照して検出する動きベクトル検出手段とにより構
成される。

【００２９】第３の発明では、前記アップサンプリング
手段は、(a) 前記低解像度局部復号信号の連続する２つ
のフィールドに対して動き補償アップサンプリングを行
う第１および第２の動き補償アップサンプリング手段
と、(b) これら第１および第２の動き補償アップサンプ
リング手段で用いる動きベクトルを前記低解像度画像信
号の予測符号化で用いられた動きベクトルおよび前記高
解像度画像信号の予測符号化で用いられた動きベクトル
の少なくとも一方を基に計算する動きベクトル計算手段
とにより構成される。この場合、計算された動きベクト
ルを基準としてその周囲を探索して動きベクトルを求め
るようにしても良い。

【００３０】また、本発明は前記第３の予測手段におい
て前記重み付け加算に使用する重み係数を(a) 前記低解
像度画像信号の予測符号化で用いられた動きベクトル、
(b)前記高解像度画像信号の予測符号化で用いられた動
きベクトル、および(c) 前記アップサンプリング手段が
動き補償アップサンプリングを行う場合に該動き補償ア
ップサンプリングで用いられる動きベクトルの少なくと
も一つを用いて決定する重み係数決定手段をさらに備え
ることを特徴とする。

【００３１】

【作用】第１の発明によると、低解像度局部復号信号を
アップサンプリングし、そのアップサンプリングした信
号から低解像度予測信号を作成する際に、低解像度局部
復号信号のフィールド内補間信号とフレーム内補間信号
のいずれか一方およびそれらを重み付け加算した信号か
ら、高解像度画像信号と符号化に必要な他の情報の少な
くとも一つを基に適応的に決定された一つの信号を選択
して用いることにより、画像の動きに応じた適応的なア
ップサンプリングが行われる。

【００３２】このため、フィールド内アップサンプリン
グのみを用いたときの静止領域における折り返しによる
効率低下や、フレーム内アップサンプリングのみを用い
たときに時間的に異なる信号成分が入り込むことによる
効率低下が無くなり、静止領域および動領域のいずれの
領域においても効率のよい予測を行うことができる。こ
の場合、フィールド内補間信号とフレーム内補間信号の
重み付け加算する際の高解像度画像信号を参照画像とし
て適応的に決定すれば、高解像度画像を予測するために
最適な重み係数が決定されるため、符号化効率がさらに
向上する。

【００３３】第２の発明によると、低解像度局部復号信
号のアップサンプリングを動き補償アップサンプリング
する際に、高解像度画像信号を参照画像信号として動き
補償アップサンプリングのための動きベクトルを決定す
ることにより、高解像度画像信号を予測符号化するのに
最適な動きベクトルが決定されるため、符号化効率が向
上する。

【００３４】第３の発明によると、低解像度局部復号信
号のアップサンプリングを動き補償アップサンプリング
する際に、低解像度画像信号の予測符号化や高解像度画
像信号の予測符号化に用いられた動きベクトルを用いて
計算することにより、動き補償アップサンプリングに必
要な動きベクトルを特別に伝送する必要がなくなる。ま
た、計算された動きベクトルを基準としてその周囲を探
索して動きベクトルを求める場合においても、動き補償
アップサンプリングのための動きベクトルを直接求めて
伝送する場合に比べて、動きベクトルの探索範囲を狭く
できるため、動きベクトル情報量が削減されると共にハ
ードウエアも削減される。

【００３５】

【実施例】以下、本発明の実施例を説明する。図１は、
本発明に係る動画像符号化装置の一実施例を示すブロッ
ク図である。

【００３６】図１において、端子１０には入力画像信号
１１として高解像度画像信号、例えばＨＤＴＶ信号が入
力される。この入力高解像度画像信号１１は減算器１２
に入力され、予測信号１３との差がとられて予測誤差信
号１４が生成される。

【００３７】第１の選択スイッチ１５によって、入力高
解像度画像信号１１と予測誤差信号１４のいずれか一方
が選択される。選択スイッチ１５により選択された信号
は、ＤＣＴ（離散コサイン変換）回路１７によってＤＣ
Ｔされる。ＤＣＴ回路１７により得られたＤＣＴ係数デ
ータは、量子化回路１８により量子化される。量子化回
路１８で量子化された信号は二分岐され、一方は可変長
符号化回路１９により可変長符号化された後、バッファ
２０を経て所定のビットレートで出力端子２１から図示
しない伝送系または蓄積系へ送出される。

【００３８】ここで、減算器１２、選択スイッチ１５、
ＤＣＴ回路１７、量子化回路１８および可変長符号化回
路１９により、動き補償適応予測符号化方式による高解
像度画像符号化回路が構成される。

【００３９】量子化回路１８で量子化され二分岐された
信号の他方は、逆量子化回路２２および逆ＤＣＴ回路２
３により量子化回路１８およびＤＣＴ回路１７での処理
と逆の処理を順次受けた後、加算器２４で予測信号１３
と加算される。第２の選択スイッチ２５は選択スイッチ
１５と連動して制御され、第１の選択スイッチ１５で入
力高解像度画像信号１１が選択された場合は逆ＤＣＴ回
路２３の出力、第１の選択スイッチ１５で予測残差信号
１４が選択された場合は加算器２４の出力をそれぞれ選
択することにより、高解像度局部復号信号２６を生成す
る。

【００４０】ここで、逆量子化回路２２、逆ＤＣＴ回路
２３、加算器２４および第２の選択スイッチ２５によ
り、高解像度局部復号回路が構成される。

【００４１】高解像度局部復号信号２６は、フレームメ
モリ２７に書き込まれる。フレームメモリ２７の出力は
第１の予測器２８に入力され、高解像度予測信号４０の
作成に使用される。第１の予測器２８は、高解像度画像
信号である入力高解像度画像信号１１とフレームメモリ
２７からの高解像度局部復号信号との間で動きベクトル
検出を行い、この動きベクトルを用いて動き補償フレー
ム間（またはフィールド間）予測を行うことにより、高
解像度予測信号４０を発生すると共に動きベクトル情報
３８を出力する。

【００４２】なお、第１の予測器２８における予測方式
は、例えば、フレーム間予測とフィールド間予測を適応
的に切り替える方式でもよいし、文献(4) ：尾高、山
影、山口、“インターレース画像に対する適応動き補償
予測の一方式”１９９２年画像符号化シンポジウム（Ｐ
ＣＳＪ９２），５−１３に記載されているような方式を
用いてもよい。

【００４３】一方、入力高解像度画像信号１１は高解像
度画像信号から低解像度画像信号への変換手段であるダ
ウンサンプリング回路２９にも入力され、ここでダウン
サンプリングされることにより、例えばＣＣＩＲ、Ｒｅ
ｃ．６０１で規定されるフォーマットの低解像度画像信
号に変換される。この低解像度画像信号は、高解像度画
像信号と同様にインタレース走査された信号である。高
解像度画像信号と低解像度信号の垂直方向の画素位置
は、図１１に示したような関係になっている。

【００４４】ダウンサンプリング回路２９は、例えば図
２または図３に示す処理を行う。図２はフィールド内で
ダウンサンプリングを行う処理を示したものである。高
解像度画像信号は１フィールド毎に水平方向および垂直
方向にダウンサンプリングされ、低解像度画像信号が生
成される。図１１に示すように、高解像度画像信号と低
解像度画像信号の垂直方向の画素位置関係が奇数フィー
ルドと偶数フィールドで異なるため、垂直方向のダウン
サンプリングは奇数フィールドと偶数フィールドで異な
る処理が行われる。

【００４５】すなわち、奇数フィールドは例えば、−２
９，０，８８，１３８，８８，０，−２９／２５６とい
う奇数フィールド用フィルタ係数を用いて奇数タップの
フィルタリングを行ってダウンサンプリングする。偶数
フィールドは例えば、−４，２３，１０９，１０９，２
３，−４／２５６という偶数フィールド用フィルタ係数
を用いて偶数タップのフィルタリングを行ってダウンサ
ンプリングする。

【００４６】図３は、インタレース画像をノンインタレ
ース画像に変換してからダウンサンプリングする方式に
おける処理を示したものである。ノンインタレース変換
は、例えば文献１、文献２や文献３に記載した手法のよ
うに、動きに適応した処理や時空間処理を行う。ノンイ
ンタレース変換された信号は水平方向に１／２、垂直方
向に１／４にダウンサンプリングされ、低解像度画像信
号が生成される。

【００４７】図１に説明を戻すと、ダウンサンプリング
回路２９によって得られた低解像度画像信号４２は減算
器４３、選択スイッチ４４、ＤＣＴ回路４５、量子化器
４６および可変長符号化回路４７により構成される動き
補償適応予測符号化方式による低解像度画像符号化回路
によって符号化される。この低解像度画像符号化回路の
出力は、バッファ３１を経て所定のビットレートで出力
端子３２から伝送系または蓄積系へ送出される。量子化
器４６の出力は、逆量子化器４８、逆ＤＣＴ回路４９、
加算器５０および選択スイッチ５１より構成される低解
像度局部復号回路によって局部復号される。この低解像
度局部復号回路の出力（選択スイッチ５１の出力）５６
は二分岐され、一方はフレームメモリ５２に書き込まれ
る。フレームメモリ５２の出力は予測器５３に入力さ
れ、低解像度画像信号の符号化のための予測信号５５の
作成に使用される。

【００４８】上述した低解像度画像符号化回路、低解像
度局部復号回路、バッファ３１、フレームメモリ５２お
よび予測器５３の動作は、扱う信号の解像度が異なるこ
とを除いて、それぞれ前述した高解像度画像符号化回
路、高解像度局部復号回路、バッファ２０、フレームメ
モリ２７および予測器２８のそれと同様であるので、詳
細な説明は省略する。

【００４９】二分岐された低解像度局部復号回路の出力
５６の他方はアップサンプリング回路６０に入力され、
ここでアップサンプリングされることにより高解像度画
像信号であるアップサンプリング画像信号６５が生成さ
れる。このアップサンプリング画像信号６５は、第２の
予測器６１での低解像度予測信号６２の作成に使用され
る。

【００５０】また、第３の予測器６３により高解像度予
測信号４０および低解像度予測信号６２を基に予測信号
１３が生成される。第３の予測器６３における処理は、
高解像度予測信号４０と低解像度予測信号６２のいずれ
か一方を予測信号１３として選択するようにしてもよい
し、これらを重み付け加算した信号を予測信号１３とし
て生成するようにしてもよい。これら高解像度予測信号
４０と低解像度予測信号６２の選択あるいは重み係数の
決定は、例えば予測信号１３と入力高解像度画像信号１
１との二乗誤差を小さくするものを選択するようにすれ
ばよい。第３の予測器６３からは高解像度予測信号４０
と低解像度予測信号６２のいずれの信号が予測信号１３
として選択されたかを示す情報、あるいは予測に用いら
れた重み係数を示す情報６４も出力され、可変長符号化
回路１９において高解像度画像符号化回路の出力と多重
化されて出力端子２１から送出される。

【００５１】次に、本発明の特徴部分であるアップサン
プリング回路６０について詳細に説明する。図４は、ア
ップサンプリング回路６０の処理を説明したものであ
る。このように低解像度局部復号回路の出力である低解
像度局部復号信号５６が水平方向に２倍にアップサンプ
リングされ、さらに垂直方向のアップサンプリングが施
されることにより、高解像度画像信号であるアップサン
プリング画像信号６５が生成される。

【００５２】図５は、アップサンプリング回路６０のう
ちの図４における垂直方向アップサンプリングを行う垂
直方向アップサンプリング回路部の第１の発明に基づく
構成例を示すブロック図である。この垂直方向アップサ
ンプリング回路部では、フィールド内アップサンプリン
グ信号とフレーム内アップサンプリング信号が適応的に
重み付け加算される。

【００５３】すなわち、アップサンプリング回路６０の
うち図４における水平方向アップサンプリングを行う水
平方向アップサンプリング回路部から入力される、低解
像度局部復号信号５６を水平方向にアップサンプリング
した信号４０１は、第１のフィールド分解回路４０２で
奇数フィールド信号４０３と偶数フィールド信号４０４
に分解される。奇数フィールド信号４０３および偶数フ
ィールド信号４０４は、それぞれ奇数フィールド・フィ
ールド内補間回路４０５および偶数フィールド・フィー
ルド内補間回路４０６によって各フィールド内の信号を
用いた垂直方向の補間処理が施される、奇数フィールド
・フィールド内補間信号４０７および偶数フィールド・
フィールド内補間信号４０８が生成される。

【００５４】奇数フィールド・フィールド内補間回路４
０５および偶数フィールド・フィールド内補間回路４０
６は、それぞれ図１１において○印の信号から×印の信
号を作成する処理、および□印の信号から△印の信号を
補間する処理を行うものであり、具体的には例えば上下
のラインを距離に応じて線形補間する次式で表される計
算を行う。

【００５５】 ｆso(i*2) ＝ｆo(i) ｆso(i*2+1) ＝（ｆo(i)＋ｆo(i+1)）／２ ｆse(i*2) ＝（3*ｆe(i)＋ｆe(i+1)）／４ ｆse(i*2+1) ＝（ｆe(i)＋3*ｆe(i+1)）／４ ただし、 ｆo ：奇数フィールド信号４０３ ｆe ：偶数フィールド信号４０４ ｆso：奇数フィールド・フィールド内補間信号４０７ ｆse：偶数フィールド・フィールド内補間信号４０８ ｉ ：ライン番号 一方、奇数フィールド・フレーム内補間回路４４７およ
び偶数フィールド・フレーム内補間回路４４８では、二
つのフィールドの信号を用いてフィールド重ね垂直方向
補間処理が行われ、奇数フィールド・フレーム内補間信
号４０９および偶数フィールド・フレーム内補間信号４
１０が生成される。これは図１１の○印の信号と□印の
信号の両方を用いてそれぞれ×印の信号および△印の信
号を補間する処理を行うものであり、例えば次式で表さ
れる計算を行う。

【００５６】 ｆto(i*2) ＝ｆo(i) ｆto(i*2+1) ＝ｆe(i) ｆte(i*2) ＝（ｆo(i)＋ｆe(i)）／２ ｆte(i*2+1) ＝（ｆe(i)＋ｆo(i+1)）／２ 奇数（偶数）フィールド・フィールド内補間信号４０７
（４０８）および奇数（偶数）フィールド・フレーム内
補間信号４０９（４１０）は、それぞれ乗算器４１６
（４１７）および４１８（４１９）において重み係数Ｗ
o(Ｗe)および１−Ｗo(１−Ｗe)が乗算され、加算器４２
０（４２１）で加算されて奇数（偶数）フィールドのア
ップサンプリング画像信号４２２（４２３）が生成され
る。

【００５７】ここで、重み係数Ｗo およびＷｅ（０≦Ｗ
o ，Ｗｅ≦１）は、入力高解像度画像信号１１を参照信
号として決定される。すなわち、入力高解像度画像信号
１１は第２のフィールド分解回路４１１で高解像度奇数
フィールド信号４１２および高解像度偶数フィールド信
号４１３に分解され、それぞれ奇数フィールド重み判定
回路４１４および偶数フィールド重み判定回路４１５に
入力される。例えば、幾つかの重み係数の候補のうち、
アップサンプリング画像信号４２２および４２３と入力
信号４１２および４１３の誤差の自乗平均値または絶対
値和が最小になる重み係数を選択すればよい。あるいは
試みに符号化を行い、符号量が最小となる重み係数を選
択しても良い。重み係数の選択情報４３０および４３１
は、サイド情報４４０として伝送される。

【００５８】重み係数Ｗo ，Ｗｅの候補は０と１のみと
してもよい。この場合、フィールド内アップサンプリン
グとフレーム内アップサンプリングのいずれか一方が用
いられることになるので、乗算器４１６〜４１９および
加算器４２０，４２１は必要なく、代わりに各フィール
ドにフレーム内アップサンプリング信号とフィールド内
アップサンプリング信号のいずれか一方を動き判定情報
に応じて選択するスイッチを設ければよい。

【００５９】なお、重み係数は符号化に必要な他の選択
情報と共通にしてサイド情報を削減してもよい。例えば
画像のある一定領域毎にフレームＤＣＴとフィールドＤ
ＣＴを切り替える符号化方式の場合、この切り替え情報
を基に重み係数を決定してもよい。あるいは逆に、重み
係数を先に述べたような方法で決定し、これを基にフレ
ームＤＣＴとフィールドＤＣＴのどちらを用いるかを決
定してもよい。また、画像のある一定領域毎に動き補償
等の予測の方法を切り替える方式の場合、この切り替え
情報あるいは動きベクトルを基に重み係数を決定しても
よい。

【００６０】さらに、符号化する領域の周囲の既に符号
化された領域の符号化モード、動きベクトル、局部復号
画像のフレーム間差分の大きさ、既に符号化されたフレ
ームの符号化モード、動きベクトル、局部復号画像のフ
レーム間差分の大きさ等、既に符号化された情報や局部
復号画像を基に重み係数を決定するようにし、重み係数
情報を削減してもよい。

【００６１】図６は、アップサンプリング回路６０にお
ける垂直方向アップサンプリング回路部の第２の発明に
基づく構成例を示すブロック図である。図６において、
第１および第２のフィールド分解回路５０２および５１
１は、それぞれ図５における第１および第２のフィール
ド分解回路４０２および４１１と同じ処理を行う。

【００６２】奇数フィールド動き補償アップサンプリン
グ回路５０５および偶数フィールド動き補償アップサン
プリング回路５０６では、奇数フィールド信号５０３と
偶数フィールド信号５０４から第１および第２の動きベ
クトル検出回路５０７，５０８で検出された動きベクト
ル５０９，５１０に基づいて動き補償されたアップサン
プリングが行われ、奇数フィールドアップサンプリング
画像信号４２２および偶数フィールドアップサンプリン
グ画像信号４２３がそれぞれ生成される。

【００６３】図６における第１および第２の動きベクト
ル検出回路５０７，５０８の動作およびアップサンプリ
ング回路５０５，５０６の処理を図８を用いて説明す
る。図８の○□×△の記号は、図１１と同じ意味であ
る。

【００６４】第１の動きベクトル検出回路５０７では、
偶数フィールド信号５０４から高解像度奇数フィールド
信号５１２への動きベクトルが検出される。高解像度奇
数フィールド信号のうち低解像度奇数フィールド信号が
空間的に同じ位置にある信号（図８の○印と重なってい
る×印の信号）については、動きベクトルは検出され
ず、アップサンプリング時に同じ位置の低解像度信号が
そのまま用いられる。低解像度奇数フィールド信号が空
間的に同じ位置にない信号（○印と重なっていない×印
の信号）は、例えばマクロブロックなど一定の領域単位
に誤差の自乗平均値または絶対値和等を評価基準とし
て、あるいは試みに符号化を行い符号量が最小となるよ
うに低解像度偶数フィールド信号５０４（□印の信号）
からの動きベクトルを検出し、この動きベクトルに基づ
いて低解像度偶数フィールド信号を動き補償した信号を
アップサンプリング信号とする。

【００６５】第２の動きベクトル検出回路５０８では、
奇数フィールド信号５０３から高解像度偶数フィールド
信号５１３への動きベクトルが検出される。この際、第
１の動きベクトル検出回路５０８で求められた動きベク
トル５０９を基に、図８の（ａ）（ｂ）のいずれか、あ
るいは例えば入力高解像度画像信号１１との自乗誤差が
小さい一方の動き補償が選択して行われる。

【００６６】図８（ａ）では、低解像度偶数フィールド
から高解像度奇数フィールドへの動きベクトル５０９を
水平垂直とも逆向きにし下方向へ＋１／２したベクトル
６５１を用いて低解像度奇数フィールド信号を動き補償
した信号６５２を奇数ラインのアップサンプリング信号
とし、動きベクトル５０９を水平垂直とも逆向きにした
ベクトル６５３を用いて低解像度奇数フィールド信号を
動き補償した信号６５４をそのま間、あるいはその１ラ
イン上の低解像度偶数フィールド信号６５５との内挿信
号を偶数ラインのアップサンプリング信号とする。

【００６７】図８（ｂ）では、動きベクトル５０９を水
平垂直とも逆向きにし上方向へ＋１／２したベクトル６
６１を用いて低解像度奇数フィールド信号を動き補償し
た信号６６２を偶数ラインのアップサンプリング信号と
し、動きベクトル５０９を水平垂直とも逆向きにしたベ
クトル６６３を用いて低解像度奇数フィールド信号を動
き補償した信号６６４をそのま、あるいはその１ライン
下の低解像度偶数フィールド信号６６５との内挿信号を
奇数ラインのアップサンプリング信号とする。

【００６８】動きベクトル５０９および図８（ａ）
（ｂ）のいずれが選択されたかを示す情報５２０は、サ
イド情報４４０として伝送される。

【００６９】動きベクトル検出は、低解像度画像、また
は高解像度画像の動きベクトルをフィールド時間に応じ
て補正したベクトルを中心として、その周囲を探索する
ようにしてもよい。これにより、直接探索する場合より
動きベクトルの探索範囲を削減してもほぼ同等の効果が
得られる。低解像度画像符号化処理時に用いられた動き
ベクトルを補正して用いる場合は、デコーダ側でもこの
動きベクトル情報を得ることができるため、動きベクト
ル検出回路５０７，５０８で求められた動きベクトル
と、この動きベクトルとの差分情報を伝送するようにし
てもよい。これにより動きベクトル情報量を削減でき
る。

【００７０】図７は、アップサンプリング回路６０にお
ける垂直方向アップサンプリング回路部の第３の発明に
基づく構成例を示すブロック図である。図７において、
フィールド分解回路６０２は図５におけるフィールド分
解回路４０２と同じ処理を行う。

【００７１】奇数フィールド動き補償アップサンプリン
グ回路６０５および偶数フィールド動き補償アップサン
プリング回路６０６では、奇数フィールド信号６０３お
よび偶数フィールド信号６０４に対して、動きベクトル
計算回路６０７で計算された動きベクトル６０９および
６１０を基に動き補償されたアップサンプリングが行わ
れ、奇数フィールドアップサンプリング画像信号４２２
および偶数フィールドアップサンプリング信号画像４２
３が生成される。

【００７２】動きベクトル計算回路６０７では、低解像
度信号符号化の予測に用いられた動きベクトル６０８を
フィールド間距離に応じて補正した動きベクトルが計算
される。低解像度奇数フィールド信号から高解像度偶数
フィールド信号への動きベクトルは、例えば図９（ａ）
のように低解像度動きベクトルをフィールド間距離に応
じて補正したベクトル７６１を低解像度奇数フィールド
信号の１ライン単位に丸めを行ったベクトル７６２およ
び７６３、または１／２ライン単位に丸めを行ったベク
トル７６４を用いる。

【００７３】一方、低解像度偶数フィールド信号から高
解像度奇数フィールド画像への動きベクトルは、例えば
図９（ｂ）のように低解像度動きベクトルをフィールド
間距離に応じて補正したベクトルが７５１を低解像度偶
数フィールド信号の１ライン単位に丸めを行ったベクト
ル７５２、または１／２ライン単位に丸めを行ったベク
トル７５３を用いる。奇数フィールドは低解像度画像奇
数フィールドに空間的に同じ位置のラインが存在する場
合はそのラインの信号を用い、動き補償が行われるのは
空間的に同じ位置が存在しないラインのみである。

【００７４】なお、奇数フィールド、偶数フィールド共
に低解像度局部復号信号の反対のフィールドからの動き
補償を行った信号をそのままアップサンプリング信号と
してもよいし、同じフィールドの低解像度局部復号信号
との重み付けを行った信号をアップサンプリング信号と
してもよい。この場合の重み係数は固定としてもよい
し、例えば動きベクトルの大きさ、または動きベクトル
の丸めを行ったときの切り捨てられたベクトルの大きさ
を基に決定すればよい。

【００７５】なお、デコーダ側においても動きベクトル
計算回路６０７と同様の手順により動きベクトルを算出
できるので、動きベクトルを伝送する必要はない。

【００７６】図１の実施例において、高解像度予測信号
４０と低解像度予測信号６２を重み付け加算した信号を
予測の候補に加える場合、この重み付け加算に用いる重
み係数は例えば高解像度入力信号との自乗誤差が最小と
なるものを選択し、サイド情報として伝送してもよい
し、高解像度動きベクトルの大きさに応じて決定するよ
うにしてもよい。また、重み係数はフィールド毎に異な
るものを用いてもよい。この場合、デコーダ側でも高解
像度動きベクトル情報が得られるので、高解像度動きベ
クトルをフィールド時間に応じて補正したものを基に動
きベクトルを計算して用いてもよい。

【００７７】さらに、図６に示した垂直方向アップサン
プリング回路部を有するアップサンプリング回路を用い
る場合、動きベクトル情報は高解像度画像の符号化に用
いた動きベクトルとの差分をとって伝送するようにして
もよい。

【００７８】

【発明の効果】以上述べたように、本発明によればＨＤ
ＴＶ信号と現行ＴＶ信号のようにインタレース走査され
た解像度の異なる複数の画像信号の符号化を同時に行う
ことが可能なスケーラビリティを有し、また特にインタ
レース走査された低解像度局部復号信号をアップサンプ
リングしてインタレース走査された高解像度画像信号の
符号化の際の予測に用いる際のアップサンプリング処理
を改良して予測効率を向上させることにより、従来に比
較して符号化効率の高い動画像符号化装置を提供するこ
とができる。

【図面の簡単な説明】

【図１】本発明に係る動画像符号化装置の一実施例を示
すブロック図

【図２】図１におけるダウンサンプリング回路による高
解像度入力信号から低解像度信号へのダウンサンプリン
グ処理手順の第１の例を示す図

【図３】図１におけるダウンサンプリング回路による高
解像度入力信号から低解像度信号へのダウンサンプリン
グ処理手順の第２の例を示す図

【図４】図１におけるアップサンプリング回路による低
解像度信号から高解像度信号へのアップサンプリング処
理手順を示す図

【図５】図１の動画像符号化装置におけるアップサンプ
リング回路の垂直方向アップサンプリング回路部の第１
の例を示すブロック図

【図６】図１の動画像符号化装置におけるアップサンプ
リング回路の垂直方向アップサンプリング回路部の第２
の例を示すブロック図

【図７】図１の動画像符号化装置におけるアップサンプ
リング回路の垂直方向アップサンプリング回路部の第３
の例を示すブロック図

【図８】図６の垂直方向アップサンプリング回路部の動
作を説明するための図

【図９】図７の垂直方向アップサンプリング回路部の動
作を説明するための図

【図１０】スケーラビリティを有する動画像符号化装置
の例を示すブロック図

【図１１】高解像度画像と低解像度画像のライン位置の
関係を示す図

【図１２】従来手法による低解像度信号から高解像度信
号へのアップサンプリング処理手順の第１の例を示すブ
ロック図

【図１３】従来手法による低解像度信号から高解像度信
号へのアップサンプリング処理手順の第２の例を示すブ
ロック図

【図１４】従来手法による低解像度信号から高解像度信
号へのアップサンプリング処理手順の第３の例を示すブ
ロック図

【図１５】図１４のアップサンプリング処理手順の問題
点を説明するための図

【符号の説明】 １１…入力高解像度画像信号 １３…予測信号 １４…予測誤差信号 １７…ＤＣＴ回
路 １８…量子化回路 １９…可変長符
号化回路 ２２…逆量子化回路 ２３…逆ＤＣＴ
回路 ２７…フレームメモリ ２８…第１の予
測器 ２９…ダウンサンプリング回路 ４０…高解像度
予測信号 ４２…低解像度画像信号 ４５…ＤＣＴ回
路 ４６…量子化回路 ４７…可変長符
号化回路 ４８…逆量子化回路 ４９…逆ＤＣＴ
回路 ５２…フレームメモリ ５３…予測器 ５５…予測信号 ６１…第２の予
測器 ６２…低解像度予測信号 ６３…第３の予
測器

Claims (4)

【特許請求の範囲】
1. 【請求項１】高解像度画像信号を予測符号化すると共
   に、高解像度画像信号を変換して得られた低解像度画像
   信号を予測符号化する動画像符号化装置において、 前記高解像度画像信号を予測符号化した信号から復号さ
   れる高解像度局部復号信号を基に高解像度予測信号を生
   成する第１の予測手段と、 前記低解像度画像を予測符号化した信号から復号される
   低解像度局部復号信号をアップサンプリングするアップ
   サンプリング手段と、 前記アップサンプリング手段の出力信号を基に低解像度
   予測信号を生成する第２の予測手段と、 前記高解像度予測信号と前記低解像度予測信号およびそ
   れらを重み付け加算した信号のいずれかを前記高解像度
   画像信号の予測符号化に用いる予測信号として生成する
   第３の予測手段とを備え、 前記アップサンプリング手段は、 (a) 前記低解像度局部復号信号の１フィールド内の信号
   のみからなるフィールド内補間信号を作成するフィール
   ド内補間信号作成手段と、 (b) 前記低解像度局部復号信号の連続する２つのフィー
   ルドの信号からなるフレーム内補間信号を作成するフレ
   ーム内補間信号作成手段と、 (c) 前記フィールド内補間信号と前記フレーム内補間信
   号およびそれらを重み付け加算した信号から、前記高解
   像度画像信号と符号化に必要な他の情報の少なくとも一
   つを基に適応的に決定された一つの信号を該アップサン
   プリング手段の出力信号として選択する選択手段とから
   なる、 ことを特徴とする動画像符号化装置。
2. 【請求項２】高解像度画像信号を予測符号化すると共
   に、高解像度画像信号を変換して得られた低解像度画像
   信号を予測符号化する動画像符号化装置において、 前記高解像度画像信号を予測符号化した信号から復号さ
   れる高解像度局部復号信号を基に高解像度予測信号を生
   成する第１の予測手段と、 前記低解像度画像を予測符号化した信号から復号される
   低解像度局部復号信号をアップサンプリングするアップ
   サンプリング手段と、 前記アップサンプリング手段の出力信号を基に低解像度
   予測信号を生成する第２の予測手段と、 前記高解像度予測信号と前記低解像度予測信号およびそ
   れらを重み付け加算した信号のいずれかを前記高解像度
   画像信号の予測符号化に用いる予測信号として生成する
   第３の予測手段とを備え、 前記アップサンプリング手段は、 (a) 前記低解像度局部復号信号の連続する２つのフィー
   ルドに対して動き補償アップサンプリングを行う第１お
   よび第２の動き補償アップサンプリング手段と、 (b) これら第１および第２の動き補償アップサンプリン
   グ手段で用いる動きベクトルを前記高解像度画像信号を
   参照して検出する動きベクトル検出手段とからなる、 ことを特徴とする動画像符号化装置。
3. 【請求項３】高解像度画像信号を予測符号化すると共
   に、高解像度画像信号を変換して得られた低解像度画像
   信号を予測符号化する動画像符号化装置において、 前記高解像度画像信号を予測符号化した信号から復号さ
   れる高解像度局部復号信号を基に高解像度予測信号を生
   成する第１の予測手段と、 前記低解像度画像を予測符号化した信号から復号される
   低解像度局部復号信号をアップサンプリングするアップ
   サンプリング手段と、 前記アップサンプリング手段の出力信号を基に低解像度
   予測信号を生成する第２の予測手段と、 前記高解像度予測信号と前記低解像度予測信号およびそ
   れらを重み付け加算した信号のいずれかを前記高解像度
   画像信号の予測符号化に用いる予測信号として生成する
   第３の予測手段とを備え、 前記アップサンプリング手段は、 (a) 前記低解像度局部復号信号の連続する２つのフィー
   ルドに対して動き補償アップサンプリングを行う第１お
   よび第２の動き補償アップサンプリング手段と、 (b) これら第１および第２の動き補償アップサンプリン
   グ手段で用いる動きベクトルを前記低解像度画像信号の
   予測符号化で用いられた動きベクトルおよび前記高解像
   度画像信号の予測符号化で用いられた動きベクトルの少
   なくとも一方を基に計算する動きベクトル計算手段とか
   らなる、 ことを特徴とする動画像符号化装置。
4. 【請求項４】前記第３の予測手段において前記重み付け
   加算に使用する重み係数を(a) 前記低解像度画像信号の
   予測符号化で用いられた動きベクトル、(b) 前記高解像
   度画像信号の予測符号化で用いられた動きベクトル、お
   よび(c) 前記アップサンプリング手段が動き補償アップ
   サンプリングを行う場合に該動き補償アップサンプリン
   グで用いられる動きベクトルの少なくとも一つを用いて
   決定する重み係数決定手段をさらに備えたことを特徴と
   する請求項１、２または３に記載の動画像符号化装置。