JPH02274081A - 画像符号化方法および装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、高速なカメラのズームに対し、小容量の伝
送路でも画質劣化の小さい復号画像を得る画像符号化方
法および装置に関するものである。

〔従来の技術〕

動画像を高効率に符号化する技術として、直交変換と動
き補償フレーム間予測を用いたハイブリッド符号化があ
る。

′＃Ｊき補償フレーム間符号化では、まず、入力画像の
１フレームを小領域の複数のブロックに分割する。その
中の１つのブロック（現ブロック）を符号化する場合、
そのブロックに対し１フレーム前の同じ空間的位置のブ
ロックを中心に、そこから縦、横、斜方向に平行穆動し
た位置のブロックをＴ個設定する。Ｔ個の各ブロックは
動き補償設定範囲の大きさに依存して変化する。Ｔ個の
各ブロックに対し各ブロックから現ブロックを予測して
符号化した場合、評価関数の値のもっとも小さくなるブ
ロック（最適予測ブロック）を１個選択する。次に、現
ブロックと最適予測ブロックとの間で画素間の予測誤差
を符号化して受信側に伝送するとともに、現ブロックの
位置を基準とした最適予測ブロックの位置を最適シフト
ベクトルとして符号化して伝送する。受信側では最適シ
フトベクトルと予測誤差とを用いて復号する。

〔発明が解決しようとする課題〕

上記の方式を高速なズームに通用した場合、画質が劣化
する欠点がある。これを改善するため動ぎ補償設定範囲
を大ぎくすることにより大きな動きに追随させる方法が
ある。しかし、Ｔの値が大きくなると処理量の増大、符
号化効率の低下が生じ、低容量の伝送路には通用が困難
になるという欠点があった。

この発明はこの問題点を解決するため、あらかじめ分っ
ている知識（拡大または縮小する画像の中心、拡大また
は縮小倍率）を用いて受信側でズーム開始前のフレーム
を拡大または縮小した画像をあらかじめ用意しておき、
送信側より得た差分画像との和をとることにより復号画
像を得るようにしたものであり、その目的は、小容量の
伝送路でも画質劣化の小さい復号画像を得ることにある
。

（課題を解決するための手段） この発明にかかる画像符号化方法は、送信側では、ズー
ム開始前の時点でカメラ信号から検出したズームの対象
となる画像の中心とズーム倍率からなるズームパラメー
タおよびズーム開始前の復号信号に該ズームパラメータ
を適用して得た拡大または縮小予測信号とズーム開始後
の入力信号との差分信号とを符号化した後、多重化して
伝送し、 受信側では、前記符号化されたズームパラメータおよび
差分信号からズームパラメータをズーム開始前の復号信
号に通用して得た拡大または縮小復号信号と、前記差分
信号を復号化して得た復号信号とから現フレームの復号
信号とを得るものである。

また、この発明にかかる画像符号化装置は、カメラ信号
から検出したズームの対象となる画像の中心とズーム倍
率からなるズームパラメータを符号化するズームパラメ
ータ符号化回路と、ズーム開始前の復号信号に該ズーム
パラメータを適用して拡大または縮小予測信号を得る第
１の拡大・縮小回路と、前フレームの信号に差分信号を
加える第１の加算器と、この第１の加算器の出力を遅延
させて、予測符号化した信号を得る第１の予測回路と、
この第１の予測回路と前記第１の拡大・縮小回路との出
力を選択的に使用する第１のスイッチと、前記第１のス
イッチで選択された出力とズーム開始後の入力信号との
差分信号を作成する減算器と、該差分信号を量子化する
量子化回路の出力と前記ズームパラメータ符号化回路の
出力を多重化して送出する多重化回路とからなる送信装
置と、 符号入力端子と、この符号入力端子から得られる信号の
中からズームパラメータを分離する分離回路と、この分
離回路で得たズームパラメータの信号を復号化するズー
ムパラメータ復号化回路と、ズーム開始前の復号信号に
該ズームパラメータを適用して拡大または縮小した信号
を得る第２の拡大・縮小回路と、前フレームの復号信号
を遅延して予測信号を得る第２の予測回路と、この第２
の予測回路の出力と前記第２の拡大・縮小回路との出力
を選択的に使用する第２のスイッチと、前記第２のスイ
ッチで選択された出力とズーム開始後の前記符号入力端
子からの入力との和をとることにより現フレームの復号
信号を得る第２の加算器とからなる受信装置とで構成し
たものである。

（作用） この発明にかかる画像符号化方法および装置は、送信側
においては、ズーム開始前の時点でカメラ信号から検出
したズームの対象となる画像の中心と、ズーム倍率から
なるズームパラメータを符号化すると同時に、ズーム開
始前の復号画像にズームパラメータを適用して得た拡大
（または縮小）画像と、ズーム開始後の入力画像との差
分画像を符号化し、これらを多重化して伝送する。

受信側ではまず、ズームパラメータを復号化し、次にこ
れを用いてズーム開始前の復号画像を拡大（または縮小
）して得た画像と、伝送されてきた差分画像との和をと
ることにより、復号画像を得る。

（実施例） 第１図はこの発明の画像符号化方法の原理を示す図であ
って、０は前フレーム画像、ｆは現フレーム画像（実際
の拡大画像）、ｇは前記前フレーム画像０の拡大画像、
δは差分画像、ｒは前フレーム画像０の復号画像、ｈは
復号画像ｒの拡大画像、ｍは前記現フレーム画像ｆの復
号画像である。

カメラのズームが開始されると、送信側ではズームパラ
メータを検出して前フレーム画像０から拡大画像ｇを生
成し、ズーム開始後、現フレーム画像ｆを得ると差分画
像δ（＝ｆ−ｇ）を作成し、ズームパラメータとともに
伝送する。一方、受信側ではズームパラメータを用いて
前フレーム画像０の復号画像ｒより拡大画像りを生成し
、次に差分画像δと拡大画像りより現フレーム画像ｆの
復号画像ｍ（＝δ＋ｈ）を作成する。

なお、上記の説明では、現フレーム画像ｆ等、拡大の場
合を示したが、これは縮小の場合でもよいことはもちろ
んである。

第２図はこの発明にかかかる画像符号化装置の送信装置
の一実力五例を示すブロック図であり、１は信号入力端
子、２は減算器、３は量子化回路、４は第１の加算器、
５は第１のフレーム遅延回路、６は第１の予測回路、７
は多重化回路、８は符号出力端子、９はズーム信号入力
端子、１０は第１のスイッチ、１１は第１の端子、１２
は第２の端子、１３は第１の拡大・縮小回路、１４はズ
ームパラメータ符号化回路である。

第２図の送信装置の動作を説明する。

まず、通常の使用状態では、第１のスイッチ１０は第１
の端子１１の側に接続されている。信号入力端子１より
ディジタル化されたテレビジョン信号が入力され、減算
器２では第１の予測回路６の画素値を引いて予測誤差信
号を得る。第１の予測回路６は１フレーム前の近傍のブ
ロックの中から所定の評価関数を最小とする最適ブロッ
クを１つ選択し、その信号を予測信号とし、また、選択
したブロックを表す最適シフトベクトルを出力する。量
子化回路３は予測誤差信号を量子化した符号化代表値を
第１の加算器４に送出するとともに、符号化データおよ
び最適シフトベクトルを符号化したデータを多重化回路
７に送出する。第１の加算器４は第１の予測回路６の予
測信号に符号化代表値を加算する。第１のフレーム遅延
回路５は第１の加算器４の出力を遅延させ、第１の予測
回路６に入力する。多重化回路７は量子化回路３からの
符号化データを伝送路に送出する。

これに対し、ズームが開始されたときの動作は次のよう
になる。ズームが開始されるとズーム信号入力端子９よ
りカメラ信号から検出したズームの対象となる画像の中
心とズーム倍率からなるズームパラメータが入力され、
ズームパラメータ符号化回路１４で符号化され、多重化
回路７に送出される。

また、それと同時に第１のスイッチ１０は第２の端子１
２の側に接続される。その結果、第１の拡大・縮小回路
１３は第１のフレーム遅延回路５より得たズーム開始前
の復号信号に対し、ズームパラメータを用いて拡大（ま
たは縮小）した信号を生成する。これにより拡大（また
は縮小）した信号と、ズーム開始後に入力信号端子１よ
り入力した信号との差分が減算器２により予測誤差信号
として計算され、量子化回路３を経て多重化回路７に送
出される。多重化回路７は量子化回路３の出力である差
分と、ズームパラメータ符号化回路１４の出力であるズ
ームパラメータとを多重化して伝送路に送出する。

第３図はこの発明にかかる画像符号化装置の受信装置の
一実施例を示すブロック図であり、１５は符号入力端子
、１６は分離回路、１７は第２の加算器、１８は復号信
号出力端子、１９は第２のフレーム遅延回路、２０は第
２の予測回路、２１はズームパラメータ復号化回路、２
２は第２のスイッチ、２３は第３の端子、２４は第４の
端子、２５は第２の拡大・縮小回路である。

第３図の受信装置の動作を説明する。

まず、通常の動作状態では第２のスイッチ２２は第３の
端子２３の側に接続されている。符号入力端子１５から
符号化された信号が入力され、第２の加算器１７では復
号信号を第２のフレーム遅延回路１９で遅延させ、第２
の予測回路２ｏで得た出力を加算した信号を復号信号出
力端子１８の信号とする。

これに対し、ズームが開始されたとぎの動作は次のよう
になる。

ズームが開始されると、符号入力端子１５からの信号は
分離回路１６によりズームパラメータと画像データに分
解される。抽出されたズームパラメータは、ズームパラ
メータ復号化回路２１により復号化される。また、それ
と同時に第２のスイッチ２２は第４の端子２４の側に接
続される。

その結果、第２の拡大・縮小回路２５はズーム開始前の
復号信号に対しズームパラメータを用いて拡大（または
縮小）した信号を生成する。これにより、拡大（または
縮小）した信号とズーム開始後に符号入力端子１５より
入力され、分離回路１６で得られた画像信号との和が第
２の加算器１７により計算され、復号信号出力端子１８
に拡大（または縮小）された復号信号が得られる。

この実施例では、画像データとズームパラメータが同時
に送信される例について述べたが、ズームパラメータを
先に送信することにより第１の拡大・縮小回路１３と第
２の拡大・縮小回路２５を並行して動作させることも可
能である。

この発明においては、伝送に用いる情報はズームパラメ
ータと差分信号であり、小容量である。

このため、カメラのズームによる拡大（または縮小）に
伴う画像符号化を実時間で行うことかでき、画質も従来
技術より向上させ得る。

〔発明の効果〕

以上説明したようにこの発明によれば、送信側ではあら
かじめ分っている知識（拡大または縮小する画像の中心
、拡大または縮小倍率）およびズーム開始１フレーム前
の画像を拡大または縮小した画像とズーム開始後の画像
との差分画像を送信し、受信側ではズーム開始１フレー
ム前の復号画像に対し当該倍率に従って拡大または縮小
した画像と、差分画像との和をとることにより復号画像
を得るようにしたものであるので、低容量の伝送路を用
いても画質劣化の小さい復号画像を得られる長所がある
。

【図面の簡単な説明】

第１図はこの発明の画像符号化方法の原理の説明図、第
２図はこの発明の画像符号化装置の送信装置の一実施例
のブロック図、第３図は同じく受信装置の一実施例のブ
ロック図である。 図中、１は信号入力端子、２は減算器、３は量子化回路
、４は第１の加算器、５は第１のフレーム遅延回路、６
は第１の予測回路、７は多重化回路、８は符号出力端子
、９はズーム信号入力端子、１０は第１のスイッチ、１
１は第１の端子、１２は第２の端子、１３は第１の拡大
・縮小回路、１４はズームパラメータ符号化回路、１５
は符号入力端子、１６は分離回路、１７は第２の加算器
、１８は復号信号出力端子、１９は第２のフレーム遅延
回路、２０は第２の予測回路、２１はズームパラメータ
復号化回路、２２は第２のスイッチ、２３は第３の端子
、２４は第４の端子、２５は第２の拡大・縮小回路であ
る。 第 図 １２、矛２の堝す

Claims (2)

【特許請求の範囲】
1. （１）テレビジョン信号の１フレームを１個または複数
   個からなるブロックで表現し、該ブロックに対して被写
   体の動きに対応する最適シフトベクトルを検出した後、
   該最適シフトベクトルに基づいて前記ブロック毎にフレ
   ーム間での動きを補償して予測符号化を行うと同時に符
   号化代表値と予測信号とを加算した信号を遅延して該予
   測信号に入力とする画像符号化方法において、 送信側では、ズーム開始前の時点でカメラ信号から検出
   したズームの対象となる画像の中心とズーム倍率からな
   るズームパラメータおよびズーム開始前の復号信号に該
   ズームパラメータを適用して得た拡大または縮小予測信
   号とズーム開始後の入力信号との差分信号とを符号化し
   た後、多重化して伝送し、 受信側では、前記符号化されたズームパラメータおよび
   差分信号からズームパラメータをズーム開始前の復号信
   号に適用して得た拡大または縮小復号信号と、前記差分
   信号を復号化して得た復号信号とから現フレームの復号
   信号とを得る ことを特徴とする画像符号化方法。
2. （２）ズーム信号を入力とする信号入力端子と、カメラ
   信号から検出したズームの対象となる画像の中心とズー
   ム倍率からなるズームパラメータを符号化するズームパ
   ラメータ符号化回路と、ズーム開始前の復号信号に該ズ
   ームパラメータを適用して拡大または縮小予測信号を得
   る第１の拡大・縮小回路と、前フレームの信号に差分信
   号を加える第１の加算器と、この第１の加算器の出力を
   遅延させて、予測符号化した信号を得る第１の予測回路
   と、この第１の予測回路と前記第１の拡大・縮小回路と
   の出力を選択的に使用する第１のスイッチと、前記第１
   のスイッチで選択された出力とズーム開始後の入力信号
   との差分信号を作成する減算器と、該差分信号を量子化
   する量子化回路と、この量子化回路の出力と前記ズーム
   パラメータ符号化回路の出力を多重化して送出する多重
   化回路とからなる送信装置と、 符号入力端子と、この符号入力端子から得られる信号の
   中からズームパラメータを分離する分離回路と、この分
   離回路で得たズームパラメータの信号を復号化するズー
   ムパラメータ復号化回路と、ズーム開始前の復号信号に
   該ズームパラメータを適用して拡大または縮小した信号
   を得る第２の拡大・縮小回路と、前フレームの復号信号
   を遅延して予測信号を得る第２の予測回路と、この第２
   の予測回路の出力と前記第２の拡大・縮小回路との出力
   を選択的に使用する第２のスイッチと、前記第２のスイ
   ッチで選択された出力とズーム開始後の前記符号入力端
   子からの入力との和をとることにより現フレームの復号
   信号を得る第２の加算器とからなる受信装置と、 を具備することを特徴とする画像符号化装置。