JPH0537924A

JPH0537924A - 画像信号符号化方法および装置

Info

Publication number: JPH0537924A
Application number: JP18858191A
Authority: JP
Inventors: Takanori Shimura; 隆則志村; Masaaki Takizawa; 正明滝沢; Noriyuki Kaneoka; 則幸兼岡; Yutaka Kinebuchi; 豊杵渕; Shigemi Kudo; 茂実工藤
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1991-07-29
Filing date: 1991-07-29
Publication date: 1993-02-12

Abstract

(57)【要約】【目的】テレビジョン信号等の画像信号を高能率圧縮符
号化して送信する画像信号符号化装置において、直前に
伝送されたフレームの信号を参照して次のフレームを符
号化する方式と、特定のフレーム間隔ごとに強制的にフ
レーム内で符号化する方式を組み合わせて画像を符号化
する場合において、より重要な情報が提示される画面の
特定部分の画質を改善する。【構成】画像信号符号化装置において、画像を符号化す
る符号化回路３０８と、強制的にフレーム内で符号化す
るブロックを検出する強制ＩＮＴＲＡ回路３１２を有し
て、強制的にフレーム内で符号化する方式の頻度を画面
の特定部分で高くする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はテレビ信号の高能率符号
化に係わり、送信側の画像符号化方式において、受信側
で見やすい画面となるような画像信号符号化方法および
装置に関する。

【０００２】

【従来の技術】画像の符号化方式の一つに、駒落とし法
が広く知られる。これは、通常のＴＶ信号（ＮＴＳＣ信
号）では、毎秒３０フレーム（６０フィールド）で１駒
を伝送しているのに対し、例えば、２つのフィールドの
内の片方のみを伝送して毎秒３０駒で伝送したり、上記
片フィールドをさらに間引いて毎秒１５駒以下で伝送す
るものである。受信側では、同一の駒を複数回表示する
ことにより、伝送すべき信号量の削減を可能にしてい
る。ＴＶ会議やＴＶ電話等のように被写体の動き量が比
較的小さい場合には、駒落としを行っても違和感の小さ
いことが、実験的に知られている。

【０００３】これに加えて、「離散コサイン変換等の直
交変換」，「量子化」，「単純フレーム間予測」，「動
き補償フレーム間予測」などの信号処理により、画像信
号を高能率符号化して伝送することが可能になってい
る。

【０００４】高能率符号化技術の中で、「単純フレーム
間予測」，「動き補償フレーム間予測」等のフレーム間
予測は、直前に伝送されたフレームの信号を参照して次
のフレームを予測符号化する方式である。すなわち、直
前に復号化した画像と次のフレームの画像の差分（変化
した部分）を伝送することによって、伝送情報を削減し
ている。これらのフレーム間予測符号化方式と直交変換
を組み合わせると、大幅な冗長度圧縮を達成できること
が知られ、ＣＣＩＴＴ（国際電信電話諮問委員会）で勧
告されている動画像符号化方式(Ｈ．２６１)にも採用さ
れている。

【０００５】以下、この方式について説明する。即ち送
信側では、直前に復号化した画像（参照画像）と次のフ
レームの画像の差分を直交変換して受信側に送ると共
に、逆直交変換して参照画面の画像に加算して画像を復
号化する。この復号化した画像を、その次のフレームを
符号化するときの参照画像とする。受信側でも、送信側
で直交変換された差分符号を受信し、逆直交変換して、
受信側の参照画像に加算して画像を復号化する。この場
合に、送信側では正常な画像を復元できるが、受信側
は、各装置（各メーカ）の逆直交変換回路の演算精度が
異なる場合があるので、送信側と受信側で逆直交変換さ
れた差分情報が異なってしまう。「フレーム間予測符号
化方式」が連続すると、この誤差の蓄積が生じて受信側
の画像が劣化する。

【０００６】このため、特定のフレーム間隔で、直前に
復号化したフレームの画像を参照しない「フレーム内で
符号化する方式」を強制的に挿入して（以降強制ＩＮＴ
ＲＡモードという）、画像をそのまま直交変換して送る
ことにより、画面をリフレッシュしていた。「フレーム
内で符号化する方式」で符号化すると、伝送する情報量
が増える。このため、複数の画像ブロックから構成され
る画像情報を伝送する場合に、１フレームの更新ごと
に、順番に数画像ブロックずつ「フレーム内で符号化す
る方式」で符号化して伝送するようにして、画面をリフ
レッシュしていた。

【０００７】ところで、ＴＶ電話等では、画像の中で
も、特に相手の顔などの一部分を重点的に見ていること
が多いので、背景などの周辺領域の画質を犠牲にして
も、画像の一部分の画質を良くすることが高能率符号化
にとって有利であり、使い勝手も良くなる。

【０００８】このため従来は、「顔領域検出を用いた動
画像符号化方式」（画像符号化シンポジウム（ＰＣＳＪ
８９），７−１５，ｐｐ１２９−１３０，１９８９年）
に記載されているように、「量子化」技術を用いて、人
物の顔の部分を小さい量子化ステップサイズで量子化し
て、解像度を高めていた。

【０００９】

【発明が解決しようとする課題】「フレーム間予測符号
化方式」と「直交変換」を組み合わせて画像を圧縮する
画像符号化装置において、送信側と受信側の逆直交変換
の演算精度の不一致によって、画質が劣化してしまう。
このため、従来方法により、人物の顔の部分の量子化ス
テップを小さくしても、その部分の画質が良くならな
い。

【００１０】本発明の目的は、送信側と受信側の逆直交
変換の演算精度の不一致により、受信側の画像が劣化し
た場合に、画面中の人物の顔などの特定部分の画質の改
善をはかり、画面の特定部分を見やすい画像に符号化す
る画像符号化方法および装置を提供することにある。

【００１１】

【課題を解決するための手段】テレビジョン信号等の画
像信号を高能率圧縮符号化して送信する画像信号符号化
装置において、直前に伝送されたフレームの信号を参照
して次のフレームを予測符号化する方式と、特定のフレ
ーム間隔ごとの強制ＩＮＴＲＡモードを組み合わせて画
像を符号化する場合に、画面を少なくとも２分割して、
一方で強制ＩＮＴＲＡモードの頻度を高くするようにし
た。

【００１２】これを実現するために、画像信号をブロッ
クに分割して、ブロックごとに画像を符号化する符号化
手段が、所定のフレームの符号化を開始する前に、強制
的にフレーム内で符号化するブロックを検出する手段
（以降強制ＩＮＴＲＡ手段という）に対して、このフレ
ームで強制ＩＮＴＲＡモードにするブロックを指定して
から、符号化を開始する。強制ＩＮＴＲＡ手段は、次に
符号化されるブロックが強制ＩＮＴＲＡモードのブロッ
クかどうか判定して、これを符号化手段に出力する。符
号化手段は、そのブロックが強制ＩＮＴＲＡモードでな
い場合には通常に符号化し、強制ＩＮＴＲＡモードの場
合には強制ＩＮＴＲＡモードで符号化するようにする。
符号化手段が、フレームごとに強制ＩＮＴＲＡモードに
するブロックを更新しながら、画像を符号化していく場
合に、画像の特定部分のブロックに対して強制ＩＮＴＲ
Ａモードの頻度が高くなるように指定する。

【００１３】また、以下に示すような方法によれば、上
記の目的をさらに達成できる。

【００１４】（１）強制ＩＮＴＲＡモードの頻度の低い
周辺部分で、強制ＩＮＴＲＡモードを千鳥格子に形状に
なるように１画像ブロックおきの順番に行なうようにし
て、周辺部分で強制ＩＮＴＲＡモードが均一になるよう
にする。

【００１５】（２）強制ＩＮＴＲＡモードの頻度の高い
画面の中央部分で、強制ＩＮＴＲＡモードを画面の中央
から外側に向かってスパイラル形状になるような順番に
行ない画面の中央から画質を良くするようにする。

【００１６】（３）強制ＩＮＴＲＡモードの頻度の低い
部分を周辺部分として、その周辺部分をさらに外側部分
と内側部分に２分割して、強制ＩＮＴＲＡモードの頻度
が内側部分より外側部分で低くなるようにする。

【００１７】（４）画面を少なくとも上部，中部，下部
に３分割して、強制ＩＮＴＲＡモードの頻度が画面の上
部と下部よりも画面の中央部分で高くなるようにする。

【００１８】（５）画像信号符号化装置と、画像符号を
復号化する画像復号化装置において、それぞれが制御信
号の通信手段を有し、画像復号化装置から画像符号化装
置に強制ＩＮＴＲＡモードの頻度を高くする領域の情報
を送信するようにする。

【００１９】以上により、上記目的を達成できる。

【００２０】

【作用】本発明によれば、「単純フレーム間予測」，
「動き補償フレーム間予測」などのフレーム間予測符号
化方式を用いた画像符号化装置において、特定のフレー
ム間隔ごとに「フレーム内で符号化する方式」を強制的
に挿入して画像を更新する場合に、画面の特定部分を重
点的に行う。この結果、画面の特定部分での逆直交変換
の演算精度の不一致による誤差の蓄積を抑えることが可
能となり、画面の特定部分に良好な画面を表示すること
が可能となる。

【００２１】さらに、特定部分以外で「強制的にフレー
ム内で符号化する方式」の頻度を下げると、伝送する画
像データのデータ量を増やすことなく、画面の特定部分
に良好な画面を表示することが可能となる。

【００２２】

【実施例】本発明を説明する前に一般的な画像符号化装
置の構成を図１を用いて説明する。画像符号化装置は、
カメラ３０１，カメラ３０１の画像信号をＡ／Ｄ変換す
るＡ／Ｄ変換回路３０２、ディジタルに変換した画像信
号をフレームメモリ（以降ＦＭという）に書き込む画像
信号処理回路３０３，ＦＭ３０６，ＦＭ３０７，画像信
号をＦＭから読み出して符号化する符号化回路３０８，
画像信号処理回路３０３と符号化回路３０８のアドレス
を切り換えるマルチプレクサ３０９，画像信号の書き込
みを選択するスイッチ３１０，画像信号の読み出しを選
択するスイッチ３１１から構成されている。

【００２３】以下、この動作を説明する。符号化回路３
０８は、画像信号処理回路３０３がＦＭに画像信号を転
送できるようにマルチプレクサ３０９，スイッチ３１０
を制御して、画像信号処理回路３０３に画像信号転送信
号１００を発行する。画像信号処理回路３０３は、カメ
ラ３０１で撮られ、Ａ／Ｄ変換回路３０２でディジタル
データに変換された画像信号１０５を一方のＦＭに転送
する。そして画像信号処理回路３０３は１フレーム分の
画像信号１０５を転送すると、画像信号転送終了信号１
０１を符号化回路３０８を発行する。

【００２４】ここで、もう一方のＦＭは、直前に転送さ
れたフレームの画像信号を格納しておく参照フレーム用
ＦＭとなる。符号化回路３０８は、この２つのＦＭを用
いて、画像をブロック単位で「フレーム間予測」により
符号化する。

【００２５】次に、本発明に関係が深い強制ＩＮＴＲＡ
モードを実現する一般的な回路を図２に示し詳しく説明
する。強制ＩＮＴＲＡ回路３１２は、強制ＩＮＴＲＡブ
ロック情報を格納する記憶回路２０１と、ＦＭのアドレ
スと強制ＩＮＴＲＡブロックを比較する比較回路２０２
から構成されている。符号化回路３０８は、１フレーム
の符号化を始める前に、そのフレームでどのブロックを
強制ＩＮＴＲＡモードにするかを記憶回路２０１に指定
する。比較回路２０２は、符号化中のブロックを示すＦ
Ｍのアドレス１０７と記憶回路２０１の出力とを比較
し、それが一致した場合には、強制ＩＮＴＲＡブロック
の検出信号１０９を出力して、符号化回路３０８に知ら
せる。符号化回路３０８はそのブロックを強制ＩＮＴＲ
Ａモードで符号化する。

【００２６】従来の強制ＩＮＴＲＡモードによるリフレ
ッシュの例を図３に示して説明する。ＦＭ３０６は２次
元構成のＦＭで、カメラ３０１で撮った画像を格納して
ある。この例では画像を２５のブロックに分割してあ
る。従来は、ブロック１からブロック２５まで、各ブロ
ック均一の頻度で強制ＩＮＴＲＡモードによるリフレッ
シュを行っていた。フレームの更新ごとに１ブロックず
つ強制ＩＮＴＲＡモードにすると、全ブロックは２５フ
レームごとに均一な頻度でリフレッシュされる。次に、
本発明の特徴である画面の強制ＩＮＴＲＡモードの発生
頻度を分割した例を図４に示す。中央部分が強制ＩＮＴ
ＲＡモードの頻度が高い領域４０２であり、周辺部分が
頻度の低い領域４０３である。この図に示すように、画
面の中央に人物の顔などの重要な情報が表示されるの
で、この部分の強制ＩＮＴＲＡモードの頻度を高くする
ことによって、この部分の画質を上げることが可能であ
る。本発明を実現する具体的な画面の分割の第１の実施
例を図５に示す。画面を中央と周辺部分に２分割して、
強制ＩＮＴＲＡモードの領域を２５ブロックに分割した
例である。強制ＩＮＴＲＡモードの頻度が高い領域４０
２はブロック１から９までで、強制ＩＮＴＲＡモードの
頻度が低い領域４０３はブロック１０から２５までであ
る。強制ＩＮＴＲＡモードにするブロックの順番が、
１,２,３,４,５,６,７,８,９,１０,１１,１２,１３,１
４,１５,１６,１７,１,２,３,４,５,６,７,８,９,１８,
１９,２０,２１,２２,２３,２４,２５,となるように、
記憶回路２０１に強制ＩＮＴＲＡブロック情報をセット
する。この結果、中央部分のブロックは周辺部分に比べ
て２倍の周期でリフレッシュされる。

【００２７】上記の実施例の他にも、下記も本発明の範
囲内であることは明らかである。

【００２８】（１）本発明の第２の実施例を図６に示
す。周辺部分のリフレッシュの順番をブロック一つおき
に最後のブロックまでリフレッシュし、その後残りのブ
ロックに対してリフレッシュするようにした。この場合
の強制ＩＮＴＲＡモードにするブロックの順番は次の通
りになる。

【００２９】１,２,３,４,５,６,７,８,９,１０,１１,
１２,１３,１４,１５,１６,１７,１,２,３,４,５,６,
７,８,９,１８,１９,２０,２１,２２,２３,２４,２５こ
の結果、周辺部分のリフレッシュが均一化するようにな
る。

【００３０】（２）本発明の第３の実施例を図７に示
す。画面の中央から外側に向かってスパイラル形状にな
るような順番でリフレッシュする。この場合の強制ＩＮ
ＴＲＡモードにするブロックの順番は次の通りになる。

【００３１】１,２,３,４,５,６,７,８,９,１０,１１,
１２,１３,１４,１５,１６,１７,１,２,３,４,５,６,
７,８,９,１８,１９,２０,２１,２２,２３,２４,２５こ
の結果、強制ＩＮＴＲＡモードの頻度が高い領域４０２
の中でも、さらに中心からリフレッシュされるようにな
る。

【００３２】（３）本発明の第４の実施例を図８に示
す。画面を中心から順番に３分割して、中心部分を強制
ＩＮＴＲＡモードの頻度が最も高い領域４０４とし、中
間を強制ＩＮＴＲＡモードの頻度が２番目に高い領域４
０５にして、周辺を強制ＩＮＴＲＡモードの頻度が低い
領域４０３にする。画面の一番外側はブロック数が多い
が重要な情報が少ないので、その部分の強制ＩＮＴＲＡ
モードの頻度を極端に低くするものである。強制ＩＮＴ
ＲＡモードの領域を２５ブロックに分割し、強制ＩＮＴ
ＲＡモードにするブロックの順番を、１，２，４，６，
８，１０，１４，１８，２２，１，３，５，７，９，１
１，１５，１９，２３，１，２，４，６，８，１２，１
６，２０，２４，１，３，５，７，９，１３，１７，２
１，２５，とする。画面の中央部分のリフレッシュを周
辺部分の４倍の頻度で行い、中間部分を周辺部分の２倍
の頻度で行う。この結果、画面の中央は周辺の４倍の頻
度でリフレッシュされることになる。

【００３３】（４）本発明の第５の実施例を図９に示
す。画面を横に３分割して、真中の部分を強制ＩＮＴＲ
Ａモードの頻度が高い領域４０２とし、上下の部分を強
制ＩＮＴＲＡモードの頻度が低い領域４０３とする。強
制ＩＮＴＲＡモードの領域を２５ブロックに分割し、強
制ＩＮＴＲＡモードにするブロックの順番を、1，2，
3，4，5，6，7，8，9，10，11，12，13，14，15，16，1
7，18，19，20， 1，2，3，4，5，6，7，8，9，10，1
1，12，13，14，15，21，22，23，24，25，とする。
中央部分のブロックは、周辺部分に比べて２倍の周期で
リフレッシュされる。

【００３４】（５）画像符号化装置と画像復号化装置の
間に制御回線を設ける。例えば、ISDNのＤチャネルを用
いても良い。これを用いて、画像復号化装置から画像符
号化装置に強制ＩＮＴＲＡモードの頻度を高くする領域
を指定する。この結果、画像復号化装置から画質を向上
したい領域を自由に指定できるようになる。

【００３５】

【発明の効果】上記発明によると、ＴＶ電話やＴＶ会議
などの画像符号化装置において、画面の特定部分で「強
制的にフレーム内で符号化する方式」の頻度を上げるこ
とによって、画面の特定部分の画質が良くなるため、受
信側では画面の特定が見やすい画像を受信することが可
能になる。

【００３６】さらに、画面の特定部分で「強制的にフレ
ーム内で符号化する方式」の頻度を上げて、それ以外の
部分で頻度を下げると、伝送する画像データのデータ量
を増やすことなく、画面の特定部分に良好な画面を表示
することが可能となる。

【００３７】以上より、本発明は使い勝手の良く、高画
質の画像信号符号化装置を実現する際に極めて効果が大
きい。

【図面の簡単な説明】

【図１】本発明の画像信号符号化装置のブロック構成図
である。

【図２】本発明の強制ＩＮＴＲＡ回路のブロック図であ
る。

【図３】従来の強制ＩＮＴＲＡ方法を示す画面である。

【図４】本発明の中央部分に強制ＩＮＴＲＡモードの頻
度を高くした画面である。

【図５】本発明の強制ＩＮＴＲＡ方法の第１の実施例で
ある。

【図６】本発明の強制ＩＮＴＲＡ方法の第２の実施例で
ある。

【図７】本発明の強制ＩＮＴＲＡ方法の第３の実施例で
ある。

【図８】本発明の強制ＩＮＴＲＡ方法の第４の実施例で
ある。

【図９】本発明の強制ＩＮＴＲＡ方法の第５の実施例で
ある。

【符号の説明】

４０２…強制ＩＮＴＲＡモードの頻度が高い領域、４０
３…強制ＩＮＴＲＡモードの頻度が低い領域、４０４…
強制ＩＮＴＲＡモードの頻度が最も高い領域、４０５…
強制ＩＮＴＲＡモードの頻度が２番目に高い領域、３０
０…カメラ、３０１…カメラ、３０２…Ａ／Ｄ変換回
路、３０３…画像信号処理回路、３０６，３０７…フレ
ームメモリ、３０８…符号化回路、３０９…マルチプレ
クサ、３１０，３１１…スイッチ、３１２…強制ＩＮＴ
ＲＡ回路、２０１…記憶回路、２０２…比較回路。

───────────────────────────────────────────────────── フロントページの続き (72)発明者杵渕豊東京都国分寺市東恋ケ窪１丁目280番地株式会社日立製作所中央研究所内 (72)発明者工藤茂実東京都国分寺市東恋ケ窪１丁目280番地株式会社日立製作所中央研究所内

Claims

【特許請求の範囲】

【請求項１】テレビジョン信号等の画像信号を高能率圧
縮符号化して送信する画像信号符号化装置において、直
前に伝送されたフレームの信号を参照して次のフレーム
を符号化する方式と、特定のフレーム間隔ごとに強制的
にフレーム内で符号化する方式を組み合わせて画像を符
号化する場合に、強制的にフレーム内で符号化する方式
の頻度が画面の特定部分で高いことを特徴とする画像信
号符号化方法。
【請求項２】テレビジョン信号等の画像信号を高能率圧
縮符号化して送信する画像信号符号化装置において、直
前に伝送されたフレームの信号を参照して次のフレーム
を符号化する方式と、特定のフレーム間隔ごとに強制的
にフレーム内で符号化する方式を組み合わせて画像を符
号化する場合に、画像の符号化手段と、強制的にフレー
ム内で符号化するブロックを検出する手段を有して、強
制的にフレーム内で符号化する方式の頻度が画面の特定
部分で高いことを特徴とする画像信号符号化装置。
【請求項３】請求項１記載の画像信号符号化方法で、強
制的にフレーム内で符号化する方式の頻度の低い部分
で、強制的にフレーム内で符号化する方式を１画像ブロ
ックおきの順番に行なうことを特徴とする画像信号符号
化方法。
【請求項４】請求項１記載の画像信号符号化方法で、強
制的にフレーム内で符号化する方式の頻度の高い部分
で、強制的にフレーム内で符号化する方式を画面の中央
から外側に向かってスパイラル形状になるような順番に
行なうことを特徴とする画像信号符号化方法。
【請求項５】請求項１記載の画像信号符号化方法で、強
制的にフレーム内で符号化する方式の頻度の低い部分を
画面の周辺部分とし、その周辺部分をさらに外側部分と
内側部分に２分割して、該外側部分で強制的にフレーム
内で符号化する方式の頻度を該内側部分より低くするこ
とを特徴とする画像信号符号化方法。
【請求項６】テレビジョン信号等の画像信号を高能率圧
縮符号化して送信する画像信号符号化装置において、直
前に伝送されたフレームの信号を参照して次のフレーム
を符号化する方式と、特定のフレーム間隔ごとに強制的
にフレーム内で符号化する方式を組み合わせて画像を符
号化する場合に、画面を少なくとも上部，中部，下部に
３分割して、強制的にフレーム内で符号化する方式の頻
度が画面の上部と下部よりも画面の中央部分で高いこと
を特徴とする画像信号符号化方法。
【請求項７】テレビジョン信号等の画像信号を高能率圧
縮符号化して送信する画像信号符号化装置と、該画像符
号を復号化する画像復号化装置において、それぞれが制
御信号の通信手段を有し、該画像復号化装置から該画像
符号化装置に強制的にフレーム内で符号化する方式の頻
度を高くする領域の情報を送信することを特徴とする画
像信号符号化復号化装置。