JPH02234586A - 高能率符号化方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

（産業上の利用分野） 本発明はディジタル信号の信号処理を行なう記録．伝送
機器．その他の表示装置などの各ｌ！８１器において、
動画像信号をより少ない符号間で効率的に圧縮符号化し
て伝送メディア又は記録メディアにそれぞれ伝送又は記
録するための高能率符号化方式のうちのフレーム間予測
符号化方式に関するもので、特にテレビ会議などの特定
の動画像信号でなく一般の動画像信号を情報記録ディス
クや情報記録テープなどの蓄積系メディアに記録するた
めに有用なものである。 く従来の技術》 動画像信号の高圧縮技術としては、テレビ会議，テレビ
電話用に、より少ない符号ｍで符号化する符号化技術（
高能率符号化技術）が知られているが、この場合、同一
背景画像中に人物の動きがあるという特殊な動画像信号
の符号化となる。 ここで、符号化の概略を述べると、初期画面又はシーン
・チェンジ（画面転換）のときは、フレームをフリーズ
《例えば、５フレーム間位静止画とする》し、その問に
１フレームの画像信号をフレーム内符号化し、その後、
各フレームを前フレームの符号化・復号データを基準と
してフレーム園予測符号化（例えば、動き補償フレーム
間予測符号化）をする。 フレーム間予測符号化は、通常の動画像が各フレーム閤
でかなり似ているので、符号化の済んだ前のフレームの
信号から符号化しようとするフレームの信号を予測して
、予ａＷＡ差《残差》のみを符号化するものである。 このとき、１フレームを８×８画素程度の大きざずつの
ブロックに分割して《１フレームが３６０×２４０画素
とすると４５ｘ３０ブロックとなる》、各ブロックごと
に前フレーム（実際には、前フレームの符号化復号画像
データ）との動き補償されたフレーム間予測誤差信号を
符号化し、伝送する。 更に、その際、データ圧縮のため前フレームとの相関の
強いブロックのデータは符号化伝送しないなども行なわ
れる。 また、伝送中のエラーによりいったん復号できなくなっ
たブロックは、それ以降は復号再生できなくなるのを防
止するために、少しずつ各ブロックの符号化をフレーム
内符号化をして伝送し、例えば、１秒間に１回位全ブロ
ックがリフレッシュされるような方法がとられる。 第４図は動き補償フレーム間予測符号化の代表的な従来
構成を示すブロック図である。 同図において、画像信号入力端子１より連続して入力さ
れた動画像信号は、予測信号減ｎ器２において予測信号
（予ｌＩｌ値）が減Ｗされ、その差分である予測誤差（
残差）について符号化器３で符号化される。この時、切
換えスイッヂ７はｂ側に接続される。 予測信号（予測値）は、局部復号各４で局部復号され、
１フレームメモリ５にストアされた前フレームの信号（
符号化・復号データ）から動き補償回路６で動き補償さ
れることにより得られる。 初期画面（初期状態）やシーン・チェンジ（画面転換》
のときには、切換えスイッチ７がａ側に接続され（この
とき、予測信号減算器２において０（ゼロ）が減算され
、すなわち減算が無いことになり》、１フレーム分すべ
てフレーム内符号化される。その様子を第５図に示すが
、木来フレームＦ１〜Ｆ４の符号化をすべきところを、
その時閤をフレームＦｏの符号化に割当てている。これ
は符号化に要する時間と伝送データ量の問題からそうな
っている。従って、フレームＦｏが５フレーム問継続（
フリーズ》し、５フレーム間静止自となり、その後フレ
ームＦ５，Ｆａ．・・・と続いて符号化される。 なお、第５図において、ｒ白Ｊ部分はフレーム閤予測符
号化を示し、『ハッチングｊ部分はフレ一ム内符号化（
部分リフレッシュ）を示す。 また、初期画面やシーン・チェンジ以外の通常状態では
、第６図に示すように、部分リフレッシュが行なわれ、
その時だけ切換えスイッチ７がａ側に接続され、この図
では６つのフレーム期間［フレームＦｎ　．　Ｆｎ＋＋
．　Ｆｎ＋２　，　Ｆｎ＋３　，　Ｆｎ＋４　，Ｆｎ＋
５］で全リフレッシュが行なわれるが、実際には３０フ
レーム／秒のフレーム・レートとして１秒間（３０フレ
ーム）位かけて全リフレッシュされる場合が多い。 また、第４図の符号化器３における符号化は、第７図に
示すように、まず、８Ｘ８ＤＣＴ回路１３において８×
８画素のブロックがそれぞれ２次元離散コサイン変換［
　Ｄ　Ｃ　Ｔ　；　Ｄｉｓｃｒｅｔｅ　ＣｏｓｉｎｅＴ
ｒａｎｓｆｏｒｍ　］され、得られた８×８の各係数は
、次に、係数別ｍ子化器１４で係数別に量子化される。 更に、伝送符号化器８では０（ゼロ）係数値から非Ｏ（
ゼロ）係数値までが、第８図に示すようなＤ子化ＤＣＴ
係数のスキャンニングによりランレングス符号化され、
それらランレングス符号がエント０ビー符号化（ハフマ
ン符号などの可変長符号化》により伝送符号化され、バ
ッファメモリ９を介して可変長ディジタルデータとして
データ出力端子１１より出力され、伝送あるいは記録さ
れる。 ここで、量子化後のＤＣＴ係数は、０（ゼロ）となるこ
とが多いため前述したランレングス符号化が有効であり
、更に、第９図に示すように確率分布を予め設定し、八
フマン符号化し、伝送することによってデータ圧縮が効
果的に行なえる。 なお、フレーム内／間符号化切換制御回路１０は、動き
補償回路６の出力によりシーン・チェンジを検出し、そ
の際や前記した部分リフレッシュの際に切換えスイッチ
７の接続の切換えをＤＩ御すると共に、伝送符号化器８
にフレーム内／間符号化の識別情報を供給し、フレーム
内／闇の符号化の切換えを行なう。 伝送符号化器８には動き補償回路６から動きベクトル情
報が供給される一方、フレーム内／間符号化切換制御回
路１０からフレーム内／間符号化識別情報が供給され、
それらも一緒に伝送符号化される。 ここで、可変長符号化する場合、バッファメモリ９が不
可避であるが、各フレームとも同じ符号化を行なってい
たのでは符号発生量が画像の種類《例えば、テレビ会議
で人の動きが大きくなったりしたとき》によって変動す
るため、一定の伝送容石の伝送路ではデータが送れなく
なる。 そのため、画像が少量変動する場合はバッファメモリ９
で平滑化し、大急変動が起こりかけたときはバッフ？メ
モリ９の占有泪を監視し、それによって符号化制御回路
１２を介して符号化器３における符号化を制御する。 なお、符号化のｉｌＨＤは、具体的には前述した符号化
器３の８Ｘ８ＤＣＴ係数の量子化ステップを粗くしたり
、全係数を送らす低次側の係数のみにしたりする。 （発明が解決しようとする課題） ところが、上記した従来の高能率符号化方式、すなわち
前フレームによる巡回型のフレーム間予測符号化方式で
は、一般の動画像のうちテレビ会議などのように連続し
て画像を送る場合には大きな不都合はないが、特に情報
配録ディスクや情報記録テープなどの蓄積系メディアへ
の記録に適用した場合に次の様な問題点がある。 ■　一般の動画像ではシーンチェンジがよくあるが、そ
のたびごとにフリーズが起こるのは不自然である。 ■　蓄積系メディアへの記録再生では特にエラーへの対
策が必要となるが、エラーが起こったブロック領域の回
復に１秒もかかつてしまう。 ■　メディアの途中からの再生が頻繁に行なわれる（ラ
ンダムアクセス）が、そのたびに全画面をリフレッシュ
するまでの１秒間は再生画像が得られない。 ■　蓄積系メディアに記録された場合には、ビジュアル
・サーチ（相画面を再生モニタしながら早送りや巻戻し
を行なうこと）が必要となるが、それが不可能である。 ■　リフレッシュから時間的に離れたブロックのフレー
ム間予測符号化は予測誤差が大きくなり、フレーム間予
測符号化による圧縮効果が少し低下する。 そこで、本発明は上配した従来の技術の課題を解決した
高能率符号化方式を提供することを目的とする。 《課題を解決するための手段》 本発明は上記の目的を達成するために、連続して入力さ
れる画像信号の連続フレームを２ｎ＋１フレーム［ｎは
正の整数］ごとにまとめて符号化し、符号化対象となる
２ｎ＋１のフレームを順にＦ−ｎ，　Ｆ−ｎ＋１，　−
＝，　Ｆ−２．　Ｆ−１，　Ｆ　ｏ　，　Ｆ　＋　．Ｆ
２．・・・．Ｆｎ−＋．Ｆｎとして、その中のフレーム
Ｆｏをフレーム内符号化する手段と、このフレームＦｏ
の符号化・復号データを基準として、その前後のフレー
ムＦ−１、Ｆ１をフレーム間符号化する手段と、このフ
レームＦｏ．Ｆ−１．Ｆ　＋の符号化・復号データを基
準として、その前後のフレームｌ−２．Ｆ２をフレーム
間符号化する手段と、以下順に、フレームＦ　ｏ　．　
Ｆｌ，　Ｆ　１　，　・”，　Ｆ−ｎ＋１，Ｆｒ１−１
の符号化・復号データを基準として、その前後のフレー
ムＦ−ｎ．Ｆｎをフレーム間符号化する手段とを備えて
、伝送メディア又は記録メディアにそれぞれ伝送又は記
録する高能率符号化方式であって、符号化データの伝送
又は記録単位（パケット）をａビット［ａは正の整数１
，２ｎ＋１フレームの符号化データをＮビット［Ｎは正
の整数］、連続する２ｎ＋１フレームの符号化データご
とにデータ識別するための識別データをＣビット［Ｃは
整数；Ｃ≧０１として、前記２ｎ＋１フレームの符号化
データＮ及び前記識別データＣを合わせたデータＮ＋Ｃ
＝　（ｍ−１　）Ｘａ＋ｂビット［ｂ、ｍは正の整数：
ａ≧ｂ〉０］を、これに（ａ−ｂ）ビットのダミーデー
タを付加してｍパケットのデータとして伝送又は記録す
る手段を備えたことを特徴とする高能率符号化方式を提
供するものである。 また、上記した高能率符号化方式において、フレーム・
レートを（２ｎ＋１　）・ｄフレーム／秒

【ｄは正の整
数１、パケット伝送又は記録゛レートを（ｍｏ＋ｆ）・
ｄパケット／秒［ｍｏは正の整数，１＞ｆ≧０１として
、前記２ｎ＋１’７レームの符号化データＮ及び前記識
別データＣを合わせたデータＮ＋Ｃが、（Ｎ＋Ｃ）≦ｍ
ｏＸａとなるように各２ｎ＋１フレームごとに符号化を
制御し、２ｎ＋１フレームの符号化データをｍｏパケッ
トの固定データ伝送又は記録聞になるようにする手段と
、各２ｎ＋１フレームの符号化データの伝送又は記録ご
とに、伝送又は記録に用いたパケット数の積算値Ｍ１と
伝送メディア又は記録メディアでそれぞれ伝送又は記録
可能なパケット数の積算値Ｍ２とを比較し、Ｍ２≧Ｍ１
＋１となるとき、伝送又は記録に用いたパケットに１パ
ケット分の識別信号をダミーパケットとして付加して積
棹値Ｍ１に１を加算して伝送又は記録する手段とを備え
たことを特徴とする高能率符号化方式を提供するもので
ある。 また、上記した高能率符号化方式において、フレームＦ
ｏのフレーム内符号化について、部分符号化データから
の粗画像の復号が可能な階層符号化を行なうと共に、上
記粗画像の復号のための部分符号化データを、断続伝送
信号又は断続再生信号からの復号が可能なように集中的
に伝送又は記録する手段を備えたことを特徴とする高能
率符号化方式を提供するものである。 （作　用） 上記した構成の高能率符号化方式においては、（１′）
２ｎ＋１フレームごとにフレーム内符号化することによ
り、１フレーム全画面を一度にリフレッシュする。そし
て、（ニ）フレーム内符号化したフレームの符号化・復
号データを基準として、その前後のフレームをフレーム
問符号化することにより、フレーム間予測を前向きと後
向きの双方向で行ない、よって、従来の技術では最大２
ｎフレーム離れたフレームのフレーム圓符号化をしてい
たものが、最大ｎフレーム離れたフレームのフレーム間
符号化となり、フレーム間距離を半減させられ、その分
予８ｌＩＷ４差を少なくできる。 更に、上記（イ）では、例えば１秒問に数回程度のリフ
レッシュをすることになるから、《実用上》フレーム内
符号化が増加し、従って、符号量が増加することになる
が、上＆！ロによってフレーム間符号化の圧縮率が向上
し、全体として符号量をあまり増加させないで前述した
従来の技術のｌ！ｌＷ１点■〜■を解決することができ
る。 〈実　施　例） く基本構成〉 第１図は本発明になる高能率符号化方式の一実浦例の基
本的な構成を示すブロック図である。 同図における基本的な構成は従来例に準じたものとなっ
ており、前出の第４図中の同一構成部分には同−１１号
を付す。 第１図においては、連続して入力される動画像信号の連
続フレームを２ｎ＋１フレーム［ｎは正の整数］ごとに
まとめて符号化するために符号化対象となる２ｎ＋１の
フレームをストアする《２ｎ＋１》フレームメモリ２１
を持つ。 また、予Ｉ信号（予Ｉ１１１）を前後のフレームをもと
に形成するために、二つの１フレームメモリ２２．　２
３と、これらのメモリから読み出したデータを切換えて
動き補償回路６に供給するための切換えスイッチ２４と
がある。 上記した構成で、連続して入力される動画像信号の連続
フレームを５フレームごとにまとめて符号化する場合に
ついて説明する。 ［１１第２図に示すように、連続して入力される動画像
信号の連続フレームのうち符号化対象となる最初の５フ
レームをＦ−２．Ｆ−１．Ｆｏ．Ｆ　＋．Ｆ２として、
まず、この５フレームを（２ｎ＋１）フレームメモリ２
１にストアする。 ［２】５フレームのうちの真中の順番にあるフレームＦ
ｏを（２ｎ＋１）フレームメモリ２１から読み出し、こ
のフレーム「０をフレーム内符号化する。この時、切換
えスイッチ７はａ側に接続される。そして、符号化ＷＡ
３から得られるフレームＦｏの符号化データを局部復号
器４で局部復号して、それを二つの１フレームメモリ２
２．　２３にそれぞれストアする。 【３１フレームＦｏの後のフレームであるフレームＦ１
を（２ｎ＋１）フレームメモリ２１から読み出し、この
フレームＦ＋について１フレームメモリ２２にストアざ
れているデータ（すなわち、フレームＦｏの符号化・復
号データ）を基準に動ぎ補償予測値との差分を算出し、
フレーム間予測符号化する。この時、切換えスイッチ７
はｂ側に接続ざれ、切換えスイッチ２４はａ側に接続さ
れる。そして、符号化器３から得られるフレームＦ＋の
符号化データを局部復号器４で局部復号して、それを１
フレームメモリ２２に書換えストアする。 【４１フレームＦｏの前のフレームであるフレームＦ−
１を（２ｎ＋１）フレームメモリ２１から読み出し、こ
のフレームＦ−１について１フレームメモリ２３にスト
アされているデータ《すなわち、フレームＦｏの符号化
・復号データ》を基準に動き補償予測値との差分を算出
し、フレーム園予測符号化する。この時、切換えスイッ
チ７はｂ側に接続され、切換えスイッチ２４はｂ側に接
続される。そして、符号化器３から得られるフレームＦ
−１の符号化データを局部復号器４で局部復号して、そ
れを１フレームメモリ２３にＩ換えストアする。 ［５１フレームＦ１の後のフレームであるフレ−ムＦ２
を（２ｎ＋１＞フレームメモリ２１から読み出し、この
フレームＦ２について１フレームメモリ２２にストアさ
れているデータ《すなわち、フレームＦ１の符号化・復
号データ）を基準に動き補償予測値との差分を算出し、
フレーム間予測符号化する。この時、切換えスイッチ７
はｂ側に接続され、切換えスイッチ２４はａ側に接続さ
れる。 ［６］フレームＦ−１の前のフレームであるフレームＦ
−２を（２ｒｌ＋１　＞フレームメモリ２１から読み出
し、このフレームＦ−２について１フレームメモリ２３
にストアされているデータ（すなわち、フレームＦ−１
の符号化・復号データ）を基準に動き補償予測値との差
分を韓出し、フレーム間予測符号化する。この時、切換
えスイッチ７はｂ側に接続され、切換えスイッチ２４は
ｂ側に接続される。 以上のように、連続フレームのうち符号化対象となる５
フレームＦ−２．Ｆ−１．Ｆｏ，Ｆ　＋．Ｆ２のうら、
第３図に示すように、まず、５フレームの真中の順番に
あるフレームＦｏをフレーム内符号化し、次に、このフ
レームＦｏの符号化・復号データを基準として、その前
後のフレームＦ−１，Ｆ１をフレーム間予測符号化し、
更に、このフレームＦ−１．Ｆｏ．Ｆ　＋の符号化・復
号データを基準として、その前後のフレームＦ−２，Ｆ
２をフレーム間予測符号化する。 また、連続フレームのうち符号化対象となる次の５フレ
ームＦ３．Ｆ４．Ｆ５．Ｆ８．Ｆ７についても上記と同
様に、まず、５フレームの真中の順番にあるフレームＦ
５をフレーム内符号化し、次に、その前後のフレームに
ついてフレーム間予測符号化する。 以下同様に、順次５フレームごとに上記と同様の符号化
を行なう。 なお、上記したように５フレームごとの符号化に限らず
、７フレームあるいは９フレームごとのように２ｎ＋１
フレームごとにまとめて符号化する場合も、上記と同様
の符号化手順によるものである。 以上のように、本発明では、２ｎ＋１フレームごとにフ
レーム内符号化することにより、１ノレーム全画面を一
度にリフレッシュすると共に、フレーム内符号化したフ
レームの符号化・復号データを基準として、その前後の
フレームをフレーム間予測符号化することにより、フレ
ーム間予測を前向きと後向きの双方向で行ない、よって
、従来の技術では最大２ｎフレーム離れたフレームのフ
レーム間予測符号化をしていたものが、最大ｎフレーム
離れたフレームのフレーム間予測符号化となり、フレー
ム閤距離を半減させられ、その分予測誤差を少なくでき
る。 〈第１の実施態様〉 本発明は基本的に上記のようにして符号化を行なうが、
次に、これを各種の伝送メディア又は記録メディアにそ
れぞれ伝送又は記録するための伝送信号の生成について
の第１の実施態様を説明する。 第１０図は上記の伝送又は記録のための伝送信号の生成
についての構成の一例の要部を示すブロック図である。 同図における基本的な構成は第１図に準じたものとなっ
ており、それらの共通部分は省略し、同一構成部分には
同一番号を付す。 第１０図においては、バッファメモリ９から出力される
可変長ディジタルデータが伝送信号生成回路３１に供給
され、ここで、後述するように符号データ量韓出回路３
２による制御によりダミーデータが付加されて伝送信号
が生成される。 なお、ダミーデータとしては、例えば、娠幅Ｏ（ゼロ）
を示す様な復号されても彰饗しないデータが良い。 一方、伝送符号化器８で伝送符号化されたデータは符号
データ量算出回路３２に供給ざれ、ここでその伝送符号
Ｉ（データ量）が篩出され、その算出結果によって伝送
信号生成回路３１におけるダミーデータの付加＠御を行
なう。そして、ダミーデータの付加により２ｎ＋１フレ
ームの符号化データを、各パケットが所定ビットよりな
る整数個のパケットのデータとし、これを伝送又は記録
するようにする。 ここで、上記のダミーデータを付加する伝送信号につい
て説明する。 第１１図は２ｎ＋１フレームの符号化データをｍパケッ
ト［ｍは正の整数］分のデータとして伝送又は記録する
伝送信号の構成の一例を示す図である。 Ｐ＋−Ｐ−はそれぞれ伝送又は記録単位であるパケット
を示し、各パケットをａビット［ａは正の整数］として
、２ｎ＋１フレームの符号化データはｍ−ａビットとな
る。 各パケットＰ１〜Ｐ鵬は、第１２図に示すように、Ｈで
示されるヘッダ部から始まり、ヘッダ部Ｈ以後は全てデ
ータとする場合もあり、データとその談り検出訂正用バ
リティからなる場合もある。 最後のパケットｐｍのＥＭは、Ｃビット［Ｃは整数二Ｃ
≧０］よりなるエンドマークで、２ｎ＋１フレームの符
号化データの終了を示す。なお、これは場合によっては
後述するように無くても良い。 ヘッダ部Ｈは各パケットの同期信号であり、場合によっ
ては識別信号を含むこともある。 ２ｎ＋１フレームの符号化データをａビットずつのパケ
ットとした時、最後のパケットｐｍを構成するヘッダ部
Ｈ，データ．エンドマークＥＨを合わせてｂピットとし
、これに（ａ−ｂ）ビットのダミーデータを付加するこ
とにより、最後のパケットＰ霞についても他のパケット
同様にａビットのパケットとする。 このように、最後のパケットＰ一についてダミーデータ
を付加することにより、２ｎ＋１フレームの符号化デー
タをｍ−ａビットよりなるｍパケットのデータとし、こ
れを伝送又は記録するようにする。 第１３図は２日＋１フレームの符号化データ間の状態を
示す図で、同図に示すように２ｎ＋１フレームの符号化
データ《フレームＦ−ｎ〜Ｆｎのデータ》の最後のパケ
ットＰ園のエンドマークＥＨを検出した後、次の２ｎ＋
１フレームの符号化データ（フレームＦ　ｎｅ１〜Ｆ　
２ｎ＋１ノデータ＞ｆ）最初（ＤハケットＰ１のヘッダ
部Ｈを検出することにより、２ｎ＋１フレームの符号化
データの始まりが検出（判別）できる。 また、第１４図は伝送信号の構成の他の例を示す図であ
る。 この第１４図では、より確実に各２ｎ＋１フレームの符
号化データの始まりを検出するために、各パケットのヘ
ッダ部Ｈの直後に識別データ１０，〜ＩＯ−を付加して
、伝送又は記録する。 そして、２ｎ＋１フレームの符号化データの始まりは、
最後のパケットＰ園の識別データＩＤｍや最初のパケッ
トＰ１の識別データ１０，を検出することにより確実に
検出できる。 この場合、エントマークＥＨを付加しておいても良いが
、このエントマークＥＨを省略して、その代わりにダミ
ーデータとして前記と同様に、例えば、振幅Ｏ《ゼＯ》
を示す様な復号されても影警しないデータを付加しても
良い。 く第２の実ｍ態様〉 次に、第１図の基本構成により符号化されたデータを各
種の伝送メディア又は記録メディアにそれぞれ伝送又は
記録するための伝送信号の生成についての第２の実施態
様を説明する。 第１５図は上記の伝送又は記録のための伝送信号の生成
についての構成の他の例の要部を示すブロック図である
。同図における基本的な構成は第１図に準じたものとな
っており、それらの共通部分は省略し、同一構成部分に
は同一番号を付す。 第１５図においては、バッフ７メモリ９から出力される
可変長ディジタルデータが、まず、データの部分削除回
路３３に供給され、ここで、データの部分削除〈例えば
、高次成分の符号を伝送しないなどによるデータ削除）
による伝送符号員の制御が行なわれた後、次に、伝送信
号生成回路３４に供給され、ここで、符号データ量算出
回路３５による１１１ｔ！ｊにより前記したようにダミ
ーデータが付加されて伝送信号が生成される， 一方、伝送符号化器８で伝送符号化されたデータは符号
データ量算出回路３５に供給され、ここでその伝送符＠
鰻（データｍ＞が算出され、その詐出結果によってデー
タの部分削除回路３３における伝送符号量の制御や伝送
信号生成回路３４におけるダミーデータの付加制御を行
なう。 データの部分削除回路３３におけ金データ削除、すなわ
ら伝送符号思のυｒｍは、例えば■ＤＣＴ係数の高次成
分の符号を伝送しないことによるデータ削除や■階層符
合化されているデータの場合は、粗画像のデータだけを
伝送し、精細化の補正データは伝送しないことによるデ
ータ削除を行なう。 従って、符号データＩｌｍ出回路３５におけるデータ量
の舞出は、複数の内容別データａｍ出を行なう必要があ
る。例えば、８Ｘ８のブロックのランレングス符号によ
り低次より１６番目までの係数の符号と、１７番目から
６４番目までの係数の符号とのそれぞれのデータ暑の算
出を行なう必要がある。 そして、上記のように伝送符号量が制御され、ダミーデ
ータが付加されて生成された伝送信号を伝送又は記録す
るようにする． 第１６図は上記のデータ削除（すなわち、伝送符号量の
制御）やダミーデータの付加ｔＩｌｌｔ［ｌのための更
に詳しい構成の一例の要部を示すブロック図である。同
図における基本的な構成は第１図．第７図や第１５図に
準じたものとなっており、それらの共通部分は省略し、
同一構成部分には同一番号を付す。 第１６図においては、バツフ７メモリ９から出力される
可変長デイジタルデータが、伝送信号生成回路３４に供
給され、ここで、符号データｌ算出回路３５やパケット
積算比較及びダミーパケット生成ｔＩ１１御回路３６に
よる制御により前記したようにダミーデータ（ダーミー
パケット）が付加ざれて伝送信号が生成される。 一方、伝送符号化器８では低次係数伝送符号化器８ａ及
び高次係数伝送符号化Ｓ８ｂにおいてそれぞれ低次係数
伝送符号化と高次係数伝送符号化との２つに分割されて
伝送符号化され（例えば、ランレングス符号化された後
、ハフマン符号化され）、この伝送符号化されたデータ
が符号データ量算出回路３５に供給され、ここで低次成
分と高次成分との各伝送符号量（データ―）がそれぞれ
算出され、その算出結果によってデータの部分削除回路
３３における伝送符号量のＩＩ　ｌ　，すなわち高次係
数伝送符号化器８ｂとバッフ７メモリ９との間に接続さ
れたスイッチ回路３７のオン／オフ制御により高次成分
の符号を伝送しないことによる伝送符号量の制御が行な
われる。 なお、さらに細かな伝送符号量のＩＩＪＩＩＩのために
、低次，中次．高次の各伝送符号化を行なって、伝送符
号量の制御を行なうことも可能である。 上記の符号化のｉｌｌｔｌｌｌは、フレーム・レートを
（２ｎ＋１）・ｄフレーム／秒〔ｄは正の整数〕、パケ
ット伝送又は記録レートを（ｍＯ＋ｆ）・ｄパケット／
秒［ｍｏは正の整数．１＞ｆ≧０１として、２ｎ＋１フ
レームの符号化データＮ及びエンドマークＥＨなどの識
別データＣを合わせたデータＮ十Ｇが、 （Ｎ＋Ｃ）≦ｍＱＸａ となるように各２ｎ＋１フレームごとに符号化を制御し
、２ｎ＋１フレームの符号化データをｍＯパケットの固
定データ伝送又は記録量になるようにする。 一方、符号データ量算出回路３５での伝送符号潰《デー
タ量》の算出結果によって伝送信号生成回路３４におけ
るダミーデータの付加ｔＩ１１ｍも行なう。 パケット積粋比較及びダミーパケット生成制御回路３６
は、フレーム同期信号（各フレームごとの同期信号》及
びパケット同期信号（各パケットごとの同期信号；第１
２図〜第１４図のヘッダ部Ｈ）によりダミーパケットの
生成要求を伝送信号生成回路３４に供給する。 上記のダミーパケットの生成制御は、各２ｎ＋１フレー
ムの符号化データの伝送又は記録ごとに、伝送又は記録
に用いたパケット数の積算値Ｍ１と伝送メディア又は記
録メディアでそれぞれ伝送又は記録可能なパケット数の
積粋値Ｍ２とを比較し、Ｍ２≧Ｍ　Ｉ＋１となるとき、
伝送又は記録に用いたパケットに１パケット分の識別信
号をダミーパケットとして付加して積算値Ｍ１に１を加
算して伝送又は記録する。 第１１図は上記のパケット積暮比較及びダミーパケット
生成制御回路３６の構成を詳しく示すブロック図である
。 同図において、フレーム同期信号は、１／（２ｎ＋１）
分周器３８で１／　（２ｎ＋１　）の１８波数に分周さ
れる。この分局器３８の出力の一方はデコーダ３９を介
してデコードされ、第１８図（Ｃ）に示すような比較タ
イミングゲート信号として積算値比較器４０に供給され
、他方はオア回路４１の一方の入力端子に供給される。 また、オア回路４１の他方の入力端子には積算値比較器
４０の比較出力が供給される。 一方、マルチプレクサ（ＭＬＩＸ）４２は、整数値ｍｏ
　［ｍｏは正の整数：第１８図は簡甲のためｍ．）一２
の時のタイミング圓係を示している］と“１′゛とを積
算値比較器４０の比較出力に応じて選択し、その出力を
加算各４３の一方の入力端子に供給する。 加算器４３の出力は積算レジスタ４４に供給される。 ｌ１！ｉ算レジスタ４４にはオア回路４１の出力（第１
８図（Ｂ）参照）が積算レジスタクロツタとして供給さ
れる。更に、積詐レジスタ４４の出力値（第１８図（Ａ
）参照）は加１１６４３の他方の入力端子に供給される
一方、積算値比較５４０の一方の入力端子に供給される
。 パケット積算カウンタ４５は、第１８図（Ｄ）に示すよ
うなパケット同期信号が供給され、その出力値｛第１８
図（Ｅ）参照｝は積算値比較器４０の他方の入力端子に
供給される。 積算値比較器４Ｇの比較出力は、最終的にダミーパケッ
ト生成要求のための信号として第１６図中の伝送信号生
成回路３４に供給される。 なお、積粋レジスタ４４及びパケット積算カウンタ４５
は、動作スタート時にのみ発生されるリセット信号によ
り同時にリセットさｍる。 上記の第１１図に示した構成のパケット積算比較及びダ
ミーパケット生成υ１御回路３６では、積算値比較器４
０において積禅レジスタ４４の出力値｛第１８図（Ａ）
｝とパケットＶ４粋カウンタ４５の出力値｛第１８図（
Ｅ）｝との比較を行ない、パケット積算カウンタ４５の
出力値｛第１８図（Ｅ）｝の方が大きければ、積算値比
較器４０の比較出力による制御によりＭ　Ｕ　Ｘ　４２
で“１″を這択して、積算レジスタ４４に“１′を加桿
する。そして、比較タイミング時に上記の比較値が一致
するようにする。 ここで、積算値比較器４０での比較動作は、両比較値が
一致するかしないか（一致しない場合は、パケット積算
カウンタ４５の出力値の方が大きい時）の判断のためだ
けの動作なので、動作スタート時からの全積算量を表現
できるピット長のレジスタ．カウンタ，比較器は不要で
あり、例えば、ｍ（，が“１５”の時ではレジスタ．カ
ウンタ，比較器はそれぞれ３ビットでも構成でき、下位
３ビットだけの動作で良い。 表１は積算レジスタ４４での補正の流れを示すものであ
る。 表１においては、ｍ　ｏ　＝　１　５とし、フレーム・
レート《フレーム周波数》を（２ｎ＋１）・ｄフレーム
／秒［但し、ｄは正の整数１とし、パケット伝送又は記
録レート（ｍ（，＋ｆ）・ｄパケット／秒［但し、１＞
ｆ≧０］を｛１　５＋　（１／３　）　｝・ｄとした時
の例である。 〈第３の実施態様〉 次に、第１図の基本構成により符号化されたデータを各
種の伝送メディア又は記録メディアにそれぞれ伝送又は
記録するための伝送信号の生成についての第３の実施態
様を説明する。 記録メディアとして、例えば、光ディスクや回転ヘッド
型ディジタル記録メディアなどに記録した信号を、ビジ
ュアル・サーチ再生（粗画面を再生モニタしながら早送
りや巻戻しを行なうこと）すると、信号トラックを横切
って信号がビックアップされるため、第１９図に示すエ
ンベローブ波形のような良好領域と不良領域とが交互に
存在する断続信号となってしまう。 そこで、このようなビジュアル・サーチ再生を可能とす
るため、２ｎ＋１フレームごとのフレーム内符号化につ
いて、部分符号化データからの粗画像の復号が可能な！
＠層符号化を行なう。更に、上記の粗画像の復号のため
の部分符号化データを、断続伝送信号又は断続再生信号
からのｍ号が可能なように短い信号区間に集中的に伝送
又は記録するようにする。 従って、このように階層符号化によって、粗画像の復号
のための部分符号化データを短い信号区閤に集中的に伝
送又は記録しておけば、第１９図に示すような断続伝送
信号又は断続再生信号からでも粗画像だけなら再生復号
が可能となる。 第２ｎ図は上記の階層符号化を実施するための構成を示
すブロック図である。同図における基本的な構成は第１
図に準じたものとなっており、それらの共通部分は省略
し、同一構成部分には同一番号を付す。 第２ｎ図において、予測信号減篩器２から出力される予
測誤差メ残差）は、サブサンプル回路５１及び減算器５
２の一方の入力端子にそれぞれ供給される。サブサンプ
ル回路５１でサブサンプルされた信号は、まず、ＤＣＴ
回路５２において、例えば８×８画素のブロックがそれ
ぞれ２次元離散コサイン変換され、得られた８×８の各
係数は、次に、ｍ子化器５４でａ子化される。 量子化器５４の出力データは、『符号化データ１』（第
１ＷＡ１！のデータ：粗画像を復号できるデータ）とし
て出力される一方、ｍ子復号器５５に供給されて復号さ
れた後、Ｉ　ＤＣＴ回路５６で逆２次元離散コサイン変
換され、更に、得られた復号データはオーバサンプル回
路５７でオーバサンプルされてから減算器５２の他方の
入力端子及び加算器５８の一方の入力端子に供給される
。 減Ｉｌ器５２では、予測信号減算器２の出力予測誤差《
残差》からオーバサンプル回路５７の出力が減算され、
この減算器５２の出力は、上記と同様に、まず、ＤＣＴ
回路５９において、例えば８×８画素のブロックがそれ
ぞれ２次元離散コサイン変換ざれ、得られた８Ｘ８の各
係数は、次に、ｍ子化器６０で量子化される。 ｍ子化器６０の出力データは、ｒ符号化データ２』（第
２階層のデータ；第１ＷＡ層の復号画鍮を精細化するデ
ータ）として出力される一方、量子復号器６１に供給ざ
れて復号された後、ＩＤＣＴ回路６２で逆２次元離散コ
サイン変換され、更に、得られた復号データは加稗器５
８の他方の入力端子に供給される。 そして、加粋器５８の出力からは局部復号データが得ら
れる。 第２１図は上記の第２ｎ図に示した構成により符号化さ
れたデータ（伝送信号）の構成の一例を示す図であり、
更に、各フレーム（パケット）の各データ間の識別につ
いて示す。 上記の符号化対象となる２ｎ＋１のフレームＦ−ｎ−Ｆ
　ｎを符号化したデータのうち、フレームＦｏのフレー
ム内符号化く静止画符号化）による第１階層符号化デー
タ（すなわち、粗画像を復号できるデータ）を［符号化
データ１（データ１）ｊとし、フレームＦｏの復号画像
を精細化する第２１！Ｉｌｌ符号化データをｒ符号化デ
ータ２（データ２）１としている。 また、『データ３〜データ２ｎ＋２Ｊは、それぞれフレ
ームＦｏを除くフレームＦ−ｎ，　Ｆ−ｎ＋１，・・・
Ｆ−１，　Ｆ　＋　，　Ｆ　２　．　・・・．　Ｆｎ−
＋．　Ｆｎのフレーム間符号化としても良い。 Ｈは各パケットＰ１〜Ｐ■のヘッダ部、１０，〜ＩＤｍ
は同じく各パケットＰ１〜Ｐｌの識別データである。 Ｍ１〜Ｍ２ｎ÷２は、それぞれｒデータ１〜データ２ｎ
÷２Ｊの終わりを示すマーカ・データである。 よって、第２１図に示すように、階層符号化によって、
粗画像の復号のための部分符号化データ（データ１）を
短い信号区間に集中的に伝送又は記録するようにしてお
く。 上記の構成により、ビジュアル・サーチ再生動作などに
より得られる断続伝送信号又は所続再生信号からの再生
復号は、各パケットＰ＋−ＰＩのヘッダ部Ｈ及び識別デ
ータ１０１〜１０１を検出し、識別データ＋０１とマー
カ・データＭ１に挟まれた１データ１１をｖ！１号する
ことにより、粗画像（粗な静止画）が再生できる。 （発明の効果） 以上の如く、本発明方式では、フレーム間符号化のため
のフレーム閤距離を従来の技術に比べ半減させられ、そ
の分子３１１誤差を少なくでき、符号量をあまり増加さ
せないで、従来の技術の問題点を解決でき、特に蓄積系
メディアへの記録に適用して有用となり、ランダムアク
セスやビジュアルサーチなどでの画像再生が可能となり
、シーンチェンジや動きを伴う一般の動画像に対しても
＾効率で符号化が可能となる。

【図面の簡単な説明】

第１図は本発明になる高能率符号化方式の一実施例の構
成を示すブロック図、第２図及び第３図は本発川方式の
符号化について説明するための図、第４図は従来の高能
率符号化方式の一例の構成を示すブロック図、第５図及
び第６図は従来１ノ式の符号化について説明するための
図、第７図は第４図の符号化器の構成を詳しく示す図、
第８図及び第９図は符号化について説明するための図、
第１０図は本発明方式の第１の実ｍｅ様の構成の一例の
要部を示すブロック図、第１１図〜第１４図は本発明方
式の第１の実／ｉ［！Ｒ様により伝送又は記録する伝送
信号の構成の一例を示す図、第１５図は本発明方式の第
２の実１１Ｍ態様の構成の一例の要部を示すブロック図
、第１６図は本発明方式の第２の実施態様の更に詳しい
構成の一例の要部を示すブロック図、第１７図は第１６
図中のパケット積算比較及びダミーパケット生成制御回
路３６の構成を詳しく示すブロック図、第１８図は第１
６図及び第１１図の本発明方式の第２の実施態様の動作
を説明するための各部の信号を示す図、第１９図は断続
信号の一例を示す図、第２ｎ図は本発明方式の第３の実
施態様の構成の一例の要部を示すブロック図、第２１図
は本発明方式の第３の実施態様により伝送又は記録する
伝送信号の構成の一例を示す図である。 １・・・画像信号入力端子、２・・・予測信号減算器、
３・・・符号化器、４・・・局部復号器、６・・・動き
補償回路、７，２４・・・切換えスイッチ、８・・・伝
送符号化器、９・・・バツファメモリ、１０・・・フレ
ーム内／間符号化切換制御回路、１１・・・データ出力
端子、１２・・・符号化制御回路、１３・・・８Ｘ８Ｄ
ＣＴ回路、１４・・・係数別惜子化鼎、２１・・・（２
ｎ＋１）フレームメモリ、２２．　２３・・・１フレー
ムメモリ、３１．　３４・・・伝送信号生成回路、３２
．　３５・・・符号データ量算出回路、３３・・・デー
タの部分削除回路、 ３６・・・パケット積算比較及びダミーパケット生成制
御回路、 ３７・・・スイッチ回路、３８・・・１／　（２ｎ＋１
　）分周器、３９・・・デコーダ、４０・・・積算値比
較器、４１・・・オ７回路、４２・・・マルチブレクサ
（ＭＵＸ）、４３・・・加粋器、４４・・・積算・レジ
スタ、４５・・・パケット積算カウンタ、５１・・・サ
ブサンプル回路、５２・・・減篩器、５３．　５９・・
・ＯＣＴ回路、５４．　６０・・・皇子化器、５５．　
６１・・・同子役号器、５６．　６２・・・ＩＤＣＴ回
路、５７・・・オーバサンプル回路、５８・・・加算鼎
。 特　許　出願人　日本ビクター株式会社代表者　垣本　
邦夫 第 図 第 図 （４．５＞ （２．９） 第 図 第 図 第 図 第 図 ｋ勤１槌域−→洋Ｉ隠−一鯵博爪鉢林榎赫第 図 ｉ＃Ｉ釜１場ギータ 第 図

Claims (3)

【特許請求の範囲】
1. （１）連続して入力される画像信号の連続フレームを２
   ｎ＋１フレーム［ｎは正の整数］ごとにまとめて符号化
   し、 符号化対象となる２ｎ＋１のフレームを順にＦ−ｎ、Ｆ
   −ｎ＋１、・・・、Ｆ−２、Ｆ−１、Ｆ＿０、Ｆ＿１、
   Ｆ＿２、・・・、Ｆ＿ｎ＿−＿１、Ｆ＿ｎとして、その
   中のフレームＦ＿０をフレーム内符号化する手段と、 このフレームＦ＿０の符号化・復号データを基準として
   、その前後のフレームＦ−１、Ｆ＿１をフレーム間符号
   化する手段と、 このフレームＦ＿０、Ｆ−１、Ｆ＿１の符号化・復号デ
   ータを基準として、その前後のフレームＦ−２、Ｆ＿２
   をフレーム間符号化する手段と、 以下順に、フレームＦ＿０、Ｆ−１、Ｆ＿１、・・・、
   Ｆ−ｎ＋１、Ｆ＿ｎ＿−＿１の符号化・復号データを基
   準として、その前後のフレームＦ−ｎ、Ｆ＿ｎをフレー
   ム間符号化する手段とを備えて、伝送メディア又は記録
   メディアにそれぞれ伝送又は記録する高能率符号化方式
   であつて、 符号化データの伝送又は記録単位（パケット）をａビッ
   ト［ａは正の整数］、２ｎ＋１フレームの符号化データ
   をＮビット［Ｎは正の整数］、連続する２ｎ＋１フレー
   ムの符号化データごとにデータ識別するための識別デー
   タをＣビット［Ｃは整数：Ｃ≧０］として、 前記２ｎ＋１フレームの符号化データＮ及び前記識別デ
   ータＣを合わせたデータＮ＋Ｃ＝（ｍ−１）×ａ＋ｂビ
   ット［ｂ、ｍは正の整数：ａ≧ｂ＞０］を、これに（ａ
   −ｂ）ビットのダミーデータを付加してｍパケットのデ
   ータとして伝送又は記録する手段を備えたことを特徴と
   する高能率符号化方式。
2. （２）請求項第１項記載の高能率符号化方式において、 フレーム・レートを（２ｎ＋１）・ｄフレーム／秒［ｄ
   は正の整数］、パケット伝送又は記録レートを（ｍ＿０
   ＋ｆ）・ｄパケット／秒［ｍ＿０は正の整数、１＞ｆ≧
   ０］として、 前記２ｎ＋１フレームの符号化データＮ及び前記識別デ
   ータＣを合わせたデータＮ＋Ｃが、（Ｎ＋Ｃ）≦ｍ＿０
   ×ａ となるように各２ｎ＋１フレームごとに符号化を制御し
   、２ｎ＋１フレームの符号化データをｍ＿０パケットの
   固定データ伝送又は記録量になるようにする手段と、 各２ｎ＋１フレームの符号化データの伝送又は記録ごと
   に、伝送又は記録に用いたパケット数の積算値Ｍ＿１と
   伝送メディア又は記録メディアでそれぞれ伝送又は記録
   可能なパケット数の積算値Ｍ＿２とを比較し、Ｍ＿２≧
   Ｍ＿１＋１となるとき、伝送又は記録に用いたパケット
   に１パケット分の識別信号をダミーパケットとして付加
   して積算値Ｍ＿１に１を加算して伝送又は記録する手段
   とを備えたことを特徴とする高能率符号化方式。
3. （３）請求項第１項又は第２項記載の高能率符号化方式
   において、 フレームＦ＿０のフレーム内符号化について、部分符号
   化データからの粗画像の復号が可能な階層符号化を行な
   うと共に、上記粗画像の復号のための部分符号化データ
   を、断続伝送信号又は断続再生信号からの復号が可能な
   ように集中的に伝送又は記録する手段を備えたことを特
   徴とする高能率符号化方式。