JPH0678293A

JPH0678293A - 符号化装置

Info

Publication number: JPH0678293A
Application number: JP22997892A
Authority: JP
Inventors: Hidetoshi Yamada; 秀俊山田
Original assignee: Olympus Optical Co Ltd
Current assignee: Olympus Corp
Priority date: 1992-08-28
Filing date: 1992-08-28
Publication date: 1994-03-18

Abstract

(57)【要約】【目的】異なる方式のデータに対しても自由にデータ変
換でき、編集、再生や共通の媒体への記録等を行なうこ
と。【構成】入力端子より連続する静止画像として符号化さ
れた動画像信号が入力されると、ＩＶＬＣ回路２が、こ
の入力された動画像信号を静止画像として復号化し、デ
ータメモリ３がこれを記憶する。そして、符号量予測回
路１２が上記動画像符号化情報と静止画像情報とに基づ
いてフレーム間の予測を行い、ＶＬＣ回路１３が動画像
のフレーム間圧縮による符号化を行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、デジタル化された画像
や音声信号に対し記録、伝送等を行うためにデータを圧
縮する符号化装置に関する。

【０００２】

【従来の技術】従来、画像をデジタルデータとして記
録、伝送する場合、そのデータ量は膨大なものとなり、
これら多くの画像情報を限られた記憶容量の範囲で記録
する為には、画像信号に対して何らかの圧縮を行う必要
がある。そして、高能率な画像データの圧縮方式として
は、直交変換と可変長符号化を組み合わせた符号化方法
が広く知られている。例えば、静止画圧縮方式の国際標
準として検討されているＪＰＥＧ方式の概略は以下に示
す通りである。まず、画像データを８×８の画素よりな
るブロックに分割し、この分割されたブロック毎に直交
変換として２次元の離散コサイン変換（ＤＣＴ）を行
う。

【０００３】この結果、画像データは直流成分と交流成
分に変換され、８×８のマトリックス上には、原点位置
（０，０）に直流成分ＤＣが、位置（０，７）には横軸
方向の最大周波数値を示す交流成分データＡＣ07が、位
置（７，０）には縦軸方向の最大周波数値を示す交流成
分データＡＣ70が、位置（７，７）には斜め方向の最大
周波数値を示す交流成分データＡＣ77がそれぞれ格納さ
れる。

【０００４】次に、各周波数成分に応じた線形量子化を
行い、この量子化された値に対し可変長符号化としてハ
フマン符号化を行う。この時、直流成分に関しては近傍
ブロックの直流成分との差分値をハフマン符号化する。

【０００５】そして、交流成分はジグザグスキャンと呼
ばれる低い周波数成分から高い周波数成分へのスキャン
を行ない、無効（値が“０”）の成分の連続する個数
と、それに続く有効な値との組に対してハフマン符号化
を行なう。さらに、動画を圧縮する場合には静止画の連
続として、即ち、動画の各コマに対して先に述べた方式
により符号化することで圧縮することができる。

【０００６】一方、より高能率な動画圧縮方式として、
ＭＰＥＧ方式が国際標準として検討されている。この方
式では、静止画としての圧縮であるフレーム内圧縮と、
連続するフレーム間の予測を用いた圧縮であるフレーム
間圧縮とを組み合わせている。そして、フレーム内圧縮
では、基本的には先に述べたようなＪＰＥＧ方式と同様
に直流変換と可変長符号化とを組み合わせて符号化す
る。

【０００７】このような静止画としての圧縮を行なうフ
レームをコアフレームと称し、連続するフレーム間に適
当な間隔で配置する。そして、このようなフレームをＩ
ピクチャーと称する。

【０００８】そして、フレーム間圧縮では、近くの参照
フレームから予測値を算出し、符号化しようとするフレ
ームとその予測値との差を直流変換と可変長符号化とを
組み合わせて符号化する。さらに、近くのフレームから
予測値を求めるには、画面の動きを検出して予測するこ
とが行われている。即ち、参照フレームと符号化フレー
ムとを所定の大きさのブロック毎に最も似かよう位置関
係を求め、その位置ずれを動きベクトルとする。この動
きベクトルも符号の一部として符号化される。また、参
照フレームとして過去のフレームだけでなく、未来のフ
レームを用いる方式、即ち動き補償フレーム予測として
過去のフレームによるフォワード予測や、未来のフレー
ムによるバックワード予測、更には両者の平均値予測の
３種類の予測方式が考えられる。

【０００９】このように、ＭＰＥＧ方式では、フォワー
ド予測によるフレーム、即ちＰピクチャーと、フォワー
ド予測、バックフォワード予測、両者の平均値予測の３
つの予測値の中から最適の予測を選択して用いるフレー
ム、即ちＢピクチャーとを用いている。尚、上記Ｉ、
Ｐ、Ｂピクチャーの区別は全フレームに対して適用する
だけでなくフレーム内のマクロブロック毎に適用するこ
とができる。

【００１０】

【発明が解決しようとする課題】前述したように、動画
像に対する圧縮方式としては静止画像の連続として符号
化する方式と、フレーム内圧縮とフレーム間圧縮とを組
み合わせた方式とがある。

【００１１】前者は、効率は高くないが符号化装置が比
較的簡単であり、例えばレコーダ一体型ビデオカメラの
ような小型の携帯機器に用いられ、後者は、装置構成は
複雑になるが高能率の符号化が可能であるという利点が
あり、据え置き型の機器やコンピュータなどで用いられ
ているが、各符号化方式は異なり、方式の異なるデータ
に対し直接再生や編集などの処理をすることはできな
い。

【００１２】また、パーソナルコンピュータ上で、テキ
ストデータの他、画像信号、音声信号といった多種の情
報を自由に扱えるマルチメディアが使用されているが、
このような装置では、画像としては静止画像や多種の方
式で符号化された動画像が自由に扱えることが望まし
く、例えば動画として符号化した画像中のあるコマを静
止画として抜き取り、編集、記録、再生するような処理
も所望される。

【００１３】本発明は上記問題に鑑みてなされたもの
で、その目的とするところは、異なる方式のデータに対
しても自由にデータ変換でき、編集、再生や共通の媒体
への記録等を行うことにある。

【００１４】

【課題を解決するための手段】上記目的を達成するため
に、本発明の符号化装置では、連続する静止画像として
符号化された動画像信号を入力する動画像入力手段と、
上記動画像入力手段に入力された動画像信号を静止画像
として復号する復号化手段と、上記動画像入力手段によ
り入力された動画像符号化情報と、上記復号化手段によ
り復号化された静止画像情報とに基づいてフレーム間の
予測を行い、動画像のフレーム間圧縮による符号化を行
う符号化手段とを具備することを特徴とする。

【００１５】

【作用】即ち、本発明の符号化装置は、動画像入力手段
が連続する静止画像として符号化された動画像信号を入
力すると、復号化手段が上記動画像入力手段に入力され
た動画像信号を静止画像として復号し、符号化手段が上
記動画像入力手段により入力された動画像符号化情報
と、上記復号化手段により復号化された静止画像情報と
に基づいてフレーム間の予測を行い、動画像のフレーム
間圧縮による符号化を行う。

【実施例】先ず、実施例の説明に先立ち、本発明の原理
について説明する。

【００１６】一般に、ＭＰＥＧ規格においては、Ｉピク
チャーだけからなる画像も認められているので、最も簡
単な変換方式ではフレーム内で離散コサイン変換（ＤＣ
Ｔ）及びエントロピー符号化された符号をそのまま使用
し、単にフォーマットだけをそれぞれの規格に合致させ
るだけでよい。

【００１７】しかしながら、この方式ではフレーム間の
圧縮が行われないため圧縮に限界があり、例えば、光磁
気ディスクのようにデータ転送レートに限界がある場合
にはフレーム間の圧縮を行なって圧縮率を向上させる必
要がある。

【００１８】また、フレーム内圧縮により符号化された
情報を一旦すべて復号化し、これを改めてフレーム間圧
縮を用いて符号化し直す事も考えられるが、この方式で
は大容量のメモリを必要とする為に装置構成が複雑化
し、変換時間も長くなってしまう。

【００１９】そこで、本発明の符号化装置は、対象画像
信号が既にＤＣＴされていることに着目し、処理を行な
うブロックが高次の変換係数を持つか否かを判定し、そ
の結果に応じてフレーム内符号化とフレーム間符号化の
いずれを行なうか否かを、或いは動きベクトルを求める
処理を行なうか否かを決定することに特徴を有してい
る。以下、このような原理を用いた本発明の実施例につ
いて説明する。図１は、本発明の第１の実施例に係る符
号化装置の構成を示す図である。

【００２０】同図に示すように、入力端子１はＩＶＬＣ
回路２に接続されており、該ＩＶＬＣ回路２はデータメ
モリ３に接続されている。そして、このデータメモリ３
は逆量子化ＩＤＣＴ回路４及び係数判定回路６に接続さ
れている。

【００２１】さらに、上記逆量子化ＩＤＣＴ回路４はバ
ッファメモリ５及び差分判定回路７に接続されており、
該バッファメモリ５は動ベクトル算出回路８に接続され
ている。そして、上記動ベクトル算出回路８はセレクタ
９に接続されており、該セレクタ９は減算回路１０に接
続されている。

【００２２】そして、この減算回路１０はＤＣＴ量子化
回路１１に接続されており、該ＤＣＴ量子化回路１１は
符号量予測回路１２に接続されている。さらに、この符
号量予測回路１２はＶＬＣ回路１３に接続されており、
該ＶＬＣ回路１３はＤＣＴ量子化回路１１に接続されて
いる。

【００２３】このような構成において、入力端子１にフ
レーム内圧縮された動画像信号が入力されると、ＩＶＬ
Ｃ回路２がハフマン符号等の可変長符号化されたデータ
を復号化し、データメモリ３がこの復号化されたデータ
を蓄積する。そして、逆量子化ＩＤＣＴ回路４が、この
量子化されたＤＣＴ係数を代表値に変換し、更に逆ＤＣ
Ｔ変換を行って画像データを復元し、バッファメモリ５
が、この復元された画像データを蓄積する。

【００２４】さらに、係数判定回路６が各ブロックのＤ
ＣＴ係数が高次成分を持つか否かを判定し、差分判定回
路７が隣接フレーム間での動きベクトルを求める。そし
て、セレクタ９がＤＣＴ係数及び差分判定結果に基づ
き、フレーム間差分処理を行なうか否かを選択し、減算
回路１０がフレーム間差分処理を行う。

【００２５】そして、ＤＣＴ量子化回路１１が、画像デ
ータが各ブロック毎に直交変換としてＤＣＴを行い、さ
らに各周波数成分ごとに予め設定された各周波数成分ご
との量子化幅を用いて線形量子化を行う。そして、ＶＬ
Ｃ回路１３が、量子化されたＤＣＴ変換係数に対しハフ
マン符号化等の可変長符号化を行い、符号量予測回路１
２が、符号化されるフレームの発生符号量を算出し、こ
れを基に量子化幅を設定する。次に、本実施例の符号化
装置の詳細な動作について説明する。例えばカムコーダ
ーでフレーム内圧縮を用いて符号化された動画信号が入
力端子１に入力されると、ＩＶＬＣ回路２によりハフマ
ン符号が復号化される。

【００２６】そして、この復号化されたデータはデータ
メモリ３に記録されると共に、逆量子化ＩＤＣＴ回路４
において量子化されたＤＣＴ係数が代表値に変換され、
逆ＤＣＴ変換が行われて画像データが復元される。そし
て、この復元されたデータはバッファメモリ５に記録さ
れる。

【００２７】さらに、係数判定回路６により、上記バッ
ファメモリ５に記録されているＤＣＴ係数の評価が行わ
れ、また、差分判定回路７により上記バッファメモリ５
に記録されているデータの評価が行われ、その後の符号
化処理が決定される。この符号化処理の方法について図
２を参照して説明する。

【００２８】最新のフレームＡと１つ前のフレームＢの
対応するマイクロプロセッサＡｍ、Ｂｍにおいて、Ａ
ｍ、Ｂｍとも低次の変換係数だけを持つ場合、即ち、高
次の係数は全て“０”である場合はＡｍ、Ｂｍの一方が
高次の変換係数を持ち、他方が低次の変換係数を持つ場
合にはＡｍそのものをフレーム内符号化する。そして、
Ａｍ、Ｂｍとも高次の変換係数を持つ場合には、復号化
されたデータの差分（例えば各画素の差の自乗和）がし
きい値より大きい場合にはＡｍそのものをフレーム内符
号化する。

【００２９】また、しきい値より小さい場合には、Ａｍ
とＢｍとの差分を符号化し、且つ動きベクトルの検出を
行う。そして、変換係数の判定においては、例えばＤＣ
成分、ＡＣ01成分、ＡＣ10成分及びＡＣ11成分とを低次
の係数と見なし、それ以上を高次の係数とする。このよ
うな基準に従って符号化が行われる。

【００３０】そして、Ａｍ、Ｂｍとも低次の変換係数だ
けを持つ場合には、バッファメモリ５に記録されてるＡ
ｍとＢｍのデータがセレクタ９を介して減算回路１０に
入力され、差分（Ａｍ−Ｂｍ）が計算される。

【００３１】そして、ＤＣＴ量子化回路１１により、こ
の得られた差分データに対してＤＣＴが行われ、更に、
各周波数成分毎に予め設定された量子化幅を用いて線形
量子化が行われる。さらに、ＶＬＣ回路１３により量子
化されたＤＣＴ変換係数がハフマン符号化されて符号化
データとなる。

【００３２】さらに、Ａｍ、Ｂｍの一方が高次の変換係
数を持ち他方が低次の変換係数だけを持つ場合、及びＡ
ｍ、Ｂｍとも高次の変換係数を持ち復号化されたデータ
の差分がしきい値より大きい場合には、データメモリ３
に記憶されているＡｍのＤＣＴ変換・量子化されたデー
タがＶＣＬ回路１３に送られ、ハフマン符号化されて符
号化データとなる。

【００３３】そして、Ａｍ、Ｂｍとも高次の変換係数を
持ち、復号化されたデータの差分がしきい値より小さい
場合には、バッファメモリ５に記録されているＡｍとＢ
ｍ、及びその近傍ブロックのデータが動ベクトル算出回
路８に入力され、動ベクトルが求められる。そして、こ
のＡｍと得られた動ベクトルを用いて予測されたＢｍが
セレクタ９を介して減算回路１０に入力され、差分が計
算される。

【００３４】この得られた差分データはＤＣＴ量子化回
路１１によりＤＣＴ変換が行われ、さらに、各周波数成
分ごとに予め設定された量子化幅を用いて線形量子化が
行われる。さらに、ＶＬＣ回路１３により量子化された
ＤＣＴ変換係数がハフマン符号化されて符号化データと
される。ここで、符号量予測回路１２は符号化されるフ
レームの発生符号量を算出し、これを基に量子化幅が設
定され、こうして符号化データの変換が行われる。

【００３５】以上説明したように、第１の実施例に係る
符号化装置では、フレーム内符号化されたデータと復号
化されたデータとを用いて符号化処理方式の判定を行う
ことにより、複雑な演算処理である動ベクトルの算出が
ある限られた条件でしか行われないため効率的に処理を
行うことができる。次に、例えば電子スチルカメラによ
り撮像された画像データに対して処理を行う第２の実施
例に係る符号化装置について説明する。

【００３６】ここで、電子スチルカメラは、本来、静止
画を撮影する機器であるが、画像を連続して撮影する機
能を備え、毎秒２０コマ程度の撮影が可能な装置が開発
されている。このような連写画像は、フレーム補間を行
うことにより疑似動画として利用することができる。ま
た、電子スチルカメラには画像への付帯情報として音声
データが付加できる機構が備えられているものがある
が、このデータを符号化動画データの音声データとして
利用することもできる。図３は、第２の実施例に係る符
号化装置の構成を示す図である。

【００３７】本実施例は、上記第１の実施例の構成に、
補間回路１４を更に具備した構成となっている。そし
て、この補間回路１４が、連写された静止画の間のコマ
を埋める画像を線形補間などの手法により求めることを
特徴としている。以下、本実施例に係る符号化装置の動
作を説明する。

【００３８】例えば、電子スチルカメラにより撮像され
ＪＰＥＧ方式により符号化された連写画像信号が入力端
子１に入力されると、ＩＶＬＣ回路２によりハフマン符
号が復号化される。そして、この復号化されたデータは
データメモリ３に記録されると共に、逆量子化ＩＤＣＴ
回路４において量子化されたＤＣＴ係数が代表値に変換
され、更に逆ＤＣＴ変換が行われて画像データが復元さ
れる。

【００３９】そして、この復元されたデータはバッファ
メモリ５に記録される。そして、データメモリ３に記録
されているＤＣＴ係数に対して係数判定回路６により、
またバッファメモリ５に記録されているデータに対して
差分判定回路７により評価が行なわれ、その後の符号化
処理が決定される。即ち、最新のコマＣと１つ前のコマ
Ｄの対応するマイクロブロックＣｍ、Ｄｍにおいて、Ｃ
ｍ、Ｄｍとも低次の変換係数だけを持つ場合、即ち、高
次の係数はすべて“０”である場合は、Ｃｍ，Ｄｍとの
差分を符号化し、動ベクトルの検出は行わない。

【００４０】そして、Ｃｍ、Ｄｍの一方が高次の変換係
数を持ち、他方が低次の変換係数だけを持つ場合にはＣ
ｍそのものをフレーム内符号化する。さらに、Ｃｍ、Ｄ
ｍとも高次の変換係数を持つ場合には、復号化されたデ
ータの差分（例えば各画素の差の絶対値和）がしきい値
より大きい場合には、Ｃｍそのものをフレーム内符号化
する。また、しきい値より小さい場合にはＣｍとＤｍと
の差分を符号化し、且つ動ベクトルの検出を行う。

【００４１】上記の規準に従い符号化が行なわれる。そ
して、Ｃｍ，Ｄｍとも低次の変換係数だけを持つ場合に
はバッファメモリ９に記録されているＣｍとＤｍのデー
タがセレクタ９を介して減算回路１０に入力され差分が
計算され、さらに補間回路２０により差分値の半分の値
が求められ、図４に示すように補間フレームとなる。そ
して、得られたデータはＤＣＴ量子化回路１１によりＤ
ＣＴが行なわれ、各周波数成分毎に予め設定された量子
化幅を用いて線形量子化が行われる。さらに、ＶＬＣ回
路１３により量子化されたＤＣＴ変換係数がハフマン符
号化されて符号化データとなる。

【００４２】そして、Ｃｍ，Ｄｍの一方が高次の変換係
数を持ち、他方が低次の変換係数だけを持つ場合、及び
Ｃｍ，Ｄｍとも高次の変換係数を持ち、復号化されたデ
ータの差分がしきい値より大きい場合には、データメモ
リ３に記憶されているＣｍのＤＣＴ変換、量子化された
データがＶＬＣ回路１３に送られ、ハフマン符号化され
て符号化データとなり、ＤｍのＤＣＴ変換・量子化され
たデータが補間データとしてＶＬＣ回路１３に送られ、
ハフマン符号化されて符号化データとなる。

【００４３】さらに、Ｃｍ，Ｄｍとも高次の変換係数を
持ち、復号化されデータの差分がしきい値より小さい場
合には、バッファメモリ５に記録されているＣｍとＤｍ
及びその近傍ブロックのデータが動ベクトル算出回路８
に入力され、動ベクトルが求められる。このＣｍと得ら
れた動ベクトルを用いて予測されたＤｍ、及び得られた
動ベクトルの１／２の値を用いて予測された補間フレー
ムがセレクタ９を介して減算回路１０に入力され、それ
ぞれの差分が計算される。

【００４４】そして、この得られた差分データはＤＣＴ
量子化回路１１によりＤＣＴが行なわれ、さらに各周波
数成分ごとに予め設定された量子化幅を用いて線形量子
化が行われる。さらに、ＶＬＣ回路１３により量子化さ
れたＤＣＴ変換係数がハフマン符号化されて符号化デー
タとされる。そして、符号量予測回路１２は符号化され
るフレームの発生符号量を算出し、これをもとに量子化
幅が設定される。次に、図５及び図６を参照して、音声
データの取扱いについて説明する。

【００４５】図５において、電子スチルカメラ３０にお
いて連写画像が撮影される時に、内蔵されたマイク３１
に入力された音声信号は、増幅回路３２により増幅等の
処理が行なわれた後、符号化回路３３において圧縮処理
される。この時、符号化方式としては、例えば国際電信
電話諮問委員会（ＣＣＩＴＴ）の規格Ｇ７２６に定めら
れている適応型予測符号化方式（ＡＤＰＣＭ）が採用さ
れる。

【００４６】こうして処理された音声信号は、対応する
画像（連写画像の先頭の画像）のＪＰＥＧデータのアプ
リケーション（ＡＰＰ）領域、あるいはコメント（ＣＯ
Ｍ）領域に記録される。尚、ＡＤＰＣＭ方式では３２Ｋ
ビット毎秒で符号化されるので、ＡＰＰ、ＣＯＭ（とも
に最長６５５３３バイト）に、それぞれ３２秒までの音
声を記録することができる。

【００４７】こうして、電子スチルカメラ３０の記録媒
体であるメモリカード３４に記録された音声データは、
符号化装置において動画像データの付帯音声として変換
される。即ち、図６において、入力された音声信号はＡ
ＤＰＣＭ復号回路４０にて原音声信号に復元され、符号
化回路４１においてＭＰＥＧ方式で規定されている音声
符号化方式に従って圧縮される。この方式は、音声信号
に直交変換を行った後に、各周波数帯域毎に人の聴覚特
性に基づいた量子化を行うものである。

【００４８】そして、フォーマット回路４２において、
画像信号とマルチプレックスされ、先に説明した手法に
より動画像信号に変換された連写画像データと音声デー
タとがパケットに構成され、このパケットのヘッダ領域
には、対応する時刻を表すタイムスタンプ信号“ＴＳ”
が記録される。

【００４９】さらに、対応する時刻の画像データパケッ
トと音声データパケットとがマルチプレックスされてパ
ックを構成する。こうして、タイムスタンプにより動画
像と音声信号とが同期して再生される。尚、このデータ
パックの構成は図７に示す通りである。

【００５０】以上説明したように、第２の実施例では、
電子スチルカメラにより得られる画像データ及び音声デ
ータを高能率の動画像符号化データに変換することがで
きるので、有効に利用することができる。

【００５１】以上詳述したように、本発明の符号化装置
では、静止画像の連続として符号化された動画像を、フ
レーム間圧縮を用いた符号化方式に変換することができ
る。また、もとの符号化データと復号化データとを用い
て変換を行うため、変換を高能率、高速に行うことがで
きる。

【００５２】

【発明の効果】本発明によれば、異なる方式のデータに
対応したデータ変換を可能とし、編集、再生や共通の媒
体への記録等を行なう符号化装置を提供することができ
る。

【図面の簡単な説明】

【図１】本発明の符号化装置の第１の実施例の構成を示
す図である。

【図２】画像の符号化方式を説明するための図である。

【図３】本発明の符号化装置の第２の実施例の構成を示
す図である

【図４】画像の符号化方式を説明するための図である。

【図５】音声の符号化方式を説明するための図である。

【図６】音声の符号化方式を説明するための図である。

【図７】画像と音声のデータ構成を示す図である。

【符号の説明】１…入力端子、２…ＩＶＬＣ回路、３…データメモリ、
４…逆量子化ＩＤＣＴ回路、５…バッファメモリ、６…
係数判定回路、７…差分判定回路、８…動ベクトル算出
回路、９…セレクタ、１０…減算回路、１１…ＤＣＴ量
子化回路、１２…符号量予測回路、１３…ＶＬＣ回路。

Claims

【特許請求の範囲】

【請求項１】連続する静止画像として符号化された動
画像信号を入力する動画像入力手段と、上記動画像入力手段に入力された動画像信号を静止画像
として復号する復号化手段と、上記動画像入力手段により入力された動画像符号化情報
と、上記復号化手段により復号化された静止画像情報と
に基づいてフレーム間の予測を行い、動画像のフレーム
間圧縮による符号化を行う符号化手段と、を具備することを特徴とする符号化装置。