JPH06205365A

JPH06205365A - 画像記録装置及び画像再生装置

Info

Publication number: JPH06205365A
Application number: JP36014792A
Authority: JP
Inventors: Hiroshi Mashita; 博志真下; Mitsuru Yamamoto; 満山本
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1992-12-28
Filing date: 1992-12-28
Publication date: 1994-07-22

Abstract

(57)【要約】【目的】フレームメモリ数を多くすることなく逆順再
生を行うこと。【構成】ＣＨ１のフレーム間符号化系統と、差分器２
の出力を符号化するＣＨ２のフレーム内符号化系統とを
設け、それぞれの符号化データをそれらの識別フラグＦ
ＬＧと共に記録媒体８ａ、８ｂに記録し、逆再生時はＣ
Ｈ１のフレームからスタートし、次のフレームはＣＨ２
のフレームを再生して上記スタートフレームから減算す
るように成す。【効果】逆再生時の基準フレームが得られるので、メ
モリ数を削減することができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像信号を符号化して
記録媒体に記録する画像記録装置及び再生時に逆順再生
を行えるようにした画像再生装置に関するものである。

【０００２】

【従来の技術】従来動画符号化方式においては、再生時
のランダムアクセスを容易にするため、定期的にフレー
ム内符号化を行い、タイムコードなどを付加して記録す
るようにしている。一般に連続した動画では、注目して
いる画像と時間的にその前後の画像とは似ている。そこ
で、注目している画像より時間的に前方の画像との差分
あるいは時間的に前方または後方の画像を参照して前後
の画像の差分をとり記録を行うことにより、時間的な冗
長度を減らすようにしている。また、ＤＣＴ（離散コサ
イン変換）等の直交変換を使用して空間成分を周波数成
分に変換し、周波数の高い領域を粗く量子化することに
より、冗長度を減らすようにしている。

【０００３】図７は符号化を行う記録装置、図８は復号
化を行う再生装置を示す。

【０００４】図７において、１は全体を制御する符号化
制御部、２は現フレーム画像と後述する予測されたフレ
ーム画像との差分をとる差分器、３は現フレーム画像と
差分器２の出力とを符号化制御部１の信号で切り替える
スイッチ、４はスイッチ３の出力に対して離散コサイン
変換を行うＤＣＴ部、５はＤＣＴ出力に対して符号化制
御部１の制御に基づいて量子化幅可変で量子化を行う量
子化部、６は量子化データを発生頻度の多い順に短いビ
ット符号に割当をする可変長符号化部（ＶＬＣ）、７は
占有メモリ量でオーバーフロー、アンダーフローのフラ
グを出し、出力ビットレートを揃えるバッファ、８はバ
ッファ７の出力を記録するハードディスク等の記録媒体
である。

【０００５】９は量子化部５の出力を逆量子化する逆量
子化部、１０は逆量子化部９の出力に対して逆ＤＣＴ変
換を行い元の画像データに戻す逆ＤＣＴ部、１１は逆Ｄ
ＣＴ部１０の出力と後述するスイッチ１３から得られる
予測フレーム画像とを加算する加算器、１２は加算器１
１の出力と現フレーム画像とに基づいて動きベクトルの
検出や予測モードを判定して予測フレーム画像を出力す
る予測器、１３はフレーム内符号化したフレーム（以
下、イントラフレームと言う）のときは予測器１２の出
力を選択し、フレーム間符号化のときは”０”を選択し
て加算器１１に加えるスイッチである。

【０００６】図８において、１４は記録媒体８からの再
生信号のフレームレートを揃えるバッファ、１５はバッ
ファ１４の出力を復号する可変長復号部（ＩＶＬＣ）、
１６は復号されたデータを逆量子化する逆量子化部、１
７は逆量子化出力を逆ＤＣＴ変換するＩＤＣＴ部、１８
はＩＤＣＴ出力と予測器１９との出力を加算して出力す
る加算器である。

【０００７】次に記録時の動作について説明する。

【０００８】図７において、符号化制御部１はフレーム
内符号化またはフレーム間符号化を指定し、スイッチ
３、１３への信号を送ると共に、バッファ７のオーバー
フロー、アンダーフローに基づいて量子化部５の量子化
幅を制御する。

【０００９】入力された画像信号（第１フレーム）はス
イッチ３でフレーム間符号データか、フレーム内符号デ
ータかのいずれかを選択する。最初の画像入力では前の
画像入力がないので、フレーム内符号化を選択する。次
にＤＣＴ部４では画像が８×８画素のブロック単位に分
割され、周波数成分に変換され、ＤＣＴ係数として８×
８のマトリクスで出力される。量子化部５では何通りか
の量子化テーブルをもっており、符号化制御部１の制御
により、出力される符号量が多い場合は量子化テーブル
で粗くサンプリングするテーブルを選択し、符号量が少
ない場合は細かくサンプリングするテーブルを選択す
る。可変長符号化部６では入力されるデータをジグザグ
スキャンし、頻度の高いものから短いコードを割当て
る。また、ＤＣＴ係数ではゼロが続く場合はランレング
ス符号化を行う。

【００１０】バッファ７では発生した符号量のばらつき
をカバーし、出力データの変動を抑えるように変動を吸
収する。すなわち、このバッファ７に大小２つのしきい
値を設け、小さい方の値を割り込んでデータが減少した
らアンダーフラグをたて、大きい方の値を越えてデータ
が書き込まれたらオーバーフローフラグをたてる。符号
化制御部１ではバッファ７のアンダーフロー、オーバー
フローを監視している。バッファ７の出力は記録媒体８
に記録される。

【００１１】一方、逆量子化部９では、量子化部５で使
用した量子化テーブルと同様のテーブルを使用して逆量
子化を行う。ＩＤＣＴ部１０ではＤＣＴ係数を８×８の
マトリクスで入力し、８×８の画像ブロックデータとし
て出力する。加算器１１には１フレーム前の画像データ
はないので、なにも加算されない。加算器１１の出力は
次に予測器１２内のメモリへ入力され、１フレーム分の
遅延を行う。次にメモリからブロック毎に呼び出され、
次のブロックとのズレを算出し、動きベクトルとして記
録する。そして次の第２フレームの画像のブロックに対
し動きベクトル分だけ移動した画像との差分を差分器２
で計算する。また、スイッチ１３で予測器１２により１
フレーム遅延した出力を選択して加算器１１に入力す
る。

【００１２】次の画像（第２フレーム）入力は差分器２
で予測器１２の出力（第１フレーム）との差分をとる。
スイッチ３では第２フレーム間符号化を行うので、差分
器２側の出力をＤＣＴ部４へ入力する。以下、ＤＣＴ部
４、量子化部５、ＶＬＣ部６、バッファ７を通って記録
媒体８に記録される。

【００１３】再生時には、図８において、記録媒体８か
ら再生された信号は、バッファ１４、ＩＶＬＣ部１５、
逆量子化部１６、ＩＤＣＴ部１７、加算器１８及び予測
器１９等により、符号化時と逆の動作が行われることに
より元の画像信号データが復元される。

【００１４】図９は６フレーム毎にフレーム内符号化を
行っている例を示す。図中の矢印はフレーム相関関係
を、Ｉはフレーム内符号化をしたフレーム（イントラフ
レーム）を、Ｐはフレーム間相関符号化したフレームを
示す。点線部分はフレーム間相関データが存在していな
い位置を示す。順方向再生時はイントラフレームを最初
に復号し、以降順次差分情報を追加して符号化及び復号
すればよい。逆順再生時は点線間のフレーム（Ｉ0 、Ｐ
0 〜Ｐ4 ）の計６フレームをあらかじめメモリ上に展開
し、順番を揃えて再生を行う。

【００１５】上記のように、定期的にイントラフレーム
を挿入することによって、差分画像の誤差の蓄積をリフ
レッシュすることができる。

【００１６】

【発明が解決しようとする課題】しかしながら、上記従
来例では差分画像での誤差をリフレッシュするために定
期的にフレーム内符号化したフレームを挿入しているた
め、そのイントラフレームの直前でフレーム間の相関情
報が欠落することになり、このことから次のような問題
が生じていた。

【００１７】再生時にはイントラフレームを復号開始フ
レームにする必要があるため、逆順再生を行うときは、
イントラフレーム以下次のイントラフレームの直前フレ
ームまで復号を行ってメモリに展開しておき、次に順序
を入れ替えて逆順に再生していくようにしている。この
ためイントラフレーム間分の多くのフレームメモリが必
要であった。

【００１８】本発明は上記のような問題を解決するため
になされたもので、少ないメモリ数で逆順再生を行うこ
とのできる画像記録装置及び画像再生装置を提供するこ
とを目的としている。

【００１９】

【課題を解決するための手段】本発明はフレーム又はフ
ィールド間符号化手段とこれと同時に符号化を行うフレ
ーム又はフィールド内符号化手段とを備え、かつフレー
ム又はフィールド内符号化データとフレーム又はフィー
ルド間符号化データとを同期して記録、再生する手段を
備えたものである。

【００２０】

【作用】イントラフレームとその直前のフレームの差分
情報が付加されることにより、各フレーム間でのデータ
相関の断絶がなくなり、逆再生時における基準フレーム
が得られる。この基準フレームから順次フレーム差分デ
ータを加算していくことにより、逆再生の順番でフレー
ムが復元可能になる。従って、逆再生時にもイントラフ
レームから次のイントラフレームまでを記憶するための
メモリを用意する必要がなくなる。同様に、前記フレー
ムをフィールドと置き換えても、同一の作用が得られ
る。

【００２１】

【実施例】図１は本発明の第１の実施例を示すもので、
図７と対応する部分には同一符号を付して重複する説明
を省略する。尚、以下の実施例では、フレーム内、フレ
ーム間により画像信号の符号化、復号化を説明するが、
フィールド内、フィールド間でも本発明を適用できるこ
とは言うまでもない。

【００２２】本実施例においては、差分器２の出力を処
理するためのＤＣＴ部２０、量子化部２１、ＶＬＣ部２
２及びバッファ２３を設け、このバッファ２３の出力を
チャンネル２（ＣＨ２）の信号として記録媒体８ｂに記
録するようにしている。

【００２３】これと共に、バッファ７の出力をチャンネ
ル１（ＣＨ１）の信号として、符号化制御部１から出力
されるフレーム間符号化かフレーム内符号化かを識別す
るフラグＦＬＧと共に、マルチプレクサ２４で多重化さ
れて、記録媒体８ａに記録するようにしている。

【００２４】次に上記構成による動作について説明す
る。

【００２５】入力された画像信号（第１フレーム）はス
イッチ３でフレーム間符号データか、フレーム内符号デ
ータかのいずれかを選択する。最初の画像入力では前の
画像入力がないのでフレーム内符号化を選択する。次に
画像は８×８画素のブロックに分けられ、ＤＣＴ部４で
順次ＤＣＴ変換され、ＤＣＴ係数として出力される。次
に量子化部５で量子化され、さらに、ＶＬＣ部６で符号
化された画像データはバッファ７に送られ、このバッフ
ァ７のオーバーフロー、アンダーフローを示すフラグを
出すことによってデータ量を測定する。バッファ７の出
力は符号化制御部１からのフレーム間／内符号化識別フ
ラグＦＬＧ（第１フレームはフレーム内符号化なのでフ
ラグＦＬＧはたっている）と共に、マルチプレクサ２４
で多重化されて記録媒体８ａに記録される。

【００２６】一方、量子化部５の出力は逆量子化部９、
ＩＤＣＴ部１０で復号される。このとき加算器１１には
１フレーム前の画像データはないので、なにも加算され
ない。次に予測器１２内のメモリへ入力され、１フレー
ム遅延されてブロック毎に呼び出され、次のブロックと
のズレを算出して動きベクトルとして記録する。そして
次のフレームの画像のブロックに対し動きベクトル分移
動した画像との差分を差分器２で計算する。また、スイ
ッチ１３で上記１フレーム遅延した出力を選択して加算
器１１に入力する。

【００２７】次の画像（第２フレーム）入力は差分器２
で予測器１２の出力（第１フレーム）との差分をとる。
スイッチ３では第２フレームはフレーム間符号化を行う
ので、差分器２側の出力をＤＣＴ部４へ入力する。以
下、ＤＣＴ部４、量子化部５、ＶＬＣ部６、バッファ７
を通り、符号化制御部１からのフレーム間／内符号化識
別フラグＦＬＧ（第２フレームはフレーム間符号化なの
でフラグＦＬＧは立っていない）と共に、マルチプレク
サ２４で多重化されて記録媒体８ａに記録される。

【００２８】他方、量子化部５の出力は逆量子化部９、
ＩＤＣＴ部１０を通り、第２フレーム差分画像は加算器
１１で予測器１２の出力である第１フレーム画像と加算
され、第２フレーム画像となって予測器１２に入力され
る。そして差分器２で第３フレーム画像と差分がとられ
る。

【００２９】図２は６フレーム毎にイントラフレームを
挿入する例を示す。Ｉはフレーム内符号化フレームを示
し、Ｐはフレーム間符号化フレームを示す。ＣＨ１は記
録媒体８ａに記録される信号を、ＣＨ２は記録媒体８ｂ
に記録される信号を示す。また、矢印はフレーム間の相
関関係を示す。

【００３０】第６フレーム符号化後、符号化制御部１の
制御により再びスイッチ３はフレーム内符号化側データ
をＤＣＴ部４へ入力する。同時に差分器２の出力はＤＣ
Ｔ部２０、量子化部２１、ＶＬＣ部２２を通り、バッフ
ァ２３に送られる。このバッファ２３は常にフレームデ
ータの更新を行っており、符号化制御部１においてＣＨ
１で第７フレームのフレーム内符号化データを出力する
のと同時にバッファ２３内の第７フレームを出力するこ
とにより、記録媒体８ａにイントラフレームが記録され
るのと同時に同フレームの差分データのみを記録媒体８
ｂに記録するようにしている。

【００３１】図３は復号化装置の実施例を示し、図８と
対応する部分には同一符号が付されている。

【００３２】図３において、再生モードに応じて制御を
行う再生モード制御部３４、その制御により動作される
バッファ２５、２６、スイッチ２８、２９等が設けられ
ている。また、記録媒体８ｂの再生信号をバッファ２５
を介してフレーム間／内符号化識別フラグＦＬＧと画像
データとに分離するデマルチプレクサ２７、記録媒体８
ａ、８ｂの再生に用いるクロック発生部３０、加算器３
１、差分器３２、フレームメモリ３３等が設けられてい
る。

【００３３】次に動作について説明する。

【００３４】記録媒体８ａ、８ｂはクロック発生部３０
のクロックによって同期再生を行っており、画像データ
が入力されるとデマルチプレクサ２７がフラグとＣＨ１
の画像信号とを分離する。最初のフレーム（第１フレー
ム）はイントラフレームから再生するように、再生モー
ド制御部３４は外部からのモード設定「順方向再生」に
したがってＣＨ１からイントラフレームを選択し、バッ
ファ１４でフレームレートを揃え、ＩＶＬＣ部１５、逆
量子化部１６、ＩＤＣＴ部１７で符号を戻す。スイッチ
２９では再生モード制御部３４からの信号でイントラフ
レーム時、ＩＤＣＴ部１７から直接に信号を選択してビ
デオ出力とする。この第１フレームはフレームメモリ３
３に格納される。記録媒体８ａからの第２フレームは第
１フレームとの相関画像であるので、デマルチプレクサ
２７からのフラグＦＬＧはたっていない。

【００３５】第２フレームは順次復号を行い、スイッチ
２９では順方向の差分画像再生のため、復号データにフ
レームメモリ３３の第１フレームデータを加算する加算
器３１の出力データが選択されて出力されると共にフレ
ームメモリ３３に書き込まれる。そして以降のフレーム
の画像データはフレーム間符号データなので、ＣＨ１を
選択し、復号データとフレームメモリ３３に書き込まれ
ていたフレーム内符号データとを加算することによって
次のフレーム画像が再現できる。再びフレーム内符号デ
ータの時はＣＨ１を選択し、フレームメモリ３３のデー
タがリセットされる。

【００３６】図４は逆方向再生を再生モード制御部３４
に対して設定したとき、イントラフレームの間隔が６枚
でのフレーム復元の様子を示す。再生モード制御部３４
は、例としてフレーム復元シーケンスが図４のようにＩ
−Ｐ5 −Ｐ4 −Ｐ3 −Ｐ2 −Ｐ1 −Ｉのように設定され
る。スタートフレームは識別フラグＦＬＧがたっている
ＣＨ１のＩフレームから行い、スイッチ２９ではＩＤＣ
Ｔ部１７の出力を選択して出力する。また、このイント
ラフレームはフレームメモリ３３に格納される。第２フ
レームはＣＨ２のＰ5 を再生モード制御部３４の制御に
よりスイッチ２８で選択する。

【００３７】各ブロックを通過したＰ5 データはＰ4 フ
レームとの差分情報のため、Ｉフレームを格納してある
フレームメモリ３３から差分器３２によってＰ5 データ
分減算する。このとき再生モード制御部３４によりスイ
ッチ２９が差分器３２の出力を選択して出力するように
制御することにより、１つ前のフレームの復元が可能に
なる。以下同様に順次Ｐ4 ，Ｐ3 ，Ｐ2 ，Ｐ1 までの差
分を順次減算する。その後はＣＨ１のＰ4 からＰ1 フレ
ームまでの差分データを順次減算していくことによって
逆再生が実現できる。Ｐ0 フレームはスキップし、Ｉフ
レームの復元時はＩフレームそのものから復号する。

【００３８】以上のように本実施例によれば、定期的に
作成するイントラフレームに同時に時間的に過去のフレ
ームとの差分データを新たにもたせることによって、逆
再生時のデータ再生基準フレームを得ることができる。

【００３９】図５は本発明の第２の実施例を示す。

【００４０】本実施例はＣＨ１におけるイントラフレー
ムの直前フレームであるフレーム間符号化フレームと同
じフレームで新たにイントラフレームをＣＨ２に設ける
ようにしたものである。新たにイントラフレームを付加
するため、ＤＣＴ部２０はフレーム内符号化のみを行
う。そのため図５のＤＣＴ部２０にはビデオ入力信号を
直接入力するようにしている。

【００４１】図６に動作を示す。例えばイントラフレー
ムと次にくるイントラフレームとの間隔が６フレームと
すると、図示のように６番目のフレームがＩ1 、Ｐ4 の
２つできる。即ち、６番目のフレームはフレーム間符号
化データとフレーム内符号化データとが２つあることに
なる。

【００４２】図５において、最初のフレーム入力時はＣ
Ｈ２ではバッファ２３の出力がオフのため動作しない。
ＣＨ１でスイッチ３が差分器２の無い側と接続し、ＤＣ
Ｔ部４、量子化部５、ＶＬＣ部６、バッファ７を介して
出力される。また、量子化部５の出力データは逆量子化
部９、ＩＤＣＴ部１０で復号され、加算器１１を介して
予測器１２に入力される。そして予測器１２の出力と次
のフレーム画像入力との差分が差分器２で得られる。こ
のようにして６枚目まで差分を記録した後、再びフレー
ム内符号化データを出力する。ここで、６枚目の差分デ
ータを算出時、ＣＨ１側のバッファ７の読み出しが符号
化制御部１の信号によりオンになり、フレーム内符号化
データが出力される。これがＣＨ２側の記録媒体８ｂに
記録される。

【００４３】再生側のブロック図は図３に準じている。
再生時のフレーム復号シーケンスはＩ2 −Ｉ1 −Ｐ4 −
Ｐ3 −Ｐ2 −Ｐ1 −Ｉ0 の順である。逆順再生時はＩ2
フレームから再生し、次にＣＨ２のＩ1 フレームを再
生、バッファ２５を再生モード制御部３４の制御で動作
させＰ4 フレームを復号する。順次Ｐ3 −Ｐ2 −Ｐ1 ま
で復号したらＰ0 は復号せずＩ0 を復号する。

【００４４】以上のように本実施例によれば、ＣＨ１の
イントラフレームの直前に新たにイントラフレームを設
けたことによって、逆再生時の基準となるフレームがで
きる。

【００４５】なお記録側マルチプレクサ２４において、
ＣＨ１、ＣＨ２を多重化し１チャンネルで記録再生する
ことにより、あるいはＣＨ２の符号化ブロックを設ける
ことなく、符号化の最初の段階から時間軸多重を行うこ
とにより、一部フレームを２通りの符号化方法（フレー
ム間／内）で記録、再生することも可能なのはいうまで
もない。

【００４６】

【発明の効果】本発明によれば、フレーム間符号化と同
時にフレーム内符号化を行い、各々の符号化データを記
録、再生するようにしたことにより、逆再生時の基準フ
レームが得られ、その基準フレームから順次フレーム差
分データを加算していくことにより、逆再生時の順番で
フレームが復元可能になる。従って、逆再生時にもイン
トラフレームから次のイントラフレームまでのフレーム
数分のフレームメモリを用意する必要がない。また、再
生順番入れ替え等の特別なメモリ操作をすることなく逆
再生が可能である。さらに再生側のハードウェアに負担
がかからず、逆再生のメリットも再生側に与えられるた
め、記録媒体の再生専用装置にとって特に有効である。
同様に、前記フレームをフィールドと置き換えても、同
一の効果が得られる。

【図面の簡単な説明】

【図１】本発明の第１の実施例による記録装置を示すブ
ロック図である。

【図２】フレームの記録順序を示すタイミングチャート
である。

【図３】本発明による再生装置の実施例を示すブロック
図である。

【図４】逆再生時のフレーム順序を示すタイミングチャ
ートである。

【図５】本発明の第２の実施例による記録装置を示すブ
ロック図である。

【図６】記録時のフレーム順序を示すタイミングチャー
トである。

【図７】従来の画像記録装置を示すブロック図である。

【図８】従来の画像再生装置を示すブロック図ある。

【図９】従来の記録時のフレーム順序を示すタイミング
チャートである。

【符号の説明】

１符号化制御部２差分器３スイッチ４、２０ＤＣＴ部５、２１量子化部６、２２可変長符号化部７、２３バッファ８ａ、８ｂ記録媒体１４バッファ１５可変長復号化部１６逆量子化部１７ＩＤＣＴ部２８スイッチ２９スイッチ３１加算器３２差分器３３フレームメモリ３４再生モード制御部

Claims

【特許請求の範囲】

【請求項１】画像信号をフレーム又はフィールド間符
号化する第１の符号化手段と、前記画像信号を上記第１の符号化手段による符号化と同
時に、フレーム又はフィールド内符号化する第２の符号
化手段と、前記第１及び第２の符号化手段で符号化された符号化デ
ータをそれぞれ記録媒体に記録する記録手段とを有する
ことを特徴とする画像記録装置。
【請求項２】画像信号をフレーム又はフィールド間符
号化した第１の符号化データと前記画像信号をフレーム
又はフィールド内符号化した第２の符号化データとが同
期して記録された記録媒体から前記画像信号を再生する
画像再生装置であって、上記第１及び第２の符号化データを用いてフレーム順序
の並び替え処理を行うことを特徴とする画像再生装置。