JP2637836B2 - 動画像信号圧縮・再生システム - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、デジタル動画像信号を圧縮する動画像信号
圧縮装置、及び該動画像信号圧縮装置によって圧縮され
た信号を再生する動画像信号再生装置を有する動画像信
号圧縮・再生システムに関する。

［従来の技術］ 動画像信号の符号化装置に用いられる圧縮装置は予測
符号化によりフレーム間の時間方向の冗長性を除去する
ように構成されている。この予測符号化としては、フレ
ーム間の差分を取ったり、次のフレームを動き補償予測
した後、差分を取るもの等が知られている（羽島好律
（画像符号化アルゴリズム（Ｉ））TV学会誌vol.43,No.
9,pp.949−956（1989）参照）。

［発明が解決しようとする課題］ しかしながら上述した従来の動画像信号の符号化装置
の圧縮装置では、例えば人物の動きが少なく、背景が静
止したテレビ電話やテレビ会議に用いる場合にはフレー
ム間をある程度予測することができるが、ズームイン、
ズームアウト、フェイドイン、フェイドアウト及びシー
ンチェンジ等を含む動画像のフレーム間を予測すること
ができない。

また、従来の動画像信号圧縮装置により圧縮された信
号を復号する再生装置では、圧縮画像を一般的なディジ
タル回路により通常の速度で順方向に再生することがで
きるが、圧縮画素を逆方向に再生したり、早送りして再
生等する場合には、複雑な工夫が必要になる。（杉山賢
二（蓄積系メディアに適した前後フレーム適応予測符号
化方式）、TV学会技術報告vol.13,No.60,pp.13−18（19
89）参照）。

従って本発明の目的は、簡単な手段で通常の動画像を
圧縮することができる動画像信号圧縮装置、及び該動画
像信号圧縮装置によって圧縮された信号を再生する動画
像信号再生装置を有する動画像信号圧縮・再生システム
を提供することにある。

［課題を解決するための手段］ 上述の目的は本発明によれば、それぞれが所定の数の
フレームからなる複数のブロックに分割されたデジタル
動画像信号を圧縮する装置であって、前のフレームのデ
ジタル動画像信号とフレーム上で同一位置にある次のフ
レームのデジタル動画像信号を前記前のフレームのデジ
タル動画像信号の次に位置するように各デジタル動画像
信号を並び変える手段と、該手段と接続されており並び
変えられた信号の系列を時間軸方向に直交変換する変換
手段と、該変換手段と接続されており直交変換された信
号を圧縮して再量子化する再量子化手段とを備えている
ことを特徴とする動画像信号圧縮装置、及び該動画像信
号圧縮装置によって圧縮されたデータを復号してデジタ
ル動画像信号を再生する装置であって、時間軸方向に直
交変換された信号の一部を復号することによって高速再
生を行うことを特徴とする動画像信号再生装置を有する
動画像信号圧縮・再生システムによって達成される。

［作用］ 動画像信号圧縮装置において、デジタル動画像信号は
量子化されて所定の数のフレームからなるブロックに分
割される。前のフレームのデジタル動画像信号とフレー
ム上で同一位置にある次のフレームのデジタル動画像信
号が各動画像信号を並び変える手段によって前のフレー
ムのデジタル動画像信号の次に位置するように並び変え
られる。並び変えられた信号の系列が変換手段によって
時間軸方向に直交変換され、直交変換された信号が再量
子化手段によって圧縮されて再量子化される。

動画像信号再生装置において、高速再生を行う際に
は、時間軸方向に直交変換された信号の一部が復号され
て再生される。

これにより、圧縮された画像信号から２倍速再生や高
速再生等の特殊再生を行うことが容易に可能となると共
に、時間軸方向に直交変換された信号を逆変換して並び
変える復号操作での計算量を効果的に減少させることが
できる。

［実施例］ 本発明の動画像信号圧縮装置の概念を以下説明する。

デジタル動画像の信号をＮフレーム毎のブロックに区
切って符号化することを考え、符号化された信号系列の
各画素値を f_bn ^ij（０≦ｉ≦Ｉ−1,0≦ｊ≦Ｊ−1,0≦ｎ≦Ｎ−1,b＝0,1,2,…） …（１） と表す。但し、（i,j）は、画面、即ち画面上の座標を
示し、ｉが横方向の座標であり、ｊが縦方向の座標であ
る。ｎは、同一ブロック内のフレーム番号であり、ｂ
は、ブロック番号である。

従って、フレーム上の位置（i,j）上の画素は時間と
ともに、 f_b0 ^ij,f_b1 ^ij,…,f_b,N−１ ^ij,f_ｂ＋1,0 ^ij,f_ｂ＋1,1 ^ij,…,f_{ｂ＋1,N−１} ^ij,f
_ｂ＋2,0 ^ij,… …（２） のように変化する。以下、あるブロックｂと位置（i,
j）に着目し、添字i,j,bを省略する。

また、時間軸方向の変換行列要素をA_kn、逆変換行列
要素をB_nk、変換後の画素値をF_kとすると、次式が成立
する。

（０≦ｋ≦Ｎ−１） （０≦ｎ≦Ｎ−１） （０≦k,l≦Ｎ−１） （０≦n,m≦Ｎ−１） ここで、変換後の画素値F_kの一部に画像の電力が集中
するものを用い、また、この画素値F_kに多くのビット数
を割り当て、他の画素値F_kに少ないビット数を割り当て
ることにより符号化する。例えば、DCT（離散コサイン
変換）やアダマール変換を用いた場合、ｋをシーケンス
番号とすると、低周波に対応する小さなｋの画素値F_kへ
の電力集中度が高く、高周波に対応する大きなｋの画素
値F_kは、ほとんどの場合小さな値に留まる。

更に、人間の目が高周波成分に鈍感であることを考慮
し、画素値F_kのビット数を次のようにしてデータ圧縮を
行う（矢野澄男、磯野春夫（画像情報圧縮のための視覚
情報論）、TV学会誌vol.43,No.7,pp.697−706（1989）
参照）。

（F_kのビット数≧Ｆ_ｋ′のビット数）（ｋ＜ｋ′） …（７） ここで、例えば１画素が８ビットであって４フレーム
毎のブロックに区切り（Ｎ＝４）、第１表のようなビッ
ト配分を考えた場合、全てを８ビットで符号化した場合
に比べて63％程度のデータ量となり、また、１画素が８
ビットであって８フレーム毎のブロックに区切り（Ｎ＝
８）、第２表のようなビット配分を考えた場合、全てを
８ビットで符号化した場合に比べて34％程度のデータ量
となる。

以下、図面を参照して本発明の動画像信号圧縮装置、
及び該動画像信号圧縮装置によって圧縮された信号を再
生する動画像信号再生装置を有する動画像信号圧縮・再
生システムの実施例について説明する。

第１図は、本発明の一実施例である動画像信号の符号
化装置を示すブロック図である。

同図において、11は入力されるデジタル動画像信号を
並び変えるための並び変え手段である。この並び変え手
段11の出力側には変換手段12が接続されている。

この変換手段12の出力側には変換値再量子化手段13が
接続されており、さらにその出力側には書き込み手段14
が接続されている。これら、並び変え手段11、変換手段
12、変換値量子化手段13及び書き込み手段14によって動
画像信号の符号化装置が構成されている。

所定の数からなる複数のブロックに分割されたデジタ
ル動画像の信号が並び変え手段11の入力端子を介してフ
レームの番号順に入力されており、各フレームのデータ
が画面の左上から横方向に走査されている場合、１つの
ブロックの信号系列は、ブロック番号の添字を省略する
と、次の順に並んでいる。

f₀ ⁰⁰,…,f₀ ^ij,…,f₀ ^{Ｉ−1,J−１},f₁₀₀,…f₁ ^ijf₁ ^{Ｉ−1,J−１}，…,f_N-1 ⁰⁰,
f_N-1 ^ij,…，…,f_N-1 ^{Ｉ−1,J−１} …（８） 並び変え手段11は、この１つのブロック分（Ｎフレー
ム分）の入力画像信号を次のように並び変える。

f₀ ⁰⁰,,f₁ ⁰⁰,…,f_N-1 ⁰⁰,…,f₀ ^ij,f₁ ^ij,…,f_N-1 ^ij,…,f₀ ^{Ｉ−1,J−１},f₁
^{Ｉ−1,J−１}，…,f_N-1 ^{Ｉ−1,J−１} …（９） 変換手段12は、位置（i,j）の画素に対応する入力画
像信号の系列 f₀ ^ij,f₁ ^ij,…,f_N-1 ^ij …（10） を式（３）に従って変換し、出力系列 F₀ ^ij,F₁ ^ij,…,F_N-1 ^ij …（11） を得る。

変換値再量子化手段13は、式（11）を入力系列とし
て、例えばDCT（前述の離散コサイン変換）等において
第１表や第２表（発明の詳細な説明の最後部に記載）に
従って高周波成分に対応する画素値F_kのビット数を少な
くすることにより、各値を量子化し、データ圧縮を行
う。

ここで、量子化された系列を Ｆ′₀ ^ij,F′₁ ^ij,…,F′_N-1 ^ij …（12） で表すものとすると、第２図に示すようなフォーマット
で書き込み手段14によって図示しない記憶媒体に書き込
まれる。

この書き込み手段14は、圧縮された動画像信号を例え
ば、ハードディスク、フロッピーディスク、光ディス
ク、ICカード等の記憶媒体へ記憶させるための手段であ
る。

第２図は、第１図に示した動画像信号の符号化装置に
よるデータのフォーマットを示す説明図である。

第３図は、第１図に示した動画像信号の符号化装置を
さらに詳しく説明するためのブロック図である。但し、
説明を簡単化するため、書き込み手段は省略されてい
る。

同図に示すように、入力インターフェース15がデータ
バス16と接続されており、読み出しアドレス生成器17が
メモリ18と接続されている。このメモリ18は書き込みア
ドレス生成器19と接続されておりさらにデータバス16と
接続されている。尚、読み出しアドレス生成器17と書き
込みアドレス生成器19とメモリ18とが第１図の並び変え
手段11に対応している。このデータバス16は変換器20と
再量子化器21と出力インターフェース22と接続されてい
る。変換器20は第１図の変換手段12に対応しており、再
量子化器21は第１図の変換値再量子化手段13に対応して
いる。このデータバス16は図示しない例えばマイクロプ
ロセッサ等の制御回路と接続されている。

入力インターフェース15は、入力データとして動画像
信号を入力し、これをデータバス16へ転送する。

メモリ18は、例えばRAM（ランダムアクセスメモリ）
が用いられ、動画像信号のＮフレーム分のデータがデー
タバス16を介して書き替え可能に格納される。

これら読み出しアドレス生成器17とメモリ18と書き込
みアドレス生成器19とを用いて後述するプログラムに従
ってデータの並べかえを行い、並び変えられたデータを
データバス16へ転送する。

再量子化器21は、変換されたデータをルックアップテ
ーブル等によって再量子化しデータバス16へ転送する。

出力インターフェース22は、動画像信号が圧縮された
データを、第３図には示されてない書き込み手段へ出力
する。

第４図は、第１図に示した並び変え手段のデータ並び
変えプログラムの一部を概略的に表すフローチャートで
ある。このプログラムは、１つのブロック（横方向の画
素数１、縦方向の画素数Ｊ、フレーム数Ｎ）についての
データ並び変えを実行するためのものであり、以下の如
く動作する。

ステップS11において、フレーム番号ｎへ０を代入す
る。次のステップS12において、フレーム上の画素の一
方の座標成分ｊに０を代入し、ステップS13において、
フレーム上の画素の他方の座標成分ｉに０を代入する。
これによりｎ、ｉ及びｊが初期設定される。

次のステップS14においては、f_n ^ijをａ［ｎ］［ｉ＋
ｊ＊Ｉ］に代入する。これにより、最初の画素値f₀ ⁰⁰が
求められる。尚、f_n ^ijはｎ番目のフレーム上の位置
（ｉ、ｊ）における画素値を表す。ａ［ｎ］［ｌ］、
（ｌ＝０、１、…、Ｉ＊Ｊ−１）は並び変えられたデー
タを表す。ｌは並び変えられたデータの順番を表す番号
である。

次のステップS15においてｉをｉ＋１と歩進させた
後、ステップS16において、ｉがＩより小さいかどうか
判別する。「Yes」の場合、即ちｉ＜Ｉの場合は、ステ
ップS14へ戻り前述の処理を繰り返す。これにより１フ
レームの横１列分の画素のデータが並び変えられる。

ステップS16において「No」の場合、即ちｉ＝Ｉの場
合は、ステップS17においてｊをｊ＋１と歩進させる。
次にステップS18において、ｊがＪより小さいかどうか
判別する。「Yes」の場合、即ちｊ＜Ｊの場合は、ステ
ップS13へ戻り前述の処理を繰り返す。これにより１フ
レーム分の画素のデータが並び変えられる。

ステップS18で「No」の場合、即ちｊ＝Ｊの場合は、
ステップS19においてｎをｎ＋１と歩進させた後、ステ
ップS20において、ｎがＮより小さいかどうか判別す
る。「Yes」の場合、即ちｎ＜Ｎの場合は、ステップS12
へ戻り前述の処理を繰り返す。ステップS20で「No」の
場合、即ちｎ＝Ｎの場合は、１つのブロックの画素のデ
ータの並び変え処理が終了したとしてこのプログラムを
終了する。

第５図は、第３図に示した変換手段の変換プログラム
の一部を概略的に表すフローチャートである。この変換
プログラムは、並び変え手段から出力されたデータａ
［ｎ］［ｌ］（ｎ＝０、１、２、…、Ｎ−１、ｌ＝０、
１、…、Ｉ＊Ｊ−１）を時間軸方向に変換する。

ステップS21において、０をｌに代入する。次にステ
ップS22において、０をｋに代入する。これによりｌ及
びｋが初期設定される。

次いでステップS23において、次式（13） をｂ［ｋ］［ｌ］へ代入する。ここでA_knは、変換行列
要素、ｂ［ｋ］［ｌ］は変換されたデータである。

次のステップS24においてｋをｋ＋１と歩進させた
後、ステップS25においてｋがＮより小さいかどうか判
別する。「Yes」の場合、即ちｋ＜Ｎの場合は、ステッ
プS23へ戻り前述の処理を繰り返す。これによりＮ個の
フレーム上の同一の位置における画素が変換される。

ステップS25で「No」の場合、即ちｋ＝Ｎの場合は、
ステップS26でｌをｌ＋１と歩進させた後、ステップS27
においてｌよりＩ＊Ｊが小さいかどうか判別する。「Ye
s」の場合、即ちｌ＜Ｉ＊Ｊの場合は、ステップS22へ戻
り前述の処理を繰り返す。ステップS27で「No」の場
合、即ちｌがＩ＊Ｊに等しい場合は、１つのブロックの
画素のデータの変換処理が終了したとしてこのプログラ
ムを終了する。尚、DCTを用いる場合はステップS22から
ステップS25までの処理には高速アルゴリズム（第６図
参照）を用いる。

第７図は、第３図に示した再量子化手段の再量子化プ
ログラムの一部を概略的に表すフローチャートである。
このプログラムは、変換手段の出力ｂ［ｋ］［ｌ］（ｎ
＝０、１、２、…、Ｎ−１、ｌ＝０、１、…、Ｉ＊Ｊ−
１）の再量子化を実行する。

同図に示すように、ステップS31において、０をｋに
代入する。次にステップS32において、０をｌに代入す
る。これらによりｌ及びｋが初期設定される。次にステ
ップS33において、Q_n（ｂ［ｋ］［ｌ］）をｂ［ｋ］
［ｌ］に代入する。ここでQ_n（ｘ）は、値ｘを再量子化
するための関数である。例えば一画素を８ビットとし、
Ｎを４とすると第１表のようなビット配分の場合は、次
式（14）〜（17）のようなQ_n（ｘ）を用いる。

Q₀＝ｘ …（14） 但し、 はｘより小さい最大の整数を表わす。

次にステップS34においてｌをｌ＋１と歩進させた
後、ステップS35において、ｌがＩ＊Ｊより小さいかど
うか判別する。「Yes」の場合、即ちｌ＜Ｉ＊Ｊの場合
は、ステップS33へ戻り前述の処理を繰り返す。これに
より、１フレーム分の画素のデータが再量子化される。

ステップS35で「No」の場合、即ちｌ＝Ｉ＊Ｊの場合
は、ステップS36においてｋをｋ＋１と歩進させる。次
にステップS37において、ｋがＮより小さいかどうか判
別する。「Yes」の場合、即ちｋ＜Ｎの場合は、ステッ
プS32へ戻り、前述の処理を繰り返す。ステップS37で
「No」の場合、即ちｋ＝Ｎの場合は、１つのブロック分
の再量子化処理が終了したとしてこのプログラムを終了
する。

第８図は、動画像信号の再生装置を示すブロック図で
ある。

同図に示すように、データ読み取り手段23に変換値復
元手段24が接続されており、この変換値復元手段24は逆
変換手段25と接続されている。逆変換手段25は並び変え
手段26と接続されて再生装置が構成されている。

第９図は、第８図に示した動画像信号の再生装置をさ
らに詳しく説明するためのブロック図である。但し、説
明を簡単化するためデータ読み取り手段は省略されてい
る。

同図に示すように、入力インターフェース27と量子化
値の復元器28と逆変換器29とがデータバス30と接続され
ている。量子化値の復元器28は、第８図の変換値復元手
段24に対応しており、逆変換器29は逆変換手段25と対応
している。読み出しアドレス生成器31と書き込みアドレ
ス生成器32とがメモリ33と接続されている。これら読み
出しアドレス生成器31と書き込みアドレス生成器32とメ
モリ33とで第８図の並び変え手段26に対応している。こ
のメモリ33と出力インターフェース34とがデータバス30
と接続されている。このデータバス30は図示しない制御
回路と接続されている。

入力インターフェース27は、例えば読み取り手段によ
って読み取られたデータをデータバス30へ転送する。

量子化値の復元器28は、記憶データ（符号化データ）
を、ルックアップテーブル（Q_n ^-1（ｘ）の関数値をテー
ブル化したもの）などによって変換値に復元しデータバ
ス30へ転送する。

逆変換器29は、復元された変換値を後述するフローに
従って逆変換し逆変換されたデータをデータバス30へ転
送する。

メモリ33は、例えばRAMが用いられ、動画像信号のＮ
フレーム分のデータがデータバス30を介して書き替え可
能に格納される。

これらメモリ33と書き込みアドレス生成器32と読み出
しアドレス生成器31とで後述するプログラムに従ってデ
ータの並べ変えを行い、並び変えられたデータをデータ
バス30へ転送する。

第10図は、第９図に示した動画像信号の再生装置にお
ける量子化値の復元器28のデータ復元プログラムの一部
を概略的に表すフローチャートである。このプログラム
は、量子化された１つのブロック分の符号ｂ［ｋ］
［ｌ］（ｋ＝０、１、…、Ｎ−１、ｌ＝０、１、…、Ｉ
＊Ｊ−１）の復元を実行するためのものであり、以下の
如く動作する。

同図に示すように、ステップS41において、ブロック
の番号ｋに０を代入して初期設定する。次にステップS4
2において、データ番号ｌに０を代入して初期設定す
る。次いでステップS43においてQ_n ^-1（ｂ［ｋ］
［ｌ］）をｂ［ｋ］［ｌ］に代入する。ここでQ
_n ^-1（ｘ）は、量子化値を復元する関数である。前述し
たQ_n（ｘ）に対応する関数は次式（18）〜（21）のよう
になる。

Q₀ ^-1＝ｘ …（18） Q₁ ^-1＝（2⁸/2⁶）ｘ …（19） Q₂ ^-1＝（2⁸/2⁴）ｘ …（20） Q₃ ^-1＝（2⁸/2²）ｘ …（21） 次のステップS44において、ｌをｌ＋１へ歩進させた
後、ステップS45において、ｌがＩ＊Ｊより小さいかど
うか判別する。「Yes」の場合、即ちｌ＜Ｉ＊Ｊの場合
は、ステップS43へ戻り、前述の処理を繰り返す。これ
により１フレーム分のデータが復元される。ステップS4
5で「No」の場合、即ちｌ＝Ｉ＊Ｊの場合は、ステップS
46でｋをｋ＋１と歩進させた後、次のステップS47でｋ
がＮより小さいかどうか判別する。「Yes」の場合、即
ちｋ＜Ｎの場合は、ステップS42へ戻り、前述の処理を
繰り返す。ステップS47で「No」の場合、即ちｋ＝Ｎの
場合は、Ｎ個のブロック分の符号ｂ［ｋ］［ｌ］の復元
処理が終了したとしてこのプログラムを終了する。

第11図は、第９図に示した動画像信号の再生装置にお
ける逆変換器29の逆変換プログラムの一部を概略的に表
すフローチャートである。このプログラムは、再量子化
値復元器の出力ｂ［ｋ］［ｌ］の逆変換を実行する。

同図に示すように、ステップS51において０をｌに代
入した後、ステップS52において０をｎに代入して初期
設定する。次にステップS53において次式（22） をａ［ｎ］［ｌ］に代入する。ここでB_nkは、逆変換行
列要素、ａ［ｎ］［ｌ］は逆変換されたデータである。

次いでステップS54でｎをｎ＋１へ歩進させた後、ス
テップS55でｎがＮより小さいかどうか判別する。「Ye
s」の場合、即ちｎ＜Ｎの場合は、ステップS53へ戻り前
述の処理を繰り返す。これによりフレーム上の所定の位
置におけるデータがフレームの個数分処理される。

ステップS55で「No」の場合、即ちｎ＝Ｎの場合は、
ステップS56でｌをｌ＋１へ歩進させた後、ステップS57
でｌがＩ＊Ｊより小さいかどうか判別する。「Yes」の
場合、即ちｌ＜Ｉ＊Ｊの場合は、ステップS52へ戻り前
述の処理を繰り返す。ステップS57で「No」の場合、即
ちｌ＝Ｉ＊Ｊの場合は、１ブロック分の画素の逆変換処
理が終了したとしてこのプログラムを終了する。

尚、第５図に示した変換処理のプログラムと同様、DC
Tを用いるときはステップS52からステップS55までの処
理に高速アルゴリズムを用いる。

第12図は、第９図に示した動画像信号の再生装置にお
ける並べ変え手段の並べ変えプログラムの一部を概略的
に表すフローチャートである。このプログラムは、逆変
換器からの出力データを並び変える並び変えプログラム
を実行する。

同図に示すようにステップS61において０をｎに代入
した後、ステップS62において０をｊに代入する。次に
０をｉに代入することでｎ、ｉ及びｊが初期化される。
次いでステップS64でａ［ｎ］［ｉ＋ｊ＊Ｉ］をｎ番目
のフレーム上の位置（i,j）の画素の復号値であるf_n ^ij
に代入する。

次のステップS65でｉをｉ＋１に歩進させた後、ステ
ップS66でＩより小さいかどうか判別する。「Yes」の場
合、即ちｉ＜Ｉの場合は、ステップS64へ戻り、前述の
処理を繰り返す。これによってフレーム上の１列分の画
素が並び変えられる。ステップS66で「No」の場合、即
ちｉ＝Ｉの場合は、ステップS67でｊをｊ＋１と歩進さ
せた後、ステップS68でｊがＪより小さいかどうか判別
する。「Yes」の場合、即ちｊ＜Ｊの場合は、ステップS
63へ戻り、前述の処理を繰り返す。ステップS68で「N
o」の場合、即ちｊ＝Ｊの場合は、ステップS69でｎをｎ
＋１と歩進させた後、ステップS70でｎがＮより小さい
かどうか判別する。「Yes」の場合、即ちｎ＜Ｎの場合
は、ステップS62へ戻り、前述の処理を繰り返す。ステ
ップS70で「No」の場合、即ちｎ＝Ｎの場合は、１ブロ
ック分のデータの並び変えが終了したとしてこのプログ
ラムを終了する。

これらにより符号化された動画像信号の再生が行われ
る。

以下、第８図に示した動画像信号の再生装置による通
常速度での再生、倍速度での再生、高速サーチ再生、全
フレーム再生、半数フレーム再生及び１フレーム再生モ
ードにおけるデータの処理について説明する。

「通常速度の再生」 第８図に示すように、データ読み取り手段23は、前述
の動画像信号の符号化装置により圧縮された記憶データ
を通常の速度で順方向に再生する場合には各ブロックを
順番に読み出し、逆方向に再生する場合には各ブロック
を逆の順番で読み出す。従って、データ読み取り手段23
により通常速度で順方向に読み出された１ブロック分の
データは、式（12）に示すような系列となる。

変換値復元手段24は、式（12）に示す系列から元のビ
ット数の変換値を復元する。即ち、動画像信号の符号化
装置の変換値再量子化手段13が８ビットの信号を４ビッ
トの信号に量子化した場合には、変換値復元手段24は、
この４ビットの信号を元の８ビットの信号に復元する。

逆変換手段25は、動画像信号の符号化装置の変換手段
12により変換された信号系列を逆変換する。この場合、
入力信号系列が圧縮時に量子化された値であるので、人
間の視覚上では問題にならないが、完全に逆変換するこ
とができない。そこで、本実施例では、逆変換手段25が
逆変換した１画素分の出力系列を次のように表す。

ｆ′₀ ^ij,f′₁ ^ij,…,f′_N-1 ^ij …（23） 並び変え手段26は、次の１ブロック分の入力系列 ｆ′₀ ⁰⁰,f′₁ ⁰⁰,…,f′_N-1 ⁰⁰,…,f′₀ ^ij,f′₁ ^ij,…,f′_N-1 ^ij,…,f′_{０
Ｉ−1,J−１},f₁ ^{Ｉ−1,J−１}，…,f′_N-1 ^{Ｉ−1,J−１} …（24） を、順方向の再生の場合には、次式 ｆ′₀ ⁰⁰,…,f′₀ ^ij,…,f′_０ ^{Ｉ−1,J−１},f′₁ ⁰⁰,…,f′₁ ^ij,…,f′_１
^{Ｉ−1,J−１}，…,f′_N-1 ⁰⁰,f′_N-1 ^ij,f′_N-1 ^{Ｉ−1,J−１} …（25） の系列に並び変えて出力する。逆方向の再生の場合に
は、次式 ｆ′_N-1 ⁰⁰,…,f′_N-1 ^ij,…,f′_N-1 ^{Ｉ−1,J−１},f′₁ ⁰⁰,…,f′₁ ^ij,…,f′_１
^{Ｉ−1,J−１}，…,f′₀ ⁰⁰,…,f′₀₀ ^ij,…,f′_０ ^{Ｉ−1,J−１} …（26） の系列に並び変えて出力する。

「倍速度再生」 データ読み取り手段23と変換値復元手段24とは、通常
速度の再生と同様であり、逆変換手段25が偶数フレーム
又は奇数フレームのみを逆変換する。

ここで、Ｎを偶数とし、偶数フレームを逆変換する場
合、逆変換手段25が逆変換した１画素分の出力系列は、 ｆ′₀ ^ij,f′₂ ^ij,…,f′_N-2 ^ij …（27） となる。

他方、Ｎが奇数である場合には、１ブロック毎に偶数
フレーム ｆ′₀ ^ij,f′₂ ^ij,…,f′_N-3 ^ij,f′_N-1 ^ij …（28） と奇数フレーム ｆ′₀ ^ij,f′₂ ^ij,…,f′_N-4 ^ij,f′_N-2 ^ij …（29） を切り替えて出力する。

並び替え手段26は、順方向で再生する場合には式（2
5）により並び変え、逆方向で再生する場合には式（2
6）により並び変える。

「高速サーチ再生」 データ読み取り手段23は、再生速度に応じて幾つかの
ブロックを飛び越してデータを読み出す。例えば、２ブ
ロック飛び越しながら順方向に再生する場合には、ｂ、
ｂ＋３、ｂ＋６、…番目のブロックを読み出す。

変換値復元手段24は、このように読み出された系列を
式（12）の系列に復元し、逆変換手段25は、１ブロック
当たり１フレームのみを逆変換する。

ここで、ｍ（０≦ｍ≦Ｎ−１）番目のフレームのみを
逆変換する場合、逆変換手段25により逆変換された系列
は、 ｆ′_m ⁰⁰,…,f′_m ^ij,…,f′_ｍ ^{Ｉ−1,J−１} …（30） となり、並び変え手段26はこの系列をそのまま出力す
る。

以上、動画像信号の符号化装置と再生装置とについて
の概略を説明したが、次に、１ブロック分のデータを逆
変換する場合について詳細に説明する。

「全フレーム再生」 画素値F_k（０≦ｋ≦Ｎ−１）から全フレームを再生す
るには式（４）によりf_n（ｎ＝0,…,N−１）を再生する
ばよいが、DFT（離散フーリエ変換）、DCT（離散コサイ
ン変換）及びDST（離散サイン変換）についてはそれぞ
れ、FFT（高速フーリエ変換）、FCT（高速コサイン変
換）及びFST（高速サイン変換）と呼ばれる高速アルゴ
リズムが開発されているので、式（４）より高速で処理
することができる。

第６図及び第13図はそれぞれ、Ｎ＝８の場合のFCT、F
FTの動作を示し、斜線は、乗算を表す。ここで、 Ｗ＝exp（−２πj/8） …（31） s_n＝sin（πn/16）（ｎ＝1,2,3,4） …（32） c_n＝cos（πn/16）（ｎ＝1,2,3,4） …（33） であり、また、記号（−）は、減算を表す。

「半数フレーム再生」 例えば偶数フレームを再生する場合には、第14図に示
すように、式（４）によりf_n（ｎ＝0,2,…,N−２）を再
生する。この場合、FFT及びFSTでは、半数フレームのf_n
を計算するので、計算量は全フレームの場合より約半分
で済む。

尚、第６図に示すように、FCTによる逆変換では、計
算量が半分にならないが、次のような近似的な手法によ
り計算量が半分になる。

例えばＮを偶数とし、偶数フレームをu_n、奇数フレー
ムをv_nで表すと、 Ｎ＝2M …（34） u_n＝f_2n（０≦ｎ≦Ｍ−１） …（35） v_n＝f_2n+1（０≦ｎ≦Ｍ−１） …（36） となる。この場合、f_n（０≦ｎ≦Ｍ−１）に対する2M点
DCTと、偶数フレームu_n、奇数フレームv_nに対するＭ点D
CTは、次式で表すことができる。

（０≦ｋ≦2M−１） （０≦ｋ≦Ｍ−１） （０≦ｋ≦Ｍ−１） また、F_kは、次のように変形することができる。

F_k＝2C_kcos（πk/4M） ＋2D_ksin（πk/4M） （０≦ｋ≦2M−１） …（40） ここで、 （０≦ｋ≦2M−１） （０≦ｋ≦2M−１） c_n＝（u_n＋v_n）/2 …（43） （０≦ｎ≦Ｍ−１） d_n＝（u_n−v_n）/2 …（44） （０≦ｎ≦Ｍ−１）である。更に、式（40）において、
ｋを2M−ｋに置き換えて式（30）を変形すると、 F_2M-k＝−2C_ksin（πk/4M） ＋2D_kcos（πk/4M） …（45） （０≦ｋ≦Ｍ−１） となり、式（40）及び（45）により次の２式が得られ
る。

C_k＝（1/2）F_kcos（πk/4M） −（1/2）F_2M-ksin（πk/4M） …（46） （０≦ｋ≦Ｍ−１） C₀＝（1/2）F₀ …（47） ここで、F_2M-k（０≦ｋ≦Ｍ−１）は高周波成分に対
応するので、自然画像では値が小さいと見なすことがで
きる。また、sin（πk/4M）は０より大きく1/2^1/2より
小さいので、式（46）は、第２項を無視して C_k＝（1/2）F_kcos（πk/4M） …（48） で表すことができる。C_kは、式（41）及び（43）より２
フレーム間の平均値のＭ点DCTであり、そこで、このC_k
を半数フレームの再生値とする。

ところで、Ｎ点の乗算回数は、（1/2）Nlog₂Nであ
り、したがって、Ｎ（Ｎ＝2M）点のDCT（前述の逆離散
コサイン変換）を用いる全フレーム再生の乗算回数と、
Ｍ点のDCT（逆離散コサイン変換）とＭ回の乗算を用い
る半数フレーム再生の乗算回数との比は、 （1/2）Mlog₂2M:（1/2）log₂M＋Ｍ …（49） であることがわかる。したがって、Ｍ＝４の場合にその
比は3:2、Ｍ＝８の場合に8:5となり、Ｍが大きくなるに
つれて2:1に近づく。

「１フレーム再生」 ｍ（０≦ｍ≦Ｎ−１）番目のフレームを再生する場合
には、式（４）を直接用いてf_mを再生すればよく、この
場合の乗算回数はＮ回である。

本発明において取り扱う動画像信号は、必ずしも実画
像でなくてもよく、フレーム内で２次元変換したもの
や、Ｎフレーム分のブロック内でフレーム間差分をとっ
たのちに２次元変換したものでよい。尚、このような場
合には、時間軸方向も含めて３次元変換していることに
なる。

２次元符号化としてDCT等を用いると、入力画像信号
の画素f_n ^ijの添字ｉ、ｊがそれぞれ１フレーム内の縦方
向、横方向の空間周波数を表しており、したがって、符
号化の際にｉ、ｊが大きいほど少ないビット数を割り当
てることができる。

尚、実際には、時間軸方向の変換を行った後に量子化
を行い、この場合には、あるブロック内の変換後の値を
F_k ^ijで表し、ビット数を次のように割り当てる。

（F_k ^ijのビット数）≧（Ｆ_ｋ′ ^ｉ′ｊ′のビット数）（ｄ（i,j,k）＜ｄ（ｉ′,
j′,k′）） …（50） ここで、ｄ（i,j,k）は、点（0,0,0）と点（i,j,k）
との間の距離を表す関数であり、公知のものを用いるこ
とができる（田村秀行監修 コンピュータ画像処理入門
総研出版pp.73−74参照）。

前述の実施例では、空間２次元変換された動画像信号
を取り扱う場合について説明したが、次に、空間２次元
変換と、時間軸方向変換とを合わせた３次元変換を用い
た符号化について説明する。

第15図の３次元符号化の動作説明図に示すように、動
画像信号のデータを横Ｌ画素×縦Ｍ画素×Ｎフレームに
分割して符号化する。

分割された各ブロックの番号を（x,y,b）の３つの数
字で表し、また、１ブロック内のｎ番目のフレームの位
置座標（i,j）の画素値を f^xyb _nij …（51） （０≦ｎ≦Ｎ−1,0≦ｉ≦Ｌ−1,0≦ｊ≦Ｍ−１）と表
す。

更に、ブロック内の時間方向の変換行列要素をA⁰ _kn、
逆行列要素をB⁰ _nkとし、横方向の変換行列要素をA¹ _li、
逆行列要素をB¹ _ilとする。縦方向の変換行列要素を
A² _mj、逆行列要素をB² _jmとし、３次元変換後の値をF_klm
とすると、次式が成立する。

（０≦ｋ≦Ｎ−1,0≦ｌ≦Ｌ−1,0≦ｍ≦Ｍ−１） （０≦ｎ≦Ｎ−1,0≦ｉ≦Ｌ−1,0≦ｊ≦Ｍ−１） 尚、上記の式（52）及び（53）では、記述を簡単にす
るために、ブロック番号を表す添字が省略されている。

第16図は、本発明の他の実施例として３次元符号化装
置を示し、第17図は３次元再生装置を示す。

第16図に示すように、Ｌ画素毎に横方向変換する横方
向変換手段35が、１フレーム分のデータを並び変える並
び変え手段36とに接続されている。この並び変え手段36
は、Ｍ画素毎に縦方向に変換する縦方向変換手段37と接
続されている。この縦方向変換手段37は、Ｎフレーム分
のデータを並び変える並び変え手段38と接続されてお
り、この並び変え手段38は変換手段39と接続されてい
る。変換手段39は変換値再量子化手段40と接続されてお
り、この変換値再量子化手段40は書き込み手段41と接続
されて３次元符号化装置が構成されている。

各フレームごとに横方向に走査された動画像信号が入
力されると、横方向変換手段35は、この入力系列 f_n0j,f_n1j,…,f_n,L−1,j …（54） をＬ画素ごとに横方向に変換し、出力系列 g_n0j,g_n1j,…,g_n,L−1,j …（55） を得る。但し、 である。

次いで、並び変え手段36は、式（55）の入力系列を、
各フレームごとにデータを縦方向に走査した形に並び変
える。

縦方向変換手段37は、並び変え手段36により並び変え
られた系列 g_nl0,g_nl1,…,g_nl,M−１ …（57） をＭ画素毎に縦方向に変換し、系列 h_nl0,h_nl1,…,h_nl,M−１ …（58） を出力する。但し、 である。したがって、この時点のデータは、第18図に示
すように並んでいる。

縦方向変換手段37に接続された並び変え手段38は、式
（58）のＮフレーム分のデータを、空間座標が同一の画
素を示し、フレーム順に並ぶように並び変え、 h_0lm,h_1lm,…,h_Ｎ−1,lm …（60） のような系列を出力する。

変換手段39は、式（60）の入力系列を時間方向に変換
し、 F_0lm,F_1lm,…,F_Ｎ−1,lm …（61） なる系列を出力する。但し、 である。これで、式（62）の３次元変換が完了したこと
になる。

変換値再量子化手段40は、式（50）でF_k ^ijをF_klmに置
き換えたものに従って変換値を第19図に示すように値 Ｆ′_0lm,F′_1lm,…,F′_klm,…,F′_Ｎ−1,lm …（63） に量子化し、量子化された値は、書き込み手段41によっ
て図示しない記憶媒体に記憶される。

次に、第17図を参照して３次元復号化装置を説明す
る。

同図に示すように、データ読み取り手段42が変換値復
元手段43と接続されており、この変換値復元手段43が時
間方向逆変換手段44と接続されている。時間方向逆変換
手段44は、Ｎフレーム分のデータを並び変える並び変え
手段45と接続されており、この並び変え手段45は、Ｍ画
素毎に縦方向に逆変換する縦方向逆変換手段46と接続さ
れている。この縦方向逆変換手段46は、１フレーム分の
データを並び変える並び変え手段47と接続されており、
並び変え手段47は、Ｌ画素毎に横方向の逆変換を行う横
方向逆変換手段と接続されている。

これらの各手段42〜48は、第８図に示すデータ読み取
り手段21、変換値復元手段22及び時間方向逆変換手段23
と同様の動作を行う。

すなわち、データ読み取り手段42は、通常速度で順方
向に再生する場合には各ブロックをその順番で読み出
し、逆方向に再生する場合には各ブロックを逆の順番で
読み出し、また、高速サーチ再生では、ブロックを飛び
越してデータを読み出す。

同様に、変換値復元手段43は変換値を復元し、時間方
向逆変換手段44は時間方向の逆変換を行う。この場合、
時間方向逆変換手段44の１画素分の出力を ｈ′_0lm,h′_1lm,…,h′_Ｎ−1,lm …（64） で表す。

並び変え手段45は、第16図の並び変え手段38と逆の並
び変えを行ってＮフレーム分のデータを並び変える。従
って、出力されるデータのフォーマットは、第18図に示
すようなフォーマットになる。

縦方向逆変換手段46は、入力系列 ｈ′_n00,h′_n01,…,h′_nlm,…,h′_{n,L−1,M−１} …（65） をＭ画素毎に縦方向に逆変換して系列 ｇ′_n00,g′_n01,…,g′_nlj,…,g′_{n,L−1,M−１} …（66） を出力し、並び変え手段47は、第16図の並び変え手段36
と逆の並び変えを行って１フレーム分のデータを並び変
え、次のような系列 ｇ′_n00,g′_n10,…,g′_nlj,…,g′_{n,L−1,M−１} …（67） を出力する。

最後に、横方向逆変換手段48は、この系列をＬ画素毎
に横方向に逆変換し、再生画像の系列 ｆ′_n00,f′_n10,…,f′_nlj,…,f′_{n,L−1,M−１} …（68） を得る。

尚、この３次元変換において逆再生、倍速再生、高速
サーチ再生する場合にも同様に時間方向逆変換手段44及
び並び変え手段45において第１の実施例と同様な処理を
行う。

尚、本発明の動画像信号圧縮装置は、デジタルVTR
（ビデオテープレコーダ）のデジタル動画像信号の圧縮
に用いてもよい。

［発明の効果］ 以上詳細に説明したように本発明の動画像信号圧縮・
再生システムによれば、動画像信号圧縮装置において、
デジタル動画像信号は量子化されて所定の数のフレーム
からなるブロックに分割され、前のフレームのデジタル
動画像信号とフレーム上で同一位置にある次のフレーム
のデジタル動画像信号が各動画像信号を並び変える手段
によって前のフレームのデジタル動画像信号の次に位置
するように並び変えられ、並び変えられた信号の系列が
変換手段によって時間軸方向に直交変換され、直交変換
された信号が再量子化手段によって圧縮されて再量子化
される。動画像信号再生装置において、高速再生を行う
際には、時間軸方向に直交変換された信号の一部が復号
されて再生されるので、圧縮された画像信号から２倍速
再生や高速再生等の特殊再生を行うことが容易に可能と
なると共に、時間軸方向に直交変換された信号を逆変換
して並び変える復号操作での計算量を効果的に減少させ
ることができる。

【図面の簡単な説明】

第１図は本発明の一実施例である動画像信号の符号化装
置を示すブロック図、第２図は第１図に示した動画像信
号の符号化装置によるデータのフォーマットを示す説明
図、第３図は第１図に示した動画像信号の符号化装置を
さらに詳しく説明するためのブロック図、第４図は第３
図に示した並び変え手段のデータ並び変えプログラムの
一部を概略的に表すフローチャート、第５図は第３図に
示した変換手段の変換プログラムの一部を概略的に表す
フローチャート、第６図は高速コサイン逆変換の動作を
示す説明図、第７図は第３図に示した再量子化手段の再
量子化プログラムの一部を概略的に表すフローチャー
ト、第８図は動画像信号の再生装置を示すブロック図、
第９図は第８図に示した動画像信号の再生装置をさらに
詳しく説明するためのブロック図、第10図は第９図に示
した動画像信号の再生装置における量子化値の復元器の
データ復元プログラムの一部を概略的に表すフローチャ
ート、第11図は第９図に示した動画像信号の再生装置に
おける逆変換器の逆変換プログラムの一部を概略的に表
すフローチャート、第12図は第９図に示した動画像信号
の再生装置における並べ変え手段の並べ変えプログラム
の一部を概略的に表すフローチャート、第13図は高速フ
ーリエ逆変換の動作を示す説明図、第14図は高速フーリ
エ逆変換により偶数フレームを再生する動作を示す説明
図、第15図は３次元符号化の動作を示す説明図、第16図
は本発明の第２の実施例である３次元符号化装置を示す
ブロック図、第17図は３次元再生装置を示すブロック
図、第18図は第16図に示した縦方向変換手段の出力を示
す説明図、第19図は第16図に示した量子化手段の出力を
示す説明図である。 11、26、36、38、45、47……並び変え手段、12、39……
変換手段、13、40……変換値再量子化手段、14、41……
書き込み手段、23、42……データ読み取り手段、24、43
……変換値復元手段、25、44……時間方向逆変換手段、
35……横方向変換手段、37……縦方向変換手段、46……
縦方向逆変換手段、48……横方向逆変換手段。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平２−295287（ＪＰ，Ａ) 特開 平２−72780（ＪＰ，Ａ) 特開 平１−229060（ＪＰ，Ａ) ＳＰＩＥ Ｖｏｌ．66 Ｅｆｆｉｃｉ ｅｎｔ Ｔｒａｎｓｍｉｓｓｏｎ ｏｆ Ｐｉｃｔｏｒｉａｌ Ｉｎｆｏｒｍｅ ｔｉｏｎ （1975）Ｐ．58−69

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】それぞれが所定の数のフレームからなる複
   数のブロックに分割されたデジタル動画像信号を圧縮す
   る装置であって、前のフレームのデジタル動画像信号と
   フレーム上で同一位置にある次のフレームのデジタル動
   画像信号を前記前のフレームのデジタル動画像信号の次
   に位置するように各デジタル動画像信号を並び変える手
   段と、該手段と接続されており並び変えられた信号の系
   列を時間軸方向に直交変換する変換手段と、該変換手段
   と接続されており直交変換された信号を圧縮して再量子
   化する再量子化手段とを備えていることを特徴とする動
   画像信号圧縮装置、及び該動画像信号圧縮装置によって
   圧縮されたデータを復号してデジタル動画像信号を再生
   する装置であって、時間軸方向に直交変換された信号の
   一部を復号することによって高速再生を行うことを特徴
   とする動画像信号再生装置を有する動画像信号圧縮・再
   生システム。
2. 【請求項２】前記動画像信号再生装置は、時間軸方向に
   直交変換された信号から１フレームおきのデータを復号
   することによって倍速再生を行うことを特徴とする特許
   請求の範囲第１項に記載の動画像信号圧縮・再生システ
   ム。
3. 【請求項３】時間軸方向の直交変換として離散フーリエ
   変換を用い、前記動画像信号再生装置は逆離散フーリエ
   変換のバタフライ演算のうち、復号するデータに関連す
   る演算のみを行うことを特徴とする特許請求の範囲第２
   項に記載の動画像信号圧縮・再生システム。
4. 【請求項４】時間軸方向の直交変換として、Ｍを整数と
   するとき2M点の離散コサイン変換を用い、前記動画像信
   号再生装置は変換係数のうちＭ個の低周波成分を用いて
   Ｍ点の逆離散コサイン変換をすることを特徴とする特許
   請求の範囲第２項に記載の動画像信号圧縮・再生システ
   ム。
5. 【請求項５】前記動画像信号再生装置は、再生速度に応
   じて１つ以上のブロックを飛び越してデータを読み出す
   ことによって高速再生を行うことを特徴とする特許請求
   の範囲第１項に記載の動画像信号圧縮・再生システム。