JPH08186817A - 動画像圧縮装置とその方法 - Google Patents

Abstract

(57)【要約】 【目的】より処理時間が短く、画像の種類や要求される
品質に応じて適切な圧縮が行え、圧縮時に発生するノイ
ズを低減することができる動画像圧縮装置および動画像
圧縮方法を提供する。 【構成】動画像圧縮装置１０に入力された複数フレーム
の動画像データは、ブロック分割部１１において各フレ
ームの部分画像を含むように時間軸方向にブロック化さ
れる。画素入れ換え部１２において、その分割された各
ブロック間で画素の入れ換えを行い、直交変換部１３に
おいて各ブロックごとに無相関な画像に直交変換し、主
成分抽出部１４において固有値の大きな順に所定番目ま
での主成分を抽出する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、複数のフレームよりな
る一連の画像を圧縮する動画像圧縮装置、および、動画
像圧縮方法に関する。

【０００２】

【従来の技術】静止画像の圧縮方法としては、復号信号
から次の入力信号を予測し、予測が外れた分だけ伝送す
ることにより、符号化に要する情報量を少なくしようと
する予測符号化の方法がよく知られている。また、入力
信号を、２帯域信号に分割し、分割された信号を２：１
にサブサンプリングし、送信側では各帯域信号に所定の
符号化ビット数を配分し、各帯域信号をその性質に適合
した符号化法により符号化して伝送し、受信側では、再
生された各帯域信号を帯域剛性フィルタによって補間し
ながら、元の信号を再生するサブバンド符号化の方法も
知られている。

【０００３】また、動画像の圧縮方法としては、フレー
ム間に対して予測符号化を適用するフレーム間予測符号
化が行なわれている。さらに、適応予測フレーム間符号
化方式に基づく、適応予測の技術も用いられ、ここで
は、ブロック単位に動画像が検出され、被写体の動き量
に応じて、動き補償フレーム間予測と、フレーム内予測
とを切り換えるアルゴリズムによって符号化効率を向上
することも行なわれている。一方、フレーム間予測、動
領域ＤＰＣＭ、サブサンプリングに基づく動領域ＤＰＣ
Ｍ方式や、ブロックマッチングにより、動き補償を行な
う動き補償方式も利用されている。

【０００４】これらの時間領域での符号化に対して、周
波数領域において冗長度を抑圧する変換符号化の方法に
は、よく知られているＤＣＴ変換（ディスクリートコサ
イン変換）、フーリエ変換の三角関数に対応して、矩形
波関数で入力信号の成分分解を行なうアダマール変換、
その他ＫＬ変換、ウェーブレット変換などが用いられて
いる。

【０００５】一方、符号語の圧縮方法としては、無意係
数の連続性を符号化するラングレス符号や、有意係数を
符号化するハフマン符号のテーブルを求め、これに基づ
いて符号化を行なう方法がある。また、シンボル系列の
出現確立に応じて、確率数直線を区分分割し、この区間
内の位置を示す２進小数値をその系列に対する符号とす
る算術符号の方法も利用されている。

【０００６】

【発明が解決しようとする課題】しかし、前述したこれ
まで用いられている画像圧縮の方法、特に動画像圧縮の
方法においては、画像圧縮に要求される空間的冗長度の
低減、処理時間の短縮、画像品質の選択性・適応性、お
よび処理時に発生する誤差の低減など、それぞれ一長一
短の特徴を有しており、より適切な圧縮方法が望まれて
いた。換言すれば、相当の圧縮率を有しており、より処
理時間が短く、画像の種類や要求される品質に応じて適
切な圧縮が行え、圧縮時に発生するモアレなどのノイズ
をすこしでも低減することができるような動画像圧縮装
置および方法が望まれていた。

【０００７】したがって、本発明の目的は、短い演算時
間で適切な圧縮が可能な動画像圧縮装置を提供すること
にある。

【０００８】また、本発明の他の目的は、モアレを低減
し、見かけ上の画質を向上させることができる動画像圧
縮装置を提供することにある。

【０００９】また、本発明の他の目的は、画像の種類
や、再生画像に要求される画質などに応じて、任意にま
た適切に動画像の圧縮が行える動画像圧縮装置を提供す
ることにある。

【００１０】さらに、本発明の他の目的は、演算時間が
より短く、画質が向上し、画像などに応じて適切に動画
像の圧縮が可能な動画像圧縮方法を提供することにあ
る。

【００１１】

【課題を解決するための手段】したがって、本発明の動
画像圧縮装置は、複数フレームよりなる画像を、空間的
に分割された複数のブロックに分割するブロック分割手
段と、前記分割された各ブロックの画像を特異値分解に
基づいて直交変換する直交変換手段と、前記直交変換の
結果得られた変換画像行列の主成分を、対応する固有値
の大きさの順に所定数抽出する主成分抽出手段とを有
し、前記複数フレームよりなる画像を圧縮する。

【００１２】特定的には、前記ブロック分割手段は、前
記複数フレームよりなる画像の画像フレームを、連続し
た任意の形状の複数の領域に分割し、前記分割された領
域ごとの前記複数フレームの画像を１つのブロックとす
ることにより、当該複数フレームよりなる画像を、空間
的に分割された複数のブロックに分割する。

【００１３】また特定的には、前記ブロック分割手段
は、前記複数フレームよりなる画像の画像フレームを、
連続した任意の形状の複数の領域に分割し、前記分割し
た各領域内の少なくとも１つ以上の画素を、前記分割し
た他の領域の当該領域と連続しない画素と入れ換え、前
記入れ換えられた連続しない画素を１つ以上含む各領域
の画素データの、前記複数フレームの画像データを１つ
のブロックとすることにより、当該複数フレームよりな
る画像を、空間的に分割された複数のブロックに分割す
る。

【００１４】好適には、前記ブロック分割手段におけ
る、前記複数フレームよりなる画像の画像フレームの連
続した任意の形状の複数の領域への分割は、該画像フレ
ームを行および列方向に各々所定数分割して得られる矩
形領域、該画像フレームを行方向に所定数分割して得ら
れた列領域、該画像フレームを列方向に所定数分割して
得られた行領域のいずれかの領域に分割する。

【００１５】また特定的には、前記ブロック分割手段
は、前記複数フレームよりなる画像の画像フレームを構
成する画素より、相互に連続しない画素を１つ以上有す
る任意の画素を抽出して１つのグループとし、前記画像
フレームを構成する全画素を複数の前記グループに分類
し、前記分類されたグループごとの前記複数フレームの
画像を１つのブロックとすることにより、当該複数フレ
ームよりなる画像を、空間的に分割された複数のブロッ
クに分割する。

【００１６】また好適には、前記直交変換手段は、ΔΣ
変調に基づいて、前ブロックを変換した誤差を次のブロ
ックに加えて順次変換を行うことにより、前記分割され
た各ブロックの画像を直交変換する。

【００１７】また好適には、前記主成分抽出手段は、抽
出する主成分に対応する特異値の総和の全特異値の総和
に対する比が、予め定めた値以上となるまで、固有値の
大きさの順に、前記直交変換の結果得られた変換画像行
列から主成分を抽出する。

【００１８】また、本発明の動画像圧縮方法は、複数フ
レームよりなる画像を、空間的に分割された複数のブロ
ックに分割し、前記分割された各ブロックの１つ以上の
画素の複数フレームの画素データを、前記分割した他の
領域の当該領域と連続しない画素の前記複数フレームの
画素データと入れ換え、前記分割され、前記画素が入れ
換えられた各ブロックの画像を特異値分解に基づいて直
交変換し、前記直交変換の結果得られた変換画像行列の
主成分を、対応する固有値の大きさの順に所定数抽出
し、前記複数フレームよりなる画像を前記各ブロックご
との所定数の主成分データで表現する。

【００１９】

【作用】本発明の動画像圧縮装置によれば、ブロック分
割手段において原画像を各フレームの部分画像を含むよ
うに、時間軸方向にブロック化し、直交変換手段におい
てそのブロックごとに無相関な画像に直交変換し、主成
分抽出手段において固有値の大きな順に所定数の主成分
を抽出する。

【００２０】また、本発明の動画像圧縮装置によれば、
ブロック分割手段において、前記ブロックに分割された
各ブロックにおいて他の画像領域との間で画素の入れ換
えを行って各ブロックに連続していない画像をとりこ
み、その結果得られた各ブロックを、直交変換手段にお
いて無相関な画像に直交変換し、主成分抽出手段におい
て固有値の大きな順に所定数の主成分を抽出する。

【００２１】また、本発明の動画像圧縮装置によれば、
主成分抽出手段において直交変換された行列から抽出す
る主成分に対応する特異値の総和を求め、その総和の全
特異値の総和に対する比を求め、その比が所定値以上に
なるように前記抽出する主成分を決定する。

【００２２】また、本発明の動画像圧縮方法によれば、
原画像を各フレームの部分画像を含むように時間軸方向
にブロック化し、前記ブロックに分割された各ブロック
において他の画像領域との間で画素の入れ換えを行い、
各ブロックごとに無相関な画像に直交変換し、その変換
行列において固有値の大きな順に所定番目までの主成分
を抽出する。

【００２３】

【実施例】第１実施例 本発明の第１実施例を図１〜図１２を参照して説明す
る。

【００２４】まず、図１を参照して、本発明の動画像圧
縮装置の構成・動作の概要について説明する。図１は本
発明に係る動画像圧縮装置と、その動画像圧縮装置と協
働して動画像処理系を構成する動画像再生装置の構成、
および、実施形態を示すブロック図である。図１は、動
画像圧縮装置１０により圧縮された動画像の信号が、伝
送路２０を介して動画像再生装置３０に伝送され、動画
像再生装置において前記圧縮された動画像の信号が伸長
されて出力される状態を示す。

【００２５】まず、データ送出装置１０の構成・動作の
概略について説明する。動画像圧縮装置１０は、ブロッ
ク分割部１１、画素入れ換え部１２、直交変換部１３、
主成分抽出部１４を有する。動画像再生装置３０は、ブ
ロック分割部１１において、入力された画像信号を複数
のブロックに分割し、画素入れ換え部１２において、そ
の複数のブロック間での画素の入れ換えを行う。そし
て、直交変換部１３において、ブロック化された各画像
の画像行列を、特異値分割に基づいて、無相関な画像に
直交変換し、主成分抽出部１４において、直交変換され
た変換画像の行列の主成分を、対応する固有値の大きさ
の順に、所定番目までを取込む。この主成分は、図示せ
ぬ伝送符号化装置により符号化され、伝送路に送出され
る。

【００２６】次に、コントロール部３０の構成・動作の
概略について説明する。動画像再生装置３０は、逆直交
変換部３１、画素復元部３２、ブロック統合部３３を有
する。伝送路２０により伝送され、動画像再生装置３０
に入力された圧縮画像信号は、逆直交変換部３１におい
て逆直交変換が行なわれ、原ブロック画像が得られる。
そして、画素復元部３２において、動画像圧縮装置１０
の画素入れ換え部１２において入れ換えた画素を元に戻
し、ブロック統合部３３において、動画像圧縮装置１０
のブロック分割部１１でおこなったブロック化を元に戻
して原画像信号を得る。

【００２７】次に、動画像圧縮装置１０の各構成部で行
われる、本発明に係わる動画像圧縮の各処理について詳
細に説明する。図２は本実施例の圧縮の対象となる画像
の構成を示す説明図である。本実施例では、図２に示す
ようなｎ個のフレームの静止画像からなる動画像を原画
像として情報圧縮を行なう。

【００２８】まず、動画像圧縮装置１０の動画像直交変
換部１３による特異値分解に基づく直交変換、および、
主成分抽出部１４で行われる主成分の抽出処理について
説明する。一般に、ｎのフレームからなる大きさｘ0 ×
ｙ0 の画像の画素値をａjkl （ｊ＝１〜ｎ、ｋ＝１〜ｙ
0 、ｌ＝０〜ｘ0 ）とし、それぞれのフレームの画素を
列ベクトルとするｙ×ｎの行列Ａij（ｉ＝１〜ｘ0 ×ｙ
0 ）（ｊ＝１〜ｎ）を作成すると式１の行列が得られ
る。

【００２９】

【数１】

【００３０】一般に行列Ａの段数がｒ個の時、ｙ×ｒの
直交行列Ｕr 、ｒ×ｒの対角行列Ｄ、ｎ×ｒの直交行列
Ｖr を用いて、行列Ａは式２のように特異値分解するこ
とができる。

【００３１】

【数２】

【００３２】なお、添字^T は転置行列を示す。また、行
列Ｖr はＡ^T Ａの固有ベクトルを並べた行列であり式３
のように、また、行列Ｕr はＡＡ^T の固有ベクトルを並
べた行列であり式４のように、各々表される。

【００３３】

【数３】

【００３４】また、対角行列Ｄは、対称行列であり、そ
の正の固有値λｉにより式５のように表わされる。

【００３５】

【数４】

【００３６】さらに、行列Ａ、転置行列Ａ^T 、式３およ
び式４の行列の要素ｖｉ，ｕｉ、固有λｉの間には、λ
１≧λ２≧・・≧λｒとすると、式６および式７で表さ
れる関係がある。

【００３７】

【数５】

【００３８】また、直交行列Ｕr ，Ｖr は、行列Ａ、転
置行列Ａ^T 、対角行列Ｄを使用して式８および式９で示
される。

【００３９】

【数６】

【００４０】これによって、行列Ａで示される画像は、
式１０および式１１に示されるように、無相関な画像Ｚ
に直交変換される。

【００４１】

【数７】

【００４２】なお、固有ベクトルＶr はＡ^T Ａから直接
演算せず、Ａ^T Ａの固有ベクトルＵr から演算するよう
にしている。これは、たとえば２５６×２５６の画像が
３０フレームあったとすると、Ａ^T Ａは非常に大きな行
列となるが、ＡＡ^T ならば３０×３０の行列の固有値を
演算すればよいからである。

【００４３】式１１においてｚｉを主成分と呼び、それ
ぞれの主成分の内で最大固有値に対応するものを、第１
主成分、固有値の大きさの順にｉ番目の固有値に対応す
る主成分を第ｉ主成分と呼ぶ。

【００４４】ここで、行列Ｑを式１２のように定義する
と、行列Ａは式１３のように表される。

【００４５】

【数８】

【００４６】式１２、式１３から，行列Ａは行列Ｑの線
形和となり、大きな特異値固有ベクトルが行列Ａをよく
表示していることを示している。そこで、式１４に示す
ように、ｉ番目までの特異値の総和と、全特異値の総和
の比を与え、累積寄与率と呼ぶことにする。

【００４７】

【数９】

【００４８】本実施例では、直交変換された変換画像に
対して、主成分抽出部１４によって、特異値を上位から
ｍ番目まで取込み、第１主成分から第ｍ主成分までを用
いて画像を合成している。すなわち、式１０の固有ベク
トルＶr ^T から、最大固有値からｍ本までを取出した固
有ベクトルをＶ^T とすると、式１５および式１６の変換
が行なわれ、圧縮された画像Ｚが得られる。

【００４９】

【数１０】

【００５０】この場合、何番目の主成分までを取込んだ
画像を合成するかについては、予め設定した順位までの
主成分を取込んだり、予め累積寄与率を設定しておき、
累積寄与率が設定値を越えるまで、主成分を上位から順
次抽出することが可能である。

【００５１】以上説明した、特異値分解に基づく直交変
換、および、主成分の抽出について、図３〜図６を参照
して具体的に説明する。

【００５２】図３は動画像に対応するフレーム画像の説
明図であり、図４は図３の主成分の説明図である。これ
らの図を参照して、動画像に対応して順次抽出される主
成分について説明する。図３においては、簡単のために
物体が一次元的に右から左に移動する場合が示され、画
像では物体は背景とは別の輝度値にあり、模式的には背
景の輝度は一定で、物体の輝度が背景の輝度より高く設
定してある。図３に示すように、第１フレームで右端に
ある物体が、第２フレームで少し左に移動し、フレーム
が増えるに従って物体が次第に左に移動している。

【００５３】図３で示される画像を主成分に分解する
と、各主成分は図４に示すようになり、第１主成分とし
ては、全フレームを全体的に再生するために、背景のよ
うな成分が抽出される。また、第２主成分としては、第
１フレームで右端に現われている物体の画像が、フレー
ムが進むにつれて次第に薄くなり、これに対応して最終
フレームで左端に現われる物体の画像が次第に濃くなる
ような画像を再生する成分が抽出される。以下、主成分
は次第に画像のより細かい動きを再生するために、次第
に小さな固有値に対応する主成分が抽出される。

【００５４】このように、画像領域内で少しずつ移動し
ている物体を主成分に分解すると、大きな固有値に対応
する主成分は大きな動きを表し、小さな固有値に対応す
る主成分ほど細かな動きを表すように分解される。

【００５５】図５は動画像の再生画像の説明図である。
或る程度の主成分を抽出して得た各フレームの再生画像
は、図５に示すようになる。本実施例では、画像の要求
される品質に対応して、主成分設定手段５で抽出する主
成分の数を選択することにより、簡単に最適な設定を行
なうことが可能であり、常に使用目的に適合した品質の
再生画像が得られるような圧縮動作が行なわれる。

【００５６】次に、ブロック分割部１１で行われる、入
力された画像信号を複数のブロックに分割する処理につ
いて図６を参照して具体的に説明する。図６は本実施例
でのその画像のブロック化の例を示す図である。

【００５７】本実施例では、ブロック分割部１１によっ
て、原画像が図６に示すように、各フレームの部分画像
を含むように、時間軸方向に分割される。図６（Ａ）は
原画像を、時間軸方向に互いに直交するように、ブロッ
ク分割を行なった場合であり、図６（Ｂ）は原画像を時
間軸方向に、行列の行に沿ってブロック分割を行なった
場合であり、図６（Ｃ）は原画像を時間軸方向に、行列
の列に沿ってブロック分割を行なった場合である。

【００５８】前述した直交変換部１３における処理にお
いて、式１で示される行列Ａを、特異値分解に基づいて
直交交換を行なうには、膨大な演算量の演算を実行する
必要があり、圧縮処理の所要時間が長くなる。そのた
め、動画像圧縮装置１０においては直交変換部１３によ
る直交変換に先立って、ブロック分割部１１において、
図２に示す原画像を、各フレームの部分画像を含むよう
に、時間軸方向にブロック化する。そして、各ブロック
画像に対して直交変換部１３による直交変換を行い、得
られた変換画像に対して主成分設定手段５により、何番
目までの主成分を使用して画像圧縮を行なうかが設定さ
れる。

【００５９】本実施例では、このように原画像をブロッ
ク化することにより、各ブロック画像に対して、すでに
説明した直交変換部１３による特異値分解に基づく直交
変換を逐次行なわせることにより、比較的簡単な演算を
短時間で実行して、圧縮処理の所要時間を大幅に短縮す
ることが可能になる。

【００６０】次に、画素入れ換え部１２で行われる、ブ
ロック分割部１１において分割された複数のブロック間
に対して、画素の入れ換えを行う処理について図７〜図
１２を参照して詳細に説明する。画素入れ換え部１２に
おいては、ブロック分割部１１で分割された複数のブロ
ック間において、そのブロック内の画素と、他のブロッ
クのそのブロックと連続していない画素とを入れ換える
処理を行う。

【００６１】なお、本実施例においては、ブロック分割
部１１において入力画像を複数のブロックに分割し、画
素入れ換え部１２においてそのブロック間で画素の入れ
換えを行うようになっているが、そのブロック分割部１
１および画素入れ換え部１２の動作を統合して、入力画
像に対して、最初から、連続していない画素を２以上含
むように各画素を任意のグループに分割するような処理
にしてもよい。なお、この入れ換える処理とは、直交変
換部１３で行われる前述した直交変換を行う単位として
のデータを入れ換えることを意味する。

【００６２】この処理の具体例および効果について、図
７を参照して説明する。図７は本実施例での画素の入れ
換えが行われた画像のブロックを説明する図である図７
（Ａ）は、ブロック化に際して互いに空間的に離れて無
相関な画素を同一のブロックと決定された画素グループ
を示す。図７（Ｂ）は、線状にブロック化が行なわれ、
その線を構成する画素が適宜異なる線上の画素と入れ換
えられた状態を示す。図７（Ｃ）は、正方形状にブロッ
ク化が行なわれ、その正方形状の領域の周縁部の画素
が、他の画像領域の画素と入れ換えられた状態を示す。

【００６３】前述の各画素のブロックの決定に際して、
離れた複数の点を選択する方法としては、ブロック番号
を乱数を用いて選択する方法や、インターリーブにより
隣同士を、画像上の座標（ｙ，ｘ）の関数として、ブロ
ック番号を定める方法が取られる。図８は本実施例にお
いてブロック番号の決定に使用される対応表の例を示す
図であり、（Ａ）は第２の例、（Ｂ）は第２の例であ
る。画像上の座標（ｙ，ｘ）の関数としてブロック番号
を定める方法としては、ブロックのｘ方向の大きさをｂ
ｘ、ブロックのｙ方向の大きさをｂｙ、全ブロック数を
ｂmax とし、ｍｏｄを剰余処理として式１７および式１
８に基づき、図９に示す対応表を利用してブロック番号
を決定し、離れた複数の点を選択することができる。

【００６４】

【数１１】

【００６５】このようにして、本実施例では、ブロック
化に際して、他の画像領域の間で画素の入れ換えを行う
ことにより、空間的に離れた無相関な画素がブロック画
像に取り込まれ、取り込まれた画素は、直交変換によっ
て変換空間の高周波側に位置することになる。このため
に、圧縮変換処理に際して、取り込まれた画素に対応し
て誤差が生じても、この誤差は変換空間では高周波帯域
に移行している。

【００６６】一般に、画像に対して対応する固有値の小
さい主成分が取り込まれず、画像の細かい動きがカット
される。たとえば、前述した図３〜図５に示した例にお
いて、図５よりも少ない主成分を抽出して得た各フレー
ムの再生画像は、図９に示すようになり、再生画像にモ
アレ縞のような低周波帯域の誤差が生じる。このような
低周波帯域に発生する誤差は、画像の品質を致命的に低
下させてしまう。しかし、本実施例では、前述のよう
に、各ブロック画像において互いに無相関な画素の入れ
換えがおこなわれるので、発生する誤差は、高周波帯域
側に移行する。このために、本実施例では、低周波帯域
の誤差が削減され、視覚的な画像の品質が向上する。

【００６７】この発生する誤差が高周波帯域に移行する
状態について図１０〜図１２を参照してさらに説明す
る。図１０は、画素の入れ換え処理前の誤差を示す図で
あり、（Ａ）は第１のブロックの誤差を示す図、（Ｂ）
は第２のブロックの誤差を示す図である。図１１は、図
１０に示した第１のブロックおよび第２のブロックの間
で、所定の画素を入れ換えた後の誤差を示す図であり、
（Ａ）は第１のブロックの誤差を示す図、（Ｂ）は第２
のブロックの誤差を示す図である。さらに、図１２は、
図１０に示した画素入れ換え前、および、図１１に示し
た画素入れ換え後の第１のブロックおよび第２のブロッ
クの誤差の周波数特性を示す図であり、（Ａ）は画素入
れ換え前の周波数特性を示す図、（Ｂ）は画素入れ換え
後の周波数特性を示す図である。

【００６８】図１０に示すように、本実施例での画素入
れ換え前には、各ブロックに低周波帯域の誤差（原画像
と再生像との差分）が存在するが、量ブロック間で画素
の入れ換えを行うと、図１１に示すように、誤差の出現
位置が高周波帯域に移行する。この誤差の周波数特性
は、画素の入れ換え前には、図１２（Ａ）に示すように
低周波帯域に分布しているが、画素の入れ換えを行った
後では、図１２（Ｂ）に示すように、高周波帯域に移行
して分布している。

【００６９】なお、一般に画像データは、空間的に近い
画素の相関が高く、近くに存在する画素を同一ブロック
にすることにより、原画像の空間的な相関を維持した状
態で、圧縮後の空間にマッピングすることができ、圧縮
画像の再度の圧縮も可能になる。したがって、原画像の
空間的な相関を無視し、原画像の全領域を同一の確率で
ブロックとして選択すると、原画像の空間的な相関が維
持できず、再圧縮はできなくなる。このために、本発明
のブロック化に際して、ブロックの数に対応する中心座
標を設定し、各中心座標の近傍に位置する画素はそのブ
ロックとして選択する確率を高めることにより、原画像
の空間的ん麻生間をある程度維持しながら、直交変換を
行うことが望ましい。

【００７０】以上説明したように、本実施例によると、
原画像を各フレームの部分画像を含むように、時間軸方
向にブロック化し、ブロック画像と他の画像領域の間で
の画素の入れ換えを行い、得られたブロック画像を無相
関な画像に直交変換し、固有値の大きな順に所定番目ま
での主成分が取り込み設定されるので、処理時間を大幅
に短縮し、空間的な冗長度を低減して画像圧縮効果を向
上させることができる。また、圧縮処理時に発生する誤
差を高周波帯域に移行させ、画像の品質を致命的に低下
させる低周波帯域に発生するモアレ縞のような誤差を低
減することが可能になる。

【００７１】第２実施例 本発明の第２実施例について図１３〜図１６を参照して
説明する。第１実施例においては、無相関な画素を適宜
ブロックに含ませることにより、圧縮処理時に発生する
低周波帯域の誤差を高周波帯域に移行させ、見かけ上の
画像の劣化を防ぐものであった。このモアレを低減する
別の方法として、ΔΣ変調に基づく方法について、第２
実施例として説明する。なお、その他の処理については
第１実施例と同じなので説明は省略する。

【００７２】まず、ΔΣ変調の原理について、図１３お
よび図１４を参照して説明する。図１３は、本実施例に
適用されるΔΣ変調の原理を説明する図であり、図１４
は図１３に示したΔΣ変調にさらに誤差が加わる場合を
説明する図である。このΔΣ変調は、量子化誤差を低減
させる方法として提案されているものであり、その処理
は式１９および式２０、および、図１３に示される。

【００７３】

【数１２】

【００７４】すなわち、入力信号Ｘ（ｚ）に差分器４１
で差分処理が行われ、得られた信号Ａ（ｚ）が伝達関数
Ｈ（ｚ）の変換部４２で変換され、変換信号Ｙ（ｚ）が
得られる。この場合、変換信号Ｙ（ｚ）と信号Ａ（ｚ）
との差分が差分器４３で求められ、得られた差分信号が
逆変換部４４で逆変換され、差分器２１で入力信号Ｘ
（ｚ）との差分が取られる。

【００７５】ここで図１４に示すように、変換部２２伝
達関数Ｈ（ｚ）に加法性の誤差Ｅ（ｚ）が入る、すなわ
ち、式２１の関係があった場合、入出力関係は式２２の
ようになる。

【００７６】

【数１３】

【００７７】

【数１４】

【００７８】式２２において誤差Ｅ（ｚ）に着目する
と、（１−ｚ^-1）の周波数特性で変換されることにな
り、この周波数特性はハイパスフィルタの特性になって
いて、誤差Ｅ（ｚ）は高周波帯域に移行することが明ら
かである。

【００７９】このようなΔΣ変調を、本発明に適用した
場合について図１５および図１６を参照して説明する。
図１５は、ΔΣ変調を行方向にブロック化された場合に
適用した場合の信号処理を説明する図であり、図１６は
図１５の信号処理を画像に適用した場合を示す図であ
る。図１５に示すように、図６（Ｂ）に示すように原画
像が行方向に分割された場合については、ｉ行目の画像
信号Ｘ（ｉ）は伝達関数Ｈ（ｉ）の変換部４５で変換さ
れ、変換された画像信号と、差分器４８で差分処理され
た画像信号Ｘ（ｉ）との差分が、差分器４６で取られ
る。そして、得られた差分が遅延部４７で１行分遅延さ
れ、差分器４８で次の画像信号Ｘ（ｉ＋１）との差分処
理がされる。この場合も、誤差が発生すると式２２と同
様に、発生した誤差は高周波帯域に移行される。

【００８０】さらにこれを画像に適用した場合には、図
１６に示すように、主成分検出５０においては、式１４
に示す予め定めた累積寄与率に基づいて、ｍ番目の主成
分までを用いて式１１に基づいて画像を変換する。そし
て、画像再生５１は、変換された画像と主成分から画像
を再生する。その再生された画像は、差分器４６によっ
て、差分器４８で差分処理された画像信号Ｘ（ｉ）との
差分が取られる。そして、得られた差分値が遅延部２７
で、たとえば、１行分遅延されて、差分器２８において
次の画像信号Ｘ（ｉ＋１）との差分処理がされる。この
場合は、加法性の誤差には、原画像とｍ番目の主成分ま
でが取り込み設定された画像との誤差が含まれ、この誤
差は、すでに述べたようにして式２２に基づいて高周波
数帯域に移行するので、画像の品質を致命的に低下させ
る低周波帯域に発生するモアレ縞のような誤差を低減す
ることが可能になる。

【００８１】このように、第２実施例においては、ΔΣ
変調に基づく信号処理を行うことによって、発生する誤
差を高周波領域に移行させ、画像の品質を致命的に低下
させる低周波帯域に発生するモアレ縞のような誤差を低
減している。

【００８２】

【発明の効果】本発明の動画像圧縮装置においては、画
像を複数のブロックに分割し、その分割されたブロック
ごとに時間軸方向を考慮に入れ特異値分解を行い圧縮し
ている。その結果、特異値分解は小さな行列の演算で行
うことができ、少ない計算時間で圧縮が可能となる。

【００８３】また、本発明の動画像圧縮装置により、空
間的に離れた画素を１つのグループに含めてブロック化
するようにすれば、誤差が高域成分にシフトされるた
め、視覚的に大きなエラーとなって見えるモアレを低減
することができ、見かけ上画質を向上させることができ
る。

【００８４】また、本発明の動画像圧縮装置により、直
交変換された行列からの主成分の抽出を、抽出する主成
分に対応する特異値の総和の全特異値の総和に対する比
に基づいて行うようにすれば、画像の種類や、再生画像
に要求される画質などに応じて、またそれらを一定にし
て、適切な動画像の圧縮が行える。

【００８５】また、本発明の動画像圧縮方法によれば、
相当の圧縮率を有しており、処理時間が短く、画像の種
類や要求される品質に応じて適切な圧縮が行え、圧縮時
に発生する誤差・ノイズを低減させることができる。

【図面の簡単な説明】

【図１】本発明に係る動画像圧縮装置と、その動画像圧
縮装置と協働して動画像処理系を構成する動画像再生装
置の構成および実施形態を示すブロック図である。

【図２】圧縮の対象となる画像を示す説明図である。

【図３】本発明の動画像圧縮方法を説明するための動画
像に対応するフレーム画像を示す図である。

【図４】図３に示したフレーム画像の主成分を説明する
図である。

【図５】図３に示したフレーム画像を圧縮した信号を、
再生した画像を説明する図である。

【図６】画像のブロック化を説明する図であり、（Ａ）
は原画像を、時間軸方向に直交する矩形領域でブロック
分割を行なった場合を示す図、（Ｂ）は原画像を行列の
行に沿ってブロック分割を行なった場合を示す図、
（Ｃ）は原画像を行列の列に沿ってブロック分割を行な
った場合を示す図である。

【図７】図１に示した動画像圧縮装置の画素入れ換え部
で行われるブロック間の画素の入れ換えを説明する図で
あり、（Ａ）は空間的に離れた無相関な画素を選択した
状態を示す図、（Ｂ）は線状にブロック化が行なわれた
画素を異なる線上の画素と入れ換えられた状態を示す
図、（Ｃ）は、正方形状にブロック化が行なわれた画素
を他の領域の画素と入れ換えた状態を示す図である。

【図８】図８は本実施例においてブロック番号の決定に
使用される対応表の例を示す図であり、（Ａ）は第１の
例を示す図、（Ｂ）は第２の例を示す図である。

【図９】図３に示したフレーム画像を圧縮した信号を、
図５より少ない主成分により再生した画像を説明する図
である。

【図１０】図１に示した動画像圧縮装置の画素入れ換え
部で行われるブロック間の画素の入れ換え処理の、画素
入れ換え前の誤差を示す図であり、（Ａ）は第１のブロ
ックの誤差を示す図、（Ｂ）は第２のブロックの誤差を
示す図である。

【図１１】図１０に示した第１のブロックおよび第２の
ブロックの間で、所定の画素を入れ換えた後の誤差を示
す図であり、（Ａ）は第１のブロックの誤差を示す図、
（Ｂ）は第２のブロックの誤差を示す図である。

【図１２】図１０に示した画素入れ換え前、および、図
１１に示した画素入れ換え後の第１のブロックおよび第
２のブロックの誤差の周波数特性を示す図であり、
（Ａ）は画素入れ換え前の周波数特性を示す図、（Ｂ）
は画素入れ換え後の周波数特性を示す図である。

【図１３】第２実施例に適用されるΔΣ変調の原理を説
明する図である。

【図１４】図１３に示したΔΣ変調にさらに誤差が加わ
る場合を説明する図である。

【図１５】ΔΣ変調を行方向にブロック化された場合に
適用した場合の信号処理を説明する図である。

【図１６】図１５の信号処理を画像に適用した場合を示
す図である。

【符号の説明】 １０…動画像圧縮装置 １１…ブロック分割部 １２…画素入れ換え部 １３…直交変換部 １４…主成分抽出部 ２０…伝送路 ３０…動画像再生装置 ３１…逆直交変換部 ３２…画素復元部 ３３…ブロック統合部

Claims (8)

【特許請求の範囲】
1. 【請求項１】複数フレームよりなる画像を、空間的に分
   割された複数のブロックに分割するブロック分割手段
   と、 前記分割された各ブロックの画像を特異値分解に基づい
   て直交変換する直交変換手段と、 前記直交変換の結果得られた変換画像行列の主成分を、
   対応する固有値の大きさの順に所定数抽出する主成分抽
   出手段とを有し、前記複数フレームよりなる画像を圧縮
   する動画像圧縮装置。
2. 【請求項２】前記ブロック分割手段は、 前記複数フレームよりなる画像の画像フレームを、連続
   した任意の形状の複数の領域に分割し、 前記分割された領域ごとの前記複数フレームの画像を１
   つのブロックとすることにより、当該複数フレームより
   なる画像を、空間的に分割された複数のブロックに分割
   する請求項１記載の動画像圧縮装置。
3. 【請求項３】前記ブロック分割手段は、 前記複数フレームよりなる画像の画像フレームを、連続
   した任意の形状の複数の領域に分割し、 前記分割した各領域内の少なくとも１つ以上の画素を、
   前記分割した他の領域の当該領域と連続しない画素と入
   れ換え、 前記入れ換えられた連続しない画素を１つ以上含む各領
   域の画素データの、前記複数フレームの画像データを１
   つのブロックとすることにより、当該複数フレームより
   なる画像を、空間的に分割された複数のブロックに分割
   する 請求項１記載の動画像圧縮装置。
4. 【請求項４】前記ブロック分割手段における、前記複数
   フレームよりなる画像の画像フレームの連続した任意の
   形状の複数の領域への分割は、 該画像フレームを行および列方向に各々所定数分割して
   得られる矩形領域、該画像フレームを行方向に所定数分
   割して得られた列領域、該画像フレームを列方向に所定
   数分割して得られた行領域のいずれかの領域に分割する
   請求項２または３記載の動画像圧縮装置。
5. 【請求項５】前記ブロック分割手段は、 前記複数フレームよりなる画像の画像フレームを構成す
   る画素より、相互に連続しない画素を１つ以上有する任
   意の画素を抽出して１つのグループとし、前記画像フレ
   ームを構成する全画素を複数の前記グループに分類し、 前記分類されたグループごとの前記複数フレームの画像
   を１つのブロックとすることにより、当該複数フレーム
   よりなる画像を、空間的に分割された複数のブロックに
   分割する請求項１記載の動画像圧縮装置。
6. 【請求項６】前記直交変換手段は、 ΔΣ変調に基づいて、前ブロックを変換した誤差を次の
   ブロックに加えて順次変換を行うことにより、前記分割
   された各ブロックの画像を直交変換する請求項１〜５い
   ずれか記載の動画像圧縮装置。
7. 【請求項７】前記主成分抽出手段は、 抽出する主成分に対応する特異値の総和の全特異値の総
   和に対する比が、予め定めた値以上となるまで、固有値
   の大きさの順に、前記直交変換の結果得られた変換画像
   行列から主成分を抽出する請求項１〜６いずれか記載の
   動画像圧縮装置。
8. 【請求項８】複数フレームよりなる画像を、空間的に分
   割された複数のブロックに分割し、 前記分割された各ブロックの１つ以上の画素の複数フレ
   ームの画素データを、前記分割した他の領域の当該領域
   と連続しない画素の前記複数フレームの画素データと入
   れ換え、 前記分割され、前記画素が入れ換えられた各ブロックの
   画像を特異値分解に基づいて直交変換し、 前記直交変換の結果得られた変換画像行列の主成分を、
   対応する固有値の大きさの順に所定数抽出し、 前記複数フレームよりなる画像を前記各ブロックごとの
   所定数の主成分データで表現する動画像圧縮方法。