JPH07322246A

JPH07322246A - 動画像圧縮符号化装置及びその方法

Info

Publication number: JPH07322246A
Application number: JP11563094A
Authority: JP
Inventors: Kazuo Osanawa; 一男長縄; Takeo Toyama; 健夫外山; Mineki Taoka; 峰樹田岡
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 1994-05-27
Filing date: 1994-05-27
Publication date: 1995-12-08

Abstract

(57)【要約】【目的】再生動画像において空間周波数が高い場合
や、動きの激しい場合でのブロック歪み等の画質劣化を
回避する。【構成】信号源１０１より入力されたアナログ動画信
号は、一旦動画像として表示装置１０５に表示される。
この表示動画像を視聴する複数の視聴者の視点を視点検
出装置１０６にて検出し、更に表示動画像上の中で視聴
者が注視する注視位置を検出し、動画像データ遮断手段
１０４の持つフィルタの二次元周波数特性に合致するよ
うに前処理を施した注視位置データを検出結果として得
る。そして、動画像データ遮断手段１０４はこの注視位
置データに基づいて視聴者が見ていないような重要でな
い動画像信号を取り除き動画像データを圧縮符号化手段
１０７に入力する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ＭＰＥＧ（Moving Pic
ture Coding Experts Group;ISO/IEC11172(MPEG1) 、IS
O13818(MPEG2) ）方式等で規格化された画像単位内圧縮
と画像単位間圧縮を折り混ぜて圧縮符号化を行う動画像
信号の動画像圧縮符号化装置に関するものである。

【０００２】

【従来の技術】動画像データを定転送レートを有するＣ
Ｄ、ＣＤ−ＲＯＭ等の記録媒体に記録するための画像デ
ータ圧縮方式として、ＭＰＥＧ等の圧縮手法が規格化さ
れている。

【０００３】ＭＰＥＧ方式とは、複数の画像単位(1フィ
ールド、1 フレーム等) の集合であるＧＯＰを画像シー
ケンス中に構成し、このＧＯＰ中で一枚の画像を画像単
位内圧縮を行い、これ以外の画像を、他の画像データを
参照することによる画像単位間圧縮を行い、圧縮符号化
するものである。

【０００４】画像単位内圧縮の方法としては、ＤＣＴ(D
iscrete Cosine Transform) と量子化、そして得られた
データの可変長符号化という方式が取られている。ま
ず、画像データをマクロブロックと呼ばれる小領域に分
割し、この領域中の８×８画素ブロック毎にＤＣＴ変換
を施し、周波数領域を求める。人間の視覚特性は高周波
に対して鈍感なために、この得られた周波数領域中の高
周波領域への符号割当を少なくすることにより、人間の
視覚的には大きな劣化の感じられない画像データを求め
ることができる。この割当を行うのが量子化である。量
子化は８×８画素のＤＣＴ変換を行った結果得られた８
×８の周波数領域データに対し、あるマトリックスで除
算をすることにより実現される。復号器側では、このマ
トリックスを可変長復号器から得られたデータに対して
乗算（逆量子化）することにより、元の逆ＤＣＴ演算を
行うマトリックスを得ることが可能になる。ここで、高
次のデータ、つまり高周波領域のデータに対する除算値
を大きく設定することにより、高周波領域の符号化精度
を下げることができ、高周波領域に相当するデータを少
なくすることができる。このように得られた量子化デー
タは、ゼロ値の多いものとなる。このため、このデータ
はゼロ値の数と、それに続く実値という組で可変長符号
化テーブルが形成される。可変長符号化とは、エントロ
ピー符号化の一種で、出現頻度の高いデータには短い符
号を割当て、出現頻度の低いデータには長い符号を割当
てるものである。この組合せにより、効率の高い圧縮が
行われる。ＭＰＥＧではこの画像はＩPicture と呼ばれ
ている。

【０００５】画像単位間圧縮の方法としては、動きベク
トル検出を用いた動き補償という手法が用いられ、これ
に画像単位内圧縮と同様、ＤＣＴと量子化、そして可変
長符号化が組合わされて符号化される。まず、画像デー
タを画像単位内圧縮の場合と同様にマクロブロックと呼
ばれる小領域に分割する。そして、画像単位間圧縮にお
いては、その画像データだけでなく、参照を行う他の画
像データが必要になる。この画像データとしては、時間
的に近い位置に存在する画像が用いられる。そして、各
マクロブロック毎に、参照される画像データ中から、最
もそのマクロブロックにデータ的に近い領域が検索され
る。この「データ的に近い」とは、通常、画素データを
輝度のみ、比較して、その自乗誤差平均が最も少ない値
を示す領域を言う。ＭＰＥＧの場合には、この検索は、
半画素単位で行うことになっており、各マクロブロック
から所定の範囲の領域から、この検索精度でデータ的に
最も近い領域を検索することになる。これを動き予測と
呼ぶ。また、この動き量は動きベクトルと呼ばれ、この
値も可変長符号化される。そして復号側では、参照する
画像データが存在すれば、この「データ的に近い」領域
を切り出すことが可能となる。そして得られた画素デー
タは、符号化しようとしているマクロブロックと、当
然、全く同じものでは無い。このため、この差を補償し
てやる必要がある。ＭＰＥＧでは、この差の補償のため
に、各画素毎（輝度、色差）に差分を取り、この差分領
域データを構成する。そして、これらの中で８×８画素
の各領域毎にデータのＤＣＴ演算を行い、画像単位内圧
縮の場合と同様に量子化を行う。ただし、ここで行われ
る量子化は、差分データのために、通常、全体的に精度
を落すものとして行われる。このため、差分値において
は通常高周波領域と低周波領域の区別を行わないものが
ＭＰＥＧではデフォルトとして用意されている。勿論、
この量子化マトリックスもエンコーダ側で自由に変更は
可能である。このようにして得られたデータを逆量子化
し、逆ＤＣＴし、参照される画像データがデコーダ内部
に存在していれば、この得られた値をその動き量から得
られた画像領域と加算することにより、このマクロブロ
ックの復号が行われることになる。ＭＰＥＧでは、この
画像単位間圧縮された画像データは、二種類存在してお
り、過去の画像からのみ参照が行われる画像データをＰ
Picture 、過去及び未来の双方から参照が行われる画像
データをＢPicture と呼ぶ。ＰPicture は時間的に過去
に位置するＩもしくはＰPicture からしか予測されず、
ＢPicture は時間的に過去及び未来に位置するＩもしく
はＰPicture からしか予測されない。このため、ＢPict
ure は動き予測のための参照画像として用いられること
はない。

【０００６】これらの画像圧縮手法を組合わせることに
より、得られた符号化データは原画像データと比較して
数分の一から数百分の一のものが得られることになり、
比較的高い画質が得られている。

【０００７】但し、画像の参照という方法を用いている
ために、上記手法を実現するためには、復号器側におい
て参照される側の画像データを保持する構造が必要にな
る。また、復号器側では、参照される側の画像データと
しては、復号された画像データしか当然存在しないため
に、エンコーダ側としては、この条件でエンコードを行
なわなくてはならない。つまり、ＩPicture 、及びＰPi
cture を符号化後、復号器と同条件で復号を行い、その
復号後の画像データを保持する必要がある。そして、こ
の画像データを参照することにより、画像単位間圧縮で
あるＰPicture、ＢPicture の符号化を行わなくてはな
らない。

【０００８】図８にＭＰＥＧ動画像の画像シーケンス例
を示す。図内（ａ）は各画像の表示順であり、ＭＰＥＧ
で最も一般的に用いられる画像種類の順を示している
が、勿論これに限られるものではない。矢印は始点にあ
たる画像を符号化、復号を行う場合に終点にあたる画像
データを参照することを示している。この中で、５０
３、５１８はＩPicture 、５０６、５０９、５１２、５
１５はＰPicture 、５０１、５０２、５０４、５０５、
５０７、５０８、５１０、５１１、５１３、５１４、５
１６、５１７はＢPicture である。例えば、５０１、５
０２は、ＩPicture５０３が復号され、復号器であれば
画像として復号器内部に保持されていないと復号でき
ず、エンコーダであれば、エンコードが終了し、その復
号が行われてエンコーダ内部に画像データが保持されて
いないとエンコードできないことになる。また同様に、
５０４、５０５の符号化、復号はＩPicture ５０３、Ｐ
Picture５０６が復号されていなければ不可能である。
また、ＰPicture においても、５０６は５０３が、５０
９は５０６が復号されていなければ符号化、復号は不可
能となる。このため、これらのデータの記録順は以下の
ようになり、この記録順に復号を行い、ＩPicture 、Ｐ
Picture の復号画像データを順次保持することにより、
それぞれの画像データの符号化、復号化が可能になる。
また、このような方法のため、ＩPicture はそれ自体で
画質を維持する必要がある。また、ＰPicture もＢPict
ure の参照に利用されるために、高い画質を維持する必
要がある。このため、通常ＩPicture に最も多くの符号
を割当て、次にＰPicture 、ＢPicture の順で用いる符
号量を減らすことにより、全体としての画質を維持して
いる。

【０００９】ＭＰＥＧのエンコーダの構成例を図７に示
す。４１０は画像並び換え手段、４１２はラスタースキ
ャンからマクロブロックへの走査変換手段、４１４は減
算手段、４１６はＤＣＴ手段、４１８は重み付けを行う
量子化手段、４２０は可変長符号化手段、４２２はエン
コーダからの読出バッファ、４２４はレート制御手段、
４２６は逆量子化手段、４２８は逆ＤＣＴ手段、４３０
は加算手段、４３２は画像メモリ、４３２ａ、４３２ｂ
はこの画像メモリ４３２のデータの読出バス、４３４は
動き補償手段、４３６はモード判定手段、４３８は動き
検出手段である。

【００１０】まず、画像並び換え手段４１０にビデオ信
号が入力される。

【００１１】これは、前述の図８の画像記録順、即ち画
像処理順に画像の順序を入れ換えるものである。これに
より、I Picture として圧縮符号化を行う画像が最初に
入力され、以降図７の順序で画像入力がされることにな
る。

【００１２】次に、４１２の走査変換手段にデータが入
力される。通常デジタル画像データは、ラスタースキャ
ンでデジタルデータが記録されている。これは画面左上
から一画素づつデータが出力され、一画素のラインが形
成された後、次の一画素下に相当するラインのデータが
出力される形式である。ＭＰＥＧでは、マクロブロック
と呼ばれる小領域を単位としてデータの処理を行うため
に、このブロックにデータを変換する必要がある。ＭＰ
ＥＧ1 ではこのマクロブロックは輝度データ１６×１６
画素、色差データ各８×８画素、ＭＰＥＧ2 では色差の
割合が画像フォーマットによって変更されるが、輝度で
１６×１６画素に相当する範囲がマクロブロックとして
処理され、動きベクトルの検索もこれを単位として行わ
れる。

【００１３】以下の符号化の手順を圧縮手法別に説明す
る。まず、ＩPicture のデータは、通常、動きベクトル
の検索を行わない（ＭＰＥＧ2 では例外的に、エラー復
帰のためにＩPicture に動きベクトルを導入することが
可能である）ために、そのままＤＣＴ手段４１６に入力
される。そして画像データの空間−周波数変換が行われ
た後、量子化手段４１８によって各周波数領域への重み
付けが行われる。そしてこのデータが可変長符号化手段
４２０に入力され、可変長符号化が為される。そして、
これらのデータは可変長符号化を行うために、常時一定
の転送レートでデータの出力を行うことが出来ない。こ
のため、読出バッファ４２２において、その転送時のレ
ートへの緩衝を行う。また、この可変長符号化手段４２
０の出力したデータ量はレート制御手段４２４によって
観測される。そして、各画像データの予定していた符号
化データ量と差異が大きい場合には、量子化の値を変更
する。量子化には、前述したマトリックスにエンコーダ
側が決定できる量子化幅と呼ばれるスカラー値を決める
ことができる。これは、量子化マトリックスの各値にそ
のまま乗じて用いるもので、この結果、この値が大きい
程、つまり粗く量子化する程発生する符号量は少なくな
り、小さい程、つまり細かく量子化する程発生する符号
量は多くなる。

【００１４】また、量子化手段４１８の出力は、可変長
符号化手段４２０への入力と同時に逆量子化手段４２６
へも入力される。これは、前述の参照に用いられる復号
画像データを形成するためであり、以降逆ＤＣＴが逆Ｄ
ＣＴ手段４２８で為され、この結果が順次画像メモリ４
３２に入力される。この結果、画像メモリ内部には、参
照の基準となるＩPicture の復号画像が記憶されること
になる。

【００１５】次にＰPicture の符号化について説明す
る。ＰPicture の符号化の際には、各マクロブロック毎
に動きベクトルを検索する。これは、画像メモリ４３２
に記憶されたＩPicture 、もしくはＰPicture のデータ
を参照することにより検索される。ただし、ＰPicture
のデータも、全てのマクロブロックを動きベクトルを用
いて符号化する訳ではない。動画像データで、例えば動
きの速い画像の場合、左に大きくパンする画像等では右
端側のマクロブロックのデータはその画像データで初め
て出現したデータということになり、これは他の画像中
から似た部分を検索しても余り効果は得られない。この
ため、この場合にはＩPicture と同様な動きベクトルを
用いない処理を行う等のモードを用いることになる。他
にも背景処理を簡単に行うための同位置のブロックデー
タをそのまま切り出すモードがあり、これらのどのモー
ドがそのマクロブロックの符号化に有効であるかをモー
ド判定手段４３６で行う。そして、モード判定手段４３
６が動き補償を行うという判断を出すと、その命令が動
き補償手段４３４に入力される。また、動き検出手段４
３８によって得られた動きベクトルも同様に動き補償手
段４３４に入力される。動き補償手段４３４はこれらの
データから相当する領域のデータを画像メモリ４３２中
から検出し、減算手段４１４に出力し、その差分がＤＣ
Ｔされ、量子化され、以降はＩPicture の場合と同様に
符号化される。但し、ＰPicture の場合は、時間的に未
来に位置するＰPicture 、もしくは過去及び未来に位置
するＢPicture が参照に利用することになる。このた
め、このデータは、ＩPicture を記憶したのと同様に画
像メモリ４３２に記憶する必要がある。この場合に、画
像の復号を行うが、ＰPicture はそのデータ自体で復号
を行うことが出来ない。

【００１６】この場合には、その画像の符号化に用いた
動きベクトルをもう一度用い、動き補償手段４３４が加
算手段４３０に対して該当領域の画素データを加算して
やることにより、復号が為される。そして、復号された
ＰPicture のデータはの画像メモリ４３２に記憶され
る。

【００１７】次に、ＢPicture の符号化について説明す
る。ＢPicture の場合も、符号化の手法はＰPicture と
基本的に同じである。但し、ＢPicture の場合は、過去
及び未来に位置するＩPicture もしくはＰPicture から
の参照により圧縮を行うために、動きベクトルをＰPict
ure の倍検索する必要がある。そして、符号化を行う
が、ＢPicture はどの画像にも参照には用いられないた
め、そのまま符号化データが出力されるだけで、復号画
像はエンコーダ内には生成しなくてもよい。ＢPicture
の場合には、マクロブロックの符号化のモードは過去及
び未来から予測、過去からのみ予測、未来からのみ予
測、単位内符号化の四種類から選択することになる。

【００１８】このようにＭＰＥＧの画像データが生成さ
れることになるが、従来のこのエンコーダの場合、画像
中の各マクロブロックに対し、一律の処理を行ってい
る。このため、例えば画像の端の視聴者がほとんど気に
もとめない領域も、中心部分の動きの激しい領域も同様
の符号量でエンコードするように形成されている。この
ため、本来は必要の無い端の部分等の符号量が中央部分
の重要な部分の符号量を圧迫し、結果的に視聴者に画質
の低い画像という印象を与えてしまうという問題があっ
た。

【００１９】しかし、これを適応的に行うのは非常に複
雑な処理が必要であり、また、画像毎の編集を行ってい
ては膨大な計算や処理時間を必要としてしまうという問
題があった。

【００２０】

【発明が解決しようとする課題】従来の動画像圧縮符号
化装置においては、信号源から供給される動画像データ
のうち、本来表示画像を視聴する視聴者があまり気にか
けていない画像、例えば、長時間静止したままの電柱、
石等の背景的要素やその動画像の中でさほど重要でな
い、部分についても、動きの大きい、視聴者が注目する
部分と同様に符号化されている。このため、重要でない
領域にも符号化の際に多くの符号が割当てられ、結果的
に、ブロック歪み等が画像全体にわたって生じ、主観的
な画質劣化が発生する可能性がある。

【００２１】そこで、本発明は、視聴者が重要とする部
分のブロック歪み等の誤りの発生を減少させ、主観的な
画質劣化を回避する動画像圧縮符号化装置及びその方法
の提供を課題とするものである。

【００２２】

【課題を解決するための手段】請求項１にかかる動画像
圧縮符号化装置は、入力された動画像データを動画像と
して表示する表示手段と、前記表示手段による表示内容
を基に視聴者の視点を検出することによって、視聴者の
注視する注視位置を表示画面上で検出する視点検出手段
と、前記動画像信号のデジタル化された動画像データと
前記視点検出手段による検出結果との時間的ずれを調整
する遅延処理手段と、前記動画像データを前記視点検出
手段の結果に基づいて、重要でない領域の高周波成分の
減衰率を高くする動画像データフィルタと、前記動画像
データフィルタによって抽出された動画像データを圧縮
符号化する圧縮符号化手段とを具備するものである。

【００２３】請求項２にかかる動画像圧縮符号化装置
は、入力された動画像データを動画像として表示し、そ
の表示内容を基に視聴者の視点を検出し、視聴者の注視
する注視位置を表示画面上で特定し、前記表示画面上で
特定された視聴者の注視結果に基づいて、動画像データ
を圧縮符号化するものである。

【００２４】請求項３にかかる動画像圧縮符号化装置
は、入力された動画像データを動画像の表示内容に基づ
き、視聴者の注視する注視位置を表示画面上で特定し、
前記表示画面上で特定された視聴者の注視結果により、
動画像データを圧縮符号化するものである。

【００２５】請求項４にかかる動画像圧縮符号化装置
は、入力された動画像データを動画像として表示したと
きの視聴者の視点を基に、視聴者の注視する注視位置を
表示画面上で特定する視覚位置特定手段と、前記視覚位
置特定手段の出力から所定のパターンに従ってビット割
当を行うビット割当決定手段と、前記ビット割当決定手
段のビット割当に対し、所定の量子化幅で量子化を行う
量子化幅制御手段とを具備するものである。

【００２６】請求項５にかかる動画像圧縮符号化装置
は、入力された動画像データを動画像として表示したと
きの視聴者の視点を基に、視聴者の注視する注視位置を
表示画面上で特定する視覚位置特定手段と、前記視覚位
置特定手段の出力から所定のパターンに従ってビット割
当を行うビット割当決定手段と、前記ビット割当決定手
段のビット割当に対し、所定の量子化幅で量子化を行
い、その量子化したデータ量が所定以上に大きくなった
とき、その量子化した量子化幅を大きくする量子化幅制
御手段とを具備するものである。

【００２７】請求項６にかかる動画像圧縮符号化方法
は、入力された動画像データを動画像として表示したと
きの視聴者の視点を基に、所定のパターンに従ってビッ
ト割当を行い、そのビット割当に対し、所定の量子化幅
で量子化を行う。

【００２８】請求項７にかかる動画像圧縮符号化方法
は、入力された動画像データを動画像として表示したと
きの視聴者の視点を基に、その出力から所定のパターン
に従ってビット割当を行い、そのビット割当に対し、所
定の量子化幅で量子化を行い、その量子化したデータ量
が所定以上に大きくなったとき、その量子化した量子化
幅を大きくする。

【００２９】

【作用】請求項１においては、信号源より入力される動
画像信号を圧縮符号化に先立ち、予め表示手段によって
記録しようとする動画像を表示し、その表示画像を視聴
する複数の視聴者が表示画像上の視点を視点検出手段で
検出し、視聴者が画像上で注視する注視位置を検出し、
注視位置データを得る。そして、この注視位置データに
基づいて画像上の注視位置を重点に置き、視聴者があま
り気をかけていない重要でない部分、また、動画の主題
ではないような部分については、高周波成分を減衰させ
た後、圧縮符号化を実行し、圧縮デジタル信号を得る。

【００３０】請求項２においては、入力された動画像デ
ータを動画像として表示し、その表示内容から視聴者の
視点を検出し、視聴者の注視する注視位置を表示画面上
で特定し、その表示画面上で特定された視聴者の注視結
果に基づいて、動画像データを圧縮符号化する。

【００３１】請求項３においては、入力された動画像デ
ータの動画像としての表示内容に基き視聴者の視点の動
きを考慮し、視聴者の注視する注視位置を表示画面上で
想定し、その表示画面上で特定された視聴者の注視結果
に基づいて、動画像データを圧縮符号化する。

【００３２】請求項４においては、入力された動画像デ
ータを動画像として表示したときの視聴者の視点を基
に、所定のパターンに従ってビット割当を行い、そのビ
ット割当に対し、所定の量子化幅で量子化を行う。

【００３３】請求項５においては、入力された動画像デ
ータを動画像として表示したときの視聴者の視点を基
に、その出力から所定のパターンに従ってビット割当を
行い、そのビット割当に対し、所定の量子化幅で量子化
を行い、その量子化したデータ量が所定以上に大きくな
ったとき、その量子化した量子化幅を大きくする。

【００３４】請求項６においては、入力された動画像デ
ータを動画像として表示したときの視聴者の視点を基
に、所定のパターンに従ってビット割当を行い、そのビ
ット割当に対し、所定の量子化幅で量子化を行う。

【００３５】請求項７においては、入力された動画像デ
ータを動画像として表示したときの視聴者の視点を基
に、その出力から所定のパターンに従ってビット割当を
行い、そのビット割当に対し、所定の量子化幅で量子化
を行い、その量子化したデータが所定以上に大きくなっ
たとき、その量子化した量子化幅を大きくする。

【００３６】

【実施例】以下、本発明の実施例について説明する。

【００３７】〈第一実施例〉図１は本発明の第一実施例
における動画像圧縮符号化装置の構成を示すブロック図
である。図２は図１における表示手段１０５と視点検出
手段１０６による注視位置の現れ方を説明する説明図で
ある。

【００３８】図１において、１０１はアナログ動画像信
号を出力する信号源である。１０２は信号源１０１から
出力されるアナログ動画像信号をデジタル動画像信号に
変換するＡ／Ｄ変換手段である。１０３は表示手段１０
５側の画像データとタイミングを合わせるための遅延処
理手段であり、Ａ／Ｄ変換手段１０２から出力されるデ
ジタル動画像信号に遅延処理を行う。１０４は動画像デ
ータ遮断手段で、遅延処理手段１０３からの出力が入力
され、重要でない動画像領域の高周波成分がカットさ
れ、必要とする動画像データはそのまま出力される。ま
た、１０５は信号源１０１のアナログ動画像信号を再生
し、動画像を表示するＣＲＴ等からなる表示手段であ
る。１０６は一般的なアイカメラを介して視聴者の視点
の位置を判断する視点検出手段である。１０７は動画像
データ遮断手段１０４からの動画像データをＭＰＥＧ方
式に基づいて圧縮符号化する圧縮符号化手段である。

【００３９】次に、このように構成された本実施例の動
画像圧縮符号化装置の動作を説明する。

【００４０】先ず、信号源１０１から出力されたアナロ
グ動画像信号は表示手段１０５に動画像として再生表示
される。この表示された動画像を視認する複数の視聴者
は、表示動画像の中で大多数が頻繁に注視する部分と、
そうでない極希にしか見ない或いは全く見ない部分とい
うように、表示動画像中の視点及び注視等の度合いに部
分的な偏りが生じ、表示動画像の単一表示画像の中にこ
うした視聴者の視点の部分的な差が現れてくる。このと
き、これら視点の部分的な差を検出するために始めに複
数の視聴者の多くの視点が表示画像中のどの位置にあ
り、その平均はどれほどかといった視点位置を、表示画
面を平面座標とする座標表現によってアイカメラ等から
なる視点検出手段１０６が検出する。

【００４１】そして、画像が時間に沿って移り変わって
いく際、視聴者の視点がどこに集中するか、即ち、注視
位置を表示画像上の中に検出する処理を視点検出手段１
０６が視聴者の視点位置を基に注視位置データを得る。
更に、前述の視聴者の注視位置データによって表示画面
上に視点が注がれる部分と希にしか注がれない部分、及
び全く注がれない部分の概ね３通りの表示画面上の領域
が判断できる。これらの部分領域をそれぞれ高密度領
域、中密度領域、低密度領域と呼ぶことにする。

【００４２】一般に、時間的に移り変わっていく表示画
像の中で注視される部分は必ずといってよいほど状態が
変化した場合で、例えば、特定の物体が特定の方向に動
いたときに視聴者の視点はそこに集中される。そして、
空間的な画像の変化量は非常に多く高密度なデータ量と
なる。即ち、注視位置とは高密度領域の場合が多い。ま
た、注視位置データは複数の視聴者の平均であるため視
聴者の中には大多数が関心を示す表示画面のある部分に
対し他の部分を眺めたり、大多数の視聴者が注視する部
分以外にほんの少しの間、視点が反れた場合等の中間的
な要素が考えられるために中密度領域が存在する。

【００４３】なお、本実施例の視聴者とは、画像ソフト
内容を理解する平均的な人を意味し、教養的にも画像ソ
フト内容に対応した仮想平均的人物である。

【００４４】このようにして、視点検出手段１０６は注
視位置に基づく表示動画像の動画像データを二次元周波
数特性の形で得て動画像データ遮断手段１０４に出力す
る。

【００４５】一方、信号源１０１から表示手段１０５に
入力されるアナログ動画像信号は、同時に、Ａ／Ｄ変換
手段１０２に入力されデジタル動画像信号となる。そし
て、前述の表示手段１０５及び視点検出手段１０６によ
る視聴者の注視位置の検出手段の処理過程の時間的タイ
ミング合せを遅延処理手段１０３によってなされ、動画
像データ遮断手段１０４に出力される。

【００４６】次に、動画像データ遮断手段１０４につい
て説明する。

【００４７】動画像データ遮断手段１０４は、視点検出
手段１０６からの注視位置検出結果を基にして、遅延処
理手段１０３からのデジタル動画像信号のうち動画像デ
ータ遮断手段１０４の高周波成分の減衰率を、注視点に
近い部分は低く設定し、離れた部分は高く設定する。即
ち、視聴者が注視する領域から離れた領域の画像データ
は、高域をカットされたものとなる。そして、動画像デ
ータ遮断手段１０４からの動画像データをＭＰＥＧ方式
に基づいて圧縮符号化手段１０７で圧縮符号化される。

【００４８】次に、図２を用いて前述の例として表示画
像上の注視位置の現れ方について説明する。

【００４９】図２は図１における表示手段１０５と視点
検出手段１０６による注視位置について説明する説明図
であり、一本の木ＷからリンゴＡＰが地面に落下する様
子を捕らえた動画像である。

【００５０】図２において、視聴者は画像が表示される
と先ず画面全体Ａの全面を平均的に眺める。そして、リ
ンゴＡＰが落下した瞬間からこの落下中のリンゴＡＰに
視点が集中し、更に、落下中のリンゴＡＰと地面との相
対距離を知るために地面を見たりして、視聴者の視点は
リンゴＡＰを中心とするある限られた画面上の範囲Ｂと
なる（図２の太枠の部分、即ち、画面上の範囲Ｂで高密
度領域及び中密度領域を示す）。そして、時間の経過と
ともにリンゴＡＰの落下に追従して視点位置が移り変わ
る。視点検出手段１０６はこの太枠（画面上の範囲Ｂ）
を検出することになる。そして、この太枠内の画面上の
範囲Ｂの画像を注視位置データとして処理し、この結果
に基づいて動画像データ遮断手段１０４の持つ二次元周
波数特性に合致するような情報を付与する。動画像デー
タ遮断手段１０４は視点検出手段１０６からの検出結果
に基づいて、遅延処理手段１０３から入力される全画像
信号の中からこの太枠内の画面上の範囲Ｂを抽出して動
画像データを得る。

【００５１】このようにして、圧縮符号化手段１０７に
入力される前までの前処理が完了する。圧縮符号化に際
しては、前述の前処理によって視聴者にとって注視する
重要な画像部分が重要でない画像部分に比べ結果的に優
先して扱われるため、動画像中の空間周波数が高い場合
や動きの激しい画面上の範囲Ｂの画像部分に対して結果
的に多くの符号量がその符号化時に発生し、精度の高い
符号化が行なわれる。このため、重要な部分は高い精度
で、重要でない部分は低い精度での符号化が行われるこ
とになる。

【００５２】なお、前処理が完了して次の圧縮符号化手
段１０７による圧縮符号化に関する説明は、前述の従来
技術の説明と重複するので、ここではその説明を省略す
る。

【００５３】一方、視聴者が一人である場合は、個人的
な視点に捕らわれるため記録される動画像が一辺倒なも
のとなってしまう可能性がある。このため、再生時に第
三者が視聴するとその動画像が伝える内容が正しく伝わ
らない可能性がでてくる。したがって、視聴者は複数で
あることが望ましく、そうして記録された動画像は本来
の内容及び画質を損なうことなく再生される。

【００５４】このように、本実施例の動画像圧縮符号化
装置は、信号源より入力された動画像信号を動画像とし
て表示する表示手段１０５と、表示手段１０５による表
示内容を基に視聴者の表示画像上の注視位置を検出する
視点検出手段１０６と、更に、視点検出手段１０６にお
いて、視点検出結果に基づき視聴者が表示画面上で注視
する注視位置を高帯域周波数、注視に準ずる位置を中帯
域周波数及び注視していない位置を低帯域周波数とする
判断により、二次元周波数成分からなる注視位置データ
を得て動画像データ遮断手段１０４に入力される。動画
像データ遮断手段１０４においてＡ／Ｄ変換手段１０２
及び遅延処理手段１０３を介した動画像信号を注視位置
データの検出結果に基づいて、高周波成分の減衰率を制
御し、目的とする動画像データを得るものである。

【００５５】したがって、ＭＰＥＧ方式による画像圧縮
符号化の利点である画像単位内圧縮と画像単位間圧縮を
折り混ぜて圧縮符号化をすることで、効率的に記録再生
がなされるといった利点を損なうことなく、再生動画像
において注目されている領域の空間周波数が高い場合
や、動きの激しい場合でのブロック歪み等の画質劣化を
回避することができる。

【００５６】ところで、上記実施例の視点検出手段１０
６は、表示手段１０５による表示内容を基に視聴者の表
示画像上の注視位置を検出するものであり、アイカメラ
等によって表示手段１０５の視点を検出し、表示画像の
何れを注視しているかを判断できるものであればよい。
即ち、本発明を実施する場合には、表示手段１０５によ
る表示内容を基に視聴者の視点を検出し、それによっ
て、視聴者の注視する注視位置を表示画面上で検出でき
るものであればよい。

【００５７】また、上記実施例の遅延処理手段１０３
は、Ａ／Ｄ変換手段１０２を介して動画像信号のデジタ
ル化された動画像データと、視点検出手段１０６による
検出結果との時間的ずれを調整するものであるが、本発
明を実施する場合には、動画像データ遮断手段１０４の
入出力のタイミングが合致できればよい。即ち、信号源
１０１の動画像信号のデジタル化された動画像データと
視点検出手段１０６による検出結果との時間的ずれを調
整するものであればよい。

【００５８】そして、上記実施例の動画像データ遮断手
段１０４は、視聴者が注視する動画像部分及び注視に準
ずる動画信号の動き成分を検出し、動きによるその周波
数成分が高いとき、信号源１０１の動画像信号のデジタ
ル化された動画像データを画像符号化手段１０７に通し
て圧縮化するものである。したがって、本発明を実施す
る場合は、デジタル化された動画像データを視点検出手
段１０６の結果に基づいて、フィルタ特性を注視点から
離れる程、高周波成分の減衰量を大きくするよう切り換
えるものであればよい。

【００５９】更に、上記実施例の圧縮符号化手段１０７
は、動画像データ遮断手段１０４によって出力された動
画像データを圧縮符号化するものであり、従来の圧縮符
号化手段１０７が使用できる。

【００６０】なお、上記実施例では、動画像データ遮断
手段１０４を圧縮符号化手段１０７の入力制御として使
用したものである。しかし、本発明を実施する場合に
は、視点検出手段１０６の出力の画像単位内圧縮データ
及び／または画像単位間圧縮データの回数を制御するこ
ともできる。

【００６１】〈第二実施例〉図３は本発明の第二実施例
における動画像圧縮符号化装置の要部動作原理を説明す
る説明図であり、図４は同じく第二実施例における動画
像圧縮符号化装置で使用するパターン形成の説明図であ
る。また、図５は同じく第二実施例における動画像圧縮
符号化装置で使用するパターン形成時の閾値と画像デー
タとの関係の説明図である。そして、図６は本発明の第
二実施例における動画像圧縮符号化装置の構成を示すブ
ロック図である。

【００６２】図において、画像入力機能１１は動画像デ
ータの入力手段を意味し、画像内の注視点検出機能１２
は全画像のうちの何れを見ているかを検出する機能を意
味する。パターン形成機能１３はガウシアン、ローレン
ツィアン等により高密度領域及び中密度領域，低密度領
域等と領域の視点から離れた距離の関数でパターンを形
成し、高密度領域及び中密度領域を決定し、その高密度
領域と中密度領域に対応してビット割当決定機能１４で
エンコード時のビット割当を決定し、それをメモリ機能
１５としてのメモリに記憶しておく。

【００６３】一方、エンコーダ機能１６において特定の
ビット割当によりエンコードを行い、発生符号量検出機
能１７により所定の量子化幅で量子化を行い、そして、
発生符号量評価機能１８によってその量子化したデータ
量が異常に大きくなった場合に、それをエンコーダ機能
１６及び発生符号量検出機能１７で補正すべく、その量
子化を評価する。

【００６４】更に詳述すると、パターン形成機能１３で
は、図４（ａ）のように、画像データＰo に対して注視
点Ｃo が中央にあったとすると、図４（ｂ）のように、
１６×１６単位等のマクロブロックを高密度領域Ｐ1 で
は２５ビット、中密度領域Ｐ2 では２０ビット、また、
低密度領域Ｐ3 では１５ビットで、普通密度領域Ｐ4で
は１０ビットで分布処理を行う。このときの分布処理
は、図４（ｄ）に示すように、ガウシアン、ローレンツ
ィアン、その他の分布モデル等によりその画像データＰ
o の注視点Ｃo からの二次元的な広がりに対して、その
注視点Ｃo からの距離とビット割当との関係を示したも
のである。これによって、図４（ｃ）のように、高密度
領域Ｐ1 では符号量を多く、低密度領域Ｐ3 では符号量
を少なくした分布処理を行う。

【００６５】次に、この種の構成を具体的ブロック図で
説明する。

【００６６】図６において、画像並び換え手段２１は圧
縮の種別、即ち、ＭＰＥＧ方式による圧縮符号化のＩPi
cture ，ＰPicture ，ＢPicture の順序を決定する画像
データの並び換えを行う。走査変換マクロブロック化手
段２２は、ラスタースキャンからのマクロブロックへの
走査変換が行われる。通常デジタル画像データは、ラス
タースキャンでデジタルデータが記録されている。これ
は画面左上から一画素づつデータが出力され、一画素の
ラインが形成された後、次の一画素下に相当するライン
のデータが出力される形式である。ＭＰＥＧでは、マク
ロブロックと呼ばれる小領域を単位としてデータの処理
を行うために、このブロックにデータを変換する必要が
ある。ＭＰＥＧ１ではこのマクロブロックは輝度データ
１６×１６画素、色差データ各８×８画素、ＭＰＥＧ２
では色差の割合が画像フォーマットによって変更される
が、輝度で１６×１６画素に相当する範囲がマクロブロ
ックとして処理され、動きベクトルの検索もこれを単位
として行われる。走査変換マクロブロック化手段２２の
出力は、加算回路を介してＤＣＴ手段２３に入力され、
離散コサイン変換、即ち、直交変換され１フレーム単位
（一枚の画像単位）でデータ圧縮される。その際、ＤＣ
Ｔ手段２３は圧縮データの空間方向の冗長度を得るため
データ列の周波数領域を求める。そして、この周波数領
域データは、イントラマクロブロック、インターマクロ
ブロックかによって異なる量子化が為される。そして、
この量子化においてその精度をコントロールされ、実際
の高い周波数領域のデータがコントロールされる。画像
単位内圧縮においては、重み付け量子化手段２４によっ
て得られた量子化圧縮データはＶＬＣ手段２５に入力さ
れ可変長符号に置換えられる。可変長符号化とは、エン
トロピー符号化の一種で、出現頻度の高いデータには短
い符号を割当て、出現頻度の低いデータには長い符号を
割当てるものである。この組合せにより、効率の高い圧
縮が行われる。そして、一旦、エンコード読出しバッフ
ァ手段２６に蓄積された後、符号化ビットストリームと
なってコンパクトディスク等の記憶媒体に記憶される。

【００６７】一方、重み付け量子化手段２４によって得
られた量子化圧縮データは、逆量子化手段２７で動画像
データを復号し、次に入力される動画像データを予測す
る。即ち、逆量子化手段２７及び逆ＤＣＴ手段２８を経
て動画像データを復号し、それを加算回路を介して画像
メモリ手段２９に格納する。画像メモリ手段２９はＰPi
cture またはＢPicture を形成できるように、少なくと
も２個の画像メモリを有している。画像メモリ手段２９
からの動画像データの動き補償を動き補償手段３０で行
い、それを加算回路を介してＤＣＴ手段２３に入力す
る。

【００６８】ビデオ信号は視覚位置特定手段３１によっ
て、画面上の何れの位置を視認しているかを判定し、ビ
ット割当決定手段３２は前記画面上の位置及び／または
画面上の位置の変化信号を受けてエンコード時のビット
割当を決定する。エンコードスケジューリング手段３３
は、画像のエンコード手法（ＩPicture 、ＰPicture、
ＢPicture ）を選択する。そして、圧縮符号化の使用可
能モードを決定する。量子化幅制御手段３４はエンコー
ドスケジューリング手段３３からの信号を受け、量子化
幅の決定及びパディング指示を行う。また、量子化幅制
御手段３２はＶＬＣ手段２５から出力された可変長符号
のマクロブロックあたり、マクロブロック行あたり等の
所定の画像スキャン期間内の発生データ量を検出し、次
のマクロブロックの量子化幅に反映させる。動き検出手
段３５は画像メモリ手段２９に格納されている画像及び
エンコードスケジューリング手段３３、走査変換マクロ
ブロック化手段２２の出力を得て、動きを検出し、ＭＰ
ＥＧ方式による圧縮符号化のＩPicture ，ＰPicture ，
ＢPicture のモードを決定する情報として、モード判定
手段３６に出力する。モード判定手段３６では動き検出
手段３５及びエンコードスケジューリング手段３３、走
査変換マクロブロック化手段２２の出力を得て、マクロ
ブロックの圧縮モードを決定し、その出力を動き補償手
段３０及びＶＬＣ手段２５に出力する。なお、ＶＬＣ手
段２５の入力は動き検出手段３５からも受けている。

【００６９】このように構成された動画像圧縮符号化装
置は、次のように動作する。

【００７０】まず、各画像の符号化手法は、ビット割当
決定手段３２、エンコードスケジューリング手段３３、
量子化幅制御手段３４によって決定される。ＭＰＥＧ方
式の規格においては、各画像の符号化手法について一切
の制限はない。したがって、極端な例では、全てＩPict
ure であってもよいし、１時間の画像データで１枚だけ
ＩPicture があり、最後はＰPicture 、後は全てＢPict
ure でも全く規格通りのデータである。このため、画質
向上のために画像の符号化手法を決定することは、エン
コーダの設定に委ねられている。この符号化手法を適応
的に決定することは、エンコードに時間がかかり、装置
規模が膨大になり、非常に負荷が大きくなる。このため
に、現段階のエンコーダとしてはスケジューリングとし
て一定の間隔を用いて符号化手法を決定するものとす
る。また、画像並び換え手段２１にビデオ信号が入力さ
れると、ＭＰＥＧ方式の場合には画像の符号化順序（記
録順序と同一）表示順序が異なるため、その並び換えが
必要になり、この段階で各画像のエンコード形態が決定
される。

【００７１】次に、ＩPicture の符号化の動作説明を行
う。

【００７２】各画像が走査変換マクロブロック化手段２
２でマクロブロックに分割される。そして、ＩPicture
の場合には動き補償が行われず、各マクロブロックに対
してそのままＤＣＴ手段２３でＤＣＴが行われる。続い
て、量子化が行われる。イントラ符号化の場合は、イン
ター符号化と量子化テーブルが異なっているので、この
量子化幅の指示が重み付け量子化手段２４に出力されま
す。

【００７３】そして、ＶＬＣ手段２５で可変長符号化が
なされて圧縮データとなるが、この可変長符号化を行う
場合、画像のエンコード形態（ＩorＰorＢ）を各画像デ
ータ中に挿入しなければならないため、この指示をエン
コードスケジューリング手段３３から与える。また、出
力された圧縮画像データの発生データ量を量子化幅制御
手段３４で観測し、各画像の目標データ量以下の処理で
あるか判断する。これは各圧縮画像データによっても異
なってもよいし、また、同じ圧縮モードであっても画像
によって異なってもよい。そして、観測された発生デー
タ量に基づき、その発生データ量が予定よりも大きくな
った場合には、次の、マクロブロックの量子化幅を上げ
て粗く量子化し、逆に、発生データ量が予定よりも小さ
くなっていた場合には、次のマクロブロックの量子化幅
を下げ、細かく量子化するという制御を量子化幅制御手
段３４で行う。

【００７４】更に、ＩPicture はその他の画像データ
（ＰPicture またはＢPicture ）の圧縮のため、参照デ
ータとして利用されるから、この画像データを記憶する
必要がある。そこで、重み付け量子化手段２４によって
得られた量子化圧縮データは、逆量子化手段２７、逆量
子化手段２７及び逆ＤＣＴ手段２８を経て画像データを
復号し、それを加算回路を介して画像メモリ手段２９に
格納し、この画像データを基に他の画像の圧縮を行う。

【００７５】次に、ＰPicture の符号化の動作説明を行
う。

【００７６】ＰPicture の場合には、動き補償手段３０
で動き補償が行われる。動き検出を行う対象となるのは
ＩPicture またはＰPicture が格納された画像メモリ手
段２９の出力及び走査変換マクロブロック化手段２２の
マクロブロック化された画像データである。

【００７７】走査変換マクロブロック化手段２２のマク
ロブロック化された画像データはモード判定手段３６に
入る。この動作はＰPicture の場合とＢPicture の場合
では異なる。ＰPicture の場合には、三つのパターンが
存在する。一つ目は過去の画像から得られた動きベクト
ルを用いて動き補償を行って圧縮する場合、二つ目は参
照する画像の圧縮が行われる当該マクロブロックと同じ
位置のデータを切り出してそのデータとの差分をＤＣＴ
手段２３でＤＣＴを行って圧縮する場合、三つ目は参照
を行わず、各画像データをそのままＤＣＴ手段２３でＤ
ＣＴを行って符号化する場合である。

【００７８】ここで、参照を行うことなく各画像データ
をそのままＤＣＴ手段２３でＤＣＴを行い符号化する場
合をイントラ符号化、それ以外の参照を用いる符号化を
総称してインター符号化という。ＩPicture の場合は全
てのマクロブロックをイントラ符号化している。このイ
ントラ符号化またはインター符号化したデータが重み付
け量子化手段２４に入力される。

【００７９】また、動き検出手段３５で得られた動きベ
クトルは動き補償手段３０に出力される。その結果、動
き補償の画像データがＤＣＴ手段２３の入力前に減算さ
れ、差分データのみＤＣＴが行われる。また、その出力
が重み付け量子化手段２４で量子化され、ＶＬＣ手段２
５で可変長符号化され、エンコーダ読出バッファ手段２
６を介して出力される。この場合にも、ＩPicture と同
様に量子化幅制御手段３４でレートコントロールされ
る。そして、動きベクトルは、必要があれば、例えば、
動きベクトルを求めて動き補償を行った場合、各マクロ
ブロック毎に可変長符号化が行われる。

【００８０】そして、ＰPicture についても、ＩPictur
e と同様に他の画像データの参照に供され、デコード画
像をエンコーダ中に持つ必要がある。このため、差分デ
ータを逆量子化し、逆ＤＣＴを行うが、動き補償を用い
て圧縮を行っているため動き補償を行わない限りデコー
ド画像が得られない。このため、このデータを逆ＤＣＴ
の後に加えることになる。そして、ＢPicture の符号化
の際に参照するため画像メモリに蓄えられる。ＢPictur
e の参照にはＩPicture またはＰPicture が合わせて２
枚必要になるから、この画像メモリ手段２９には２画像
分のデータが記憶できる必要がある。

【００８１】更に、ＢPicture の符号化の動作説明を行
う。

【００８２】ＢPicture の場合には、基本的にＰPictur
e と符号化形態は同じである。異なるのは、ＢPicture
は参照に用いられることがないために、デコード画像を
エンコーダ内部に持つ必要がないことである。このた
め、ＢPicture では、逆量子化、逆ＤＣＴの処理が行わ
れない。

【００８３】また、モード判定手段３６によるモードの
決定は、ＢPicture の場合、四つのパターンがある。一
つ目は過去からの動き補償を行う場合、二つ目は未来か
らのみ動き補償を行う場合、三つ目は過去及び未来から
動き補償を行う場合、四つ目はブロック単位内でイント
ラ符号化する場合である。ＢPicture の場合にも、イン
トラ符号化とインター符号化では量子化の手法が異なる
ため、同様に量子化がコントロールされる。

【００８４】このように、本実施例は、単一画像データ
の圧縮をその画像データのみで行った画像単位内圧縮デ
ータと、他の画像データを参照することにより圧縮を行
った画像単位間圧縮データとを折り混ぜて用いた圧縮画
像データとしたＭＰＥＧ方式において、視覚位置特定手
段３１及びビット割当決定手段３２、エンコードスケジ
ューリング手段３３、量子化幅制御手段３４を付加した
ものである。

【００８５】したがって、見ていないような視聴者に重
要でない画像部分に相当する画像データのデータ密度を
低くし、視聴者に重要な画像部分に相当する画像データ
のデータ密度を高くし、ＭＰＥＧ方式による画像単位内
圧縮と画像単位間圧縮を折り混ぜて正確に圧縮符号化が
行われた動画データを少なくするものである。故に、動
画像データの空間周波数が高い場合、動きの激しい場合
等の冗長性のある画像データから視聴者にとって重要で
ない画像部分に相当する画像データを除去し、その画像
データの量を少なくし、ブロック歪み等の誤りの発生を
減少させ、画質劣化を回避することができる。特に、本
実施例では、所定の量子化幅で量子化を行った際に、Ｖ
ＬＣ手段２５から出力された可変長符号の量子化圧縮デ
ータのマクロブロック毎にデータ量を検出し、次のマク
ロブロックの圧縮処理に反映させ量子化幅の変更を行
う。この様な方法により目標とするデータ量での符号化
を実現する。

【００８６】なお、量子化幅制御手段３４では、所定の
量子化幅で量子化を行った際に、ＶＬＣ手段２５から出
力された可変長符号の量子化圧縮データのマクロブロッ
ク当りの発生データ量を検出し、次のマクロブロックの
符号化の際の量子化幅に反映させているが、本発明を実
施する場合には、量子化圧縮データ中のマクロブロック
当りのデータ量を、量子化幅を設定する際に特定の値以
上にならないように上限設定を行って使用することもで
きる。

【００８７】ところで、ＩPicture の挿入は基本的には
いつでも可能である。エンコードスケジューリング手段
３３で完全にスケジューリングしている。また、動的に
スケジューリングを変更する場合には、ＩPicture は他
の画像と比較してデータ量が多く、次いでＰPicture 、
ＢPicture の順番になっている。このために、ＩPictur
e の挿入を行う場合には、現段階でＩPicture の画像デ
ータ量がどの位取れるのかを予想する必要がある。この
予想の手法については、データ量を積算して使用可能な
符号化目標値を決定したり、または再度エンコードし直
す等の方法がある。

【００８８】また、視覚位置特定手段３１としては、実
施例のように、実際に人間がモニタを見て、その注視点
を検出してもよいし、或いは人間の画像認識の特性を捕
えて、それを使用し、モニタで確認することなく視覚位
置を特定することもできる。

【００８９】このように、本実施例の動画像圧縮符号化
装置は、単一画像データの圧縮をその画像データのみで
行った画像単位内圧縮データと、他の画像データを参照
することにより圧縮を行った画像単位間圧縮データとを
折り混ぜて用いた圧縮画像データとしたＭＰＥＧ方式の
画像圧縮符号化装置において、入力された動画像データ
を動画像として表示したときの視聴者の視点を基に、視
聴者の注視する注視位置を表示画面上で特定する画像内
の注視点検出機能１２等からなる視覚位置特定手段３１
と、前記視覚位置特定手段３１の出力から所定のパター
ンに従ってビット割当を行うパターン形成機能１３及び
ビット割当決定機能１４等からなるビット割当決定手段
３２と、前記ビット割当決定手段３２のビット割当に対
し、所定の量子化幅で量子化を行う量子化幅制御手段３
４とを具備し、これを請求項４の実施例とすることがで
きる。特に、本実施例では、量子化圧縮データ中の所定
領域（マクブロック、マクロブロック列等）を符号化し
た際の発生データ量を、量子化幅を設定する際に特定の
データ量に至らないように上限設定を行って使用するも
のである。

【００９０】また、本実施例は、その動作を捕えると、
単一画像データの圧縮をその画像データのみで行った画
像単位内圧縮データと、他の画像データを参照すること
により圧縮を行った画像単位間圧縮データとを折り混ぜ
て用いた圧縮画像データとした動画像圧縮符号化方式に
おいて、入力された動画像データを動画像として表示し
たときの視聴者の視点を基に、所定のパターンに従って
ビット割当を行い、そのビット割当に対し、所定の量子
化幅で量子化を行うことを特徴とする動画像圧縮符号化
方法とすることができ、これを請求項６の実施例とする
ことができる。

【００９１】したがって、見ていないような画像部分を
注視位置データに基づいて低くし、結果的に、視聴者に
重要でない画像部分に相当する画像データのデータ密度
を低くし、視聴者に重要な画像部分に相当する画像デー
タのデータ密度を高くし、ＭＰＥＧ方式による画像単位
内圧縮と画像単位間圧縮を折り混ぜて正確に圧縮符号化
が行われた動画データを少なくするものである。故に、
動画像データの空間周波数が高い場合、動きの激しい場
合等の冗長性の少ない画像データから視聴者にとって重
要でない画像部分に相当する画像データを除去し、その
画像データの量を少なくし、ブロック歪み等の誤りの発
生を減少させ、画質劣化を回避することができる。

【００９２】そして、本実施例の動画像圧縮符号化装置
は、単一画像データの圧縮をその画像データのみで行っ
た画像単位内圧縮データと、他の画像データを参照する
ことにより圧縮を行った画像単位間圧縮データとを折り
混ぜて用いた圧縮画像データとした動画像圧縮符号化装
置において、入力された動画像データを動画像として表
示したときの視聴者の視点を基に、視聴者の注視する注
視位置を表示画面上で特定する画像内の注視点検出機能
１２等からなる視覚位置特定手段３１と、前記視覚位置
特定手段３１の出力から所定のパターンに従ってビット
割当を行うパターン形成機能１３及びビット割当決定機
能１４等からなるビット割当決定手段３２と、前記ビッ
ト割当決定手段３２のビット割当に対し、所定の量子化
幅で量子化を行い、その量子化したデータ量が所定以上
に大きくなったとき、その量子化した量子化幅を大きく
する量子化幅制御手段３４とを具備し、これを請求項５
の実施例とすることがでる。

【００９３】また、本実施例は、その動作を捕えると、
単一画像データの圧縮をその画像データのみで行った画
像単位内圧縮データと、他の画像データを参照すること
により圧縮を行った画像単位間圧縮データとを折り混ぜ
て用いた圧縮画像データとした動画像圧縮符号化方式に
おいて、入力された動画像データを動画像として表示し
たときの視聴者の視点を基に、所定のパターンに従って
ビット割当を行い、そのビット割当に対し、所定の量子
化幅で量子化を行い、その量子化したデータ量が所定以
上に大きくなったとき、その量子化した量子化幅を大き
くすることを特徴とする動画像圧縮符号化方法とするこ
とができ、これを請求項７の実施例とすることができ
る。

【００９４】したがって、注目されていないような、視
聴者に重要でない部分に該当する画像領域での符号化単
位（マクロブロック、マクロブロック群等）当りのエン
コード時の発生データ量を少なくし、重要な部分に相当
する画像領域での符号化単位当りの発生データ量を多く
制御し、視聴者の注目頻度にとって効果的な、ＭＰＥＧ
方式における圧縮スケジュールを決定するものである。
故に、動画像データ中の空間周波数が高い場合、動きの
激しい場合等の冗長度の少ない画像データから、視聴者
の重要度の分布を観測し、その重要度に従って符号量の
分布を制御するために、視聴者の必要とする領域におけ
るブロック歪み等の誤りの発生を減少させ、注目部分の
画質劣化を回避することができる。特に本実施例では、
所定の量子化幅で量子化を行った際に、ＶＬＣ手段２５
から出力された可変長符号のマクロブロック等の符号化
単位当りの発生符号量を検出し、次の符号化単位の圧縮
時の量子化幅決定等の発生符号量制御に反映させている
ため、最適な圧縮データ量の制御を行うことができる。

【００９５】

【発明の効果】以上のように、請求項１の動画像圧縮符
号化装置においては、信号源より入力される動画像信号
を圧縮符号化に先立ち、予め表示手段によって記録しよ
うとする動画像を表示し、その表示画像を視聴する複数
の視聴者が表示画像上の視点を視点検出手段で検出し、
視聴者が画像上で注視する注視位置を検出し、注視位置
データを得る。そして、この注視位置データに基づいて
画像上の注視位置を重点に置き、視聴者があまり気をか
けていない重要でない部分、また、動画の主題ではない
ような部分については、軽視した動画像データとして、
元の動画像データに対する圧縮符号化を実行し、圧縮デ
ジタル信号を得る。

【００９６】したがって、動画像データ遮断手段におい
て視聴者にとって重要でない画像部分、即ち、見ていな
いような画像部分の高域成分を注視位置データに基づい
て取り除き、結果的に、視聴者にとって重要でない画像
部分の精度を落とし、他の画像データに比べ優先して圧
縮符号化手段に入力されるのを阻止し、圧縮符号化が行
われる動画データを少なくする。故に、再生動画像にお
いて空間周波数が高い場合や、動きの激しい場合での冗
長性のある画像データから視聴者にとって重要でない画
像部分に相当する画像データを除去し、その画像データ
の量を少なくし、注目部分のブロック歪み等の誤りの発
生を減少させ、画質劣化を回避することができる。

【００９７】請求項２の動画像圧縮符号化装置において
は、入力された動画像データを動画像として表示し、そ
の表示内容から視聴者の視点を検出し、視聴者の注視す
る注視位置を表示画面上で特定し、その表示画面上で特
定された視聴者の注視結果に基づいて、動画像データを
圧縮符号化する。

【００９８】したがって、視聴者にとって重要でない画
像部分の高域成分を注視位置データに基づいて取り除
き、他の画像データに比べ優先して圧縮符号化されるの
を阻止し、圧縮符号化が行われれる動画データを少なく
する。故に、再生動画像において空間周波数が高い場合
や、動きの激しい場合での冗長性のある画像データから
視聴者にとって重要でない画像部分に相当する画像デー
タを除去し、その画像データの量を少なくし、注目部分
のブロック歪み等の誤りの発生を減少させ、画質劣化を
回避することができる。

【００９９】請求項３の動画像圧縮符号化装置において
は、入力された動画像データの動画像としての表示内容
に基き視聴者の視点の動きを考慮し、視聴者の注視する
注視位置を表示画面上で想定し、その表示画面上で特定
された視聴者の注視結果に基づいて、動画像データを圧
縮符号化する。

【０１００】したがって、予め予測される視聴者にとっ
て重要でない画像部分の高域成分を注視位置データに基
づいて取り除き、他の画像データに比べ優先して圧縮符
号化されるのを阻止し、圧縮符号化が行われれる動画デ
ータを少なくする。故に、再生動画像において空間周波
数が高い場合や、動きの激しい場合での冗長性のある画
像データから視聴者にとって重要でない画像部分の高域
成分を取り除き、その画像データの量を少なくし、注目
部分のブロック歪み等の誤りの発生を減少させ、画質劣
化を回避することができる。

【０１０１】請求項４の動画像圧縮符号化装置において
は、入力された動画像データを動画像として表示したと
きの視聴者の視点を基に、所定のパターンに従ってビッ
ト割当を行い、そのビット割当に対し、所定の量子化幅
で量子化を行う。

【０１０２】したがって、見ていないような視聴者に重
要でない画像部分に相当する画像データのデータ密度を
低くし、視聴者に重要な画像部分に相当する画像データ
のデータ密度を高くし、圧縮符号化が行われた動画デー
タを少なくするものであるから、再生動画像において空
間周波数が高い場合、動きの激しい場合等の冗長性のあ
る画像データから視聴者にとって重要でない画像部分の
高域成分を取り除き、その画像データの量を少なくし、
注目部分のブロック歪み等の誤りの発生を減少させ、画
質劣化を回避することができる。

【０１０３】請求項５においては、入力された動画像デ
ータを動画像として表示したときの視聴者の視点を基
に、その出力から所定のパターンに従ってビット割当を
行い、そのビット割当に対し、所定の量子化幅で量子化
を行い、その量子化したデータ量が所定以上に大きくな
ったとき、その量子化した量子化幅を大きくする。

【０１０４】したがって、注目されていないような、視
聴者に重要でない画像部分の符号化の際に符号化単位
（マクロブロック、マクロブロック列、マクロブロック
群）当りの発生ビット量を少なくし、視聴者にとって重
要な画像部分の符号化の際の符号化単位当りの発生ビッ
ト量を多くし、視聴者の重要度に合わせた圧縮符号化を
行うものである。故に、再生動画像において空間周波数
が高い場合、動きの激しい場合等の冗長性の低い画像デ
ータから視聴者にとって重要でない画像部分の符号化に
おける発生データ量を少なくし、注目部分のブロック歪
み等の誤りの発生を減少させ、画質劣化を回避すること
ができる。特に、所定の量子化幅で量子化を行った際
に、可変長符号化によって発生した符号化単位当りの発
生ビット量を検出し、次の符号化単位の量子化における
量子化幅に反映させているから、画像内を最適なデータ
量分布とすることができる。

【０１０５】請求項６の動画像圧縮符号化装置において
は、入力された動画像データを動画像として表示したと
きの視聴者の視点を基に、所定のパターンに従ってビッ
ト割当を行い、そのビット割当に対し、所定の量子化幅
で量子化を行う。

【０１０６】したがって、注目されていないような、視
聴者に重要でない画像部分の符号化の際に符号化単位
（マクロブロック、マクロブロック列、マクロブロック
群）当りの発生ビット量を少なくし、視聴者にとって重
要な画像部分の符号化の際の符号化単位当りの発生ビッ
ト量を多くし、視聴者の重要度に合わせた圧縮符号化を
行うものである。故に、再生動画像において空間周波数
が高い場合、動きの激しい場合等の冗長性の低い画像デ
ータから視聴者にとって重要でない画像部分の符号化に
おける発生データ量を少なくし、注目部分のブロック歪
み等の誤りの発生を減少させ、画質劣化を回避すること
ができる。

【０１０７】請求項７においては、入力された動画像デ
ータを動画像として表示したときの視聴者の視点を基
に、その出力から所定のパターンに従ってビット割当を
行い、そのビット割当に対し、所定の量子化幅で量子化
を行い、その量子化したデータ量が所定以上に大きくな
ったとき、その量子化した量子化幅を大きくする。

【０１０８】したがって、注目されていないような、視
聴者に重要でない画像部分の符号化の際に符号化単位
（マクロブロック、マクロブロック列、マクロブロック
群）当りの発生ビット量を少なくし、視聴者にとって重
要な画像部分の符号化の際の符号化単位当りの発生ビッ
ト量を多くし、視聴者の重要度に合わせた圧縮符号化を
行うものである。故に、再生動画像において空間周波数
が高い場合、動きの激しい場合等の冗長性の低い画像デ
ータから視聴者にとって重要でない画像部分の符号化に
おける発生データ量を少なくし、注目部分のブロック歪
み等の誤りの発生を減少させ、画質劣化を回避すること
ができる。特に、所定の量子化幅で量子化を行った際
に、可変長符号化によって発生した符号化単位当りの発
生ビット量を検出し、次の符号化単位の量子化における
量子化幅に反映させているから、画像内を最適なデータ
量分布とすることができる。

【図面の簡単な説明】

【図１】図１は本発明の第一実施例における動画像圧縮
符号化装置の構成を示すブロック図である。

【図２】図２は図１における表示手段と視点検出手段に
よる注視位置の現れ方を説明する説明図である。

【図３】図３は本発明の第二実施例における動画像圧縮
符号化装置の要部動作原理を説明する説明図である。

【図４】図４は本発明の第二実施例における動画像圧縮
符号化装置で使用するパターン形成の説明図である。

【図５】図５は本発明の第二実施例における動画像圧縮
符号化装置で使用するパターン形成時の閾値と画像デー
タとの関係の説明図である。

【図６】図６は本発明の第二実施例における動画像圧縮
符号化装置の構成を示すブロック図である。

【図７】図７は動画像圧縮符号化装置におけるＭＰＥＧ
符号化器の構成を示すブロック図である。

【図８】図８はＭＰＥＧ動画像の画像シーケンス例の説
明図である。

【符号の説明】

１０１信号源１０２Ａ／Ｄ変換手段１０３遅延処理手段１０４動画像データ遮断手段１０５表示手段１０６視点検出手段１０７圧縮符号化手段３１視覚位置特定手段３２ビット割当決定手段３３エンコードスケジューリング３４量子化幅制御手段

Claims

【特許請求の範囲】

【請求項１】入力された動画像データを動画像として
表示する表示手段と、前記表示手段による表示内容を基に視聴者の視点を検出
することによって、視聴者の注視する注視位置を表示画
面上で検出する視点検出手段と、前記動画像信号のデジタル化された動画像データと前記
視点検出手段による検出結果との時間的ずれを調整する
遅延処理手段と、前記動画像データを前記視点検出手段の結果に基づい
て、画像内で重要な情報については、そのまま劣化させ
ることなく、その周囲に行くに従って、即ち、重要度の
低い部分へ行く程、高域成分を低下させる周波特性を持
った前処理回路と、前記前処理回路から出力された動画像データを圧縮符号
化する圧縮符号化手段とを具備することを特徴とする動
画像圧縮符号化装置。
【請求項２】入力された動画像データを動画像として
表示し、その表示内容を基に視聴者の視点を検出し、視
聴者の注視する注視位置を表示画面上で特定し、前記表
示画面上で特定された視聴者の注視結果に基づいて、動
画像データを圧縮符号化することを特徴とする動画像圧
縮符号化装置。
【請求項３】入力された動画像データを動画像の表示
内容に基づき、視聴者の注視する注視位置を表示画面上
で特定し、前記表示画面上で特定された視聴者の注視結
果により、動画像データを圧縮符号化することを特徴と
する動画像圧縮符号化装置。
【請求項４】単一画像データの圧縮をその画像データ
のみで行った画像単位内圧縮データと、他の画像データ
を参照することにより圧縮を行った画像単位間圧縮デー
タとを折り混ぜて用いた圧縮画像データとした動画像圧
縮符号化装置において、入力された動画像データを動画像として表示したときの
視聴者の視点を基に、視聴者の注視する注視位置を表示
画面上で特定する視覚位置特定手段と、前記視覚位置特定手段の出力から所定のパターンに従っ
てビット割当を行うビット割当決定手段と、前記ビット割当決定手段のビット割当に対し、所定の量
子化幅で量子化を行う量子化幅制御手段とを具備するこ
とを特徴とする動画像圧縮符号化装置。
【請求項５】単一画像データの圧縮をその画像データ
のみで行った画像単位内圧縮データと、他の画像データ
を参照することにより圧縮を行った画像単位間圧縮デー
タとを折り混ぜて用いた圧縮画像データとした動画像圧
縮符号化装置において、入力された動画像データを動画像として表示したときの
視聴者の視点を基に、視聴者の注視する注視位置を表示
画面上で特定する視覚位置特定手段と、前記視覚位置特定手段の出力から所定のパターンに従っ
てビット割当を行うビット割当決定手段と、前記ビット割当決定手段のビット割当に対し、所定の量
子化幅で量子化を行い、その量子化したデータ量が所定
以上に大きくなったとき、その量子化した量子化幅を大
きくする量子化幅制御手段とを具備することを特徴とす
る動画像圧縮符号化装置。
【請求項６】単一画像データの圧縮をその画像データ
のみで行った画像単位内圧縮データと、他の画像データ
を参照することにより圧縮を行った画像単位間圧縮デー
タとを折り混ぜて用いた圧縮画像データとした動画像圧
縮符号化方法において、入力された動画像データを動画像として表示したときの
視聴者の視点を基に、所定のパターンに従ってビット割
当を行い、そのビット割当に対し、所定の量子化幅で量
子化を行うことを特徴とする動画像圧縮符号化方法。
【請求項７】単一画像データの圧縮をその画像データ
のみで行った画像単位内圧縮データと、他の画像データ
を参照することにより圧縮を行った画像単位間圧縮デー
タとを折り混ぜて用いた圧縮画像データとした動画像圧
縮符号化方法において、入力された動画像データを動画像として表示したときの
視聴者の視点を基に、所定のパターンに従ってビット割
当を行い、そのビット割当に対し、所定の量子化幅で量
子化を行い、その量子化したデータ量が所定以上に大き
くなったとき、その量子化した量子化幅を大きくするこ
とを特徴とする動画像圧縮符号化方法。