JPH08336135A

JPH08336135A - 画像圧縮装置及び方法

Info

Publication number: JPH08336135A
Application number: JP3245796A
Authority: JP
Inventors: Kazuhiro Suzuki; 一弘鈴木; Satoshi Mihashi; 聡三橋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1995-04-07
Filing date: 1996-02-20
Publication date: 1996-12-17

Abstract

(57)【要約】【課題】作製者の意図を反映した圧縮を可能にすると
共に、目標とするビットレートからも外れないようにす
る。【解決手段】入力画像データをＤＣＴしたＤＣＴ係数
を量子化する量子化器１５及び量子化情報を符号化する
可変長符号化回路１７と、量子化器１５での量子化の際
の基本量子化ステップ幅を求めるために使用する情報量
パラメータを発生する画像情報評価回路５０と、入力画
像の任意の領域を指定する外部情報入力手段６０及び高
画質指定情報発生回路６１と、指定領域のＤＣＴ係数を
量子化するときの量子化ステップ幅を設定するための設
定パラメータを発生する指定領域高画質化パラメータ設
定回路６２と、この指定領域に対する設定パラメータに
基づいて基本量子化ステップ幅を変更すると共に圧縮後
のデータレートを目標データレートに制御する量子化ス
テップ制御器３９とを有してなる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば画像を圧縮
する場合に用いて好適な画像圧縮装置及び方法に関す
る。

【０００２】

【従来の技術】従来の例えば画像を圧縮符号化する場合
に用いて好適な画像圧縮装置の構成例を図１０に示す。

【０００３】この図１０の画像圧縮装置において、入力
端子１には、図１１に示すように、輝度成分(Y) 352(H)×240(V)×30フレームクロマ成分(Cb) 176(H)×120(V)×30フレームクロマ成分(Cr) 176(H)×120(V)×30フレームのピクセル数にディジタル化された画像データが供給さ
れる。

【０００４】上記入力端子１に供給された入力画像デー
タは、当該入力画像データを一時的に蓄えて然るべき順
番に入れ替えるためのフレームメモリ１０を介して、動
き検出器２０とブロック分割器１１に送られる。

【０００５】当該ブロック分割器１１は、フレームメモ
リ１０から供給されたそれぞれのフレームを、図１２に
示すように、輝度成分(Y) ，クロマ成分(Cr),(Cb) それ
ぞれを８×８ピクセルのブロックに分割する。なお、輝
度成分(Y) の４つのブロック(Y0,Y1,Y2,Y3）と１つのク
ロマ成分(Cb)のブロック及び１つのクロマ成分(Cr)のブ
ロックからなる合計６つのブロック(Y0,Y1,Y2,Y3,Cb,C
r) は、マクロブロック(MB)と呼ばれている。

【０００６】このブロック分割器１１からのマクロブロ
ック単位のデータは差分器１２に送られる。

【０００７】この差分器１２では、ブロック分割器１１
からのデータと後述するフレーム間予測画像データとの
差分をとり、その出力を後述するフレーム間予測符号化
がなされるフレームのデータとして切換スイッチ１３の
被切換端子ｂに送る。また、当該切換スイッチ１３の被
切換端子ａには、上記ブロック分割器１１からのデータ
が後述するフレーム内符号化がなされるフレームのデー
タとして供給される。

【０００８】上記切換スイッチ１３を介したブロック単
位のデータはＤＣＴ回路１４によって離散コサイン変換
（ＤＣＴ）処理され、得られた係数（以下、ＤＣＴ係数
と呼ぶ）が量子化器１５に送られる。当該量子化器１５
では、所定の量子化ステップ幅で上記ＤＣＴ出力を量子
化し、この量子化した係数（以下、量子化係数と呼ぶ）
がジグザグスキャン回路１６に送られる。

【０００９】当該ジグザグスキャン回路１６では、上記
量子化係数を図１３に示すようにいわゆるジグザグスキ
ャンによって並べ換え、その出力を可変長符号化回路１
７に送る。この可変長符号化回路１７では、上記ジグザ
グスキャン回路１６の出力データを可変長符号化（ＶＬ
Ｃ）し、その出力を出力バッファ１８に送ると共に、当
該可変長符号化処理により発生した符号量を示す情報
を、量子化ステップ制御器１９に送る。量子化ステップ
制御器１９は、可変長符号化回路１７からの符号量を示
す情報に基づいて量子化器１５の量子化ステップ幅を制
御する。また、上記出力バッファ１８から出力されたデ
ータは圧縮符号化がなされた符号化出力として出力端子
２から出力される。

【００１０】また、上記量子化器１５からの出力は、逆
量子化器２７によって逆量子化され、さらに逆ＤＣＴ回
路２６によって逆ＤＣＴ処理される。当該逆ＤＣＴ回路
２６の出力は、加算器２５に送られる。

【００１１】この加算器２５には、フレーム間予測符号
化のフレームのときにオンとなる切換スイッチ２４を介
した動き補償器２１からのフレーム間予測画像データも
供給され、当該データと上記逆ＤＣＴ回路２６の出力デ
ータとの加算が行われる。この加算器２５の出力データ
は、フレームメモリ２２に一時的に蓄えられた後、動き
補償器２１に送られる。

【００１２】当該動き補償器２１は、上記動き検出器２
０によって検出された動きベクトルに基づいて動き補償
を行い、これによって得たフレーム間予測画像データを
出力する。

【００１３】以下、上記図１０の従来の画像圧縮装置の
具体的な動作について詳細に説明する。ここで、説明の
ために以下のように各フレームの呼び名を定義する。

【００１４】先ず、表示順にフレームを並べたとき、そ
れぞれをＩ０，Ｂ１，Ｂ２，Ｐ３，Ｂ４，Ｂ５，Ｐ６，Ｂ７，Ｂ
８，Ｉ９，Ｂ１０，Ｂ１１，Ｂ１２，・・・・・と呼ぶこととする。これらのフレームのうち、Ｉ，Ｐ，
Ｂは、後に説明するが、圧縮方法の種類を示し、これら
Ｉ，Ｐ，Ｂの次の数字は、単純に表示順を示している。

【００１５】カラー動画像符号化方式の国際標準化作業
グループであるいわゆるＭＰＥＧ（Moving Picture Exp
ert Group)のうち、例えばＭＰＥＧ１では、この様な画
像を圧縮するために、以下のようにすることが規定され
ている。

【００１６】先ず、Ｉ０の画像を圧縮する。

【００１７】次に、Ｐ３の画像を圧縮するのだが、Ｐ３
そのものを圧縮するのではなく、Ｐ３とＩ０の画像との
差分データを圧縮する。

【００１８】その次に、Ｂ１の画像を圧縮するのだが、
Ｂ１そのものを圧縮するのではなく、Ｂ１とＩ０或い
は、Ｂ１とＰ３との差分データ或いはＩ０とＰ３の平均
値との差分（いずれか情報の少ない方）を圧縮する。

【００１９】その次に、Ｂ２の画像を圧縮するのだが、
Ｂ２そのものを圧縮するのではなく、Ｂ２とＩ０或い
は、Ｂ２とＰ３との差分データ或いはＩ０とＰ３の平均
値との差分（どちらか情報の少ない方を選んで）を圧縮
する。

【００２０】次に、Ｐ６の画像を圧縮するのだが、Ｐ６
そのものを圧縮するのではなく、Ｐ６とＰ３の画像との
差分データを圧縮する。

【００２１】上述したような処理を順番に並べて表す
と、となる。このようにエンコード順は、Ｉ０，Ｐ３，Ｂ１，Ｂ２，Ｐ６，Ｂ４，Ｂ５，Ｐ９，Ｂ
７，Ｂ８，Ｉ９，Ｐ１２，Ｂ１０，Ｂ１１，・・・・のように、表示順とは順番が入れ替わる。圧縮後のデー
タ（符号化データ）はこの順番に並ぶことになる。

【００２２】以下、上述したことを図１０の構成の動作
と共にさらに詳しく述べる。

【００２３】１枚目の画像（すなわちＩ０）のエンコー
ドでは、先ず、上記フレームメモリ１０から１枚目に圧
縮すべき画像のデータが、ブロック分割器１１によって
ブロック化される。このブロック分割器１１からは、前
記Ｙ０，Ｙ１，Ｙ２，Ｙ３，Ｃｂ，Ｃｒの順にブロック
毎のデータが出力され、被切換端子ａ側に切り換えられ
た切換スイッチ１３を介してＤＣＴ回路１４に送られ
る。このＤＣＴ回路１４では、それぞれのブロックにつ
いて縦横２次元の離散コサイン変換処理を行う。これに
より、時間軸であったデータが周波数軸に変換される。

【００２４】このＤＣＴ回路１４からのＤＣＴ係数は、
量子化器１５に送られ、当該量子化器１５で所定の量子
化ステップ幅で量子化される。その後、ジグザグスキャ
ン回路１６によって図１３のようにジグザグ順に並べ変
えられる。このようにジグザグ順に並べると、後ろへ行
くほど、その係数は周波数成分の高い係数となるから、
一般的に係数の値は後ろの方が小さくなる傾向にある。
したがって、ある値Ｓで量子化すると、後ろへ行くほ
ど、その結果は０になる頻度が増し、結果的に高域の成
分が切り落とされることになる。

【００２５】その後、この量子化後の係数は、可変長符
号化（ＶＬＣ）回路１７へ送られ、ここでいわゆるハフ
マンコーディングが施される。この結果得られる圧縮さ
れたビットストリームは、出力バッファ１８に一旦蓄え
られた後、一定のビットレートで送出される。当該出力
バッファ１８は、不規則に発生するビットストリームを
一定のビットレートで送出できるようにするための緩衝
のためのメモリである。

【００２６】以上の様に１枚の画像だけ単独で圧縮する
ことをフレーム内（イントラ：Intra ）符号化と言い、
この画像をＩピクチャと呼ぶ。

【００２７】したがって、デコーダが上記のＩピクチャ
のビットストリームを受信した場合は、以上に述べたこ
とを逆にたどり、１枚目の画像を完成させる。

【００２８】次に、２枚目の画像（すなわちＰ３）のエ
ンコードでは、以下のようになされる。

【００２９】すなわち、この２枚目以降もＩピクチャと
して圧縮してビットストリームを作っても良いが圧縮率
を上げるには、連続する画像の内容には相関があること
を利用して、以下の様な方法で圧縮する。

【００３０】先ず、動き検出器２０では、２枚目の画像
を構成するマクロブロック毎に、１枚目の画像（Ｉ０）
の中からそれに良く似たパターンを捜し出し、それを動
きベクトルという（ｘ，ｙ）の相対位置の座標として表
現する。

【００３１】また、２枚目の画像ではそれぞれのブロッ
クを、上記Ｉピクチャの場合のようにそのままＤＣＴ回
路１４に送るのではなく、そのブロック毎の動きベクト
ルに従って一枚目の画像から引っ張ってきたブロックと
の差分のデータ（差分器１２による差分データ）を、Ｄ
ＣＴ回路１４へ送るようにする。なお、動きベクトルの
検出方法としては、ＩＳＯ／ＩＥＣ 11172-2 annex D.
6.2 に詳細に述べられているためここでは省略する。

【００３２】ここで、例えば上記動きベクトルによって
示された一枚目の画像のパターンと、これから圧縮しよ
うとするブロックのパターンとの間で、相関が非常に強
くなっていれば、その差分データは非常に小さくなり、
したがって、上記フレーム内（イントラ）符号化で圧縮
するよりも、上記動きベクトルと上記差分データとを符
号化した方が、圧縮後のデータ量は小さくなる。

【００３３】このような圧縮方法を、フレーム間（イン
ター：Inter)予測符号化と呼んでいる。ただし、常に差
分データが少なくなるわけではなく、絵柄（画像内容）
によっては、差分を取るよりも、上記フレーム内符号化
で圧縮した方が、圧縮率が上がる場合がある。このよう
な場合は、上記フレーム内符号化で圧縮する。フレーム
間予測符号化にするか、フレーム内符号化にするかは、
マクロブロック毎に異なる。

【００３４】以上のことを図１０の画像圧縮装置（エン
コーダ）に即して説明すると、先ず、フレーム間予測符
号化を行うためには、エンコーダ側でたえずデコーダ側
で作られる画像と同じ画像を作っておく必要がある。

【００３５】そのためにエンコーダ内には、デコーダと
同じ回路が存在する。その回路をローカルデコーダ（局
部復号器）と呼ぶ。図１０の逆量子化器２７と逆ＤＣＴ
回路２６と加算器２５とフレームメモリ２２と動き補償
器２１が当該ローカルデコーダに対応し、フレームメモ
リ２２内に記憶される画像のことをローカルデコーデッ
ドピクチャ（Local decoded picture)又はローカルデコ
ーデッドデータ(Localdecoded data)と呼ぶ。これに対
して、圧縮前の画像のデータは、オリジナルピクチャ(O
riginal picture)又はオリジナルデータ(Original dat
a) と呼ぶ。

【００３６】なお、前述した１枚目のＩピクチャの圧縮
時にも、上記ローカルデコーダを通して復号化された１
枚目の画像が、上記フレームメモリ２２内に格納され
る。ここで、注意すべきことは、このローカルデコーダ
によって得られる画像は、圧縮前の画像ではなく、圧縮
後復元した画像であり、圧縮による画質劣化のある、デ
コーダが復号化する画像とまったく同じ画像であるとい
うことである。

【００３７】このような状態のエンコーダに２枚目の画
像（Ｐ３）のデータ(Original data）が入ってくるわけ
だが（この段階ですでに、動きベクトルは検出済でなけ
ればならない）、データはブロック毎に動きベクトルを
持ち、このベクトルが動き補償器（MC:Motion Compensa
tion）２１に与えられる。当該動き補償回路２１は、そ
の動きベクトルの示すローカルデコーデッドピクチャ上
のデータ（動き補償データ：MC data:１マクロブロッ
ク）を上記フレーム間予測画像データとして出力する。

【００３８】上記２枚目のオリジナルデータとこの動き
補償データ（フレーム間予測画像データ）のピクセル毎
の、差分器１２による差分データが、上記ＤＣＴ回路１
４に入力される。それからの後の圧縮方法は、基本的に
Ｉピクチャと同じである。上述のような圧縮方法によっ
て圧縮する画像をＰピクチャ（Predicted picture)と呼
ぶ。

【００３９】さらに詳しく説明すると、Ｐピクチャにお
いてすべてのマクロブロックがフレーム間予測符号化で
圧縮するとは限らず、フレーム内符号化で圧縮する方が
効率が良いと判断されるときは、そのマクロブロックは
当該フレーム内符号化で符号化を行う。

【００４０】すなわち、Ｐピクチャにおいても、マクロ
ブロック毎に、フレーム内符号化によるか（このマクロ
ブロックをイントラマクロブロックと呼ぶ）、又はフレ
ーム間予測符号化によるか（このマクロブロックをイン
ターマクロブロックと呼ぶ）のどちらかを選択して圧縮
を行う。

【００４１】上述のように、上記ローカルデコーダで
は、量子化器１５の出力が、逆量子化器２７で逆量子化
され、さらに逆ＤＣＴ回路２６で逆ＤＣＴ処理された
後、エンコード時に動き補償データ（MC data ）と足さ
れ最終的なローカルデコーデッドピクチャとなる。

【００４２】次に、３枚目の画像（すなわちＢ１）のエ
ンコードでは、以下のようになされる。

【００４３】上記３枚目の画像（Ｂ１）のエンコードで
は、Ｉ０，Ｐ３の２枚の画像それぞれに対する動きベク
トルを探索する。ここで、Ｉ０に対する動きベクトルを
フォワードベクトル（forward Vector）ＭＶｆ(x,y) と
呼び、Ｐ３に対する動きベクトルをバックワードベクト
ル（Backward Vector)ＭＶｂ(x,y) と呼ぶ。

【００４４】この３枚目の画像についても差分データを
圧縮するわけであるが、どのデータを圧縮するのかが、
問題である。この場合も一番情報量が少なくなるものと
の差分を取れば良い。このときの圧縮方法の選択肢とし
ては、（１）フォワードベクトルＭＶｆ(x,y) の示すＩ０上の
データとの差分（２）バックワードベクトルＭＶｂ(x,y) の示すＰ３上
のデータとの差分（３）フォワードベクトルＭＶｆ(x,y) の示すＩ０上の
データとバックワードベクトルＭＶｂ(x,y) の示すＰ３
上のデータの平均値との差分（４）差分データは使わない（フレーム内符号化）の４
つである。マクロブロック毎にこの４種類の圧縮方法か
ら一つが選択される。上記圧縮方法の選択肢のうちの
（１），（２），（３）の場合は、それぞれの動きベク
トルも動き補償器２１に送られ、差分器２１ではその動
き補償データとの差分をとり、これがＤＣＴ回路１４に
送られる。上記圧縮方法の選択肢のうちの（４）の場合
は、そのままのデータがＤＣＴ回路１４へ送られる。

【００４５】上述した１枚目、２枚目のエンコードの処
理の結果、ローカルデコーデッドピクチャを格納するフ
レームメモリ２２には、Ｉ０，Ｐ３の２枚のピクチャ
が、復元されているのでこのようなことが可能である。

【００４６】次に、４枚目の画像（すなわちＢ２）のエ
ンコードでは、以下のようになされる。

【００４７】上記４枚目の画像（Ｂ２）のエンコードで
は、上述した３枚目（Ｂ１）のエンコード方法のところ
の説明文で、Ｂ１をＢ２に置き換えたこと以外は、上記
３枚目のエンコードと同じ方法で圧縮する。

【００４８】次に、５枚目の画像（すなわちＰ６）のエ
ンコードでは、以下のようになされる。

【００４９】上記５枚目の画像（Ｐ６）のエンコードで
は、上述した２枚目（Ｐ３）のエンコード方法のところ
の説明文で、Ｐ３をＰ６に、Ｉ０をＰ３に置き換えただ
けで、他は同じ説明となる。

【００５０】６枚目以降は、上述の繰り返しとなるので
説明は省略する。

【００５１】また、ＭＰＥＧにおいては、ＧＯＰ（Grou
p Of Picture）と呼ばれるものが規定されている。

【００５２】すなわち、何枚かのピクチャの集まりがグ
ループオブピクチャ（ＧＯＰ）と呼ばれており、当該Ｇ
ＯＰは符号化データ（圧縮後のデータ）上で見て連続し
た画像の集まりでなくてはならないものである。また、
ＧＯＰはランダムアクセスを考慮したもので、そのため
には符号化データ上で見てＧＯＰの最初に来るピクチャ
は上記Ｉピクチャである必要がある。さらに、表示順
（ディスプレイ順）でＧＯＰの最後は、Ｉ又はＰピクチ
ャでなくてはならない。

【００５３】図１４には、最初が４枚のピクチャからな
るＧＯＰで、それ以降が６枚のピクチャからなるＧＯＰ
となる例を挙げる。なお、図１４のＡはディスプレイ順
を示し、図１４のＢは符号化データ順を示している。

【００５４】この図１４において、ＧＯＰ２に注目する
と、Ｂ４，Ｂ５はＰ３，Ｉ６から形成されるため、例え
ばランダムアクセスでＩ６にアクセスされると、Ｐ３が
無いため、Ｂ４，Ｂ５は正しく復号化できない。このよ
うにＧＯＰ内だけで正しく復号化できないＧＯＰは、ク
ローズドＧＯＰ（Closed GOP）でないという。

【００５５】これに対し、もしＢ４，Ｂ５がＩ６だけし
か参照していないとしならば、例えばランダムアクセス
でＩ６にアクセスしても、Ｐ３は必要ないため、これら
Ｂ４，Ｂ５は正しく復号化できることになる。このよう
にＧＯＰ内だけの情報で、完全に復号化できるＧＯＰを
クローズドＧＯＰ（Closed GOP）と呼ぶ。

【００５６】以上のような圧縮方法の選択の中から一番
効率の良い方法で圧縮するわけであるが、その結果発生
する符号化データ（Coded data）の量は、入力画像にも
依存し、実際に圧縮してみないと判らない。

【００５７】しかし、圧縮後のデータのビットレートを
一定にするためにコントロールすることも必要である。
当該コントロールを行うためのパラメータは、量子化器
１５に与える前記符号量を表す情報としての量子化ステ
ップ（又は量子化スケール：Q-scale ）である。同じ圧
縮方法でも、上記量子化ステップを大きくすれば発生ビ
ット量は減り、小さくすれば増える。

【００５８】この量子化ステップの値は、次のようにし
て制御する。

【００５９】エンコーダには、圧縮後のデータを一定の
ビットレートにするために、出力に緩衝バッファ（出力
バッファ１８）が設けられており、これによって画像毎
のある程度のデータ発生量の差は吸収できるようになさ
れている。

【００６０】しかし、定められたビットレートを超える
ようなデータの発生が続けば、出力バッファ１８の残量
が増加し、ついにはオーバーフローを起こすことにな
る。逆にビットレートを下回るデータの発生が続けば出
力バッファ１８の残量は減少し、最後にはアンダーフロ
ーを引き起こすことになる。

【００６１】したがって、エンコーダは、出力バッファ
１８の残量をフィードバックすることにより、前記量子
化ステップ制御器１９が量子化器１５の量子化ステップ
をコントロールし、ここで出力バッファ１８の残量が少
なくなればあまり圧縮しないように量子化ステップを小
さくなるよう制御し、出力バッファ１８の残量が多くな
れば圧縮率を高くするように量子化ステップを大きくす
るようにコントロールを行うようにしている。

【００６２】また、前述した圧縮方法（前記フレーム内
符号化やフレーム間予測符号化）によって発生する符号
化データ量の範囲には、大きな差がある。

【００６３】特にフレーム内符号化方式で圧縮をすると
大量のデータが発生するため、出力バッフファ１８の空
き容量が小さい場合には量子化ステップサイズを大きく
しなければならず、場合によっては量子化ステップサイ
ズを最大にしてもバッファ１８のオーバーフローを招く
かもしれない。よしんばバッファ１８に収まったとして
も量子化ステップが大きければフレーム内符号化の画像
は後のフレーム間予測符号化の画質に影響するので、フ
レーム内符号化での圧縮を行う前には出力バッファ１８
に十分な空き容量が必要である。

【００６４】したがって、予め定められた順序の圧縮方
法を決めておき、フレーム内符号化の前には十分な出力
バッファ１８の空き容量を確保するように、量子化ステ
ップ制御器１９は量子化ステップサイズのフィードバッ
クコントロールを行うようにしている。

【００６５】以上のようにして一定レートの符号化デー
タに抑えることが可能となる。

【００６６】

【発明が解決しようとする課題】ところで、近年は、画
像情報を圧縮符号化する際に、より効率良く画像情報を
圧縮することが求められるいる。すなわち、近年は、例
えば、人間の視覚特性を考慮して情報を削ったり、入力
画像の持つ情報量によって圧縮比率を変えたり、同一画
面内でも絵柄がもつ情報量に応じて圧縮比率を変えたり
することで、なるべく圧縮による画質劣化が起きないよ
うにしながら、目標とするビットレート（target bit r
ate）まで落とすようにコントロールすることによっ
て、より効率的な圧縮を行うことが考えられており、ま
た、これを実現するために様々なアルゴリズムが考えら
れている。

【００６７】しかし、そのように努力しても、上記目標
とするビットレートや入力画像の複雑さ等によっては、
満足する画質を得られないことが起きる。例えば、上記
入力画像のもつ情報量によって圧縮比率を変えるという
手法では、その画像の製作者の意図などはまったく考慮
されずに圧縮がなされることになる。すなわち、当該入
力画像のもつ情報量によって圧縮比率を変えるという手
法では、画像の製作者にとって例えば重要でない部分で
あっても、また逆に重要な部分であっても同様に処理さ
れることが起こり、製作者にとってそれほど重要でない
部分に貴重なビットを使っている一方で、重要である部
分に画質劣化が起きるということがある。また、このよ
うな製作者の意図などを入力画像から圧縮装置が自動的
に汲み取ることは不可能である。

【００６８】そこで、本発明はこの様な実情に鑑みてな
されたものであり、作製者の意図を反映した圧縮が可能
であると共に、目標とするビットレートからも外れるこ
とのない画像圧縮装置及び方法を提供することを目的と
する。

【００６９】

【課題を解決するための手段】本発明の画像圧縮装置
は、入力画像データを圧縮する圧縮手段と、上記圧縮手
段で上記入力画像データを圧縮する際の基本圧縮率を設
定する基本圧縮率設定手段と、入力画像のうちの任意の
領域を指定する指定手段と、上記指定手段が指定した領
域に対応する入力画像データを圧縮するときの重要度を
設定する指定領域重要度設定手段と、上記指定領域重要
度設定手段により設定された上記指定した領域に対する
重要度に基づいて上記基本圧縮率を変更する圧縮率変更
手段とを有することにより、上述した課題を解決する。

【００７０】また、本発明の画像圧縮方法は、入力画像
データを圧縮する際の基本圧縮率を設定する基本圧縮率
設定ステップと、入力画像のうちの任意の領域を指定す
る指定ステップと、上記指定ステップが指定した領域に
対応する入力画像データを圧縮するときの重要度を設定
する指定領域重要度設定ステップと、上記指定領域重要
度設定ステップにより設定された上記指定した領域に対
する重要度に基づいて上記基本圧縮率を変更する圧縮率
変更ステップと、上記圧縮率変更ステップにより得られ
る圧縮率を使用して入力画像データを圧縮する圧縮ステ
ップとを有することをにより、上述の課題を解決する。

【００７１】すなわち本発明によれば、入力画像データ
を圧縮する際に、入力画像のうちの任意の領域を指定
し、この指定した領域の重要度を設定することで、当該
指定した領域の画像を所望の重要度で圧縮することがで
きる。また、基本圧縮率を、この指定した領域の重要度
に基づいて変更することで、圧縮後のビットレートを目
標ビットレート内に収めるようにしている。

【００７２】

【発明の実施の形態】以下、本発明の好ましい構成例に
ついて、図面を参照にしながら説明する。

【００７３】図１には本発明構成例の画像圧縮装置の概
略構成を示す。なお、この図１において、前述した図１
０と同じ構成については同一の指示符号を付しており、
これら同じ指示符号を付した構成については簡単に説明
する。

【００７４】この図１に示す画像圧縮装置において、入
力端子１には、前記図１１に示したようなディジタル化
された画像データが供給される。この入力端子１に供給
された入力画像データは、当該入力画像データを一時的
に蓄えて然るべき順番に入れ替えるためのフレームメモ
リ４０を介して、動き検出器３８とブロック分割器１１
に送られる。当該ブロック分割器１１は、フレームメモ
リ４０から供給されたそれぞれのフレームを、前記図１
２で示したように８×８ピクセルのブロックに分割す
る。このブロック分割器１１からのマクロブロック単位
のデータは差分器１２に送られる。

【００７５】当該差分器１２では、ブロック分割器１１
からのデータとフレーム間予測画像データとの差分をと
り、その出力をフレーム間予測符号化がなされるフレー
ムのデータとして切換スイッチ１３の被切換端子ｂに送
る。また、当該切換スイッチ１３の被切換端子ａには、
上記ブロック分割器１１からのデータがフレーム内符号
化がなされるフレームのデータとして供給される。

【００７６】上記切換スイッチ１３を介したブロック単
位のデータはＤＣＴ回路１４によって離散コサイン変換
（ＤＣＴ）処理され、得られた係数（ＤＣＴ係数）が圧
縮手段の一部である量子化器１５に送られる。当該量子
化器１５では、所定の量子化ステップ幅で上記ＤＣＴ出
力を量子化し、この量子化した係数（量子化係数）がジ
グザグスキャン回路１６に送られる。当該ジグザグスキ
ャン回路１６では、上記量子化係数を前記図１３で示し
たようにジグザグスキャンによって並べ換え、その出力
を可変長符号化回路１７に送る。この可変長符号化回路
１７では、上記ジグザグスキャン回路１６の出力データ
を可変長符号化（ＶＬＣ）し、その出力を出力バッファ
１８に送る。上記出力バッファ１８から出力されたデー
タは圧縮符号化がなされた符号化出力として出力端子２
から出力される。この出力端子２から出力された符号化
情報は、例えば、いわゆるハードディスク，フレキシブ
ルディスク等の磁気ディスク、光ディスク，光磁気ディ
スク，相変化型ディスク等のディスク状記録媒体や、磁
気テープ等のテープ状記録媒体、或いはＩＣカードのよ
うな半導体メモリ等の各種記録媒体に記録されたり、復
号化されて映像信号が復元され、ブラウン管（ＣＲＴ）
や、液晶ディスプレイ，プラズマディスプレイ，フィー
ルド・エミッションディスプレイ等のフラット・パネル
・ディスプレイ等の表示装置に直接送られて表示され
る。

【００７７】また、可変長符号化回路１７からは、上記
可変長符号化処理により発生した符号量を示す情報が出
力され、この情報が圧縮率変更手段及びデータレート制
御手段としても機能する量子化ステップ制御器３９に送
られる。

【００７８】一方、上記量子化器１２からの出力は、逆
量子化器２７によって逆量子化され、さらに逆ＤＣＴ回
路２６によって逆ＤＣＴ処理される。当該逆ＤＣＴ回路
２６の出力は、加算器２５に送られる。

【００７９】この加算器２５には、フレーム間予測符号
化のフレームのときにオンとなる切換スイッチ２４を介
した動き補償器２１からのフレーム間予測画像データも
供給され、当該データと上記逆ＤＣＴ回路２６の出力デ
ータとの加算が行われる。この加算器２５の出力データ
は、フレームメモリ２２に一時的に蓄えられた後、動き
補償器２１に送られる。

【００８０】当該動き補償器２１は、上記動き検出器３
８が検出した動き情報に応じて動きベクトル発生器３３
が発生した動きベクトルに基づいて、動き補償を行い、
これによって得たフレーム間予測画像データを出力す
る。

【００８１】ここで、本発明構成例の画像符号装置にお
いて、フレームメモリ４０は入力画像データを複数枚蓄
えることができ、このフレームメモリ４０に蓄積された
画像データは、適宜、基本圧縮率（後述する基本量子化
ステップ幅を求める際の情報量パラメータ）を設定する
画像情報評価回路５０に送られる。

【００８２】当該画像情報評価回路５０は、例えば、入
力画像のもつ情報量を評価することで、量子化ステップ
制御器３９が量子化ステップ幅を制御する際のパラメー
タを算出する。より具体的に説明すると、例えば、フレ
ーム内符号化で圧縮を行った場合の圧縮後のデータ量を
予測することが可能なように、その画像自身の情報量を
示す情報を第１のパラメータとして算出する。この第１
のパラメータとしては、例えば、フレームメモリ４０か
ら供給された画像データに対して、ＤＣＴ処理をブロッ
ク毎に行い、そのＤＣＴ係数の和や統計をとったものと
したり、また、それでは規模が大きくなる場合には、平
均自乗誤差のブロック毎の和を求めたものとする。いず
れにしても、当該画像情報評価回路５０では、画像の情
報量を表し、圧縮後のデーター量を類推するに足る第１
のパラメータを算出する。また、当該画像情報評価回路
５０では、フレーム間予測符号化で圧縮を行った場合の
圧縮後のデータ量を予測することが可能な、画像の差分
情報量を示す情報を第２のパラメータとして算出する。
この第２のパラメータとしては、例えば、フレームメモ
リ４０に格納された画像と動き補償後の画像との差分値
のブロック内の和を用いる。この第２のパラメータ算出
の際には、一般的な動きベクトル検出回路（動き検出器
３８及び動きベクトル発生回路３３）で得られる動きベ
クトルが検出された最小誤差を利用することができる。
このとき、フレーム間予測符号化による圧縮後のデータ
量を類推（予測）できる第２のパラメータとしては、一
般的な輝度情報だけの動きベクトル検出回路（動き検出
器３８及び動きベクトル発生回路３３）で得られる動き
ベクトル及びその動きベクトルが検出された輝度情報だ
けで求めた最小誤差に加えて、本構成例ではその動きベ
クトルが検出された色差情報だけで求めた最小誤差を新
たに用いる。

【００８３】上記画像情報評価回路５０によって算出さ
れた画像情報の評価値（以下情報量パラメータと呼ぶ）
は、量子化ステップ制御器３９に送られる。すなわち、
上記画像情報評価回路５０によって算出した評価値を上
記量子化ステップ制御器３９に送るのは、入力画像情報
を評価して得た情報量パラメータを使用することで、な
るべく圧縮による画質劣化が起きないようにしながら、
圧縮情報のビットレートを目標とするビットレート（ta
rget bit rate）まで落とすようにコントロールするた
めである。

【００８４】したがって、当該量子化ステップ制御器３
９は、前記可変長符号化回路１７からの符号量を示す情
報と、上記画像情報評価回路５０によって算出された情
報量パラメータとに基づいて、量子化器１５の量子化ス
テップ幅を制御することができる。これにより、出力バ
ッファ１８のオーバーフローが防止できることになる。
すなわち、上述のように、情報量パラメータを加味して
量子化ステップ幅を制御することで、出力バッファ１８
の残量のみをフィードバックする場合に比べて、画像の
情報量の変化に応じた適切な量子化ステップ制御が可能
となる。

【００８５】ところが、画像情報を圧縮符号化する際
に、上述のように画像情報の評価値を加味しながら目標
とするビットレート（target bit rate）まで落とすよ
うに量子化ステップ幅をコントロールしたとしても、そ
の目標とするビットレートや入力画像の複雑さ等によっ
ては、満足する画質を得られないことが起き得る。すな
わち、入力画像のもつ情報量に応じて量子化ステップ幅
を制御したとしても、その画像の製作者の意図について
はまったく考慮されずに圧縮がなされるため、当該画像
の作製者が満足する画質を得られないことが起こり得
る。より具体的に言うと、上述したビットレートコント
ロールの方法では、当該画像の製作者にとって例えば重
要でない部分であっても、また逆に重要な部分であって
も同様に処理されることが起こり、したがって当該製作
者にとってそれほど重要でない部分に貴重なビットを使
っている一方で、重要である部分に画質劣化が起きると
いうことがある。

【００８６】このようなことから、作製者の意図を反映
した圧縮が可能であると共に、目標とするビットレート
からも外れることのない圧縮を実現するため、本構成例
の画像圧縮装置には、入力画像のうちの任意の領域を指
定する指定手段としての外部情報入力手段６０及び高画
質指定情報発生回路６１と、上記指定した領域に対応す
る画像データを圧縮するときの重要度（量子化ステップ
幅を求めるためのパラメータ）を設定するパラメータ設
定回路６２とが付加されている。

【００８７】以下、これら構成を使用して、画像の作製
者の意図を反映した圧縮を行うための手順を説明する。

【００８８】上記外部情報入力手段６０は、例えばいわ
ゆるジョイスティック、マウス、トラックボール、タブ
レット、キーボード等のいずれか若しくはこれらの組合
わせからなり、上記作製者が当該画像圧縮装置に対して
情報を入力するためのマン−マシンインターフェイス手
段である。上記画像の作製者等の作業者は、入力画像を
前記表示装置の表示画面上に再生表示させながら、上記
外部情報入力手段６０を操作することによって、上記表
示画面に表示される画像から、高画質化したい領域を含
む画像の指定及び当該指定した画像内の高画質化したい
領域（範囲）の指定を行う。

【００８９】すなわち、上記作業者は、先ず、高画質化
したい領域を含む画像がいずれの画像であるかを指定す
る。具体的に言うと、当該高画質化したい領域を含む画
像の指定は、上記外部情報入力手段６０によって、画像
のタイムコードを直接入力したり、表示画面上に順に表
示される画像のイン点とアウト点を指定することで行
う。

【００９０】次に、作業者は、当該指定した画像のうち
特に高画質化したい領域を指定する。具体的に言うと、
上記指定した画像が表示されている表示画面上に指示画
像として例えば円形のカーソルを表示させ、当該円形の
カーソルを用いて画面上の任意の範囲を指示すること
で、当該指定した画像のうち特に高画質とすべき領域を
指定する。なお、上記高画質化したい範囲を指示するた
めのカーソルは、上記円形だけでなく、矩形や楕円等の
形状であっても良く、これらカーソルの縦横のサイズや
位置を、上記外部情報入力手段６０におけるカーソル移
動手段としての例えばジョイスティック等を操作するこ
とによって、自由に変えられるものである。

【００９１】また、上記高画質化すべき領域の指定は、
圧縮前の入力画像を見て行う場合と、一度圧縮した後に
伸張して再現した再生画像を見て行う場合のいずれであ
っても良い。すなわち、圧縮前に事前に指定する場合
と、再生画像を見てから指定する場合、或いは再生画像
を見ながらリアルタイムに指定する場合のいずれであっ
ても良い。特に、圧縮後に伸張して再現した再生画像を
使用して上記高画質化すべき領域を指定するようにすれ
ば、画像のどの部分が圧縮により劣化しているかがわか
るため、画像の作製者が重要であると認識している領域
を指定するのに有利である。上記再生画像を見て高画像
化したい領域を指定した場合には、当該高画質化が指定
された領域を含む全画像を再度圧縮し直し、当該圧縮し
直した画像を、最初に圧縮されている各画像の内の、対
応する画像が存在していた部分に入れ換えるようにす
る。より具体的に説明すると、例えば、ある時間連続す
る映像があり、当該映像を構成する各画像が前記ＭＰＥ
Ｇ１やＭＰＥＧ２等により圧縮されているような場合に
おいて、当該各画像の内から上記高画質化が指定されて
いる領域を含む全画像を抜き出し、当該抜き出した画像
に対しては上記指定された領域を高画質化すると共に他
の部分については重要度を下げることで目標ビットレー
トを維持するように圧縮し直し、当該圧縮し直した画像
を上記先に圧縮されている映像の上記抜き出した画像が
元々存在していた位置の画像と入れ換えるようにする。
なお、上述した再生画像を見ながらリアルタイムに指定
する場合のシステム全体構成及びその動作については後
述する。

【００９２】また、上記高画質とすべき領域は、同一画
面内で複数指定することもできる。この場合には、例え
ば、先ず一カ所の領域を指定し、さらに追加モードとし
て、別の領域を指定するようなことが可能である。当該
追加モードのときには、さらに何カ所でも指定でき、こ
れら指定した複数の領域が過去に指定した領域に追加さ
れる。また、高画質化すべき領域を複数指定する場合
は、これら複数指定された各領域に対して高画質化した
い順に優先度を付加する（高画質化したい度合いを各領
域毎に設定する）こともできる。当該各領域の優先度
は、例えば、各領域毎に直接圧縮率或いは圧縮後のレー
トを入力するものとしたり、優先度に応じた数字を入力
することにより行ったり、また、例えば外部情報入力手
段６０が押圧力を検出可能なボタンやタブレット等によ
って構成されているときには、その押圧力を検出し、こ
の押圧力に応じて設定するようなことが可能である。さ
らに、同一の領域内であっても、当該領域内の各部分毎
に異なる優先度を指定するようなことも可能である。こ
の同一領域内の優先度の指定としては、例えば、中心を
最も高い優先度とし、周辺にいくに従って低くなるよう
な等高線状の優先度を指定することや、当該領域内の上
或いは下若しくは右又は左等を最も高い優先度とし、当
該最も高い優先度の部分から離れるに従って徐々に優先
度が低くなるような指定をすることが可能である。な
お、この同一領域内での優先度の指定は、複数の領域を
指定した場合のみならず、一つの領域のみ指定した場合
であっても同様に適用することができることは言うまで
もない。

【００９３】その他、上記外部情報入力手段６０は、上
記ジョイスティックのような人が手または指によって操
作するものの他、例えば、人の焦点位置（人が注目する
点）を検出し、その焦点位置（注目点）を中心にしたあ
る大きさの範囲を自動的に取り込み、この範囲を上記高
画質とすべき領域として指定するようなものであっても
良い。なお、焦点位置を検出する手段としては、各種の
方式が考えられるが、例えば、操作者の目に対して光を
照射し、当該目の表面或いは網膜からの反射光を受光し
て目の瞳孔等の所定位置がいずれの方向を向いているか
を測定し、当該瞳孔等の所定位置及び方向と画面上の位
置とを予め対応させておいた情報等から、上記焦点位置
を検出するようなものを使用することができる。なお、
上記人の焦点位置を検出する方法、すなわち視線検出の
方法についての詳細は後述する。

【００９４】上述したような外部情報入力手段６０から
の外部入力情報は、高画質指定情報発生回路６１に送ら
れる。すなわち、当該高画質指定情報発生回路６１は、
上記外部入力情報を受けると、当該外部入力情報に基づ
く指定情報を生成する。この指定情報としては、上記外
部情報入力手段６０から入力された上記高画質化したい
領域を含む画像のタイムコード或いは前記イン点，アウ
ト点に対応する情報と、当該指定された画像のうち上記
外部情報入力手段６０が発生するカーソル等により指定
される、上記高画質化したい領域に対応する座標情報と
が考えられる。

【００９５】ここで、上記座標は、画像が例えばＭＰＥ
Ｇ１に対応する画像である場合には、１６×１６ドット
のマクロブロック（ＭＢ）単位で前記量子化ステップ幅
（Q-scale）を変えられるので、当該マクロブロック単
位で指定することができる。さらに、当該座標は、ドッ
ト単位で指定することもでき、この場合は、当該高画質
指定情報発生回路６１において、当該ドット単位で指定
された座標を、例えばマクロブック単位等の当該画像圧
縮装置において都合の良い解像度に変換することを行
う。

【００９６】また、高画質化したい領域が同一画像上で
複数箇所指定されている場合には、当該高画質指定情報
発生回路６１はそれら各指定領域の座標情報も取り込
む。このとき、前記外部情報入力手段６０によって前記
優先度も同時に設定されているときには、当該優先度を
示す情報も指定情報として取り込む。なお、当該優先度
は、もっとも単純なものとしては０，１の２値で示すこ
とができるが、より細かく指定するには例えば８，１
６，３２，６４段階などの複数段階により表すものを使
用することが望ましい。

【００９７】さらに、このような優先度の指定は、同一
の領域内で優先度を指定する場合も同様に適用できる。
この同一領域内で優先度を指定する場合の一例として、
例えば、高画質化したい領域として人間の顔とその近辺
の範囲を指定し、当該領域内を例えば８段階の優先度で
指示できるとしたとき、最も高い優先度を示す値８を当
該顔の部分に割り当て、この顔の部分から離れるに従っ
て優先度を低くし、人間以外の部分には最も低い優先度
を示す値１を割り当てるようなことができる。

【００９８】上述のようにして上記高画質指定情報発生
回路６１により発生された指定情報は、指定領域高画質
化パラメータ設定回路６２に送られる。このパラメータ
設定回路６２は、上記高画質指定情報発生回路６１から
の指定情報に基づいて、量子化ステップ制御器３９にお
けるレートコントロールのためのパラメータ（以下指定
パラメータと呼ぶ）を生成し、この指定パラメータを量
子化ステップ制御器３９に送る。

【００９９】ここで、上記高画質化する領域の指定がな
され、この高画質化する領域を含む画像を量子化する際
に、当該高画質化すべき領域の量子化ステップ幅を小さ
くすると、圧縮後のビットレートが全体として目標ビッ
トレートを外れてしまう虞れがあるので、量子化ステッ
プ制御器３９は、上記高画質化したい領域を除く他の部
分に対しては量子化ステップ幅を大きくすることで、目
標ビットレートを維持するようなレートコントロールを
行う。すなわち、上記量子化ステップ制御器３９は、指
定パラメータを受け取ると、この指定パラメータに基づ
いて、上記高画質化したい領域の画像の量子化ステップ
幅を小さくする制御を行うと共に、この高画質化する領
域を除く他の部分については量子化ステップ幅が大きく
なるような重み付けを上記情報量パラメータに対して行
う。

【０１００】なお、上記指定した領域の高画質化と共に
目標ビットレートの維持を行うことで、当然、高画質化
した領域を除く他の部分の画質は上記指定領域を高画質
化しなかった場合に比べて劣化することになるが、高画
質化した領域すなわち人間が特に注目している部分につ
いては高画質化されているので問題は少なく、容認する
ことができる。

【０１０１】また、上記量子化ステップ制御器３９は、
実際に使用された量子化ステップ幅の値とそれに対する
情報発生量とを集計しており、これを学習パラメータと
して組み込むようにもなされている。すなわち、当該量
子化ステップ制御器３９においては、前記情報量パラメ
ータ及び前記可変長符号化回路１７からの符号量を示す
情報に基づいて設定される基本量子化ステップ幅ＢＱの
値（すなわちこれが基本圧縮率に対応する）が大きくな
るかたちでフィードバックが行われ、これによってレー
トコントロールを行うようになされているので、破綻す
ることなく指定領域の画質を優先的に向上させることが
可能である。

【０１０２】ここで、上述のように作業者が指定した領
域の量子化ステップ幅を小さくして高画質化する量子化
ステップ制御を行うためのテーブルの一例を、図２から
図５に示す。なお、図２から図５には、前述したよう
に、指定した同一の領域内で優先度を付けた場合のテー
ブルの一例を示している。

【０１０３】図２と図４は、前記情報量パラメータ及び
前記可変長符号化回路１７からの符号量を示す情報に基
づいて量子化ステップ制御器３９において設定される量
子化ステップ（以下基本量子化ステップ幅ＢＱと呼ぶ）
と、上記指定パラメータをも加味することで量子化ステ
ップ制御器３９で設定される量子化ステップ幅Ｑと、優
先度ｎとの関係を３次元的に示し、それぞれ優先度ｎを
例えば５０段階の値で指定可能な例を表している。な
お、図２には優先度ｎで指定される量子化ステップ幅Ｑ
と基本量子化ステップ幅ＢＱとの差が大きい（すなわち
優先度ｎの重み付けが大きい）例を、図４には優先度ｎ
で指定される量子化ステップ幅Ｑと基本量子化ステップ
幅ＢＱとの差が小さい（すなわち優先度ｎの重み付けが
小さい）例を示し、図３には図２の基本量子化ステップ
幅ＢＱと量子化ステップ幅Ｑとの関係を２次元的に表示
し、図５には図４の関係を図３同様に２次元的に表示し
ている。なお、上記基本量子化ステップ幅ＢＱは、前述
のように入力画像情報量を考慮したものとするものの他
に、予め決定しておいたものを使用することも可能であ
る。

【０１０４】すなわち、これら図２及び図３と、図４及
び図５とから、本構成例では、優先度ｎに重みを付ける
と共に、優先度ｎの効き目に強弱をつけて調整すること
が可能となっている。このように、優先度ｎは例えば映
像の製作者側の気持ちを表し、効き目の強弱は実際に符
号化してみて最適なものを選ぶという具合に使用でき
る。なお、これらのテーブルはマクロブロックタイプ別
で異なるものを使うことも考えられる。

【０１０５】ここで、実際の画像に対して、高画質化す
る領域を指定し、当該指定した領域に対して図２や図５
のテーブルを使用して量子化ステップ幅のコントロール
を行う際の様子を、図６を用いてより具体的に説明す
る。

【０１０６】この図６において、例えば、１ピクチャの
サイズが１０×８ＭＢ（マクロブロック）であり、図６
のＡに示すように人間Ｈが写っているような画像Ｆであ
るとき、最も高画質であることが望ましい人間Ｈの顔の
範囲を高画質化する場合、先ず、作業者は、前記外部情
報入力手段６０によって、人間Ｈの顔の範囲Ｅを指定す
る（具体的には後述するように円形表示されたカーソル
のよって指定する）と共に、例えば顔の中央部分を高い
優先度とし、当該中央部分から周辺にいくに従って徐々
に優先度が低くなるように設定する。なお、このような
指定情報は１ピクチャ毎に有り得る。ただし、画像とし
て同じパターンが続くならば、記憶容量節約のために、
これら同じパターンの各ピクチャを指定し、そのパター
ンに対して指定情報を一つ設定するという方法も可能で
ある。

【０１０７】このようにして外部情報入力手段６０によ
って指定がなされ、上記高画質指定情報発生回路６１か
らその指定情報が送出されると、指定領域高画質化パラ
メータ設定回路６２は、量子化ステップ制御回路３９に
対して前記指定パラメータを送出する。

【０１０８】量子化ステップ制御回路３９では、上記指
定パラメータ及び前記重み付けされた情報量パラメータ
に基づいて、図６のＢに示すような優先度ｎを設定し
て、この優先度ｎに応じた量子化ステップ幅の情報を上
記量子化器１５に送る。なお、図６のＢ中の各数字は５
０段階で表される優先度ｎに対応し、値が５０のときに
は優先度が高いこと（すなわち量子化ステップ幅Ｑが小
さいこと）を表し、順次値が小さくなるに従って優先度
が低くなる（すなわち量子化ステップ幅Ｑが徐々に基本
量子化ステップ幅ＢＱに近づく）ことを表している。ま
た、値が０のときには、重み付けされた基本量子化ステ
ップ幅ＢＱが使用されることを表している。

【０１０９】これにより、上記人間Ｈの顔の範囲Ｅは、
優先度が高くなっているため、他の部分よりも小さい量
子化ステップ幅Ｑが使用されて高画質化されると共に、
当該範囲Ｅの中央部分は、より高画質化されるようにな
る。

【０１１０】次に、本構成例の構成における処理の流れ
を、図７のフローチャートに沿って説明する。

【０１１１】先ず、ステップＳ８１では、入力端子１に
入力された画像データが順次フレームメモリ４０へ格納
される。次に、ステップＳ８２では、動き検出器３８及
び動きベクトル発生回路３３によって、フレーム間予測
符号化で圧縮するために必要な動きベクトルを検出及び
発生させる。すなわち、このステップＳ８２では、予め
定められたスケジュールでフレームメモリ４０中の各画
像データをＰピクチャ或いはＢピクチャとして圧縮符号
化できるように、動き検出を行う。ここで、動き検出を
行う画像については、Ｉピクチャを規定しない。それは
どの画像データがＩピクチャになるのかこの時点では確
定していないからであり、またＩピクチャは動き補償を
必要としないため、後にどの画像データでもＩピクチャ
にすることが可能だからである。

【０１１２】次に、ステップＳ８３において、上記画像
情報評価回路５０は、上記動き検出をする際に用いられ
る最小歪み（Minimum Distortion）或いは誤差の絶対値
和（ＡＤ：Absolute Difference ）と呼ばれるものを符
号化に用いるパラメータの一つ（第２のパラメータ）と
して読み出し格納する。なお、上記誤差の絶対値和（Ａ
Ｄ）は、リファレンス側の画像を８×８ピクセルのブロ
ックに分割し、輝度データ８×８×４ピクセルと色差デ
ータ８×８×２ピクセルのマクロブロック（ＭＢ）に対
し、動き検出を行なった際に求めた動きベクトルで切り
だされるサーチ側のマクロブロックとの各画素同士の差
の絶対値和で、以下の式(1) で求めることができる。

【０１１３】

【数１】

【０１１４】これをさらにマクロブロック内のブロック
について集計したものを用いてマクロブロックの誤差の
絶対値和（ＡＤ）とする。このパラメータはフレーム間
予測符号化で圧縮する場合の画像の相関も考慮した情報
量の推定に用いるものである。

【０１１５】画像の情報量を推定するパラメータＳＡＤ
は、式(2) のように、一つの画像内の上記誤差の絶対値
和（ＡＤ）を合計したものである。

【０１１６】ＳＡＤ＝ΣＡＤ (2) もちろん、上記誤差の絶対値和（ＡＤ）以外に最小歪み
（Minimum Distortion）を用いてもよい。

【０１１７】次に、ステップＳ８３では、画像情報評価
回路５０において、上記動き検出で得られたパラメータ
以外に誤差の平均絶対値和（ＭＡＤ：Mean Absolute Di
fference）と、アクティビティ（Activity）を各画像毎
に評価する。

【０１１８】上記誤差の平均絶対値和（ＭＡＤ）はＩピ
クチャの情報量を推定するためのパラメータで、下記の
式(3) によって８×８画素のブロック毎に求め、必要に
応じてマクロブロック或いは画面で集計を行う。

【０１１９】

【数２】

【０１２０】これを、式(4) のように、マクロブロック
内のブロックについて合計し、さらに、式(5) のよう
に、マクロブロックの値を一つの画像内で合計してその
値を、その画像の（Ｉピクチャとしての）情報量を表す
パラメータＳＭＡＤとする。

【０１２１】ＭＡＤ＝Σ blockＭＡＤ (4) ＳＭＡＤ＝ΣＭＡＤ (5) また、上記アクティビティは、一つの画面の中でそのマ
クロブロックの画像の状態に応じてよりきめ細かに量子
化ステップを制御することによって画質を維持しなが
ら、より圧縮効率を高めるために、その画像の状態を定
量化するためのパラメータである。例えば一つのブロッ
ク内で画像が画素のレベル変化の少ない平坦な部分（フ
ラットな部分）では量子化による歪みが目立ち易く、量
子化ステップを小さくしてやるべきで、逆にレベル変化
が多い複雑なパターンのブロックでは量子化歪みは目立
ち難く、情報量も多いので量子化ステップを大きくする
べきである。そこで、例えばブロックの平坦度（フラッ
トネス）を表すパラメータをこのアクティビティとして
用いる。

【０１２２】次のステップＳ８４では、量子化ステップ
制御器３９において、レートコントロールのためのビッ
ト配分を行う。ここで、当該ステップＳ８４では、先ず
最初に、上記ステップＳ８３で求めた情報量パラメータ
に基づいて１画面毎の割り当て量をビット配分する。言
い換えれば、ここでのビット配分の際には、前述したよ
うな高画質化すべき領域に対して量子化ステップ幅を少
なくしてビット配分量を多くする処理に先立ち、予め調
べておいた画像の情報量パラメータを用いて各ピクチャ
に使用可能なビットの量を決定する。このとき、例えば
情報量の少ない画像やＢピクチャには少なく、情報量の
多い画像やＩピクチャには多くする。

【０１２３】例えば本構成例ではＧＯＰをその区間とし
て、次の式(6) ，式(7) のようにビット配分を行う。

【０１２４】 Total Bit Count ＝（Bit Rate [bit/s]× Number Of Picture In GOP [picture ])／（Picture Rate [picture/s]） [bit] (6) Available Bits＝（Total Bit Count ×ターゲットの画像情報量パラメータ）／画像情報量パラメータのＧＯＰ合計値） [bit] (7) この式(7) で使用している情報量パラメータは、先に述
べたパラメータＳＭＡＤ，ＳＡＤを用い、これに圧縮す
るピクチャタイプ別の乗数をかけたものである。なお、
上記乗数は各ピクチャタイプ間のパラメータと画質との
関係を調整するものである。

【０１２５】上記式(7) の上記情報量パラメータのＧＯ
Ｐ合計値は、式(8) に示すようにして求める。

【０１２６】情報量パラメータのＧＯＰ合計値＝Ki×ΣDifi＋Kp×ΣDifp＋Kb×ΣDifb Difi: Ｐピクチャの難易度 Difb: Ｂピクチャの難易度 (8) 上記量子化ステップ制御器３９においては、次のステッ
プＳ８５において、学習パラメータＡ，Ｂによる回帰予
測の処理に基づいて基本量子化ステップ幅の決定を行
う。すなわち、このステップＳ８５では、上述した１画
面のビット割当量と難易度から回帰予測による基本量子
化ステップの決定（予測）を行う。

【０１２７】上述のように１画面分の上記誤差の平均絶
対値和（ＭＡＤ）、誤差の絶対値和（ＡＤ）を集計する
ことで、１画面の情報量パラメータ（すなわち難易度）
が測定できる。したがって、過去の実績から、情報量パ
ラメータと量子化後のデータ量が決まれば量子化ステッ
プを推定することができる。

【０１２８】本構成例の量子化ステップ制御器３９は、
１画面毎の割当ビット量(allocated＿bit)と上記難易度
(difficulty)とから、以下の方法により一画面の基本の
量子化ステップ幅（量子化スケール：Q ＿scale)を決め
るようにしている。

【０１２９】先ず、式(10)に示すように、 log(allocated＿bit/difficulty) ＝A*log(Q ＿scale)+B (10) という関係があると仮定し、上記式(10)中のＡ，Ｂを予
め学習（実験）により求めておく。さらに、上記式(10)
を変形した式(11)から、上記量子化スケール(Q＿scale)
を求める。

【０１３０】 Q＿scale ＝exp((log(allocated＿bit/difficulty)-B)/A) (11) このようにして求めた量子化ステップ幅をそのピクチャ
の基本量子化ステップ幅とする。

【０１３１】次に、量子化ステップ制御器３９は、ステ
ップＳ８６からステップＳ８８において、前記高画質化
すべき領域に対する量子化ステップ幅のコントロールを
行う。すなわち、単に上記指定した領域の量子化スケー
ル(Q＿scale)の値を設定するような方法では、その領域
の画質は良くなるが、全体のレートコントロールを無視
して、画質の向上がなされる虞れがあるので、求めるビ
ットレートには収まり難く、すぐに出力バッファ１８が
破綻するような不安定なものとなってしまう。

【０１３２】本構成例では、上記指定した領域の量子化
ステップ幅を小さくする制御を行って当該領域の高画質
化を図ると共に、他の部分に対する基本量子化ステップ
幅を大きくする制御を行って全体のビットレートを目標
ビットレート内に収めるようにするために、先ず、ステ
ップＳ８６において、現在処理中のマクロブロックが、
上記高画質化すべきと指定された領域を構成するもので
あって前記優先度ｎが０より大きいか否かを判定する。
このステップＳ８６において、優先度ｎが０であると判
定された場合には、ステップＳ８８に進む。このステッ
プＳ８８では、当該マクロブロックのデータを基本量子
化ステップ幅ＢＱで量子化する。なお、優先度ｎが０で
あると判定された場合には、指定した領域の優先度やそ
の総和に反比例するように、指定した領域以外の部分の
量子化ステップ幅を大きくすることも可能である。これ
に対して、ステップＳ８６において、ｎ＞０であると判
定された場合には、ステップＳ８７に進む。当該ステッ
プＳ８７では、通常のアルゴリズムから導かれた基本量
子化ステップ幅ＢＱと優先度ｎの値に対応する量子化ス
テップ幅Ｑを前記テーブルから求め、上記量子化器１５
では当該量子化ステップ幅Ｑによって当該マクロブロッ
クのデータの量子化を行う。

【０１３３】このように、本構成例では、優先度という
値をそれら他のパラメータと同列で取り扱っている。な
お、他のパラメータに比べ優先度の効果を強めたければ
重み付をするなどの方法で対応することができる。

【０１３４】次のステップＳ８９では前記可変長符号化
回路１７において符号化を行う。上述のようにして圧縮
符号化の全てのパラメータが決まっているのでその後
は、ＭＰＥＧの規則にしたがって圧縮符号化する。

【０１３５】次のステップＳ９０ではマクロブロック毎
のビット発生量と、量子化スケール(Q＿scale)の集計を
行う。

【０１３６】最後に、ステップＳ９１では、前述した各
パラメータの更新を行う。すなわち、マクロブロック毎
の量子化ステップの平均と、マクロブロック毎の発生量
の合計値と、難易度（difficulty) とによる予測標本の
更新を行う。ここで、画像情報量と基本量子化ステッ
プ、圧縮後のデータ量の関係は、圧縮する画像に依存す
る。したがって、ここでは、その関係を表す式に用いる
パラメータ、予測パラメータを、圧縮後の実際のデータ
量をフィードバックすることにより学習させ、予測の精
度を向上させている。この場合、先ず、ピクチャタイプ
毎に学習パラメータＡ，Ｂを以下の方法により、学習
し、修正する。例えば、マクロブロック毎の量子化スケ
ール(Q-scale) の平均値を(average＿Q)とし、１画面圧
縮した後の発生量を(generated bit) とすると、式(12)
に示すように、 x = log(average＿Q), y = log(generated bit/ difficulty) (12) となり、ＡとＢのパラメータを最小２乗誤差法で以下の
式(13)、式(14)のようにして求める事ができる。なお、
式中ｎは標本数である。

【０１３７】Ａ＝(sum(x*y)-(sum(x) * sum(y))/n)／(sum(x*x)-(sum(x) * sum(x))/(n) (13) Ｂ＝（（ｓｕｍ（ｙ）／ｎ）−ａ）＊（ｓｕｍ（ｘ）／ｎ）
（１４）次に、前記高画質化すべき領域を前述したように再生画
像を見ながらリアルタイムで指定する場合の全体構成を
図８に示し、以下にこの図８の構成及びその動作につい
て説明する。

【０１３８】この図８のシステムは、画像が表示される
モニタ１００と、前記図１に示したようなＭＰＥＧのデ
コーダボードを内蔵したコンピュータ装置１０１と、当
該コンピュータ装置１０１に接続される前記外部情報入
力手段としてのキーボード１０２及びジョイスティック
１０３とを有すると共に、ビデオ情報やオーディオ情報
等をビデオカセットテープ等の記録媒体に対して記録／
再生するビデオカセットレコーダ１０４をも備えてなる
ものである。

【０１３９】当該図８のシステムにおいて、前記高画質
化すべき領域を再生画像を見ながらリアルタイムで指定
する場合の動作は以下のようになる。

【０１４０】先ず、ＭＰＥＧのデコーダボードを内蔵し
たコンピュータ装置１０１は、モニタ１００の画面上に
ＭＰＥＧ再生画像を表示すると共に、その画面上に円形
のカーソルＫをいわゆるスーパーインポーズにて表示さ
せる。

【０１４１】ここで、当該カーソルＫの中心点位置は、
ジョイスティック１０３の操作により変更できるもので
ある。すなわち、ジョイスティック１０３を図中Ａ_Ｎ方
向に操作したときにはモニタ１００の画面上のカーソル
Ｋがａ_N方向に移動し、以下同様にジョイスティック１
０３を図中Ａ_S方向に操作したときには画面上のカーソ
ルＫがａ_S方向に移動し、ジョイスティック１０３を図
中Ａ_E方向に操作したときには画面上のカーソルＫがａ_E
方向に移動し、ジョイスティック１０３を図中Ａ_W方向
に操作したときには画面上のカーソルＫがａ_W方向に移
動する。また、ジョイスティック１０３には上部にボタ
ン１０５が設けられており、このボタン１０５を図中Ａ
_D方向に押すことによってカーソルＫの有効／無効を制
御できるようになされている。なお、当該カーソルＫの
有効／無効は、例えばボタン１０５の操作に応じてカー
ソルＫの色を変化させることによって知ることができ
る。具体的には、カーソルＫの色が例えば白のときには
無効とし、例えば緑のときには有効とするようなことが
可能である。

【０１４２】また、キーボード１０２には複数のキーが
配列されており、これらキーには通常の文字入力機能の
他に上記カーソルＫの制御や、ビデオカセットレコーダ
１０４の制御のために、以下のような機能の割り当てが
なされている。

【０１４３】例えばキー「Ｄ」と「Ｆ］には上記円形カ
ーソルＫの大きさを制御するための機能が割り当てられ
ており、キー「Ｄ」を押すと上記円形カーソルＫの大き
さが大きくなり、キー「Ｆ］を押すと上記円形カーソル
Ｋの大きさが小さくなる。また、例えばキー「Ｒ」と
「Ｖ］には上記円形カーソルＫの形状を制御するための
機能が割り当てられており、キー「Ｒ」を押すと上記円
形カーソルＫが縦長の楕円形状になり、キー「Ｖ］を押
すと上記円形カーソルＫが横長の楕円形状になる。

【０１４４】例えばキー「Ｇ」，「Ｓ］，「Ｃ］，
「Ｔ」，「Ｅ］，「→］，「←］には上記ビデオカセッ
トレコーダ１０４を制御するための機能が割り当てられ
ており、キー「Ｇ」を押すと再生が開始され、キー
「Ｓ］を押すと再生が停止され、キー「Ｃ」を押すとコ
マ送り再生され、キー「Ｔ］を押す再生スピードが徐々
に速くなり、キー「Ｅ］を押す再生スピードが徐々に遅
くなり、「→］を押すと早送り、「←］を押すと早戻し
がなされる。

【０１４５】さらに、例えばキー「Ｏ」には前述した追
加モードのＯＮ／ＯＦＦの機能が割り当てられている。
すなわちキー「Ｏ」を押すことで情報追加モードのＯＮ
／ＯＦＦをトグルで切り換える。情報追加モードの場合
はカーソルＫは例えば破線にて表示され、通常のカーソ
ルＫと識別可能となされる。

【０１４６】上述したジョイスティック１０３とキーボ
ード１０２を用いた場合において、例えば右手でジョイ
スティック１０３を操作して、左手はキーボード１０２
のホームポジションに置くようにすれば、ブラインドタ
ッチで操作でき、視線は画面を見ていれば良い。なおこ
のとき、早送り、早戻し、情報追加モードのＯＮ／ＯＦ
Ｆの操作時だけは右手でキーボード１０２の対応するキ
ーを操作する。

【０１４７】次に、再生を開始して、画質を向上させた
い部分があれば、ジョイスティック１０３上のボタン１
０５を押してカーソルＫを有効なものとし、当該高画質
化したい部分にカーソルＫを合わせ、さらに当該カーソ
ルＫの大きさ、位置、形状を上述の対応するキーを操作
することで決定する。これら操作により、高画質化した
い部分の指定が終了したならば、ジョイスティック１０
３上のボタン１０５を再度押してカーソルＫを無効とす
る。

【０１４８】このようにしてカーソルＫが有効になって
いる間だけ、当該カーソルＫの座標情報とその画像のタ
イムコードを、コンピュータ装置１０１内部のハードデ
ィスク等の記録媒体に順次記録していく。ここで、この
記録時には、作業者の反応の遅れを考慮して、収録した
タイムコード情報から一定時間（例えば０．８秒）を差
し引いた値を記録することもできる。また、この一定時
間の定数は変えることも可能である。なお、多少のタイ
ムコード情報のズレや、座標情報の誤差は大きな影響を
与えないので、それほど入力インターフェイスの精度を
上げる必要はない。

【０１４９】また、上述のようにカーソルＫの指定を行
った後に、万一、やり直したいときには、早戻しにより
巻戻してから再度入力し直すことも可能である。このと
き、一度入力した情報があれば、その情報対応して画面
上に例えば赤色のカーソルとして表示するようにする。
このような場合は、画面上にカーソルが二つ表示される
ことになる。これにより、作業者は一度入力した情報の
内容を知ることが可能となる。ここで、上記再度の入力
を行うと、以前の情報は当該新しい情報に置き換えられ
る。なおここで、キー「Ｏ」を押して情報追加モードに
すると、古い情報を消さずに新しい情報が追加の情報と
して記録される。一つの画面上に高画質化したい部分を
複数指定する場合には、当該情報追加の機能を使用すれ
ば、何カ所でも情報を収集できることになる。

【０１５０】その他、余りにも被写体の動きが激しいよ
うな場合には、前記コマ送りの機能を使用するようにす
る。すなわち、１フレームずつカーソルを操作指定して
コマ送りさせていけば、動きが激しい被写体に対しても
正確にカーソルの指定が可能となる。なお、この場合の
タイムコード情報は、一定時間を差し引くようなことは
行わずに記録する。また、コマ送りでなくともスロー再
生にして上記同様の操作を行うようにすれば、リアルタ
イムよりは多少時間がかかるが、効率良くデータを入力
できる。この場合に、タイムコード情報から差し引かれ
る値はノーマル再生時よりも小さな値となる。この定数
も設定可能である。

【０１５１】なお、上述したジョイスティック１０３や
キーボード１０２の機能割り当てはあくまでも一例であ
り、作業者が使い易いように変えることが可能である。
また、ジョイスティックの代わりに、前述したようない
わゆるマウスやトラックボール、タブレット等を使用す
ることもでき、キーボードの代わりに専用のインターフ
ェイスを作る場合も考えられる。

【０１５２】さらに、カーソルの自動被写体追尾の機能
を利用することもできる。この場合、作業者が追尾する
被写体を一旦指定すれば、それ以降は当該被写体が画面
から消えるまでは画面上で自動的に追尾されるようにな
り、したがって、作業者はカーソルの位置を手動で指示
する必要がなく、それ以外の操作、例えばカーソルの形
状や大きさの指定の操作のみを行えば良い。また、自動
追尾が間違った場合なども、作業者は上記と同じように
巻戻してからやり直すことができる。なお、自動被写体
追尾の精度が向上すれば、作業者の作業量は減ることに
なるが、画面内で何れの部分の画質を向上させたいかは
あくまでも人間（作業者）が指示する。

【０１５３】上述の説明では、高画質化すべき領域を再
生画像を見ながらリアルタイムで指定する場合について
述べたが、原画像を見ながらリアルタイムで指定する場
合として、エンコードする前に上述と同様にして座標、
タイムコード情報を収集してからエンコードする方法も
ある。この場合は、ＭＰＥＧ再生画像の代わりに、素材
の記録媒体（テープ）をビデオカセットレコーダ１０４
にて再生して画面に表示して、上述のようなカーソルの
指定を行う。なお、再生のコントロールは、コンピュー
タ装置１０１から例えばいわゆるＲＳ−４２２等の信号
にてビデオカセットレコーダ１０４を操作して行う。

【０１５４】次に、以下に、前述した視線検出の方法に
ついて説明する。この場合は、ジョイスティック１０３
によってカーソルＫの位置を指定する代わりに、人間の
視線センサを使用した指定を行う。この視線検出の方法
については、本件出願人による特開平６−８２４７４号
公報にて開示されている。この視線検出の方法について
簡単に説明する。図９は、視線検出の原理を説明する図
である。この図９において、光源から照射された光が眼
球の角膜で反射され、この反射光がレンズで集光されて
実像が結ばれる。ここで角膜の曲率の中心は眼球の回転
中心とは一致しておらず、眼球が回転すると実像の位置
も移動されることになる。そこで、この実像の位置を測
定することによって、眼球の回転方向（すなわち視線）
を観測することができる。なお、この技術は、一般にア
イ・カメラ（テレビジョン・アイ・マーカ・カメラ）と
呼ばれて実現されているものである。ただし、一般のア
イ・カメラでは眼球の回転中心を固定するために、顔面
固定器等を用いる必要がある。

【０１５５】なお、上述した説明では、指定した領域の
重要度を上げて高画質化することについて述べたが、逆
に指定した領域の重要度を下げて低画質化すると共に目
標ビットレートを維持することで、結果として他の部分
或いは他の画像の画質を上げるようなことも、本発明に
含まれることは言うまでもない。

【０１５６】

【発明の効果】本発明の画像圧縮装置及び方法において
は、入力画像データを圧縮する際に、画像の作製者が意
図する任意の領域を指定し、この指定した領域の重要度
を設定することで、当該指定した領域の画像を所望の重
要度で圧縮することができ、例えば、当該指定した領域
の重要度を上げれば、画像の作製者が意図する領域の画
像を高画質化することができる。また、基本圧縮率を、
この指定した領域の重要度に基づいて変更することで、
圧縮後のビットレートを目標ビットレート内に収めるこ
とも可能となる。

【図面の簡単な説明】

【図１】本発明構成例の画像圧縮装置の概略構成を示す
ブロック回路図である。

【図２】優先度で指定される量子化ステップ幅と基本量
子化ステップ幅との差が大きい場合の３次元テーブルを
示す図である。

【図３】図２の基本量子化ステップ幅と量子化ステップ
幅との関係を２次元的に表示した図である。

【図４】優先度で指定される量子化ステップ幅と基本量
子化ステップ幅との差が小さい場合の３次元テーブルを
示す図である。

【図５】図４の基本量子化ステップ幅と量子化ステップ
幅との関係を２次元的に表示した図である。

【図６】高画質化すべき領域の指定と優先度の一例を説
明するための図である。

【図７】本構成例装置の動作を説明するためのフローチ
ャートである。

【図８】本構成例装置が適用されるシステム構成の一例
を示す図である。

【図９】視線検出の原理説明に用いる図である。

【図１０】従来の画像圧縮装置の概略構成を示すブロッ
ク回路図である。

【図１１】画像の解像度と構成について説明するための
図である。

【図１２】マクロブロックとブロックについて説明する
ための図である。

【図１３】ジグザグスキャンについて説明するための図
である。

【図１４】ＧＯＰの一例について説明するための図であ
る。

【符号の説明】

５０フレームメモリ、１１ブロック分割器、１
２差分器、１３，２４スイッチ、１４ＤＣＴ
回路、１５量子化器、１６ジグザグスキャン回
路、１７可変長符号化回路、１８出力バッフ
ァ、３９量子化ステップ制御器、３８動き検出
器、２１動き補償器、２５加算器、２６逆
ＤＣＴ回路、２７逆量子化器、３３動きベクト
ル発生回路、６０外部情報入力手段、６１高画
質指定情報発生回路、６２指定領域高画質化パラメ
ータ設定回路

Claims

【特許請求の範囲】

【請求項１】入力画像データを圧縮する圧縮手段と、上記圧縮手段で上記入力画像データを圧縮する際の基本
圧縮率を設定する基本圧縮率設定手段と、入力画像のうちの任意の領域を指定する指定手段と、上記指定手段が指定した領域に対応する入力画像データ
を圧縮するときの重要度を設定する指定領域重要度設定
手段と、上記指定領域重要度設定手段により設定された上記指定
した領域に対する重要度に基づいて上記基本圧縮率を変
更する圧縮率変更手段とを有することを特徴とする画像
圧縮装置。
【請求項２】上記圧縮率変更手段は、上記指定した領
域に対する重要度に基づいて上記基本圧縮率を変更する
ことにより、圧縮後のデータレートを目標データレート
に制御するデータレート制御手段を含むことを特徴とす
る請求項１記載の画像圧縮装置。
【請求項３】上記指定手段は、画面上の任意の部分を
指示するための指示画像を発生する指示画像発生手段
と、当該画面上に表示された指示画像を操作者の操作に
応じて移動させる指示画像移動手段とを含み、上記任意
の領域の指定を画面上に表示した指示画像の位置を検出
することにより行うことを特徴とする請求項１記載の画
像圧縮装置。
【請求項４】上記指定手段は、画面上での操作者の目
の焦点位置を検出する焦点位置検出手段を含み、上記任
意の領域の指定を画面上の目の焦点位置を検出すること
により行うことを特徴とする請求項１記載の画像圧縮装
置。
【請求項５】上記指定手段は、上記任意の領域を複数
指定することを特徴とする請求項１記載の画像圧縮装
置。
【請求項６】上記指定手段は、上記指定した領域内で
重要度の優先順位を設定する優先順位設定手段を含むこ
とを特徴とする請求項１記載の画像圧縮装置。
【請求項７】上記指定手段は、上記複数指定した各領
域に重要度の優先順位を設定する優先順位設定手段を含
むことを特徴とする請求項１記載の画像圧縮装置。
【請求項８】上記優先順位設定手段は、上記指定した
領域内で等高線状に優先順位の指定を行うことを特徴と
する請求項６記載の画像圧縮装置。
【請求項９】上記優先順位設定手段は、上記複数指定
した各々の領域内で等高線状に優先順位の指定を行うこ
とを特徴とする請求項７記載の画像圧縮装置。
【請求項１０】上記圧縮手段は入力画像を複数に分割
した各ブロック毎に圧縮を行い、上記入力画像データの
圧縮は当該ブロック単位で行うことを特徴とする請求項
１記載の画像圧縮装置。
【請求項１１】上記圧縮率変更手段は、実際に圧縮に
使用した圧縮率と圧縮後のデータ量と上記基本圧縮率と
上記指定した領域に対する重要度との関係を学習し、当
該学習結果に応じて圧縮率の予測を行うことを特徴とす
る請求項１記載の画像圧縮装置。
【請求項１２】入力画像データを圧縮する際の基本
圧縮率を設定する基本圧縮率設定ステップと、入力画像のうちの任意の領域を指定する指定ステップ
と、上記指定ステップが指定した領域に対応する入力画像デ
ータを圧縮するときの重要度を設定する指定領域重要度
設定ステップと、上記指定領域重要度設定ステップにより設定された上記
指定した領域に対する重要度に基づいて上記基本圧縮率
を変更する圧縮率変更ステップと、上記圧縮率変更ステップにより得られる圧縮率を使用し
て入力画像データを圧縮する圧縮ステップとを有するこ
とを特徴とする画像圧縮方法。
【請求項１３】上記圧縮率変更ステップは、上記指定
した領域に対する重要度に基づいて上記基本圧縮率を変
更することにより、圧縮後のデータレートを目標データ
レートに制御するデータレート制御ステップを含むこと
を特徴とする請求項１２記載の画像圧縮方法。
【請求項１４】上記指定ステップは、画面上の任意の
部分を指示するための指示画像を発生する指示画像発生
ステップと、当該画面上に表示された指示画像を操作者
の操作に応じて移動させる指示画像移動ステップとを含
み、上記任意の領域の指定を画面上に表示した指示画像
の位置を検出することにより行うことを特徴とする請求
項１２記載の画像圧縮方法。
【請求項１５】上記指定ステップは、画面上での操作
者の目の焦点位置を検出する焦点位置検出ステップを含
み、上記任意の領域の指定を画面上の目の焦点位置を検
出することにより行うことを特徴とする請求項１２記載
の画像圧縮方法。
【請求項１６】上記指定ステップは、上記任意の領域
を複数指定することを特徴とする請求項１２記載の画像
圧縮方法。
【請求項１７】上記指定ステップは、上記指定した領
域内で重要度の優先順位を設定する優先順位設定ステッ
プを含むことを特徴とする請求項１２記載の画像圧縮方
法。
【請求項１８】上記指定ステップは、上記複数指定し
た各領域に重要度の優先順位を設定する優先順位設定ス
テップを含むことを特徴とする請求項１２記載の画像圧
縮方法。
【請求項１９】上記優先順位設定ステップでは、上記
指定した領域内で等高線状に優先順位の指定を行うこと
を特徴とする請求項１７記載の画像圧縮方法。
【請求項２０】上記優先順位設定ステップでは、上記
複数指定した各々の領域内で等高線状に優先順位の指定
を行うことを特徴とする請求項１８記載の画像圧縮方
法。
【請求項２１】上記圧縮ステップは入力画像を複数に
分割した各ブロック毎に圧縮を行い、上記入力画像デー
タの圧縮は当該ブロック単位で行うことを特徴とする請
求項１２記載の画像圧縮方法。
【請求項２２】上記圧縮率変更ステップでは、実際に
圧縮に使用した圧縮率と圧縮後のデータ量と上記基本圧
縮率と上記指定した領域に対する重要度との関係を学習
し、当該学習結果に応じて圧縮率の予測を行うことを特
徴とする請求項１２記載の画像圧縮方法。