JPH08140088A

JPH08140088A - 画像符号化装置

Info

Publication number: JPH08140088A
Application number: JP27659994A
Authority: JP
Inventors: Noboru Yamaguchi; 口昇山; Toshiaki Watanabe; 邊敏明渡; Kenji Datake; 竹健志駄; Yoshihiro Kikuchi; 池義浩菊; Takashi Ida; 田孝井; Takeshi Nakajo; 條健中
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1994-11-10
Filing date: 1994-11-10
Publication date: 1996-05-31
Anticipated expiration: 2021-08-02
Also published as: JP3805393B2

Abstract

(57)【要約】【目的】画面サイズ（面積）と注視点分布領域との関
係に着目し、再生画像表示装置のサイズが小画面になる
のに連動させて符号量の絶対量は変化させずに割当のみ
を変化させて効率的に情報を圧縮する。【構成】入力された画像データ信号に基づいて再生さ
れる再生画面の面積を判定する画面面積判定手段と、判
定された前記再生画面の面積の判定結果に基づき画面に
おけるデータ符号量を画面のどの領域にどの程度ずつ割
当てるのかを制御する符号量割当制御手段と、各領域毎
に割り当てられた符号量に従って入力された前記画像デ
ータ信号を符号化する符号化手段と、を備えている。【効果】人間の視覚特性において視認対象が小さい場
合には注視点分布が余り拡散しないという点に着目し
て、画面サイズが小さい場合に再生画面全体の符号量を
変化させずに画面各領域における符号量の割当てを変え
るようにして、再生画像の画質を主観的に向上させてい
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、画像信号を高能率に
符号化して伝送したり蓄積したりする画像符号化装置に
係り、特に腕時計等に組込める程度の小画面の液晶ディ
スプレイ等に画像を表示させるために画像信号を符号化
伝送する画像符号化装置に関する。

【０００２】テレビ電話やテレビ会議等に用いられる画
像の符号化に際しては、人間の視覚特性を利用して効率
的にデータを圧縮して用いている。ここで利用される画
像の歪に対する人間の視覚特性としては、以下のような
ものがある（参照：原島博監修テレビジョン学会編「画
像情報圧縮」ｐ．１２）。 (1) ひずみ知覚の周波数特性時間的に変化するひずみ
や空間周波数が高いひずみは目につきにくい。 (2) 画像の絵柄との関係ひずみは画像の平坦部分で知
覚されやすく、輪郭部では目につきにくい。ただし、こ
れは静止画の場合で、動画では輪郭部分のひずみはエッ
ジビジネスとなって逆に目障りとなる。 (3) 画像と動きとの関係一定速度以上で画像が動いて
いて、視線がその動きに追従できない場合は、ひずみの
知覚感度が低下する。 (4) シーン切換えとの関係シーンが切換わった直後
は、解像度をかなり落としても目につかない。 (5) 画面の明るさとの関係同じレベルの画像ひずみ
は、画面が暗い程目だつ。 (6) 色信号と輝度信号色信号は輝度信号に比べてひず
みが目につきにくいので、例えば色信号標本点を間引く
ことができる。

【０００３】また、網膜上の視細胞の分布の関係上、視
野の中心部に比べて周辺部の視力（空間分解能）が劣る
ため、形状、構造や詳細な内容等の情報を得るには、視
線を動かす（眼球運動）必要がある（テレビジョン学会
編，「画像情報圧縮」オーム社，ｐ．４１参照）。した
がって、人間の視覚特性を考慮した画像の鮮明度の判断
は、客観的な要素としての画像の解像度に加えて主観的
な要素である人間の視線の移動に左右されていることに
なる。

【０００４】一方、人間がものを見る場合、対象物が小
さいときは１点を中心とした特定の範囲を見つめること
により全体の形状等を認識することが可能であるが、対
象物が大きいときは全体の形状等を捕らえるために多数
の点を含む広い範囲を注視する必要がある。テレビジョ
ン受像機を見る場合も、画面が大きいときは視線を頻繁
に移動させることにより一定の範囲内に多数の注視点が
分布することになるが、画面が小さいときには注視点の
分布する範囲がそれほど広がることはない。

【０００５】近年急速に実施化に向かっているハイビジ
ョンテレビシステムにおける表示画面が、現行テレビジ
ョンシステムの表示画面よりも大きいために注視点分布
領域が異なる旨の記述が「画質と音質の評価技術」（テ
レビジョン学会編，昭晃堂)に開示されている（第１１
８頁参照）。同文献同頁の図５．２２には、同じ内容の
番組を用いて標準観察条件でハイビジョン画像と現行テ
レビジョン画像とを観察したときの画面面積に対する注
視点分布領域の割合の測定結果が示されている。同図
は、注視点が画面の中心を原点として水平方向及び垂直
方向共に正規分布するものと仮定して標準偏差の３倍で
楕円近似することにより表現したものである。画面面積
に対する注視点分布領域の割合は、現行テレビジョンシ
ステムにおいては約６０％であるのに対して、ハイビジ
ョンシステムでは約８０％に達するという実験結果が示
されている。すなわち、画面サイズが小さくなるに従い
注視点分布領域の割合が小さくなり、画面中心部に集中
する。したがって、画面の周辺部では、視覚の空間分解
能が劣るために前処理により空間解像度を落としたり、
ひずみの割当てを重み付けすることにより、効率的に情
報圧縮を行なうことができる。

【０００６】因みに、視野の中心部での視覚特性（中心
視）と視野の周辺部での視覚特性（周辺視）との違いを
利用して、効率的に情報量の圧縮を行なう方式として
は、例えば「視覚パターン画像シーケンス符号化」
（“Visual Pattern Image Sequence Coding”，Aug.,
1993, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FO
R VIDEO TECHNOLOGY, VOL.3 NO.4, pp.291-301）に開示
されている方法がある。このうち文献に記載されている
技術は、画面の中心点から半径ｒの位置に関する関数を
求め、この関数を用いて画面の周辺部の解像度を落とし
ているものである。

【０００７】また、視覚的に重要な領域と重要でない領
域とのそれぞれにおける割当符号量の配分を変えること
により、情報圧縮を行なう方法としては、以下の２つの
ものがある。その１つは、テレビ電話の用途に適用され
ることを想定して提案されたもの（特開平１‐８０１８
５号「動画像符号化方式」）であり、通話相手の顔面に
注視点が集中することを前提とし、顔面領域を検出して
この顔面領域に多くの符号量を割り当てるようにするも
のである。他の１つも上記の提案と同様にテレビ電話に
適用されるものであり（特開平５‐９５５４１号）、上
記のものと同様に顔面領域を検出して、顔面以外の領域
に時空間フィルタを掛けることによりこの顔面以外の領
域の発生符号量を抑え顔面領域に割り当てられる符号量
を増加させている。

【０００８】これらの従来技術は何れも人間の視覚特性
に注目して、注視点分布において注視点が集中する領域
と注視点が余り集まらない領域との符号化データ量を異
ならせることにより、両者共に再生画像を視認する者に
自然な状態の画像を提供しようとするものである。

【０００９】

【発明が解決しようとする課題】上述したように、従来
の画像符号化方式は何れも視覚的に重要でない領域の発
生符号量を抑え、重要な領域に割り当てる符号量を多く
することにより人間の視覚特性を利用した効率的な情報
圧縮を図るようにしている。しかしながら、上記２つの
公開公報に記載されている技術は何れも画面中の領域を
注視点分布の集中の度合いにより分類して割当符号量を
異ならせるようにしているのみであり、上記文献「画質
と音質の評価技術」に記載されている注視点分布が画面
のサイズ（面積）により異なるという人間の視覚特性を
考慮していない。また、有線伝送路に比較すると帯域が
狭い無線伝送路を経由させて画像データを伝送する場合
には、帯域の狭さに起因する伝送量の限界により再生画
像の解像度は一般的に低下してしてしまい、画面のサイ
ズ（面積）は必然的に小さくなってしまうという問題も
あった。

【００１０】この発明は、上記問題点を除去するために
なされたものであり、画面サイズ（面積）と注視点分布
領域との関係に着目して、再生画像表示装置のサイズが
小画面になるのに連動させて符号量の絶対量は変化させ
ずに割当のみを変化させることにより効率的に情報を圧
縮することのできる画像符号化装置を提供することを目
的としている。

【００１１】

【課題を解決するための手段】上記目的を達成するた
め、この発明に係る画像符号化装置は、入力された画像
データ信号に基づいて再生される再生画面のサイズ（面
積）を判定する画面面積判定手段と、判定結果に基づい
て画面の領域毎のデータ符号量の割当てを制御する符号
量割当制御手段と、各領域毎に割り当てられた符号量に
従って入力された前記画像データ信号を符号化する符号
化手段と、を備えることを特徴としている。

【００１２】

【作用】以上の構成によれば、入力された画像データ信
号を内部的に解析して画面サイズを判定し、または外部
的にマニュアル設定されたモードにより画面サイズを指
定して、この画面サイズに対応する符号量割当てのため
の重み関数を変更するように設定する。この設定された
重み関数を用いて符号量の割当て量を決定し、この割当
て量に基づいて画像データ信号の符号化が行われる。し
たがって、画面の面積に応じて重み付け関数を用いて符
号量の割当を変更させることになり、人間の視覚特性を
考慮して重み付け関数を設定しておけば画面のサイズを
判定もしくは指定するだけで、充分に実用に耐え得る程
度の最適な画面が得られる。

【００１３】また、この発明に係る画像符号化装置は、
画面面積判定手段の具体的構成として、入力された前記
画像データ信号の信号量等に基づいて再生画像の画面面
積を内部的に判定しても良いし、マニュアル操作により
画面サイズを外部的に指定するようにしても良い。内部
的な処理により判定する場合には、前記画像データ信号
の信号量を検出して再生画面の画素数から再生画像の解
像度を検出するようにしても良いし、画像データ信号の
一部に画面サイズに関する情報を含めて伝送してこの情
報を判定手段により解析して画面サイズを判定するよう
にしても良い。

【００１４】

【実施例】以下、この発明の好適な実施例について添付
図面を用いて詳細に説明する。図１はこの発明の基本概
念を示すブロック図である。同図において、１は画像デ
ータ信号を入力する入力端子、３は端子１を介して入力
された画像データ信号Ｓ１を解析して、または外部から
のマニュアル設定により再生画面の面積を判定する画面
面積判定手段、４は画面面積判定手段３からの判定結果
に基づいて画面面積に対応する重み付け関数を用いて符
号量の割当を制御する制御信号Ｓ２を出力する符号量割
当制御手段、１０は前記符号量割当制御手段からの制御
信号Ｓ２を用いて入力された前記画像データ信号Ｓ１を
符号化する符号化手段である。

【００１５】図１に示される符号化手段１０のより詳細
な構成が図２のブロック図に示されている。前記画像デ
ータ信号Ｓ１は、動きベクトル検出回路１１，差分回路
１２及びモード判定回路１３に供給される。この符号化
手段１０は更に、動き補償用可変遅延機能を有し参照フ
レームを蓄積する参照フレームメモリ１４と、入力信号
または差分信号を出力するセレクタ１５と、０レベルの
信号または動き補償信号を出力するセレクタ１６と、セ
レクタ１５の出力を離散コサイン変換（Discrete Cosin
e Transform ―ＤＣＴ―）するＤＣＴ回路１７と、入力
された前記制御信号Ｓ２による重み付けに従い前記ＤＣ
Ｔ回路１７の出力に量子化及び逆量子化処理を加える量
子化・逆量子化手段２０と、量子化・逆量子化手段２０
の出力を逆離散コサイン変換する逆ＤＣＴ回路１８と、
前記セレクタ１６及び逆量子化回路１８の出力を加算す
る加算回路１９と、を備えている。前記量子化・逆量子
化手段２０は、量子化回路２１及び逆量子化回路２２と
を備えている。

【００１６】以上の構成において、動きベクトル検出回
路１１は、動き補償用可変遅延機能を有する参照フレー
ムメモリ１４に蓄えられている参照フレームと、入力さ
れた画像データ信号Ｓ１との間の動きベクトルを、１６
×１６画素で構成されるマクロブロック（ＭＢ）毎に検
出する。差分回路１２は、参照フレームメモリ１４より
供給される参照フレームの動き補償信号Ｓ３と入力され
た画像データ信号Ｓ１との間の差分をマクロブロック毎
に求め、モード判定回路１３及びセレクタ１５に供給す
る。モード判定回路１３は、差分回路１２より出力され
る差分信号Ｓ４の値と入力された画像データ信号の交流
成分の値とを比較して、当該ブロックをフレーム内符号
化するのかフレーム間符号化するのかを判定する。その
判定結果は、セレクタ１５及びこれを介してセレクタ１
６へと供給されている。

【００１７】セレクタ１５は、フレーム内符号化を行な
うように判定された場合には入力された画像データ信号
Ｓ１を選択し、フレーム間符号化を行なうように判定さ
れた場合には差分信号Ｓ４を選択して、被選択信号Ｓ５
をＤＣＴ回路１７に供給する。

【００１８】ＤＣＴ回路１７は、被選択信号Ｓ５を離散
コサイン変換係数Ｓ６に変換し、量子化・逆量子化手段
２０に供給する。

【００１９】量子化・逆量子化手段２０は、量子化回路
２１により符号量割当制御手段のレート制御回路（図示
されず）より供給されてきた量子化ステップサイズに関
する制御信号Ｓ２に従って、ＤＣＴ回路１７より供給さ
れてきた離散コサイン係数Ｓ６を量子化して変換係数信
号Ｓ７を出力する。また、前記この量子化信号Ｓ７は逆
量子化回路２２にも供給されており、この逆量子化回路
２２は前記量子化ステップサイズに関する制御信号Ｓ２
に従い、変換係数信号Ｓ７を離散コサイン係数Ｓ６に逆
量子化する。

【００２０】逆ＤＣＴ回路１８は逆量子化により形成さ
れた離散コサイン係数Ｓ６を離散コサイン逆変換してセ
レクタ１５により選択された何れかの信号を再生する。
即ち、フレーム内符号化を行なうように判定された場合
であれば画像データ信号Ｓ１に相当する信号が再生さ
れ、また、フレーム間符号化を行なうように判定された
場合には差分信号Ｓ４に相当する信号が再生される。逆
ＤＣＴ変換回路１８が逆変換して生成した信号は加算回
路１９に供給される。

【００２１】一方、セレクタ１６はモード判定回路１３
により判定されたモードがフレーム内符号化の場合には
０レベルの信号を選択し、モードがフレーム間符号化で
ある場合には参照フレームメモリ１４に蓄積されている
動き補償予測信号Ｓ３を選択して加算回路１９に供給す
る。加算回路１９は、セレクタ１６及び逆ＤＣＴ回路１
８のそれぞれの出力を加算して前記参照フレームメモリ
１４に供給する。参照フレームメモリ１４は、加算回路
１９より出力された加算信号を蓄積し、動きベクトル検
出回路１１が動きベクトル検出動作を行なう際に参照フ
レーム画像信号を供給する。なお、量子化回路２１によ
り量子化された変換係数Ｓ７は動きベクトル等のサイド
情報と共に可変長符号化された後、多重化されて出力さ
れる。

【００２２】次に、図３ないし図７に従いこの発明に係
る画像符号化装置の第１実施例について説明する。図３
において、入力端子１と出力端子２との間には、入力画
像データＳ１を符号化するエンコーダ２５が設けられて
いる。画像データ信号Ｓ１は、画面面積判定手段３とし
ての解像度検出回路２３にも供給されている。解像度検
出回路２３は、入力画像データ信号の解像度（画素数）
を検出して、画素数の情報を符号量割当制御回路２４に
供給する。符号量割当制御回路２４は、まず入力画像の
画素数に応じて画面内の位置に応じた符号量の割当ての
ための重み分布関数を変化させる。ここで、符号量割り
当ての重み分布関数は、前記参考文献「画質と音質の評
価方法」の図５．２２に示されているように、２次元の
正規分布の標準偏差を画素数の関数としたものであって
も良い。図４は前記文献の図５．２２を書き直したもの
であり、現行のテレビジョンシステムの画郭２６におけ
る注視点分布２７と、ハイビジョンシステムの画郭２８
における注視点分布２９との関係を示している。図より
明らかなように画面のサイズが大きくなれば注視点分布
も広がっている。したがって、注視点の２次元の正規分
布は画素数の関数として重み分布関数に応用することが
できる。また、符号量の割当てのための重み分布関数
は、図５に示すように、マクロブロック（ＭＢ）毎に領
域を分け、領域毎に重みを切換えるようにしても良い。
すなわち、図５において、点線により区切られたブロッ
クがマクロブロック（ＭＢ）であり、領域３１の方が領
域３２よりも発生符号量が抑えられるように重み付けが
なされている。この分布関数は、図５（ａ）に示される
ような画素数の少ない画像の方が、図５（ｂ）に示され
るような画素数の多い画像よりも画面の中心部における
重みが大きくなるように設定されている。このように設
定された重み分布関数は、エンコーダ２５に供給され
る。

【００２３】エンコーダ２５は、符号量割当て制御回路
２４より供給された符号量割当て重み分布関数に従っ
て、量子化・逆量子化回路２０において画面内の画素位
置あるいはブロックの位置に応じて量子化特性を変える
ことにより発生させる符号量の重み付けを行なう。量子
化特性を変える第１の方法としては、図２に示されるよ
うな直交変換を用いる符号及びサブバンド符号化におい
ては、図５（ａ）（ｂ）の周辺に位置する第１の領域３
１及び３３については図６の境界ｂ１よりも高い周波数
成分の係数を強制的に符号化しないようにし、中間に位
置する第２の領域３２及び３４については境界ｂ２より
も高い周波数成分の係数を強制的に符号化しないように
するものがある。

【００２４】また、量子化特性を変える第２の方法は、
変換係数毎に重み付けされた量子化マトリックスを図５
の第１の領域３１と第２の領域３２との間または第１の
領域３３と第２の領域３４の間で切替えるものである。
さらに、量子化特性を変える第３の方法は、図７に示さ
れるように、量子化器のデッドゾーンを変えるものであ
る。図７において、符号３５はデッドゾーンであり、ま
た、３６は量子化の代表値である。

【００２５】次に、図８ないし図１０を参照しながら、
この発明の第２実施例に係る画像符号化装置について詳
細に説明する。画像データ信号Ｓ１はフレームメモリ３
８に供給されており、このフレームメモリ３８は現フレ
ームの画像信号Ｓ８を解像度検出回路２３及び時空間フ
ィルタ４０に供給すると共に、前フレームの画像信号Ｓ
９を時空間フィルタ４０のみに供給する。時空間フィル
タ４０の詳細な構成については図９に示されている。図
９において、時空間フィルタ４０は、現フレームの画像
信号Ｓ８を空間フィルタ処理するフレーム内フィルタ回
路４１と、フレーム内フィルタ回路４１の出力をｋ倍す
る乗算回路４２と、入力された前フレームの画像信号Ｓ
９を「１−ｋ」倍する乗算回路４３と、前記上座回路４
２及び４３の乗算出力を加算する加算回路４４と、を備
えている。ここで、この時空間フィルタ４０のフレーム
内フィルタ回路４１により図１０（ａ）及び（ｂ）にそ
れぞれ示されている画素Ｘの出力＊Ｘを求める場合の演
算式の具体的な一例を示すと以下のようになる。＊Ｘ＝（Ａ＋ｍＢ＋Ｃ＋ｍＤ＋ｍＥ＋Ｆ＋ｍＧ＋Ｈ＋ｍ
²Ｘ）／（ｍ＋２）² ここで、ｍは空間フィルタの強さを変える変数である。

【００２６】フレーム内空間フィルタ回路４１の出力＊
Ｘは、乗算回路４２によりｋ倍された後、乗算回路４３
により前フレームの入力画像信号Ｐを「１−ｋ」倍した
値と加算回路４４において加算されることにより、時間
フィルタ処理が行われる。ここで、ｋは時間フィルタの
強さを変える係数である。なお、図１０（ａ）は、画素
Ｘと画素Ｐとの位置関係を表す図である。係数ｍ及びｋ
は、符号量割当て制御回路２４より供給された制御信号
Ｓ２に含まれる符号量重み分布関数に従って、図５の第
２の領域３２よりも第１の領域３１での係数の値の方が
小さくなるように設定されている。これにより、第１の
領域３１の方の画像信号に対して時空間フィルタが強く
掛かることになり、発生符号量を抑えることができる。
時空間フィルタ４０の出力は、信号Ｓ１０としてエンコ
ーダ２５に供給されて、ここで符号化されて出力端子２
を介して外部に出力される。

【００２７】次に、図１１を参照しながらこの発明に係
る画像符号化装置の第３実施例について説明する。この
第３実施例による画像符号化装置は、図８に示される第
２実施例による画像符号化装置のエンコーダ２５の構成
が、図３の第１実施例による画像符号化装置のような量
子化・逆量子化回路２０を備えており、符号量割当て重
み分布関数が時空間フィルタ４０に供給されると共にこ
のエンコーダ２５の量子化・逆量子化回路２０にも供給
される構成となっている点で第２実施例の装置と異なっ
ている。図１１において、時空間フィルタ４０の係数ｍ
及びｋは、符号量割当て制御回路２４より供給される制
御信号Ｓ２に含まれる符号量割当て重み分布関数に従っ
て、図５の第２の領域３２よりも第１の領域３１の方が
係数の値が小さくなるように設定されている。これによ
り、図５の第１の領域３１の方に第２の領域３２よりも
強い時空間フィルタ処理が掛けらることになり、第１の
領域３１で発生する符号量を抑制することができる。

【００２８】時空間フィルタ４０の出力は信号Ｓ１０と
してエンコーダ２５に供給されて符号化された後出力さ
れる。このエンコーダ２５においては、符号量割当て制
御回路２４より供給される制御信号Ｓ２に含まれる符号
量割当て重み分布関数が量子化・逆量子化回路２０にも
供給されているので、量子化・逆量子化回路２０は第１
実施例と同様に、画面内の画素位置及びブロックの位置
に応じて量子化特性を変えるように、発生符号量の重み
付けを行なう。画面内の位置により量子化特性を変化さ
せるように重み付けがされた画像信号は位置に応じて異
なる発生符号量をもって符号化され出力端子２を介して
外部に出力される。

【００２９】次に、図１２を参照してこの発明の第４実
施例に係る画像符号化装置につき説明する。この第４実
施例による画像符号化装置は、第３実施例の画像符号化
装置における時空間フィルタ４０を設けないようにして
フレームメモリ３８の現フレームの画像信号をエンコー
ダ２５に供給すると共に、現フレーム及び前フレームの
それぞれの画像信号が供給される顔領域検出回路４５を
設け、この顔領域検出回路４５の出力と前記解像度検出
回路２３の出力とを受け入れた符号量割当て制御回路２
４より出力される符号量割当て重み分布関数を含む制御
信号Ｓ２によって量子化・逆量子化回路２０の量子化特
性を変えるようにしたものである。上記構成において、
顔領域検出回路４５は、前述した特開平５‐９５５４１
号公報に記載されている「画像符号化装置」と同一の方
法により顔領域を検出し、この検出結果を出力信号Ｓ１
１により符号量割当て制御回路２４に供給している。

【００３０】符号量割当て制御回路２４においては、ま
ず図１３（ａ）のように、入力画像の画素数に応じて第
１実施例と同一の方法により第１の領域３１及び第２の
領域３２を判定して画面内の位置に応じた符号量割当て
の重み関数を変化させる。次に、図１３（ｂ）の顔領域
４７を検出し、この顔領域４７の検出結果を考慮して、
図１３（ｃ）のように重み分布関数を修正する。この修
正方法の一例としては以下のものが考えられる。図１３
（ｃ）の顔領域４７の内部を第３の領域５３とする。図
１３（ａ）における第２の領域３２の一部分で図１３
（ｃ）の顔領域４７に含まれない部分は第２の領域３２
となる。図１３（ａ）で第１の領域３１に含まれる部分
でもしも顔領域に含まれる部分がある場合にはこの部分
は第１の領域３１となる。図１３（ａ）において、第２
の領域３２に含まれる部分で図１３（ｂ）及び（ｃ）に
おいて顔領域４７に含まれることとなった部分は図１３
（ｃ）においては第３の領域５３として扱われる。

【００３１】この図１３（ｃ）に示される重み分布関数
は、エンコーダ２５に供給される。エンコーダ２５にお
いては、符号量割当て重み分布関数に従って、量子化・
逆量子化回路２０が第１実施例と同様の方法により、画
面内の画素位置及びブロックの位置に応じて量子化特性
を変化させることにより、発生符号量の重み付けを行な
う。

【００３２】次に、図１４に従いこの発明の第５実施例
に係る画像符号化装置について説明する。この第５実施
例に係る画像符号化装置は、図８に示される第２実施例
の装置と図１２に示される第４実施例の装置とを組み合
わせた構成を有している。図１４において、フレームメ
モリ３８より出力された現フレームの画像信号Ｓ８は、
解像度検出回路２３，時空間フィルタ４０及び顔領域検
出回路４５との３つの回路に供給される。また、１つ前
のフレームの画像信号Ｓ９は、時空間フィルタ４０及び
顔領域検出回路４５の双方に供給される。解像度検出回
路２３の出力と顔領域検出回路４５の出力とは、符号量
割当て制御回路２４に供給され符号量割当て重み分布関
数が設定される。時空間フィルタ４０は、この重み分布
関数に基づいて現フレーム及び前フレームの画像信号Ｓ
８及びＳ９について、時空間フィルタ処理を行ない、信
号Ｓ１０をエンコーダ２５に対して出力する。エンコー
ダ２５はこの信号Ｓ１０を符号化して出力端子２を介し
て外部に送出する。

【００３３】図１５は、この発明の第６実施例に係る画
像符号化装置の構成を示すブロック図であり、この第６
実施例は第５実施例におけるエンコーダ２５の構成が量
子化・逆量子化回路２０により構成する第２実施例に対
応するものである。その他の構成は前述した幾つかの実
施例における同一符号の構成要素に同一ないしは相当す
るので、図中に符号のみ付して重複説明を省略する。図
１４における時空間フィルタ４０は、符号量割当て制御
回路２４より供給された符号量割当て重み分布関数を含
む制御信号Ｓ２を受け入れて、時空間フィルタ処理を加
えて信号Ｓ１０としてエンコーダ２５に出力する。エン
コーダ２５においては、量子化・逆量子化回路２０が、
第１実施例と同様に、符号量割当て制御回路２４より供
給された制御信号Ｓ２に含まれる重み分布関数に従っ
て、画面内の画素位置あるいはブロック位置に応じて量
子化特性を変更して発生符号量に重み付けを行なう。

【００３４】図１６は、この発明の第７実施例に係る画
像符号化装置の概略構成を示すブロック図である。図１
６において、この第７実施例の装置に特徴的な構成は、
フレームメモリ３８の出力する信号を受け入れて受信側
の画面サイズを検出する受信側画面サイズ検出回路５０
が設けられており、符号量割当て制御回路２４は、この
受信側画面サイズ検出回路５０の出力信号とフレームメ
モリ３８の出力信号の両者に基づいて符号量の割当て重
み分布関数を算出してエンコーダ２５を構成する量子化
・逆量子化回路２０にこの関数を供給する。時空間フィ
ルタを設ける場合には、第２実施例の画像符号化装置と
同様な動作を行なうので重複説明は省略する。

【００３５】図１７は、この発明の第８実施例に係る画
像符号化装置の概略構成を示すブロック図である。同図
において、図１６の第７実施例の構成に加えて、図１２
に示した第４実施例の構成と同様の顔領域検出回路４５
が設けられており、前記符号量割当て制御回路２４には
受信側画面サイズ検出回路５０の出力に加えて顔領域検
出回路４５の出力も供給されている。したがって、符号
量割当て制御回路２４は受信側画面サイズ検出回路５０
の出力と顔領域検出回路４５の出力とに基づいて、フレ
ームメモリ３８を介して入力された画像データ信号より
符号量割当て重み分布関数を設定して、エンコーダ２５
の量子化・逆量子化回路２０に供給する。量子化・逆量
子化回路２０は、供給された分布関数に基づいて量子化
特性を変更して発生符号量の重み付けを行ない端子２を
介して外部に信号を出力する。

【００３６】上記第７及び第８実施例による画像符号化
装置は画像データ信号に画面サイズを示すヘッダ情報等
を信号に載せて伝送することにより伝送されてきた再生
すべき受信情報の画面のサイズを受信側において容易に
検出することもできる。

【００３７】図１６及び図１７に示される第７及び第８
実施例の画像符号化装置においては、符号量割当て制御
回路２４に供給される画面サイズ検出手段としての受信
側画面サイズ検出回路５０により、画面サイズを受信側
において内部的に自動検出して制御を行なっていたが、
この発明においてはこれに限定されず、外部よりマニュ
アル操作により入力して発生符号量の重み付け行なうよ
うにしても良い。

【００３８】すなわち、図１８及び図１９に示される第
９及び第１０実施例による画像符号化装置のように構成
しても良い。図１８は、この発明の第９実施例に係る画
像符号化装置の概略構成を示している。この第９実施例
の画像符号化装置は、第７実施例に係る画像符号化装置
における受信側画面サイズ検出回路５０による装置内で
の受信画像情報の画面サイズを行なうのではなく、外部
的にマニュアル操作により画面のサイズを設定する画面
サイズ設定手段５５を設けるようにしたものである。画
面サイズ設定手段５５は、受信した画像データ信号の解
像度や面積指示ヘッダ情報等を検出して画面のサイズを
演算するのではなく、受信側の装置に受信画面のサイズ
をマニュアルで入力できるようにしたものである。入力
された画面サイズに関する情報信号は入力端子５６を介
して符号化装置の符号量割当て制御回路２４に供給され
る。その他の構成は、第７実施例と同一の構成を有して
いる。

【００３９】また、図１９に示される第１０実施例に係
る画像符号化装置も第９実施例の装置と同様に画面サイ
ズ設定手段５５を備え、かつ入力端子５６を介してマニ
ュアル入力された受信画面のサイズに関する情報信号を
入力するための入力端子５６を備えている。その他の構
成は図１７に示される第８実施例の構成と同様なので、
重複説明を省略する。

【００４０】以上のようにこの発明に係る画像符号化装
置は、再生される画面面積を自動または手動により設定
することのできる画面面積判定手段を備え、その具体的
な構成としては画素数を分析する解像度の解析や、ヘッ
ダ情報による画面サイズの指定や、マニュアル操作によ
る画面サイズの設定等を行なう画面面積判定手段を備え
ていることである。したがって、人間の視覚特性を考慮
した注視点分布に対応して重み付けを行なってから画像
を再生することにより符号化効率の向上が図れる。

【００４１】

【発明の効果】以上詳細に説明したように、この発明に
係る画像符号化装置は、人間の視覚特性において視認対
象が小さい場合には注視点分布が余り拡散しないという
点に着目して、画面サイズが小さい場合に再生画面全体
の符号量を変化させずに画面各領域における符号量の割
当てを変えるようにしているので、再生画像の画質を主
観的に向上させることができるという効果を奏する。

【図面の簡単な説明】

【図１】この発明に係る画像符号化装置の基本概念を示
すブロック図である。

【図２】この発明に係る画像符号化装置における符号化
手段の詳細な構成を示すブロック図である。

【図３】この発明の第１実施例に係る画像符号化装置の
概略構成を示すブロック図である。

【図４】この発明の第１実施例に係る画像符号化装置に
おける注視点分布の状態を示す説明図である。

【図５】この発明の第１実施例に係る画像符号化装置に
おいて領域分布に応じた符号化制御する様子を示す説明
図である。

【図６】この発明の第１実施例に係る画像符号化装置に
おいてサブバンド符号化により係数符号化を制御する様
子を示す説明図である。

【図７】この発明の第１実施例に係る画像符号化装置に
おいて量子化器のデッドゾーンを変えることにより量子
化特性を変える様子を示す説明図である。

【図８】この発明の第２実施例に係る画像符号化装置の
概略構成を示すブロック図である。

【図９】第２実施例の画像符号化装置における時空間フ
ィルタの詳細な構成を示すブロック図である。

【図１０】第２実施例の画像符号化装置の時空間フィル
タの空間フィルタ処理の対象画素を示す説明図である。

【図１１】この発明の第３実施例に係る画像符号化装置
の概略構成を示すブロック図である。

【図１２】この発明の第４実施例に係る画像符号化装置
の概略構成を示すブロック図である。

【図１３】第４実施例の画像符号化装置の符号量割当て
の処理の様子を示す説明図である。

【図１４】この発明の第５実施例に係る画像符号化装置
の概略構成を示すブロック図である。

【図１５】この発明の第６実施例に係る画像符号化装置
の概略構成を示すブロック図である。

【図１６】この発明の第７実施例に係る画像符号化装置
の概略構成を示すブロック図である。

【図１７】この発明の第８実施例に係る画像符号化装置
の概略構成を示すブロック図である。

【図１８】この発明の第９実施例に係る画像符号化装置
の概略構成を示すブロック図である。

【図１９】この発明の第１０実施例に係る画像符号化装
置を示すブロック図である。

【符号の説明】

３画面面積判定手段４符号量割当制御手段２０量子化・逆量子化回路２３解像度検出回路２４符号量割当て制御回路２５エンコーダ３８フレームメモリ４０時空間フィルタ４５顔領域検出回路５０受信側画面サイズ検出回路５５画面サイズ設定手段

フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所 // Ｈ０４Ｎ 5/64 ５１１Ｆ (72)発明者菊池義浩神奈川県川崎市幸区小向東芝町１株式会社東芝研究開発センター内 (72)発明者井田孝神奈川県川崎市幸区小向東芝町１株式会社東芝研究開発センター内 (72)発明者中條健神奈川県川崎市幸区小向東芝町１株式会社東芝研究開発センター内

Claims

【特許請求の範囲】

【請求項１】入力された画像データ信号に基づいて再生
される再生画面の面積を判定する画面面積判定手段と、前記画面面積判定手段により判定された前記再生画面の
面積の判定結果に基づいて、前記画面におけるデータ符
号量を画面のどの領域にどの程度ずつ割当てるのかを制
御する符号量割当制御手段と、前記各領域毎に割り当てられた符号量に従って入力され
た前記画像データ信号を符号化する符号化手段と、を備えることを特徴とする画像符号化装置。
【請求項２】前記画面面積判定手段は、入力画像データ
信号により再生される画面の画素数を検出することによ
り画面の面積を判定する解像度検出回路により構成され
ると共に、前記符号量割当制御手段は、前記再生画面全体の符号量
は一定で、かつ再生画面の領域毎の画素数に応じて画面
内の各領域の符号量の割当てのための重み分布関数を変
化させる符号量割当て制御回路により構成されている請
求項１に記載の画像符号化装置。
【請求項３】前記画面面積判定手段は、予め定められた
既知の画面面積情報に基づいて再生画面全体の面積を設
定する画面サイズ設定手段により構成されている請求項
１に記載の画像符号化装置。