JPH1023426A - 画像予測方法及び画像符号化方法 - Google Patents

Abstract

(57)【要約】 【課題】 低解像度の画像から高解像度の画像をわずか
な処理によって予測し符号化するデジタル画像の予測方
法及び符号化方法を提供する 【解決手段】 入力された低解像度の画像の画素値Ｂ
（ｘ，ｙ）から、予測する画像の解像度に応じて低解像
度の入力画像の画素値Ｂ（ｘ，ｙ）を繰り返すことによ
り予測高解像度画像の画素値Ｕ（２ｘ，２ｙ）を得て、
画像の解像度について階層的に動画像を符号化する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像信号をアナロ
グおよびデジタルの電話回線、専用のデータ伝送回線な
どの種々の転送レートを持った伝送装置を使って伝送す
ること、また、磁気ディスクやＲＡＭなどの種々の記憶
容量を持った蓄積メディアに記録することを前提とした
デジタル画像の予測方法及び符号化方法に関する。

【０００２】

【従来の技術】画像内容が同一で、複数の空間的な解像
度の画像信号を符号化して単一のビットストリームにす
ると、その１つのビットストリームで、複数の空間的な
解像度の表示装置への表示に対応できるという利点があ
る（図５参照）。

【０００３】この単一のビットストリームへの符号化を
複数の解像度の画像を別々に符号化するよりも効率よく
行うため、低解像度の画像からの予測を高解像度の画像
の符号化に用いることが行われている。この予測を用い
た符号化は、図６のように、まず低解像度の画像を符号
化し、続いてその低解像度の画像から高解像度の画像を
予測し、最後に予測された画像と高解像度の画像との差
分を符号化する、という手順で行われている。これによ
り、図７に示されるように、一部分のみを復号すれば低
解像度の画像が得られ、全体を復号すれば高解像度の画
像が得られるようなビットストリームができる。

【０００４】図６における処理は、図８に示すような構
成の符号化置で実現される。この図８に示した符号化装
置は、低解像度画像と高解像度画像をそれぞれ低解像度
画像入力端子１１と高解像度画像入力端子１８から入力
し、それらを階層的に符号化して高解像度画像出力端子
１７から出力するものである。

【０００５】低解像度画像入力端子１１から入力された
画像は低解像度画像符号化器１２で符号化、局所復号さ
れる。局所復号された画像から高解像度画像予測器１３
で高解像度画像を予測し、差分計算器１４において高解
像度画像入力端子１８から入力された高解像度画像との
差分がとられる。この差分画像を差分画像符号化器１５
で符号化して得られた差分画像用符号と、低解像度画像
符号化器１２で得られた低解像度画像用符号とが多重化
器１６で多重化されて高解像度画像出力端子１７から出
力される。

【０００６】また、図３における処理は、図９に示すよ
うな構成の復号装置で実現される。この図９に示した復
号装置は、高解像度画像用符号入力端子２１から入力さ
れる高解像度画像の階層的な符号を復号して、低解像度
画像と高解像度画像をそれぞれ低解像度画像出力端子２
８と高解像度画像出力端子２７から出力するものであ
る。

【０００７】高い解像度画像用符号入力端子２１から入
力された高解像度画像の階層的な符号は、逆多重化器２
２で逆多重化されて低解像度画像用の符号と差分画像用
の符号とに分離される。低解像度画像用符号は復号器２
３で復号され、低解像度画像で鑑賞する場合には、低解
像度画像出力端子２８に出力される。また、高解像度画
像を鑑賞する場合には続いて高解像度画像予測器２４で
低解像度画像から高解像度画像を予測し、差分画像復号
器２５で差分画像用符号から復号された差分画像と加算
器２６で加算されて高解像度画像を構成し、高解像度画
像出力端子２７に出力される。

【０００８】図８に示した符号化装置の高解像度画像予
測器１３及び図９に示した復号装置の高解像度画像予測
器２４では、一般に線形補間のフィルタで予測が行われ
ている。

【０００９】ここで例として、低解像度の画像と、縦横
ともにその２倍の解像度を持った高解像度の画像との、
２つの解像度の画像を一緒に圧縮する場合について、予
測の方法を説明する。この予測方法は、動画像の圧縮方
法であるＭＰＥＧ２の空間スケーラビリティで規定され
ているものである。

【００１０】低解像度の画像の横、縦の画素数をそれぞ
れＷ、Ｈとすると、高解像度の画像の横、縦の画素数は
それぞれ２Ｗ、２Ｈとなる。

【００１１】また、低解像度の画像の各画素を Ｂ
（ｘ，ｙ） ｘ＝｛０，１，…，Ｗ−１｝， ｙ＝
｛０，１，…，Ｈ−１｝とし、高解像度の画像の各画素
を Ｕ（ｘ，ｙ） ｘ＝｛０，１，…，２Ｗ−１｝，
ｙ＝｛０，１，…，２Ｈ−１｝とする。

【００１２】低解像度の画像から高解像度の画像を予測
する線形補間のフィルタは次の式１であらわされる。各
解像度の画素の位相の関係は、図１０で表される。

【００１３】 Ｕ（２ｘ−１，２ｙ−１） ＝（９Ｂ（ｘ−ｉ，ｙ−１）＋ ３Ｂ（ｘ，ｙ−１） ＋３Ｂ（ｘ−ｉ，ｙ）＋Ｂ（ｘ，ｙ） ）／／１６ Ｕ（２ｘ，２ｙ−１） ＝（３Ｂ（ｘ−ｉ，ｙ−１）＋９Ｂ（ｘ，ｙ−１） ＋Ｂ（ｘ−ｉ，ｙ）＋３Ｂ（ｘ，ｙ））／／１６ Ｕ（２ｘ−１，２ｙ） ＝（３Ｂ（ｘ−ｉ，ｙ−１）＋Ｂ（ｘ，ｙ−１） ＋９Ｂ（ｘ−ｉ，ｙ）＋３Ｂ（ｘ，ｙ））／／１６ Ｕ（２ｘ，２ｙ） ＝（Ｂ（ｘ−ｉ，ｙ−１）＋３Ｂ（ｘ，ｙ−１） ＋３Ｂ（ｘ−ｉ，ｙ）＋９Ｂ（ｘ，ｙ））／／１６ ・・・式１ ここで／／は除算後、四捨五入して整数にする操作をあ
らわす。

【００１４】また、Ｂ（−１，０）などのように有効画
像領域の外側で、画素が存在しない場合には、最も近傍
に存在する有効な画素の値を取るものとする。つまり、 である。

【００１５】以上説明した図１０における処理は、例え
ば図１１に示すような構成の予測器で実現される。すな
わち、図８に示した符号化装置の高解像度画像予測器１
３及び図９に示した復号装置の高解像度画像予測器２４
は、図１１に示す予測器で実現される。

【００１６】図１１に示す予測器では、遅延時間がそれ
ぞれ１，Ｗ−１，１である遅延器３２，３３，３４を介
して低解像度画像入力端子３１から低解像度画像がセレ
クタ３５〜３８に入力される。セレクタ３５〜３８は、
基本的に遅延器３２，３３，３４から送られてきた画素
値をそのまま出力する。なお、「０」の入った端子は有
効画素範囲外であるときに用いられる。その画素値は、
乗算器群３９で重み付けされ、加算器４０Ａ，４０Ｂ，
４０Ｃ，４０Ｄで和をとられ、除算器４１Ａ，４１Ｂ，
４１Ｃ，４１Ｄで正規化されてセレクタ４２の各端子に
入力される。入出力画像の解像度は縦横２倍なので、画
素数では４倍である。そのため、低解像度画像の周波数
をｆｓとすれば、高解像度画像の周波数は４ｆｓであ
る。入力画像で１画素入力される毎に、セレクタ４２で
４つ端子を順次選択して、入力画像の４倍の周波数で画
像の予測高解像度画像出力端子４３に出力する。

【００１７】予測高解像度画像は２ラインずつ組になっ
て出力されるため、予測高解像度画像出力端子４３から
出力された後、図示しない順序変換器出並べ替えが行わ
れる。

【００１８】以上では、高解像度の画像の解像度が、低
解像度の画像の解像度に対して、縦横ともに２倍である
場合について説明したが、一般に縦横独立に任意の倍率
であって構わない。予測する高解像度の画素Ｕが、低解
像度の画素Ｂ１，Ｂ２をａ：（１−ａ）の比で内分する
点にあるとき、画素Ｕの値は次の式２で予測される。各
解像度の画素の位相の関係は、図１２で表される。

【００１９】 Ｕ＝（１−ａ）×Ｂ１＋ａ×Ｂ２ ・・・式２ この１次元の補間を、縦方向、横方向についてそれぞれ
独立に行った結果が予測された高解像度の画像の画素値
である。

【００２０】この方法によって符号化を行いたい画像の
１つに、キー信号がある。キー信号とは、物体の形状を
その物体の内側であるか外側であるかによって表すもの
で、画像中の物体をその形状に応じて切り出して、他の
背景画像に合成するために使用されている。キー信号で
切り取られる画像はフィルと呼ばれる（図１３参照）。

【００２１】キー信号には、ハードキーとソフトキーと
がある。ハードキーとは、２値画像で、物体の内側であ
るか外側であるかを２値（例えばそれぞれを１と０）で
表すものである。ソフトキーとは、多値（例えば８ビッ
ト）画像で、物体の内側と外側をそれぞれ最大値（２５
５）と最小値（０）で表現し、中間値によって物体と背
景の画素値の中間の値を表現するものである。

【００２２】

【発明が解決しようとする課題】以上説明した低解像度
の画像から高解像度の画像を予測する方法は、各画素が
８ビット、１０ビットなどで表現される通常の多値画像
の場合に行われている。この方法には、次のような問題
がある。

【００２３】すなわち、高解像度の画像の各画素の計算
に低解像度の画像の画素の値を４つも必要 とし、繁雑
である。また、乗算と加算を行う必要がある。さらに、
画像の周辺部分の計算のときに、有効画像範囲外の画素
を参照しないようにするために、例外処理が必要であ
る。

【００２４】特にソフトキーの信号に対して適用する場
合には、式１の持つローパスフィルタとしての特性のた
め、誤差の発生する画素が多い。

【００２５】本発明はこれらの問題点を克服し、低解像
度の画像から高解像度の画像をわずかな処理によって予
測する方法を提供するものである。

【００２６】

【課題を解決するための手段】本発明は、低解像度の画
像から高解像度の画像の予測を１つの画素値のコピーに
よって行うものである。高解像度の画像の解像度が低解
像度の画像の解像度に対して縦横２倍であるときには本
発明の画像予測方法は、同じ値を縦横に２つずつ繰り返
すもので、次の式で表される。ここで、各解像度の画素
の位相の関係は、図１で示されている。

【００２７】Ｕ（２ｘ＋ｉ，２ｙ＋ｊ）＝Ｂ（ｘ，ｙ） ただし、ｉ，ｊ＝｛０，１｝， ｘ＝｛０，１，…，Ｗ−１｝， ｙ＝｛０，１，…，Ｈ−１｝

【００２８】

【発明の実施の形態】以下、本発明に係る画像予測法法
及び画像符号化方法のいくつかの好ましい実施の形態に
ついて図面を参照しながら説明する。

【００２９】先ず、図１を用いて、本発明の第１の実施
の形態を説明する。

【００３０】本発明の第１の実施の形態では、高解像度
の画像の解像度が低解像度の画像の解像度の２倍である
場合の、低解像度の画像から高解像度の画像の予測方法
について説明する。

【００３１】本発明の画像予測方法では、低解像度の画
像から高解像度の画像の予測を、次の式３により行う。
低解像度の画像の画素Ｂ（ｘ，ｙ）と高解像度の画素Ｕ
（ｘ，ｙ）の位相の関係は、図１で表される。

【００３２】 Ｕ（２ｘ＋ｉ，２ｙ＋ｊ）＝Ｂ（ｘ，ｙ） ・・・式３ ただし、ｉ，ｊ＝｛０，１｝， ｘ＝｛０，１，…，Ｗ−１｝， ｙ＝｛０，１，…，Ｈ−１｝ ここで、低解像度の画像の横、縦の画素数をそれぞれ
Ｗ、Ｈとすると、高解像度の画像の横、縦の画素数はそ
れぞれ２Ｗ、２Ｈとなる。

【００３３】この画像予測方法は、低解像度の画像の画
素値を縦横に２つずつ繰り返したものを高解像度の画像
とするというものである。この方法は、高解像度の画像
の各画素の計算に必要な低解像度の画像の画素の値は１
つだけであり、算術演算が不要で、画像の周辺部分にお
ける例外処理が不要である、という利点がある。

【００３４】扱う画像が２値画像である場合、本発明の
式３による予測を用いることには、上述の予測の処理が
大幅に簡単化されるという利点が、予測される画像が従
来例とまったく同じであるままで得られる。式３による
処理が、式１による処理とまったく同じ結果を出力する
ことは、式１であらわされる従来例は、２値画像の場合
に、次の式に変形できることから分かる。

【００３５】Ｕ（２ｘ，２ｙ）＝Ｂ（ｘ，ｙ） Ｕ（２ｘ−１，２ｙ）＝Ｂ（ｘ−ｉ，ｙ） Ｕ（２ｘ，２ｙ−１）＝Ｂ（ｘ，ｙ−１） Ｕ（２ｘ−１，２ｙ−１）＝Ｂ（ｘ−ｉ，ｙ−１） 扱う画像が多値画像の場合には、上述のように予測の処
理が大幅に簡単化されることの他、特にソフトキーの信
号の場合に、図２に従来の方法による予測例を（Ａ）に
示すすとともに、本発明による予測例を（Ｂ）に示すよ
うに、誤差のある画素の存在する範囲が限定されるとい
う点で、精度のよい予測が行えるという利点がある。

【００３６】この第１の実施の形態で説明した画像予測
方法は、図３に示す予測器によって実現される。図３に
示す予測器では、低解像度入力端子１から入力された低
解像度画像から高解像度画像を予測して予測高解像度画
像出力端子３から出力する。

【００３７】入出力画像の解像度は縦横２倍なので、画
素数では４倍である。そのため、低解像度画像の周波数
をｆｓとすれば、高解像度画像の周波数は４ｆｓで表さ
れる。

【００３８】低解像度入力端子１から入力された低解像
度画像は、セレクタ２の４つ端子に分配される。入力画
像の４倍の周波数でセレクタ２の各端子が選択されて予
測高解像度画像として予測高解像度画像出力端子３から
出力される。

【００３９】予測高解像度画像は２ラインずつ組になっ
て出力されるため、予測高解像度画像出力端子３から出
力された後、図示しない順序変換器で並べ替えが行われ
る。

【００４０】また、この第１の実施の形態において、ソ
フトキーの信号の場合には、式３による予測値が最大値
（例えば８ビット画像のとき２５５）でも最小値（８ビ
ット画像で０）でもないときには、従来の式１による予
測値を用いることも考えられる。処理量が増える代わり
に、予測残差がさらに減るという利点がある。

【００４１】次に本発明の第２の実施の形態について説
明する。

【００４２】低解像度の画像と、高解像度の画像の解像
度の比が縦横独立に任意の比である場合には、従来例の
式２の代わりに、次の式４を用いる。つまり、予測する
高解像度の画像の画素Ｕが、低解像度の画像の画素Ｂ
１，Ｂ２をａ：（１−ａ）の比で内分する点にあると
き、画素Ｕの値は次の式で予測される。各解像度の画素
の位相の関係は、図４で表される。

【００４３】 Ｕ＝Ｂ１（ｉｆ ａ＜１／２） Ｂ２（ｉｆ １／２＜＝ａ） ・・・式４ 扱う画像が２値画像の場合には、従来例の内分計算を式
４に表される値のコピーに変更しても、ａ＝１／２かつ
Ｂ１＝１かつＢ２＝０の場合に、式４による出力が
「０」、従来の式２によるフィルタの出力が「１」とな
って異なる以外を除いて、まったく同じである。第１の
実施の形態と同様に処理が大幅に簡単化されるのに対し
て、予測される画像はａ＝１／２かつＢ１＝１かつＢ２
＝０の場合に異なるだけで、予測画像の性能としてはど
ちらも変わらないという利点がある。

【００４４】また、多値画像を扱う場合にも、第１の実
施の形態と同様に、予測の処理が大幅に簡単化されるこ
との他、誤差の広がる範囲が限定されるという利点があ
る。

【００４５】次に本発明の第３の実施の形態について説
明する。

【００４６】動画像の圧縮方式であるＭＰＥＧ２では、
異なる空間的解像度の動画像を同時に符号化するとき
に、低解像度の画像は通常通り時間的に前後のフレーム
から予測するが、高解像度の画像は、時間的に前後のフ
レームからの予測だけではなく、低解像度の画像からの
予測を用いるということが行われている。

【００４７】低解像度画像から高解像度画像への予測を
用いた場合には、従来の技術において述べたように、符
号化装置は図８、復号装置は図９となる（簡単のためフ
レーム内の処理となっている。）。

【００４８】図８の高解像度画像予測器３及び図９の高
解像度画像予測器４に第１の実施の形態における図３に
示した予測器を使うことにより、画像の解像度について
階層的に動画像を符号化する処理が簡略化される。

【００４９】本発明により、２値動画像であるハードキ
ーの信号を、従来例より簡単な処理によって予測し符号
化することが可能となり、多値動画像であるソフトキー
の信号を、誤差の生じる画素数を少なくしながら、従来
例より簡単な処理によって予測し符号化することが可能
となる。

【００５０】

【発明の効果】以上説明したように本発明によれば、低
解像度の画像から高解像度の画像を簡単な処理で予測す
ることができる。

【００５１】そして、本発明に係る画像予測方法では、
高解像度の画像の各画素の計算に必要な画素が１つだけ
である。また、予測は値をコピーするだけで算術演算を
必要としない。また、有効画像範囲外の画素を使わない
ようにするための例外処理が不要である。さらに、ソフ
トキーの信号を扱う場合には、誤差の広がる範囲が限定
され、精度のよい予測が行える。

【００５２】また、この本発明に係る画像予測方法は、
キー信号などの動画像で複数の空間的な解像度のものを
まとめて圧縮するときに用いると有効である。

【図面の簡単な説明】

【図１】本発明に係る画像予測方法の第１の実施の形態
を説明するための図である。

【図２】上記第１の実施の形態における予測例を従来例
による予測例とともに示す図である。

【図３】上記第１の実施の形態における画像予測方法を
実現する予測器の構成図である。

【図４】本発明に係る画像符号化方法の第２の実施の形
態を説明するための図である。

【図５】画像内容が同一で複数の空間的な解像度の画像
信号の用途を説明するための図である。

【図６】２つの解像度の画像の符号化の方法を示す図で
ある。

【図７】２つの解像度の画像の復号の方法を示す図であ
る。

【図８】図６に示した符号化を行う符号化装置の構成図
である。

【図９】図７に示した符号を行う復号装置の構成図であ
る。

【図１０】解像度の比が２倍の画像を予測する場合の各
解像度の画素の位相の関係を示す図である。

【図１１】解像度の比が２倍の画像の予測処理を行う予
測器の構成図である。

【図１２】解像度の比が任意の画像の予測方法を示す図
である。

【図１３】キー信号を用いた２つの解像度の画像の符号
化の方法を示す図である。

【符号の説明】

Ｂ（ｘ，ｙ） 低解像度の画像の画素、Ｕ（ｘ，ｙ）
高解像度の画素

Claims (3)

【特許請求の範囲】
1. 【請求項１】 入力された低解像度の画像から高解像度
   の画像を予測するにあたり、 高解像度の画像の画素値として解像度に応じて低解像度
   の入力画像の画素値を繰り返して出力することを特徴と
   する画像予測方法。
2. 【請求項２】 高解像度の画像の解像度は、低解像度
   の画像の解像度に対して縦横２倍であることを特徴とす
   る請求項１記載の画像予測方法。
3. 【請求項３】 入力された低解像度の画像から、高解像
   度の画像の画素値として予測する画像の解像度に応じて
   低解像度の入力画像の画素値を繰り返すことにより予測
   高解像度画像を得て、 画像の解像度について階層的に動画像を符号化すること
   を特徴とする画像符号化方法。