JP3807117B2

JP3807117B2 - Hierarchical data generation apparatus and method, hierarchical data generation and restoration system and method

Info

Publication number: JP3807117B2
Application number: JP26284498A
Authority: JP
Inventors: 哲二郎近藤; 勉市川
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-09-17
Filing date: 1998-09-17
Publication date: 2006-08-09
Anticipated expiration: 2018-09-17
Also published as: JP2000092331A

Description

【０００１】
【発明の属する技術分野】
この発明は、階層データの生成装置および方法、階層データの生成復元システムおよび方法に関する。
【０００２】
【従来の技術】
解像度の異なる複数の階層の画像信号を生成するための階層符号化が知られている。すなわち、高解像度画像信号を第１の階層としてこれより解像度が低い第２階層の画像信号、第２階層の画像信号より解像度が低い第３階層の画像信号、・・・・第（ｎ−１）階層の画像信号より解像度が低い第ｎ階層の画像信号を形成する符号化（階層符号化と称される）が提案されている。この符号化によれば、複数の画像信号を一つの伝送路（通信路、記録媒体）を介して伝送し、受信側では、複数の階層とそれぞれ対応する画像モニタによって、画像データを再生することができる。
【０００３】
より具体的には、標準解像度ビデオ信号、高解像度ビデオ信号、コンピュータディスプレイの画像データ、画像データベースを高速検索するための低解像度ビデオ信号等が異なる解像度のビデオ信号である。また、解像度の高低以外に、画像の拡大、縮小（所謂電子ズーム）に対しても階層符号化を適用することができる。画像の拡大、縮小は、例えばビデオゲームのアプリケーションにおいてしばしば使用される機能である。
【０００４】
従来の階層符号化では、第１階層（入力）画像信号と画素数が第１階層の画像信号に対して１／４の第２階層の画像信号を形成する場合、第１階層の画像信号を１／４に間引き、第２階層の画像信号を形成すると共に、第２階層の画像信号から補間された第１階層の補間信号と入力画像信号との差分値を計算し、この差分値を伝送している。このように、従来の階層符号化では、差分値の画素数は、入力画像信号の画素数と等しく、さらに、第２階層の信号を伝送するので、伝送データ量が元のデータ量より増大するのが普通であった。５階層の例では、画素数に関して、２５６＋６４＋１６＋４＋１＝３４１となり、各画素当たりのビット数を同一とすると、３４１／２５６≒１．３３倍にデータ量が増加する。
【０００５】
一方、本願出願人は、データ量の増大を抑制することができる階層符号化を既に提案している。この階層符号化について、３階層を例にして図１を参照して説明する。すなわち、階層構造データは、入力画像データで構成される第１階層データＤＬ１と、これより解像度が低い第２階層データＤＬ２と、第２階層より解像度が低い第３階層データＤＬ３から構成されるものである。
【０００６】
図１において最も下に、入力画像データによって構成される第１階層データＤＬ１の部分的画像（４×４画素）が示されている。この部分的画像を画素ブロックと称する。図１において、一つの正方形が一つの画素を表している。この第１階層の（２×２画素）の４個の画素毎に合計値または平均値が計算される。例えばＸ11，Ｘ21，Ｘ31，Ｘ41の合計値Ｙ１（＝Ｘ11＋Ｘ21＋Ｘ31＋Ｘ41）または平均値Ｙ１（＝１／４・（Ｘ11＋Ｘ21＋Ｘ31＋Ｘ41））が計算される。従って、（４×４画素）と対応する部分が（２×２画素）になる。このように計算された合計値または平均値によって第２階層データＤＬ２が構成される。第２階層では、（２×２画素）が画素ブロックである。
【０００７】
次に第２階層の空間的に隣接する（２×２）の４個の画素の合計値または平均値を計算する。例えば、合計値Ｚ（＝Ｙ１＋Ｙ２＋Ｙ３＋Ｙ４）または平均値Ｚ（＝１／４・（Ｙ１＋Ｙ２＋Ｙ３＋Ｙ４））が計算される。このように計算された合計値または平均値によって、第３階層データＤＬ３が構成される。第３階層データＤＬ３は、入力画像の画素ブロックに対応する１画素の集合である。図１から分かるように、階層が変化するに従って、画素数が１／４、１／１６、・・・と減少する。言い換えると、画像の面積が一定とすると、解像度が同様の割合で低下する。画素間の距離が一定であれば、画像の大きさが同様の割合で縮小する。このように、符号化処理は、第１階層から順により上位の階層に向かってなされる。
【０００８】
上述の平均値により上位の階層の画像を形成する階層符号化は、複数の階層の画像データを伝送する場合に、伝送画素数が増大しない利点がある。図１の例では、括弧を付した画素を伝送する代わりに上位階層のデータを伝送すれば良い。例えば第１階層の画素データＸ41の代わりに第２階層のデータＹ４を伝送すれば良い。また、第２階層の画素データＹ４の代わりに第３階層のデータＺを伝送すれば良い。すなわち、第１階層の画素ブロック毎の１画素（図１では、合計４画素）の伝送を省略し、その省略された画素の代わりにＹ１，Ｙ２，Ｙ３，Ｚを伝送する。
【０００９】
復号処理について説明すると、最上位階層である第３階層データＤＬ３は、受信データから直接得ることができる。第２階層のデータ中で伝送が省略された画素データ例えばＹ４は、合計値を用いる場合では、Ｙ４＝Ｚ−（Ｙ１＋Ｙ２＋Ｙ３）で求めることができる。また、平均値を用いる場合では、Ｙ４＝４Ｚ−（Ｙ１＋Ｙ２＋Ｙ３）として求められる。さらに、第１階層のデータ中で伝送が省略された画素データ例えばＸ41は、Ｘ41＝Ｙ１−（Ｘ11＋Ｘ21＋Ｘ31）（合計値の場合）またはＸ41＝４Ｙ１−（Ｘ11＋Ｘ21＋Ｘ31）（平均値の場合）として求められる。このように、復号時には、第３階層から順により下位の階層に向かってなされる。なお、伝送を省略する画素の位置は、右下コーナーの位置に限定されるものではない。
【００１０】
上述した階層符号化において、画素値が８ビットのデータである場合、平均演算または加算によって生成される値が１０ビットとなる。データ量が増加することを防止する目的で、合計値の下位側の２ビットまたは小数点以下に相当する桁を四捨五入あるいは切り捨てによって、上位８ビットに丸める処理を行っている。より下位の階層の伝送を省略した画素を復元する時に、符号化時の丸めによる誤差は、復元された画素値の下位２ビットに重畳される。図１の例では、第２階層の画素データＹ４を復元する時に、Ｙ４の下位２ビットに誤差が重畳される。さらに、第１階層の画素データＸ４を復元する時には、復元されたＹ４の下位２ビットに重畳された誤差が上位側へ２ビットシフトされる。このように、復号時には、下位階層になるほど、誤差が重畳される２ビットが上位側にシフトする。５階層の場合では、最下位の第１階層において、復元された画素データのＭＳＢ(Most Significant Bit)および２番目の上位ビットに誤差が重畳される。
【００１１】
下位の階層になるほど、誤差の影響がこのように上位側にシフトすることは、下位の階層になるほど、復号誤差が増大する問題を生じる。この問題を解決する一つの方法は、１画素当たりのビット長を上位階層ほど長くする方法である。図１の例では、第１階層データＤＬ１は、８ビット／１画素とされ、第２階層データＤＬ２は、１０ビット／１画素とされ、第３階層データＤＬ３は、１２ビット／１画素とされる。上位画素に関する値は、下位階層４画素の合計値（１０ビット）である（または上位から８ビット目と９ビット目との間に小数点が位置する平均値であるとみなせる）。但し、復号画像を表示する時には、上位８ビットに丸めた値を用いる。この方法は、全データ量（全ビット量）が元の画像データの１．０８倍に増大する。この増加の程度は、各階層のデータを全て伝送する時の増加率１．３３より少なくできる。
【００１２】
【発明が解決しようとする課題】
上述したように、上位階層ほどビット長を拡張する方法は、発生データの増加率が抑えられているが、多少の増加が発生する。若し、下位階層の４個の画素値の合計値の下位側の２ビットまたはその平均値の小数点以下に相当する桁がゼロであれば、丸めの処理に伴う誤差が発生せず、また、その誤差が復元時に上位ビット側にシフトする問題も生じない。しかしながら、実際には、そのように、下位側の２ビットまたは小数点以下に相当する桁がゼロとならない方が多い。
【００１３】
従って、この発明の目的は、上述した階層符号化において、上位階層データの生成時に発生する誤差を、その下位階層データの中に分散して重畳することによって、データ量の増加を防止でき、また、画像劣化の少ない階層データの生成装置および方法、階層データの生成復元システムおよび方法を提供することにある。
【００１４】
【課題を解決するための手段】
請求項１の発明は、上述した課題を解決するために、入力データから第１の階層データと第１の階層データより上位の第２の階層データとの少なくとも２階層からなる階層構造データを生成する階層データの生成装置において、
第１の階層の複数の信号値の演算結果を丸めることによって、より上位の第２の階層の信号値を生成すると共に、丸めにより生じる誤差を、第１の階層の信号値に分散させて重畳することによって、改めて第１の階層の信号値を生成する信号値生成手段と、
第１の階層の複数の信号値の内の１個を第２の階層の信号値によって置き換えてデータ量を圧縮する置き換え手段とを有し、
置き換え手段が発生する信号値を出力することを特徴とする階層データの生成装置である。
【００１５】
請求項６の発明は、入力データから第１の階層データと第１の階層データより上位の第２の階層データとの少なくとも２階層からなる階層構造データを生成し、階層構造データを受け取り、階層構造データから第１および第２の階層データをそれぞれ復元する階層データの生成復元システムにおいて、
第１の階層の複数の信号値の演算結果を丸めることによって、より上位の第２の階層の信号値を生成すると共に、丸めにより生じる誤差を、第１の階層の信号値に分散させて重畳することによって、改めて第１の階層の信号値を生成する信号値生成手段と、
第１の階層の複数の信号値の内の１個を第２の階層の信号値によって置き換えてデータ量を圧縮する置き換え手段と、
置き換え手段が発生する信号値を伝送または記憶する手段と、
受信または再生した第２の階層の信号値と、第２の階層の信号値で置き換えられたもの以外の第１の階層の信号値とによって、第２の階層の信号値で置き換えられた第１の階層の信号値を復元する手段とを有することを特徴とする階層データの生成復元システムである。
【００１６】
請求項７の発明は、入力データから第１の階層データと第１の階層データより上位の第２の階層データとの少なくとも２階層からなる階層構造データを生成する階層データの生成方法において、
第１の階層の複数の信号値の演算結果を丸めることによって、より上位の第２の階層の信号値を生成すると共に、丸めにより生じる誤差を、第１の階層の信号値に分散させて重畳することによって、改めて第１の階層の信号値を生成するステップと、
第１の階層の複数の信号値の内の１個を第２の階層の信号値によって置き換えてデータ量を圧縮するステップとからなり、
圧縮するステップで発生した信号値を出力することを特徴とする階層データの生成方法である。
【００１７】
請求項８の発明は、入力データから第１の階層データと第１の階層データより上位の第２の階層データとの少なくとも２階層からなる階層構造データを生成し、階層構造データを受け取り、階層構造データから第１および第２の階層データをそれぞれ復元する階層データの生成復元方法において、
第１の階層の複数の信号値の演算結果を丸めることによって、より上位の第２の階層の信号値を生成すると共に、丸めにより生じる誤差を、第１の階層の信号値に分散させて重畳することによって、改めて第１の階層の信号値を生成するステップと、
第１の階層の複数の信号値の内の１個を第２の階層の信号値によって置き換えてデータ量を圧縮するステップと、
圧縮するステップで発生した信号値を伝送または記憶するステップと、
受信または再生した第２の階層の信号値と、第２の階層の信号値で置き換えられたもの以外の第１の階層の信号値とによって、第２の階層の信号値で置き換えられた第１の階層の信号値を復元するステップとを有することを特徴とする階層データの生成復元方法である。
【００１８】
この発明は、上位階層のデータのビット長を拡張せず、また、付加コードを必要としないものである。この発明によれば、各階層の画素のビット長を最下位階層のビット長と等しい固定長とすることができる。従って、データ量の増加を抑えることができる。丸め誤差が生じるが、丸め誤差を分散して重畳するので、視覚上、復元画像の画質の劣化を目立たなくできる。
【００１９】
【発明の実施の形態】
以下、この発明の一実施形態について説明する。一実施形態は、階層符号化の方法である。一例として最下位階層データ（入力画像データ）ＤＬ１は、１画素が８ビットの画像データである。カラー画像の場合では、例えば輝度データ、２個の色差データの各コンポーネント毎に処理される。但し、コンポジット信号（輝度信号＋搬送色信号）であっても良い。また、この一実施形態は、下位階層の隣接４画素の画素値の平均値によりその上位階層における画素を生成し、下位階層の隣接４画素の内の１画素は、生成した上位階層の画素によって置き換え、全階層データが併存する場合に比してデータ量を圧縮する階層符号化に対してこの発明を適用したものである。
【００２０】
この発明による誤差分散の基本的な考え方について説明する。上位階層データの作成においてビット長固定の場合に発生する誤差をその下位階層データの中に分散して重畳する。さらに、誤差を最下位階層まで順に分散、重畳させてゆくことにより、最下位階層以外の階層のデータ（その下位階層の隣接４画素の平均値）が必ず４の倍数であるように、最下位階層のデータを補正する。この処理の結果、階層符号化における付加ビットが不要となる。
【００２１】
図２および図３は、一実施形態の符号化処理の流れを示すものである。例えば図２および図３のフローチャートは、ソフトウェア処理により階層構造データを生成するための処理を示す。図２および図３は、本来は、一連の流れを、作図スペースの都合上、別図面へ分割したものである。
【００２２】
この一実施形態では、隣接４画素の合計値を生成し、合計値を切り捨てによって丸めることにより、上位階層の画素値を生成するようにしている。例えば第２階層の画素値Ｙ１は、Ｙ１＝（Ｘ11＋Ｘ21＋Ｘ31＋Ｘ41）（切り捨てで８ビットに変換）によって生成される。切り捨ては、単に下位２ビットを捨てることである。合計値に限らず、平均値によって上位階層の画素値を形成しても良い。また、切り捨てに限らず、四捨五入を丸め処理として使用しても良い。四捨五入は、上位から９ビット目が１である時に、８ビット目に１を加え、９ビット目が０である時に８ビット目に１を加えず、さらに、何れの場合にも下位２ビットの００を捨てる処理である。
【００２３】
但し、以降の説明において、丸めた合計値と言った場合には、００とした下位２ビットを捨ててしまわない１０ビットの値であるとする。言い換えると、丸めた値の下位に２ビットの００を付加した値である。
【００２４】
ステップＳＴ１では、最下位階層のデータが入力される。次のステップＳＴ２において、隣接する４画素値の合計値が計算される。ステップＳＴ３では、合計値の下位２ビットが丸められる。ステップＳＴ４において、丸め誤差Ｄが計算される。丸め誤差Ｄは、丸めた合計値から合計値を減算した値である。切り捨ての場合では、Ｄ＝０，−１，−２，または−３である。
【００２５】
丸め誤差（差分値）Ｄが０かどうかが決定される。（ステップＳＴ５）。誤差が０であれば、誤差分散処理が不要であり、処理がステップＳＴ６に移る。ステップＳＴ６では、最下位階層の画素ブロック内の処理が終了したかどうかが決定される。処理が終了してないと決定されると、隣接４画素の組が更新される（ステップＳＴ７）。そして、ステップＳＴ２に戻って上述した処理が繰り返される。
【００２６】
ステップＳＴ６において、該当画素ブロック内の処理が終了したと決定されると、ステップＳＴ８において、上位階層が最上位階層であるか否かが決定される。最上位階層でないと決定されると、処理の対象の階層が上昇される（ステップＳＴ９）。そして、ステップＳＴ２に戻って上述した処理が繰り返される。
【００２７】
ステップＳＴ８において、最上位階層であると決定されると、ステップＳＴ１０において、全画素ブロックの処理が終了したか否かが決定される。全画素ブロックの処理が未了と決定されると、画素ブロックが更新される（ステップＳＴ１１）。そして、ステップＳＴ２に戻って上述した処理が繰り返される。ステップＳＴ１０において、全画素ブロックの処理が終了したと決定されると、階層構造データの生成処理が終了する。
【００２８】
ステップＳＴ５において、誤差Ｄが０でない場合には、誤差分散処理がなされる。先ず、ステップＳＴ１２において、丸めた合計値を２ビット右へシフトした値、すなわち、切り捨てによって上位階層画素値を生成し、上位階層画素値によって下位階層の１画素を置き換える。ステップＳＴ１３において、下位階層４画素の内の１画素を選択する。選択した画素（被選択画素）が上位階層画素によって置き換えられる画素（被置換画素）か否かが決定される（ステップＳＴ１４）。
【００２９】
被置換画素でない場合には、ステップＳＴ１５において、被選択画素の画素値が補正される。この補正は、誤差Ｄをその絶対値｜Ｄ｜で割った値を被選択画素の画素値に加算する処理である。従って、切り捨ての場合では、補正値が−１とされる。ステップＳＴ１４において、被選択画素が被置換画素であると決定されると、被選択画素の補正が行われない。
【００３０】
次のステップＳＴ１６で、下位階層が最下位階層かどうかが決定される。ステップＳＴ１６において、最下位階層であると決定されると、ステップＳＴ１７において、｜Ｄ｜画素分の補正が終了したかどうかが決定される。ステップＳＴ１７において、補正が終了したと決定されると、ステップＳＴ６で該当画素ブロック内の補正が終了したかどうかが決定される。このステップＳＴ６からＳＴ１１までの処理は、上述した通りである。
【００３１】
ステップＳＴ１６において、誤差を分散させた下位階層が最下位階層でないと決定されると、図３に示すフローチャートの処理がなされる。先ず、ステップＳＴ２１において階層が下降される。ステップＳＴ２２において、下位階層の４画素の内の１画素が選択される。被選択画素が被置換画素（すなわち、上位階層の画素値で置き換えられる画素）かどうかが決定される（ステップＳＴ２３）。
【００３２】
被置換画素でない場合には、ステップＳＴ２４において、被選択画素の画素値が補正される。この補正は、誤差Ｄをその絶対値｜Ｄ｜で割った値を被選択画素の画素値に加算する処理である。被置換画素である場合には、補正がなされない。そして、下位階層が最下位階層かどうかが決定される（ステップＳＴ２５）。下位階層が最下位階層でない場合には、ステップＳＴ２１（階層の下降）に処理が戻る。
【００３３】
ステップＳＴ２５において、下位階層が最下位階層であると決定される場合には、ステップＳＴ２６において、４画素分の補正が終了したかどうかが決定される。４画素分の補正が終了していないと決定されると、処理がステップＳＴ２２（画素選択）に戻り、上述したのと同様の処理が繰り返される。
【００３４】
ステップＳＴ２６において、４画素分の補正が終了したと決定されると、ステップＳＴ２７において、上位階層データの有無が調べられる。上位階層データがあると決定されると、ステップＳＴ２３で階層が上昇され、ステップＳＴ２６（補正終了？）に処理が戻る。ステップＳＴ２７において、上位階層データが無いと決定されると、図２中のステップＳＴ１７（補正終了？）に処理が戻る。ステップＳＴ１７以降の処理は、上述した通りである。
【００３５】
なお、画素ブロックは、最上位階層の１画素に対応する下位階層の領域である。３階層の場合では、第１階層の４×４画素の領域、第２階層の２×２画素の領域がそれぞれ画素ブロックである。但し、画素ブロックの定義を全画面としても良い。その場合では、ステップＳＴ１０（全ブロックの終了？）およびステップＳＴ１１（画素ブロックの更新）が不要である。
【００３６】
図４は、この発明の一実施形態による階層データ作成装置の一例を示す。図１に示すような３階層のデータを作成する場合に対してこの装置が適用される。入力画像データ（第１階層の元データ）の隣接４画素Ｘ1i, Ｘ2i, Ｘ3i, Ｘ4i（ｉ＝１，２，３，４）が加算器１に供給される。隣接４画素が同時化され、隣接４画素毎が加算器１に入力される。加算器１からの合計値Ｔｉが補正値発生部２内の丸めユニット３に供給される。
【００３７】
丸めユニット３は、例えば切り捨てにより８ビットとされた第２階層の暫定画素値Ｙｉ’を発生する。暫定とは、補正処理が未だされていないことを意味する。暫定画素値Ｙｉ’は、デマルチプレクサ３１に出力される。また、暫定画素値Ｙｉ’と合計値Ｔｉが減算器４に供給され、（（Ｙｉ’の下位に２ビット００を付加した値）−Ｔｉ＝Ｄ）によって、丸め誤差Ｄが算出される。減算器４に対してＹｉ’は、２ビット上位にシフトして入力し、また、下位２ビットには、常に００が入力されるようにする。丸め誤差Ｄが補正値生成ユニット５および制御ユニット６に供給される。
【００３８】
補正値生成ユニット５は、Ｄ／｜Ｄ｜によって−１（あるいは四捨五入による丸めの場合には、−１ないし＋１）の補正値を生成する。補正値がセレクタ７，８および９に対してその一方の入力として供給される。セレクタ７，８および９の他方の入力としてゼロデータが供給される。制御ユニット６は、セレクタ７，８および９に対して制御信号を発生する。誤差Ｄが０の時には、ゼロデータが選択されるように、制御ユニット６がセレクタ７，８および９を制御する。また、補正値が生成される時には、隣接４画素に対して所定の優先順位でもって補正値が選択されるように、制御ユニット６がセレクタ７，８および９を制御する。
【００３９】
補正値発生部２のセレクタ７，８および９から出力されるゼロデータまたは補正値が加算器１０，１１，１２にそれぞれ供給される。加算器１０，１１，１２には、被置換画素Ｘ4i以外の３個の画素Ｘ1i，Ｘ2i，Ｘ3iが供給される。加算器１０，１１，１２において、画素Ｘ1i，Ｘ2i，Ｘ3iのそれぞれに対してゼロデータまたは補正値が加算される。加算器１０，１１，１２の出力データがデマルチプレクサ１３，１４，１５に供給される。
【００４０】
デマルチプレクサ１３は、補正値が加算された画素値をレジスタ群１６の４個のレジスタに対して順に出力し、デマルチプレクサ１４は、補正値が加算された画素値をレジスタ群１７の４個のレジスタに対して順に出力し、デマルチプレクサ１５は、補正値が加算された画素値をレジスタ群１８の４個のレジスタに対して順に出力する。レジスタ群１６，１７，１８は、順に供給される４個の画素値を同時化する。
【００４１】
レジスタ群１６は、４個の画素値を加算器群１９の４個の加算器に供給する。レジスタ群１７および１８は、４個の画素値を加算器群２０および２１の４個の加算器に対してそれぞれに供給する。加算器群１９，２０，２１には、第３階層の画素値を４の倍数とするための補正値がそれぞれ供給される。加算器群１９，２０，２１から最終的な第１階層の画素値が得られる。
【００４２】
すなわち、加算器群１９からは、図１に示す階層構造において、隣接する４画素の組のそれぞれの左上の画素の画素値Ｘ11, Ｘ12, Ｘ13, Ｘ14が出力され、加算器群２０からは、隣接する４画素の組のそれぞれの右上の画素の画素値Ｘ21, Ｘ22, Ｘ23, Ｘ24が出力され、加算器群２１からは、隣接する４画素の組のそれぞれの左下の画素の画素値Ｘ31, Ｘ32, Ｘ33, Ｘ34が出力される。
【００４３】
３１で示すデマルチプレクサに対して、上述した丸めユニット３からの暫定画素値Ｙｉ’が供給される。デマルチプレクサ３１は、暫定画素値Ｙｉ’をレジスタ群３２の４個のレジスタに対して順に出力する。レジスタ群３２によって、同時化された４個の暫定画素値Ｙ１’，Ｙ２’，Ｙ３’，Ｙ４’が加算器３３に供給される。加算器３３からの合計値Ｔ５が補正値発生部３４に供給される。
【００４４】
補正値発生部３４は、補正値発生部２と同様の構成を有する。但し、制御ユニット３５およびセレクタ３６が補正値発生部３４のブロック内部のものとは別のブロックとして付加して示されている。補正値発生部３４では、合計値Ｔ５を丸めることにより画素値Ｚが形成され、（Ｄ＝（Ｚの下位に２ビット００を付加した値−Ｔ５）の演算によって丸め誤差Ｄが生成され、Ｄ／｜Ｄ｜の演算によって補正値が形成される。
【００４５】
形成された補正値が加算器群３７の４個の加算器にそれぞれ供給される。加算器群３７の加算器の他の入力として、レジスタ群３２により同時化された暫定画素値Ｙ１’，Ｙ２’，Ｙ３’が供給され、これらの暫定画素値に対して補正値が加算される。暫定画素値Ｙ４’は、第３階層の画素値Ｚにより置換される被置換画素のために、加算器群３７には供給されない。加算器群３７から最終的な第２階層の画素値Ｙ１〜Ｙ３が取り出される。
【００４６】
補正値発生部２で生成された補正値が加算器群１９，２０，２１に対して供給される。画素値Ｙ１に対する補正値が画素値Ｘ11, Ｘ21, Ｘ31を出力する加算器に対して供給される。画素値Ｙ２に対する補正値が画素値Ｘ12, Ｘ22, Ｘ32を出力する加算器に対して供給される。画素値Ｙ３に対する補正値が画素値Ｘ13, Ｘ23, Ｘ33を出力する加算器に対して供給される。
【００４７】
セレクタ３６には、補正値とゼロデータが供給され、制御ユニット３５によってセレクタ３６が一方を選択する。制御ユニット３５には、丸め誤差Ｄが供給され、Ｄ＝０の時には、セレクタ３６がゼロデータを選択し、Ｄ≠０の時には、セレクタ３６が補正値を選択するように、制御ユニット３５がセレクタ３６を制御する。セレクタ３６の出力が加算器群１９，２０，２１の画素値Ｘ14, Ｘ24, Ｘ34を出力する加算器に対して供給される。
【００４８】
以上の構成により、加算器群１９，２０，２１からは、第１階層の画素値Ｘ1i, Ｘ2i, Ｘ3iが取り出され、加算器群３７からは、第２階層の画素値Ｙ１〜Ｙ３が取り出され、補正値発生部３４からは、第３階層の画素値Ｚ（合計値Ｔ５を丸めた値）が取り出される。
【００４９】
この発明の一実施形態の理解のために、処理の具体例について図５を参照して説明する。図５では、階層数が３の場合を想定している。従って、第１階層が最下位階層、第３階層が最上位階層である。加算器１では、隣接４画素（Ｘ11, Ｘ21, Ｘ31, Ｘ41）の合計値Ｔ１が計算される。合計値Ｔ１の下位２ビットが丸めユニット３によって丸められ、暫定画素値Ｙ１’が生成される。減算器４では、丸め誤差Ｄが計算される。
【００５０】
図５の例では、合計値Ｔ１が４の倍数であって、下位２ビットが００である。従って、セレクタ７、８、９がゼロデータを選択し、加算器１０、１１、１２において画素値補正がされない。また、該当画素ブロック内の処理が終了していないので、入力される隣接４画素の組が（Ｘ12, Ｘ22, Ｘ32, Ｘ42）へ更新される。そして、加算器１によってこれらの４画素の画素値の合計値Ｔ２が計算され、合計値Ｔ２を丸めることで暫定画素値Ｙ２’が形成される。
【００５１】
図５の例では、合計値Ｔ２の下位２ビットが０１である。従って、丸め誤差Ｄ＝（Ｙ２’の下位に２ビット００を付加した値）−Ｔ２＝−１である。補正値生成ユニット５によって−１の補正値が生成され、この補正値が制御ユニット６の制御によって、所定の画素値に対して加算される。この場合、被置換画素Ｘ42以外に補正値が加算される。ここでは、図５における破線矢印で示すように、被選択画素Ｘ12の画素値に−１が加算される。なお、図５中で、破線矢印は、加算器１０、１１、１２における加算処理を表し、実線矢印は、加算器群１９、２０、２１における加算処理を表す。
【００５２】
次に、隣接４画素の組がＸ13, Ｘ23, Ｘ33, Ｘ34に更新され、これらの画素値の合計値Ｔ３が計算される。合計値Ｔ３の下位２ビットが１０（誤差Ｄ＝−２）となるので、図５において、破線矢印で示すように、第１階層の２個の画素Ｘ13およびＸ33が選択され、加算器１０および１２によって、２個の被選択画素の画素値がそれぞれ−１されたものに補正される。
【００５３】
同様に、隣接４画素の組（Ｘ14, Ｘ24, Ｘ34, Ｘ44) について合計値Ｔ４が計算される。合計値Ｔ４の下位２ビットが１１（丸め誤差Ｄ＝−３）となるので、破線矢印で示すように、被置換画素Ｘ44以外の３個の画素Ｘ14、Ｘ24、Ｘ34が選択され、各画素値が−１されたものに補正される。この場合、３個の被選択画素の画素値を−１としないで、１個の被選択画素の画素値を＋１としても良い。そのようにしても、４画素の合計値の下位２ビットを００とできる。１画素に＋１を加算する方法は、補正される画素数を減少できる。
【００５４】
また、デマルチプレクサ３１、レジスタ群３２を介して加算器３３に対して暫定画素値Ｙ１〜Ｙ４が供給され、これらの合計値Ｔ５が演算される。図５の例では、合計値Ｔ５の下位２ビットが１０となる。この下位２ビットを切り捨てることによって、第３階層の画素値Ｚが形成され、画素値Ｚが出力される。
【００５５】
補正値発生部３４では、Ｄ＝（Ｚの下位に２ビット００を付加した値）−Ｔ５により丸め誤差Ｄ（＝−２）を発生し、丸め誤差Ｄから補正値−１を生成する。この補正値を第２階層の２個の暫定画素値に対して加算する補正を行う。図５の例では、加算器群３７において、暫定画素値Ｙ１’およびＹ３’に対して、それぞれ−１を加算する。暫定画素値Ｙ２’に対する加算値が０とされる。この処理を受けた、第２階層の画素値においては、下位に２ビット００を付加したものが、それに対する第１階層の４画素の合計値とは異なってくる。そのためさらに、第１階層の画素値に対する補正を行う必要が生じる。
【００５６】
第３階層の合計値の下位２ビットを００とするために、補正された第２階層の合計値の下位２ビットは、第１階層の画素値の最下位から３番目および４番目のビット（最上位から数えて第５番目および第６番目のビット）に相当する。従って、補正された第２階層の合計値の下位２ビットを００とする場合、補正値が第１階層の４個の画素値に対してそれぞれ−１を加える処理がなされる。図５の例では、画素値Ｙ１に対する補正をさらに補正するため、第１階層の画素値Ｘ11、Ｘ21、Ｘ31、Ｘ41に対して−１を加える。画素値Ｙ２に対する補正をさらに補正するための第１階層の画素値Ｘ11、Ｘ21、Ｘ31、Ｘ41に対しても−１を加える。
【００５７】
このようにして、第１階層の画素値は、最初の段階の補正処理と、２番目の段階の補正処理との両方を受けて、図５に示すような画素値に変更される。
【００５８】
次に、上述したように階層符号化されたデータを復号する処理、すなわち、上位階層の画素値で置き換えられた下位階層の画素値の復元処理は、最上位階層（第３階層）から下位階層に向かって順に復号処理がなされる。第３階層の画素値は、受信または再生した画素値そのものが使用される。第２階層中の被置換画素の画素値は、第３階層の画素値から３画素の画素値の合計値を減算することで得ることができる。例えばＹ４＝（Ｚの下位に２ビット００を付加した値）または４Ｚ−（Ｙ１＋Ｙ２＋Ｙ３）で復元できる。第１階層の被置換画素の画素値も、同様にして求めることができる。すなわち、復元処理は、誤差を分散した処理を使用しないで形成された階層構造データの場合と同様に行うことができる。
【００５９】
また、この発明は、１枚の画像の領域を分けて階層構造データの形成方法を異ならせるようにしても良い。すなわち、上述した誤差分散処理の場合では、最下位階層に誤差が分散され、重畳されるので、画質劣化が目立ちにくい画像の周辺部分では、誤差分散の処理を採用し、画像の中央部では、丸め誤差をゼロまたは非常に少なくできる処理方法を採用する。
【００６０】
例えば画像中央部では、第１の階層の複数の画素値の演算結果によって、ビット長が拡張されたより上位の第２の階層の画素値を生成し、この第１の階層の複数の画素値の内の１個を第２の階層の画素値によって置き換えてデータ量を圧縮し、置き換えられた画素値を出力するデータ生成方法を採用できる。または、第１の階層の複数の画素値の演算結果を丸めることによって、より上位の第２の階層の画素値を生成すると共に、丸めにより生じる誤差を示すコードを生成し、第１の階層の複数の画素値の内の１個を第２の階層の画素値によって置き換えてデータ量を圧縮し、このコードと、置き換えられた画素値とを出力するデータ生成方法を採用できる。
【００６１】
以上の説明では、隣接する４画素の画素値の合計値または平均値によって，上位階層の画素値を生成している。しかしながら、４個以外の個数の画素値を使用しても良く、また、隣接していない複数の画素値を使用しても良く、さらに、加重平均その他のより複雑な演算によって上位階層画素値を生成しても良い。また、上述した説明では、丸め処理としては、切り捨て、四捨五入の他に切り上げ等を使用しても良い。さらに、１０ビット（合計値）の下位２ビットを００以外にも、０１、１０、１１にそろえる丸め方法にも適用可能である。但し、この場合には、前もって下位２ビットの値を決めておく必要がある。さらに、この発明は、画像データに限らず、ディジタル音声データのような他のディジタル情報信号に対しても適用することができる。
【００６２】
【発明の効果】
この発明によれば、各階層の画素値を固定のビット長とすることができ、ビット長を拡張したり、付加コード使用する必要がない。また、固定のビット長とするために、単に誤差を切り捨てる場合のように、誤差が上位階層となるほど、上位側にシフトすることが防止でき、画質の劣化を防止することができる。さらに、この発明では、各階層データの画素値のビット長が一定長であるので、データを扱い易く、階層間で処理時間が異なる不都合を回避することができる。
【図面の簡単な説明】
【図１】この発明が適用可能な階層構造データを説明するための略線図である。
【図２】この発明による階層構造データの生成処理を説明するためのフローチャートである。
【図３】この発明による階層構造データの生成処理を説明するためのフローチャートである。
【図４】この発明による階層構造データの生成を行うための構成の一例を示すブロック図である。
【図５】この発明による階層構造データの生成処理を説明するための略線図である。
【符号の説明】
ＤＬ１・・・第１階層データ、ＤＬ２・・・第２階層データ、ＤＬ３・・・第３階層データ、Ｔ１〜Ｔ５・・・合計値、２，３４・・・補正値発生部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an apparatus and method for generating hierarchical data, and a system and method for generating and restoring hierarchical data.
[0002]
[Prior art]
Hierarchical coding for generating image signals of a plurality of layers having different resolutions is known. That is, a high resolution image signal is defined as a first layer, a second layer image signal having a lower resolution, a third layer image signal having a lower resolution than the second layer image signal,... (N−1) ) Coding (referred to as hierarchical coding) for forming an image signal of the nth layer having a resolution lower than that of the image signal of the layer has been proposed. According to this encoding, a plurality of image signals are transmitted via a single transmission path (communication path, recording medium), and on the receiving side, image data is reproduced by an image monitor corresponding to each of the plurality of hierarchies. Can do.
[0003]
More specifically, a standard resolution video signal, a high resolution video signal, image data of a computer display, a low resolution video signal for high-speed search of an image database, and the like are video signals having different resolutions. In addition to high and low resolution, hierarchical encoding can be applied to image enlargement and reduction (so-called electronic zoom). Image scaling is a function often used in video game applications, for example.
[0004]
In the conventional hierarchical coding, when forming a second layer image signal of 1/4 the first layer (input) image signal and the number of pixels of the first layer image signal, the first layer image signal is Thinning out to 1/4 forms a second layer image signal, calculates a difference value between the input signal and the first layer interpolation signal interpolated from the second layer image signal, and transmits this difference value is doing. As described above, in the conventional hierarchical coding, the number of pixels of the difference value is equal to the number of pixels of the input image signal, and further, since the signal of the second layer is transmitted, the transmission data amount is increased from the original data amount. It was normal. In the example of five layers, the number of pixels is 256 + 64 + 16 + 4 + 1 = 341, and if the number of bits per pixel is the same, the data amount increases to 341 / 256≈1.33 times.
[0005]
On the other hand, the applicant of the present application has already proposed hierarchical encoding that can suppress an increase in the amount of data. This hierarchical coding will be described with reference to FIG. That is, the hierarchical structure data includes first hierarchical data DL1 composed of input image data, second hierarchical data DL2 having a lower resolution, and third hierarchical data DL3 having a lower resolution than the second hierarchical data. It is.
[0006]
In the lowermost part of FIG. 1, a partial image (4 × 4 pixels) of the first layer data DL1 constituted by input image data is shown. This partial image is referred to as a pixel block. In FIG. 1, one square represents one pixel. A total value or an average value is calculated for every four pixels in the first layer (2 × 2 pixels). For example, the total value Y1 (= X11 + X21 + X31 + X41) or the average value Y1 (= ¼ · (X11 + X21 + X31 + X41)) of X11, X21, X31, X41 is calculated. Therefore, the portion corresponding to (4 × 4 pixels) is (2 × 2 pixels). The second hierarchy data DL2 is configured by the total value or the average value calculated in this way. In the second layer, (2 × 2 pixels) is a pixel block.
[0007]
Next, a total value or an average value of four (2 × 2) spatially adjacent pixels in the second layer is calculated. For example, the total value Z (= Y1 + Y2 + Y3 + Y4) or the average value Z (= 1/4 · (Y1 + Y2 + Y3 + Y4)) is calculated. The third hierarchy data DL3 is configured by the total value or the average value calculated in this way. The third layer data DL3 is a set of one pixel corresponding to the pixel block of the input image. As can be seen from FIG. 1, as the hierarchy changes, the number of pixels decreases to 1/4, 1/16,. In other words, if the area of the image is constant, the resolution decreases at the same rate. If the distance between pixels is constant, the size of the image is reduced at the same rate. In this way, the encoding process is performed from the first layer toward the higher layer in order.
[0008]
Hierarchical coding that forms an image of a higher hierarchy with the above average value has an advantage that the number of transmission pixels does not increase when transmitting image data of a plurality of hierarchies. In the example of FIG. 1, instead of transmitting pixels with parentheses, upper layer data may be transmitted. For example, the second layer data Y4 may be transmitted instead of the first layer pixel data X41. Further, the third layer data Z may be transmitted instead of the second layer pixel data Y4. That is, transmission of one pixel (four pixels in FIG. 1 in total) for each pixel block in the first layer is omitted, and Y1, Y2, Y3, and Z are transmitted instead of the omitted pixels.
[0009]
The decoding process will be described. The third layer data DL3 that is the highest layer can be obtained directly from the received data. In the case of using the total value, pixel data, for example Y4, whose transmission is omitted in the data of the second layer, can be obtained by Y4 = Z− (Y1 + Y2 + Y3). Further, in the case of using the average value, it is obtained as Y4 = 4Z− (Y1 + Y2 + Y3). Further, pixel data, for example X41, whose transmission is omitted in the data of the first layer is obtained as X41 = Y1- (X11 + X21 + X31) (in the case of the total value) or X41 = 4Y1- (X11 + X21 + X31) (in the case of the average value). . Thus, at the time of decoding, it is made from the third hierarchy toward the lower hierarchy in order. Note that the position of the pixel for which transmission is omitted is not limited to the position of the lower right corner.
[0010]
In the above-described hierarchical encoding, when the pixel value is 8-bit data, the value generated by averaging or addition is 10 bits. In order to prevent the amount of data from increasing, the lower 2 bits of the total value or the digits corresponding to the decimal point are rounded to the upper 8 bits by rounding off or rounding down. When restoring a pixel from which transmission in a lower layer is omitted, an error due to rounding at the time of encoding is superimposed on the lower two bits of the restored pixel value. In the example of FIG. 1, when restoring the pixel data Y4 of the second hierarchy, an error is superimposed on the lower 2 bits of Y4. Furthermore, when restoring the pixel data X4 of the first hierarchy, the error superimposed on the lower 2 bits of the restored Y4 is shifted by 2 bits to the upper side. Thus, at the time of decoding, 2 bits on which an error is superimposed are shifted to the upper side as the lower layer is reached. In the case of five layers, an error is superimposed on the MSB (Most Significant Bit) and the second upper bit of the restored pixel data in the lowest first layer.
[0011]
The shift of the influence of the error to the higher side as the lower layer occurs causes a problem that the decoding error increases as the lower layer. One method for solving this problem is a method in which the bit length per pixel is increased as the upper layer is increased. In the example of FIG. 1, the first layer data DL1 is 8 bits / 1 pixel, the second layer data DL2 is 10 bits / 1 pixel, and the third layer data DL3 is 12 bits / 1 pixel. The The value related to the upper pixel is the total value (10 bits) of the lower layer 4 pixels (or can be regarded as an average value in which the decimal point is located between the 8th and 9th bits from the upper level). However, when a decoded image is displayed, a value rounded to upper 8 bits is used. In this method, the total data amount (total bit amount) increases to 1.08 times the original image data. The degree of this increase can be less than the increase rate of 1.33 when all the data of each layer is transmitted.
[0012]
[Problems to be solved by the invention]
As described above, the method of extending the bit length as the upper layer suppresses the increase rate of the generated data, but causes a slight increase. If the lower two bits of the total value of the four pixel values in the lower layer or the digit corresponding to the decimal point of the average value is zero, an error associated with the rounding process does not occur, There is no problem that the error shifts to the upper bit side during restoration. However, in practice, in many cases, the lower two bits or digits corresponding to the decimal point are not zero.
[0013]
Accordingly, an object of the present invention is to prevent an increase in the amount of data by dispersing and superimposing errors generated when generating higher layer data in the lower layer data in the above-described layer encoding, Another object of the present invention is to provide an apparatus and method for generating hierarchical data with little image degradation and a system and method for generating and restoring hierarchical data.
[0014]
[Means for Solving the Problems]
In order to solve the above-described problem, the invention according to claim 1 generates hierarchical structure data including at least two layers of first layer data and second layer data higher than the first layer data from input data. In the hierarchical data generation device
By rounding the calculation result of the plurality of signal values of the first layer, a signal value of the second higher layer is generated, and an error caused by rounding is dispersed and superimposed on the signal value of the first layer By doing so, a signal value generating means for generating a signal value of the first layer again,
Replacement means for compressing the amount of data by replacing one of the plurality of signal values of the first layer with the signal value of the second layer,
A hierarchical data generation apparatus is characterized in that a signal value generated by a replacement means is output.
[0015]
The invention of claim 6 generates hierarchical structure data composed of at least two layers of first layer data and second layer data higher than the first layer data from the input data, receives the layer structure data, In a hierarchical data generation / restoration system for restoring first and second hierarchical data from structural data,
By rounding the calculation result of the plurality of signal values of the first layer, a signal value of the second higher layer is generated, and an error caused by rounding is dispersed and superimposed on the signal value of the first layer By doing so, a signal value generating means for generating a signal value of the first layer again,
Replacement means for compressing the amount of data by replacing one of the plurality of signal values of the first layer with the signal value of the second layer;
Means for transmitting or storing signal values generated by the replacement means;
The first layer replaced with the signal value of the second layer by the signal value of the second layer received or reproduced and the signal value of the first layer other than the signal value replaced with the signal value of the second layer A hierarchical data generation / restoration system comprising: means for restoring the signal values of the other hierarchies.
[0016]
The invention of claim 7 is a hierarchical data generation method for generating hierarchical structure data composed of at least two layers of first layer data and second layer data higher than the first layer data from input data.
By rounding the calculation result of the plurality of signal values of the first layer, a signal value of the second higher layer is generated, and an error caused by rounding is dispersed and superimposed on the signal value of the first layer To generate a signal value of the first layer anew,
Replacing one of a plurality of signal values of the first layer with a signal value of the second layer and compressing the amount of data,
A hierarchical data generation method is characterized in that the signal value generated in the compressing step is output.
[0017]
The invention of claim 8 generates hierarchical structure data comprising at least two layers of first hierarchical data and second hierarchical data higher than the first hierarchical data from the input data, receives the hierarchical structural data, In the generation and restoration method of hierarchical data for restoring the first and second hierarchical data respectively from the structure data,
By rounding the calculation result of the plurality of signal values of the first layer, a signal value of the second higher layer is generated, and an error caused by rounding is dispersed and superimposed on the signal value of the first layer To generate a signal value of the first layer anew,
Replacing one of a plurality of signal values of the first layer with a signal value of the second layer to compress the data amount;
Transmitting or storing signal values generated in the compressing step;
The first layer replaced with the signal value of the second layer by the signal value of the second layer received or reproduced and the signal value of the first layer other than the signal value replaced with the signal value of the second layer A hierarchical data generation / restoration method comprising the step of:
[0018]
The present invention does not extend the bit length of upper layer data and does not require an additional code. According to the present invention, the bit length of the pixels in each layer can be set to a fixed length equal to the bit length of the lowest layer. Therefore, an increase in data amount can be suppressed. Although a rounding error occurs, since the rounding error is distributed and superimposed, deterioration of the image quality of the restored image can be visually inconspicuous.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described. One embodiment is a method of hierarchical coding. As an example, the lowest hierarchy data (input image data) DL1 is image data in which one pixel is 8 bits. In the case of a color image, for example, each component of luminance data and two color difference data is processed. However, it may be a composite signal (luminance signal + carrier color signal). In this embodiment, a pixel in the upper layer is generated based on an average value of the pixel values of the adjacent four pixels in the lower layer, and one pixel in the adjacent four pixels in the lower layer is determined by the generated upper layer pixel. The present invention is applied to hierarchical coding that compresses the amount of data compared to the case where replacement and all hierarchical data coexist.
[0020]
The basic concept of error variance according to the present invention will be described. An error that occurs when the bit length is fixed in the creation of upper layer data is distributed and superimposed in the lower layer data. Further, by distributing and superimposing errors in order to the lowest hierarchy, the lowest order data is always a multiple of 4 so that the data of the hierarchy other than the lowest hierarchy (the average value of the adjacent four pixels in the lower hierarchy) is always a multiple of 4. Correct hierarchy data. As a result of this processing, additional bits in hierarchical encoding are not necessary.
[0021]
2 and 3 show the flow of encoding processing according to an embodiment. For example, the flowcharts of FIGS. 2 and 3 show processing for generating hierarchical structure data by software processing. 2 and 3 are originally a series of flows divided into separate drawings for the convenience of drawing space.
[0022]
In this embodiment, a total value of four adjacent pixels is generated, and the total value is rounded by rounding down to generate a pixel value in an upper layer. For example, the pixel value Y1 of the second layer is generated by Y1 = (X11 + X21 + X31 + X41) (rounded down to 8 bits). Truncation simply discards the lower 2 bits. The pixel value of the upper layer may be formed not only by the total value but by the average value. Further, not only rounding down, rounding may be used as rounding processing. Rounding is performed by adding 1 to the 8th bit when the 9th bit is 1 from the upper bit, not adding 1 to the 8th bit when the 9th bit is 0, and, in any case, the lower 2 bits. This is a process of discarding 00.
[0023]
However, in the following description, when it is referred to as a rounded total value, it is assumed to be a 10-bit value that does not discard the lower 2 bits set to 00. In other words, a value obtained by adding 2 bits of 00 to the lower order of the rounded value.
[0024]
In step ST1, the lowest hierarchy data is input. In the next step ST2, the total value of the adjacent four pixel values is calculated. In step ST3, the lower 2 bits of the total value are rounded. In step ST4, a rounding error D is calculated. The rounding error D is a value obtained by subtracting the total value from the rounded total value. In the case of truncation, D = 0, -1, -2, or -3.
[0025]
It is determined whether or not the rounding error (difference value) D is zero. (Step ST5). If the error is 0, error variance processing is unnecessary, and the process moves to step ST6. In step ST6, it is determined whether or not the processing in the pixel block of the lowest hierarchy has been completed. If it is determined that the processing has not ended, the set of adjacent four pixels is updated (step ST7). And it returns to step ST2 and the process mentioned above is repeated.
[0026]
If it is determined in step ST6 that the processing in the corresponding pixel block has been completed, it is determined in step ST8 whether or not the upper hierarchy is the highest hierarchy. If it is determined that it is not the highest hierarchy, the hierarchy to be processed is raised (step ST9). And it returns to step ST2 and the process mentioned above is repeated.
[0027]
If it is determined in step ST8 that it is the highest hierarchy, it is determined in step ST10 whether or not the processing of all the pixel blocks has been completed. If it is determined that all the pixel blocks have not been processed, the pixel block is updated (step ST11). And it returns to step ST2 and the process mentioned above is repeated. If it is determined in step ST10 that the processing of all the pixel blocks has been completed, the hierarchical structure data generation processing ends.
[0028]
In step ST5, when the error D is not 0, error dispersion processing is performed. First, in step ST12, a value obtained by shifting the rounded total value to the right by 2 bits, that is, an upper layer pixel value is generated by truncation, and one pixel in the lower layer is replaced with the upper layer pixel value. In step ST13, one of the four pixels in the lower hierarchy is selected. It is determined whether or not the selected pixel (selected pixel) is a pixel (replaced pixel) that is replaced by a higher-layer pixel (step ST14).
[0029]
If not, the pixel value of the selected pixel is corrected in step ST15. This correction is a process of adding a value obtained by dividing the error D by the absolute value | D | to the pixel value of the selected pixel. Therefore, in the case of truncation, the correction value is set to -1. If it is determined in step ST14 that the selected pixel is a replaced pixel, the selected pixel is not corrected.
[0030]
In the next step ST16, it is determined whether the lower hierarchy is the lowest hierarchy. If it is determined in step ST16 that it is the lowest hierarchy, it is determined in step ST17 whether or not correction for | D | pixels has been completed. If it is determined in step ST17 that the correction has been completed, it is determined in step ST6 whether the correction in the corresponding pixel block has been completed. The processing from step ST6 to ST11 is as described above.
[0031]
If it is determined in step ST16 that the lower hierarchy in which the error is distributed is not the lowest hierarchy, the process of the flowchart shown in FIG. 3 is performed. First, in step ST21, the hierarchy is lowered. In step ST22, one of the four pixels in the lower hierarchy is selected. It is determined whether or not the selected pixel is a replaced pixel (that is, a pixel that is replaced with a pixel value in an upper layer) (step ST23).
[0032]
If not, the pixel value of the selected pixel is corrected in step ST24. This correction is a process of adding a value obtained by dividing the error D by the absolute value | D | to the pixel value of the selected pixel. If it is a pixel to be replaced, no correction is made. Then, it is determined whether the lower hierarchy is the lowest hierarchy (step ST25). If the lower hierarchy is not the lowest hierarchy, the process returns to step ST21 (lower hierarchy).
[0033]
If it is determined in step ST25 that the lower hierarchy is the lowest hierarchy, it is determined in step ST26 whether or not the correction for four pixels has been completed. If it is determined that the correction for four pixels is not completed, the process returns to step ST22 (pixel selection), and the same process as described above is repeated.
[0034]
If it is determined in step ST26 that the correction for four pixels has been completed, the presence / absence of upper layer data is checked in step ST27. If it is determined that there is higher hierarchy data, the hierarchy is raised in step ST23, and the process returns to step ST26 (correction completed?). If it is determined in step ST27 that there is no higher hierarchy data, the process returns to step ST17 (correction end?) In FIG. The processing after step ST17 is as described above.
[0035]
The pixel block is a lower layer area corresponding to one pixel of the highest layer. In the case of three layers, the 4 × 4 pixel region in the first layer and the 2 × 2 pixel region in the second layer are pixel blocks, respectively. However, the definition of the pixel block may be full screen. In that case, step ST10 (end of all blocks?) And step ST11 (update of pixel block) are unnecessary.
[0036]
FIG. 4 shows an example of a hierarchical data creation apparatus according to an embodiment of the present invention. This apparatus is applied to the case of creating three-layer data as shown in FIG. The adjacent four pixels X1i, X2i, X3i, and X4i (i = 1, 2, 3, 4) of the input image data (first-layer original data) are supplied to the adder 1. Four adjacent pixels are synchronized, and every four adjacent pixels are input to the adder 1. The total value Ti from the adder 1 is supplied to the rounding unit 3 in the correction value generator 2.
[0037]
For example, the rounding unit 3 generates a temporary pixel value Yi ′ in the second layer which is made to be 8 bits by truncation, for example. Provisional means that correction processing has not yet been performed. The provisional pixel value Yi ′ is output to the demultiplexer 31. Further, the provisional pixel value Yi ′ and the total value Ti are supplied to the subtractor 4, and the rounding error D is calculated by ((value obtained by adding 2 bits 00 to the lower order of Yi ′) − Ti = D). Yi ′ is input to the subtracter 4 after shifting it up by 2 bits, and 00 is always input to the lower 2 bits. The rounding error D is supplied to the correction value generation unit 5 and the control unit 6.
[0038]
The correction value generation unit 5 generates a correction value of −1 (or −1 to +1 in the case of rounding by rounding off) by D / | D |. The correction value is supplied to the selectors 7, 8 and 9 as one input thereof. Zero data is supplied as the other input of the selectors 7, 8 and 9. The control unit 6 generates control signals for the selectors 7, 8 and 9. When the error D is 0, the control unit 6 controls the selectors 7, 8 and 9 so that zero data is selected. Further, when the correction value is generated, the control unit 6 controls the selectors 7, 8 and 9 so that the correction value is selected with a predetermined priority for the adjacent four pixels.
[0039]
Zero data or correction values output from the selectors 7, 8 and 9 of the correction value generator 2 are supplied to the adders 10, 11 and 12, respectively. Three pixels X1i, X2i, and X3i other than the replaced pixel X4i are supplied to the adders 10, 11, and 12. In the adders 10, 11, and 12, zero data or a correction value is added to each of the pixels X1i, X2i, and X3i. Output data of the adders 10, 11, 12 is supplied to the demultiplexers 13, 14, 15.
[0040]
The demultiplexer 13 sequentially outputs the pixel values to which the correction values are added to the four registers of the register group 16, and the demultiplexer 14 outputs the pixel values to which the correction values are added to the four registers of the register group 17. The demultiplexer 15 sequentially outputs the pixel values added with the correction values to the four registers of the register group 18. The register groups 16, 17, and 18 simultaneously synchronize the four pixel values that are sequentially supplied.
[0041]
The register group 16 supplies the four pixel values to the four adders of the adder group 19. The register groups 17 and 18 supply the four pixel values to the four adders of the adder groups 20 and 21, respectively. Correction values for making the pixel values of the third layer a multiple of 4 are supplied to the adder groups 19, 20, and 21, respectively. The final first-tier pixel values are obtained from the adder groups 19, 20, and 21.
[0042]
That is, the adder group 19 outputs pixel values X11, X12, X13, and X14 of the respective upper left pixels of the set of four adjacent pixels in the hierarchical structure shown in FIG. The pixel values X21, X22, X23, and X24 of the upper right pixels of the adjacent four pixel groups are output, and the adder group 21 outputs the pixel values X31, X of the lower left pixels of the adjacent four pixel groups. X32, X33, and X34 are output.
[0043]
The provisional pixel value Yi ′ from the rounding unit 3 described above is supplied to the demultiplexer indicated by 31. The demultiplexer 31 sequentially outputs the provisional pixel value Yi ′ to the four registers of the register group 32. The register group 32 supplies the four synchronized provisional pixel values Y1 ′, Y2 ′, Y3 ′, Y4 ′ to the adder 33. The total value T5 from the adder 33 is supplied to the correction value generator 34.
[0044]
The correction value generator 34 has the same configuration as the correction value generator 2. However, the control unit 35 and the selector 36 are shown as being added as blocks different from those inside the block of the correction value generator 34. In the correction value generation unit 34, the pixel value Z is formed by rounding the total value T5, and a rounding error D is generated by calculation of (D = (value obtained by adding 2 bits 00 to the lower order of Z−T5). A correction value is formed by computing | D |.
[0045]
The formed correction values are supplied to the four adders of the adder group 37, respectively. As other inputs of the adder of the adder group 37, provisional pixel values Y1 ′, Y2 ′, Y3 ′ synchronized by the register group 32 are supplied, and correction values are added to these provisional pixel values. . The provisional pixel value Y4 ′ is not supplied to the adder group 37 because the pixel to be replaced is replaced by the pixel value Z of the third hierarchy. The final second-layer pixel values Y1 to Y3 are extracted from the adder group 37.
[0046]
The correction value generated by the correction value generator 2 is supplied to the adder groups 19, 20, and 21. A correction value for the pixel value Y1 is supplied to an adder that outputs pixel values X11, X21, and X31. A correction value for the pixel value Y2 is supplied to an adder that outputs pixel values X12, X22, and X32. A correction value for the pixel value Y3 is supplied to an adder that outputs pixel values X13, X23, and X33.
[0047]
The correction value and zero data are supplied to the selector 36, and the selector 36 selects one by the control unit 35. The control unit 35 is supplied with a rounding error D. When D = 0, the selector 36 selects zero data, and when D ≠ 0, the control unit 35 selects the correction value so that the selector 36 selects a correction value. To control. The output of the selector 36 is supplied to an adder that outputs the pixel values X14, X24, and X34 of the adder groups 19, 20, and 21.
[0048]
With the above configuration, the first-layer pixel values X1i, X2i, and X3i are extracted from the adder groups 19, 20, and 21, and the second-layer pixel values Y1 to Y3 are extracted from the adder group 37. From the correction value generator 34, the pixel value Z (the value obtained by rounding the total value T5) of the third layer is extracted.
[0049]
In order to understand one embodiment of the present invention, a specific example of processing will be described with reference to FIG. FIG. 5 assumes a case where the number of layers is three. Therefore, the first hierarchy is the lowest hierarchy and the third hierarchy is the highest hierarchy. In the adder 1, a total value T1 of four adjacent pixels (X11, X21, X31, X41) is calculated. The lower 2 bits of the total value T1 are rounded by the rounding unit 3 to generate a provisional pixel value Y1 ′. In the subtracter 4, a rounding error D is calculated.
[0050]
In the example of FIG. 5, the total value T1 is a multiple of 4 and the lower 2 bits are 00. Accordingly, the selectors 7, 8, and 9 select zero data, and the adder 10, 11, and 12 do not perform pixel value correction. Further, since the processing in the corresponding pixel block has not been completed, the set of four adjacent pixels to be inputted is updated to (X12, X22, X32, X42). Then, the total value T2 of the pixel values of these four pixels is calculated by the adder 1, and the provisional pixel value Y2 ′ is formed by rounding the total value T2.
[0051]
In the example of FIG. 5, the lower 2 bits of the total value T2 are 01. Accordingly, the rounding error D = (value obtained by adding 2 bits 00 to the lower order of Y2 ′) − T2 = −1. A correction value of −1 is generated by the correction value generation unit 5, and this correction value is added to a predetermined pixel value under the control of the control unit 6. In this case, a correction value is added to other than the pixel to be replaced X42. Here, -1 is added to the pixel value of the selected pixel X12, as indicated by the dashed arrow in FIG. In FIG. 5, the broken line arrows represent addition processing in the adders 10, 11, and 12, and the solid line arrows represent addition processing in the adder groups 19, 20, and 21.
[0052]
Next, the set of four adjacent pixels is updated to X13, X23, X33, and X34, and the total value T3 of these pixel values is calculated. Since the lower 2 bits of the total value T3 are 10 (error D = -2), the two pixels X13 and X33 in the first hierarchy are selected as shown by the dashed arrows in FIG. 12 corrects the pixel values of the two selected pixels to -1.
[0053]
Similarly, a total value T4 is calculated for a set of four adjacent pixels (X14, X24, X34, X44). Since the lower 2 bits of the total value T4 are 11 (rounding error D = -3), three pixels X14, X24, and X34 other than the pixel to be replaced X44 are selected as indicated by the broken line arrow, and each pixel value is -1 is corrected. In this case, the pixel value of one selected pixel may be set to +1 without setting the pixel value of the three selected pixels to -1. Even in such a case, the lower 2 bits of the total value of the four pixels can be set to 00. The method of adding +1 to one pixel can reduce the number of corrected pixels.
[0054]
Further, provisional pixel values Y1 to Y4 are supplied to the adder 33 via the demultiplexer 31 and the register group 32, and the total value T5 is calculated. In the example of FIG. 5, the lower 2 bits of the total value T5 are 10. By truncating the lower 2 bits, the pixel value Z of the third hierarchy is formed, and the pixel value Z is output.
[0055]
The correction value generator 34 generates a rounding error D (= −2) by D = (value obtained by adding 2 bits 00 to the lower order of Z) −T5, and generates a correction value−1 from the rounding error D. The correction value is added to the two temporary pixel values in the second layer. In the example of FIG. 5, the adder group 37 adds −1 to the provisional pixel values Y1 ′ and Y3 ′. The addition value for the provisional pixel value Y2 ′ is set to zero. In the pixel values of the second layer that have undergone this process, the lower two bits 00 added are different from the total value of the four pixels of the first layer corresponding thereto. For this reason, it is necessary to correct the pixel values of the first layer.
[0056]
In order to set the lower 2 bits of the total value of the third layer to 00, the lower 2 bits of the corrected total value of the second layer are the third and fourth bits from the least significant pixel value of the first layer ( 5th and 6th bits counted from the most significant bit). Accordingly, when the lower 2 bits of the corrected total value of the second layer are set to 00, a process of adding −1 to each of the four pixel values of the first layer is performed as the correction value. In the example of FIG. 5, −1 is added to the pixel values X11, X21, X31, and X41 of the first layer in order to further correct the correction for the pixel value Y1. Also, −1 is added to the pixel values X11, X21, X31, and X41 of the first layer for further correcting the correction for the pixel value Y2.
[0057]
In this way, the pixel value of the first layer is changed to the pixel value as shown in FIG. 5 in response to both the first stage correction process and the second stage correction process.
[0058]
Next, the process of decoding the hierarchically encoded data as described above, that is, the restoration process of the pixel value of the lower hierarchy replaced with the pixel value of the upper hierarchy is performed from the highest hierarchy (third hierarchy) to the lower hierarchy. Decoding processing is performed in order toward. As the pixel value of the third layer, the received or reproduced pixel value itself is used. The pixel value of the pixel to be replaced in the second hierarchy can be obtained by subtracting the total value of the three pixel values from the pixel value of the third hierarchy. For example, it can be restored by Y4 = (value obtained by adding 2 bits 00 to the lower order of Z) or 4Z− (Y1 + Y2 + Y3). The pixel value of the replacement pixel in the first layer can be obtained in the same manner. In other words, the restoration process can be performed in the same manner as in the case of hierarchical structure data formed without using a process with distributed errors.
[0059]
In addition, according to the present invention, the formation method of the hierarchical structure data may be changed by dividing the area of one image. In other words, in the case of the error variance processing described above, the error is dispersed and superimposed on the lowest layer, so that error variance processing is adopted in the peripheral portion of the image where the image quality degradation is not noticeable, and in the central portion of the image, A processing method that can reduce the rounding error to zero or very small is adopted.
[0060]
For example, in the central portion of the image, a pixel value of the second layer having a higher bit length is generated based on the calculation result of the plurality of pixel values of the first layer, and the plurality of pixel values of the first layer are generated. A data generation method in which one of them is replaced with the pixel value of the second hierarchy to compress the data amount and output the replaced pixel value can be employed. Or, by rounding the calculation results of the plurality of pixel values of the first layer, the pixel values of the higher second layer are generated, and the code indicating the error caused by the rounding is generated, It is possible to adopt a data generation method in which one of a plurality of pixel values is replaced with a pixel value of the second layer to compress the data amount, and this code and the replaced pixel value are output.
[0061]
In the above description, the pixel value of the upper layer is generated by the total value or the average value of the pixel values of the four adjacent pixels. However, a number of pixel values other than four may be used, or a plurality of pixel values that are not adjacent to each other may be used. It may be generated. In the above description, rounding may be rounded up or rounded off in addition to rounding. Furthermore, the present invention can be applied to a rounding method in which the lower 2 bits of 10 bits (total value) are set to 01, 10, and 11 in addition to 00. However, in this case, it is necessary to determine the value of the lower 2 bits in advance. Furthermore, the present invention can be applied not only to image data but also to other digital information signals such as digital audio data.
[0062]
【The invention's effect】
According to the present invention, the pixel value of each layer can be set to a fixed bit length, and there is no need to extend the bit length or use an additional code. Further, in order to set a fixed bit length, as in the case of simply truncating the error, the higher the error is, the higher the level of the error can be prevented, and the deterioration of the image quality can be prevented. Furthermore, in the present invention, since the bit length of the pixel value of each hierarchical data is a fixed length, it is easy to handle the data, and it is possible to avoid the disadvantage that the processing time differs between the hierarchical levels.
[Brief description of the drawings]
FIG. 1 is a schematic diagram for explaining hierarchical structure data to which the present invention is applicable.
FIG. 2 is a flowchart for explaining hierarchical structure data generation processing according to the present invention;
FIG. 3 is a flowchart for explaining hierarchical structure data generation processing according to the present invention;
FIG. 4 is a block diagram showing an example of a configuration for generating hierarchical structure data according to the present invention.
FIG. 5 is a schematic diagram for explaining hierarchical structure data generation processing according to the present invention;
[Explanation of symbols]
DL1 ... first layer data, DL2 ... second layer data, DL3 ... third layer data, T1-T5 ... total value, 2,34 ... correction value generator

Claims

In a hierarchical data generation apparatus that generates hierarchical structure data including at least two layers of first hierarchical data and second hierarchical data higher than the first hierarchical data from input data,
By rounding the calculation result of the plurality of signal values of the first layer, a higher-order second layer signal value is generated, and an error caused by the rounding is distributed to the signal values of the first layer. Signal value generating means for generating a signal value of the first hierarchy again by superimposing
Replacement means for compressing the amount of data by replacing one of the plurality of signal values of the first layer with the signal value of the second layer,
An apparatus for generating hierarchical data, wherein a signal value generated by the replacement means is output.

In claim 1,
A hierarchical data generation apparatus, further comprising storage means for storing the output signal value.

In claim 1,
The hierarchical data generating apparatus, wherein the calculation result is a total value or an average value.

In claim 1,
An apparatus for generating hierarchical data, wherein the process of rounding the operation result is rounding, rounding down or rounding up.

In claim 1,
Further, when generating one or more hierarchical data higher than the second hierarchical data, the error is distributed and superimposed on pixel values in all lower hierarchical levels. Generator.

Generating hierarchical structure data composed of at least two layers of first hierarchical data and second hierarchical data higher than the first hierarchical data from the input data, receiving the hierarchical structural data, In the hierarchical data generation / restoration system for restoring the second hierarchical data,
By rounding the calculation result of the plurality of signal values of the first layer, a higher-order second layer signal value is generated, and an error caused by the rounding is distributed to the signal values of the first layer. Signal value generating means for generating a signal value of the first hierarchy again by superimposing
Replacement means for compressing the amount of data by replacing one of the plurality of signal values of the first layer with the signal value of the second layer;
Means for transmitting or storing a signal value generated by the replacement means;
The signal value of the second layer is replaced by the signal value of the second layer received or reproduced and the signal value of the first layer other than the signal value of the second layer replaced with the signal value of the second layer. And a means for restoring the signal value of the first hierarchy.

In a hierarchical data generation method for generating hierarchical structure data composed of at least two layers of first hierarchical data and second hierarchical data higher than the first hierarchical data from input data,
By rounding the calculation result of the plurality of signal values of the first layer, a higher-order second layer signal value is generated, and an error caused by the rounding is distributed to the signal values of the first layer. Generating a signal value of the first layer again by superimposing,
Replacing one of the plurality of signal values of the first layer with the signal value of the second layer and compressing the amount of data,
A method for generating hierarchical data, comprising: outputting a signal value generated in the compressing step.

Generating hierarchical structure data composed of at least two layers of first hierarchical data and second hierarchical data higher than the first hierarchical data from the input data, receiving the hierarchical structural data, In the hierarchical data generation / restoration method for restoring the second hierarchical data,
By rounding the calculation result of the plurality of signal values of the first layer, a higher-order second layer signal value is generated, and an error caused by the rounding is distributed to the signal values of the first layer. Generating a signal value of the first layer again by superimposing,
Replacing one of the plurality of signal values of the first layer with the signal value of the second layer to compress the data amount;
Transmitting or storing signal values generated in the compressing step;
The signal value of the second layer is replaced by the signal value of the second layer received or reproduced and the signal value of the first layer other than the signal value of the second layer replaced with the signal value of the second layer. And a step of restoring the signal value of the first layer, wherein the layer data is generated and restored.