JP6405667B2 - データ復元装置、およびデータ生成方法 - Google Patents

Description

本発明は、Ｎ（Ｎは２以上の整数）個の要素から成るＮ次元データ列の符号化、および、当該符号化したデータ列の復号化を行う装置および方法に関する。

近年、車載の情報表示装置として、ヘッドアップディスプレイ（Head Up Display、以下では、ＨＵＤと略記する）システムが注目されている。車載のＨＵＤシステムは、例えば、車速や燃料残量等を表す画像をフロントガラスに投影する。しかし、これらの画像を非平面のフロントガラスにそのまま投影すると、運転者からは歪んだ画像として見える。そこで、多くのＨＵＤシステムは、この歪みを補正する機能（ワーピング機能）を備えている。ワーピング機能に関する従来技術として、オフセット値（以下では、補正係数と表記する）を用いてピクセル位置を計算する技術が特許文献１に開示されている。なお、補正係数データは、通常、水平方向の補正係数と垂直方向の補正係数とから成る２次元データである。

特開２００８−１０２５１９号公報（２００８年５月１日公開）

補正係数を画素毎に与える場合、補正係数のデータ容量が大きくなる。それゆえ、補正係数を格納するメモリのコスト削減、および、読み出し帯域の削減の観点から、メモリに記憶させる補正係数を可逆圧縮符号化することが有用である。この符号化方法として次に示す方法が考えられる。（１）補正係数データの並びを１次元データ列とみなし、隣接するデータ間の相関値を符号化する。（２）水平方向の補正係数および垂直方向の補正係数の各々について、１次元データ列とみなし、隣接するデータ間の相関値を符号化する。

上記方法（１）では、相関が小さい水平方向の補正係数と垂直方向の補正係数との間で相関を求めるため、圧縮率が上がらないという問題がある。一方、上記方法（２）によれば、相関が大きい垂直方向の補正係数同士の相関、および、相関が大きい水平方向の補正係数同士の相関を求めるため、圧縮率は向上する。しかしながら、符号化データは、連続した１個のストリームではなく、２個の圧縮データとなる。それゆえ、アドレスの切り替え時にオーバーヘッドが発生するメモリ（例えば、ＳＰＩ（Serial Peripheral Interface）のＲＯＭ（Read Only Memory）や、プリチャージを行うＤＲＡＭ（Dynamic Random Access Memory））に符号化データを記憶させる場合、読み出し遅延が生じやすく、その結果として復号化速度が遅くなるという問題がある。なお、特許文献１には、補正係数データを可逆圧縮符号化する技術については言及されていない。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、圧縮率を下げることなくＮ次元データ列を高速に復元するための、圧縮データの生成方法、および、データ復元装置を提供することにある。

上記の課題を解決するために、本発明の一態様に係るデータ復元装置は、Ｎ個（Ｎは２以上の整数）の要素の要素値から成るＮ次元データが配列したＮ次元データ列から生成された符号化データ列を復号化して上記Ｎ次元データ列を生成するデータ復元装置であって、上記符号化データ列は、Ｎ次元データの各要素値から成る要素毎の要素値列を逆算可能であり、かつ、当該要素値列に含まれる要素値間の相関を示す各相関値を、上記要素値列毎に符号化した符号化データが、上記Ｎ次元データ列に配列されたＮ次元データの配列順に、かつＮ次元データの各要素値の配列順に、Ｎ個単位に１次元に配列されており、上記符号化データ列に含まれる上記符号化データを復号化して上記相関値を生成する復号化手段と、上記生成された相関値を逆算して得た上記要素値を、Ｎ次元データの配列順に、かつＮ次元データの各要素値の配列順に、Ｎ個単位に配列して上記Ｎ次元データ列を生成するデータ生成手段とを備えている。

上記の構成によれば、符号化データ列に含まれる符号化データを復号化して生成された相関値を逆算して得た上記要素値を、Ｎ次元データの配列順に、かつＮ次元データの各要素値の配列順に、Ｎ個単位に配列して上記Ｎ次元データ列を生成する。

よって、各Ｎ次元データを元の配列順に次々と復元することができる。また、復号化処理、逆算処理、および配列処理を並列に実行することにより、各Ｎ次元データを高速に次々と復元することができる。また、同じＮ次元データの要素値が並列処理で順々に生成されるため、同期を取るためのバッファ等を設ける必要がなく、装置構成の削減が可能となる。

また、上記の課題を解決するために、本発明の一態様に係るデータ生成方法は、Ｎ個（Ｎは２以上の整数）の要素の要素値から成るＮ次元データが配列したＮ次元データ列から符号化データ列を生成するデータ生成方法であって、Ｎ次元データの各要素値から成る要素毎の要素値列を逆算可能であり、かつ、当該要素値列に含まれる要素値間の相関を示す各相関値を符号化した符号化データを生成する処理を、上記要素値列毎に行う符号化工程と、上記符号化データを、上記Ｎ次元データ列に配列されたＮ次元データの配列順に、かつＮ次元データの各要素値の配列順に、Ｎ個単位に１次元に配列することにより、上記符号化データ列を生成する生成工程とを含んでいる。

上記の構成によれば、Ｎ次元データの各要素値から成る要素毎の要素値列を逆算可能であり、かつ、当該要素値列に含まれる要素値間の相関を示す各相関値を要素値列毎に符号化した符号化データを、上記Ｎ次元データ列に配列されたＮ次元データの配列順に、かつＮ次元データの各要素値の配列順に、Ｎ個単位に１次元に配列することにより、符号化データ列が生成される。

よって、符号化データ列は、復号化すると各Ｎ次元データが元の配列順に復元できるように１次元に配列される。また、符号化データ列は、連続した１つの圧縮データストリームとして生成される。そのため、アドレスの切り替え時にオーバーヘッドが発生する記憶部に符号化データ列を記憶させる場合であっても読み出し遅延を低減することができる。また、符号化データ列を記憶させる記憶部を飛び飛びに読み出すことがないので、帯域ロスを低減できる。なお、アドレスの切り替え時にオーバーヘッドが発生する記憶部とは、ＳＰＩ（Serial Peripheral Interface）のＲＯＭや、プリチャージを行うＤＲＡＭ（Dynamic Random Access Memory）などである。

なお、本発明の各態様に係るデータ復元装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記データ復元装置が備える各手段として動作させることにより上記データ復元装置をコンピュータにて実現させるデータ復元装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。さらに、本発明の各態様に係るデータ復元装置は集積回路として実現してもよく、この場合には、上記集積回路を備えるチップなども本発明の範疇に入る。

本発明によれば、Ｎ次元データが配列したＮ次元データ列を符号化した符号化データ列として、復号化時に各Ｎ次元データを元の配列順に復元できるように配列された１次元のデータ列を生成することができる。そして、１次元の符号化データ列から、各Ｎ次元データを元の配列順に次々と高速に復元することができる。

（ａ）は、本発明の一実施形態に係るデータ生成装置の概略構成を示すブロック図である。（ｂ）は、上記実施形態に係るデータ復元装置の概略構成を示すブロック図である。 上記実施形態に係るデータ復元装置を含む画像処理装置の概略構成を示すブロック図である。 （ａ）は、上記実施形態に係るデータ生成処理の流れの一例を示すフローチャートである。（ｂ）は、上記実施形態に係るデータ復元処理の流れの一例を示すフローチャートである。 （ａ）〜（ｆ）は、上記実施形態に係るデータ生成処理の過程で得られるデータの一例を示した模式図である。 上記実施形態に係る符号化処理に用いる符号化フォーマットの一例を示した模式図である。 （ａ）〜（ｄ）は、上記実施形態に係るデータ復元処理の過程で得られるデータの一例を示した模式図である。 図３の（ｂ）に示した工程Ｓ２１の流れの一例を示すフローチャートである。 上記実施形態に係るデータ復元装置を実現する回路構成例を示す模式図である。

本発明の一実施形態について、図１〜図８に基づいて説明すると以下のとおりである。

〔補正データＡＤ〕
本実施形態において、Ｎ（Ｎは２以上の整数）次元データとは、Ｎ個の要素の要素値から成るＮ個組のデータセットを表すものとする。また、Ｎ次元データ列とはＮ次元データが配列したデータ列を表すものとする。

Ｎ次元データの具体例として、本実施形態では、平面表示用の画像を非平面表示面に投影するときに生じる画像の歪みを補正するために各画素に予め与えられる補正データ（以下では「補正データＡＤ」と表記する）を用いる。補正データＡＤは、画像の水平方向（主走査方向、Ｘ方向）の補正係数と、垂直方向（副走査方向、Ｙ方向）の補正係数とを要素値として成る２次元データである。補正係数は、画素の平面表示面における表示位置を、非平面表示面における表示位置に補正するための係数である。

以下では、垂直方向の補正係数を「Ｙ補正係数」と表記する。また、水平方向の補正係数を「Ｘ補正係数」と表記する。なお、両者を区別しないときは、単に「補正係数」と表記する。また、補正データＡＤの１番目の要素の要素値がＹ補正係数であり、２番目の要素の要素値がＸ補正係数であるものとする。

また、画素の走査順がＰ番目である画素の補正データＡＤを［Ｙ_Ｐ，Ｘ_Ｐ］と表記する。Ｐは０以上かつｉ未満の整数であり、ｉは走査領域において走査される総画素数を表すものとする。また、各補正データＡＤが走査順に配列したデータ列を「補正データ列ＡＳ」と表記する。つまり、補正データ列ＡＳは、［Ｙ_０，Ｘ_０］、［Ｙ_１，Ｘ_１］、・・・、［Ｙ_ｉ-１，Ｘ_ｉ-１］がこの順に配列したデータ列である。本実施形態では、補正データＡＤの配列順は、画素の「走査順」であるものとして説明するが、補正データＡＤの配列順がこれに限定されるものではない。また、補正データ列ＡＳを構成するデータを、本実施形態に係るデータ生成方法により圧縮符号化して配列したデータ列を「符号化データ列ＥＳ」と表記する。

〔画像処理装置１の構成例〕
図２を参照しながら、本実施形態に係るデータ復元装置３０を含む画像処理装置１の概略構成について説明する。図２は、画像処理装置１の概略構成を示すブロック図である。画像処理装置１は、表示装置（図示省略）に表示させる画像に画像処理を施す装置であり、特に、非平面表示面に画像を投影するシステム（例えばＨＵＤシステムなど）に適した装置である。同図に示すとおり、画像処理装置１は、符号化データ列記憶部２、データ復元装置３０、アドレス生成部３、映像キャプチャバッファ４、フィルタ部５、および表示制御部６を含んでいる。

符号化データ列記憶部２は、符号化データ列ＥＳを記憶するＲＯＭなどの記憶部である。データ復元装置３０は、符号化データ列記憶部２から符号化データ列ＥＳを読み取り、読み取った符号化データ列ＥＳから補正データ列ＡＳを復元する装置である。データ復元装置３０の詳細については後述する。アドレス生成部３は、復元された補正データ列ＡＳに含まれる補正係数を用いて、画素毎に補正後の表示位置を決定する。

そして、画像処理装置１は、外部から入力されたＲＧＢデータが一時的に格納される映像キャプチャバッファ４から、アドレス生成部３にて決定した表示位置に従ってＲＧＢデータを読み出し、フィルタ部５にてエッジ強調などのフィルタ処理を施した上で、表示制御部６から表示装置にＲＧＢデータを出力する。

〔補正データ列ＡＳから符号化データ列ＥＳを生成する処理の流れ〕
次に、図３の（ａ）に示すフローチャートを参照しながら、符号化データ列記憶部２に記憶される符号化データ列ＥＳを生成する処理の一例について説明する。なお、この処理は、図４の（ａ）に示す補正データ列ＡＳから図４の（ｄ）に示す符号化データ列ＥＳを生成する処理となる。この処理は、図３の（ａ）に示す工程Ｓ１１〜Ｓ１３から成る。

工程Ｓ１１（符号化工程の一部）では、各補正データＡＤに含まれる補正係数間の相関を示す相関値を算出する。相関値は、相関が強い傾向にあるＹ補正係数同士およびＸ補正係数同士から算出することが好ましい。好ましい相関値は、（i）隣り合う２つの画素のＹ補正係数（またはＸ補正係数）の差分値、および、（ii）隣り合う３つの画素のＹ補正係数（またはＸ補正係数）のうちの１つ目と２つ目との差分値と、２つ目と３つ目との差分値との差分値、である。

具体的には、まず、各補正データＡＤに含まれるＹ補正係数Ｙ_０〜Ｙ_ｉ-１をこの順に整列させて成るデータ列Ｍ１から、データ列Ｍ１を逆算可能なＹ_０、ｄＹ_１、ｄｄＹ_２、ｄｄＹ_３、・・・、ｄｄＹ_ｉ-１をこの順に整列させたデータ列Ｃ１を算出する（図４の（ｂ）参照）。ｄＹ_ＰはＹ_ＰとＹ_Ｐ-１との相関を示す相関値であり、ここでは、ｄＹ_Ｐ＝Ｙ_Ｐ−Ｙ_Ｐ-１とする。また、ｄｄＹ_ＰはｄＹ_ＰとｄＹ_Ｐ-１との相関を示す相関値であり、ここでは、ｄｄＹ_Ｐ＝ｄＹ_Ｐ−ｄＹ_Ｐ-１とする。この場合、データ列Ｃ１の先頭のＹ_０を開始値（いわゆるシード）として、データ列Ｃ１からデータ列Ｍ１を逆算可能である。なお、データ列Ｃ１の先頭のＹ_０は補正係数そのものであるが相関値とみなしてもよい。

さらに、各補正データＡＤに含まれるＸ補正係数Ｘ_０〜Ｘ_ｉ-１をこの順に整列させて成るデータ列Ｍ２から、データ列Ｍ２を逆算可能なＸ_０、ｄＸ_１、ｄｄＸ_２、ｄｄＸ_３、・・・、ｄｄＸ_ｉ-１をこの順に整列させたデータ列Ｃ２を算出する（図４の（ｃ）参照）。ｄＸ_ＰはＸ_ＰとＸ_Ｐ-１との相関を示す相関値であり、ここでは、ｄＸ_Ｐ＝Ｘ_Ｐ−Ｘ_Ｐ-１とする。また、ｄｄＸ_ＰはｄＸ_ＰとｄＸ_Ｐ-１との相関を示す相関値であり、ここでは、ｄｄＸ_Ｐ＝ｄＸ_Ｐ−ｄＸ_Ｐ-１とする。この場合、データ列Ｃ２の先頭のＸ_０を開始値として、データ列Ｃ２からデータ列Ｍ２を逆算可能である。なお、データ列Ｃ２の先頭のＸ_０は補正係数そのものであるが相関値とみなしてもよい。

次に、図３の（ａ）に示す工程Ｓ１２（符号化工程の一部）にて、工程Ｓ１１で算出されたデータ列Ｃ１に含まれる相関値の各々、及び、データ列Ｃ２に含まれる相関値の各々を符号化した符号化データを生成する。具体的には、データ列Ｃ１に含まれるＹ_０、ｄＹ_１、ｄｄＹ_２、ｄｄＹ_３、・・・、ｄｄＹ_ｉ-１の各々を符号化した符号化データであるＥＹ_０、ＥｄＹ_１、ＥｄｄＹ_２、ＥｄｄＹ_３、・・・、ＥｄｄＹ_ｉ-１から成る符号化データ群Ｅ１を生成する（図４の（ｂ）参照）。同様に、データ列Ｃ２に含まれるＸ_０、ｄＸ_１、ｄｄＸ_２、ｄｄＸ_３、・・・、ｄｄＸ_ｉ-１の各々を符号化した符号化データであるＥＸ_０、ＥｄＸ_１、ＥｄｄＸ_２、ＥｄｄＸ_３、・・・、ＥｄｄＸ_ｉ-１から成る符号化データ群Ｅ２を生成する（図４の（ｃ）参照）。

なお、符号化方式として、可逆圧縮符号化方式であるハフマン符号化を用いることが好ましいが、これに限定されるものではない。ハフマン符号化を用いる場合、符号化データは可変長データとなる。なお、ハフマン符号化を用いる場合の符号化フォーマットの一例について後述する。

最後に、図３の（ａ）に示す工程Ｓ１３（生成工程）にて、工程Ｓ１２で生成した符号化データ群Ｅ１に含まれる符号化データ、および、符号化データ群Ｅ２に含まれる符号化データを、符号化データの導出元の補正データＡＤの配列順に、かつ、補正データＡＤにおける補正係数の配列順に、２個単位に１次元に配列する処理を行うことにより、符号化データ列ＥＳを生成する（図４の（ｄ）参照）。具体的には、まず、符号化データ群Ｅ１の先頭のＥＹ_０および符号化データ群Ｅ２の先頭のＥＸ_０を、この順に並べた２個組のデータセットＤＳ_０を、符号化データ列ＥＳの先頭に配列する。なお、ＥＹ_０およびＥＸ_０は、図４の（ａ）に示す補正データＡＤ_０から得られた符号化データであることに留意されたい。続いて、符号化データ群Ｅ１の２番目のＥｄＹ_１および符号化データ群Ｅ２の２番目のＥｄＸ_１を、この順で並べた２個組のデータセットＤＳ_１を、配列済みのデータセットＤＳ_０の後に続けて１次元に配列する。なお、ＥｄＹ_１およびＥｄＸ_１は、図４の（ａ）に示す補正データＡＤ_０およびＡＤ_１から得られた符号化データであることに留意されたい。この処理を符号化データ群Ｅ１の最後のＥｄｄＹ_ｉ−１および符号化データ群Ｅ２の最後のＥｄｄＸ_ｉ−１まで繰り返すことにより、データセットＤＳ_０〜ＤＳ_ｉ-１が１次元に配列した符号化データ列ＥＳを生成する。

この結果、符号化データ列ＥＳは、同じ補正データＡＤに対応する２個の符号化データを、補正係数の並び順に並べた２個組を単位として、補正データＡＤの配列順に１次元に配列させたデータストリームとなる。なお、この２個組を「データセットＤＳ」とも表記する。

〔ランレングス符号化時の調整〕
ところで、工程Ｓ１２では、通常、１個の相関値から１個の符号化データを生成しているが、圧縮率を高めるためにランレングス符号化を用いてもよい。ランレングス符号化を用いる場合、値が「Ｄ」である符号化対象データが連続してＲ個出現すると、これらの連続する符号化対象データを、値ＤがＲ回連続して出現することを示す１つの符号化データ（以下では「連長コード」と表記する）に符号化する。なお、ランレングス符号化を用いると、ランレングス符号化を用いない場合と比べて、連長コードを生成する毎にＲ−１個の符号化データが削減される。

このように、ランレングス符号化を用いると、連続する符号化対象データが１個の連長コードに符号化されるため、符号化データ列ＥＳを生成するにあたり、上述したデータセットＤＳの調整が必要となる。具体的には、符号化データ列ＥＳの生成過程において、あるデータセットＤＳに含めた符号化コードが連長コードであった場合、当該連長コードを含むデータセットＤＳに続く、連続回数Ｒから１を減じた個数のデータセットＤＳについて、当該連長コードの要素を除いた要素の符号化データのみを含める。この調整方法の具体例について、図４の（ｅ）および（ｆ）を参照しながら説明する。

前提として、図４の（ｅ）に示すように、データ列Ｃ１におけるｄｄＹ_２、ｄｄＹ_３、およびｄｄＹ_４の連続する３個の相関値が全て「０」であるものと仮定する。この場合、工程Ｓ１３にて、ｄｄＹ_２、ｄｄＹ_３、およびｄｄＹ_４の３個を、「０」が３回連続して出現することを示す１個の連長コードに符号化するものとする。図４の（ｅ）では、当該連長コードを「０＊３」と表記した。なお、当該連長コードの次の符号化データはＥｄｄＹ_５であることに留意されたい。

この場合において、工程Ｓ１３では、図４の（ｆ）に示す符号化データ列ＥＳを生成することを説明する。まず、データセットＤＳ_０およびＤＳ_１の配列に続いて、符号化データ群Ｅ１の３番目にある連長コード「０＊３」および符号化データ群Ｅ２の３番目のＥｄｄＸ_２をこの順で並べたデータセットＤＳ_２を配列する。そして、調整の要点は、データセットＤＳ_２に続くデータセットＤＳ_３およびデータセットＤＳ_４に、符号化データ群Ｅ１の符号化データを含めないことである。具体的には、データセットＤＳ_３には、符号化データ群Ｅ２の４番目のＥｄｄＸ_３のみを含める。同様に、データセットＤＳ_４には、符号化データ群Ｅ２の５番目のＥｄｄＸ_４のみを含める。そして、符号化データ群Ｅ１において連長コード「０＊３」の次のＥｄｄＹ_５を、当該連長コードが示す連続回数である３つ後に登場するデータセットＤＳ_５に含める。なお、この場合、データセットＤＳ_３およびデータセットＤＳ_４は１個の符号化データのみを含むが、１個の空データを含む２個組とみなしてもよい。

〔変形例（相関値の省略）〕
上述では、各補正データＡＤに含まれる補正係数から相関値を算出した上で、該算出した相関値を符号化する手順を説明した。しかしながら、符号化による圧縮率を高める必要が無い場合、各補正データＡＤに含まれる補正係数をそのまま符号化してもよい。この場合、図３の（ａ）に示した工程Ｓ１１を省略すればよい。そして、工程Ｓ１２では、各補正データＡＤに含まれる補正係数を符号化対象として符号化データを生成する。具体的には、図４の（ｂ）に示したデータ列Ｍ１に含まれるＹ_０〜Ｙ_ｉ-１の各々を符号化した符号化データから成る符号化データ群Ｅ１を生成する。同様に、図４の（ｃ）に示したデータ列Ｍ２に含まれるＸ_０〜Ｘ_ｉ-１の各々を符号化した符号化データから成る符号化データ群Ｅ２を生成する。

〔データ生成装置１０の構成例〕
次に、図１の（ａ）を参照しながら、図３の（ａ）に示した工程Ｓ１１〜Ｓ１３を実行するデータ生成装置１０の構成例について説明する。図１の（ａ）はデータ生成装置１０の概略構成を示すブロック図である。同図に示すように、データ生成装置１０は、相関値算出部１３、符号化処理部１５、およびデータ配列部１７を備えている。ただし、相関値を算出しない場合は、相関値算出部１３は不要である。

相関値算出部１３は、工程Ｓ１１を実行するものである。つまり、相関値算出部１３は、各Ｎ次元データに含まれる各要素値から成る要素毎の要素値列を逆算可能であり、かつ、当該要素値列に含まれる要素値間の相関を示す各相関値を算出する処理を、要素値列毎に行う。

符号化処理部１５は、工程Ｓ１２を実行するものである。つまり、符号化処理部１５は、相関値算出部１３が算出した各相関値を符号化して符号化データを生成する処理を、要素値列毎行う。また、符号化処理部１５は、ランレングス符号化を用いて連長コードを生成する場合、配列順に同一値が連続する連続数個の符号化対象から、当該同一値および当該連続数個を表す１個の連長コードを符号化データとして生成する。なお、符号化処理部１５は必ずしもデータ生成装置１０に備えられる必要はなく、データ生成装置１０と通信可能に接続された外部装置として備えられてもよい。

データ配列部１７は、工程Ｓ１３を実行するものである。つまり、データ配列部１７は、符号化処理部１５が符号化して得た符号化データを、Ｎ次元データ列に配列されたＮ次元データの配列順に、かつＮ次元データの各要素値の配列順に、Ｎ個単位に１次元に配列する。言い換えれば、データ配列部１７は、Ｎ次元データに含まれる各要素の相関値を符号化処理部１５が符号化して得た符号化データを、Ｎ次元データの要素の配列順に配列したＮ個組のデータセットを単位として、１次元に配列する処理を、Ｎ次元データの配列順で行うことにより、符号化データ列ＥＳを生成する。また、データ配列部１７は、ランレングス符号化を用いて連長コードを生成する場合、符号化データ列ＥＳの生成過程において、連長コードを含むデータセットＤＳに続く、連続回数Ｒから１を減じた個数のデータセットＤＳについて、当該連長コードの要素を除く要素の符号化データのみを含める。なお、データ配列部１７は、符号化データ列ＥＳを符号化データ列記憶部２に格納してもよいし、外部装置に出力してもよい。

最後に、データ生成装置１０は、相関値、符号化データ、およびこれらの生成過程で得た中間データを一時保持するためのメモリやレジスタ等の記憶部を備えていてもよい。

〔符号化フォーマットの一例〕
図５を参照しながら、図３の（ａ）に示した工程Ｓ１２で行う符号化としてハフマン符号化を用いる場合の符号化フォーマットの一例について説明する。図５は、符号化フォーマットの一例を示した模式図である。なお、前提として、１個の符号化対象のデータ長が１６ビットであるものとする。

フォーマット０〜３は、それぞれ、１個の符号化対象データを、出現確率に応じて、２０ビット長、１４ビット長、８ビット長、および６ビット長の１個の符号化データに符号化することを示す。上位３ビットはフォーマット識別情報である。「ｓ」は符号ビットを表し、「Ｉ」は整数部を表し、「Ｆ」は小数部を表す。次に、フォーマット４は、ランレングス符号化を行なうフォーマットであり、連続するＮ個の「０」値を、１０ビット長データに符号化することを示す。上位２ビットはフォーマット識別情報である。最大で２５５個の連続を表現することができる。最後に、フォーマット５は、１個の「０」値を２ビット長データに符号化することを示す。

〔符号化データ列ＥＳから補正データ列ＡＳを復元する処理の流れ〕
次に、図３の（ｂ）に示すフローチャートを参照しながら、符号化データ列記憶部２に記憶される符号化データ列ＥＳから補正データ列ＡＳを復元する処理の流れの一例について説明する。なお、この処理は、図６の（ａ）に示す符号化データ列ＥＳから図６の（ｄ）に示す補正データ列ＡＳを復元する処理となる。この処理は、図３の（ｂ）に示す工程Ｓ２１〜Ｓ２３から成る。

まず、工程Ｓ２１にて、符号化データ列ＥＳに含まれる符号化データを、その符号化データの符号化フォーマットに従って復号化して相関値を生成する処理を、符号化データ列ＥＳの先頭から順次行う（図６の（ａ）参照）。具体的には、まず、符号化データ列ＥＳの先頭のＥＹ_０およびＥＸ_０をこの順に復号化してＹ_０およびＸ_０を生成する（処理Ｆ１）。引き続きＥｄＹ_１およびＥｄＸ_１をこの順に復号化してｄＹ_１およびｄＸ_１を生成する（処理Ｆ２）。この処理を符号化データ列ＥＳの最後まで繰り返す。これにより、次々と相関値が生成される。

次に、図３の（ｂ）に示す工程Ｓ２２にて、工程Ｓ２１で相関値が生成される毎に、Ｙ補正係数を逆算する（図６の（ｂ）参照）。具体的には、工程Ｓ２１でｄＹ_１が生成されると、Ｙ_０および生成されたｄＹ_１に基づいてＹ_１を逆算する（処理Ｆ５）。次に、工程Ｓ２１でｄｄＹ_２が生成されると、ｄＹ_１とｄｄＹ_２とに基づいてｄＹ_２を逆算するとともに、逆算済みのＹ_１とｄＹ_２とに基づいてＹ_２を逆算する（処理Ｆ９）。なお、逆算式は、Ｙ_１＝Ｙ_０＋ｄＹ_１、ｄＹ_Ｐ＝ｄＹ_Ｐ-１＋ｄｄＹ_Ｐ、および、Ｙ_Ｐ＝Ｙ_Ｐ-１＋ｄＹ_Ｐである。同様の手順で、図６の（ｃ）に示すとおりＸ補正係数を逆算する。逆算式は、Ｘ_１＝Ｘ_０＋ｄＸ_１、ｄＸ_Ｐ＝ｄＸ_Ｐ-１＋ｄｄＸ_Ｐ、および、Ｘ_Ｐ＝Ｘ_Ｐ-１＋ｄＸ_Ｐである。

最後に、図３の（ｂ）に示す工程Ｓ２３にて、工程Ｓ２２でＹ補正係数およびＸ補正係数が生成される毎に補正データＡＤを生成する（図６の（ｄ）参照）。具体的には、まず、配列における位置が先頭であるＹ_０およびＸ_０をこの順に並べた補正データＡＤ_０（［Ｙ_０，Ｘ_０］）を生成する（処理Ｆ３）。続いて、配列における位置が２番目であるＹ_１およびＸ_１をこの順に並べた補正データＡＤ_１（［Ｙ_１，Ｘ_１］）を生成し、補正データＡＤ_０の次に配列する（処理Ｆ７）。この処理を、最後のＹ_ｉ-１およびＸ_ｉ-１まで繰り返すことにより、［Ｙ_０，Ｘ_０］、［Ｙ_１，Ｘ_１］、・・・、［Ｙ_ｉ-１，Ｘ_ｉ-１］を次々と生成する。この結果、補正データ列ＡＳが、その先頭から順に復元される。

ここで、注目すべき点は、工程Ｓ２１、工程Ｓ２２、工程Ｓ２３を、並列に実行することである。これにより、生成された補正係数をバッファ等に保持することなく、次々と、補正データＡＤを生成していく。例えば、処理Ｆ１を終えると続いて処理Ｆ２を行うとともに、処理Ｆ３にて［Ｙ_０，Ｘ_０］を生成する。また、処理Ｆ２を終えると続いて処理Ｆ４を行うとともに、処理Ｆ５および処理Ｆ６を行い、続いて処理Ｆ７にて［Ｙ_１，Ｘ_１］を生成する。また、処理Ｆ４を終えると続いて処理Ｆ８を行うとともに、処理Ｆ９および処理Ｆ１０を行い、続いて処理Ｆ１１で［Ｙ_２，Ｘ_２］を生成する。

〔ランレングス符号化時の調整〕
ところで、符号化データ列ＥＳが、上述したランレングス符号化を用いて符号化された連長コードを含む場合、１個の連長コードを復号化することによって、連続する連続数個の相関値が生成されるため、これら相関値を生成するにあたり、調整が必要となる。具体的には、復号化過程において、連長コードを含むデータセットＤＳから連続回数Ｒ個のデータセットＤＳのそれぞれについて、当該連長コードの要素の復号結果として値Ｄを生成する。この調整方法の具体例について、工程Ｓ２１で図４の（ｆ）に示す符号化データ列ＥＳを復号化し、図４の（ｅ）に示すデータ列Ｃ１を生成する場合を例に挙げて説明する。この場合、連長コード「０＊３」を１番目に含むデータセットＤＳ_２を復号化するとき、当該連長コードの符号化前データである「０」値を生成するとともに、当該「０」値をレジスタ等に保持する。そして、続く２つのデータセットＤＳ_３およびＤＳ_４を復号化するときに、保持した「０」値を、データセットＤＳ内の第１番目のデータから復号化したものとして出力する。このように調整することにより、連長コードを適切に復号化する。

図７を参照しながら、上述した調整処理の流れの一例について説明する。図７は、上述した調整処理を含む工程Ｓ２１の流れの一例を示すフローチャートである。なお、このフローチャートでは、上述した調整処理の要否を判別するための変数Ｒ１およびＲ２を登場させた。変数Ｒ１が１より大きければデータセットＤＳ内の第１番目のデータについて調整処理が必要である。また、変数Ｒ２が１より大きければデータセットＤＳ内の第２番目のデータについて調整処理が必要である。なお、ステップＳ３２〜Ｓ３９までがデータセットＤＳ内の第１番目のデータに対する復号化処理であり、ステップＳ４０〜Ｓ４７までがデータセットＤＳ内の第２番目のデータに対する復号化処理である。

まず、復号化の開始時に、Ｒ１およびＲ２の値を０に設定する（Ｓ３１）。次に、Ｒ１が１より大きいか否かを判定する（Ｓ３２）。Ｒ１が１以下である場合（Ｓ３２にてＮｏ）、次に復号化すべき符号化データが連長コードであるか否かを判定する（Ｓ３３）。連長コードでなければ（Ｓ３３にてＮｏ）、通常どおりに符号化データを復号化して相関値を生成する（Ｓ３４）。一方、連長コードであれば（Ｓ３３にてＹｅｓ）、まず、連長コードを復号化して値Ｄの相関値を１個生成する（Ｓ３５）。そして、該生成した相関値をレジスタ等に保持する（Ｓ３６）。そして、連長コードが示す連続回数ＲをＲ１に代入する（Ｓ３７）。一方、ステップＳ３２にて、Ｒ１が１より大きい場合（Ｓ３２にてＹｅｓ）、レジスタ等に保持している相関値を復号化データとして出力し（Ｓ３８）、変数Ｒ１の値を１つ減じる（Ｓ３９）。

次に、ステップＳ４０〜Ｓ４７では、ステップＳ３２〜Ｓ３９と同様の処理をデータセットＤＳ内の２番目のデータに対して行う。最後に、次に復号化すべき符号化データが無ければ復号化を終了し（Ｓ４８にてＹｅｓ）、有ればステップＳ３２に戻る（Ｓ４８にてＮｏ）。

〔変形例（相関値の省略）〕
符号化処理において、各補正データＡＤに含まれる補正係数をそのまま符号化し、相関値を符号化していない場合、図３の（ｂ）に示した工程Ｓ２１では復号化により補正係数が直接得られるため、工程Ｓ２２での逆算処理は不要となる。この場合、工程Ｓ２３では、工程Ｓ２１でＹ補正係数およびＸ補正係数が生成される毎に補正データＡＤを生成する。

〔データ復元装置３０の構成例〕
次に、図１の（ｂ）を参照しながら、図３の（ｂ）に示した工程Ｓ２１〜Ｓ２３を実行するデータ復元装置３０の構成について説明する。図１の（ｂ）は、データ復元装置３０の概略構成を示すブロック図である。同図に示すように、データ復元装置３０は、復号化処理部（復号化手段）３３、逆算部（データ生成手段の一部）３５、およびデータ配列部（データ生成手段）３７を備えている。

復号化処理部３３は、工程Ｓ２１を実行するものである。つまり、復号化処理部３３は、符号化データ列ＥＳに含まれる符号化データを復号化して相関値を生成する。この復号化は、データ生成装置１０の符号化処理部１５が行う符号化に対応する復号化である。復号化処理部３３は必ずしもデータ復元装置３０が備える必要はなく、データ復元装置３０と通信可能に接続された外部装置として備えられてもよい。

また、復号化処理部３３は、符号化データ列ＥＳに連長コードが含まれている場合、復号化過程において、連長コードを含むデータセットＤＳから連続回数Ｒ個のデータセットＤＳのそれぞれについて、当該連長コードの要素の復号結果として連長コードが示す値Ｄを生成する。

逆算部３５は、工程Ｓ２２を実行するものである。つまり、逆算部３５は、復号化処理部３３が生成した相関値から要素値を逆算する。

データ配列部３７は、工程Ｓ２３を実行するものである。つまり、データ配列部３７は、逆算部３５が逆算した要素値を、Ｎ次元データ列に配列されたＮ次元データの配列順に、かつＮ次元データの各要素値の配列順に、Ｎ個単位に配列してＮ次元データ列（補正データ列ＡＳ）を生成する。言い換えれば、データ配列部３７は、逆算部３５が逆算した要素値を、配列の位置が同一の要素値を要素の並び順に並べて成るＮ次元データを、配列順に配列してＮ次元データ列（補正データ列ＡＳ）を生成する。

なお、データ配列部３７は、画像処理装置１が出力する映像を表示する表示装置の走査周期に同期して、生成した補正データＡＤをアドレス生成部３に逐次出力するようにクロック速度等が調整されていることが好ましい。これにより、表示処理を遅延させることなく、リアルタイムに映像の歪みを補正することが可能となる。

最後に、データ復元装置３０は、相関値、要素値、およびこれらの生成過程で得た中間データを一時保持するためのメモリやレジスタ等の記憶部を備えていてもよい。

〔回路構成例〕
次に、図８を参照しながら、データ復元装置３０を実現する回路構成例を説明する。図８は、データ復元装置３０を実現する回路構成例を示す模式図である。なお、前提として、１個の補正係数のデータ長は１６ビットであるものとする。また、符号化データ列ＥＳは、図５に示した符号化フォーマットに従って符号化されたものとする。

まず、記憶部（同図では例としてＲＯＭ）に記憶された符号化データ列ＥＳを、８ビットずつ読み取り、ＲｅａｄＤａｔａＢｕｆｆｅｒ５１に保持する。ＲｅａｄＤａｔａＢｕｆｆｅｒ５１の役割は、Ｔｅｍｐｏｒａｒｙ Ｂｕｆｆｅｒ５３に空きが生じないようにするために、次に読み込むデータを保持しておくことにある。

Ｓｈｉｆｔ／Ｓｅｌｅｃｔ部５２は、Ｔｅｍｐｏｒａｒｙ Ｂｕｆｆｅｒ５３に保持されたデータを左シフトするとともに、１６ビットを超える空きが生じた場合に、ＲｅａｄＤａｔａＢｕｆｆｅｒ５１に保持されているデータを読み込む。シフト量は、後述するＳｅｌｅｃｔ部５４がＤｅｃｏｄｅ部５５に渡したデータのビット長である。Ｔｅｍｐｏｒａｒｙ Ｂｕｆｆｅｒ５３は、Ｓｈｉｆｔ／Ｓｅｌｅｃｔ部５２から得られる４８ビット分のデータを保持する。Ｓｅｌｅｃｔ部５４では、Ｔｅｍｐｏｒａｒｙ Ｂｕｆｆｅｒ５３に保持されたデータの上位２〜３ビット（フォーマット識別情報）を参照し、符号化フォーマットがフォーマット０〜５のいずれであるかを判定する。そして、判定した符号化フォーマットに応じたビット長のデータをＤｅｃｏｄｅ部５５に渡す。

Ｄｅｃｏｄｅ部５５では、符号化フォーマットに従って復号化を行い、復号化によって得られた相関値をレジスタ群５６および５７に格納する。なお、レジスタ群５６は、Ｙ補正係数を逆算可能な相関値を格納する。レジスタ群５７は、Ｘ補正係数を逆算可能な相関値を格納する。なお、連長コードの復号化に必要な構成は図示を省略している。Ａｄｄｅｒ５８では、レジスタ群５６に保持された相関値を加算演算することによってＹ補正係数（Ｙ Ａｄｄｒｅｓｓ）を逆算する。同様に、Ａｄｄｅｒ５９では、レジスタ群５７に保持された相関値を加算演算することによってＸ補正係数（Ｘ Ａｄｄｒｅｓｓ）を逆算する。

なお、ＲｅａｄＤａｔａＢｕｆｆｅｒ５１、Ｓｈｉｆｔ／Ｓｅｌｅｃｔ部５２、Ｔｅｍｐｏｒａｒｙ Ｂｕｆｆｅｒ５３、Ｓｅｌｅｃｔ部５４、およびＤｅｃｏｄｅ部５５は、データ復元装置３０の復号化処理部３３の一部に相当する構成である。また、Ａｄｄｅｒ５８は、データ復元装置３０の逆算部３５の一部に相当する構成である。

〔効果〕
（効果１）符号化データ列ＥＳは、符号化データが１次元に連続した１つの圧縮データストリームであるため、メモリ等の記憶部における連続した記憶領域に記憶させることができる。そのため、アドレスの切り替え時にオーバーヘッドが発生する記憶部に符号化データ列ＥＳを格納する場合であっても、符号化データ列ＥＳの読み出し時に生じるオーバーヘッドを抑制でき、その結果として、読み出し遅延を低減することができる。なお、アドレスの切り替え時にオーバーヘッドが発生する記憶部とは、ＳＰＩのＲＯＭや、プリチャージを行うＤＲＡＭなどである。

（効果２）符号化データ列ＥＳは、符号化データが１次元に連続した１つの圧縮データストリームであるため、符号化データ列ＥＳを記憶させるＲＯＭ等の記憶部を飛び飛びに読み出すことがないので、帯域ロスを低減することができる。

（効果３）符号化データ列ＥＳを先頭から順に復号化すると、補正データＡＤが配列順に次々と復号化される。さらに、補正係数の逆算処理は簡易な演算器で実現可能であるため、逆算処理がボトルネックになることはない。また、復号化処理、逆算処理、および配列処理は並列化が可能である。したがって、各補正データＡＤを高速に復元することができる。

（効果４）符号化データ列ＥＳを先頭から順に復号化すると、復号化された相関値から補正係数が並列処理で順々に生成されるため、同期を取るためのバッファ等を設ける必要がない。よって、データ復元装置３０の構成要素の削減が可能となる。また、補正データＡＤが生成される毎に、生成された補正データＡＤを外部に出力するようにすれば、生成された補正データＡＤを保持するためのバッファ等を設ける必要もない。

〔３次元データおよび４次元データの一例〕
本発明は、次元数および要素の種類にかかわらず、様々なＮ次元データに対して適用可能である。次元数に応じて上述した各処理を増減するだけで適用できるためである。例えば、画像データを構成する画素のＲ値、Ｇ値、およびＢ値の３つの要素値から成る３次元データを配列した３次元データ列に対しても本発明は適用可能である。具体的には、当該３次元データの各々に含まれるＲ値から得られる相関値を符号化した符号化データ、Ｇ値から得られる相関値を符号化した符号化データ、および、Ｂ値から得られる相関値を符号化した符号化データを、上述と同様のデータ生成手順により配列することによって、１次元の符号化データ列ＥＳを生成することができる。そして、この符号化データ列ＥＳから、上述と同様のデータ復元手順により、元の３次元データ列を復元することができる。また、画像データにアルファブレンディング処理を施す場合、各画素は、Ｒ値、Ｇ値、Ｂ値、および、透過情報用のα値の４つの要素値から成る４次元データとして表現される。この４次元データを配列した４次元データ列に対しても本発明は適用可能であり、Ｒ値、Ｇ値、およびＢ値から得られる符号化データに加えて、さらにα値から得られる相関値を符号化した符号化データを、上述と同様のデータ生成手順により配列することによって、１次元の符号化データ列ＥＳを生成することができる。そして、この符号化データ列ＥＳから、上述と同様のデータ復元手順により、元の４次元データ列を復元することができる。

〔付記事項〕
データ生成装置１０およびデータ復元装置３０の各ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。ＣＰＵを用いて実現する場合、データ生成装置１０およびデータ復元装置３０は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭまたは記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、圧縮符号化されたＮ次元データ列を高速に復号化する情報処理装置に適用することができる。特に、画素の補正係数を用いて表示映像をリアルタイムに補正するＨＵＤシステムに好適に適用することができる。

２ 符号化データ列記憶部、１０ データ生成装置、１３ 相関値算出部、１５ 符号化処理部、１７ データ配列部、３０ データ復元装置、３３ 復号化処理部（復号化手段）、３５ 逆算部（データ生成手段の一部）、３７ データ配列部（データ生成手段）、ＡＤ 補正データ（Ｎ次元データ）、ＡＳ 補正データ列（Ｎ次元データ列）、ＤＳ データセット、ＥＳ 符号化データ列、Ｘ_０〜Ｘ_ｉ-１ 補正係数（要素値）、Ｙ_０〜Ｙ_ｉ-１ 補正係数（要素値）、ｄＸ_１〜ｄＸ_ｉ-１ 相関値、ｄｄＸ_２〜ｄｄＸ_ｉ-１ 相関値、ｄＹ_１〜ｄＹ_ｉ-１ 相関値、ｄｄＹ_２〜ｄｄＹ_ｉ-１ 相関値

Claims (6)

1. Ｎ個（Ｎは２以上の整数）の要素の要素値から成るＮ次元データが配列したＮ次元データ列から生成された符号化データ列を復号化して上記Ｎ次元データ列を生成するデータ復元装置であって、
   上記符号化データ列は、Ｎ次元データの各要素値から成る要素毎の要素値列を逆算可能であり、かつ、当該要素値列に含まれる要素値間の相関を示す各相関値を、上記要素値列毎に可変長符号化およびランレングス符号化を用いて符号化した符号化データが、上記Ｎ次元データ列に配列されたＮ次元データの配列順に、かつＮ次元データの各要素値の配列順に、Ｎ個単位に１次元に連続して配列されており、
   上記符号化データ列に含まれる上記符号化データを復号化して上記相関値を生成する復号化手段と、
   上記生成された相関値を逆算して得た上記要素値を、Ｎ次元データの配列順に、かつＮ次元データの各要素値の配列順に、Ｎ個単位に配列して上記Ｎ次元データ列を生成するデータ生成手段とを備え、
   上記復号化手段による上記復号化、上記データ生成手段による上記逆算、および上記データ生成手段による上記配列を、並列に実行することを特徴とするデータ復元装置。
2. 上記Ｎ次元データは、第１の表示面に表示する画像を上記第１の表示面と異なる第２の表示面に表示するための２次元データであり、
   上記要素値は、上記画像を構成する画素の上記第１の表示面における表示位置を上記第２の表示面における表示位置に補正する垂直方向の補正係数および水平方向の補正係数であることを特徴とする請求項１に記載のデータ復元装置。
3. 上記相関値は、上記要素値列上の隣り合う３つの要素値のうちの１つ目と２つ目との差分値と、２つ目と３つ目との差分値との差分値を含むことを特徴とする請求項１または２に記載のデータ復元装置。
4. Ｎ個（Ｎは２以上の整数）の要素の要素値から成るＮ次元データが配列したＮ次元データ列から符号化データ列を生成するデータ生成方法であって、
   Ｎ次元データの各要素値から成る要素毎の要素値列を逆算可能であり、かつ、当該要素値列に含まれる要素値間の相関を示す各相関値を可変長符号化およびランレングス符号化を用いて符号化した符号化データを生成する処理を、上記要素値列毎に行う符号化工程と、
   上記符号化データを、上記Ｎ次元データ列に配列されたＮ次元データの配列順に、かつＮ次元データの各要素値の配列順に、Ｎ個単位に１次元に連続して配列することにより、上記符号化データ列を生成する生成工程とを含むことを特徴とするデータ生成方法。
5. 上記Ｎ次元データは、第１の表示面に表示する画像を上記第１の表示面と異なる第２の表示面に表示するための２次元データであり、
   上記要素値は、上記画像を構成する画素の上記第１の表示面における表示位置を上記第２の表示面における表示位置に補正する垂直方向の補正係数および水平方向の補正係数であることを特徴とする請求項４に記載のデータ生成方法。
6. 上記相関値は、上記要素値列上の隣り合う３つの要素値のうちの１つ目と２つ目との差分値と、２つ目と３つ目との差分値との差分値を含むことを特徴とする請求項４または５に記載のデータ生成方法。

Images