JP5891907B2 - 符号化装置および符号化方法、ならびに、復号装置および復号方法 - Google Patents

Description

本発明は、画像データを圧縮符号化する際に用いて好適な符号化装置および符号化方法、ならびに、復号装置および復号方法に関する。

近年、デジタルハイビジョン放送やＨＤ(High Definition)画像に対応する録画装置の普及、デジタルカメラの高解像度化などにより、家庭で使用するテレビジョン受像機などにおいても、大画面化および高解像度化が進んでいる。このため、テレビジョン受像機において画像処理を行うＬＳＩ(Large-Scale Integration)についても、ＨＤ画像（１９２０画素×１０８０ライン）に対応したＬＳＩの需要が高まっている。

ところで、画像処理において、エンハンサやフレームレート変換処理などは、１フレーム以上の画像データをＤＲＡＭ(Dynamic Random Access Memory)といったメモリに格納する必要がある。画像データを格納するためのメモリは、高速なアクセスが要求されるために高価であり、また、上述したＨＤ画像の画像データを複数フレーム格納するためには、大容量のメモリが複数個必要になる場合もあり、製品のコストアップや、部品点数増加の要因となっている。

そのため、画像データを圧縮符号化してメモリに格納する技術が従来から開発されている。画像データの圧縮符号化方式の一つとして、ＭＰＥＧ(Moving Pictures Experts Group)方式が知られているが、ＭＰＥＧ方式による圧縮符号化は、アルゴリズムが複雑であるため回路をＬＳＩ化した場合に大面積を占めることになり、画像の高画質化処理に特化した信号処理用ＬＳＩや、安価な画像処理用ＬＳＩに適用するには不向きである。

例えば、特許文献１には画像データを簡便に圧縮符号化するための符号化方式が開示されている。

特許文献１の記載によれば、符号化ブロック単位毎に、符号化順で１つ前の入力画素信号の局部復号信号との差分値を量子化することで、画像信号の圧縮符号化を行っている。符号化ブロックの先頭には、量子化されてない、すなわち、符号化されていない画素（原画素）が挿入されているため、圧縮符号化された画像信号は、符号化ブロック毎に独立して復号処理を施すことができる。そのため、例えば圧縮符号化された画像信号をメモリから読み出す際に読み出しエラーが発生しても、符号化ブロック単位で復旧することができる。

特開２０１１−１２４６１８号公報

特許文献１では、符号化ブロックの先頭に原画素が挿入されている。したがって、符号化ブロックの先頭毎に量子化誤差が「０」の画素が出現する。そのため、この画像を画面に表示させた場合に、量子化誤差が「０」の画素による符号化ブロック毎の縦縞が現れる現象が発生するという問題点があった。

本発明は、上記に鑑みてなされたものであって、復号時にエラーからの復旧が容易で、且つ、復号後により高品質な画像を得られるようにすることを目的とする。

上述した課題を解決し、目的を達成するために、第１の発明は、局部復号データが記憶される記憶部と、入力データと局部復号データとの差分を出力する差分出力部と、差分出力部により出力された差分を圧縮する圧縮部と、圧縮部で圧縮されたデータを伸長する伸長部と、伸長部で伸長されたデータに局部復号データを加算する加算部とを備え、加算部の出力を符号化順で次の局部復号データとして記憶部に記憶する局部復号部と、圧縮部の出力と、加算部の出力とのうち一方を選択して符号化データとして出力する第１の選択部とを有し、第１の選択部は、加算部の出力を所定数の入力データ毎に選択することを特徴とする。

また、第２の発明は、入力データと記憶部に記憶される局部復号データとの差分を出力する差分出力ステップと、差分出力ステップにより出力された差分を圧縮する圧縮ステップと、圧縮ステップにより圧縮されたデータを伸長する伸長ステップと、伸長ステップにより伸長されたデータに局部復号データを加算する加算ステップとを備え、加算ステップによる出力を次の局部復号データとして記憶部に記憶する局部復号ステップと、圧縮ステップによる出力と、加算ステップによる出力とのうち一方を選択して符号化データとして出力する選択ステップとを有し、選択ステップは、加算ステップによる出力を所定数の入力データ毎に選択することを特徴とする。

また、第３の発明は、入力データと局部復号データとの差分を圧縮した出力を伸長して局部復号データを加算し、加算した出力を次の局部復号データとして用い、入力データ毎の圧縮した出力を第１の符号化データとし、加算した出力を所定数の入力データ毎に選択して第２の符号化データとし、第２の符号化データを入力データと同一のデータ長として先頭に配し、第１の符号化データを第２の符号化データに続けて順次配したパケットに対して復号処理を行う復号装置であって、復号データを記憶する記憶部と、第１の符号化データを伸長する伸長部と、伸長部で伸長された第１の符号化データと、記憶部に記憶される復号データとを加算する加算部と、第２の符号化データと加算部の出力とのうち何れか一方を、復号データとして選択して記憶部に記憶させる選択部とを有することを特徴とする。

また、第４の発明は、入力データと局部復号データとの差分を圧縮した出力を伸長して局部復号データを加算し、加算した出力を次の局部復号データとして用い、入力データ毎の圧縮した出力を第１の符号化データとし、加算した出力を所定数の入力データ毎に選択して第２の符号化データとし、第２の符号化データを入力データと同一のデータ長として先頭に配し、第１の符号化データを第２の符号化データに続けて順次配したパケットに対して復号処理を行う復号方法であって、復号データを記憶部に記憶する記憶ステップと、第１の符号化データを伸長する伸長ステップと、伸長ステップにより伸長された第１の符号化データと、記憶部に記憶される復号データとを加算する加算ステップと、第２の符号化データと加算ステップによる出力とのうち何れか一方を、復号データとして選択して記憶部に記憶させる選択ステップとを有することを特徴とする。

本発明によれば、復号時にエラーからの復旧が容易で、且つ、復号後により高品質な画像を得ることができるという効果を奏する。

図１は、各実施形態に適用可能な符号化装置の一例の構成を概略的に示すブロック図である。 図２は、既知の符号化部の一例の構成を示すブロック図である。 図３は、既知の技術によるパケットの一例の構成を示す略線図である。 図４は、第１の実施形態による符号化部の一例の構成を示すブロック図である。 図５は、第１の実施形態によるパケットの一例の構成を示す略線図である。 図６は、信号line＿firstおよび信号first＿wordの状態と、出力処理部の出力との関係を説明するための略線図である。 図７は、第１の実施形態に適用可能な復号装置の一例の構成を示すブロック図である。 図８は、第２の実施形態による２相出力を可能とする復号装置の一例の構成を示すブロック図である。 図９は、２相出力に対応する符号化データの例を示す略線図である。 図１０は、第３の実施形態による画像処理装置の一例の構成を示すブロック図である。

以下に添付図面を参照して、符号化装置および符号化方法、ならびに、復号装置および復号方法の実施形態を詳細に説明する。図１は、各実施形態に適用可能な符号化装置１の一例の構成を概略的に示す。符号化装置１は、入力処理部１０、符号化部１１および出力処理部１２を有する。

入力処理部１０は、所定のデータ単位で入力される入力データを、予め定められたサイズのブロックに分割して出力する。換言すれば、当該ブロックは、１単位の入力データを、所定の数だけ含む。一例として、入力データが画素データの場合、当該ブロックは、予め定められた数の画素データを含む。

入力処理部１０から出力されたブロックは、符号化部１１に供給され、ブロック単位で所定の符号化方式で符号化される。符号化部１１でブロックが符号化された符号化データは、出力処理部１２に供給される。出力処理部１２は、メモリを有し、供給された符号化データをメモリを利用して所定サイズのパケットに詰め込んで、符号化ブロックとして出力する。

＜既知の符号化処理＞
ここで、理解を容易とするために、本実施形態に係る符号化部１１の前提となる符号化処理について説明する。図２は、この前提となる符号化処理を行う既知の符号化部１１’の一例の構成を示す。符号化部１１’は、減算器１００と、量子化部１０１と、量子化テーブル１０２と、出力セレクタ１０３と、局部復号部１０４とを有する。また、局部復号部１０４は、逆量子化部１１０と、加算器１１１と、局部復号データセレクタ１１２と、遅延部１１３とを有する。

符号化部１１’の動作について説明する。符号化対象の入力データが、所定のデータ単位で例えばクロックに従い順次、符号化部１１’に入力される。この入力データは、減算器１００の被減算入力端と、出力セレクタ１０３の選択入力端１０３Ａと、局部復号データセレクタ１１２の選択入力端１１２Ａとにそれぞれ入力される。減算器１００の減算入力端には、局部復号部１０４から所定のデータ単位で出力される局部復号データが入力される。減算器１００は、入力データから局部復号データを減算して、入力データと局部復号データとの差分の差分データを出力する。減算器１００から出力された差分データは、量子化部１０１に供給される。

量子化部１０１は、減算部１００から供給された差分データを、量子化テーブル１０２に格納される量子化情報（例えば量子化ステップ）に従い量子化し、データ量を圧縮する。例えば、量子化部１０１は、供給された差分データのビット数を削減することで、データ量の圧縮を行う。この量子化された差分データは、局部復号部１０４の逆量子化部１１０に供給されると共に、出力セレクタ１０３の選択入力端１０３Ｂに入力される。

ここで、図１の入力処理部１０は、例えば、ブロック化された入力データを出力する際に、ブロックの先頭に対応するデータ単位のデータのタイミングを示す信号first＿wordを生成する。信号first＿wordは、例えば、ブロックの先頭に位置するデータ単位のデータのタイミングでハイ状態（Ｈｉｇｈ）とされ、その他のタイミングではロー（Ｌｏｗ）状態とされる信号である。

出力セレクタ１０３は、信号first＿wordの値に従い、選択入力端１０３Ａおよび１０３Ｂのうち一方を選択し、選択された側の入力端に入力されたデータを、符号化データとして符号化部１１’から出力する。出力セレクタ１０３は、例えば信号first＿wordがハイ状態であれば選択入力端１０３Ａが選択され、入力データがそのまま符号化データとして出力される。一方、出力セレクタ１０３は、例えば信号first＿wordがロー状態であれば選択入力端１０３Ｂが選択され、量子化部１０１から出力された、量子化された差分データが符号化データとして出力される。

逆量子化部１１０は、量子化テーブル１０２に対応した逆量子化テーブル（図示しない）に従い、量子化部１０１で量子化された差分データを逆量子化し、量子化前の差分データを復元した復元差分データを出力する。逆量子化部１１０から出力された復元差分データは、加算器１１１の一方の入力端に入力される。加算器１１１は、一方の入力端に入力された復元差分データと、後述する遅延部１１３から１データ単位分遅延されて出力された局部復号データとを加算する。加算器１１１の加算出力は、局部復号データセレクタ１１２の選択入力端１１２Ｂに入力される。

局部復号データセレクタ１１２は、信号first＿wordの値に従い、選択入力端１１２Ａおよび１１２Ｂのうち一方を選択し、選択された側の入力端に入力されたデータを、次の局部復号データとして出力する。局部復号データセレクタ１１２は、例えば信号first＿wordがハイ状態であれば選択入力端１１２Ａが選択され、入力データを次の局部復号データとして出力する。一方、局部復号データセレクタ１１２は、信号first＿wordがロー状態であれば選択入力端１１２Ｂが選択され、加算器１１１の出力を次の局部復号データとして出力する。

局部復号データセレクタ１１２から出力された次の局部復号データは、遅延部１１３に供給される。遅延部１１３は、例えばバッファメモリであって、供給された次の局部復号データを保持する。遅延部１１３に保持された次の局部復号データは、１データ単位分遅延されて遅延部１１３から出力され、減算器１００の減算入力端に入力されると共に、加算器１１１の他方の入力端に入力される。

このように、符号化部１１’では、入力データの、当該入力データの符号化順で１データ単位前の入力データに基づく復号データ（局部復号データ）に対する差分を量子化部１０１で量子化して圧縮し、符号化データとして出力する。

このとき、入力データのブロックの先頭に位置するデータ単位のデータのタイミングで信号first＿wordをハイ状態とし、その他のタイミングでは信号first＿wordをロー状態とする。これにより、ブロックの先頭のデータ毎に、局部復号データとして入力データがそのまま用いられると共に、入力データが符号化データとして出力される。したがって、符号化データは、ブロック毎に、符号化データとして含まれる入力データを基準として復号することができる。

符号化部１１’で符号化された符号化データからなる符号化ブロックは、出力処理部１２で予め定められた方法に従いパケットに詰め込まれて符号化装置１から出力される。図３は、既知の技術によるパケットの一例の構成を示す。符号化部１１’から信号first＿wordのハイ状態に応じて出力された符号化データが、データＤ０として、符号化ブロックの先頭側から詰め込まれる。データＤ０は、量子化部１０１において量子化されていない原入力データであって、Ｎビットのデータ長を有する。データＤ０の次から、最上位ビットＭＳＢ(Most Significant Bit)側に向けて、それぞれＭビットのデータ長を有する符号化データＣ１、Ｃ２、…、Ｃ(ｉ−２)、Ｃ(ｉ−１)が順次、符号化ブロックに詰め込まれていく。符号化ブロックの最上位ビットＭＳＢに存在するデータ長がＬビットの領域Ｆは、符号化方式を決定するための付加情報などが必要に応じて格納され、符号化ブロックの全体のデータ量がＴビットとされる。

なお、符号化装置１で符号化した符号化ブロックは、符号化と逆の手順で復号することができる。より具体的には、符号化部１１’の局部復号部１０４に対応する構成を用いて復号処理を行うことができる。すなわち、先ず、符号化ブロックの先頭のデータＤ０を抽出して遅延部に格納すると共に、復号データとして出力する。次に、符号化ブロックのデータＤ０の次の符号化データＣ１を逆量子化部で逆量子化し、逆量子化したデータと、遅延部から出力されたデータＤ０とを加算して、次の遅延部に格納する。遅延部に格納されたデータを、順次、復号データとして出力する。以降、符号化ブロックにおいて、符号化データＣ２、…、Ｃ(ｉ−２)、Ｃ(ｉ−１)について、順次、同様に復号処理が行われる。

この既知の技術による符号化では、各符号化ブロックにおいて、先頭に量子化されていない原入力データが格納され、原入力データに続けて各符号化データが順次格納される。復号時には、各符号化ブロックにおいて、先頭の原入力データがそのまま復号データとして出力され、原入力データに続く符号化データが、原入力データを基準として順次、復号される。

ここで、符号化対象のデータが画像データであって、所定のデータ単位が画素データである場合について考える。この場合、符号化ブロックの先頭には、量子化されていない原画素データが格納され、復号時には、この原画素データがそのまま出力される。そのため、符号化ブロックの先頭毎に量子化誤差が「０」の画素が出現するため、画面に表示させた場合に、この量子化誤差が「０」の画素による符号化ブロック毎の縦縞が現れることになる。

＜第１の実施形態＞
（第１の実施形態による符号化処理）
次に、第１の実施形態による符号化装置１について説明する。第１の実施形態による符号化装置１は、概略的には、図１に示した符号化装置１と同様の構成を有し、符号化部１１が上述した既知の符号化部１１’と異なる構成を有する。

以下では、符号化装置１は、画像データが入力データとされ、画像データを、ライン方向に画素単位で符号化するものとする。例えば輝度情報や色差情報による画素データは、隣接データとの相関が高いため、画素間の差分に基づく量子化を行うことで、符号化した際の符号化誤差を小さく抑えることが可能である。

符号化装置１に対して、１ラインの画素データが順次、入力される。画素データは、入力処理部１０において、予め定められた画素数毎に分割されて、画素ブロックが形成される。入力処理部１０は、１ラインの先頭の画素データを示す信号line＿firstを出力する。例えば、入力処理部１０は、信号line＿firstを、１ラインの先頭の画素データの出力タイミングに対応してハイ状態とし、１ラインの他の画素データの出力タイミングではロー状態とする。また、入力処理部１０は、画素ブロックの先頭の画素データを示す信号first＿wordを出力する。例えば、入力処理部１０は、信号first＿wordを、各画素ブロックの先頭の画素データの出力タイミングに対応してハイ状態とし、各画素ブロックの他の画素データの出力タイミングに対応してロー状態とする。

入力処理部１０から出力された画素ブロックに含まれる画素データが、順次、符号化部１１に供給される。また、符号化部１１に供給する画素データに対応する状態の信号line＿firstおよび信号first＿wordが、入力処理部１０から符号化部１１に供給される。

符号化部１１では、１ラインの画素データを、画素ブロックを単位として符号化する。図４は、第１の実施形態による符号化部１１の一例の構成を示す。なお、図４において、上述した図２と共通する部分には同一の符号を付し、詳細な説明を省略する。符号化部１１は、減算器１００と、量子化部１０１と、量子化テーブル１０２と、出力セレクタ１２０と、局部復号部１２１とを有する。また、局部復号部１２１は、逆量子化部１１０と、加算器１１１と、局部復号データセレクタ１２２と、遅延部１１３とを有する。

符号化部１１の動作について説明する。例えばクロックに従いｎ番目の画素データ（画素データｎとする）が符号化部１１に供給される。画素データｎは、減算器１００の被減算入力端と、局部復号データセレクタ１２２の選択入力端１２２Ａとにそれぞれ入力される。減算器１００の減算入力端には、局部復号部１２１からの、画素データ（ｎ−１）に対応する局部復号データ（局部復号データ（ｎ−１）とする）が入力される。減算器１００において、画素データｎから局部復号データ（ｎ−１）が減算され、画素データｎと局部復号データ（ｎ−１）との差分による差分データ（差分データｎとする）が出力される。例えば、減算部１００は、入力データとしての画像データｎと、局部復号データ（ｎ−１）との差分を出力する差分出力部として機能する。

減算器１００から出力された差分データｎは、量子化部１０１に供給され、量子化テーブル１０２に格納される量子化情報に従い量子化され、データ量を圧縮される。量子化部１０１は、例えば階調情報を圧縮してビット数を削減することで、データ量を圧縮する。例えば、量子化部１０１は、差分出力部から出力された差分を圧縮する圧縮部として機能する。量子化された差分データｎは、局部復号部１２１の逆量子化部１１０に供給されると共に、出力セレクタ１２０の選択入力端１２０Ｂに入力される。

出力セレクタ１２０は、さらに、選択入力端１２０Ａに対して後述する局部復号データセレクタ１２２の出力が入力される。出力セレクタ１２０は、選択入力端１２０Ａおよび１２０Ｂを、信号first＿wordの状態に従い切り替えて、符号化データを符号化部１１から出力する。

より具体的には、出力セレクタ１２０において、信号first＿wordがハイ状態で選択入力端１２０Ａが選択され、局部復号データセレクタ１２２の出力が符号化データとして出力される。一方、出力セレクタ１２０において、信号first＿wordがロー状態で選択入力端１２０Ｂが選択され、量子化部１０１で量子化された差分データｎが符号化データとして符号化部１１から出力される。

逆量子化部１１０は、量子化テーブル１０２に対応した図示しない逆量子化テーブルに従い、量子化部１０１で量子化された差分データｎを逆量子化してデータ量を伸長し、量子化前の差分データｎを復元した復元差分データｎを出力する。例えば、逆量子化部１１０は、圧縮部（量子化部１０１）で圧縮されたデータを伸長する伸長部として機能する。復元差分データｎは、加算器１１１の一方の入力端に入力される。

加算器１１１は、他方の入力端に入力される、遅延部１１３から出力された局部復号データ（ｎ−１）と、復元差分データｎとを加算する。加算器１１１の加算出力は、符号化部１１に入力された画像データｎの局部復号データ（ｎ−１）に対する差分を量子化したデータを復号した、復号データであって、局部復号データ（ｎ−１）に対する次の局部復号データｎである。局部復号データｎが局部復号データセレクタ１２２の選択入力端１２２Ｂに入力される。

局部復号データセレクタ１２２の選択入力端１２２Ａには、上述したように、入力データである画素データｎが入力される。局部復号データセレクタ１２２は、選択入力端１２２Ａおよび１２２Ｂを、信号line＿firstの状態に従い切り替える。

より具体的には、局部復号データセレクタ１２２において、信号line＿firstがハイ状態で選択入力端１２２Ａが選択され、入力データとして入力された画素データｎが、上述の局部復号データｎとして局部復号データセレクタ１２２から出力される。一方、局部復号データセレクタ１２２において、信号line＿firstがロー状態で選択入力端１２２Ｂが選択され、加算器１１１から出力された次の局部復号データｎが局部復号データセレクタ１２２から出力される。

例えば、局部復号セレクタ１２２は、入力データとしての画像データｎと、加算器１１１の出力とのうち一方を選択する第２の選択部として機能する。また、例えば、出力セレクタ１２０は、局部復号データセレクタ１２２において選択入力端１２２Ｂが選択されている場合に、加算器１１１の出力と、圧縮部（量子化部１０１）の出力とのうち一方を選択する第１の選択部として機能する。

局部復号データセレクタ１２２から出力された次の局部復号データｎは、遅延部１１３に供給され保持されると共に、上述したように、出力セレクタ１２０の選択入力端１２０Ａに入力される。遅延部１１３に保持される次の局部復号データｎは、入力データとして次の画素データ（ｎ＋１）が減算器１００の被減算入力端に入力されるタイミングと同期して、減算器１００の減算入力端と、加算器１１１の他方の入力端とに入力される。

符号化部１１において、出力セレクタ１２０から出力された画素データ毎の符号化データは、順次、出力処理部１２に供給される。出力処理部１２は、供給された符号化データを予め定められたサイズのパケットに詰め込んで、符号化ブロックとして出力する出力部として機能する。

図５は、第１の実施形態によるパケットの一例の構成を示す。この例では、パケットは、全体が予め定められたサイズのＴビットのデータ長を有し、図の右側が先頭、左側が後端となっている。例えば、出力処理部１２が持つフリップフロップ(Flip Flop)といった記憶素子に符号化ブロックが保持され、パケットが構成される。このとき、符号化ブロックの先頭および後端がそれぞれ最下位ビットＬＳＢ(Least Significant Bit)および最上位ビットＭＳＢ とされる。

Ｎビットのデータ長を有するデータＤ０’が、符号化ブロック内の予め定められた位置から詰め込まれる。この例では、データＤ０’は、符号化ブロックの最下位ビットＬＳＢから詰め込まれるものとする。データＤ０’としては、上述の信号line＿firstおよび信号first＿wordの状態に応じて、ラインの先頭の画素データと、画素ブロックの先頭の画素データに対応する局部復号データとのうち何れかが用いられる。

図６を用いて、信号line＿firstおよび信号first＿wordの状態と、出力処理部１２の出力との関係について説明する。図６（ａ）は、クロックを示し、例えばクロック毎に１の画素データが符号化部１１に入力されるものとする。図６（ｂ）および図６（ｃ）は、それぞれ信号line＿firstおよび信号first＿wordの状態を示す。図６（ｄ）は、出力処理部１２から出力される符号化データを示す。なお、この例では、１のパケット（符号化ブロック）が、時間ＣＬで出力されるものとする。

信号line＿firstがハイ状態、且つ、信号first＿wordがハイ状態の場合、図４に示す局部復号データセレクタ１２２において選択入力端１２２Ａが選択されると共に、出力セレクタ１２０において選択入力端１２０Ａが選択される。したがって、出力セレクタ１２０から、符号化データとして、ラインの先頭の符号化されていない原画素データが出力され、この原画素データがデータＤ０’として用いられる。図６（ｄ）に例示するパケット＃１が、先頭のデータＤ０’にライン先頭の画素データを含む符号化ブロックが格納されるパケットとなる。

信号line＿firstがロー状態、且つ、信号first＿wordがハイ状態の場合、図４に示す局部復号データセレクタ１２２において選択入力端１２２Ｂが選択されると共に、出力セレクタ１２０において選択入力端１２０Ａが選択される。したがって、出力セレクタ１２０から、符号化データとして画素ブロックの先頭の画素データに対応する局部復号データが出力され、この局部復号データがデータＤ０’として用いられる。局部復号データは、原画素データと同様に、データサイズがＮビットとされている。図６（ｄ）に例示するパケット＃２、パケット＃３、…が、先頭のデータＤ０’に画素ブロック先頭の画素データに対応する局部復号データが格納されるパケットとなる。

信号line＿firstがロー状態、且つ、信号first＿wordがロー状態の場合、図４に示す局部復号データセレクタ１２２において選択入力端１２２Ｂが選択されると共に、出力セレクタ１２０において選択入力端１２０Ｂが選択される。したがって、出力セレクタ１２０から、符号化データとして量子化部１０１で量子化された差分データが出力される。この量子化差分データによる符号化データは、図５に、データＤ０’に続く符号化データＣ１、Ｃ２、…、Ｃ(ｉ−２)、Ｃ(ｉ−１)として示されるように、ＭＳＢ側に向けて順次、符号化ブロックに詰め込まれていく。なお、符号化データＣ１、Ｃ２、…、Ｃ(ｉ−２)、Ｃ(ｉ−１)は、それぞれＭビットのデータ長を有する。

符号化ブロックの最上位ビットＭＳＢに存在するデータ長がＬビットの領域Ｆは、符号化方式を決定するための付加情報などが必要に応じて格納され、符号化ブロックの全体のデータ量がＴビットとされる。

符号化ブロックのデータ長のＴビットは、例えば符号化装置１から出力された符号化ブロックが記憶されるメモリに使用される記憶素子の記憶単位に合わせて決定すると好ましい。例えば、ＤＲＡＭ などの記憶素子は、記憶単位が１２８ビットや２５６ビットであることが多いので、例えばＴビット＝１２８ビットというように設定する。

（第１の実施形態による復号処理）
次に、第１の実施形態に適用可能な復号装置について、図７を用いて説明する。図７において、復号装置２は、上述した符号化部１１を有する符号化装置１で符号化された画像データを復号するもので、入力処理部２０、復号部２１および出力処理部２２を有する。入力処理部２０に対して、それぞれ図５を用いて説明した構成の符号化ブロック＃０、＃１、＃２、…、＃Ｎ−１が時系列に沿って順次入力される。なお、符号化ブロック＃０は、ライン先頭の画素データを含む符号化ブロックであるものとする。

入力処理部２０は、入力された符号化ブロックからデータＤ０’、符号化データＣ１、Ｃ２、…、Ｃ(ｉ−２)、Ｃ(ｉ−１)を切り出して順次出力する。このとき、入力処理部２０は、各符号化ブロック＃０、＃１、＃２、…、＃Ｎ−１が入力されると、それぞれの先頭データＤ０’に対応して信号first＿wordをハイ状態とする。信号first＿wordは、先頭データＤ０’の出力が終了すると、ロー状態とされる。信号first＿wordは、例えば制御信号に含められて復号部２１に供給される。

なお、入力処理部２０は、ライン先頭の符号化ブロック＃０を、例えば外部から供給される制御信号（図示しない）に基づき知ることができる。これに限らず、上述した図５の符号化ブロックの先頭に、当該符号化ブロックがラインの先頭であるか否かを示す識別情報を付加することもできる。符号化ブロックのデータ長は、Ｔビットに固定されているので、ライン先頭の符号化ブロック＃０を特定することで、ライン先頭以外の各符号化ブロック＃１、＃２、…、＃Ｎ−１の先頭を容易に求めることができる。さらに、各符号化ブロックの先頭を示すストローブ信号を外部から供給してもよい。

入力処理部２０から出力されたデータＤ０’、符号化データＣ１、Ｃ２、…、Ｃ(ｉ−２)、Ｃ(ｉ−１)は、クロックに従い、順次、復号部２１に供給される。なお、以下では、特に記載のない限り、データＤ０’、符号化データＣ１、Ｃ２、…、Ｃ(ｉ−２)、Ｃ(ｉ−１)を、纏めて符号化データと呼ぶ。

復号部２１は、出力セレクタ２００、逆量子化部２０１、量子化テーブル２０２、加算器２０３および遅延部２０４を有し、上述した符号化部１１と略逆の処理を行うことで、符号化データを復号する。

復号部２１に入力された符号化データは、出力セレクタ２００の選択入力端２００Ａに入力されると共に、逆量子化部２０１に供給される。逆量子化部２０１は、逆量子化テーブル２０２に格納される例えば逆量子化ステップといった量子化情報に基づき、入力された符号化データを逆量子化し、符号化時に量子化部１０１で圧縮されたデータ量を伸長する。例えば、逆量子化部２０１は、逆量子化された符号化データを伸長する伸長部として機能する。データ量を伸長された符号化データは、加算器２０３の一方の入力端に入力される。加算器２０３の他方の入力端には、遅延部２０４の出力が入力される。加算器２０３は、一方の入力端に入力された逆量子化された符号化データと、他方の入力端に入力された遅延部２０４の出力とを加算して復号データを得る。

加算器２０３から出力された復号データは、出力セレクタ２００の選択入力端２００Ｂに入力される。出力セレクタ２００は、信号first＿wordの状態に応じて選択入力端２００Ａおよび２００Ｂのうち一方を選択する。出力セレクタ２００は、信号first＿wordがロー状態で選択入力端２００Ｂを選択し、加算器２０３の出力を復号データとして出力する。

一方、出力セレクタ２００は、信号first＿wordがハイ状態で選択入力端２００Ａを選択し、入力された符号化データを復号データとして復号部２１から出力する。この場合、入力された符号化データがライン先頭の符号化ブロック＃０におけるデータＤ０’であれば、原画素データが復号データとして出力される。また、入力された符号化データがライン先頭以外の符号化ブロック＃１、＃２、…、＃Ｎ−１であれば、局部復号データが復号データとして出力される。

また、出力セレクタ２００から出力された復号データは、出力処理部２２に供給されると共に、遅延部２０４にも供給される。遅延部２０４は、供給されたデータを、例えば入力に対して１クロック分遅延させて出力する。例えば、遅延部２０４は、復号データを記憶する記憶部として機能する。また、出力セレクタ２００は、復号部２１に入力された符号化データと、加算器２０３（加算部）から出力された復号データとのうち一方を復号データとして選択して記憶部に記憶させる選択部として機能する。遅延部２０４から出力された復号データは、上述したように、加算器２０３の他方の入力端に入力される。

出力処理部２２は、出力セレクタ２００から供給された復号データを、所定のフォーマットに整形して、この復号装置２から出力する。

このように、第１の実施形態による復号装置２では、先頭に原画素データまたは局部復号データを埋め込まれた符号化ブロックを復号する。その際に、符号化ブロックに含まれる原画素データおよび局部復号データをそのまま出力し、その他の符号化データについては、逆量子化して１クロック前の復号データを加算する復号処理を行って出力している。

このとき、ライン先頭の符号化ブロック以外の符号化ブロックの先頭に含まれる局部復号データは、復号部２１における逆量子化と遅延部２０４の出力の逆量子化結果に対する加算とによる復号処理と同様の処理を経て生成されたデータであって、当該復号処理を行った復号データと同等の量子化誤差を有する。そのため、例えば復号データに基づく画面表示を行った場合の、量子化誤差の違いによる画素ブロック単位の縦縞の発生を抑制することができる。

また、各符号化ブロックに復号の基準となるデータ（原画素データまたは局部復号データ）が含まれるので、エラーからの復元を符号化ブロック単位で行うことができる。

＜第２の実施形態＞
次に、第２の実施形態について説明する。上述した第１の実施形態では、復号装置２は、復号データを１系統すなわち単相で出力していた。これに対して、第２の実施形態では、復号装置は、復号データを２系統すなわち２相で出力することを可能としている。例えば、符号化ブロックを、奇数番目の符号化ブロックと、偶数番目の符号化ブロックに分けて、互いに並列的に復号処理を行うことで、復号された画像ブロックの出力を、単相で復号処理を行う場合に対して２倍の速度で実行することが可能となる。

図８は、２相出力を可能とする復号装置３の一例の構成を示す。復号装置３は、上述の第１の実施形態による符号化部１１を持つ符号化装置１で符号化した画像データを復号する。図８から分かるように、復号装置３は、図７を用いて説明した、上述の第１の実施形態による復号装置２を２つ用いて構成される。すなわち、復号装置３は、入力処理部２０Ａおよび２０Ｂと、復号部２１Ａおよび２１Ｂと、出力処理部２２’とを有する。なお、図８において、図７と共通する部分には同一の符号を付して、詳細な説明を省略する。

図５を用いて説明した構成の符号化ブロック＃０、＃１、＃２、…、＃Ｎ−１が、復号対象の入力データとして復号装置３に入力される。このとき、第１の実施形態による単相で復号データを出力する場合に対して、２倍の速度で入力データが入力される。図９は、２相出力に対応する符号化データの例を示す。図９（ａ）は、クロックを示す。図９（ｄ）は、復号装置３に入力される符号化データを示す。

図９（ｄ）に例示されるように、２相出力に対応した符号化データは、各符号化ブロック＃０、＃１、＃２、…が、上述の図６（ｄ）で示した単相出力に対応する符号化データの半分の時間（ＣＬ／２）で、復号装置３に入力される。例えば、第１の実施形態による符号化部１１を含む符号化装置１から出力された符号化データを図示されないメモリに書き込む。このメモリからの符号化データの読み出しを、書き込み速度の２倍の速度で行う。

信号line＿firstおよび信号first＿wordは、図９（ｂ）および図９（ｃ）にそれぞれ示されるように、復号装置３に入力される各符号化ブロック（パケット＃１、＃２、…）の先頭のタイミングに従い生成または供給される。

入力処理部２０Ａは、復号装置３に入力された符号化ブロック＃０、＃１、＃２、…、＃Ｎ−１のうち、偶数番目の符号化ブロック＃０、＃２、…、すなわち、ラインの先頭の画素データを含む符号化ブロック＃０から一つおきに符号化ブロックを選択する。そして、選択された各符号化ブロックが入力されると、先頭のデータＤ０’に対応して信号first＿wordをそれぞれハイ状態とする。信号first＿wordは、先頭データＤ０’の出力が終了すると、ロー状態とされる。信号first＿wordは、例えば制御信号に含められて復号部２１Ａに供給される。

一方、入力処理部２０Ｂは、復号装置３に入力された符号化ブロック＃０、＃１、＃２、…、＃Ｎ−１のうち奇数番目の符号化ブロック＃１、＃３、…を選択する。そして、選択された各符号化ブロックが入力されると、先頭のデータＤ０’に対応して信号first＿wordをそれぞれハイ状態とする。信号first＿wordは、先頭データＤ０’の出力が終了すると、ロー状態とされる。信号first＿wordは、例えば制御信号に含められて復号部２１Ｂに供給される。

なお、第１の実施形態と同様に、入力処理部２０Ａ、２０Ｂは、ライン先頭の符号化ブロック＃０を、例えば外部から供給される制御信号（図示しない）に基づき知ることができる。これに限らず、上述した図５の符号化ブロックの先頭に、当該符号化ブロックがラインの先頭であるか否かを示す識別情報を付加することもできる。符号化ブロックのデータ長は、Ｔビットに固定されているので、ライン先頭の符号化ブロック＃０を特定することで、ライン先頭以外の各符号化ブロック＃１、＃２、…、＃Ｎ−１の先頭を容易に求めることができる。さらに、各符号化ブロックの先頭を示すストローブ信号を外部から供給してもよい。

復号部２１Ａは、入力処理部２０Ａから供給された偶数番目の符号化ブロック＃０、＃２、…の復号処理を行う。このとき、各符号化ブロック＃０、＃２、…の先頭のデータＤ０’は、入力処理部２０Ａから供給される信号first＿wordに従い判別する。同様に、復号部２１Ｂは、入力処理部２０Ｂから供給された奇数番目の符号化ブロック＃１、＃３、…の復号処理を、入力処理部２０Ｂからの信号first＿wordを用いて行う。

これら復号部２１Ａおよび２１Ｂにおける復号処理は、図７を用いて説明した復号部２１における復号処理と同様にして実行可能である。すなわち、復号部２１Ａに入力される偶数番目の符号化ブロック＃０、＃２、…、ならびに、復号部２１Ｂに入力される奇数番目の符号化ブロック＃１、＃３、…には、それぞれ先頭に局部復号データ（ライン先頭の符号化ブロック＃０には原画素データそのもの）が格納されている。

したがって、第２の実施形態による復号装置３において、復号部２１Ａおよび２１Ｂは、それぞれ独立して各符号化ブロックを復号処理することができ、復号部２１Ａによる復号処理と、復号部２１Ｂによる復号処理とを並行して実行可能である。

復号部２１Ａおよび２１Ｂから出力された復号データは、それぞれ出力処理部２２’に供給される。出力処理部２２’は、供給された復号データを画素毎に並べ替えて、ライン上の偶数番目の画素の復号データと、奇数番目の画素の復号データとに分ける。そして、偶数番目の画素の復号データと、奇数数番目の画素の復号データとを、別の系統で出力し、画像データの２相出力を得る。

＜第３の実施形態＞
次に、第３の実施形態について説明する。第３の実施形態は、上述した第１の実施形態による、符号化部１１を含む符号化装置１と、復号装置２とを画像処理部を有する画像処理装置に適用した例である。図１０は、第３の実施形態による画像処理装置３００の一例の構成を示す。ここでは、画像処理装置３００の例として、デジタルテレビジョン放送を受信してハイビジョン画像をディスプレイに映出させる、デジタルテレビジョン受像機を適用している。なお、図１０において、上述の図１、図４および図７と共通する部分には同一の符号を付して、詳細な説明を省略する。

画像処理装置３００は、チューナ３１０、画像処理部３１１およびディスプレイ３１２を有する。チューナ３１０は、デジタルテレビジョン放送を受信して受信信号をデコードし、画像データおよび音声データ、ならびに、付随データを出力する。以下では、第３の実施形態の主旨と直接的な関わりがないので、音声データおよび付随データに関する説明を省略する。

チューナ３１０から出力された画像データは、画像処理部３１１に供給される。画像処理部３１１は、供給された画像データに対して、メモリ３２１を用いて所定の画像処理を施す。画像処理部３１１が行う画像処理の種類は、特に限定されないが、エンハンス処理、フレームレート変換処理、色調調整処理、解像度変換処理など、様々に考えられる。

一例として、画像処理部３１１は、チューナ３１０から供給された画像データを、メモリインターフェイス（Ｉ／Ｆ）３２０を介して一旦メモリ３２１に格納する。そして、メモリ３２１から、メモリＩ／Ｆ３２０を介して画像データを読み出しつつ例えば画素単位で画像データに対して画像処理を施す。画像処理が施された画像データは、画像処理部３１１からメモリＩ／Ｆ３２０を介して順次メモリ３２１に書き込まれる。

画像処理部３１１で画像処理された画像データは、ディスプレイ３１２に供給される。例えば、画像処理部３１１は、画像処理が終了した画像データを、メモリＩ／Ｆ３２０を介してメモリ３２１に書き込む。１フレーム分の画像処理が終了すると、画像処理部３１１は、メモリ３２１からメモリＩ／Ｆ３２０を介して画像データを読み出して、ディスプレイ３１２に供給する。ディスプレイ３１２は、供給された画像データに基づく画像を表示する。

このような画像処理装置３００の構成において、メモリＩ／Ｆ３２０に対して、第１の実施形態による、符号化部１１を含む符号化装置１と、復号装置２とを適用する。より具体的には、図１０に例示されるように、メモリＩ／Ｆ３２０は、符号化装置１を構成する入力処理部１０、符号化部１１および出力処理部１２と、復号装置２を構成する入力処理部２０、復号部２１および出力処理部２２とを有する。

画像処理部３１１から、例えばライン単位で画素順次に出力された画像データがメモリＩ／Ｆ３２０に供給され、入力処理部１０に入力される。入力処理部１０は、入力された画像データを予め定められた画素数毎に分割して画素ブロックを形成する。それと共に、入力処理部１０は、信号line＿firstおよび信号first＿wordを、画素ブロックおよび画素ブロック内の画素データの位置に応じてそれぞれハイ状態またはロー状態にして出力する。このとき、入力処理部１０は、ラインの先頭を示す情報を、例えば画像処理部３１１から取得することができる。

入力処理部１０から出力された画素ブロックと、信号line＿firstおよび信号first＿wordとが符号化部１１に入力される。符号化部１１は、図４を用いて説明したようにして、画素ブロックの画素データを符号化して符号化ブロックを生成する。このとき、信号line＿firstおよび信号first＿wordに基づき、ラインの先頭の画素データを含む画素ブロックを符号化した符号化ブロックの先頭の符号化データとして原画素データそのものを用いる。また、それ以外の各画素ブロックを符号化した符号化ブロックの先頭の符号化データとして局部復号データを用いる。符号化部１１から出力された符号化データは、出力処理部１２で予め定められたサイズのパケットに詰め込まれてメモリＩ／Ｆ３２０から出力される。メモリＩ／Ｆ３２０から出力された符号化ブロックのパケットは、メモリ３２１に書き込まれる。

画像処理部３１１からメモリＩ／Ｆ３２０に対して、メモリ３２１に記憶された画像データ（符号化ブロック）の読み出しが指示される。メモリＩ／Ｆ３２０は、この指示に従い、メモリ３２１から符号化ブロックを読み出し、入力処理部２０に入力する。このとき、入力処理部２０は、ラインの先頭や各符号化ブロックの先頭を示す情報を、例えば画像処理部３１１から取得することができる。

入力処理部２０は、入力された符号化ブロックから符号化データを取り出して順次、復号部２１に供給すると共に、信号first＿wordを所定の状態にして出力する。復号部２１は、入力された符号化データを、信号first＿wordの状態に応じて選択して、符号化ブロックの先頭に格納される符号化データをそのまま復号データとして出力し、その他の符号化データを逆量子化した後復号順で１つ前の符号化データと加算して復号データを生成する。この復号データは、出力処理部２２により所定のフォーマットに整形され、メモリＩ／Ｆ３２０から画像処理部３１１に供給される。

このように、第１の実施形態による符号化部１１および復号部２１を、画像処理部３１１がアクセスするメモリ３２１のメモリＩ／Ｆ３２０に組み込んで用いることで、メモリ３２１に格納される画像データのサイズを圧縮することができる。また、符号化は、画素単位で行われるので、高速な処理が可能である。さらに、ラインの先頭以外の符号化ブロックの先頭に局部復号データを格納しているので、符号化ブロックを復号した復号データによる画面表示を行っても、一定間隔で量子化誤差が「０」の画素データが出現することが防がれ、より高画質の画像を得ることができる。さらに、各符号化ブロックに復号の基準となるデータ（原画素データまたは局部復号データ）が含まれるので、例えばメモリ３２１からの読み出しエラーなどに対して、符号化ブロック単位で復元を行うことができる。

なお、上述では、第３の実施形態に単相出力に対応した復号装置２を適用したが、これはこの例に限定されない。すなわち、第３の実施形態に対して、第２の実施形態による２相出力を行う復号装置３を適用することも可能である。この場合、復号装置３は、２相ＬＶＤＳ(Low voltage differential signaling)に対応した２相出力を得ることができる。

１ 符号化装置
２，３ 復号装置
１０，２０，２０Ａ，２０Ｂ 入力処理部
１１，１１’ 符号化部
１２，２２，２２’ 出力処理部
２１，２１Ａ，２１Ｂ 復号部
１００ 減算器
１０１ 量子化部
１０３ 出力セレクタ
１０４ 局部復号部
１１０，２０１ 逆量子化部
１１１，２０３ 加算器
１１２，１２２ 局部復号データセレクタ
１１３，２０４ 遅延部
２００ 出力セレクタ

Claims (7)

1. 局部復号データが記憶される記憶部と、
   入力データと前記局部復号データとの差分を出力する差分出力部と、
   前記差分出力部により出力された前記差分を圧縮する圧縮部と、
   前記圧縮部で圧縮されたデータを伸長する伸長部と、前記伸長部で伸長されたデータに前記局部復号データを加算する加算部とを備え、前記加算部の出力を符号化順で次の局部復号データとして前記記憶部に記憶させる局部復号部と、
   前記圧縮部の出力と、前記加算部の出力とのうち一方を選択して符号化データとして出力する第１の選択部と
   を有し、
   前記第１の選択部は、
   前記加算部の出力を所定数の前記入力データ毎に選択する
   ことを特徴とする符号化装置。
2. 前記入力データと、前記加算部の出力とが入力され、連続する複数のブロックの先頭で前記入力データを選択する第２の選択部をさらに有し、
   前記第２の選択部の出力を、前記次の局部復号データとして前記記憶部に記憶させると共に、前記第１の選択部に前記加算部の出力として供給する
   ことを特徴とする請求項１に記載の符号化装置。
3. 前記符号化データをパケットに格納して出力する出力部をさらに有し、
   前記出力部は、
   前記第１の選択部で選択された前記加算部の出力による第１の符号化データを、前記入力データと同一のデータ長として先頭に配し、前記第１の選択部で選択された前記圧縮部の出力による第２の符号化データを前記第１の符号化データに続けて順次配して前記パケットを生成する
   ことを特徴とする請求項１または請求項２に記載の符号化装置。
4. 入力データと記憶部に記憶される局部復号データとの差分を出力する差分出力ステップと、
   前記差分出力ステップにより出力された前記差分を圧縮する圧縮ステップと、
   前記圧縮ステップにより圧縮されたデータを伸長する伸長ステップと、前記伸長ステップにより伸長されたデータに前記局部復号データを加算する加算ステップとを含み、前記加算ステップによる出力を次の前記局部復号データとして前記記憶部に記憶させる局部復号ステップと、
   前記圧縮ステップによる出力と、前記加算ステップによる出力とのうち一方を選択して符号化データとして出力する選択ステップと
   を有し、
   前記選択ステップは、
   前記加算ステップによる出力を所定数の前記入力データ毎に選択する
   ことを特徴とする符号化方法。
5. 入力データと局部復号データとの差分を圧縮した出力を伸長して前記局部復号データを加算し、加算した出力を次の前記局部復号データとして用い、前記入力データ毎の前記圧縮した出力を第１の符号化データとし、前記加算した出力を所定数の前記入力データ毎に選択して第２の符号化データとし、前記第２の符号化データを前記入力データと同一のデータ長として先頭に配し、前記第１の符号化データを前記第２の符号化データに続けて順次配したパケットに対して復号処理を行う復号装置であって、
   復号データを記憶する記憶部と、
   前記第１の符号化データを伸長する伸長部と、
   前記伸長部で伸長された前記第１の符号化データと、前記記憶部に記憶される前記復号データとを加算する加算部と、
   前記第２の符号化データと前記加算部の出力とのうち何れか一方を、前記復号データとして選択して前記記憶部に記憶させる選択部と
   を有する
   ことを特徴とする復号装置。
6. 入力データと局部復号データとの差分を圧縮した出力を伸長して前記局部復号データを加算し、加算した出力を次の前記局部復号データとして用い、前記入力データ毎の前記圧縮した出力を第１の符号化データとし、前記加算した出力を所定数の前記入力データ毎に選択して第２の符号化データとし、前記第２の符号化データを前記入力データと同一のデータ長として先頭に配し、前記第１の符号化データを前記第２の符号化データに続けて順次配したパケットに対して復号処理を行う復号方法であって、
   復号データを記憶部に記憶する記憶ステップと、
   前記第１の符号化データを伸長する伸長ステップと、
   前記伸長ステップにより伸長された前記第１の符号化データと、前記記憶部に記憶される前記復号データとを加算する加算ステップと、
   前記第２の符号化データと前記加算ステップによる出力とのうち何れか一方を、前記復号データとして選択して前記記憶部に記憶させる選択ステップと
   を有する
   ことを特徴とする復号方法。
7. 偶数番目の前記パケットと、奇数番目の前記パケットとを選択して取り出す入力部と、
   前記偶数番目の前記パケットに対する復号処理を行う請求項５に記載の第１の復号装置と、
   前記奇数番目の前記パケットに対する復号処理を行う請求項５に記載の第２の復号装置と、
   前記第１の復号装置の第１の復号データと、前記第２の復号装置の第２の復号データとを、偶数番目の復号データと奇数番目の復号データとに並べ直して、前記偶数番目の復号データと、前記奇数番目の復号データとを２相で出力する出力手段と
   を有する
   ことを特徴とする復号装置。

Images