JP5024178B2 - 画像処理装置、及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置、及び画像処理方法に関する。

近年、情報処理技術、及び通信技術等の急速な発展により、高品質な映像や音声等のデジタル信号が有線又は無線のネットワークを通じて配信されるようになってきている。もちろん、デジタル放送もその一例である。しかしながら、高品質な映像や音声等のデータは、そのデータ量が大きいため、そのままではネットワーク帯域を圧迫してしまう。同様に、光ディスク等のメディアで配布される映像や音楽等についても、高品質化の潮流からデータ量が増大しており、そのままでは既存のメディアに格納することが難しい。そこで、通常、映像や音声等のデータは、所定の符号化方式で圧縮されたものが提供される。

例えば、画像データに関し、代表的な画像圧縮方法としては、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄｓ Ｏｒｇａｎｉｚａｔｉｏｎ）によって標準化されたＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式がある。この方式には、離散コサイン変換（ＤＣＴ；Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）が利用されているため、比較的多くの符号化ビットが割り当てられると、良好な符号化画像及び復号画像が得られる。しかし、符号化ビット数が少ないと、離散コサイン変換に特有のブロックノイズが顕著になり、主観的な画像品質の劣化が目立ってしまう。

これに対し、フィルタバンクと呼ばれるハイパスフィルタとローパスフィルタとを組み合わせたフィルタによって画像を複数の周波数帯域（サブバンド）に分割し、帯域毎に符号化を施す符号化方式が利用されるようになってきている。その代表的な例としては、ウェーブレット変換を利用した符号化方式がある。ウェーブレット変換は、高圧縮時にも離散コサイン変換のようなブロック歪みが顕著になるという欠点がない。そのため、ウェーブレット変換を利用した符号化方式には非常に注目が集まっている。

２００１年１月に国際標準化が完了したＪＰＥＧ２０００方式は、このウェーブレット変換と、高能率なエントロピー符号化とを組み合わせた方式を採用している。このエントロピー符号化処理には、ビットプレーン単位のビットモデリング処理と算術符号化処理とが含まれる。そのため、離散コサイン変換を利用したＪＰＥＧ方式に比べると非常に大きな符号化効率の改善が実現されている。

画像データに適用される２次元のウェーブレット変換は、画像データに対して水平方向の分析フィルタリングと垂直方向の分析フィルタリングとを繰り返し実行しながら、低周波成分を階層的に分割する手法である。従って、分析フィルタリングの実行時にメモリへのデータの書き込み／読み出し処理が頻繁に発生する。そのため、ウェーブレット変換を利用する際には、高速な書き込み／読み出し性能を有するメモリが用いられる。しかしながら、こうしたメモリは高価であり、データ量の大きい画像データの格納には適さない。そのため、比較的低速な外部メモリが利用されることが多く、当然、ウェーブレット変換を用いる符号化処理の処理時間が長く掛かってしまうことになる。そこで、外部メモリを利用せずにウェーブレット変換を高速実行する技術が開発された（特許文献１参照）。

特願２００８ー０２２８０２号公報

上記の通り、ウェーブレット変換を利用する符号化方式は、離散コサイン変換を利用する符号化方式に比べて符号化効率が高い。しかし、ＪＰＥＧ２０００方式では、この符号化効率をさらに高めるため、ウェーブレット変換前の画像データを一様にレベルシフトしてウェーブレット変換係数の分布中心を０にする技術（以下、ＤＣレベルシフト）が採用されている。つまり、画像データの直流成分（ＤＣ成分）をレベルシフトさせることにより、ウェーブレット変換係数のダイナミックレンジを半減させ、ウェーブレット変換の効率を高めるのである。例えば、各色８ビットの正数で表現されるＲＧＢ信号を一様に１２８だけ減算し、［−１２８，１２７］の範囲にシフトさせるのである。しかしながら、ウェーブレット変換前の画像データに含まれる全画素についてＤＣレベルシフトが実行されるため、ＤＣレベルシフトの処理自体にかかる演算負荷が大きい。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、符号化効率を低減させずにＤＣレベルシフトによる演算量を低減させることが可能な、新規かつ改良された画像処理装置、及び画像処理方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、画像信号にウェーブレット変換を施すウェーブレット変換部と、前記ウェーブレット変換部から出力された最低周波数成分の係数に対し、ダイナミックレンジが低減するように当該係数に対してレベルシフトを施すレベルシフト部と、前記レベルシフト部から出力された係数、及びウェーブレット変換部から出力された前記最低周波数成分以外の係数を符号化する符号化部と、を備える、画像処理装置が提供される。

上記の画像処理装置は、ウェーブレット変換部により、入力された画像信号にウェーブレット変換を施す。また、この画像処理装置は、レベルシフト部により、前記ウェーブレット変換部から出力された最低周波数成分の係数に対し、ダイナミックレンジが低減するように当該係数に対してレベルシフトを施す。さらに、この画像処理装置は、符号化部により、前記レベルシフト部から出力された係数、及びウェーブレット変換部から出力された前記最低周波数成分以外の係数を符号化する。このように、最低周波数成分のウェーブレット係数に対してのみＤＣレベルシフトを施すため、画像信号に含まれる全画素をレベルシフトする場合に比べて演算量が低減される。また、高周波成分のウェーブレット係数には、直流成分が含まれないことから、全画素をレベルシフトする場合と比較しても符号化効率が低下しない。

また、上記の画像処理装置は、前記画像信号の階調数がＬ、前記ウェーブレット変換に含まれる低域通過フィルタの利得がｇかつ、当該ウェーブレット変換のレベルがｎ（ｎは自然数）の場合、前記レベルシフト部により、前記係数からｇ^{（２＊ｎ）}＊Ｌ／２を減算することで当該係数をレベルシフトさせるように構成されていてもよい。

また、前記レベルシフト部は、前記最低周波数成分の全係数に対する平均値を前記各係数から減算することで当該各係数をレベルシフトさせるように構成されていてもよい。この場合、前記符号化部は、出力する符号語に前記平均値を付加する。尚、ここで付加される平均値のデータ量は、符号量全体のデータ量と比較して非常に小さいものである。

また、上記課題を解決するために、本発明の別の観点によれば、画像信号にウェーブレット変換が施される変換ステップと、前記変換ステップで得られた最低周波数成分の係数に対し、ダイナミックレンジが低減するように当該係数に対してレベルシフトが施されるレベルシフトステップと、前記レベルシフトステップで得られた係数、及び前記変換ステップで得られた前記最低周波数成分以外の係数が符号化される符号化ステップと、を含む、画像処理方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、ウェーブレット変換、及びレベルシフトが施された上で符号化された画像信号を復号してウェーブレット係数を出力する復号部と、前記復号部から出力されたウェーブレット係数のうち、最低周波数成分のウェーブレット係数に対して前記レベルシフトとは逆方向にレベルシフトを施す逆レベルシフト部と、前記最低周波数成分以外のウェーブレット係数、及び前記レベルシフト部により逆方向にレベルシフトされたウェーブレット係数に対して逆ウェーブレット変換を施す逆ウェーブレット変換部と、を備える、画像処理装置が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、ウェーブレット変換、及びレベルシフトが施された上で符号化された画像信号が復号されてウェーブレット係数が出力される復号ステップと、前記復号ステップで出力されたウェーブレット係数のうち、最低周波数成分のウェーブレット係数に対して前記レベルシフトとは逆方向にレベルシフトが施される逆レベルシフトステップと、前記最低周波数成分以外のウェーブレット係数、及び前記レベルシフトステップで逆方向にレベルシフトされたウェーブレット係数に対して逆ウェーブレット変換が施される逆ウェーブレット変換ステップと、を含む、画像処理方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、上記の画像処理装置が有する機能をコンピュータに実現させるためのプログラムが提供される。さらに、このプログラムが記録された記録媒体が提供される。

以上説明したように本発明によれば、符号化効率を低減させずにＤＣレベルシフトによる演算量を低減させることが可能になる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

［符号化／復号処理の概要］
まず、本発明の好適な実施形態について詳細に説明するに先立ち、当該実施形態に係る符号化／復号処理の概要について簡単に説明する。但し、ここで説明する内容は、同実施形態の技術的特徴を理解するための一助とすべく外延的内容のみが記載されたものであり、同実施形態の特徴部分については後段において詳述することとする。

（画像処理装置１０の機能構成：符号化処理部分）
ここで、図１を参照しながら、画像処理装置１０の機能構成について説明する。図１は、画像処理装置１０の機能構成の一例を示す説明図である。この画像処理装置１０は、入力された画像信号を符号化する機能を有する。この機能は、例えば、図１７に示す情報処理装置のハードウェア構成例の中で、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８等に記録されたプログラムにより実現されうる。具体的には、同プログラムがＣＰＵ９０２により実行されることで、種々の機能が実現される。

図１を参照する。図１に示すように、画像処理装置１０は、主に、ＤＣレベルシフト部１２と、ウェーブレット変換部１４と、量子化部１６と、エントロピー符号化部１８と、レート制御部２０とにより構成される。以下の説明の中で、量子化部１６、エントロピー符号化部１８、及びレート制御部２０を纏めて符号化ブロックと呼ぶことがある。

（ＤＣレベルシフト部１２）
ＤＣレベルシフト部１２は、入力される画像データ（原画像）の全画素値に対し、直流成分（ＤＣ成分）のレベルシフトを施す。より具体的には、原画像に含まれる画素値のダイナミックレンジが半分になるように全画素の画素値が一様に減算される。従って、ＤＣレベルシフトが施されると、原画像の分布中心が０になる。例えば、正の整数値（０〜２５５）で明度が表現されるＲＧＢ信号は一様に１２８が減算される。一方、ＹＣｂＣｒ等のように輝度−色差表現を持つ信号は、正値を持つ輝度成分のみがＤＣレベルシフトされる（図２及び図３を参照）。こうしたＤＣレベルシフトは、後述するウェーブレット変換の処理効率を向上させ、結果的に画像データの圧縮率向上に寄与する。

このように、ＤＣレベルシフトは、後段の処理を効率化する上で非常に有効である。しかしながら、上記のように全画素についてＤＣレベルシフトが実行される場合、ＤＣレベルシフトによる演算負荷も少なくない。こうした理由から、ＤＣレベルシフトの後段で実行される符号化処理の効率を低下させず、かつ、ＤＣレベルシフトによる演算負荷を低減させることが可能な技術が求められる。後述する本発明の実施形態においては、こうした要求に応じ、ＤＣレベルシフトによる演算負荷を低減させる技術が提案される。さて、ＤＣレベルシフト部１２により出力された信号は、後述するウェーブレット変換部１４に入力される。

ところで、図２及び図３に示した分布図は画像信号の分布であるが、図中には係数分布と記載されている。これは、後述するウェーブレット変換後に出力される係数分布との対応関係を意識しているからである。実際、ドベシィのウェーブレット（数列）を利用した高速ウェーブレット変換アルゴリズムにおいては、入力される画像信号をスケーリング係数とみなして演算が実行される。こうした点も踏まえ、ウェーブレット変換前の画素値の分布（図２及び図３）についても係数分布と表現しているのである。

（ウェーブレット変換部１４）
ウェーブレット変換部１４は、ＤＣレベルシフト部１４から入力された信号に対し、ウェーブレット変換を施す。このウェーブレット変換は、ＪＰＥＧ標準やＭＰＥＧ標準で採用された離散コサイン変換（ＤＣＴ；Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）に比べて圧縮効率が高く、多重解像度表現が可能であるといった利点を有する。尚、ウェーブレット変換部１４によるウェーブレット変換には、例えば、ドベシィのウェーブレットやハールのウェーブレット等が用いられる。実際には、ドベシィの直交フィルタである実数型９／７フィルタや整数型５／３フィルタが用いられることが多い。

ここで、図４を参照しながら、ウェーブレット変換の原理について簡単に説明する。但し、ここでは離散ウェーブレット変換（ＤＷＴ；Ｄｉｓｃｒｅｔｅ Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ）について説明する。２次元信号である画像信号に対するウェーブレット変換は、１次元の２分割フィルタバンクを繰り返し用いることで実行される。図４は、レベル３までの１次元ウェーブレット変換を模式的に示したものである。図中のＨ０は、ローパスフィルタを示す。一方、Ｈ１は、ハイパスフィルタを示す。また、↓２は、２分の１のダウンサンプリングを示す。このダウンサンプリングは、例えば、信号を１つおきに間引くことで実現される。

図４に示すように、原画像の画像信号は、ローパスフィルタＨ０、及びハイパスフィルタＨ１に入力される。ハイパスフィルタＨ１を通過した信号は、ダウンサンプリングされて出力される（１／２（Ｈ））。この出力信号は、原画像の２分の１のサイズにダウンサンプリングされた高周波成分である。一方、ローパスフィルタＨ０を通過した信号は、ダウンサンプリングされ（１／２（Ｌ））、さらにローパスフィルタＨ０、及びハイパスフィルタＨ１に入力される。このように、低周波成分がレベル２の入力信号になる。

上記と同様に、ハイパスフィルタＨ１を通過した信号は、ダウンサンプリングされて出力される（１／４（ＬＨ））。この出力信号は、原画像の４分の１のサイズにダウンサンプリングされた高周波成分である。一方、ローパスフィルタＨ０を通過した信号は、ダウンサンプリングされ（１／４（ＬＬ））、さらにローパスフィルタＨ０、及びハイパスフィルタＨ１に入力される。このように、低周波成分がレベル３の入力信号になる。

ハイパスフィルタＨ１を通過した信号は、ダウンサンプリングされて出力される（１／８（ＬＬＨ））。この出力信号は、原画像の８分の１のサイズにダウンサンプリングされた高周波成分である。一方、ローパスフィルタＨ０を通過した信号は、ダウンサンプリングされて出力される（１／８（ＬＬＬ））。このようにして原画像の画像信号は、レベル毎にフィルタリング及びダウンサンプリングが施されて、低周波成分と高周波成分とに分解される。但し、ここで説明したのは１次元の場合である。

そこで、図５を参照しながら、２次元の場合について述べる。図５は、２次元のウェーブレット変換の流れを模式的に示したものである。既に述べた通り、２次元のウェーブレット変換は、１次元のウェーブレット変換を原画像の水平方向及び垂直方向に沿って繰り返し実行することで実現される。

図５に示すように、まず、原画像の水平方向のラインに沿って１次元ウェーブレット変換が実行される。つまり、原画像の水平方向に沿って並んだ画素値を入力信号とし、２分割フィルタバンクを適用するのである。原画像の全ラインについて１レベルの１次元ウェーブレット変換が施され、低周波成分（Ｌ）と高周波成分（Ｈ）とに分離される（Ｓｔｅｐ．１）。次いで、Ｓｔｅｐ．１で算出された係数について、垂直方向のラインに沿って１レベルの１次元ウェーブレット変換が施される（Ｓｔｅｐ．２）。

このとき、Ｓｔｅｐ．１で得られた低周波成分（Ｌ）の更なる低周波成分（ＬＬ）及び高周波成分（ＬＨ）が算出される。さらに、Ｓｔｅｐ．１で得られた高周波成分（Ｈ）の更なる低周波成分（ＨＬ）及び高周波成分（ＨＨ）が算出される。これらの処理により、レベル１の２次元ウェーブレット変換が実現される（ステージ１）。尚、ステージ１で算出された各係数は、レベル１で算出されたことを示すために、ＬＬ、ＬＨ、ＨＬ、ＨＨの前に１を付して表現している。

次に、ステージ１で算出された低周波成分１ＬＬを入力信号として２次元ウェーブレット変換が実行される。ステージ１の場合と同様に、入力信号の水平方向のラインに沿って１次元ウェーブレット変換が実行され（Ｓｔｅｐ．３）、その結果得られる係数に対して垂直方向のラインに沿って１次元ウェーブレット変換が実行される（Ｓｔｅｐ．４）。これらの処理により、レベル２の２次元ウェーブレット変換が実現される（ステージ２）。図５には、レベル２までの２次元ウェーブレット変換が示されているが、所定のレベルまで同様の変換処理が繰り返され、画像信号が高周波成分と低周波成分とに分離される。

以上、２次元ウェーブレット変換について概念的に説明した。ここで、再び図１を参照し、ウェーブレット変換部１４の機能構成という観点から、ウェーブレット変換処理について説明する。

上記の２次元ウェーブレット変換を実行するために、ウェーブレット変換部１４は、画像信号の各分割レベルに対応するレベル毎の独立したバッファを有している。例えば、ウェーブレット変換部１４には、レベルＫ（１≦Ｋ≦Ｎ；Ｎは最大分割レベル）に対するバッファとしてレベルＫバッファが設けられている。

これらのバッファには、画像信号又は係数が蓄積される。そして、所定のライン数まで画像信号又は係数が蓄積された時点で、ウェーブレット変換部１４により、水平分析フィルタリングが施される。この水平分析フィルタリングは、水平方向ラインに対する上記の１次元ウェーブレット変換処理に対応する。水平分析フィルタリングの結果得られた係数（周波数成分）は、ウェーブレット変換部１４により、レベル毎に設けられたバッファに記録される。さらに、この係数が所定のライン数までバッファに蓄積された時点で、ウェーブレット変換部１４により、その係数に対して垂直分析フィルタリングが施される。この垂直分析フィルタリングは、垂直方向ラインに対する上記の１次元ウェーブレット変換処理に対応する。これらの一連の処理は、所定の分割レベルになるまで繰り返される。

例えば、レベル２の分析フィルタリングの場合、ウェーブレット変換部１４により、レベル１の分析フィルタリングによって算出された１ＬＬ（最低周波数成分）の画像信号がレベル２バッファに蓄積され、上記の水平分析フィルタリング、及び垂直分析フィルタリングが施される。この分析フィルタリングの結果、２ＬＬ、２ＬＨ、２ＨＬ、２ＨＨの画像信号が得られる。分割レベル３の分析フィルタリングの場合、これらの画像信号のうち、最低周波数成分である２ＬＬに対して分析フィルタリングが施される。こうした一連の処理が所定のレベルに達するまで繰り返し実行されるのである。こうした繰り返し処理の結果得られた係数は、後述する量子化部１６に入力される。

尚、上記の説明においては、画像信号が入力された場合の処理を想定していた。しかしながら、上記のウェーブレット変換処理は、画像信号列で構成されるビデオ信号が入力される場合にも拡張することができる。この場合、ウェーブレット変換部１４は、入力されるビデオ信号の垂直同期信号に基づいてピクチャの終端を検出し、検出されたピクチャの終端で分析フィルタリングの動作を停止する。この停止処理により、ピクチャ毎にウェーブレット変換を施すことが可能になる。従って、ウェーブレット変換部１４は、ビデオ信号の入力に対しても、上記の分析フィルタリングによるウェーブレット変換処理を実現することが可能になるのである。

（ウェーブレット変換後の係数分布について）
ここで、図６、及び図７を参照しながら、ウェーブレット変換後の係数分布について簡単に説明する。図６は、ウェーブレット変換して得られた係数の低周波成分に関する係数分布を示す説明図である。図７は、ウェーブレット変換して得られた係数の高周波成分に関する係数分布を示す説明図である。但し、ここに示した係数分布は、説明のために模式的に示したものであり、特定の画像に対する正確な係数分布を示すものではない。

ウェーブレット変換後の係数分布は、低周波成分（図６）において原画像に近似し、高周波成分（図７）において０を中心とするラプラス分布になる。原画像の画像信号に含まれる直流成分は、分析フィルタリングの過程において、低域通過フィルタを通過し、高域通過フィルタにより除去される。ドベシィ（Daubechies）の９／７、５／３フィルタに代表されるように、ウェーブレット変換に用いられる低域通過フィルタは、直流利得が１であり、高域通過フィルタにおける直流利得が０である。従って、高周波成分に対応するウェーブレット係数には直流成分が含まれず、スケーリング係数に対応する最低周波数成分に直流成分が含まれる。

ここで図６を参照する。図６に示す係数分布は、輝度値０を中心として広がった分布を示している。これは、ＤＣレベルシフト部１２により、予め画像信号がレベルシフトされていたためである。次に、図７を参照する。図７に示す係数分布も、輝度値０を中心として広がった分布を示している。しかしながら、この係数分布は、図６の係数分布とは異なり、ＤＣレベルシフト部１２によるレベルシフトに起因して輝度値０を中心とする分布を成すのではない。上記の考察からも明らかな通り、図７に示す係数分布は、ＤＣレベルシフトに寄らず、輝度値０を中心とするラプラス分布になるのである。後述する本発明の実施形態は、この特性を利用してＤＣレベルシフトによる演算負荷を低減させる技術を提供するものである。

（量子化部１６）
再び図１を参照する。量子化部１６は、ウェーブレット変換部１４から入力された係数を量子化する。例えば、量子化部１６は、所定の量子化ステップサイズで係数を除算することにより量子化係数を生成する。尚、画像信号のエネルギーは、低周波成分に集中していることが多い。また、人間の視覚上、低周波成分の劣化が目立ちやすいという特性がある。これらの特性を考慮し、量子化部１６は、低周波成分のサブバンドにおける量子化ステップサイズが小さくなるように重み付けしてもよい。この重み付けにより、低域成分に比較的多くの情報量が割り当てられるため、画質が向上する。さて、量子化部１６により生成された量子化係数は、後述するエントロピー符号化部１８に入力される。

（エントロピー符号化部１８）
エントロピー符号化部１８は、量子化部１６で生成された量子化係数を符号化して符号化コードストリームを生成する。エントロピー符号化部１８は、符号化方式として、例えば、ハフマン符号化方式や算術符号化方式等を利用する。上記の通り、エントロピー符号化部１８に入力される量子化係数は、ウェーブレット変換部１４によりライン単位でウェーブレット変換が施され、量子化部１６により量子化されたデータである。そこで、エントロピー符号化部１８は、ウェーブレット変換で分割された帯域毎に独立してＭライン単位（Ｍ≧１）で量子化係数を符号化する。

ライン数Ｍが少ない場合、エントロピー符号化部１８が参照すべき情報が少なくて済むため、エントロピー符号化に用いるメモリ容量が低減される。一方、ライン数Ｍが多い場合、エントロピー符号化に用いる情報量が多くなるため、符号化効率が向上する。そのため、ライン数Ｍは、実施の態様に応じて適切な値に設定されることが望ましい。但し、ライン数Ｍは、各周波数成分に対応する画像信号のライン数よりも小さい値に設定される。エントロピー符号化部１８により符号化された符号化コードストリームはレート制御部２０に入力される。

（レート制御部２０）
レート制御部２０は、最終的に目標のビットレート又は圧縮率に適合させるために量子化部１６を制御する。例えば、レート制御部２０は、ビットレートを上げる場合に量子化ステップサイズが小さくなるように量子化部１６を制御し、ビットレートを下げる場合に量子化ステップサイズが大きくなるように量子化部１６を制御する。また、レート制御部２０は、レート制御後の符号化コードストリームを外部に出力する。

以上、画像処理装置１０の符号化処理部分について簡単に説明した。上記の通り、画像処理装置１０は、ウェーブレット変換処理、及びエントロピー符号化処理を利用して画像信号を効率的に符号化する機能を有している。また、画像処理装置１０は、ウェーブレット変換処理の前段で画像信号にＤＣレベルシフトを施すことにより、ウェーブレット変換処理、及びエントロピー符号化処理の効率を向上させている。

しかしながら、画像処理装置１０の機能構成によると、画像信号の全画素に対してＤＣレベルシフトが施されるため、ＤＣレベルシフトの処理に掛かる演算負荷が少なくないという問題がある。後述する本発明の実施形態は、この問題に対して解決手段を提供するものである。また、上記の説明において、ウェーブレット変換による係数分布の特性について説明した。特に、ウェーブレット変換により算出される係数のうち、高周波成分には直流成分が含まれないという特性を指摘している。後述する本発明の実施形態は、この特性を生かしてＤＣレベルシフトに掛かる演算負荷を低減させる方法を提案するものである。

（符号化処理の流れについて）
ここで、図８を参照しながら、上記の画像処理装置１０による処理の流れについて簡単に説明する。図８は、画像処理装置１０による一連の処理の流れを示す説明図である。

図８に示すように、まず、画像信号がＤＣレベルシフト部１２に入力される。ＤＣレベルシフト部１２は、画像信号に含まれる全画素に対してＤＣレベルシフトを実行し、出力信号をウェーブレット変換部１４に入力する（Ｓ１２）。次いで、ウェーブレット変換部１４は、ＤＣレベルシフトされた画像信号に対してウェーブレット変換処理を実行し、算出した係数を量子化部１６に入力する（Ｓ１４）。

次いで、量子化部１６は、レート制御部２０により制御されつつ、入力された係数を量子化してエントロピー符号化部１８に入力する（Ｓ１６）。このとき、量子化部１６は、レート制御部２０により指定された量子化ステップサイズで係数を除算することにより量子化係数を算出する。

次いで、エントロピー符号化部１８は、量子化係数をエントロピー符号化して符号化コードストリームを生成する（Ｓ１８）。生成された符号化コードストリームは、レート制御部２０に入力される。次いで、レート制御部２０は、最終的に目標のビットレート又は圧縮率に適合するようにレート制御し、レート制御後の符号化コードストリームを外部に出力する。

上記の通り、画像処理装置１０による符号化処理の中で、ＤＣレベルシフト処理は、ウェーブレット変換処理の前段で画像信号の全画素に対して実行される。そのため、ＤＣレベルシフト処理による演算負荷が大きくなってしまうという問題がある。そこで、後述する本発明の実施形態において、この問題に対する解決手段を提供する。

（画像処理装置３０の機能構成：復号処理部分）
次に、図９を参照しながら、画像処理装置３０の機能構成について説明する。図９は、画像処理装置３０の機能構成の一例を示す説明図である。この画像処理装置３０は、符号化された画像信号を復号する機能を有する。この機能は、例えば、図１７に示す情報処理装置のハードウェア構成例の中で、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８等に記録されたプログラムにより実現されうる。具体的には、同プログラムがＣＰＵ９０２により実行されることで、種々の機能が実現される。

図９に示すように、画像処理装置３０は、主に、エントロピー復号部３２と、逆量子化部３４と、ウェーブレット逆変換部３６と、ＤＣレベル逆シフト部３８とにより構成される。

（エントロピー復号部３２）
エントロピー復号部３２は、入力された符号化コードストリームをエントロピー復号して量子化係数を算出する。エントロピー復号の方式としては、上記の画像処理装置１０が有するエントロピー符号化部１８の符号化方式に対応してハフマン復号方式や算術復号方式等が利用される。エントロピー復号部３２により算出された量子化係数は、逆量子化部３４に入力される。

（逆量子化部３４）
逆量子化部３４は、入力された量子化係数を逆量子化して元の係数を算出する。より具体的に述べると、逆量子化部３４は、量子化係数に量子化ステップサイズを乗算することにより逆量子化して係数を算出する。この量子化ステップサイズは、例えば、符号化コードストリームのヘッダ部分等に記述されている。逆量子化部３４により算出された係数は、ウェーブレット逆変換部３６に入力される。

（ウェーブレット逆変換部３６）
ウェーブレット逆変換部３６は、入力された係数に基づいて元の画像信号（但し、ＤＣレベルシフト後の信号）を復元する。このとき、ウェーブレット逆変換部３６は、上記の画像処理装置１０が有するウェーブレット変換部１４と逆の工程を経て元の画像信号を生成する。例えば、ウェーブレット逆変換部３６は、分割レベル毎に高周波成分と低周波成分とをアップサンプリングし、それぞれハイパス合成フィルタ、及びローパス合成フィルタを通過させてから加算する。この一連の処理を繰り返すことにより、元の画像信号が復元される。ウェーブレット逆変換部３６により復元された元の画像信号は、ＤＣレベル逆シフト部３８に入力される。

より詳細に述べると次の通りである。ウェーブレット逆変換部３６は、最低域のレベル以外の各レベルに対応する独立したバッファを有しており、各係数に対して垂直合成フィルタリングと水平合成フィルタリングを実行する。そして、ウェーブレット逆変換部３６は、水平分析フィルタリングの結果得られた係数を各レベルに対応したバッファに記憶する。ウェーブレット逆変換部３６は、各レベルに対応したバッファに記憶された係数が所定数溜まった時点で直ちに垂直合成フィルタリングと水平合成フィルタリングを実行する。この処理がレベル１まで繰り返して実行されることで元の画像信号が生成され、ＤＣ逆レベルシフト部３８に入力される。

（ＤＣレベル逆シフト部３８）
ＤＣレベル逆シフト部３８は、入力された画像信号の全画素に対してレベルシフトを施す。つまり、ＤＣレベル逆シフト部３８は、上記の画像処理装置１０が有するＤＣレベルシフト部１２によりレベルシフトされた画像信号を元のレベルに戻す。従って、ＤＣレベル逆シフト部３８によりレベルシフトされるシフト量は、ＤＣレベルシフト部１２によるシフト量と同じであり、そのシフト方向（符号）が逆になる。ＤＣレベル逆シフト部３８によりレベルシフトされた画像信号は、外部に出力される。

以上、画像処理装置３０の機能構成について簡単に説明した。上記の通り、画像処理装置３０は、既に説明した画像処理装置１０による符号化処理と逆の工程を経て符号化コードストリームから元の画像信号を復元する機能を有する。

（復号処理の流れについて）
次に、図１０を参照しながら、上記の画像処理装置３０による処理の流れについて簡単に説明する。図１０は、画像処理装置３０による一連の処理の流れを示す説明図である。

図１０に示すように、まず、エントロピー復号部３２に符号化コードストリームが入力される。そして、エントロピー復号部３２により、エントロピー復号処理が実行され（Ｓ３２）、符号化コードストリームから算出された量子化係数が逆量子化部３４に入力される。次いで、逆量子化部３４により、入力された量子化係数に逆量子化処理が施され（Ｓ３４）、算出された係数がウェーブレット逆変換部３６に入力される。次いで、ウェーブレット逆変換部３６により、入力された係数に基づいてウェーブレット逆変換処理が実行され（Ｓ３６）、元の画像信号が出力される。この出力信号は、ＤＣレベル逆シフト部３８に入力される。次いで、ＤＣレベル逆シフト部３８により、ウェーブレット逆変換部３６の出力信号がレベルシフトされ（Ｓ３８）、元の画像信号が復元される。

（課題の整理）
以上、本発明の実施形態に係る技術説明の前段として、画像信号の符号化／復号技術の概要について説明した。上記の通り、ウェーブレット変換処理、及びエントロピー符号化処理を利用して画像信号の符号化を実行する場合には、その前段において画像信号にＤＣレベルシフトを施すことで符号化効率を高めることができる。ところが、画像信号に含まれる全画素に対してＤＣレベルシフトを実行する場合、その処理にかかる演算量が少なくないという問題がある。

符号化技術において、符号化効率と符号化にかかる演算量との関係は、通常、トレードオフの関係にあることが多い。例えば、高い効率で符号化する符号化方式を採用すると、非常に演算量が大きいため、高性能な演算処理装置が必要になったり、符号化又は復号に非常に長い時間がかかってしまう。そのため、演算量を増加させずに少しでも符号化効率を高める技術が求められるのである。

ＤＣレベルシフトは、エントロピー符号化処理に比べると演算負荷の小さい処理である。そのため、少ない演算量で後段の符号化処理を効率化できる点で非常に優れている。しかしながら、ＤＣレベルシフト自体による演算量が０でないことは自明であり、その効果を維持しながら演算量を低減させることができれば、符号化処理における演算量の削減に寄与することができる。また、近年、画像信号の高解像度化が進んでいることを考え合わせると、画素数の増大に比例して演算量が増大するＤＣレベルシフトの特性を改善したいという要求も当然にある。

こうした課題に対し、以下で説明する実施形態は、解決手段を与えるものである。上記の説明の中で示唆を与えたが、当該実施形態は、ウェーブレット変換の特性を利用して、この解決手段を提供するものである。

＜実施形態＞
以下、本発明の一実施形態について詳細に説明する。本実施形態は、画像信号のウェーブレット変換を効率化するために利用されるＤＣレベルシフトの演算量を低減させる技術に関する。特に、ウェーブレット変換の後段において、画像信号の低周波成分に対応する係数にのみＤＣレベルシフトを施すことで、ＤＣレベルシフトにかかる演算量を大幅に削減するものである。

［画像処理装置１００の機能構成］
まず、図１１を参照しながら、本実施形態に係る画像処理装置１００の機能構成について説明する。図１１は、本実施形態に係る画像処理装置１００の機能構成の一例を示す説明図である。尚、以下の説明において、上記の画像処理装置１０と実質的に同一の機能構成については詳細な説明を省略することがある。

図１１に示すように、画像処理装置１００は、主に、ウェーブレット変換部１０２と、低周波成分ＤＣレベルシフト部１０４と、符号化処理部１０６とにより構成される。尚、低周波成分ＤＣレベルシフト部１０４は、レベルシフト部の一例である。また、符号化処理部１０６は、符号化部の一例である。

（ウェーブレット変換部１０２）
ウェーブレット変換部１０２は、入力された画像信号に対してウェーブレット変換を施す。このウェーブレット変換部１０２の機能は、上記の画像処理装置１０が有するウェーブレット変換部１４と同じである。但し、入力される画像信号は、ＤＣレベルシフトされてないものである点に注意されたい。ウェーブレット変換部１０２により算出された係数は、低周波成分ＤＣレベルシフト部１０４に入力される。但し、低周波成分ＤＣレベルシフト部１０４では低周波成分に対応する係数のみが利用されるため、高周波成分に対応する係数は、後述する符号化処理部１０６に直接入力されるように構成されていてもよい。

尚、ウェーブレット変換部１０２によるウェーブレット変換には、例えば、ドベシィ（
Daubechies）のウェーブレットやハール（Ｈａａｒ）のウェーブレット等が用いられる。より具体的には、例えば、ドベシィの直交フィルタである実数型９／７フィルタや整数型５／３フィルタが用いられる。これらのフィルタによる直流成分の利得は、低域通過フィルタにおいて１であり、広域通過フィルタにおいて０である。もちろん、本実施形態に係るウェーブレット変換には、低域通過フィルタの利得がｇ（≠１）のフィルタを用いることもできる。この場合、後述する低周波成分ＤＣレベルシフト部１０４のシフト量が利得ｇに依存した値になる。

（低周波成分ＤＣレベルシフト部１０４）
低周波成分ＤＣレベルシフト部１０４は、ウェーブレット変換部１０２により算出された係数のうち、画像信号の最低周波成分に対応する係数に対してＤＣレベルシフトを施す。このとき、低周波成分ＤＣレベルシフト部１０４は、高周波成分に対応する係数に対してＤＣレベルシフトを施さない。このように、ＤＣレベルシフトが施される範囲が制限されることで、画像信号の全画素に対してＤＣレベルシフトを施す場合に比べて大きく演算量を低減させることができる。低周波成分ＤＣレベルシフト部１０４によりレベルシフトされた係数は、符号化処理部１０６に入力される。

尚、低周波成分ＤＣレベルシフト部１０４によるシフト量は、最低周波成分に対応する係数の分布中心が０になるように設定される。つまり、最低周波成分に対応する係数のダイナミックレンジが低減するようにレベルシフトされる。例えば、ウェーブレット変換に用いる低域通過フィルタの利得がＧ（Ｇ≧１）、分割レベルがＮ（Ｎは自然数）、画像信号の階調数がＬの場合、低周波成分ＤＣレベルシフト部１０４は、係数からシフト量Ｇ^{（２＊Ｎ）}＊Ｌ／２を減算することでレベルシフトする。ドベシィの直交フィルタのようにＧ＝１の場合、シフト量はＬ／２になる。尚、低周波成分ＤＣレベルシフト部１０４は、低周波成分に対応する全係数の平均値をシフト量に設定することもできる。この方法によっても、係数分布の中心を０に近づけることが可能になり、後段の符号化処理における効率を高めることができる。以下、Ｇ＝１、Ｌ＝２５６の場合を考える。但し、この場合、後段の符号化処理において、出力される符号語に平均値の情報を付加する必要がある。なお、ここで付加される平均値の情報は、符号量全体のデータ量と比較して非常に小さいものである。

（ウェーブレット変換後の係数分布について）
ここで、図１２、及び図１３を参照しながら、ウェーブレット変換後の係数分布について簡単に説明する。図１２は、ウェーブレット変換して得られた係数の低周波成分に関する係数分布を示す説明図である。図１３は、ウェーブレット変換して得られた係数の高周波成分に関する係数分布を示す説明図である。但し、ここに示した係数分布は、説明のために模式的に示したものであり、正確な係数分布を示すものではない。

既に述べた通り、ウェーブレット変換後の係数分布は、低周波成分（図１２）において原画像の分布に近似し、高周波成分（図１３）において０を中心とするラプラス分布になる。原画像の画像信号に含まれる直流成分は、分析フィルタリングの過程において、低域通過フィルタを通過し、高域通過フィルタにより除去される。つまり、低域通過フィルタにおける直流成分の利得が１であり、高域通過フィルタにおける直流成分の利得が０なのである。従って、高周波成分に対応するウェーブレット係数には直流成分が含まれず、スケーリング係数に対応する最低周波数成分に直流成分が含まれる。

ここで図１２を参照する。図１２に示す係数分布は、輝度値１２８を中心に広がった分布を示している。そこで、低周波成分ＤＣレベルシフト部１０４は、分布中心を０に近づけるため、一様に１２８を減算して係数をレベルシフトする。次に、図１３を参照する。図１３に示す係数分布は、ＤＣレベルシフトをしていないにも関わらず、輝度値０を分布中心として広がったラプラス分布を示している。従って、高周波成分にはＤＣレベルシフトを施す必要がないのである。

繰り返しになるが、ウェーブレット変換により画像信号が低周波成分と高周波成分とに分解される際、高周波成分には直流成分が含まれない。ウェーブレット変換は、入力信号をスケーリング関数と複数のウェーブレット成分とに分解する処理である。周知の通り、最低周波数成分の係数に対応するスケーリング関数と、高周波成分に対応する複数のウェーブレット成分との一次結合により入力信号が表現される。そのため、直流成分を含まないウェーブレット成分の一次結合は、当然に直流成分を含まない。従って、入力信号に直流成分が含まれる場合、最低周波数成分の係数に対応するスケーリング関数に直流成分が含まれることになる。ここで述べた事実から、入力信号にＤＣレベルシフトを施したとしても、そのレベルシフトの影響は、高周波成分には発生しないということが分かる。

上記の議論を踏まえると、低周波成分ＤＣレベルシフト部１０４により最低周波数成分の係数のみがＤＣレベルシフトされた結果が、画像信号の全画素にレベルシフトした結果と一致することが理解されるであろう。つまり、画像処理装置１００による出力結果と、上記の画像処理装置１０による出力結果とは、後段の符号化処理が同じであれば一致することを意味している。従って、後段の符号化処理における符号化効率は全く低下しない。しかも、本実施形態に係るＤＣレベルシフト処理は、ウェーブレット変換の分割段数がｎの場合、全画素にＤＣレベルシフトを施す場合に比べて１／４^ｎにまで削減することができるのである。

（符号化処理部１０６）
再び図１１を参照する。符号化処理部１０６は、低周波成分ＤＣレベルシフト部１０４、及びウェーブレット変換部１０２から入力された係数を符号化する。符号化処理部１０６は、上記の画像処理装置１０が有する符号化ブロックに相当する。つまり、符号化処理部１０６は、上記の画像処理装置１０を構成する量子化部１６、エントロピー符号化部１８、及びレート制御部２０の機能を有する。符号化処理部１０６により符号化された係数は、符号化コードストリームとして外部に出力される。

以上、本実施形態に係る画像処理装置１００の機能構成について説明した。上記の通り、画像処理装置１００は、ウェーブレット変換後に得られる最低周波数成分の係数に対してのみＤＣレベルシフトを施す。このような構成によると、ＤＣレベルシフト処理にかかる演算量を低減させることができる。また、画像処理装置１００による符号化効率は、画像信号の全画素に対してＤＣレベルシフトした場合と全く同じになる。結果として、上記の画像処理装置１００の構成を適用することにより、符号化効率を低減させずに演算量を削減することが可能になるのである。

［符号化方法］
ここで、図１４を参照しながら、本実施形態に係る符号化処理方法について説明する。図１４は、本実施形態に係る符号化処理方法の流れを示す説明図である。

図１４に示すように、まず、ウェーブレット変換部１０２により、画像信号に対してウェーブレット変換処理が施される（Ｓ１０２）。ウェーブレット変換された画像信号のウェーブレット係数のうち、最低周波数成分が低周波成分ＤＣレベルシフト部１０４に入力され、その他の高周波成分が符号化処理部１０６に入力される。次いで、低周波成分ＤＣレベルシフト部１０４により、最低周波数成分の係数に対してＤＣレベルシフトが施される（Ｓ１０４）。ＤＣレベルシフトされた係数は、符号化処理部１０６に入力される。次いで、符号化処理部１０６により、ウェーブレット変換部１０２、及び低周波成分ＤＣレベルシフト部１０４から出力された係数が符号化される（Ｓ１０６）。

以上、本実施形態に係る符号化処理方法について説明した。上記の通り、この符号化処理方法は、ＤＣレベルシフトをウェーブレット変換の後段において実施すると共に、最低周波数成分のみをレベルシフトするように構成されている。その結果、ＤＣレベルシフトにかかる演算負荷が低減される。また、ウェーブレット変換の前段で全画素をＤＣレベルシフトする場合と比較しても、後段の符号化効率が変化しない。上記の画像処理装置１００による符号化処理方法は、復号処理に対しても応用できる。そこで、この技術を復号処理に適用した画像処理装置の機能構成、及び処理の流れについて以下で説明する。

［画像処理装置３００の機能構成］
次に、図１５を参照しながら、本実施形態に係る画像処理装置３００の機能構成について説明する。図１５は、本実施形態に係る画像処理装置３００の機能構成の一例を示す説明図である。この画像処理装置３００は、符号化された画像信号を復号する機能を有する。この機能は、例えば、図１７に示す情報処理装置のハードウェア構成例の中で、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８等に記録されたプログラムにより実現されうる。具体的には、同プログラムがＣＰＵ９０２により実行されることで、種々の機能が実現される。

図１５に示すように、画像処理装置３００は、主に、エントロピー復号部３０２と、逆量子化部３０４と、低周波成分ＤＣレベル逆シフト部３０６と、ウェーブレット逆変換部３０８とにより構成される。

（エントロピー復号部３０２）
エントロピー復号部３０２は、入力された符号化コードストリームをエントロピー復号して量子化係数を算出する。エントロピー復号の方式としては、例えば、ハフマン復号方式や算術復号方式等が利用される。エントロピー復号部３０２により算出された量子化係数は、逆量子化部３０４に入力される。

（逆量子化部３０４）
逆量子化部３０４は、入力された量子化係数を逆量子化して元の係数を算出する。より具体的に述べると、逆量子化部３０４は、量子化係数に量子化ステップサイズを乗算することにより逆量子化して係数を算出する。この量子化ステップサイズは、例えば、符号化コードストリームのヘッダ部分等に記述されている。逆量子化部３０４により算出された係数は、低周波成分ＤＣレベルシフト部３０６に入力される。

（低周波成分ＤＣレベル逆シフト部３０６）
低周波成分ＤＣレベル逆シフト部３０６は、入力された係数のうち、最低周波数成分の係数に対して逆方向にＤＣレベルシフトを施す。この逆方向とは、上記の画像処理装置１００等により施されたＤＣレベルシフトと逆方向にレベルシフトすることを意味する。

従って、低周波成分ＤＣレベル逆シフト部３０６によりレベルシフトされるシフト量は、例えば、画像処理装置１００の低周波成分ＤＣレベルシフト部１０４によるシフト量と同じである。但し、上記の画像処理装置１０が有するＤＣレベルシフト部１２から出力される信号のように、全画素に対して一様にレベルシフトが施された信号に対しても、低周波成分ＤＣレベル逆シフト部３０６は、そのレベルシフトのシフト量だけ逆方向にレベルシフトする。低周波成分ＤＣレベル逆シフト部３０６から出力された係数は、ウェーブレット逆変換部３０８に入力される。

（ウェーブレット逆変換部３０８）
ウェーブレット逆変換部３０８は、入力された係数に基づいて元の画像信号を復元する。例えば、ウェーブレット逆変換部３０８は、分割レベル毎に高周波成分と低周波成分とをアップサンプリングし、それぞれハイパス合成フィルタ、及びローパス合成フィルタを通過させてから加算する。この一連の処理を繰り返すことにより、元の画像信号が復元される。ウェーブレット逆変換部３０８により復元された元の画像信号は、外部に出力される。

以上、画像処理装置３００の機能構成について簡単に説明した。上記の通り、画像処理装置３００は、既に説明した画像処理装置１００による符号化処理と逆の工程を経て符号化コードストリームから元の画像信号を復元する機能を有する。上記の通り、この工程の中で実行されるＤＣレベル逆シフトの処理は、最低周波数成分の係数に対してのみ実行される。そのため、ＤＣレベル逆シフトの処理に掛かる演算量が低減されている。

［復号方法］
次に、図１６を参照しながら、本実施形態に係る画像処理装置３００による処理の流れについて簡単に説明する。図１６は、本実施形態に係る画像処理装置３００による一連の処理の流れを示す説明図である。

図１６に示すように、まず、エントロピー復号部３０２に符号化コードストリームが入力される。そして、エントロピー復号部３０２により、エントロピー復号処理が実行され（Ｓ３０２）、符号化コードストリームから算出された量子化係数が逆量子化部３０４に入力される。次いで、逆量子化部３０４により、入力された量子化係数に逆量子化処理が施され（Ｓ３０４）、算出された係数が低周波成分ＤＣレベル逆シフト部３０６に入力される。

次いで、低周波成分ＤＣレベル逆シフト部３０６により、最低周波数成分の係数がレベルシフトされ（Ｓ３０６）、ウェーブレット逆変換部３０８に入力される。次いで、ウェーブレット逆変換部３０８により、入力された係数に基づいてウェーブレット逆変換処理が実行され（Ｓ３０８）、元の画像信号が復元される。

以上、本実施形態に係る復号方法について説明した。上記の通り、本実施形態に係る復号処理においては、ウェーブレット逆変換処理の前段においてＤＣレベル逆シフトが実行される。その際、最低周波数成分の係数にのみＤＣレベル逆シフトが施される。そのため、全画素に対してＤＣレベル逆シフト処理を施す方法に比べ、大きく演算量を削減することが可能になる。

尚、上記の符号化処理は、後述する情報処理装置が有するハードウェア資源により実現されうる。また、この技術は、後述するデジタルトライアックスシステムや無線伝送システムにも適用できる。

［ハードウェア構成（情報処理装置）］
上記装置が有する各構成要素の機能は、例えば、図１７に示すハードウェア構成を有する情報処理装置により、上記の機能を実現するためのコンピュータプログラムを用いて実現することが可能である。図１７は、上記装置の各構成要素が有する機能を実現することが可能な情報処理装置のハードウェア構成を示す説明図である。この情報処理装置の形態は任意であり、例えば、パーソナルコンピュータ、携帯電話、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の携帯情報端末、ゲーム機、又は各種の情報家電等の形態がこれに含まれる。

図１７に示すように、前記の情報処理装置は、主に、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０４と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０６と、ホストバス９０８と、ブリッジ９１０と、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６とにより構成される。

ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、例えば、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータ等を格納する。ＲＡＭ９０６は、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等を一時的又は永続的に格納する。これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス９０８によって相互に接続されている。また、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続されている。

入力部９１６は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等の操作手段である。また、入力部９１６は、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントロール手段（所謂、リモコン）であってもよい。なお、入力部９１６は、上記の操作手段を用いて入力された情報を入力信号としてＣＰＵ９０２に伝送するための入力制御回路等により構成されている。

出力部９１８は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ ＤｉｓｐｌａｙＰａｎｅｌ）、又はＥＬＤ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。

記憶部９２０は、各種のデータを格納するための装置であり、例えば、ハードディスクドライブ（ＨＤＤ；Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等により構成される。

ドライブ９２２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、ＨＤ−ＤＶＤメディア、コンパクトフラッシュ（登録商標）（ＣＦ；ＣｏｍｐａｃｔＦｌａｓｈ）、メモリースティック、又はＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等である。もちろん、リムーバブル記録媒体９２８は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ Ｃａｒｄ）等であってもよい。

接続ポート９２４は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９３０を接続するためのポートである。外部接続機器９３０は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。

通信部９２６は、ネットワーク９３２に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。また、通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、可視光通信、放送、又は衛星通信等である。

［ハードウェア構成例（デジタルトライアックスシステム）］
上記装置が有する各機能構成は、例えば、図１８に示すデジタルトライアックスシステムに含まれるハードウェア構成により実現することも可能である。図１８は、デジタルトライアックスシステムのハードウェア構成の一例を示す説明図である。以下の説明の中では、デジタルトライアックスシステムのことを単にトライアックスシステムと呼ぶ。

（概要）
トライアックスシステムは、テレビジョン放送局や制作スタジオにおいて、スタジオ収録や中継などの際に利用されるシステムである。また、トライアックスシステムは、ビデオカメラと、カメラコントロールユニットやスイッチャとを接続する１本の同軸ケーブルにより、映像信号、音声信号、同期信号等の信号を重畳させて送信することができる。近年、放送局内で用いるトライアックスシステムのデジタル化が進んでいる。そのため、トライアックスシステム内で伝送されるデジタル信号にも符号化技術が適用されうる。

古いトライアックスシステムの場合、トライアックスケーブルを介して伝送されるデジタルビデオ信号は圧縮されていない。その理由は、信号の遅延時間に対する放送局の要求スペックが厳しいためである。この要求スペックは、例えば、撮像からモニタ出力までの遅延時間が１フィールド（１６．６７ｍｓｅｃ）以内といったレベルになる。こうしたトライアックスシステムにデジタル信号の符号化方式を適用させるためにも、少しでも符号化処理にかかる演算量を低減させ、処理時間を短くすることが求められているのである。

（構成）
図１８に示すように、トライアックスシステムは、主に、ビデオカメラ部７０２と、モニタ７０４と、音声入出力部７０６と、送信ユニット７０８と、カメラ制御ユニット７１０と、トライアックスケーブル７１２とにより構成される。

送信ユニット７０８とカメラ制御ユニット７１０とは、トライアックスケーブル７１２（同軸ケーブル）を介して接続される。例えば、実際に放映されたり、素材として用いられるデジタルビデオ信号やデジタルオーディオ信号等の信号（本線信号）がトライアックスケーブル７１２を介して送出される。また、インカム用のオーディオ信号やリターン用のデジタルビデオ信号等がトライアックスケーブル７１２を介して送出される。

ビデオカメラ部７０２は、レンズ、フォーカス機構、ズーム機構、アイリス調整機構等により構成される光学系を有する。また、ビデオカメラ部７０２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子を備えており、光学系を介して入射された被写体からの光を撮像素子で受光する。この撮像素子は、受光した光を光電変換により電気信号に変換する。

また、ビデオカメラ部７０２は、光電変換により得られた電気信号に対して所定の信号処理を施してベースバンドのデジタルビデオ信号を出力する。このデジタルビデオ信号は、例えば、ＨＤ−ＳＤＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ−Ｓｅｒｉａｌ Ｄａｔａ Ｉｎｔｅｒｆａｃｅ）のフォーマットにマッピングされる。また、ビデオカメラ部７０２には、モニタ７０４と、音声入出力部７０６（インカム）が接続される。

（送信ユニット７０８）
送信ユニット７０８は、ビデオ信号符号化部７３２と、ビデオ信号復号部７４４と、デジタル変調部７３４と、デジタル復調部７４２と、アンプ７３６、７４０と、ビデオ分離／合成部７３８とを含む。

送信ユニット７０８には、例えば、ＨＤ−ＳＤＩのフォーマットにマッピングされたベースバンドのデジタルビデオ信号がビデオカメラ部７０２から供給される。このデジタルビデオ信号は、ビデオ信号符号化部７３２により圧縮符号化されて、符号化コードストリームとしてデジタル変調部７３４に入力される。デジタル変調部７３４は、入力された符号化ストリームをトライアックスケーブル７１２による伝送に適した形式に変調する。

デジタル変調部７３４により出力された変調信号は、アンプ７３６を介して増幅され、ビデオ分離／合成部７３８に入力される。ビデオ分離／合成部７３８は、トライアックスケーブル７１２を介して入力された変調信号をカメラ制御ユニット７１０に伝送する。

一方、カメラ制御ユニット７１０から出力された信号は、トライアックスケーブル７１２を介して送信ユニット７０８に伝送される。この信号は、ビデオ分離／合成部７３８に入力され、デジタルビデオ信号とその他の信号とに分離される。但し、カメラ制御ユニット７１０にて変調された変調信号の状態である。このデジタルビデオ信号は、アンプ７４０を介してデジタル復調部７４２に入力される。さらに、このデジタルビデオ信号は、デジタル復調部７４２により復調され、符号化コードストリームに復元される。

この符号化コードストリームは、ビデオ信号復号部７４４に入力される。ビデオ信号復号部７４４では、符号化コードストリームが圧縮符号化された状態から伸長されて元の信号に復号される。この復号されたデジタルビデオ信号は、ＨＤ−ＳＤＩのフォーマットにマッピングされて出力され、リターン用のデジタルビデオ信号としてビデオカメラ部７０２に入力される。このリターン用のデジタルビデオ信号は、ビデオカメラ部７０２に接続されるモニタ７０４に出力される。

（カメラ制御ユニット７１０）
さて、カメラ制御ユニット７１０は、ビデオ分離／合成部７５２と、アンプ７５４、７６８と、フロントエンド（ゲイン制御部７６６、フィルタ７５６）と、デジタル復調部７５８と、デジタル変調部７６４と、ビデオ信号復号部７６０と、ビデオ信号符号化部７６２とを含む。

上記の通り、送信ユニット７０８から出力された信号は、トライアックスケーブル７１２を介してカメラ制御ユニット７１０に伝送される。この信号は、まず、ビデオ分離／合成部７５２に入力される。ビデオ分離／合成部７５２は、アンプ７５４、フロントエンドを介してデジタル復調部７５８に信号を伝送する。但し、フロントエンドにおいて、ゲイン制御部７６６により入力信号のゲインが調整され、フィルタ７５６により入力信号に対して所定のフィルタ処理が施される。

デジタル復調部７５８は、送信ユニット７０８側で変調された信号を復調し、符号化コードストリームを復元する。この符号化コードストリームは、ビデオ信号復号部７６０によりベースバンドのデジタルビデオ信号に復号される。この復号されたデジタルビデオ信号は、ＨＤ−ＳＤＩのフォーマットにマッピングされて出力され、本線信号として外部に出力される。

ところで、外部からは、カメラ制御ユニット７１０に対してリターン用のデジタルビデオ信号やデジタルオーディオ信号が入力される。リターン用のデジタルビデオ信号は、ビデオ信号符号化部７６２により圧縮符号化されてデジタル変調部７６４に入力される。デジタル変調部７６４は、入力された符号化コードストリームをトライアックスケーブル７１２による伝送方式に適した形式で変調する。

デジタル変調部７６４から出力された信号は、フロントエンド、及びアンプ７６８を介してビデオ分離／合成部７５２に入力される。ビデオ分離／合成部７５２は、この信号を他の信号と多重化してトライアックスケーブル７１２に送出する。

（対応関係）
図１８に示すトライアックスシステムの中で、ビデオ信号符号化部７３２、７６２は、上記の画像処理装置１００に対応する。また、ビデオ信号復号部７４４、７６０は、上記の画像処理装置３００に対応する。例えば、送信ユニット７０８の中で、ビデオ信号符号化部７３２は、デジタルビデオ信号に対してウェーブレット変換、及びエントロピー符号化等の処理を施して符号化コードストリームを出力する。同様に、カメラ制御ユニット７１０の中で、ビデオ信号符号化部７６２は、外部から入力されたリターン用のデジタルビデオ信号に対し、ウェーブレット変換やエントロピー符号化を施して符号化コードストリームを出力する。そして、これらの符号化コードストリームは、トライアックスケーブル７１２を介して伝送される。

［ハードウェア構成例（無線伝送システム）］
上記装置が有する各機能構成は、例えば、図１９に示す無線伝送システムに含まれるハードウェア構成により実現することも可能である。図１９は、無線伝送システムのハードウェア構成の一例を示す説明図である。

図１９に示すように、無線伝送システムは、主に、ビデオカメラ部８０２と、送信ユニット８０４と、受信ユニット８０６とにより構成される。尚、説明の都合上、ビデオ信号は、ビデオカメラ又は送信ユニット８０４から受信ユニット８０６に一方向的に送信されるものとする。また、オーディオ信号及びその他の信号は、送信ユニット８０４と受信ユニット８０６との間で双方向に通信できるものとする。

送信ユニット８０４は、例えば、ビデオカメラ部８０２を有するビデオカメラ装置（非図示）に内蔵されるか、或いは、ビデオカメラ部８０２を有するビデオカメラ装置に対する外部装置としてビデオカメラ装置に接続される。

ビデオカメラ部８０２は、例えば、所定の光学系と、ＣＣＤ等の撮像素子と、撮像素子の出力信号からデジタルビデオ信号を生成する信号処理部とを有する。例えば、ビデオカメラ部８０２は、ＨＤ−ＳＤＩ等の所定のフォーマットにデジタルビデオ信号をマッピングして出力する。この出力信号は、送信ユニット８０４に入力される。

（送信ユニット８０４）
送信ユニット８０４は、ビデオ信号符号化部８３２と、デジタル変調部８３４と、無線通信部８３６とを含む。このビデオ信号符号化部８３２は、上記の画像処理装置１００に対応する。つまり、ビデオカメラ部８０２から入力されたデジタルビデオ信号は、ビデオ信号符号化部８３２においてウェーブレット変換、及びエントロピー符号化が施され、符号化コードストリームとしてデジタル変調部８３４に入力される。

デジタル変調部８３４は、入力された符号化コードストリームを無線通信に適した形式の変調信号にデジタル変調して無線通信部８３６に入力する。無線通信部８３６は、アンテナ８３８を介して変調信号を受信ユニット８０６に無線伝送する。尚、無線通信部８３６は、受信ユニット８０６から受信した自動再送要求（ＡＲＱ：Ａｕｔｏ Ｒｅｐｅａｔ Ｒｅｑｕｅｓｔ）をデジタル変調部８３４に通知してデータの再送を要求する機能を有している。アンテナ８３８から送信された電波は、受信ユニット８０６に設けられたアンテナ８５２を介して無線通信部８５４により受信される。

（受信ユニット８０６）
受信ユニット８０６は、無線通信部８５４と、フロントエンド（ゲイン制御部８５６、フィルタ８５８）と、デジタル復調部８６０と、ビデオ信号復号部８６２とを含む。このビデオ信号復号部８６２は、上記の画像処理装置３００に対応する。

無線通信部８５４は、無線伝送されたデジタル変調信号をフロントエンドに入力する。フロントエンドは、ゲイン制御部８５６により、デジタル変調信号にゲイン制御を施してデジタル復調部８６０に入力する。デジタル復調部８６０は、入力されたデジタル変調信号を復調して符号化コードストリームを復元する。

デジタル復調部８６０で復元された符号化コードストリームは、ビデオ信号復号部８６２に入力される。ビデオ信号復号部８６２では、符号化コードストリームが復号され、ベースバンドのデジタルビデオ信号が生成される。このデジタルビデオ信号は、例えば、ＨＤ−ＳＤＩのフォーマットにマッピングされて出力される。尚、デジタルオーディオ信号やその他の信号についても同様である。

尚、フロントエンドは、無線通信部８５４により受信された変調信号に対し、所定の方法でエラー検出を実施する。そして、誤りが検出されると、フロントエンドによりＡＲＱが出力される。このＡＲＱは、無線通信部８５４によりアンテナ８５２から送信される。

図１９の例においては、送信ユニット８０４と受信ユニット８０６との間の通信経路を無線としているが、本実施形態の適用範囲はこれに限定されない。例えば、送信ユニット８０４と受信ユニット８０６との間の通信経路は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等で接続された有線ネットワークであってもよい。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

画像処理装置が有する符号化処理部分の機能構成を示す説明図である。 ＤＣレベルシフト前の画像信号（係数）の分布を示す説明図である。 ＤＣレベルシフト後の画像信号（係数）の分布を示す説明図である。 １次元ウェーブレット変換のフィルタバンク構成例を示す説明図である。 ２次元ウェーブレット変換処理を模式的に示した説明図である。 低周波成分に対応するウェーブレット係数分布を示す説明図である。 高周波成分に対応するウェーブレット係数分布を示す説明図である。 ウェーブレット変換を用いた符号化処理の流れを示す説明図である。 画像処理装置が有する復号処理部分の機能構成を示す説明図である。 ウェーブレット変換を用いた復号処理の流れを示す説明図である。 本発明の一実施形態に係る画像処理装置の機能構成を示す説明図である。 低周波成分に対応するウェーブレット係数分布を示す説明図である。 高周波成分に対応するウェーブレット係数分布を示す説明図である。 本実施形態に係る符号化処理の流れを示す説明図である。 本実施形態に係る画像処理装置の機能構成を示す説明図である。 本実施形態に係る復号処理の流れを示す説明図である。 本実施形態に係る情報処理装置のハードウェア構成を示す説明図である。 本実施形態に係る技術を適用可能なデジタルトライアックスシステムの構成例を示す説明図である。 本実施形態に係る技術を適用可能な無線伝送システムの構成例を示す説明図である。

符号の説明

１００ 画像処理装置
１０２ ウェーブレット変換部
１０４ 低周波成分ＤＣレベルシフト部
１０６ 符号化処理部
３００ 画像処理装置
３０２ エントロピー復号部
３０４ 逆量子化部
３０６ 低周波成分ＤＣレベル逆シフト部
３０８ ウェーブレット逆変換部

Claims (6)

1. 画像信号にウェーブレット変換を施すウェーブレット変換部と、
   前記ウェーブレット変換部から出力された最低周波数成分の係数に対し、ダイナミックレンジが低減するように当該係数に対してレベルシフトを施すレベルシフト部と、
   前記レベルシフト部から出力された係数、及び前記ウェーブレット変換部から出力された前記最低周波数成分以外の係数を符号化する符号化部と、
   を備える、画像処理装置。
2. 前記画像信号の階調数がＬ、前記ウェーブレット変換に含まれる低域通過フィルタの利得がｇ、かつ、当該ウェーブレット変換のレベルがｎ（ｎは自然数）の場合、前記レベルシフト部は、前記係数からｇ^{（２＊ｎ）}＊Ｌ／２を減算することで当該係数をレベルシフトさせる、請求項１に記載の画像処理装置。
3. 前記レベルシフト部は、前記最低周波数成分の全係数に対する平均値を前記各係数から減算することで当該各係数をレベルシフトさせ、
   前記符号化部は、出力する符号語に前記平均値を加える、請求項１に記載の画像処理装置。
4. 画像信号にウェーブレット変換が施される変換ステップと、
   前記変換ステップで得られた最低周波数成分の係数に対し、ダイナミックレンジが低減するように当該係数に対してレベルシフトが施されるレベルシフトステップと、
   前記レベルシフトステップで得られた係数、及び前記変換ステップで得られた前記最低周波数成分以外の係数が符号化される符号化ステップと、
   を含む、画像処理方法。
5. ウェーブレット変換、及びレベルシフトが施された上で符号化された画像信号を復号してウェーブレット係数を出力する復号部と、
   前記復号部から出力されたウェーブレット係数のうち、最低周波数成分のウェーブレット係数に対して前記レベルシフトとは逆方向にレベルシフトを施す逆レベルシフト部と、
   前記最低周波数成分以外のウェーブレット係数、及び前記レベルシフト部により逆方向にレベルシフトされたウェーブレット係数に対して逆ウェーブレット変換を施す逆ウェーブレット変換部と、
   を備える、画像処理装置。
6. ウェーブレット変換、及びレベルシフトが施された上で符号化された画像信号が復号されてウェーブレット係数が出力される復号ステップと、
   前記復号ステップで出力されたウェーブレット係数のうち、最低周波数成分のウェーブレット係数に対して前記レベルシフトとは逆方向にレベルシフトが施される逆レベルシフトステップと、
   前記最低周波数成分以外のウェーブレット係数、及び前記レベルシフトステップで逆方向にレベルシフトされたウェーブレット係数に対して逆ウェーブレット変換が施される逆ウェーブレット変換ステップと、
   を含む、画像処理方法。

Images