JP6497981B2 - 画像符号化装置及びその制御方法 - Google Patents

Description

本発明は、画像データを符号化する画像符号化技術に関するものである。

画像データの符号化方式の一つとしてＪＰＥＧ−ＬＳがある。ＪＰＥＧ−ＬＳは、ロスレス符号化とニアロスレス符号化を選択でき、符号化対象画素の周囲画素の状態に基づいて予測符号化とランレングス符号化を切り替えることで高い圧縮率を実現している。予測符号化は、符号化対象画素の画素値を周囲画素から予測し、予測誤差を符号化する。ＪＰＥＧ−ＬＳにおけるランレングス符号化は、同一画素値のラン長（連続数）を符号化する。予測符号化とランレングス符号化を用いる他の方法として、複数の予測方法の識別情報と、そのラン長（連続値）と、予測誤差を選択して符号化する方法も知られている（たとえば、特許文献１）。

特許第３８８５４１３号公報

予測符号化とランレングス符号化とを比べたとき、同じデータが連続すればするほど後者の方が前者に対して圧倒的に符号化効率が高いのは明らかである。しかし、これまでの符号化技術では、ウェーブレット変換で得られたサブバンドに対して一律の同じ判定基準で、いずれの符号化を利用するかを決定しており、まだ改善の余地があった。

本発明は係る点に鑑み、ウェーブレット変換を利用しながらも、より高い符号化効率を実現する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
画像データを符号化する画像符号化装置であって、
符号化対象の画像データをウェーブレット変換して、複数のサブバンドを生成する変換手段と、
サブバンドを構成する係数をラスタスキャン順に入力し、着目係数の予測値を当該着目係数の周囲に位置する符号化済の係数から求めることで、前記着目係数を予測符号化する第１の符号化手段と、
サブバンドにおける係数をラスタスキャン順に入力し、同じ係数の連続数を表すランを求め符号化する第２の符号化手段と、
前記着目係数を前記第１の符号化手段で符号化するか、前記着目係数をランの起点として前記第２の符号化手段で符号化するかを、前記着目係数の周囲に位置し符号化済の係数から判定する複数の判定手段と、
ここで、前記複数の判定手段それぞれは、前記着目係数の周囲に位置し互いに異なる符号化済の係数の組を参照して判定する、
着目サブバンドの係数を符号化する際に、当該着目サブバンドの種類に従って前記複数の判定手段のいずれかを選択する選択手段とを備え、
前記選択手段で選択した判定手段に従って、前記着目サブバンドの係数を前記第１の符号化手段、前記第２の符号化手段を用いて符号化することを特徴とする。

本発明によれば、ウェーブレット変換を利用しながらも、より高い符号化効率を実現することが可能になる。

画像符号化装置の構成の一例を示す図。 符号化部の構成の一例を示す図。 情報処理部のハードウェア構成を示す図。 カメラの撮像部の構成の一例を示す図。 符号化部の処理を示すフローチャート。 サブバンド符号化部の処理を示すフローチャート。 第１モード判定部の処理を示すフローチャート。 第２モード判定部の処理を示すフローチャート。 ウェーブレット変換によるサブバンド分割を説明する図。 着目係数と周辺係数の位置関係を示す図。 ゴロム・ライス符号化を説明する図。 第２の実施形態の第２モード判定部の処理を示すフローチャート。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施形態の一つである。

［第１の実施形態］
第１の実施形態は、画像データをウェーブレット変換で複数のサブバンドに分割し、サブバンド分割されたウェーブレット係数を予測符号化、及び、ランレングス符号化で符号化する画像符号化装置に適用される。以下、本実施形態に示す画像符号化装置について説明する。

第１の実施形態では、画像符号化装置をカメラに適用した例を説明する。図１はそのカメラ１００のブロック構成図である。カメラ１００は、操作部１０１と、撮像部１０２と、情報処理部１０９と、記憶部１０７と、Ｉ／Ｏインターフェース１０８とを有している。情報処理部１０９は、取得部１０３、画像処理部１０４、符号化部１０５、出力部１０６を有する。

図４（ａ）はカメラ１００の正面図である。図４（ａ）に示すように、カメラ１００は撮像部１０２を備えている。図４（ｂ）は撮像部１０２の内部構成を示す図である。撮像部１０２は、ズームレンズ４０１、フォーカスレンズ４０２、４０３、開口絞り４０４、シャッター４０５を有している。また光学ローパスフィルタ４０６、ｉＲカットフィルタ４０７、カラーフィルタ４０８、撮像素子４０９およびＡ／Ｄ変換部４１０を有している。ユーザは絞り４０４を調整することにより、撮像部１０２に入射される入射光量を調節できる。撮像素子４０９は、ＣＭＯＳやＣＣＤなどの受光素子である。撮像素子４０９で被写体の光量を検知すると、検知された光量がＡ／Ｄ変換部４１０によってデジタル値に変換され、デジタルデータとして情報処理部１０９へと出力される。

図３は情報処理部１０９の内部構成を示す図である。情報処理部１０９は、ＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ３０３を有し、各構成部はシステムバス３０４により相互に接続されている。ＲＯＭ３０３にはＣＰＵ３０１が実行するプログラムや各種データが記憶され、ＲＡＭ３０２はＣＰＵ３０１がプログラムを実行した際のワークエリア、各種バッファとして利用される。ＣＰＵ３０１は、ＲＯＭ３０３に格納されたプログラムを実行し、ＲＡＭ３０２をワークエリアやバッファとして利用する。これにより、先に示した図１の取得部１０３、画像処理部１０４、符号化部１０５、出力部１０６として機能すると共に、装置全体の制御を司ることになる。なお、ここでは、各構成要素を、ＣＰＵ３０１が実行することで実現するものとしたが、同等の処理を果たす専用の回路等で実現しても構わない。

操作部１０１は、カメラ本体に備えられたボタンやダイヤル、タッチパネルなどの入力装置であり、ユーザが操作して、撮影の開始、停止および撮影条件の設定などの命令を行える。記憶部１０７は、撮像部１０２により取得されたＲＡＷ画像データ、および、画像データを保存することができる、メモリカードなどの不揮発性の記憶媒体である。Ｉ／Ｏインターフェース１０８はユニバーサルシリアルバス（ＵＳＢ）によって実装されたシリアルバス接続を利用でき、対応するＵＳＢコネクタを有する。もちろん、光ファイバーによるＬＡＮ接続や、無線接続などを利用しても良い。

表示部３０５は、撮影画像や文字の表示を行う。表示部３０５には一般的に液晶ディスプレイが用いられる。またタッチパネル機能を有していても良く、その場合はタッチパネルを用いたユーザ指示を操作部１０１の入力として扱うことも可能である。

以下、本実施形態に示す情報処理部１０９の処理について説明する。ユーザの操作部１０１に対する撮像指示に基づき、取得部１０３は、撮像部１０２から出力されたＲＡＷ画像データを取得し、画像処理部１０４にＲＡＷ画像データを出力する。画像処理部１０４は、ＲＡＷ画像データを、デモザイク処理して、通常の１画素がＲＧＢの３成分で構成される画像データを生成し、符号化部１０５に画像データを出力する。符号化部１０５は、画像データの符号化処理を行う。本実施形態では１画素がＲＧＢ各８ビットで表現されるものとし、色成分を単位にモノクロ画像として符号化する場合を例に説明する。つまり、Ｒ成分のモノクロ多値画像、Ｇ成分のモノクロ多値画像、Ｂ成分のモノクロ多値画像をそれぞれ独立して符号化する。なお、符号化対象の画像データはＲＧＢ形式に限らず、他の色空間やＲＡＷ画像データであっても構わない。例えば、１画素がＹ、Ｃｂ、Ｃｒでそれぞれが８ビットで構成される場合には、各成分を単位にモノクロ画像として符号化すれば良い。また、ＲＡＷ画像データに適用する場合、撮像部１０２の撮像素子はベイヤ配列（Ｒ，Ｇ０、Ｇ１，Ｂの色に対応する２×２個の撮像素子の組の配列）となっている。また、各撮像素子からの信号を１４ビットで表現している。この場合、Ｒ成分で構成されるモノクロ多値画像、Ｇ０成分で構成されるモノクロ多値画像、Ｇ１成分で構成されるモノクロ多値画像、Ｂ成分で構成されるモノクロ多値画像をそれぞれ符号化する。従って、本願は、画像の色空間の種類、画像を構成する色成分の種類、ビット数によって限定されるものではない。符号化対象の画像がＲ，Ｇ，Ｂの３成分で各８ビット（２５６階調）とするのは、あくまで理解を容易にするためであると理解されたい。

本実施形態に示す符号化部１０５の処理について説明する。図２は符号化部１０５の内部構成であり、図５は符号化部１０５で行われる１つの色成分（実施形態では、Ｒ，Ｇ、Ｂのいずれか）の画像データに対する符号化処理を示すフローチャートである。つまり、実際には図５の処理を３回実行する。そして、３回行った結果得られた符号データをまとめて１つのファイルが構成されることになる。

色成分入力部２０１は、画像処理部１０４から出力された画像データにおける１つの成分の画像データをモノクロ多値画像として入力する（ステップＳ５０１）。

ウェーブレット変換部２０２は、色成分入力部２０１から供給されたモノクロ画像データを入力として、ウェーブレット変換を行う。画像データはウェーブレット変換により複数の分解レベルに分けられ、各分解レベルは複数のサブバンドから構成される。分解レベルは、低周波成分を再帰的に水平・垂直方向に２分割した分割回数を示しており、分解レベルが１増えると水平・垂直解像度は半分になる。

図９は、ウェーブレット変換で３回分解したときの例を示している。分解レベル１のサブバンドはＬＬ１、ＨＬ１、ＬＨ１、ＨＨ１、分解レベル２のサブバンドはＬＬ２、ＨＬ２、ＬＨ２、ＨＨ２、分解レベル３のサブバンドはＬＬ３、ＨＬ３、ＬＨ３、ＨＨ３と表される。なお、２回目以降のウェーブレット変換では、直前のウェーブレット変換で得られたサブバンドＬＬをその変換対象としているので、サブバンドＬＬ１、ＬＬ２は省略され、最後のウェーブレット変換で得られたサブバンドＬＬが残ることになる。また、例えば、ＨＬ２の水平・垂直解像度はＨＬ１の半分となる。サブバンドＬＨは、ウェーブレット変換が適用された局所領域の水平方向の周波数特性（水平方向成分）を示す。またサブバンドＨＬは垂直方向の周波数特性（垂直方向成分）、サブバンドＨＨは斜め方向の周波数特性（斜め方向成分）を示す。サブバンドＬＬは低周波成分である。本実施形態では、国際標準であるＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ１５４４４｜ＩＴＵ−Ｔ Ｔ．８００）でも利用されている実数型の９／７フィルタを用いるものとするが、これに限定されるものではない。整数型の５／３フィルタ等、この他のウェーブレット変換フィルタを用いても構わない。またウェーブレット変換の処理単位については、ライン単位の処理であっても、画像単位の処理であっても構わない。

ウェーブレット変換部２０２は、ウェーブレット変換された各サブバンドのウェーブレット係数を量子化部２０３に出力する（ステップＳ５０２）。

量子化部２０３は、ウェーブレット変換部２０２から供給された各サブバンドのウェーブレット係数を入力し、サブバンド毎に異なるステップ幅で量子化する。また、サブバンドのライン毎に異なるステップ幅で量子化を行うなど他の量子化方法を用いても構わない。量子化部２０３は、量子化後のウェーブレット係数を、サブバンド毎にサブバンド符号化部２１６に出力する（ステップ５０３）。

以降、サブバンド符号化部２１６の処理になる。詳細は後述するが、このサブバンド符号化部２１６はサブバンドを単位に符号化する。

まず、ステップＳ５０４で、ウェーブレット変換で分解した回数を変数ｉに設定する。本実施形態では、ウェーブレット変換で３回分解した例を説明し、変数ｉ＝３と設定する。なお、ウェーブレット変換回数は、ユーザが適宜、操作部１０１より変更できるものとする。また、図５のフローチャートでは、変数ｉを用いてサブバンドＬＬ（ｉ）、ＨＬ（ｉ）、ＬＨ（ｉ）、ＨＨ（ｉ）を一般化しているが、例えばＨＬ（３）は図９におけるＨＬ３と同じサブバンドを示しているものと理解されたい。

ステップＳ５０５では、サブバンド符号化部２１６は、サブバンドＬＬ（３）（図９のＬＬ３）のサブバンド符号化を行う。このため、サブバンド符号化部２１６は量子化部２０３からサブバンドＬＬ３の量子化後のウェーブレット変換係数を受信し、符号化を行う。サブバンド符号化部２１６は、この符号化処理で得られた符号化データをＲＡＭ３０２に予め確保されたバッファ領域に格納する。

この後、ステップＳ５０６にて、サブバンド符号化部２１６は、変数ｉが０であるか否かを判定する。ここでは、初期段階、すなわち、ｉ＝３であるものとする。従って、処理はステップＳ５０７に処理を進める。

このステップＳ５０７では、サブバンド符号化部２１６は、サブバンドＨＬ（３）の量子化後のウェーブレット変換係数を量子化部２０３より受信し、サブバンド符号化を行い、得られた符号化データを上記のバッファ領域に格納する。ステップＳ５０８では、サブバンド符号化部２１６は、サブバンドＬＨ（３）の量子化後のウェーブレット変換係数を量子化部２０３より受信し、サブバンド符号化を行い、得られた符号化データを上記のバッファ領域に格納する。そして、ステップＳ５０９では、サブバンド符号化部２１６は、サブバンドＨＨ（３）の量子化後のウェーブレット変換係数を量子化部２０３より受信し、サブバンド符号化を行い、得られた符号化データを上記のバッファ領域に格納する。

この後、ステップＳ５１０で、ウェーブレット係数で分解した回数ｉを１減じる。ここでは、この結果、変数ｉ＝２となる。そして、ステップＳ５０６に処理を戻す。ステップＳ５０６において、変数ｉ＝０であると判定されるまで、上記処理を行う。

変数ｉ＝０になったと判定された場合、ＲＡＭ３０２のバッファ領域には、ＬＬ（３）、ＨＬ（３）、ＬＨ（３）、ＨＨ（３）、ＨＬ（２）、…、ＨＨ（１）の計１０個のサブバンドの符号化データが格納される（ステップＳ５１１）。

上記は１つの色成分の符号化処理であったが、先に説明したように、実施形態ではＲ、Ｇ、Ｂの各色成分を単位に符号化するので、符号化部１０５は上記処理を３回実行することになる。図１に戻って、符号化部１０５は、全色成分の符号化データを出力部１０６に送出する。出力部１０６は、供給された符号化データに、適当なヘッダを付加して画像ファイルを構成し、圧縮画像データファイルとして記憶部１０７に出力し、保存する。保存された圧縮画像データファイルは、Ｉ／Ｏインターフェース１０８を介して、カメラ外のデバイスに出力されても構わない。

以上、画像データをウェーブレット変換でサブバンド分割し、サブバンド毎に符号化するときの全体的な処理フローについて説明した。次に、各サブバンドのウェーブレット係数を符号化するサブバンド符号化部２１６の処理の詳細について説明する。

サブバンド符号化部２１６の内部構成を図２に示し、サブバンド符号化部２１６で行われる処理を示したフローチャートを図６に示す。

まずステップＳ６０１で、サブバンド符号化部２１６はサブバンド番号Ｓを入力する。サブバンド番号Ｓはサブバンドを識別する番号であり、符号化の対象となるサブバンドがＬＬ成分、ＨＬ成分、ＬＨ成分、ＨＨ成分の何れであるかを識別するためのものである。例えば、ＬＬ成分にＳ＝１、ＨＬ成分にＳ＝２、ＬＨ成分にＳ＝３、ＨＨ成分にＳ＝４などの識別番号を設定する。なお、量子化部２０３は、サブバンドを単位に量子化後のウェーブレット変換係数をサブバンド符号化部２１６に出力する際に、その先頭にサブバンド番号Ｓを付加するものとする。

ステップＳ６０２で、サブバンド符号化部２１６は、サブバンド内のウェーブレット係数が全て符号化されたかを判定する。全て符号化された場合は符号化処理を終了し、符号化されていない係数がある場合は、ステップＳ６０３に移る。ステップＳ６０３で、サブバンド符号化部２１６は、着目サブバンドのウェーブレット係数をライン単位に入力する。そして、ステップＳ６０４において、サブバンド符号化部２１６は、入力したラインにおける左端に位置するウェーブレット係数を符号化対象の着目係数として設定する。

図１０は着目係数とその周辺係数の位置関係を示している。ここでは、ｘが符号化対象の着目係数である。図示のごとく、参照範囲は、着目係数ｘが位置するラインと、その直前のラインの２ラインにおける、着目係数ｘの周囲の係数である。また、ラスタスキャン順に係数を符号化していくため、左係数ａ、左上係数ｃ、上係数ｂ、右上係数ｄ、着目係数ｘから２つ分だけ左に位置する係数ｅ、着目係数ｘから３つ分だけ左に位置する係数ｆは、符号化済みの係数である。なお、着目係数ｘがサブバンドの最初のラインの左端に位置するとき、係数ａ乃至ｆは実在しない。また、着目係数ｘがサブバンドの２ライン目以降ラインの左端に位置するときには、係数ａ、ｃ、ｅ、ｆも実在しない。このように実在しない係数については、所定の値（たとえば０）を持つものと見なす。また、既に符号化済み位置の係数を参照するため、サブバンド符号化部２１６は例えば２ライン分のバッファメモリを有する。

ステップＳ６０６にて、サブバンド符号化部２１６は、ライン内のウェーブレット係数が全て符号化されたかを判定する。言い換えれば、ライン終端（右端）の係数の符号化を終えたか否かを判定する。ライン中の全て係数の符号化を終えたと判定した場合には、ステップＳ６０５で次のラインの処理に移る。符号化されていない係数が存在する場合にはステップＳ６０７に移る。

ステップＳ６０７には、モード選択部２０４は、サブバンドに応じた符号化モード判定により、符号化モードを選択する。選択すべき符号化モードには、予測符号化モード、及び、ランレングスモードがある。また、ライン左端の係数が着目係数として設定されるとき、ラン長ＲＬ＝０が初期設定される。ラン長ＲＬが０以外、または、周囲係数の状態がランレングス符号化条件を満たしている場合に、符号化モードはランレングスモードに設定される。ラン長ＲＬが０のとき、以下の処理によりランレングス符号化条件を満たしているかを判定する。

モード選択部２０４は、第１モード判定部２０５、第２モード判定部２０６の選択を行う。ステップＳ６０１で入力されたサブバンド番号Ｓに基づいて、サブバンドがＬＬ成分、ＨＬ成分、ＨＨ成分であれば第１モード判定部２０５を選択する。またサブバンドがＬＨ成分であれば第２モード判定部２０６を選択する。第２モード判定部２０６では、ライン左端の係数が着目係数として設定されるとき、水平ランカウントＨＲ＝０が初期設定される。

ここで、第１モード判定部２０５で行われる判定処理（符号化対象サブバンドがＬＬ，ＨＬ，ＨＨのいずれかの場合の判定処理）を、図７のフローチャートに従って説明する。

ステップＳ７０１で、着目係数ｘを取得する。そして、ステップＳ７０２で、ランレングスモードの判定を行う。図１０に示す如く、左係数ａ、左上係数ｃ、上係数ｂ、右上係数ｄを参照する。サブバンドＬＬが符号化対象である場合には、ａ＝ｂ＝ｃ＝ｄのとき、着目係数ｘについてランレングス符号化条件を満たすと判定する。また、サブバンドＨＬまたはＨＨである場合には、ａ＝ｂ＝ｃ＝ｄ＝０のとき、ランレングス符号化条件を満たすと判定する。高周波成分ではウェーブレット係数値に０が多く出現するため、係数値０に限定したランレングスモード判定を用いることで符号化効率が高くなるためである。ステップＳ７０２のランレングスモード判定は、着目係数ｘのラインだけでなく、直前のラインの係数（左上係数をｃ、上係数をｂ、右上係数をｄ）を参照するため、２ライン参照モード判定と呼ぶ。

ステップＳ７０３で、ランレングス符号化条件を満たしているかを判定する。ランレングス符号化条件を満たしている場合は、ステップＳ７０５でランレングスモードに設定する。またランレングス符号化条件を満たしていない場合は、ステップＳ７０４で予測符号化モードに設定する。第１モード判定部２０５で行われる処理はＪＰＥＧ−ＬＳと同様の処理となる。

次に第２モード判定部２０６で行われる処理（符号化対象サブバンドがＬＨの場合の判定処理）を示したフローチャートを図８に示す。

ステップＳ８０１で、第２モード判定部２０６は、着目係数ｘを取得する。ステップＳ８０２で、第２モード判定部２０６はランレングスモードの判定を行う。図１０に示す如く、左係数ａ、左上係数ｃ、上係数ｂ、右上係数ｄを参照する。そしてａ＝ｂ＝ｃ＝ｄ＝０のとき、第２モード判定部２０６は、着目係数ｘがランレングス符号化条件を満たすと判定する。ステップＳ７０２と同様に、ステップＳ８０２のランレングスモード判定は、着目係数ｘのラインと、その直前のラインの係数を参照するため、２ライン（複数ライン）参照モード判定と呼ぶ。

ステップＳ８０３で、第２モード判定部２０６は、ステップＳ８０１の結果を受けて、ランレングス符号化条件を満たしているかを判定する。ランレングス符号化条件を満たしている場合は、ステップＳ８０８でランレングスモードに設定する。またランレングス符号化条件を満たしていない場合は、ステップＳ８０４の処理に移る。

ステップＳ８０４で、ステップＳ８０２とは異なるランレングスモードの判定を行う。着目係数ｘと同一ラインのみを参照し、係数値０の連続数（水平ランカウント）を判定条件とする。水平ランカウントＨＲが所定数（閾値）以上のとき、ランレングス符号化条件を満たす。ここでは閾値は３と設定している。図１０を用いて説明すると、左係数ａ、２つ左の係数ｅ、３つ左の係数ｆとしたとき、ａ＝ｅ＝０、ｆが非ゼロの場合、水平ランカウントＨＲは２となる。ステップＳ８０４のランレングスモード判定は、着目係数ｘに対して同一ラインの係数のみを参照するため、ここでは１ライン参照モード判定と呼ぶ。

ステップＳ８０５では、第２モード判定部２０６は、ステップＳ８０４の結果結果を受けて、着目係数ｘがランレングス符号化条件を満たしているかを判定する。ランレングス符号化条件を満たしている場合は、ステップＳ８０８でランレングスモードに設定する。またランレングス符号化条件を満たしていない場合は、ステップＳ８０６で予測符号化モードに設定する。

ステップＳ８０６で予測符号化モードに設定された場合、ステップＳ８０７で水平ランカウントＨＲを更新する。着目係数ｘが０の場合、水平ランカウントＨＲに１を加算する。また着目係数ｘが０以外の係数値の場合、水平ランカウントＨＲを０に初期化する。

またステップＳ８０８でランレングスモードに設定された場合、ステップＳ８０９で水平ランカウントＨＲを０に初期化する。これは、着目係数ｘの左に位置する係数、ａ，ｅ，ｆは既に符号化済みであり、尚且つ、着目係数ｘをランの起点とするためである。

以上がステップＳ６０７の処理である。サブバンドＬＬは、係数値０に限定しない２ライン参照モード判定、サブバンドＨＬ、ＨＨは、係数値０に限定した２ライン参照モード判定を用いる。サブバンドＬＨは、ウェーブレット変換が適用された局所領域の水平方向の周波数特性（水平方向成分）を示すため、ウェーブレット係数のライン間の相関が低い。そのため、係数値０に限定した２ライン参照モード判定に加え、上ラインを参照しない１ライン参照モード判定を加えることで、ランレングスモードの判定精度が向上し、符号化効率の改善が図れることになる。また１ライン参照モードは、水平ランカウントＨＲを更新するだけで、モード判定できるため、簡易な演算で実現できる。ここではサブバンドＬＨに対して、１ライン参照モード判定を加えたが、サブバンドＨＬ、ＨＨに対して同様の処理を行っても構わない。

図６の処理の説明に戻る。ステップＳ６０８にて、着目係数ｘに対して、ランレングスモードに設定された場合には、処理はステップＳ６１２に進み、ランレングス符号化部２１３によるランレング符号化処理を開始する。

一旦、ステップＳ６１２に処理が開始されると、ランレングス符号化部２１３は、着目係数ｘが左隣の係数ａ（着目係数に対する予測値）と同じ値である限り、ラン長ＲＬを１増加させ、右隣の係数を新たな着目係数ｘとして読み込みを続ける。ただし、着目係数ｘが直前の係数ａと異なる値となった場合、或いは、着目係数ｘが左隣の係数ａと同じであるものの、着目係数ｘがラインの終端（右端）位置に達した場合には、それまで計数していたラン長ＲＬの符号語を出力し、ラン長ＲＬは初期化する。そして、ステップＳ６０６に戻る。なお、ランレングス符号化については、ＪＰＥＧ−ＬＳと同様の処理のため、ここでの詳細説明は割愛する。

一方、ステップＳ６０９に処理が移った場合には、予測変換選択部２０７で、第１予測変換部２０８、第２予測変換部２０９、第３予測変換部２１０、第４予測変換部２１１の選択を行う。ステップＳ６０１で入力されたサブバンド番号Ｓに基づいて、サブバンドがＬＬ成分であれば第１予測変換部２０８を選択する。またサブバンドがＨＬ成分であれば第２予測変換部２０９、ＬＨ成分であれば第３予測変換部２１０、ＨＨ成分であれば第４予測変換部２１１を選択する。

第１予測変換部２０８は、予測変換にＭＥＤ（Ｍｅｄｉａｎ Ｅｄｇｅ Ｄｅｔｅｃｔｉｏｎ）予測を用いた予測値ｐ、及びそれを用いた予測誤差を算出する。図１０の周辺係数を用いた予測値ｐの算出式は以下の通りである。

ここで予測誤差（差分）は以下のようにして算出する。
予測誤差 ＝ 着目係数ｘの係数値 ― 予測値ｐ

第２予測変換部２０９は、予測変換に垂直方向の予測を用いる。ＨＬ成分は垂直方向の周波数特性を有することから、垂直方向予測が符号化効率の向上に有効である。図１０の周辺係数を用いた予測値ｐ、予測誤差は以下の通りである。
ｐ＝ｂ
予測誤差 ＝ 着目係数ｘの係数値 ― 予測値ｐ

第３予測変換部２１０は、予測変換に水平方向の予測を行う。ＬＨ成分は水平方向の周波数特性を有することから、水平方向予測が符号化効率の向上に有効である。図１０の周辺係数を用いた予測値ｐ、予測誤差は以下の通りである。
ｐ＝ａ
予測誤差 ＝ 着目係数ｘの係数値 ― 予測値ｐ

第４予測変換部２１１は、予測変換を行わない。即ち、予測誤差は以下の通りである。 予測誤差 ＝ 着目係数ｘの係数値

図２に戻って、第１予測変換部２０８、第２予測変換部２０９、第３予測変換部２１０、第４予測変換部２１１は、算出した予測誤差は、ゴロム符号化部２１２に出力する。ゴロム符号化部２１２で、予測誤差をゴロム・ライス符号化する（ステップＳ６１０）。ゴロム符号化部２１２は、まず予測誤差（Ｄｉｆｆ）を非負の整数値（ＭＶ）に変換する。変換式は以下の通りである。

次に、ゴロム符号化部２１２は、パラメータｋを用いて非負の整数値（ＭＶ）をゴロム・ライス符号化する。ゴロム・ライス符号化の手順は以下の通りである。
（１）ＭＶを２進数表現して、ＭＶをｋビット右シフトした値の０を並べ、その後に１を付加する。
（２）上記で生成したビット列の後ろに、ＭＶの下位ｋビットを取りだして付け加える。

図１１にゴロム・ライス符号化のパラメータｋと非負の整数値（ＭＶ）と符号語の関係を示す。ゴロム・ライス符号化の構成はこれに限定されるものではなく、例えば、０と１を反対にして符号を構成しても構わないし、上記手順で述べた（１）と（２）の順番を入れ替えて符号を構成しても良い。なお、ここでは符号化パラメータｋの決定方法については特に特定しないが、符号化側と復号側で同じパラメータを利用できれば良い。例えば、予めサブバンド毎に適切と思われるパラメータｋを選定する方法でも良いし、符号化の過程で動的に変化するようにしても構わない。

例えば、パラメータｋ＝０の場合を考える。予測誤差（Ｄｉｆｆ）が−２のとき、非負の整数値（ＭＶ）は３となり、予測誤差（Ｄｉｆｆ）が＋２のとき、非負の整数値（ＭＶ）は４となる。非負の整数値（ＭＶ）が３のとき、符号語は０００１となり４ビットで表現され、非負の整数値（ＭＶ）が４のとき、符号語は００００１となり５ビットで表現される。

上記のようにして、ゴロム符号化部２１２による着目係数ｘに対する符号語の出力を終えると、処理はステップＳ６１１で着目係数ｘの右隣の係数を新たな着目係数とし、ステップＳ６０６に戻る。

図２に戻って、符号生成部２１４で、サブバンドのウェーブレット係数の符号データを出力する。

以上説明したように、本実施形態によれば、サブバンド分割されたウェーブレット係数に対して、サブバンドに応じて異なるランレングスモード判定処理を用いることで符号量を削減することができる。具体的には、水平方向の周波数特性（水平方向成分）を示すサブバンドＬＨに対して、直前のラインを参照しない１ライン参照モード判定を加える。その結果、ランレングス符号化が効率よくと推定される状況下での、ランレングス符号化へ移行し易くなり、簡易な演算で符号化効率の改善を図れるようになる。

［第２の実施形態］
上記の第１の実施形態は、画像データをウェーブレット変換で複数のサブバンドに分割し、サブバンド分割されたウェーブレット係数を予測符号化、及び、ランレングス符号化で符号化する画像符号化装置に適用される。水平方向の周波数特性（水平方向成分）を示すサブバンドＬＨに対して、上ラインを参照しない１ライン参照モード判定を加えることで、簡易な演算で符号化効率の改善を図れることを説明した。

第２の実施形態も、画像データをウェーブレット変換で複数のサブバンドに分割し、サブバンド分割されたウェーブレット係数を予測符号化、及び、ランレングス符号化で符号化する画像符号化装置に適用される。第２の実施形態は、サブバンドに応じた符号化モード判定により符号化効率を維持しながら、簡易な演算で使用メモリを削減する方法を説明する。

本第２の実施形態における装置構成は、上記第１の実施形態の図１乃至図３と同じであり、その基本となる処理も同じである。本第２の実施形態と第１の実施形態の違いは、図６のステップＳ６０７の処理内容にある。すなわち、本第２の実施形態におけるモード選択部２０４で、第１モード判定部２０５、第２モード判定部２０６の選択を行う際の基準が、第１の実施形態と異なる。

図６のステップＳ６０１にて、モード選択部２０４は、入力されたサブバンド番号Ｓに基づいて、サブバンドがＬＬ成分であれば第１モード判定部２０５を選択する。また、モード選択部２０４は、着目サブバンドがサブバンドＬＬ以外のＬＨ、ＨＬ、ＨＨのいずれかであれば第２モード判定部２０６を選択する。第２モード判定部２０６では、ライン左端の係数が着目係数として設定されるとき、水平ランカウントＨＲ＝０が初期設定される。

第１モード判定部２０５については、第１の実施形態と共通するので、ここでの説明は省略する。そこで、第２モード判定部２０６で行われる処理を、図１２のフローチャートに従って説明する。

第２モード判定部２０６は、ステップＳ１２０１で、着目係数ｘを取得する。そして、第２モード判定部２０６は、ステップＳ１２０２でランレングスモードの判定を行う。着目係数ｘと同一ラインのみを参照し、係数値０が連続する数（水平ランカウント）を判定条件とする。水平ランカウントＨＲが閾値以上のとき、ランレングス符号化条件を満たす。ここでは閾値は３と設定している。図１０を用いて説明すると、左係数ａ、２つ左の係数ｅ、３つ左の係数ｆとしたとき、（ａ＝ｅ＝０、ｆが０以外の係数値）の場合、水平ランカウントＨＲは２となる。ここでは、係数値０が連続する数を判定条件としたが、左係数ａと同じ係数値が連続する数を判定条件とするなど、係数値は０に限定されるものではない。

ステップＳ１２０２のランレングスモード判定では、着目係数ｘと同一ラインの係数のみを参照するため、ここでは１ライン参照モード判定と呼ぶ。

第２モード判定部２０５は、ステップＳ１２０３にて、ステップＳ１２０２の判定結果を受けて、ランレングス符号化条件を満たしているかを判定する。ランレングス符号化条件を満たしている場合は、ステップＳ１２０６でランレングスモードに設定する。またランレングス符号化条件を満たしていない場合は、ステップＳ１２０４で予測符号化モードに設定する。

ステップＳ１２０４で予測符号化モードに設定された場合、第２モード判定部２０５は、ステップＳ１２０５で水平ランカウントＨＲを更新する。着目係数ｘが係数値０の場合、水平ランカウントＨＲに１を加算（カウントアップ）する。また着目係数ｘが０以外の係数値の場合、水平ランカウントＨＲを０に初期化（リセット）する。

またステップＳ１２０６でランレングスモードに設定された場合、第１モード判定部２０５は、ステップＳ１２０７にて水平ランカウントＨＲを０に初期化する。

以上が第２の実施形態におけるステップＳ６０７の処理である。ステップＳ６０７以降は、第１の実施形態と同じである。サブバンドのＬＨ成分、ＨＬ成分、ＨＨ成分は高周波成分であり、高い圧縮率では係数値０が多くなるため、多くの領域でランレングス符号化が適用される。そのため、１ライン参照モード判定のみでモード判定を行っても、符号化効率を維持できる。加えて１ライン参照モード判定は、直前のラインを参照する必要がないため、直前ラインの係数情報を保持しておく必要がなく、メモリ使用量を削減できる。また水平ランカウントＨＲを更新するだけで判定できるため、簡易な演算で実現できる。

上述の符号化処理により本第２の実施形態によれば、サブバンド分割されたウェーブレット係数に対して、サブバンドに応じて異なるランレングスモード判定処理を用いることで符号化効率を維持してメモリ使用量を削減することができる。具体的には、サブバンドの高周波成分であるＬＨ成分、ＨＬ成分、ＨＨ成分に対して、１ライン参照モード判定のみでモード判定を行う。加えて上ラインの係数情報を用いない予測変換を用いることで、簡易な演算で符号化効率を維持してメモリ使用量を削減できる。

（その他の実施例）
なお、実施形態では、画像符号化装置として、カメラに搭載する符号化部に適用した例を説明したが、対象となる装置はカメラに限らず、画像データを入力するものであればその種類は問わず、適用可能である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００…カメラ、１０１…操作部、１０２…撮像部、１０３…取得部、１０４…画像処理部、１０５…符号化部、１０６…出力部、１０７…記憶部、１０８…Ｉ／Ｏ、２０１…色成分入力部、２０２…ウェーブレット変換部、２０３…量子化部、２０４…モード選択部、２０５…第１モード判定部、２０６…第２モード判定部、２０７…予測変換選択部、２０８…第１予測変換部、２０９…第２予測変換部、２１０…第３予測変換部、２１１…第４予測変換部、２１２…ゴロム符号化部、２１３…ランレングス符号化部、２１４…符号生成部、２１５…符号出力部

Claims (11)

1. 画像データを符号化する画像符号化装置であって、
   符号化対象の画像データをウェーブレット変換して、複数のサブバンドを生成する変換手段と、
   サブバンドを構成する係数をラスタスキャン順に入力し、着目係数の予測値を当該着目係数の周囲に位置する符号化済の係数から求めることで、前記着目係数を予測符号化する第１の符号化手段と、
   サブバンドにおける係数をラスタスキャン順に入力し、同じ係数の連続数を表すランを求め符号化する第２の符号化手段と、
   前記着目係数を前記第１の符号化手段で符号化するか、前記着目係数をランの起点として前記第２の符号化手段で符号化するかを、前記着目係数の周囲に位置し符号化済の係数から判定する複数の判定手段と、
   ここで、前記複数の判定手段それぞれは、前記着目係数の周囲に位置し互いに異なる符号化済の係数の組を参照して判定する、
   着目サブバンドの係数を符号化する際に、当該着目サブバンドの種類に従って前記複数の判定手段のいずれかを選択する選択手段とを備え、
   前記選択手段で選択した判定手段に従って、前記着目サブバンドの係数を前記第１の符号化手段、前記第２の符号化手段を用いて符号化することを特徴とする画像符号化装置。
2. 前記複数の判定手段には、
   前記着目係数が位置するラインとその直前のラインを含む２つのラインに位置する複数の係数を参照して前記第１の符号化手段、前記第２の符号化手段のいずれを用いるかを判定する第１の判定手段、
   前記着目係数と同じラインに位置し、前記着目係数の直前までの所定数の係数を参照して前記第１の符号化手段、前記第２の符号化手段のいずれを用いるかを判定する第２の判定手段、
   が含まれることを特徴とする請求項１に記載の画像符号化装置。
3. 前記第１の判定手段は、
   前記２つのラインに位置し、前記着目係数の周囲に位置する複数の符号化済の係数が、互い等しいことを表す第１の条件を満たす場合、前記第２の符号化手段を用いると判定し、当該第１の条件を満たさない場合には前記第１の符号化手段を用いると判定し、
   前記第２の判定手段は、
   前記第１の条件を満たす場合、又は、前記着目係数と同じラインに位置し、前記着目係数の直前までの所定数の係数が同じであることを表す第２の条件を満たす場合に、前記第２の符号化手段を用いると判定し、
   前期第１の条件、前記第２の条件のいずれも満たさない場合に前記第１の符号化手段を用いると判定する
   ことを特徴とする請求項２に記載の画像符号化装置。
4. 前記第１の判定手段は、
   前記２つのラインに位置し、前記着目係数の周囲に位置する複数の符号化済の係数が互い等しいことを表す第１の条件を満たす場合、前記第２の符号化手段を用いると判定し、当該第１の条件を満たさない場合には前記第１の符号化手段を用いると判定し、
   前記第２の判定手段は、
   前記着目係数と同じラインに位置し、前記着目係数の直前までの所定数の係数が同じであることを表す第２の条件を満たす場合に、前記第２の符号化手段を用いると判定し、当該第２の条件を満たさない場合に前記第１の符号化手段を用いると判定する
   ことを特徴とする請求項２に記載の画像符号化装置。
5. 前記第１の符号化手段は、
   前記着目係数と当該着目係数の直前の係数が異なるときにカウントをリセットし、前記着目係数とその直前の係数が同じである場合にカウントをアップするカウント手段を含み、
   前記第２の判定手段は、前記カウント手段でカウントされた値を参照して、前記第２の条件が満たされるかを判定することを特徴とする請求項３又は４に記載の画像符号化装置。
6. 前記選択手段は、前記着目サブバンドがＬＬ、ＨＬ、ＨＨのいずれかのサブバンドである場合に前記第１の判定手段を選択し、前記着目サブバンドがＬＨのサブバンドである場合に第２の判定手段を選択することを特徴とする請求項２乃至５のいずれか１項に記載の画像符号化装置。
7. 前記選択手段は、前記着目サブバンドがＬＬのサブバンドである場合に前記第１の判定手段を選択し、前記着目サブバンドがＨＬ、ＬＨ、ＨＨのいずれかのサブバンドである場合に第２の判定手段を選択することを特徴とする請求項２乃至５のいずれか１項に記載の画像符号化装置。
8. 前記第１の符号化手段は、
   前記着目係数が属するサブバンドの種類に応じて予測値を求める予測手段と、
   前記着目係数と前記予測値との差分である誤差をゴロム符号化するゴロム符号化手段とを有し、
   前記第２の符号化手段は、
   同じ係数が連続する限りランを計数し、同じ係数が連続したまま前記着目係数の位置がラインの終端に達したとき、又は、前記着目係数がその直前の係数と異なったとき、計数したランの符号語を出力するランレングス符号化手段を有する
   ことを特徴とする請求項１乃至７のいずれか１項に記載の画像符号化装置。
9. コンピュータが読み込み実行することで、前記コンピュータに、請求項１乃至８のいずれか１項に記載の装置が有する各手段として機能させるためのプログラム。
10. 請求項９に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。
11. 画像データを符号化する画像符号化装置の制御方法であって、
    変換手段が、符号化対象の画像データをウェーブレット変換して、複数のサブバンドを生成する変換工程と、
    第１の符号化手段が、サブバンドを構成する係数をラスタスキャン順に入力し、着目係数の予測値を当該着目係数の周囲に位置する符号化済の係数から求めることで、前記着目係数を予測符号化する第１の符号化工程と、
    第２の符号化手段が、サブバンドにおける係数をラスタスキャン順に入力し、同じ係数の連続数を表すランを求め符号化する第２の符号化工程と、
    選択手段が、着目サブバンドの係数を符号化する際に、当該着目サブバンドの種類に従って複数の判定工程のいずれかを選択する選択工程とを有し、
    前記複数の判定工程のそれぞれは、前記着目係数の周囲に位置し、互いに異なる符号化済の係数の組を参照して、前記着目係数を前記第１の符号化工程で符号化するか、前記着目係数をランの起点として前記第２の符号化工程で符号化するか判定する；
    前記選択工程で選択した判定工程に従って、前記着目サブバンドの係数を前記第１の符号化工程、前記第２の符号化工程を用いて符号化することを特徴とする画像符号化装置の制御方法。

Images