JP5199955B2 - 画像復号装置及びその制御方法 - Google Patents

Description

本発明は符号化画像データの復号技術に関するものである。

デジタル画像を効率的に記憶管理、もしくは転送する上では、そのファイルサイズを小さくする画像圧縮のための符号化技術は不可欠である。通常、画像データを符号化する場合、その画像を幾つかのブロックに分割し、ブロック単位に符号化処理を行う。また、ブロック単位に符号化した場合、ブロック境界に歪みが発生しやすい。そこで、ブロック境界における歪みを抑制する符号化技術も知られている（例えば特許文献１）。この特許文献１では、画像をタイルに分割する。そして、各タイルに対してＤＣＴ変換を繰り返して行って階層の系列データを生成する。さらにタイル間で発生するブロック歪みを抑えるために、ＤＣＴを行う前もしくはＤＣＴを行っている過程で、隣接する２つのタイルの画素を使って所定の処理を行っている。このような符号化処理として知られているのが、ＪＰＥＧ ＸＲである。

特開２００６−１９７５７３号公報

"JPEG XR 標準化の最新動向"画像電子学会 Vol.37 No4 502〜512頁 2008年7月25日発行 日経エレクトロニクス 2008年12月29日号 71〜77頁 2008年12月29日発行

上記技術を基礎にした技術では、系列変換処理の過程で、ブロック歪みを抑制する処理が含まれていて、これらはユーザーが選択することが可能である。ただこの機能は歪みを抑制できる代わりに、系列変換処理の演算コストが２倍以上になってしまうという問題がある。また、歪みを抑制する機能は符号化処理と復号処理で対になっており、符号化時に処理が行われていると、復号時にもそれに応じた処理を自動的に行うことになる。このため、歪み抑制を行って符号化したデータを復号する復号装置側では、高速に表示したくても、どうしてもその歪み抑制に対応する処理が必要になり、遅くなってしまう。

本発明では、デコード時の処理スピードを向上させるために、画質の低下を許容できる範囲で、歪み抑制機能をオフする技術を提供する。

この課題を解決するため、例えば本発明の画像復号装置は以下の構成を備える。すなわち、
２回の周波数変換における各周波数変換の前段で、ブロック歪みを抑制する歪み抑制処理を行うか否かをオプショナルに指定可能な符号化方法で符号化された符号化画像データを復号する画像復号装置であって、
復号対象の符号化画像データのヘッダに含まれる情報に基づき前記符号化画像データを復号する復号手段と、
高速復号するか否かを指定する指定手段と、
復号対象の符号化画像データのヘッダを解析し、前記歪み抑制処理にかかるパラメータ情報を抽出する解析手段と、
該解析手段で得られた前記パラメータ情報が、最初の周波数変換の前段のみで前記歪み抑制処理が行われていることを示しており、且つ、前記指定手段で高速復号が指定されている場合、前記ヘッダ内のパラメータ情報を、前記歪み抑制処理が１回も行われていないことを示す情報に書き換え、書き換え後のヘッダを含む符号化画像データを前記復号手段に供給するヘッダ情報変更手段とを備える。

本発明によれば、画質の低下を許容範囲に抑えつつ、復号処理の高速化させることができる。

画像圧縮部及び伸長部のブロック構成図。 系列変換部のブロック構成図。 系列変換部の処理手順を示すフローチャート。 画像中のタイル、マクロブロック、ブロックの関係を示す図。 系列変換処理を説明するための図。 周波数変換処理の処理手順を示すフローチャート。 周波数変換処理におけるブロック内の画素位置と、３つのフィルタの構造を示す図。 ブロックオーバラップ処理の処理対象を示す図。 着目ＤＣ成分Ｘの予測方法説明図。 ＤＣ成分の予測処理の処理手順を示すフローチャート。 ローパス成分予測を行なう処理対象のブロックのデータ配列を示す図。 ローパス成分予測処理の処理手順を示すフローチャート。 ローパス成分予測を行なうブロックのデータ配列とスキャン方向との関係図。 ハイパス成分予測処理の処理手順を示すフローチャート。 符号化データのデータ構造を示す図。 ブロックオーバラップ処理のフローチャート。 ブロックオーバラップ処理に関する回路構成を示す図。 デジタルカメラのブロック構成図。 デジタルカメラにおける処理のフローチャート。 蓄積装置のブロック図。 蓄積装置のフローチャート。 符号化処理と復号処理のフローチャート。 第２の実施形態の蓄積装置のブロック図。 第２の実施形態の蓄積装置の処理のフローチャート。 第３の実施形態の蓄積装置の処理のフローチャート。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。

［第１の実施形態］
特許文献１等をベースとした技術（ＪＰＥＧ ＸＲ）には、符号化の際のブロック歪み抑制機能がある。そして、その抑制処理はオプショナルであり、（１）全く行わない、（２）１回目の系列変換の前段で１回行う、（３）１回目の系列変換の前段で１、２回目の系列変換の前段でも１回行う、の３つの中から１つを指定可能となっている。（１）は歪み抑制の効果はないが高速に符号化でき、復号処理も高速である。（３）は強力な歪み抑制効果はあるが、符号化、復号処理は低速である。（２）は（１）と（３）の間としての位置づけになる。上記をまとめたのが図２２（ａ）である。同図において、「ＰＣＴ」となっている処理が系列変換（周波数変換）であり、「ＰＯＴ」が歪み抑制処理である。

復号（デコード）処理は符号化（エンコード）処理の逆であるため、通常、エンコード時に（１）を行えば、デコード時には歪み抑制処理は行わない。また（３）であれば、デコード時に２回歪み抑制処理を行うことになる。図２２（ｂ）は、このデコードの処理を示している。

本発明の主旨は、デコード処理の高速化であり、復号対象の符号化画像データがエンコード時に歪み抑制処理がかかっている場合に、意図的にその歪み抑制処理をスキップする。なお、エンコード時に歪み抑制処理が１回かかっており、且つ、デコード処理でその歪み抑制処理をスキップした上で画像をフル解像度で復号した場合、画質の低下はそれほど起きない。しかし歪み抑制処理２回かかっている符号化データを、デコード処理にてその歪み抑制処理を２回ともスキップすると、画質の低下は大きい。そこで本発明の実施形態では、エンコード処理で歪み抑制処理が１回かかった場合、デコード処理でスキップするようにする。

本実施の形態では、デジタルカメラで画像を撮影し、画像をＨＤＤレコーダのようなビューイング機能付き蓄積デバイスにコピーする。その上で蓄積デバイス中の画像をディスプレイで表示する場合を想定して説明する。そこで、先ず、デジタルカメラについて説明し、その後で蓄積装置における再生処理（復号処理）を説明する。

［デジタルカメラの説明］
デジタルカメラは図１８に示す構成を有する。すなわち、このデジタルカメラは、撮影部２２０１、撮影指示部２２０２、画像処理部２２０３、画像圧縮部２２０４、サイズ指定部２２０５、解像度判定部２２０６、出力部２２０７、階層モード指定部２２１０、リサイズ部２２１１を備える。また、デジタルカメラには、装置全体の制御手段として機能するＣＰＵ２２０８、及び、ＣＰＵ２２０８の実行するプログラム及びワークエリアとして使用するメモリ２２０９を備える。また、各種設定された情報も、このメモリ２２０９に格納される。なお、サイズ指定部２２０５、階層モード指定部２２１０は、不図示の操作パネルに設けられたボタン、もしくはメニュー選択により指定するものとする。また、撮影指示部２２０２はシャッターボタンと言えば分かりやすい。

実施形態におけるデジタルカメラにおいて、ユーザーは、撮影に先立ち、撮影画像の解像度（サイズ）をサイズ指定部２２０５にて設定できる。選択可能なサイズには、例えばＬ、Ｍ、Ｓの３通りがある。Ｌサイズは水平方向４０００画素、垂直方向３０００画素（以下、４０００×３０００画素という）であり、Ｍサイズは２０００×１５００画素、Ｓサイズは１６００画素×１２００画素である。すなわち、実施形態のデジタルカメラが有する撮像部２２０１には、４０００×３０００の解像度を持つ撮像素子が搭載されているものとする。選択したサイズは、メモリ２２０９の予め設定された領域に保存される。

上記の通り、サイズ指定部２２０５にて、解像度を設定した後、ユーザは撮影指示部２２０２に含まれるシャッターボタンを操作すると、指定された解像度の画像を撮影し、画像処理（ホワイトバランス処理等）を行ない、後述する符号化処理を行なう。そして、生成された符号化データを、出力部２２０７に接続された不揮発性のメモリカードに保存する処理を行なう。

図１９は、シャッターボタンが操作された際のＣＰＵ２２０８の処理手順を示すフローチャートである。なお、ＡＦ、ＡＥ等の処理は、本願には直接には関係がないので、その説明は省略する。以下、図１９のフローチャートに従って処理手順を説明する。

先ず、ＣＰＵ２２０８は、撮影部２２０１で得られた光電変換した信号をデジタルデータに変換し、その変換後のデータを画像データとして取得し（ステップＳ２３０１）、メモリ２２０９に一時的に格納する（ステップＳ２３０２）。

次に、ＣＰＵ２２０８は、画像処理部２２０３を制御し、メモリ２２０９に格納した画像データに対する画像処理を実行させる（ステップＳ２３０３）。この画像処理としては、ベイヤー配列のＲＧＢデータを正規の配列に変換する処理，ホワイトバランス、シャープネス，色処理などが考えられる。画像処理結果の画像データは、メモリ２２０９に再び格納される。画像処理が終了すると、処理はステップＳ２３０４に進み、設定されたサイズ情報をメモリ２２０９から取得し（ステップＳ２３０４）、ユーザーが指定したサイズを判定する（ステップＳ２３０５）。

もしサイズＬが指定されていれば（ステップＳ２３０５でYes)、画像圧縮に関する２つの情報、すなわち、系列変換情報ＳＣと符号列形成情報ＣＦそれぞれ対して“２”を設定し、画像圧縮部２２０４に設定する（ステップＳ２３０６）。つまり、系列変換情報ＳＣと符号列形成情報ＣＦは、画像圧縮部２２０４の圧縮符号化する際のパラメータと言うことができる。

なお、系列変換情報ＳＣと符号列形成情報ＣＦの詳細は後述するが、本実施形態における系列変換情報ＳＣについては“０”、“１”、“２”の３つがある。ここで、“２”は中間解像度の画質を向上させるための処理を指示する情報である。また、系列変換情報ＳＣは、後述する歪み抑制処理回数を示す情報としても利用される。符号列形成情報ＣＦは、“１”、“２”の２つがあり、“２”は中間解像度優先による符号列の形成を指示する情報である。系列変換情報ＳＣ、符号列形成情報ＣＦを共に“２”にした場合、複雑な処理が介在することになり、処理に要する時間も増える。しかし、サイズＬの画像の場合、その画素数が非常に多く、実際に表示する段階では、最高解像度で表示することは希であり、むしろ最高解像よりも数段低い中間解像度で表示する可能性が高いと言える。そこで、実施形態では、表示処理の後の処理に応じた処理を行なうため、サイズＬが設定された場合、上記のように、系列変換情報ＳＣ、及び、符号列形成情報ＣＦを共に“２”に設定する。

一方、指定されたサイズがＬ以外の場合（指定されたサイズがＭ、又はＳの場合）、処理はステップＳ２３０７に進み、指定サイズはＭであるか否かを判定する。サイズＭが設定されている場合、ステップＳ２３０８にて、系列変換情報ＳＣとして“１”、符号列形成情報ＣＦとして“１”を、画像圧縮部２２０４に設定する。

また、指定されたサイズがＭ以外、すなわち、サイズＳが設定されていると判定した場合、ステップＳ２３０９にて、系列変換情報ＳＣとして“０”、符号列形成情報ＣＦとして“１”を、画像圧縮部２２０４に設定する。

この後、処理はステップＳ２３１０に進み、画像圧縮部２２０４に対して圧縮処理を開始させる。この後、ステップＳ２３１４にて、ＣＰＵ２２０８は、生成された符号化データをファイルにして、メモリカードに格納する。

次に、実施形態における画像圧縮部２２０４の詳細を説明する。本実施形態の画像圧縮部２２０４は、先に示した特許文献１等の技術を採用し、階層構造を持つ階層符号化データを生成する。そこで、この技術の基本にしつつ、本実施形態の特徴部分を以下に説明する。

実施形態における画像圧縮部２２０４の構成を図１（ａ）に示す如く、色変換部１０１、系列変換部１０２、量子化部１０３、係数予測部１０４、係数スキャン部１０５、エントロピー符号化部１０６、符号列形成部１０７を有する。以下、実施形態における画像圧縮部２１０４の処理を説明するに先立ち、用語について定義する。ブロックとは符号化処理の最小単位であり、実施形態では４×４画素のサイズである。マクロブロックとはブロックを複数個内包する単位であり、実施形態では４×４個のブロック（言い換えれば、１６×１６画素）を示す。タイルとは、マクロブロックを複数個内包する単位であり、Ｍ×Ｎ個（Ｍ，Ｎは１以上の整数であって、いずれか一方は２以上の整数）のマクロブロックで構成される。実施形態では、Ｍ＝６、Ｎ＝４として説明する。すなわち、１タイルのサイズは、６×４個のマクロブロック＝９６×６４画素のサイズである。なお、ここで示すブロック、マクロブロック、タイルの定義は一例であって、それらのサイズによって本願発明が限定されるものではない。画像圧縮部２１０４は、タイルを単位に圧縮符号化データを生成するが、その処理における最小処理単位はブロック（４×４画素）である。

色変換部１０１はＲ、Ｇ、Ｂ（実施形態では各成分が８ビット＝２５６階調とする）データをＹ、Ｕ、Ｖの色空間に変換し、変換結果を系列変換部１０２に出力する。ＲＧＢ→ＹＵＶの変換は、例えば以下に示す変換式に従って行なう。
Ｖ＝Ｂ−Ｒ
ｔ＝Ｒ−Ｇ＋Ｃｅｉｌｉｎｇ（Ｖ／２）
Ｕ＝−ｔ
Ｙ＝Ｇ＋Ｆｌｏｏｒ（ｔ／２）
（ここで、Ｃｅｉｌｉｎｇ（ｘ）は実数ｘ以上であり、最小の整数を返す関数であり、Ｆｌｏｏｒ（ｘ）は実数ｘ以下で最大の整数を返す関数である）

符号化処理では、Ｙ，Ｕ，Ｖの各コンポーネントについて個別に実行される。そこで、説明を簡単なものとするため、以下では、Ｙ（輝度）について説明する。すなわち、以下の説明にて画像データとはＹコンポーネントで表わされる画像データを意味することに注意されたい（Ｕ，Ｖの各コンポーネントについては、適宜、置き換えて把握されたい）。

系列変換部１０２は、図２に示す如く、第１変換部２０１、第２変換部２０２、及び、メモリ２０３を有する。ここで、第１変換部２０１は必須の処理であり、且つ、系列変換部１０２の制御も司る。一方、第２変換部２０２はオプション的な処理であって、実行してもしなくて構わない。また、第２変換部２０２に処理を実行させるか否かのハンドリングは第１変換部２０１が行なう。第２の変換部２０２の処理を行なう場合、その分だけ符号化処理にかかる負担が増え、処理に要する時間も増えるが、画像復号した画質（特に、オリジナルの解像度よりも低い解像度の画像の画質）はより好ましいものとなる。メモリ２０３は先に説明した系列変換情報ＳＣを保持する。

Ｙコンポーネントデータは系列変換部１０２に入力されると、図４に示したようにまず画像はタイルのサイズに分割される（実施形態では、１つのタイルは６×４個のマクロブロックで構成される）。メモリ２０３には系列変換情報ＳＣ（０、１、２のいずれか）が格納されており、その情報に従って、第１変換部２０１、第２変換部２０２は、図３のフローチャートに従って処理を実行する。

先ず、ステップＳ４０１にて、第１変換部２０１は、系列変換情報ＳＣをメモリ２０３から取得する。そして、ステップＳ４０２において、第１変換部２０１は、その系列変換情報ＳＣが“０”であるか否かを判定する。系列変換情報ＳＣが“０”である場合、第１変換部２０１は、第２変換部２０２に対して変換処理を要求しない。そして、第１変換部２０１はステップＳ４０３、Ｓ４０４にて、周波数変換処理を２回実行する。この処理を、図５を用いて具体的に説明する。

先ず、１つのマクロブロックを構成する４×４個のブロックのそれぞれに対し、周波数変換処理を行なう（第１ステージ）。１つのブロックからは、１個のＤＣ成分（直流成分）データと１５（＝４×４−１）個のＡＣ成分（交流成分）データが得られる。上記の通り、１つのマクロブロックは４×４個のブロックで構成されているので、１つのマクロブロックからは４×４個のＤＣ成分データと、１５×４×４個のＡＣ成分データが得られる。この４×４個のＤＣ成分値を集めたものをＤＣブロックと言う。上記がステップＳ４０３の処理、すなわち、第１回目の周波数変換処理である。

次に、ステップＳ４０４の処理（第２回目の周波数変換処理）について説明する。ステップＳ４０４における第２回目の周波数変換対象は、上記のＤＣブロックである（第２ステージ）。この結果、ＤＣブロックから１個のＤＣ成分値と、１５個のＡＣ成分値が得られる。後者のＡＣ成分値は、ＤＣブロック（４×４画素）のＤＣ成分から算出したＡＣ成分であるので、図５ではＡＣＤＣ成分として示している。

なお、ステップＳ４０３、Ｓ４０４で生成される成分を区別するのであれば、１回目（ステップＳ４０３）で得られるＤＣ成分データ、ＡＣ成分データを、第１レベルのＤＣ成分データ、第１レベルのＡＣ成分データとも言う。そして、２回目（ステップＳ４０４）で得られるＤＣ成分データ、ＡＣＤＣ成分データを、第２レベルのＤＣ成分データ、第２レベルのＡＣ成分データとも言っても構わない。

ここで、周波数変換処理は図６のフローチャートに示す手順で行われる。なお、同フローチャートは１ブロック（４×４画素）についてのものである点に注意されたい。すなわち、マクロブロックは４×４ブロックで構成されているので、第１回目の周波数変換処理（ステップＳ４０３）では、図６のフローチャートに従った処理を１６回行なうことになる。また、図６のフローチャートにおけるステップＳ７１乃至Ｓ７８における変換処理（フィルタリング処理）は、図７（ｂ）乃至（ｄ）の同名の変換回路（フィルタリング回路）のいずれかで実行される。また、図６の各変換処理での引数ａ乃至ｐは、図７（ａ）の着目ブロック内の画素ａ乃至ｐの位置に対応する。

図６の最初の処理ステップＳ７１の変換処理Ｔ＿Ｈ（ａ，ｄ，ｍ，ｐ）は、図７（ｂ）の回路構成で実行することを示している。すなわち、図７（ｂ）の入力端子Ｘ１，Ｘ２，Ｘ３，Ｘ４に、図７（ａ）におけるａ，ｄ，ｍ，ｐをそれぞれセットし演算を開始させる。そして、出力端子Ｙ１、Ｙ２、Ｙ３、Ｙ４に現れる４つの値で、元のａ，ｄ，ｍ，ｐの値を更新する。ステップＳ７２乃至Ｓ７８も同様である。なお、ステップＳ７８では、データｌ，ｏの正負の符号を反転した後、Ｔ＿Ｏｄｄ＿Ｏｄｄ演算処理（図７（ｄ）参照）を行なうことを示している。

図６の処理をＤＣ成分について平たく言えば、最初の４つの処理（ステップＳ７１乃至７４）では、着目ブロック（４×４画素）のデータから、仮の低周波成分を左上隅の２×２の位置（図７ではａ，ｂ，ｅ，ｆの位置）に集中させる。そして、ステップＳ７５では、左上隅の｛ａ，ｂ，ｅ，ｆ｝の位置に格納された２×２個の仮低周波成分のデータを用いて、図７（ａ）の“ａ”の位置に、着目ブロックの１つのＤＣ成分を格納させる。また、１５個のＡＣ成分については、ステップＳ７１乃至Ｓ７８の処理過程を経て生成していることになる。

１回目の周波数変換処理では、図６の着目マクロブロックに含まれる１６個のブロックそれぞれについて行なう。また、２回めの周波数変換処理では、着目マクロブロックから得られたＤＣブロック（４×４個のＤＣ成分値）が、図７（ａ）の配列にあるものと見なし、図６のフローチャートに示す処理を１回行なえば良いことになる。

上記の通り、２回の周波数変換処理で、１つのマクロブロックからは、１つのＤＣ成分、１５（＝４×４−１）個のＡＣＤＣ成分、２４０（＝１５×４×４）個のＡＣ成分が得られる。当業者であれば容易に理解できるように、このマクロブロックのＤＣ成分の符号化データのみを復号して得られる画像のサイズは、オリジナル画像のサイズの水平、垂直とも１／１６のサイズとなる。そして、ＤＣ、ＡＣＤＣ成分の符号化データのみを復号して得られる画像のサイズは、オリジナル画像のサイズの水平、垂直とも１／４のサイズとなる。そして、ＤＣ、ＡＣＤＣ、及び、ＡＣ成分の全ての符号化データを用いて復号するとオリジナルと同じサイズの画像を復号できることになる。

なお、実施形態における符号化処理では、タイル単位に符号化データを生成する。実施形態では、１タイルは６×４個のマクロブロックで構成されるものとしているので、上記ステップＳ４０３、Ｓ４０４はこの１タイルに含まれるマクロブロックの数だけ処理することになる。

図３の説明に戻る。ステップＳ４０２において、第１変換部２０１は、メモリ２０３から取得した系列変換情報ＳＣが“０”以外、すなわち、ＳＣ＝１又は２であると判断した場合、ステップＳ４０５に進む。ステップＳ４０５では、第１変換部２０１は、第２変換部２０２に対して変換処理の開始指示を行なう。

この第２変換部２０２の処理は、第１変換部２０１がブロック単位の演算を基礎にしていることに起因するブロック境界の歪みを補正するため、ブロックの境界を跨ぐ（オーバーラップする）範囲で補正処理を行なう。それ故、この第２の変換部２０２が実行する処理を以降、ブロックオーバラップ処理という。

第１変換部２０１によって起動指示を受けた第２変換部２０２は、図８に示したように入力タイル中のブロック（４×４画素）の境界を跨ぐ（オーバーラップする）ｗｉｎｄｏｗを用いてブロックオーバラップ処理を行なう（ステップＳ４０５）。このブロックオーバラップ処理は、図１６のフローチャートに示す通りである。図１６には、先に示した図６のフローチャートで示した処理に加えて、２つのフィルタ処理、すなわち、Ｔ＿ｓ（）、及び、Ｔ＿Ｒｏ（）が新に追加される。このＴ＿ｓ（）、及び、Ｔ＿Ｒｏ（）は図１７（ａ），（ｂ）の回路構成で実現する。Ｔ＿ｓ（）、Ｔ＿Ｒ処理は、２入力、２出力のフィルタリング処理である。ブロックオーバラップ処理は、先に説明した周波数変換処理の処理対象のブロックを跨ぐ範囲を処理対象とすることで、周波数変換するブロック境界での不連続性の発生を抑制できる。

この後、処理は、ステップＳ４０６に進み、第１変換部２０１は、周波数変換処理を１回を行なう。このステップＳ４０６における周波数変換処理は、図５のマクロブロックに相当する領域内の４×４個のブロックそれぞれについて周波数変換を行なうものである。すなわち、ステップＳ４０３と同様に、１６個のブロックを周波数変換し１６個のＤＣ成分と、２４０個のＡＣ成分を算出する処理である。実施形態の場合、１つのタイルに含まれるマクロブロックの数は６×４個であるので、上記処理を２４回実行することになる。

次に、ステップＳ４０７において、第１変換部２０１は、メモリ２０３から取得した系列変換情報ＳＣが“１”であるか否かを判断する。“１”であると判断した場合には、ステップＳ４０９に処理を進める。一方、“１”以外、すなわち、系列変換情報ＳＣが“２”であると判断した場合、処理はステップＳ４０８に進み、第２変換部２０２に対して、２回めのブロックオーバラップ処理（図１６参照）を実行させる。なお、ステップＳ４０８における第２変換部２０２が実行するブロックオーバラップ処理の処理対象となるのは、６×４個のＤＣブロックとなる。ステップＳ４０９では、２回目の周波数変換処理を実行する。この２回めの周波数変換処理はステップＳ４０４と同じである。但し、処理対象は、ステップＳ４０６、もしくはステップＳ４０８の処理を経た１タイルに含まれる複数のＤＣブロックの集合に対して行なう。すなわち、１つのタイルは６×４個のマクロブロックを内包し、１マクロブロックからＤＣブロックが１個生成される。従って、２４個のＤＣブロックについて周波数変換を行なうことになる。

以上の処理をまとめると、本実施形態のマクロブロックに対する処理は次の通りである。
・撮影する画像サイズがＳサイズの場合：
周波数変換処理→周波数変換処理
・撮影する画像サイズがＭサイズの場合：
ブロックオーバラップ処理→周波数変換処理→周波数変換処理
・撮影する画像サイズがＬサイズの場合：
ブロックオーバラップ処理→周波数変換処理→ブロックオーバラップ処理→周波数変換処理
以上説明したのが、図１（ａ）における系列変換部１０２の処理である。系列変換部１０２は上記の変換結果を、後続する量子化部１０３に出力する。量子化部１０３は、Ｑパラメータ（以下ＱＰと呼ぶ）を設定し、この設定されたＱＰと以下の変換式に従って量子化ステップを算出する。
QPindex≦１の場合 QP=QPindex
QPindex＞１６の場合 QP=((QPindex % 16) + 16) << ((QPindex >> 4) -1)
（ここで、x%yは、除算x/yの商を返す関数である。また、x<<yは値ｘを左（上位）方向にｙビットシフトする関数であり、x>>yは値ｘを右（下位）方向にｙビットシフトする関数である）

なお本実施の形態では、ここで述べるＱＰの設定方法としては、以下の３つの自由度があり、これらの組み合わせでＱＰを設定できるものとする。
・自由度軸１：空間的自由度：
１．１ 画像中全マクロブロックに対して同一のＱＰを設定．
１．２ タイル内における全マクロブロックに対して同一のＱＰを設定．
１．３ タイル内の各マクロブロックに対して自由にＱＰを設定．
・自由度軸２：周波数的自由度：
２．１ 全周波数成分に対して同一のＱＰを設定．
２．２ ＤＣ成分とローパス成分（ＡＣＤＣ成分）に対して同一のＱＰを設定、ハイパス成分（ＡＣ成分）には異なるＱＰを設定．
２．３ ローパス成分とハイパス成分で同一のＱＰを設定、ＤＣ成分には異なるＱＰを設定．
２．４ 各周波数成分に異なるＱＰを設定．
・自由度３：カラープレーン的自由度：
３．１ 全カラープレーンでＱＰを同一に設定．
３．２ 輝度プレーンに１つのＱＰを設定、輝度以外のプレーンに対して同一のＱＰを設定．
３．３ 各プレーン別々にＱＰを設定．

例えば、従来のＪＦＩＦにおける量子化は、空間的自由度では１．１であり、カラープレーン的自由度では３．２である。なお、ＪＦＩＦではマクロブロック中、各係数に量子化ステップを割り当てるため、周波数的自由度にはあてはまる項目はない。

さて、上記のようにして量子化部１０３による量子化処理を終えると、量子化後のデータを係数予測部１０４に出力する。係数予測部１０４は、係数予測を行い、その予測誤差を出力する。係数予測では、ＤＣ成分，ローパス成分（ＡＣＤＣ成分），ハイパス成分（ＡＣ成分）それぞれ別個のルールに基づいて実施する。なお、予測演算の方法は各タイル単位で決定されて、また、隣接タイルの係数を使わない。以下、係数予測部１０４による各成分の予測演算について説明する。

（１）ＤＣ成分予測
先に説明したように、実施形態の場合、１つのタイルは６×４個のマクロブロックで構成される。１つのマクロブロックからは１つのＤＣ成分（図５参照）が得られるわけであるから、１つのタイルからは６×４個の量子化処理済みのＤＣ成分が得られる。係数予測部１０４のＤＣ成分予測処理（予測誤差算出処理）は次の通りである。

１タイル内のＤＣ成分値をラスタースキャンする。図９は、タイル内のスキャン処理中の着目マクロブロックのＤＣ成分Ｘと、相対的に隣接する近傍ＤＣ成分Ｄ、Ｔ、Ｌの関係を示している。ラスタースキャンするわけであるから、着目ＤＣ成分Ｘの近傍に位置する近傍ＤＣ成分Ｄ、Ｔ、Ｌは、既に予測処理（予測誤差算出）を終えた位置にあることになる点に注意されたい。なお、着目ＤＣ成分Ｘが、左上隅位置にあるとき、近傍ＤＣ成分Ｄ、Ｔ、Ｌの全てはタイル外に位置する。また、着目ＤＣ成分Ｘが、左上隅位置以外の１ライン目にあるとき、近傍ＤＣ成分Ｄ、Ｔはタイル外に位置する。そして、着目ＤＣ成分Ｘが、左上隅位置以外の左端にあるとき、近傍ＤＣ成分Ｄ、Ｌはタイル外に位置する。このように、参照すべきタイル外にある近傍ＤＣ成分は、所定値（例えば、“０”）を持つものとみなす。この所定値は、画像復号装置と同じになれば良いので、必ずしも“０”でなくても構わない。

以下、図１０のフローチャートに従ってタイル内のＤＣ成分予測処理を説明する。

先ず、ステップＳ１２０１では、近傍ＤＣ成分値であるＤとＴの差分絶対値（水平方向差分絶対値）ＡＢＳ＿ＨＯＲを算出し、近傍ＤＣ成分値であるＤとＬの差分絶対値（垂直方向差分絶対値）ＡＢＳ＿ＶＥＲを算出する。そして、ステップＳ１２０２にて、ＡＢＳ＿ＨＯＲ＜＜ＡＢＳ＿ＶＥＲであるか、すなわち、ＡＢＳ＿ＨＯＲがＡＢＳ＿ＶＥＲより十分に小さいか否かを判断する。具体的には、或る正の閾値Ｔｈを用い、次式を満たす場合に、ＡＢＳ＿ＨＯＲがＡＢＳ＿ＶＥＲよりも十分に小さいと判断する。
ＡＢＳ＿ＨＯＲ−ＡＢＳ＿ＶＥＲ＜Ｔｈ

ステップＳ１２０２の処理を平たく説明するのであれば、着目タイル（図示のＸの位置）近傍では、垂直方向よりも、水平方向に似通った画像が連続しているか否かを判断するものである。従って、ステップＳ１２０２にて、ＡＢＳ＿ＨＯＲ＜＜ＡＢＳ＿ＶＥＲであった場合、処理はステップＳ１２０３に進み、着目ＤＣ成分Ｘの予測値Ｐとして左隣のＤＣ成分Ｌを用いることに決定する。また、ステップＳ１２０２にて、Ｎｏと判断された場合、ステップＳ１２０４に処理を進める。このステップＳ１２０４では、ＡＢＳ＿ＨＯＲ＞＞ＡＢＳ＿ＶＥＲであるか、すなわち、ＡＢＳ＿ＶＥＲがＡＢＳ＿ＨＯＲより十分に小さいか否かを判断する。これは、ステップＳ１２０２と同様であり、次式を満たす場合に、ＡＢＳ＿ＶＥＲがＡＢＳ＿ＨＯＲよりも十分に小さいと判断する。
ＡＢＳ＿ＶＥＲ−ＡＢＳ＿ＨＯＲ＜Ｔｈ

ＡＢＳ＿ＶＥＲ＜＜ＡＢＳ＿ＨＯＲであった場合（ステップＳ１２０４がＹｅｓの場合）、着目ＤＣ成分Ｘと垂直方向に隣に位置するＤＣ成分Ｔとの差が小さくなる確率が高いと言える。従って、処理はステップＳ１２０５に進み、着目ＤＣ成分Ｘの予測値Ｐとして上隣のＤＣ成分Ｔを用いることに決定する。また、ステップＳ１２０４にて、Ｎｏと判断された場合、ステップＳ１２０６に進み、着目ＤＣ成分Ｘの予測値Ｐとして、（Ｔ＋Ｌ）／２を用いることに決定する。なお、（Ｔ＋Ｌ）／２の算出は、Ｔ＋Ｌを算出し、その後で、１ビット下位方向にシフトすることで得られる（小数点以下は切り捨て）。

上記のステップＳ１２０３、１２０５、１２０６のいずれかによって着目ＤＣ成分Ｘの予測値Ｐが求まると、ステップＳ１２０７にて、着目ＤＣ成分Ｘと予測値Ｐとの差分を予測誤差として算出する。この後、処理はステップＳ１２０８に進み、着目タイル内の全ＤＣ成分の予測誤差算出を終えたか否かを判断する。この判断が否（Ｎｏ）の場合には、ステップＳ１２０９にて、着目ＤＣ成分Ｘの位置を次の位置に更新し、ステップＳ１２０１に戻る。以上のようにして、着目タイル内の６×４個のＤＣ成分の予測誤差算出処理が行われる。

（２）ローパス成分（ＡＣＤＣ成分）予測
図１１は、１つのマクロブロックの量子化後のＡＣＤＣ成分値の配列を示している。この配列は、１つのマクロブロックに対して、２回めの周波数変換を行なったＡＣＤＣ成分値（図５参照）でもある。ローパス成分の予測処理の対象となるのは、図１１における｛１，２，３｝で示されるＡＣＤＣ成分か、同図の｛４、８、１２｝で示されるＡＣＤＣ成分のいずれか一方である。例えば、図１１におけるＡＣＤＣ成分｛４，８，１２｝を予測処理すると決定された場合、それ以外の｛１，２，３，５，６，７，９，１０，１１，１３，１４，１５｝の位置のＡＣＤＣ成分は予測誤差算出処理は行なわない。なお、着目マクロブロックが、タイル内の左端や上端の位置にあるとき、参照する着目マクロブロックに隣接するマクロブロックは存在しない。このように参照すべきマクロブロックが存在しない場合、その存在しないマクロブロックでは、｛１、２、３｝を予測誤差算出対象として処理したものと見なす。但し、｛４、８、１２｝を予測誤差算出対象としても構わない。要するに、符号化側と復号側で共通にすればよい。

図１２は、ローパス成分予測処理の処理手順を示すフローチャートである。以下、このフローチャートに従って説明する。ステップＳ１４０１では、着目ブロックの左隣のマクロブロックのＤＣ予測方向が水平方向であり、且つ、着目マクロブロックのＤＣ成分の量子化パラメータＱＰ＿Ｃと、着目マクロブロックの左隣のマクロブロックのＤＣ成分の量子化パラメータＱＰ＿Ｌとが等しいか否かを判断する。この２つの条件を満たす場合（ステップＳ１４０１の判断やＹｅｓ）、着目ブロックの予測方向を水平方向として決定する。すなわち、図１１における｛１，２，３｝を予測誤差算出対象として決定し、それ以外は予測誤差算出対象外にする（ステップＳ１４０２）。そして、ステップＳ１４０５にて、予測誤差算出を行なう。また、ステップＳ１４０１でＮｏと判断された場合、ステップＳ１４０３に処理を進める。このステップＳ１４０３では、着目ブロックの上隣のマクロブロックのＤＣ予測方向が垂直方向であり、且つ、着目マクロブロックのＤＣ成分の量子化パラメータＱＰ＿Ｃと、着目マクロブロックの上隣のマクロブロックのＤＣ成分の量子化パラメータＱＰ＿Ｔとが等しいか否かを判断する。この２つの条件を満たす場合、着目ブロックの予測方向を垂直方向として決定する。すなわち、図１１における｛４，８，１２｝を予測誤差算出対象として決定し、それ以外は予測誤差算出対象外にする（ステップＳ１４０４）。そして、ステップＳ１４０５にて、予測誤差算出を行なう。また、ステップＳ１４０３の判断がＮｏの場合、着目マクロブロック内のＡＣＤＣ成分については予測誤差算出は行なわず、本処理を終える。

（３）ハイパス成分（ＡＣ成分）予測
図１３（ａ）乃至（ｃ）はハイパス成分の予測方向（３通り）を示す図である。ここで言うハイパス成分は、図５における１回めの周波数変換した際に得られた４×４個のブロックの各ＤＣ成分を除いたＡＣ成分である（図５参照）。また、周波数変換した１つのブロックは、１つのＤＣ成分と、１５個のＡＣ成分が得られるが、図示では、このＡＣ成分についてその配列の位置を示すため、１乃至１５の番号を付した。また、ハイパス成分の予測を求める対象は、図１３（ａ）における｛１、２、３｝のＡＣ成分、｛４、８、１２｝のＡＣ成分のいずれかになる。例えば、｛１、２、３｝のＡＣ成分について予測誤差を求めると決定した場合、｛４、５、６、…、１５｝のＡＣ成分は予測誤差算出対象外にする。

図１４は、ハイパス成分の予測処理を示すフローチャートであり、以下、同図に従って説明する。

着目タイルの各ブロックの左端の｛４、８、１２｝の位置のＡＣ成分値のエネルギー値Ｅ＿Ｌと、着目タイルの各ブロックの上端の｛１，２，３｝のエネルギー値Ｅ＿Ｔを求める。着目タイルには、４×４個のブロックが存在する。Ｅ＿Ｌ値は、１６個のブロックの｛４、８、１２｝の位置にあるＡＣ成分の絶対値の合計値で良い。また、Ｅ＿Ｔ値は、１６個のブロックの｛１、２、３｝の位置にあるＡＣ成分の絶対値の合計値で良い。ステップＳ１６０１では、Ｅ＿ＬがＥ＿Ｔに対して十分に小さいか否かを判定する。予め設定された正の閾値Ｔｈを用い、次式を満たすか否かを判定すればよい。
Ｅ＿Ｌ−Ｅ＿Ｔ＜Ｔｈ

Ｅ＿Ｌ＜＜Ｅ＿Ｔであると判断した場合、着目ブロックのＡＣ成分の予測誤差を求める方向は水平方向に決定し、ステップＳ１６０２にて各ブロックの｛４、８、１２｝の位置にあるＡＣ成分を、図１３（ａ）に示す水平方向にスキャンし、予測誤差を求める。

また、ステップＳ１６０１の判定がＮｏの場合、処理はステップＳ１６０５に進み、Ｅ＿ＴがＥ＿Ｌに対して十分に小さいか否かを判定する。上記の閾値Ｔｈを用い、次式を満たすか否かを判定すればよい。
Ｅ＿Ｔ−Ｅ＿Ｌ＜Ｔｈ

ステップＳ１６０５にて、Ｅ＿Ｔ＜＜Ｅ＿Ｌであると判断した場合、着目ブロックのＡＣ成分の予測誤差を求める方向は垂直方向に決定する。そして、ステップＳ１６０４にて各ブロックの｛１、２、３｝の位置にあるＡＣ成分を、図１３（ｂ）に示す水平方向にスキャンし、予測誤差を求める。

また、ステップＳ１６０３の判断がＮｏの場合、着目マクロブロックのＡＣ成分については予測誤差算出は行なわない（図１３（ｃ））。なお、１つのタイルは、実施形態の場合、６×４個のマクロブロックが含まれるので、最終的に出力されるタイル毎の符号化データのヘッダには、各マクロブロックのスキャン方向が水平、垂直、スキャン無しの情報を格納しておく。

以上が係数予測部１０４の処理の説明である。この係数予測部１０４による予測処理の結果、ＤＣ成分、ＡＣＤＣ成分、ＡＣ成分の各予測誤差と、予測誤差を算出しなかった複数の成分値が係数スキャン部１０５に出力される。

係数スキャン部１０５は、１タイル分の上記の情報を格納するバッファを有し、各成分（予測誤差、予測誤差を算出していない成分値）を、ＪＰＥＧ方式の係数スキャンと同様にジグザグスキャンを行い、内部バッファ内に並べ替える。この詳細については、本発明の本質ではないので省略する。

エントロピー符号化部１０６は、係数スキャン部１０５内の内部バッファに並べられた値についてエントロピー符号化を行なう（ハフマン符号語の割り当て処理を行なう）。本実施形態においては、ＤＣ成分については、隣り合うブロック間で差分を取った上で差分値をハフマン符号する。ローパス成分，ハイパス成分についてはジグザグスキャン順に沿って、ゼロランの乱数と非ゼロ係数の組み合わせに対して２次元ハフマン符号化を実施する。２次元ハフマン符号化については、ＪＰＥＧと同様な手法で行うものとする。

１つのタイルのエントロピー符号化を終えると、符号列形成部１０７はエントロピー符号化の結果となる符号化データを並べ変え、先頭にヘッダをつけて符号列を形成する処理を行なう。

実施形態における１タイルの符号列の配列形式は２種類ある。１つは、スペーシャルモード（空間順符号列）であり、もう１つはフリークエンシーモード（解像度順符号列）である。スペーシャルモードは、図１５（ａ）に示したとおり、タイル内においてラスタースキャン順にマクロブロック単位にデータを並べたデータ構造である。１つのマクロブロックのデータは、ＤＣ、ＡＣＤＣ，ＡＣの符号化データの順である。一方、フリークエンシーモードは、図１５（ｂ）に示すように、タイル内の各ＤＣ成分の符号化データを並べ、後続してＡＣＤＣ成分の符号化データ、そして、ＤＣ成分の符号化データの並べる。つまり、低周波から高周波に向かう順に符号化データを並べる。

スペーシャルモードは、オリジナル画像を最初から再現する際に都合の良いフォーマットである。一方、後者、すなわち、フリークエンシーモードは、オリジナルの画像の解像度よりも低い解像度（中間解像度）の画像を再現する場合に都合が良い。すなわち、徐々に解像度をあげて再現する場合に適したものと言える。なお、図１５（ｂ）におけるフリークエンシーモードの符号化データ中の「ＦＬＥＸＢＩＴＳ」について簡単に説明する。各成分値（予測誤差値を含む）は、その成分値を表わす多ビットの或るビット位置を境にし、その上位ビット群と下位ビット群に分ける。上位ビット群は、連続して同じ値になる確率が高いので符号化対象とする。下位ビット群で表わされる値は、連続性が無いので符号化しない。ＦＬＥＸＢＩＴＳは、各成分値（予測誤差値を含む）の下位ビットの未符号化のデータで構成されるものである。

さて、本実施形態では、先に説明した符号列形成情報ＣＦが“２”の場合、フリークエンシーモードに従った順に符号化データを並べて符号系列を生成する。一方、符号列形成情報ＣＦが“１”の場合には、スペーシャルモードに従った符号系列を生成する。かかる点を平たく言えば、符号化対象の画像の解像度が高い（実施形態では、サイズＬ以上）の画像を符号化する場合、その画像を構成している画素が非常に多く、一般的に、ユーザは、それよりも低い解像度の画像を見る（復号する）可能性が高いので、フリークエンシーモードに従った符号列を形成するようにした。一方、サイズＬ未満の場合には、スペーシャルモードに従った符号列を形成するようにした。

なお、フリークエンシーモードとスペーシャルモードを決定する際の閾値として、実施形態では、サイズＬ以上か未満かで決定するものとしたが、サイズＭ以上かそれ未満かとしても構わない。特に、昨今のデジタルカメラは、撮像可能な画素数は増える一方であり、撮影できるサイズも３種類ではなく、４種類以上も備えることになるであろうから、ユーザが閾値となるサイズ（画素数）を設定するようようにしても構わない。いずれにしても、どの解像度以上からスペーシャルモードにするかの設定情報は、不揮発性メモリに保持し、この保持された情報に従って、符号列を形成する。

当業者であれば容易に理解できるように、スペーシャルモードの場合、マクロブロック単位に符号列を形成できるので、符号系列の生成は比較的簡単な処理である。一方、フリークエンシーモードは、タイル全体の符号化が終了しないと、符号列を生成することができないので、その分だけ処理に時間を要する。ただ、後者の方法を取ることで、復号再生の初期段階で縮小画像を表示することができるため、アプリケーションとしての価値を高めることが可能となる。

なお、フリークエンシーモードとスペーシャルモードは、１つの画像について一義的に決まるので、ファイルヘッダに、いずれのモードであるかを示す情報を格納することになる。また、ファイルヘッダには、これ以外にも、ＱＰ，予測方法，ハフマン符号化のテーブルをはじめ、上記の系列変換情報ＳＣ、すなわち、ブロック境界の歪み抑制処理回数も格納されている。また、タイルヘッダには、ＡＣ成分の予測処理におけるスキャン方向を示す情報が格納されることになる。

以上説明したように、撮影する画像のサイズが大きいほど、系列変換部１０２はブロックオーバラップ処理の実行回数（最大２回）を多くする。この結果、中間解像度で再現する画像のブロックノイズが目立つことが無くなり、良好な画像を再現できるようになる。また、撮影する画像のサイズがＬサイズ以上の場合、生成される符号列のデータ構造がフリークエンシーモードとなる。従って、オリジナルの解像度（実施形態では４０００×３０００画素）だけでなく、それより低い中間解像度（実施形態では、１０００×７５０画素、約２５０×１９０画素）の画像を復号可能となる。つまり、オリジナルの解像度を含む、３種類の解像度の画像を、間引きや補間処理といった負荷の大きい処理を介在せずに、符号化データファイルからダイレクトに復号することができる。

［蓄積装置の説明］
次に、図２０を参照し、上記のデジタルカメラで撮像し、符号化された画像データを蓄積する蓄積装置の構成とその処理内容を以下に説明する。この蓄積装置は、ＨＤＤレコーダーのような蓄積デバイスであり、デジタルカメラで撮影し、符号化された画像データファイルを蓄積、管理すると共に、その画像の表示出力機能を合わせ持つものである。蓄積装置は、表示部２５０１、画像圧縮／伸長部２５０２、画像処理部２５０３、出力部２５０４、メモリ２５０５、操作部２５０６、ヘッダ解析操作部２５０７、ＣＰＵ２５０８、ＨＤＤ２５０９、及び、入力部２５１０を有する。ここで、入力部２５１０は、先に説明したデジタルカメラと通信するインタフェース、もしくは、デジタルカメラから抜き出したメモリカードをセットするカードリーダである。そして、この入力部２５１０から入力された画像データはＨＤＤ２５０９に蓄積される。また、操作部２５０６には、各種スイッチや操作ボタンが設けられており、その中に高速表示指示部２５０６ａが有る。

以下、操作部２５０６から画像の復号が指示された（再生が指示された）場合のＣＰＵ２５０８の処理フローを図２１のフローチャートを用いて説明する。

画像の復号指示が発生した場合、ＣＰＵ２５０８は復号対象の符号化画像データをＨＤＤ２５０９からメモリ２５０５へコピーする（ステップＳ２６０１）。その後、高速表示指定部２５０６ａによる高速表示（高速復号）の指定があるかどうかを判断する（ステップＳ２６０２）。もし高速表示が非指定の場合（ステップＳ２６０２でＮｏ）、画像圧縮／伸長部２５０２で該当画像を通常通り復号する（ステップＳ２６０６）。ここでは原画像と同じ解像度で復号するものとする。ステップＳ２６０２でＹｅｓであれば、復号対象の画像符号化データのファイルヘッダを解析する（ステップＳ２６０３）。そして、ヘッダ内の系列変換情報ＳＣを抽出し、その情報ＳＣが１であるかどうかを判定する（ステップＳ２６０４）。ＳＣ情報が１以外（０又は２である）場合、該当符号化画像データを通常通り画像圧縮／伸長部２５０２に供給することで復号させる（ステップＳ２６０６）。一方、ＳＣ情報が１である場合（ステップＳ２６０４でＹｅｓ）、ヘッダ内のＳＣ情報を“０”に書き換える（ステップＳ２６０５）。そしてヘッダ情報変更後のヘッダを含む符号化画像データを画像圧縮／伸長部２５０２に要求することで復号させる（ステップＳ２６０６）。復号された画像は、表示部２５０１で表示する（ステップＳ２６０７）。

画像圧縮／伸長部２５０２は圧縮部及び伸長部で構成され、圧縮部は、既に説明したデジタルカメラと同様であるので、以下では、伸長部（復号処理部）の構成とその処理内容を説明する。

画像圧縮／伸長部２５０２の伸長部は、図１（ｂ）に示すように、復号情報取得部２１０１、エントロピー復号部２１０２、係数展開部２１０３、係数逆予測部２１０４、逆量子化部２１０５、逆系列変換部２１０６、逆色変換部２１０７を有する。

復号情報取得部２１０１に符号列が入力されると、符号列中のヘッダ情報が解析される。この解析処理により、ＦＬＥＸＢＩＴＳ情報、符号列順情報（フリークエンシー／スペーシャル）、量子化パラメータ情報、オーバーラップ処理回数（第１の実施形態における情報ＳＣに相当する）などの符号化条件に関する情報が取得される。また、復号情報取得部２１０１は、復号対象の符号列（ステップＳ２５０３で決定した復号対象符号列）を指定する情報も入力する。そして、この指定された符号列を、後続するエントロピー復号部２１０２に出力する。すなわち、指定された符号列以外はエントロピー復号部２１０２に出力しない
エントロピー復号部２１０２では、入力した符号列をエントロピー復号を行い、復号結果を係数展開部２１０３へ出力する。係数展開部２１０３では、エンコード時の係数スキャンにより係数の並べ替えが行われているので、その逆を行い、ラスタースキャン順に戻す。係数逆予測部２１０４では、量子化ステップ情報などを基に、エンコード時の予測演算の逆演算を行って量子化インデックス（量子化された係数）を生成する。逆量子化部２１０５では量子化インデックスに対して逆量子化を行って係数を生成し、逆系列変換部２１０６では図３のフローチャートの逆の処理を行って、色変換データを生成する。逆色変換部２１０７では、色変換データに対して逆色変換を行い、復号画像を生成する
以上説明したとおり、本実施の形態においてはヘッダ中のデータを書き変えることで、情報ＳＣが１である場合、すなわち、該当する逆オーバーラップ処理（図２２（ｂ）の１ｓｔ Ｌｅｖｅｌ逆ＰＯＴ）をスキップする。この結果、復号画像は本来の画質とはならないものの、復号処理は短時間で済ませることができる。

［第２の実施形態］
第１の実施の形態においては画像をフル解像度で復号する場合の方法を示した。実際には復号側では中間解像度で表示する場合もある。本実施の形態では、中間解像度で復号する場合も含めて処理を行う復号装置について説明する
ＬＰサイズ（ＤＣ＋ＡＣＤＣ成分）までの画像を復号する場合、エンコード時にＰＯＴが２回かかっている場合、２回目のブロック歪み抑制処理をスキップすることができ、高速化を実現できる。

本実施形態では第１の実施形態と同様な処理システムを想定する。異なる点は、図２３に示すように、再生（復号）する際の解像度を指定する復号解像度指定部２５０６ｂが操作部２５０６に設けられた点と、その処理内容である。この復号解像度指定部２５０６は、符号化画像データのＤＣ成分のみの画像（以下、ＤＣ画像）、ＤＣ＋ＡＣＤＣ成分のみの画像（以下、ＬＰ画像）、及び、ＤＣ＋ＡＣＤＣ＋ＡＣの全成分を用いた画像（以下、フル解像度画像）の３通りから指定するものとする。以下、本第２の実施形態における蓄積装置におけるＣＰＵ２５０８の処理手順を、図２４のフローチャートに従って説明する。

操作部２５０６を介して、ユーザーから復号すべき画像を指定されると、ＨＤＤ２５０９内の該当する画像をメモリ２５０５へコピーする（ステップＳ３１０１）。さらに復号解像度指定部２５０６ｂで指定された復号すべき解像度の情報を取得する（ステップＳ３１０２）。この解像度情報は、先に説明したようにＤＣ画像、ＬＰ画像、フル解像度画像のいずれかが指定されるものとする。もし復号すべき解像度がＤＣ画像であると判定した場合（ステップＳ３１０３でYes）、画像圧縮／伸長部２５０２でＤＣ成分のみを復号する（ステップＳ３１０４）。

また、復号すべき画像サイズがＤＣ画像ではない場合（ステップＳ３１０３でＮｏ）、ＬＰ画像か否かを判断する（ステップＳ３１０５）。もしＬＰ画像であれば（ステップＳ３１０５でＹｅｓ）、高速表示指示部２５０６ａによる高速表示が指定されているかどうかを判断する（ステップＳ３１０６）。もし高速表示が非指定であれば（ステップＳ３１０６でＮｏ）、ＤＣ成分とＬＰ成分を復号する（ステップＳ３１０７）。もし指定されていれば（ステップＳ３１０６でＹｅｓ）、ヘッダ中のＳＣ情報が２であるかどうかを判断する（ステップＳ３１０８）。もし２であれば（ステップＳ３１０８でＹｅｓ）、高速化のためにＳＣ情報に“０”（又は“１”）を設定し（ステップＳ３１０９）、復号する（ステップＳ３１０７）。２以外であれば（ステップＳ３１０８でＮｏ）、そのまま復号する（ステップＳ３１０７）。なお、ヘッダのＳＣ情報が“２”の場合に、それを“０”に変更しても、“１”に変更しても結果は同じである。理由は、ステップＳ３１０７では、ＤＣ，ＡＣＤＣ成分のみしか復号しなからである。

また、ステップＳ３１０５にて、もし復号サイズがＬＰ画像以外、すなわち、フルサイズ画像であると判断された（ステップＳ３１０５でＮｏ）、高速表示が指定されているかどうかを判断する（ステップＳ３１１０）。もし指定されていなければ（ステップＳ３１１０でＮｏ）、フル解像度を復号する（ステップＳ３１１１）。もし指定されていれば（ステップＳ３１１０でＹｅｓ）、ヘッダ中のＳＣ情報が１であるかどうかを判断する（ステップＳ３１１２）。もし１であれば（ステップＳ３１１２でＹｅｓ）、高速化のためにＳＣ情報に０を設定し（ステップＳ３１１３）、復号する（ステップＳ３１１１）。１以外であれば（ステップＳ３１１２でＮｏ）、そのまま復号する（ステップＳ３１１１）。そして、生成された復号画像は表示部２５０１で表示される（ステップＳ３１１４）。

以上、本第２の実施形態においては、様々な解像度に対しても、復号処理を高速化する例を説明した。

［第３の実施形態］
第１，２の実施の形態においては、ヘッダ情報を書き変えることで高速処理を実現する方法を示した。本実施の形態においては、エンコーダ側では歪み補正処理（ＰＯＴ処理）の回数を０，１，２のいずれかを用いて圧縮するものとする。デコーダ側では、内部でＰＯＴのオンとオフを切り替えることで、復号処理の高速化を達成する。なお本実施の形態では原画像と同じ解像度で復号することを想定し、2nd level逆ＰＯＴをスキップすると、画質への影響が大きいので、スキップするＰＯＴは1st level 逆ＰＯＴのみとする。

符号化処理については第１の実施形態と概略同じであるので、説明を割愛する。また復号処理についてはブロック図については第１の実施形態と概略同じであるのでその説明も割愛し、以下では、蓄積装置のＣＰＵ２２０８の処理フローを図２５のフローチャートに従って説明する。

ＣＰＵ２２０８は、符号化データ、及び、高速再生表示か否かを示す処理スピードモード情報を取得すると（ステップＳ２７０１）、エントロピー復号と逆量子化を行う（ステップＳ２７０２）。続いてＤＣ成分、ＡＣＤＣ成分に対して逆周波数変換を行う（ステップＳ２７０３）。この後、系列変換情報ＳＣが２であるかどうかを判定する（ステップＳ２７０４）。もし２であれば（ステップＳ２７０４でＹｅｓ）、逆ブロックオーバーラップ変換処理を行い（ステップＳ２７０５）、逆周波数変換（ステップＳ２７０６）を行う。一方で、系列変換情報ＳＣが２でなければ（ステップＳ２７０４でＮｏ）、逆周波数変換（ステップＳ２７０６）を行う。要するに、ステップＳ２７０６までは、通常の処理を行って、最初の逆ブロックオーバラップ処理の直前までのデータまで復元することになる。ステップＳ２７０６を終えたら、系列変換情報ＳＣは２もしくは１であるかどうかを判定する（ステップＳ２７０７）。もし２でも１でもなければ（ステップＳ２７０７でＮｏ）、そのまま復号画像を表示する（ステップＳ２７１１）。一方、系列変換情報ＳＣが２もしくは１であれば（ステップＳ２７０７でＹｅｓ）、高速処理モードが指定されているかどうかを判定する（ステップＳ２７０８）。もし指定されていれば（ステップＳ２７０８でＹｅｓ）、レベル補正を行い（ステップＳ２７０９）、復号画像を表示する（ステップＳ２７１１）。なお、「レベル補正」処理は、逆ＰＯＴ処理（オーバーラップ処理）を行うとダイナミックレンジが変化するため、逆処理をスキップしてそのまま表示するとダイナミックレンジが不自然な画像が表示される。本発明ではオーバーラップ処理により変化するダイナミックレンジをα倍とし、レベル補正とは係数を１／α倍する処理である。このレベル補正処理を設けることにより、逆ＰＯＴ処理を省略したとしても、不自然な画像が表示されることを緩和させることができる。もし高速モードでなければ（ステップＳ２７０８でＮｏ）、逆ブロックオーバーラップ処理を行い（ステップＳ２７１０）、復号画像を表示する（ステップＳ２７１１）。

以上説明したとおり、系列変換情報ＳＣが１もしくは２のときに、画質の低減を極力抑えつつ処理スピードを向上させる方法を示した。

［その他の実施形態］
なお、第１、第２の実施形態では、逆ブロックオーバーラップ処理を行わなかった場合を説明した。しかし、第３の実施形態で説明したレベル補正を、第１，第２の実施形態でも行うようにしても構わない。また、逆に、第３の実施形態ではレベル補正処理を行って出力する方法を示したが、レベル補正処理を行わなくても構わない。

また、第３の実施形態において、原画像と同じ解像度の画像を復号する方法を示したが、ＤＣ成分とＡＣＤＣ成分を復号して中間的な解像度で復号しても構わない。なおエンコード時にブロックオーバーラップ処理を２回行っていて、デコード時にＤＣ成分とＡＣＤＣ成分のみを復号して出力表示する場合、逆ブロックオーバーラップ処理をスキップしても画質への影響は小さい。そのためスキップしても構わない。さらに、高速処理が求められている際にスキップして、そうでないときはスキップしない方法も本発明の範疇である
また、実施形態では、画像復号装置として蓄積装置に適用する例を説明したが、デジタルカメラ内の復号部に設けても良いし、搭載する装置の種類によって本願発明が限定されるものではない。

また、ＤＣ成分とＡＣＤＣ成分による復号画像のみを出力表示しかつ、高速処理のみしか行わないデコード処理装置として、逆ブロックオーバーラップ処理を全く持たない方法も本発明の範疇である。更に、本第３の実施形態においてエンコード時にブロックオーバーラップ処理として０、１、２のいずれを用いてもよいとしたが、制限を設けても構わない。例えば０、１に限定した上で、デコーダ側には逆ブロックオーバーラップ処理部を全く持たない方法も本発明の範疇である。さらには、デコーダ側では逆周波数変換を２回行った後に行う逆ブロックオーバーラップ処理部だけを持ち、その上で高速処理が必要な場合にはスキップし、不要である場合はスキップしない方法も本発明の範疇である。

以上の実施形態に相当する処理をコンピュータに実行させるコンピュータプログラムでもって実現しても構わない。また、通常、コンピュータプログラムは、ＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体に格納されており、それをコンピュータが有する読取り部（ＣＤ−ＲＯＭドライブ等）にセットし、システムにコピーもしくはインストールすることで実行可能になる。したがって、かかるコンピュータ可読記憶媒体も本発明の範疇にあるのは明らかである

Claims (8)

1. ２回の周波数変換における各周波数変換の前段で、ブロック歪みを抑制する歪み抑制処理を行うか否かを指定可能な符号化方法で符号化された符号化画像データを復号する画像復号装置であって、
   復号対象の符号化画像データのヘッダに含まれる情報に基づき前記符号化画像データを復号する復号手段と、
   高速復号するか否かを指定する指定手段と、
   復号対象の符号化画像データのヘッダを解析し、前記歪み抑制処理にかかるパラメータ情報を抽出する解析手段と、
   該解析手段で得られた前記パラメータ情報が、最初の周波数変換の前段のみで前記歪み抑制処理が行われていることを示しており、且つ、前記指定手段で高速復号が指定されている場合、前記ヘッダ内のパラメータ情報を、前記歪み抑制処理が１回も行われていないことを示す情報に書き換え、書き換え後のヘッダを含む符号化画像データを前記復号手段に供給するヘッダ情報変更手段と
   を備えることを特徴とする画像復号装置。
2. 前記ヘッダ情報変更手段は、オリジナルの符号化画像データのコピーのヘッダを更新することを特徴とする請求項１に記載の画像復号装置。
3. 更に、符号化の際の２回目の周波数変換によって得られるＤＣ成分のみで構成されるＤＣ画像、２回目の周波数変換によって得られるＤＣ成分及びＡＣ成分のみで構成されるＬＰ画像、或いは、１回目及び２回目の周波数変換の全成分で構成されるフル解像度画像、のいずれのサイズの画像を再生するかを指定するサイズ指定手段を有し、
   前記ヘッダ情報変更手段は、前記指定手段で高速復号が指定され、且つ、前記サイズ指定手段で前記ＬＰ画像又は前記フル解像度画像のいずれかが指定された場合、前記パラメータ情報を書き換えることを特徴とする請求項１又は２に記載の画像復号装置。
4. ２回の周波数変換における各周波数変換の前段で、ブロック歪みを抑制する歪み抑制処理を行うか否かを指定可能な符号化方法で符号化された符号化画像データを復号する画像復号装置であって、
   復号対象の符号化画像データのヘッダに含まれる情報に基づき、前記符号化画像データを復号する復号手段と、
   該復号手段による復号結果に基づき、最初の周波数変換の直前までのデータを復元する処理手段と、
   高速復号するか否かを指定する指定手段と、
   復号対象の符号化画像データのヘッダを解析し、前記歪み抑制処理にかかるパラメータ情報を抽出する解析手段と、
   前記解析手段で得られた前記パラメータ情報が最初の周波数変換の前段で前記歪み抑制処理を行ったことを示し、且つ、前記指定手段で高速復号が非指定の場合、前記処理手段で得られたデータに対して前記歪み抑制処理を実行し、得られたデータを画像データとして表示し、
   前記解析手段で得られた前記パラメータ情報が最初の周波数変換の前段で前記歪み抑制処理を行ったことを示し、且つ、前記指定手段で高速復号が指定された場合、前記処理手段で得られたデータに対して、前記歪み抑制処理よりも簡易なレベル補正処理を実行し、得られたデータを画像データとして表示し、
   前記解析手段で得られた前記パラメータ情報が最初の周波数変換の前段で前記歪み抑制処理を行っていないことを示している場合、前記処理手段で得られたデータを画像データとして表示する制御手段と
   を備えることを特徴とする画像復号装置。
5. ２回の周波数変換における各周波数変換の前段で、ブロック歪みを抑制する歪み抑制処理を行うか否かを指定可能な符号化方法で符号化された符号化画像データを復号する画像復号装置の制御方法であって、
   復号手段が、復号対象の符号化画像データのヘッダに含まれる情報に基づき前記符号化画像データを復号する復号工程と、
   指定手段が、高速復号するか否かを指定する指定工程と、
   解析手段が、復号対象の符号化画像データのヘッダを解析し、前記歪み抑制処理にかかるパラメータ情報を抽出する解析工程と、
   ヘッダ情報変更手段が、該解析工程で得られた前記パラメータ情報が、最初の周波数変換の前段のみで前記歪み抑制処理が行われていることを示しており、且つ、前記指定工程で高速復号が指定されている場合、前記ヘッダ内のパラメータ情報を、前記歪み抑制処理が１回も行われていないことを示す情報に書き換え、書き換え後のヘッダを含む符号化画像データを前記復号工程に供給するヘッダ情報変更工程と
   を備えることを特徴とする画像復号装置の制御方法。
6. ２回の周波数変換における各周波数変換の前段で、ブロック歪みを抑制する歪み抑制処理を行うか否かを指定可能な符号化方法で符号化された符号化画像データを復号する画像復号装置の制御方法であって、
   復号手段が、復号対象の符号化画像データのヘッダに含まれる情報に基づき、前記符号化画像データを復号する復号工程と、
   処理手段が、該復号工程による復号結果に基づき、最初の周波数変換の直前までのデータを復元する処理工程と、
   指定手段が、高速復号するか否かを指定する指定工程と、
   解析手段が、復号対象の符号化画像データのヘッダを解析し、前記歪み抑制処理にかかるパラメータ情報を抽出する解析工程と、
   制御手段が、
   前記解析工程で得られた前記パラメータ情報が最初の周波数変換の前段で前記歪み抑制処理を行ったことを示し、且つ、前記指定工程で高速復号が非指定の場合、前記処理工程で得られたデータに対して前記歪み抑制処理を実行し、得られたデータを画像データとして表示し、
   前記解析工程で得られた前記パラメータ情報が最初の周波数変換の前段で前記歪み抑制処理を行ったことを示し、且つ、前記指定工程で高速復号が指定された場合、前記処理工程で得られたデータに対して、前記歪み抑制処理よりも簡易なレベル補正処理を実行し、得られたデータを画像データとして表示し、
   前記解析工程で得られた前記パラメータ情報が最初の周波数変換の前段で前記歪み抑制処理を行っていないことを示している場合、前記処理工程で得られたデータを画像データとして表示する制御工程と
   を備えることを特徴とする画像復号装置の制御方法。
7. コンピュータに読み込ませ実行させることで、前記コンピュータを、請求項１乃至４のいずれか１項に記載の画像復号装置として機能させることを特徴とするコンピュータプログラム。
8. 請求項７に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。

Images