JP4703921B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP4703921B2 JP4703921B2 JP2001289718A JP2001289718A JP4703921B2 JP 4703921 B2 JP4703921 B2 JP 4703921B2 JP 2001289718 A JP2001289718 A JP 2001289718A JP 2001289718 A JP2001289718 A JP 2001289718A JP 4703921 B2 JP4703921 B2 JP 4703921B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- encoding
- data
- processing apparatus
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【発明の属する技術分野】
本発明は、画像処理装置に関する。
【0002】
【従来の技術】
図1にJPEG2000の符号化の流れを示す。JPEG2000の符号化においては、画像データ1は、2次元離散ウエーブレット変換部(DWT)10、量子化器11、係数モデリング部12、算術符号器13、符号形成部14のステップを経て、符号データ15が得られる。図2〜4にこれらの処理を模式的に描いた図を示す。なお、係数モデリング部12及び算術符号器13により、エントロピー符号化が行われる。
【0003】
まず、入力される画像に対して複数レベルの2次元離散ウエーブレット変換を行う。この時、処理する画像をタイルと呼ばれる複数の矩形ブロックに分ける場合が多い。画像を複数のタイルに分割する場合は、後に続く2次元離散ウエーブレット変換、量子化、エントロピー符号化はこのタイルの単位で処理する。図2は画像データ1を128×128の大きさのタイルに分割し、レベル2の2次元離散ウエーブレット変換を行った場合の例を示す。128×128の画像データ(1タイル)は、レベル2の2次元離散ウエーブレット変換10により、大きさが32×32の4つのサブバンド2LL、2HL、2LH、2HHと大きさが64×64の3つのサブバンド1HL、1LH、1HHのウエーブレット係数データ21に変換される。JPEG2000では、ウエーブレット変換のフィルタ係数としては、可逆、非化逆の2通りの係数が規定されている。可逆・非化逆を統一的に扱う場合は、可逆のフィルタ係数が用いられ、より高いレート又は良いひずみ特性を実現する場合は非化逆のフィルタ係数を用いる。
【0004】
次に、ウエーブレット係数データに対して図3で示されるような式によりスカラー量子化が行われる。ここで、sign(a)はウエーブレット係数データaの符号、|a|はaの絶対値、Δbはサブバンド毎に決められた量子化ステップ、└ ┘はフロア関数を示す。ただし、可逆ウエーブレット係数を用いた場合は、このスカラー量子化のステップは実施されない。
【0005】
次にウエーブレット変換後、あるいは量子化後の係数データを各サブバンド毎、あるいはサブバンドを複数の矩形領域に分割したコードブロック毎にエントロピー符号化していく。このエントロピー符号化は、後段の2値算術符号器13に与えるコンテキストを生成する係数モデリング部12での処理と、実際に符号化を行う算術符号器13での処理により構成される。
【0006】
図4は、各サブバンド毎にエントロピー符号化した場合におけるサブバンド2LLとその算術符号化器13の処理を示す。サブバンド2LLは、32×32画素を有し、各画素は、(N+3)ビットで量子化されている。上面が量子化ビットのMSBで、下面が量子化ビットのLSBである。図4では、上から二つのプレーンには、量子化ビットが存在しない。このプレーンをゼロビットプレーンという。
【0007】
次に、算術符号器13での処理手順を示す。
(1)一つのサブバンド(コードブロック毎にエントロピー符号化する場合は、コードブロック)の係数データを符号+絶対値に変換し、係数絶対値は、ビットプレーンに分割してMSB側からビットプレーン毎にエントロピー符号化を行う。図4(A)では、2LLのサブバンドの係数絶対値をビットプレーンに分割した様子を示す。
(2)上位から数えて初めて有効なビット(0で無いビット)が出現するビットプレーンまでは、ゼロビットプレーンであるのでエントロピー符号化は行わず、初めて0で無いビットが出現したビットプレーンから、エントロピー符号化を開始する。図4(A)の例では、上位2プレーンがゼロビットプレーンであり、3プレーン目に初めて0で無いビットが出現し、このビットプレーンNからビットプレーン0までのN+1枚のビットプレーンについてエントロピー符号化を行う。
(3)エントロピー符号化を行うビットプレーンに関しては、基本的に1つのビットプレーンを3回スキャンして、符号化する。この符号化のためスキャンする過程をコーディングパスとして、各パスは以下のように呼ばれている。
【0008】
▲1▼ significance propagation pass
▲2▼ magnitude refinement pass
▲3▼ cleanup pass
ビットプレーン上の各ビットは、特定の規則に従って分類され、そのビットの周辺ビットの状態から生成されたコンテキストを用いていずれかひとつのパスで符号化される。
【0009】
図4(B)に示すように、最初に符号化するビットプレーンNは、cleanup passのみで符号化されるが、それ以降のビットプレーンは、それぞれ上に記した3つのパスで符号化される。すなわち、N+1個のビットプレーンが存在する場合、合計3N+1回のコーディングパスにより符号化が行われる。
(4)次に、算術符号器13で、上記の各パスで発生する符号化ビットとそれに対応するコンテキストにより、エントロピー符号を生成する。
こうして生成されたエントロピー符号(MQ符号)は、図1に示す符号形成14のステップで、最終のJPEG2000のビットストリームとしてまとめられる。
符号形成部14では、まず、先の算術符号器13で生成された各パス単位で発生した符号を、複数パス毎にまとめる。このまとめられた単位をレイヤと呼ぶ。図5では、3N+1個のパス毎に算術符号器で生成された符号をレイヤ0からレイアLまでのL+1個のレイヤにまとめている様子を示す。例えば、ビットプレーン2LLN,c、ビットプレーン2LLN−1、s、ビットプレーン2LLN−1,mをレイヤ0とし、・・・ビットプレーン2LL0,s、ビットプレーン2LL0、m、プレーン2LL0,cをレイヤLとしている。なお、レイヤの選定は、これに限らず実施することができる。
【0010】
さらに、図6に示すように、サブバンド、レイア毎にまとめられた符号を並べて最終のビットストリームとなる。図6では、2LLのレイヤ0、2LLのレイヤ1、・・・2LLのレイヤL、2HL、2LH、2HHのレイヤ0、・・・2HL、2LH、2HHのレイヤL、1HL、1LH、1HHのレイヤ0、・・・1HL、1LH、1HHのレイヤLのビットストリームとなる。ビットストリームは、重要なデータ(優先順位の高いデータ)を先に送信するように構成される。
【0011】
ここで、サブバンド、レイア毎のまとまりをパケットと呼び、各パケットは、それぞれのパケットの情報を示すパケットヘッダーと先ほどの算術符号部で生成されたエントロピー符号より成る。例えば、2HL、2LH、2HHのレイヤL34は、2HL、2LH、2HHのレイヤLのパケットヘッダー37と2HL、2LH、2HHのレイヤLのエントロピー符号38から構成される。
【0012】
ここでは、入力画像データが単色である場合を示したが、複数色(コンポーネント)よりなる画像の場合、同様に各色(コンポーネント)毎にサブバンド毎、レイア毎のパケットを生成して規定された順番に並べることでJPEG2000のビットストリームを得ることができる。図7には、3色(コンポーネント0、1,2)より成る画像をJPEG2000で符号化した場合のビットストリームの例を示す。
【0013】
JPEG2000の符号化方式は、いったん符号化されたビットストリームを復号することなく符号状態のままで再度圧縮して、必要な圧縮率を得られるという特徴がある。これはこれまでに説明したようにJPEG2000の符号は、パケットと呼ばれるコンポーネント(色成分)、サブバンド(解像度)、レイヤー毎の符号を組み合わせて構成されているため、一旦、符号化を行った後で、その符号の圧縮率が所望の圧縮率より悪ければ、復号した際の画質面からみて優先順位の低いパケットの符号データを順次破棄していくことで、圧縮率を上げる操作が可能であることによる。図7で示される符号は可逆(ロスレス)であるが、例えば図8に示すように、図7の符号の各コンポーネントの1HL、1LH、1HHのレイアLのパケットを破棄することで、ロッシー(非可逆)ではあるが、図7の符号をさらに圧縮した(圧縮率を上げた)符号を得ることができる。
【0014】
【発明が解決しようとする課題】
ところで、JPEG2000の符号は、例えば、JPEG符号と比較して、圧縮率は高いものの、非可逆符号で可変長符号であり、しかも、多くの画素を纏めて符号化するので、符号化処理及び復号処理に関する処理が複雑となり、多くの時間を要するという問題がある。
【0015】
本発明は、上記問題に鑑みなされたものであり、符号化処理及び復号処理に関する処理を効率的に行うことを目的とするものである。
【0016】
【課題を解決するための手段】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【0017】
請求項1に記載された発明は、周波数領域の画像データを複数のタイルに分割し、該タイル毎に符号化を行う符号化装置を有する画像処理装置おいて、前記符号化装置は、最初の1タイル分の画像データの入力が終わり、最初の1タイル分の符号データを準備した時点で、画像処理装置に対して割り込みを行うことを特徴とする。
【0018】
請求項1に記載された発明によれば、1部分画像データ分のデータを準備した時点で、画像処理装置に対して割り込みを行うことにより、効率的な符号化を行うことができる。特に、JPEG2000の符号化の場合における1部分画像データを1タイルとし128×128の画素にした場合では、画像データの授受に時間を要するものの、請求項1に記載された発明によれば、画像処理装置においてその間の時間を有効に活用することができる。
【0019】
請求項2に記載された発明は、周波数領域の画像データを複数のタイルに分割し、該タイル毎に符号化が行われた信号の復号装置を有する画像処理装置おいて、前記復号装置は、最初の1タイル分の符号データを入力して復号し、最初の1タイル分の画像データを準備した時点で、画像処理装置に対して割り込みを行うことを特徴とする。
【0020】
請求項2に記載された発明によれば、1部分画像データ分のデータを復号した時点で、画像処理装置に対して割り込みを行うことにより、効率的に復号を行うことができる。特に、1部分画像データを1タイルとしたJPEG2000の復号の場合では、復号に時間を要するものの、請求項2に記載された発明によれば、画像処理装置においてその間の時間を有効に活用することができる。
【0021】
請求項3に記載された発明は、符号化装置又は復号装置を有する画像処理装置おいて、1画面の符号化又は復号を終了した時点で、割り込みを行うことを特徴とする。
【0022】
請求項3に記載された発明によれば、1画面の符号化又は復号を終了した時点で、割り込みを行うことにより、画像処理装置は、符号化装置又は復号装置における処理が終わるのを待つことなく、その後の処理を遅滞なく実施することが可能となる。
【0023】
請求項4に記載された発明は、請求項1ないし3いずれか一項記載の画像処理装置において、符号化装置又は復号装置はエラーを検出した時点で、画像処理装置に割り込みを行うことを特徴とする。
【0024】
請求項4に記載された発明によれば、符号化装置又は復号装置はエラーを検出した時点で、画像処理装置に割り込みを行うことにより、効率的に符号化又は復号を行うことができる。特に、JPEG2000の符号化において、例えば、タイル毎に符号化し、各タイル毎に誤りの検出ができるので、タイル単位で、誤り制御ができ、その結果、効率的に符号化又は復号を行うことが可能となる。例えば、各タイル毎に、次の誤りの検出が可能である。
(1)扱う1タイルの情報よりも大きいとき
(2)解釈不可能なマーカーコードが入力された場合
(3)タイルパートヘッダーの内容が不適切な場合
(4)ヘッダーの内容と実際の信号が不一致のとき(例えば、信号の長さ)
請求項5に記載された発明は、データの授受を行う装置がデータの入出力できる状態であることを示す信号であるレディー信号の授受を行う同期バスを用いて、画像データの授受先との間で、画像データを授受する符号化装置を有する画像処理装置において、前記符号化装置は、入出力する画像データの有効期間となった後で、かつ、画像データの出力の準備ができた段階で、前記レディー信号をアクティブとすることにより、前記画像データの授受先に対する入出力できる状態であることの確認信号とし、前記符号化装置は、入出力する画像データの有効期間となった後、前記画像データの授受先からアクティブな前記レディー信号を受信した状態であり、かつ、画像データの取り込みの準備ができた段階で、前記レディー信号をアクティブとして、前記画像データを取り込むことを特徴とする。
【0025】
請求項5に記載された発明によれば、前記符号化装置は、入出力する画像データの有効期間となった後で、かつ、画像データの出力の準備ができた段階で、前記レディー信号をアクティブとすることにより、前記画像データの授受先に対する入出力できる状態であることの確認信号とし、前記符号化装置は、入出力する画像データの有効期間となった後、前記画像データの授受先からアクティブな前記レディー信号を受信した状態であり、かつ、画像データの取り込みの準備ができた段階で、前記レディー信号をアクティブとして、前記画像データを取り込むようにしたので、画像データの授受先は、符号装置のレディー信号のアクティブ信号に基づいて、符号装置が画像データを取り込んだと判断して、次の画像データの出力する用意を行うことがきる。
このように、請求項5に記載された発明は、レディー信号を有効活用することにより、確実なデータ伝送を行うことができる。また、これにより、一つのメモリコントローラが、複数の符号化・復号化器を扱うことができる。
【0026】
請求項6に記載された発明は、当該画像処理装置は、複数の符号化装置を有し、
複数の符号化装置が、画像データの授受先である一つのメモリコントローラと信号の授受を行うことを特徴とする。
【0027】
請求項6に記載された発明によれば、一つのメモリコントローラが、複数の符号化を扱うことができる。
【0028】
【発明の実施の形態】
次に、本発明の実施の形態について図面と共に説明する。
【0029】
図9に本発明が実施される1チップの符号化・復号器40の例を示す。図9の符号化・復号器40は、前・後処理部41、2次元離散ウエーブレット変換部(DWT)42、エントロピー符号・復号部43、符号形成部44、PLL(Phase Locked Loop)回路45、CPUI/F部46、エントロピー符号化部43のワークメモリ47及びヘッダー処理部48から構成されている。前・後処理部41は、符号化時は画像データを画像データバスIMD19−0から得て、レベルシフトを行い、RGB(赤・緑・青)データをYCbCr(輝度成分・色差成分)データに変換する。また、復号時はその逆変換を行う。2次元離散ウエーブレット変換部(DWT)42は、2次元離散ウエーブレット変換及びその逆変換を行う。エントロピー符号・復号部43は、エントロピー符号化及びその逆変換を行う。符号形成部44は、符号化時は、符号形成を行い、生成した符号にヘッダー処理部48で生成したヘッダーを付加して符号データバスCOD7−0によりビットストリームを出力する。なお、ヘッダー処理部48は後述するメインヘッダー以外のタイルパートヘッダーを自動的に生成する。なお、ヘッダー処理部48で、メインヘッダーを生成するようにしてもよい。復号時は、符号データバスCOD7−0からビットストリームを得て、符号化時と逆の処理を行う。PLL回路45は、符号化・復号器40のクロックを生成する。CPUI/F部46は、符号化・復号器40と外部に設けられたCPUとのインタフェースをとる。
【0030】
この符号化・復号器40により、符号化時は、画像データバスIMD19−0から得た画像データを符号化して、符号データバスCOD7−0から、ビットストリームを出力する。また、復号時は、符号データバスCOD7−0からビットストリームを得て、復号して画像データバスIMD19−0へ画像データを出力する。
【0031】
なお、図9において、IMD19−0は、画像データの入出力バスである。IMFRMは、入出力する画像データの有効期間を示す(アクティブ「L」)。IMMRDYは、クロック同期入出力モードのときは、外部が画像データを入出力できる状態にあることを示すレディー信号を示し、DMA転送モードのときは、外部からの画像データのアック信号としても機能する(アクティブ「L」)。IMJRDYは、クロック同期入出力モードのときは、符号化・復号器40が画像データを入出力できる状態にあることを示すレディー信号を示し、DMA転送モードのときは、符号化・復号器40が出力する画像データのリクエスト信号として機能する(アクティブ「L」)。COD7−0は、クロック同期符号データの入出力バスである。COFRMは、入出力する符号データの有効期間を示す(アクティブ「L」)。COMMRDYは、外部が符号データを入出力するできる状態にあることを示すレディー信号を示す(アクティブ「L」)。COJRDYは、符号化・復号器40が画像データを入出力できる状態にあることを示す(アクティブ「L」)。CPOUTは、PLLのマスタクロックとの位相差分の信号であり、VCOINは、LPF(Low Pass Filter)49を経た信号で、PLL45からの位相差分の信号でVCOを制御する信号である。MCLKは、PLLへのマスタクロックを入力する端子である。RESTは、符号化・復号器40のリセット端子を示す。INTは、設定に従って、割り込み信号を発生する(アクティブ「L」)。DACKは、画像データ、符号データをCPUバスを使用してDMA転送により入出力する際の符号化・復号器40へのデータアクノリッジ信号を示す(アクティブ「L」)。DREQは、画像データ、符号データをCPUバスを使用してDMA転送により入出力する際の符号化・復号器40からのデータリクエスト信号を示す(アクティブ「L」)。RDは、符号データの読み出し信号を示す(アクティブ「L」)。WEは、符号データの書き込み信号を示す(アクティブ「L」)。CSは、CPUI/Fのチップセレクト信号を示す(アクティブ「L」)。AD9−0は、CPUI/Fのアドバイスを示す。DATA31−0は、CPUI/Fのデータバスを示す。
【0032】
図10に、符号化・復号器40から符号データバスCOD7−0に出力される符号データフォーマットの例を示す。符号データは必ずメインヘッダーから始まる。メインヘッダーの始まりを示すコードはSOC(Start of Codestream)51である。この後にメインヘッダー内の情報が示されるmain(main header maker segment)52が、標準にしたがって記述される。また、図10に示すように、メインヘッダーに続いて、タイルの数分のタイルパーツヘッダーとビットストリームの組み合わせが続き、符号データフォーマットの最後を表すEOC(End of Codestream)で終わる。なお、ビットストリームは、図6で説明したように、パケット形式の信号である。
【0033】
また、タイル毎にタイルパーツヘッダーが生成される。ビットストリーム560のタイルパーツヘッダーは、タイルパーツの開始を表すSOT53、タイルパーツヘッダーの内容を表すT0、TP0(Tile0 header maker segment)540及びデータの開始を表すSOD(Start ofData)55から構成されている。同様に、ビットストリーム561のタイルパーツヘッダーは、SOT53、T1、TP1541、SOD55から構成されている。
【0034】
図11にメインヘッダーの構成を示す。メインヘッダーは、SOC51に続いて、サイズを示すマーカーであるSIZ(Image and tile size:必須)61から始まり、COD(Coding style default:必須)62、COC(Coding style Compont:任意)63、QCD(Quantizaion default:必須)64、QCC(Quantizaion compont:任意)65、RGN(Regionof interest:任意)66、POC(Progression order change:任意)67、PPM(Packed Packet headers 、main header:任意)68、TLM(Tile−part lengths:任意)69、PLM(Packet lengths 、main header:任意)70、CRG(Compont registration:任意)71及びCOM(Compont;任意)72から構成されている。
SIZ61のマーカーは、取り扱う画像サイズ(イメージエリアの大きさ、タイルのサイズ(縦・横)、コンポーネントの数等)を規定する。その後は、順番は任意であるが符号化、復号に必要な情報が入っているCOD62のマーカーと量子化制御に必要な情報が入っているQCD64のマーカーが必須であり、残りのマーカーは任意である。このCOD62のマーカー内に元イメージの画像データビットの精度等が入っている。
【0035】
メインヘッダーの記述が完了すると、タイルパートヘッダーが始まる。タイルパートヘッダーの構成を図12に示す。タイルパートヘッダーは、SOT51から始まり、SOD55で終了する。SOT51とSOD55の間に、図12に示されているように、COD(任意)62、COC(任意)63、QCD(必須)64、QCC(任意)65、RGN(任意)66、POC(任意)67、PPT(Packed Packet headers 、Tile−part header:任意)73、PLT(Packet lengths 、Tile−part header:任意)74及びCOM(任意)72から構成されている。
【0036】
SOT51のマーカー中には、タイル符号データのデータ長などが格納されている。タイルデータはSOD55のマーカの次のバイトから出力される。タイルデータはひとつのコードストリームの中に複数存在することがある。すべての符号データの最後にはEOC57のマーカーがつけられていて、このマーカーですべてのコードの終了を示す。
【0037】
これらの符号データの取り扱い処理において、図13に示すように、例えば、次の要因による割り込み信号を発生させる。なお、割り込み信号がアクティブになるのは、1つ以上の割り込み要因が発生した場合とする。
(1)符号化時、符号データを出力する準備ができた時点で割り込みをかける。その割り込みタイミングは、1タイル分の画像データ入力が終わり、最初の符号データが用意できた時点である。
【0038】
例えば、図14に示されているように、IMFRMが‘L’となり、アクティブになって、1タイル分の画像データを、IMD19−0から入力し、1タイル分の符号データを準備した時点で、割り込み「A」をかける。
(2)復号時、画像データを出力する準備ができた時点で割り込みをかける。その割り込みタイミングは、1タイル分の符号データを入力して復号し、最初の画像データが用意できた時点である。
【0039】
例えば、図15に示されているように、COFRMが‘L’となり、アクティブになって、1タイル分の符号データを、COD7−0から入力し、1タイル分の画像データを準備した時点で、割り込み「C」をかける。
(3)1画面の符号化を終了した時点で割り込みをかける。その割り込みタイミングは、符号化終了時である。
【0040】
例えば、図14に示されているように、1画面のすべてのタイル分の画像データ符号化した時点で、割り込み「B」をかける。
(4)1画面の復号を終了した時点で割り込みをかける。その割り込みタイミングは、復号終了時である。
【0041】
例えば、図15に示されているように、1画面のすべてのタイル分の符号データを復号した時点で、割り込み「D」をかける。
(5)エラーが発生した時点で割り込みをかける。その割り込み発生タイミングは、エラー検出時である。
【0042】
なお、例えば、エラーが発生したと判断するのは次の場合である。
(1)圧縮時は、扱う1タイルの情報よりも大きいとき、例えば、128×128のタイル分割における符号化を行う場合であれば、128×128の画像データより大きくなった場合である。
(2)伸張時は、次の場合である。
▲1▼SOT、SOD、EOCのマーカーコードとして、これ以外のマーカーコードが入力された場合。
▲2▼SOTからSODまでのタイルパートヘッダーの内容が不適切な場合
▲3▼タイルパートヘッダー内で規定されているバイト長の後の次の2バイトがSOTあるいはEOCでない場合
なお、指定されたタイル数より入力される符号が多い(所定の位置にEOCがみつからない)場合、指定されたタイル数を復号して動作を終了する。逆に、指定されたタイル数より入力される符号が少ない(所定の位置より早くEOCが入力された)場合、そこまでのタイルを復号して終了する。(動作終了時点で割り込み信号を発生させる)
また、符号化および復号の処理中に、上記割り込みが発生した場合には、符号化/復号の処理をやめ、エラーステータスを出力する。
次に、符号化処理及び復号処理において、効率的に行うための入出力タイミングについて説明する。
【0043】
図16は、符号化・復号器40とメモリコントローラ82間の信号の授受を示す。図9における外部装置がメモリコントローラ82に相当する場合である。メモリコントローラ82は、フレームメモリ81からの画像データを符号化・復号器40で符号化してフレームメモリ81に記憶し、フレームメモリ81からの符号化データを符号化・復号器40で復号してフレームメモリ81に記憶する。
【0044】
図16において、メモリコントローラ82から符号化・復号化器40に対する信号としては、画像データ関連では画像のフレーム信号(IMFRM)、画像データレディ信号(IMMRDY)、コーダーレディ信号(IMJRDY)、データ信号(IMD31−0)がある。コード化された信号では、コードのフレーム信号(COFRM)、コードデータレディ信号(COMRDY)、コーダーレディ信号(COJRDY)、データ信号(COD7−0)がある。
【0045】
図17を用いて、1画面の画像データの符号化、復号動作を行う際の、タイミング概要を説明する。
【0046】
図17(A)を用いて符号化のタイミングを説明する。符号化処理スタート後、外部より入力する画像データが用意できると、IMFRMを‘L’にし、IMMRDY、IMJRDYを使って画像データを入力する。符号化・復号器40では、出力する符号が用意できるとCOFRMを‘L’に落とし、COMRDY、COJRDYを使って符号を出力する。メモリコントローラ82では最後の画像データを入力後IMFRMを‘H’に戻し、符号化・復号器40ではそれに対応して最終の符号データを出力した後COFRMを‘H’にする。
【0047】
図17(B)を用いて復号のタイミングを説明する。復号処理スタート後、外部より入力する符号データが用意できると、COFRMを‘L’にし、COMRDY、COJRDYを使って符号データを入力する。符号化・復号化器40は、出力する画像データが用意できるとIMFRMを‘L’にし、IMMRDY、IMJRDYを使って画像データを出力する。符号化・復号化器40では最後の符号データを入力した後COFRMを‘H’に戻する。コーダーでは、それに対応する最終の画像データを出力した後、IMFRMを‘H’にする。
【0048】
図18は、二つの符号化・復号器401、402とメモリコントローラ82間の信号の授受を示す。この場合は、符号化の場合であれば、順次符号化すべき画像データの符号化を二つの符号化・復号器401、402が交互に、符号化する。例えば、偶数番目の画像データは、符号化・復号器401で符号化し、奇数番目の画像データは、符号化・復号器402で符号化する。このようにして、効率良く符号化することができる。
【0049】
図19に、確実に動作する符号化におけるタイミングを説明する。MCLKの立ち上がりに同期させてIMFRM、IMMRDY、IMJRDYを制御し、画像バスIMD31−0で画像データを入出力する。
(1)メモリコントローラ82では、符号化処理が始まると、IMFRMを‘L’とする(T0)。
(2)符号化・復号化器40では、IMFRMの‘L’を検出した後、1クロック分IMJRDYを‘L’にする。このとき、符号化・復号化器40は、画像データは取り込まない(T1)。
(3)メモリコントローラ82では、符号化・復号化器40のIMJRDYが‘L’になったことを確認した後、画像データが準備できた時点で、画像データをデータバスIMD31−0に入力し、IMMRDYを‘L’にする(T2)。
(4)符号化・復号化器40では、内部で画像データを受け取れる状態になると、IMJRDYを‘L’にする。このとき、IMMRDYが‘L’であれば、MCLKの立ち上がりに同期して、データバスIMD31−0から画像データを取り込み(T3、T5)、IMMRDYが‘H’であれば、‘L’になるのを待つ(T4)。
(5)メモリコントローラ82では、IMMRDYが‘L’のとき、IMJRDYが‘L’になると、符号化・復号化器40が画像データを取り込んだと判断して、次の画像データを出力する用意を行う。
(6)符号化・復号化器40が最後の画像データを取り込むと、メモリコントローラ82では、それと同時、又は、それ以降にIMFRMを‘H’に戻す。
【0050】
図20に、確実に動作する符号化におけるタイミングを説明する。MCLKの立ち上がりに同期させてIMFRM、IMMRDY、IMJRDYを制御し、画像バスIMD31−0で画像データを入出力する。
(1)符号化・復号化器40では、復号処理が始まると、IMFRMを‘L’とする。この時点では、画像データ出力は不定値となっている(T0)。
(2)メモリコントローラ82では、IMFRMの‘L’を検出した後、1クロック分IMMRDYを‘L’にする(T1)。
(3)符号化・復号化器40では、メモリコントローラ82のIMMRDYが‘L’になったことを確認した後、画像データが準備できた時点で、画像データをデータバスIMD31−0に出力し、IMJRDYを‘L’にする(T2)。
(4)メモリコントローラ82では、内部で画像データを受け取れる状態になると、IMMRDYを‘L’にする。このとき、IMJRDYが‘L’であれば、MCLKの立ち上がりに同期して、データバスIMD31−0から画像データを取り込み(T3、T5)、IMJRDYが‘H’であれば、‘L’になるのを待つ(T4)。
(5)符号化・復号化器40では、IMJRDYが‘L’のとき、IMMRDYが‘L’になると、メモリコントローラ82が画像データを取り込んだと判断して、次の画像データを出力する用意を行う。
(6)メモリコントローラ82が最後の画像データを取り込むと、符号化・復号化器40では、それと同時、又は、それ以降にIMFRMを‘H’に戻す(T10)。
図19及び図20では、画像データの入出力タイミングについて説明したが、同様にして、符号データの入出力タイミングを実施することができる。
【0051】
また、図19及び図20では、画像データの入出力におけるレディー信号をアクティブとすることにより、符号化データの授受先に対する確認信号とした場合について説明したが、画像データの入出力におけるレディー信号をアクティブとすることにより、符号化データの授受先に対する要求信号とすることもできる。また、メモリコントローラ82と符号化・復号化器40とが、DMA転送モードにより転送するようにしてもよい。
【0052】
【発明の効果】
上述の如く本発明によれば、符号化処理及び復号処理において、処理を効率的に行うことができる。
【図面の簡単な説明】
【図1】JPEG2000の符号化の流れを説明するための図である。
【図2】画像データ1を128×128の大きさのタイルに分割し、レベル2の2次元離散ウエーブレット変換を行った場合の例を説明するための図である。
【図3】スカラー量子化の式である。
【図4】各サブバンド毎にエントロピー符号化した場合におけるサブバンド2LLとその算術符号化器の処理を説明するための図である。
【図5】3N+1個のパス毎に算術符号器で生成された符号をレイヤ0からレイアLまでのL+1個のレイヤにまとめている様子を示す図である。
【図6】ビットストリームを説明するための図である。
【図7】 3色(コンポーネント0、1,2)より成る画像をJPEG2000で符号化した場合のビットストリームの図である。
【図8】 図7の符号の各コンポーネントの1HL、1LH、1HHのレイアLのパケットを破棄したビットストリームの図である。
【図9】符号化・復号化器の構成例を説明するための図である。
【図10】符号化・復号器から出力される符号データフォーマットの例を説明するための図である。
【図11】メインヘッダーの構成例を説明するための図である。
【図12】タイルパートヘッダーの構成例を説明するための図である。
【図13】割り込みの例を説明するための図である。
【図14】割り込みのタイミングの例を説明するための図(その1)である。
【図15】割り込みのタイミングの例を説明するための図(その2)である。
【図16】符号化・復号器とメモリコントローラ間の信号の授受を説明するための図である。
【図17】1画面の画像データの符号化、復号動作を行う際の、タイミング概要を説明するための図である。
【図18】 二つの符号化・復号器とメモリコントローラ間の信号の授受を説明するための図である。
【図19】同期バスにおいて、レディー信号を確認信号として動作させるタイミングを説明するための図(その1)である。
【図20】同期バスにおいて、レディー信号を確認信号として動作させるタイミングを説明するための図(その2)である。
【符号の説明】
1 画像データ
10 DWT部
11 量子化器
12 係数モデリング部
13 算術符号器
14 符号形成部
15 符号データ
20 1タイルの画像データ
37 パケットヘッダー
38 エントロピー符号
40 符号化・復号化器
41 前・後処理部
42 DWT/IDWT
43 エントロピー符号・復号化部
44 符号形成部
45 PLL
46 CPUI/F
47 ワークメモリ
48 ヘッダー処理部
49 LPF
82 メモリコントローラ
Claims (6)
- 周波数領域の画像データを複数のタイルに分割し、
該タイル毎に符号化を行う符号化装置を有する画像処理装置おいて、
前記符号化装置は、最初の1タイル分の画像データの入力が終わり、最初の1タイル分の符号データを準備した時点で、画像処理装置に対して割り込みを行うことを特徴とする符号化装置を有する画像処理装置。 - 周波数領域の画像データを複数のタイルに分割し、
該タイル毎に符号化が行われた信号の復号装置を有する画像処理装置おいて、
前記復号装置は、最初の1タイル分の符号データを入力して復号し、最初の1タイル分の画像データを準備した時点で、画像処理装置に対して割り込みを行うことを特徴とする復号装置を有する画像処理装置。 - 符号化装置又は復号装置を有する画像処理装置おいて、
1画面の符号化又は復号を終了した時点で、割り込みを行うことを特徴とする符号化装置又は復号装置を有する画像処理装置。 - 請求項1ないし3いずれか一項記載の画像処理装置において、
符号化装置又は復号装置はエラーを検出した時点で、画像処理装置に割り込みを行うことを特徴とする画像処理装置。 - データの授受を行う装置がデータの入出力できる状態であることを示す信号であるレディー信号の授受を行う同期バスを用いて、画像データの授受先との間で、画像データを授受する符号化装置を有する画像処理装置において、
前記符号化装置は、入出力する画像データの有効期間となった後で、かつ、画像データの出力の準備ができた段階で、前記レディー信号をアクティブとすることにより、前記画像データの授受先に対する入出力できる状態であることの確認信号とし、
前記符号化装置は、入出力する画像データの有効期間となった後、前記画像データの授受先からアクティブな前記レディー信号を受信した状態であり、かつ、画像データの取り込みの準備ができた段階で、前記レディー信号をアクティブとして、前記画像データを取り込むことを特徴とする画像処理装置。 - 請求項5記載の画像処理装置において、
当該画像処理装置は、複数の符号化装置を有し、
複数の符号化装置が、画像データの授受先である一つのメモリコントローラと信号の授受を行うことを特徴とする画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001289718A JP4703921B2 (ja) | 2001-09-21 | 2001-09-21 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001289718A JP4703921B2 (ja) | 2001-09-21 | 2001-09-21 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003101792A JP2003101792A (ja) | 2003-04-04 |
JP4703921B2 true JP4703921B2 (ja) | 2011-06-15 |
Family
ID=19112171
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001289718A Expired - Fee Related JP4703921B2 (ja) | 2001-09-21 | 2001-09-21 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4703921B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4451181B2 (ja) | 2004-03-26 | 2010-04-14 | オリンパス株式会社 | 画像圧縮方法及び画像圧縮装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07121058A (ja) * | 1993-10-27 | 1995-05-12 | Fuji Xerox Co Ltd | 画像処理装置 |
JPH10210469A (ja) * | 1997-01-23 | 1998-08-07 | Xing:Kk | 動画像圧縮装置 |
JPH11266159A (ja) * | 1998-03-18 | 1999-09-28 | Ricoh Co Ltd | 符号化装置及び復号化装置 |
JPH11355583A (ja) * | 1998-06-03 | 1999-12-24 | Hitachi Ltd | 画像信号処理装置 |
-
2001
- 2001-09-21 JP JP2001289718A patent/JP4703921B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07121058A (ja) * | 1993-10-27 | 1995-05-12 | Fuji Xerox Co Ltd | 画像処理装置 |
JPH10210469A (ja) * | 1997-01-23 | 1998-08-07 | Xing:Kk | 動画像圧縮装置 |
JPH11266159A (ja) * | 1998-03-18 | 1999-09-28 | Ricoh Co Ltd | 符号化装置及び復号化装置 |
JPH11355583A (ja) * | 1998-06-03 | 1999-12-24 | Hitachi Ltd | 画像信号処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2003101792A (ja) | 2003-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7349579B2 (en) | Image processing device, image processing method, and image reading method | |
JP4656190B2 (ja) | 情報処理装置および方法 | |
US7302105B2 (en) | Moving image coding apparatus, moving image decoding apparatus, and methods therefor | |
WO2007058296A1 (ja) | 符号化装置および方法、復号装置および方法、並びに、伝送システム | |
JP2004228717A (ja) | 画像処理方法、画像処理装置、電子カメラ装置、プログラム及び記録媒体 | |
JP2010141659A (ja) | 情報処理装置および方法 | |
CN100558164C (zh) | 图像处理方法和采用该图像处理方法的图像编码装置 | |
JP4917724B2 (ja) | 復号方法、復号装置及び画像処理装置 | |
JP4111259B2 (ja) | 符号化装置、符号化方法、ソフトウェアプログラム、テーブルデータ並びに記録媒体 | |
JP4532518B2 (ja) | 画像処理装置及び画像処理方法 | |
US20050084168A1 (en) | Image encoding apparatus and method | |
JP2004166254A (ja) | 画像符号化装置及び方法、並びにプログラム及び記録媒体 | |
JP4703921B2 (ja) | 画像処理装置 | |
JP5966347B2 (ja) | 画像処理装置および方法 | |
JP2004040429A (ja) | ディジタル画像符号化装置及びそれに用いるディジタル画像符号化方法並びにそのプログラム | |
JP4166530B2 (ja) | 画像処理装置 | |
CN108028928B (zh) | 用于快速和高效的图像压缩和解压缩的方法和装置 | |
JP4111761B2 (ja) | 画像処理装置 | |
JP4344391B2 (ja) | 画像処理装置 | |
JP4115142B2 (ja) | 画像処理装置及び画像処理方法 | |
JPH0879537A (ja) | 画像情報符号化処理装置及び画像情報通信装置 | |
US11765366B2 (en) | Method for processing transform coefficients | |
JP4007507B2 (ja) | タイルサイズ変換装置 | |
JP2006033868A (ja) | 画像処理装置及び方法 | |
JP2008124969A (ja) | 画像可逆符号化方法及び画像可逆符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080725 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101207 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110204 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110309 |
|
LAPS | Cancellation because of no payment of annual fees |