JP4267848B2 - 画像符号化装置、画像復号装置、画像符号化方法、及び、画像復号方法 - Google Patents

画像符号化装置、画像復号装置、画像符号化方法、及び、画像復号方法 Download PDF

Info

Publication number
JP4267848B2
JP4267848B2 JP2001292590A JP2001292590A JP4267848B2 JP 4267848 B2 JP4267848 B2 JP 4267848B2 JP 2001292590 A JP2001292590 A JP 2001292590A JP 2001292590 A JP2001292590 A JP 2001292590A JP 4267848 B2 JP4267848 B2 JP 4267848B2
Authority
JP
Japan
Prior art keywords
wavelet transform
input
data
image
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001292590A
Other languages
English (en)
Other versions
JP2003101791A (ja
Inventor
幸男 門脇
充孝 岩崎
豊 佐藤
一弘 宮崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2001292590A priority Critical patent/JP4267848B2/ja
Priority to US10/247,896 priority patent/US7349579B2/en
Publication of JP2003101791A publication Critical patent/JP2003101791A/ja
Application granted granted Critical
Publication of JP4267848B2 publication Critical patent/JP4267848B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Color Television Systems (AREA)

Description

【0001】
【発明の属する技術分野】
【0002】
本発明は、画像符号化装置、画像復号装置、画像符号化方法、及び、画像復号方法に関し、特に、JPEG-2000に準拠した画像符号化装置、画像復号装置、画像符号化方法、及び、画像復号方法に関する。
【従来の技術】
【0003】
近年、静止画圧縮技術の次世代国際標準方式として、「JPEG−2000」が標準化された。
【0004】
この「JPEG−2000」は、インターネットやディジタル・スチル・カメラ等の静止画圧縮技術として現在主流となっている「JPEG(Joint Photo-graphic Experts Group)」の後継とされる圧縮方式であり、現在のところ、データ圧縮技術を定める「Part−1」と呼ばれる部分が国際標準とされている。
【0005】
「JPEG−2000」では、現行の「JPEG」が利用している圧縮技術とは大きく異なり、ウェーブレット変換が採用されている。図2を用いて、ウェーブレット変換を用いた「JPEG−2000」による符号化/復号化の一般的な動作を説明する。
【0006】
図2は、図中左側から入力された画像データを符号化して図中右側から出力し、また、図中右側から入力された符号データを復号化して図中左側から出力するよう構成されたものである。
【0007】
より詳細には、カラー変換部10が、入力された画像データを色変換する。これは、例えばRGB(R=Red,G=Green,B=Blue)の形式で入力された画像データを、YCbCr(Y=輝度,Cb,CR=色差)の形式に変換したり、その逆の変換を行うものである。以下に、例として、RGB形式の画像データを色変換する場合の式(式1)を示す。
G=Yr−(Cr+Cb−2)/4 Y=(R+2G+B)/4
R=Cr+G Cr=R−G
B=Cb+G Cb=B−G …(式1)
但し、カラー変換部10は、必ずしも必要な構成ではなく、必要に応じて機能するものである。
【0008】
次に図2に示す例では、ウェーブレット変換部20において、画像データの各コンポーネントに対し独立して複数レベルの2次元離散ウェーブレット変換(DWT)が行われる。この際、処理する画像をタイルと呼ばれる複数の矩形ブロックに分割して2次元離散ウェーブレット変換を行うことも可能である。但し、画像を複数のタイルに分割して処理を行う場合、ウェーブレット変換部20,量子化部30,及びエントロピー符号化部60では、タイル単位で各処理が行われる。
【0009】
・サブサンプリングされていないコンポーネントをウェーブレット変換した場合
以下に、サブサンプリングされていない3つのコンポーネント(例えばコンポーネント0=Y,コンポーネント1=Cb,コンポーネント2=Crとしてもよい)からなる画像データを128×128画素の大きさのタイルに分割し、レベル3の2次元離散ウェーブレット変換を行う場合について例を挙げて説明する。
【0010】
「JPEG−2000」で採用されているウェーブレット変換の一つである可逆変換が可能な整数型離散ウェーブレット変換(DWT:Discrete Wavelet Transform)の式(式2)を示す。
L(k)=x(2k)+(H(k)+H(k+1))/4
H(k)=x(2k-1)−(x(2k)+x(2k-2))/2 (式2)
ここで、x(k)はk点(タイル上の画素k)における画素値である。また、Lは平滑化、Hはエッジ検出を意味している。
【0011】
以上に示す(式2)により、レベル3の2次元離散ウェーブレット変換を行った場合、上記3つのコンポーネントのデータは、図4に示すような、10個のサブバンドの係数データに変換される。また、図8に、10個のサブバンド(3LL,3HL,3LH,3HH,2HL,2LH,2HH,1HL,1LH,1HH)の係数データに変換されたコンポーネントの構成を示す。但し、例えば'3HL'は、ステージ3において水平成分にハイパスフィルタ('H')を、垂直成分にローパスフィルタ('L')を掛けることにより得られたサブバンドであることを示している。
【0012】
このように、各コンポーネントをレベルに応じた複数の係数データに変換した後、必要であれば、これをタイル単位で量子化部30において量子化し、その後、エントロピー符号化部60においてエントロピー符号化する。
【0013】
ここで、エントロピー符号化とは、各係数データをビットプレーンに分割し、各ビットプレーンに存在するビットデータを2値の算術符号器(MQ符号器)で符号化していくものである。
【0014】
このような構成において、可逆の符号、即ち、圧縮による画像劣化のない符号を得るためには、全サブバンドの全てのビットプレーンを符号化する必要がある。これに対し、例えばサブバンド毎に個別に下位のビットプレーンを破棄して符号化することで、圧縮率を上げることも可能である。
【0015】
この下位のビットプレーンを破棄して圧縮率を上げることはトランケーションと呼ばれ、復号化した画像の画質に影響の少ないサブバンドのビットプレーンを優先して破棄することで、所定の圧縮率で最適な画質を得ることを可能とするものである。
【0016】
・サブサンプリングされたコンポーネントをウェーブレット変換した場合
次に、色差信号がサブサンプリングされた画像データを符号化する場合について以下に説明する。
【0017】
図3は、各入出力フォーマットのx方向(水平方向)y方向(垂直方向)の画素比を示す図である。尚、図3は各入出力フォーマットのx方向y方向の画素比を説明するための構成であり、本従来技術におけるウェーブレット変換の最小画素単位とは関係するものではない。
【0018】
また、図3において、4:2:2(水平成分H=2,垂直成分V=1:以下、H2V1と表現する),4:2:2(H1V2),4:1:1(H1V1)の各フォーマットのコンポーネント1,2は、それぞれ前処理としてサブサンプリングされているものとする。
【0019】
この構成において、例えば4:2:2(H2V1)フォーマットの場合では、x方向にサブサンプリングされているため、x方向のデータが間引きされてサブサンプリングされている。同様に、4:2:2(H1V2)フォーマットの場合では、y方向のデータが間引きされ、4:1:1(H1V1)の場合では、xy方向両方のデータがサブサンプリング(間引き)されている。
【0020】
ここで、図9に、4:2:2(H2V1)フォーマットの画像データに対してレベル3の2次元離散ウェーブレット変換を行った場合の、各コンポーネントのウェーブレット係数の様子を示す。
【0021】
図9を参照すると、例えばタイルの大きさが128×128画素の場合、サブサンプリングされたコンポーネント1,2のデータ領域は、x方向において間引きがなされているため、64×128画素となる。
【0022】
この領域のデータに対してレベル3の2次元離散ウェーブレット変換を実施した場合、最終的なサブバンドは図10に示すように、水平成分の画素数が垂直成分の画素数に対して半分となり、サブサンプリングされていないコンポーネントのサブバンド(図8参照)とは異なった形状となる。
【発明が解決しようとする課題】
【0023】
このように、X方向及び/又はY方向が間引きされたデータに対して2次元離散ウェーブレット変換を行った場合、コンポーネント毎にサブバンドの形状に差分が存在する。
【0024】
このため、サブバンド毎にビットプレーンに分割してエントロピー符号化を実施する場合、サブサンプリングされたビットプレーンに対して画素間に'0'等を補間したり、前の画素に対する値を補間する等、存在する差分に応じた制御が必要となり、エントロピー符号化部60の回路が複雑となるという問題が存在した。
【0025】
更に、上記のように補間すると、補間した分、データ量が増加するため、処理量が増大するという問題も存在した。
【0026】
本発明は、上記問題に鑑みてなされたものであり、複雑な回路やデータ量の増加を伴うことなく、サブサンプリングされた画像データから容易に符号データを生成することを可能にする画像符号化装置、画像復号装置、画像符号化方法、及び、画像復号方法を提供することを目的とする。
【0027】
更に、本発明は、目的に応じてサブサンプリングされた画像データ出力することを可能にする画像符号化装置、画像復号装置、画像符号化方法、及び、画像復号方法を提供することを目的とする。
【0028】
更に、本発明は、ウェーブレット変換を行なう際に必要となるバッファが大きくならないように、画像データを入出力することを可能にする画像符号化装置、画像復号装置、画像符号化方法、及び、画像復号方法を提供することを目的とする。
【課題を解決するための手段】
【0029】
係る目的を達成するために、本発明の画像符号化装置は、複数のコンポーネントからなる画像データの前記コンポーネント毎に水平方向及び/又は垂直方向のウェーブレット変換を1以上のステージにおいて行い、前記ステージ毎に出力されるサブバンドの係数データを、前記コンポーネント毎にビットプレーンに分割して符号化する画像符号化装置であって、前記ウェーブレット変換を行うウェーブレット変換手段と、前記ウェーブレット変換手段において作成された係数データを符号化する符号化手段とを有し、前記ウェーブレット変換手段は、所定のステージにおいて、前記コンポーネントのうちサブサンプルされているコンポーネントの、当該サブサンプルの方向のウェーブレット変換を行わず、前記符号化手段は、前記ウェーブレット変換を行わないステージにおける前記サブサンプルの方向の係数データをゼロビットプレーンとして破棄し、該ゼロビットプレーンを表すデータを生成して符号化することを特徴としている。
【0030】
これにより、複雑な回路やデータ量の増加を伴うことなく、サブサンプリングされた画像データから容易に符号データを生成することが可能になる。
【0031】
更に、本発明の画像符号化装置において、前記ウェーブレット変換手段が、前記画像データにおける所定方向のラインが間引きされている場合、該所定方向に対するウェーブレット変換を前記所定のステージにおいて行わず、前記画像データにおけるラインがいずれも間引かれていない場合、全てのステージにおいてウェーブレット変換を行うことを特徴としている。
【0032】
これにより、サブサンプリングされた画像データに応じて、容易に符号データを生成することが可能になる。
【0033】
更に、本発明の画像符号化装置において、前記符号化手段は、さらに、前記ウェーブレット変換を行わないステージにおける前記サブサンプルの方向の係数データを破棄されたとみなして符号化することを特徴としている。
【0034】
これにより、圧縮率が高い符号データを生成することが可能となる。
【0035】
また、本発明の画像符号化装置において、前記ウェーブレット変換手段は、複数のコンポーネント毎に作成された画像データに対して水平方向の1次元ウェーブレット変換を施す1次元水平方向ウェーブレット変換手段と、前記画像データに対して垂直方向の1次元ウェーブレット変換を施す1次元垂直方向ウェーブレット変換手段と、より成る2次元ウェーブレット変換手段を有し、第1のステージにおける前記1次元水平方向ウェーブレット変換手段及び/又は前記1次元垂直方向ウェーブレット変換手段の入出力先を切り替える入出力先切替え手段を有し、該入出力先切替え手段は、前記画像データの所定方向のラインが間引きされている場合、該画像データに対して、前記第1のステージにおいて前記所定方向に対する1次元ウェーブレット変換を行なわないように、前記入出力先を切り替えることを特徴としている。
【0036】
これにより、サブサンプリングされた画像データに対して適切なウェーブレット変換を行なうことが可能となり、複雑な回路やデータ量の増加を伴うことなく、容易に符号データを生成することが可能になる。
【0037】
更に、本発明の画像符号化装置において、前記第1のステージの後段の入力先を切り替える入力先切替え手段を有し、該入力先切替え手段が、前記画像データの何れのラインも間引きされていない場合、前記第1のステージによる2次元ウェーブレット変換を施すことで作成された係数データが、前記後段に入力されるように前記入力先を切り替えることを特徴としている。
【0038】
これにより、サブサンプリングされた画像データとサブサンプリングされていない画像データとを区別し、それぞれに応じた適切なウェーブレット変換を行なうことが可能となり、複雑な回路やデータ量の増加を伴うことなく、容易に符号データを生成することが可能になる。
【0039】
また、本発明の画像復号装置は、複数のコンポーネントからなる画像データに対してウェーブレット変換を行うことにより生成された複数のサブバンドより成る係数データに対して水平方向及び/又は垂直方向の逆ウェーブレット変換を1以上のステージにおいて行う逆ウェーブレット変換手段を有する画像復号装置であって、前記逆ウェーブレット変換手段は、前記コンポーネントのうちサブサンプルされて出力されるコンポーネントの係数データに対する逆ウェーブレット変換を所定のステージにおいて行なわないことを特徴としている。
【0040】
これにより、目的に応じてサブサンプリングされた画像データ出力することが可能になる。
【0041】
これにより、本発明の画像復号装置は、サブサンプリングされた画像データとサブサンプリングされていない画像データとを容易に切り替えて出力することが可能になる。
【0042】
また、本発明の画像復号装置において、前記逆ウェーブレット変換手段は、1つ以上のサブバンドより成る係数データに対して水平方向の1次元逆ウェーブレット変換を施す1次元水平方向逆ウェーブレット変換手段と、前記係数データに対して垂直方向の1次元逆ウェーブレット変換を施す1次元垂直方向逆ウェーブレット変換手段と、より成る2次元逆ウェーブレット変換手段を有し、最後のステージにおける前記1次元水平方向逆ウェーブレット変換手段及び/又は前記1次元垂直方向逆ウェーブレット変換手段の入出力先を切り替える入出力先切替え手段を有し、該入出力先切替え手段は、前記コンポーネントのうちサブサンプルされて出力されるコンポーネントの係数データに対して、前記最後のステージにおいて水平方向及び/又は垂直方向の1次元逆ウェーブレット変換を行なわないように、前記入出力先を切り替えることを特徴としている。
【0043】
これにより、目的に応じて適切な逆ウェーブレット変換が行なわれて作成された、サブサンプリングされた画像データ出力することが可能になる。
【0044】
更に、本発明の画像復号装置において、前記最後のステージの後段の入力先を切り替える入力先切替え手段を有し、該入力先切替え手段は、前記最後のステージによる2次元逆ウェーブレット変換が前記係数データに対して施されていない画像データを作成する場合、前記最後のステージによる2次元逆ウェーブレット変換が施されていない画像データが前記後段に入力されるように前記入力先を切り替えることを特徴としている。
【0045】
これにより、目的の画像データが、サブサンプリングされた画像データであるかサブサンプリングされていない画像データであるかを区別し、これに応じて適切な逆ウェーブレット変換を施すことが可能となる。
【0046】
また、本発明の参考発明の画像符号化装置において、複数のコンポーネントからなる画像データから前記コンポーネント毎に画素データを読み取る画素データ読取り手段を有し、前記画素データ読取り手段は、入力の対象とするコンポーネントを画素単位又はタイル単位又はライン単位で切り替えて、前記画素データを読み取ることを特徴としている。
【0047】
これにより、ウェーブレット変換を行なう際に必要となるバッファが大きくならないように、画像データを入出力することが可能となる。
【0048】
更に、本発明の参考発明の画像符号化装置において、前記画素データ読取り手段は、異なるコンポーネントの画素データを、1度に1つ又は2つ以上並列に読み取ることを特徴としている。
【0049】
これにより、ウェーブレット変換を行なう際に必要となるバッファが大きくならないように、画像データを入出力することが可能となるだけでなく、画素データを並列に読み取ることが可能となる。
【0050】
更に、本発明の参考発明の画像符号化装置において、前前記複数のコンポーネントは、第1から第3のコンポーネントであり、前記画素データ読取り手段は、前記第2及び第3のコンポーネントの画像データにおける垂直方向のラインを間引く場合、前記第1のコンポーネントの画素データと前記第2のコンポーネントの画素データと前記第3のコンポーネントの画素データとを2:1:1の割合で読み取るように、前記コンポーネントを切り替えることを特徴としている。
【0051】
これにより、ウェーブレット変換を行なう際に必要となるバッファが大きくならないように、適切にサブサンプリングされた画像データを読み取ることが可能となる。
【0052】
更に、本発明の参考発明の画像符号化装置において、前記画素データ読取り手段は、前記第2及び第3のコンポーネントの画像データにおける水平方向のラインをさらに間引く場合、前記第2及び第3のコンポーネントにおける垂直方向の画素データを1画素飛びに読み取ることを特徴としている。
【0053】
これにより、ウェーブレット変換を行なう際に必要となるバッファが大きくならないように、適切にサブサンプリングされた画像データを読み取ることが可能となる。
【0054】
更に、本発明の参考発明の画像符号化装置において、前記複数のコンポーネントは、第1から第3のコンポーネントであり、前記画素データ読取り手段は、前記第2及び第3のコンポーネントの画素データにおける水平成分のラインを間引く場合、前記第1のコンポーネントの画素データと前記第2のコンポーネントの画素データ又は前記第3のコンポーネントの画素データとを2:1の割合で読み取るように、前記コンポーネントを切り替え、また、前記第2のコンポーネントと前記第3のコンポーネントとをライン毎に切り替えることを特徴としている。
【0055】
これにより、ウェーブレット変換を行なう際に必要となるバッファが大きくならないように、適切にサブサンプリングされた画像データを読み取ることが可能となる。
【0056】
更に、本発明の画像符号化方法は、複数のコンポーネントからなる画像データの前記コンポーネント毎に水平方向及び/又は垂直方向のウェーブレット変換を1以上のステージにおいて行い、前記ステージ毎に出力されるサブバンドの係数データを、前記コンポーネント毎にビットプレーンに分割して符号化する画像符号化方法であって、前記ウェーブレット変換を行うウェーブレット変換工程と、前記ウェーブレット変換工程において作成された係数データを符号化する符号化工程とを有し、前記ウェーブレット変換工程は、所定のステージにおいて、前記コンポーネントのうちサブサンプルされているコンポーネントの、当該サブサンプルの方向のウェーブレット変換を行わず、前記符号化工程は、前記ウェーブレット変換を行わないステージにおける前記サブサンプルの方向の係数データをゼロビットプレーンとして破棄し、該ゼロビットプレーンを表すデータを生成して符号化することを特徴としている。
【0057】
これにより、複雑な回路やデータ量の増加を伴うことなく、サブサンプリングされた画像データから容易に符号データを生成することが可能になる。
【0058】
更に、本発明の画像符号化方法において、前記ウェーブレット変換工程は、前記画像データにおける所定方向のラインが間引きされている場合、該所定方向に対するウェーブレット変換を前記所定のステージにおいて行わず、前記画像データにおけるラインがいずれも間引かれていない場合、全てのステージにおいてウェーブレット変換を行うことを特徴としている。
【0059】
これにより、サブサンプリングされた画像データに応じて、容易に符号データを生成することが可能になる。
【0060】
更に、本発明の画像符号化方法において、前記符号化工程は、さらに、前記ウェーブレット変換を行わないステージにおける前記サブサンプルの方向の係数データを破棄されたとみなして符号化することを特徴としている。
【0061】
これにより、圧縮率が高い符号データを生成することが可能となる。
【0062】
また、本発明の画像復号方法は、複数のコンポーネントからなる画像データに対してウェーブレット変換を行うことにより生成された複数のサブバンドより成る係数データに対して水平方向及び/又は垂直方向の逆ウェーブレット変換を1以上のステージにおいて行う逆ウェーブレット変換工程を有する画像復号方法であって、前記逆ウェーブレット変換工程は、前記コンポーネントのうちサブサンプルされて出力されるコンポーネントの係数データに対する逆ウェーブレット変換を所定のステージにおいて行なわないことを特徴とする画像復号方法。
を特徴としている。
【0063】
これにより、目的に応じてサブサンプリングされた画像データ出力することが可能になる。
【0064】
これにより、サブサンプリングされた画像データとサブサンプリングされていない画像データとを容易に切り替えて出力することが可能になる。
【0065】
また、本発明の参考発明の画像符号化方法において、複数のコンポーネントからなる画像データから前記コンポーネント毎に画素データを読み取る画素データ読取り工程を有し、前記画素データ読取り工程は、入力の対象とするコンポーネントを画素単位又はタイル単位又はライン単位で切り替えて、前記画素データを読み取ることを特徴としている。
【0066】
これにより、ウェーブレット変換を行なう際に必要となるバッファが大きくならないように、画像データを入出力することが可能となる。
【0067】
更に、本発明の参考発明の画像符号化方法において、前記画素データ読取り工程は、異なるコンポーネントの画素データを、1度に1つ又は2つ以上並列に読み取ることを特徴としている。
【0068】
これにより、ウェーブレット変換を行なう際に必要となるバッファが大きくならないように、画像データを入出力することが可能となるだけでなく、画素データを並列に読み取ることが可能となる。
【0069】
更に、本発明の参考発明の画像符号化方法において、前記複数のコンポーネントは、第1から第3のコンポーネントであり、前記画素データ読取り工程は、前記第2及び第3のコンポーネントの画像データにおける垂直方向のラインを間引く場合、前記第1のコンポーネントの画素データと前記第2のコンポーネントの画素データと前記第3のコンポーネントの画素データとを2:1:1の割合で読み取るように、前記コンポーネントを切り替えることを特徴としている。
【0070】
これにより、ウェーブレット変換を行なう際に必要となるバッファが大きくならないように、適切にサブサンプリングされた画像データを読み取ることが可能となる。
【0071】
更に、本発明の参考発明の画像符号化方法において、前記画素データ読取り工程は、前記第2及び第3のコンポーネントの画像データにおける水平方向のラインをさらに間引く場合、前記第2及び第3のコンポーネントにおける垂直方向の画素データを1画素飛びに読み取ることを特徴としている。
【0072】
これにより、ウェーブレット変換を行なう際に必要となるバッファが大きくならないように、適切にサブサンプリングされた画像データを読み取ることが可能となる。
【0073】
更に、本発明の参考発明の画像符号化方法において、前記複数のコンポーネントは、第1から第3のコンポーネントであり、前記画素データ読取り工程は、前記第2及び第3のコンポーネントの画素データにおける水平成分のラインを間引く場合、前記第1のコンポーネントの画素データと前記第2のコンポーネントの画素データ又は前記第3のコンポーネントの画素データとを2:1の割合で読み取るように、前記コンポーネントを切り替え、また、前記第2のコンポーネントと前記第3のコンポーネントとをライン毎に切り替えることを特徴としている。
【0074】
これにより、ウェーブレット変換を行なう際に必要となるバッファが大きくならないように、適切にサブサンプリングされた画像データを読み取ることが可能となる。
【発明の実施の形態】
【0075】
〔本発明の特徴〕
本発明は、JPEG−2000を用いた画像圧縮において、従来の方法よりも圧縮効果を向上させることを可能にするものである。
【0076】
これを実現するにあたり、本発明は、従来技術において間引きされた画像データを補間するために挿入される'0'ビットをまとめて、いわゆる'0'ビットプレーンを形成する。ここで'0'ビットプレーンとは、全て'0'の値で形成されたビットプレーンである。
【0077】
即ち、例えばY,Cb,Crの3つのコンポーネント0(=Y),1(=Cb),2(=Cr)より成り、1タイルが128×128画素から構成された画像データであって、コンポーネント1,2におけるy方向の画素が1/2に間引きされ、64×128画素とされた画像データに対して、JPEG−2000に準じた2次元離散ウェーブレット変換を行う場合、従来技術では、コンポーネント1,2における各画素間に'0'を補間することで、全てのコンポーネントで同一の大きさ(128×128画素)とする必要があった。
【0078】
これに対し、本発明では、コンポーネント1,2に対して'0'ビットプレーンを付加することで、全てのコンポーネントで同一の大きさ(128×128画素)となるように形成する。
【0079】
JPEG−2000において、この'0'ビットプレーンは、1ビットのデータに圧縮される。従って、本発明では、補間を'0'ビットプレーンを付加することで行うため、より高圧縮が実現される。
【0080】
但し、本発明において'0'ビットプレーンが形成される領域はデータフォーマット毎に確定しているため、実際には、'0'ビットプレーンを付加する処理を省き、'0'ビットプレーンが所定のビットプレーンに形成されていると仮定して処理を実行する。
【0081】
〔第1の実施形態〕
以下、本発明を好適に実施した第1の実施形態について図面を用いて詳細に説明する。
【0082】
(第1の実施形態の構成)
本実施形態は、図1に示す画像処理装置において、JPEG−2000による圧縮率を向上させるためのものである。
【0083】
図1において、符号化/復号化処理部2は、図2に示すような機能ブロックを有して構成されるものであり、入力された画像データに対してカラー変換やウェーブレット変換や量子化や係数順序制御や係数モデリングやエントロピー符号化等の処理を施して符号化し、また、入力された符号データを上記の逆処理を施して復号化するものである。
【0084】
また、図1において、画像読取部5は、CCDカメラ等で構成されるものであり、A/D変換部6は、画像読取部5で読み取られた画像データをA/D変換して出力するものである。
【0085】
また、I/Oインタフェース7は、A/D変換部6,RAM8,バス1,又は外部機器間のデータの送受信を仲介するインタフェースである。
【0086】
更に、CPU3は、各部の制御等を実行し、メモリ4は、CPU3や符号化/復号化処理部2の作業領域等として機能する。
【0087】
この構成において、符号化/復号化処理部2の処理動作について、以下に図面を用いて詳細に説明する。
【0088】
(符号化方法)
まず、符号化/復号化処理部2における符号化方法に関し、図面を用いて説明する。但し、以下の説明では、1タイルが128×128画素で構成されている場合を例に挙げて説明する。また、符号化/復号化処理部2におけるJPEG−2000の符号化機能ブロックの構成は、図2に示すものを引用する。但し、本実施形態では、ウェーブレット変換部20の構成及び動作が上述の説明とは異なり、以下に示すものとなる。
【0089】
また、以下の説明では、便宜上、画像データのデータ形式を、4:4:4フォーマット,4:2:2(H2V1)フォーマット,4:2:2(H1V2)フォーマット,4:1:1(4:2:0)フォーマットというデータ形式で表している。
【0090】
4:4:4フォーマットとは、RGB又はYCbCr形式の画像データにおいて、各コンポーネント(例えばY:Cb:Cr)の画素数の比が4:4:4(=1:1:1)である、即ち、間引きされていないデータを指す。
【0091】
また、4:2:2(H2V1)フォーマットは、各コンポーネントの画素数の比が4:2:2であり、垂直方向(y方向)の画素が間引きされているデータを指し、4:2:2(H1V2)フォーマットは、各コンポーネントの画素数の比が4:2:2であり、水平方向(x方向)の画素が間引きされていデータを指す。
【0092】
更に、4:1:1(H1V1)フォーマットは、各コンポーネントの画素数の日が4:1:1であり、垂直方向及び水平方向の画素が間引きされているデータを指す。
【0093】
また、本実施形態では、ウェーブレット変換部20に入力される画像データがYCbCr形式であり、また、実行されるウェーブレット変換がレベル3までであるように構成した場合について説明する。
【0094】
・4:2:2(H2V1)フォーマットにサブサンプリングされた画像データを符号化する場合
まず、本実施形態において、4:2:2(H2V1)フォーマットにサブサンプリングされた画像データを符号化する方法を説明する。
【0095】
図5は、4:2:2(H2V1)フォーマットの画像データに対して実行されるウェーブレット変換をステージ毎に説明するための図である。
【0096】
図5を参照すると、4:2:2(H2V1)フォーマットの画像データにおけるコンポーネント1,2は、x方向にサブサンプリング(間引き)がなされているため、入力データが64画素×128画素となる。また、出力データも同様に64画素×128画素となる。
【0097】
本実施形態では、このように64画素×128画素の画像データが入力されると、ウェーブレット変換部20において、コンポーネント1,2のデータに関しては既にx方向に対してローパスフィルタがかかったデータが入力されたとみなす。従って、図5中、ステージ1では、縦方向の変換のみを実行する。また、以降のステージ2,3では、縦横共に1回ずつの変換を実行する。
【0098】
このように処理を実行することで、コンポーネント1,2に対して最終的に得られる係数データは、3LL〜2HHまで及び1LHのみとなり、サブバンドの形状が図11に示すようになる。
【0099】
但し、サブバンドの大きさは、何れのコンポーネントに関しても同じとする必要がある。従って、コンポーネント1,2に関するサブバンドでは、1HLと1HHとの係数データが存在するものと仮定して以降の処理が実行される。
【0100】
即ち、図11に示す係数データをエントロピー符号化する際、エントロピー符号化部60は、予め存在すると仮定された1HL及び1HHのサブバンドの係数データが全て破棄された(トランケーションされた)とみなして符号化を実行する。これにより、本実施形態では、JPEG−2000に準拠した符号が生成される。
【0101】
また、以上の方法では、各サブバンドの領域の大きさが、全てのコンポーネントにおいて同じであると見なすことが可能であるため、符号化の制御方法も同じとなる。従って、本実施形態では複雑な回路等を追加構成する必要なく、JPEG−2000に準拠した符号を生成することができる。
【0102】
・4:2:2(H1V2)フォーマットにサブサンプリングされた画像データを符号化する場合
次に、本実施形態において、4:2:2(H1V2)フォーマットにサブサンプリングされた画像データを符号化する方法を説明する。
【0103】
図6は、4:2:2(H1V2)フォーマットの画像データに対して実行されるウェーブレット変換をステージ毎に説明するための図である。
【0104】
図6を参照すると、コンポーネント1,2は、y方向にサブサンプリング(間引き)がなされているため、入力データが128画素×64画素となる。また、出力データも同様に128画素×64画素となる。
【0105】
本実施形態では、このように128画素×64画素の画像データが入力されると、ウェーブレット変換部20において、コンポーネント1,2のデータに関しては既にy方向に対してローパスフィルタがかかったデータが入力されたとみなす。従って、図6中、ステージ1では、横方向の変換のみを実行する。また、以降のステージ2,3では、縦横共に1回ずつの変換を実行する。
【0106】
このように処理を実行することで、コンポーネント1,2に対して最終的に得られる係数データは、3LL〜2HHまで及び1HLのみとなり、サブバンドの形状が、図11に示す構成において1LHを1HLに置き換えたものとなる。
【0107】
従って、以降の処理は、上記と同様に、コンポーネント1,2に関するサブバンドでは、1LHと1HHとの'0'ビットプレーンが存在するものと仮定し、1LHと1HHとの係数データを破棄してエントロピー符号化を実行し、JPEG−2000に準拠した符号を生成する。
【0108】
この場合においても、各サブバンドの領域の大きさが、全てのコンポーネントにおいて同じであると見なすことが可能であるため、符号化の制御方法も同じとなり、複雑な回路等を追加構成する必要なくJPEG−2000に準拠した符号を生成することができる。
【0109】
・4:1:1(H1V1)フォーマットにサブサンプリングされた画像データを符号化する場合
また、本実施形態において、4:1:1(H1V1)フォーマットにサブサンプリングされた画像データを符号化する方法を説明する。
【0110】
図7は、4:1:1(H1V1)フォーマットの画像データに対して実行するウェーブレット変換をステージ毎に説明するための図である。
【0111】
図7を参照すると、コンポーネント1,2は、x方向及びy方向にサブサンプリング(間引き)がなされているため、縦横共に1/2の入力データ(64画素×64画素)となる。また、出力されるデータも同様に64画素×64画素の出力データとなる。
【0112】
本実施形態では、このように64画素×64画素の画像データが入力されると、ウェーブレット変換部20において、コンポーネント1,2のデータに関しては既にx方向及びy方向に対してローパスフィルタがかかったデータが入力された、即ち、1LLのデータが入力されたとみなす。従って、本実施形態では、ステージ1,2において縦横共に1回ずつの変換を実行し、3回目の変換、即ち、ステージ3を省略する。
【0113】
このように処理を実行することで、コンポーネント1,2に対して最終的に得られる係数データは、3LL〜2HHまでとなる。
【0114】
従って、以降の処理は、コンポーネント1,2に関するサブバンドでは、1HLと1LHと1HHとの'0'ビットプレーンが存在するものと仮定し、1HLと1LHと1HHとの係数データを破棄してエントロピー符号化を実行し、JPEG−2000に準拠した符号を生成する。
【0115】
この場合においても、各サブバンドの領域の大きさが、全てのコンポーネントにおいて同じであると見なすことが可能であるため、符号化の制御方法も同じとなり、複雑な回路等を追加構成する必要なく、JPEG−2000に準拠した符号を生成することができる。
【0116】
このように、本実施形態では、何れのコンポーネントにおいてもサブバンドの形状が同一であるとみなすことが可能であるため、入力フォーマットの形式を意識することなく、一定の処理によるエントロピー符号化でJPEG−2000に準拠した符号を得ることが可能となる。
【0117】
即ち、JPEG−2000による画像符号化を行う装置において、例えば色差データがサブサンプリングされたYCbCrなどの画像データを入力する際、そのサブサンプリングされたCb,Crに対するウェーブレット変換の次数を換えるのみで、JPEG−2000フォーマットに準拠した符号を生成することが可能となる。
【0118】
(ウェーブレット変換を実行するための構成)
次に、本実施形態において、上記した符号化方法を実現する際のウェーブレット変換を実行する構成を図12のブロック図を用いて詳細に説明する。
【0119】
図12は、2次元離散ウェーブレット変換を行うウェーブレット変換部20の構成例を示すブロック図である。また、図12において、『H』はx方向の1次元離散ウェーブレット変換を実行するブロック(以下、水平方向1次元離散ウェーブレット変換部という)であり、『V』はy方向の1次元離散ウェーブレット変換を実行するブロック(以下、垂直方向1次元離散ウェーブレット変換部という)である。更に、図12では、『H』,『V』を各々3つ設けることで、レベル3の2次元離散ウェーブレット変換を実現するよう構成されている。
【0120】
また、それぞれのステージにおいて『V』と『H』とは構成を入れ換えても良い。更に、図12中、各セレクタには、所定の制御部(例えばCPU300)から制御信号が入力され、何れの入力を出力するかが選択される。
【0121】
・4:4:4フォーマットの画像データが入力された場合
この構成において、4:4:4フォーマットの画像データが入力された場合、この画像データは、まず、V101においてy方向の1次元離散ウェーブレット変換が実行される。その後、V101から出力されたデータは、セレクタ102を介してH103に入力され、x方向の1次元離散ウェーブレット変換が実行される。これにより、ステージ1の処理が完了する。
【0122】
その後、H103から出力されたデータは、セレクタ104を介してV105に入力され、V105,H106によりステージ2の処理が実行される。更に、同様にV107,H108によりステージ3の処理が実行される。
【0123】
このように、4:4:4フォーマットの画像データが入力された場合、本実施形態では、入力された画像データにおける全てのコンポーネントに対して3組全ての『H』,『V』が使用され、最終的な係数データが取得される。
【0124】
・4:2:2(H2V1)フォーマットの画像データが入力された場合
また、4:2:2(H2V1)フォーマットの画像データが入力された場合、コンポーネント0に関しては、上記4:4:4フォーマットの場合と同様に、3組全ての『H』,『V』を使用して、最終的な係数データを取得する。
【0125】
また、コンポーネント1,2に関しては、入力された画像データにV101においてy方向の1次元離散ウェーブレット変換が実行された後、これがセレクタ104を介してV105へ入力される。
【0126】
即ち、4:2:2(H2V1)フォーマットの画像データが入力された場合、セレクタ104がV101から入力されたデータを出力するよう動作する。
【0127】
これにより、コンポーネント1,2に対するステージ1では、y方向の1次元離散ウェーブレット変換のみが実行され、x方向の1次元離散ウェーブレット変換が省略される。また、ステージ2,3の処理は、4:4:4フォーマットと同様に実行される。
【0128】
従って、4:2:2(H2V1)フォーマットの画像データが入力された場合、本実施形態では、入力された画像データにおけるコンポーネント0に対してのみ3組全ての『H』,『V』が使用され、コンポーネント1,2に対してはステージ1の『H』以外の『H』,『V』が使用され、最終的な係数データが取得される。
【0129】
・4:2:2(H1V2)フォーマットの画像データが入力された場合
また、4:2:2(H1V2)フォーマットの画像データが入力された場合、コンポーネント0に関しては、上記4:4:4フォーマットの場合と同様に、3組全ての『H』,『V』を使用して、最終的な係数データを取得する。
【0130】
また、コンポーネント1,2に関しては、入力された画像データが、セレクタ102を介してH103に入力され、x方向の1次元離散ウェーブレット変換が実行される。
【0131】
即ち、4:2:2(H1V2)フォーマットの画像データが入力された場合、この画像データは、V101には入力されず、セレクタ102に入力され、セレクタ102がこの画像データをH103へ出力する。
【0132】
これにより、コンポーネント1,2に対するステージ1では、x方向の1次元離散ウェーブレット変換のみが実行され、y方向の1次元離散ウェーブレット変換が省略される。また、ステージ2,3の処理は、4:4:4フォーマットと同様に実行される。
【0133】
従って、4:2:2(H1V2)フォーマットの画像データが入力された場合、本実施形態では、入力された画像データにおけるコンポーネント0に対してのみ3組全ての『H』,『V』が使用され、コンポーネント1,2に対してはステージ1の『V』以外の『H』,『V』が使用され、最終的な係数データが取得される。
【0134】
・4:1:1(H1V1)フォーマットの画像データが入力された場合
更に、4:1:1(H1V1)フォーマットの画像データが入力された場合、コンポーネント0に関しては、上記4:4:4フォーマットの場合と同様に、3組全ての『H』,『V』を使用して、最終的な係数データを取得する。
【0135】
また、コンポーネント1,2に関しては、V101及びH103には入力されず、セレクタ104を介してH105に入力され、ステージ2以降の処理が実行される。
【0136】
即ち、4:1:1(H1V1)フォーマットの画像データが入力された場合、この画像データは、セレクタ104に入力され、セレクタ104がこの画像データをV105へ出力する。
【0137】
これにより、コンポーネント1,2に対するステージ1では、ステージ1の処理が省略され、ステージ2,3の処理が、4:4:4フォーマットと同様に実行される。
【0138】
従って、4:1:1(H1V1)フォーマットの画像データが入力された場合、本実施形態では、入力された画像データにおけるコンポーネント0に対してのみ3組全ての『H』,『V』が使用され、コンポーネント1,2に対してはステージ2以降の『H』,『V』が使用され、最終的な係数データが取得される。
【0139】
このように、ステージ1のブロックの前に切り替え器を設ける構成等のように、ウェーブレット処理に簡単な切り替え機能を追加することで、サブサンプリングされた画像データとサブサンプリングされていない画像データとに関係なく、全てのフォーマットに対応した2次元離散ウェーブレット変換を実現することが可能となる。
【0140】
即ち、JPEG−2000による画像符号化を行う装置において、例えば色差データがサブサンプリングされたYCbCrなどの画像データと、サブサンプリングされていないYCbCR,RGBなどの画像データとで、ウェーブレット変換の次数を換えることにより、両方の画像データに対して統一的にJPEG−2000フォーマットに準拠した符号を生成することが可能となる。
【0141】
(逆ウェーブレット変換を実行するための構成)
次に、本実施形態において、逆ウェーブレット変換を実行する構成を図13のブロック図を用いて詳細に説明する。
【0142】
図13は、2次元離散逆ウェーブレット変換を行うウェーブレット変換部20の構成例を示すブロック図である。また、図13において、『IH』はx方向の1次元離散逆ウェーブレット変換を実行するブロック(以下、水平方向1次元離散逆ウェーブレット変換部という)であり、『IV』はy方向の1次元離散逆ウェーブレット変換を実行するブロック(垂直方向1次元離散逆ウェーブレット変換部という)である。更に、図13では、『IH』,『IV』を各々3つ設けることで、レベル3の2次元離散逆ウェーブレット変換を実現するよう構成されている。
【0143】
また、それぞれのステージにおいて『IV』と『IH』とは構成を入れ換えても良い。更に、図13中、各セレクタには、所定の制御部(例えばCPU300)から制御信号が入力され、何れの入力を出力するかが選択される。
【0144】
また、この構成には、JPEG−2000標準に準拠した符号により得られたウェーブレットの係数データが入力される。
【0145】
・4:4:4フォーマットの画像データを出力する場合
この構成において、最終的に4:4:4フォーマットの画像データを出力させる場合、3組全ての『IH』,『IV』を使用して、2次元離散逆ウェーブレット変換を実行する。
【0146】
即ち、セレクタ206は、IH205から入力された係数データをIV207に入力する。これにより、出力側では、全ての『IH』,『IV』を経て、IV207より出力された画像データが取得される。
【0147】
・4:2:2(H2V1)フォーマットの画像データを出力する場合
これに対して、4:2:2(H2V1)フォーマットの画像データを出力させる場合、セレクタ206は、IV204より出力された係数データをIV207へ出力する。これにより、出力側では、IH205、即ち、ステージ3におけるx方向の1次元離散逆ウェーブレット変換が省略されて画像データが取得される。
【0148】
・4:2:2(H1V2)フォーマットの画像データを出力する場合
また、4:2:2(H1V2)フォーマットの画像データを出力させる場合、セレクタ206は、IH205より出力されたデータを出力し、出力側において、このセレクタ206から出力されたデータを取得する。これにより、出力側では、IV207、即ち、ステージ3におけるy方向の1次元離散逆ウェーブレット変換が省略されて画像データが取得される。
【0149】
・4:1:1(H1V1)フォーマットの画像データを出力する場合
更に、4:1:1(H1V1)フォーマットの画像データを出力させる場合、出力側において、IV204から出力されたデータを取得する。これにより、出力側では、IH205及びIV207、即ち、ステージ3におけるx方向及びy方向の2次元離散逆ウェーブレット変換が省略されて画像データが取得される。
【0150】
このように、ステージ3のブロックの前に切り替え器を設け、取得したい画像データのフォーマットに応じてステージ3の変換を切り替えることで、全てのフォーマットに対応した2次元離散逆ウェーブレット変換を実現し、色差データがサブサンプリングされたYCbCrなどの画像データの出力と、サブサンプリングされていない画像データの出力とを切り替えることが可能となる。
【0151】
(画像データ入出力方法)
また、図2のように構成した符号化機能ブロックへ画像データを入力する際に好適な画像データ入出力方法について、以下に図面を用いて詳細に説明する。また、この画像データ入出力方法は、画像読取部5において動作するものである。
【0152】
一般的に、NTSC方式などでは画素毎にコンポーネントを切り替えながらYCbCr信号を順番に入出力する構成となっているが、デジタルカメラなどではフレーム単位でコンポーネントの順番を切り替えてYCbCr信号を入出力する構成となっている。
【0153】
しかしながら、図2に示す符号化機能ブロックに対し、フレーム単位でコンポーネントの順番を切り替えてYCbCr信号を入出力するよう構成した場合、画像データを一時格納するバッファに要求されるサイズが非常に大きなものとなり、これを搭載するLSIのチップサイズが巨大化してしまう。
【0154】
そこで、本実施形態では、入力された画像データを効率的にウェーブレット変換するために、以下に示す方法(画像データ入出力方法)で画像データを入力し、符号化機能ブロックへ出力するよう構成する。
【0155】
本実施形態による画像データ入出力方法では、図14に示すように、まず、画像データを基準となる画像単位(タイル)に分割する。その後、このタイルに分割された画像データを、タイル毎に順次入力し、これを図2に示す符号化機能ブロックへ出力する。
【0156】
また、各タイルに対しては、図15に示すように、例えば左上を始点とし、また、右下を終点としてラスタ順に画像データが入力され、これが出力される。
【0157】
ここで、(表1)に本実施形態において入出力される画像データのフォーマットの一覧を例示する。
【0158】
【表1】
Figure 0004267848
(表1)に示すように、本実施形態では、各フォーマット(4:4:4,4:2:2(H2V1),4:2:2(H1V2),4:1:1(4:2:0))に対して、例えば8ビット又は10ビットの色形式が対応付けられている。また、色形式としては、RGB形式又はYCbCr形式が用いられている。
【0159】
・4:4:4フォーマット(RGB,YCbCr)
この中で、4:4:4フォーマットのRGB形式又はYCbCr形式による画像データを、時系列に従って入出力する際の動作を、図16の(a)を用いて説明する。
【0160】
図16の(a)において、4:4:4フォーマットのRGB形式又はYCbCr形式による画像データを入出力する際は、タイル中の画素をコンポーネント(R,G,B、又は、Y,Cb,Cr)を順次切り替えながら入力し、これを出力するよう動作する。
【0161】
即ち、本実施形態では、各コンポーネント(R,G,B、又は、Y,Cb,Cr)に対する処理が分離されずに実行されている。
【0162】
・4:2:2(H2V1)フォーマット(YCbCr)
また、4:2:2(H2V1)フォーマットのYCbCr形式による画像データを、時系列に従って入出力する際の動作を、図16の(b)を用いて説明する。
【0163】
図16の(b)において、4:2:2(H2V1)フォーマットのYCbCr形式による画像データを入出力する際は、YとCb若しくはCrとのそれぞれのコンポーネントに対する処理が分離されて、実行される。
【0164】
即ち、図16の(b)において、コンポーネント1(=Y)に対する処理では、タイルが128×128画素のタイルとされているが、コンポーネント1(=Cb),2(=Cr)に対する処理では、タイルが64×128画素のタイルとされている。
【0165】
・4:2:2(H1V2)フォーマット(YCbCr)
また、同様に、4:2:2(H1V2)フォーマットのYCbCr形式による画像データを入出力する際は、図16の(c)に示す図において、コンポーネント0(=Y)に対する処理でタイルが128×128画素とされ、コンポーネント1(=Cb),2(=Cr)に対する処理でタイルが128×64画素とされている。
【0166】
従って、この場合でも、YとCb若しくはCrとのそれぞれのコンポーネントに対する処理が分離されて、実行されている。
【0167】
・4:1:1(4:2:0)フォーマット(YCbCr)
更に、4:1:1(4:2:0)フォーマットのYCbCr形式による画像データを入出力する際は、図16の(d)に示す図において、コンポーネント0(=Y)に対する処理でタイルが128×128画素とされ、コンポーネント1(=Cb),2(=Cr)に対する処理でタイルが64×64画素とされている。
【0168】
従って、この場合でも、YとCb若しくはCrとのそれぞれのコンポーネントに対する処理が分離されて、実行されている。
【0169】
このように、本実施形態では、間引きされていない画像データを入出力する際は、各コンポーネントに対する処理を分離せずに実行し、Cb,Crに対する画素が間引きされた画像データを入出力する際は、Yのコンポーネントに対する処理とCb若しくはCrのコンポーネントに対する処理とを分離して実行している。これにより、各フォーマットに応じて適切な画像データ入出力方法が実現される。
【0170】
(画像データ入出力方法の具体例)
次に、以下に示す(表2)〜(表13)を用いて、(表1)に示した入出力画像フォーマット毎の画像データ入出力方法の具体例を挙げ、これを時系列に従って説明する。
【0171】
但し、以下に示す各表において、画素データは、R(赤),G(緑),B(青)、又は、Y(照度),Cb・Cr(色差)により構成されている。
【0172】
また、表中『クロック#』は、画素データの入力(出力)開始からのクロック数を示すものであり、『サイクル#』は、繰り返される処理の周期をクロックに準じて示すものであり、『画素#』は、処理対象の画素の番号(図16に示すタイルにおいて各画素に付されている番号:但し、コンポーネント0(=Y)に関する)を示すものであり、画素データ(又は画素データ3,2,1,0)は、各画素をコンポーネント毎に読み取った際の値を示すものである。
【0173】
更に、表中、画素データにおける『×』は、画素データの入出力無しを示し、説明中'n'は任意の正の整数である。
【0174】
・4:4:4フォーマット(RGB,YCbCr)の入出力(シリアル)
【0175】
【表2】
Figure 0004267848
(表2)は、4:4:4フォーマット(RGB,YCbCr)の画素データを画素順にシリアルに入出力する際の流れを時系列に従って説明するための表である。
【0176】
(表2)を参照すると、サイクル'0'で画素'n'の照度'Yn'(又は'Rn')が入力(出力)され、サイクル'1'で画素'n'の色差'Cbn'(又は'Gn')が入力され、サイクル'2'で画素'n'の色差'Crn'(又は'Bn')が入力(出力)される。また、(表2)では、この一連の動作が1サイクルとされている。また、このサイクルは、全ての画素(例えば128×128画素のタイルであれば16383個の画素)に対して完了するまで繰り返される。
【0177】
このように、(表2)では、3クロックで1画素の画素データの入出力が行われる。
【0178】
・4:2:2(H2V1)又は4:1:1フォーマット(YCbCr)の入出力(シリアル)
【0179】
【表3】
Figure 0004267848
また、(表3)は、4:2:2(H2V1)又は4:1:1フォーマット(YCbCr)の画素データを画素順にシリアルに入出力する際の流れを時系列に従って説明するための表である。但し、(表3)は、画素単位でCb,Crが交互に入出力されるよう構成した場合の流れを示している。
【0180】
(表3)の(a)を参照すると、サイクル'0'で画素'n'の色差'Cbn'が入力(出力)され、サイクル'1'で画素'n'の照度'Yn'が入力(出力)され、サイクル'2'で画素'n'の色差'Crn'が入力(出力)され、サイクル'3'で画素'n+1'の照度'Yn+1'が入力(出力)される。また、(表3)では、この一連の動作が1サイクルとされている。また、このサイクルは、全ての画素(例えばコンポーネント0(=Y)が128×128画素のタイルであれば16383個の画素(但し、コンポーネント1,2に対しては64×128画素の8191画素))に対して完了するまで繰り返される。
【0181】
このように、(表3)では、4クロックで2画素の画素データの入出力が行われる。
【0182】
但し、4:1:1フォーマットの画素データを読み出す場合、(表3)の(b)に示すように、コンポーネント0(=Y)におけるラインにおいて、上から偶数番目のラインに対して行われる画素データの入出力で、色差Cb,Crの画素データが入力(出力)されない。
【0183】
・4:2:2(H1V2)フォーマット(YCbCr)の入出力(シリアル)
【0184】
【表4】
Figure 0004267848
また、(表4)は、4:2:2(H1V2)フォーマット(YCbCr)の画素データを画素順にシリアルに入出力する際の流れを時系列に従って説明するための表である。但し、(表4)は、ライン単位でCb,Crが交互に入出力されるよう構成した場合の流れを示している。
【0185】
コンポーネント0(=Y)における奇数番目のラインにおいては、(表4)の(a)に示すように、例えばサイクル'0'で画素'n'の色差'Cbn'が入力(出力)され、サイクル'1'で画素'n'の照度'Yn'が入力(出力)される。また、コンポーネント0(=Y)における奇数番目のラインにおいては、(表4)の(b)に示すように、例えばサイクル'0'(例えばクロック'256':但し、1タイルが128×128画素とする)で画素'n(0)'の色差'Crn(Cr0)'が入力(出力)され、サイクル'1'(クロック'257')で画素'n+127(128)'の照度'Yn+127(Y128)'が入力(出力)される。
【0186】
このように、(表4)では、2クロックを1サイクルとし、ライン毎に入出力色差Cb,Crを入れ換えている。
【0187】
また、このサイクルは、全ての画素(例えばコンポーネント0(=Y)が128×128画素のタイルであれば16383個の画素(但し、コンポーネント1,2に対しては128×64画素の8191画素))に対して行われるまで繰り返される。
【0188】
このように、(表4)では、2クロックで1画素の画素データの入出力が行われる。
【0189】
・4:2:2(H2V1,H1V2)フォーマット(YCbCr)の入出力(シリアル)
【0190】
【表5】
Figure 0004267848
また、(表5)は、4:2:2(H2V1,H1V2)フォーマット(YCbCr)の画素データをタイル順にシリアルに入出力する際の流れを時系列に従って説明するための表である。但し、(表5)は、タイル単位でYを入出力し、次にタイル単位でCb,Crを交互に入出力するよう構成した場合の流れを示している。
【0191】
即ち、(表5)の(a)において、まず、クロック'0'〜'16383'までの動作で、1タイル分の照度信号Y('Y0'〜'Y16383')を入出力し、次に、(表5)の(b)において、クロック'16384'〜'32767'までの動作で、1タイル分の色差信号Cb,Cr('Cb0'〜'Cb8191','Cr0'〜'Cr8191')を交互に入出力する。
【0192】
従って、(表5)では、2クロックで1画素の画素データの入出力が行われる。
【0193】
・4:4:4フォーマット(RGB,YCbCr)の入出力(2データパラレル)
【0194】
【表6】
Figure 0004267848
(表6)は、4:4:4フォーマット(RGB,YCbCr)の画素データを画素順に2つの画素データ毎パラレルに入出力する際の流れを時系列に従って説明するための表である。
【0195】
(表6)を参照すると、サイクル'0'で画素'n'の照度'Yn'(又は'Rn')及び色差'Cbn'(又は'Gn')が入力(出力)され、サイクル'1'で画素'n'の色差'Crn'(又は'Bn')が入力される。また、(表6)では、この一連の動作が1サイクルとされている。また、このサイクルは、全ての画素(例えば128×128画素のタイルであれば16383個の画素)に対して完了するまで繰り返される。
【0196】
このように、(表6)では、2クロックで1画素の画素データの入出力が行われる。
【0197】
・4:2:2(H2V1)又は4:1:1フォーマット(YCbCr)の入出力(2データパラレル)
【0198】
【表7】
Figure 0004267848
また、(表7)は、4:2:2(H2V1)又は4:1:1フォーマット(YCbCr)の画素データを画素順に2つの画素データ毎パラレルに入出力する際の流れを時系列に従って説明するための表である。但し、(表7)は、画素単位でCb,Crが交互に入出力されるよう構成した場合の流れを示している。
【0199】
(表7)の(a)を参照すると、サイクル'0'で画素'n'の照度'Yn'及び色差'Cbn'が入力(出力)され、サイクル'1'で画素'n+1'の照度'Yn+1'と画素'n'の色差'Crn'が入力(出力)される。また、(表7)では、この一連の動作が1サイクルとされている。また、このサイクルは、全ての画素(例えばコンポーネント0(=Y)が128×128画素のタイルであれば16383個の画素(但し、コンポーネント1,2に対しては64×128画素の8191画素))に対して完了するまで繰り返される。
【0200】
このように、(表7)では、4クロックで2画素の画素データの入出力が行われる。
【0201】
但し、4:1:1フォーマットの画素データを読み出す場合、(表7)の(b)に示すように、コンポーネント0(=Y)におけるラインにおいて、上から偶数番目のラインに対して行われる画素データの入出力で、色差Cb,Crの画素データが入力(出力)されない。
【0202】
・4:2:2(H1V2)フォーマット(YCbCr)の入出力(2データパラレル)
【0203】
【表8】
Figure 0004267848
また、(表8)は、4:2:2(H1V2)フォーマット(YCbCr)の画素データを画素順に2つの画素データ毎パラレルに入出力する際の流れを時系列に従って説明するための表である。但し、(表8)は、ライン単位でCb,Crが交互に入出力されるよう構成した場合の流れを示している。
【0204】
コンポーネント0(=Y)における奇数番目のラインにおいては、(表8)の(a)に示すように、例えばサイクル'0'で画素'n'の照度'Yn'及び色差'Cbn'が入力(出力)される。また、コンポーネント0(=Y)における奇数番目のラインにおいては、(表8)の(b)に示すように、例えばサイクル'0'(例えばクロック'256,257':但し、1タイルが128×128画素とする)で画素'n+127(128)'の照度'Yn+127(Y128)'及び画素'n(0)'の色差'Crn(Cr0)'が入力(出力)される。
【0205】
このように、(表8)では、2クロックを1サイクルとし、ライン毎に入出力色差Cb,Crを入れ換えている。
【0206】
また、このサイクルは、全ての画素(例えばコンポーネント0(=Y)が128×128画素のタイルであれば16383個の画素(但し、コンポーネント1,2に対しては128×64画素の8191画素))に対して行われるまで繰り返される。
【0207】
このように、(表8)では、2クロックで1画素の画素データの入出力が行われる。
【0208】
・4:4:4フォーマット(RGB,YCbCr)の入出力(3データパラレル)
【0209】
【表9】
Figure 0004267848
(表9)は、4:4:4フォーマット(RGB,YCbCr)の画素データを画素順に3つの画素データ毎パラレルに入出力する際の流れを時系列に従って説明するための表である。
【0210】
(表9)を参照すると、サイクル'0'で画素'n'の照度'Yn'(又は'Rn')及び色差'Cbn'(又は'Gn')及び色差'Crn'(又は'Bn')が入力される。また、(表9)では、この一連の動作が1サイクルとされている。また、このサイクルは、全ての画素(例えば128×128画素のタイルであれば16383個の画素)に対して完了するまで繰り返される。
【0211】
このように、(表9)では、2クロックで1画素の画素データの入出力が行われる。
【0212】
・4:2:2(H2V1)又は4:1:1フォーマット(YCbCr)の入出力(4データパラレル)
【0213】
【表10】
Figure 0004267848
また、(表10)は、4:2:2(H2V1)又は4:1:1フォーマット(YCbCr)の画素データを画素順に4つの画素データ毎パラレルに入出力する際の流れを時系列に従って説明するための表である。但し、(表10)は、画素単位でCb,Crが交互に入出力されるよう構成した場合の流れを示している。
【0214】
(表10)の(a)を参照すると、サイクル'0'で画素'n'の照度'Yn'及び色差'Cbn'及び色差'Crn'と画素'n+1'の照度'Yn+1'とが入力(出力)される。また、(表10)では、この一連の動作が1サイクルとされている。また、このサイクルは、全ての画素(例えばコンポーネント0(=Y)が128×128画素のタイルであれば16383個の画素(但し、コンポーネント1,2に対しては64×128画素の8191画素))に対して完了するまで繰り返される。
【0215】
このように、(表10)では、4クロックで2画素の画素データの入出力が行われる。
【0216】
但し、4:1:1フォーマットの画素データを読み出す場合、(表10)の(b)に示すように、コンポーネント0(=Y)におけるラインにおいて、上から偶数番目のラインに対して行われる画素データの入出力で、色差Cb,Crの画素データが入力(出力)されない。
【0217】
・4:2:2(H1V2)フォーマット(YCbCr)の入出力(4データパラレル)
【0218】
【表11】
Figure 0004267848
また、(表11)は、4:2:2(H1V2)フォーマット(YCbCr)の画素データを画素順に4つの画素データ毎パラレルに入出力する際の流れを時系列に従って説明するための表である。但し、(表11)は、ライン単位でCb,Crが交互に入出力されるよう構成した場合の流れを示している。
【0219】
コンポーネント0(=Y)における奇数番目のラインにおいては、(表11)の(a)に示すように、例えばサイクル'0'で画素'n'の照度'Yn'及び色差'Cbn'と画素'n+1'の照度'Yn+1'及び色差'Cbn+1'とが入力(出力)される。また、コンポーネント0(=Y)における奇数番目のラインにおいては、(表11)の(b)に示すように、例えばサイクル'0'(例えばクロック'256,257,258,259':但し、1タイルが128×128画素とする)で画素'n+127(128)'の照度'Yn+127(Y128)'及び画素'n(0)'の色差'Crn(Cr0)'と画素'n+128(129)'の照度'Yn+128(Y129)'及び画素'n+1(1)'の色差'Crn+1(Cr1)'とが入力(出力)される。
【0220】
このように、(表11)では、4クロックを1サイクルとし、ライン毎に入出力色差Cb,Crを入れ換えている。
【0221】
また、このサイクルは、全ての画素(例えばコンポーネント0(=Y)が128×128画素のタイルであれば16383個の画素(但し、コンポーネント1,2に対しては128×64画素の8191画素))に対して行われるまで繰り返される。
【0222】
このように、(表11)では、4クロックで2画素の画素データの入出力が行われる。
【0223】
・グレイスケールフォーマットの入出力(シリアル)
【0224】
【表12】
Figure 0004267848
(表12)は、グレイスケールフォーマットの画素データを画素順にシリアルに入出力する際の流れを時系列に従って説明するための表である。
【0225】
(表12)を参照すると、サイクル'0'で画素'n'の照度'Yn'が入力(出力)される。また、(表12)では、この動作が1サイクルとされている。また、このサイクルは、全ての画素(例えば128×128画素のタイルであれば16383個の画素)に対して完了するまで繰り返される。
【0226】
このように、(表12)では、2クロックで1画素の画素データの入出力が行われる。
【0227】
・グレイスケールフォーマットの入出力(2データパラレル)
【0228】
【表13】
Figure 0004267848
(表13)は、グレイスケールフォーマットの画素データを画素順に2つの画素データ毎パラレルに入出力する際の流れを時系列に従って説明するための表である。
【0229】
(表13)を参照すると、サイクル'0'で画素'n'の照度'Yn'及び画素'n+1'の照度'Yn+1'が入力される。また、(表13)では、この動作が1サイクルとされている。また、このサイクルは、全ての画素(例えば128×128画素のタイルであれば16383個の画素)に対して完了するまで繰り返される。
【0230】
このように、(表13)では、4クロックで2画素の画素データの入出力が行われる。
【0231】
以上のような手順で入出力を行うことにより、4:4:4フォーマット(RGB,YCbCr)の画像データに対しては、画素単位で順次入出力処理を実行し、それ以外のフォーマットの画像データに対しては、画素データを照度(Y)と色差(Cb,Cr)とを分離してタイル単位で入出力することが可能となる。
【0232】
また、上記(表6)〜(表11),(表13)に示すように、本実施形態では、複数の画素データをパラレルで処理することも可能である。
【0233】
(タイミングチャート例)
次に、上記(表7)で示した、4:2:2(H2V1)又は4:1:1フォーマット(YCbCr)の画素データを画素順に2つの画素データ毎パラレルに入出力する際のタイミングチャート例を図17を用いて説明する。
【0234】
図17を参照すると、4:2:2(H2V1)又は4:1:1フォーマット(YCbCr)の画素データを画素順に2つの画素データ毎パラレルに入出力する際の動作では、4クロックを1サイクルとし、1サイクルを2クロックずつのサイクル'0'とサイクル'1'とに分割している。
【0235】
従って、まず、サイクル'0'が開始されると、画素データ1,0として画素'0'の照度'Y0'及び色差'Cb0'が入力(出力)される。次に、サイクル'1'が開始されると、画素データ1,0として画素'1'の照度'Y1'と画素'0'の色差'Cr0'とが入力(出力)される。以降の動作は、これが繰り返される。
【0236】
また、他の表に関しても、各々に基づいて図17のようなタイミングチャートを作成することが可能である。
【0237】
このような手順で画像読取部5において画像データを入力し、これを符号化/復号化処理部2(符号化機能ブロック)に入力することにより、本実施形態では効率的な符号化処理を実現することが可能となる。
【0238】
〔他の実施形態〕
また、上記した各実施形態は、本発明を好適に実施した形態の一例に過ぎず、本発明は、その主旨を逸脱しない限り、種々変形して実施することが可能なものである。
【発明の効果】
【0239】
以上、説明したように、本発明の画像符号化装置によれば、複雑な回路やデータ量の増加を伴うことなく、サブサンプリングされた画像データから容易に符号データを生成することが可能になる。
【0240】
更に、本発明の画像符号化装置によれば、サブサンプリングされた画像データに応じて、容易に符号データを生成することが可能になる。
【0241】
更に、本発明の画像符号化装置によれば、圧縮率が高い符号データを生成することが可能となる。
【0242】
また、本発明の画像符号化装置によれば、サブサンプリングされた画像データに対して適切なウェーブレット変換を行なうことが可能となり、複雑な回路やデータ量の増加を伴うことなく、容易に符号データを生成することが可能になる。
【0243】
更に、本発明の画像符号化装置によれば、サブサンプリングされた画像データとサブサンプリングされていない画像データとを区別し、それぞれに応じた適切なウェーブレット変換を行なうことが可能となり、複雑な回路やデータ量の増加を伴うことなく、容易に符号データを生成することが可能になる。
【0244】
また、本発明の画像復号装置によれば、目的に応じてサブサンプリングされた画像データ出力することが可能になる。
【0245】
更に、本発明の参考発明によれば、サブサンプリングされた画像データとサブサンプリングされていない画像データとを容易に切り替えて出力することが可能になる。
【0246】
また、本発明の画像復号装置によれば、目的に応じて適切な逆ウェーブレット変換が行なわれて作成された、サブサンプリングされた画像データ出力することが可能になる。
【0247】
更に、本発明によれば、目的の画像データが、サブサンプリングされた画像データであるかサブサンプリングされていない画像データであるかを区別し、これに応じて適切な逆ウェーブレット変換を施すことが可能となる。
【0248】
更に、本発明の画像符号化方法によれば、複雑な回路やデータ量の増加を伴うことなく、サブサンプリングされた画像データから容易に符号データを生成することが可能になる。
【0249】
更に、本発明の画像符号化方法によれば、サブサンプリングされた画像データに応じて、容易に符号データを生成することが可能になる。
【0250】
更に、本発明の画像符号化方法によれば、圧縮率が高い符号データを生成することが可能となる。
【0251】
また、本発明の画像復号方法の発明によれば、目的に応じてサブサンプリングされた画像データ出力することが可能になる。
【0252】
更に、本発明の画像復号方法によれば、サブサンプリングされた画像データとサブサンプリングされていない画像データとを容易に切り替えて出力することが可能になる。
【0253】
また、本発明の参考発明によれば、ウェーブレット変換を行なう際に必要となるバッファが大きくならないように、画像データを入出力することが可能となる。
【0254】
更に、本発明の参考発明によれば、ウェーブレット変換を行なう際に必要となるバッファが大きくならないように、画像データを入出力することが可能となるだけでなく、画素データを並列に読み取ることが可能となる。
【0255】
更に、本発明の参考発明によれば、ウェーブレット変換を行なう際に必要となるバッファが大きくならないように、適切にサブサンプリングされた画像データを読み取ることが可能となる。
【0256】
更に、本発明の参考発明によれば、ウェーブレット変換を行なう際に必要となるバッファが大きくならないように、適切にサブサンプリングされた画像データを読み取ることが可能となる。
【0257】
更に、本発明の参考発明によれば、ウェーブレット変換を行なう際に必要となるバッファが大きくならないように、適切にサブサンプリングされた画像データを読み取ることが可能となる。
【図面の簡単な説明】
【図1】 本発明の第1の実施形態による画像処理装置の構成例を示すブロック図である。
【図2】 本発明の第1の実施形態による符号化/復号化処理部2の符号化機能ブロックの構成例を示すブロック図である。
【図3】 4:4:4,4:2:2(H2V1),4:2:2(H1V2),4:1:1,グレイスケールの各入出力フォーマットにおけるx方向及びy方向の画素比の例を示す図である。
【図4】 4:4:4フォーマットの画像データに対して実行される2次元離散ウェーブレット変換をステージ毎に説明するための図である。
【図5】 本発明の第1の実施形態において4:2:2(H2V1)フォーマットの画像データに対して実行される2次元離散ウェーブレット変換をステージ毎に説明するための図である。
【図6】 本発明の第1の実施形態において4:2:2(H1V2)フォーマットの画像データに対して実行される2次元離散ウェーブレット変換をステージ毎に説明するための図である。
【図7】 本発明の第1の実施形態において4:1:1フォーマットの画像データに対して実行される2次元離散ウェーブレット変換をステージ毎に説明するための図である。
【図8】 サブサンプリングされていないコンポーネントに対してレベル3の2次元離散ウェーブレット変換を施すことにより生成されるサブバンドの形状例を説明するための図である。
【図9】 従来技術において4:2:2(H2V1)フォーマットの画像データに対して実行される2次元離散ウェーブレット変換をステージ毎に説明するための図である。
【図10】 図9に示す2次元離散ウェーブレット変換により生成されるサブバンドの形状例を説明するための図である。
【図11】 図5に示す2次元離散ウェーブレット変換により生成されるサブバンドの系条例を説明するための図である。
【図12】 本発明の第1の実施形態によるウェーブレット変換を実行するウェーブレット変換部20の構成例を示すブロック図である。
【図13】 本発明の第1の実施形態による逆ウェーブレット変換を実行するウェーブレット変換部20の構成例を示すブロック図である。
【図14】 本発明の第1の実施形態による画像データ入出力方法において画像データが分割されて作成されるタイルの構成を示すブロック図である。
【図15】 図14において分割された各タイルにおける画素データを読み出す順序を説明するための図である。
【図16】 本発明の第1の実施形態において画像データを時系列に従って入出力する際の動作を説明するための図であり、(a)は4:4:4フォーマットのRGB形式又はYCbCr形式による画像データを入出力する際の動作を説明するための図であり、(b)は4:2:2(H2V1)フォーマットのYCbCr形式による画像データを入出力する際の動作を説明するための図であり、(c)は4:2:2(H1V2)フォーマットのYCbCr形式による画像データを入出力する際の動作を説明するための図であり、(d)は4:1:1(4:2:0)フォーマットのYCbCr形式の画像データを入出力する際の動作を説明するための図である。
【図17】 (表7)で示した4:2:2(H2V1)又は4:1:1フォーマット(YCbCr)の画素データを画素順に2つの画素データ毎パラレルに入出力する際の流れを示すタイミングチャートである。
【符号の説明】
1 バス
2 符号化/復号化処理部
3 CPU
4 メモリ
5 画像読取部
6 A/D変換部
7 I/Oインタフェース
8 RAM
10 カラー変換部
20 ウェーブレット変換部
30 量子化部
40 係数順序制御部
50 係数モデリング部
60 エントロピー符号化部
101,105,107 垂直方向1次元離散ウェーブレット変換部(V)
102,104,206 セレクタ
103,106,108 水平方向1次元離散ウェーブレット変換部(H)
201,203,205 水平方向1次元離散逆ウェーブレット変換部(IH)
202,204,207 垂直方向1次元離散逆ウェーブレット変換部(IV)

Claims (14)

  1. 複数のコンポーネントからなる画像データの前記コンポーネント毎に水平方向及び/又は垂直方向のウェーブレット変換を1以上のステージにおいて行い、前記ステージ毎に出力されるサブバンドの係数データを、前記コンポーネント毎にビットプレーンに分割して符号化する画像符号化装置であって、
    前記ウェーブレット変換を行うウェーブレット変換手段と、
    前記ウェーブレット変換手段において作成された係数データを符号化する符号化手段とを有し、
    前記ウェーブレット変換手段は、所定のステージにおいて、前記コンポーネントのうちサブサンプルされているコンポーネントの、当該サブサンプルの方向のウェーブレット変換を行わず、
    前記符号化手段は、前記ウェーブレット変換を行わないステージにおける前記サブサンプルの方向の係数データをゼロビットプレーンとして破棄し、該ゼロビットプレーンを表すデータを生成して符号化する画像符号化装置。
  2. 前記ウェーブレット変換手段は、前記画像データにおける所定方向のラインが間引きされている場合、該所定方向に対するウェーブレット変換を前記所定のステージにおいて行わず、前記画像データにおけるラインがいずれも間引かれていない場合、全てのステージにおいてウェーブレット変換を行うことを特徴とする請求項1記載の画像符号化装置。
  3. 前記符号化手段は、さらに、前記ウェーブレット変換を行わないステージにおける前記サブサンプルの方向の係数データを破棄されたとみなして符号化することを特徴とする請求項1又は2記載の画像符号化装置。
  4. 前記ウェーブレット変換手段は、
    複数のコンポーネント毎に作成された画像データに対して水平方向の1次元ウェーブレット変換を施す1次元水平方向ウェーブレット変換手段と、前記画像データに対して垂直方向の1次元ウェーブレット変換を施す1次元垂直方向ウェーブレット変換手段と、より成る2次元ウェーブレット変換手段を有し、
    第1のステージにおける前記1次元水平方向ウェーブレット変換手段及び/又は前記1次元垂直方向ウェーブレット変換手段の入出力先を切り替える入出力先切替え手段を有し、
    該入出力先切替え手段は、前記画像データの所定方向のラインが間引きされている場合、該画像データに対して、前記第1のステージにおいて前記所定方向に対する1次元ウェーブレット変換を行なわないように、前記入出力先を切り替えることを特徴とする請求項1ないし3何れか一項に記載の画像符号化装置。
  5. 前記第1のステージの後段の入力先を切り替える入力先切替え手段を有し、
    該入力先切替え手段は、前記画像データの何れのラインも間引きされていない場合、前記第1のステージによる2次元ウェーブレット変換を施すことで作成された係数データが、前記後段に入力されるように前記入力先を切り替えることを特徴とする請求項4記載の画像符号化装置。
  6. 複数のコンポーネントからなる画像データに対してウェーブレット変換を行うことにより生成された複数のサブバンドより成る係数データに対して水平方向及び/又は垂直方向の逆ウェーブレット変換を1以上のステージにおいて行う逆ウェーブレット変換手段を有する画像復号装置であって、
    前記逆ウェーブレット変換手段は、
    前記コンポーネントのうちサブサンプルされて出力されるコンポーネントの係数データに対する逆ウェーブレット変換を所定のステージにおいて行なわないことを特徴とする画像復号装置。
  7. 前記逆ウェーブレット変換手段は、
    1つ以上のサブバンドより成る係数データに対して水平方向の1次元逆ウェーブレット変換を施す1次元水平方向逆ウェーブレット変換手段と、前記係数データに対して垂直方向の1次元逆ウェーブレット変換を施す1次元垂直方向逆ウェーブレット変換手段と、より成る2次元逆ウェーブレット変換手段を有し、
    最後のステージにおける前記1次元水平方向逆ウェーブレット変換手段及び/又は前記1次元垂直方向逆ウェーブレット変換手段の入出力先を切り替える入出力先切替え手段を有し、
    該入出力先切替え手段は、前記コンポーネントのうちサブサンプルされて出力されるコンポーネントの係数データに対して、前記最後のステージにおいて水平方向及び/又は垂直方向の1次元逆ウェーブレット変換を行なわないように、前記入出力先を切り替えることを特徴とする請求項6記載の画像復号装置。
  8. 前記最後のステージの後段の入力先を切り替える入力先切替え手段を有し、
    該入力先切替え手段は、前記最後のステージによる2次元逆ウェーブレット変換が前記係数データに対して施されていない画像データを作成する場合、前記最後のステージによる2次元逆ウェーブレット変換が施されていない画像データが前記後段に入力されるように前記入力先を切り替えることを特徴とする請求項7記載の画像復号装置。
  9. 前記符号化手段によって生成される符号は、JPEG−2000に準拠した符号であることを特徴とする請求項1ないし5何れか一項に記載の画像符号化装置。
  10. 複数のコンポーネントからなる画像データの前記コンポーネント毎に水平方向及び/又は垂直方向のウェーブレット変換を1以上のステージにおいて行い、前記ステージ毎に出力されるサブバンドの係数データを、前記コンポーネント毎にビットプレーンに分割して符号化する画像符号化方法であって、
    前記ウェーブレット変換を行うウェーブレット変換工程と、
    前記ウェーブレット変換工程において作成された係数データを符号化する符号化工程とを有し、
    前記ウェーブレット変換工程は、所定のステージにおいて、前記コンポーネントのうちサブサンプルされているコンポーネントの、当該サブサンプルの方向のウェーブレット変換を行わず、
    前記符号化工程は、前記ウェーブレット変換を行わないステージにおける前記サブサンプルの方向の係数データをゼロビットプレーンとして破棄し、該ゼロビットプレーンを表すデータを生成して符号化することを特徴とする画像符号化方法。
  11. 前記ウェーブレット変換工程は、前記画像データにおける所定方向のラインが間引きされている場合、該所定方向に対するウェーブレット変換を前記所定のステージにおいて行わず、前記画像データにおけるラインがいずれも間引かれていない場合、全てのステージにおいてウェーブレット変換を行うことを特徴とする請求項10記載の画像符号化方法。
  12. 前記符号化工程は、さらに、前記ウェーブレット変換を行わないステージにおける前記サブサンプルの方向の係数データを破棄されたとみなして符号化することを特徴とする請求項10又は11記載の画像符号化方法。
  13. 複数のコンポーネントからなる画像データに対してウェーブレット変換を行うことにより生成された複数のサブバンドより成る係数データに対して水平方向及び/又は垂直方向の逆ウェーブレット変換を1以上のステージにおいて行う逆ウェーブレット変換工程を有する画像復号方法であって、
    前記逆ウェーブレット変換工程は、
    前記コンポーネントのうちサブサンプルされて出力されるコンポーネントの係数データに対する逆ウェーブレット変換を所定のステージにおいて行なわないことを特徴とする画像復号方法。
  14. 前記符号化工程において生成される符号は、JPEG−2000に準拠した符号であることを特徴とする請求項10ないし12何れか一項に記載の画像符号化方法。
JP2001292590A 2001-09-25 2001-09-25 画像符号化装置、画像復号装置、画像符号化方法、及び、画像復号方法 Expired - Fee Related JP4267848B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001292590A JP4267848B2 (ja) 2001-09-25 2001-09-25 画像符号化装置、画像復号装置、画像符号化方法、及び、画像復号方法
US10/247,896 US7349579B2 (en) 2001-09-25 2002-09-20 Image processing device, image processing method, and image reading method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001292590A JP4267848B2 (ja) 2001-09-25 2001-09-25 画像符号化装置、画像復号装置、画像符号化方法、及び、画像復号方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2007096758A Division JP4344391B2 (ja) 2007-04-02 2007-04-02 画像処理装置

Publications (2)

Publication Number Publication Date
JP2003101791A JP2003101791A (ja) 2003-04-04
JP4267848B2 true JP4267848B2 (ja) 2009-05-27

Family

ID=19114525

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001292590A Expired - Fee Related JP4267848B2 (ja) 2001-09-25 2001-09-25 画像符号化装置、画像復号装置、画像符号化方法、及び、画像復号方法

Country Status (2)

Country Link
US (1) US7349579B2 (ja)
JP (1) JP4267848B2 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7630569B2 (en) * 2002-02-26 2009-12-08 Decegama Angel Real-time software video/audio transmission and display with content protection against camcorder piracy
JP4617644B2 (ja) 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
JP4443165B2 (ja) * 2003-08-20 2010-03-31 株式会社リコー 画像圧縮装置及び画像圧縮方法
JP4090975B2 (ja) * 2003-09-30 2008-05-28 株式会社リコー 画像処理装置
US20080284793A1 (en) * 2004-04-15 2008-11-20 Young Wayne D Hue and saturation control module
WO2005112425A1 (en) * 2004-04-30 2005-11-24 Nvidia Corporation Method and apparatus for vertically scaling pixel data
JP4276981B2 (ja) * 2004-06-30 2009-06-10 株式会社リコー シリアル通信装置、その通信方法及びそのシリアル通信装置を使用したシステム装置
JP4618676B2 (ja) * 2005-04-28 2011-01-26 株式会社リコー 構造化文書符号の転送方法、画像処理システム、サーバ装置、プログラム及び情報記録媒体
JP4636547B2 (ja) * 2005-08-12 2011-02-23 株式会社リコー 符号化装置、プログラム及び情報記録媒体
JP2008228208A (ja) * 2007-03-15 2008-09-25 Ricoh Co Ltd 画像符号化方法、画像符号化装置、画像符号化回路、情報記録媒体、及び、コンピュータプログラム
EP2145330B1 (en) 2007-04-11 2014-07-16 Red.Com, Inc. Video camera
US8237830B2 (en) 2007-04-11 2012-08-07 Red.Com, Inc. Video camera
BRPI0804493A2 (pt) 2007-05-17 2011-08-30 Sony Corp aparelho e método de processamento de informação
CN101569170B (zh) 2007-05-17 2011-11-16 索尼株式会社 编码设备和编码方法以及解码设备和解码方法
JP4821836B2 (ja) * 2008-02-04 2011-11-24 ソニー株式会社 情報処理装置および方法
JP5053204B2 (ja) 2008-08-08 2012-10-17 株式会社リコー 半導体集積回路装置、半導体集積回路装置を用いた光走査装置及び戻り光識別方法並びに光走査装置を用いた画像形成装置
JP5375372B2 (ja) * 2009-07-01 2013-12-25 ヤマハ株式会社 圧縮符号化装置、および復号装置
JP2011035190A (ja) 2009-08-03 2011-02-17 Ricoh Co Ltd マルチビームレーザ光量制御回路および該マルチビームレーザ光量制御回路を具備する光走査装置
EP2513861B1 (en) * 2009-12-16 2017-05-10 Red.Com, Inc. Resolution based formatting of compressed image data
JP5640371B2 (ja) * 2009-12-18 2014-12-17 ソニー株式会社 カメラシステム及び画像処理方法
JP5640370B2 (ja) 2009-12-18 2014-12-17 ソニー株式会社 画像処理装置,画像処理方法及び撮像装置
CN102129678A (zh) * 2010-01-12 2011-07-20 鸿富锦精密工业(深圳)有限公司 影像特征模型建立系统及方法以及应用其的影像处理系统
JP5617445B2 (ja) * 2010-08-31 2014-11-05 ソニー株式会社 撮像装置、および信号処理方法、並びにプログラム
GB2492333B (en) * 2011-06-27 2018-12-12 British Broadcasting Corp Video encoding and decoding using transforms
EP2805492B1 (en) 2012-01-19 2018-11-14 VID SCALE, Inc. System and method of video coding quantization and dynamic range control
US9521384B2 (en) 2013-02-14 2016-12-13 Red.Com, Inc. Green average subtraction in image data
EP3649783A1 (en) 2017-07-05 2020-05-13 Red.Com, Llc Video image data processing in electronic devices
JP6922497B2 (ja) 2017-07-12 2021-08-18 株式会社リコー 画像形成装置及び画像形成方法
CN111567042B (zh) * 2019-04-29 2022-05-17 深圳市大疆创新科技有限公司 小波逆变换电路和方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2599893B1 (fr) 1986-05-23 1996-08-02 Ricoh Kk Procede de montage d'un module electronique sur un substrat et carte a circuit integre
JPH01245607A (ja) 1988-03-25 1989-09-29 Ricoh Co Ltd 合成型良限インパルス応答デジタルフィルタ
JP2870756B2 (ja) 1988-04-20 1999-03-17 株式会社リコー 空間フィルタ画像処理装置
US5119045A (en) 1990-05-07 1992-06-02 Ricoh Company, Ltd. Pulse width modulation circuit
JP2945103B2 (ja) 1990-05-15 1999-09-06 株式会社リコー テスト用スキャン回路装置
JP2933751B2 (ja) 1990-08-10 1999-08-16 株式会社リコー デジタルデータの検出回路及びその検出方法
JPH05291891A (ja) 1992-02-14 1993-11-05 Ricoh Co Ltd 一次乱数パルス列発生回路装置
JP3154429B2 (ja) 1992-03-10 2001-04-09 株式会社リコー 画像符号化処理における情報処理装置及びその方法
EP0622741A3 (en) * 1993-03-30 1998-12-30 KLICS, Ltd. Device and method for data compression/decompression
JP3449566B2 (ja) 1994-01-28 2003-09-22 株式会社リコー アドレス発生装置
JPH08106375A (ja) 1994-10-03 1996-04-23 Ricoh Co Ltd 信号処理演算器
JPH08186723A (ja) 1994-12-28 1996-07-16 Ricoh Co Ltd 画像処理装置用エンコーダ
JPH08339298A (ja) 1995-02-02 1996-12-24 Ricoh Co Ltd マイクロプロセッサにおける命令追加方法及びそれを用いたマイクロプロセッサ
US6067383A (en) * 1995-09-12 2000-05-23 Matsushita Electric Industrial Co., Ltd. Coding method, coding apparatus, wavelet transform apparatus, and wavelet reverse transform apparatus
JP3989999B2 (ja) 1996-05-03 2007-10-10 株式会社リコー データ圧縮システム
AUPO600897A0 (en) 1997-04-04 1997-05-01 Canon Information Systems Research Australia Pty Ltd An efficient method of image compression comprising a low resolution image in the bit stream
JP3396720B2 (ja) 1997-11-06 2003-04-14 株式会社リコー 部分積生成回路
US6154493A (en) * 1998-05-21 2000-11-28 Intel Corporation Compression of color images based on a 2-dimensional discrete wavelet transform yielding a perceptually lossless image
US6970602B1 (en) * 1998-10-06 2005-11-29 International Business Machines Corporation Method and apparatus for transcoding multimedia using content analysis
JP2000134639A (ja) 1998-10-27 2000-05-12 Victor Co Of Japan Ltd カラー静止画像の符号化方法
JP2000270355A (ja) 1999-03-16 2000-09-29 Kenwood Corp 移動体通信端末におけるメール送信完了通知方法
US6665444B1 (en) * 1999-04-28 2003-12-16 Canon Kabushiki Kaisha Image processing apparatus and method, and storage medium
US6853466B1 (en) * 1999-11-24 2005-02-08 Canon Kabushiki Kaisha Image processing apparatus and method
JP4367880B2 (ja) * 1999-12-09 2009-11-18 キヤノン株式会社 画像処理装置及びその方法並びに記憶媒体
DE60121639T2 (de) * 2000-01-20 2007-07-26 Fuji Photo Film Co., Ltd., Minami-Ashigara Verfahren und Vorrichtung zur Unterdrückung eines periodisches Geräusches
JP2001231041A (ja) 2000-02-17 2001-08-24 Canon Inc 画像符号化方法及び装置
JP2002084540A (ja) * 2000-06-28 2002-03-22 Canon Inc 画像処理装置、画像処理方法、電子カメラ、及び、プログラム
US6757429B2 (en) * 2001-02-21 2004-06-29 Boly Media Communications Inc. Method of compressing digital images

Also Published As

Publication number Publication date
JP2003101791A (ja) 2003-04-04
US20030152280A1 (en) 2003-08-14
US7349579B2 (en) 2008-03-25

Similar Documents

Publication Publication Date Title
JP4267848B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法、及び、画像復号方法
US8503809B2 (en) Information processing apparatus and method to entropy code upon processing of predetermined number of precincts
JP4148462B2 (ja) 画像処理装置、電子カメラ装置及び画像処理方法
JP2002516540A (ja) 知覚的に無損失の画像をもたらす2次元離散ウェーブレット変換に基づくカラー画像の圧縮
US7113645B2 (en) Image decompression apparatus and method
JP2011130275A (ja) カメラシステム及び画像処理方法
US9019399B2 (en) Two-dimensional signal encoding device
CN102104783B (zh) 图像处理装置、图像处理方法和图像拍摄装置
CN102356635A (zh) 视频获取和处理系统
WO2005079054A1 (ja) 画像圧縮装置
JP2003125209A (ja) 画像処理装置、電子カメラ、および画像処理プログラム
TWI539794B (zh) 影像編碼系統及其方法
JP4344391B2 (ja) 画像処理装置
Richter et al. Bayer pattern compression with JPEG XS
JP4532518B2 (ja) 画像処理装置及び画像処理方法
US8787686B2 (en) Image processing device and image processing method
US7940991B2 (en) Image signal processing apparatus
US20060274953A1 (en) Signal processing method, signal processing apparatus, computer-readable medium and a data recording medium
US8861880B2 (en) Image processing device and image processing method
JP2018006999A (ja) 画像符号化装置及びその制御方法
CN108989820B (zh) 各阶段采用各自相应色度采样格式的数据压缩方法和装置
US11765366B2 (en) Method for processing transform coefficients
JP2005508100A (ja) スケーラブルプログラマブル動画システム
JP2003143625A (ja) 画像圧縮装置、画像圧縮方法、画像圧縮プログラム、電子カメラ処理装置および電子カメラ処理方法
JP2005217896A (ja) 画像符号化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070402

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070712

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070820

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20070928

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090219

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120227

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130227

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130227

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140227

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees