JP4045913B2 - 画像符号化装置、画像符号化方法、および画像処理装置 - Google Patents

画像符号化装置、画像符号化方法、および画像処理装置 Download PDF

Info

Publication number
JP4045913B2
JP4045913B2 JP2002282402A JP2002282402A JP4045913B2 JP 4045913 B2 JP4045913 B2 JP 4045913B2 JP 2002282402 A JP2002282402 A JP 2002282402A JP 2002282402 A JP2002282402 A JP 2002282402A JP 4045913 B2 JP4045913 B2 JP 4045913B2
Authority
JP
Japan
Prior art keywords
tile
distortion
complex
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002282402A
Other languages
English (en)
Other versions
JP2004120466A (ja
Inventor
利至 高橋
雅之 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2002282402A priority Critical patent/JP4045913B2/ja
Priority to TW92117535A priority patent/TWI222327B/zh
Priority to US10/489,180 priority patent/US7333661B2/en
Priority to PCT/JP2003/008901 priority patent/WO2004030343A1/ja
Priority to KR20047007959A priority patent/KR100611705B1/ko
Priority to EP03741377A priority patent/EP1545121A4/en
Priority to CNB03801629XA priority patent/CN1287584C/zh
Publication of JP2004120466A publication Critical patent/JP2004120466A/ja
Application granted granted Critical
Publication of JP4045913B2 publication Critical patent/JP4045913B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/645—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission by grouping of coefficients into blocks after the transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、入力画像を所定サイズのタイルに分割し、個々のタイルに含まれる画像信号を周波数成分へ変換し、得られた変換係数を量子化し、その量子化係数をエントロピー符号化する共に、その量子化歪を演算し、この量子化歪を用いて上記エントロピー符号化された符号化データの符号量を制御する画像符号化装置、画像符号化方法、および画像処理装置に関するものである。
【０００２】
【従来の技術】
現在インターネットを中心に静止画像符号化アルゴリズムＪＰＥＧが広く普及しているが、一方で次世代の符号化方式としてさらなる性能改善、機能付加の要求を背景として、１９９７年より新たにＪＰＥＧ２０００プロジェクトがＩＳＯとＩＴＵの合同機関によりスタートした。２０００年１２月には同ＪＰＥＧ２０００アルゴリズムの基本方式を定めるパート１についてその主要な技術内容が確定した。
【０００３】
このＪＰＥＧ２０００の符号化アルゴリズムでは、入力画像信号に対し色座標変換を行い、タイル分割を行ってウェーブレット変換しているために、符号化レートを低くしていくと、そのタイル境界部に線状の歪（画質劣化）を生じ、滑らかさが損なわれた画像になってしまう。
【０００４】
そのため、例えば、従来の画像処理装置では、このようなタイル境界に発生する歪を抑制するため、ウェーブレット変換処理においてタイル境界部で不足するデータを拡張する際にＪＰＥＧ２０００で定義されている対象拡張方法以外に、点対象拡張方法をも併用することでタイル境界部に存在する線状の歪を抑制しているものがある（例えば、特許文献１参照。）。
【特許文献１】
特開２００１−２１７７１８号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、この従来の画像処理装置の場合、２つの拡張方法を切り替え制御しているため、どちらの拡張方法を使っているかを符号化データの中に埋め込む必要がある。これは、符号化データ量の増加という問題につながるだけでなく、ＪＰＥＧ２０００の規格の範囲を超えているため、互換性が保てないという問題がある。
【０００６】
また、このようなタイル境界の歪は、特に、背景領域などオブジェクトがない領域やテクスチャが少ない領域で目立つ。もともと背景領域には、ノイズに近いレベルの小さな揺らぎ信号がテクスチャ（揺らぎテクスチャと称す）としてわずかに含まれているものの、オブジェクトが存在するような複雑な領域に比べると、ウェーブレット変換時のハイパス成分が極端に少ない傾向にある。この背景領域のハイパス成分は、最終的な符号データを形成するレート制御機能によりそのほとんどが取り除かれてしまうために、より歪が目立ってしまうと考えられる。従って、この揺らぎテクスチャに該当するサブバンドを見つけ出し、周波数重み付け処理（frequency Weighting）によりそのサブバンドに高い重みを設定して、わずかに存在するテクスチャを再現することで、ディザリングの効果でタイル境界を抑制できると考えられる。しかしながら、この方法は、全てのタイルに対して同一の処理を施してしまうため、本来高い重みを設定しなくても良いタイルにまで高い重みを設定することになる。反対に、今まで視覚的に重要だった領域が相対的に低い重みが設定されてしまい、その部分の画質が低下してしまうことが考えられる。つまり、タイル境界に発生する歪を抑制するために、全タイルに均一の周波数重み付け処理を施すと、タイル境界は抑制できるかもしれないが、他の視覚的に重要な領域に画質劣化が発生してしまうという問題がある。
【０００７】
この点を実際に実験で確認してみたところ、ウェーブレット変換回数を「ｎ」とした時、背景領域のテクスチャについては、分解レベル「ｎ−１」のサブバンドが画質的大きくに寄与していることがわかった。ここで分解レベル「ｎ」は最高解像度のサブバンドを表すこととする。この時、周波数重み付け処理により、分解レベル「ｎ−１」のサブバンドの強調処理を行ったところ、このテクスチャが再現されることによりディザリングに似た効果を発揮し、タイル境界に発生していた歪が抑制できるものの、一方で、特に解像度の高い斜めの方向性をもつエッジ部分でギザギザ（ジャギー）が目立ってしまうという問題が生じた。これは、分解レベル「ｎ−１」のサブバンドの情報を優先することにより、高い解像度を持つ分解レベル「ｎ」の情報が削られていることに他ならない。
【０００８】
また、ＪＰＥＧ２０００には最終的な符号データ量を一定の範囲内に収め、かつその範囲内で平均二乗誤差を基準にした最高画質を提供するレート制御機能が用意されている。しかしながら、実際の再生画像を見ると、誤差が低いからといって、必ずしも視覚的に良好な画像を再現できない場合があるという問題がある。例えば、人の顔の画像を符号化しようとすると、肌のきめ細かなテクスチャが取り除かれ、ツルツルとした精細度を欠いた画像となってしまう。これは、ウェーブレット変換係数の高域成分が低域成分に比べ画質に影響しにくいため、レート制御機能によりこの部分の情報が優先的に削除されてしまうためと考えられる。このような問題に対しては、先に説明した周波数重み付け処理が有効である。例えば、人の肌のテクスチャを再現するには、そのテクスチャに該当するウェーブレット変換領域でのサブバンドを見つけ出し、そのサブバンドの重みを高く設定することで、そのテクスチャを良好に再現することができる。しかしながら、全てのタイルに対して同一の処理を施してしまうため、本来高い重みを設定しなくても良いタイルにまで高い重みを設定することになる。反対に、今まで視覚的に重要だった領域が相対的に低い重みが設定されてしまい、その部分の画質が低下してしまうことが考えられる。つまり、人の肌のようなきめ細かなテクスチャの再現性を向上させるために、全タイルに統一した周波数重み付け処理を施すと、人の肌の部分では高品質化できるかもしれないが、他の視覚的に重要な領域に画質劣化が発生してしまうという問題がある。
【０００９】
この点を実際に実験で確認してみたところ、ウェーブレット変換回数を「ｎ」とした時、人物の顔（肌）のテクスチャについては、分解レベル「ｎ−１」のサブバンドが画質的大きくに寄与していることがわかった。そこで、周波数重み付け処理により、分解レベル「ｎ−１」のサブバンドの強調処理を行ったところ、肌の再現性は良好になったものの、特に斜めの方向性をもつ髪の毛の部分でギザギザ（ジャギー）が目立ってしまうという問題を生じた。これは、分解レベル「ｎ−１」のサブバンドの情報を優先することにより、髪の毛などの高い解像度を持つ分解レベル「ｎ」の情報が削られていることに他ならない。
【００１０】
そこで、この発明は上記のような問題点を解決するためになされたもので、入力画像をタイル分割して符号化する場合でも、タイルに応じて画像信号の符号化レートを弾力的に制御することにより、各タイルの性質に応じより細かな画質調整を可能にして、画像全体として良好な再生画像を得ることのできる画像符号化装置、画像符号化方法、および画像処理装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記目的を達成するため、本発明の画像符号化装置は、入力画像を所定サイズのタイルに分割し、個々のタイルに含まれる画像信号を周波数成分へ変換することで帯域分割された複数のサブバンドに対応した変換係数を得て、得られた変換係数を量子化し、得られた量子化係数をエントロピー符号化すると共に、上記量子化係数から量子化歪を演算し、この量子化歪を用いて上記エントロピー符号化された符号化データの符号量を制御する画像符号化装置であって、上記変換係数を参照して、当該タイルが複雑なテクスチャにより構成される複雑タイルか、複雑なテクスチャが存在しない単純タイルかを判定する複雑タイル判定部と、上記変換係数を参照して、当該タイルが斜め方向に相関が強い斜めタイルであるか否かを判定する斜めタイル判定部と、この斜めタイル判定部および上記複雑タイル判定部による判定に基づいて、タイルカテゴリに適したように当該タイルの所定のサブバンドに対して所定の重みを設定して、上記所定のサブバンドの量子化歪に上記設定された重みを付ける重み付け部と、この重み付け部により重み付けられた量子化歪に基づいて、上記エントロピー符号化された符号データの符号量を制御するレート制御部とを有する画像符号化装置である。
また、本発明の画像符号化方法は、入力画像を所定サイズのタイルに分割し、個々のタイルに含まれる画像信号を周波数成分へ変換することで帯域分割された複数のサブバンドに対応した変換係数を得て、得られた変換係数を量子化し、得られた量子化係数をエントロピー符号化すると共に、上記量子化係数から量子化歪を演算し、この量子化歪を用いて上記エントロピー符号化された符号化データの符号量を制御する際の画像符号化方法であって、上記変換係数を参照して、当該タイルが複雑なテクスチャにより構成される複雑タイルか、複雑なテクスチャが存在しない単純タイルかを判定する複雑タイル判定を行い、上記変換係数を参照して、当該タイルが斜め方向に相関が強い斜めタイルであるか否かを判定する斜めタイル判定を行い、この斜めタイル判定および上記複雑タイル判定による判定に基づいて、タイルカテゴリに適したように当該タイルの所定のサブバンドに対して所定の重みを設定して、上記所定のサブバンドの量子化歪に上記設定された重みを付け、この重み付けられた量子化歪に基づいて、上記エントロピー符号化された符号化データの符号量を制御する画像符号化方法である。
また、本発明の画像処理装置は、上記画像符号化装置を備え、この画像符号化装置により符号量を制御された符号化データを処理する画像処理装置である。
【００１２】
【発明の実施の形態】
実施の形態１．
図１に、本実施の形態１の画像符号化装置のブロック構成図を示す。図１において、１０１は必要に応じてＲＧＢ信号からＹＣｂＣｒ等への色空間座標の変換を行う色座標変換部、１０２は各色成分信号をタイルと呼ばれる複数の矩形に分割するタイル分割部、１０３は２次元のウェーブレット変換を行うウェーブレット変換部、１０４はウェーブレット変換部で生成された変換係数を設定された量子化ステップサイズで量子化を行う量子化処理部、１０５は量子化されたウェーブレット変換係数を２値算術符号化するためのモデリングを行う係数モデリング部、１０６は算術符号化によりエントロピー符号化を行うエントロピー符号化部、１０７はエントロピー符号化された符号データを格納する符号メモリ、１０８はエントロピー符号化する単位に歪を計算する歪計算部、１０９は該歪計算部１０８で計算された歪データを格納する歪メモリ、１１０は歪メモリ１０９から出力される歪データに対して所望の重み係数を乗じる乗算器、１１１は各タイルのウェーブレット変換係数からそのタイルが複雑なテクスチャを多く含む複雑タイルであるか否かを判定する複雑タイル判定部、１１２は該複雑タイル判定部１１１の出力を格納するタイル種別メモリ、１１３は該タイル種別メモリ１１２の出力を受けて予め格納されている複数の重み係数から対応する重み係数を選択する重み係数選択部、１１４は乗算器１１０から出力される重み付けされた歪データを考慮して符号メモリ１０７に格納されている符号データから必要なデータを選択し、設定された目標符号量に収まるようレート制御するレート制御部、３０１は複雑タイル判定部１１１を有するタイル分類部である。なお、図１の構成では、重み係数選択部１１３と乗算器１１０とにより本発明の重み付け部を構成している。
【００１３】
次に動作について説明する。
不図示の画像入力装置、例えば、イメージスキャナやデジタルカメラ、もしくはネットワークや記憶媒体等から入力された画像信号は、必要に応じて、色座標変換部１０１で色空間座標の変換を行う。一般には、カラーのＲＧＢ信号が入力された場合には、非可逆圧縮の場合は輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）への変換が、可逆圧縮の場合には損失のないＲＣＴ変換が行われる。また、モノクロの画像信号が入力された場合には本色座標変換部はバイパスされる。
【００１４】
タイル分割部１０２では、色座標変換部１０１から入力される各色成分信号に対して、タイルと呼ばれる複数の矩形領域に分割する。以降の処理ではこのタイルをあたかも一つの画像のように扱うこととする。
【００１５】
ウェーブレット変換部１０３では、１つのタイルを１つの画像とみなして２次元のウェーブレット変換を施し、複数のサブバンドに帯域分割する。ここで２次元のウェーブレット変換は１次元のウェーブレット変換の組み合わせとして実現される。つまり、水平方向の一次元ウェーブレット変換をライン毎に順次行う処理と、垂直方向の一次元ウェーブレット変換を列毎に順次行う処理である。
【００１６】
図２に、ウェーブレット変換部１０３の構成や動作の概略例を示す。図２（ａ）は、ウェーブレット変換部１０３における１次元のウェーブレット変換部分の構成例を示すもので、１次元のウェーブレット変換は所定の特性を持つローパスフィルタと、ハイパスフィルタと、ダウンサンプラとから構成されており、２次元のウェーブレット変換は１次元のウェーブレット変換の組み合わせとして実現される。ところで、これらのフィルタ処理のタップ（係数）の数は、非可逆圧縮ローパスフィルタで９、ハイパスフィルタで７、可逆圧縮ローパスフィルタで５、ハイパスフィルタで３が用いられるため、画像の端、またはタイルの端部分ではデータが不足することになり、それを補う拡張処理が必要である。このため、ＪＰＥＧ２０００では、図２（ｂ）に示すような鏡のように折り返す拡張方法（対象拡張）が用いられている。こうして生成された２次元のウェーブレット変換係数は、低域成分をＬ、高域成分をＨとし、主走査方向の変換を１文字目、副走査方向の変換を２文字目で表現することで、図２（ｃ）に示すようにＬＬ、ＨＬ、ＬＨ、ＨＨと表現される。また、これらの帯域分割された成分はサブバンドと呼ばれている。ここで、水平、垂直方向の低域成分（ＬＬ成分）は再帰的にウェーブレット変換が施される。再帰的に施される各ウェーブレット変換によって生成される各サブバンドを分解レベルと称し、図中ＬＬ、ＨＬ、ＬＨ、ＨＨの前に記載された数字がこれにあたる。即ち、最低解像度のＬＬ成分は常に分解レベル０となり、反対に最高解像度の高域成分ＨＬ，ＬＨ，ＨＨの分解レベルはウェーブレット変換の回数と同一値になる。この図の例ではウェーブレット変換を２回行っているので、最高解像度成分の分解レベルは２となる。
【００１７】
量子化処理部１０４では、サブバンド毎に設定された量子化ステップサイズによりウェーブレット変換係数を量子化する。
【００１８】
係数モデリング部１０５では、各サブバンドのウェーブレット変換係数を符号ブロックと呼ばれる固定サイズの領域に分割した後、それぞれの符号ブロックの多値データを２値のビットプレーンに変換する。さらに、各ビットプレーンを３通りの符号化パス（Significance pass, Refinement pass, cleanup pass）に分割し、それぞれの符号化パス毎にエントロピー符号化するためのコンテクストモデリングを行う。
【００１９】
３つの符号化パスから出力される２値信号はエントロピー符号化部１０６によって算術符号化が行われる。
【００２０】
エントロピー符号化部１０６で生成された符号化データは一旦符号メモリ１０７に格納される。
【００２１】
これらの符号化処理と並行して、歪計算部１０８では、各符号ブロックの各符号化パス単位に、歪を計算する。算出された歪データは、色成分、タイル番号、サブバンド、符号ブロック、符号化パスが特定できるようなインデックスが付与された後、歪メモリ１０９に格納される。
【００２２】
タイル分離部３０１の複雑タイル判定部１１１では、複雑度を表す指標として、輝度成分おける各タイルのＨＨ成分に対して、以下の（式１）を使って平均電力Ｐｔを計算する。
【００２３】
Figure 0004045913
【００２４】
ここで、添字ｔはタイル番号、Ｃ（ｉ，ｊ）は位置（ｉ，ｊ）のＨＨ成分の変換係数、ＪｍａｘはＨＨ成分の主走査方向のサンプル数、Ｉｍａｘは副走査方向のサンプル数を表している。
【００２５】
次に、ある閾値Ｔｐを設定し、以下の判定式に従って複雑タイルであるか、単純タイルであるか当該タイルのカテゴリを判定する。
【００２６】
If(Pt>Tp) ・・・ 複雑タイル
Else ・・・ 単純タイル
【００２７】
複雑タイル判定部１１１の出力は、いったんタイル種別メモリ１１２に格納される。
【００２８】
以上の処理により、符号メモリ１０７には符号データが、歪メモリ１０９に歪データが、タイル種別メモリ１１２にはタイルカテゴリが、全タイルにわたり格納されることになる。これらの情報を利用して、レート制御部１１４でレート制御を行うことになる。
【００２９】
ここで、レート制御方法について説明する。
歪メモリ１０９から読み出した歪の総和が最小になり、かつトータルの符号量が目標符号量以下になるという２つの条件を同時に満足させながら、符号化パス毎に符号データを抽出する。この２つの条件を同時に満足させる最適化演算には、ラグランジェの未定乗数法を利用することで解決することができる。今、符号化パス毎の歪をＤｉ、符号化パス毎の符号量をＲｉとした時、ある値λに対して、
【００３０】
Figure 0004045913
【００３１】
が最小となるような符号化パスの位置ｉを計算する。この時の総符号量Ｒ
【００３２】
Figure 0004045913
【００３３】
が目標符号量になるようにλを繰り返し調整する。なお、ここで添字ｉは符号化パスと記されているが、これは、全色成分、全タイル、全分解レベルの符号化パスを表している。
【００３４】
図１に戻り、歪メモリ１０９からはレート制御部１１４から出力される符号化パス、符号ブロック、サブバンド、タイル番号、色成分のインデックスに応じて各符号化パス単位の歪データＤｉが出力され、乗算器１１０では、各符号化パス単位の歪データＤｉに重み係数選択部１１３で選択された重み係数を乗じることになる。
【００３５】
ここで重み係数選択部１１３について、図３を使って詳しく説明する。
【００３６】
図３は、図１に示す重み係数選択部１１３の詳細構成を示す図である。図３において、２０１は複数の重み係数をそれぞれ格納した複数のレジスタを表す重み係数レジスタ群、２０２は重み係数レジスタ群２０１の出力である複数の重み係数から選択信号をもとに所望の重み係数を選択する選択部である。以下動作について説明する。
【００３７】
重み係数レジスタ群２０１の各レジスタには、先に述べた２つのタイルカテゴリ毎に各サブバンドの重み係数を設定しておくものとする。従って、色成分３、分解レベル３の場合には、３色成分×（３分解レベル×３サブバンド＋１サブバンド）×２タイルカテゴリ＝６０の重み係数を設定することになる。まず、レート制御部１１４からタイル種別メモリ１１２に、現在処理しようとしている符号化パスが所属するタイルの番号が入力されると、そのタイル番号に該当するタイルカテゴリ信号が出力され、重み係数選択部１１３に入力される。重み係数選択部１１３の選択部２０２へは、タイル種別メモリ１１２からタイルカテゴリが、レート制御部１１４から現在処理しようとしている符号化パスが所属する色成分、サブバンドを示すインデックスが選択信号として入力されるので、選択部２０２では、これらの入力選択信号に基づき該当する重み係数を選択し、乗算器１１０へ出力する。乗算器１１０では、上述したように各符号化パス単位の歪データＤｉに重み係数選択部１１３で選択された重み係数を乗じて出力する。なお、図４（ａ）、（ｂ）、（ｃ）には、それぞれ歪メモリ１０９、タイル種別メモリ１１２、重み係数レジスタ群２０１におけるデータの格納方法の一例を示しておく。
【００３８】
こうして、図１の乗算器１１０からは重み付けされた符号化パス毎の歪Ｄｉがレート制御部１１４へ出力され、レート制御部１１４では、乗算器１１０から入力する重み付けされた符号化パス毎の歪Ｄｉに基づいて、符号メモリ１０７からの符号データのデータが、目標とする符号サイズ以下になるように符号化データのレート制御、すなわち符号量を調整し、かつその目標符号サイズ内で再現できる最高の画質を提供するようにする。
【００３９】
つまり、本実施の形態１では、上述したようにエントロピー符号化部１０６におけるエントロピー符号化処理と並行して、歪み計算部１０８にて符号化パス単位に量子化時の誤差の二乗平均を歪として計算しておき、かつ、その歪みにタイルカテゴリ毎の重み係数が乗じられるので、レート制御部１１４では、この重み係数が乗じられた歪が最小になるように、符号化パス単位に符号化データを選択的に取得し、トータルの符号量が目標とする符号サイズ内に収まるようにすることで、目標符号量における最高の画質を提供する。なお、この歪最小、目標符号量以下、という２つの条件を同時に満足させるには最適化演算が必要になるが、これには上述したようにラグランジェの未定乗数法等を利用している。
【００４０】
以上のように、本実施の形態１においては、各タイルをその性質から複雑タイル、単純タイルの２つのカテゴリに分類し、それぞれのタイルカテゴリに適したようにサブバンド毎に重みを設定することできる。これにより、全タイルにわたり均一の重み設定だった従来方式に比べ、画質設定の自由度が広がったことにより、より細かな画質調整が可能になるという効果がある。
【００４１】
その結果、例えば、タイル境界に発生する線状の歪を抑制したい場合には、背景領域に存在する細かな揺らぎテクスチャを残すために、背景領域と識別される単純タイルに対しては、揺らぎテクスチャに該当するサブバンド成分に高い重みを設定する。その一方、背景領域と識別されない複雑タイルにおいては必要以上に情報量が割り当てられている可能性が高いので、複雑タイルにおいて比較的重要度の低い高域成分に低い重みを設定する。このように、複雑タイルで稼いだ情報量を単純タイルの揺らぎテクスチャに相当するサブバンドに割り当てることにより、タイル境界を抑制できるという効果がある。
【００４２】
実施の形態２．
図５に、本実施の形態２の画像符号化装置のブロック構成図を示す。図５において、図１と同一符号のブロックが存在するが、これは実施の形態１で説明した動作と全く同一の動作をするものとする。図５が図１と異なっているのはタイル分類部３０１、及び重み係数選択部３０２である。このタイル分類部３０１は各タイルの性質から３つのカテゴリに分類するものであり、重み係数選択部３０２は３つのカテゴリに応じた重み係数から所望の重み係数を選択するものである。
【００４３】
ここで、図６を使ってタイル分類部３０１について詳しく説明する。
図６は、タイル分類部３０１の詳細構成を示す図である。同図において、１１１は図１に示す複雑タイル判定部１１１と全く同一で、当該タイルが複雑タイルであるか否かを判定する複雑タイル判定部、４０１は当該タイルが斜めタイルであるか否かを判定する斜めタイル判定部、４０２は複雑タイル判定部１１１と斜めタイル判定部４０１の出力を受けて当該タイルが複雑タイル、単純タイル、斜めタイルのいずれのタイルカテゴリに該当するかを判定する総合判定部である。
【００４４】
次に動作について説明する。
複雑タイル判定部１１１は、実施の形態１で説明した動作と全く同一の動作を行う。
【００４５】
次に、斜めタイル判定部４０１について図７を使って説明する。
図７は、斜めタイル判定部４０１の詳細構成を示す図である。図７において、５０１は所望のサブバンドの自己相関係数を計算する自己相関演算部、５０２は自己相関演算部５０１の出力である自己相関係数から当該タイルが斜めタイルであるか否かを判定する判定部である。
【００４６】
次に動作について説明する。自己相関演算部５０１では各タイルにおける最高解像度の分解レベルｎ（最高解像度）のＨＨ成分に対して自己相関係数Ａｔを以下の式（４）を使って計算する。
【００４７】
Figure 0004045913
【００４８】
ここで、ｘ、ｙは自己相関係数の位置を表しており、それぞれ−２≦ｘ≦２、−２≦ｙ≦２を満たす整数である。具体的には、Ａｔ（ｘ，ｙ）は図８に示す位置の自己相関係数を表している。
【００４９】
判定部５０２では、自己相関係数Ａｔ（ｘ，ｙ）を利用して当該タイルが斜め方向に相関が強い斜めタイルであるか否かを判定する。最初に２５個の自己相関係数Ａｔ（ｘ，ｙ）に対して負の値を持つものは０になるように補正する。補正された係数Ａｔ（ｘ，ｙ）に対して、以下の判定式（５），（６）によりそれぞれｓｕｍ１及びｓｕｍ２を求め、
【００５０】
Figure 0004045913
【００５１】
Figure 0004045913
【００５２】
次のようにｓｕｍ１とｓｕｍ２との比と、実験やシミュレーション等の経験により求めた閾値Taと比較して、例えば以下に示すようにｓｕｍ１とｓｕｍ２との比が閾値Taより大きい場合には当該タイルが斜めタイル、ｓｕｍ１とｓｕｍ２との比が閾値Taより小さい場合には非斜めタイルであると判定する。
If(sum1/sum2>Ta) or (sum2/sum1>Ta) ・・・ 斜めタイル
Else ・・・ 非斜めタイル
【００５３】
図９は、ｓｕｍ１及びｓｕｍ２が、それぞれどの自己相関係数の和をとったものかをわかりやすく説明する図である。図９（ａ）の網掛けで示している右下がりの自己相関係数の和がｓｕｍ１を、図９（ｂ）の網掛けで示している右上がりの自己相関係数の和がｓｕｍ２を表している。本判定では、ｓｕｍ１とｓｕｍ２のいずれかに偏りがある場合に斜めタイルと判定するようにしている。
【００５４】
ここで図６に戻り、総合判定部４０２では、複雑タイル判定部１１１、及び斜めタイル部４０１の判定出力を受けて、例えば以下に示すように複雑タイルの判定出力の入力が無しであれば単純タイルのカテゴリ、複雑タイルの判定出力の入力が有れば、斜めタイルの判定出力の入力の有無により無しであれば複雑タイルのカテゴリ、あれば斜めタイルのカテゴリと判定し、当該タイルが複雑タイル、単純タイル、斜めタイルのいずれのタイルカテゴリであるかを判定する。
【００５５】
if(複雑タイル) ｛
if(斜めタイル) ・・・ 斜めタイル
else ・・・ 複雑タイル
｝
else ・・・ 単純タイル
【００５６】
ここで、最終的に斜めタイルと判定されるタイルはある程度ＨＨ成分の平均電力が高いことが条件となっていることがわかる。
【００５７】
以上の構成により、注目タイルが複雑タイル、単純タイル、斜めタイルのいずれのカテゴリに属するか分類できたら、その信号は一旦タイル種別メモリ１１２に格納される。
【００５８】
本実施の形態２の重み係数選択部３０２は、複雑タイル、単純タイル、斜めタイルに対応したサブバンド毎の重み係数を予め格納しており、タイル種別メモリ１１２からの注目タイルのタイルカテゴリや、レート制御部１１４からの現在処理しようとしている符号化パスが所属する色成分、およびサブバンドを示すインデックスを選択信号として、これらの選択信号に基づきサブバンド毎の重み係数を選択する。
【００５９】
こうして歪メモリ１０９から出力される歪データに対応する重み係数が重み係数選択部３０２から選択されて乗算器１１０へ出力され、乗算器１１０にて歪データとそれに対応する重み係数が乗じられた後、レート制御部１１４では、上記実施の形態１の場合と同様に、符号化データでの符号量制御、すなわちレート制御を行う。
【００６０】
以上のように、本実施の形態２においては、各タイルをその性質から複雑タイル、単純タイル、斜めタイルの３つのカテゴリに分類し、それぞれのタイルカテゴリに適したようにサブバンド毎に重みを設定することできる。これにより、実施の形態1の場合と同様に、全タイルにわたり均一の重み設定だった従来方式に比べ、さらに画質設定の自由度が広がったことにより、より細かな画質調整が可能になるという効果がある。
【００６１】
特に、実施の形態１に比べタイルカテゴリが複雑タイル、単純タイル、斜めタイルの３種類に増えたことにより、画質設定の自由度が広がり、より細かな画質調整が可能になるという効果がある。例えば、原画像に斜線や斜めエッジが多く存在するような画像をタイル分割して符号化する場合には、例えば単純タイルには背景領域の揺らぎテクスチャに相当するサブバンドに高い重みを設定し、複雑タイルには関連するサブバンドの重みを低く設定、さらに斜めタイルについては斜め成分、つまりＨＨ成分を中心に高い重みを設定するようにする。こうすることで、タイル境界部に発生する線状の歪を抑制できるだけでなく、斜めエッジが多く存在するタイルでもジャギーが発生することなく良好な画像を再現できるという効果がある。
【００６２】
実施の形態３．
基本的なブロック構成図は、実施の形態２で説明した図５と同一である。本実施の形態３では、図５におけるタイル分類部３０１の構成が異なっており、具体的には新たに肌色タイルの検出処理が付加されている。以下、本実施の形態３におけるタイル分類部の構成、動作について図１０を使って説明する。
【００６３】
図１０は、本実施の形態３のタイル判定部３０１の詳細構成を示している。図１０において、１１１は図１や図６に示すものと同じ複雑タイル判定部、４０１は図６に示すものと同じ斜めタイル判定部である。８０１は当該タイルが肌色の多いタイルであるか否かを検出する肌色タイル判定部、８０２は複雑タイル判定部１１１と斜めタイル判定部４０１と肌色タイル判定部８０１の出力を受けて、当該タイルが後述する４つタイルカテゴリのいずれに該当するかを判定する総合判定部である。
【００６４】
次に動作について説明する。
まず、肌色タイル判定部８０１では、各係数が肌色であるか否かを検出する。具体的には、色座標変換部１０１でＲＧＢ信号をＨＳＬ表色系の信号に変換し、そのウェーブレット変換後の０ＬＬ成分が、Ｈ（色相）、Ｓ（彩度）、Ｌ（明度）全ての色成分に対してある閾値の範囲にある場合に肌色と判定する。それぞれのの色成分の上限、下限の閾値を、添え字ｍａｘ、ｍｉｎで表すと、この判定は次のように示すことができる。
【００６５】
Figure 0004045913
【００６６】
肌色タイル判定部８０１は、こうして検出された肌色の係数をカウントし、そのカウント値が所定の閾値よりも大きければ、肌色タイルと判定して出力する。
【００６７】
なお、複雑タイル判定部１１１および斜めタイル判定部４０１は、上述の実施の形態１や実施の形態２の場合と同様に動作する。
【００６８】
総合判定部８０２では、複雑タイル判定部１１１、斜めタイル判定部４０１、肌色タイル判定部８０１の判定出力を入力して、当該タイルが複雑タイル、単純タイル、斜めタイル、肌色タイルのいずれに属するかを、例えば以下に示すように判定する。つまり、肌色タイルの判定出力が入力していれば肌色タイルのカテゴリと判定し、肌色タイルの判定出力が入力していなければ、複雑タイルの判定出力の入力の有無により無しであれば単純タイルのカテゴリ、複雑タイルの判定出力の入力が有れば、斜めタイルの判定出力の入力の有無により無しであれば複雑タイルのカテゴリ、あれば斜めタイルのカテゴリと判定する。
【００６９】
if（肌色タイル） ・・・ 肌色タイル
else if（複雑タイル） ｛
if(斜めタイル) ・・・ 斜めタイル
else ・・・ 複雑タイル
｝
else ・・・ 単純タイル
【００７０】
以上の構成により、注目タイルが複雑タイル、単純タイル、斜めタイル、肌色タイルのいずれのカテゴリに属するか分類できたら、その信号は一旦タイル種別メモリ１１２に格納される。
【００７１】
ところで、本実施の形態３の重み係数選択部３０２には、複雑タイル、単純タイル、斜めタイル、肌色タイルに対応した各サブバンドの重み係数が格納されており、実施の形態１，２等の場合と同様に、タイルカテゴリやサブバンドを示す選択信号等によって選択される。なお、上述の実施の形態２の重み係数選択部３０２には、複雑タイル、単純タイル、斜めタイルの３種類のタイルに対応した重み係数が格納されているが、本実施の形態３では複雑タイル、単純タイル、斜めタイル、肌色タイルの４種類のタイルに対応した重み係数を格納されているものとする。
【００７２】
こうして歪メモリ１０９から出力される歪データに対応する重み係数が重み係数選択部３０２から選択されて乗算器１１０へ出力され、乗算器１１０にて歪データとそれに対応する重み係数が乗じられた後、レート制御部１１４でレート制御が行われる。
【００７３】
以上のように、本実施の形態３においては、各タイルをその性質から複雑タイル、単純タイル、斜めタイル、肌色タイルの４つのカテゴリに分類し、それぞれのタイル種別に適したようにサブバンド毎に重みを設定することできる。これにより、実施の形態1，２の場合と同様に、全タイルにわたり均一の重み設定だった従来方式に比べ、さらに画質設定の自由度が広がったことにより、より細かな画質調整が可能になるという効果がある。
【００７４】
特に、実施の形態２の場合に比べ、タイルカテゴリが複雑タイル、単純タイル、斜めタイル、肌色タイルの４種類に増えたことにより、画質設定の自由度が広がり、より細かな画質調整が可能になるという効果がある。例えば、人物画像があげられる。従来方式では、人物画像において、人の肌（特に顔）に存在する細かなテクスチャと斜め方向の髪の毛は、ウェーブレット変換した際にはそれぞれ異なるサブバンドにその特徴が現れるため、両者の画質を同時に満足させることが難しかったが、本実施の形態３では、まず、肌色タイルに対してはそこに存在するテクスチャに該当するサブバンドに高い重みを設定し、斜めの髪の毛が該当する斜めタイルについても同様に関連するサブバンドに高い重みを設定し、背景領域と識別される単純タイルや、背景領域と識別されない複雑タイルには実施の形態１、２で説明した場合と同様に重みを設定する。こうすることで、肌色のテクスチャ、斜めの髪の毛の両方の画質を同時に満足させ、かつタイル境界に発生する線状の歪も抑制することができるという効果がある。
【００７５】
実施の形態４．
実施の形態２で述べた斜めタイル判定部４０１では、図８に示すように周囲２４画素を参照する構成としたが、本実施の形態４では、例えば図１１に示すように周囲８画素を参照して斜め方向を検出することを特徴とする。この場合、斜めタイル判定部４０１の判定部５０２での判定処理は、実施の形態２の場合と同様に、まず９個の自己相関係数Ａｔ（ｘ，ｙ）に対して負の値を持つものは０になるように補正し、補正された係数Ａｔ（ｘ，ｙ）に対して、以下の判定式（式７），（式８）によりそれぞれｓｕｍ１及びｓｕｍ２を求め、ｓｕｍ１とｓｕｍ２との比と、実験やシミュレーション等の経験により求めた閾値Taと比較して、例えば以下に示すようにｓｕｍ１とｓｕｍ２との比が閾値Taより大きい場合には当該タイルが斜めタイル、ｓｕｍ１とｓｕｍ２との比が閾値Taより小さい場合には非斜めタイルであると判定する。
【００７６】
sum1= At(-1,-1)+At(1,1); …（式７）
【００７７】
sum2= At(1,-1)+At(1,-1); …（式８）
【００７８】
If(sum1/sum2>Ta) or (sum2/sum1>Ta) ・・・ 斜めタイル
Else ・・・ 非斜めタイル
【００７９】
図１１からもわかるように、本実施の形態４では、４５°の斜め方向の検出のみとなるため、若干斜めタイルの検出精度が低くなるものの、実施の形態２とほぼ同様の効果を奏することができる。さらに、参照するウェーブレット変換係数を減らすことで自己相関係数を計算する（式４）の演算量を少なくできるため、回路規模を削減でき、判定処理のスピードも向上できるという効果がある。
【００８０】
実施の形態５．
本実施の形態５は、実施の形態２で述べた斜めタイル判定方法とは異なる方法で斜めタイルを検出するものである。以下、図１２を使って、本実施の形態５における斜めタイル判定部４０１を説明する。
【００８１】
図１２は、本実施の形態５の斜めタイル判定部４０１の詳細構成を示す図である。図１２において、１００１は入力されてくるウェーブレット変換係数を２値化処理する２値化部、１００２は予め定めた斜め方向の２値パターンを記憶する斜めパターン記憶部、１００３は該２値化部１００１と斜めパターン記憶部１００２の出力を照合して注目している係数が斜めの方向性を持つか否かを識別するマッチング部、１００４は斜め方向の２値パターンとマッチングした係数の数をカウントするカウンタ部、１００５は最終的な斜めパターンの係数の数から当該タイルが斜めタイルか否かを判定する判定部である。
【００８２】
次に具体的な動作について説明する。
２値化部１００１では、各タイルにおける例えば最高解像度の分解レベルｎ（最高解像度）のＨＨ成分Ct(x,y)を、次に示すようにある閾値Ｔｃと比較して、２値化処理する。
【００８３】
If(Ct(x,y) > Tc) Bt(x,y) = 1;
Else Bt(x,y) = 0;
【００８４】
マッチング部１００３では、この２値化処理結果Ｂｔ（ｘ、ｙ）に対して、斜めパターン記憶部１００２にあらかじめ格納されている斜め方向の２値パターンとのマッチングを行い、これに合致すれば１を、そうでなければ０を出力する。
【００８５】
図１３に、斜めパターン記憶部１００２にあらかじめ格納されている斜め方向の２値パターンの一例を幾つか示す。これら図１３に示す各斜め方向の２値パターン例中“ｘ”は、参照しない２値化結果（Ｄｏｎ‘ｔ Ｃａｒｅ）を表している。
【００８６】
カウンタ部１００４では、該マッチング部１００３の出力が１の場合にはカウント値Ｎｔに＋１を加算し、そうでなければなにも加算しない。こうして、斜めパターンとマッチングする係数の数Ｎｔをタイル単位にカウントし、判定部１００５では、以下に示すように最終的なカウント値Ｎｔを閾値Ｔｎと比較することによって、当該タイルが斜めタイルか否かを判定する。
【００８７】
If(Nt > Tn) ・・・ 斜めタイル
Else ・・・ 非斜めタイル
【００８８】
以上のように、本実施の形態５によれば、各タイルにおける最高解像度の分解レベルｎ（最高解像度）のＨＨ成分の２値化処理して、事前に登録しておいた斜め方向の２値パターンとマッチングをとることにより、斜めタイルを検出することができ、実施の形態２と同様の効果を奏することができる。
【００８９】
特に、実施の形態２では、自己相関係数を演算するために２５回の乗算を行う必要があったが、本実施の形態５で説明した構成によれば、予め定められた斜めパターンを記憶しておき、それとのパターンマッチングの処理だけで斜めタイルを判定することができるため、実施の形態２の場合と較べ、少ないＨ／Ｗ規模で実装でき、かつ、高速判定が可能であるという効果がある。
【００９０】
実施の形態６．
実施の形態５で述べた斜めタイル判定部４０１では、図１３に示すように周囲２４画素を参照する構成としたが、本実施の形態６では、実施の形態４と同様に、図１４に示すように周囲８画素を参照して斜め方向を検出することを特徴とする。
【００９１】
このようにすれば、実施の形態４の場合と同様、同図からもわかるように、本実施の形態６では４５°の斜め方向の検出のみとなるため、若干斜めタイルの検出精度が低くなるものの、実施の形態５とほぼ同様の効果を奏することができる。さらに、参照画素を小さくすることで不図示のラインメモリの容量や、斜めパターンを記憶する容量などを削減できると共に、高速に判定できるという効果もある。
【００９２】
なお、上記実施の形態１〜６では、複雑タイル判定部１１１の複雑度の計算を、ＨＨ成分の平均電力として説明したが、これに限るものではない。参照するサブバンドをＨＨ成分に限定させず、ＨＬ，ＬＨ，ＨＨ全ての高域成分を利用しても良い。また複雑度も平均電力ではなく、例えば係数の絶対値や分散などによって計算しても良い。特に、絶対値を用いれば二乗計算を行わなくてすむためＨ／Ｗ規模も少なくてすむ。
【００９３】
また、上記実施の形態２〜６等では、斜めタイル判定部４０１では、最高解像度の分解レベルのＨＨ成分を参照して計算を行うものとして説明したが、これに限るものではなく、他のＨＬ，ＬＨ等のサブバンドを参照して斜めタイルの検出を行っても良い。
【００９４】
また、上記実施の形態５，６等で説明した図１３、１４に示した斜めパターンは一例であり、これに限ったものではない。特に、同図は１ドットの線幅の斜線（または斜めエッジ）であるが、例えばこれを線幅２ドットのものも検出できるようにしても良い。
【００９５】
また、上記実施の形態１〜６では、画質を制御するための方法として周波数重み付け技術（Frequency Weighting）を利用して、サブバンド毎に設定された重みを歪みに乗じるように説明したが、これに限らず、サブバンド毎に設定された重みを、ウェーブレット変換部１０３の出力であるウェーブレット変換係数に乗じることにより、所望のサブバンドを強調した画質制御を可能にしても良い。このようにする場合には、歪みメモリ１０９の出力である歪はそのまま直接レート制御部１１４に入力し、重み係数選択部１１３からの重み係数はウェーブレット変換部１０３と量子化部１０４の間でタイル分類部３０１への分岐点より量子化部１０４側に新たに設けた乗算器に入力するように構成すればよい。これにより、例えば、必ずある程度の距離を離れて再生画像を見る環境では、細かな解像度が必要ないため、ウェーブレット変換係数の最高解像度成分に低い重みを設定し、その分他の低解像度の変換係数に有効に情報量を割り当てることができるようになる。
【００９６】
また、上記実施の形態１〜６では、画像信号を周波数成分へ変換する変換部を、ＪＰＥＧ２０００等で規格化されているウエーブレット変換部１０３を一例として説明したが、本発明では、ウエーブレット変換部１０３に限定されるものではなく、画像信号を周波数成分へ変換することが可能な変換方式であれば何でも良い。
【００９７】
また、上記実施の形態１〜６で説明した画像符号化装置をＬＳＩとして、またその画像符号化方法をソフトウエアとして、静止画像を入力画像として処理するディジタルカメラや監視カメラ、イメージスキャナ等の画像処理装置に実装されることは言うまでもない。このような画像処理装置では、この画像符号化装置により符号量を制御された符号化データを各種画像処理したり、さらには通信処理部を介して送受信することができる。
【００９８】
【発明の効果】
以上説明したように、本発明によれば、変換係数を参照して各タイルをその性質に応じ複数のカテゴリに分類すると共に、その複数のカテゴリ毎に上記量子化歪に重みを付け、重み係数が付けられた量子化歪に基づいてエントロピー符号化された符号データの符号量を制御するようにしたので、入力画像をタイル分割して符号化する場合でも、タイルに応じて画像信号の符号化レートを弾力的に制御することができる。
【００９９】
その結果、全タイルにわたり均一の重み設定だった従来方式に比べると、画質設定の自由度が広がったことにより、各タイルの性質に応じより細かな画質調整が可能になり、画像全体の符号化レートを下げるようなことがあっても良好な再生画像を得ることができることになる。例えば、タイル境界に発生する線状の歪を抑制したい場合には、背景領域に存在する細かな揺らぎテクスチャを残すために、背景領域と識別される単純タイルに対しては、揺らぎテクスチャに該当するサブバンド成分に高い重みを設定する。その一方、背景領域と識別されない複雑タイルにおいては必要以上に情報量が割り当てられている可能性が高いので、複雑タイルにおいて比較的重要度の低い高域成分に低い重みを設定する。このように、複雑タイルで稼いだ情報量を単純タイルの揺らぎテクスチャに相当するサブバンドに割り当てることにより、タイル境界を抑制できるという効果がある。
【図面の簡単な説明】
【図１】 実施の形態１の画像符号化装置を示すブロック構成図。
【図２】 ウェーブレット変換部１０３の構成や動作の概略例を示す図。
【図３】 図１に示す重み係数選択部１１３の詳細構成を示す図。
【図４】歪メモリ１０９、タイル種別メモリ１１２、重み係数選択部１１３にデータを格納する一例を示す図。
【図５】 実施の形態２の画像符号化装置を示すブロック構成図。
【図６】 実施の形態２のタイル分類部３０１の詳細構成を示す図。
【図７】 実施の形態２の斜めタイル判定部４０１の詳細構成を示す図。
【図８】 自己相関演算部５０１における自己相関係数の一例を示す図。
【図９】 ｓｕｍ１及びｓｕｍ２が、それぞれどの自己相関係数の和をとったものかをわかりやすく説明する図。
【図１０】 実施の形態３のタイル判定部３０１の詳細構成を示を示す図。
【図１１】 実施の形態４において斜め方向を検出する際の参照画素を示す図。
【図１２】 実施の形態５の斜めタイル判定部４０１の詳細構成を示す図。
【図１３】 実施の形態５における斜めパターン記憶部１００２にあらかじめ格納されている斜め方向の２値パターンの一例を示す図。
【図１４】 実施の形態６における斜めパターン記憶部１００２にあらかじめ格納されている斜め方向の２値パターンの一例を示す図。
【符合の説明】
１０１ 色座標変換部、１０２ タイル分割部、１０３ ウェーブレット変換部、１０４ 量子化処理部、１０５ 係数モデリング部、１０６ エントロピー符号化部、１０７ 符号メモリ、１０８ 歪計算部、１０９ 歪メモリ、１１０乗算器、１１１ 複雑タイル判定部、１１２ タイル種別メモリ、１１３ 重み係数選択部、１１４ レート制御部、３０１ タイル分類部。

Claims (6)

  1. 入力画像を所定サイズのタイルに分割し、個々のタイルに含まれる画像信号を周波数成分へ変換することで帯域分割された複数のサブバンドに対応した変換係数を得て、得られた変換係数を量子化し、得られた量子化係数をエントロピー符号化すると共に、上記量子化係数から量子化歪を演算し、この量子化歪を用いて上記エントロピー符号化された符号化データの符号量を制御する画像符号化装置であって、
    上記変換係数を参照して、当該タイルが複雑なテクスチャにより構成される複雑タイルか、複雑なテクスチャが存在しない単純タイルかを判定する複雑タイル判定部と、
    上記変換係数を参照して、当該タイルが斜め方向に相関が強い斜めタイルであるか否かを判定する斜めタイル判定部と、
    この斜めタイル判定部および上記複雑タイル判定部による判定に基づいて、タイルカテゴリに適したように当該タイルの所定のサブバンドに対して所定の重みを設定して、上記所定のサブバンドの量子化歪に上記設定された重みを付ける重み付け部と、
    この重み付け部により重み付けられた量子化歪に基づいて、上記エントロピー符号化された符号化データの符号量を制御するレート制御部と
    を有する画像符号化装置。
  2. 請求項１記載の画像符号化装置において、
    上記変換係数を参照して、当該タイルが肌色を多く含む肌色タイルであるか否かを判定する肌色タイル判定部
    を有し、
    上記重み付け部は、上記複雑タイル判定部と上記斜めタイル判定部と上記肌色タイル判定部による判定に基づいて、タイルカテゴリに適したように当該タイルの所定のサブバンドに対して所定の重みを設定して、上記所定のサブバンドの量子化歪に上記設定された重みを付ける
    ことを特徴とする画像符号化装置。
  3. 請求項１または請求項２記載の画像符号化装置において、
    上記タイル分類部が上記斜めタイル判定する斜め方向は、４５度の右上がりまたは４５度の右下がりの方向である
    ことを特徴とする画像符号化装置。
  4. 請求項１乃至請求項３のいずれかに記載の画像符号化装置において、
    上記重み付け部は、量子化歪に重みを付ける際、各タイルカテゴリに対するサブバンド毎の重み係数を予め記憶しておき、当該タイルのカテゴリ及びサブバンドに応じて所望の重み係数を選択し、選択した重み係数を量子化歪みに乗算することより量子化歪に重みを付ける
    ことを特徴とする画像符号化装置。
  5. 入力画像を所定サイズのタイルに分割し、個々のタイルに含まれる画像信号を周波数成分へ変換することで帯域分割された複数のサブバンドに対応した変換係数を得て、得られた変換係数を量子化し、得られた量子化係数をエントロピー符号化すると共に、上記量子化係数から量子化歪を演算し、この量子化歪を用いて上記エントロピー符号化された符号化データの符号量を制御する際の画像符号化方法であって、
    上記変換係数を参照して、当該タイルが複雑なテクスチャにより構成される複雑タイルか、複雑なテクスチャが存在しない単純タイルかを判定する複雑タイル判定を行い、
    上記変換係数を参照して、当該タイルが斜め方向に相関が強い斜めタイルであるか否かを判定する斜めタイル判定を行い、
    この斜めタイル判定および上記複雑タイル判定による判定に基づいて、タイルカテゴリに適したように当該タイルの所定のサブバンドに対して所定の重みを設定して、上記所定のサブバンドの量子化歪に上記設定された重みを付け、
    この重み付けられた量子化歪に基づいて、上記エントロピー符号化された符号化データの符号量を制御する画像符号化方法。
  6. 請求項１乃至請求項４のいずれかに記載の画像符号化装置を備え、この画像符号化装置により符号量を制御された符号化データを処理する画像処理装置。
JP2002282402A 2002-09-27 2002-09-27 画像符号化装置、画像符号化方法、および画像処理装置 Expired - Fee Related JP4045913B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2002282402A JP4045913B2 (ja) 2002-09-27 2002-09-27 画像符号化装置、画像符号化方法、および画像処理装置
TW92117535A TWI222327B (en) 2002-09-27 2003-06-27 Image encoding device, image encoding method, and image processing device
PCT/JP2003/008901 WO2004030343A1 (ja) 2002-09-27 2003-07-14 画像符号化装置、画像符号化方法、および画像処理装置
KR20047007959A KR100611705B1 (ko) 2002-09-27 2003-07-14 화상 부호화 장치, 화상 부호화 방법, 및 화상 처리 장치
US10/489,180 US7333661B2 (en) 2002-09-27 2003-07-14 Image coding device image coding method and image processing device
EP03741377A EP1545121A4 (en) 2002-09-27 2003-07-14 DEVICE, IMAGE ENCODING METHOD, AND IMAGE PROCESSING DEVICE
CNB03801629XA CN1287584C (zh) 2002-09-27 2003-07-14 图像编码装置、图像编码方法及图像处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002282402A JP4045913B2 (ja) 2002-09-27 2002-09-27 画像符号化装置、画像符号化方法、および画像処理装置

Publications (2)

Publication Number Publication Date
JP2004120466A JP2004120466A (ja) 2004-04-15
JP4045913B2 true JP4045913B2 (ja) 2008-02-13

Family

ID=32040537

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002282402A Expired - Fee Related JP4045913B2 (ja) 2002-09-27 2002-09-27 画像符号化装置、画像符号化方法、および画像処理装置

Country Status (7)

Country Link
US (1) US7333661B2 (ja)
EP (1) EP1545121A4 (ja)
JP (1) JP4045913B2 (ja)
KR (1) KR100611705B1 (ja)
CN (1) CN1287584C (ja)
TW (1) TWI222327B (ja)
WO (1) WO2004030343A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8351024B2 (en) 2009-03-13 2013-01-08 Asml Netherlands B.V. Lithographic apparatus and device manufacturing method involving a level sensor having a detection grating including three or more segments
US8488107B2 (en) 2009-03-13 2013-07-16 Asml Netherlands B.V. Lithographic apparatus and device manufacturing method involving a level sensor having multiple projection units and detection units
US8675210B2 (en) 2009-03-13 2014-03-18 Asml Netherlands B.V. Level sensor, lithographic apparatus, and substrate surface positioning method

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7574063B2 (en) * 2003-07-23 2009-08-11 Canon Kabushiki Kaisha Image coding method and apparatus
DE10354226B4 (de) * 2003-11-20 2006-04-06 Siemens Ag Verfahren und Vorrichtung zum Laden eines in einem Archiv befindlichen Bildes mittels Pipeline Verarbeitung des in Chunks zerlegten Bildes mit Darstellung von Zwischenergebnissen in inkrementell erhöhter Auflösung
JP2005184511A (ja) 2003-12-19 2005-07-07 Nec Access Technica Ltd デジタル画像符号化装置及びその方法並びにデジタル画像復号化装置及びその方法
JP2006121645A (ja) * 2004-09-24 2006-05-11 Fuji Photo Film Co Ltd 画像圧縮装置および画像圧縮プログラム
CN1917645B (zh) * 2005-08-15 2012-12-19 华为技术有限公司 对系数块进行编码的方法
MX2008012382A (es) 2006-03-29 2008-11-18 Thomson Licensing Metodos y aparatos para usarse en un sistema de codificacion de video de multiples vistas.
KR100809301B1 (ko) * 2006-07-20 2008-03-04 삼성전자주식회사 엔트로피 부호화/복호화 방법 및 장치
TWI323128B (en) 2006-10-03 2010-04-01 Quanta Comp Inc Image processing apparatus and method
CN101569170B (zh) * 2007-05-17 2011-11-16 索尼株式会社 编码设备和编码方法以及解码设备和解码方法
JP4569840B2 (ja) * 2007-09-12 2010-10-27 ソニー株式会社 画像符号化装置、画像符号化方法
CN101335892B (zh) * 2008-04-25 2010-06-09 太原科技大学 基于帧内模式决策的混合分布式视频编码方法
US8218633B2 (en) * 2008-06-18 2012-07-10 Kiu Sha Management Limited Liability Company Bidirectionally decodable Wyner-Ziv video coding
JP5652658B2 (ja) * 2010-04-13 2015-01-14 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5469127B2 (ja) * 2011-05-30 2014-04-09 富士フイルム株式会社 画像データ符号化装置ならびにその動作制御方法およびそのプログラム
WO2014203248A1 (en) * 2013-06-17 2014-12-24 Quantumrgb Ltd. System and method for biometric identification
US10405002B2 (en) * 2015-10-03 2019-09-03 Tektronix, Inc. Low complexity perceptual visual quality evaluation for JPEG2000 compressed streams
JP6857973B2 (ja) * 2016-06-14 2021-04-14 キヤノン株式会社 画像符号化装置及びその制御方法
JP7001383B2 (ja) 2017-07-28 2022-01-19 キヤノン株式会社 符号化装置、符号化方法、及び、プログラム
US11423582B2 (en) * 2019-03-01 2022-08-23 Tencent America LLC Method and apparatus for point cloud compression
CN113840145B (zh) * 2021-09-23 2023-06-09 鹏城实验室 一种面向人眼观看和视觉分析联合优化的图像压缩方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0834432B2 (ja) 1989-01-31 1996-03-29 三菱電機株式会社 符号化装置及び符号化方法
USRE35781E (en) 1989-01-31 1998-05-05 Mitsubishi Denki Kabushiki Kaisha Coding method of image information
JPH02308672A (ja) 1989-05-23 1990-12-21 Fujitsu Ltd カラー画像データ符号化方式
JP2545302B2 (ja) * 1989-12-25 1996-10-16 三菱電機株式会社 高能率符号化装置
EP0435163B1 (en) 1989-12-25 1998-03-25 Mitsubishi Denki Kabushiki Kaisha Coding apparatus
JPH0834434B2 (ja) 1990-02-26 1996-03-29 三菱電機株式会社 符号化装置及び符号化方法
JPH07154798A (ja) 1993-05-31 1995-06-16 Canon Inc 画像符号化装置および画像符号化方法
JP3115199B2 (ja) 1994-12-16 2000-12-04 松下電器産業株式会社 画像圧縮符号化装置
JP3213584B2 (ja) * 1997-09-19 2001-10-02 シャープ株式会社 画像符号化装置及び画像復号装置
JP2001217718A (ja) 2000-02-02 2001-08-10 Canon Inc 画像処理装置及び方法及び記憶媒体
JP4254017B2 (ja) * 2000-03-10 2009-04-15 ソニー株式会社 画像符号化装置及び方法
US6549674B1 (en) * 2000-10-12 2003-04-15 Picsurf, Inc. Image compression based on tiled wavelet-like transform using edge and non-edge filters
US6668090B1 (en) 2000-05-26 2003-12-23 Eastman Kodak Company Producing a compressed digital image organized into layers corresponding to increasing visual quality levels and providing rate-control of such compressed digital image
JP2002064719A (ja) * 2000-08-17 2002-02-28 Canon Inc 画像処理装置およびその方法
JP2002101311A (ja) 2000-09-25 2002-04-05 Jiro Adachi 色毎に圧縮率を変える画像データ非可逆圧縮装置。
JP3702778B2 (ja) 2000-11-27 2005-10-05 ソニー株式会社 画像符号化装置及び方法
US6895121B2 (en) * 2001-07-03 2005-05-17 Eastman Kodak Company Method for utilizing subject content analysis for producing a compressed bit stream from a digital image
JP3615162B2 (ja) * 2001-07-10 2005-01-26 日本電気株式会社 画像符号化方法及び画像符号化装置
JP2003101794A (ja) * 2001-09-25 2003-04-04 Canon Inc 画像符号化装置、及び画像符号化方法、並びにプログラム、記憶媒体

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8351024B2 (en) 2009-03-13 2013-01-08 Asml Netherlands B.V. Lithographic apparatus and device manufacturing method involving a level sensor having a detection grating including three or more segments
US8488107B2 (en) 2009-03-13 2013-07-16 Asml Netherlands B.V. Lithographic apparatus and device manufacturing method involving a level sensor having multiple projection units and detection units
US8675210B2 (en) 2009-03-13 2014-03-18 Asml Netherlands B.V. Level sensor, lithographic apparatus, and substrate surface positioning method

Also Published As

Publication number Publication date
JP2004120466A (ja) 2004-04-15
CN1596536A (zh) 2005-03-16
KR100611705B1 (ko) 2006-08-11
US7333661B2 (en) 2008-02-19
EP1545121A1 (en) 2005-06-22
TW200405730A (en) 2004-04-01
WO2004030343A1 (ja) 2004-04-08
US20040240742A1 (en) 2004-12-02
CN1287584C (zh) 2006-11-29
TWI222327B (en) 2004-10-11
KR20040058323A (ko) 2004-07-03
EP1545121A4 (en) 2009-03-04

Similar Documents

Publication Publication Date Title
JP4045913B2 (ja) 画像符号化装置、画像符号化方法、および画像処理装置
EP0785669B1 (en) Image processing method and apparatus
JP3196906B2 (ja) 画像信号の符号化装置
KR100880039B1 (ko) 웨이블릿 기반 이미지 코덱에서의 부호화 이득을 달성하는방법 및 시스템
JP3293920B2 (ja) 画像処理装置およびその方法
EP0863484B1 (en) Image processing method and apparatus
JP4365957B2 (ja) 画像処理方法及びその装置及び記憶媒体
JP2006074770A (ja) 多重解像度セグメンテーションおよび充填
WO1999017257A2 (en) System and method for compressing images using multi-threshold wavelet coding
US8050506B2 (en) Image enhancement device
JPH0556282A (ja) 画像符号化装置
JP2004533181A (ja) デジタルイメージに対する選択的なクロミナンスデシメーション
EP0555095B1 (en) Method for compressing and extending an image by transforming orthogonally and encoding the image
JP2003047024A (ja) 画像圧縮装置および画像圧縮プログラム
JPH08322041A (ja) ブロック歪み除去装置
JP2003204439A (ja) 画像符号化装置及び画像符号化方法
JP5267140B2 (ja) 画像圧縮装置及び画像圧縮方法
JPH08331391A (ja) 画像処理装置およびその方法
JP5560172B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
Deng et al. Low-bit-rate image coding using sketch image and JBIG
JP5078199B2 (ja) 画像符号化装置及びその方法並びにプログラムコード、記憶媒体
JP4424672B2 (ja) 画像処理装置、画像処理方法、プログラム及び情報記録媒体
JP4006276B2 (ja) 画像認識方法、画像認識装置及びコンピュータプログラム
JP4047207B2 (ja) 画像符号化装置、画像符号化方法及びプログラム
JP3230122B2 (ja) 二値画像のデータ圧縮方法及び装置

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20040708

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070713

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070906

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20071015

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071030

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071112

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101130

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4045913

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111130

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121130

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121130

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131130

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees