JP5844263B2 - デジタル画像を再圧縮するための装置および方法 - Google Patents

デジタル画像を再圧縮するための装置および方法 Download PDF

Info

Publication number
JP5844263B2
JP5844263B2 JP2012532713A JP2012532713A JP5844263B2 JP 5844263 B2 JP5844263 B2 JP 5844263B2 JP 2012532713 A JP2012532713 A JP 2012532713A JP 2012532713 A JP2012532713 A JP 2012532713A JP 5844263 B2 JP5844263 B2 JP 5844263B2
Authority
JP
Japan
Prior art keywords
image
quality
quantization matrix
compression
recompression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012532713A
Other languages
English (en)
Other versions
JP2013507083A (ja
JP2013507083A5 (ja
Inventor
カルメル，シャロン
ギル，ドローア
ショハム，タマル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beamr Imaging Ltd
Original Assignee
Beamr Imaging Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beamr Imaging Ltd filed Critical Beamr Imaging Ltd
Publication of JP2013507083A publication Critical patent/JP2013507083A/ja
Publication of JP2013507083A5 publication Critical patent/JP2013507083A5/ja
Application granted granted Critical
Publication of JP5844263B2 publication Critical patent/JP5844263B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

同時係属出願の参照
全て「Ａ ｍｅｔｈｏｄ ａｎｄ ｓｙｓｔｅｍ ｆｏｒ ｐｒｏｃｅｓｓｉｎｇ ａｎ ｉｍａｇｅ」という名称の、２００９年１０月５日に出願された米国仮出願第６１／２４８，５２１号、２００９年１０月２２日に出願された米国仮出願第６１／２５３，８７２号、２０１０年２月８日に出願された米国仮出願第６１／３０２，１９３号、および２０１０年４月２９日に出願された米国仮出願第６１／３２９，２１７号、２０１０年９月１７日に出願された「ｒｅｃｏｍｐｒｅｓｓｉｏｎ ｏｆ ｄｉｇｉｔａｌ ｉｍａｇｅｓ」という名称の米国仮出願第６１／３８３，７５０号、ならびに２０１０年１月６日に出願された「Ｒｅｃｏｍｐｒｅｓｓｉｏｎ ｏｆ ｄｉｇｉｔａｌ ｉｍａｇｅｓ ｕｓｉｎｇ ａ ｒｏｂｕｓｔ ｍｅａｓｕｒｅ ｏｆ ｐｅｒｃｅｐｔｕａｌ ｑｕａｌｉｔｙ ｉｎｃｌｕｄｉｎｇ ｉｍｐｒｏｖｅｄ ｑｕａｎｔｉｚａｔｉｏｎ ｍａｔｒｉｘ ｃｏｍｐｕｔａｔｉｏｎ」という名称の米国仮出願第６１／２９２，６２２号からの優先権を主張する。
本発明は、一般に画像圧縮に関し、より詳細には、ＪＰＥＧ画像の再圧縮に関する。
以下の参考文献は、本発明の背景理解の目的のために適切であると考えられる：
［１］Ｓ．Ｃｈｏ、Ｚ．Ｂｏｊｋｏｖｉｃ、Ｄ．Ｍｉｌｏｖａｎｏｖｉｃ、Ｊ．Ｌｅｅ、およびＪ．Ｊｗａｎｇ、「Ｉｍａｇｅ ｑｕａｌｉｔｙ ｅｖａｌｕａｔｉｏｎ：ＪＰＥＧ２０００ ｖｅｒｓｕｓ Ｉｎｔｒａ−ｏｎｌｙ Ｈ．２６４／ＡＶＣ Ｈｉｇｈ Ｐｒｏｆｉｌｅ」、ＦＡＣＴＡ ＵＮＩＶＥＲＳＩＴＡＴＩＳ Ｅｌｅｃ．Ｅｎｅｒｇ．、ｖｏｌ．２０、ｎｏ．１，７１〜８３（２００７年４月）
［２］Ｆ．Ｄｅ Ｓｉｍｏｎｅ、Ｍ．Ｏｕａｒｅｔ、Ｆ．Ｄｕｆａｕｘ、Ａ．Ｇ．Ｔｅｓｃｈｅｒ、およびＴ．Ｅｂｒａｈｉｍｉ、「Ａ ｃｏｍｐａｒａｔｉｖｅ ｓｔｕｄｙ ｏｆ ＪＰＥＧ ２０００，ＡＶＣ／Ｈ．２６４，ａｎｄ ＨＤ Ｐｈｏｔｏ」、Ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ＸＸＸ、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＰＩＥ、ｖｏｌ．６６９６、Ｓａｎ Ｄｉｅｇｏ，ＣＡ ＵＳＡ，２８〜３０、２００７年８月。
［３］Ａｎｔｈｏｎｙ Ｊ Ｍａｅｄｅｒ、Ｂｉｒｇｉｔ Ｍ Ｐｌａｎｉｔｚ、「Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｗａｔｅｒｍａｒｋｉｎｇ ｆｏｒ Ｍｕｌｔｉｐｌｅ Ｍｏｄａｌｉｔｉｅｓ」、ａｉｐｒ，ｐｐ．１５８〜１６５、３４ｔｈ Ａｐｐｌｉｅｄ Ｉｍａｇｅｒｙ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｗｏｒｋｓｈｉｐ（ＡＩＰＲ‘０５）、２００５年。
ＪＰＥＧ画像などのデジタル画像の再圧縮はよく知られている。圧縮の程度と圧縮画像の質との間に単調な関係があることが望ましい。
Ｒａｔｎａｋｅｒらに付与された米国特許第６，２３３，３５９号は、既存のＪＰＥＧファイルのサイズまたはＤＣＴ係数の組を縮小し、大きさが特定の閾値以下であって、ジグザグ走査で特定の順序数の後に生じる係数をゼロに設定することにより、特定のビット配分を満足する技術を説明している。カットオフ順序数（ｃｕｔｏｆｆ ｏｒｄｉｎａｌ ｎｕｍｂｅｒ）は、賢い節約計算戦略（ｃｌｅｖｅｒ ｓａｖｉｎｇｓ ｃｏｍｐｕｔａｔｉｏｎ ｓｔｒａｔｅｇｙ）を用いて選択される。この戦略は、適切な節約値（ｓａｖｉｎｇｓ ｖａｌｕｅ）を節約値配列、Ｓａｖｉｎｇｓ［１］、．．．、Ｓａｖｉｎｇｓ［６３］に入れることにより実施される。Ｓａｖｉｎｇｓ［ｎ］値は、まさに、しきいカットオフ順序数をｎ＋１からｎに減少させることによって節約されるビット数である。非ゼロの係数がゼロに設定されると、２つのゼロの連続（ｒｕｎｓ ｏｆ ｚｅｒｏｓ）（前後の連続）が単一の長いゼロの連続に組み合わされるため、ビットが節約される。節約される正確なビット数は、前後の連続の符号化に必要なビットを加算し、組み合わせた連続の符号化に必要なビットを減算することにより計算され得る。いくつかの特殊な条件（１６より長い連続およびブロック終了条件）を注意深く計算に入れる必要がある。
本明細書で言及する全ての公表文献および特許資料の開示、ならびに本明細書で直接または間接的に引用する公表文献および特許資料は、参照により本明細書に組み込まれる。
本発明の特定の実施形態は、以下の特徴の少なくとも１つのための方法を提供しようとするものである：
ｏ入力画像と比較した出力画像の品質尺度に基づき符号化の品質を制御しながら、サイズを縮小するための別個の圧縮画像の再符号化。
ｏ最小類似性または許容差の品質尺度としての使用。
ｏ「知覚上の同一性（ｐｅｒｃｅｐｔｕａｌ ｉｄｅｎｔｉｔｙ）」または「定量的類似差（ｑｕａｎｔｉｔａｔｉｖｅ ｓｉｍｉｌａｒｉｔｙ ｄｉｆｆｅｒｅｎｃｅ）」の品質尺度としての使用。
ｏハードコードした品質閾値レベルの使用。
ｏシステムオペレーターによる品質閾値レベルの設定。
ｏ追加アーチファクト性エッジ尺度を含む品質尺度、追加アーチファクト性エッジ尺度と別の品質尺度、追加アーチファクト性エッジ尺度とテクスチャ尺度、追加アーチファクト性エッジ尺度と類似性（例えば、ＰＳＮＲ）尺度、テクスチャ尺度と類似性尺度、テクスチャ尺度のみに基づく、例えば、ＲａｗからＪＰＥＧおよびＪＰＥＧからＪＰＥＧを含む反復画像圧縮。
ｏテクスチャ尺度閾値とＰＳＮＲ尺度閾値との間の依存関係。
ｏ符号化ブロック境界、特に、ＪＰＥＧに対して８×８、Ｈ．２６４対して４×４、およびＨ．２６４ Ｈｉｇｈ Ｐｒｏｆｉｌｅに対して８×８、に沿ったブロックノイズの識別。「ブロックノイズ（ｂｌｏｃｋｉｎｅｓｓ）」という用語は、（再）圧縮後には存在しているが、（再）圧縮プロセスに入る前は存在していない追加のアーチファクト性エッジの存在を表すか、または定量化することを目的とする。
ｏ品質尺度閾値を維持しながらファイルサイズの削減を最大限にする圧縮レベルの設定。
ｏ最高の圧縮レベルを見つけるための反復検索プロセスの使用。収束基準を考慮に入れ得る、最適化基準を用いた、検索の終了。
ｏパフォーマンス最適化のための、ブロックのサブセットに関する品質尺度の計算。
ｏ例えば、Ｈ．２６４規格の要件に合致するため、場合により、少数の画素行／列による付け足し／トリミングで、出力画像の入力画像と同一または類似の解像度への設定。
ｏユーザーにより手動での、または記憶システムもしくは用途の要件に従った、解像度の設定。
ｏ入力画像フォーマットとしてＪＰＥＧ、または「汎用ＪＰＥＧ（ｇｅｎｅｒａｌｉｚｅｄ ＪＰＥＧ）」を使用すること。
ｏカメラにより２メガピクセルを超える解像度でキャプチャーされた高品質ＪＰＥＧを入力フォーマットとして使用すること。
ｏ入力画像は、ＰＣ、カメラ、携帯電話、ネットワーク、データセンターまたはローカルの記憶装置から受け取られ得る。
ｏ入力画像は、例えば、ＹＵＶ、ＲＧＢ、ＢＭＰ、ＰＮＧおよびＴＩＦＦなどのｒａｗフォーマットに復号され得る。
ｏ入力画像の復号は、例えば、周波数領域または画素領域へのように、部分的であり得る。例えば、ＪＰＥからＹＵＶ ４：２：０またはＪＰＥＧからＤＣＴ領域への復号。
ｏＨ．２６４のエンコーダーとしての使用。符号化のイントラ画像符号化部分のみを使用し、インター画像符号化を無効にする。
ｏＪＰＥＧのエンコーダーとしての使用。
ｏＤＣＴ係数ゼロ化方式の利用による局所適応ＪＰＥＧ圧縮の実行。
ｏＳＳＩＭを改善するための方法：
・滑らかな領域の識別、およびこれらの領域でＳＳＩＭへペナルティを課すこと
・ブロックベースのＳＩＭおよび最もパフォーマンスの悪い領域の平均化
・性能を向上させるために、画像全体ではなく、ランダムに選択した画素上でのＳＳＩＭの実行
ｏ以下の１つまたは複数が提供されることを特徴とする量子化行列の計算：
ｏ再圧縮画像の量子化行列を取得するための元の画像の量子化行列のスケーリング。再圧縮画像の量子化行列を取得するため、所与の（例えば、デフォルトまたは画像に最適化した）量子化行列をスケーリングし、その後、随意に、それと元の画像の量子化行列を（加重平均を使用して）平均化する。
ｏ画像に対する良いＭＱＦの開始点をそれらの量子化行列に基づき選択する方法。
ｏ画像の蓄積された知識に基づき、ＭＱＦの開始点およびステップ幅を動的に適合させる方法
素ブロックレベルの符号化画像（例えば、ＪＰＥＧ画像などがあるがそれに限定されない）の生成が知られているが、それらの画像は、先行画像（ｐｒｅｃｕｒｓｏｒ ｉｍａｇｅ）での素ブロックの独立符号化（例えば、ＪＰＥＧ符号化などがあるがそれに限定されない）によって圧縮される。ＪＰＥＧ符号化は、デジタル画像業界全体にわたって、特にデジタルカメラにおいて、画像を符号化するために使用されている。デジタルカメラの解像度が１０メガピクセル以上に増加するにつれて、画像ファイルのサイズが数メガバイトまで増加し、一方、デジタルカメラの使い易さにより、ユーザーは多数の写真を取ることが可能である。結果として、ユーザーのパーソナルコンピューター上またはオンラインフォトサービスで使用されるサーバー上のデジタルフォトアルバムに対して、膨大なストレージ要件をもたらす。
Ｗｉｎｓｏｆｔ Ａｄｖａｎｃｅｄ ＪＰＥＧ ＣｏｍｐｒｅｓｓｏｒおよびＰｅｇａｓｕｓ ＪＰＥＧ Ｗｉｚａｒｄなどの商用ソフトウェアは、ユーザーが、再圧縮を使用してＪＰＥＧ画像のファイルサイズを縮小できるようにし、コンピューターの画面上で元のファイルと再圧縮ファイルを目で見て比較して、恐らく、目に見えるアーチファクト（ａｒｔｉｆａｃｔ）が出力画像に存在しないような方法で、ユーザーが出力（再圧縮）画像に対する品質を手動で設定できるようにする。当業者には、多数（例えば、数十、数百、数千など）の写真（例えば、ユーザーの写真）の再圧縮に対して手動による介入および構成を必要とするかかる再圧縮方法を使用することは理にかなっていないことは明らかであろう。
Ｈ．２６４符号化などのイントラ予測符号化が知られている。Ｃｈｏら［１］およびＳｉｍｏｎｅら［２］は、Ｈ．２６４イントラフレーム符号化は、恐らく、いくつかの点で、ＪＰＥＧ符号化よりも効率的であり得る、と報告している。ＪＰＥＧ画像のＨ．２６４画像またはＪＰＥＧ画像への自動再圧縮は、人間の視覚システムの特性および出力画像品質評価に対するその感性を考慮に入れる客観的な品質尺度を必要とする。
ＪＰＥＧ圧縮の結果としてのリンギングおよびブロックノイズは、デジタル画像における周知の現象である。それ故、デジタル画像を再圧縮する際に、リンギングおよびブロックノイズアーチファクトを検出して削減するのが望ましい。
Ｊｕｄｄに対して付与された米国特許５７９０７１７は、圧縮画像の主観的品質を予測するための装置および方法を記載している。その予測は、参照画像の対応するブロックの強化変化の既定割合よりも少ない強化変化をもつ圧縮画像内のブロック割合（％）に基づく、「強度変化損失（ｉｎｔｅｎｓｉｔｙ ｖａｒｉａｔｉｏｎ ｌｏｓｓ）」の計算に基づく。
画像をＪＰＥＧフォーマットに圧縮する際に量子化行列を作成するために業界で一般的に行われているのは、スケーリング係数を使用して、ＪＰＥＧ規格に見られるデフォルトの量子化行列を均一にスケーリングすることである。この方法は、Ｉｎｄｅｐｅｎｄｅｎｔ ＪＰＥＧ Ｇｒｏｕｐ（ＩＪＧ）ソフトウェア、および他の一般的なＪＰＥＧ符号化の実施態様で使用されている。いくつかの用途では、特定の用途に適していると考えられる異なる量子化行列にスケーリングする。しかし、この方法は、ＪＰＥＧフォーマット画像から復号されている画像を再圧縮する際に、元のＪＰＥＧ画像の量子化行列に存在していた周波数関係を考慮に入れない。
本発明の特定の実施形態は、第１デジタル画像を、第１の画像に対する第２の画像内のエッジの恒常性を定量化する構造尺度以外に、知覚的圧縮品質尺度によって決定された程度まで圧縮することにより、サイズを縮小した第２デジタル画像を第１デジタル画像から生成するコンピューターシステムを提供しようとする。
本発明の特定の実施形態は、例えば、デジタルカメラの出力を含み得る（例えば）ＪＰＥＧ画像を別の通常はより小さいＪＰＥＧ画像に再圧縮するシステムを提供しようとし、その再圧縮は、所与またはデフォルトの量子化行列の値の全てまたは選択したサブセットにスケール係数を掛け、結果として生じた量子化行列と元のＪＰＥＧ画像の量子化行列を、加重平均係数の行列を用いて平均化し、更新された量子化行列を使用して入力ＪＰＥＧ画像を出力ＪＰＥＧ画像に再符号化する。再圧縮の適用後、ＪＰＥＧからＪＰＥＧへの品質尺度が、閾値または間隔などの基準と比較される。品質尺度が基準に達していない場合、スケーリング係数が修正され、再圧縮が繰り返されて、品質尺度が再計算される。品質尺度が基準を満足すると、プロセスが終了する。
「スケーリング」という用語は、本明細書では、スケーリング係数で乗ずることによって積を得、およびその積を、丸めまたは切り捨てなどの適切な処理によって近似整数によって概算することを含む。
本発明の他の実施形態は、例えば、デジタルカメラの出力を含み得る（例えば）ＪＰＥＧ画像を別の通常はより小さいＨ．２６４イントラフレーム画像に再圧縮するシステムを提供しようとし、その再圧縮は、入力画像の符号化のためにＨ．２６４ ＱＰ（品質パラメーター）の利用を含む。再圧縮の適用後、ＪＰＥＧからＨ．２６４への品質尺度が、閾値または間隔などの基準と比較される。品質尺度が基準に達していない場合、ＱＰが修正され、再圧縮が繰り返されて、品質尺度が再計算される。品質尺度が基準を満足すると、プロセスが終了する。
「反復圧縮」は、本明細書では、１回または複数回の繰返しを含む圧縮操作を意味するために使用されることを理解されたい。「圧縮」または「反復圧縮」は、本明細書では、１回目で、１つまたは複数の画像またはその一部が、本明細書に記載のとおり、ＱＰ（量子化パラメーター）またはスケーリング係数などの暫定的な圧縮パラメーターを用いて暫定的に圧縮される、一般的な反復プロセスを含むことを意図する。その後、暫定圧縮の結果が、どの程度満足できるものかを判断するために、分析（例えば、ＳＳＩＭ品質尺度または本明細書に記載のいずれかの品質尺度などの品質尺度の計算など）される。後続の繰返しでは、必要に応じて、１つもしくは複数の画像またはその部分が、１回目で暫定的に圧縮された画像もしくは一部と同じかまたは同じではないかも知れないが、その後、その分析から導出された分析後の圧縮パラメーターを用いて圧縮される。例えば、新しいＱＰまたはスケーリング係数値は、１回目で使用されたＱＰまたはスケーリング係数の関数、および分析中に計算された品質尺度の少なくとも１つの関数として計算され得る。各後続回は、言うまでもなく、いくつかの変形形態で、プロセスが反復になり得るように、追加の後続回に対する「１回目」として機能する。限定されないが単一パス圧縮、二重パス圧縮およびマルチパス圧縮等の反復圧縮の多くの変形が知られており、特定の繰返し方法は通常用途に依存する。
一般に、本明細書で使用される用語は、従来技術の文献に出現するそれらの定義に従うか、または明細書に従って、解釈され得る。
ＳＳＩＭは、構造的類似性の従来の尺度である。つまり、ＳＳＩＭは、圧縮画像における、エッジ、外部輪郭、および内部境界など、事前に圧縮された画像の構造的特徴の維持に焦点を合わせている。０．９５以上のＳＳＩＭ値は、知覚的に等しい画像を表す（例えば、上記の公表文献［３］）と断定されてきた。しかし、０．９５は、画像間の知覚的類似性の大域的評価に対する許容可能なＳＳＩＭ値であると考えられてきたが、ほとんど０．９８のＳＳＩＭ値ですら、いくつかの画像では、圧縮画像の特定領域で顕著な知覚的劣化が起こることが分かった。ＳＳＩＭ尺度を用いて再圧縮した際に、使用したＳＳＩＭ値が０．９５である場合にさえ、顕著な知覚的劣化が起こり得る画像の種類の例には、空などの非常に滑らかな（非テクスチャ化）領域のある画像で、特にこれらの領域が大きい、暗い、または両方である場合、ならびに雀斑および肌のきめを描写する画像など、大幅なテクスチャ化（高周波の）表面を含む画像がある。
最先端画像圧縮システムの特定状態では、大きな懸案事項は、過度の深い圧縮によるテクスチャ損失であり、タンデム圧縮（ｔａｎｄｅｍ ｃｏｍｐｒｅｓｓｉｏｎ）のアーチファクトとして生成されたリンギングなどのテクスチャアーチファクトを回避することによる知覚的に可逆な圧縮を達成するための教示はない。タンデム圧縮では、初期圧縮の後に、高周波データを除去しない高品質の再圧縮が続くため、テクスチャの知覚的損失を生じないが、残念なことに、テクスチャアーチファクトを取り込む傾向があり得る。
従って、本発明の少なくとも１つの実施形態によれば、第１デジタル画像から第２の縮小サイズのデジタル画像を生成するための方法が提供され、その方法は、第２の画像での符号化ブロック境界に沿った追加のアーチファクト性エッジを定量化するブロックノイズ尺度によって決定される程度まで、第１デジタル画像を繰り返し圧縮することを含む。
さらに、本発明の少なくとも１つの実施形態によれば、再圧縮は、第２の画像を取得するための第１の画像のブロックベースの符号化を含み、それにより境界を有する符号化ブロックを定義し、そして、ブロックノイズ尺度が、符号化ブロック境界に沿って追加されたアーチファクト性エッジを識別することにより計算される。
一例として、ブロックノイズ尺度は、第１の画像と第２の画像との間の差分画像の計算、複数の画像ブロックを含む領域の差分画像内での定義、その領域内での２つの符号化ブロック間の各境界に対する、各境界に沿った追加のアーチファクト性エッジの程度を示す各追加のブロックノイズスコアの計算、その領域内で各境界について計算された追加のブロックノイズスコアに基づく領域品質スコアの計算、および少なくとも領域品質スコアに基づく知覚的品質基準が第２の画像によって満足されるか否かの判断を含み得る。小さい画像は、単一の領域のみを含み得ることを理解されたい。
さらに例として、ブロックノイズ尺度の実施は、各領域が複数の画像ブロックを含む、複数の領域を差分画像内で定義すること、その複数の領域の各々に対して領域品質スコアを計算して、各複数の領域品質スコアを生じること、および第２の画像に対する画像品質スコアをその複数の領域品質スコアに基づき計算することを含み得、知覚基準が第２の画像によって満足されているか否かの判断が、知覚的品質基準が第２の画像によって満足されているか否の少なくとも画像品質スコアに基づく判断を含む。
さらにまた別の例として、尺度の実施および知覚的品質基準が満足されているか否かの判断が、圧縮パラメーター検索の一部であり、その検索は、第２の画像に対する品質スコアが知覚的品質基準を満足しないと判断される場合に、第１の画像が異なる圧縮パラメーターを用いて再圧縮されて、第３画像を生じることをさらに含み、品質尺度の実施および知覚的品質基準が満足されているか否かの判断が第３画像に関して実施される。
さらにまた別の例として、圧縮および検索が繰り返して実施され、各繰返しにおいて、前回と比較して異なる量の圧縮が適用され、再圧縮された暫定出力画像を生じ、現在の再圧縮された暫定出力画像に対する品質スコアが知覚的品質基準を満足するとその検が終了する。
さらにまた別の例では、第１の画像は入力画像で、第２の画像は暫定圧縮画像であって、圧縮が暫定圧縮パラメーターを用いて実行され、第２の画像に対する品質スコアが知覚的品質基準を満足しないと判断されると、検索のさらなる繰返しが呼び出される。
さらなる別の例では、第２の画像に対する品質スコアが知覚的品質基準を満足しないと判断されると、暫定圧縮パラメーターが調整されて、暫定圧縮、検索および判断が繰り返される。また別の例では、暫定圧縮パラメーターの調整は、暫定圧縮パラメーターを用いた入力画像の圧縮および暫定圧縮の繰返しによって達成されると予期される、推定される追加の圧縮の評価、圧縮パラメーターの検索、および推定される追加の圧縮が圧縮閾値を超えている場合に限り知覚的品質基準が満足されるか否かの判断をさらに含む。
特定の実施形態によれば、第１圧縮画像が、例えば、先行画像での素ブロックの独立符号化によって生成された第１の画像の独立した素ブロックレベルの再圧縮のための適切なプロセスにしたがって、量子化行列を用いて再圧縮され、その第１の画像はそれらに関連する少なくとも１つの第１の量子化行列を有する。例えば、そのプロセスは、第１の画像について少なくとも１回の独立した素ブロックレベルの反復圧縮操作を実行し、それにより、新しい量子化行列の生成および前記独立した素ブロックレベル圧縮のための前記新しい量子化行列の使用を含む、再圧縮された第２の画像の生成を含み得、その新しい量子化行列は、少なくとも１つの第２の量子化行列を少なくとも１つのスケーリング係数でスケーリングすることによって生成され、それにより少なくとも１つのスケーリングされた行列が提供され、その後、少なくとも１つの追加の量子化行列を、少なくとも１つのスケーリングされた行列と少なくとも１つの第１の量子化行列との加重平均として計算する。
上記で使用される量子化行列は、周知の技術を用いて、例えば、ＪＰＥＧ規格のデフォルトの量子化行列または周波数成分などの画像特性に適合するように選択された量子化行列をスケーリングすることにより形成され得る。通常、ＭＱＦ（修正品質係数：Ｍｏｄｉｆｉｅｄ Ｑｕａｌｉｔｙ Ｆａｃｔｏｒ）は、実際に行列をスケーリングするスケーリング係数に変換され、従来型のＪＰＥＧの場合のように、ＱＦ（品質係数）は、実際に行列をスケーリングするスケーリング係数に変換される。
特定の実施形態によれば、前述のスケーリングプロセス用のスケーリング係数は、ＭＱＦ値の関数であり得る。適切なＭＱＦ値の検索の実行は、初期ＭＱＦの提供、例えば、平均画像に対してうまく機能しているデフォルト値または、それらの量子化行列など第１の画像のいくつかの特性に適した値の提供を含み得る。初期ＭＱＦは、実際のところ、例えば、１〜１００の間の任意の数であり得るが、下手な選択、例えば、単なるランダム選択は、不必要に検索プロセスを長くする。ステップ幅は、例えば、１〜１００の範囲内で選択され得るが（例えば、１０）、この場合も、下手な選択、例えば、単なるランダム選択は、検索プロセスを妨げる。検索は、その画像に対して見つけられる、良いまたは最良のＭＱＦ値を可能にして、課されている第１の画像と第２の画像との間の知覚的劣化の許容レベルを所与として、良いまたは最高の圧縮をもたらす。本明細書では「知覚的劣化」という用語は、画像の品質または正確性が再圧縮の結果として損なわれたという、人間のビューアーに対する見え方を指す。本明細書で使用する知覚的劣化は、画像の事前再圧縮の品質に関係なく、再圧縮によって実際に取り込まれた劣化にのみ関連する。
本明細書では「暫定圧縮パラメーター」という用語はＭＱＦ値を含むが、それに限定されない。
特定の実施形態によれば、初期ＭＱＦ値が生成されてチェックされ、そのＭＱＦ値に基づく再圧縮の使用の結果として生じる知覚的劣化が、目標とする知覚的劣化範囲に含まれている場合、ＭＱＦ選択プロセスが終了し、初期ＭＱＦ値が最終として扱われる。そうでない場合、改善されたＭＱＦ値が、例えば、有効なＭＱＦ値の範囲（例えば、１〜１００または５０〜９８）の下半分または上半分の二等分に基づき、初期値から計算される。二等分される半分の範囲は、初期ＭＱＦ値ベースの再圧縮から生じた劣化が、目標とする知覚的劣化範囲を上回るかまたは下回るかによって決まる。代替として、正割（ｓｅｃａｎｔ）ベース検索など、任意の他の検索スキームが採用され得る。
事前定義した距離もしくは許容範囲などの特定状態を前提として、より良い値または最高値の検索は、通常、用途に特化した有限の解像度、例えば、整数解像度、または、最も近い値を有する。必ずしもではないが通常、解像度は、本明細書に記載のとおり、知覚的誤差の面に投影される。
最良ＭＱＦの反復検索は、本明細書に記載のとおり、初期ＭＱＦを使用し得るが、必ずしも使用せず、代替として、任意の「デフォルト」初期ＭＱＦが採用され得ることを理解されたい。最良ＭＱＦ、またはデフォルトを含む他のＭＱＦもしくは代替係数は、本明細書に記載のとおり、新しい量子化行列の計算に使用され得、また、周知の通りおよび本明細書に記載のとおり、他の目的および用途にも使用され得る。
また、本発明の少なくとも１つの実施形態によれば、内部に具体化されたコンピューター可読プログラムコードを有するコンピューター使用可能媒体を含むコンピュータープログラム製品が提供され、そのコンピューター可読プログラムコードは、本明細書に示しかつ記載するいずれかの再圧縮方法を実施するために実行されるように構成される。
また、通常有形で、内部に具体化されたコンピューター可読プログラムコードを有する、コンピューター使用可能媒体またはコンピューター可読恒久記憶媒体（ｎｏｎ−ｔｒａｎｓｉｔｉｖｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）も提供され、そのコンピューター可読プログラムコードは、本明細書に示しかつ記載するいずれかまたは全ての方法を実施するために実行されるように構成される。本明細書に示しかつ記載するいずれかまたは全ての計算ステップはコンピューター実装され得ることを理解されたい。本明細書の技術によれば、操作は、所望の目的用に特別に構築されたコンピューターによって、またはコンピューター可読恒久記憶媒体内に格納されたコンピュータープログラムによって所望の目的用に特別に構成された汎用コンピューターによって実行され得る。
任意の適切なプロセッサー、ディスプレイおよび入力手段が、例えば、本明細書に示しかつ記載するいずれかの方法および装置で使用または生成される情報などの情報の、処理、（例えば、コンピューター画面または他のコンピューター出力装置への）表示、保存、および受け取りのために使用され得、上記のプロセッサー、ディスプレイおよび入力手段は、本発明のいくつかまたは全ての実施形態により、コンピュータープログラムを含む。本明細書に示しかつ記載する本発明のいずれかまたは全ての機能性は、処理用に使用される、汎用または特別構築のいずれかの、従来型のパーソナルコンピュータープロセッサー、ワークステーションもしくは他のプログラム可能装置もしくはコンピューターもしくは電子コンピューティング装置、表示用のコンピューターディスプレイ画面および／またはプリンターおよび／またはスピーカー、光ディスク、ＣＤ−ＲＯＭ、磁気光ディスクもしくは他のディスクなどの機械可読メモリー、格納用のＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気もしくは光もしくは他のカードまたはＵＳＢフラッシュメモリーなどの装置、および受け取り用のキーボードまたはマウスによって実行され得る。上記で使用した「処理（ｐｒｏｃｅｓｓ）」という用語は、例えば、コンピューターのレジスターおよび／またはメモリー内に生じるかまたは存在し得る物理的（例えば、電子的）現象として表現されるデータの、任意の種類の計算または操作または変換を含むことを意図する。
前述の装置は、例えば、有線もしくは携帯電話ネットワークまたはインターネットなどのコンピューターネットワークを経由した、いずれか従来型の有線または無線のデジタル通信手段を介して、任意で通信し得る。
本発明の装置は、本発明の特定の実施形態によれば、機械によって実行される時に、本明細書に示しかつ記載する本発明のいくつかまたは全ての装置、方法、特性および機能性を実施する命令のプログラムを含むか、または他の恒久的な方法で格納する、機械可読メモリーを含み得る。代替または追加として、本発明の装置は、本発明の特定の実施形態によれば、いずれか従来型プログラミング言語で記述され得る前述のプログラム、および任意で、例えば、本発明の技術に従って任意で構成または起動され得る汎用コンピューターなどだがこれに限定されず、そのプログラムを実行するためのコンピューターを含み得る。
上記で参照した実施形態および他の実施形態については、次の節で詳細に説明する。
本文または図中に現れるいずれの商標もその所有者の所有物であり、本明細書では、本発明の実施形態がどのように実施され得るかを示す一例を説明または図解するためにのみ現れる。
特に断りのない限り、以下の説明から明らかなように、本明細書の説明全体に渡り、「処理（ｐｒｏｃｅｓｓｉｎｇ）」、「計算（ｃｏｍｐｕｔｉｎｇ）」、「推定（ｅｓｔｉｍａｔｉｎｇ）」、「選択（ｓｅｌｅｃｔｉｎｇ）」、「ランキング（ｒａｎｋｉｎｇ）」、「格付け（ｇｒａｄｉｎｇ）」、「計算（ｃａｌｃｕｌａｔｉｎｇ）」、「判断（ｄｅｔｅｒｍｉｎｉｎｇ）」、「生成（ｇｅｎｅｒａｔｉｎｇ）」、「再評価（ｒｅａｓｓｅｓｓｉｎｇ）」、「分類（ｃｌａｓｓｉｆｙｉｎｇ）」、「生成（ｇｅｎｅｒａｔｉｎｇ）」、「生成（ｐｒｏｄｕｃｉｎｇ）」、「ステレオマッチング（ｓｔｅｒｅｏ−ｍａｔｃｈｉｎｇ）」、「登録（ｒｅｇｉｓｔｅｒｉｎｇ）」、「検出（ｄｅｔｅｃｔｉｎｇ）」、「関連付け（ａｓｓｏｃｉａｔｉｎｇ）」、「スーパーインポーズ（ｓｕｐｅｒｉｍｐｏｓｉｎｇ）」、「取得（ｏｂｔａｉｎｉｎｇ）」または同様の用語などの使用は、コンピューティングシステムのレジスターおよび／またはメモリー内の物理的（例えば、電子的）量として表現されるデータを、コンピューティングシステムのメモリー、レジスターまたは他のかかる情報の記憶、送信もしくは表示装置内の物理量として同様に表現される他のデータに操作および／または転送する、コンピューターもしくはコンピューティングシステム、またはプロセッサーもしくは同様の電子コンピューティング装置の動作および／または処理を指すことを理解されたい。「コンピューター」という用語は、限定されない例として、パーソナルコンピューター、サーバー、コンピューティングシステム、通信装置、プロセッサー（例えば、デジタル信号プロセッサー（ＤＳＰ）、マイクロコントローラー、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、中央処理装置（ＣＰＵ）など）および他の電子コンピューティング装置を含む、データ処理能力を備えた任意の種類の恒久的電子装置を含めるよう広く解釈されるべきである。
本発明は、単に分かり易くするために、特定のプログラミング言語、オペレーティングシステム、ブラウザー、システムのバージョン、個々の製品、および同様のものに特有な用語で説明され得る。この用語の使用は、例として、操作の一般原則を明瞭かつ簡潔に伝えることを意図するものであり、本発明の範囲をいずれか特定のプログラミング言語、オペレーティングシステム、ブラウザー、システムのバージョン、または個々の製品に限定することを意図していないことを理解されたい。
本発明の一態様によれば、したがって、第２の画像を生じる第１の画像の圧縮を含む、画像適応で知覚的に無損失なほぼ最大の画像圧縮、第１の画像と第２の画像との間の差分画像の計算を含む、符号ブロック境界に沿った追加のアーチファクト性エッジ尺度の実施、複数の画像ブロックを含む領域の差分画像内での定義、その領域内での２つの符号化ブロック間の各境界に対する、各境界に沿った追加のアーチファクト性エッジの程度を示す各追加のブロックノイズスコアの計算、領域内の各境界に対して計算された追加のブロックノイズスコアに基づく領域品質スコアの計算、および少なくとも領域品質スコアに基づく知覚的品質基準が第２の画像によって満足されているか否かの判断を可能にする方法を提供する。
本発明の一実施形態によれば、一方法が提供され、その方法では、実施が、各領域が複数の画像ブロックを含む、複数の領域を差分画像内で定義することと、その複数の領域の各々に対する領域品質スコアを計算して、それぞれ複数の領域品質スコアを生じることと、複数の領域品質スコアに基づき第２の画像に対する画像品質スコアを計算することとを含み、判断が、少なくとも画像品質スコアに基づく知覚的品質基準が第２の画像によって満足されているか否かの判断を含む。
本発明の一実施形態によれば、一方法がさらに提供され、その方法では、第１の画像が入力画像で、第２の画像が暫定圧縮画像であって、圧縮が暫定圧縮パラメーターを用いて実行され、第２の画像に対する品質スコアが所定の知覚的品質範囲内になければ、改善された圧縮パラメーターの追加の反復検索が呼び出される。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法は、第２の画像に対する品質スコアが知覚的品質基準を満足していないと判断された場合、暫定圧縮パラメーターの再計算ならびに暫定圧縮、検索、および判断の繰返しを含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、第１の画像が入力画像であり、入力画像は、先行画像での素ブロックの独立符号化によって圧縮された素ブロックレベルの符号化画像である。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、第２の画像は、第１の画像での素ブロックの独立符号化によって第１デジタル画像から生成された、素ブロックレベルの符号化画像である。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、第１および第２の画像はＪＰＥＧ画像である。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、圧縮は、反復の各繰返しにおいて、個々の繰返しの以前の少なくとも１つの繰返しに基づき圧縮パラメーターを適合することを含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、圧縮は、反復の各繰返しにおいて、個々の繰返しの以前の全繰返しに基づき圧縮パラメーターを適合することを含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法は、少なくとも部分的に領域品質スコアに基づき圧縮命令を提供することを含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、少なくとも２つの領域品質スコアが、出力画像内の対応する少なくとも２つの領域の組に対して計算され、圧縮命令の提供は、少なくとも２つの領域品質スコアに少なくとも部分的に基づく。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、圧縮は、第２の画像のブロックノイズの有無を定量化するブロックノイズ尺度によって決定される程度まで、第１デジタル画像を第２の縮小サイズのデジタル画像に、繰り返し圧縮することを含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、ブロックノイズ尺度は、第１の画像と比較した第２の画像のブロックノイズの有無の尺度を含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、第１デジタル画像が繰り返して圧縮される程度は、ブロックノイズ尺度以外の品質尺度によっても決定される。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、品質尺度は、第１の画像と第２の画像との間のテクスチャ類似性を定量化するテクスチャ尺度を含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、品質尺度は、第１の画像と第２の画像との間の局所類似性を定量化する局所類似性尺度を含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、反復圧縮が再圧縮プロセスを含むように、第１の画像が圧縮画像を含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、第１デジタル画像が、先行画像での素ブロックの独立符号化によって圧縮された素ブロックレベルの符号化画像を含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、第２デジタル画像が、第１の画像での素ブロックの独立符号化により第１デジタル画像から生成された素ブロックレベルの符号化画像を含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、素ブロックレベルの符号化画像がＪＰＥＧ符号化画像を含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、第２デジタル画像がイントラ予測符号化画像を含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、第１デジタル画像がイントラ予測符号化画像を含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、イントラ予測符号化画像がＨ．２６４画像を含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、圧縮は、局所類似性尺度を含む複数の品質尺度およびテクスチャ変化尺度によって決定される程度まで、第１デジタル画像を第２の縮小サイズのデジタル画像に、繰り返し圧縮することを含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、局所類似性尺度が高い場合は、第１の画像と第２の画像との間の第１テクスチャ変化が許容されるのに対し、局所類似性尺度が低い場合には、第１の画像と第２の画像との間の、第１テクスチャ変化より小さい、第２テクスチャ変化のみが許容されるように、その程度が決定される。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、再圧縮は、第２の画像を取得するために第１の画像をブロックベースで符号化し、それにより境界を有する符号化ブロックを定義することを含み、ブロックノイズ尺度が、符号化ブロック境界に沿って追加されたアーチファクト性エッジを識別することにより計算される。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、ブロックベースの符号化がＪＰＥＧ符号化を含み、その符号化ブロックは８ピクセル×８ピクセルのブロックを含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、ブロックベースの符号化がＨ．２６４符号化を含み、その符号化ブロックは４ピクセル×４ピクセルのブロックを含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、ブロックベースの符号化がＨ．２６４ Ｈｉｇｈ Ｐｒｏｆｉｌｅ符号化を含み、その符号化ブロックは８ピクセル×８ピクセルのブロックを含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、反復圧縮が再圧縮プロセスを含むように、第１の画像が圧縮画像を含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、テクスチャ尺度が、第１デジタル画像と第２デジタル画像との間の対応する領域のテクスチャにおける変化の定量的尺度を含み、再圧縮が画素群を定義する画素群ベースの符号化を含み、画素群は対応する領域を定義する。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法は、先行画像での素ブロックの独立符号化によって生成された第１の画像の独立した素ブロックレベルの再圧縮を含み、第１の画像は、それに関連した少なくとも１つの第１の量子化行列を持ち、その方法は、第１の画像について少なくとも１回の独立した素ブロックレベルの反復圧縮操作を実行し、それにより、少なくとも１つの第１の量子化行列を少なくとも１つのスケーリング係数でスケーリングすることにより、新しい量子化行列を生成すること、および独立した素ブロックレベルの圧縮に対してその新しい量子化行列を使用することを含む、再圧縮された第２の画像の生成を含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、ブロックベースの符号化がＨ．２６４符号化を含み、その領域は４ピクセル×４ピクセルのブロックを含む。
本発明の一実施形態によれば、テクスチャ変化尺度によって決定される程度まで、第１デジタル画像を第２デジタル画像に繰り返し圧縮する、コンピューター化された方法がさらに提供され、その方法は、少なくとも１つの初期圧縮パラメーターを用いて少なくとも１回初期圧縮を実行することと、テクスチャ変化尺度を計算することにより初期圧縮を評価することと、テクスチャ変化尺度がテクスチャ変化尺度間隔内に含まれるか否かを判断することと、テクスチャ変化尺度がテクスチャ変化尺度間隔内に含まれる場合にその方法を終了し、そうでなければ、テクスチャ変化尺度がそれぞれテクスチャ変化尺度間隔の一方の側または別の側に位置する場合に、初期圧縮パラメーターより大きいかまたは小さい追加の圧縮パラメーターを用いてさらに圧縮することを含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法は、先行画像での素ブロックの独立符号化によって生成された第１の画像の独立した素ブロックレベルの再圧縮を含み、第１の画像は、それに関連した少なくとも１つの第１の量子化行列を持ち、その方法は、第１の画像について少なくとも１回の独立した素ブロックレベルの反復圧縮操作を実行し、それにより、少なくとも１つの第１の量子化行列を少なくとも１つのスケーリング係数でスケーリングすること、および独立した素ブロックレベルの圧縮に対してその新しい量子化行列を使用することにより、新しい量子化行列を生成することを含む、再圧縮された第２の画像の生成を含む。
本発明の一態様によれば、先行画像での素ブロックの独立符号化によって生成された第１の画像の独立した素ブロックレベルの再圧縮のための方法がさらに提供され、第１の画像は、それに関連した少なくとも１つの第１の量子化行列を持ち、その方法は、第１の画像について少なくとも１回の独立した素ブロックレベルの反復圧縮操作を実行し、それにより、少なくとも１つの第１の量子化行列を少なくとも１つのスケーリング係数でスケーリングすることにより新しい量子化行列を生成すること、および独立した素ブロックレベルの圧縮に対してその新しい量子化行列を使用することを含む、再圧縮された第２の画像の生成を含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、独立した素ブロックレベルの再圧縮がＪＰＥＧ−ｔｏ−ＪＰＥＧ再圧縮を含み、独立した素ブロックレベルの再圧縮がＪＰＥＧ操作を含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、スケーリングが、少なくとも１つの量子化行列の全エントリを単一の数値で乗算することを含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、スケーリングが、積を取得するためにスケーリング係数によって乗算することと、その積を近似整数で概算することを含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法は、個々の独立した素ブロックレベルの再圧縮操作によって取得した知覚的品質の評価、および、満足できない場合は、個々の独立した素ブロックレベルの圧縮操作で使用されたものとは異なるスケーリング係数を使用しての、追加の独立した素ブロックレベルの圧縮操作の開始を含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、知覚品質が、容認し難いほど低く、かつより高いスケーリング係数の使用を正当化するのに十分高い場合、知覚的品質が満足できないと見なされる。
本発明の一態様によれば、第１デジタル画像を、第２の画像のブロックノイズの有無を定量化するブロックノイズ尺度によって決定される程度まで繰り返し圧縮することにより、第２の縮小サイズのデジタル画像を第１デジタル画像から生成するコンピューターシステムがさらに提供される。
本発明の一態様によれば、第１デジタル画像を第２の縮小サイズのデジタル画像に、局所類似性尺度およびテクスチャ変化尺度によって決定される程度まで、繰り返し圧縮するコンピューターシステムがさらに提供される。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、複数の品質尺度が相互に正規化され、その程度が積によって決まる。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、第１の画像が暫定圧縮パラメーターを用いて暫定的に圧縮され、その積が第１の閾値を超え、複数の品質尺度の少なくとも１つが無関係に第２の閾値を超えると、暫定圧縮パラメーターが次の圧縮に使用される。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、実行は、スケーリング係数に対して初期値を使用することと、その初期値に基づき第１の画像に対する暫定的な独立した素ブロックレベルの圧縮操作を特徴付ける品質尺度を計算することと、品質尺度が目標の品質間隔の範囲に収まる場合にその方法を終了し、そうでなければ、品質尺度が目標の品質間隔のそれぞれ一方の側または別の側に位置する場合に、スケーリング係数に対して初期値より大きいかまたは小さい次の値を用いてさらに圧縮することとを含む。
本発明の一態様によれば、先行画像での素ブロックの独立符号化によって生成された第１の画像の独立した素ブロックレベルの再圧縮のための方法がさらに提供され、第１の画像は、それに関連した少なくとも１つの第１の量子化行列を持ち、その方法は、第１の画像について少なくとも１回の独立した素ブロックレベルの反復圧縮操作を実行し、それにより、新しい量子化行列の生成および独立した素ブロックレベルの圧縮に対するその新しい量子化行列の使用を含む、再圧縮された第２の画像の生成を含み、その新しい量子化行列は、少なくとも１つの第２の量子化行列を少なくとも１つのスケーリング係数でスケーリングすることによって生成され、それにより少なくとも１つのスケーリングされた行列が提供され、その後、少なくとも１つの追加の量子化行列を、少なくとも１つのスケーリングされた行列と少なくとも１つの第１の量子化行列との加重平均として計算する。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、少なくとも１つの第２の量子化行列が、ＪＰＥＧ規格で規定された少なくとも１つのデフォルト量子化行列を含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、少なくとも１つの第２の量子化行列が、画像に対して計算された少なくとも１つの最適量子化行列を含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、少なくとも１つの第２の量子化行列が、少なくとも１つの第１の量子化行列と同じである。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、独立した素ブロックレベルの再圧縮がＪＰＥＧからＪＰＥＧへの再圧縮を含み、独立した素ブロックレベルの再圧縮がＪＰＥＧ操作を含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、スケーリングが、少なくとも１つの量子化行列の全エントリを単一の数値で乗算することを含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、スケーリングが、積を取得するためにスケーリング係数によって乗算することと、その積を近似整数で概算することを含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、加重平均が、第１加重要素を生成するために、少なくとも１つのスケーリングされた量子化行列の各エントリを、０と１との間の値を含む、少なくとも１つの重み行列の対応するエントリで乗算することと、第２加重要素を生成するために、少なくとも１つの第１の量子化行列の各エントリを、少なくとも１つの重み行列の対応するエントリの値を１から引いた値で乗算することと、少なくとも１つの追加の量子化行列の加重平均要素値を生成するために、第１加重要素を第２加重要素値に加算することによって計算される。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、少なくとも１つの重み行列の全要素が同一である。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、少なくとも１つの重み行列の全要素が０．５に等しい。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、少なくとも１つの重み行列の全要素が１に等しい。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法は、個々の独立した素ブロックレベルの再圧縮操作によって取得した知覚的品質を評価することと、満足できない場合は、個々の独立した素ブロックレベルの圧縮操作で使用されたものとは異なるスケーリング係数を使用して、追加の独立した素ブロックレベルの圧縮操作を開始することを含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、品質が、容認し難いほど低く、かつより高いスケーリング係数の使用を正当化するのに十分高い場合、知覚的品質が満足できないと見なされる。
本発明の一実施形態によれば、さらにまた別のシステムが提供され、そのシステムでは、第１デジタル画像が複数の反復により繰り返して圧縮される。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、複数の品質尺度が相互に正規化され、その程度が、相互に正規化された複数の品質尺度の加重幾何平均によって決まる。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、イントラ予測符号化画像がＨ．２６４画像を含む。
本発明の一態様によれば、コンピュータープログラム製品がさらに提供され、その製品は、コンピューター可読プログラムコードが内部に具体化されているコンピューター使用可能な媒体を含み、そのコンピューター可読プログラムコードは、本明細書に示しかつ記載するいずれかの圧縮方法を実施するために実行されるように適合されている。
本発明の一実施形態によれば、先行画像での素ブロックの独立符号化によって生成された第１の画像の独立した素ブロックレベルの再圧縮を含む、さらにまた別の方法が提供され、第１の画像は、それに関連した少なくとも１つの第１の量子化行列を有し、その方法は、第１の画像について少なくとも１回の独立した素ブロックレベルの反復圧縮操作を実行し、それにより、少なくとも１つの第１の量子化行列を少なくとも１つのスケーリング係数でスケーリングすることによる新しい量子化行列の生成、および独立した素ブロックレベルの圧縮のためにその新しい量子化行列を使用することを含む、再圧縮された第２の画像を生成することを含む。
本発明の一態様によれば、少なくとも１つのパラメーターに基づく再圧縮プロセスを使用する様々な画像の再圧縮を含む、画像の再圧縮方法がさらに提供され、その方法では、様々な画像の中からの少なくとも１つの個別の画像の再圧縮が、そのパラメーターに適した値の組内での、その個別の第１の画像の再圧縮に使用される適切なパラメーター値の検索の（その個別の第１の画像の再圧縮にあまり適していないと考えられる少なくとも１つ以上の他のパラメーターのその組内での選択を含めて）実行を含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、様々な画像の中からの少なくとも１つの個別の画像の再圧縮が、適切なＭＱＦ値の組内での、その個別画像に適したＭＱＦ値の検索の実行、およびその個別の第１の画像の再圧縮に使用される量子化行列のスケーリングでのそのＭＱＦ値の採用を含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、検索が、その初期ＭＱＦ値によって特徴付けられ、初期ＭＱＦ値は、第１の画像の少なくとも１つの特性に少なくとも部分的に基づいて決定される。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、検索が、そのステップ幅によって特徴付けられ、ステップ幅は、第１の画像の少なくとも１つの特性に少なくとも部分的に基づいて決定される。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、少なくとも１つの第１の画像の特性が、その第１の画像を特徴づける量子化行列を含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、検索の少なくとも１つのパラメーターが、以前に実行された関連する画像の再圧縮プロセス中に蓄積された知識に少なくとも部分的に基づいて決定される。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、パラメーターに初期ＭＱＦ値を含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、パラメーターにステップ幅を含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、以前に実行された関連する画像の再圧縮プロセスが、少なくとも個別の第１の画像の量子化行列に類似した量子化行列を有する画像の再圧縮を含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、個別の第１の画像の再圧縮に使用される量子化行列のスケーリングのための適切なＭＱＦ値の検索が、適切なＭＱＦ値の組内で、実行される。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、量子化行列が、個別の第１の画像を再圧縮する最終量子化行列の計算に使用される。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、画像の量子化行列の共有のために使用されるＭＱＦ値が、選択された初期ＭＱＦ値の周りにどの程度近接して集まっているか、または散在しているかに基づいて、ステップ幅が小さくまたは大きくなるよう選択される。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、個別の第１の画像の再圧縮に使用される量子化行列のスケーリングのための適切なＭＱＦ値の検索が、適切なＭＱＦ値の組内で、実行される。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、個別の第１の画像の再圧縮に使用される量子化行列のスケーリングのための適切なＭＱＦ値の検索が、適切なＭＱＦ値の組内で、実行される。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、個別の第１の画像の再圧縮に使用される量子化行列のスケーリングのための適切なＭＱＦ値の検索が、適切なＭＱＦ値の組内で、実行される。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、個別の第１の画像の再圧縮に使用される量子化行列のスケーリングのための適切なＭＱＦ値の検索が、適切なＭＱＦ値の組内で、実行される。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、個別の第１の画像の再圧縮に使用される量子化行列のスケーリングのための適切なＭＱＦ値の検索が、適切なＭＱＦ値の組内で、実行される。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、個別の第１の画像を再圧縮する最終量子化行列を計算するために量子化行列が使用される。
本発明の一態様によれば、少なくとも１つの再圧縮パラメーターに基づき再圧縮プロセスを使用して様々な画像を再圧縮する画像再圧縮サブシステムを含む、画像再圧縮システムがさらに提供され、そのサブシステムは、そのパラメーターに適した値の組内で、様々な画像の中から少なくとも１つの個別の第１の画像の再圧縮に使用される適切なパラメーター値の検索を（１つのパラメータ値を、その組内でのその個別の第１の画像の再圧縮にあまり適していないと考えられる少なくとも１つ以上の他のパラメーターに対して優先して選択することを含めて）実行する再圧縮パラメーターデファイナー（ｄｅｆｉｎｅｒ）を含む。
本発明の一態様によれば、画像再圧縮システムがさらに提供され、そのシステムは、少なくとも１つの再圧縮パラメーターに基づき再圧縮プロセスを使用して様々な画像を再圧縮する画像再圧縮サブシステムと、そのパラメーター値を用いた再圧縮に適していると歴史的に考えられる画像の少なくとも１つの画像特性に関連する再圧縮パラメーター値のヒストリカルアーカイブ（ｈｉｓｔｏｒｉｃａｌ ａｒｃｈｉｖｅ）を含み、その再圧縮サブシステムは、ヒストリカルアーカイブ内で、個別の第１の画像の少なくとも１つの対応する画像特性に少なくとも類似した画像特性に関連する少なくとも１つの再圧縮パラメーター値を見つけることにより、様々な画像の中からの少なくとも１つの個別の第１の画像の再圧縮のための使用に適したパラメーター値を決定する。
本発明の一実施形態によれば、さらにまた別のシステムが提供され、そのシステムでは、再圧縮パラメーターは、より良いＭＱＦ値の検索を初期化する初期ＭＱＦ値を含む。
本発明の一実施形態によれば、さらにまた別のシステムが提供され、そのシステムでは、画像特性は量子化行列を含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、再圧縮パラメーターは、より良いＭＱＦ値の検索を特徴付けるステップ幅を含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、反復圧縮は複数の繰返しを含む。
本発明の一実施形態によれば、先行画像での素ブロックの独立符号化によって生成された第１の画像の独立した素ブロックレベルの再圧縮を含む、さらにまた別の方法が提供され、第１の画像は、それに関連した少なくとも１つの第１の量子化行列を有し、独立した再圧縮は、第１の画像について少なくとも１回の独立した素ブロックレベルの反復圧縮操作を実行し、それにより、新しい量子化行列の生成および独立した素ブロックレベルの圧縮のためにその新しい量子化行列の使用を含む、再圧縮された第２の画像の生成を含み、その新しい量子化行列は、少なくとも１つの第２の量子化行列を少なくとも１つのスケーリング係数でスケーリングすることによって生成され、それにより少なくとも１つのスケーリングされた行列が提供され、その後、少なくとも１つの追加の量子化行列を、少なくとも１つのスケーリングされた行列と少なくとも１つの第１の量子化行列との加重平均として計算する。
本発明の一実施形態によれば、先行画像での素ブロックの独立符号化によって生成された第１の画像の独立した素ブロックレベルの再圧縮を含む、さらにまた別の方法が提供され、第１の画像は、それに関連した少なくとも１つの第１の量子化行列を有し、独立した再圧縮は、第１の画像について少なくとも１回の独立した素ブロックレベルの反復圧縮操作を実行し、それにより、新しい量子化行列の生成および独立した素ブロックレベルの圧縮のためにその新しい量子化行列の使用を含む、再圧縮された第２の画像の生成を含み、その新しい量子化行列は、少なくとも１つの第２の量子化行列を少なくとも１つのスケーリング係数でスケーリングすることによって生成され、それにより少なくとも１つのスケーリングされた行列が提供され、その後、少なくとも１つの追加の量子化行列を、少なくとも１つのスケーリングされた行列と少なくとも１つの第１の量子化行列との加重平均として計算する。
本発明の一実施形態によれば、先行画像での素ブロックの独立符号化によって生成された第１の画像の独立した素ブロックレベルの再圧縮を含む、さらにまた別の方法が提供され、第１の画像は、それに関連した少なくとも１つの第１の量子化行列を有し、独立した再圧縮は、第１の画像について少なくとも１回の独立した素ブロックレベルの反復圧縮操作を実行し、それにより、新しい量子化行列の生成および独立した素ブロックレベルの圧縮のためにその新しい量子化行列の使用を含む、再圧縮された第２の画像の生成を含み、その新しい量子化行列は、少なくとも１つの第２の量子化行列を少なくとも１つのスケーリング係数でスケーリングすることによって生成され、それにより少なくとも１つのスケーリングされた行列が提供され、その後、少なくとも１つの追加の量子化行列を、少なくとも１つのスケーリングされた行列と少なくとも１つの第１の量子化行列との加重平均として計算する。
本発明の一実施形態によれば、さらにまた別のシステムが提供され、そのシステムでは、第１デジタル画像が、複数の反復により繰り返して圧縮される。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、素ブロックレベルの符号化画像がＪＰＥＧ符号化画像を含む。
本発明の一実施形態によれば、さらにまた別の方法が提供され、その方法では、少なくとも１つの重み行列の全要素が１に等しい。
本明細書に示しかつ記載する局所適応方法は、
再圧縮する画像の少なくとも１つの画像面（ｉｍａｇｅ ｐｌａｎｅ）内の各個別ブロックを圧縮することであって、
大域量子化行列を用いて、前記個別ブロックをＪＰＥＧ符号化し、それにより、提案された整数の出力ブロックを取得することと、
その画像面内の少なくとも１つの個別領域に対して、
前記領域の制御された量より大きくはならない知覚的劣化を保証する領域固有の圧縮レベルを定義する領域圧縮パラメーターを生成することと、
前記領域圧縮パラメーターから領域量子化行列を生成することと、
前記個別領域内の少なくとも１つの特定ブロックに対して、前記特定ブロックに適用された前記ＪＰＥＧ符号化ステップが前記大域量子化行列ではなく前記領域量子化行列を使用した場合に少なくとも１つのエントリがゼロであったか否かを判断し、ゼロであった場合に、前記特定ブロックからＪＰＥＧ符号化された提案された出力ブロック内の前記少なくとも１つのエントリをゼロに設定することとを含む、各個別ブロックの圧縮を含む、再圧縮方法を含むが、それに限定されない。
随意に、前記ＪＰＥＧ符号化は、前記個別ブロックをＤＣＴ変換すること、ＤＣＴ変換した各ブロックを、その中の各エントリを大域量子化行列内の対応するエントリで割ることにより量子化し、それによりブロック数を取得すること、および提案された整数の出力ブロックを取得するために前記数を丸めることを含む。
随意に、前記領域圧縮パラメーターが、前記領域圧縮パラメーターに適した値の組内で、前記領域の再圧縮に使用される適切なパラメーター値の検索を実行することにより生成される。
随意に、その方法は、前記組内において、一つのパラメーター値を、前記領域の再圧縮にあまり適していないと考えられる少なくとも１つ以上の他のパラメーター値に対して優先して選択することを含む。
随意に、領域圧縮パラメーターはＭＱＦ値を含む。
随意に、前記検索は、少なくとも１つの第１領域について計算され、その後、前記少なくとも１つの第１領域に隣接した少なくとも１つの追加領域について計算され、検索が前記追加領域について実行される際に、前記検索を開始する前記適切なパラメーター値が、前記少なくとも１つの第１領域の前記検索によって生成された最終の領域圧縮パラメーター値に少なくとも部分的に基づく。
随意に、前記少なくとも１つの第１領域が、行に沿って前記追加領域に隣接する領域と、列に沿って前記追加領域に隣接する領域を含み、前記検索を開始する前記適切なパラメーター値が、前記行および前記列に沿って隣接する前記領域の前記検索によって生成された最終の領域圧縮パラメーター値の組み合わせに少なくとも部分的に基づく。
随意に、その方法は、複数の画像ブロックを含む第１領域に対して、前記領域固有の圧縮レベルが計算される計算も含み、現在の圧縮レベルを用いて、第１領域を圧縮して第２の画像を生じることと、前記第１領域に対する領域品質スコアを計算するために、符号化ブロック境界に沿って追加されたアーチファクト性エッジの尺度を使用することと、前記領域品質スコアが前記品質閾値よりそれぞれ高いかまたは低い場合に、前記現在の圧縮レベルを増減し、前記増加または減少させた圧縮レベルを現在のレベルとして使用することを含む前記圧縮に戻ることを含む、前記領域品質スコアを所望の品質閾値と比較することと、前記領域品質スコアが前記品質閾値に所定どおり近い場合に前記現在の圧縮レベルを前記領域固有の圧縮レベルとして使用することとを含む。
随意に、尺度の使用は、第１の画像と第２の画像との間の差分画像を計算することと、前記領域内で、２つの符号化ブロック間の各境界に対して、各境界に沿って追加されたアーチファクト性エッジの程度を示す各追加のブロックノイズスコアを計算することと、その領域内で各領域に対して計算された追加のブロックノイズスコアに基づき領域品質スコアを計算することとを含む。
随意に、前記尺度は局所類似性およびテクスチャの計算に基づく。
随意に、前記尺度は局所類似性およびテクスチャの計算にも基づく。
本明細書におけるＭＱＦまたはＱＦへのどの参照も、所望であれば、必要に応じて、特定画像またはその一部に対する圧縮レベルを定義する任意の適切なパラメーターの使用によって置換され得、そのパラメーターは、その画像またはその一部の制御された量より大きくならない知覚的劣化を保証し、その劣化は、例えば、ＱＳ値の計算によって適切に操作可能にされ得る。知覚的劣化の制御された量は、ゼロであり得、その場合、知覚的可逆性がパラメーターで定義される圧縮レベルによって保証される。ＪＰＥＧでは、そのパラメーターは通常、圧縮レベルを直接決定するＪＰＥＧ量子化行列を生成するために、従来型のＱＦ値として使用されることにより圧縮レベルを定義する。知覚的劣化は、例えば、局所類似性、テクスチャおよびブロックノイズのうちの１つまたは複数の任意の適切な組み合わせに基づき定義され得る。
本発明の一態様によれば、別個の入力画像を縮小サイズの別個の出力画像に処理するためのシステムが提供され、その方法は、素ブロックの独立符号化を利用する圧縮フォーマットで圧縮された別個の入力画像を受け取るように構成されたインタフェースと、別個の出力画像の実質的なサイズ縮小を可能にする符号化品質パラメーターであって、出力画像と入力画像との間の目標とする定量的類似性尺度に関連するパラメーターを提供するように構成された品質パラメーターコントローラーと、入力画像を再符号化するように構成されたイントラ予測符号化コントローラーであって、再符号化がイントラ画像予測を含み、エンコーダーが符号化品質パラメーターに従って構成されている、イントラ予測符号化コントローラーとを含む。
さらに本発明の特定の実施形態によれば、別個の入力画像が標準のＪＰＥＧ画像である。
さらにまた本発明の特定の実施形態によれば、出力画像が標準のＨ．２６４形式で提供される。
また、本発明の特定の実施形態によれば、別個の入力画像を縮小サイズの別個の出力画像に処理するためのシステムが提供され、そのシステムは、可逆または非可逆量子化を有するウェーブレットおよびブロック毎のビット面エントロピー符号化を利用する圧縮フォーマットで圧縮された別個の入力画像を受け取るように構成されたインタフェースと、別個の出力画像の実質的なサイズ縮小を可能にする符号化品質パラメーターであって、出力画像と入力画像と間の目標とする定量的類似性尺度に関連するパラメーターを提供するように構成された品質パラメーターコントローラーと、入力画像を再符号化するように構成されたイントラ予測符号化コントローラーであって、再符号化がイントラ画像予測を含み、エンコーダーが符号化品質パラメーターに従って構成されている、イントラ予測符号化コントローラーとを備える。
さらにまた本発明の特定の実施形態によれば、別個の入力画像が標準のＪＰＥＧ ２０００画像である。
さらに本発明の特定の実施形態によれば、出力画像が標準のＨ．２６４形式で提供される。
また、本発明の特定の実施形態によれば、別個の入力画像を縮小サイズの別個の出力画像に処理するための方法が提供され、その方法は、素ブロックの独立符号化を利用する圧縮フォーマットで圧縮された別個の入力画像を受け取ることと、別個の出力画像の実質的なサイズ縮小を可能にする符号化品質パラメーターであって、出力画像と入力画像と間の目標とする定量的類似性尺度に関連するパラメーターを提供することと、入力画像を再符号化することであって、再符号化がイントラ画像予測、および符号化品質パラメーターに従って構成されている量子化ステップを含む、再符号化することとを含む。
さらに、本発明の特定の実施形態によれば、別個の入力画像を縮小サイズの別個の出力画像に処理するための方法が提供され、その方法は、可逆または非可逆量子化を有するウェーブレットおよびブロック毎のビット面エントロピー符号化を利用する圧縮フォーマットで圧縮された別個の入力画像を受け取ることと、別個の出力画像の実質的なサイズ縮小を可能にする符号化品質パラメーターであって、各出力画像と入力画像と間の目標とする定量的類似性尺度に関連するパラメーターを提供することと、入力画像を再符号化することであって、再符号化がイントラ画像予測、および符号化品質パラメーターに従って構成されている量子化ステップを含む、再符号化することとを含む。
さらにまた、本発明の特定の実施形態によれば、複数の入力画像を処理して、それぞれ複数の縮小サイズの出力画像を提供するシステムが提供され、そのシステムは、素ブロックの独立符号化を利用する圧縮フォーマットで圧縮されたか、または可逆もしくは非可逆量子化を有するウェーブレットおよびブロック毎のビット面エントロピー符号化を利用する圧縮フォーマットで圧縮された、複数の別個の入力画像を受け取るように構成されたインタフェースと、その複数の入力画像の各々に対して、各別個の出力画像の実質的なサイズ縮小を可能にする符号化品質パラメーターであって、各出力画像と入力画像対間の目標とする定量的類似性尺度に関連するパラメーターを提供するように構成された品質パラメーターコントローラーと、複数の入力画像の各々を再符号化するように構成されたイントラ予測符号化コントローラーであって、再符号化がイントラ画像予測を含み、エンコーダーが、複数の入力画像の各々に対して提供された各符号化品質パラメーターに従って構成されている、イントラ予測符号化コントローラーとを備える。
さらに、本発明の特定の実施形態によれば、そのシステムは、品質パラメーターコントローラーで制御された複数の品質パラメーター制御インスタンスをさらに含み、その複数の品質パラメーター制御インスタンスの各々が複数の入力画像の１つまたは複数に割り当てられ、それに割り当てられた入力画像の各々に対して、各別個の出力画像の実質的なサイズ縮小を可能にする符号化品質パラメーターを提供するように構成され、そのパラメーターは、各出力画像と入力画像対間の目標とする定量的類似性尺度に関連する。
さらに、本発明の特定の実施形態によれば、そのシステムは、イントラ予測エンコーダーの複数のインスタンスをさらに含み、イントラ予測エンコーダーの複数のインスタンスの各々が、複数の入力画像の１つまたは複数に割り当てられて、それに割り当てられた入力画像の各々を再符号化し、その再符号化がイントラ画像予測を含み、そのエンコーダーが、そのエンコーダーのインスタンスに割り当てられた入力画像の各々に対して提供された各符号化品質パラメーターによって構成されている。
また、本発明の特定の実施形態によれば、複数の入力画像を処理するためのシステムが提供され、そのシステムは、素ブロックの独立符号化を利用する圧縮フォーマットで圧縮されたか、または可逆もしくは非可逆量子化を有するウェーブレットおよびブロック毎のビット面エントロピー符号化を利用する圧縮フォーマットで圧縮された、複数の別個の入力画像を受け取るように構成されたインタフェースと、その複数の入力画像の各々に対して、各別個の出力画像の実質的なサイズ縮小を可能にする符号化品質パラメーターであって、各出力画像と入力画像対間の目標とする定量的類似性尺度に関連するパラメーターを提供するように構成された品質コントローラーと、複数の入力画像の各々を再符号化するように構成されたイントラ予測エンコーダーであって、その再符号化がイントラ画像予測を含み、複数の入力画像の各々に対して提供された各符号化品質パラメーターによって構成されているエンコーダーと、複数の入力画像に対して、複数の別個の入力画像に対応する複数のインデックス付き別個のオブジェクトを含む、単一の出力ファイルを提供するように構成されているビットストリームパッキングモジュールとを含む。
さらに本発明の特定の実施形態によれば、各オブジェクトは、複数の別個の入力画像のそれぞれ１つに対応する別個の画像を含む。
さらにまた本発明の特定の実施形態によれば、出力ファイルはＭＰ４ファイルである。
また、本発明の特定の実施形態によれば、複数の入力画像を処理して、それぞれ複数の縮小サイズの出力画像を提供する方法が提供され、その方法は、素ブロックの独立符号化を利用する圧縮フォーマットで圧縮されたか、または可逆もしくは非可逆量子化を有するウェーブレットおよびブロック毎のビット面エントロピー符号化を利用する圧縮フォーマットで圧縮された、複数の別個の入力画像を受け取ることと、その複数の入力画像の各々に対して、各別個の出力画像の実質的なサイズ縮小を可能にする符号化品質パラメーターであって、各出力画像と入力画像対間の目標とする定量的類似性尺度に関連するパラメーターを提供することと、複数の入力画像の各々を再符号化することであって、その再符号化がイントラ画像予測を含み、量子化ステップが、複数の入力画像の各々に対して提供された各符号化品質パラメーターによって構成されている、再符号化することとを含む。
また、本発明の特定の実施形態によれば、複数の入力画像を処理する方法が提供され、その方法は、素ブロックの独立符号化を利用する圧縮フォーマットで圧縮されたか、または可逆もしくは非可逆量子化を有するウェーブレットおよびブロック毎のビット面エントロピー符号化を利用する圧縮フォーマットで圧縮されたか、またはイントラ予測符号化を利用する圧縮フォーマットで圧縮された、複数の別個の入力画像を受け取ることと、その複数の入力画像の各々に対して、各別個の出力画像の実質的なサイズ縮小を可能にする符号化品質パラメーターであって、各出力画像と入力画像対間の目標とする定量的類似性尺度に関連するパラメーターを提供することと、複数の入力画像の各々を再符号化することであって、再符号化がイントラ画像予測を含み、量子化ステップが、複数の入力画像の各々に対して提供された各符号化品質パラメーターによって構成されている、再符号化することと、複数の入力画像に対して、複数の別個の入力画像に対応する複数のインデックス付き別個のオブジェクトを含む、単一の出力ファイルを提供することとを含む。
また、特定の実施形態によれば、別個の入力画像を、縮小サイズの別個の出力画像に処理するための方法およびシステムが提供される。いくつかの実施形態によれば、そのシステムは、インタフェース、品質パラメーターコントローラーおよびイントラ予測エンコーダーを含み得る。品質コントローラーは、別個の出力画像の実質的なサイズ縮小を可能にする符号化品質パラメーターを提供するように構成され、そのパラメーターは、出力画像と入力画像との間の目標とする定量的類似性尺度に関連している。イントラ予測エンコーダーは、入力画像を再符号化するように構成され、再符号化はイントラ画像予測を含み、エンコーダーは符号化品質パラメーターによって構成されている。
いくつかの実施形態によれば、目標とする定量的類似性尺度は、出力画像と入力画像との間の許容できる差を表す。さらに別の実施形態では、目標とする定量的類似性尺度は、出力画像と入力画像との間の最小限の類似性要件を表す。
いくつかの実施形態では、符号化品質パラメーターは、固定の事前定義値によって設定される。さらに別の実施形態では、符号化品質パラメーターは、事前定義した式によって計算される。さらにまた別の実施形態では、符号化品質パラメーターは、事前生成したルックアップテーブルから選択される。さらにまた別の実施形態では、符号化品質パラメーターは、事前定義した検索基準に基づく事前定義した反復検索プロセスによって判断される。
いくつかの実施形態では、目標とする定量的類似性尺度は、出力画像と入力画像との間の類似性に対する最小閾値を表す最小類似値によって示される。さらに別の実施形態では、目標とする定量的類似性尺度は、出力画像と入力画像との間の差異に対する最大閾値を表す最大差分値によって示される。さらにまた別の実施形態では、目標とする定量的類似性尺度は、それぞれ差異または類似性の範囲をもたらす、最小差分値または最大類似値によっても示される。
いくつかの実施形態では、最小類似値および／または最大差分値は、知覚的に同一の定量的類似性（または定量的差異）を示す。さらに別の実施形態では、最小類似値（または最大差分値）は、特定の構造的類似性（ＳＳＩＭ）指標値および関連するパラメーターの特定値によって示される。さらにまた別の実施形態では、最小類似値（または最大差分値）は、以下のパラメーターをもつ約０．９５の構造的類似性（ＳＳＩＭ）指標値に対応するか、または実質的に等しい：つまり、シグマ＝１．５の１１×１１ガウシアンフィルター、およびＳＳＩＭ定数のデフォルト値−［０．０１，０．０３］。本発明のさらにまた別の実施形態では、品質パラメーターコントローラーは、以下のパラメーターまたはその相当物をもつ０．９５以上のＳＳＩＭ指標値を提供し、入力画像に対して実質的なサイズ縮小を可能にする符号化品質パラメーターを提供するように構成される。本発明のさらにまた別の実施形態では、品質パラメーターコントローラーは、約４５ｄＢのピーク信号対雑音比値に等しい符号化品質パラメーターを提供するように構成される。
いくつかの実施形態では、品質パラメーターコントローラーは、入力画像の定量的尺度に関連する入力画像品質パラメーターを取得するように構成される。品質パラメーターコントローラーは、入力画像の品質を特徴づけるために入力画像品質パラメーターを使用し得る。いくつかの実施形態では、入力画像品質パラメーターには、次のうちの１つまたは複数が含まれ得る：つまり、ビット／ピクセル、画像の品質表示、解像度および／またはファイルサイズである。いくつかの実施形態によれば、より高品質の入力画像に対して知覚的に可逆な圧縮を獲得するため、実質的により低値の符号化品質パラメーターが提供され得る。さらにまた別の実施形態では、入力画像品質パラメーターは、符号化品質パラメーター検索の一部として使用され得る。さらにまた別の実施形態では、入力画像品質パラメーターは、反復符号化品質パラメーター検索プロセスの初期化に使用され得る。
本発明のいくつかの実施形態では、品質コントローラーは、目標とする定量的類似性尺度により、出力画像と入力画像との間の類似性を維持しながら、別個の出力画像のサイズ縮小を（入力画像に比べて）最大限にする符号化品質パラメーターを提供するように構成される。さらに別の実施形態では、品質コントローラーが、出力画像と入力画像との間の類似性を最小類似値以上に維持しながら、別個の出力画像のサイズ縮小を（入力画像に比べて）最大限にする符号化品質パラメーターを提供するように構成される。さらにまた別の実施形態では、品質コントローラーが、出力画像と入力画像との間の差異を最大差分値以上に維持しながら、別個の出力画像のサイズ縮小を（入力画像に比べて）最大限にする符号化品質パラメーターを提供するように構成される。
さらに別の実施形態では、品質コントローラーは、出力画像と入力画像との間の類似性（または差異）を事前定義した類似性（または差異）の範囲内に維持しながら、別個の出力画像の実質的なサイズ縮小を可能にする符号化品質パラメーターを提供するように構成される。
いくつかの実施形態によれば、品質コントローラーは、類似性評価モジュールを含み得る。類似性評価モジュールは、イントラ予測エンコーダーと連携して、符号化品質パラメーターの反復検索を実施するように構成され得、検索の各繰返しにおいて、収束基準が満足されるまで、符号化品質パラメーターが増分（減少）される。さらに別の実施形態によれば、収束基準は、１つまたは複数の以前の符号化品質パラメーターに関連するサイズ縮小と比較した現在の符号化品質パラメーターに関連するサイズ縮小の観点から、改善に関連する。
さらに別の実施形態では、収束基準は、１つまたは複数の以前の符号化品質パラメーターに関連するサイズ縮小と比較した現在の符号化品質パラメーターに関連するサイズ縮小の観点から、改善率に関連する。さらにまた別の実施形態では、符号化品質パラメーターの検索は、出力画像と入力画像との間の最小類似閾値（または最大差分閾値）によって制約される。
さらに別の実施形態によれば、類似性評価モジュールは、イントラ予測エンコーダーと連携して、反復符号化品質パラメーター検索を実施するように構成され得、各繰返しにおいて、入力画像の少なくとも１つのセグメントが、現在の繰返しに対して提供されている暫定符号化品質パラメーターを用いて圧縮された後、結果として生じた暫定圧縮出力画像と入力画像との間の類似性が評価される。いくつかの実施形態では、暫定圧縮出力画像と入力画像との間の類似性が基準を満足していると判断される場合、品質コントローラーは、出力として現在の暫定出力画像を提供するようにエンコーダーに指示し得る。いくつかの実施形態では、暫定圧縮出力画像と入力画像との間の類似性が類似性基準を満足していないと判断される場合、類似性評価モジュールは、調整された暫定符号化品質パラメーターを用いて入力画像の再圧縮を繰り返した後に、結果として生じた暫定圧縮出力画像と入力画像との間の類似性が評価されるように構成され得る。暫定符号化品質パラメーターの調整およびその調整済み暫定パラメーターを用いた入力画像の再圧縮の評価は、暫定圧縮出力画像と入力画像との間の類似性が類似性基準を満足するまで繰り返され得る。さらにまた別の実施形態では、検索基準も、暫定符号化品質パラメーターによって可能になるサイズ縮小に関連し得る。
さらに別の実施形態では、エンコーダーは、標準のＨ．２６４または標準のＭＰＥＧ−４ ｐａｒｔ １０エンコーダーである。さらにまた別の実施形態では、エンコーダーは、インターフレーム（またはインター画像）予測を無効にし、符号化品質パラメーターによって量子化操作を実施するように構成される。さらにまた別の実施形態では、標準のＨ．２６４またはＭＰＥＧ−４ ｐａｒｔ １０エンコーダーは、インループ非ブロック化フィルター（ｉｎ−ｌｏｏｐ ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ）を無効にするように構成される。いくつかの実施形態では、エンコーダーは、インループ非ブロック化フィルターを有効にするように構成され得る。また別の実施形態では、エンコーダーは、入力画像の品質に関連するパラメーターによって、インループ非ブロック化フィルターを有効にするかまたは無効にするかを判断し得る。また別の実施形態では、エンコーダーは、品質パラメーターコントローラーで提供される符号化品質パラメーターによって、インループ非ブロック化フィルターを有効にするかまたは無効にするかを判断し得る。例えば、エンコーダーは、比較的低品質によって特徴付けられる入力画像に対して、インループ非ブロック化フィルターを有効にするように構成され得る。
いくつかの実施形態によれば、エンコーダーは、別個の出力画像を含む標準のＨ．２６４またはＭＰＥＧ−４ ｐａｒｔ １０ストリームを出力として提供するように構成される。さらにまた別の実施形態では、エンコーダーは、複数の別個の画像を含む標準のＨ．２６４またはＭＰＥＧ−４ ｐａｒｔ １０ストリームを出力として提供するように構成される。さらにまた別の実施形態では、エンコーダーは、ＭＰＥＧ−４ファイルフォーマットに従ってフォーマットされた標準のＭＰ４ファイルを出力として提供するように構成される。
本発明のさらにまた別の態様によれば、別個の入力画像を、縮小サイズの別個の出力画像に処理するためのシステムは、インタフェース、品質パラメーターコントローラーおよびエンコーダーを含み得、そのインタフェースは、可逆または非可逆量子化を有するウェーブレットおよびブロック毎のビット面エントロピー符号化を利用する圧縮フォーマットによって圧縮された別個の入力画像を受け取るように構成される。品質コントローラーは、別個の出力画像の実質的なサイズ縮小を可能にする符号化品質パラメーターを提供するように構成され、そのパラメーターは、出力画像と入力画像との間の目標とする定量的類似性尺度に関連する。イントラ予測エンコーダーは、入力画像を再符号化するように構成され、再符号化はイントラ画像予測を含み、エンコーダーは、符号化品質パラメーターによって構成される。
本発明のさらにまた別の態様によれば、別個の入力画像を縮小サイズの別個の出力画像に処理するための方法が提供され、その方法は、可逆または非可逆量子化を有するウェーブレットおよびブロック毎のビット面エントロピー符号化を利用する圧縮フォーマットで圧縮された別個の入力画像を受け取ることと、別個の出力画像の実質的なサイズ縮小を可能にする符号化品質パラメーターであって、出力画像と入力画像との間の目標とする定量的類似性尺度に関連するパラメーターを提供することと、入力画像を再符号化することであって、その再符号化がイントラ画像予測、および符号化品質パラメーターによって構成されている量子化ステップを含む、再符号化することとを含む。
本発明の一態様によれば、別個の入力画像を縮小サイズの別個の出力画像に処理するための方法およびシステムが提供される。いくつかの実施形態によれば、そのシステムは、インタフェース、品質パラメーターコントローラーおよびイントラ予測エンコーダーを含み得る。インタフェースは、素ブロックの独立符号化を利用する圧縮フォーマットで圧縮された別個の入力画像を受け取るように構成されている。品質コントローラーは、別個の出力画像の実質的なサイズ縮小を可能にする符号化品質パラメーターを提供するように構成され、そのパラメーターは、出力画像と入力画像との間の目標とする定量的類似性尺度に関連する。イントラ予測エンコーダーは、入力画像を再符号化するように構成され、再符号化はイントラ画像予測を含み、エンコーダーは符号化品質パラメーターによって構成されている。
さらにまた別の実施形態では、最小類似値（または最大差分値）は、修正されたＳＳＩＭ品質尺度を用いて判断される。ＳＳＩＭ品質尺度は、画像の特定領域にペナルティを適用することにより適合され、修正されたＳＳＩＭ品質尺度を生じる。これらの領域に対して計算されたＳＳＩＭスコアは、それぞれのペナルティに従ってペナルティを科される。一例では、ペナルティは、例えば、滑らかな領域で取得したＳＳＩＭ値の二乗を伴い得る。さらに例として、滑らかな領域は、元の画像で局所的画像分散を計算し、その分散が閾値を下回る領域を滑らかと分類することにより、識別される。他のペナルティは、各領域に対するＳＳＩＭ値について、異なる方法で使用および適用され得る。領域ペナルティ手順（ｒｅｇｉｏｎａｌ ｐｅｎａｌｔｙ ｐｒｏｃｅｄｕｒｅ）は、ＳＳＩＭスコアリングプロセスと統合され得るか、またはＳＳＩＭスコアリングプロセスが完了した後に実施される追加のステップとして実施され得る。その上、他の種類の領域が存在し得、その識別は、局所的画像分散に加えて、さらなる技術を伴い得る。
さらにまた別の実施形態では、ＳＳＩＭ品質尺度が修正されて、局所的ＳＳＩＭスコア全てを平均化する代わりに、事前定義した閾値によって判断されたとおり、最小ＳＳＩＭをもつ領域に対して平均化が実行できるようになる。さらにまた別の実施形態では、画像がブロックに分割され、ＳＳＩＭ品質尺度が、各ブロックについて別々に計算された後、総合品質スコアがブロックスコアに基づいて計算され、システムによって使用される最小類似値が、ブロック毎の総合品質スコアに対応する。
さらに別の実施形態では、ＳＳＩＭ品質尺度の計算は、その計算を画像全体に対して実行する代わりに、入力画像の選択部分のピクセルおよび出力画像の対応するピクセルに対して実行することにより最適化され得る。
さらに別の実施形態では、最小類似値（または最大差分値）は、特定のピーク信号対雑音比（ＰＳＮＲ）指標値および関連するパラメーターの特定値によって示される。本発明のさらにまた別の実施形態では、品質パラメーターコントローラーは、約４５ｄＢのピーク信号対雑音比値に等しい符号化品質パラメーターを提供するように構成される。
さらに別の実施形態では、最小類似値（または最大差分値）は、入力画像に対して出力画像のブロックノイズの有無を定量化するブロックノイズ尺度、出力画像と入力画像との間のテクスチャ類似性を定量化するテクスチャ尺度、および出力画像と入力画像との間の局所類似性を定量化する局所類似性尺度を含む品質尺度によって示される。かかる品質尺度のさらなる詳細については、前述している。
本発明のさらに別の実施形態では、最小類似値（または最大差分値）は、特定の視覚情報忠実度（ＶＩＦ：ｖｉｓｕａｌ ｉｎｆｏｒｍａｔｉｏｎ ｆｉｄｅｌｉｔｙ）値および関連するパラメーターの特定値によって示される。本発明のさらに別の実施形態では、最小類似値（または最大差分値）は、特定の画質評価尺度（ＰＱＳ：ｐｉｃｔｕｒｅ ｑｕａｌｉｔｙ ｓｃａｌｅ）指標値および関連するパラメーターの特定値によって示される。本発明のさらに別の実施形態では、最小類似値（または最大差分値）は、特定のビデオ品質メトリック（ＶＱＭ：ｖｉｄｅｏ ｑｕａｌｉｔｙ ｍｅｔｒｉｃ）指標値および関連するパラメーターの特定値によって示される。本発明のさらに別の実施形態では、最小類似値（または最大差分値）は、特定の視覚的品質の知覚評価（ＰＥＶＱ：ｐｅｒｃｅｐｔｕａｌ ｅｖａｌｕａｔｉｏｎ ｏｆ ｖｉｓｕａｌ ｑｕａｌｉｔｙ）指標値および関連するパラメーターの特定値によって示される。本発明のさらに別の実施形態では、最小類似値（または最大差分値）は、特定のモスクワ大学（ＭＳＵ：Ｍｏｓｃｏｗ Ｓｔａｔｅ Ｕｎｉｖｅｒｓｉｔｙ）ブロックノイズ指標値および関連するパラメーターの特定値によって示される。本発明のさらに別の実施形態では、最小類似値（または最大差分値）は、特定のモスクワ大学（ＭＳＵ）ぼかし（ｂｌｕｒｉｎｅｓｓ）指標値および関連するパラメーターの特定値によって示される。
いくつかの実施形態では、暫定符号化品質パラメーターは、符号化品質パラメーターの制限範囲について二等分（ｂｉ−ｓｅｃｔｉｏｎ）を実行することにより更新される。さらに別の実施形態では、暫定符号化品質パラメーターの範囲は、ルックアップテーブルに指定されている符号化品質パラメーターの各値について二等分を実行することにより更新される。
本発明の特定の実施形態では、例えば、量子化誤差を増加させ得る量子化値を認識し、それらを回避することにより、圧縮された画像品質の単調性を圧縮の程度に応じて提供する、画像の再圧縮を提供しようとする。
本発明の特定の実施形態では、選択した程度の圧縮を提供するための機器と、量子化行列を用いて圧縮された画像の品質スコアが、選択した程度の圧縮に単調に関連するように、選択した品質係数から量子化行列を導出するための機器を含めて、およびその選択した程度の圧縮に従って画像を圧縮するための機器を備える、再圧縮システムを提供しようとする。圧縮の程度は、例えば、一般的なＪＰＥＧ画像エンコーダーで一般に使用されるような、所与の量子化行列のスケーリングのためのスケーリング係数の導出に使用される品質係数（ＱＦ）尺度、または、本明細書に示しかつ記載するいずれかの方法で計算され得る、修正品質係数（ＭＱＦ）によって表せられ得る。ＱＦまたはＭＱＦは、ＧＵＩなどの適切なユーザー入力装置を用いてユーザー選択されるか、コンピューターアルゴリズムによって生成されるか、またはテーブルに事前定義され得る。
本発明の一態様によれば、先行画像での素ブロックの独立符号化によって生成された第１の画像の独立した素ブロックレベルの再圧縮のためのコンピューター化された方法も提供され、第１の画像は、それに関連した少なくとも１つの第１の量子化行列を有し、その方法は、プロセッサーを用いて、第１の画像について少なくとも１回の独立した素ブロックレベルの圧縮操作を実行し、それにより、新しい量子化行列の生成および独立した素ブロックレベル圧縮のためのその新しい量子化行列の使用を含む、再圧縮された第２の画像を生成することを含み、その新しい量子化行列を利用する量子化プロセスで引き起こされた丸め誤差を計算することを含む。
本発明の一実施形態によれば、新しい量子化行列が、少なくとも１つの第２の量子化行列を少なくとも１つのスケーリング係数でスケーリングすることにより生成されて、それにより少なくとも１つのスケーリングされた行列が提供され、その後、少なくとも１つの追加の量子化行列を、少なくとも１つのスケーリングされた行列と少なくとも１つの第１の量子化行列との加重平均として計算する方法が提供される。
本発明の一実施形態によれば、新しい量子化行列の少なくとも１つの値が、丸め誤差を最小化するように調整される方法がさらに提供される。
本発明の一実施形態によれば、再圧縮された第２の画像のリモート受信機への送信を含む方法がさらに提供される。
本発明の一実施形態によれば、調整が、量子化行列を提案された圧縮レベルに従って計算することと、量子化行列の各量子化値に対して、提案された量子化値および元の画像での量子化行列からの対応する量子化値を用いて丸め誤差を計算することと、丸め誤差が所与の閾値未満である任意の量子化値に対して、その丸め誤差が所定の閾値を上回るまで、所与の方向に、その値を１ずつ繰り返し変更することと、丸め誤差が閾値を上回ると、結果の量子化値を使用することとを含む方法がさらに提供される。
本発明の一実施形態によれば、ＪＰＥＧ規格の行列を含む、第１の量子化行列の提供を含む方法がさらに提供される。
本発明の一実施形態によれば、先行画像での素ブロックの独立符号化によって生成された第１の画像の独立した素ブロックレベルの再圧縮のためのコンピューターシステムが提供され、第１の画像は、それに関連した少なくとも１つの第１の量子化行列を有し、そのシステムは、丸め誤差を削減する素ブロックレベルの圧縮装置（ｃｏｍｐｒｅｓｓｏｒ）を備え、その圧縮装置は、第１の画像について少なくとも１回の独立した素ブロックレベルの圧縮操作を実行し、それにより、新しい量子化行列の生成および独立した素ブロックレベル圧縮のためのその新しい量子化行列の使用を含む、再圧縮された第２の画像を生成し、そのシステムは、新しい量子化行列内の少なくとも１つのエントリに対して丸め誤差を計算し、必要に応じて、その新しい量子化行列を利用する量子化プロセスで引き起こされた丸め誤差を削減するために、新しい量子化行列の値を調整することを含む。
本発明の一態様によれば、既知の第１の量子化行列を用いて圧縮された第１の画像を提供することと、候補の第２の量子化行列を提供することと、プロセッサーを用いて候補の量子化行列を修正して、その修正した量子化行列が、圧縮の程度に品質が比例する圧縮された画像を提供できるようにすることと、第１の画像を圧縮するために最終の第２の量子化行列を使用することとを含む、コンピューター化された圧縮方法がさらに提供される。
本発明の一実施形態によれば、修正が、最終の第２の量子化行列のための候補を使用して、それ自身と既知の第１の量子化行列との間の丸め誤差を評価することと、第１の行列内の１倍の対応値と第１の行列内の２倍の対応値との間に位置する問題のある値を検索することと、その検索で見つかった問題のある各値を第１の行列内の対応する値と置換し、それにより、最終の第２の量子化行列を取得することとを含む方法が、さらにまた提供される。
本発明の一実施形態によれば、修正が、候補の第２の量子化行列を提供することと、候補の第２の量子化行列内の各個別の要素に対して、第１の行列と候補の第２の行列との間に所与の関係が予期され得る丸め誤差を評価し、その丸め誤差がゼロからかけ離れている間、第２の行列の個別の要素を１ずつ繰り返し変更し、それにより、最終の第２の量子化行列を取得することとを含む方法が、さらにまた提供される。
本発明の一実施形態によれば、独立した素ブロックレベルの再圧縮がＪＰＥＧの再圧縮を含む方法がさらにまた提供される。
本発明の一実施形態によれば、丸め誤差の計算が、量子化行列内の対応する量子化値エントリの比率とその比率の丸め値との間の差の計算を含む方法がさらにまた提供される。
本発明の一実施形態によれば、丸め誤差が、量子化行列内の対応する２つの量子化値の比率の丸めの結果として生じたエラーを含む方法がさらにまた提供される。
本発明の一態様によれば、選択した程度の圧縮を提供するための機器と、量子化行列を用いて圧縮された画像の品質スコアが、選択した程度の圧縮に単調に関連するように、選択した品質係数から量子化行列を導出するための機器を含む、選択した程度の圧縮に従って画像を圧縮するためにプロセッサーを使用するための機器とを備える、コンピューター化された再圧縮システムがさらにまた提供される。
本発明の一実施形態によれば、圧縮の程度がＱＦ尺度によって表されるシステムがさらにまた提供される。
本発明の一実施形態によれば、圧縮の程度がＭＱＦによって表されるシステムがさらにまた提供される。
本発明の一態様によれば、少なくとも１つの第１の画像の圧縮に使用される既知の第１の量子化行列を収容するように候補の量子化行列を変更し、それにより、少なくとも１つの圧縮された第１の画像から再圧縮された、少なくとも１つの再圧縮画像を提供し得る修正された量子化行列を生成するための機器であって、その少なくとも１つの再圧縮画像の品質が、圧縮された第１の画像に対して再圧縮された画像の再圧縮の程度に比例する機器と、少なくとも１つの圧縮された第１の画像を再圧縮するために修正された量子化行列を使用するプロセッサーを採用するための機器を備える、コンピューター化された再圧縮システムがさらにまた提供される。
本発明の一態様によれば、選択した程度の圧縮を提供することと、量子化行列を用いて圧縮された画像の品質スコアが、選択した程度の圧縮に単調に関連するように、選択した品質係数から量子化行列を導出することを含め、プロセッサーを用いて、選択した程度の圧縮に従って画像を圧縮することと、画像を圧縮するために量子化行列を使用することとを含む、コンピューター化された再圧縮方法がさらにまた提供される。
本発明の一実施形態によれば、新しい量子化行列を利用する量子化プロセスで引き起こされた丸め誤差を削減するために、新しい量子化行列の少なくとも１つの値を調整するか否かを判断することと、調整する場合に、その新しい量子化行列を利用する量子化プロセスで引き起こされた丸め誤差を削減するために、新しい量子化行列の少なくとも１つの値を調整することを含む方法が、さらにまた提供される。
本発明の一実施形態によれば、圧縮レベルが、ＭＱＦおよびＱＦ値の少なくとも１つを使用して、ユーザーにより選択される方法が、さらにまた提供される。
特許請求された主題の一態様によれば、例えば、そうでない場合とは対照的に高度な圧縮など、画像の圧縮レベルを分類するシステムおよび方法がさらに提供される。
本発明の特定の実施形態について、以下の図で説明する。
本発明の特定の実施形態により、全画像レベルで計算された、局所類似性スコア、ブロックノイズスコアおよびテクスチャ歪みスコアのいくつかおよび好ましくは全てを含む品質尺度を採用する知覚的可逆な圧縮方法の簡略化した流れ図である。 本発明の特定の実施形態により、図１の局所類似性スコアの計算ステップを実行するための方法の簡略化した流れ図である。 本発明の特定の実施形態により、図１のブロックノイズスコアの計算ステップを実行するための方法の簡略化した流れ図である。 本発明の特定の実施形態により、図１のテクスチャ歪みスコアの計算ステップを実行するための方法の簡略化した流れ図である。 本発明の特定の実施形態により、局所類似性スコア、ブロックノイズスコアおよびテクスチャ歪みスコアの全てまたはいくつかがブロックレベルで計算される、図１の知覚的可逆な圧縮方法に関する変形例の簡略化した流れ図である。 本発明の特定の実施形態により、局所類似性スコア、ブロックノイズスコアおよびテクスチャ歪みスコアの全てまたはいくつかがブロックレベルで計算される、図１の知覚的可逆な圧縮方法に関する変形例の簡略化した流れ図である。 本発明の特定の実施形態により、局所類似性スコア、ブロックノイズスコアおよびテクスチャ歪みスコアの全てまたはいくつかがブロックレベルで計算される、図１の知覚的可逆な圧縮方法に関する変形例の簡略化した流れ図である。 それぞれ３つのデジタル画像例に対する、図１およびその要素の品質尺度のグラフである。 それぞれ３つのデジタル画像例に対する、図１およびその要素の品質尺度のグラフである。 それぞれ３つのデジタル画像例に対する、図１およびその要素の品質尺度のグラフである。 以下で詳細に説明する、図１〜図７の方法の特定態様の理解に役立つ表である。 以下で詳細に説明する、図１〜図７の方法の特定態様の理解に役立つ表である。 本発明の特定の実施形態により、また、スケーリングによって先行画像の量子化行列から生成された量子化行列を使用して稼働する、画像の再圧縮のための方法の簡略化した流れ図である。 本発明の特定の実施形態により、目標とする品質係数を計算するための方法の簡略化した流れ図である。 限定することを意図したものではない図１３Ａの方法の特定パラメーターに対する初期値例を含め、本発明の特定の実施形態により、図１３Ａの初期化ステップを計算するための方法の簡略化した流れ図である。 本発明の特定の実施形態によって実行される計算例への入力およびその計算結果を示す表である。 本発明の特定の実施形態によって実行される計算例への入力およびその計算結果を示す表である。 本発明の特定の実施形態によって実行される計算例への入力およびその計算結果を示す表である。 本発明の特定の実施形態によって実行される計算例への入力およびその計算結果を示す表である。 本発明の特定の実施形態によって実行される計算例への入力およびその計算結果を示す表である。 本発明の特定の実施形態によって実行される計算例への入力およびその計算結果を示す表である。 本発明の特定の実施形態によって実行される計算例への入力およびその計算結果を示す表である。 本発明の特定の実施形態によって実行される計算例への入力およびその計算結果を示す表である。 本発明の特定の実施形態により、先行画像の量子化行列とＪＰＥＧ規格で定められているものなどの第２の量子化行列とを組み合わせることによって生成された量子化行列を使用して稼働する、画像の再圧縮のための方法の簡略化した流れ図である。 本発明の特定の実施形態により、図１８の新しい量子化行列の生成ステップを実行するための方法の簡略化した流れ図である。 まとめて、図１８の方法で使用するための後続のＭＱＦ値を生成するための方法の簡略化した流れ図を形成する。 まとめて、図１８の方法で使用するための後続のＭＱＦ値を生成するための方法の簡略化した流れ図を形成する。 本発明の特定の実施形態により、ＪＰＥＧに符号化する際に、各タイルに対して別個の品質係数を計算し、その計算した品質係数に従ってＤＣＴ係数を選択的にゼロに設定することにより、各ブロックに対して異なる品質を獲得するための方法を説明する。 本発明の特定の実施形態により、ＪＰＥＧに符号化する際に、各タイルに対して別個の品質係数を計算し、その計算した品質係数に従ってＤＣＴ係数を選択的にゼロに設定することにより、各ブロックに対して異なる品質を獲得するための方法を説明する。 本発明の特定の実施形態により構築され稼働する再圧縮方法の簡略化した流れ図である。 例えば、図２３の方法により、将来の画像の再圧縮に役立つ過去の画像の再圧縮を記録しているヒストリカルアーカイブの概略図である。 本発明の特定の実施形態により、品質スコア計算の最適化に使用され得る、考えられるタイルの２：１および４：１サブサンプリング（ダウンサンプリング）の例をそれぞれ示す。 本発明の特定の実施形態により、品質スコア計算の最適化に使用され得る、考えられるタイルの２：１および４：１サブサンプリング（ダウンサンプリング）の例をそれぞれ示す。 サンプル画像のための様々なＭＱＦ値について、全てのタイルについて計算した元の品質スコアと、タイルの２：１および４：１サブサンプリングから生じた品質スコアとの比較を示す。 入力画像の量子化行列と、入力画像に対する知覚的品質基準を再圧縮画像に満足させるＭＱＦ値の反復検索を実行する本発明のシステムによって選択されたＭＱＦとの間の関係を示す。 入力画像の量子化行列と、入力画像に対する知覚的品質基準を再圧縮画像に満足させるＭＱＦ値の反復検索を実行する本発明のシステムによって選択されたＭＱＦとの間の関係を示す。 ＭＱＦ検索の開始点の判断に有用な学習方法によって使用され得るテーブルの例を示す。 例として、ＭＱＦ検索の開始点の判断に使用され得る学習プロセス、および圧縮または再圧縮プロセスの一部として実施され得る検索プロセスの一部として使用され得るステップ幅を示す、簡略化した流れ図である。 例として、ＭＱＦ開始点およびステップ幅学習プロセスを使用することなく、各画像に対して反復再圧縮プロセスが収束するために必要な反復回数を示す。 例として、ＭＱＦ開始点およびステップ幅学習プロセスを使用する場合に、各画像に対して反復再圧縮プロセスが収束するために必要な反復回数を示す。 一例として、入力画像に対する知覚的品質基準を再圧縮画像に満足させる圧縮パラメーターの反復検索方法に基づき、ＪＰＥＧ画像を再圧縮するためのシステムの可能な実施態様を示すブロック図である。 一例として、入力画像に対する知覚的品質基準を再圧縮画像に満足させる圧縮パラメーターの反復検索方法に基づき、ｒａｗ画像を再圧縮するためのシステムの可能な実施態様を示すブロック図である。 本発明の特定の実施形態により、一例として、量子化行列生成プロセスを実行するための方法を示す流れ図である。 本発明の特定の実施形態により、一例として、ブロックノイズ品質尺度を計算するための方法を示す流れ図である。 図４のステップ３２０の操作例を示す表である。 図４のステップ３２０の操作例を示す表である。 本発明の特定の実施形態により、一例として、ＤＣＴ係数の局所的ゼロ化のプロセスを示す。 本発明の特定の実施形態により、一例として、ＤＣＴ係数の局所的ゼロ化のプロセスを示す。 本発明の特定の実施形態により、一例として、ＤＣＴ係数の局所的ゼロ化のプロセスを示す。 本発明の特定の実施形態により、一例として、ＤＣＴ係数の局所的ゼロ化のプロセスを示す。 本発明の特定の実施形態により、一例として、ＤＣＴ係数の局所的ゼロ化のプロセスを示す。 本発明の特定の実施形態により、一例として、ＤＣＴ係数の局所的ゼロ化のプロセスを示す。 本発明の特定の実施形態により、一例として、ＤＣＴ係数の局所的ゼロ化のプロセスを示す。 本発明の特定の実施形態により、一例として、量子化行列を生成するための方法の特定態様を示す。 本発明の特定の実施形態により、一例として、量子化行列を生成するための方法の特定態様を示す。 本発明の特定の実施形態により、一例として、量子化行列を生成するための方法の特定態様を示す。 本発明の特定の実施形態により、一例として、量子化行列を生成するための方法の特定態様を示す。 本発明の特定の実施形態により、一例として、量子化行列を生成するための方法の特定態様を示す。 本発明の特定の実施形態により、一例として、量子化行列を生成するための方法の特定態様を示す。 本発明の特定の実施形態により、一例として、量子化行列を生成するための方法の特定態様を示す。 本発明の特定の実施形態により、量子化行列を生成するための方法の特定態様例を示す。 本発明の特定の実施形態により、量子化行列を生成するための方法の特定態様例を示す。 本発明の特定の実施形態により、量子化行列を生成するための方法の特定態様例を示す。 本発明の特定の実施形態により、量子化行列を生成するための方法の特定態様例を示す。 図３２ａおよび図３２ｂのＭＱＦ計算機によって実行され得る本発明の特定の実施形態により稼働する検索プロセスの簡略化した流れ図である。 図４０ａの方法におけるステップ４２４０および４２５０の可能な実施態様の簡略化した流れ図である。 画像適応で知覚的可逆なほぼ最大の画像圧縮を可能にする方法の簡略化した流れ図である。 図４１の実施ステップ４４２０の可能な実施態様の簡略化した流れ図である。 実施ステップ４４２０のさらに別の代替実施態様の簡略化した流れ図である。 本発明のいくつかの実施形態による、画像処理システムの高レベルブロック図である。 本発明のいくつかの実施形態による、別個の入力画像の処理方法の流れ図である。 本発明のいくつかの実施形態の一部として実施され得る符号化品質パラメーターの反復検索プロセス例の流れ図である。 本発明のいくつかの実施形態により、図４４ａのシステムをさらに詳細に示すブロック図である。 本発明の特定の実施形態により構築され稼働する再圧縮方法の簡略化した流れ図である。 本明細書に示しかつ記載する再圧縮方法の特定態様の理解に役立つグラフおよび表である。 本明細書に示しかつ記載する再圧縮方法の特定態様の理解に役立つグラフおよび表である。 本明細書に示しかつ記載する再圧縮方法の特定態様の理解に役立つグラフおよび表である。 本明細書に示しかつ記載する再圧縮方法の特定態様の理解に役立つグラフおよび表である。 ＭＱＦに応じて、６４個の量子化行列値の各々に対し、図４６Ｃに示すＱ行列（本明細書では「量子化行列」とも呼ぶ）で得られた丸め誤差および絶対丸め誤差のグラフである。 ＭＱＦに応じて、６４個の量子化行列値の各々に対し、図４６Ｃに示すＱ行列（本明細書では「量子化行列」とも呼ぶ）で得られた丸め誤差および絶対丸め誤差のグラフである。 ＭＱＦに応じて、６４個の量子化行列値の各々に対し、図４６Ｃに示す量子化行列で得られた丸め誤差および絶対丸め誤差のグラフである。 ＭＱＦに応じて、６４個の量子化行列値の各々に対し、図４６Ｃに示す量子化行列で得られた丸め誤差および絶対丸め誤差のグラフである。 本発明のいくつかの実施形態により、量子化行列の計算機能と併用して便利なコンピューターコード化ループである。 本発明の一実施形態により構築され稼働する再圧縮方法の簡略化した流れ図である。 本発明の別の実施形態により構築され稼働する再圧縮方法の簡略化した流れ図である。 図４９Ｂの丸め誤差推定ステップを実行するための方法の簡略化した流れ図である。 図５１の単調性増加機能（ｍｏｎｏｔｏｎｙ ｉｎｃｒｅａｓｉｎｇ ｆｕｎｃｔｉｏｎａｌｉｔｙ）を採用することなく、画像例に対して獲得した品質スコア対ＭＱＦのグラフである。 図５１の単調性増加機能を採用する画像例に対して獲得した品質スコア対ＭＱＦのグラフである。 本発明のいくつかの実施形態により、問題のある量子化値を無効にするための方法の簡略化した流れ図である。 例えば、本明細書に示しかつ記載するような、単調性増加機能を適用した後の最終量子化行列を示す表である。 本発明の特定の実施形態によって部分的にまたは完全に克服される、より細かい量子化にもかかわらず、丸め誤差が増加する問題の理解に役立つ表である。逆量子化後の元のＤＣＴ係数を表す表である。 本発明の特定の実施形態によって部分的にまたは完全に克服される、より細かい量子化にもかかわらず、丸め誤差が増加する問題の理解に役立つ表である。 第１の量子化行列を表す表である。 本発明の特定の実施形態によって部分的にまたは完全に克服される、より細かい量子化にもかかわらず、丸め誤差が増加する問題の理解に役立つ表である。図５３ｂの行列および逆量子化を用いた量子化の後、結果のＤＣＴ係数を表す表である。 本発明の特定の実施形態によって部分的にまたは完全に克服される、より細かい量子化にもかかわらず、丸め誤差が増加する問題の理解に役立つ表である。 図５３ｃの値と図５３ａの値との間の絶対誤差を表す表である。 本発明の特定の実施形態によって部分的にまたは完全に克服される、より細かい量子化にもかかわらず、丸め誤差が増加する問題の理解に役立つ表である。第２の量子化行列を表す表である。 本発明の特定の実施形態によって部分的にまたは完全に克服される、より細かい量子化にもかかわらず、丸め誤差が増加する問題の理解に役立つ表である。 図５３ｅの行列および逆量子化を用いた量子化の後、結果のＤＣＴ係数を表す表である。 本発明の特定の実施形態によって部分的にまたは完全に克服される、より細かい量子化にもかかわらず、丸め誤差が増加する問題の理解に役立つ表である。図５３ｆの値と図５３ａの値との間の絶対誤差を表す表である。 本発明の特定の実施形態により稼働する量子化行列計算プロセスの理解に役立つ表である。 本発明の特定の実施形態により稼働する量子化行列計算プロセスの理解に役立つ表である。 本発明の特定の実施形態により稼働する量子化行列計算プロセスの理解に役立つ表である。 本発明の特定の実施形態により稼働する量子化行列計算プロセスの理解に役立つ表である。 本発明の特定の実施形態により稼働する量子化行列計算プロセスの理解に役立つ表である。 まとめて、先行画像での素ブロックの独立符号化によって生成された第１の画像の独立した素ブロックレベルの再圧縮のためのコンピューター化された方法の簡略化した流れ図を形成し、第１の画像は、それに関連した少なくとも１つの第１の量子化行列を有し、その方法は、例えば、図のように、適切に順序付けられた図中のステップの一部または全てを含む。 まとめて、先行画像での素ブロックの独立符号化によって生成された第１の画像の独立した素ブロックレベルの再圧縮のためのコンピューター化された方法の簡略化した流れ図を形成し、第１の画像は、それに関連した少なくとも１つの第１の量子化行列を有し、その方法は、例えば、図のように、適切に順序付けられた図中のステップの一部または全てを含む。 例えば、図４５〜図５５ｂに関連して前述の任意の方法および装置を使用して、単調性を高める働きをする単調性増加器（ｍｏｎｏｔｏｎｙ ｉｎｃｒｅａｓｅｒ）７０６５が提供されていることを除いて、図３２ａに類似している本発明の特定の実施形態により構築され稼働する再圧縮システムの簡略化した機能ブロック図である。 例えば、図４５〜図５５ｂに関連して前述の任意の方法および装置を使用して、単調性を高める同様の働きをする単調性増加器７６５０が提供されていることを除いて、図３２ｂに類似している本発明の特定の実施形態により構築され稼働する再圧縮システムの簡略化した機能ブロック図である。 例えば、図４５〜図５５ｂに関連して前述の任意の方法および装置を使用して、単調性を高める働きをする単調性増加ステップ７９２５が提供されていることを除いて、図３２ｂに類似している本発明の特定の実施形態により、量子化行列生成プロセスを実行するための方法の簡略化した流れ図である。 特許請求された主題の一例により、画像の圧縮レベルを分類するシステムのブロック図である。 特許請求された主題の一例により、画像の圧縮レベルを分類する方法の流れ図である。 まとめて、特許請求された主題の一例により、初期の粗い量子化行列が使用された後に細かい量子化行列を用いた再圧縮が行われる、１６×１６画素領域の再圧縮プロセスを示す。 まとめて、特許請求された主題の一例により、初期の粗い量子化行列が使用された後に細かい量子化行列を用いた再圧縮が行われる、１６×１６画素領域の再圧縮プロセスを示す。 まとめて、特許請求された主題の一例により、初期の粗い量子化行列が使用された後に細かい量子化行列を用いた再圧縮が行われる、１６×１６画素領域の再圧縮プロセスを示す。 まとめて、特許請求された主題の一例により、初期の粗い量子化行列が使用された後に細かい量子化行列を用いた再圧縮が行われる、１６×１６画素領域の再圧縮プロセスを示す。 まとめて、特許請求された主題の一例により、ビットレートを削減するために低エネルギーＤＣＴ係数がゼロに設定され、修正されたＤＣＴ値行列が細かい量子化行列（例えば、全て１の行列）を用いて量子化される、１６×１６画素領域の圧縮プロセスを示す。 まとめて、特許請求された主題の一例により、ビットレートを削減するために低エネルギーＤＣＴ係数がゼロに設定され、修正されたＤＣＴ値行列が細かい量子化行列（例えば、全て１の行列）を用いて量子化される、１６×１６画素領域の圧縮プロセスを示す。 まとめて、特許請求された主題の一例により、ビットレートを削減するために低エネルギーＤＣＴ係数がゼロに設定され、修正されたＤＣＴ値行列が細かい量子化行列（例えば、全て１の行列）を用いて量子化される、１６×１６画素領域の圧縮プロセスを示す。 まとめて、特許請求された主題の一例により、ビットレートを削減するために低エネルギーＤＣＴ係数がゼロに設定され、修正されたＤＣＴ値行列が細かい量子化行列（例えば、全て１の行列）を用いて量子化される、１６×１６画素領域の圧縮プロセスを示す。 特許請求された主題の一例により、圧縮された入力画像の輝度（Ｌｕｍａ）およびクロマ（Ｃｈｒｏｍａ）面の各々における非量子化ＤＣＴ係数に対する閾値の適用を含め、画像の圧縮レベルを分類する方法の流れ図である。 特許請求された主題の一例により、高度に圧縮された画像を識別するプロセスの一部を示す。 特許請求された主題の一例により、高度に圧縮された画像を識別するプロセスの一部を示す。 特許請求された主題の一例により、高度に圧縮された画像を識別するプロセスの一部を示す。 特許請求された主題の一例により、高度に圧縮された画像を識別するプロセスの一部を示す。 特許請求された主題の一例により、例として、高度に圧縮された画像を識別する方法で使用され得る閾値の判断に使用されうるパラメーターを含む、データ構造を示す。 特許請求された主題の一例により、知覚的類似性基準に従って再圧縮され、その圧縮がさらに別の圧縮基準を使用して評価された画像のＹ面における最小非ゼロＤＣＴ値を用いて、分類閾値が定義され得る方法をグラフで表した図である。 特許請求された主題の一例により、知覚的類似性基準に従って再圧縮され、その圧縮がさらに別の圧縮基準を使用して評価された画像のＵおよびＶ面における最小非ゼロＤＣＴ値を用いて、分類閾値が定義され得る方法をグラフで表した図である。 例えば、図５７〜図６４Ｂに関連して前述した任意の方法および装置を使用して、高度に圧縮された画像を識別する働きをする圧縮レベル分類器（ｃｏｍｐｒｅｓｓｉｏｎ ｌｅｖｅｌ ｃｌａｓｓｉｆｉｅｒ）９００５が提供されていることを除いて、図３２ａに類似している本発明の特定の実施形態により構築され稼働する再圧縮システムの簡略化した機能ブロック図である。 本発明の特定の実施形態により、また、スケーリングによって先行画像の量子化行列から生成された量子化行列を使用して稼働する、画像の再圧縮のための方法の簡略化した流れ図である。図６５ｂの方法は、例えば、図１２の方法に示されるように、またはそれに類似し得る、適切に順序付けられたステップの一部または全てを含むが、図１２の対応するステップ１０１２は通常、無条件に実行されるのに対して、第１の画像が高度に圧縮されていると分類されない場合に限り、ステップ９０１２が実行されることが異なる。 本発明の特定の実施形態により、また、先行画像の量子化行列とＪＰＥＧ規格で定められているものなどの第２の量子化行列とを組み合わせることによって生成された量子化行列を使用して稼働する、画像の再圧縮のための方法の簡略化した流れ図である。図６５ｃの方法は、例えば、図１８の方法に示されるように、またはそれに類似し得る、適切に順序付けられた図中のステップの一部または全てを含むが、図１８の対応するステップ１８１５は通常、無条件に実行されるのに対して、第１の画像が高度に圧縮されていると分類されない場合に限り、ステップ９８１５が実行されることが異なる。 特許請求された主題の一例により、入力画像の圧縮プロセスにおけるクロマダウンサンプリング（ｃｈｒｏｍａ ｄｏｗｎｓａｍｐｌｉｎｇ）の効果を評価するためのシステムのブロック図である。 特許請求された主題の一例により、ＪＰＥＧ入力画像の圧縮プロセスにおけるクロマダウンサンプリングの効果を評価する方法の流れ図である。 特許請求された主題の一例により、複数の画像ファイルに対して、主観的ＣＤＳ分類の結果がリストされ、その複数の画像ファイルの各々に対して、ＣＤＳ対象ブロック誤差を評価するための３つの異なる閾値の適用結果が記録される、データ構造図である。 特許請求された主題の一例により、入力画像の圧縮プロセスにおけるクロマダウンサンプリングの効果を評価する方法の流れ図であり、その方法は、画像のＲＡＷ Ｙ、Ｕ、Ｖ成分への変換および評価でのＲＡＷ Ｙ、Ｕ、Ｖ成分の使用を含む。 特許請求された主題の一例により、入力画像の圧縮プロセスにおけるクロマダウンサンプリングの異なるモードの効果を評価する方法の流れ図である。 まとめて、特許請求された主題の一例により、圧縮プロセスにおけるクロマダウンサンプリングの効果を評価する方法の特定態様の非限定的な実例を示す。 まとめて、特許請求された主題の一例により、圧縮プロセスにおけるクロマダウンサンプリングの効果を評価する方法の特定態様の非限定的な実例を示す。 まとめて、特許請求された主題の一例により、圧縮プロセスにおけるクロマダウンサンプリングの効果を評価する方法の特定態様の非限定的な実例を示す。 まとめて、特許請求された主題の一例により、圧縮プロセスにおけるクロマダウンサンプリングの効果を評価する方法の特定態様の非限定的な実例を示す。 図６６〜図７１ｄの任意の方法および装置を使用して、入力画像の再圧縮プロセスにおけるクロマダウンサンプリングの効果を評価する働きをするＣＤＳ判断モジュールが提供されていることを除いて、図３２ａに類似している本発明の特定の実施形態により、構築され稼働する再圧縮システムの簡略化した機能ブロック図である。 図６６〜図７１ｄに関連して前述した任意の方法および装置を使用して、入力画像の圧縮プロセスにおけるクロマダウンサンプリングの効果を評価する働きをするＣＤＳ判断モジュールが提供されていることを除いて、図３２ｂに類似している本発明の特定の実施形態により、構築され稼働する圧縮システムの簡略化した機能ブロック図である。 本発明の特定の実施形態により、また、スケーリングによって先行画像の量子化行列から生成された量子化行列を使用して稼働する、画像の再圧縮のための方法の簡略化した流れ図である。 本発明の特定の実施形態により、また、先行画像の量子化行列と第２の量子化行列（例えば、ＪＰＥＧ規格で定められている量子化行列など）とを組み合わせることによって生成された量子化行列を使用して稼働する、画像の再圧縮のための方法の簡略化した流れ図である。
図を単純かつ明瞭にするため、図に示す要素は、必ずしも正確な縮尺で描かれていないことが理解されるであろう。例えば、いくつかの要素の寸法は、明確にするため、他の要素に比較して拡大され得る。さらに、適切と考えられる場合には、対応する要素または類似した要素を示すために、各図間で参照数字が繰り返され得る。
ここで図１を参照するが、図１は、本発明の特定の実施形態により、画像全体について計算され得る、局所類似性スコア、ブロックノイズスコアおよびテクスチャ歪みスコアのいくつかおよび好ましくは全ての組合わせなどを通常含む、品質尺度（本明細書では「品質スコア」とも呼ぶ）を採用する知覚的可逆な圧縮方法の簡略化した流れ図である。
本明細書に流れ図で示す方法は、例えば、図に示されるように、適切に順序付けられた図中のステップの一部または全てを含む任意の方法を含むことを意図する。
図１の方法に従って計算される品質尺度には、次の要素のいくつかまたは全てを含む：
ａ．一般的な局所類似性スコア
ｂ．ブロックノイズスコア
ｃ．テクスチャ歪みスコア
例えば、品質尺度は、スコア（ｂ）のみ、またはスコア（ｃ）のみ、またはスコア（ａ）と（ｂ）、または３つのスコア（ａ）〜（ｃ）の全てを含み得る。
局所的な類似性尺度は、正規化されたＰＳＮＲを含み得るが、これは制限することを意図しておらず、むしろ、局所類似性尺度は、例えば、圧縮前後の画像の、例えば、ピクセルなど、ごく一部に対応する、例えば、明度などの属性間の実質的な各差異の二乗和などだがこれに限定されず、任意の単調関数を含むことを意図し、例えば、減算の絶対値だがこれに限定されず、任意の適切な差分関数が使用される。ピクセル類似性値によるピクセルの平均平方の和の対数の使用は、限定することを意図しない、単なる１つの可能な局所的類似性尺度であることを理解されたい。局所類似性のレベルは、必ずしもピクセルレベルではなく、平均平方の和以外の他の結合関数なども使用され得る。
ブロックノイズ尺度は、第１の画像に比べて、第２の画像の追加のアーチファクト性エッジの有無の尺度を含む。ブロックノイズ尺度は、通常、例えば、符号化ブロック境界に沿ったエッジなどの、通常、第１デジタル画像になく、圧縮プロセスによって第２デジタル画像に取り込まれた、アーチファクト性エッジの存在を測定する。この尺度は、第１の画像と第２の画像の比較によって生成された差分画像でエッジを見つけ、定量化することにより操作可能にされ得る。
テクスチャ尺度（本明細書では「分散比」とも呼ぶ）は、第１の画像と第２の画像との間のテクスチャ類似性を定量化し、第１デジタル画像と第２デジタル画像との間の対応する領域のテクスチャにおける変化の定量的測定に基づく。通常、テクスチャベースの品質尺度を生じるテクスチャ変化が、事前定義した目標の間隔に含まれ、また、あまり大きくもあまり小さくもないことが求められる。
上述の品質尺度は例に過ぎず、限定することを意図するものでないことを理解されたい。通常、２つ以上の品質尺度が使用され、その場合、例えば、各品質尺度の可能な値が［０，１］（１が可能な最良の質（圧縮前後の画像が実質的に同一である）を示し、０が最悪の質を示す）に含まれるように、品質尺度が相互に正規化される。
図１および本明細書の他の流れ図では、対応する方法は、適切に順序付けられているが、必ずしも図示されていない、以下のステップのいくつかまたは全てを含み得る。
ここで、ＪＰＥＧのＨ．２６４への再圧縮品質スコア（本明細書では「品質尺度」とも呼ぶ）を計算するための図１の方法の使用について説明する。このタイプの再圧縮では、予期される品質劣化は、通常、特定の形態を有する。均一に広がっている可能性のあるピクセル値の差に加えて、Ｈ．２６４符号化の性質により、４×４ブロック内での詳細の損失および４×４グリッド上の追加のブロックノイズが予期され得る。本発明の特定の実施形態によれば、上述のタイプの歪みの程度が、知覚閾値を超えていないことを確認するために、それぞれ測定される。
信頼性があって容易に組み合わせられるスコアを獲得するため、その方法では、通常、スコアが［０，１］（その入力画像から生成された再圧縮画像において、１が、入力ＪＰＥＧ画像の内容の「完全な」再圧縮を示す）の範囲にあることが確実になるように、例えば、スケーリングにより、正規化する。その方法はまた、通常、スコアが単調であること、すなわち、スコアが、量子化が粗くなるにつれて増加しないことも確認する。その方法は、通常、スコアが対称であること、すなわち、スコア（画像１，画像２）が、必ずしもスコア（画像２，画像１）と等しいことを必要としない。
ここで、図１のステップ１０および図２に関連して、局所類似性スコア計算について説明する。全体的な画像歪みを評価するため、ＰＳＮＲが使用され得る。ＰＳＮＲは、特定のタイプのノイズおよび歪みの検出で信頼できないが、構造的歪みが別々に測定され、異常なノイズパターンも予期しない非線形歪みも通常追加されないため、ＰＳＮＲは、一般的な局所類似性スコアとして使用され得る。［０，１］の範囲内のスコアを獲得するため、獲得したＰＳＮＲが正規化される。獲得したスコアは、従って、
ＰＳＮＲ＞５０ｄＢの場合、ＰＳＮＲ＝１
そうでない場合、 ＰＳＮＲ＝ＰＳＮＲ／５０
である。
本明細書で開示のとおり、局所類似性スコアは、第１の画像と第２の画像との間の知覚的類似性を評価するために、テクスチャ尺度と一緒に使用され得る。局所類似性尺度およびテクスチャ尺度の様々な例および変形例が本明細書で開示され、かかる例および変形例は、第１の画像と第２の画像との間の知覚的類似性を評価する方法の一部として、組み合わされ、実施され得る。
本明細書で開示のとおり、局所類似性スコアは、第１の画像と第２の画像との間の知覚的類似性を評価するために、ブロックノイズ尺度とも一緒に使用され得る。様々な例ならびに局所類似性尺度およびブロックノイズ尺度の変形例が本明細書で開示され、かかる例および変形例は、第１の画像と第２の画像との間の知覚的類似性を評価する方法の一部として、組み合わされ、実施され得る。
ここで、図１のステップ１０および図３を参照して、ブロックノイズスコア計算について説明する。Ｈ．２６４符号化に起因するブロックノイズは、４×４グリッド上に出現することが分かっている。しかし、元のＪＰＥＧ画像に存在し得るブロックノイズのアーチファクトのせいでスコアが低下するのは望ましくないため、再構築画像でブロックノイズを測定することは十分でない。
一例として、ブロックノイズ尺度は、以下を含み得る：すなわち、２つの符号化ブロック間の各境界に対し、各境界に沿って追加されたアーチファクト性エッジの程度を示す各追加のブロックノイズスコアを計算すること、各境界に対して計算された追加のブロックノイズスコアに基づき品質スコアを計算すること、および品質スコアに基づき知覚的品質基準が第２の画像によって満足されているか否かを判断することを含み得る。
例えば、本明細書に示しかつ記載する方法などだが、それに限定されず、ブロックノイズ推定のために任意の適切な方法が採用され得る。例えば、入力画像および再構築画像の両方においてブロックノイズを判断するため、Ｈ．２６４インループ非ブロック化フィルター方式が使用され得、その後、「追加された」ブロックノイズ量が評価され得る。本発明の特定の実施形態によれば、コーデック内に既に存在するブロックノイズ検出コードが、この目的を達成するために使用され得る。これには、コーデック内に既に存在するコードを再使用（最適化）し、また信頼できるブロックノイズインジケーターも使用するという利点がある。
別の実施形態では、差分画像のブロックノイズの計算を伴う。図３４は、再圧縮画像に追加のアーチファクト性エッジがないことを示すスコアを獲得するプロセスを示す。差分画像を計算するため、輝度面など、２つの画像面のピクセル値が使用され、その差分画像は、その後、領域またはタイルに分割される。次に、符号化ブロック境界（すなわち、ＪＰＥＧに対して８×８、またはＨ．２６４に対して４×４）に沿って、各領域またはタイルに対してスコアが計算される。
ブロックノイズスコアは、次のように計算され得る：
差分画像：ｉｍＤｉｆｆを計算する。ｉｍＤｉｆｆ上で、符号化ブロックに沿ってグリッド（Ｈ．２６４に対して４×４およびＪＰＥＧに対して８×８）を実行し、水平または垂直ブロックエッジ上の各ポイントに対して、エッジの存在を確認する。
例えば：以下に示す、ＡブロックとＢブロックとの間の垂直エッジに対して、
Figure 0005844263
の場合、
Ａ１４とＢ１１との間にエッジが存在する。
ＴＨＲの可能な値は１．５であり、これは、ブロックエッジの両側での平均画素変化より３倍大きいブロックノイズに起因する画素変化に等しい。これは、例として図１１に示すように、エッジが存在する位置に１を、存在しない位置に０を含む、二次元のエッジマップｅｄｇｅＶａｌｕｅｓを生じる。その後、大域ブロックノイズスコアが［１−ａｖｅｒａｇｅ（ｅｄｇｅＶａｌｕｅｓ）］として計算され、これは、１が再構築画像に新しい「エッジ」がないことを示す、［０，１］の範囲内のスコアである。上述のブロックノイズスコアが、空などの滑らかな領域、および特定の衣料品など若干のテクスチャ化領域でうまく実行されている。
本明細書で開示するとおり、ブロックノイズ類似性尺度（または追加のアーチファクト性エッジの有無）は、第１の画像と第２の画像との間の知覚的類似性を評価するために、他の類似性尺度と一緒に使用され得る。特に、本明細書に記載するかかる類似性尺度の様々な例および変形例を含め、本明細書に記載する特定の類似性尺度は、例えば、局所類似性尺度の様々な例および変形、ならびにテクスチャ尺度の様々な例および変形例、ならびに局所類似性尺度とテクスチャ尺度の組合わせに基づく類似性尺度の様々な例および変形例を含め、本明細書で開示するブロックノイズ尺度の様々な例および変形例と組み合わされ得る。
ここで、図１のステップ３０および図４を参照して、テクスチャ歪みスコア計算について説明する。多数の画像について、テクスチャ詳細の憂慮すべき損失は、圧縮または再圧縮の結果として生じ得、継続する損失は、ＳＳＩＭなどのいくつかの知覚スコアでは識別されない。例えば、皮膚領域でのかかる詳細損失は、圧縮または再圧縮画像で顕著であり得る。本発明の特定の実施形態によれば、局所テクスチャ歪みスコアは、例えば、ソース画像Ｖ１における各４×４ブロックでの分散が計算され、再構築画像Ｖ２における同じ４×４ブロックの分散と比較される。比率Ｖ１／Ｖ２が、例えば、［０．８，１．２］などの事前定義した範囲の外側にある場合、そのブロックに対するテクスチャ歪みスコアが１に設定される。その後、全体のテクスチャ歪みスコアが、全ての４×４ブロックについて、単純な、または適切に重み付けされた局所スコアの平均として計算され得る。重み付けは、例えば、テクスチャ歪みがより明らかな暗い領域に対してより大きな重みが使用され得る。分散計算のための適切なルーチン例は、次のとおりである：
Ｂの平均、値Ｂ［ｉ］［ｊ］（ｉ＝１，．．．，Ｎ、ｊ＝１，．．．Ｎ）のＮ×Ｎ（例えば、４×４または８×８）ブロックが
Figure 0005844263
によって与えられる。
その後、Ｂの分散、値Ｂ［ｉ］［ｊ］（ｉ＝１，．．．，Ｎ、ｊ＝１，．．．Ｎ）のＮ×Ｎブロックが、
Figure 0005844263
すなわち、ブロック値とブロック平均との間の絶対差の平均として計算される。
ここで、本発明の特定の実施形態による大域スコア計算（ステップ４０）について説明する。３つの個別のスコア：つまり、前述の局所類似性、追加のアーチファクト性エッジの有無およびテクスチャスコアが、システム構成によって定義されたとおり、全体画像または全体画像の一部に対して各スコアを計算し、大域品質スコアを取得するために乗算または加重幾何平均を用いて、その３つの値を組み合わせることにより、大域スコアにプールされ得る。
タイルベースのアプローチでは、図５〜図７に示すように、画像がタイルに分割され、そのサイズは画像の寸法によって決まり得る。その後、上述の３つの全要素を組み合わせた、大域スコアが各タイルについて計算され、各タイルに対する値をもつ、１組のタイルスコアが提供される。その後、例えば、
０．５＊（｛ｍｉｎ｛ｔｉｌｅｓｏｒｅｓ｝＋ａｖｇ｛ｔｉｌｅｓｃｏｒｅｓ｝）
式４
によって、全体画像または全体画像の一部に対する総合画像品質スコアが計算され得る。
代替として、タイルベースのスキームが採用され得、そこで、各３つのスコアが各可変サイズの画像タイル（３２×３２〜２５６×２５６）で計算され、タイルスコアの組を取得するために乗算または加重幾何平均を用いて組み合わされ得、そのタイルスコアの組は、その後、局所ＱＰ（量子化パラメーター）の適応または大域スコアを取得するための平均化のいずれかに使用され得る。平均化は、例えば、次のスキームのうちの１つを用いて実行され得る：１．画像またはその画像の一部における全てのブロックに対するｍｉｎ｛ｔｉｌｅｓｃｏｒｅ｝（大域スコアは「最悪（ｗｏｒｓｔ）」ブロックのスコアである）、２．式０．５＊（ｍｉｎ｛ｔｉｌｅｓｏｒｅｓ｝＋ａｖｇ｛ｔｉｌｅｓｃｏｒｅｓ｝）または任意の適切な加重平均式を用いて、画像もしくはその画像の一部における「最悪」ブロックと画像もしくはその画像の一部における全ブロックに対する平均ブロックスコアとの平均を大域スコアとする。
本明細書で開示のとおり、テクスチャ尺度は、第１の画像と第２の画像との間の知覚的類似性を評価するために、局所類似性尺度と一緒に使用され得る。テクスチャ尺度および局所類似性尺度の様々な例および変形例が本明細書で開示され、かかる例および変形例は、第１の画像と第２の画像との間の知覚的類似性を評価する方法の一部として、組み合わされ、実施され得る。
本明細書で開示のとおり、テクスチャ尺度は、第１の画像と第２の画像との間の知覚的類似性を評価するために、ブロックノイズ尺度とも一緒に使用され得る。テクスチャ尺度およびブロックノイズ尺度の様々な例および変形例が本明細書で開示され、かかる例および変形例は、第１の画像と第２の画像との間の知覚的類似性を評価する方法の一部として、組み合わされ、実施され得る。
組み合わされた類似性尺度、例えば、局所類似性尺度、テクスチャ尺度およびブロックノイズ尺度に基づく類似性尺度の例および変形例も本明細書に記載する。組み合わされた類似性尺度のかかる例および変形例は、変更すべきところは変更して、本明細書に記載するブロックノイズ尺度の例および変形例、およびテクスチャ尺度および局所類似性尺度に基づく、本明細書に記載する品質尺度の例および変形例に適用できる。
いくつかの実施形態によれば、本明細書で開示する、ブロックノイズ尺度に基づく品質スコア計算、および本明細書で開示するその例および変形例、ならびに、本明細書で開示する、局所類似性尺度のテクスチャ尺度との組み合わせに基づく品質スコア計算、および本明細書で開示するその例および変形例、ならびに、本明細書で開示する、ブロックノイズ尺度の局所類似性尺度とテクスチャ尺度との組み合わせに基づく品質スコア計算を含め、品質スコア計算が、タイルのサブセットについてのみ実行され得る。例えば、品質スコア計算が、入力画像に対して適用された２：１サブサンプリングについて実行され得るか、または今後の例で、品質スコア計算が、タイルの４：１サブサンプリングについて実行され得る。
図２５ａは、１つおきのタイルについて品質スコアを計算することにより、チェッカー盤のようなパターンを使用する、２：１のタイルのサブサンプリング例を示す図である。図２５ｂは、４タイル毎の真ん中に配置されたタイルについて品質スコアが計算される、４：１のタイルのサブサンプリング一例を示す図である。
図２６は、例として、サンプル画像について、全てのタイルについて計算した元の品質スコアと、修正品質係数（本明細書では「ＭＱＦ」と省略する）の様々な値に関する２：１および４：１のタイルのサブサンプリングの結果として生じた品質スコアとを比較した図であり、サンプル画像についてこれらの最適化を実行する場合、品質スコアは著しく変化しないことを示す。修正品質係数（ＭＱＦ）の詳細については、後述する。そのサブサンプリング方法は、後述する局所適応の再圧縮方法に対しても使用され得、その方法では、品質スコアが計算されていないタイルは、品質スコアが計算されている最も近いタイルのＭＱＦを使用する。
３つのスコア（ブロックノイズ尺度スコア、局所類似性スコア、およびテクスチャ類似性スコア）を単一スコアに組み合わせた後、その単一スコアを閾値化するのではなく、ソフト閾値を３つの各スコアに対して別々に適用し、その後、全体画像または全体画像の一部に対する総合「合格／不合格」の判断を取得するため、用途に適した方法で２値化することが可能であることが理解されよう。
例として図１で示し、それに関して説明している再圧縮反復の品質スコアを見つけるための方法は、ＪＰＥＧからＪＰＥＧへの再圧縮用途にも有用かつ適用可能であり、ここで説明する特定の違いを除いて、上述のように使用され得る。
図３のステップ２２０は、ｉｍＤｉｆｆ上で符号化ブロックに沿ってグリッド（ＪＰＥＧに対して８×８）を実行すること、および水平または垂直ブロックエッジ上の各ポイントに対して、エッジを超えた差異と、エッジの両側での差異の合計との間のエッジ検出率を計算することにより、エッジの存在を確認することを含む。例えば、以下に示す、ＡブロックとＢブロックとの間の垂直エッジについて、
｜Ｂ１１−Ａ１８｜／（｜Ｂ１２−Ｂ１１｜＋｜Ａ１８−Ａ１７｜）＞ＴＨＲ
式５
の場合、Ａ１８とＢ１１との間にエッジが存在する。
ＴＨＲの可能な値は１．５である。これは、図１５に示すように、エッジが存在する位置に１を、存在しない位置に０を含む、二次元のエッジマップを生じる。
図４のステップ３１０では、分散比Ｖ１／Ｖ２を取得するため、ソース画像における各８×８または４×４ブロックでの分散を示すＶ１が計算され、再構築画像における同じ８×８または４×４ブロックの分散を示すＶ２で割られる。図４のステップ３２０では、比率Ｖ１／Ｖ２が、例えば、［０．８，１．１］などの事前定義した範囲の外側にある場合、そのブロックに対するテクスチャ歪みスコアが１に設定される。この範囲は、同じ符号化スキームの使用によって予期されるテクスチャ歪みが少ないため、ＪＰＥＧからＨ．２６４への再圧縮で使用される範囲よりも僅かに狭いことに留意されたい。
図１で示し、それに関して説明している方法のＪＰＥＧからＪＰＥＧへの再圧縮用途のための実施態様によって取得された品質スコアならびにその３つの要素（追加のアーチファクト性エッジスコアの有無、局所類似性スコア、およびテクスチャ類似性スコア）を評価するため、Ｍａｔｌａｂソフトウェアプログラムを使用してＪＰＥＧ再圧縮が実行された。図１で示し、それに関して説明している方法のＪＰＥＧからＪＰＥＧへの再圧縮用途のための実施態様例およびその３つの要素を使用して、例えば、ＪＰＥＧ規格からのデフォルトの量子化画像のスケーリング係数を判断する品質係数が徐々に変更された。Ｍａｔｌａｂ ＪＰＥＧライターは、ＩＪＧコードに基づいている（ＭＥＸインタフェースを使用）。３つの画像例に対して取得した品質スコアのグラフが、品質係数の関数として、図８〜図１０に例として示されている。それらのグラフは、３つの各スコアおよびそれらの大域スコアへの組み合わせを示す。それらのグラフは、ブロックベースのスコア計算を用いて作成された。考案者は、０．５の大域スコアが、人間のビューアーグループが元の画像と再圧縮画像を知覚的に同一であると判断することによって決定して、知覚的「等価性」と良く関連していることを発見した。例えば、図８〜図１０のグラフのＸ軸上に示されるような「品質係数」という用語は、所望の符号化品質を示すＪＰＥＧ（例えば）エンコーダーへの入力パラメーターを指すことを理解されたい。最も一般には、例えば、ＩＪＧにおいて、このパラメーターは、１〜１００の間の値をもち、デフォルトの量子化行列に関するスケーリング係数に変換され、その量子化行列は、例えば、次の式：
ＭＱＦ＜５０の場合、Ｓ＝（５０００／ＭＱＦ）／１００
そうでない場合、 Ｓ＝（２００−２＊ＭＱＦ）／１００ （式６）
に従って、取得した品質を制御する。
「品質スコア」という用語は、本明細書では、例えば、圧縮または再圧縮の結果として生じた知覚的劣化を示す、計算された品質尺度を示すために使用し、通常、ブロックノイズ、テクスチャおよびＰＳＮＲのうちの１つまたは複数に基づき、また、デフォルトの量子化行列のスケーリング係数を設定することによって符号化ＪＰＥＧ画像の品質を判断するために、ＩＪＧエンコーダーで使用される品質係数（ＱＦ）と同義ではない。品質スコアは、通常、「元の」画像と「歪んだ」画像を比較し、それにより、元の画像に対して「歪んだ」画像の知覚的品質を評価することによって取得されるスコアを含み、例として、「元の」画像は入力画像であり得、「歪んだ」画像は、入力画像の圧縮または再圧縮したバージョンであり得る。例として、品質スコアは、［０，１］の範囲の値をもつか、または［０，１］の範囲にスケーリングされる。
ＪＰＥＧからＪＰＥＧへの再圧縮、またはＪＰＥＧからＨ．２６４への再圧縮のための図１の方法の使用間の違いは、図１に示すように、使用するブロックサイズ（例えば、４×４または８×８）および分散比に対する閾値に限定され得る。
例として、次の２つのユーザー選択可能な再圧縮モード：つまり、全体画像または全体画像の一部に対する大域的なスコア計算を含むモード＝０、および本明細書に記載のとおりブロックベースのスコアが計算されるモード＝１（デフォルトのモードであり得る）が提供される。
随意に、再圧縮を相乗的に制御するため、局所類似性スコアおよびテクスチャスコアが使用され得る。例えば、局所類似性スコアがＰＳＮＲベースであって、ＰＳＮＲスコアが、例えば０．９５などの特定閾値を上回る場合、分散比の許容範囲は、［０．８，１．１］（閾値未満のＰＳＮＲスコアに対して使用される）から［０．６，１，４］まで広げることができ、各方向に約２５％多くの柔軟性を提供し得る。上述の例は、局所類似性、テクスチャおよびブロックノイズスコアのうちの任意の２つまたは３つ全ての間に、どのように用途に適した相乗効果が提供され得るかの可能な一例にすぎないことを理解されたい。
一般に、圧縮が、異なる画像ブロックに対して異なる深さまで実行される、特定のＨ．２６４用途などの用途に対しては、ＱＰ（量子化パラメーター）またはＤＣＴ閾値が各ブロックに対して別個に判断され得るように、画像レベルの品質尺度ではなく局所品質スコアが望ましい。図５〜図７は、本発明の特定の実施形態により、局所類似性スコア、ブロックノイズスコアおよびテクスチャ歪みスコアの全てまたはいくつかがブロックレベルで計算される図１の知覚的に可逆な圧縮方法に関する変形形態の簡略化した概ね自明の流れ図である。図５のステップ４５０では、特に、スコアは、いくつかの実施形態により、任意のイベントで局所的に計算され得るため、例えば、スコアをプールし、全体画像または全体画像の一部に対する大域ＱＰ（量子化パラメーター）を判断する代わりに、各領域に対して局所ＱＰが使用される。タイルレベルのスコアが局所操作に使用され得る。
より一般的に、再圧縮システムのいくつかの操作モードの１つであり得る、本発明の一実施形態によれば、品質尺度が２つの完全な画像間で計算され得る。例えば、品質スコアが領域ごとに計算され得、全体画像に対する単一の品質スコアを生成するため、その結果がプールされ得る。同じシステムの第２の２つまたは数個のモードとして実施され得る、本発明の別の実施形態は、局所適応の再圧縮方法を実行するものであり、その圧縮では、品質尺度が各領域で評価され、圧縮パラメーターが各領域に対して別々に設定される。これは、例えば、Ｈ．２６４符号化でＱＰパラメーターを使用して、またはＪＰＥ符号化でＤＣＴ係数のゼロ化もしくは閾値化によって、実施され得る。
図５のステップ４５０では、特に、スコアは、いくつかの実施形態により、任意のイベントで局所的に計算され得るため、例えば、スコアをプールし、全体画像または全体画像の一部に対する大域ＱＰ（量子化パラメーター）を判断する代わりに、各領域に対して局所ＱＰが使用される。タイトルレベルのスコアが局所操作に使用され得る。後述のように、各局所画像領域に対して異なる品質が要求される方法で、ＤＣＴ係数の閾値を局所的に変更することにより、局所適応ＪＰＥＧ圧縮が実施され得る。
例えば、ＤＣＴの閾値を局所的に変化させることは、ＭＱＦ（修正品質係数）行列Ｍの作成を含み得、その行列は各タイルに対するＭＱＦ値を保持する。図２１は、本発明のいくつかの実施形態の一部として、局所適応ＪＰＥＧ圧縮プロセスの一部として使用される行列Ｍ（ｉ，ｊ）の値を設定するプロセスの流れ図である。いくつかの実施形態により、例として、ステップ２１１０で、行列Ｍ（ｉ，ｊ）の値を設定するプロセスの一部として、初期ＭＱＦ値が設定される。さらに別の例として、第１タイルについて、初期ＭＱＦ値がデフォルト値（例えば、約６５）に設定される。かかる値は、参照画像に対して、最小数の繰返しとなる最良初期ＭＱＦ値を判断するために、多数の画像で統計的分析を実行することにより、または、単にデフォルト値、つまりミッドレンジ値を使用することにより、選択され得る。さらに別の例として、後続のタイルで、初期ＭＱＦ値が、現在のタイルの真上および左側のタイル（第１行のタイルに対しては、左側のタイルだけが使用され、第１列のタイルに対しては、真上のタイルだけが使用される）のＭＱＦ値の平均に設定される。
その後、図２０Ａ〜図２０Ｂを参照して後述する符号化に類似する、異なるＭＱＦ値をもつ画像の反復符号化が、大域ＭＱＦ方法で使用されるのと異なり得る、目標とする品質範囲に、品質が入るまで実行され、Ｍ（ｉ，ｊ）の値がこのプロセスを通して達するＭＱＦに設定される。
一度このプロセスが全画像タイルに対して実行されると、各タイルに対する局所ＭＱＦ値を保持する完全な行列Ｍが取得される。いくつかの実施形態では、タイルグリッドのエッジ上の値をタイルサイズより小さいエッジブロックまで拡張することにより、画像内の全てのブロックをカバーするように行列をパディングし、それにより、各８×８ブロックに対してＭＱＦ値を提供するように、パディング操作が実施され得る。
次に、最高量子化行列Ｑｍａｘが計算され得る。最高量子化行列Ｑｍａｘは、図１９に関して本明細書に示しかつ記載するプロセスを使用して、最高のＭＱＦ値（ｍａｘ（Ｍ））に対応し得る。この量子化行列は、ＪＰＥＧファイル自体に格納され得る。
ＤＣＴ係数の量子化を実行するためにＱｍａｘが使用され得るが、局所ＭＱＦに対応する量子化行列が使用された場合ゼロであった任意の係数を閾値化（ＤＣＴ係数を閾値に制限する）またはゼロにする。図２２は、本発明のいくつかの実施形態の一部として実施され得る、各８×８のＤＣＴブロックに対する適応閾値をもつ量子化プロセスの流れ図である。図２１の説明に従って取得される、各タイルに対して提案されたＭＱＦ値を保持する行列Ｍが、各タイルで適切な閾値化を実行するために使用される。その後、各８×８のＤＣＴブロックに対して、１回は最大ＭＱＦ値から導出された量子化行列を使用して（ステップ２２１０のブロック１）、１回はＤＣＴブロックが属するタイルについて対応するＭＱＦ値を使用して（ステップ２２３０のブロック２）、２つの量子化プロセスが実行される。そして、画像で対応する８×８領域を表す量子化ＤＣＴ係数の最終８×８のセットを取得するため、ステップ２２４０で、Ｑｍａｘ（ブロック１）を用いて量子化された８×８ブロックでのＤＣＴ値が閾値化される（閾値を上回る場合、閾値に設定される）か、または、局所ＭＱＦを用いて量子化されたＤＣＴ値がゼロ（ブロック２）の位置でゼロに設定される。これは、言うまでもなく、再圧縮画像で、各８×８のＤＣＴブロックに対して繰り返される。
図３７ａ〜図３７ｇは、本発明の特定の実施形態による局所ゼロ化ＤＣＴ係数の例を示す。一例として、解像度１９４４×２５９２ピクセルをもつ画像が入力画像として使用される。この画像は、本明細書で説明した局所適応の圧縮を実行するために、それぞれが２５６×２５６ピクセルのタイルに分割されて、完全な７行の完全な１０タイルになる。図３７ａは、例として、各タイルに対して判断されたＭＱＦ値を示す。
最高量子化表に対応する、図３７ａに示す量列例Ｍ（ｉ，ｊ）の最大ＭＱＦ値は、６８（図３７ａの右下の隅に配置されている）である。従って、画像全体が、値６８のＭＱＦ値に基づいて計算された量子化行列を使用して量子化される。この量子化表の値は、図３７ｂに示されている。
ここで、例えば、図３７ａの右下隅のタイルの左側に隣接したタイルを参照すると、そのタイルは５１のＭＱＦ値をもつ。ＭＱＦ値５１に対応する量子化行列が図３７ｃに示されている。
ここで、例として、ＭＱＦ値が５１のタイルにある８×８ピクセルのブロックを参照されたい。かかるブロックのピクセル値の例を図３７ｄに示す。図３７ｅは、図３７ｄのピクセルのＤＣＴ変換を、図３７ｂ（ＭＱＦ＝６８）の量子化行列を使用して量子化した後の量子化ＤＣＴ係数を示す。
図３７ｆは、図３７ｄのピクセルのＤＣＴ変換を、図３７ｃ（ＭＱＦ＝５１）の量子化行列を使用して量子化した後の量子化ＤＣＴ係数を示す。これらは、図３７ｃ（ＭＱＦ＝５１）の粗い量子化行列が使用された場合に受け取られていたであろう係数である。
最後に、図３７ｅのＤＣＴ係数行列が取得され、図３７ｆの行列で、対応する値がゼロのどの係数もゼロに設定され、図３７ｇのＤＣＴ係数行列が得られる。ゼロに設定されたＤＣＴ係数を太字で示す。このプロセスは、ＭＱＦ値を５１にすべきタイルの全ての８×８ピクセルのブロックに適用される。このようにして、たとえ画像の「大域」量子化行列が６８の高いＭＱＦ値を有していても、５１の低い局所ＭＱＦ値がこのタイルでシミュレーションされ得る。
いくつかの実施形態によれば、図２２に示すプロセスは、輝度チャンネルのみについて実行され得、クロマチャンネルはＱｍａｘを使用して量子化され得るか、またはそのプロセスは、輝度チャンネルおよびクロマチャンネルの両方について実行され得る。
いくつかの実施形態の一部として実施され得る別の可能なＤＣＴ係数の修正は、ＤＣＴ係数を、Ｍ（ｉ，ｊ）から導出された粗い量子化行列を用いた際、達したであろうレベルまで丸めること、すなわち、Ｍ（ｉ，ｊ）から導出された量子化行列を用いてそれらが達したであろう同じ量子化誤差を取得するために、非ゼロＤＣＴ値を丸めることを含む。
局所適応のＪＰＥＧ圧縮に関連する本発明のいくつかの実施形態を説明してきたが、ここで、本発明のいくつかの実施形態により、局所的または大域的なスコアリングに使用され得る品質スコア計算のためのさらに別のブロックベースのアプローチについて説明する。図６のステップ５２０では、品質スコア計算のためのブロックベースまたはタイルベースのアプローチが採用され得る。ブロックまたはタイルのサイズは、入力画像のサイズによって決まり得る。例えば、特定の事前定義した画像サイズ範囲が提供され、事前定義した各画像サイズに対して、それぞれのブロックサイズが提供され得る。例として、ブロックまたはタイルのサイズは、サイズが０．２５メガピクセル未満の小さい画像に対しては３２×３２に設定され、サイズが０．２５〜１メガピクセルの中間の画像に対しては６４×６４に、また、サイズが１メガピクセルを上回る大きい画像に対しては１２８×１２８に設定される。場合により、滑らかな領域で品質スコア値を人為的に低くする滑らかな領域ペナルティをもつ、品質スコア値は、通常、ブロックまたはタイル内の各ピクセルに対して計算され、その後、１組のタイルスコアを得るために、ブロックまたはタイルについて平均化される。これらは、全体画像または全体画像の一部に対して、例えば、最低スコアｍｉｎ｛ｔｉｌｅｓｃｏｒｅｓ｝をとるか、または次の式：
０．５＊（｛ｍｉｎ｛ｔｉｌｅｓｃｏｒｅｓ｝＋ａｖｇ｛ｔｉｌｅｓｃｏｒｅｓ｝） （式７）
（最悪ブロックと元の大域品質スコアとの平均に等しい）
で、最低スコアをスコアの平均と平均化することにより、単一の総合誤差に適切にプールされる。
それ故、総合スコア計算を取得するために、ブロックスコアの組み合わせが次のように実行される：各タイルについて計算した局所スコアをもつ、Ｉ×Ｊの２次元タイルスコアの配列ＴｉｌｅＳｃｏｒｅ［ｉ］［ｊ］を仮定する。各タイルに対する単一のスコアは、そのタイルに対する上述の３つの品質スコア要素値（例えば、局所類似性スコア、ブロックノイズスコア、およびテクスチャ歪みスコア）を乗じることによって取得され得る。その後、総合スコアが次の方法のうちの１つを使用して計算され得る：
Figure 0005844263
式中、重みｗ（ｉ，ｊ）およびノルム係数ｐは、事前定義されている。
さらに別の例として、ここで提供するもう１つ別の可能性は、ＰＳＮＲベースのスコアを保持する配列、ブロックノイズスコアを保持する配列およびテクスチャスコアを保持する配列の、３つの２次元配列を維持することである。その後、上述した案の１つを使用して各尺度に対する大域スコアを取得し、その取得した３つのスコアを、それらを乗じることにより、最終スコアに組み合わせる。
ここで、図３で示す、ブロックノイズスコアの計算方法を実行するのに有用な計算例について説明する。この例では、説明を簡単にするため、４×４の画像ブロックが使用されている。図１４Ａおよび図１４Ｂは、それぞれ、元の画像（入力画像）における２つの隣接する４×４ピクセルのブロック内、および再圧縮画像における２つの対応する４×４ピクセルのブロック内の輝度ピクセル値の例である。
図３のステップ２１０では、圧縮画像のピクセル値を元の画像のピクセル値から減算する（図１４Ａの値を図１４Ｂの値から減算する）ことにより、図１４Ｃの差分画像：ｉｍＤｉｆｆを計算する。
次のステップ（図示せず）が、例えば、ステップ２１０の後に随意に提供され得る：
ａ：ｉｍＤｉｆｆ上で、例えば、ＪＰＥＧからＨ．２６４への再圧縮用途に対して、４×４グリッドを実行し、例えば、ＪＰＥＧからＪＰＥＧへの再圧縮用途に対して、８×８グリッドを実行し、水平または垂直ブロックエッジ上の各ポイントに対して、エッジの存在を確認する。
ｂ：各ブロックエッジについて、各ブロックエッジに沿って追加されたアーチファクト性エッジの程度を示す、各追加のブロックノイズスコアを計算する。
ｃ：エッジが存在する位置に１を、存在しない位置に０を含む、二次元のエッジマップｅｄｇｅＶａｌｕｅｓを生成する。
特定の実施形態によれば、図３のステップ２２０で、ｉｍＤｉｆｆ上で、例えば、ＪＰＥＧからＨ．２６４への再圧縮用途に対して、４×４グリッドを実行し、例えば、ＪＰＥＧからＪＰＥＧへの再圧縮用途に対して、８×８グリッドを実行し、また、垂直エッジ（この例では、２つのブロックが垂直に隣接している）上の各ポイントに対して、エッジに渡る差異と、エッジの両側での差異の合計との間のエッジ検出率を計算する。第１行に対する次の式で、例を示すが、他の行も同様である：
Figure 0005844263
これにより、次が得られる：
ＥｄｇｅＲａｔｉｏ１＝｜３−２５｜／（｜（１−３｜＋｜２５−２４）｜）＝２２／（２＋１）＝７．３３
ＥｄｇｅＲａｔｉｏ２＝｜０−２｜／｜（（−２３）−０）｜＋｜２−７）｜）＝２／（２３＋５）＝０．０７
ＥｄｇｅＲａｔｉｏ３＝｜５−３２｜／（｜３−５｜＋｜３２−２８）｜）＝２７／（２＋４）＝４．５
ＥｄｇｅＲａｔｉｏ４＝｜（−１０）−１３｜／（｜−２１−（−１０）｜＋｜１３−７）｜）＝２３／（３１＋６）＝０．６２
例えば、閾値が３の場合、ＥｄｇｅＲａｔｉｏ１およびＥｄｇｅＲａｔｉｏ３は、閾値を上回り、ＥｄｇｅＲａｔｉｏ２およびＥｄｇｅＲａｔｉｏ４は、閾値未満である。それ故、この例のｅｄｇｅＶａｌｕｅｓマップは、図１５に示すとおりである。
図３のステップ２３０では、大域ブロックノイズスコアが［１−ａｖｅｒａｇｅ（ｅｄｇｅＶａｌｕｅｓ）］として計算される。画像におけるブロックがこれら２つだけと仮定すると、ａｖｅｒａｇｅ（ｅｄｇｅＶａｌｕｅｓ）は（１＋０＋１＋０）／４＝０．５であるため、この画像の大域スコアは０．５となる。
ここで、図４のテクスチャ歪みスコアの計算方法を実行するのに有用な計算例について説明する。次の例では、４×４ブロックの輝度ピクセルに対する分散（テクスチャ歪み）尺度が計算される。図１６Ａおよび図１６Ｂは、それぞれ、元の画像（入力画像）における４×４ブロック内、および再圧縮画像における対応する４×４ブロック内の輝度ピクセル値の例である。
図４のステップ３１０で、次の式を使用して、各ブロックの平均が計算される：
Ｂの平均、値Ｂ［ｉ］［ｊ］（ｉ＝１，．．．，Ｎ、ｊ＝１，．．．Ｎ）のＮ×Ｎブロックが、
Figure 0005844263
によって与えられ、
平均（オリジナル）＝１３３２／１６＝８３．２５
平均（再圧縮後）＝１２１１／１６＝７５．６９
である。
次に、各値から平均を減算し、それぞれ、図１７Ａおよび１７Ｂに示すように、元の画像ブロックおよび再圧縮画像ブロックに対する正規化値を取得するため、この差の絶対値を取る。
最後に、次の式を使用して、図１７Ａおよび１７Ｂの各ブロックの分散を計算する：
Ｂの分散、値Ｂ［ｉ］［ｊ］（ｉ＝１，．．．，Ｎ、ｊ＝１，．．．Ｎ）のＮ×Ｎブロックが、
Figure 0005844263
として計算され、
Ｖ１＝分散（オリジナル）＝２１９．５／１６＝１３．７２
Ｖ２＝分散（再圧縮後）＝１９７／１６＝１２．３１
である。
図４のステップ３２０で、分散比（Ｖ１／Ｖ２）は、１３．７２／１２．３１＝１．１１である。事前定義した範囲が［０．８，１．２］であれば、分散比１．１１は範囲内にあるので、このブロックに対するテクスチャ歪みスコアが０に設定される。他方、図３５および３６に示す例では、同じ計算で平均（再圧縮後Ｂ）＝１２９３／１６＝８０．８１が得られ、従って、図１７Ｂに示す、減算された値の絶対平均が得られる。その後、これの値は、分散の計算に使用され、Ｖ２Ｂ＝分散（再圧縮後Ｂ）＝１６５．４／１６＝１０．３４となる。
したがって、分散比（Ｖ１／Ｖ２Ｂ）は１．３であり、これは、上述の事前定義した範囲外であり、したがって、このブロックに対するテクスチャ歪みが１に設定される。図１〜図１０を参照して本明細書で説明した知覚的品質尺度は、次のような幅広い種類の再圧縮用途をもつが、それらに限定されないことを理解されたい：
（ａ）ＪＰＥＧからＨ．２６４への再圧縮用途、例えば、２００９年１０月５日に出願され、「Ａ ｍｅｔｈｏｄ ａｎｄ ｓｙｓｔｅｍ ｆｏｒ ｐｒｏｃｅｓｓｉｎｇ ａｎ ｉｍａｇｅ」という名称の、出願者の同時係属米国仮出願第６１／２４８，５２１号に示されかつ記載されているものがあるが、これに限定されず、その技術が、本発明の特定の実施形態により適合され得る。
（ｂ）ＪＰＥＧからＪＰＥＧへの再圧縮用途、例えば、図１２に関して本明細書で後述するものがあるが、これに限定されない。
（ｃ）ＤＣＴまたは類似の変換を使用したブロックベースの符号化スキームを伴う他の再圧縮。
図１〜図１０の方法で、ＪＰＥＧおよびＨ．２６４画像からＪＰＥＧおよびＨ．２６４形式への再圧縮の評価、ならびに、本明細書に示しかつ記載する方法およびシステムに対して適用可能なほど、ＪＰＥＧおよびＨ．２６４に十分に類似したフォーマットの再圧縮およびかかるフォーマットへの再圧縮の評価に適した知覚的品質尺度が提供されることを理解されたい。例えば、本明細書に示しかつ記載する方法およびシステムは、Ｈ．２６４と同一ではないが、Ｈ．２６４と共通する関連機能を有するフォーマットに適用でき得る。
さらに別の実施形態では、入力画像は、再圧縮の前に、異なる解像度にサイズ変更され、前記異なる解像度の再圧縮画像を取得するために再圧縮され得る。
さらに別の実施形態では、入力画像は再圧縮され得、その再圧縮画像は、前記異なる解像度の再圧縮画像を取得するために、再圧縮後に異なる解像度にサイズ変更され得る。
いくつかの実施形態では、画像が圧縮の前または後にサイズ変更される場合、観察者は、入力画像と出力画像が直接比較できないとき、主観的品質におけるより大きな損失を許容し得るため、目標の品質範囲が減少され得る。
図１２は、本発明の特定の実施形態により、また、品質係数（ＱＦ）を使用するスケーリングによって先行画像の量子化行列から生成された量子化行列を使用して稼働する、画像の再圧縮のための方法の簡略化した流れ図である。通常、初期ＱＦが、図１の方法により、最初の再圧縮反復に対して採用され、知覚的品質尺度が計算される。その尺度が目標の品質間隔範囲に入る場合、初期ＱＦは満足できると判断される。尺度が間隔を上回る場合、品質は必要以上に良く、ＱＦは通常、よりコンパクトな再圧縮を得るために減らされる。尺度が間隔を下回る場合は、必要以下の品質であり、ＱＦは通常、再圧縮のコンパクトさを犠牲にして増やされる。その間隔は、後述のように設定されているが、限定する意図のない、数値例をもつ、１組のテスト画像の主観的評価によって得られる。
ここで、図１２のステップ１０５０のための品質係数（ＱＦ）を得るための方法について、図１３Ａ〜図１３Ｂを参照して説明する。その方法は、反復型で、通常、最適なＪＰＥＧ品質係数を見出し、知覚尺度の性能を評価する。図１３Ａ〜図１３Ｂの方法では、複雑さを軽減するため、品質係数が整数値に限定されるが、そうである必要はないことを理解されたい。再圧縮画像の品質は、本明細書に記載するＪＰＥＧ品質スコアを使用して評価され得る。閾値は、０．０５の許容範囲で０．５に設定され得、すなわち、［０．４５，０．５５］の範囲内の品質スコアを提供する画像が受け入れられ、さらなる再圧縮の繰返しは実行しない。画像が再圧縮の前または後にサイズ変更される場合、閾値は、０．０５の許容範囲で０．４２５に削減され得、すなわち、［０．４，０．４５］の範囲内の品質スコアを提供する画像が受け入れられ、さらなる再圧縮の繰返しは実行しない。入力画像がｒａｗ（未圧縮）フォーマットの場合、閾値が０．０５の許容範囲で０．６５に増加され得、すなわち、［０．６，０．７］の範囲内の品質スコアを提供する画像が受け入れられ、さらなる再圧縮の繰返しは実行しない。目標のＱＦ（品質係数）は、図１３Ａ〜図１３Ｂに示すように、反復型の二分法アプローチを使用して得られ得る。図１３Ｂに示すように、初期化は、例えば、目標品質：ｑｕａｌＴｇｔ（＝０．５）、および品質の許容範囲：ｑｕａｌＴｏｌ（０．０５）などの品質閾値を含み得る。最低および最高の許容ＱＦ値、例えば、ｍｉｎＱＦおよびｍａｘＱＦが設定され、また、図１２のステップ１０２０で使用される品質係数に対する初期推測、ＱＦｎｅｘｔが設定される。可能な値は：ｍｉｎＱＦ＝６０、ｍａｘＱＦ＝９８、ＱＦｎｅｘｔ＝８０である。初期化の後、画像がＱＦ＝ＱＦｎｅｔを用いて符号化される。取得した画像品質：ｑｕａｌＳｃｏｒｅを計算する。
｜ｑｕａｌＳｃｏｒｅ−ｑｕａｌＴｇｔ｜＜ｑｕａｌＴｏｌ（または最大許容繰返し回数に達した）の場合、Ｔａｒｇｅｔ ＱＦ＝ＱＦで、プロセスが終了する。（ｍａｘＱＦ−ｍｉｎＱＦ＝＝１）、すなわち、目標のＱＦが単一整数の範囲内で見つかった場合、ＱＦｎｅｘｔ＝ｍａｘＱＦ、ｍｉｎＱＦ＝ｍａｘＱＦ（これが最後の繰返しであることを確実にするため）で、プロセスが画像符号化に戻る。（ｍａｘＱＦ＝＝ｍｉｎＱＦ）、すなわち目標のＱＦが見つかった場合、Ｔａｒｇｅｔ ＱＦ＝ＱＦで、プロセスが終了する。ｑｕａｌＳｃｏｒｅ＜ｑｕａｌＴｇｔの場合、ｍｉｎＱＦ＝ＱＦ、ＱＦｎｅｘｔ＝ＱＦ＋ｍｉｎ（ｒｏｕｎｄ（０．５＊（ｍａｘＱＦ−ＱＦ）），５）である。そうでない場合、ｍａｘＱＦ＝ＱＦ、ＱＦｎｅｘｔ＝ＱＦ＋ｍｉｎ（ｒｏｕｎｄ（０．５＊（ＱＦ−ｍｉｎＱＦ）），５）である。ここで、プロセスが画像符号化に戻る。
図１３Ａ〜図１３Ｂのプロセスは、二分法検索（ｂｉ−ｓｅｃｔｉｏｎ ｓｅａｒｃｈ）の一例であり、この検索では、ＱＦに対する初期の許容範囲が決定され、各段階で、目標点が位置する「有効な」部分が二分される。次の特徴が提供され得るか、または提供され得ない：収束を確実にするための予防、すなわち、繰返しの最大回数の制限および目標ＱＦの単一整数の範囲への限定（図１３Ａのステップ１１３０）が追加され得る。目標ＱＦは、一般に、エッジ値よりも８０に近いことが予期されるで、初期の繰返しにおいて、目標点を「踏み越える（ｏｖｅｒ−ｓｔｅｐ）」のを回避するために、ステップ幅が５に制限され得る。時々、反復プロセス中に、同じＱＦ値が二度以上、検査される。複雑さを軽減するため、検査済みのＱＦ値および取得した品質の組が、必要に応じて再使用するために保存され得る。
本明細書で説明した反復型の二分法検索アプローチに加えて、最適なＱＦ値検索のもう１つ別の可能な方法は、割線法である。割線法は、例えば、次の式に従い、２つの最後の点を使用して、評価のための次の提案点を見つける：
Figure 0005844263
式中、ｘｎ＋１は次の点であり、ｘｎおよびｘｎ−１は最後の２つの点であり、ｆ（ｘｎ）はＱＦ値ｘｎにおける品質スコア−目標品質スコア（例えば０．５）である。
元の割線法は収束を加速し得るが、ルートがひとまとめにされない場合、すなわち、２つの以前の点が、所望の解の両側ではなく同じ側にある場合、うまく二分しない。そのため、別の可能な検索方法は、修正割線法（「挟み撃ち」法とも呼ばれる）であり、その方法では、目標点が角括弧で囲まれていると、すなわち、ＱＦ点に対する品質値がその両側にあれば、割線法が一度だけ適用される。さらに、結果が、ＱＦ値の許容範囲内に位置するように固定され得る。したがって、ＱＦの反復検索プロセスは二分法検索方法を用いて開始し得、目標範囲を上回る品質スコアの１つの点と、目標範囲未満の値をもつ品質スコアの１つの点の、２つの点を取得すると、次の点を見つけるために、割線法が使用される。加えて、新しい提案ＱＦ値が以前の値に極めて近い場合は、収束を加速する二分法検索がその状況に対して使用される。
さらに別の例では、ＪＰＥＧ規格に見られるデフォルトの量子化行列を一様にスケーリングするためにスケーリング係数が使用され、その後、スケーリングされたデフォルトの量子化行列と元のＪＰＥＧ画像の量子化行列との間で、単純な、または重み付けされた平均が計算される。通常、プロセス内の追加ステップが、新しい量子化行列内の各値が、元の画像の量子化行列内の対応値よりも決して小さくないことを確実にする。
図３２ａは、一例として、本発明の特定の実施形態により、また、先行画像の量子化行列と、例えば、ＪＰＥＧ規格で規定されているようなデフォルトの量子化行列などの第２の量子化行列とを組み合わせることにより生成された量子化行列を使用して稼働する、画像の再圧縮のためのシステムを示すブロック図である。
ここで、図２３を参照されたい。いくつかの再圧縮実施形態によれば、再圧縮する第１の画像から導出された第１の量子化行列が、ＭＱＦ（修正品質係数）と呼ばれる係数を使用してスケーリングされる第２の量子化行列と組み合わされ、再圧縮の実行に使用される「追加の量子化行列」を取得するために、第１の行列およびスケーリングされた第２の行列が組み合わされる。
独立した素ブロックレベルの圧縮に使用される、新しい量子化行列は、少なくとも１つの第２の量子化行列を少なくとも１つのスケーリング係数でスケーリングすることにより生成され、それにより少なくとも１つのスケーリングされた行列を提供し得、その後、少なくとも１つの追加の量子化行列を、前記少なくとも１つのスケーリングされた行列と少なくとも１つの第１の量子化行列との加重平均として計算する。加重平均は、次によって計算され得る：
ａ．第１加重要素を生成するために、少なくとも１つのスケーリングされた量子化行列内の各エントリを、少なくとも１つの重み行列（各エントリが０〜１の間の値を含む）の対応するエントリで乗じる
ｂ．第２加重要素を生成するため、少なくとも１つの第１の量子化行列内の各エントリを、少なくとも１つの重み行列の対応エントリの値を１から引いた値によって乗じる
ｃ．第１加重要素を第２加重要素に加算して、少なくとも１つの追加量子化行列の要素値の加重平均を得る。
図２３は、例えば、図のように、適切に順序付けられたステップの一部または全てを含み得る、本発明の特定の実施形態により構築され稼働する再圧縮方法の簡略化した流れ図である。ステップ２３６０は、本明細書で詳細に説明するように、行列の組み合わせによる量子化行列の計算を含み得るか、またはその計算に使用され得る。
ＭＱＦの１００は、通常、ＪＰＥＧが提供し得る最高の再圧縮品質および、それ故、最低の再圧縮に対応する。ＭＱＦの１は、通常、最低のＪＰＥＧ再圧縮品質および、それ故、最高の再圧縮に対応する。実際上、ＭＱＦ ９０が、多くの用途で非常に良い品質の再圧縮と見なされる。
再圧縮の深さは量子化行列の値の大きさに関連するため、通常、ＭＱＦ値が高ければ、それだけ再圧縮品質が高くなり、かつ、取得する圧縮が少なくなるかまたは低くなるという点において、ＭＱＦ値は、再圧縮の深さを制御またはスケーリングする。
２つの量子化行列の組み合わせである量子化行列を使用することの特定の利点は、かかる第１の行列が、再圧縮画像での、例えば、特定のブロックノイズまたはテクスチャをもつ、「特別な領域」に対する特定の適合性を含め、再圧縮する画像に特定的であり得る一方、かかる第２の行列は、一般に、画像の総合的な「集団（ｐｏｐｕｌａｔｉｏｎ）」に対するＪＰＥＧ圧縮の前後での知覚的類似性を提供するために設計された標準のＪＰＥＧ行列であり得る、ということである。この２つの単純な、または重み付けされた平均が、知覚的劣化の少ない、優れた圧縮をもたらす。
例えば、ここで、図１８を参照すると、これは、本発明の特定の実施形態により、また、先行画像の量子化行列と、例えば、ＪＰＥＧ規格で規定されているようなデフォルトの量子化行列などの第２の量子化行列とを組み合わせることにより生成された量子化行列を使用して稼働する、画像の再圧縮のための方法の一例の簡略化した流れ図である。図１８の方法は、通常、例えば、図のように、適切に順序付けられた次のステップの一部または全てを含む：
ステップ１８１０：関連する少なくとも１つの第１の量子化行列をもち、先行画像での素ブロックの独立符号化によって生成された、第１の画像を提供する。
ステップ１８２０：新しい量子化行列を、修正品質係数（ＭＱＦ）から導出されたスケーリング係数を使用して、例えば、デフォルトのＪＰＥＧ量子化行列などの第２の量子化行列をスケーリングすることにより生成し、その新しい量子化行列を、例えば、図１９のように、加重平均化を使用して、入力ＪＰＥＧ画像の量子化行列と組み合わせる。
ステップ１８３０：ステップ１８２０で計算した新しい量子化行列を、第１の画像の暫定的な独立した素ブロックレベルの圧縮のために使用し、それにより、再圧縮した第２の画像を生じる。
ステップ１８４０：例えば、図１〜図１０に関連して本明細書で説明した品質尺度のいくつかまたは全て、および本明細書で開示する、それら品質基準の変形を使用して、暫定圧縮のための品質尺度を計算する。
ステップ１８５０：品質尺度を使用して計算した値が目標の品質間隔の範囲に含まれる場合は、現在の再圧縮した第２の画像を出力し、そうでない場合には、例えば、図２０Ａ〜図２０Ｂの方法を用いて計算され得、また、スケーリング係数に対して、品質尺度がテクスチャ変化尺度間隔の一方の側の側または別の側に位置する場合にそれぞれ初期値より大きいかまたは小さい、後続のＭＱＦ値を使用する。
図３３および図１９は、本発明の特定の実施形態により、図１８のステップ１８２０で加重平均化を実行するための方法例の簡略化した流れ図である。図１９の方法は、通常、例えば、図のように、適切に順序付けられた次のステップの一部または全てを含む：
ステップ１９１０：ＱＯｉｊ（ｉ，ｊ＝１．．８）は、元の画像の量子化行列である。
ＱＤｉｊ（ｉ，ｊ＝１．．８）は、第２の量子化行列であり、例えば、ＪＰＥＧ規格に記載されているデフォルトの量子化行列、画像に対して計算された最適ＪＰＥＧ量子化行列、元の画像の量子化行列、または画像の符号化用に選択された他の第２の量子化行列などである。
ＭＱＦは、再圧縮の現在の繰返しで使用される修正品質係数であり、図２０Ａおよび図２０Ｂに関連して本明細書に記載のとおり計算され得る。
ステップ１９１５：第２の量子化行列ＱＤｉｊのスケーリングに使用されるスケーリングパラメーターのＳを、次のように計算する：
ＱＦ＜５０の場合、Ｓ＝（５０００／ＱＦ）／１００
そうでない場合、 Ｓ＝（２００−２＊ＱＦ）／１００
ステップ１９２０：スケーリングされた量子化行列ＱＳｉｊ（ｉ，ｊ＝１．．８）を次のように計算する：
ＱＳｉｊ＝Ｓ＊ＱＤｉｊ（ｉ，ｊ＝１．．８）
ステップ１９３０：再構築した画像の一時的量子化行列ＱＴｉｊ（ｉ，ｊ＝１．．８）を次のように生成する：
ＱＴｉｊ＝Ｗｉｊ＊ＱＳｉｊ＋（１−Ｗｉｊ）＊ＱＯｉｊ（ｉ，ｊ＝１．．８）
ここで、Ｗｉｊ（ｉ，ｊ＝１．．８）は、０〜１の間の値をもつ、重み行列とする。
ステップ１９４０：再構築した画像の量子化行列ＱＲｉｊ（ｉ，ｊ＝１．．８）を次のように生成する：
ＱＴｉｊ＞＝ＱＯｉｊの場合、ＱＲｉｊ＝ＱＴｉｊ
そうでない場合、ＱＲｉｊ＝ＱＯｉｊ
全てのｉ，ｊに対してＷｉｊ＝０．５である場合、新しい量子化行列は、スケーリングされた量子化行列と元の量子化行列の平均である。通常、パラメーターＳは、再圧縮の繰返し中に唯一変わる：すなわち、Ｓは、各繰返しで変わり、その後ＱＲが計算され、ＱＲを用いて新しい画像が圧縮され、その新しい画像の画像品質が、通常、例えば、本明細書で開示する任意の品質尺度および本明細書で開示するそのＪＰＥＧ品質スコアの任意の変形例を含む、知覚的画像品質尺度を採用して評価され、そして、符号化が終了するか、または別の新しい画像が新しいＳパラメーターを使用して再符号化される。
図３９ａ〜図３９ｄは、本発明の特定の実施形態により、新規の量子化行列生成を実行するための方法の一例を示す。図３９ａは、例として、入力ＪＰＥＧ画像の量子化行列を示す。図３９ｂは、事前選択した量子化行列を示す。図３９ｃは、例として、ＭＱＦ値９０から導出された、０．２のスケーリング係数を使用した、図３９ｂの行列のスケーリング版を示す。図３９ｄは、例として、図３９ｃの行列を図３９ａの行列と平均化し、結果として生じた値を入力量子化行列の値に制限することにより作成された量子化行列を示す。
図３８ａ〜図３８ｇは、例として、デフォルトの量子化行列のスケーリング版のみの使用ではなく、入力量子化行列をデフォルト行列のスケーリング版と平均化することによる新規の量子化行列生成を実行するための本明細書で説明する方法の利点を図示説明する。
図３８ａは、元のＪＰＥＧ画像の量子化行列の一例を示す。図３９ｂは、例として、画像内の単一の８×８ブロックの量子化ＤＣＴ係数を示す。図３８ｃは、例として、図３８ｂのブロックの再構築したピクセル値を示す。
この例では、目的は、約８２の品質係数をもつ画像を再符号化することであると仮定する。図３８ｄは、デフォルトのＪＰＥＧ量子化行列を、８２のＱＦに対応するスケーリング係数を使用してスケーリングすることにより得られた量子化行列を示す。図３８ｅは、ＤＣＴ、図３８ｄの量子化行列を使用した量子化、逆量子化および逆ＤＣＴ後に再構築されたピクセルを示す。
図３８ｆは、例として、図３８ｄの量子化行列とほぼ同様の品質係数をもつが、本発明の量子化行列生成方法の一例により、デフォルト行列のスケーリング版を元の量子化行列と平均化し、制限することにより作成された、量子化行列を示す。図３８ｇは、例として、ＤＣＴ、図３８ｆの量子化行列を使用した量子化、逆量子化および逆ＤＣＴ後に再構築されたピクセルを示す。
図３８ｅの再構築したピクセルと図３８ｃの元の再構築したピクセルとの間の平均平方誤差を計算すると、値１５．８４が得られる。図３８ｇの再構築したピクセルと図３８ｃの元の再構築したピクセルとの間の平均平方誤差を計算すると、値１．８５が得られる。これらの値の差は、本明細書に記載する、新しい量子化行列を生成する方法を使用すると、量子化行列を生成するための標準的な方法を使用するよりも元の画像に近い画像が得られることを示す。
ここで、図２０Ａ〜図２０Ｂを参照して、図１８のステップ１８５０のための修正品質係数（ＭＱＦ）を見つけるための反復型の方法について説明する。例として、通常、最適化ＭＱＦが取得され、知覚尺度の性能が評価される。図２０Ａ〜図２０Ｂの方法では、複雑さを軽減するため、品質係数は整数値に限定されるが、そうである必要はないことを理解されたい。再圧縮画像の品質は、本明細書に記載するＪＰＥＧ品質スコアを使用して評価され得る。例えば、閾値は、０．０５の許容範囲で０．５に設定され得、すなわち、［０．４５，０．５５］の範囲内の品質スコアを提供する画像が受け入れられ、さらなる再圧縮の繰返しは実行しない。
画像内の各タイルの符号化に異なる品質が使用される局所適応再圧縮を使用する場合、総合スコアが最悪の動作のタイルとタイルの平均スコアとの平均であるため、目標品質が、例えば、約０．０５の許容範囲の約０．４５などの低い範囲に設定され得る。画像が再圧縮の前または後にサイズ変更される場合、異なる解像度をもつ画像内のアーチファクトをエンドユーザーが視覚的に比較および検出するのはより困難であるため、閾値は、０．０２５の許容範囲で０．４２５に削減され得る。入力画像がｒａｗ（未圧縮）フォーマットの場合、入力画像が圧縮されていない、したがって非常に高い品質をもつ場合、出力画像内のアーチファクトがより顕著となるため、閾値が０．０５の許容範囲で０．６５に増加され得る。
目標のＭＱＦは、例として、図２０Ａ〜図２０Ｂに示すように、反復型の二分法アプローチを使用して得られ得る。例として、図２０Ｂに示すように、初期化は、例えば、目標品質：ｑｕａｌＴｇｔ（＝０．５）、および品質の許容範囲：ｑｕａｌＴｏｌ（０．０５）などの品質閾値を含み得る。最低および最高の許容ＭＱＦ値、例えば、ｍｉｎＭＱＦおよびｍａｘＭＱＦが設定され、また、図１８のステップ１８２０で使用されるＭＱＦに対する初期推測ＭＱＦｎｅｘｔが設定される。可能な値は：ｍｉｎＭＱＦ＝３５、ｍａｘＭＱＦ＝９５、ＭＱＦｎｅｘｔ＝７０である。画像内の各タイルの符号化に異なる品質が使用される局所適応再圧縮を使用する場合、全体画像が「異なる」ブロックに対してもはやペナルティを課されないため、例として、初期ＭＱＦ値がＭＱＦｎｅｔ＝６５に設定され得る。
初期化の後、画像がＭＱＦ＝ＭＱＦｎｅｔを用いて符号化される。取得した画像品質：ｑｕａｌＳｃｏｒｅを計算する。
｜ｑｕａｌＳｃｏｒｅ−ｑｕａｌＴｇｔ｜＜ｑｕａｌＴｏｌ（または最大許容繰返し回数に達する）の場合、Ｔａｒｇｅｔ ＭＱＦ＝ＭＱＦで、方法が終了する。（ｍａｘＭＱＦ−ｍｉｎＭＱＦ＝＝１）、すなわち、目標のＭＱＦが単一整数の範囲内で見つかった場合、ＭＱＦｎｅｘｔ＝ｍａｘＭＱＦ、ｍｉｎＭＱＦ＝ｍａｘＭＱＦ（これが最後の繰返しであることを確実にするため）で、方法が画像符号化に戻る。（ｍａｘＭＱＦ＝＝ｍｉｎＭＱＦ）、すなわち目標のＭＱＦが見つかった場合、Ｔａｒｇｅｔ ＭＱＦ＝ＭＱＦで、方法が終了する。ｑｕａｌＳｃｏｒｅ＜ｑｕａｌＴｇｔの場合、ｍｉｎＭＱＦ＝ＭＱＦ、ＭＱＦｎｅｘｔ＝ＭＱＦ＋ｍｉｎ（ｒｏｕｎｄ（０．５＊（ｍａｘＭＱＦ−ＭＱＦ）），８）である。それ以外の場合、ｍａｘＭＱＦ＝ＭＱＦ、ＭＱＦｎｅｘｔ＝ＭＱＦ＋ｍｉｎ（ｒｏｕｎｄ（０．５＊（ＭＱＦ−ｍｉｎＭＱＦ）），８）である。ここで、方法が画像符号化に戻る。
図２０Ａ〜図２０Ｂで示す方法は、二分法検索の一例であり、この検索では、ＭＱＦに対する初期の許容範囲が判断され、各段階で、目標点が位置する「有効な」部分が二分される。次の特徴が提供され得るか、または提供され得ない：収束を確実にするための予防、すなわち、繰返しの最大回数の制限および目標ＭＱＦの単一整数の範囲への限定（図２０Ａのステップ１１３０）が追加され得る。例として、目標ＭＱＦは、概ね、エッジ値よりも７０に近いことが予期されるので、初期の繰返しにおいて、目標点を「踏み越える（ｏｖｅｒ−ｓｔｅｐ）」のを回避するために、ステップ幅が８に制限され得る。時々、反復プロセス中に、同じＭＱＦ値が二度以上、検査される。複雑さを軽減するため、検査済みのＭＱＦ値および取得した品質の組が、必要に応じて再使用するために保存され得る。
前述した反復型の二分法検索アプローチに加えて、もう１つ別の可能な検索方法が、割線法である。割線法は、次の式に従い、２つの最後の点を使用して、評価のための次の提案点を見つける：
Figure 0005844263
式中、ｘｎ＋１は次の点であり、ｘｎおよびｘｎ−１は最後の２つの点であり、ｆ（ｘｎ）はＱＦ値ｘｎにおける品質スコア−目標品質スコア（例えば０．５）である。
元の割線法は収束を加速し得るが、ルートがひとまとめにされていない場合、すなわち、２つの以前の点が、所望の解の両側ではなく同じ側にある場合、うまく二分しない。そのため、別の可能な検索方法は、修正割線法（「挟み撃ち」法とも呼ばれる）であり、その方法では、目標点が角括弧で囲まれていると、すなわち、ＭＱＦ点に対する品質値がその両側にあれば、割線法が一度だけ適用される。さらに、結果が、ＭＱＦ値の許容範囲内に位置するように固定される。したがって、ＭＱＦの反復検索プロセスは二分法検索方法を用いて開始し得、目標範囲を上回る品質スコアの１つの点と、目標範囲未満の値をもつ品質スコアの１つの点の、２つの点を取得すると、次の点を見つけるために、割線法が使用される。加えて、新しい提案ＭＱＦ値が以前の値に極めて近い場合は、収束を加速する二分法検索がその状況に対して使用される。
使用した検索方法（二分法検索、割線法、または他の任意の方法）にかかわらず、検索に対する最適なＭＱＦ開始点およびステップ幅の選択は、検索の繰返し回数を減らすために、したがって、画像を再圧縮するための全体の処理時間を削減するために重要である。また、最適なＭＱＦ開始点およびステップ幅の選択は、必要な繰返し回数を増やすことなく、目標品質の範囲を減少することにより、より正確な作用点への収束も可能にし得る。
画像が再圧縮される際に、様々な画像について、適切な初期ＭＱＦ値およびステップ幅に関するヒストリカル情報を蓄積する。特定の量子化行列または類似の行列を共有する画像は、同一または類似のＭＱＦ値が使用されると大抵うまく再圧縮されるため、かかる画像に対して歴史的に使用されたヒストリカルＭＱＦ値は、かかる画像に対する良いかまたは最高のＭＱＦ値は、そのヒストリカル値の周りに集まる傾向があるので、同一または類似の量子化行列をもつ新しい画像に対する初期値に対する良い推測である。ステップ幅は、その量子化行列または類似の行列を共有する画像に対して使用されたＭＱＦ値が、ヒストリカルＭＱＦ値の周りにどれほど近く集まっているかに基づいて選択され得る。
ＭＱＦなどの再圧縮パラメーターは、例えば、初期ＭＱＦ値および／またはステップ幅など、自身のパラメーターが、例えば、圧縮する画像の量子化行列に関連する特性、および／またはテクスチャ特性などの任意の他の特性などに限る、圧縮する画像の任意の適切な特性から導出されている、検索によって得られ得る。
通常、過去に使用された再圧縮パラメーターは、同一または類似の特性をもつ後続の画像が、同一または類似の再圧縮パラメーターを使用して再圧縮され得るように、または、後続の画像に対する再圧縮パラメーターの検索が、同一または類似の画像に対して過去に使用された再圧縮パラメーターに基づきパラメーター化され得るように、再圧縮している画像の関連する特性に関連してアーカイブされる。再圧縮パラメーターは、実際の再圧縮プロセスの少なくとも１つのパラメーターを展開するために使用される検索パラメーターを含むことを理解されたい。例えば、ＭＱＦは、特定画像の再圧縮で実際に使用される量子化行列を展開するために使用され得、その画像の再圧縮パラメーターは、実際に、ＭＱＦだけでなく初期ＭＱＦ、ステップ幅、または前述のように使用されるＭＱＦの展開に使用される他の検索パラメーターを含む。
量子化行列間の類似性などの画像特性間の類似性を量子化するために任意の適切な行列が使用され得る。かかる行列は、少なくともいくつかの対応する行列要素または他の任意の適切な行列のユークリッド距離を含み得る。
図２４は、図２３の方法の実行に有用な、過去の画像の再圧縮に関するヒストリカルアーカイブを表す表である。
たとえ行列が、例えば、量子化行列間に、定義されていなくても、再圧縮する画像の量子化行列は、例えば、多数の画像を生成するために一人または多数のユーザーによって同じ画像装置または同一の画像装置および同じ設定（例えば、ｉＰｈｏｎｅなどの少数の設定をもつ商品）が使用される用途で、しばしば繰り返して現れるため、図２４はそれでも、実際上、有用であることを理解されたい。
良いＭＱＦ開始点およびステップ幅を選択する１つの可能な方法は、入力画像の量子化行列に基づく。この方法は、まず、多数の画像を含む画像データベースの前処理をし、それを同じ量子化行列をもつグループ（通常、同じカメラにより同じ品質設定で撮られた画像）に分類することにより実行される。各グループについて、全画像に対する品質スコア対ＭＱＦ値がプロットされる。その後、これらのグラフの挙動を観察することにより、反復検索の始まりで使用する、最適なＭＱＦ開始点および最適なＭＱＦステップ幅が、各グループに対して決定され得る。このプロセスは、サイズ変更した画像に対して最適なＭＱＦ開始点およびＭＱＦステップ幅を取得するため、既知の係数で画像のサイズ変更を実行している間、繰り返され得る。その最適値が第１の表に書き込まれ、対応する量子化行列が第２の表に書き込まれ得る。そして、再圧縮プロセスが、第２表に存在する既知の量子化行列に出合うと、そのプロセスは、ＭＱＦ開始点およびＭＱＦステップ幅の対応値を第１の表から使用する。このプロセスは、各画像に対して適切なＭＱＦを判断する反復プロセスの高速収束を確実にする。
図２７および図２８は、様々な画像の組に対して取得した、品質スコア対ＭＱＦの例を提供する。図２７は、例として、１２の画像の組を示す。さらに例として、これらの画像のうちの１０が、同じ量子化行列を共有し、それらの品質スコア対ＭＱＦが実線でプロットされている。さらにまた例として、残りの２つの各画像が異なる量子化行列をもち、それらの品質スコア対ＭＱＦが破線でプロットされている。図２７は、実線は一様であるが、一方、各破線は異なっていて、品質対ＭＱＦグラフと、入力画像の量子化行列との間の相関関係を示している。
図２８は、例として、９つの追加画像（またも例として、３つのグループに分類された）の品質対ＭＱＦの挙動の例を示し、各グループの３画像が同じ量子化行列を共有する。第１グループが実線でプロットされ、第２グループが破線でプロットされ、第３グループが鎖線でプロットされている。図２８は、各３つのグループ内での一貫性が、これらのグラフの形状が、確かに、入力画像の量子化行列と極めて相互に関連していることを示している。
第２の方法は、取得した情報に基づき、所与の入力画像に対して、良いＭＱＦ開始点の判断を可能にする。第２の方法は、いかなる前処理も必要とせず、手動による介入なしで、完全に自動的に動作する。
第２の方法によれば、量子化行列または行列「クラス」の表が保持され、ＭＱＦ開始値およびステップ幅が各行列に対して保存される。再圧縮前にサイズ変更される入力画像のＭＱＦ開始値およびステップ幅のための追加の列が存在し得る。初期値は、前項で説明したように、前処理した画像データベースから取られ得るか、または通常のＭＱＦ検索プロセスのデフォルト値が使用され得る（例えば、ＭＱＦ＝７０、ステップ幅＝８）。
各値の組に対して、信頼スコアおよび頻度スコアが保持され得る。信頼スコア（ＣＳ：ｃｏｎｆｉｄｅｎｃｅ Ｓｃｏｒｅ）は、提案された値が画像に対して今までどのようにうまく機能したかに基づいており、０または１回の繰返しの後にプロセスが収束した、すなわち、第１または第２ＭＱＦが、受け入れられた品質スコア範囲内に含まれる品質スコアをもたらしたのと同じ量子化行列をもつ、画像の割合として定義される。頻度スコア（ＦＳ：Ｆｒｅｑｕｅｎｃｙ Ｓｃｏｒｅ）は、このタイプの画像に今までいくつ出合ったか、すなわち、データベース内のそれらの頻度を示し、データベースがその最大容量に達した場合に、そのデータベース内でどのタイプの量子化行列を保持するかを判断するために使用される。
図２９は、ＭＱＦ開始点学習プロセスによって使用される表の例を示す。
例として、プロセスは、次のように実施され得る：量子化行列データベースに含まれていない画像クラス（量子化行列）に出合うと、この行列に対する新しいエントリが作成され、その値が、例えば、頻度スコア：１０、信頼スコア：０．１、開始ＭＱＦ：７０、ＭＱＦステップ幅：８に初期化される。データベースに格納され得る量子化行列の最大数に達した場合、このエントリは、量子化行列のエントリを最低ＦＳで置き換える。
画像の再圧縮後、例えば、図３０に示すプロセスに従って、画像の量子化行列に対応するエントリが更新される。例えば、複数のサイズ変更値に起因して、複数エントリがある場合、それらの各々が、上述のプロセスに従って更新される。図３０に示すプロセスは、可能な学習プロセスの単一の繰返し、すなわち、単一画像の再圧縮の終了時における、図２９に示すような表内の値に対する更新を示している。入力画像の量子化行列が与えられると、適切なエントリが表内に作成されるか、または表内で選択され、対応するＦＳ（頻度スコア）がステップ３１００に従って更新され、他の全てのＦＳスコアはステップ３２００に従って更新される。対応するエントリのＭＱＦ開始値、ステップ幅およびＣＳ（信頼スコア）が全て、現在の画像に対して選択されたＭＱＦおよび収束に必要な繰返し回数に従って値を更新することを目的とする、提示プロセスに従って更新される。例えば、ステップ３３１０で、結果として生じるＭＱＦが、表に格納されているｓｔａｒｔＭＱＦと同じである場合、信頼スコアが増やされ、開始ＭＱＦは変更されない。そうでない場合は、ステップ３３２０〜３３２２に示すように、適応が実行される。
ＭＱＦ開始点学習に関して前述の方法は、５つの異なる量子化行列をもつ１８２の画像のデータベースに関してテストされた。
図３１ａは、例として、ＭＱＦ開始点およびステップ幅に対してデフォルト値を使用する場合、採用され得る繰返し回数をｙ軸上に、各画像の連番をｘ軸上に示す。図３１ｂは、例として、前述したＭＱＦ開始点およびステップ幅学習プロセスを使用する場合、必要な繰返し回数をｙ軸上に、各画像の連番をｘ軸上に示す。
テストした画像データベースについて本明細書に記載する、適応ＭＱＦ開始点およびステップ幅学習プロセスを使用すると、繰返しの総回数が１．３３倍（３０５から２２９）だけ減少し、繰返しの最大回数は８から６に減少し、また、約５０の入力画像を処理した後に、学習プロセスが安定した時、プロセスを使用しない場合の６７画像とは対照的に、３つの画像だけが複数回の繰返しを必要とした。
図１８〜図２０Ｂの方法の多くの変形が可能であることを理解されたい。例えば、少なくとも１つの、通常は複数の繰返しが行われ、各繰返しは、所望であれば、知覚的に重み付けされ得る「対象の」量子化行列をスケーリングするために、修正スケーリング係数（ＭＱＦ）から導出された現在の提案されたスケーリング係数を使用する。特に、対象の量子化行列は、特定の用途に対して、８×８のＤＣＴ二次元空間周波数ビンの各々に対して量子化係数を提供する８×８行列を含み、また、ＨＶＳ（人間視覚システム）は、他よりも特定の周波数に対して他の周波数に対してより敏感でないので、「知覚的に重要な」周波数において、各周波数ビンでのＨＶＳの感度に対応する、細かい（小さい）値をもつ、知覚的に重み付けされた量子化行列が使用され得る。
候補の量子化行列は、次いで、入力画像の量子化行列と、例えば、単純な、もしくは適切に重み付けされたか、他の平均化、または、例えば前述したようなプロセスの組み合わせによるが、それに限定されず、スケーリングされた対象行列との「間」にある行列を計算することにより生成される。代替として、本明細書に記載のとおり、候補の量子化行列は、入力行列とスケーリングされた「対象の」行列との間の平均ではなく、スケーリングされた入力行列であり得る。この候補の行列を使用して、対応する画像が生成され、取得した値が、例えば本明細書に記載するような方法であるがこれに限定されない任意の適切な方法で評価される。品質が不十分であると判断されると、例えば、特に本明細書に示しかつ記載する基準などであるがこれに限定されない適切な妥当性の基準を使用して、反復プロセスが通常、現在の提案されたＭＱＦ値を置き換えるために、「次の」提案ＭＱＦ値を提案する。
図３９ａ〜図３９ｄは、本発明の特定の実施形態により、量子化行列生成を実行するための方法の一例を示す。
大規模の圧縮操作に対しては、専用装置が使用され得ることを理解されたい。
本発明の特定の実施形態の特別な利点は、圧縮は目標のビットレートに対してではなく、例えば、９５などの、定数の品質係数を使用しないことである。代わりに、個々の各画像に対して「良い」ＭＱＦが生成され、良さは、通常、目標の知覚的劣化の範囲内に収まる知覚的劣化が生じ、また、例えば、所与の知覚的劣化範囲内で可能な限り高い、高圧縮をもたらすＭＱＦとして定義される。
本明細書に記載のとおり、追加のアーチファクト性エッジの制御は、例えば、文献に記載のように、非ブロック化フィルターで実施されるブロックノイズの緩和などの、従来のブロックノイズの緩和に比べて、非常に有利である。従来技術では、アーチファクト性エッジを生じるような方法で画像を圧縮し、それから、かかるエッジを滑らかにする。本発明の特定の実施形態によれば、アーチファクト性エッジを生じ得る再圧縮は、先験的に使用されず、代わりに、特定の再圧縮パラメーターがもたらすような追加のアーチファクト性エッジの程度を評価し、許容できないアーチファクト性エッジが生じる場合は圧縮の程度を縮小することにより回避される。通常、評価は、全体的なアーチファクト性エッジではなく、追加のアーチファクト性エッジを識別する。従来型では、ブロックノイズは、例えば８×８ピクセルなど、ピクセルまたはブロック境界ごとに、局所的に識別され、識別された場合に緩和される。本発明の特定の実施形態によれば、アーチファクト性エッジは局所的に識別されず、代わりに、例えば、１１以上のブロック（１６×１６ブロックなど）など、多数のブロックを含む領域について評価される。本発明の特定の実施形態によれば、追加のアーチファクト性エッジの存在を判断するためのプロセスが、図３４に大まかに示されており、適切なプロセス例が図１４〜図１５に関連して本明細書に記載されている。
「入力画像」および「第１の画像という用語は、本明細書では、再圧縮するＪＰＥＧ画像を指すために区別しないで使用される。
ここで、図３２ａ〜図３２ｂのシステムを参照されたい。図３２ａのシステムでは、例えば、所与の量子化行列をスケーリングして、それを入力量子化行列と平均化すること、または入力画像の量子化行列をスケーリングすることなどを含むが、これに限定されず、量子化行列を計算するために、任意の適切な方法が採用され得ることを理解されたい。
図３２ｂのシステムは、入力画像の量子化行列を考慮に入れることなく、所定の量子化行列をスケーリングする、「標準の」エンコーダーを使用するＪＰＥＧからＪＰＥＧへの再圧縮用途に適している。入力量子化行列と平均化する代わりに、入力量子化行列は単に無視され得る。操作方法は、本明細書に詳細に記載するように、ブロックノイズおよびテクスチャ＋ＰＳＮＲなどの品質尺度を検査しながら、入力画像について標準のＪＰＥＧエンコーダーを繰り返し実行することを含む。
図４０ａは、図３２ａおよび図３２ｂのＭＱＦ計算機によって実行され得る本発明の特定の実施形態により稼働する検索プロセスの簡略化した流れ図である。
図４０ｂは、図４０ａの方法におけるステップ４２４０および４２５０の可能な実施態様の簡略化した流れ図である。
本明細書に示しかつ記載するように、「暫定的に」、すなわち、品質を評価し、その後、「最終の」圧縮プロセスのパラメーター化に関して判断するために圧縮する場合、暫定圧縮は完了し得ず、例えば、Ｙ面（輝度）だけが圧縮され得る。最終のＭＱＦが暫定圧縮の評価に基づいて選択されると、それは、その後、適宜圧縮されるクロマに対する量子化行列の作成に使用される。
図４１は、画像適応で知覚的可逆なほぼ最大の画像圧縮を可能にする方法の簡略化した流れ図である。図４１の方法は、通常、例えば、図のように適切に順序付けられた、次のステップのいくつかまたは全てを含む：
４４１０：第１（例えば、入力、ＪＰＥＧ）画像（または先行画像での素ブロックの独立符号化によって圧縮された他の素ブロックレベルの符号化画像）を、例えば、暫定圧縮パラメーターを使用して、圧縮し、第２（例えば、暫定的に圧縮された、ＪＰＥＧ）画像（または第１の画像での素ブロックの独立符号化によって前記第１デジタル画像から生成された他の素ブロックレベルの符号化画像）を得る。随意に、第２の画像に対する品質スコアが事前定義した知覚的品質範囲内にない場合、改善された圧縮パラメーターを検索する、さらなる繰返しが呼び出される（各繰返しは、随意に、前記個々の繰返しの前に、少なくとも１つの、例えば、全ての繰返しに基づく圧縮パラメーターの適合を含む）。
４４２０：符号化ブロック境界に沿って追加されたアーチファクト性エッジの尺度を実施する。
４４３０：少なくとも前記領域の品質スコアに基づき、知覚的品質基準が前記第２の画像によって満足されているか否かを判断し、例えば、随意に、少なくとも前記画像の品質スコアに基づき、知覚的品質基準が前記第２の画像によって満足されているか否かを判断する。
４４４０：随意に、第２の画像に対する品質スコアが知覚的品質基準を満足していないと判断される場合は、暫定圧縮パラメーターを再計算し、その再計算したパラメーターを使用して、暫定圧縮、検索および判断を繰り返す。
図４２は、図４１の実施ステップ４４２０の可能な実施態様の簡略化した流れ図である。図４２の方法は、通常、例えば、図のように適切に順序付けられた、次のステップのいくつかまたは全てを含む：
４５１０：第１の画像と第２の画像との間の差分画像を計算する。
４５２０：前記差分画像内に領域を定義し、前記領域が複数の画像ブロックを含む。
４５３０：前記領域内で、２つの符号化ブロック間の各境界に対して、各境界に沿って追加されたアーチファクト性エッジの程度を示す、各追加のブロックノイズスコアを計算する。
４５４０：領域内の各境界に対して計算された追加のブロックノイズスコアに基づき、領域品質スコアを計算する。
図４３は、実施ステップ４４２０のさらに別の代替実施態様の簡略化した流れ図である。図４３の方法は、通常、例えば、図のように適切に順序付けられた、次のステップのいくつかまたは全てを含む：
４６１０：差分画像内に複数の領域を定義し、各領域が複数の画像ブロックを含む。
４６２０：前記複数の各領域に対して、例えば、出力画像での少なくとも２つの領域の対応する組に対して少なくとも２つの領域品質スコアを計算し、前記少なくとも２つの領域品質スコアに少なくとも一部基づき圧縮命令を提供することにより、領域品質スコアを計算し、それぞれ複数の領域品質スコアを得る。
４６３０：第２の画像に対して、前記複数の領域品質スコアに基づき画像品質スコアを計算する。
本明細書に示しかつ記載するシステムおよび方法は、特に、画像圧縮および再圧縮システムにおいて有用であり、ＶＬＳＩ、専用ハードウェア、ＤＳＰまたはＣＰＵが組み込まれたシステム（コンピューター化された装置）、または汎用コンピューター上で完全に実行するソフトウェアでの実施を含め、ハードウェアまたはソフトウェアで実施され得る。
本明細書に示しかつ記載するシステムおよび方法を組み込む画像圧縮システムは、デジタルカメラ、ソフトウェアおよびハードウェア画像エンコーダー、ＩｍａｇｅＭａｇｉｃｋおよびｊｐｅｇｔｒａｎｓなどのコマンド行ＰＣアプリケーション、ならびにＰｈｏｔｏＳｈｏｐ、Ｐａｉｎｔ、Ｍｉｃｒｏｓｏｆｔ Ｏｆｆｉｃｅ Ｐｉｃｔｕｒｅ Ｍａｎａｇｅｒなどであるがこれに限定されない、圧縮画像をエクスポートする任意のＰＣソフトウェアアプリケーションを含み得る。
本明細書に示しかつ記載するシステムおよび方法を組み込む画像再圧縮および処理システムは、ソフトウェアおよびハードウェア画像エンコーダー、ＩｍａｇｅＭａｇｉｃｋおよびｊｐｅｇｔｒａｎｓなどのコマンド行ＰＣアプリケーション、ならびにＰｈｏｔｏＳｈｏｐ、Ｐａｉｎｔ、Ｍｉｃｒｏｓｏｆｔ Ｏｆｆｉｃｅ Ｐｉｃｔｕｒｅ Ｍａｎａｇｅｒなどであるがこれに限定されず、任意のＰＣイメージングソフトウェアを含み得る。
「品質スコア（ｑｕａｌｉｔｙ ｓｃｏｒｅ）」および「品質係数（ｑｕａｌｉｔｙ ｆａｃｔｏｒ）」という用語は、同義語ではないことを理解されたい。「品質係数」（ＱＦ）は、従来型のＪＰＥＧシステムによって、ユーザーが圧縮の程度、および、できれば、結果として生じる品質の程度を制御できるようにするために使用される。修正品質係数（ＭＱＦ）については本明細書に記載されている。本発明の範囲は、圧縮（または再圧縮）の程度が、従来型のＱＦボタンのみによっではなく、通常はユーザー制御のＭＱＦパラメーターまたはＱＦパラメーターによって制御される、ＪＰＥＧシステムを含むことを意図している。
「品質スコア」または「品質尺度（ｑｕａｌｉｔｙ ｍｅａｓｕｒｅ）」は、例えば、、例えば、圧縮によって評価する画像が導出された、以前の画像に比べて、ユーザーの直接の画像品質の主観的評価に関連する式を提供しようとする。１つの原始的な品質スコアはＰＳＮＲであるが、より最新式の品質スコアを計算するための方法が、例えば、図１に関連してを参照して、本明細書に記載されている。
ここで図４４ａを参照すると、これは、本発明のいくつかの実施形態による、別個の入力画像処理システムの高レベルブロック図である。便宜上、図４４ａに示す実施形態、および本明細書で提供するその説明では、参照は、ＪＰＥＧ画像の再圧縮に対して行われる。いくつかの実施形態では、システム５０１０は、入力インタフェース５０２０、品質パラメーターコントローラー５０３０およびＨ．２６４エンコーダー５０４０を含み得る。
さらに図４４ｂを参照すると、これは、本発明のいくつかの実施形態による、別個の入力画像の処理方法の流れ図である。プロセスは、素ブロックの独立符号化を利用する圧縮フォーマットで圧縮された別個の入力画像の受領から始まる。インタフェース４０２０は、図４４ａに例として示すような、ＪＰＥＧ規格に従って圧縮された別個のＪＰＥＧ画像５０１２などの、素ブロックの独立符号化を利用する圧縮フォーマットで圧縮された別個の入力画像を受け取る（ブロック５２１０）ように構成される。いくつかの実施形態では、別個の入力画像は高品質ＪＰＥＧ画像である。
入力画像に対して可能な種々のソースには、デジタルカメラ５０５１、パーソナルコンピューター５０５２、モバイル通信装置５０５４またはデータセンター５０５６など、システム５０１０にネットワーク５０５０を介して接続されているリモート装置、およびローカルの記憶装置５０５８（例えば、ハードドライブディスク）などのローカル装置が含まれるが、それらに限定されない。
いくつかの実施形態では、インタフェース５０２０は、別個の入力画像をＲＡＷ画像フォーマットまたは可逆画像フォーマットに復号する（ブロック５２２０）ように構成されたデコーダーを含み得る。例えば、デコーダーは、圧縮画像を次のフォーマットのいずれか１つ：すなわち、ＹＵＶ、ＲＧＢ、ＢＭＰ、ＰＮＧおよびＴＩＦＦに復号し得る。図４４ａに示す実施形態では、デコーダーは、入力ＪＰＥＧ画像をＲＡＷ画像に復号するように構成されているＪＰＥＧデコーダー５０２２である。別の実施形態では、デコーダーは、入力画像の部分復号を実行するように構成され得、圧縮画像をピクセル領域での表現に変換し得る。さらに別の実施形態では、デコーダーは、入力画像の部分復号を実行するように構成され得、圧縮画像を周波数領域での表現に変換し得る。さらにまた別の実施形態では、デコーダーは、前述のとおりＪＰＥＧデコーダー５０２２であり、ＪＰＥＧデコーダー５０２２は、入力ＪＰＥＧ画像の部分復号を実行するように構成される。さらにまた別の実施形態では、ＪＰＥＧデコーダー５０２２は、ＪＰＥＧ復号プロセスの一部として作成されたＹＵＶ ４：２：０サンプルを直接取り出し得る。
品質パラメーターコントローラー５０３０は、インタフェース５０２０に動作可能なように動作可能なように接続され得る。ｒａｗ画像は、品質パラメーターコントローラー５０３０への入力として供給され得る。前述のとおり、品質パラメーターコントローラー５０３０は、別個の出力画像の実質的なサイズ縮小を可能にする符号化品質パラメーターを提供するように構成され、パラメーターは、出力画像と入力画像との間の目標とする定量的類似性尺度に関連する（ブロック５２３０）。いくつかの実施形態によれば、目標とする定量的類似性尺度は、そのシステムの出力画像と入力画像との間の許容できる差を表す。別の実施形態では、目標とする定量的類似性尺度は、出力画像と入力画像との間の最小類似要件を表す。
いくつかの実施形態では、品質パラメーターコントローラー５０３０は、固定の事前定義値によって符号化品質パラメーターを設定する（ブロック５２３１）ように構成され得る。別の実施形態では、品質パラメーターコントローラー５０３０は、事前定義した式に従って、符号化品質パラメーターを計算する（ブロック５２３２）ように構成され得る。さらに別の実施形態では、品質パラメーターコントローラー５０３０は、事前定義した検索基準に従って符号化品質パラメーターを選択するための事前定義した反復検索プロセスを実施し得る（ブロック５２３３）。さらにまた別の実施形態では、品質パラメーターコントローラー５０３０は、符号化品質パラメーターを事前生成した参照表から選択する（ブロック５２３４）ように構成され得る。前述の各選択肢に関する詳細については、後述する。
図４４ａおよび本発明のいくつかの実施形態によれば、例として、事前構成されたＨ．２６４エンコーダー５０４０は、イントラ予測エンコーダーとして使用される。いくつかの実施形態では、Ｈ．２６４エンコーダー５０４０は、イントラ画像予測を有効にし、インター画像（またはインターフレーム）予測を無効にする方法で事前構成され得る。
さらなる実施形態では、Ｈ．２６４エンコーダー５０４０は、インループ非ブロック化フィルターを無効にする方法で事前構成され得る。いくつかの実施形態では、Ｈ．２６４エンコーダー５０４０は、インループ非ブロック化フィルターを有効にする方法で事前構成され得る。さらに別の実施形態では、Ｈ．２６４エンコーダー５０４０は、入力画像の品質に関連するパラメーターによって、インループ非ブロック化フィルターを有効または無効のいずれにするかを決定するように構成され得る。さらにまた別の実施形態では、エンコーダーは、品質パラメーターコントローラーで提供される符号化品質パラメーターによって、インループ非ブロック化フィルターを有効または無効のいずれにするかを決定し得る。例えば、Ｈ．２６４エンコーダー５０４０は、比較的低品質によって特徴付けられる入力画像に対してインループ非ブロック化フィルターを有効にするように構成され得る。ある場合には、Ｈ．２６４非ブロック化の利用により、Ｈ．２６４エンコーダー５０４０で再符号化された出力画像の知覚的品質を改善し得る一方、非ブロック化の効果により、出力画像と入力画像との間の知覚類似性が減少し得る。
図４４ｂの説明に戻ると、Ｈ．２６４エンコーダー５０４０は、品質パラメーターコントローラー５０３０に動作可能なように接続され得、符号化品質パラメーターがＨ．２６４エンコーダー５０４０に供給され得る。Ｈ．２６４エンコーダー５０４０は、符号化品質パラメーターによって構成され得る（ブロック５２４０）。Ｈ．２６４エンコーダー５０４０は、インタフェース５０２０にも動作可能なように接続され得、ＪＰＥＧデコーダー５０２２などのデコーダーによって生成されるような入力画像の表現を追加の入力として受け取り得る。Ｈ．２６４ ５０４０は、イントラ画像予測プロセスを使用して入力画像を再符号化するように構成され得、再符号化プロセスの少なくとも一部が、符号化品質パラメーターにしたがって構成され得る（ブロック５２５０）。再符号化プロセスに関する詳細について、以下で詳述する。
ここで図４４ｃを参照すると、これは、本発明のいくつかの実施形態の一部として実施され得る反復符号化品質パラメーター検索プロセスの一例の流れ図である。検索プロセスの各繰返しで、類似性評価モジュール５０３２は、Ｈ．２６４エンコーダー５０４０に対する入力として提供される（ブロック５３２０）暫定符号化品質パラメーターを生成し得る（ブロック５３１０）。
いくつかの実施形態によれば、初期の暫定符号化品質パラメーターが事前定義され得る。例えば、初期の暫定符号化品質パラメーターは、Ｈ．２６４量子化パラメーター値５０２２に対応する値に事前設定され得る。さらなる実施形態では、初期の暫定符号化品質パラメーターは、システム５０１０のオペレーターによって選択され得る。例えば、システム５０１０のオペレーターは、２つ以上の選択肢を提示され得、各選択肢は、類似性と圧縮との間の異なるトレードオフを表し、それに応じて、各選択肢は、異なるＨ．２６４量子化パラメーター値に関連する。さらなる実施形態では、ユーザーの選択肢は、１４と３２の間のＨ．２６４量子化パラメーター値に対応する範囲をカバーする。さらに別の実施形態では、初期の暫定符号化品質パラメーターは、計算され得るか、または他の方法で判断され得る。例えば、初期の暫定符号化品質パラメーターは、入力画像の品質／解像度に関連するパラメーター、外部ユーザー選択パラメーターなどに基づき判断され得る。その上、例として、初期の暫定符号化品質パラメーターに対して可能な選択肢は、例えば、１４と３２の間のＨ．２６４量子化パラメーター値に対応する値のみが考慮され得る、事前定義した範囲によって制約され得る。
いくつかの実施形態では、検索終了基準は、最適化基準を含み得る。さらなる実施形態では、最適化基準に従い、暫定出力画像が、出力画像と入力画像との間の類似性（または差異）および別個の出力画像のサイズ縮小を最適化する場合に、評価モジュール５０３２は、符号化品質パラメーター検索を終了するように構成され得る。
別の実施形態では、例として、最適化基準は収束基準を考慮に入れ得、最適な出力画像は、その収束基準に従って、検索の現在の繰返しでの出力画像サイズの、１つまたは複数の以前の繰返しでの出力画像サイズとの比較による差異にも関連する。さらに例として、評価モジュール５０３２によって実施される収束基準は、１つまたは複数の以前の暫定符号化品質パラメーターに関連するサイズ縮小と比較した現在の暫定符号化品質パラメーターに関連するサイズ縮小の観点から、改善率に関連する。さらに別の実施形態では、符号化品質パラメーターの検索は、出力画像と入力画像との間の最小類似閾値によって（または最大差分閾値によって）制約され得る。
いくつかの実施形態によれば、現在の暫定出力画像が検索終了基準を満足すると判断される場合、類似性評価モジュール５０３２は、Ｈ．２６４エンコーダー５０４０に、現在の暫定出力画像に対応するＨ．２６４ビットストリームを再符号化プロセスの出力として提供するように指示し得る（ブロック５３８０）。
前述の説明では、符号化品質パラメーターに対する提案した検索が、複数の再符号化暫定出力画像の各１つに関して実施される。ここで、符号化品質パラメーターの検索プロセスの代替実施態様が提供されるが、それは、本発明のいくつかの実施形態により、画像のセグメント化およびその画像のセグメント（および、恐らくは各セグメント）での符号化品質パラメーターの実施に基づく。
ここで、図４４ｄを参照すると、これは、本発明のいくつかの実施形態による、図４４ａのシステムをさらに詳細に示すブロック図である。前述のとおり、本発明のいくつかの実施形態では、イントラ予測エンコーダーは、Ｈ．２６４（またはＭＰＥＧ−４ ｐａｒｔ １０）エンコーダー５４４０であり得る。いくつかの実施形態よれば、Ｈ．２６４エンコーダー５４４０は、システム５４００で受け取った入力画像（または入力画像の表現）の再符号化の開始および再符号化された再圧縮出力画像の提供のため、品質パラメーターコントローラー５０３０からの（暫定符号化品質パラメーターを含む）符号化品質パラメーターの受領に応答し得る。
前述のとおり、Ｈ．２６４エンコーダー５４４０で実施される再符号化プロセスは、品質パラメーターコントローラー５０３０によって提供された符号化品質パラメーターに従って構成される。また、前述のように、Ｈ．２６４エンコーダー５４４０で実施される再符号化プロセスは、イントラ画像予測ステップを含む。ここで、Ｈ．２６４エンコーダー５４４０で実施され得る符号化プロセスの一可能な実施態様例が提供される。
品質パラメーターコントローラー５０３０から受け取った符号化品質パラメーターに加えて、Ｈ．２６４エンコーダー５４４０は、再符号化される入力画像（またはその表現）を受け取り得る。例えば、Ｈ．２６４エンコーダー５４４０は、ＪＰＥＧデコーダー５０２２からの入力画像を、その入力画像のＲＡＷフォーマット表現として受け取り得る。
いくつかの実施形態では、ＪＰＥＧデコーダー５０２２は、入力ＪＰＥＧ画像を、その入力画像のＲＡＷフォーマット表現に復号し得る。画像処理システム５４１０は、ＪＰＥＧデコーダー５０２２によって提供されたＲＡＷフォーマット表現をＹＣｂＣｒフォーマット表現に変換するように構成され得る、ＹＣｂＣｒへのフォーマット変換モジュール５４４１を含み得る。さらに別の実施形態によれば、ＹＣｂＣｒへのフォーマット変換モジュール５４４１は、Ｃｂ成分およびＣｒ成分の空間解像度を修正するようにも構成され得る。例として、ＹＣｂＣｒへのフォーマット変換モジュール５４４１は、Ｃｂ成分およびＣｒ成分の空間解像度を水平および垂直方向に２倍に縮小するために、４：２：０のクロマサンプリングスキームを実施し得る。他のクロマサンプリングスキームが、本発明のさらなる実施形態の一部として使用され得る。ＪＰＥＧビットストリームのＹＣｂＣｒへのフォーマット変換は、標準ＪＰＥＧ復号の不可欠なプロセスであり、従って、ＹＣｂＣｒへのフォーマット変換モジュールは任意選択で、ＹＣｂＣｒ表現はＪＰＥＧデコーダーから直接取得され得る。
Ｈ．２６４エンコーダー５４４０は、Ｈ．２６４イントラ予測機能を有効にし、インター予測機能を無効にするように構成され得る。Ｈ．２６４エンコーダー５４４０は、ダウンサンプリングされたＹＣｂＣｒ値をイントラ画像予測モジュール５４４２への入力として提供し得る。いくつかの実施形態によれば、イントラ画像予測モジュール５４４２は、入力画像の変換された表現を複数のマクロブロックに分割するように構成され得る。Ｈ．２６４の場合、マクロブロック分割は、規格によって規定される。Ｈ．２６４規格によれば、入力画像の変換表現は、１６×１６マクロブロックに分割される。
しかし、本発明のさらなる実施形態では、イントラ予測エンコーダーによって実施されるマクロブロック分割方法は、標準のＨ．２６４分割方法から離れ得るか、または異なり得る。例えば、イントラ画像エンコーダーは、Ｈ．２６４規格のイントラ予測と同様であるが８×８ブロックに適合されている概念を使用するイントラ予測で、ＪＰＥＧ画像を８×８ブロックに分割するように構成され得る。例として、この構成は、専用のエンコーダー（Ｈ．２６４規格に準拠していない）によって達成され得る。
図４４ｄの説明を続けると、イントラ画像予測モジュール５４４２は、入力画像の変換表現内の１つまたは複数の１６×１６マクロブロックを、現在のマクロブロックを囲むマクロブロックの隣接するサンプルから予測するように構成され得る。Ｈ．２６４規格によれば、１６×１６マクロブロックが、予測されるブロックの左側および／または上側にある既に符号化されたマクロブロックの隣接するサンプルから予測され得る。さらにＨ．２６４規格によれば、予測がブロック全体について実行され得るか、または予測が各４×４ブロックについて別々に実行され得る。
他のブロックサイズの分割スキームを実施および使用し、異なるパターンに従ってブロックまたはサブブロックを予測する（例えば、現在のマクロブロック／ブロックの左側または上側にあるマクロブロック／ブロックからの予測に限定されない）イントラ予測エンコーダーの考案および実施が可能であることが理解されよう。
いくつかの実施形態によれば、イントラブロック予測に基づいてイントラ予測画像が決定され得、Ｈ．２６４エンコーダー５４４０の一部として実施されている、残差計算モジュール４４３が、イントラ予測画像および入力画像（またはエンコーダーで受信された入力画像の表現）に基づいて残差画像を計算するように構成され得る。
図４４ｄの説明を続けると、予測および残差画像計算に続いて、これもＨ．２６４エンコーダー５４４０内に実施されている整数変換モジュール５４４４が、残差画像のピクセルの各４×４ブロックの各色成分を周波数領域に変換するために利用される。いくつかの実施形態によれば、Ｈ．２６４規格に準拠して、整数変換モジュール５４４４が、整数変換を実施するように構成され得る。他の変換技術を実施および使用するイントラ予測エンコーダーの考案および実施が可能であることが理解されよう。
変換された残差画像はその後、これもＨ．２６４エンコーダー５４４０の一部として統合されている量子化モジュール５４４６に渡される。本発明のいくつかの実施形態によれば、量子化モジュール５４４６は、品質パラメーターコントローラー５０３０によって提供された符号化品質パラメーターに従い、Ｈ．２６４エンコーダー５４４０によって構成され得る。いくつかの実施形態によれば、Ｈ．２６４エンコーダー５４４０は、品質パラメーターコントローラー５０３０によって提供された符号化品質パラメーターに従い、量子化モジュール５４４６によって使用される量子化パラメーター指標値を構成し得る。従って、量子化モジュール５４４６は、品質パラメーターコントローラー５０３０によって提供された符号化品質パラメーターに従い、残差データを量子化するように構成され得る。
量子化周波数領域表現行列は、エントロピー符号化モジュール５４４８に供給され得る。エントロピー符号化モジュール５４４８は、量子化変換係数を再順序付けするよう構成され得る。例えば、量子化変換係数の行列について、ジグザグ走査が実行され得る。一度再順序付けが行われると、エントロピー符号化モジュール５４４８は、エントロピー符号化を実行するように構成され得る。例として、エントロピー符号化モジュール５４４８は、Ｈ．２６４規格によって規定されるエントロピー符号化技術の１つを実施するように構成され得る：つまり、コンテキスト適応型可変長符号化（ＣＡＶＬＣ）またはコンテキスト適応型２進算術符号化（ＣＡＢＡＣ）である。
いくつかの実施形態によれば、Ｈ．２６４エンコーダー５４４０によって生成された出力画像の符号化ビットストリーム表現は、別個の入力画像に関して知覚的に可逆な再圧縮された別個の出力画像を提供するために使用され得る。
Ｈ．２６４再符号化プロセスの構成のために適切な量子化パラメーターを使用すると、別個のＪＰＥＧ入力画像に基づいている符号化Ｈ．２６４ビットストリームの生成、およびそのＨ．２６４ビットストリームに基づき、別個のＪＰＥＧ入力画像に比べて知覚的に可逆（または知覚的に同一）な別個の出力画像の（例えば、Ｈ．２６４互換ファイルを介した）提供が可能であり、そして、別個の出力画像は、別個のＪＰＥＧ入力画像に比べて実質的に縮小されたフットプリントによってさらに特徴付けられる。
図４４ａ〜４４ｄに示す実施形態および本明細書で提供されているその説明では、ＪＰＥＧ画像の再圧縮について言及されている。図４４ａ〜図４４ｄおよび本明細書での説明では、提案されたシステムの一実施態様例を提供する。さらに、本発明のさらなる実施形態は、ＪＰＥＧ画像の再圧縮に限定されず、図４４ａ〜図４４ｄに示すシステムに類似したシステムが、ＪＰＥＧ以外のフォーマット、および、特に、素ブロックの独立符号化を利用する圧縮フォーマットを用いて符号化された入力画像を再圧縮するため、当技術分野に精通した者によって容易に考案され得る。
その上、図４４ａ〜図４４ｄに示すいくつかの実施形態および本明細書で提供されているその説明で、Ｈ．２６４エンコーダーを使用する別個の入力画像の再圧縮について言及されている。図４４ａ〜図４４ｄおよび本明細書で提供されている説明では、提案されたシステムの一実施態様例を提供する。さらに、本発明のさらなる実施形態は、Ｈ．２６４形式（または、ＭＰＥＧ−４ ｐａｒｔ １０フォーマット）を使用する別個の入力画像の再圧縮に限定されず、図４４ａ〜図４４ｄに示すシステムに類似したシステムが、Ｈ．２６４以外のフォーマット、および、特に、イントラ画像予測および制御可能な量子化プロセスを利用する圧縮フォーマットに基づくイントラ予測エンコーダーを用いて入力画像を再圧縮するため、当技術分野に精通した者によって容易に考案され得る。
図４５〜図５５ｂは、圧縮の程度の関数として圧縮された画像品質の単調性を提供することを含む、画像を再圧縮するためのシステムおよび方法を示す。図４５〜図５５ｂを参照して後述するシステムおよび方法は、単独よび、例えば、図５６ａ〜図５６ｃに関連して後述するような、本発明の他の技術との併用の両方で有用である。
図４５に示すように、次の再圧縮方法が、特定の実施形態に従って提供される。図４５の方法は、例えば、図のように適切に順序付けられた、次のステップのいくつかまたは全てを含む：
ステップ６０１０：ＪＰＥＧ画像を入力する。
ステップ６０２０：再圧縮に使用する量子化行列を提供する。
ステップ６０３０：品質が圧縮の程度に比例する圧縮された画像を、単調化した量子化行列が提供するように、ステップ６０２０で提供される量子化行列のために単調性を増加するプロセスを実行する。
ステップ６０４０：入力ＪＰＥＧ画像を、ステップ６０３０で生成された単調化した量子化号列で圧縮する。
ステップ６０５０：圧縮したＪＰＥＧ画像を出力する。
一般に、ＰＳＮＲなどの品質スコアは、従来型のＪＰＥＧコーダーに適用される圧縮量に対して単調ではない。例えば、主観的評価において、時々、圧縮量が減少する場合に品質が低下する。
例えば、ある画像が、次の知覚的品質スコア（ｑｕａｌＳ）対ＭＱＦを生じることが分かった：
ＭＱＦ：７０ ｑｕａｌＳ：０．４０６９
ＭＱＦ：８０ ｑｕａｌＳ：０．３８００５
ＭＱＦ：８８ ｑｕａｌＳ：０．０５８５０４
ＭＱＦ：９２ ｑｕａｌＳ：０．８６３２４
ＭＱＦ：９０ ｑｕａｌＳ：０．１６３８
ＭＱＦ：９１ ｑｕａｌＳ：０．７９９８７
図４６Ａのグラフは、量子化値（すなわち、量子化行列の要素値）が１２から１まで変化する場合に、値１００（ｘ）および９０（ｏ）を量子化する際に取得した実際の値を示す。より細かい量子化にもかかわらず、誤差が頻繁に増加している。例えば１００について、Ｑ＝１０では誤差がないが、Ｑ＝８では、４の誤差がある。
本発明の一実施形態によれば、量子化行列Ｑ１を使用して圧縮した画像を再圧縮する場合、使用する量子化行列Ｑ２は、その行列内のどのエントリに対しても、次の状況を回避するようなものでなければならない：
ａｂｓ（Ｑ１／Ｑ２ａ−ｒｏｕｎｄ（Ｑ１／Ｑ２ａ））＝０．５
非単調性を引き起こすもの、すなわち、品質における下落は、絶対的な量子化誤差だけではなく、図４７Ａ〜図４７Ｄに示すように、その位相であると考えられている。単調な品質の場合、ほぼ全ての量子化要素の誤差は、常に正である。それ故、絶対誤差を抑制する調整を実行するよりも、特定の閾値よりも低い丸めを引き起こす誤差を「無効にする」調整が採用され得る。
図４８に示すループは、再圧縮のために提案された量子化行列を、本明細書に記載のとおり、または従来どおりに、値を計算しクリッピングした後に、計算する関数に追加され得る。図４８の操作は、１回の繰返しにつき、８×８量子化行列内の６４個の量子化値の各々に対して１回だけ実行され得る。
図４９Ａは、本発明の一実施形態により構築され稼働する再圧縮方法の簡略化した流れ図である。図４９Ａの方法は、通常、例えば、図のように適切に順序付けられた、次のステップのいくつかまたは全てを含む：
ステップ６５１０：既知の第１の量子化行列を使用して圧縮された第１の画像を提供する。
ステップ６５２０：例えば、修正品質係数の計算を含む反復プロセスを使用して、候補の第２の量子化行列を提供し、このＭＱＦを使用して量子化行列を生成する。例えば、新しい量子化行列を生成するための方法の簡略化した流れ図である、図１９のように、本発明の特定の実施形態により、入力ＪＰＥＧ画像の圧縮に使用された第１の量子化行列と、デフォルトのＪＰＥＧ行列または圧縮中の画像に適した行列などのような第２の行列を含む、２つの行列が組み合わされ得る。ＭＱＦがスケーリング係数を計算するために使用され、第２の行列がスケーリングされ、結果として生じるスケーリングされた行列の加重平均および第１の行列が計算される。
ステップ６５３０：候補の第２の行列で、第１の行列内の１倍の対応値と第１の行列内の２倍の対応値との間に位置する「問題のある」値を検索する。問題のある各値を第１の行列内の対応値で置き換え、それにより、最終の第２の量子化行列を取得する。
ステップ６５４０：その最終の第２の量子化行列を使用して、第１の画像を圧縮する。
図４９Ｂは、本発明の別の実施形態により構築され稼働する再圧縮方法の簡略化した流れ図である。図４９Ｂの方法は、通常、例えば、図のように適切に順序付けられた、次のステップのいくつかまたは全てを含む：
ステップ６５５０：既知の第１の量子化行列を使用して圧縮された第１の画像を提供する。
ステップ６５６０：例えば、図１９のように、候補の第２の量子化行列を提供する。
ステップ６５７０：候補の第２の量子化行列内の各要素に対して：
ステップ６５８０：第１の行列と候補の第２の行列との間の関係を考慮して、予期され得る丸め誤差を、例えば、図４９Ｃの方法を用いて推定する。
ステップ６５９０：丸め誤差がゼロからかけ離れている（例えば、−０．１より小さいなど、大きな負値）場合、現在の第２の行列要素に対して１を加算／減算し、ステップ６５８０に戻る。
ステップ６６００：候補の第２のｑ行列内の全要素に対して丸め誤差が申し分なく推定されたことを十分に確実にするよう、第２の行列内の全要素に対して１が加算／減算されると、この修正された候補の第２の量子化行列を使用して第１の画像を再圧縮する。
図４９Ｃは、図４９Ｂの丸め誤差推定ステップを実行するための方法の簡略化した流れ図である。図４９Ｃの方法は、通常、例えば、図のように適切に順序付けられた、次のステップのいくつかまたは全てを含む：
ステップ６６１０：次のように「丸め誤差」を計算する：
Ｑｒ＝Ｑｖ＿ｉｎｐｕｔ／Ｑｖ＿ｐｒｏｐｏｓｅｄを計算する
ステップ６６２０：次の計算をする：Ｅｒ＝Ｑｒ−ｒｏｕｎｄ（Ｑｒ）
ステップ６６３０：６４個の要素の各々について、Ｅｒ＜−０．１の間（Ｅｒは、作成方法のために、−０．５未満にならない）、次の計算をする：Ｑｖ＿ｐｒｏｐｏｓｅｄ＝Ｑｖ＿ｐｒｏｐｏｓｅｄ−１（または＋１）、その後、もはやＥｒ＜−０．１が真でない場合を除いて、繰り返す。
本明細書で提案した方法のいくつかの実施形態を使用して再圧縮された多数の画像を検査した後、品質スコアと実際に認識された画像品質の両方が、ＭＱＦに対して単調ではないことが分かり、これは、反復型の、知覚的に可逆な再圧縮システムにおける最適なＭＱＦの検索プロセスを拡張し得る。
この効果を示すため、Ｖ１を元のＪＰＥＧでの復号された量子化ＤＣＴ値とし、Ｑ１を元のＪＰＥＧ量子化行列内の対応する量子化値とする。すると、逆量子化後に再構築された値は、Ｖ１＊Ｑ１である。Ｑ２を、再圧縮プロセスで量子化行列によって使用される対応量子化値とする。すると、新しい量子化ＤＣＴ値は、Ｖ２＝ｒｏｕｎｄ（Ｖ１＊Ｑ１／Ｑ２）によって与えられる。この値は、その後、Ｖ２＊Ｑ２として、デコーダーで再構築され得る。
したがって、再量子化プロセスで取り込まれた誤差は次のとおりである：
Ｑｅ＝（Ｖ１＊Ｑ１）−（Ｖ２＊Ｑ２）＝Ｖ１＊Ｑ１−Ｑ２＊ｒｏｕｎｄ（Ｖ１＊Ｑ１／Ｑ２）
量子化率ＱＲがＱＲ＝Ｑ１／Ｑ２として定義されると、これは、次の結果になり得る：
Ｑｅ＝Ｑ２＊（Ｖ１＊ＱＲ−ｒｏｕｎｄ（Ｖ１＊ＱＲ））
この誤差は、特定のＤＣＴ係数値によって決まるが、係数がランダムに分配されると仮定すると、誤差はＱＲ−ｒｏｕｎｄ（ＱＲ）に比例する、すなわち、ＱＲが整数値から離れれば離れるほど、予期される誤差が高くなる。
さらに別の評価は、品質における主な下落が、この丸め誤差［ＱＲ−ｒｏｕｎｄ（ＱＲ）］が大きな負値の場合に生じることを示している。それ故、丸め誤差が特定の閾値未満の新しい量子化行列を無効にする調整が採用され得る。
図５０ａおよび図５０ｂは、ぞれぞれ、単調性改善プロセスがある場合とない場合に、画像例に対して取得した品質スコア対ＭＱＦの一例を示す。図５０ｂに対して使用され、図５０ａに対して使用されていない単調性改善プロセスは、図５１に示されている。図５１の方法は、通常、例えば、図のように適切に順序付けられた、次のステップのいくつかまたは全てを含む：
ステップ６７１０：量子化行列Ｑを、例えば、図１９のように、提案されたＭＱＦに従って計算する。
ステップ６７２０：Ｑ内の６４個の各ｑ値について、提案されたｑ値および、元の画像での量子化行列からの対応するｑ値を使用して、丸め誤差を計算する。
ステップ６７３０：丸め誤差が所与の閾値未満の任意のｑ値について、その丸め誤差が閾値を超えるまで、その値を１だけ繰り返して増加または減少する。
ステップ６７４０：丸め誤差が閾値を超えると、結果として生じたｑ値を使用する。
図５１に示すプロセスは、次の２つの自由度を有する：つまり、許容できない丸め誤差に対する閾値の選択、および提案された量子化行列の値の増加または減少のいずれかによる修正である。図５１に示すプロセスを実施する一方法は、例えば、約−０．１の閾値、量子化値減少アプローチを使用した閾値化であることが分かった。
さらなる実施形態によれば、非単調性問題に関連して、元の量子化値の２倍以下の提案されたｑ値、すなわち、ｑ＿ｎｅｗ＜＝２＊ｑ＿ｏｒｇを特定すること、および量子化値をｑ＿ｏｒｇ、または１．１＊ｑ＿ｏｒｇに修正することを含む、代替プロセスが使用され得る。図５０ａおよび図５０ｂは、それぞれ、図５１の単調性修正を使用する場合と使用しない場合での、画像例に対して取得した品質スコア対ＭＱＦの一例をグラフで示す。
図５２は、例えば、本明細書に示しかつ記載するように、新しい量子化行列を計算した後に、単調性修正（単調性改善）方法を適用する一例を示す。単調性修正によって影響を受ける値が太字で示されている。図５３ａ〜図５３ｇは、より細かい量子化にかかわらず丸め誤差の増加の例を示し、これは、本発明の特定の実施形態に従い、例えば、問題のある量子化値を無効にすることによって、画像品質対ＭＱＦ関数の単調性を確実にするかまたは増加させることの重要性を示す。
特に、図５３ａは、逆量子化後の入力画像の元のＤＣＴ係数を示す。図５３ｂは、入力画像の圧縮に使用される量子化行列の一例を示す。図５３ｃは、図５３ｂの行列、および逆行量子化を使用した量子化後に、結果として生じるＤＣＴ係数を示す。図５３ｄは、図５３ｃの値と図５３ａの値との間の絶対誤差を示す。
図５３ｅは、入力画像の圧縮に使用される第２の量子化行列の一例を示し、これは、図５３ｂの行列よりも細かくて、それ故、実際ではないが、理論的には、より高い品質画像を作成すると予測される。図５３ｆは、図５３ｅの行列、および逆行量子化を使用した量子化後に、結果として生じるＤＣＴ係数を示す。図５３ｇは、図５３ｆの値と図５３ａの値との間の絶対誤差を示す。
例えば、図５３ｄの値の平均など、第１の量子化行列を使用した、再構築された係数と元の係数との間の平均絶対誤差は、１．１である。例えば、図５３ｇの値の平均など、第１の量子化行列よりも細かい第２の量子化行列を使用した、再構築された係数と元の係数との間の平均絶対誤差は、１．５である。要約すれば、より細かい量子化行列を使用して圧縮すると、低品質の画像が生じ得、それ故、本明細書に示しかつ記載する、単調性を提供または増加する方法の有用性につながる。
図５４Ａ〜図５４Ｅは、本明細書に示しかつ前述した方法と併用すると便利な量子化行列計算プロセスの段階を示す表である。
図５４Ａは、再圧縮する入力ＪＰＥＧ画像の生成に使用する量子化行列例を示す。
図５４Ｂは、事前選択した量子化行列である。
図５４Ｃは、ＭＱＦ＝９０＝＞ｓｃｆ＝０．２を使用する、スケーリングした量子化行列である。
図５４Ｄは、次の式：
Ｍａｘ｛ＱＭｉｎｐｕｔ，ｒｏｕｎｄ［０．５＊（ＱＭ１ｓ＋Ｑｍｉｎｐｕｔ）］｝
に基づき得る、平均化＋クリッピング段階の出力である。
図５４Ｅは、本明細書に示しかつ記載する単調性増加段階の出力であり、この段階で修正された行列要素が太字で示されている。
図５５Ａおよび図５５Ｂは、まとめて、先行画像での素ブロックの独立符号化によって生成された第１の画像の独立した素ブロックレベルの再圧縮のためのコンピューター化された方法の簡略化した流れ図を形成し、第１の画像は、それに関連した少なくとも１つの第１の量子化行列を有し、その方法は、例えば、次のように、適切に順序付けられた図中のステップの一部または全てを含む。図５５Ａでは、次のとおりである：
ステップ６８１０：第１の画像について、プロセッサーを使用して、少なくとも１回の独立した素ブロックレベルの圧縮操作を実行し、それにより、新しい量子化行列の生成を含めて、再圧縮された第２の画像を生成する。
ステップ６８２０：行列内の少なくとも１つの、また、通常は全ての（行、列）位置に対して図５５Ｂの方法を実行することを含めて、独立した素ブロックレベルの圧縮に対して新しい量子化行列を使用する。
図５５Ｂでは：
ステップ６８３０：新しい量子化行列を利用する量子化プロセスによって引き起こされる丸め誤差を計算する。
ステップ６８４０：丸め誤差が、例えば、−０．１などであるがこれに限定されない、許容可能な丸め値の閾値より大きな負値である丸め誤差など、非受容性基準（ｕｎａｃｃｅｐｔａｂｉｌｉｔｙ ｃｒｉｔｅｒｉｏｎ）を満足する場合、新しい量子化行列を利用する量子化プロセスによって引き起こされる丸め誤差を削減するために、少なくとも１つの新しい量子化行列の値を調整する。
特定の実施形態によれば、量子化行列は、高い丸め誤差を引き起こす恐れがある状況においてのみ修正される。
本明細書に示しかつ記載する単調性改善方法は、画像の復号および再符号化を含め、とりわけ、１つまたは複数のＪＰＥＧ画像を処理および圧縮する任意のシステムでの実施に適している。通常、かかるシステムは、ＪＰＥＧ画像を入力し、それを復号し、随意に、その復号した画像を画像処理し、その後、出力ＪＰＥＧ画像を取得するために符号化する。かかる画像処理システムの例には、ＰｈｏｔｏＳｈｏｐ、Ｗｉｎｄｏｗｓ Ｉｍａｇｅ ａｎｄ Ｆａｘ Ｖｉｅｗｅｒ、とりわけ写真回転機能がある。本明細書に示しかつ記載する単調性改善方法は、かかるシステムのＪＰＥＧエンコーダーで実施され得る。ＪＰＥＧデコーダーおよびエンコーダーでの復号および符号化は、ピクセルレベルへの完全復号よりも、例えば、ＤＣＴレベルへの、それぞれ部分的のみの復号および符号化であり得る。
本明細書に示しかつ記載する再圧縮方法に対して、入力画像を提供、生成、送信および／または圧縮するために、任意の適切な入力装置が使用され得る。本明細書に示しかつ記載する再圧縮方法で生成された画像を表示するために、任意の適切な出力装置またはコンピューターディスプレイが使用され得る。入力画像を、本明細書に示しかつ記載する再圧縮システムに送信するため、またはそこからの出力画像を、例えば、一方では、出力画像の受信側と入力画像の供給側との間のクライアントサーバータイプの関係を、他方では、本明細書に示しかつ記載する再圧縮システムを使用する、補助コンピューターシステムへ送信するため、コンピューターネットワークが採用され得る。本明細書に示しかつ記載する計算機能のいずれかまたは全てを提供するために、任意の適切なコンピュータープロセッサーが採用され得、これら機能のいずれか、またはこれら機能の任意の組み合わせまたはこれら機能の任意の適切な部分は、かかるプロセッサーでのモジュールを含む。本明細書に示しかつ記載する再圧縮システムへの入力画像、またはそれによって生成された出力画像を格納するために、例えば、コンピューターメモリなど、コンピューターデータストレージの任意の適切な形式が採用され得る。
本明細書に示しかつ記載する方法およびシステムは、ＪＰＥＧと同一ではないが、ＪＰＥＧと共通な関連する機能を有するフォーマットに適用可能であり得る。
本明細書で使用される「圧縮の程度（ｄｅｇｒｅｅ ｏｆ ｃｏｍｐｒｅｓｓｉｏｎ）」および「圧縮レベル（ｃｏｍｐｒｅｓｓｉｏｎ ｌｅｖｅｌ）」という用語は、概ね同義語であり、両方とも（再）圧縮により画像にもたらされたサイズ縮小の程度を指し、これは、通常、ｑ行列内の値の大きさによって制御され、それは、通常、ユーザー選択のＭＱＦまたはＱＦ値によって決定される。
図４５〜図５５ｂに関連して前述の、圧縮した画像品質の単調性の圧縮の程度に応じた提供を含む、画像圧縮のためのシステムおよび方法は、本発明の他の技術と併用して有用である。例えば、図５６ａは、例えば、図４５〜図５５ｂに関連して前述した任意の方法および装置を使用して、単調性を高める働きをする単調性増加器（ｍｏｎｏｔｏｎｙ ｉｎｃｒｅａｓｅｒ）７０６５が提供されていることを除いて、図３２ａに類似している本発明の特定の実施形態により構築され稼働する再圧縮システムの簡略化した機能ブロック図である。図５６ｂは、例えば、図４５〜図５５ｂに関連して前述した任意の方法および装置を使用して、単調性を高める同様の働きをする単調性増加器７６５０が提供されていることを除いて、図３２ｂに類似している本発明の特定の実施形態により構築され稼働する再圧縮システムの簡略化した機能ブロック図である。図５６ｃは、例えば、図４５〜図５５ｂに関連して前述した任意の方法および装置を使用して、単調性を高める働きをする単調性増加ステップ７９２５が提供されていることを除いて、図３２ｂに類似している本発明の特定の実施形態により、量子化行列生成プロセスを実行するための方法の簡略化した流れ図である。
ここで、図５７〜図６４Ｂを参照して、画像の圧縮レベルを分類するためのシステムおよび方法について記載する。図５７〜図６４Ｂに関連して後述するシステムおよび方法は、単独でおよび、例えば、図６５ａ〜図６５ｃに関連して後述するような、本発明の他の技術との併用の両方で有用である。
後述の特許請求された主題の説明および各請求項では、「知覚的品質尺度」という用語および置き換え可能な「知覚的類似性尺度」という用語または同様の用語が参照されている。本明細書では、「知覚的品質尺度」または「知覚的類似性尺度」という用語は、参照画像と比較して、画像の主観的な知覚的品質または類似性を示す数値を提供する尺度に関連する。例として、知覚的類似性尺度／知覚的品質尺度は、参照画像と比較して評価される画像に対するＤＭＯＳ（ｄｉｆｆｅｒｅｎｔｉａｌ−ｍｅａｎ−ｏｐｉｎｉｏｎ−ｓｃｏｒｅ）と大いに関係していると予測され得る。知覚的品質尺度の例には、ＰＳＮＲ（ピーク信号対雑音比）、ＳＳＩＭ（構造的類似性指標基準）、ＶＩＦ（視覚情報忠実度）、ＭＳＵ（モスクワ大学）ブロックノイズ、ＭＳＵ（モスクワ大学）ぼかし、ＰＱＳ（画質評価尺度）、ＶＱＭ（ビデオ品質メトリック）およびＰＥＶＱ（視覚的品質の知覚評価）を含むが、これらに限定されない。さらに別の知覚的品質尺度のさらに別の例も本明細書に記載されている。
特許請求された主題の説明および各請求項の全体に渡り、「高度に圧縮された入力画像」という用語または手短に「高度に圧縮された画像」という用語または同様の用語が参照されている。「高度に圧縮された入力画像」という用語（および「高度に圧縮された画像」という用語も）は、記述および請求項で、推定される可能性のある追加の圧縮（本明細書では「再圧縮」とも呼ぶ）および、かかる追加の圧縮の結果としての推定される知覚的品質の損失の観点から入力画像の圧縮を特性化するために使用される。記述および請求項で、入力画像の圧縮は、所与の（既に）圧縮された入力画像に対して、任意のさらなる大幅な圧縮が、知覚的品質閾値を超えて、画像の知覚的品質を低下させるであろう場合に、「高い」と見なされるか、または分類される。これに関して、特許請求された主題に従って「高度に圧縮」されていると見なされる圧縮された入力画像は、知覚的類似性（または品質）制約を所与として、所与の知覚的品質制約を超えることなく、限られた程度の追加の圧縮（決して大幅ではない）だけが可能であると評価される、圧縮画像である。
これに関して、「高度に圧縮された入力画像」という用語での「高度な」という形容詞の使用は、入力画像の圧縮レベルを制限することも、それを特徴づけることも意図していないことを理解されたい。入力の圧縮画像の圧縮レベル、またはもっと正確には、追加の圧縮の可能性は、知覚的品質／類似性基準およびさらに別の圧縮基準によって特徴付けられ、これらの基準は、要望どおりに、または基礎となる用途に対して適切に設定され得る。例えば、特許請求された主題は、知覚的可逆または知覚的非可逆な再圧縮プロセスの一部としてまたはそれに関連して使用され得、また、知覚的品質制約を超えることなく、大幅な追加の圧縮が達成され得ることが、特許請求された主題に従って、プロセスにより判断される場合に限り、所与の圧縮された入力画像の再圧縮が可能になるように、これらのプロセスのどちらも制御し得る。知覚的類似性制約は、再圧縮プロセスが知覚的可逆であるべきことを必要とするか、または知覚的非可逆な圧縮を許可し、例えば、知覚的類似性が特定の知覚的類似性閾値を上回って維持されるように、再圧縮プロセスを制御するために使用され得る。
説明および特許請求の範囲の全体に渡り、圧縮された入力画像の圧縮レベルの評価が、特定の知覚的品質尺度およびその特定の知覚的品質尺度に対する特定の構成を使用して、実行される。異なる知覚的類似性尺度は、入力の圧縮画像に比較して、再圧縮された画像の知覚的品質損失（またはその欠如）の観点を含め、所与の画像の評価に使用される際に、異なる結果をもたらし得ることを理解されたい。したがって、説明および特許請求の範囲の全体に渡り、前述のとおり追加の圧縮の可能性対かかる追加の圧縮の結果としての知覚的品質の損失の観点から評価される、高度に圧縮された入力画像に対するいかなる参照も、特定の圧縮技術（またはアルゴリズム）および特定の構成の使用に関連する。
特許請求された主題の説明および各請求項の全体に渡り、「大幅な圧縮（ｓｉｇｎｉｆｉｃａｎｔ ｃｏｍｐｒｅｓｓｉｏｎ）」および「大幅な追加の圧縮（ｓｉｇｎｉｆｉｃａｎｔ ｆｕｒｔｈｅｒ ｃｏｍｐｒｅｓｓｉｏｎ）」という用語または「大幅な圧縮の可能性（ｓｉｇｎｉｆｉｃａｎｔ ｃｏｍｐｒｅｓｓｉｏｎ ｐｏｔｅｎｔｉａｌ）」および「大幅な追加の圧縮の可能性（ｓｉｇｎｉｆｉｃａｎｔ ｆｕｒｔｈｅｒ−ｃｏｍｐｒｅｓｓｉｏｎ ｐｏｔｅｎｔｉａｌ）」もしくは同様の用語は、区別しないで参照されている。これらの用語は、説明および特許請求の範囲において、最小限の追加の圧縮（の可能性）を特徴づけるために使用される。最小限の追加の圧縮の可能性は、知覚的品質／類似性基準と一緒に、基準として使用され得る。最小限の追加の圧縮の可能性基準は、知覚的品質／類似性基準と一緒に、所与の圧縮された入力画像が、知覚的品質／類似性基準を超えることなく、少なくとも、最小限の追加の圧縮の可能性基準によって定義される程度に、さらに圧縮され得るか否かを判断するために使用される。
特許請求された主題の説明および各請求項の全体に渡り、「圧縮された入力画像ファイル」という用語または同様の用語が参照されている。この用語は、説明および特許請求の範囲では、圧縮画像をレンダリングするためにコンピューターによって必要とされる任意の情報を格納および整理するために使用されるコンピューター資源に関連する。例として、圧縮された入力画像ファイルは、画像データおよびメタデータを含み得、メタデータは圧縮データを含み、圧縮データは、次いで、その画像に適用された圧縮に関連する詳細およびデータを含む。圧縮データは、画像の復号に必要であり得る。特定の圧縮画像に対して、圧縮データは、画像の最後の圧縮に対して使用され、画像の再構築に必要な、量子化行列および／またはスケーリング係数（例えば、スケーリングされた標準の量子化行列が使用された場合）を含み得る。
特許請求された主題の一態様により、画像の圧縮レベルを分類するシステムおよび方法が提供される。一例によれば、画像の圧縮レベルを分類する方法は、圧縮された入力画像から取り出されたＤＣＴ係数へ逆量子化を適用して、逆量子化ＤＣＴ係数を生じること、事前定義した閾値をその逆量子化ＤＣＴ係数に適用すること、事前定義した閾値が知覚的類似性尺度に関連すること、および事前定義した閾値と、逆量子化ＤＣＴ係数のうちの少なくとも１つの間の関係に従って、圧縮画像に対して圧縮レベル分類を判断することを含み得る。便宜上、圧縮された入力画像を分類するこのプロセス、および本明細書で開示されているその変形例は、「分類プロセス（ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｐｒｏｃｅｓｓ）」と呼ばれることもある。
ここで、図５７を参照すると、これは、特許請求された主題の一例により、画像の圧縮レベルを分類するシステムのブロック図である。一例によれば、画像の圧縮レベルを分類するシステム８１００は、構成モジュール８０１０、ＤＣＴ係数抽出器８０２０およびＤＣＴ領域圧縮分類器８０３０を含み得る。随意に、ＤＣＴ領域圧縮分類器８０３０は、逆量子化器８０２５を含むか、またはそれに関連し得る。
ここで、図５８を参照すると、これは、特許請求された主題の一例により、画像の圧縮レベルを分類する方法の流れ図である。ブロック８２１０で、圧縮された入力画像８１０２が取得される。例えば、圧縮された入力画像８１０２はＪＰＥＧ画像である。さらに、分類閾値が取得され得る（ブロック８２２０）。例として、分類閾値は、最小絶対非ゼロＤＣＴ係数を含み得る。さらに後述するように、圧縮された入力画像からどのデータが検査されるべきかに関する構成など、分類プロセスに対して恐らくは追加可能な構成が取得され得る。
特許請求された主題の一例によれば、分類閾値は知覚的類似性尺度に関連する。例えば、分類閾値は、例えば、後述するように、知覚的類似性尺度を用いて判断される。さらに別の例として、知覚的類似性尺度は、許容可能な（許容できない）最小絶対非ゼロＤＣＴ係数を判断するために利用され得る。かかる閾値は、例えば、後述するように、入力の圧縮画像の逆量子化後に適用され得る。
例として、分類閾値は、構成モジュール８０１０内に記録され得、構成モジュール８０１０は、分類プロセスの初期化中に、適切な分類閾値を使用して、ＤＣＴ領域圧縮分類器８０３０を初期化し得る。一例として、分類プロセスで使用するために、知覚的類似性尺度を使用して選択される閾値が、最小絶対非ゼロＤＣＴ係数に関連する場合、ＤＣＴ領域圧縮分類器８０３０は、最小絶対非ゼロＤＣＴ係数に関連する特定値で構成され得る。この値は、圧縮された入力画像を、後述するように、「高度に圧縮されている」か否かとして分類するための閾値として使用され得る。
さらに例として、分類閾値は固定され得る、すなわち、分類閾値は、構成モジュール８０１０内に（または、ＤＣＴ領域圧縮分類器８０３０内に）ハードコードされ得るか、または別の例では、分類閾値は動的であり得、また、ＤＣＴ領域圧縮分類器８０３０は、随時、異なる値で再構成され得る。さらにまた別の例では、分類閾値を構成する値は、例えば、画像空間解像度、隣接ブロック間のＤＣＴ係数の変動性、例えばＤＣＴ係数ヒストグラムに見られるような画像の周波数成分など、圧縮された入力画像の特定の特性または特定の成分によって決まり得る。
例えば、閾値は、圧縮された入力画像の空間解像度に敏感に反応し得、また、それに従って適合され得る。さらに別の例として、低空間解像度をもつ画像に対して、より低い最小絶対非ゼロＤＣＴ値がかかる画像で識別される場合に、より高い空間解像度をもつ画像を高度に圧縮されているとして分類するために使用される最小絶対非ゼロＤＣＴ値と比較して、それらの画像が高度に圧縮されているとして分類されるように、閾値が適合され得る。別の例では、閾値は、非ＤＣ ＤＣＴ係数の低エネルギーおよび／または分散に敏感に反応し得、また、それに従って適合され得る。さらに別の例として、非ＤＣ ＤＣＴ係数の低エネルギーおよび／または分散によって特徴付けられる画像に対して、より低い最小絶対非ゼロＤＣＴ値がかかる画像で識別される場合に、非ＤＣ ＤＣＴ係数のより高いエネルギーおよび／または分散によって特徴付けられる画像を高度に圧縮されているとして分類するために使用される最小絶対非ゼロＤＣＴ値と比較して、それらの画像が高度に圧縮されているとして分類されるように、閾値が適合され得る。
特許請求された主題の一例では、複数の閾値が、分類プロセスの一部として実施され得る。さらに別の例として、複数の閾値の各々は、知覚的類似性尺度に関連し得、また、圧縮された入力画像の異なる特性値または要素に関連し得る。例えば、また、後述のように、圧縮された入力画像の輝度およびクロマ成分の各々に対して閾値が提供され得、分類プロセスの一部として複数の閾値が使用され得る。
さらに別の例では、知覚的類似性尺度に関連する分類閾値に加えて、知覚的類似性尺度に関連していない、少なくとも１つの別の閾値が、分類プロセスの一部として使用され得る。例えば、知覚尺度によって課される制約に加えて、特定の閾値（一般に、知覚尺度制約によって取り込まれる閾値より高い）も、分類に使用され得る。例えば、任意の再圧縮プロセスに対して、使用する知覚的類似性基準にかかわらず、最低非ゼロＤＣＴ係数が所与の実質的に高い閾値を上回る場合、画像は必ず「高度に圧縮されて」いる。極端な例として、非ゼロ非ＤＣ ＤＣＴ係数がない場合、画像は「高度に圧縮されている」として分類され得、この場合、閾値は本質的に無限大である。
分類プロセスの構成およびその閾値として利用され得る閾値の詳細について説明してきたが、ここで図５７および図５８に戻ると、ブロック８２３０で、ＤＣＴ係数抽出器８０２０は、ＤＣＴ係数を入力画像８１０２から抽出するために、それ自体が周知の方法で利用され得る。逆量子化器８０２５は、逆量子化を抽出ＤＣＴ係数（ブロック８２４０）に、同じくそれ自体が周知の方法で、適用し得る。
一部の例では、高圧縮率は圧縮された入力画像の量子化行列を分析することにより識別され得る。特許請求された主題は、随意に、入力の圧縮画像ファイルの一部であるか、またはそうでなければそれに関連する量子化行列を調べることにより、高度に圧縮された入力画像を識別するための周知の方法を使用し得る。しかし、かかる分析は、前述のとおり、分類方法の任意選択の追加機能に過ぎず、また、特許請求された主題は、後述するように、少なくとも量子化ＤＣＴ係数の分析を含み、後者の分析は逆量子化ＤＣＴ係数について実行されるため、入力の圧縮画像ファイルの一部であるかそれに関連する量子化行列の影響を受けない。
逆量子化（ブロック８２４０）の後、最小絶対非ゼロ逆量子化ＤＣＴ係数は、例えば、ＤＣＴ領域圧縮分類器８０３０によって、識別され得る（ブロック８２５０）。次に、ＤＣＴ領域圧縮分類器８０３０は、例えば、分類閾値を最小絶対非ゼロ逆量子化ＤＣＴ係数に適用することにより（ブロック８２６０）、入力画像の圧縮を分類し得る。例として、閾値は、推定される潜在的な追加の圧縮および、かかる追加の圧縮の結果としての推定される知覚的品質の損失の観点から、入力画像（例えば、ＪＰＥＧ入力画像８１０２）の圧縮を特徴づけることを目的としている。さらに具体的に言うと、また、さらに別の例として、閾値は、圧縮された入力画像の圧縮が、特定の程度を超えて知覚的品質を劣化させることなく、その値を下回って（または上回って）いかなる大幅な追加の圧縮（再圧縮）もできそうにないと推定される、ＤＣＴ係数値を規定し得る。さらに例として、閾値は、知覚的な観点から、知覚的類似性尺度で評価されるとおり、圧縮された入力画像の追加の圧縮が、圧縮された入力画像と再圧縮画像との間における知覚上の同一性を維持すると推定される程度に制限されるように構成され得る。分類閾値の用途に関するさらなる詳細について、後述する。
最後に、入力画像の圧縮の分類８１０４がその後、出力として提供され得る（ブロック８２７０）。
逆量子化ＤＣＴ係数の分析を含む圧縮分類ルーチンを実行することにより、特許請求された主題による方法は、圧縮された入力画像または圧縮された入力画像の以前のバージョンに適用されていて、また、入力画像ファイルでの量子化行列によって反映されていない、圧縮および／または再圧縮ステップを識別し得る。例えば、特許請求された主題による方法は、入力画像のＤＣＴ係数への量子化行列の適用にかかわらず、入力画像でのＤＣＴ係数を修正した、圧縮および／または再圧縮ステップを識別し得る。
ここで、図５９Ａ〜図５９Ｄを参照すると、これらは、まとめて、特許請求された主題の一例により、初期の粗い量子化行列が使用された後に細かい量子化行列を用いた再圧縮が行われる、１６×１６画素領域の再圧縮プロセスを示す。図５９Ａには、元のＲＡＷ画像の１６×１６画素領域へのズームを表す１６×１６行列の図が示されている。１６×１６画素行列８３１０内の値は、実際の輝度面のピクセル強度値を表す。
図５９Ａに１６×１６画素領域８３１０が示されているＲＡＷ画像は、圧縮を受け得る。例えば、圧縮の一部として、ＤＣＴ変換が、ＲＡＷ画像のピクセル値に適用され得、結果として生じるＤＣＴ係数が丸められ得る。図５９Ｂは、図５９Ａに示すピクセル値の１６×１６行列について計算された、（丸められた）ＤＣＴ係数８３２０の１６×１６行列の図である。一例として、図５９Ｂに示すＤＣＴ係数８３２０の１６×１６行列は、それ自体が周知の方法で、ＪＰＥＧ規格で定義されたＤＣＴ変換に従って計算されている。図５９Ｂに見られるように、ＤＣＴ係数８３２０の１６×１６行列は、丸められた輝度面のＤＣＴ係数である。
図５９Ｃには、粗い量子化を図５９ＢのＤＣＴ係数の１６×１６行列に適用することにより計算された、量子化ＤＣＴ係数の１６×１６行列が示されている。一例として、図５９Ｃに示す量子化ＤＣＴ係数８３３０の１６×１６行列は、それ自体が周知の方法で、ＪＰＥＧ規格に従い、また、規格で提供されているデフォルトの量子化行列およびスケーリング係数を使用して計算された。本質的に、量子化ＤＣＴ係数８３３０の１６×１６行列は、入力の１６×１６ピクセル値行列８３１０に適用された第１圧縮プロセスの結果を表す。
図５９Ｃに見られるように、量子化ＤＣＴ係数８３３０の１６×１６行列は、粗い量子化行列で量子化した後の、図５９Ｂに示されるＤＣＴ係数８３２０の１６×１６行列からの輝度面のＤＣＴ係数を含む。
ＤＣＴ係数３２０の１６×１６行列（図５９Ｂ）および量子化ＤＣＴ係数８３３０の対応する１６×１６行列内の量子化値を見ると、圧縮画像がここでその圧縮レベルを判断するために分析された場合、それ自体が周知の方法で、入力の圧縮画像ファイルの一部であるか、またはそうでなければそれに関連する、（粗い）量子化行列を見ることにより、画像が高度に圧縮されていると判断することは可能であったかも知れない。
ここで図５９Ｄを参照すると、これは、とりわけ、以前に第１圧縮プロセスで圧縮された圧縮画像に第２圧縮プロセスを適用することにより作成された、圧縮画像の逆量子化ＤＣＴ係数の１６×１６行列の図である。前述とおり、１６×１６ピクセル値行列８３１０についてのＤＣＴ変換、および量子化ＤＣＴ係数８３３０の１６×１６行列を生じたＤＣＴ係数８３２０の１６×１６行列の量子化は、粗い量子化行列が使用された第１圧縮プロセスの一部であった。図５９Ｄの逆量子化ＤＣＴ係数８３４０の行列は、第１圧縮プロセスの結果である圧縮画像に対して適用された第２圧縮プロセス（再圧縮）の結果である。
例として、第２圧縮プロセスの一部として、第１圧縮プロセス（粗い量子化行列が使用された）の結果である圧縮画像が、（粗い量子化行列を使用した）逆量子化、逆ＤＣＴ変換、第２のＤＣＴ変換（第１圧縮プロセス中に適用されたＤＣＴが第１のＤＣＴ変換である）、および第２の量子化プロセス（第１圧縮プロセス中の量子化が第１の量子化プロセスである）を受け、今度は、第２の量子化が、細かい量子化行列（例えば、全て「１」から構成される量子化行列）を使用して実行された。かかる状況では、第１圧縮プロセスの一部として元のＲＡＷ画像に適用された大幅な圧縮が、第２圧縮プロセス（再圧縮）の後、圧縮画像ファイルからは明らかでなく、また、細かい量子化行列が第２圧縮プロセスの一部として使用された場合、圧縮画像ファイルは、細かい量子化を含み、それ故、入力の圧縮画像８１０２に適用された圧縮のレベルを分類するための量子化行列を見るだけでは誤解を招き得ることを当業者には理解されたい。特許請求された主題は、少なくとも逆量子化ＤＣＴ係数の分析を含み、また、この分析は逆量子化ＤＣＴ係数について実行されるため、入力の圧縮画像ファイルの一部であるかまたはそれに関連する量子化行列の影響を受けない。
例として、圧縮（第１圧縮プロセス）およびそれに続く再圧縮（第２圧縮プロセス）を受けた、圧縮された入力画像８１０２が、例として、図５９Ａおよび図５９Ｂに関連して前述したとおり、特許請求された主題による分類システム８１００によって受け取られる場合、その分類は、少なくとも、入力画像８１０２の逆量子化ＤＣＴ係数に基づく分析を含み、そして、逆量子化ＤＣＴ係数に基づくため、この分析は、入力の圧縮画像ファイルの一部であるか、またはそれに関連する量子化行列の影響を受けず、これは、元の画像に適用された実際の圧縮を偽って伝え得る。
ここで、図６０Ａ〜図６０Ｄに移ると、これらは、まとめて、特許請求された主題の一例により、ビットレートを削減するために低エネルギーＤＣＴ係数がゼロに設定され、修正されたＤＣＴ値行列が細かい量子化行列（例えば、全て１の行列）を用いて量子化される、１６×１６画素領域の圧縮プロセスを示す。図６０Ａには、元のＲＡＷ画像の１６×１６画素領域へのズームを表す１６×１６行列の図が示されている。１６×１６画素行列８４１０内の値は、実際の輝度面のピクセル強度値を表す。
図６０Ａに１６×１６画素領域が示されているＲＡＷ画像は、圧縮を受け得る。例えば、圧縮の一部として、ＤＣＴ変換が、ＲＡＷ画像のピクセル値に適用され得、結果として生じるＤＣＴ係数が丸められ得る。図６０Ｂは、図６０Ａに示すピクセル値の１６×１６行列について計算された、（丸められた）ＤＣＴ係数の１６×１６行列の図である。一例として、図６０Ｂに示すＤＣＴ係数８４２０の１６×１６行列は、それ自体が周知の方法で、ＪＰＥＧ規格に従って計算されている。図６０Ｂに見られるように、ＤＣＴ係数８４２０の１６×１６行列は、低エネルギー領域での±１など、低い絶対値をもつ、いくつかの非ゼロＤＣＴ係数を含む。
図６０Ａ〜図６０Ｄに示す圧縮プロセスの一部として、ＤＣＴ係数はゼロに設定され得る。ここで、図６０Ｃを参照すると、これは、図６０Ｂに示すＤＣＴ係数の元の１６×１６行列からのいくつかの低エネルギーＤＣＴ係数がゼロに設定された後、ＤＣＴ係数の修正された１６×１６行列の図である。一例として、図６０Ｃに示すＤＣＴ係数の修正された１６×１６行列４３０では、全ての低エネルギーＤＣＴ係数が、４以下の絶対値をもつこの係数例で、ゼロに設定されている。低エネルギーＤＣＴ係数をゼロに設定することにより、標準のＪＰＥＧデコーダーとの互換性を維持しながら、画像（またはこの場合はその１６×１６画素領域）のファイルサイズまたはビットレートが削減され得ることを理解されたい。
一例として、ＤＣＴ係数のゼロ化は、ＲＡＷ入力画像の圧縮（符号化）プロセスの一部として実施され得、低エネルギーＤＣＴ係数に適用され得る。ＤＣＴ係数のゼロ化は、例えば、ＪＰＥＧ圧縮ステップなど、標準の圧縮ステップと併用して、標準のＪＰＥＧ画像など、標準の圧縮画像を生じ得ることを理解されたい。
ＤＣＴ係数のゼロ化は、手動のルーチンとして実施され得て、オペレーターがどのＤＣＴ係数をゼロにすべきかを選択し得るが、別の例では、自動ルーチンが、ＪＰＥＧ圧縮プロセスなどの圧縮プロセスの一部として、ＤＣＴ係数をゼロに設定するために実施され得る。ＤＣＴ係数のゼロ化の詳細は、これに関して実装され得る任意の論理および／またはアルゴリズムを含め、特許請求された主題の範囲外であり、任意の現在周知の、または将来考案される、方法、技術もしくはルーチンを用いて実施され得る。
ＤＣＴ係数のゼロ化が行われた後、元のＲＡＷ画像の各部分が実質的に圧縮されると、量子化プロセスが、例えば、ＪＰＥＧ規格に従って実施され得る。例として、細かい量子化行列（例えば、全て１）が、ＤＣＴ係数の修正された１６×１６行列に適用され得る。細かい量子化行列が使用される場合でさえ、ＤＣＴ係数のゼロ化に起因して大幅な圧縮がまだ生じ得ることを理解されたい。
ここで、図６０Ｄを参照すると、これは、圧縮画像の逆量子化ＤＣＴ係数の１６×１６行列の図であり、その圧縮画像は、とりわけ、図６０Ｃに示す修正した１６×１６のＤＣＴ係数行列（ＤＣＴ係数のゼロ化後）に細かい量子化行列（例えば、全て１）を適用することにより作成されたものである。前述のとおり、特許請求された主題による分類システム８１００に対する入力の圧縮画像８１０２として提供され得る、圧縮画像は、元の画像（例えば、非圧縮画像）に適用された圧縮プロセスによって生成されているかも知れず、その圧縮プロセスは、とりわけ、元の画像のピクセル値（１６×１６ピクセル値行列８４１０によって上記で示した）に対するＤＣＴ変換の実行、ＤＣＴ係数の行列に対するＤＣＴ係数ゼロ化の適用、修正したＤＣＴ係数の行列（修正したＤＣＴ係数の１６×１６行列８４３０によって上記で示した）の生成、および修正したＤＣＴ係数の行列に対する細かい量子化行列の適用を含んでいた。かかる状況では、ＤＣＴ係数のゼロ化を通して（量子化によってではなく）元のＲＡＷ画像に適用された大幅な圧縮が、圧縮画像ファイルからは明らかでなく、また、細かい量子化行列が圧縮プロセスで使用された場合、圧縮画像ファイルは、細かい量子化行列を含み、それ故、入力の圧縮画像８１０２に適用された圧縮のレベルを分類するための量子化行列を見るだけでは誤解を招き得ることを当業者には理解されたい。特許請求された主題は、少なくとも逆量子化ＤＣＴ係数の分析を含み、また、この分析は逆量子化ＤＣＴ係数について実行されるため、入力の圧縮画像ファイルの一部であるかまたはそれに関連する量子化行列の影響を受けない。
例として、圧縮中にＤＣＴゼロ化プロセスを受けた、圧縮された入力画像８１０２が、例として、図５９Ａおよび図５９Ｂに関連して前述したとおり、特許請求された主題による分類システム８１００によって受信される場合、その分類は、少なくとも、入力画像８１０２の逆量子化ＤＣＴ係数に基づく分析を含み、そして、逆量子化ＤＣＴ係数に基づくため、この分析は、入力の圧縮画像ファイルの一部であるか、またはそれに関連する量子化行列の影響を受けず、これは、元の画像に適用された実際の圧縮を偽って伝え得る。
既に前述のとおり、例として、分類閾値を構成する値は、圧縮された入力画像の特定の特性または特定の成分によって決まり得、例えば、その閾値は、その画像の輝度および／またはクロマ面に関連し得、また、その画像は、輝度および／またはクロマ面内のその逆量子化ＤＣＴ係数を、輝度および／またはクロマ面内のＤＣＴ係数と特に関連する各閾値に対して比較することにより分類され得る。
さらに別の例として、また、前述のとおり、複数の閾値が分類プロセスの一部として実施され得る。さらにまた別の例として、複数の閾値の各々が、圧縮された入力画像の異なる特性または成分に関連し得る。例えば、閾値は、圧縮された入力画像の、輝度およびクロマ成分の各々に対して提供され得、複数の閾値が分類プロセスの一部として使用され得る。
ここで、画像の圧縮を分類する方法の一例を説明するが、その方法は、圧縮された入力画像の輝度およびクロマ面の各々における逆量子化ＤＣＴ係数に対する閾値の実施を含む。ここで、図６１を参照すると、これは、特許請求された主題の一例により、圧縮された入力画像の輝度およびクロマ面の各々における非量子化ＤＣＴ係数に対する閾値の適用を含め、画像の圧縮レベルを分類する方法の流れ図である。図６１に示すプロセスは、圧縮された入力画像（例えば、ＪＰＥＧ画像）の取得（ブロック８２１０）、および分類閾値の取得（ブロック８２２０）から始まる。これらのブロックは、図５８に関して前述した各ブロックと同様であるが、ブロック８２２０で、圧縮された入力画像の輝度およびクロマ面の各々に対してそれぞれ１つの、複数の閾値が取得される、という違いがある。
次に、量子化ＤＣＴ係数が、圧縮された入力画像（ブロック８２３０）から抽出され、その圧縮された入力画像の逆量子化ＤＣＴ係数を取得するために逆量子化が適用され得る（ブロック８２４０）。これらのブロックも、図５８に関して前述した各ブロックと同様であるが、ＤＣＴ抽出が、圧縮された入力画像の輝度およびクロマ面の各々でのＤＣＴ係数の抽出に使用され、逆量子化が、輝度およびクロマ面の各々での量子化ＤＣＴ係数に適用され、それにより、輝度およびクロマ面の各々での逆量子化ＤＣＴ係数を生じる、という違いがある。
輝度およびクロマ面の各々で逆量子化ＤＣＴ係数が取得されると、Ｙ（輝度）面での最低非ゼロＤＣＴ係数が識別される（ブロック８５０５）。次に、Ｙ面での最小絶対非ゼロＤＣＴ係数が第１の閾値（Ｙ面での逆量子化ＤＣＴ値に対応する第１の閾値）を上回っているか否かが判断される（ブロック８５１０）。例として、第１の閾値は、推定される可能性のある追加の圧縮および、かかる追加の圧縮の結果としての推定される知覚的品質の損失の観点から、入力画像（例えば、ＪＰＥＧ入力画像８１０２）の圧縮を特徴づけることを目的としている。さらに具体的に言うと、また、さらに別の例として、第１の閾値は、圧縮された入力画像の圧縮が、特定の程度を超えて知覚的品質を劣化させることなく、その値を上回って、いかなる大幅な追加の圧縮（再圧縮）もできそうにないと推定される、Ｙ面でのＤＣＴ値を規定し得る。さらに例として、第１の閾値は、知覚的な観点から、知覚的類似性尺度で評価されるとおり、圧縮された入力画像の追加の圧縮が、圧縮された入力画像と再圧縮画像との間における知覚上の同一性を維持する程度に制限されるように構成され得る。
例として、ブロック８５１０で、Ｙ面での最小絶対非ゼロＤＣＴ係数が第１の閾値を上回っていると判断されると、圧縮された入力画像の圧縮が「高い」と分類され（８５３５）、この分類が出力として提供され得る（ブロック８２６０）。Ｙ面の逆量子化ＤＣＴ係数は、Ｙ面での最小絶対非ゼロＤＣＴ係数に基づいて圧縮が「高い」と分類される場合を示すが、図６２Ａで示されている。例えば入力の圧縮画像を分類するための閾値によれば、Ｙ面の逆量子化ＤＣＴ係数行列が、５未満のＹ面での絶対非ゼロ係数を含まない任意の圧縮画像は、図６２Ａに示すＹ面の逆量子化ＤＣＴ係数行列に関連する圧縮された入力画像に比べて、この行列が絶対非ゼロ値が５未満の値を持たないため、高度に圧縮されていると分類されるとすることを表している。
例として、ブロック８５１０で、Ｙ面での最小絶対非ゼロＤＣＴ係数が第１の閾値を上回っていないと判断されると、プロセスは、Ｙ面での最小絶対非ゼロＤＣＴ係数が第２の閾値を上回っているか否かを判断するために進み、その第２の閾値は、第１の閾値より低い（ブロック８５４５）。例として、第２の閾値も、推定される潜在的な追加の圧縮および、かかる追加の圧縮の結果としての推定される知覚的品質の損失の観点から、入力画像（例えば、ＪＰＥＧ入力画像８１０２）の圧縮を特徴付けることを目的としているが、第２の閾値の場合は、圧縮された入力画像の圧縮が、特定の程度を超えて知覚的品質を劣化させることなく、その値を下回って、大幅な追加の圧縮（再圧縮）が可能であると推定される、Ｙ面でのＤＣＴ値を規定し得る。
したがって、例として、ブロック８５４５で、Ｙ面での最小絶対非ゼロＤＣＴ係数が第２の閾値を上回っていないと判断されると、圧縮された入力画像の圧縮が「低い」と分類され（８５５５）、この分類が出力として提供され得る（ブロック８２６０）。Ｙ面の逆量子化ＤＣＴ係数は、Ｙ面での最小絶対非ゼロＤＣＴ係数に基づいて圧縮が「低い」と分類される場合を示すが、図６２Ｂで示されている。例えば、入力の圧縮画像を分類するための閾値によれば、Ｙ面の逆量子化ＤＣＴ係数行列が、２未満（または１に等しい）のＹ面での絶対非ゼロ係数を含む任意の圧縮画像は、図６２Ｂに示すＹ面の逆量子化ＤＣＴ係数行列に関連する圧縮された入力画像に比べて、この行列が絶対非ゼロ値が１の値を持つため、高度に圧縮されていないと分類されるとすることを表している。
例として、しかし、ブロック８５１０で、Ｙ面での最小絶対非ゼロＤＣＴ係数が第１の閾値を上回っていないと判断され、かつ、今度はブロック８５４５で、Ｙ面での最小絶対非ゼロＤＣＴ係数が第２の閾値を上回っていると判断される場合、圧縮された入力画像のＹ面での逆量子化ＤＣＴ係数は、任意の大幅な追加の圧縮（再圧縮）が特定の程度を超えて知覚的品質を劣化させるか否かの可能性を判断する能力の観点から、曖昧であると見なされる。
例として、少なくともある程度まで、この曖昧性を解決するため、分類プロセスはブロック８５６５に進み得、そこで、ＵおよびＶ（クロマ）の両方の面での最小絶対非ゼロＤＣＴ係数が識別され、その後、ブロック８５７５に進み、そこで、ＵおよびＶ（クロマ）の両方の面での最小絶対非ゼロＤＣＴ係数の両方がそれぞれの閾値を上回っているか否かが判断される。例として、Ｕ面での最小絶対非ゼロＤＣＴ係数に関連して、第３の閾値が提供され、また、Ｖ面での最小絶対非ゼロＤＣＴ係数に関連して、第４の閾値が提供される。さらに別の例として、第３および第４の閾値は、ある点で第１の閾値に類似しており、第３および第４の閾値の各々は、推定される潜在的な追加の圧縮および、かかる追加の圧縮の結果としての推定される知覚的品質の損失の観点から、入力画像（例えば、ＪＰＥＧ入力画像８１０２）の圧縮を特性化することを目的としている。さらに具体的に言うと、また、さらに別の例として、第３および第４の閾値の各々は、ＵおよびＶ面の各々に対して、それぞれのＤＣＴ値を規定し得、ＵおよびＶの両方の面での最小絶対非ゼロＤＣＴ値がそれぞれの閾値を上回っている場合、圧縮された入力画像の圧縮が、特定の程度を超えて知覚的品質を劣化させることなく、いかなる大幅な追加の圧縮（再圧縮）もできそうにないと推定される。さらに例として、第３および第４の閾値は、知覚的な観点から、知覚的類似性尺度で評価されるとおり、圧縮された入力画像の追加の圧縮が、圧縮された入力画像とその再圧縮画像との間における知覚上の同一性を維持する程度に制限されるように構成され得る。さらに別の例として、クロマ成分ＵおよびＶの両方に対して単一の閾値が提供され得、逆量子化ＵおよびＶ係数がそれぞれ単一の統一された判断（例えば、ＵおよびＶ（クロマ）面での最小の非ゼロＤＣＴ係数が第３の閾値を上回っているか（または上回っていないか））をもたらすか確認される。
ブロック８５７５で、ＵおよびＶ（クロマ）の両方の面での最小非ゼロＤＣＴ係数の少なくとも１つがそれぞれの閾値を下回っている場合、圧縮された入力画像の圧縮が「低い」と分類され（ブロック８５８５）、この分類が出力として提供され得る（ブロック８２６０）。入力画像のＹ、ＵおよびＶ面の各々に対する逆量子化ＤＣＴ係数行列は、Ｙ面に対する逆量子化ＤＣＴ係数行列が曖昧な状況を示し、入力画像の圧縮がＵおよびＶ面に対する逆量子化ＤＣＴ係数行列に従って低いと分類されるが、図６２Ｃで示されている。例えば、Ｙ面行列８６０６での最小絶対非ゼロＤＣＴ係数が２で、その結果（前述した第１および第２の閾値により）ブロック８５１５で「いいえ」が返され、また、ブロック８５４５で「はい」が返されて（そして、それ故、Ｙ面での逆量子化ＤＣＴ係数行列が曖昧）、プロセスは、クロマ面での逆量子化ＤＣＴ行列に基づいて分類へ進み得ることを表している。例えば、かかる場合、ＵまたはＶ面の逆量子化ＤＣＴ係数行列の少なくとも１つが３以下の値を含む、任意の圧縮画像（または、Ｙ面での逆量子化ＤＣＴ係数行列が曖昧な任意の画像）が、それぞれＵおよびＶ面８６１６および８６２６に対する逆量子化ＤＣＴ係数行列に関連する圧縮された入力画像に比べて、ＵおよびＶ面８６１６および８６２６（この場合は両方）に対する逆量子化ＤＣＴ係数行列が、絶対非ゼロ値が３の値を含むため、「低圧縮」画像と分類されるとすることを表している。
しかし、ブロック８５７５で、ＵおよびＶ（クロマ）の両方の面での最小非ゼロＤＣＴ係数が第３の閾値を上回っている場合、圧縮された入力画像の圧縮が「高い」と分類され（ブロック８５９５）、この分類が出力として提供され得る（ブロック８２６０）。この事例は図６２Ｄで示され、そこでは、Ｙ面に対する逆量子化ＤＣＴ係数行列が曖昧で、入力画像の圧縮が、ＵおよびＶ面に対する逆量子化ＤＣＴ係数行列に従って高いと分類される。例として、Ｙ面行列８６０８が８６０６と同じで、同一の閾値が使用され、それで、ブロック８５１５で「いいえ」が返され、ブロック８５４５で「はい」が返されるが、今回は、例えば、ＵおよびＶ面８６１８および８６２８に対する行列内の最小絶対非ゼロＤＣＴ係数がそれぞれ７であり、また、ＵおよびＶ面の両方に対する逆量子化ＤＣＴ係数行列の最小非ゼロ絶対値が３より大きい場合、そしてそれ故、ＵおよびＶ行列８６１８および８６２８の両方での最小絶対非ゼロＤＣＴ係数行列がそれぞれ７であるため、ＵおよびＶ面に対する閾値（ここでは、一例として、ＵおよびＶ面の両方に対して同一の閾値が使用される）に従い、圧縮された入力画像が、圧縮された入力画像に比べて、高度に圧縮されていると分類されることを表している。
特許請求された主題の例による画像の圧縮レベルを分類するプロセスの様々な可能な実施態様の詳細について説明してきたが、ここで、分類閾値の判断、および分類閾値の判断に知覚的類似性尺度を使用する方法の説明に焦点を合わせる。前述のとおり、推定される潜在的な追加の圧縮（再圧縮）および、かかる追加の圧縮の結果としての推定される知覚的品質の損失の観点から、入力画像の圧縮を特性化するために、知覚的類似性尺度が、特許請求された主題による分類プロセスで使用される。さらに具体的に言うと、また、さらに別の例として、閾値は、圧縮された入力画像の圧縮が、特定の程度を超えて知覚的品質を劣化させることなく、その値を下回って（または上回って）いかなる大幅な追加の圧縮（再圧縮）もできそうにないと推定される、ＤＣＴ係数値を規定し得る。さらに例として、閾値は、知覚的な観点から、知覚的類似性尺度で評価されるとおり、圧縮された入力画像の追加の圧縮が、圧縮された入力画像と再圧縮画像との間における知覚上の同一性を維持すると推定される程度に制限されるように構成され得る。
例として、所与の（既に）圧縮された入力画像に対して、任意のさらなる大幅な圧縮が、知覚的品質閾値を超えて画像の知覚的品質を低下させると推定される場合、入力画像の追加の圧縮は「高い」と見なされるか、または分類される。これに関して、特許請求された主題に従って「高度に圧縮」されていると見なされる圧縮された入力画像は、知覚的類似性（または品質）制約を所与として、所与の知覚的品質制約を超えることなく、限られた程度の追加の圧縮（決して大幅ではない）だけが可能であると評価される、圧縮画像である。
特許請求された主題の一例の一部として、入力の圧縮画像の分類は、逆量子化ＤＣＴ係数の１つまたは複数の閾値に対する評価に基づいており、その閾値は、知覚的類似性尺度に基づいて判断される。さらに別の例として、閾値は、圧縮された入力画像と再圧縮画像（入力画像の追加の圧縮によって生成される）との間で維持されるべき最小の知覚的類似性、および画像を圧縮することでかかる程度まで達成され得る、推定される追加の圧縮に関連し得る。したがって、例として、分類閾値判断プロセスは、知覚的品質／類似性基準とともに、最小のさらに別の圧縮基準に関連し得る。閾値は、どの圧縮された入力画像がさらに圧縮されるかを分類するために使用され得、分類は、知覚的品質／類似性基準を超えることなく、所与の圧縮された入力画像が、少なくとも、最小のさらに別の圧縮基準で定義される程度でさらに圧縮され得るかどうかに関して、推定と見なされ得る。
例として、分類閾値は最小非ゼロＤＣＴ係数に関連し、前述のとおり、逆量子化ＤＣＴ係数に適用される。さらに別の例として、分類閾値は、例えば、圧縮された入力画像のＹ（輝度）、ＵまたはＶ（クロマ）面のいずれかなど、圧縮された入力画像の異なる特性または成分に関連し得る。
例として、分類閾値は、知覚的類似性基準に従って最大限まで再圧縮されていて、それらに対して獲得された再圧縮率がさらに別の圧縮基準より低かった、複数の再圧縮画像（既に圧縮されている画像の追加の圧縮の結果である圧縮画像）に関する統計値を経験的に評価することによって判断され得る。それ故、例えば、知覚的類似性基準が、再圧縮画像が圧縮された入力画像と知覚的に同一であることを必要とする場合、追加の圧縮が許可される程度は、再圧縮画像が、再圧縮プロセス前の画像と知覚的に同一であるよう維持されるという要件によって制約されるであろう。
例として、分類閾値が、知覚的類似性の制約下での追加の圧縮率がさらに別の圧縮基準に一致していなかった（例えば、低すぎた）、複数の再圧縮画像のみに関する統計値を経験的に評価することによって判断され得る。さらに別の例として、分類閾値が、知覚的類似性の制約下での追加の圧縮率がさらに別の圧縮基準を満足していた（例えば、十分に高かった）、複数の再圧縮画像のみに関する統計値を経験的に評価することによって判断され得る。さらにまた別の例として、分類閾値が、前述の両方の画像グループに関する統計値を経験的に評価することにより、また、場合により、例えば、複数の閾値が使用される場合における様々な「中間」画像など、他の画像グループに関する統計値を経験的に評価することによって判断され得る。
例として、複数の画像の各々に対して、再圧縮プロセス（前述の制約下で）を通じて達成された追加の圧縮の程度が記録される。入力画像における最小絶対非ゼロＤＣＴ係数も記録される。さらに別の例として、入力画像のＹ、ＵおよびＶ面の各々での最小絶対非ゼロＤＣＴ係数が記録される。複数の画像について前述のデータを記録するために使用され得るデータ構造の一例を図６３に示す。
図６４Ａは、特許請求された主題の一例により、知覚的類似性基準に従って再圧縮され、その圧縮がさらに別の圧縮基準を使用して評価された画像のＹ面における最小非ゼロＤＣＴ値を用いて、分類閾値が定義され得る方法をグラフで表した図である。一例によれば、複数の画像が、圧縮された入力画像と再圧縮画像との間における知覚上の同一性を維持すると推定される最大程度まで再圧縮され得る。最小圧縮基準または閾値が、例えば、オペレーターにより手動で設定されて、複数の圧縮された入力画像に適用され、そして、圧縮された入力画像の記録された絶対非ゼロＤＣＴ値が、最小のさらに別の圧縮基準に従って分類される。
例えば、再圧縮率がさらに別の再圧縮基準によって規定された値を下回る画像のＹ面での最小絶対非ゼロＤＣＴ値が記録される。例として、この最小絶対非ゼロＤＣＴ値は、圧縮率が「高い」と見なされるべき圧縮された入力画像を識別するための（第１の）閾値として使用され得（例えば、ブロック８５３５で高度に圧縮されていると分類される画像を識別するために使用される第１の閾値）、最小絶対非ゼロＤＣＴ値が、選択した最小絶対非ゼロＤＣＴ値以上の圧縮された入力画像が高度に圧縮されていると分類されるであろう。
別の観点から見ると、例として、圧縮された入力画像を「高度に圧縮されている」と分類するための第１の閾値は、知覚的に可逆な追加の圧縮が制限され、特定の率を超えない、画像の最小絶対非ゼロＤＣＴ値によって特徴付けられ得る。図６４Ａを参照すると、さらに別の例として、知覚的に可逆な追加の圧縮が制限され、特定の率を超えない、画像の最小絶対非ゼロＤＣＴ値は３以上である。したがって、この例では、閾値が設定され得、それに従って、最小絶対非ゼロＤＣＴ値が３以上の任意の画像が高度に圧縮されていると分類される。
例として、再圧縮率が圧縮基準によって規定された値を下回る画像の最小絶対非ゼロＤＣＴ値の記録に加えて、再圧縮率が圧縮基準によって規定された値を上回る画像の最小絶対非ゼロＤＣＴ値が記録される。例として、この最小絶対非ゼロＤＣＴ値は、圧縮率が「低い」と見なされるべき圧縮された入力画像を識別するための（第２の）閾値として使用され得（例えば、ブロック８５５５で低圧縮画像として分類される画像の識別に使用される第２の閾値）、最小絶対非ゼロＤＣＴ値が選択した最小絶対非ゼロＤＣＴ値以下の圧縮された入力画像が低圧縮画像として分類されるであろう。
別の観点から見ると、例として、圧縮された入力画像を「低圧縮」と分類するための第２の閾値は、知覚的に可逆な追加の圧縮が特定の率を超える画像の最小絶対非ゼロＤＣＴ値によって特徴付けられ得る。図６４Ａを参照すると、さらに別の例として、知覚的に可逆な追加の圧縮が特定の率を超える画像の最小絶対非ゼロＤＣＴ値は１以下である。したがって、この例では、閾値が設定され得、それに従って、最小絶対非ゼロＤＣＴ値が１以下の任意の画像が低圧縮画像と分類される。図６４Ａに見られるように、第１の閾値（画像が高度に圧縮されているか否かの分類に使用される）と第２の閾値（画像が低圧縮画像か否かの分類に使用される）との間に、Ｙ面での最小絶対非ゼロＤＣＴ係数が第１の閾値と第２の閾値との間の中間域に含まれる画像の中間グループが存在し得る。例として、中間域内にある最小絶対非ゼロＤＣＴ係数をもつ少なくともいくつかの画像が、圧縮された入力画像と再圧縮画像との間における知覚上の同一性を維持すると推定される最大程度まで圧縮された時に、追加の再圧縮基準によって規定された値を下回る圧縮率を提供し、中間域内にある絶対非ゼロＤＣＴ係数をもつ、いくつかの他の画像が、追加の再圧縮基準によって規定された値を上回る圧縮率を提供したので、対応する画像を高度に圧縮されている画像かまたは低圧縮画像と最終的に分類できない最小絶対非ゼロＤＣＴ係数が中間域内にあり、そのため、Ｙ面での最小絶対非ゼロＤＣＴ係数の中間域内に曖昧さがある。
図６４Ａを参照すると、さらに別の例として、知覚的に可逆な追加の圧縮が曖昧と見なされる画像の最小絶対非ゼロＤＣＴ値の中間域は、１より大きく、３未満である。
例として、分類閾値は、知覚的類似性基準に従って再圧縮され、その圧縮がさらに別の圧縮基準を使用して評価された画像のクロマ、すなわち、ＵおよびＶ面での最小非ゼロＤＣＴ値を用いて定義され得る。ＵおよびＶ面での最小非ゼロＤＣＴ値に関する分類閾値は、前述のとおり、Ｙ面でのＤＣＴ値に基づく分類が曖昧に終わる場合に使用され得る。
ここで図６４Ｂを参照すると、これは、特許請求された主題の一例により、知覚的類似性基準に従って再圧縮され、その圧縮がさらに別の圧縮基準を使用して評価された画像のＵおよびＶ面における最小非ゼロＤＣＴ値を用いて、分類閾値が定義され得る方法をグラフで表した図である。
例えば、再圧縮率がさらに別の再圧縮基準によって規定された値を下回る画像のＵおよびＶ面での最小絶対非ゼロＤＣＴ値が記録される。例として、この最小絶対非ゼロＤＣＴ値は、圧縮率が「高い」かまたは「低い」と見なされるべき圧縮された入力画像を識別するための（第３の）閾値として使用され得る。必要に応じて、知覚的類似性基準およびさらに別の圧縮基準に従い、ＵおよびＶ面の各々に対して、２つの別個の閾値が提供され得るか、または同一の閾値が使用され得る。
例えば、図６４Ｂを参照し、ＵおよびＶ面の両方に対する閾値を３と仮定すると、Ｙ面での最小絶対非ゼロＤＣＴ値が曖昧で、Ｕ面およびＶ面の両方での最小絶対非ゼロＤＣＴ値が（両方の面で）３より大きい、任意の圧縮された入力画像は、高度に圧縮されていると見なされる。また、Ｙ面での最小絶対非ゼロＤＣＴ値が曖昧で、ＵおよびＶ面の少なくとも１つでの最小非ゼロＤＣＴ値が３に等しい、任意の圧縮された入力画像は、低圧縮画像と見なされる。
図５７〜図６４Ｂに関連して前述した、高度に圧縮された画像を識別するためのシステムおよび方法は、本発明の他の技術と併用すると有用である。例えば、図６５ａは、例えば、図５７〜図６４Ｂに関連して前述した任意の方法および装置を使用して、高度に圧縮された画像を識別する働きをする圧縮レベル分類器９００５が提供されていることを除いて、図３２ａに類似している本発明の特定の実施形態により構築され稼働する再圧縮システムの簡略化した機能ブロック図である。本発明の特定の実施形態によれば、圧縮レベル分類器が、入力画像が高度に圧縮された画像であると識別する場合、入力画像は全く再圧縮されない。圧縮レベル分類器以外、全ての他のブロックは、分類器からの適切な指示通りに何も実行せず、それ以上の処理をすることなく、入力画像が出力に直接コピーされる。
図６５ｂは、本発明の特定の実施形態により、また、スケーリングによって先行画像の量子化行列から生成された量子化行列を使用して稼働する、画像の再圧縮のための方法の簡略化した流れ図である。図６５ｂの方法は、例えば、図のように、適切に順序付けられた図中のステップの一部または全てを含み、図１２の対応するステップ１０１２は通常、無条件に実行されるが、第１の画像が高度に圧縮されていると分類されない場合に限り、ステップ９０１２が実行されることを除いて、図１２の方法と類似し得る。
図６５ｃは、本発明の特定の実施形態により、また、先行画像の量子化行列と、ＪＰＥＧ規格で定められているものなどの第２の量子化行列とを組み合わせることによって生成された量子化行列を使用して稼働する、画像の再圧縮のための方法の簡略化した流れ図である。図６５ｃの方法は、例えば、図のように、適切に順序付けられた図中のステップの一部または全てを含み、図１８の対応するステップ１８１５は通常、無条件に実行されるが、第１の画像が高度に圧縮されていると分類されない場合に限り、ステップ９８１５が実行されることを除いて、図１８の方法と類似し得る。
ここで、図６６〜図７１ｄに関連して、入力画像の圧縮プロセスにおけるクロマダウンサンプリングの効果を評価するためのシステムおよび方法について記載する。図６６〜図７１ｄに関連して後述するシステムおよび方法は、単独で、および、例えば、図７２ａ〜図７２ｄに関連して後述するような、本発明の他の技術との併用の両方で有用であり得る。
特許請求された主題の説明および各請求項の全体に渡り、「クロマダウンサンプリング」、「クロマサブサンプリング」および「クロマ空間解像度の低下」という用語、または同様の用語は、区別しないで参照されている。「クロマダウンサンプリング」、「クロマサブサンプリング」および「クロマ空間解像度の低下」という用語は、当技術分野で周知であり、利便性の目的のために提供されている。省略形の「ＣＤＳ」が、説明および各請求項の全体に渡り、「クロマダウンサンプリング」、「クロマサブサンプリング」および「クロマ空間解像度の低下」という用語、または同様の用語の代わりに使用される。
特許請求された主題の説明および各請求項の全体に渡り、「ＣＤＳ候補グループ（ＣＤＳ ｃａｎｄｉｄａｔｅｓ ｇｒｏｕｐ）」という用語、または同様の用語が参照されている。「ＣＤＳ候補グループ」という用語は、本明細書では、クロマダウンサンプリングを受けるための候補の入力画像内のブロックグループに関連する。例えば、４：２：０のクロマダウンサンプリングスキームが入力画像に適用される場合、クロマ成分が一緒にダウンサンプリングされて、単一のブロックで表される、入力画像内の４ブロックの各グループが、ＣＤＳ候補グループを構成する。別の例では、４：２：２のクロマダウンサンプリングスキームが入力画像に適用される場合、クロマ成分が一緒にダウンサンプリングされて、単一のダウンサンプリングされたブロックで表される、入力画像内の２ブロックの各グループが、ＣＤＳ候補グループを構成する。
特許請求された主題の説明および各請求項の全体に渡り、「対象のＣＤＳブロック」という用語、または同様の用語が参照されている。「対象のＣＤＳブロック」という用語は、本明細書では、クロマダウンサンプリングを、元の画像からのＣＤＳ候補グループ内のブロックに適用することによって生じるブロックに関連する。
特許請求された主題の説明および各請求項の全体に渡り、「圧縮された入力画像ファイル」という用語または同様の用語が参照されている。この用語は、説明および特許請求の範囲では、圧縮画像をレンダリングするためにコンピューターによって必要とされる任意の情報を格納および整理するために使用されるコンピューター資源に関連する。例として、圧縮された入力画像ファイルは、画像データおよびメタデータを含むことができ、メタデータは圧縮データを含み、圧縮データは、同様に、その画像に適用された圧縮に関連する詳細およびデータを含む。圧縮データは、画像の復号に必要であり得る。特定の圧縮画像に対して、圧縮データは、画像の最後の圧縮に対して使用され、その画像の再構築に必要な、量子化行列および／またはスケーリング係数（例えば、スケーリングされた標準の量子化行列が使用された場合）を含むことができる。
特許請求された主題の一態様により、入力画像の圧縮プロセスにおけるクロマダウンサンプリングの効果を評価するシステムおよび方法が提供される。特許請求された主題の一例によれば、入力画像の圧縮プロセスにおけるクロマダウンサンプリングの効果を評価する方法は、入力画像内の各ＣＤＳ候補グループのＵおよび／またはＶ面でのＤＣＴ係数の特性に基づき、さらに、入力画像内の各ＣＤＳ候補グループのＵおよび／またはＶ面でのＤＣＴ係数の多様性に基づく、対象のＣＤＳブロックに対する誤差の計算、および複数の対象のＣＤＳブロック誤差値に基づく入力画像に対するＤＣＳの推定される知覚的効果の計算を含むことができる。
特許請求された主題のさらに別の例として、特性には、各ＤＣＳ候補グループのＵおよび／またはＶ面でのＤＣＴ係数の平均を含む。特許請求された主題のさらにまた別の例として、多様性は、各ＣＤＳ候補グループの各１つのＵおよび／またはＶ面でのＤＣＴ係数値と、各ＣＤＳ候補グループのＵおよび／またはＶ面でのＤＣＴ係数の平均との間の差異によって特徴付けられる。
ここで、特許請求された主題のさらに別の例を提供する。ここで、図６６を参照すると、これは、特許請求された主題の一例により、入力画像の圧縮プロセスにおけるクロマダウンサンプリングの効果を評価するためのシステムのブロック図である。一例によれば、入力画像の圧縮プロセスにおけるクロマダウンサンプリングの効果を評価するためのシステム１０１００は、ＣＤＳモード識別器（ｍｏｄｅ ｉｄｅｎｔｉｆｉｅｒ）１００１０、ＤＣＴ係数抽出器１００２０、構成モジュール３０およびＣＤＳ評価モジュール１００４０を含むことができる。さらに別の例として、システム１０１００は、本明細書で説明するとおり、入力画像１０１０２を受信し、それを処理して、ＣＤＳルーチンの画像への適用に関して勧告（ｒｅｃｏｍｍｅｎｄａｔｉｏｎ）を出すことができる。
ここで、さらに図６７を参照すると、これは、特許請求された主題の一例により、ＪＰＥＧ入力画像の圧縮プロセスにおけるクロマダウンサンプリングの効果を評価する方法の流れ図である。例として、ＪＰＥＧ画像が取得され（ブロック１０２０５）、入力としてシステム１０１００に提供され得る。入力画像１０１０２が、その（現在の）ＣＤＳモードを判断する（ブロック１０２１０）ために分析できる。これに関して、入力画像１０１０２は、既にある程度のＣＤＳを受けている画像であり得ることを理解されたい。例えば、図６６の入力画像はＪＰＥＧ画像であり得、その入力ＪＰＥＧ画像は、両方の軸でのＣＤＳ、水平軸または垂直軸の一方でのＣＤＳを受けたかも知れず、または入力画像は、ＣＤＳを全く受けていないＪＰＥＧ画像かも知れない。例として、ＪＰＥＧ入力画像に対するＣＤＳモードの判断は、この情報が通常ＪＰＥＧファイル自体から入手可能であるため、容易であり得る。他の種類の画像のＣＤＳモードの判断に使用できるルーチン例について後述する。
例として、入力画像１０１０２の現在のＣＤＳモードに基づき、追加のＣＤＳが可能か否かが判断できる（ブロック１０２１５）。さらに別の例として、入力画像１０１０２がＪＰＥＧ画像である場合、ＪＰＥＧ画像が既に両方の軸でＣＤＳを受けていれば、追加のＣＤＳは適用できず、プロセスは終了する（ブロック１０２２０）が、そうでなければ、プロセスはブロック１０２２５に進み、そこで、どの軸についてＣＤＳが評価されるかが判断される。どの軸についてＣＤＳが評価されるかの判断に使用され得るルーチン例を以下で提供する。例として、ブロック１０２１０、１０２１５、および１０２２５が、ＣＤＳモード識別器１００１０によって実行できる。
あるいは、どの軸についてＣＤＳが評価されるかの判断のために実施されるルーチンと並行して、また、実際の評価プロセスに備えて、ブロック１０２３０、１０２３５、および１０２４０が実施できる。ブロック１０２３０で、入力ＪＰＥＧの画像量子化行列が取得できる。ＪＰＥＧ画像については、この情報も通常ＪＰＥＧファイル自体から入手可能である。ブロック１０２３５で、入力画像のＶおよび／またはＵのＤＣＴ係数が取得できる。ブロック１０２４０で、逆量子化が入力画像のＶおよび／またはＵのＤＣＴ係数に適用されて、Ｖおよび／またはＵ面での逆量子化ＤＣＴ係数を生じ得る。
どの軸についてＣＤＳが評価されるかが判断され、Ｖおよび／またはＵ面での逆量子化ＤＣＴ係数が利用可能になると、プロセスは次のブロックに進むことができ、そこで、第１ＣＤＳ候補グループが（評価されるために）選択される（ブロック１０２４５）。例として、評価される第１ＣＤＳ候補グループの選択が、構成モジュール１００３０によって実行できる。さらに別の例として、構成モジュール１００３０は、ＣＤＳの実行後、単一ブロックに統合される１組のブロックを選択するように構成できる。さらに別の例として、水平軸および垂直軸の両方に沿ったダウンサンプリングに対して評価が実行される場合、第１ＣＤＳ候補グループは、一番上の一番左側のブロック、その右側のブロック、およびこれらの下の２つのブロックを含むことができる。次に、その後の各評価で、２×２ブロックの対応する組が評価に使用でき、そして、事前定義したパターンに従って、毎回、次のＣＤＳ候補グループが選択できる。異なる例では、例えば、水平軸のみに沿ったダウンサンプリングに対して評価が実行される場合、第１ＣＤＳ候補グループは、一番上の一番左側のブロック、その右側のブロックを含むことができ、次の各ＣＤＳ候補グループのブロックは、特定の事前定義したパターンに従って選択される同様の組のブロックを含む。
ここで、ＣＤＳ評価ルーチン例について説明する。例として、評価ルーチンは、ＣＤＳ評価モジュール１００４０によって実行できる。例として、評価ルーチンは、入力画像内の各ＣＤＳ候補グループのＵおよび／またはＶ面でのＤＣＴ係数の特性に基づく、また、入力画像内の各ＣＤＳ候補グループのＵおよび／またはＶ面でのＤＣＴ係数の多様性にさらに基づく、対象のＣＤＳブロックに対する誤差の計算を含むことができる。入力画像に対するＤＣＳの推定される知覚的効果が、複数の対象のＣＤＳブロック誤差値に基づき計算できる。
特許請求された主題のさらに別の例として、特性には、各ＤＣＳ候補グループのＵおよび／またはＶ面でのＤＣＴ係数の平均を含む。特許請求された主題のさらにまた別の例として、多様性は、各ＣＤＳ候補グループの各１つのＵおよび／またはＶ面でのＤＣＴ係数値と、各ＣＤＳ候補グループのＵおよび／またはＶ面でのＤＣＴ係数の平均との間の差異によって特徴付けられる。
ここで、図６７を参照しながら、評価ルーチンの一例に従ったさらなる詳細について説明する。例として、評価ルーチンの一部として、各ＣＤＳ候補グループの各Ｕおよび／またはＶ面でのＤＣＴ ＤＣ係数の平均が計算され得る（ブロック１０２５０）。さらに別の例として、各ＣＤＳ候補グループの各１つのＵおよび／またはＶ面でのＤＣＴ ＤＣ値と、各ＣＤＳ候補グループのＵおよび／またはＶ面でのＤＣＴ ＤＣ係数の平均との間の差異が計算され（ブロック１０２５５）、各ＣＤＳ候補グループの各１つのＵおよび／またはＶ面でのＤＣＴ ＤＣ値と、各ＣＤＳ候補グループのＵおよび／またはＶ面でのＤＣＴ ＤＣ係数の平均との間の最大二乗差が選択される（ブロック１０２６０）。便宜上、本明細書では、この最大二乗差が、ＣＤＳ対象ブロックに対する誤差値と呼ばれることがある。
ＣＤＳ対象ブロックに対する誤差値が閾値と比較され（ブロック１０２６５）、ＣＤＳ対象ブロックに対する誤差値が閾値を下回っている場合、評価すべきＣＤＳ候補グループが残っているか否かが判断される（ブロック１０２７０）。ＣＤＳ対象ブロックに対する閾値は、構成モジュール１００３０によって判断でき、ＣＤＳ評価モジュール１００４０内にプログラム化できる。ＣＤＳ評価モジュール１００４０は、閾値を各ＣＤＳ候補グループの評価ルーチンの一部として使用できる。ＣＤＳ対象ブロック誤差値に対する閾値を判断できる方法例について、後述する。
ブロック１０２６５で、評価するＣＤＳ候補グループが残っていれば、次のＣＤＳ候補グループが、例えば、ＣＤＳ評価モジュール１００４０によって選択され（ブロック１０２７５）、プロセスはブロック１０２５０に戻る。例として、次のＣＤＳ候補グループの選択は、事前定義したパターンに従って実行される。さらに別の例として、次のＣＤＳ候補グループの選択は、使用しているＤＣＴ面のラスター走査の継続およびＣＤＳ候補ブロックの次の対または４個組の選択によって実行される。
ＣＤＳ候補グループのいずれかについて、ブロック１００２６５で、各ＣＤＳ対象ブロックに対する誤差値が閾値を上回っていると判断されると、このＣＤＳ候補グループは、ＣＤＳに対して安全でないと見なされ、ＣＤＳグループに対して安全でない数を数えるカウンターの値が増やされる（ブロック１０２８０）。カウンターが増加された後、カウンターインデックスに関連する第２の閾値がカウンターインデックスの閾値に対してチェックされる（ブロック１０２８５）。例として、誤差値の閾値と同様の方法で、カウンターインデックスの閾値が構成モジュール１００３０によって判断でき、ＣＤＳ評価モジュール１００４０内にプログラム化できる。ＣＤＳ評価モジュール１００４０は、カウンターインデックスの閾値を入力画像の評価ルーチンの一部として使用できる。カウンターインデックスに対する閾値を判断できる方法例について、後述する。
カウンターインデックスがカウンターインデックスの閾値を超えると、評価ルーチンに基づいて、ＤＣＳの実行を推奨しないことが判断されて、この効果に対する勧告が出される（ブロック１０２９０）。しかし、カウンターが増加された後、カウンターインデックスがまだカウンターインデックスの閾値を超えていないと判断されると、プロセスはブロック１０２７０に進み、そこで、評価するＣＤＳ候補グループが残っているか否かが判断される。評価するＣＤＳ候補ブロックのグループがまだ残っている場合、プロセスはブロック１０２５０に戻り、次のグループが評価される。しかし、もう評価するグループが残っていない場合、評価ルーチンに基づき、ＣＤＳは、入力画像とそのクロマダウンサンプリングされた対応画像との間の知覚的類似性を甚だしく低下させていないと推定されると判断され、この効果に対する勧告が出される（ブロック１０２９５）。
特許請求された主題の一例によれば、評価ルーチンは、Ｖ面のＤＣＴ ＤＣ値のみを使用して実行される。したがって、例として、ブロック１０２３５では、Ｖ面でのＤＣＴ係数のみが抽出され、場合により、Ｖ面でのＤＣＴ ＤＣ係数のみが抽出される。ブロック１０２４０では、逆量子化は、Ｖ面でのＤＣＴ係数のみ、またはＶ面でのＤＣＴ ＤＣ係数に制限できる。ブロック１０２５０〜１０２６５も、Ｖ面でのＤＣＴ係数またはＶ面でのＤＣＴ ＤＣ係数に関して、構成および適用され得る。
Ｖ面のＤＣＴ ＤＣ値について実施は、信頼性のある出力をなお提供しながら、評価アルゴリズムの複雑さを軽減できることが理解されるであろう。Ｖ成分は、「赤色のデータ」の大部分を含み、考案者は、Ｖ成分がクロマダウンサンプリングの知覚的効果の判定においてより高い重要性を示すことが分かった。特許請求された主題の別の例によれば、追加のＤＣＴ係数および／またはＵ面成分を使用すると、その上、より高い複雑さを犠牲にして、勧告のより細かな調整を可能にし得る。
さらに別の例として、入力画像からの４つのブロックがＣＤＳ候補グループ内にある場合、次のようにラベル付けされる：
Ｂ１＝Ｂ｛ｍ，ｎ｝、Ｂ２＝Ｂ｛ｍ＋１，ｎ｝、Ｂ３＝Ｂ｛ｍ，ｎ＋１｝、Ｂ４＝Ｂ｛ｍ＋１，ｎ＋１｝
クロマダウンサンプリングが垂直軸および水平軸の両方で実行されると仮定すると、その４つのブロックが単一のブロックになる。この組のＶ面での（丸められた）平均ＤＣＴ ＤＣ値が、次のように計算される：
Figure 0005844263
式１
後述するように、例として、入力画像が既に一方向でクロマダウンサンプリングされている場合は、２つの関連するブロックだけを使用して平均が計算される。
ブロックＢ１、Ｂ２、Ｂ３およびＢ４（ＣＤＳ候補グループを表す）に対応するＣＤＳ対象ブロックに対する誤差値は、次のように計算できる：
Figure 0005844263
式２
入力画像が既に一方向でダウンサンプリングされている場合は、｛ｉ＝１，２｝であり、ｍとｎのどちらも二分されない。
ブロックＢ１、Ｂ２、Ｂ３およびＢ４から構成されるＣＤＳ候補グループに対するＥｍ，ｎ誤差値が第１の閾値を上回っている場合、このＣＤＳ候補グループは、ＣＤＳに対して安全でないと見なされ、ＣＤＳグループに対して安全でない数を数えるカウンターの値が増やされる。Ｅｍ，ｎ誤差値は、全体画像に対して計算される。随意に、例えば、画像の一部のみが分類プロセスの一部として処理されるように、事前定義したパターンが考案されて、ＣＤＳ候補グループに対して特定のサブセットを提供するために使用される。一例として、分類プロセスが、偶数値のｍおよびｎについてのみ実行され得る。ＣＤＳ候補グループの「ＣＤＳに対して安全でない」数を数えるカウンターが第２の閾値を超えるか、または言い換えれば、カウンターが、値Ｅが閾値を超えるＮ個のＣＤＳ候補グループを表す、値Ｎを超える場合、入力画像はクロマサブサンプリングを受けるべきでないと判断される。
非限定的な説明のため、大規模な画像データベースに関する特許請求された主題による方法の一例の評価は、所与のＣＤＳ候補グループがＣＤＳに対して安全でないと見なされるべきか否かの判断に使用される閾値である、第１の閾値の値が、例えば、ＴＥ＝１０，０００であり得ることを示している。前述のとおり、この閾値ＴＥは、各ＣＤＳ候補グループ内の各メンバーブロックのＶ面でのＤＣＴ ＤＣ値と、各ＣＤＳ候補グループのＶ面でのＤＣＴ ＤＣ係数の平均との間の最大二乗差の評価に使用される。
さらに非限定的な例として、また、大規模な画像データベースに関する特許請求された主題による方法の一例のさらに別の評価によれば、カウンターインデックスに関連する第２の閾値は、例えば、Ｎ＝１０であり得る。一例では、入力画像内のＣＤＳ候補グループに対する誤差値、Ｅの評価は、Ｎ個のＣＤＳ候補グループが、Ｅが閾値を超えたことが分かった後、停止し得る。誤差値の閾値に対してＴＥ＝１０，０００を設定する閾値、およびカウンターインデックスの閾値に対してＮ＝１０を設定する閾値を使用すると、テスト画像の主観的な視覚的評価で評価されるように、良い区別が提供された。
ここで、図３を参照すると、これは、特許請求された主題の一例により、複数の画像ファイルに対して、主観的ＣＤＳ分類の結果がリストされ、その複数の画像ファイルの各々に対して、ＣＤＳ対象ブロック誤差を評価するための３つの異なる閾値の適用結果が記録される、データ構造図である。さらに詳細に後述するように、特許請求された主題の一例によれば、かかるデータを使用して、ＣＤＳ対象ブロック誤差を評価するための閾値が実験的に判断できる。
さらに別の例として、テスト画像の集合（画像ファイル）に対するクロマダウンサンプリングの知覚的効果が評価可能である。例えば、一人または複数の人間の評価者が、テスト画像の集合に対するクロマダウンサンプリングの効果を評価するように依頼され得る。テスト画像の集合は、クロマダウンサンプリングされ得、人間の評価者が、彼／彼女の主観的印象に基づき、クロマダウンサンプリングされた画像とその対応する入力画像との間に知覚的な差異があるか否かを示すように依頼され得る。二人以上の評価者がいる場合は、それ自体が周知の方法で、共通の結果が任意の周知の統計的処理方法によって取得できる。図６８では、かかる評価の結果が、左から２番目の列にまとめられ、そこでは、入力画像のクロマダウンサンプリングの結果として知覚的変化がなければ、各画像に対して「ＯＫ」が入力され、知覚的変化があれば、「ＯＫでない」が入力されている。図６８では、画像の知覚的類似性は、１００％ズームで、両方のクロマ軸でのＣＤＳに対して、評価されている。画像間の知覚的類似性の評価のために他の比率が使用できることを理解されたい。知覚的類似性は、１つの軸のみでのクロマダウンサンプリングに対しても評価できることも理解されたい。さらに、知覚的類似性は、可能な各クロマダウンサンプリングモード（例えば、両方のクロマ軸でのＣＤＳ、水平軸のみでのＣＤＳ、および垂直軸のみでのＣＤＳ）に対して評価できることを理解されたい。
人間の評価者を使う代わりに、または追加で、知覚的品質尺度が使用でき、そのプロセスは自動的または半自動的にできることを理解されたい。知覚的品質尺度に基づく自動的評価プロセスは、例えば、ダウンサンプリングしたクロマ面の元の空間解像度へのアップサンプリングを含むことができるが、これは、参照間、すなわち、元のクロマ面とダウンサンプリングした面間の調整に必要であり、その後に、例えば、ＰＳＮＲ（ピーク信号対雑音比）、ＳＳＩＭ（構造的類似性）またはＶＩＦ（視覚情報忠実度）などを含むが、これに限定されない、周知の歪み尺度の計算が続く。使用可能な知覚的品質尺度のさらに別の例には、追加のアーチファクト性エッジ尺度を含む知覚的類似性尺度、およびテクスチャ尺度および局所類似性尺度の組み合わせに基づく知覚的類似性尺度を含む。後者の知覚的品質尺度は前述のとおりである。
図６８では、テストセット内の画像の各々１つに対して３つの異なるＣＤＳ対象ブロック誤差率を計算するために、ＣＤＳ対象ブロック誤差を評価するための３つの異なる閾値が使用された。図６８で使用された閾値に対して可能な値は、ＴＨＲ１＝５０００、ＴＨＲ２＝１００００およびＴＨＲ３＝５００００である。特許請求された主題の一例によれば、各ＣＤＳ対象ブロックに対して、誤差値は、各ＣＤＳ候補グループのＶ面でのＤＣＴ ＤＣ値と各ＣＤＳ候補グループのＶ面でのＤＣＴ ＤＣ係数の平均との間の最大二乗差として計算できる。さらに、図６８に示す例によれば、３つの閾値の各々に基づき（ＴＨＲ１＝５０００、ＴＨＲ２＝１００００およびＴＨＲ３＝５００００）、テストセット内の各画像に対して、誤差値が各閾値を超えている対象のＣＤＳブロック数がデータ構造の各列に記録される。
３つの閾値の各々に対する結果がその後評価でき、ＣＤＳに対して「ＯＫ」と評価されている画像とＣＤＳに対して「ＯＫでない」と評価されている画像をうまく区別する閾値が選択される。３つの閾値の各々に対する結果の評価が手動または、この目的のために設計され、コンピューター上で実施された専用アルゴリズムを用いて実行できる。
例えば、図６８で３つの閾値に対する結果を見ると、ＣＤＳを受けて知覚的に可逆であるか否かにかかわらず、ＴＨＲ１は低すぎて、多くのブロックがそれを超えている。ＴＨＲ３は高すぎて、ＣＤＳが知覚的損失を引き起こしている場合でさえ、ほとんどのブロックがそれを超えていないが、ＴＨＲ２は、ＣＤＳに対して推奨されないとして各誤差値が閾値を超える、少なくとも１０個のＣＤＳ対象ブロックをもつ任意の画像を分類することにより、このテストセットに対する信頼性のある分類を可能にする。このようにして、ＣＤＳ対象ブロック誤差を評価するための閾値がカウンターインデックス閾値を判断するために使用できる。前述のとおり、カウンターインデックス閾値は、誤差値が所与のＣＤＳ対象ブロック誤差閾値を上回っているかまたは下回っている、ＣＤＳ対象ブロック（またはＣＤＳ候補グループ）数に基づき、入力画像がＣＤＳに対して安全か否かを示すために使用される（そして、ＣＤＳ対象ブロック誤差閾値はカウンターインデックス閾値に関連する）。
図６８に示す例を参照すると、ＴＨＲ２＝１００００がＣＤＳ対象ブロック誤差閾値として選択でき、すると各カウンターインデックス閾値は１０である。誤差値が対象のＣＤＳブロック誤差閾値を超える、ＣＤＳ対象ブロック数が１０以上の任意の画像が、ＣＤＳに対して「ＯＫでない」と見なされ、かかる画像に対して、ＣＤＳを実行しないように勧告が出される。同様に、誤差値が対象のＣＤＳブロック誤差閾値を超える、ＣＤＳ対象ブロック数が１０未満の任意の画像が、ＣＤＳに対して「ＯＫ」と見なされ、かかる画像に対して、ＣＤＳを実行するように勧告が出される。
図６８では、例として、データ構造内の基本的な値およびエントリの全ての評価は、両方の軸におけるＣＤＳに関して実行された。各ＣＤＳモードに対して、ＣＤＳ対象ブロック誤差閾値および各インデックスカウンター閾値が提供されるように、垂直軸のみでのＣＤＳに対して、および水平軸のみでのＣＤＳに対して、同様の評価が実行され得ることを理解されたい。特許請求された主題の一例によれば、クロマダウンサンプリングを分類するプロセスによって使用される、ＣＤＳ対象ブロック誤差閾値および各インデックスカウンター閾値は、評価しているクロマダウンサンプリング方法に従って選択でき、複数のＣＤＳモードが評価される場合には、閾値は、あるＣＤＳモードから次への移行中に更新できる。
図６８では、例として、小さいテストセットが示されている。より正確でより信用できる閾値を取得するために、もっと多くの画像が評価できることを理解されたい。さらに、例として、多かれ少なかれ３つ以上の候補対象のＣＤＳブロック誤差閾値が（各ＣＤＳモードに対して）評価できる。
図６７およびその説明では、入力画像はＪＰＥＧ画像であった。ＪＰＥＧ画像では、Ｙ、ＵおよびＶ面の各々でのＤＣＴ係数が、簡単な方法で、入力画像から抽出できる。ここで、図６９を参照して説明するが、それは、特許請求された主題の一例により、入力画像の圧縮プロセスにおけるクロマダウンサンプリングの効果を評価する方法の流れ図であり、その方法は、画像のＲＡＷ Ｙ、Ｕ、Ｖ成分への変換および評価でのＲＡＷ Ｙ、Ｕ、Ｖ成分の使用を含む。
図６７では、入力画像のＲＡＷ Ｙ、ＵおよびＶの各成分を取得するために、入力画像が処理される（ブロック１０４０５）。一例では、画像のＲＡＷ Ｙ、ＵおよびＶ成分への予備的変換が随意に実施できる（ブロック１０４０２）。例えば、画像がＲＡＷ ＲＧＢ画像である場合、ＲＡＷ Ｙ、ＵおよびＶ成分は、場合により、ＣＣＩＲ ６０１（別名ＩＴＵ−Ｔ ＢＴ．６０１）で定義されるように、周知のＲＧＢをＹＵＶカラー変換に適用することにより計算できる。入力画像に対するＲＡＷ Ｙ、ＵおよびＶ成分の計算は当業者には周知のプロセスであることを理解されたい。
ＲＡＷ Ｙ、ＵおよびＶ成分が取得されると、プロセスはブロック１０４１０および１０４１５に進むことができる。ブロック１０４１０で、入力画像でのＣＤＳ比が、例えば、それらの空間解像度を比較することにより、ＲＡＷ Ｙ、ＵおよびＶ成分に基づき判断される。ブロック１０４１５では、Ｖおよび／またはＵ面でのＤＣＴ係数を取得するために、８×８のＤＣＴ変換がＶおよびＵ成分で実行される。前述のとおり、Ｖ面のみでのＤＣＴ係数の取得で十分である。ＤＣは本質的に元の値をスケーリングした平均であるため、これで十分であり、複雑さが軽減されることを理解されたい。しかし、この手順は、ＤＣＴがどんな場合でも必要とされる（場合により、サイズ縮小した面に対してのみ、すなわち、クロマダウンサンプリング後ではあるが）、画像圧縮の状況で最も一般的に使用されるので、ＤＣＴ変換はＤＣＴ行列全体に対して実行され得る。
特許請求された主題の一例によれば、入力画像でのＣＤＳ比がＲＡＷ Ｙ、ＵおよびＶ成分に基づいて判断される、次のブロック１０４１０では、ブロック１０２１５に関連して前述したのと実質的に同じ方法で、追加のＣＤＳが可能か否かが判断され得る。追加のＣＤＳが可能でないと判断されると、ブロック１０２２０に関連して前述したのと実質的に同じ方法で、プロセスが終了する。しかし、追加のＣＤＳが可能であれば、プロセスは、前述したブロック１０２４０〜１０２９５に実質的に従い、また、Ｖおよび／またはＵ面でのＤＣＴ係数を使用し、入力画像でのＣＤＳ比に基づいて、進むことができ、ＣＤＳを実行するように勧告を出す（ブロック１０２９５）かまたはＣＤＳを実行しないように勧告を出す（ブロック１０２９０）かが判断され得る。
Ｖ成分のみが計算されることは可能である（例えば、入力画像がＲＧＢフォーマットの場合）が、多くの場合、ＹＵＶ空間への完全変換はメインプロセス（例えば、ＣＤＳをまたはＹＵＶ空間への変換含む圧縮）の副産物であり得、分類プロセスが、メインプロセスの構成に使用される制御手段として実施され得ることを理解されたい。かかる状況では、ＹＵＶ計算は、どんな場合にも実行する必要があるだろう。
ここで、図７０を参照すると、これは、特許請求された主題の一例により、入力画像の圧縮プロセスにおけるクロマダウンサンプリングの異なるモードの効果を評価する方法の流れ図である。特許請求された主題の一例によれば、例えば、入力画像の圧縮プロセスでのクロマダウンサンプリングの効果を評価するプロセスは、ブロック１０４０５に関連して前述したのと実質的に同じ方法で、入力画像に対応するＲＡＷ Ｙ、ＵおよびＶ成分の入力から始まることを表している。Ｖおよび／またはＵ面でのＤＣＴ係数を取得するため、ブロック４１５に関連して前述したのと実質的に同じ方法で、８×８のＤＣＴ変換がＵおよびＶ成分で実行される。図７０に示すプロセスは、ＪＰＥＧ画像の分類にも使用でき、この場合は、例えば、ブロック１０２０５はブロック１０４０５を置き換えることができ、また、ブロック１０２３０〜１０２４０はブロック１０４１５を置き換えることができることを理解されたい。
特許請求された主題の一例によれば、ブロック１０４１５に加えて、および場合により並行して、ＣＤＳが入力画像の両方の軸に適用されたか否かが判断され得る（ブロック１０５１５）。（入力画像でのＣＤＳ比を判断するための）ブロック１０４１０を参照して説明したのと同様のルーチンが、ＣＤＳが入力画像の両方の軸に適用されたか否かの判断に使用できる。ＣＤＳが入力画像の両方の軸に適用されたと判断されると、プロセスは、ブロック１０２２０に関連して前述したのと実質的に同じ方法で、終了する。しかし、ＣＤＳが入力画像の両方の軸に適用されていないと判断されると、プロセスはブロック１０５３２に進み、そこで、どのＣＤＳモードが入力画像に適用されたかが判断され、その後、どの軸に対して、入力画像へのＣＤＳ（または追加のＣＤＳ）の適用の効果を評価するのかが判断される（ブロック１０５４０）。
ブロック１０５３２に戻ると、例として、可能な入力画像ＣＤＳモードは、垂直軸でのＣＤＳ（ブロック１０５３４）、水平軸でのＣＤＳ（ブロック１０５３６）、またはＣＤＳなし（ブロック１０５３８）である。例えば、ＣＤＳが既に一方（例えば、垂直または水平）の軸で入力画像に適用されていれば、ブロック１０５４０で他の軸でのＣＤＳを評価することができる。さらに別の例として、ＣＤＳが入力画像に適用されていなければ（ブロック１０５３８）、ＣＤＳ評価モジュールは、最初は、入力画像に対して両方の軸でのＣＤＳの効果を評価することができる。さらに別の例として、ＣＤＳが入力画像に適用されていない場合に（ブロック１０５３８）、入力画像に対して両方の軸でのＣＤＳの適用が推奨されないと判断されると、評価ルーチンは、そのルーチンが繰り返されるが、今度は、一方（例えば、垂直）の軸でのＣＤＳ適用の効果の評価に使用されるように再構成できる。さらにまた別の例として、ＣＤＳが入力画像に適用されていない場合に（ブロック１０５３８）、入力画像に対して両方の軸でのＣＤＳの適用が推奨されないと判断され、さらに、２つの軸の一方（例えば、水平）でのＣＤＳの適用も推奨されないと判断されると、評価ルーチンは、そのルーチンが繰り返されるが、今度は、２つの軸の他方（例えば、垂直）でのＣＤＳ適用の効果の評価に使用されるように再構成できる。
ブロック１０５４０で、ＣＤＳ（または追加のＣＤＳ）の適用の効果を両方の軸または一方の軸（この場合は、どちらの軸）に対して評価するかが判断されると、プロセスは、前述したブロック１０２４０〜１０２９５に実質的に従って進むことができ、プロセスは、ＣＤＳを両方の軸またはそれぞれの軸で実行するように推奨するか（ブロック１０２９５）または推奨しない（ブロック１０２９０）かの評価を返すことができる。
ブロック１０５５０で、評価すべき軸がまだあるか否かが判断され、ある場合には、ブロック１０５４０で、次に評価する軸が判断されて、ブロック１０２４〜１０２９５が繰り返される。かかる可能な追加の評価については、例として前述している。プロセスの終わりで、必要であれば、勧告が統合され得る。
ここで、図７１Ａ〜図７１Ｄを参照すると、これらは、特許請求された主題の一例により、圧縮プロセスにおけるクロマダウンサンプリングの効果を評価する方法の特定態様の非限定的な実例を示す。初めに、逆量子化後、元のＶ面ＤＣＴ値が取得される。図７１Ａおよび図７１Ｂでは、４：２：０のＣＤＳモードが評価され（両方の軸でのＣＤＳ）、一例として、４つの隣接するブロックのＶ面ＤＣＴ値１０６０５が示されている。４つの隣接するブロックがＣＤＳ候補グループを形成する。
Ｖ面での（丸めた）平均ＤＣＴ ＤＣ値が、例えば、式１を使用して、計算され、この場合の結果は１２３である。例えば、式２を使用して、４つの二乗誤差が、ＣＤＳ候補グループの各メンバーブロックに対して次のように計算され：（１０５−１２３）＾２＝３２４；（４２−１２３）＾２＝６５６１；（１８２−１２３）＾２＝３４８１；（１６１−１２３）＾２＝１４４４、最大値：６５６１が特定される。これは対象ＣＤＳに対する比較的大きな誤差である。行列１０６１０は、クロマダウンサンプリングが適用される前の対応するピクセルを示し、画像１０６１５は、対応する画像の各部分を表す。図７１Ｂでは、ダウンサンプリング後のピクセル１０６２０が、対応するＤＣＴ値（量子化前）１０６２５および対応する画像の各部分１０６３０と一緒に、示されている。例えば、ＣＤＳサブサンプリングが両方の軸で実行される時にＣＤＳ対象ブロックに対する誤差値（６５６１）が高く、それが全体画像を表すと仮定すると、入力画像の両方の軸でＣＤＳを適用しないよう勧告が出される。
説明のため、誤差値が閾値を上回る対象ＣＤＳブロックの数がカウンターインデックス閾値より大きいと仮定すると、この場合、ＣＤＳを両方の軸で実行しないように勧告され、プロセスは、ＣＤＳを水平軸に適用するよう勧告するか否かを判断するために進む。図７１Ｃ〜図７１Ｄでは、４：２：２のＣＤＳモードが評価され（水平面でのＣＤＳ）、一例として、２つの水平に隣接するブロックのＶ面ＤＣＴ値１０６３５が示されている。２つの隣接するブロックがＣＤＳ候補グループを形成する。
Ｖ面での（丸めた）平均ＤＣＴ ＤＣ値が、例えば、式１を使用して、計算され、この場合の結果は１１９である。例えば、式２を使用して、２つの二乗誤差が、ＣＤＳ候補グループの各メンバーブロックに対して次のように計算され：（７０−１１９）＾２＝２４０１；（１６７−１１９）＾２＝２３０、最大値：２４０１が特定される。これは対象ＣＤＳに対する比較的小さな誤差である。行列１０６４０は、クロマダウンサンプリングが適用される前の対応するピクセルを示し、画像１０６４５は、対応する画像の各部分を表す。図７１Ｄでは、ダウンサンプリング後のピクセル１０６５０が、対応するＤＣＴ値（量子化前）１０６５５および対応する画像の各部分１０６６０と一緒に、示されている。例えば、ＣＤＳサブサンプリングが水平軸で実行される時にＣＤＳ対象ブロックに対する誤差値（２４０１）が低く、それが全体画像を表すと仮定すると、ＣＤＳを入力画像に対して水平面で適用するよう勧告を出すことができる。
本発明によるシステムは、適切にプログラムされたコンピューターであり得ることが理解されよう。同様に、本発明は、コンピュータープログラムが、本発明の方法を実行するために、コンピューターによって理解できると考える。本発明はさらに、本発明の方法を実行するために、機械によって実行可能な命令のプログラムを明白に具体化する機械可読メモリーを考える。
図６６〜図７１ｄに関連して前述した入力画像の圧縮プロセスにおいてクロマダウンサンプリングの効果を評価するシステムおよび方法は、本発明の他の技術と併用すると有用である。例えば、図７２ａは、例えば、図６６〜図７１ｄに関連して前述した任意の方法および装置を使用して、入力画像（この場合は圧縮したＪＰＥＧ画像）の再圧縮プロセスにおけるクロマダウンサンプリングの効果を評価する働きをするＣＤＳ判断モジュール１０７０５が提供されていることを除いて、図３２ａに類似している本発明の特定の実施形態により、構築され稼働する再圧縮システムの簡略化した機能ブロック図である。本発明の特定の実施形態によれば、ＣＤＳ判断モジュール１０７０５は、再圧縮プロセスの一部として、ＣＤＳダウンサンプリングの適用に関する勧告を提供できる。さらに別の例として、ＣＤＳ判断モジュール１０７０５は、１つまたは複数の特定のＣＤＳモードに関する勧告を提供することができ、構成モジュール３０１０は、入力画像の再圧縮中に使用されるかまたは使用されないＣＤＳダウンサンプリングのモードが、ＣＤＳ判断モジュール１０７０５によって提供された勧告に一致するように、再圧縮プロセスを制御するように構成され得る。
さらに別の例では、図７２ｂは、例えば、図６６〜図７１ｄに関連して前述した任意の方法および装置を使用して、入力画像（この場合はＲＡＷフォーマット画像）の圧縮プロセスにおけるクロマダウンサンプリングの効果を評価する働きをするＣＤＳ判断モジュール１０８０５が提供されていることを除いて、図３２ｂに類似している本発明の特定の実施形態により、構築され稼働する圧縮システムの簡略化した機能ブロック図である。本発明の特定の実施形態によれば、ＣＤＳ判断モジュール１０８０５は、圧縮プロセスの一部として、ＣＤＳダウンサンプリングの適用に関する勧告を提供できる。さらに別の例として、ＣＤＳ判断モジュール１０８０５は、１つまたは複数の特定のＣＤＳモードに関する勧告を提供することができ、構成モジュール３３００は、入力画像の圧縮中に使用されるかまたは使用されないＣＤＳダウンサンプリングのモードが、ＣＤＳ判断モジュール１０８０５によって提供された勧告に一致するように、圧縮プロセスを制御するように構成され得る。
図７２ｃは、本発明の特定の実施形態により、また、スケーリングによって先行画像の量子化行列から生成された量子化行列を使用して稼働する、画像の再圧縮のための方法の簡略化した流れ図である。図７２ｃの方法は、例えば、図１２に示すように、適切に順序付けられた図中のステップの一部または全てを含み、ステップ１０９１１および１０９１２が追加されていることを除いて、図１２に示す方法と類似し得る。したがって、第１の画像が１０９１０で取得されると、１０９１１でクロマダウンサンプリングエラーが第１の画像に対して判断でき、１０９１２で第１の画像のクロマダウンサンプリングが、潜在的なクロマダウンサンプリングエラーとクロマダウンサンプリングエラー閾値との間の関係に基づいて制御できる。
図７２ｄは、本発明の特定の実施形態により、また、先行画像の量子化行列と第２の量子化行列（例えば、ＪＰＥＧ規格で定められている量子化行列など）とを組み合わせることによって生成された量子化行列を使用して稼働する、画像の再圧縮のための方法の簡略化した流れ図である。図７２ｄの方法は、例えば、図のように、適切に順序付けられた図中のステップの一部または全てを含み、ステップ１０８１２および１０８１５が追加されていることを除いて、図１８に示す方法と類似し得る。したがって、第１の画像が１０８１０で取得されると、１０８１２でクロマダウンサンプリングエラーが第１の画像に対して判断でき、１０８１５で第１の画像のクロマダウンサンプリングが、可能性のあるクロマダウンサンプリングエラーとクロマダウンサンプリングエラー閾値との間の関係に基づいて制御できる。
プログラムおよびデータを含む、本発明のソフトウェア要素は、所望であれば、ＣＤ−ＲＯＭ、ＥＰＲＯＭおよびＥＥＰＲＯＭを含むＲＯＭ（読み取り専用メモリー）形態内に実施され得るか、または、例えば、様々な種類のディスク、様々な種類のカードおよびＲＡＭを含むが、これらに限定されず、他の任意の適切で、恒久的な、コンピューター可読媒体に格納され得ることを理解されたい。本明細書に記載するソフトウェアのような要素は、代替として、所望であれば、従来型の技術を使用して、全体的または部分的にハードウェア内に実施され得る。逆に、本明細書に記載するハードウェアのような要素は、代替として、所望であれば、従来型の技術を使用して、全体的または部分的にソフトウェア内に実施され得る。
本発明の範囲内には、とりわけ、任意の適切な順番で、本明細書に示しかつ記載する任意の方法のいずれかまたは全てのステップを実行するためのコンピューター可読命令、任意の適切な順番で、本明細書に示しかつ記載する任意の方法のいずれかまたは全てのステップを実行するための機械可読命令、任意の適切な順番で、本明細書に示しかつ記載する任意の方法のいずれかまたは全てのステップを実行するために機械で実行可能な命令のプログラムを明白に具体化する、機械で可読な恒久的プログラム記憶装置、実行可能コードなどのコンピューター可読プログラムコードを有し、その中に具体化されているコンピューター使用可能な媒体を含み、かつ／または、任意の適切な順番で、本明細書に示しかつ記載する任意の方法のいずれかまたは全てのステップを実行するためのコンピューター可読プログラムコードを含む、コンピュータープログラム製品、任意の適切な順番で実行される場合に、本明細書に示しかつ記載する任意の方法のいずれかまたは全てのステップによってもたらされる任意の技術的効果、任意の適切な順番で、本明細書に示しかつ記載する任意の方法のいずれかまたは全てのステップを、単独または共同して、実行するためにプログラムされた、適切な機器または装置またはかかる組み合わせ、各々がプロセッサーならびに協働する入力装置および／または出力装置を含み、本明細書に示しかつ記載するソフトウェア内の任意のステップを実行するように機能する電子装置、コンピューターまたは他の装置が、任意の適切な順番で、本明細書に示しかつ記載する任意の方法のいずれかまたは全てのステップを実行するように構成されるようにする、ディスクまたはハードドライブなどの情報記憶装置または物理レコード、任意の適切な順番で、本明細書に示しかつ記載する任意の方法のいずれかまたは全てのステップを具体化し、例えば、メモリー内またはインターネットなどの情報ネットワーク上に、ダウンロード前または後に、事前に格納されているプログラム、ならびにかかるプログラムをアップロードまたはダウンロードを行う方法、ならびにかかるプログラムを使用するためのサーバーおよび／またはクライアントを含むシステム、任意の適切な順番で、本明細書に示しかつ記載する任意の方法のいずれかまたは全てのステップを、単独またはソフトウェアとともに実行するハードウェアが含まれている。
本明細書に記載する任意の計算または他の分析形式は、適切なコンピューター化された方法で実行され得る。本明細書に記載する任意のステップはコンピューター実施され得る。本明細書に示しかつ記載する発明は、（ａ）本明細書に記載の任意の問題または任意の目的に対する解決法を特定するためのコンピューター化された方法の使用であって、その解決法が、随意に、本明細書に記載する問題または目的に、積極的な方法で影響を与える、本明細書に記載する判断、動作、製品、サービスまたは他の任意の情報のうちの１つを含む方法と、（ｂ）その解決法の出力を含み得る。
別々の実施形態のコンテキストで説明した本発明の特徴は、単一の実施形態に組み合わせても提供され得る。逆に、簡潔にするため単一の実施形態のコンテキストでまたは特定の順序で説明される、方法の各ステップを含む、本発明の特徴は、別々に、または任意の適切な部分的組み合わせで、または異なる順序で提供され得る。本明細書では、「例えば（ｅ．ｇ．）」は、限定を意図しない特定例という意味で使用されている。任意の図と一緒に示されている装置、機器またはシステムは、実際には、特定の実施形態における単一のプラットフォームに統合され得るか、または、例えば、光ファイバー、イーサネット、無線ＬＡＮ、ＨｏｍｅＰＮＡ、電力線通信、携帯電話、ＰＤＡ、Ｂｌａｃｋｂｅｒｒｙ ＧＰＲＳ、ＵＭＴＳ、ＧＰＳを含む衛星、または他のモバイル配信などだがこれに限らない、任意の適切な有線または無線接続よって接続され得る。本明細書に示しかつ記載する説明および図では、システムおよびそのサブユニットとして説明または図示されている機能性も、その内部の方法およびステップとして提供され得、その内部の方法およびステップとして説明または図示されている機能性も、そのシステムおよびサブユニットとして提供され得ることを理解されたい。図中において、様々な要素を示すために使用される縮尺は、提示を明確にするために例示的および／または適切なものに過ぎず、限定を意図するものではない。

Claims (14)

  1. 画像適応で知覚的に損失のない画像圧縮を可能にする方法であって、
    第１の画像を圧縮して第２の画像を生じさせることと、
    符号化ブロック境界に沿って追加のアーチファクト性エッジの品質尺度を計算することであって、当該品質尺度はさらに、前記第１の画像と第２の画像との間のテクスチャ類似性を定量化するテクスチャ尺度を含み、
    前記第１の画像と第２の画像との間の差分画像を計算することと、
    複数の画像ブロックを含む領域を、前記差分画像内で定義することと、
    前記領域内で、２つの符号化ブロック間の各境界に対して、前記各境界に沿った追加のアーチファクト性エッジの程度を示す各追加のブロックノイズスコアを計算することと、
    前記領域内の各境界に対して計算された前記追加のブロックノイズスコアに基づき領域品質スコアを計算することとを含む、追加のアーチファクト性エッジの品質尺度を計算することと、
    少なくとも前記領域品質スコアに基づき、知覚的品質基準が前記第２の画像によって満足されているか否かを判断することと、をコンピュータシステムが実行することを特徴とする方法。
  2. 前記品質尺度を計算することが、
    各領域が複数の画像ブロックを含む、複数の領域を前記差分画像内で定義することと、
    前記複数の領域の各々に対して領域品質スコアを計算し、各複数の領域品質スコアを生じることと、
    前記複数の領域品質スコアに基づき前記第２の画像に対する画像品質スコアを計算することとを含み、
    前記判断することが、少なくとも前記画像品質スコアに基づき知覚的品質基準が前記第２の画像によって満足されているか否かを判断することを含む、請求項１に記載の方法。
  3. 前記第１の画像が入力画像で、前記第２の画像が暫定圧縮画像であり、前記圧縮が暫定圧縮パラメーターを用いて実行される方法であって、前記第２の画像に対する前記品質スコアが所定の知覚的品質範囲内にないと判断されれば、改善された圧縮パラメーターを検索する追加の繰返しが呼び出される、請求項１に記載の方法。
  4. 前記第２の画像に対する前記品質スコアが知覚的品質基準を満足していないと判断された場合、前記暫定圧縮パラメーターを再計算することと、前記暫定圧縮、前記検索、および前記判断を繰り返すことも含む、請求項３に記載の方法。
  5. 前記圧縮が、前記繰返しの個々の繰返しにおいて、前記個々の繰返しより前の少なくとも１つの繰返しに基づき圧縮パラメーターを適合することを含む、請求項３に記載の方法。
  6. 前記圧縮が再圧縮プロセスを含むように、前記第１の画像が圧縮画像を含む、請求項１に記載の方法。
  7. 前記品質尺度が、前記第１の画像と第２の画像との間の局所類似性を定量化する局所類似性尺度を含む、請求項６に記載の方法。
  8. 前記第１の画像が、先行画像内の互いに共通要素をもたない複数のブロック（以下、「素ブロック」と称す。）を個別に符号化することによって圧縮された素ブロックレベルの符号化画像を含み、前記第２の画像が、前記第１の画像で素ブロックを個別に符号化することによって、前記第１の画像から生成された素ブロックレベルの符号化画像を含む、請求項１に記載の方法。
  9. 前記第１または第２の画像が、イントラ予測符号化画像を含む、請求項１に記載の方法。
  10. 前記圧縮が、Ｈ．２６４符号化を含み、前記符号化ブロックが４ピクセル×４ピクセルのブロックを含む、請求項１に記載の方法。
  11. 前記イントラ予測符号化画像がＨ．２６４画像を含む、請求項９に記載の方法。
  12. 適切なＭＱＦ値の組内で、個別の第１の画像の再圧縮に使用される量子化行列のスケーリングに適切なＭＱＦ値の検索が行われる、請求項１に記載の方法。
  13. 先行画像内での互いに共通要素をもたない複数のブロック（以下、「素ブロック」と称す。）を個別にの独立符号化することによって生成された前記第１の画像の独立した素ブロックレベルの再圧縮も含み、前記第１の画像が、関連した少なくとも１つの第１の量子化行列を持ち、前記独立した素ブロックレベルの再圧縮が、前記第１の画像について少なくとも１回の独立した素ブロックレベルの反復圧縮操作を実行し、それにより、新しい量子化行列を生成すること、および前記独立した素ブロックレベルの再圧縮に対して前記新しい量子化行列を使用することを含む、再圧縮された第２の画像を生成することを含む方法であって、
    前記新しい量子化行列が、少なくとも１つの第２の量子化行列を少なくとも１つのスケーリング係数でスケーリングすることによって生成され、それにより、少なくとも１つのスケーリングされた行列が提供され、その後、前記新しい量子化行列を、前記少なくとも１つのスケーリングされた行列と前記少なくとも１つの第１の量子化行列との加重平均として計算する、請求項１に記載の方法。
  14. 前記素ブロックレベルの符号化画像が、ＪＰＥＧ符号化画像を含む、請求項８に記載の方法。
JP2012532713A 2009-10-05 2010-10-05 デジタル画像を再圧縮するための装置および方法 Active JP5844263B2 (ja)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US24852109P 2009-10-05 2009-10-05
US61/248,521 2009-10-05
US25387209P 2009-10-22 2009-10-22
US61/253,872 2009-10-22
US29262210P 2010-01-06 2010-01-06
US61/292,622 2010-01-06
US30219310P 2010-02-08 2010-02-08
US61/302,193 2010-02-08
US32921710P 2010-04-29 2010-04-29
US61/329,217 2010-04-29
US38375010P 2010-09-17 2010-09-17
US61/383,750 2010-09-17
PCT/IL2010/000809 WO2011042898A1 (en) 2009-10-05 2010-10-05 Apparatus and methods for recompression of digital images

Publications (3)

Publication Number Publication Date
JP2013507083A JP2013507083A (ja) 2013-02-28
JP2013507083A5 JP2013507083A5 (ja) 2013-11-21
JP5844263B2 true JP5844263B2 (ja) 2016-01-13

Family

ID=43856423

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012532713A Active JP5844263B2 (ja) 2009-10-05 2010-10-05 デジタル画像を再圧縮するための装置および方法

Country Status (5)

Country Link
US (6) US8908984B2 (ja)
EP (1) EP2486517A4 (ja)
JP (1) JP5844263B2 (ja)
IL (2) IL247930A (ja)
WO (1) WO2011042898A1 (ja)

Families Citing this family (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY138064A (en) * 2002-01-24 2009-04-30 Basf Ag Method for the separation of acids from chemical reaction mixtures by means of ionic fluids
JP5200204B2 (ja) 2006-03-14 2013-06-05 ディブエックス リミテッド ライアビリティー カンパニー 高信頼性システムを含む連合型デジタル権限管理機構
AU2010203605B2 (en) 2009-01-07 2015-05-14 Divx, Llc Singular, collective and automated creation of a media guide for online content
WO2011042898A1 (en) * 2009-10-05 2011-04-14 I.C.V.T Ltd. Apparatus and methods for recompression of digital images
WO2011042900A1 (en) * 2009-10-05 2011-04-14 I.C.V.T Ltd. A method and system for processing an image
CA2782825C (en) 2009-12-04 2016-04-26 Divx, Llc Elementary bitstream cryptographic material transport systems and methods
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
US20110286663A1 (en) * 2010-05-20 2011-11-24 Wen-Lung Huang Method And Apparatus Of Color Image Rotation For Display And Recording Using JPEG
US9965771B2 (en) * 2010-07-02 2018-05-08 Dialogic Corporation System and method of tracking video advertisements
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
US9247312B2 (en) 2011-01-05 2016-01-26 Sonic Ip, Inc. Systems and methods for encoding source media in matroska container files for adaptive bitrate streaming using hypertext transfer protocol
US8989446B2 (en) * 2011-01-18 2015-03-24 Rtc Vision Ltd. Character recognition in distorted images
WO2013030833A1 (en) 2011-08-29 2013-03-07 I.C.V.T. Ltd. Controlling a video content system
US9467708B2 (en) 2011-08-30 2016-10-11 Sonic Ip, Inc. Selection of resolutions for seamless resolution switching of multimedia content
US8909922B2 (en) 2011-09-01 2014-12-09 Sonic Ip, Inc. Systems and methods for playing back alternative streams of protected content protected using common cryptographic information
US8964977B2 (en) 2011-09-01 2015-02-24 Sonic Ip, Inc. Systems and methods for saving encoded media streamed using adaptive bitrate streaming
US9241165B2 (en) 2012-03-28 2016-01-19 Beamr Imaging Ltd Controlling a compression of an image according to a degree of photo-realism
CN103369313B (zh) * 2012-03-31 2017-10-10 百度在线网络技术（北京）有限公司 一种进行图像压缩的方法、装置和设备
US9558251B2 (en) * 2012-04-03 2017-01-31 Teradata Us, Inc. Transformation functions for compression and decompression of data in computing environments and systems
JP2013219607A (ja) * 2012-04-10 2013-10-24 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
BR112015004434A2 (pt) * 2012-08-27 2017-07-04 Thomson Licensing método e aparelho para estimação de complexidade de conteúdos para avaliação de qualidade de vídeo
US9288484B1 (en) 2012-08-30 2016-03-15 Google Inc. Sparse coding dictionary priming
JPWO2014050948A1 (ja) * 2012-09-28 2016-08-22 シャープ株式会社 画像復号装置、画像復号方法及び画像符号化装置
US9741098B2 (en) * 2012-10-12 2017-08-22 Nvidia Corporation System and method for optimizing image quality in a digital camera
US10277907B2 (en) * 2012-10-25 2019-04-30 Integrated Device Technology, Inc. Rate-distortion optimizers and optimization techniques including joint optimization of multiple color components
CN103810694B (zh) * 2012-11-15 2017-08-01 腾讯科技（深圳）有限公司 图片压缩中质量因子的获取方法及装置
KR102070622B1 (ko) * 2012-11-23 2020-01-29 삼성전자주식회사 동영상을 위한 양자화 테이블 추정 방법 및 장치
JP6056468B2 (ja) * 2012-12-27 2017-01-11 ブラザー工業株式会社 画像処理装置およびコンピュータプログラム
US9264475B2 (en) 2012-12-31 2016-02-16 Sonic Ip, Inc. Use of objective quality measures of streamed content to reduce streaming bandwidth
US9313510B2 (en) 2012-12-31 2016-04-12 Sonic Ip, Inc. Use of objective quality measures of streamed content to reduce streaming bandwidth
US9191457B2 (en) 2012-12-31 2015-11-17 Sonic Ip, Inc. Systems, methods, and media for controlling delivery of content
US9066025B2 (en) * 2013-03-15 2015-06-23 Samsung Electronics Co., Ltd. Control of frequency lifting super-resolution with image features
US9536288B2 (en) 2013-03-15 2017-01-03 Samsung Electronics Co., Ltd. Creating details in an image with adaptive frequency lifting
US9349188B2 (en) 2013-03-15 2016-05-24 Samsung Electronics Co., Ltd. Creating details in an image with adaptive frequency strength controlled transform
US9906785B2 (en) 2013-03-15 2018-02-27 Sonic Ip, Inc. Systems, methods, and media for transcoding video data according to encoding parameters indicated by received metadata
US9305332B2 (en) 2013-03-15 2016-04-05 Samsung Electronics Company, Ltd. Creating details in an image with frequency lifting
US10397292B2 (en) 2013-03-15 2019-08-27 Divx, Llc Systems, methods, and media for delivery of content
US9300906B2 (en) 2013-03-29 2016-03-29 Google Inc. Pull frame interpolation
US9094737B2 (en) 2013-05-30 2015-07-28 Sonic Ip, Inc. Network video streaming with trick play based on separate trick play files
US9967305B2 (en) 2013-06-28 2018-05-08 Divx, Llc Systems, methods, and media for streaming media content
US20150124873A1 (en) * 2013-11-01 2015-05-07 Microsoft Corporation Chroma Down-Conversion and Up-Conversion Processing
CN104683801B (zh) 2013-11-29 2018-06-05 华为技术有限公司 图像压缩方法和装置
US9870375B2 (en) * 2013-12-20 2018-01-16 Nvidia Corporation Image analysis of display content for dynamic adjustment of a continuous scan display
US9830871B2 (en) 2014-01-03 2017-11-28 Nvidia Corporation DC balancing techniques for a variable refresh rate display
US9711099B2 (en) 2014-02-26 2017-07-18 Nvidia Corporation Techniques for avoiding and remedying DC bias buildup on a flat panel variable refresh rate display
US9866878B2 (en) 2014-04-05 2018-01-09 Sonic Ip, Inc. Systems and methods for encoding and playing back video at different frame rates using enhancement layers
US10013625B1 (en) * 2014-04-16 2018-07-03 Instart Logic, Inc. QoE-driven unsupervised image categorization for optimized web delivery
US9609323B2 (en) * 2014-06-26 2017-03-28 Allego Inc. Iterative video optimization for data transfer and viewing
WO2016004006A1 (en) * 2014-06-30 2016-01-07 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable for performing image compression
US9286653B2 (en) 2014-08-06 2016-03-15 Google Inc. System and method for increasing the bit depth of images
US9153017B1 (en) * 2014-08-15 2015-10-06 Google Inc. System and method for optimized chroma subsampling
KR101703330B1 (ko) * 2014-10-06 2017-02-06 삼성전자 주식회사 이미지 재부호화 방법 및 그 장치
US9652829B2 (en) 2015-01-22 2017-05-16 Samsung Electronics Co., Ltd. Video super-resolution by fast video segmentation for boundary accuracy control
US20160234496A1 (en) * 2015-02-09 2016-08-11 Qualcomm Incorporated Near visually lossless video recompression
WO2016142931A1 (en) 2015-03-10 2016-09-15 Beamr Imaging Ltd Method and system of controlling a quality measure
US9536045B1 (en) * 2015-03-16 2017-01-03 D.R. Systems, Inc. Dynamic digital image compression based on digital image characteristics
US9693063B2 (en) * 2015-09-21 2017-06-27 Sling Media Pvt Ltd. Video analyzer
US9749686B2 (en) 2015-09-21 2017-08-29 Sling Media Pvt Ltd. Video analyzer
US10015503B1 (en) 2015-09-24 2018-07-03 Instart Logic, Inc. Fast, real-time, estimation of content-sensitive encoding quality for optimized web delivery of images
KR101832418B1 (ko) 2015-12-31 2018-02-26 네이버 주식회사 이미지 압축 품질을 최적화 하기 위한 방법 및 시스템
EP3200456A1 (en) * 2016-01-28 2017-08-02 Axis AB Video encoding method and video encoder system for temporal noise reduction
US9940898B2 (en) 2016-02-25 2018-04-10 Nvidia Corporation Variable refresh rate video capture and playback
US10902656B2 (en) * 2016-02-29 2021-01-26 Fujifilm North America Corporation System and method for generating a digital image collage
US9712830B1 (en) * 2016-09-15 2017-07-18 Dropbox, Inc. Techniques for image recompression
KR20180056313A (ko) * 2016-11-18 2018-05-28 삼성전자주식회사 텍스처를 처리하는 방법 및 장치
US10498795B2 (en) 2017-02-17 2019-12-03 Divx, Llc Systems and methods for adaptive switching between multiple content delivery networks during adaptive bitrate streaming
KR102020953B1 (ko) * 2017-04-07 2019-09-11 주식회사 에스원 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법 및 이를 이용한 영상 재부호화 시스템
US10567768B2 (en) * 2017-04-14 2020-02-18 Apple Inc. Techniques for calculation of quantization matrices in video coding
US11234001B2 (en) 2017-08-02 2022-01-25 DISH Technologies L.L.C. Systems and methods for enhanced video encoding
US10645408B2 (en) * 2017-09-17 2020-05-05 Google Llc Dual deblocking filter thresholds
WO2019059107A1 (ja) * 2017-09-20 2019-03-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
CN107801026B (zh) * 2017-11-09 2019-12-03 京东方科技集团股份有限公司 图像压缩方法及装置、图像压缩及解压缩系统
US10924744B2 (en) * 2017-11-17 2021-02-16 Intel Corporation Selective coding
US10636120B2 (en) * 2018-02-01 2020-04-28 Ricoh Company, Ltd. Image scaling with quality control
US11463733B2 (en) * 2018-02-17 2022-10-04 Google Llc Image compression and decompression using controlled quality loss
CN108510474B (zh) * 2018-03-09 2021-07-06 上海烟草集团有限责任公司 烟叶图像质量的评价方法、系统、存储器、及电子设备
US11368697B1 (en) * 2018-05-01 2022-06-21 Google Llc Adaptive image compression using a quality metric
US10949087B2 (en) * 2018-05-15 2021-03-16 Samsung Electronics Co., Ltd. Method for rapid reference object storage format for chroma subsampled images
US11449256B2 (en) 2018-05-15 2022-09-20 Samsung Electronics Co., Ltd. Method for accelerating image storing and retrieving differential latency storage devices based on access rates
CN112219400B (zh) * 2018-11-06 2024-03-26 北京字节跳动网络技术有限公司 依赖位置的对运动信息的存储
US11178430B2 (en) * 2018-12-05 2021-11-16 Google Llc Adaptive DCT sharpener
US11272192B2 (en) * 2019-03-04 2022-03-08 Comcast Cable Communications, Llc Scene classification and learning for video compression
US11341316B2 (en) * 2019-12-05 2022-05-24 Netflix, Inc. Techniques for compressing images to achieve a target quality level
KR102416160B1 (ko) * 2019-12-20 2022-07-05 라인플러스 주식회사 영상 저장 서비스 제공 방법, 컴퓨터 프로그램 및 컴퓨팅 장치
US11570477B2 (en) * 2019-12-31 2023-01-31 Alibaba Group Holding Limited Data preprocessing and data augmentation in frequency domain
US11445200B2 (en) * 2020-05-12 2022-09-13 Alibaba Group Holding Limited Method and system for processing video content
KR102374241B1 (ko) * 2020-07-29 2022-03-15 주식회사 핀그램 화질 향상을 위한 적응적 영상 송신 방법 및 시스템
CN115081489A (zh) * 2022-07-13 2022-09-20 重庆大学 基于小波分解矩阵和残差网络的时间序列分类方法

Family Cites Families (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2807222B2 (ja) * 1986-11-14 1998-10-08 株式会社東芝 画像圧縮装置
EP1022911B1 (en) * 1990-03-16 2004-06-23 Fujitsu Limited An image data processing system
JP2831139B2 (ja) * 1991-01-10 1998-12-02 オリンパス光学工業株式会社 画像信号復号化装置
US5625714A (en) * 1991-01-10 1997-04-29 Olympus Optical Co., Ltd. Image signal decoding device capable of removing block distortion with simple structure
US5157488A (en) 1991-05-17 1992-10-20 International Business Machines Corporation Adaptive quantization within the jpeg sequential mode
JP3105335B2 (ja) * 1992-02-07 2000-10-30 株式会社ハドソン 画像の直交変換符号化による圧縮・伸張方法
JPH05219385A (ja) * 1992-02-07 1993-08-27 Hudson Soft Co Ltd 画像圧縮・伸張方法および装置
JP3193458B2 (ja) * 1992-06-19 2001-07-30 日本放送協会 画像符号化方法および装置
JPH06125545A (ja) * 1992-10-12 1994-05-06 Toko Inc 画像圧縮伸張装置の画質評価方法
US5432870A (en) * 1993-06-30 1995-07-11 Ricoh Corporation Method and apparatus for compressing and decompressing images of documents
US5790717A (en) 1993-10-26 1998-08-04 Bell Communications Research Inc. Apparatus and method for predicting subjective quality of compressed images
US5426512A (en) 1994-01-25 1995-06-20 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Image data compression having minimum perceptual error
US5734755A (en) 1994-03-11 1998-03-31 The Trustees Of Columbia University In The City Of New York JPEG/MPEG decoder-compatible optimized thresholding for image and video signal compression
MX9700385A (es) 1994-07-14 1998-05-31 Johnson Grace Company Metodo y aparato para comprimir imagenes.
KR100396971B1 (ko) * 1994-11-29 2003-11-03 산요덴키가부시키가이샤 인코드된비디오데이터의에러검출및처리기능을구비한비디오디코더
US5629780A (en) 1994-12-19 1997-05-13 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Image data compression having minimum perceptual error
US5774593A (en) * 1995-07-24 1998-06-30 University Of Washington Automatic scene decomposition and optimization of MPEG compressed video
JP3096618B2 (ja) * 1995-08-10 2000-10-10 三洋電機株式会社 撮像装置
KR20000005110A (ko) * 1996-03-29 2000-01-25 윌리암 제이. 버크 지각 메트릭을 이용하는 이미지 코딩시스템에서 엔코딩 최적화및 자동 조정가능 이미지 압축을 위한 장치 및 방법
US6369313B2 (en) 2000-01-13 2002-04-09 John R. Devecka Method and apparatus for simulating a jam session and instructing a user in how to play the drums
US5739457A (en) 1996-09-26 1998-04-14 Devecka; John R. Method and apparatus for simulating a jam session and instructing a user in how to play the drums
JPH10271498A (ja) * 1997-03-26 1998-10-09 Sanyo Electric Co Ltd 圧縮データ変換方法、画像圧縮データの情報量変換方法およびその方法を適用した画像記録装置
US6167155A (en) 1997-07-28 2000-12-26 Physical Optics Corporation Method of isomorphic singular manifold projection and still/video imagery compression
US6252994B1 (en) * 1998-01-26 2001-06-26 Xerox Corporation Adaptive quantization compatible with the JPEG baseline sequential mode
US6154493A (en) * 1998-05-21 2000-11-28 Intel Corporation Compression of color images based on a 2-dimensional discrete wavelet transform yielding a perceptually lossless image
US6982762B1 (en) 1998-05-30 2006-01-03 Stmicroelectronics Asia Pacific Pte Limited Sequence adaptive bit allocation for pictures encoding
US6233359B1 (en) 1998-10-29 2001-05-15 Seiko Epson Corporation File size bounded JPEG transcoder (FSBJT)
US6225547B1 (en) 1998-10-30 2001-05-01 Konami Co., Ltd. Rhythm game apparatus, rhythm game method, computer-readable storage medium and instrumental device
JP3017986B1 (ja) 1998-11-26 2000-03-13 コナミ株式会社 ゲームシステムおよびコンピュータ読み取り可能な記憶媒体
US6584154B1 (en) 1998-11-26 2003-06-24 Oki Electric Industry Co., Ltd. Moving-picture coding and decoding method and apparatus with reduced computational cost
JP2000237455A (ja) 1999-02-16 2000-09-05 Konami Co Ltd 音楽演出ゲーム装置、音楽演出ゲーム方法および可読記録媒体
JP2001009152A (ja) 1999-06-30 2001-01-16 Konami Co Ltd ゲームシステムおよびコンピュータ読み取り可能な記憶媒体
KR100788642B1 (ko) * 1999-10-01 2007-12-26 삼성전자주식회사 디지털 영상 텍스쳐 분석 방법
JP2001129244A (ja) 1999-11-01 2001-05-15 Konami Co Ltd 音楽演奏ゲーム装置、演奏ガイド画像表示方法及び演奏ガイド画像形成プログラムを記録した可読記録媒体
US6614942B1 (en) 1999-12-17 2003-09-02 Microsoft Corporation Constant bitrate algorithm for block based image compression
US7430330B2 (en) 2001-01-16 2008-09-30 Hamilton Chris H Method and apparatus for optimizing a JPEG image using regionally variable compression levels
US20030035586A1 (en) 2001-05-18 2003-02-20 Jim Chou Decoding compressed image data
US6959348B1 (en) * 2001-07-30 2005-10-25 Vixs Systems, Inc. Method and system for accessing data
US7092578B2 (en) 2001-10-23 2006-08-15 Agilent Technologies, Inc. Signaling adaptive-quantization matrices in JPEG using end-of-block codes
AU2002349735B2 (en) * 2001-11-29 2009-01-15 Godo Kaisha Ip Bridge 1 Coding distortion removal method, moving picture coding method, moving picture decoding method, and apparatus for realizing the same, program
JP3882651B2 (ja) * 2002-03-20 2007-02-21 富士ゼロックス株式会社 画像処理装置およびプログラム
US20040028139A1 (en) 2002-08-06 2004-02-12 Andre Zaccarin Video encoding
US7050656B2 (en) 2002-12-11 2006-05-23 Seiko Epson Corporation Image scaling in the compressed domain
JP4245139B2 (ja) * 2003-03-31 2009-03-25 株式会社メガチップス 画像処理装置
JP2005176069A (ja) 2003-12-12 2005-06-30 Ntt Data Corp 分散並列トランスコーダシステム及び分散並列トランスコード方法
US7391809B2 (en) * 2003-12-30 2008-06-24 Microsoft Corporation Scalable video transcoding
WO2005074291A1 (ja) 2004-01-28 2005-08-11 Nec Corporation コンテンツの符号化、配信及び受信方法と装置とシステムならびにプログラム
US7453938B2 (en) * 2004-02-06 2008-11-18 Apple Inc. Target bitrate estimator, picture activity and buffer management in rate control for video coder
US8832434B2 (en) 2004-02-13 2014-09-09 Hewlett-Packard Development Company, L.P. Methods for generating data for describing scalable media
US20060034531A1 (en) * 2004-05-10 2006-02-16 Seiko Epson Corporation Block noise level evaluation method for compressed images and control method of imaging device utilizing the evaluation method
JP4281615B2 (ja) * 2004-05-10 2009-06-17 セイコーエプソン株式会社 撮影装置およびこれに用いるプログラム並びに画像記憶方法
US20060008167A1 (en) * 2004-07-06 2006-01-12 Qing Yu Digital camera having picture quality setting
US7664184B2 (en) 2004-07-21 2010-02-16 Amimon Ltd. Interpolation image compression
DE102004059993B4 (de) 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
US7580579B2 (en) 2004-12-20 2009-08-25 Hewlett-Packard Development Company, L.P. Image-adaptive quantization for JPEG compression
US20060193527A1 (en) 2005-01-11 2006-08-31 Florida Atlantic University System and methods of mode determination for video compression
EP1872590B1 (en) 2005-04-19 2014-10-22 Telecom Italia S.p.A. Method and apparatus for digital image coding
JP2007019742A (ja) * 2005-07-06 2007-01-25 Olympus Imaging Corp 電子カメラ、電子カメラの制御方法および制御プログラム
US8019167B2 (en) 2007-01-03 2011-09-13 Human Monitoring Ltd. Compressing high resolution images in a low resolution video
JP2008199587A (ja) 2007-01-18 2008-08-28 Matsushita Electric Ind Co Ltd 画像符号化装置、画像復号化装置および方法
WO2008091687A2 (en) 2007-01-25 2008-07-31 Florida Atlantic University Reduced resolution video transcoding with greatly reduced complexity
US8625663B2 (en) * 2007-02-20 2014-01-07 Pixar Home-video digital-master package
JP2008244993A (ja) 2007-03-28 2008-10-09 Renesas Technology Corp トランスコーディングのための装置および方法
US7978934B2 (en) 2007-06-04 2011-07-12 Research In Motion Limited Method and device for selecting optimal transform matrices for down-sampling DCT image
US8233727B2 (en) 2007-10-19 2012-07-31 Research In Motion Limited Arbitrary ratio image resizing in the DCT domain
US8270739B2 (en) 2007-12-03 2012-09-18 Ecole De Technologie Superieure System and method for quality-aware selection of parameters in transcoding of digital images
JP2009141815A (ja) * 2007-12-07 2009-06-25 Toshiba Corp 画像符号化方法、装置及びプログラム
US8660175B2 (en) * 2007-12-10 2014-02-25 Qualcomm Incorporated Selective display of interpolated or extrapolated video units
JP2009182623A (ja) * 2008-01-30 2009-08-13 Panasonic Corp 画像符号化方法
US20090204894A1 (en) 2008-02-11 2009-08-13 Nikhil Bhatt Image Application Performance Optimization
WO2009113276A1 (ja) 2008-03-12 2009-09-17 三菱電機株式会社 画像符号化方式変換装置
WO2011042898A1 (en) 2009-10-05 2011-04-14 I.C.V.T Ltd. Apparatus and methods for recompression of digital images
WO2011042900A1 (en) 2009-10-05 2011-04-14 I.C.V.T Ltd. A method and system for processing an image
JP2012060261A (ja) * 2010-09-06 2012-03-22 Sony Corp 画像処理装置および方法
WO2013030833A1 (en) * 2011-08-29 2013-03-07 I.C.V.T. Ltd. Controlling a video content system
US9241165B2 (en) * 2012-03-28 2016-01-19 Beamr Imaging Ltd Controlling a compression of an image according to a degree of photo-realism
WO2016142931A1 (en) * 2015-03-10 2016-09-15 Beamr Imaging Ltd Method and system of controlling a quality measure

Also Published As

Publication number Publication date
JP2013507083A (ja) 2013-02-28
WO2011042898A1 (en) 2011-04-14
IL247930A (en) 2017-05-29
US20180091814A1 (en) 2018-03-29
US20120201476A1 (en) 2012-08-09
US9866837B2 (en) 2018-01-09
EP2486517A1 (en) 2012-08-15
US8452110B2 (en) 2013-05-28
US20150049957A1 (en) 2015-02-19
US10674154B2 (en) 2020-06-02
US20170150149A1 (en) 2017-05-25
US10362309B2 (en) 2019-07-23
EP2486517A4 (en) 2014-06-11
IL252142B (en) 2018-04-30
US20190289293A1 (en) 2019-09-19
IL252142A0 (en) 2017-07-31
US8908984B2 (en) 2014-12-09
US9503738B2 (en) 2016-11-22
US20110222786A1 (en) 2011-09-15

Similar Documents

Publication Publication Date Title
JP5844263B2 (ja) デジタル画像を再圧縮するための装置および方法
RU2461977C2 (ru) Сжатие и снятие сжатия изображения
KR101320260B1 (ko) 비디오 신호 데이터를 인코딩 및 디코딩하기 위한 방법 및 장치
EP3014880B1 (en) Encoding video captured in low light
US7804896B2 (en) Content adaptive noise reduction filtering for image signals
US20120201475A1 (en) Method and system for processing an image
US20050100235A1 (en) System and method for classifying and filtering pixels
US20060268990A1 (en) Adaptive video encoding using a perceptual model
EP1675402A1 (en) Optimisation of a quantisation matrix for image and video coding
US7382932B2 (en) Image processing apparatus and method, and computer program and computer-readable storage medium
US20140321552A1 (en) Optimization of Deblocking Filter Parameters
Afonso et al. Low complexity video coding based on spatial resolution adaptation
JP4002599B2 (ja) 圧縮復元画像におけるモスキート・ノイズの削減方法及び装置
KR20090068222A (ko) 공간 활동 메트릭과 그 평가 방법
KR100669905B1 (ko) 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치 및그 방법
Zaid et al. HDR image compression with optimized JPEG coding
Darwiche et al. Comparison of JPEG's competitors for document images
KR101193790B1 (ko) 비디오 코덱 양자화를 위한 방법 및 장치
Li et al. An adaptive preprocessing algorithm for low bitrate video coding
Chen et al. Shape-adaptive image compression using lossy shape coding, SA-prediction, and SA-deblocking
Kozhemyakin et al. ON SOME FALSE ASSERTIONS IN IMAGE LOSSY COMPRESSION
Karunaratne et al. Preprocessing of compressed digital video based on perceptual quality metrics
Luong et al. Coding artifact reduction using adaptive post-treatment.
Shoham et al. Optimizing bandwidth and storage requirements for mobile images using perceptual-based JPEG recompression

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131004

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131004

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140826

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20141125

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20141202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151118

R150 Certificate of patent or registration of utility model

Ref document number: 5844263

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250