JPWO2006025090A1 - 画像復元装置、画像復元方法、および画像復元プログラム - Google Patents

画像復元装置、画像復元方法、および画像復元プログラム Download PDF

Info

Publication number
JPWO2006025090A1
JPWO2006025090A1 JP2006531198A JP2006531198A JPWO2006025090A1 JP WO2006025090 A1 JPWO2006025090 A1 JP WO2006025090A1 JP 2006531198 A JP2006531198 A JP 2006531198A JP 2006531198 A JP2006531198 A JP 2006531198A JP WO2006025090 A1 JPWO2006025090 A1 JP WO2006025090A1
Authority
JP
Japan
Prior art keywords
code data
image
data
unit
restoration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006531198A
Other languages
English (en)
Inventor
岡田 雅樹
雅樹 岡田
智博 福岡
智博 福岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2006025090A1 publication Critical patent/JPWO2006025090A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

所定画素数の画像ブロックを直交変換を施した後、高能率符号化されて得られるシーケンシャル方式の符号データを使用して、直流復号部11A、直流逆量子化部12A、および直流逆DCT部13Aより構成される直流復号部において、符号データのうち直流符号データに対して、先行して画像復元処理を行い画像表示する。これに遅れて、交流復号部11B、交流逆量子化部12B、および交流逆DCT部13Bより構成される交流復号部において、直流符号データに交流符号データを加えて画像復元処理を行い画像表示する。広く普及している通常のシーケンシャル方式の符号データを使用しながら、プログレッシブ方式のデータ構造による画像表示効果と同様な効果を得ることができ、表示画像を順次精細に表示することができる。

Description

本発明は、直交変換を用いて符号化された画像データの復元に関するものである。
特許文献1に開示されている画像符号化装置では、M画素×M画素を1ブロックとして直交変換を施して画像データを符号化、復号化する際、1ブロックの変換係数をN個のゾーンに分割し、第i番目(1≦i≦N)の符号化では直交変換を行った係数のうち第1からi番目のゾーンの係数について1画面分符号化及び伝送し、第1番目の符号化データから第N番目の符号化データまで順に伝送する。N回の符号化について全て直流係数から符号化していき、符号化終了のゾーンである変換係数の次数を符号化の回数に従って増やしていく。復号化側では、N種類のデータを、それぞれ独立のシーケンシャル符号化モードのデータとして解読すれば、プログレッシブ符号化と同等の画像表示効果を得られる。シーケンシャル符号化による復号化装置で、プログレッシブ符号化と同様の画像表示効果を実現するものである。
特開平6−233276号公報
上記特許文献1では、シーケンシャル符号化による復号化装置を用いて、プログレッシブ符号化と同様の画像表示効果を実現することができるものではある。しかしながら、この場合、画像データを符号化する際、特殊な符号化データの構造を備えることが必要である。すなわち、1ブロックの変換係数を低周波数成分から高周波数成分に向けてN個のゾーンに分割しておき、符号化の際、各ゾーンについて、直流成分から各ゾーンに含まれる変換係数までを1組として1画面分の符号化データを生成する。第1番目のゾーンから第N番目のゾーンに至るまで、ゾーンごとに生成された1画面分の符号化データが順次伝送され、復号装置において順次複合されなければならない。
通常のシーケンシャル符号化においては、直流成分から高周波数成分までの1組のシーケンシャル符号化データにより画像を構成するところ、上記特許文献1においては、画像に対して複数のシーケンシャル符号化データの組み合わせで構成しなければならず、特殊な符号化データを準備しなければならない。専用の符号化装置により符号化されたデータによらなければ所望の画像表示機能を得ることができない。広く普及している通常のシーケンシャル符号化データに対しては適用することができず問題である。
また、画像を符号化、復号化するに当たっては、本来、1組のシーケンシャル符号化データで十分なところ、複数組のシーケンシャル符号化データを備えなければならず、必要なデータ量は増大せざるを得ない。増大したデータ量を処理するために、処理装置や記憶領域も大規模にならざるを得ない。更に、符号化データの伝送にあたっては、増大したデータ量のために伝送路の負荷も増大せざるを得ない。複雑大規模な装置構成と伝送システムへの負荷増大を招来するおそれがあり問題である。
本発明は前記従来技術の少なくとも1つの問題点を解消するためになされたものであり、シーケンシャル方式の符号データを復元処理する際に、プログレッシブ方式の符号データの復元と同様な画像表示効果を奏することが可能な画像復元装置、画像復元方法、および画像復元プログラムを提供することを目的とする。
前記目的を達成するためになされた本発明の画像復元装置は、所定画素数の画像ブロックごとに直交変換に応じて符号化された符号データを、画像データに復元処理する画像復元装置であって、符号データが格納される記憶部と、記憶部に格納されている符号データを復元処理する復元処理部とを備え、復元処理部は、全ての画像ブロックに対して、符号データのうち直流符号データを先行して画像データに復元処理する先行処理を行うことを特徴とする。
本発明の画像復元装置では、画像ブロック単位で符号化された符号データが記憶部に格納されており、復元処理部により画像データに復元処理されるにあたり、全ての画像ブロックに対して、符号データのうち直流符号データについて先行して復元処理が行われる。
また、本発明に係る画像復元方法または画像復元プログラムは、所定画素数の画像ブロックごとに直交変換に応じて符号化された符号データを、画像データに復元処理する画像復元方法または画像復元プログラムであって、復元すべき符号データを予め記憶しておくステップと、全ての画像ブロックに対して、記憶されている符号データのうち交流符号データに先行して、直流符号データを画像データに復元処理するステップとを有することを特徴とする。
本発明の画像復元方法または画像復元プログラムでは、画像ブロック単位で符号化され予め記憶されている符号データが画像データに復元処理されるにあたり、全ての画像ブロックに対して、交流符号データに先行して、直流符号データが復元処理される。
これにより、所定画素数の画像ブロックごとに直交変換した上で符号化された符号データを、直流符号データについて先行処理することにより、画像ブロックにおける画像データのうち平均的な特徴を表わす画像データを先行して復元することができる。その後、直流符号データに交流符号データを加えて復元処理を行うことにより、画像ブロック内の個々の色や、輝度、色差といった様々な違いを含んだ精細な画像データを復元する。精細な画像データを再生するに先立ち、画像ブロックの平均的な画像データを先行して復元することができる。先行して画像全体の特徴を表示した後に精細な画像を表示する、プログレッシブ表示を行うことができる。
画像の標準的な符号形式として広く使用されているシーケンシャル方式で符号化された画像ブロックごとの符号データを用いながら、画像再生に当たっては、プログレッシブ方式の符号データによる画像表示効果を得ることができる。すなわち、画像ブロックごとに精細な画像情報を有し、画像再生の際には画像ブロックごとに精細な画像再生が行われる、シーケンシャル方式での符号データを用いながら、画像全体の特徴は表現されるものの不十分な画質の画像から、精細な画質までの画像情報を順次表示することができる。画像再生の初期段階で画像の全体像を把握でき、その後徐々に精細な画像表示が行われる、プログレッシブ方式での符号データによる画像表示効果と同様な画像表示効果が得られる。
本発明によれば、一般的に使用されているシーケンシャル方式の符号データについて復元処理を行う際、符号データのうち直流符号データを先行して復元処理することにより、各画像ブロックの平均的な画像特徴が先行して再生され画像の特徴を早期に把握することが可能となり、プログレッシブ方式の符号データを用いた場合と同様な画像表示効果を奏することが可能な画像復元装置、画像復元方法、および画像復元プログラムを提供することが可能となる。
第1実施形態の回路ブロック図である。 第2実施形態の回路ブロック図である。 第3実施形態のフロー図である。 直流復号部の回路ブロック図である。 交流復号部の回路ブロック図である。 交流符号データを多段階に分割する際のグループ分けを示す概念図である。
符号の説明
11A 直流復号部
11B 交流復号部
12A 直流逆量子化部
12B 交流逆量子化部
13A 直流逆DCT部
13B 交流逆DCT部
15 記憶部
15A 符号データ格納領域
15B 直流TEMP領域
15C 交流TEMP領域
15D 復元画像格納領域
21 復号部
22 逆量子化部
23 逆DCT部
25 記憶部
25A 符号データ格納領域
25B 直流TEMP領域
25C 交流TEMP領域
26 選択部
27 直流選択部
28 交流選択部
41 ブロックカウンタ
42、54 アドレス発生部
43 直流(DC)テーブル
44 交流(AC)テーブル
45、46 比較部
47 バッファ
48 (直流(DC))取込部
49 組立部
50 交流(AC)取込部
53 切目処理部
以下、本発明の画像復元装置、画像復元方法、および画像復元プログラムについて具体化した第1乃至第3実施形態を図1乃至図6に基づき図面を参照しつつ詳細に説明する。
図1には第1実施形態の画像復元装置の回路ブロック図を示す。符号データから画像を復元する際、直流符号データに対する復元処理と交流符号データに対する復元処理とが、各々個別に行われる回路構成である。
記憶部15には、符号データが格納されている符号データ格納領域15A、直流符号データが一時的に格納される直流TEMP領域15B、交流符号データが一時的に格納される交流TEMP領域15C、そして復元された画像データが格納される復元画像格納領域15Dが備えられている。
ここで、符号データとは、所定画素数の画像ブロックにおける画像データを直交変換した上で、符号化されたデータである。例えば、JPEG画像等の高能率符号化データがこれにあたる。この場合、所定画素数の画像ブロックとは8×8画素である。直交変換とはDCT変換であり、符号化とはエントロピー符号化である。エントロピー符号化の方式としてはハフマン符号化方式が用いられることが一般的である。画像データはDCT変換により、1つの直流成分(ブロック0)と、低周波数成分から高周波数成分に向かって63段階に分割された交流成分(ブロック1乃至63)との、64のブロックに分割される。直流成分(ブロック0)とは、8×8画素の平均値を示す値であり、交流成分(ブロック0乃至63)とは、隣接する8×8画素との画像成分の違いを示す値である。
直流復号部11Aには、符号データ格納領域15Aから符号データが入力され、このうち直流成分に対して復号化処理が行われる。直流符号データが復号化された直流量子化値が出力される。合せて、交流符号データが識別される。識別された交流符号データは、記憶部15内の交流TEMP領域15Cに格納される。この場合、図4において後述する切れ目処理により、画像ブロックごとに交流符号データを判別できるように、データ境界におけるデータ処理が施される場合がある。
直流量子化値は直流逆量子化部12Aに入力される。対応する直流量子化係数を乗ずることにより直流係数が出力される。この場合、直流量子化値に乗ずる直流量子化係数として、“1”を選択することもできる。量子化処理において“1”より大きな直流量子化係数により量子化されている場合には、“1”による逆量子化では、画像のダイナミックレンジを低下させてしまうことになる。しかしながら、ここで行われる逆量子化演算は、プログレッシブ方式と同様な画像表示効果を得るための初期段階として直流量子化値に対する処理である。従って、画像表示に精度は要求されず、全体の画像特徴が表される範囲において、乗算すべき量子化係数を“1”に減じて乗算演算の簡略化を図ることが可能である。これにより、回路規模の簡略化を図ることができ、また演算処理の高速化に伴い、より滑らかなプログレッシブ表示効果を得ることができる。尚、量子化係数は“1”に限定されるのもではなく、上記の効果を奏するものであれば、“1”以外の係数を使用することが可能であることはいうまでもない。
直流逆量子化部12Aから出力された直流係数は、記憶部15における直流TEMP領域15Bに格納されると共に、直流逆DCT部13Aに入力される。直流逆DCT部13Aには更に、交流係数として擬似的にゼロ値が入力される。直流逆DCT部13Aでは、原画像の特徴が直流係数においてのみ表されたDCT変換係数に対して、逆DCT変換が施される。直流逆DCT部13Aから出力される直流画像データは、復元画像格納領域15Dに格納される。格納された直流画像データは、表示装置において表示され、直流成分により画像表示が行われる。この場合、復元画像格納領域15Dに直流画像データを格納しておけば、様々な画像処理に対応することができる。また、直流画像データを格納する復元画像格納領域15Dを記憶部15に備える必要は必ずしもない。復元された画像についてはそのまま表示装置に表示するような設定とすることも可能である。これにより、記憶部15の記憶領域を圧縮することができる。
ここで、直流復号部11A、直流逆量子化部12A、および直流逆DCT部13Aが、直流復元処理部を実現する一例である。符号データを画像データに復元する際、直流復元処理部での処理を先行させることにより、直流成分のみが画像の特徴を示す画像データが先行して得られる。
交流復号部11Bには、交流TEMP領域15Cに格納されている交流符号データが入力され復号化処理が行われる。ここで、交流TEMP領域15Cに格納されている交流符号データは、先行して処理が行われる直流復号部11Aにより識別され格納されたデータである。交流復号部11B、交流逆量子化部12B、および交流逆DCT部13Bにより構成される交流復元処理部での処理は、前述の直流復元処理部における直流復号部11Aでの処理の後、直流復元部の処理と並行してあるいは直流復元部での処理に遅れて行われる。交流復号部11Bでは、全ての交流符号データを一括して復号化処理することの他、所定の周波数成分ごとに段階的に復号化することも可能である。後者については、図6、図7において詳述する。段階的に復号化することにより、復元画像が順次、高周波数成分を含んだ画像となり、より滑らかなプログレッシブ表示が可能となる。交流復号部11Bからは、交流量子化値が出力される。
交流量子化値は交流逆量子化部12Bに入力される。交流量子化係数を乗ずることにより交流係数が出力される。交流符号データを段階的に復元する構成の場合には、過渡的な画像表示の段階において、交流量子化値に乗ずる交流量子化係数を“1”に選択することもできる。“1”より大きな交流量子化係数で量子化されている場合には、画像のダイナミックレンジを低下させてしまうことになるが、ここで行われる逆量子化演算は、プログレッシブ方式と同様な画像表示効果を得るための中間の画像表示段階での処理であり、このとき表示される周波数成分に対する画像表示に精度は要求されず、全体の画像特徴が現われる範囲において、乗算すべき量子化係数を“1”に減じて乗算演算の簡略化を図ることが可能である。これにより、回路規模の簡略化を図ることができ、また演算処理の高速化に伴い、より滑らかなプログレッシブ表示効果を得ることができる。尚、量子化係数は“1”に限定されるのもではなく、上記の効果を奏するものであれば、“1”以外の係数を使用することが可能であることはいうまでもない。
交流逆量子化部12Bから出力された交流係数は、記憶部15における直流TEMP領域15Bに格納されている直流係数と共に、交流逆DCT部13Bに入力される。交流逆DCT部13Bでは、直流係数と交流係数とが含まれたDCT変換係数に対して、逆DCT変換が施される。交流逆DCT部13Bから出力される画像データは、復元画像格納領域15Dに格納され、また画像表示される。
ここで、交流復号部11B、交流逆量子化部12B、および交流逆DCT部13Bが、交流復元処理部を実現する一例である。符号データを画像データに復元する際、前述の直流復元処理部での処理に遅れて処理されることにより、直流成分に加えて交流成分を含んだ画像データが得られる。このとき、交流成分を段階的に処理する構成であれば、直流係数に、順次交流係数が加わったDCT変換係数が、順次逆DCT変換されることとなり、よりきめ細かいプログレッシブ表示効果を得ることができる。
第1実施形態では、所定画素数の画像ブロックとして8×8画素を1ブロックとして、ブロックごとに、DCT変換による直交変換を施した後、ハフマン符号化を行い高能率符号化されて得られるシーケンシャル方式の符号データを使用する。直流復号部11A、直流逆量子化部12A、および直流逆DCT部13Aより構成される直流復号部において、符号データのうち直流符号データに対して、先行して画像復元処理を行い画像表示する。これに遅れて、交流復号部11B、交流逆量子化部12B、および交流逆DCT部13Bより構成される交流復号部において、直流符号データに交流符号データを加えて画像復元処理を行い画像表示する。これにより、広く普及している通常のシーケンシャル方式の符号データを使用しながら、プログレッシブ方式のデータ構造による画像表示効果と同様な効果を得ることができ、画像が順次精細に表示される効果を得ることができる。この場合、交流成分を含んだ符号データの復元処理において、処理対象とする交流成分を段階的に高周波数成分に拡大しながら順次復元処理を行うことにより、よりきめ細かい滑らかなプログレッシブ表示効果を得ることができる。
図2には第2実施形態の画像復元装置の回路ブロック図を示す。符号データから画像を復元する際、復号部21、逆量子化部22、および逆DCT部23を共通に備えて、直流/交流符号データを処理する。このうち、復号部21および逆量子化部22が、前段復元処理部の一例として構成され、逆DCT部23が逆直交変換部の一例として構成される場合である。第1選択部の一例として備えられている選択部26により、直流符号データと交流符号データとを適宜に選択して供給することにより復元処理が行われる回路構成である。
第2実施形態では、記憶部25と復号部21との間に、選択部26が備えられている。符号データ格納領域25Aから符号データが供給される径路と、交流TEMP領域25Cから交流符号データが供給される径路との何れか一方が選択される。
復号部21は、直流復号部11Aと交流復号部11Bとを兼ね備えた機能を奏する。すなわち、選択部26において、先行して符号データ格納領域25Aとの径路が選択され符号データが入力されると、符号データのうち直流符号データに対して復号化処理が行われ直流量子化値が出力される。このとき、交流符号データについては必要に応じて後述する切れ目処理を行い、交流TEMP領域25Cに格納される。
交流TEMP領域25Cとの径路が選択され、先の処理で必要に応じて切れ目処理が施された交流符号データが入力される場合には、入力される交流符号データに対して復号化処理を行う。このとき、交流符号データについては、切れ目処理により、高周波数成分に向かって段階的に処理範囲が拡大するように区切ることが可能である。この区切りごとに復号化処理が行われ、直流/交流量子化値が出力される。
復号部21において復号された直流/交流量子化値は、逆量子化部22において逆量子化された後、直流TEMP領域25B、直流選択部27、および交流選択部28に出力される。先行して直流係数が演算される際、直流係数は、直流TEMP領域25Bに格納されると共に、直流選択部27において選択されて逆DCT部23に送られる。同時に、交流係数として、交流選択部28においてゼロ値が選択されて逆DCT部23に送られる。逆DCT部23では、直流係数において特徴を有する画像が復元される。これに遅れて交流係数を含んで演算される際、直流係数は、直流TEMP領域25Bから直流選択部27により選択されて逆DCT部23に送られる。同時に、交流係数が逆量子化部22において演算されて逆DCT部23に送られる。逆DCT部23では、直流係数に加えて交流係数を含んで特徴を有する画像が復元される。
尚、逆量子化部22において量子化係数を、“1”を含む通常の量子化係数に比して小さな値とすることは、第1実施形態と同様な作用・効果を奏し、有効である。
第2実施形態では第1実施形態の場合と同様に、所定画素数の画像ブロックとして8×8画素を1ブロックとして、ブロックごとに、DCT変換による直交変換を施した後、ハフマン符号化を行い高能率符号化されて得られるシーケンシャル方式の符号データを使用して、復号部21、逆量子化部22、および逆DCT部23で復元処理を行うことができる。この場合、選択部26により選択された符号データに応じて演算された直流係数が選択部27により選択されると共に、交流選択部28において交流係数としてゼロ値が選択され、画像の特徴を示す直流符号データに対して、先行して画像復元処理が行われ画像表示される。これに遅れて、直流/交流選択部27/28において、各々、直流TEMP領域25Bに格納されている直流係数、および逆量子化部22から出力される交流係数が選択され、画像の特徴を示す直流符号データから交流符号データに至るデータに対して、画像復元処理が行われ画像表示される。これにより、広く普及している通常のシーケンシャル方式の符号データを使用しながら、プログレッシブ方式のデータ構造による画像表示効果と同様に、画像が順次精細に表示される効果を得ることができる。この場合、交流成分を含んだ符号データの復元処理において、処理対象とする交流成分を段階的に高周波数成分に拡大しながら順次復元処理を行うことにより、よりきめ細かい滑らかなプログレッシブ表示効果を得ることができる。
第2実施形態では、復元部21、逆量子部22、および逆DCT部23を、直流符号データの画像復元処理と交流符号データの画像復元処理とで共有することができ、各々処理で個別の回路構成を有する第1実施形態の場合に比して構成される回路規模を圧縮することができる。
尚、第1および第2実施形態では、先行して直流符号データに対して処理が行われるとし、交流符号データについては、直流復号部11Aまたは復号部21において識別されて交流TEMP領域15C、25Cに格納されるものとして説明した。交流TEMP領域15C、25Cに格納される交流符号データは、エントロピー符号化されたデータであり、DCT変換された画像データの特徴とも相俟って、圧縮されたデータである。記憶部15、25として記憶領域が限られている場合にも交流TEMP領域15C、25Cとして格納することが容易である。ここで、記憶部15、25に格納されている符号データが記憶部15、25における一時的な格納であり、画像復元後の消失が許されるならば、交流TEMP領域15C、25Cを、符号データ格納領域15A、25Aに重ねて設定しておき、符号データの直流復号部11A、復号部21での処理の後、交流符号データに対して必要に応じて切れ目処理を施した上で上書きすることができる。これにより、記憶部15、25の格納領域を小さくすることができる。
また、記憶部15、25における記憶領域が十分に確保されている場合には、交流TEMP領域15C,25Cとして十分な領域を確保して、直流符号データに対する画像処理と共に交流符号データの処理も行い、交流量子化値や交流係数を格納することもできる。これにより、交流成分の処理を途中の段階まで予め行っておくことが可能となり、交流成分まで含んだ画像データ復元処理を高速に行うことができる。
また、先行して行われる直流符号データに対する処理において演算される直流係数が、直流TEMP領域15B、15Cに格納されるものとして説明しているが、これ以外に、直流量子化値を格納しておき、交流成分の演算時において、交流逆量子化部12Bまたは逆量子化部22に対して、交流量子化値と共に供給するように構成することもできる。
また、直流成分の処理では、直流逆DCT部13Aまたは逆DCT部23に対して、ゼロ値の交流係数を供給しているが、直流逆量子化部12Aまたは逆量子化部22に対して、ゼロ値の交流量子化値を供給することも可能である。
また、途中段階での逆量子化係数を“1”として逆量子化演算をするとは、量子化値に“1”を乗算することである。途中段階での処理においては、直流/交流逆量子化部12A/12Bや、逆量子化部22での演算処理を行わず、演算された量子化値を、そのまま直流/交流逆DCT部13A/13Bや、逆DCT部23に供給する構成とすることができることを意味する。
図3は、第3実施形態として本発明をソフトウェアでデータ処理する際のフロー図を示している。
画像復元の処理が開始されると、要求される画像表示がプログレッシブ表示であるか否かが判断される(S1)。プログレッシブ表示が要求されておらず(S1:NO)通常のシーケンシャル表示を行う場合には、シーケンシャル符号格納部D1よりシーケンシャル符号データが読み出され、画像ブロックごとに、復号処理(S31)、逆量子化処理(S33)、逆DCT処理(S35)を行った上で、画像ブロックごとに、復元画像の表示が行われる(S37)。
プログレッシブ表示が要求されている場合には(S1:YES)、シーケンシャル符号格納部D1よりシーケンシャル符号データが読み出され、直流(DC)符号データに対する復号処理と共に、直流(DC)符号データと交流(AC)符号データとの分離が行われ、分離された交流(AC)符号データは交流(AC)符号データ格納部D2に格納される(S3)。交流(AC)符号データ格納部D2には、画面上の全ての画像ブロック(0−Z)の各々に対して、低周波数成分から高周波数成分までを63のブロックに分割して符号化されている交流(AC)符号データ(0−63)が格納される。復号化された直流(DC)符号データは、直流(DC)量子化値として処理S5に送られる。
処理S5では、直流(DC)量子化値に対して逆量子化処理が行われ、直流(DC)係数が演算される。直流(DC)係数は、直流(DC)係数格納部D3に格納される。直流(DC)係数格納部D3には、画面上の各画像ブロック(0−Z)ごとの直流(DC)件数が格納される。更に直流(DC)係数は処理S7に送られる。
処理S7では、画像ブロック(0−Z)ごとに、演算された直流(DC)係数に対して、全ての交流(AC)係数(0−63)にゼロ値を割り当てて、逆DCT処理が行われる。全ての交流(AC)係数にゼロ値を割り当てるので、処理S7の逆DCT処理での演算は簡素化され、高速処理が可能である。これにより、直流(DC)成分により表される復元画像が得られる。画像の詳細な違いは表現されないものの、画像ブロックごとの平均的な画像の特徴が大まかに表現されて表示されることとなる(S9)。処理S3乃至S9を、全ての画像ブロックに対して順次行うことにより、プログレッシブ表示における第1段階の表示が行われる。画面全体の大まかな画像の特徴が表現される。
次に、交流(AC)符号データを含んだ符号データに対して画像復元処理を行う。先ず、63段階の周波数成分に対するブロック1−63のうち、同時に画像復元処理を行う交流(AC)符号データのブロック範囲を設定する(S11)。処理S11では、nとして設定される。初期化処理を行い、最小値:i=1、最大値:j=nとした後(S13)、交流(AC)符号データ格納部D2に格納されている交流(AC)符号データの復号化処理を行い交流(AC)量子化値を出力する(S15)。
処理S17では、交流(AC)量子化値に対して逆量子化処理が行われ、交流(AC)係数が演算される。交流(AC)係数は、交流(AC)係数格納部D4に格納される。交流(AC)係数格納部D4には、画面上の画像ブロック(0−Z)ごとの交流(AC)係数が、ブロック1乃至jの範囲で格納される。
処理S19では、画像ブロック(0−Z)ごとに、処理S17で演算された交流(DC)係数に加えて、必要に応じて既に演算され交流(AC)係数格納部D4に格納されている交流(AC)係数(0−Z)(1−(i−1))を読み出し、また、未だ演算されていない交流(AC)係数(0−Z)((n+1)−63)に対してはゼロ値を割り当てて、逆DCT処理が行われる。このとき同時に、直流(DC)係数格納部D3に格納されている直流(DC)係数(0−Z)も合せ、逆DCT処理が行われる。これにより、直流(DC)成分から所定範囲までの交流(AC)成分により表される復元画像が得られる。表現される画像は、復元処理される交流(AC)成分の範囲までの特徴が復元された表示が可能となる。直流(DC)成分のみの画像表示(S9)に比してより精細な画像が表現される(S21)。
画像復号処理が行われる交流(AC)符号データの最大値:jが交流(AC)符号データの最大ブロックである63であるか否かが判断され(S23)、j=63に到達していれば(S23:YES)画像復元処理は終了する。j=63に到達していなければ(S23:NO)、最小値:i、最大値:jにnを加算して(S25)次の復元処理に移行する。nが加算された際の最大値:jが63を越える場合には(S27:YES)、最大著:jを63に設定し直して(S29)、処理15に戻って、再度、交流(AC)成分の範囲が拡大された上で画像復元処理を繰り返す。
処理S15乃至S19を、全ての画像ブロック(0−Z)に対して、交流(AC)成分の範囲を順次拡大しながら行うことにより、プログレッシブ表示において、精細さが順次増大する表示が行われる。画面全体の画像が順次精細に表現されるような表示が実現される。
ここで、図4および図5により、第1実施形態の直流復号部11Aおよび交流復号部11Bについての回路ブロック例を示す。
先ず、図4に示す直流復号部11Aについて説明する。直流復号部11Aでは、直流(DC)符号データの復号化処理の他、交流(AC)符号データを識別し、必要に応じてデータ間の境界におけるデータ処理を施した上で、交流(AC)TEMP領域15Cに格納する処理を含む。
ブロックカウンタ41は、DCT変換された画像データが、1つの直流(DC)符号データ(ブロック1)と、低周波数成分から高周波数成分に至る63段階の交流(AC)符号データ(ブロック1−63)とに分解されるところ、各段階のブロック値をカウントするカウンタである。0乃至63のカウント値BC(0:63)はアドレス発生部42に、カウント値BC(1:63)はアドレス発生部54、論理積ゲート51、および後述の条件(3)の場合には切目処理部53に、カウント値BC(63)は論理積ゲート52に、それぞれ入力される。
アドレス発生部42は、カウント値BC(0:63)ごとに、直流(DC)テーブル43または交流(AC)テーブル44にあるハフマン符号を指定するアドレスを発生する。一つの符号データが、複数あるハフマン符号の何れに一致するかを検出するために、一つのカウント値BC(0:63)に対して、順次アドレス値が変化する。
アドレス発生部42からの指定により順次選択されるハフマン符号に応じて、バッファ47に取り込まれる符号データごとに比較部45、46において一致比較が行われる。比較部45には直流(DC)テーブル43から選択されたハフマン符号が入力され、直流(DC)符合データとの比較が行われる。比較部46には交流(AC)テーブル44から選択されたハフマン符号が入力され、交流(AC)符合データとの比較が行われる。
比較部45により直流(DC)テーブルに格納されているハフマン符号との一致が検出されると、一致検出された符号データは直流(DC)符合データであると判断され、直流(DC)取込部48がイネーブル状態とされる。バッファ47にある比較対象の符号データが直流(DC)取込部48を介して組立部49に送られる。組立部49には、一致判定されたハフマン符号と対応する付加ビットが入力され、一致判定された直流(DC)符号データが復号される。
比較部46により交流(AC)テーブルに格納されているハフマン符号との一致が検出されると、判定結果は、論理積ゲート51および52に入力される。論理積ゲートの他方には、各々、カウント値BC(1:63)およびカウント値BC(63)が入力されるため、論理積ゲート51により各カウント値BC(1:63)に対して交流(AC)取込部50がイネーブル状態とされ、一致判定された符号データをカウント値BC(1:63)に対応する交流(AC)符号データであるとして、入力可能とされる。論理積ゲート52によりカウント値BC(63)に対してバッファ47は禁止状態とされ、符号データの入力が禁止される。一つの画像ブロックに対する直流(DC)復号部11Aへの入力が禁止される。
交流(AC)取込部50を介して入力された交流(AC)符号データは、三種類の方法により、記憶部15の交流(AC)TEMP領域15Cに格納される。
第1の方法(1)は、交流(AC)取込部50を介して入力された交流(AC)符号データを、そのまま、交流(AC)TEMP領域15Cに格納する場合である。バッファ47から交流(AC)取込部50を介して入力された交流(AC)符号データは、カウント値BC(1:63)に応じてアドレス発生されるアドレス発生部54により指定されるアドレスを有する格納領域に格納される。
第2の方法(2)は、切目処理部53において、連続して入力される交流(AC)符号データの境界をデータ処理して格納する場合である。直流(DC)符号データに続く交流(AC)符号データとの境界を、検出可能にデータ処理する場合である。
一つの画像ブロックを表現する一連の符号データ(ブロック0−63)のうち、先頭に位置するブロック0の符号データは、直流(DC)符号データである。既に先行して判別され、直流(DC)取込部48を介して組立部49において復号化されている。交流(AC)取込部50を介して入力される符号データはブロック1−63の交流(AC)符号データのみであるところ、先頭の交流(AC)符号データの前に、本来の直流(DC)符号データに代えて、直流(DC)符号データを表す符号データのうち最短長のビット列を有するハフマン符号に応じた符号データを擬似的に付加する。擬似的に付加される符号データは所定のビット列に固定することができるため、切目処理部53において交流(AC)符号データの先頭に自動的に付加する構成とすることができる。
第3の方法(3)は、切目処理部53において、63段階の交流(AC)符号データ(ブロック1−63)を、ブロック1の最低周波数成分の交流(AC)符号データから、所定ブロック数ごとに複数のグループに分割する処理を行う場合である。交流(AC)符号データを含めた画像復元処理を行う際、復元処理を行う交流(AC)符号データの範囲を、高周波数成分に向けて順次拡大することにより、より滑らかなプログレッシブ表示を実現するものである。カウント値BC(1:63)に応じて切目処理部53において行われる。グループ分割された交流(AC)符号データは、カウント値BC(1:63)に応じて、アドレス発生部54においてグループごとに発生されるアドレスにより格納される。グループ分割をする際のグループ分けの一例を図6に示し、グループ境界のデータ処理の一例を図7に示す。図6、図7については後述する。
尚、図4の回路ブロック図には示されていないが、比較部45/46による、直流(DC)/交流(AC)43/44テーブルとの一致比較に基づき、符号データ格納領域15Aに格納されている符号データの先頭アドレスと、符号データ内で交流(AC)符号データが始まるビット位置を把握してやれば、交流(AC)取込部50、切目処理部53、アドレス発生部54等を備えて識別された交流(AC)符号データを交流(AC)TEMP領域15Cに格納する処理をする必要はない。符号データ格納領域15Aから必要に応じて読み出すことができる。
アドレス発生部54は、識別され、必要に応じて切れ目処理を施された交流(AC)符号データを格納すべきアドレスを発生する。ブロックカウンタからのカウント値BC(1:63)ごとに、交流(AC)TEMP領域15Cに順次格納されるように、アドレスが順次発生される。
図5に交流復号部11Bの回路ブロックを示す。交流復号部11Bは、交流(AC)符号データの復号化処理を行うことが目的である。図4に示した直流復号部11Aとは異なり、直流(DC)テーブル43、比較部45、交流(AC)取込部50、切目処理部53、およびアドレス発生部54が不要である。
直流復号部11Aにおける直流(DC)取込部48に代えて取込部48が備えられ、比較部45からの出力信号に代えて論理積ゲート51からの出力信号に応じてイネーブル状態とされる。カウント値BC(1:63)ごとに一致判定された交流(AC)符号データが、取込部48を介して組立部49に入力される。また、論理積ゲート52において、カウント値BC(63)に代えてカウント値BC(X)が入力される。ここで、カウント値BC(X)とは、グループ処理される一連の交流(AC)符号データのうち終端の交流(AC)符号データのブロック値を示す値である。グループの終端を示すブロック値に応じてバッファ47が入力禁止状態とされる。交流(AC)符号データのグループごとに復号化処理を行うことができる。
図6は、8×8画素の画像データに対してDCT変換処理を行うことにより得られる符号データの並びを、いわゆるジグザグスキャン方式により並べたテーブルである。左上端のブロック0が直流(DC)符号データに該当する。その右隣のブロック1から右下端のブロック63が交流(AC)符号データに対応する。ブロック1から順次ジグザグにスキャンしてブロック9までがグループ1に、ブロック10からブロック27までがグループ2に、ブロック28からブロック63までがグループ3に対応する。
この場合の切れ目処理はグループの境界において行われる。例えば、ゼロランレングス(ZRL)等、ゼロ値がグループをまたいで連続して存在する場合には、先のグループの終端をEOB符号に置き換える処理を行う。後続のグループの先頭は残余のゼロ値の連続数に合せて符号設定が行われる。
以上の説明から明らかなように本実施形態によれば、8×8画素等の所定画素数の画像ブロックごとに、DCT変換等の直交変換した上でハフマン符号化等により符号化された、シーケンシャル方式の符号データを、直流符号データについて先行して画像復元処理することにより、画像データのうち平均的な特徴を表わす画像データを先行して復元することができる。その後、直流符号データに交流符号データを加えて復元処理を行い、個々の色や、輝度、色差の違いを含んだ精細な画像データを復元する。精細な画像データを再生するに先立ち平均的な画像データを先行して復元することができ、プログレッシブ表示と同様な画像表示効果を得ることができる。
画像の標準的な符号形式として広く使用されているシーケンシャル方式で符号化された画像ブロックごとの符号データを用いながら、画像再生に当たっては、プログレッシブ方式の符号データによる画像再生と同様な表示効果を得ることができる。不十分ではあるが全体像を把握できる画像から、精細な画質までの画像情報を順次表示することができる。
一般的に使用されているシーケンシャル方式の符号データを使用しながら、平均的な画像特徴が先行して再生され画像の特徴を早期に把握することが可能となる。
本発明の直流(DC)符号データに対する画像復元処理は、プログレッシブ表示における第1段階の表示に使用できるほか、画像内容の概要を検索する際に表示させることにより、検索画像の表示を高速に行う効果を奏することもできる。例えば、デジタルスチルカメラ等のインデックス表示機能において、使用することができる。
上記の効果のほか、下記に示す諸効果も得ることができる。すなわち、交流(AC)符号データのうち所定の周波数成分ごとに段階的に復号化してやれば、復元画像が順次、高周波数成分を含んだ画像となり、より滑らかなプログレッシブ表示が可能となる。また、逆量子化の処理の際、乗算すべき量子化係数を“1”に減ずることにより、逆量子化演算を行う必要がなくなる。回路規模の簡略化を図ることができ、また演算処理の高速化に伴い、より滑らかなプログレッシブ表示効果を得ることができる。また、第2実施形態において、復元部21、逆量子部22、および逆DCT部23を、直流符号データの画像復元処理と交流符号データの画像復元処理とで共有することにより、回路規模を圧縮することができる。また、逆DCT処理が行われる際、復元処理対象外の交流(AC)係数に対してはゼロ値が割り当てられるので、逆DCT処理での演算は簡素化され、高速処理が可能となる。
尚、本発明は前記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良、変形が可能であることは言うまでもない。
例えば、実施形態においては、プログレッシブ表示効果の第1段階として直流(DC)符号データのみを対象として画像復元処理を行う場合を説明したが、本発明はこれに限定されるものではない。プログレッシブ表示効果を得るための第1段階として、直流(DC)符号データに加えて低周波数成分の交流(AC)符号データを含めて、画像復元処理を行う構成とすることもできる。
本発明は、直交変換を用いて符号化された画像データの復元に関するものである。
特許文献1に開示されている画像符号化装置では、M画素×M画素を1ブロックとして直交変換を施して画像データを符号化、復号化する際、1ブロックの変換係数をN個のゾーンに分割し、第i番目(1≦i≦N)の符号化では直交変換を行った係数のうち第1からi番目のゾーンの係数について1画面分符号化及び伝送し、第1番目の符号化データから第N番目の符号化データまで順に伝送する。N回の符号化について全て直流係数から符号化していき、符号化終了のゾーンである変換係数の次数を符号化の回数に従って増やしていく。復号化側では、N種類のデータを、それぞれ独立のシーケンシャル符号化モードのデータとして解読すれば、プログレッシブ符号化と同等の画像表示効果を得られる。シーケンシャル符号化による復号化装置で、プログレッシブ符号化と同様の画像表示効果を実現するものである。
特開平6−233276号公報
上記特許文献1では、シーケンシャル符号化による復号化装置を用いて、プログレッシブ符号化と同様の画像表示効果を実現することができるものではある。しかしながら、この場合、画像データを符号化する際、特殊な符号化データの構造を備えることが必要である。すなわち、1ブロックの変換係数を低周波数成分から高周波数成分に向けてN個のゾーンに分割しておき、符号化の際、各ゾーンについて、直流成分から各ゾーンに含まれる変換係数までを1組として1画面分の符号化データを生成する。第1番目のゾーンから第N番目のゾーンに至るまで、ゾーンごとに生成された1画面分の符号化データが順次伝送され、復号装置において順次複合されなければならない。
通常のシーケンシャル符号化においては、直流成分から高周波数成分までの1組のシーケンシャル符号化データにより画像を構成するところ、上記特許文献1においては、画像に対して複数のシーケンシャル符号化データの組み合わせで構成しなければならず、特殊な符号化データを準備しなければならない。専用の符号化装置により符号化されたデータによらなければ所望の画像表示機能を得ることができない。広く普及している通常のシーケンシャル符号化データに対しては適用することができず問題である。
また、画像を符号化、復号化するに当たっては、本来、1組のシーケンシャル符号化データで十分なところ、複数組のシーケンシャル符号化データを備えなければならず、必要なデータ量は増大せざるを得ない。増大したデータ量を処理するために、処理装置や記憶領域も大規模にならざるを得ない。更に、符号化データの伝送にあたっては、増大したデータ量のために伝送路の負荷も増大せざるを得ない。複雑大規模な装置構成と伝送システムへの負荷増大を招来するおそれがあり問題である。
本発明は前記従来技術の少なくとも1つの問題点を解消するためになされたものであり、シーケンシャル方式の符号データを復元処理する際に、プログレッシブ方式の符号データの復元と同様な画像表示効果を奏することが可能な画像復元装置、画像復元方法、および画像復元プログラムを提供することを目的とする。
前記目的を達成するためになされた本発明の画像復元装置は、所定画素数の画像ブロックごとに直交変換に応じて符号化された符号データを、画像データに復元処理する画像復元装置であって、符号データが格納される記憶部と、記憶部に格納されている符号データを復元処理する復元処理部とを備え、復元処理部は、全ての画像ブロックに対して、符号データのうち直流符号データを先行して画像データに復元処理する先行処理を行うことを特徴とする。
本発明の画像復元装置では、画像ブロック単位で符号化された符号データが記憶部に格納されており、復元処理部により画像データに復元処理されるにあたり、全ての画像ブロックに対して、符号データのうち直流符号データについて先行して復元処理が行われる。
また、本発明に係る画像復元方法または画像復元プログラムは、所定画素数の画像ブロックごとに直交変換に応じて符号化された符号データを、画像データに復元処理する画像復元方法または画像復元プログラムであって、復元すべき符号データを予め記憶しておくステップと、全ての画像ブロックに対して、記憶されている符号データのうち交流符号データに先行して、直流符号データを画像データに復元処理するステップとを有することを特徴とする。
本発明の画像復元方法または画像復元プログラムでは、画像ブロック単位で符号化され予め記憶されている符号データが画像データに復元処理されるにあたり、全ての画像ブロックに対して、交流符号データに先行して、直流符号データが復元処理される。
これにより、所定画素数の画像ブロックごとに直交変換した上で符号化された符号データを、直流符号データについて先行処理することにより、画像ブロックにおける画像データのうち平均的な特徴を表わす画像データを先行して復元することができる。その後、直流符号データに交流符号データを加えて復元処理を行うことにより、画像ブロック内の個々の色や、輝度、色差といった様々な違いを含んだ精細な画像データを復元する。精細な画像データを再生するに先立ち、画像ブロックの平均的な画像データを先行して復元することができる。先行して画像全体の特徴を表示した後に精細な画像を表示する、プログレッシブ表示を行うことができる。
画像の標準的な符号形式として広く使用されているシーケンシャル方式で符号化された画像ブロックごとの符号データを用いながら、画像再生に当たっては、プログレッシブ方式の符号データによる画像表示効果を得ることができる。すなわち、画像ブロックごとに精細な画像情報を有し、画像再生の際には画像ブロックごとに精細な画像再生が行われる、シーケンシャル方式での符号データを用いながら、画像全体の特徴は表現されるものの不十分な画質の画像から、精細な画質までの画像情報を順次表示することができる。画像再生の初期段階で画像の全体像を把握でき、その後徐々に精細な画像表示が行われる、プログレッシブ方式での符号データによる画像表示効果と同様な画像表示効果が得られる。
本発明によれば、一般的に使用されているシーケンシャル方式の符号データについて復元処理を行う際、符号データのうち直流符号データを先行して復元処理することにより、各画像ブロックの平均的な画像特徴が先行して再生され画像の特徴を早期に把握することが可能となり、プログレッシブ方式の符号データを用いた場合と同様な画像表示効果を奏することが可能な画像復元装置、画像復元方法、および画像復元プログラムを提供することが可能となる。
以下、本発明の画像復元装置、画像復元方法、および画像復元プログラムについて具体化した第1乃至第3実施形態を図1乃至図6に基づき図面を参照しつつ詳細に説明する。
図1には第1実施形態の画像復元装置の回路ブロック図を示す。符号データから画像を復元する際、直流符号データに対する復元処理と交流符号データに対する復元処理とが、各々個別に行われる回路構成である。
記憶部15には、符号データが格納されている符号データ格納領域15A、直流符号データが一時的に格納される直流TEMP領域15B、交流符号データが一時的に格納される交流TEMP領域15C、そして復元された画像データが格納される復元画像格納領域15Dが備えられている。
ここで、符号データとは、所定画素数の画像ブロックにおける画像データを直交変換した上で、符号化されたデータである。例えば、JPEG画像等の高能率符号化データがこれにあたる。この場合、所定画素数の画像ブロックとは8×8画素である。直交変換とはDCT変換であり、符号化とはエントロピー符号化である。エントロピー符号化の方式としてはハフマン符号化方式が用いられることが一般的である。画像データはDCT変換により、1つの直流成分(ブロック0)と、低周波数成分から高周波数成分に向かって63段階に分割された交流成分(ブロック1乃至63)との、64のブロックに分割される。直流成分(ブロック0)とは、8×8画素の平均値を示す値であり、交流成分(ブロック0乃至63)とは、隣接する8×8画素との画像成分の違いを示す値である。
直流復号部11Aには、符号データ格納領域15Aから符号データが入力され、このうち直流成分に対して復号化処理が行われる。直流符号データが復号化された直流量子化値が出力される。合せて、交流符号データが識別される。識別された交流符号データは、記憶部15内の交流TEMP領域15Cに格納される。この場合、図4において後述する切れ目処理により、画像ブロックごとに交流符号データを判別できるように、データ境界におけるデータ処理が施される場合がある。
直流量子化値は直流逆量子化部12Aに入力される。対応する直流量子化係数を乗ずることにより直流係数が出力される。この場合、直流量子化値に乗ずる直流量子化係数として、“1”を選択することもできる。量子化処理において“1”より大きな直流量子化係数により量子化されている場合には、“1”による逆量子化では、画像のダイナミックレンジを低下させてしまうことになる。しかしながら、ここで行われる逆量子化演算は、プログレッシブ方式と同様な画像表示効果を得るための初期段階として直流量子化値に対する処理である。従って、画像表示に精度は要求されず、全体の画像特徴が表される範囲において、乗算すべき量子化係数を“1”に減じて乗算演算の簡略化を図ることが可能である。これにより、回路規模の簡略化を図ることができ、また演算処理の高速化に伴い、より滑らかなプログレッシブ表示効果を得ることができる。尚、量子化係数は“1”に限定されるのもではなく、上記の効果を奏するものであれば、“1”以外の係数を使用することが可能であることはいうまでもない。
直流逆量子化部12Aから出力された直流係数は、記憶部15における直流TEMP領域15Bに格納されると共に、直流逆DCT部13Aに入力される。直流逆DCT部13Aには更に、交流係数として擬似的にゼロ値が入力される。直流逆DCT部13Aでは、原画像の特徴が直流係数においてのみ表されたDCT変換係数に対して、逆DCT変換が施される。直流逆DCT部13Aから出力される直流画像データは、復元画像格納領域15Dに格納される。格納された直流画像データは、表示装置において表示され、直流成分により画像表示が行われる。この場合、復元画像格納領域15Dに直流画像データを格納しておけば、様々な画像処理に対応することができる。また、直流画像データを格納する復元画像格納領域15Dを記憶部15に備える必要は必ずしもない。復元された画像についてはそのまま表示装置に表示するような設定とすることも可能である。これにより、記憶部15の記憶領域を圧縮することができる。
ここで、直流復号部11A、直流逆量子化部12A、および直流逆DCT部13Aが、直流復元処理部を実現する一例である。符号データを画像データに復元する際、直流復元処理部での処理を先行させることにより、直流成分のみが画像の特徴を示す画像データが先行して得られる。
交流復号部11Bには、交流TEMP領域15Cに格納されている交流符号データが入力され復号化処理が行われる。ここで、交流TEMP領域15Cに格納されている交流符号データは、先行して処理が行われる直流復号部11Aにより識別され格納されたデータである。交流復号部11B、交流逆量子化部12B、および交流逆DCT部13Bにより構成される交流復元処理部での処理は、前述の直流復元処理部における直流復号部11Aでの処理の後、直流復元部の処理と並行してあるいは直流復元部での処理に遅れて行われる。交流復号部11Bでは、全ての交流符号データを一括して復号化処理することの他、所定の周波数成分ごとに段階的に復号化することも可能である。後者については、図6、図7において詳述する。段階的に復号化することにより、復元画像が順次、高周波数成分を含んだ画像となり、より滑らかなプログレッシブ表示が可能となる。交流復号部11Bからは、交流量子化値が出力される。
交流量子化値は交流逆量子化部12Bに入力される。交流量子化係数を乗ずることにより交流係数が出力される。交流符号データを段階的に復元する構成の場合には、過渡的な画像表示の段階において、交流量子化値に乗ずる交流量子化係数を“1”に選択することもできる。“1”より大きな交流量子化係数で量子化されている場合には、画像のダイナミックレンジを低下させてしまうことになるが、ここで行われる逆量子化演算は、プログレッシブ方式と同様な画像表示効果を得るための中間の画像表示段階での処理であり、このとき表示される周波数成分に対する画像表示に精度は要求されず、全体の画像特徴が現われる範囲において、乗算すべき量子化係数を“1”に減じて乗算演算の簡略化を図ることが可能である。これにより、回路規模の簡略化を図ることができ、また演算処理の高速化に伴い、より滑らかなプログレッシブ表示効果を得ることができる。尚、量子化係数は“1”に限定されるのもではなく、上記の効果を奏するものであれば、“1”以外の係数を使用することが可能であることはいうまでもない。
交流逆量子化部12Bから出力された交流係数は、記憶部15における直流TEMP領域15Bに格納されている直流係数と共に、交流逆DCT部13Bに入力される。交流逆DCT部13Bでは、直流係数と交流係数とが含まれたDCT変換係数に対して、逆DCT変換が施される。交流逆DCT部13Bから出力される画像データは、復元画像格納領域15Dに格納され、また画像表示される。
ここで、交流復号部11B、交流逆量子化部12B、および交流逆DCT部13Bが、交流復元処理部を実現する一例である。符号データを画像データに復元する際、前述の直流復元処理部での処理に遅れて処理されることにより、直流成分に加えて交流成分を含んだ画像データが得られる。このとき、交流成分を段階的に処理する構成であれば、直流係数に、順次交流係数が加わったDCT変換係数が、順次逆DCT変換されることとなり、よりきめ細かいプログレッシブ表示効果を得ることができる。
第1実施形態では、所定画素数の画像ブロックとして8×8画素を1ブロックとして、ブロックごとに、DCT変換による直交変換を施した後、ハフマン符号化を行い高能率符号化されて得られるシーケンシャル方式の符号データを使用する。直流復号部11A、直流逆量子化部12A、および直流逆DCT部13Aより構成される直流復号部において、符号データのうち直流符号データに対して、先行して画像復元処理を行い画像表示する。これに遅れて、交流復号部11B、交流逆量子化部12B、および交流逆DCT部13Bより構成される交流復号部において、直流符号データに交流符号データを加えて画像復元処理を行い画像表示する。これにより、広く普及している通常のシーケンシャル方式の符号データを使用しながら、プログレッシブ方式のデータ構造による画像表示効果と同様な効果を得ることができ、画像が順次精細に表示される効果を得ることができる。この場合、交流成分を含んだ符号データの復元処理において、処理対象とする交流成分を段階的に高周波数成分に拡大しながら順次復元処理を行うことにより、よりきめ細かい滑らかなプログレッシブ表示効果を得ることができる。
図2には第2実施形態の画像復元装置の回路ブロック図を示す。符号データから画像を復元する際、復号部21、逆量子化部22、および逆DCT部23を共通に備えて、直流/交流符号データを処理する。このうち、復号部21および逆量子化部22が、前段復元処理部の一例として構成され、逆DCT部23が逆直交変換部の一例として構成される場合である。第1選択部の一例として備えられている選択部26により、直流符号データと交流符号データとを適宜に選択して供給することにより復元処理が行われる回路構成である。
第2実施形態では、記憶部25と復号部21との間に、選択部26が備えられている。符号データ格納領域25Aから符号データが供給される径路と、交流TEMP領域25Cから交流符号データが供給される径路との何れか一方が選択される。
復号部21は、直流復号部11Aと交流復号部11Bとを兼ね備えた機能を奏する。すなわち、選択部26において、先行して符号データ格納領域25Aとの径路が選択され符号データが入力されると、符号データのうち直流符号データに対して復号化処理が行われ直流量子化値が出力される。このとき、交流符号データについては必要に応じて後述する切れ目処理を行い、交流TEMP領域25Cに格納される。
交流TEMP領域25Cとの径路が選択され、先の処理で必要に応じて切れ目処理が施された交流符号データが入力される場合には、入力される交流符号データに対して復号化処理を行う。このとき、交流符号データについては、切れ目処理により、高周波数成分に向かって段階的に処理範囲が拡大するように区切ることが可能である。この区切りごとに復号化処理が行われ、直流/交流量子化値が出力される。
復号部21において復号された直流/交流量子化値は、逆量子化部22において逆量子化された後、直流TEMP領域25B、直流選択部27、および交流選択部28に出力される。先行して直流係数が演算される際、直流係数は、直流TEMP領域25Bに格納されると共に、直流選択部27において選択されて逆DCT部23に送られる。同時に、交流係数として、交流選択部28においてゼロ値が選択されて逆DCT部23に送られる。逆DCT部23では、直流係数において特徴を有する画像が復元される。これに遅れて交流係数を含んで演算される際、直流係数は、直流TEMP領域25Bから直流選択部27により選択されて逆DCT部23に送られる。同時に、交流係数が逆量子化部22において演算されて逆DCT部23に送られる。逆DCT部23では、直流係数に加えて交流係数を含んで特徴を有する画像が復元される。
尚、逆量子化部22において量子化係数を、“1”を含む通常の量子化係数に比して小さな値とすることは、第1実施形態と同様な作用・効果を奏し、有効である。
第2実施形態では第1実施形態の場合と同様に、所定画素数の画像ブロックとして8×8画素を1ブロックとして、ブロックごとに、DCT変換による直交変換を施した後、ハフマン符号化を行い高能率符号化されて得られるシーケンシャル方式の符号データを使用して、復号部21、逆量子化部22、および逆DCT部23で復元処理を行うことができる。この場合、選択部26により選択された符号データに応じて演算された直流係数が選択部27により選択されると共に、交流選択部28において交流係数としてゼロ値が選択され、画像の特徴を示す直流符号データに対して、先行して画像復元処理が行われ画像表示される。これに遅れて、直流/交流選択部27/28において、各々、直流TEMP領域25Bに格納されている直流係数、および逆量子化部22から出力される交流係数が選択され、画像の特徴を示す直流符号データから交流符号データに至るデータに対して、画像復元処理が行われ画像表示される。これにより、広く普及している通常のシーケンシャル方式の符号データを使用しながら、プログレッシブ方式のデータ構造による画像表示効果と同様に、画像が順次精細に表示される効果を得ることができる。この場合、交流成分を含んだ符号データの復元処理において、処理対象とする交流成分を段階的に高周波数成分に拡大しながら順次復元処理を行うことにより、よりきめ細かい滑らかなプログレッシブ表示効果を得ることができる。
第2実施形態では、復元部21、逆量子部22、および逆DCT部23を、直流符号データの画像復元処理と交流符号データの画像復元処理とで共有することができ、各々処理で個別の回路構成を有する第1実施形態の場合に比して構成される回路規模を圧縮することができる。
尚、第1および第2実施形態では、先行して直流符号データに対して処理が行われるとし、交流符号データについては、直流復号部11Aまたは復号部21において識別されて交流TEMP領域15C、25Cに格納されるものとして説明した。交流TEMP領域15C、25Cに格納される交流符号データは、エントロピー符号化されたデータであり、DCT変換された画像データの特徴とも相俟って、圧縮されたデータである。記憶部15、25として記憶領域が限られている場合にも交流TEMP領域15C、25Cとして格納することが容易である。ここで、記憶部15、25に格納されている符号データが記憶部15、25における一時的な格納であり、画像復元後の消失が許されるならば、交流TEMP領域15C、25Cを、符号データ格納領域15A、25Aに重ねて設定しておき、符号データの直流復号部11A、復号部21での処理の後、交流符号データに対して必要に応じて切れ目処理を施した上で上書きすることができる。これにより、記憶部15、25の格納領域を小さくすることができる。
また、記憶部15、25における記憶領域が十分に確保されている場合には、交流TEMP領域15C,25Cとして十分な領域を確保して、直流符号データに対する画像処理と共に交流符号データの処理も行い、交流量子化値や交流係数を格納することもできる。これにより、交流成分の処理を途中の段階まで予め行っておくことが可能となり、交流成分まで含んだ画像データ復元処理を高速に行うことができる。
また、先行して行われる直流符号データに対する処理において演算される直流係数が、直流TEMP領域15B、15Cに格納されるものとして説明しているが、これ以外に、直流量子化値を格納しておき、交流成分の演算時において、交流逆量子化部12Bまたは逆量子化部22に対して、交流量子化値と共に供給するように構成することもできる。
また、直流成分の処理では、直流逆DCT部13Aまたは逆DCT部23に対して、ゼロ値の交流係数を供給しているが、直流逆量子化部12Aまたは逆量子化部22に対して、ゼロ値の交流量子化値を供給することも可能である。
また、途中段階での逆量子化係数を“1”として逆量子化演算をするとは、量子化値に“1”を乗算することである。途中段階での処理においては、直流/交流逆量子化部12A/12Bや、逆量子化部22での演算処理を行わず、演算された量子化値を、そのまま直流/交流逆DCT部13A/13Bや、逆DCT部23に供給する構成とすることができることを意味する。
図3は、第3実施形態として本発明をソフトウェアでデータ処理する際のフロー図を示している。
画像復元の処理が開始されると、要求される画像表示がプログレッシブ表示であるか否かが判断される(S1)。プログレッシブ表示が要求されておらず(S1:NO)通常のシーケンシャル表示を行う場合には、シーケンシャル符号格納部D1よりシーケンシャル符号データが読み出され、画像ブロックごとに、復号処理(S31)、逆量子化処理(S33)、逆DCT処理(S35)を行った上で、画像ブロックごとに、復元画像の表示が行われる(S37)。
プログレッシブ表示が要求されている場合には(S1:YES)、シーケンシャル符号格納部D1よりシーケンシャル符号データが読み出され、直流(DC)符号データに対する復号処理と共に、直流(DC)符号データと交流(AC)符号データとの分離が行われ、分離された交流(AC)符号データは交流(AC)符号データ格納部D2に格納される(S3)。交流(AC)符号データ格納部D2には、画面上の全ての画像ブロック(0−Z)の各々に対して、低周波数成分から高周波数成分までを63のブロックに分割して符号化されている交流(AC)符号データ(0−63)が格納される。復号化された直流(DC)符号データは、直流(DC)量子化値として処理S5に送られる。
処理S5では、直流(DC)量子化値に対して逆量子化処理が行われ、直流(DC)係数が演算される。直流(DC)係数は、直流(DC)係数格納部D3に格納される。直流(DC)係数格納部D3には、画面上の各画像ブロック(0−Z)ごとの直流(DC)件数が格納される。更に直流(DC)係数は処理S7に送られる。
処理S7では、画像ブロック(0−Z)ごとに、演算された直流(DC)係数に対して、全ての交流(AC)係数(0−63)にゼロ値を割り当てて、逆DCT処理が行われる。全ての交流(AC)係数にゼロ値を割り当てるので、処理S7の逆DCT処理での演算は簡素化され、高速処理が可能である。これにより、直流(DC)成分により表される復元画像が得られる。画像の詳細な違いは表現されないものの、画像ブロックごとの平均的な画像の特徴が大まかに表現されて表示されることとなる(S9)。処理S3乃至S9を、全ての画像ブロックに対して順次行うことにより、プログレッシブ表示における第1段階の表示が行われる。画面全体の大まかな画像の特徴が表現される。
次に、交流(AC)符号データを含んだ符号データに対して画像復元処理を行う。先ず、63段階の周波数成分に対するブロック1−63のうち、同時に画像復元処理を行う交流(AC)符号データのブロック範囲を設定する(S11)。処理S11では、nとして設定される。初期化処理を行い、最小値:i=1、最大値:j=nとした後(S13)、交流(AC)符号データ格納部D2に格納されている交流(AC)符号データの復号化処理を行い交流(AC)量子化値を出力する(S15)。
処理S17では、交流(AC)量子化値に対して逆量子化処理が行われ、交流(AC)係数が演算される。交流(AC)係数は、交流(AC)係数格納部D4に格納される。交流(AC)係数格納部D4には、画面上の画像ブロック(0−Z)ごとの交流(AC)係数が、ブロック1乃至jの範囲で格納される。
処理S19では、画像ブロック(0−Z)ごとに、処理S17で演算された交流(DC)係数に加えて、必要に応じて既に演算され交流(AC)係数格納部D4に格納されている交流(AC)係数(0−Z)(1−(i−1))を読み出し、また、未だ演算されていない交流(AC)係数(0−Z)((n+1)−63)に対してはゼロ値を割り当てて、逆DCT処理が行われる。このとき同時に、直流(DC)係数格納部D3に格納されている直流(DC)係数(0−Z)も合せ、逆DCT処理が行われる。これにより、直流(DC)成分から所定範囲までの交流(AC)成分により表される復元画像が得られる。表現される画像は、復元処理される交流(AC)成分の範囲までの特徴が復元された表示が可能となる。直流(DC)成分のみの画像表示(S9)に比してより精細な画像が表現される(S21)。
画像復号処理が行われる交流(AC)符号データの最大値:jが交流(AC)符号データの最大ブロックである63であるか否かが判断され(S23)、j=63に到達していれば(S23:YES)画像復元処理は終了する。j=63に到達していなければ(S23:NO)、最小値:i、最大値:jにnを加算して(S25)次の復元処理に移行する。nが加算された際の最大値:jが63を越える場合には(S27:YES)、最大著:jを63に設定し直して(S29)、処理15に戻って、再度、交流(AC)成分の範囲が拡大された上で画像復元処理を繰り返す。
処理S15乃至S19を、全ての画像ブロック(0−Z)に対して、交流(AC)成分の範囲を順次拡大しながら行うことにより、プログレッシブ表示において、精細さが順次増大する表示が行われる。画面全体の画像が順次精細に表現されるような表示が実現される。
ここで、図4および図5により、第1実施形態の直流復号部11Aおよび交流復号部11Bについての回路ブロック例を示す。
先ず、図4に示す直流復号部11Aについて説明する。直流復号部11Aでは、直流(DC)符号データの復号化処理の他、交流(AC)符号データを識別し、必要に応じてデータ間の境界におけるデータ処理を施した上で、交流(AC)TEMP領域15Cに格納する処理を含む。
ブロックカウンタ41は、DCT変換された画像データが、1つの直流(DC)符号データ(ブロック1)と、低周波数成分から高周波数成分に至る63段階の交流(AC)符号データ(ブロック1−63)とに分解されるところ、各段階のブロック値をカウントするカウンタである。0乃至63のカウント値BC(0:63)はアドレス発生部42に、カウント値BC(1:63)はアドレス発生部54、論理積ゲート51、および後述の条件(3)の場合には切目処理部53に、カウント値BC(63)は論理積ゲート52に、それぞれ入力される。
アドレス発生部42は、カウント値BC(0:63)ごとに、直流(DC)テーブル43または交流(AC)テーブル44にあるハフマン符号を指定するアドレスを発生する。一つの符号データが、複数あるハフマン符号の何れに一致するかを検出するために、一つのカウント値BC(0:63)に対して、順次アドレス値が変化する。
アドレス発生部42からの指定により順次選択されるハフマン符号に応じて、バッファ47に取り込まれる符号データごとに比較部45、46において一致比較が行われる。比較部45には直流(DC)テーブル43から選択されたハフマン符号が入力され、直流(DC)符合データとの比較が行われる。比較部46には交流(AC)テーブル44から選択されたハフマン符号が入力され、交流(AC)符合データとの比較が行われる。
比較部45により直流(DC)テーブルに格納されているハフマン符号との一致が検出されると、一致検出された符号データは直流(DC)符合データであると判断され、直流(DC)取込部48がイネーブル状態とされる。バッファ47にある比較対象の符号データが直流(DC)取込部48を介して組立部49に送られる。組立部49には、一致判定されたハフマン符号と対応する付加ビットが入力され、一致判定された直流(DC)符号データが復号される。
比較部46により交流(AC)テーブルに格納されているハフマン符号との一致が検出されると、判定結果は、論理積ゲート51および52に入力される。論理積ゲートの他方には、各々、カウント値BC(1:63)およびカウント値BC(63)が入力されるため、論理積ゲート51により各カウント値BC(1:63)に対して交流(AC)取込部50がイネーブル状態とされ、一致判定された符号データをカウント値BC(1:63)に対応する交流(AC)符号データであるとして、入力可能とされる。論理積ゲート52によりカウント値BC(63)に対してバッファ47は禁止状態とされ、符号データの入力が禁止される。一つの画像ブロックに対する直流(DC)復号部11Aへの入力が禁止される。
交流(AC)取込部50を介して入力された交流(AC)符号データは、三種類の方法により、記憶部15の交流(AC)TEMP領域15Cに格納される。
第1の方法(1)は、交流(AC)取込部50を介して入力された交流(AC)符号データを、そのまま、交流(AC)TEMP領域15Cに格納する場合である。バッファ47から交流(AC)取込部50を介して入力された交流(AC)符号データは、カウント値BC(1:63)に応じてアドレス発生されるアドレス発生部54により指定されるアドレスを有する格納領域に格納される。
第2の方法(2)は、切目処理部53において、連続して入力される交流(AC)符号データの境界をデータ処理して格納する場合である。直流(DC)符号データに続く交流(AC)符号データとの境界を、検出可能にデータ処理する場合である。
一つの画像ブロックを表現する一連の符号データ(ブロック0−63)のうち、先頭に位置するブロック0の符号データは、直流(DC)符号データである。既に先行して判別され、直流(DC)取込部48を介して組立部49において復号化されている。交流(AC)取込部50を介して入力される符号データはブロック1−63の交流(AC)符号データのみであるところ、先頭の交流(AC)符号データの前に、本来の直流(DC)符号データに代えて、直流(DC)符号データを表す符号データのうち最短長のビット列を有するハフマン符号に応じた符号データを擬似的に付加する。擬似的に付加される符号データは所定のビット列に固定することができるため、切目処理部53において交流(AC)符号データの先頭に自動的に付加する構成とすることができる。
第3の方法(3)は、切目処理部53において、63段階の交流(AC)符号データ(ブロック1−63)を、ブロック1の最低周波数成分の交流(AC)符号データから、所定ブロック数ごとに複数のグループに分割する処理を行う場合である。交流(AC)符号データを含めた画像復元処理を行う際、復元処理を行う交流(AC)符号データの範囲を、高周波数成分に向けて順次拡大することにより、より滑らかなプログレッシブ表示を実現するものである。カウント値BC(1:63)に応じて切目処理部53において行われる。グループ分割された交流(AC)符号データは、カウント値BC(1:63)に応じて、アドレス発生部54においてグループごとに発生されるアドレスにより格納される。グループ分割をする際のグループ分けの一例を図6に示し、グループ境界のデータ処理の一例を図7に示す。図6、図7については後述する。
尚、図4の回路ブロック図には示されていないが、比較部45/46による、直流(DC)/交流(AC)43/44テーブルとの一致比較に基づき、符号データ格納領域15Aに格納されている符号データの先頭アドレスと、符号データ内で交流(AC)符号データが始まるビット位置を把握してやれば、交流(AC)取込部50、切目処理部53、アドレス発生部54等を備えて識別された交流(AC)符号データを交流(AC)TEMP領域15Cに格納する処理をする必要はない。符号データ格納領域15Aから必要に応じて読み出すことができる。
アドレス発生部54は、識別され、必要に応じて切れ目処理を施された交流(AC)符号データを格納すべきアドレスを発生する。ブロックカウンタからのカウント値BC(1:63)ごとに、交流(AC)TEMP領域15Cに順次格納されるように、アドレスが順次発生される。
図5に交流復号部11Bの回路ブロックを示す。交流復号部11Bは、交流(AC)符号データの復号化処理を行うことが目的である。図4に示した直流復号部11Aとは異なり、直流(DC)テーブル43、比較部45、交流(AC)取込部50、切目処理部53、およびアドレス発生部54が不要である。
直流復号部11Aにおける直流(DC)取込部48に代えて取込部48が備えられ、比較部45からの出力信号に代えて論理積ゲート51からの出力信号に応じてイネーブル状態とされる。カウント値BC(1:63)ごとに一致判定された交流(AC)符号データが、取込部48を介して組立部49に入力される。また、論理積ゲート52において、カウント値BC(63)に代えてカウント値BC(X)が入力される。ここで、カウント値BC(X)とは、グループ処理される一連の交流(AC)符号データのうち終端の交流(AC)符号データのブロック値を示す値である。グループの終端を示すブロック値に応じてバッファ47が入力禁止状態とされる。交流(AC)符号データのグループごとに復号化処理を行うことができる。
図6は、8×8画素の画像データに対してDCT変換処理を行うことにより得られる符号データの並びを、いわゆるジグザグスキャン方式により並べたテーブルである。左上端のブロック0が直流(DC)符号データに該当する。その右隣のブロック1から右下端のブロック63が交流(AC)符号データに対応する。ブロック1から順次ジグザグにスキャンしてブロック9までがグループ1に、ブロック10からブロック27までがグループ2に、ブロック28からブロック63までがグループ3に対応する。
この場合の切れ目処理はグループの境界において行われる。例えば、ゼロランレングス(ZRL)等、ゼロ値がグループをまたいで連続して存在する場合には、先のグループの終端をEOB符号に置き換える処理を行う。後続のグループの先頭は残余のゼロ値の連続数に合せて符号設定が行われる。
以上の説明から明らかなように本実施形態によれば、8×8画素等の所定画素数の画像ブロックごとに、DCT変換等の直交変換した上でハフマン符号化等により符号化された、シーケンシャル方式の符号データを、直流符号データについて先行して画像復元処理することにより、画像データのうち平均的な特徴を表わす画像データを先行して復元することができる。その後、直流符号データに交流符号データを加えて復元処理を行い、個々の色や、輝度、色差の違いを含んだ精細な画像データを復元する。精細な画像データを再生するに先立ち平均的な画像データを先行して復元することができ、プログレッシブ表示と同様な画像表示効果を得ることができる。
画像の標準的な符号形式として広く使用されているシーケンシャル方式で符号化された画像ブロックごとの符号データを用いながら、画像再生に当たっては、プログレッシブ方式の符号データによる画像再生と同様な表示効果を得ることができる。不十分ではあるが全体像を把握できる画像から、精細な画質までの画像情報を順次表示することができる。
一般的に使用されているシーケンシャル方式の符号データを使用しながら、平均的な画像特徴が先行して再生され画像の特徴を早期に把握することが可能となる。
本発明の直流(DC)符号データに対する画像復元処理は、プログレッシブ表示における第1段階の表示に使用できるほか、画像内容の概要を検索する際に表示させることにより、検索画像の表示を高速に行う効果を奏することもできる。例えば、デジタルスチルカメラ等のインデックス表示機能において、使用することができる。
上記の効果のほか、下記に示す諸効果も得ることができる。すなわち、交流(AC)符号データのうち所定の周波数成分ごとに段階的に復号化してやれば、復元画像が順次、高周波数成分を含んだ画像となり、より滑らかなプログレッシブ表示が可能となる。また、逆量子化の処理の際、乗算すべき量子化係数を“1”に減ずることにより、逆量子化演算を行う必要がなくなる。回路規模の簡略化を図ることができ、また演算処理の高速化に伴い、より滑らかなプログレッシブ表示効果を得ることができる。また、第2実施形態において、復元部21、逆量子部22、および逆DCT部23を、直流符号データの画像復元処理と交流符号データの画像復元処理とで共有することにより、回路規模を圧縮することができる。また、逆DCT処理が行われる際、復元処理対象外の交流(AC)係数に対してはゼロ値が割り当てられるので、逆DCT処理での演算は簡素化され、高速処理が可能となる。
尚、本発明は前記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良、変形が可能であることは言うまでもない。
例えば、実施形態においては、プログレッシブ表示効果の第1段階として直流(DC)符号データのみを対象として画像復元処理を行う場合を説明したが、本発明はこれに限定されるものではない。プログレッシブ表示効果を得るための第1段階として、直流(DC)符号データに加えて低周波数成分の交流(AC)符号データを含めて、画像復元処理を行う構成とすることもできる。
第1実施形態の回路ブロック図である。 第2実施形態の回路ブロック図である。 第3実施形態のフロー図である。 直流復号部の回路ブロック図である。 交流復号部の回路ブロック図である。 交流符号データを多段階に分割する際のグループ分けを示す概念図である。
符号の説明
11A 直流復号部
11B 交流復号部
12A 直流逆量子化部
12B 交流逆量子化部
13A 直流逆DCT部
13B 交流逆DCT部
15 記憶部
15A 符号データ格納領域
15B 直流TEMP領域
15C 交流TEMP領域
15D 復元画像格納領域
21 復号部
22 逆量子化部
23 逆DCT部
25 記憶部
25A 符号データ格納領域
25B 直流TEMP領域
25C 交流TEMP領域
26 選択部
27 直流選択部
28 交流選択部
41 ブロックカウンタ
42、54 アドレス発生部
43 直流(DC)テーブル
44 交流(AC)テーブル
45、46 比較部
47 バッファ
48 (直流(DC))取込部
49 組立部
50 交流(AC)取込部
53 切目処理部

Claims (29)

  1. 所定画素数の画像ブロックごとに直交変換に応じて符号化された符号データを、画像データに復元処理する画像復元装置であって、
    前記符号データが格納される記憶部と、
    前記記憶部に格納されている前記符号データを復元処理する復元処理部とを備え、
    前記復元処理部は、全ての前記画像ブロックに対して、前記符号データのうち直流符号データを先行して前記画像データに復元処理する先行処理を行うことを特徴とする画像復元装置。
  2. 前記復元処理に応じて、前記画像ブロックを構成する符号データをカウントするブロックカウンタを備え、
    前記復元処理部は、前記ブロックカウンタにより全ての前記画像ブロックに対する前記先行処理が完了したことを受けて、前記直流符号データから交流符号データに至る範囲の前記符号データに対して、復元処理を行うことを特徴とする請求項1に記載の画像復元装置。
  3. 前記復元処理の対象とされる前記交流符号データの範囲は、全ての前記画像ブロックに対する前記復元処理ごとに、高周波数成分の交流符号データに向かって段階的に広げられることを特徴とする請求項2に記載の画像復元装置。
  4. 前記復元処理部は、
    前記直流符号データを復元処理する直流復元処理部と、
    前記符号データのうち交流符号データを復元処理する交流復元処理部とを備えることを特徴とする請求項1に記載の画像復元装置。
  5. 前記復元処理に応じて、前記画像ブロックを構成する符号データをカウントするブロックカウンタを備え、
    前記交流復元処理部において処理対象とされる前記交流符号データの範囲は、全ての前記画像ブロックに対する前記復元処理ごとに、高周波数成分の交流符号データに向かって段階的に広げられることを特徴とする請求項4に記載の画像復元装置。
  6. 前記直流復元処理部は、前記符号データが入力されて、前記交流符号データを識別する識別部と、
    識別された前記交流符号データを前記記憶部に格納するに先立ち、前記交流符号データの境界に対してデータ処理を行う切目処理部とを備え、
    前記交流復元処理部は、前記記憶部に格納された前記交流符号データが入力されることを特徴とする請求項4に記載の画像復元装置。
  7. 前記直流復元処理部は、前記交流符号データをゼロ値とした上で、前記復元処理を行うことを特徴とする請求項4に記載の画像復元装置。
  8. 前記記憶部には、前記直流符号データを格納しておき、
    前記交流復元処理部は、前記交流符号データに前記記憶部に格納されている前記直流符号データを合せて、前記復元処理を行うことを特徴とする請求項4に記載の画像復元装置。
  9. 前記記憶部には、前記直流符号データまたは/および前記交流復元処理部において既に処理対象とされた前記交流符号データを格納しておき、
    前記交流復元処理部は、処理対象の前記交流符号データに、前記記憶部に格納されている、前記直流符号データまたは/および前記交流符号データを合せて、前記復元処理を行うことを特徴とする請求項5に記載の画像復元装置。
  10. 前記直流/交流符号データは、直流/交流エントロピー符号化データであり、
    前記直流復元処理部および前記交流復元処理部は、
    前記直流/交流エントロピー符号化データを復号する復号部と、
    前記復号部により復号化されたデータを逆量子化する逆量子化部と、
    前記逆量子化部により逆量子化されたデータを逆変換する逆直交変換部とを、各々備え、
    前記逆直交変換部により、前記画像データが復元されることを特徴とする請求項4に記載の画像復元装置。
  11. 前記直流符号データに対する復元処理が行われる際、前記逆量子化部における量子化係数は、“1”とされることを特徴とする請求項10に記載の画像復元装置。
  12. 前記復元処理に応じて、前記画像ブロックを構成する符号データをカウントするブロックカウンタを備え、
    処理対象とされる前記交流符号データの範囲が、全ての前記画像ブロックに対する前記復元処理ごとに、高周波数成分の交流符号データに向かって段階的に広げられる場合、
    範囲外の交流符号データについては、前記逆量子化部における量子化係数は、“1”とされることを特徴とする請求項10に記載の画像復元装置。
  13. 前記復元処理部は、
    前記符号データに対して直交変換データを復元する前段復元処理部と、
    前記直交変換データを逆変換する逆直交変換部とを備え、
    また、前記符号データ、または前記符号データのうち交流符号データの何れかを選択する第1選択部を備えることを特徴とする請求項1に記載の画像復元装置。
  14. 前記復元処理に応じて前記画像ブロックをカウントするブロックカウンタを備え、
    処理対象とされる前記交流符号データの範囲は、全ての前記画像ブロックに対する前記復元処理ごとに、高周波数成分の交流符号データに向かって段階的に広げられることを特徴とする請求項13に記載の画像復元装置。
  15. 前記前段復元処理部は、前記第1選択部により前記符号データが選択されて入力される際、前記交流符号データを識別する識別部と、
    識別された前記交流符号データを前記記憶部に格納するに先立ち、前記交流符号データの境界に対してデータ処理を行う切目処理部とを備え、
    前記前段復元処理部は更に、前記第1選択部により前記記憶部に格納された前記交流符号データが選択されて入力されることを特徴とする請求項13に記載の画像復元装置。
  16. 前記逆直交変換部は、
    前記第1選択部により前記符号データのうち直流符号データが選択されることに応じて、前記直交変換データのうち交流直交変換データをゼロ値とした上で、復元処理を行うことを特徴とする請求項13に記載の画像復元装置。
  17. 前記記憶部には、前記直交変換データのうち前記先行処理により得られる直流直交変換データを格納しておき、
    前記逆直交変換部は、前記第1選択部により前記符号データのうち交流符号データが選択されることに応じて、前記記憶部に格納されている前記直流直交変換データを合せて、復元処理を行うことを特徴とする請求項13に記載の画像復元装置。
  18. 前記記憶部には、前記直交変換データのうち既に復元された、直流直交変換データまたは/および交流直交変換データを格納しておき、
    前記逆直交変換部は、前記第1選択部により処理対象として新たな前記交流符号データが選択されることに応じて、前記記憶部に格納されている、前記直流直交変換データまたは/および前記交流直交変換データを合せて、復元処理を行うことを特徴とする請求項14に記載の画像復元装置。
  19. 前記符号データは、エントロピー符号化データであり、
    前記前段復元処理部は、
    前記エントロピー符号化データを復号する復号部と、
    前記復号部により復号化されたデータを逆量子化する逆量子化部とを備え、
    前記逆量子化部により、前記直交変換データが復元されることを特徴とする請求項13に記載の画像復元装置。
  20. 前記符号データのうち直流符号データを復元する際、前記逆量子化部における量子化係数は、“1”とされることを特徴とする請求項19に記載の画像復元装置。
  21. 前記復元処理に応じて、前記画像ブロックを構成する符号データをカウントするブロックカウンタを備え、
    処理対象とされる前記交流符号データの範囲が、全ての前記画像ブロックに対する前記復元処理ごとに、高周波数成分の交流符号データに向かって段階的に広げられる場合、
    範囲外の交流符号データについては、前記逆量子化部における量子化係数は、“1”とされることを特徴とする請求項19に記載の画像復元装置。
  22. 所定画素数の画像ブロックごとに直交変換に応じて符号化された符号データを、画像データに復元処理する画像復元方法であって、
    復元すべき前記符号データを予め記憶しておき、
    全ての前記画像ブロックに対して、記憶されている前記符号データのうち交流符号データに先行して、直流符号データを前記画像データに復元処理することを特徴とする画像復元方法。
  23. 画像を構成する全ての前記画像ブロックに対して、前記直流符号データを先行して復元処理した後、
    前記直流符号データから前記交流符号データに至る範囲の前記符号データに対して、復元処理を行うことを特徴とする請求項22に記載の画像復元方法。
  24. 先行して行われる前記直流符号データに対する復元処理に応じて、前記交流符号データを識別し、
    識別された前記交流符号データを記憶することに先立ち、前記交流符号データの境界に対してデータ処理を行い、
    画像を構成する全ての前記画像ブロックに対して前記直流符号データを先行して復元処理した後、記憶された前記交流符号データに対して、復元処理を行うことを特徴とする請求項22に記載の画像復元方法。
  25. 前記直流符号データに対して復元処理を行うに当たり、前記交流符号データをゼロ値とすることを特徴とする請求項22に記載の画像復元方法。
  26. 前記直流符号データまたは/および既に復元処理された前記交流符号データを記憶しておき、
    処理対象の前記交流符号データに対して復元処理を行うに当たり、前記直流符号データまたは/および前記交流符号データを合せて、前記復元処理を行うことを特徴とする請求項22に記載の画像復元方法。
  27. 前記復元処理の対象とされる前記交流符号データの範囲は、全ての前記画像ブロックに対する処理ごとに、高周波数成分の交流符号データに向かって段階的に広げられることを特徴とする請求項23に記載の画像復元方法。
  28. 前記復号処理には逆量子化処理を含み、
    範囲外の交流符号データについては、前記逆量子化処理における量子化係数は、“1”とされることを特徴とする請求項23に記載の画像復元方法。
  29. 所定画素数の画像ブロックごとに直交変換に応じて符号化された符号データを、画像データに復元処理する画像復元プログラムであって、
    復元すべき前記符号データを予め記憶しておくステップと、
    全ての前記画像ブロックに対して、記憶されている前記符号データのうち交流符号データに先行して、直流符号データを前記画像データに復元処理するステップとを有することを特徴とする画像復元プログラム。
JP2006531198A 2004-08-30 2004-08-30 画像復元装置、画像復元方法、および画像復元プログラム Pending JPWO2006025090A1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2004/012488 WO2006025090A1 (ja) 2004-08-30 2004-08-30 画像復元装置、画像復元方法、および画像復元プログラム

Publications (1)

Publication Number Publication Date
JPWO2006025090A1 true JPWO2006025090A1 (ja) 2008-05-08

Family

ID=35999754

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006531198A Pending JPWO2006025090A1 (ja) 2004-08-30 2004-08-30 画像復元装置、画像復元方法、および画像復元プログラム

Country Status (4)

Country Link
US (1) US20070154102A1 (ja)
EP (1) EP1788796A4 (ja)
JP (1) JPWO2006025090A1 (ja)
WO (1) WO2006025090A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5614122B2 (ja) * 2010-06-21 2014-10-29 富士ゼロックス株式会社 画像データ復号装置
US10186052B1 (en) * 2018-01-19 2019-01-22 Google Llc Two-pass decoding of images

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02198274A (ja) * 1988-10-14 1990-08-06 Fuji Photo Film Co Ltd 画像データ圧縮記録装置
JPH06233276A (ja) * 1993-01-29 1994-08-19 Hitachi Ltd 画像符号化装置
WO1994022108A1 (en) * 1993-03-23 1994-09-29 Zoran Corporation Rapid thumbnail image reconstruction of dct compressed image data
EP0665512B1 (en) * 1994-02-01 2000-05-10 Canon Kabushiki Kaisha An image processing method and apparatus
JPH1051646A (ja) * 1996-08-06 1998-02-20 Fuji Xerox Co Ltd 画像通信方式
US6175592B1 (en) * 1997-03-12 2001-01-16 Matsushita Electric Industrial Co., Ltd. Frequency domain filtering for down conversion of a DCT encoded picture
US6259820B1 (en) * 1997-10-06 2001-07-10 Nec Research Institute, Inc. Progressive JPEG decoding
JP2000059612A (ja) * 1998-08-04 2000-02-25 Canon Inc 画像処理装置及びその方法
JP3754903B2 (ja) * 2001-07-12 2006-03-15 キヤノン株式会社 画像処理装置及びその制御方法及びコンピュータプログラム及び記憶媒体
JP4143535B2 (ja) * 2003-01-06 2008-09-03 松下電器産業株式会社 画像データ処理装置、画像データ処理方法、画像データ配信装置および画像データ伝送システム
US7519229B2 (en) * 2004-03-30 2009-04-14 Apple, Inc. Video coding system providing separate coding chains for dynamically selected small-size or full-size playback

Also Published As

Publication number Publication date
EP1788796A4 (en) 2010-03-24
EP1788796A1 (en) 2007-05-23
US20070154102A1 (en) 2007-07-05
WO2006025090A1 (ja) 2006-03-09

Similar Documents

Publication Publication Date Title
US7106911B2 (en) Image processing apparatus and control method for inputting image data and encoding the data
JP4979655B2 (ja) 画像符号化装置及びその制御方法
US11445160B2 (en) Image processing device and method for operating image processing device
JP5614122B2 (ja) 画像データ復号装置
US20080043851A1 (en) Post-Inverse-Quantization AC Prediction with a Unified Variable-Length-Decoding and Inverse-Quantization Stage
JPWO2006025090A1 (ja) 画像復元装置、画像復元方法、および画像復元プログラム
US7003165B2 (en) Image processor and image processing method for decompressing progressive-coded compressed image data
JP2001145106A (ja) 画像圧縮装置及び方法
JP4241517B2 (ja) 画像符号化装置及び画像復号装置
JP2009239852A (ja) 画像処理装置及び画像処理方法
WO2007104522A1 (en) Method and apparatus for linewise image compression
JPH05316359A (ja) 画像データ符号化装置
JP2004104380A (ja) 画像伸長装置
JPH08251419A (ja) 画像処理装置及びその方法
JP2000138933A (ja) 画像符号化装置
JP2856268B2 (ja) 画像データ復元装置
JP2009111821A (ja) 画像符号化装置、画像復号化装置、画像データ処理装置、画像符号化方法、及び、画像復号化方法
JP2006295683A (ja) 画像符号化方法及び画像符号化装置
JPH04292077A (ja) 画像デ−タ出力制御方法
JP2002218251A (ja) 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
JP2002209110A (ja) 画像符号化装置
JPH06113142A (ja) 画像処理方法及び装置
JP2010141775A (ja) 表示装置駆動回路及び表示装置
JPH0836635A (ja) 画像処理装置及び方法
JPH05130580A (ja) 可変長符号復号装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090512

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091006