JP3012698B2 - 画像データの符号化装置および符号化方法 - Google Patents

画像データの符号化装置および符号化方法

Info

Publication number
JP3012698B2
JP3012698B2 JP3026702A JP2670291A JP3012698B2 JP 3012698 B2 JP3012698 B2 JP 3012698B2 JP 3026702 A JP3026702 A JP 3026702A JP 2670291 A JP2670291 A JP 2670291A JP 3012698 B2 JP3012698 B2 JP 3012698B2
Authority
JP
Japan
Prior art keywords
code amount
component
block
quantization width
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP3026702A
Other languages
English (en)
Other versions
JPH053550A (ja
Inventor
千尋 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optic Co Ltd filed Critical Olympus Optic Co Ltd
Priority to JP3026702A priority Critical patent/JP3012698B2/ja
Priority to US07/824,366 priority patent/US5335016A/en
Publication of JPH053550A publication Critical patent/JPH053550A/ja
Application granted granted Critical
Publication of JP3012698B2 publication Critical patent/JP3012698B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162User input
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は画像データを所定の容量
に高圧縮符号化するための符号化装置および符号化方法
に関する。
【0002】
【従来の技術】画像信号をメモリカード、磁気ディスク
あるいは磁気テープ等の記憶媒体にディジタルデータと
して記憶する場合、そのデータ量は膨大なものとなるた
め、多くのフレーム画像を限られた記憶容量の範囲で記
録しようとする場合には、得られた画像信号のデータに
対し、何等かの高能率な圧縮を行うことが必要となる。
【0003】更に、ディジタル電子スチルカメラ等にお
いては、撮影した画像を銀塩フィルムの代わりに、メモ
リカード、磁気ディスクあるいは磁気テープ等の記憶媒
体にディジタルデータとして保存するので、1枚のメモ
リカード、磁気ディスクあるいは1巻の磁気テープ等の
記憶媒体に記録できる画像の枚数が規定され、この規定
枚数分の画像の記録が保証されなければならず、しか
も、データの記録再生処理に要する時間が短く、且つ、
一定である必要がある。
【0004】同様に、ディジタルVTR(ビデオテープ
レコーダ)、ディジタル動画ファイル等において動画像
を記録する場合もフレーム当たりの画像のデータ量に影
響されることなく、所定量のフレームを記録できなけれ
ばならない。すなわち、静止画像であっても、動画像で
あっても、必要なコマ数分を確実に記録できる必要があ
ると共に、データの記録再生処理に要する時間が短く、
且つ、一定である必要がある。
【0005】かかる高能率な画像データの圧縮方式とし
て、直交変換符号化と可変長符号化を組み合わせた符号
化方法が広く知られている。そして、その代表的なもの
として、静止画符号化国際標準化において検討されてい
る方式がある。
【0006】この方式について次に概略を説明する。ま
ず、画像データを所定の大きさのブロックに分割し、分
割されたブロック毎に直交変換として2次元のDCT
(離散コサイン変換)を行う。次に各周波数成分に応じ
た線形量子化を行い、この量子化された値に対して可変
長符号化としてハフマン符号化を行う。このとき、直流
成分に関しては近傍ブロックの直流成分との差分値をハ
フマン符号化する。交流成分はジグザグスキャンと呼ば
れる低い周波数成分から高い周波数成分へのスキャンを
行い無効(値が0)の成分の連続する個数と、それに
続く有効な成分の値とから2次元のハフマン符号化を行
う。
【0007】以上の動作を図9を参照して具体的に説明
すると、まず(a) に示すように、1フレームの画像デー
タ(国際標準化案で例示されている1フレームの画像は
720×576 画素)を所定の大きさのブロック(例えば、
8×8の画素よりなるブロックA,B,C…)に分割
し、(b) に示すように、この分割されたブロック毎に直
交変換として2次元のDCT(離散コサイン変換)を行
い、8×8マトリックス上に順次格納する。画像データ
は2次元平面で眺めてみると、濃淡情報の分布に基づく
周波数情報である空間周波数を有している。
【0008】従って、上記DCTを行うことにより、画
像データは直流成分(DC)と交流成分(AC)に変換
され、8×8のマトリックス上には原点位置(座標0,0
位置)に直流成分DCの値を示すデータが、そして、
(0,7) 位置には横軸方向の交流成分ACの最大周波数値
を示すデータが、そして、(7,0) 位置には縦軸方向の交
流成分ACの最大周波数値を示すデータが、更に、(7,
7) 位置には斜め方向の交流成分ACの最大周波数値を
示すデータが、それぞれ格納され、中間位置ではそれぞ
れの座標位置により関係付けられる方向における周波数
データが、原点側より順次高い周波数のものが出現する
かたちで格納されることになる。
【0009】次にこのマトリックスにおける各座標位置
の格納データを、各周波数成分毎の量子化幅により割る
ことにより、各周波数成分に応じた線形量子化を行い
(c) 、この量子化された値に対して可変長符号化として
ハフマン符号化を行う。
【0010】このとき、直流成分DCに関しては近傍ブ
ロックの直流成分との差分値をグループ番号(付加ビッ
ト数)と付加ビットで表現し、そのグループ番号をハフ
マン符号化し、得られた符号語と付加ビットを合わせて
符号化データとする(d1 ,d2,e1,e2) 。
【0011】交流成分に関しても有効な(すなわち、値
が0でない)係数は、グループ番号と付加ビットで表現
する。そのため、交流成分ACは図8に示すような順序
でのスキャンであるジグザグスキャンと呼ばれる低い周
波数成分から高い周波数成分へのスキャンを行い、無効
(値が0)の成分が連続する個数(零のラン数)とそれ
に続く有効な成分の値のグループ番号とから2次元のハ
フマン符号化を行い、得られた符号語と付加ビットを合
わせて符号化データとする。
【0012】ハフマン符号化はフレーム画像当たりの上
記直流成分DCおよび交流成分ACの各々のデータ分布
における発生頻度の最も高いものを中心として、この中
心に近いもの程、データビットを少なくし、周辺になる
ほどビット数を多くするようにしてビットの割り当てを
したかたちでデータを符号化して符号語を得ることで行
う。
【0013】以上がこの方式の基本部分である。この基
本部分だけでは、可変長符号化であるハフマン符号化を
用いているために符号が画像毎に一定ではなくなってし
まうから、符号量の制御の方法として例えば、次のよう
に処理する。
【0014】まず、暫定的な量子化係数αを用いて、定
められた量子化マトリックスと量子化係数αを掛け合わ
せて得られる各周波数成分毎の量子化幅で前記基本部分
の処理を行うと同時に、全画面の発生した総符号量(総
ビット数)を求める(g)。この総符号量と、目的とす
る符号量と、用いた暫定的な量子化係数αなどからDC
T係数に対する目的とする符号量に近付けるのに最適な
量子化係数を予測する(h)。次に、この量子化係数α
を用いて(i)、前述の基本部分の量子化以降の処理を
繰り返す。そして、今回発生した総符号量と、前回発生
した総符号量と、目的とする符号量と、今回用いた量子
化係数αと、前回用いた量子化係数αとから、再び目的
の符号量に近付けるのに最適な量子化係数αをニュート
ン・ラプソン イタレーション(Newton Raphson Iterat
ion)により予測する。
【0015】そして、この予測した量子化係数αと前回
の量子化係数αが充分に近づき、かつ目的符号量よりも
今回発生した総符号量の方が少ない場合には処理を終了
し、今回発生した符号化データを出力してメモリカード
に記憶する(f)。そうでない場合には量子化係数αを
変更し、この新しい量子化係数αを用いて処理を繰り返
す。
【0016】しかし、上述の符号量の制御の方法では符
号化の基本部分のパスを何度繰り返すかが画像によって
異なるために処理時間が不安となるばかりでなく、一般
的に処理時間を長く必要とする欠点があるので、これを
改善し、且つ、画像毎に符号量が一定値以内に収まるよ
うにする符号量制御方法として本発明者等は次のような
方式を特開平3-205963号(特願平2-137222号)において
提案した。
【0017】すなわち、特開平3-205963号において提案
した方式は、直交変換と可変長符号化を組み合わせた圧
縮方式において、発生符号量の制御を行うために、メモ
リに記憶した画像信号を、ブロックに分割し、この分割
されたブロック毎に直交変換を行ってから、この変換出
力を暫定的な量子化幅αで量子化した後、この量子化出
力を可変長符号化すると共に、各ブロック毎の発生符号
量と画像全体の総発生符号量を算出し、次に前記暫定的
な量子化幅α、前記総発生符号量および規定の収めるべ
き符号量である目的符号量とから、総発生符号量が該目
的符号量に近付けるに最適と考えられる新しい量子化幅
α´を予測する(以下、これを第1パスと呼ぶ)。
【0018】そして、この予測した新しい量子化幅α´
を用いて量子化すべく、再び画像メモリの画像信号をブ
ロック分割、直交変換を行い、直交変換により得られた
DCT係数に対して上記α´を用いて量子化し、この量
子化された周波数成分別の値に対して低周波成分から順
次可変長符号化を行うと共に、第1パスでの各ブロック
毎の発生符号量と、目的符号量とから、各ブロック毎の
割り当て符号量を計算し、可変長符号化における各ブロ
ック毎の発生符号量が各ブロックの割り当て符号量を超
える場合には、そのブロックでの可変長符号化は打ち切
り、次のブロックの処理に移ると云ったことを繰り返す
(以下、これを第2パスと呼ぶ)。これにより、画像全
体の総発生符号量が目的の設定符号量を超えないように
符号量の制御を行おうと云うものである。ここで可変長
符号化における各ブロック毎の発生符号量がその各ブロ
ックでの割り当て符号量を超える場合に、そのブロック
での可変長符号化を打ち切るようにしているが、これは
結果的に打ち切られるのが周波数の高い成分となるもの
で、人間の視覚は低周波数成分に対しては敏感である
が、高い周波数に対しては鈍感となる性質を利用して視
覚的に感じる画質の低下を抑えつつ、符号量を抑えるこ
とができるためである。
【0019】
【発明が解決しようとする課題】前述したように、ディ
ジタル電子スチルカメラや他のアプリケショーンなどに
おいては、高能率で画像データの圧縮が行えることが望
まれる。このような要求を満たす圧縮方式として上述の
国際標準案方式があり、この方式において、例示したよ
うなブロック毎の直交変換と可変長符号化を組み合わせ
た手法では、画像データの圧縮を高能率で行えるもの
の、可変長符号化を用いているが故に、符号量が一定に
ならず、一枚のメモリカードあるいは磁気ディスクある
いは1本の磁気テープなどの記録媒体に記憶できる画像
の枚数が不定になると云う欠点があった。
【0020】画像データの記録においては1枚のメモリ
カードあるいは磁気ディスク装置あるいは1本の磁気テ
ープなどの記録媒体に記憶できる画像の枚数が保証され
ていなければならない。また、カメラ等の場合、駆動源
はバッテリとなること、従って、消費電力の点から、そ
して、連写等における操作性を考えてもデータ圧縮の処
理時間はできるだけ短い必要がある。
【0021】そして、上記欠点の改善と上記要求を満た
す方式として上述したような内容の特開平3-205963号の
方式を提案した。この特開平3-205963号において提案し
た方式は符号量を一定にすることができる点、および第
1パスと第2パスを一回ずつ行うことで最適圧縮するこ
とができるので処理時間が短くて済むと云う利点があ
り、大変良好な結果が得られる。
【0022】しかし、極めて特殊な像の場合、ごく希に
は実際の符号量が目的符号量を超えてしまうことがあ
る。これは第1パスでの各ブロック毎の発生符号量と、
総発生符号量(画像全体の符号量)と目的符号量(1枚
当たりの画像の納めるべき符号量で、記録媒体に規定枚
数を記録できるようにするため、超えてはならない1枚
当たりの上限符号量;以下、目的符号量と呼ぶ)とから
各ブロック毎の割り当て符号量を計算して割り当て、予
測した量子化幅で量子化してこれを可変長符号化したと
きに、ブロックの割り当て符号量が、第2パスにおいて
そのブロックで実際に発生した直流成分に対する符号量
よりも少なかった場合もあり、この場合には、たとえ割
り当て符号量を超えても、直流成分に対する符号だけは
可変長符号化する必要があるためである。圧縮率を高く
した場合、特殊な画像データに対しては直流成分の符号
量が画像の最後のブロックにおいて割当量を上回ること
がある。そのため、第2パスにおいて実際に発生する総
符号量が目的符号量を超過してしまう可能性がある。特
に直流成分を符号化しないと、圧縮された画像データを
復号することが不可能となるので、直流成分における符
号化の打ち切りが発生した場合は符号化失敗となる。こ
れは最後のブロックにおける直流成分の符号化におい
て、たとえ残存容量を1ビットオーバーしただけでも同
じである。
【0023】しかも、ディジタル電子スチルカメラでは
連写モードなどもあり、ディジタルVTR等においては
短い時間で次々に新しい画像が入力されるので、符号化
に当たっては符号化失敗を起こさずに、短時間で符号化
を完了する技術の開発が嘱望される。
【0024】そこで、この発明の目的とするところは、
いかなる画像であっても一定の符号量内に収まるように
しかも短時間で符号化できるようにした画像データの符
号化装置および符号化方法を提供することにある。
【0025】
【課題を解決するための手段】上記目的を達成するた
め、本発明は次のように構成する。すなわち、第1には
画像データを所定サイズのブロックに分割し、この各ブ
ロック分けされた画像データに対して直交変換を行い、
周波数成分別の直交変換係数化すると共に、この直交変
換係数を量子化手段により量子化し、この量子化により
得られた値を可変長符号化手段により可変長符号化して
圧縮するようにした画像データの符号化装置において、
可変長符号化手段の出力を受け、符号量を算出して算出
符号量情報として出力する符号量算出手段と、画像当り
の収めるべき目的の符号量の情報を与えると共に初めに
統計処理指令を発令し、統計処理が終わると符号化処理
指令を発令するよう制御する制御手段と、前記統計処理
指令による実行時には前記制御手段からの目的符号量の
情報に基づき、該目的符号量の枠に対応した所定の量子
化幅の情報を前記量子化手段に与え、前記符号化処理指
令による実行時には前記所定の量子化幅の情報を直流成
分用の最適量子化幅として定め、交流成分に対しては直
流成分を当該最適量子化幅で量子化し、符号化した場合
の符号量を前記目的符号量から差し引いた残りの符号量
に対応して予測した最適量子化幅を交流成分用の最適量
子化幅と定め、前記量子化手段に与える量子化幅設定手
段と、前記統計処理において得られる算出符号量情報と
前記目的符号量とを得て各ブロック毎に割り当てる割当
符号量を算出する符号量割当手段と、前記符号化処理指
令による実行時、前記各ブロック毎の前記算出符号量情
報がそのブロックでの前記割当符号量に達すると前記可
変長符号化手段の当該ブロックに対する符号化を打切る
べく制御する符号化打切手段とを設けると共に、前記量
子化手段は量子化幅の情報を受けてその量子化幅で量子
化する構成とする。
【0026】また、第2には画像データをブロックに分
割し、この分割されたブロック毎に直交変換を行ってか
らこの変換出力を暫定的な量子化幅で量子化手段により
量子化し、この量子化出力を可変長符号化手段に与えて
可変長符号化し、その時の発生符号量を調べ、この発生
符号量から最適な量子化幅を予測し、その後、再び前記
画像データをブロックに分割し、この分割されたブロッ
ク毎に直交変換を行ってからこの変換出力を前記予測し
た量子化幅で量子化手段により量子化し、この量子化出
力を可変長符号化手段に与えて可変長符号化を行う際
に、各ブロック毎の前記発生符号量から決定した各ブロ
ック毎の割り当て符号量にしたがって各ブロック毎に符
号量制御を行いながら可変長符号化を行う符号化装置に
おいて、前記直交変換係数出力の交流成分に対する量子
化幅についてのみ最適な量子化幅を予測し、直流成分の
量子化幅は暫定的な量子化幅をそのまま最適な量子化幅
とする量子化幅予測手段と、前記予測した量子化幅と前
記各ブロック毎の統計量とから各ブロック毎の交流成分
の発生符号量を予測し、これを各ブロック毎の交流成分
の割り当て符号量とするとともに、符号化処理を実施す
るブロックより前の処理済みブロックでの符号化による
発生符号の、割り当て符号量に対する余りを求め、当該
余りと当該符号化処理を実施するブロックの割り当て符
号量とを加えて当該ブロックの交流成分の割り当て符号
量として決定する符号量割当手段と、前記符号量割当手
段により割り当てられた交流成分の割り当て符号量を超
えないように、前記可変長符号化における量子化された
変換出力の交流成分の符号化を打ち切る符号化打切手段
とを備えて構成する。
【0027】また、第3には、上記第2の構成におい
て、更に前記可変長符号化手段には前記直交変換により
得られる前記各ブロック単位の画像データのうち、直流
成分について前のブロックでの直流成分との差分を得る
と共にこの差分を可変長符号化する直流成分用の符号化
処理部と、この直流成分の符号化処理部の処理が終わっ
た後、前記交流成分について可変長符号化する交流成分
用の符号化処理部とを設け、前記符号化打ち切り手段は
交流成分用の符号化処理部に対してのみ機能させる構成
とする。
【0028】また、第4には、画像データを所定サイズ
のブロックに分割し、この各ブロック分けされた画像デ
ータに対して直交変換を行い、周波数成分別の直交変換
係数化すると共に、この直交変換係数を量子化し、この
量子化により得られた値を可変長符号化して圧縮するよ
うにした画像データの符号化方法において、統計処理と
符号化処理に分け、初めに統計処理を行ってから次に符
号化処理に入るようにし、統計処理では前記量子化を予
め定めた所定の量子化幅により行い、この量子化により
得られた値の可変長符号化データの量を求めてこれと収
めるべき目的の符号量とから交流成分用の最適量子化幅
を予測し、且つ、各ブロック毎の割り当て符号量を決定
し、直流成分用は統計処理で用いた前記所定の量子化幅
を最適量子化幅とし、次に符号化処理に入り、前記量子
化を前記最適量子化幅により行い、これを可変長符号化
することにより発生した符号量を求めて、符号量がその
ブロックでの割り当て符号量を超えない範囲で出力させ
て前記符号化処理を行うようにする。
【0029】また、第5においては画像データをブロッ
クに分割し、この分割されたブロック毎に直交変換を行
ってからこの変換出力を暫定的な量子化幅で量子化手段
により量子化し、この量子化出力を可変長符号化手段に
与えて可変長符号化し、その時の発生符号量を調べ、こ
の発生符号量から最適な量子化幅を予測し、その後、再
び前記画像データをブロックに分割し、この分割された
ブロック毎に直交変換を行ってからこの変換出力を前記
予測した量子化幅で量子化手段により量子化し、この量
子化出力を可変長符号化手段に与えて可変長符号化を行
う際に、各ブロック毎の前記発生符号量から決定した各
ブロック毎の割り当て符号量にしたがって各ブロック毎
に符号量制御を行いながら可変長符号化を行う符号化装
置において、前記画像データの符号化処理を暫定的な量
子化幅を用いて行い、最適化するのに必要な画像全体の
符号量と各ブロック毎の交流成分の符号量を調べる第1
のステップと、この第1のステップで得た画像全体の符
号量から最適化に必要な交流成分の量子化幅の予測を行
うとともに直流成分については暫定的な量子化幅をその
まま予測量子化幅とする第2のステップと、前記予測さ
れた量子化幅を用いて前記各ブロック毎の量子化を行う
第3のステップと、前記各ブロックの交流成分の符号量
と前記予測量子化幅とから各ブロック毎の交流成分の割
り当て符号量を求め、この割り当て符号量と当該ブロッ
クの前のブロックでの符号化により発生した割り当て符
号量の余り分とを加えた新たな割り当て符号量に収まる
範囲でそのブロックの可変長符号化を実施する第4のス
テップとからなることを特徴とする。
【0030】
【作用】このような構成において、画像データを所定サ
イズのブロックに分割し、この各ブロック分けされた画
像データに対して直交変換を行い、周波数成分別の直交
変換係数化すると共に、この直交変換係数を低い周波数
成分のものより順に量子化手段により量子化し、この量
子化により得られた値を可変長符号化手段により可変長
符号化して圧縮するが、制御手段は初めに統計処理(第
1パス)指令を発令し、統計処理が終わると符号化処理
(第2パス)指令を発令する。すると量子化幅設定手段
は統計処理指令による実行時には前記制御手段からの目
的符号量の情報に基づき、該目的符号量の枠に対応した
所定の量子化幅の情報を前記量子化手段に与え、量子化
手段は処理するブロックでの各直交変換係数に対し、こ
の所定の量子化幅で量子化を行い、可変長符号化手段は
この量子化により得られた値を可変長符号化するので、
このとき符号量算出手段により符号量を算出する。
【0031】そして、各ブロックでの符号量と画面全体
の総符号量と、目的符号量と、直流成分の発生符号量を
目的符号量から差し引いた残りの符号量とから、符号量
割当手段は各ブロック毎の交流成分用の割当符号量を決
め、また、量子化幅設定手段は統計処理で使用した前記
所定の量子化幅の情報を直流成分用の最適量子化幅とし
て定め、交流成分に対しては当該直流成分用の最適量子
化幅で量子化し、符号化した場合の符号量を前記目的符
号量から差し引いた残りの符号量に対応して予測した最
適量子化幅を交流成分用の最適量子化幅と定める。次に
制御手段は符号化処理に入るべく制御するので、量子化
幅設定手段は前記予測した最適量子化幅を量子化手段に
与え、量子化手段はブロック毎の直交変換係数を再び受
けてこれを当該最適量子化幅にて量子化する。そして、
可変長符号化手段はこの量子化により得られた値を可変
長符号化する。このとき可変長符号化による符号量は算
出されているので、打ち切り手段はこの算出符号量がそ
のブロックでの割り当て符号量に達したときは打ち切り
を指令し、可変長符号化手段はこのブロックでの可変長
符号化を打ち切り、次のブロックでの可変長符号化に移
る。このように、統計処理で発生した直流成分の符号量
は符号化処理においても固定とし、目的符号量から直流
成分の符号量を差し引いた残りの範囲を交流成分用に当
てるようにし、この範囲で最適な交流成分用の量子化幅
を予測して、この予測した量子化幅で交流成分の量子化
と可変長符号化を行うようにしたので、どのような画像
であっても目的とする符号量の範囲に収まるように符号
化することができるようになり、しかも、試行錯誤を繰
り返すことが全く無いので、短時間で符号化できるよう
になる。
【0032】また、第2の発明の場合は、画像データを
ブロックに分割し、この分割されたブロック毎に直交変
換を行ってからこの変換出力を暫定的な量子化幅で量子
化し、この量子化出力を可変長符号化することにより画
像全体と各ブロック毎の発生符号量を求め、この発生符
号量から交流成分に対する最適な量子化幅を予測すると
ともに直流成分に対しては暫定的な量子化幅を予測量子
化幅とし、その後、再び画像データをブロックに分割
し、この分割されたブロック毎に直交変換を行ってから
この変換出力を前記予測した量子化幅で量子化し、この
量子化出力を可変長符号化し、データの符号化を行う際
に、前記画像全体と各ブロック毎の発生符号量とから決
定した各ブロック毎の交流成分の割り当て符号量とその
ブロックより一つ前のブロックでの符号化時に発生した
割り当て符号量の余り分(割り当て符号量の使い残し
分)を加えたそのブロックの交流成分の割り当て符号量
にしたがって各ブロック毎に交流成分の符号化を制限す
る形で符号量制御を行うと共に、割り当て符号量の余り
を記憶しながら可変長符号化を行い、また、目的とする
圧縮率に応じて決まる1画像の収めるべき目的の符号量
およびその目的符号量に基づいて定まる暫定的量子化幅
とを決め、画像データをブロックに分割し、この分割さ
れたブロック毎に直交変換を行ってからこの変換出力を
前記暫定的な量子化幅で量子化し、この量子化出力を可
変長符号化することにより画像全体と各ブロック毎の発
生符号量を求め、この発生符号量から交流成分に対する
最適な量子化幅を予測するとともに、直流成分に対して
は暫定的な量子化幅を予測量子化幅とし、その後、再び
画像データをブロックに分割し、この分割されたブロッ
ク毎に直交変換を行ってからこの変換出力を前記予測し
た量子化幅で量子化し、この量子化出力を可変長符号化
するが、その際に、前記画像全体と各ブロック毎の発生
符号量とから決定した各ブロック毎の割り当て符号量と
そのブロックより1つ前のブロックにおける符号化での
発生符号量の割り当て符号量に対する余り分を加えたそ
のブロックの割り当て符号量にしたがって、各ブロック
毎に交流成分の符号化を制限する形で符号量制御を行い
つつ、可変長符号化を行う。
【0033】さらに、第3の発明の場合、上記第2の発
明において可変長符号化の際に直交変換により得られる
各ブロック単位の画像データのうち、直流成分について
前のブロックでの直流成分との差分を得ると共に、この
差分を直交変換し、その後、交流成分について可変長符
号化を行い、この交流成分の可変長符号化のときのみ、
符号化打切りを行うようにする。
【0034】また、第4の発明の場合、画像データをブ
ロック化して直交変換を行い、低い周波数成分から順に
高い周波数成分へと前記ブロック毎の画像データを成分
分解し、この変換出力を量子化手段により暫定的な量子
化幅で量子化し、その後、この量子化出力を可変長符号
化手段に与えて可変長符号化し、データの符号化をする
が、前記直交変換により得られる前記各ブロック単位の
画像データのうち、直流成分について前のブロックでの
直流成分との差分を得ると共にこの差分を可変長符号化
し、この直流成分用の符号化処理が終わった後、前記交
流成分について可変長符号化することにより最適化する
に必要な画像全体の符号量と各ブロック毎の符号量を算
出し、この画像全体の符号量と目的の符号量および暫定
的な量子化幅とから交流成分に対する最適な量子化幅を
予測するとともに直流成分に対しては暫定的な量子化幅
を予測量子化幅とし、その後、再び直交変換された変換
係数に対し、新しい量子化幅で量子化を行った後、各ブ
ロック毎の符号量と画像全体の符号量と目的の符号量と
から決定した各ブロック毎の交流成分の割り当て符号量
と前のブロックまでの割り当て符号量の余りを合わせて
得られたそのブロックの交流成分の割り当て符号量を越
える前にそのブロックの交流成分の符号化を打ち切ると
ともに割り当て符号量の余りを記憶しながら可変長符号
化を行う。
【0035】また、第5の発明の場合、画像データをブ
ロックに分割し、この分割されたブロック毎に直交変換
を行い、暫定的な量子化幅で量子化を行った後可変長符
号化し、画像全体の符号量と各ブロック毎の符号量を算
出し、この画像全体の符号量と目的の符号量および暫定
的な量子化幅とから交流成分に対する最適な量子化幅を
予測するとともに直流成分に対しては暫定的な量子化幅
を予測量子化幅とする(第1の符号化)。そして、次に
再び直交変換された変換係数に対し、新しい量子化幅で
量子化を行った後、各ブロック毎の符号量と画像全体の
符号量と目的の符号量とから決定したそのブロックの交
流成分の割り当て符号量と前のブロックまでの割り当て
符号量の余りを合わせて得られたそのブロックの交流成
分の割り当て符号量を超える前にそのブロックの交流成
分の符号化を打ち切るとともに割り当て符号量の余りを
記憶して可変長符号化を行う(第2の符号化)。
【0036】このように第2、第3、第5の発明はいず
れも最初に統計処理を行い、この統計処理により最適な
交流成分の量子化幅の予測と、各ブロックの交流成分用
の割り当て符号量の決定に必要な統計量を得、これらの
情報をもとに符号化の処理に入り、各ブロックの交流成
分の割り当て符号量を決定するとともに、直流成分は第
1の符号化(統計処理)で得られたものに固定し、これ
により直流成分用の容量は最初に確保してしまい、第2
の符号化(符号化処理)においては直流成分は最初の量
子化幅条件(暫定的な量子化幅)で符号化し、交流成分
に対しては順次符号化出力を見ながら、各ブロックの交
流成分の割り当て符号量と前のブロックの割り当て符号
量の余りを合わせて得られたそのブロックの新たな交流
成分の割り当て符号量内に収まるように、交流成分の可
変長符号化を打ち切ることでブロック毎に符号量を制御
し、所望の符号量内に収まった符号化出力を最終出力と
して得られ、決してオーバーフローすることのないよう
にしたものである。
【0037】これは、直交変換係数の直流成分に対する
量子化幅を統計量を得るための処理と実際の符号化処理
とで変化させないことで、最終的な符号化を行う前に直
流成分の符号量を明らかにしておくことにより、直流成
分の発生符号量は見込んだうえで交流成分の符号量の制
御を行うので、交流成分の符号量制御の条件にかかわり
なく直流成分は必ず符号化できるとともに発生符号量が
目的の符号量を超えることは決してなくなる。
【0038】但し、暫定的な量子化幅で符号化を行った
ときに、目的とする符号量ではすべての直流成分のみを
符号化するのにも足りない場合には、やはり符号化不能
である。しかし、例え直流成分をすべて符号化できても
直流成分だけでは符号化する前の画像を推測することさ
えも難しく、このような極端な高圧縮率で使用すること
は本来の目的に反する。
【0039】統計処理において結果的に必要となる統計
量は画像全体の交流成分の発生符号量と画像全体の直流
成分の発生符号量と各ブロック毎の交流成分の発生符号
量である。統計処理の間に実際に算出する値は例えば画
像全体の総発生符号量と各ブロック毎の交流成分の発生
符号量、あるいは画像全体の直流成分の発生符号量と各
ブロック毎の交流成分の発生符号量など、どのような組
み合わせでもよく、最終的に必要となる前記3種類の統
計量が後から容易に計算できる値ならば何でもよい。ま
た、各統計量にEOBを含めるか含めないかもはっきり
してさえいればどちらでもよい。なぜなら、EOBの符
号量は統計処理と符号化処理で変わらないだけでなく同
じ符号を使用するシステムではブロックの数に応じて一
定であり、画像に依存しないので後から容易に計算する
ことができるからである。例えば、画像全体の総発生符
号量と各ブロック毎の交流成分の発生符号量を統計処理
の結果として得られるものとすれば、各ブロック毎の交
流成分の符号量を総和することで画像全体の交流成分の
発生符号量が得られ、この画像全体の交流成分の発生符
号量とEOBの符号量を画像全体の総発生符号量から引
くことで画像全体の直流成分の発生符号量が得られる。
【0040】そして、統計処理の時も符号化処理の時も
直流成分の量子化幅は変化しないことから画像全体の直
流成分の発生符号量は変わらないので、目的とする画像
全体の交流成分の符号量は目的とする総符号量から画像
全体の直流成分の発生符号量とEOBの符号量を引くこ
とにより得られる。また、この目的とする画像全体の交
流成分の符号量と画像全体の交流成分の発生符号量と統
計処理で使用した暫定的な量子化幅とから最適な交流成
分の量子化幅を予測する。更に、目的とする画像全体の
交流成分の符号量を各ブロック毎の交流成分の発生符号
量の比で比例配分することで各ブロックの交流成分の割
り当て符号量が決まる。
【0041】このようにして、直流成分の符号は必ず符
号化できる範囲で、交流成分の符号量制御が可能とな
り、交流成分の符号量は各ブロック単位で確実にオーバ
ーしないように制御きるので、最終的な総発生符号量
が目的の符号量を超えることがない。従って、この発明
によれば、オーバーフローが発生することなく符号化で
きるようになる。
【0042】また、第4の発明の場合は、画像データを
所定サイズのブロックに分割し、この各ブロック分けさ
れた画像データに対して直交変換を行い、周波数成分別
の直交変換係数化すると共に、この直交変換係数を量子
化し、この量子化により得られた値を可変長符号化して
圧縮するようにした画像データの符号化方法において、
初めに統計処理を行ってから次に符号化処理に入るよう
にするが、統計処理では前記量子化を予め定めた所定の
量子化幅により行い、この量子化により得られた値の可
変長符号化データの量を求めて、これと収めるべき目的
の符号量、および当該目的の符号量から直流成分の発生
符号量を差し引いた残りの符号量とからこの残りの符号
量の枠に収めるに最適な交流成分用の最適量子化幅を決
め、直流成分用の最適量子化幅は統計処理に使用した前
記所定の量子化幅とし、且つ、各ブロック毎の割り当て
符号量を決定し、次に符号化処理に入り、前記量子化を
前記最適量子化幅により行い、これを可変長符号化する
ことにより発生した符号量を求めて、符号量がそのブロ
ックでの割り当て符号量を超えない範囲で出力させる。
これにより、どのような画像データに対しても直流成分
の符号化打ち切りとなるような事態を生じることなく、
一定の符号量内に収まるように圧縮符号化することがで
き、また、試行錯誤を繰り返すことがないので短時間で
圧縮符号化処理をすることができるようになる。
【0043】本発明は符号化時に必須の直流成分は情報
量を損なわないように符号化すべく、量子化幅を最初の
符号化処理によって得たものに固定してしまい、画質に
比較的影響の少ない高い周波数成分に対しては、収める
べき目的の符号量から前記固定した直流成分の符号量を
差し引いた残りの量に合わせて最適量子化幅を決め、こ
の最適量子化幅による量子化により量子化を行って、可
変長符号化を進めてゆくようにしたものであり、これに
より、どのような画像データに対しても直流成分の符号
化打ち切りとなるような事態を生じることなく、一定の
符号量内に収まるように圧縮符号化することができるよ
うになる符号化装置および符号化方法を提供することが
できる。
【0044】
【実施例】以下、本発明の実施例を図面に基づいて説明
する。
【0045】初めに本発明を分かり易くするために、本
発明の基本的な考え方を説明しておく。
【0046】すなわち、本発明は最初に画像データに対
して暫定的な量子化幅を用いて統計処理を行い、この統
計処理により最適な交流成分の量子化幅の予測と、各ブ
ロックの交流成分の割り当て符号量の決定に必要な統計
量を得る。そして、これらの情報をもとに最適な交流成
分の量子化幅の予測と、各ブロックの交流成分の割り当
て符号量の決定を行った後、実際の符号化処理を実施す
る。交流成分には予測した量子化幅、直流成分には暫定
的な量子化幅をそのまま用いて順次、直流成分は割り当
て符号量とは関係なく必ず符号化させ、交流成分は符号
化出力を見ながら、各ブロックの交流成分の割り当て符
号量と前のブロックまでの割り当て符号量の余りとを合
わせて得られたそのブロックの交流成分の割り当て符号
量内に収まるように、可変長符号化によって得られる交
流成分の符号量を監視しながら、符号化を進め、符号量
が割り当て符号量に達するとそのブロックの交流成分の
符号化は終了させる。そのときの割り当て符号量の余り
を記憶しておき、次のブロックの交流成分の符号化に移
ってゆくと云うものである。
【0047】統計処理は交流成分の最適な量子化幅を予
測するとともに、各ブロック毎の交流成分の割り当て符
号量を決定するための基準となる統計量を得るためのも
のである。
【0048】但し、直流成分については、量子化幅を統
計処理と符号化処理で変化させることはしないので、つ
まり、統計処理でも、また、符号化処理でも同じ量子化
幅を使用するので、統計処理で求めた符号量分の符号量
が符号化処理でもそのまま発生し、また、EOBの符号
量も量子化幅に影響されず決まった値なので、収めるべ
き目的とする総符号量(目的符号量)から、直流成分と
EOBの符号量を差し引いたものが交流成分に割り当て
られる符号量である。
【0049】最適化された交流成分の量子化幅を符号化
処理で使用することにより、符号化処理で発生する交流
成分の符号量は、ほぼ交流成分に割り当てられた符号量
に近付けることができるが、1画像のデータ量の上限が
規定されている場合、1バイトはおろか、1ビットでも
目的符号量をオーバーすることはできない。
【0050】そこで、ブロック毎の交流成分の割り当て
符号量による制御を行う。これは符号化を行ったときの
符号量が目的符号量をオーバーしたときの微調整に使用
するものである。
【0051】各ブロックの符号化において交流成分の低
い周波数成分から高い周波数成分に順次、符号化しなが
ら、ガイドライン(1ブロック当たりの交流成分の割り
当て符号量)を超えた時点で、それ以上の高周波成分の
符号化を打ち切る。これは、視覚的な影響を最小にする
ために、各ブロックの高い周波数成分から省略して行く
ためである。発生した符号量が、割り当てられた符号量
よりも少なかった、あるいはちょうど同じだったブロッ
クは、問題なく符号化を終了、つまり、EOBを出力す
る。そして、その余りを次のブロックの割り当て符号量
に加え、次のブロックの割り当て符号量とする、途中で
割り当て符号量をオーバーしてしまうブロックは符号化
を打ち切り、そのブロックの符号化を終了、つまり、E
OBを出力する。そして、その余りを次のブロックの割
り当て符号量に加え、次のブロックの割り当て符号量と
する。
【0052】このように、画像の構成要素として最も重
要である直流成分は必ず符号化し、交流成分の高い周波
数の方を必要に応じて省略することにより符号量の微調
整をブロック毎に行うので、各ブロック毎で交流成分の
割り当て符号量を交流成分の発生符号量が上回ることは
なく、結果として全発生符号量が目的の符号量をオーバ
ーすることはなくなる。
【0053】以上から、画質をなるべく損なわずに、簡
単な回路により一定の処理時間内で一定の符号量内に必
ず収まるように符号化できるようになる。
【0054】以上の原理を用いた本装置の実施例を説明
する。図1に本発明による画像データの符号化装置をデ
ィジタル電子スチルカメラに適用した一実施例を、ま
た、図2には本発明による画像データの符号化装置の構
成をそれぞれブロック図で示す。なお、本発明とは直接
関係のないディジタル電子スチルカメラの機構は図示お
よび説明を省略する。
【0055】図1に示すように、ディジタル電子スチル
カメラ本体(以下、電子カメラ本体と称する)1は画像
を撮像する撮像系40と、この撮像系40の出力に対
し、所定の信号処理を行う信号処理回路60と、前処
理、線形量子化、可変長符号化機能を持ち、前記信号処
理回路60の出力を圧縮符号化して出力する符号化回路
80と、この符号化回路80により符号化された画像デ
ータおよび量子化幅(またはこれに対応した情報)を記
録媒体71に記録する記録系70と、所望のデータ圧縮
率を設定入力するスイッチ30、システム全体の制御を
司る制御回路90とから構成される。
【0056】電子カメラ本体1の操作部には画像の圧縮
率を設定するスイッチ30が設けられており、スイッチ
30は制御回路90に接続されている。前記撮像系40
は光学像を結像するためのレンズ40aと、CCD等の
撮像素子40bとを備える。前記信号処理回路60は増
幅およびノイズ除去等を行うためのアンプ60aと、ア
ナログ信号をディジタル信号に変換するA/D変換器6
0bと、RAM等からなるバッファメモリ60cと、色
信号形成等を行うプロセス回路60dとを備える。
【0057】符号化回路80を図2により説明する。符
号化回路80は例えば、DCT(離散コサイン変換)等
の直交変換を行う直交変換回路4、線形量子化を行う量
子化回路6、可変長符号化としてハフマン符号化を行う
ハフマン符号化回路8を備え、更に量子化幅予測回路1
2、符号量算出回路14、符号量割当回路20、符号打
切回路16および符号化回路80内の制御処理を行う制
御回路18とを有している。
【0058】前記記録系70はインタフェース回路70
aおよび記録媒体として用いられるICメモリを内蔵し
たメモリカード71とからなる。メモリカード71は電
子カメラ本体1に対し、着脱可能となっている。制御回
路90はマイクロプロセッサ(MPU)により実現され
ている。
【0059】図6に電子カメラ本体1の外観を斜視図で
示す。図は双眼鏡形のものを示しており、48は操作部
におけるLCD(液晶)表示器、30は操作部における
スイッチ30であり、その他、テレ/ワイド切り替えス
イッチ、シャッタ操作ボタン50等が設けられている。
また、49はファインダである。LCD表示器48には
制御回路90の制御のもとに撮影モードやコマ数、日
付、時間等、種々の値や状態が表示される。
【0060】本電子カメラでは、電子カメラ本体1の操
作部に設けられたスイッチ30を操作することにより、
画像の圧縮率を所望の値に設定することができる。すな
わち、制御回路90には予め標準的な複数種の圧縮率情
報が設定されており、これがスイッチ30の操作により
設定される撮影可能枚数の値をもとに、装着されている
メモリカード(記録媒体)の容量から、適用する圧縮率
を求め、この求めた圧縮率の値およびメモリカードに記
録できる画像の枚数の値に換算されて操作部のLCD表
示器48に表示させるようになっている。そして、ユー
ザがスイッチ30を押すと、制御回路90はスイッチ3
0が押される毎に、これらの値を変更する。
【0061】ユーザは表示される変更値を見ながら、所
望の値のところでスイッチ30を押すのを止めることに
より、制御回路90はその時点での撮影可能画像枚数指
示値に対応する指示圧縮率を設定するようになってい
る。これは圧縮率に応じて定まる画像当りのデータ量か
ら、ヘッダ情報等の符号以外の必要な情報の領域と、E
OBの符号量を除いた総符号量を制御回路90が求めて
これを目的符号量設定情報として符号化回路80に与え
ることで行う。また、トリガスイッチであるシャッタ操
作ボタン50が押されることにより、シャッタ機能が作
動して撮像素子40bにはこの被写体像が結合され、撮
像素子40bにはこの像に対応して電荷像が蓄積される
ので、これを読出し制御することで撮像素子40bから
映像信号を得ることができる。これらの制御も制御回路
90が司る。
【0062】図1における撮像系40は、撮影レンズ4
0aやCCD等の撮像デバイスよりなる撮像素子40b
を有し、前記撮影レンズ40aにより撮像素子40b上
に結像された光学像を画像信号に変換して信号処理回路
60に出力するものである。
【0063】また、信号処理回路60は増幅器60a、
A/D変換器60b、バッファメモリ60c、プロセス
回路60dが含まれ、このプロセス回路60dにより前
記撮像素子40bにより得られた画像信号をカラー信号
のY(輝度成分)、R‐Y(以下、このR‐YをCr
(クロマレッド;色差成分)と略称する)、B‐Y(以
下、このB‐YをCb(クロマブルー;色差成分)と略
称する)の各色成分に分離させると共にガンマ補正やホ
ワイトバランス処理等を行うようにしてある。
【0064】A/D変換器60bは、入力されたアナロ
グ信号をディジタル信号に変換して出力するものであ
り、このA/D変換器60bによりディジタル変換され
た撮像系40の出力映像信号は、例えば1フレーム分の
容量を有するバッファメモリ60cに画像データを格納
され、読み出されてプロセス回路60dに与えられるこ
とにより、輝度信号系であるY成分とクロマ(C;色差
信号)系であるCr,Cb成分に分離される。バッファ
メモリ60cに格納された画像データは、例えば最初に
輝度系の信号について統計処理を行うべく、プロセス回
路によりプロセス処理して画像信号のY成分データを
得、これを符号化回路80に与えて、Y成分データにつ
いての符号化処理を行い、該処理が終ったならば、次に
クロマ系Cr,Cb成分のデータについてプロセス処理
した後、符号化処理を行う。
【0065】信号処理回路60にはブロック化機能があ
り、バッファメモリ60cより読み出され、プロセス処
理されて得たY成分用およびCr,Cb成分用の画像デ
ータ(1フレーム分、若しくは1フィールド分)が、所
定の大きさのブロックに分割されたものとなるようにす
るブロック化処理を行うことができる。このブロック化
処理はバッファメモリ60cより縦横、所定の画素数分
を区切りとして、画像を分割するようにし、分割された
ブロック毎に、その範囲の画素を順に読み出すことで行
う。ここでは例としてブロックサイズは8×8とする
が、このブロックサイズは8×8に限るものではなく、
またYとC(クロマ系)でブロックサイズが異なっても
良い。
【0066】本実施例では、輝度系Yのデータを読出し
てブロック化し、後段の処理系に与えて、このY成分デ
ータについての統計処理を行わせ、該統計処理が終了し
たならば、次にクロマ系Cr,Cb成分のデータについ
ての統計処理に入るべき該クロマ系Cr,Cb成分のデ
ータの読出しとブロック化に入る。クロマ系のブロック
化は、最初にCr成分の画像データについてすべてのブ
ロック化を行い、その後に、Cb成分の画像データをブ
ロック化して行くものとする。
【0067】符号化回路80は図2に示す構成となって
いる。図2において、4は直交変換回路であり、ブロッ
ク化されて入力された各画像データを受けて、この画像
データに対し、各ブロック毎に2次元の直交変換を行う
ものである。直交変換としてはコサイン変換、サイン変
換、フーリエ変換、アダマール変換などが使用できる。
直交変換を行うことにより、変換係数としての画像デー
タが得られる。
【0068】6は量子化回路であり、前記直交変換回路
4の出力する画像データ(変換係数)を受けると、第1
回目の量子化(統計処理時での量子化)では予め設定さ
れた各周波数成分毎の量子化幅に、撮影モードに応じて
予め設定された量子化幅係数αを掛けて補正した暫定量
子化幅で、変数係数の量子化を行い、第2回目(統計処
理時)では交流成分に対しては統計処理により得られた
符号量を元に決定された交流成分用の最適量子化幅係数
αを用い、直流成分に対しては1回目(統計処理時)と
同じ量子化幅(暫定量子化幅)を用いて量子化を行う構
成としてある。
【0069】8は可変長符号化回路であり、可変長符号
化回路8は量子化回路6の出力する前記量子化出力を可
変長符号化(可変長符号化)するものである。可変長符
号化としてはハフマン符号化の他、算術符号化などを利
用することができる。可変長符号化は、ブロック毎の符
号量画像全体の符号量などが画像毎に変化する。どのよ
うな可変長符号化を用いるかは本発明とは直接関係が無
いが、ここではハフマン符号化を使用した一例を示すこ
ととする。
【0070】可変長符号化回路8では、入力した量子化
された変換係数を図9に示す順序でスキャンするジグザ
グ・スキャンと呼ばれる手法により、低い周波数成分か
ら高い周波数成分への走査を行う。図9の走査順序の1
番目の直流成分[DC]のデータは、直前に可変長符号
化を行ったブロックの直流成分との差分値をハフマン符
号化して出力する。交流成分[AC]については図9の
走査順序の2番目から64番目までに順番に変換係数を
見て行き、変換係数が0でない(すなわち、有効な)係
数が出て来たらその直前に存在した連続した0(無効)
の係数の数(ゼロラン)とその有効係数の値とで2次元
のハフマン符号化として出力すると云った動作をする。
また、ある係数以降64番目の係数まで連続して無効係
数が続く場合はブロックの終りを示すEOB(エンド・
オブ・ブロック)の符号を出力する。また、打ち切り信
号が入力されると符号化を終了し、EOBを付加して出
力する。そして、そのブロックにおいて発生した各符号
の符号量を符号量算出回路14に出力する。
【0071】符号量算出回路14は入力されたY,C
r,Cb各成分の各ブロック毎の交流成分の符号量の収
集とその符号量の積算を行うとともに、直流成分の符号
量を積算し、制御回路18から入力した収めるべき目的
の総符号量から直流成分の符号量とEOBの符号量を引
き、目的とする交流成分の符号量(交流成分のために使
用可能な符号量;交流成分用目的符号量)を求め、画像
全体の交流成分の符号量と交流成分用目的符号量のデー
タについて量子化幅予測回路12に出力すると共に、各
ブロック毎及び画像全体の交流成分の符号量と、交流成
分用目的符号量のデータについては符号量割当回路20
に出力し、また、各ブロック毎に交流成分の各々の積算
符号量の値を逐次、符号打切回路16に出力する構成と
してある。
【0072】量子化幅予測回路12は第1パス目(統計
処理)の開始にあたり制御回路18から収めるべき目的
とする符号量(目的符号量)の情報を受け、この符号量
情報から後述する式(1) の関係を用いて量子化幅係数α
の初期値を設定し、量子化回路6に出力し、第2パス目
(符号化処理)の開始に先駆けて、符号量算出回路14
から入力された画像全体の交流成分の符号量及び目的と
する交流成分の符号量(その画像での交流成分に対する
割当符号量;目的符号量から直流成分の符号量とEOB の
符号量とを差し引いた残りの符号量)と、第1パスで用
いた量子化幅係数(暫定的な量子化幅係数)αとから、
式(1) の関係を用いて、線形予測により目標符号量に近
づけるのに最適な量子化幅係数αを、予測するものであ
る。
【0073】また、符号量割当回路20は符号量算出回
路14から入力された各ブロック毎の交流成分の符号
量、画像全体の交流成分の符号量と、目標とする交流成
分の符号量(交流成分用目的符号量)とから各ブロック
の交流成分用の割り当て符号量を算出して符号化打切回
路16に出力するものである。
【0074】ここでの算出の方法は、例えば、各ブロッ
ク毎の交流成分の符号量の比で、目標とする交流成分の
符号量を比例配分する。例えば、あるブロックの交流成
分の符号量と目標とする交流成分の符号量との乗算を行
い、それを画像全体の交流成分の符号量で割ることによ
り、そのブロックの交流成分の割当符号量を決定する。
この結果、各ブロックの交流成分の割り当て符号量は、
そのブロックでの実際の符号量に応じて符号量が少ない
場合はそれ相応に、間に合う程度に抑えられ、符号量の
多いブロックにはそれ相応に多く割り当てられる。
【0075】符号量割当回路20は符号量算出回路14
から入力した各ブロック毎の交流成分の符号量を記憶し
ておくための符号量情報テーブルを持ち、符号量情報テ
ーブルにおける該当ブロック位置に符号量算出回路14
から入力された該当ブロックの交流成分の符号量情報を
書き込む一方、この符号量情報テーブルの各ブロック毎
の交流成分の符号量と符号量算出回路14から入力され
た画像全体の交流成分の符号量および目標とする交流成
分の符号量とから該当ブロックの交流成分の割当符号量
を算出する。
【0076】この該当ブロックの交流成分の割当符号量
は、該当のブロックが可変長符号化処理される直前に算
出するとともに符号化打切回路16に与えられる。
【0077】符号化打切回路16は、符号量算出回路1
4からの送出すべき各ブロックの交流成分の符号の符号
量を順次、符号量割当回路20からの該当ブロックの交
流成分の割当符号量から減算し、割当符号量の残りが送
出すべき符号量より小さくなった場合には打切信号を出
力して可変長符号化回路8に与え、そのブロックの符号
化を終了させると云った機能を有する。
【0078】従って、符号化打切回路16ではこの交流
成分の割当符号量を参照し、入力された送出すべき符号
量の符号を送出しても割当符号量を超えない場合は、打
切は行われず、そのブロックの符号化を終了し、該ブロ
ックの割当符号量から送出すべき符号量を減ずると云っ
た動作を行う。そして、次のブロックでは、この割り当
て符号量の余りと、該当ブロックの交流成分の割り当て
符号量を加えて、該当ブロックの新たな割り当て符号量
とする。
【0079】10は符号出力回路であり、この符号出力
回路10は可変長符号化回路8より入力される可変長の
符号をつなぎ合わせるもので、この繋ぎ合わせた符号を
メモリカード等の記録媒体にて構成される記録系70に
書き込むように機能する。
【0080】本システムでは撮影モードに応じて定めた
初期時用標準の量子化幅係数(暫定量子化幅係数)αを
使用して最初に統計処理を行い(第1パス)、最適化す
るに必要なブロック毎の交流成分の情報量や画像全体の
直流成分及び交流成分の情報量等を調べ、次にこの統計
処理により得た情報をもとに最適化された符号化を行う
ための処理に入る(第2パス)。
【0081】そのため、最初に「画像のブロック化」、
「このブロック化された画像の要素に対する標準的な暫
定量子化幅係数αを使用しての量子化」、「この量子化
により得られた変換係数の可変長符号化」、そして、
「この可変長符号化により得られる各ブロックの各要素
の交流成分の符号量情報と画像全体の直流成分及び交流
成分の符号量情報より最適な符号量にするのに必要な交
流成分の符号化幅係数αの予測」、「各ブロックの各要
素における交流成分の割当符号量の決定」、「これらに
基づく処理対象画像への最適符号化の処理モードへの移
行」、「この処理モードの実施における画像のブロック
化処理」、「このブロック化された画像の要素に対し、
直流成分には前記暫定量子化幅を使用して、また、交流
成分には前記予測した最適量子化幅αを使用しての量子
化処理」、「この量子化により得られた変換係数の可変
長符号化」、「処理対象画像の全符号の保存のための出
力処理」と云った手順を実施させるが、その全体の制御
管理は図における制御回路18により行うようにしてあ
るものとする。尚、制御回路18のこのような機能はマ
イクロプロセッサ(CPU)を使用することで容易に実
現できる。以上が符号化回路80の構成である。
【0082】第1図における記録系70はインタフェー
ス回路70aとこれに着脱自在に接続される記録媒体7
1があり、符号化回路80により符号化されて出力され
た画像データおよび量子化幅(またはこれに対応した情
報)はインタフェース回路70aを介して記録媒体71
に記録される構成となっている。
【0083】次に上記構成の本装置の作用を説明する
が、全体の概要を掴むために初めに図1とその動作遷移
図である図7を参照して基本動作を説明する。カメラの
使用者がカメラを使用するにあたり、スイッチ30を操
作して所望とする撮影可能枚数を設定する。これにより
設定撮影可能枚数に応じ、制御回路90が最適符号量を
求めて、これを目的符号量設定情報として符号化回路8
0に与えることで実現している。このようにして撮影可
能枚数が設定される。
【0084】次に撮影を行うと、撮影レンズ40aの後
方に置かれた撮像素子40b上に被写体像が光学像とし
て結像される。そして、この撮像素子40bはこの結像
された光学像を画像信号に変換して出力する。撮像素子
40bにより得られた画像信号は信号処理回路60に入
力されここで信号処理回路60内の増幅回路60aによ
る増幅、A/D変換器60bによるA/D変換後、バッ
ファメモリ60cに一時保持される。そして、この後、
バッファメモリ60cから読み出され、信号処理回路6
0内のプロセス回路60dにより帯域補正、色信号形成
等の処理が行われる。
【0085】ここで、後の符号化処理がY(輝度)、C
r,Cb(いずれも色差)信号の順序で行われるため、
色信号形成もこれに合わせて行われる。すなわち、画像
信号は8×8のマトリックスでブロック化されて読み出
され、プロセス回路ではこのブロック化された画像信号
データからY成分、Cr成分(R-Y成分) 、Cb成分(B-Y
成分 )の順序でこれら各色成分の信号を分離させると共
に、ガンマ補正やホワイトバランス処理等を行う。
【0086】プロセス回路60dにより分離された8×
8のマトリックスのブロック化画像信号における各色成
分の画像信号データは、符号化回路80に入力される。
これにより、1フレーム分(若しくは1フィールド分)
の画像データは、上記所定の大きさのブロックに分割さ
れて順次、符号化回路80に入力される。尚、プロセス
回路60dにより処理された各色成分の画像信号は、
Y,Cr,Cbの各成分別にバッファメモリに記憶させ
後の処理において、読出して使用するようにしても良
い。
【0087】本実施例では、信号処理回路60からは1
画像分の画像信号データにおけるY成分(輝度成分)に
ついて出力が行われ、これについての後段での処理(統
計処理)が済んだ後に、次Cr成分の画像データについ
て総てのブロック化を行い、これについて後段での統計
処理を行い、その後に、Cb成分の画像をブロック化
し、これについて後段での統計処理を行ってゆくと云っ
た処理を行う。
【0088】符号化回路80では信号処理回路60より
受けたこの入力データを直交変換回路4(図2)に与え
る。
【0089】すると、直交変換回路4はブロック化され
た入力画像データ(以下、ブロック画像データと呼ぶ)
に対し、各ブロック毎に例えば、離散コサイン変換(D
CT)による2次元の直交変換を行う。このDCTによ
る直交変換と云うのは、ある波形を周波数成分に分割
し、これを入力サンプル数と同じ数だけの周波数の異な
るコサイン波で表現すると云った処理である。
【0090】そして、直交変換されたブロック画像デー
タ(変換係数)は図示しないバッファメモリにおける8
×8のマトリックス上の対応する周波数成分位置に格納
され(マトリックスの原点位置が直流成分、それ以外は
交流成分で原点位置より離れるに従い、周波数が高くな
るような関係を持たせるマトリックスに格納する)、こ
れが量子化回路6に入力される。
【0091】すると、量子化回路6はこのブロック画像
データ(変換係数)に対して1パス目(第1回目)の量
子化を行う。この第1回目の量子化では、予め設定され
た各周波数成分毎(周波数成分はブロックの各マトリッ
クス位置に対応して決まる)の量子化マトリックスに対
し、撮影に当り使用者が設定した画質設定値に対応して
制御回路18より与えられる標準的に選ばれた暫定的な
量子化幅係数αを掛けた量子化幅で、変換係数の量子化
を行う(図(hl,i))。この時の量子化マトリッ
クスは輝度系とクロマ系とでそれぞれで同じであっても
良いが、それぞれに適した量子化マトリックスを設定す
る方が良い結果が得られる。
【0092】量子化されたブロック画像データ(変換係
数)は可変長符号化回路8に入力され、ここで、可変長
符号化される。可変長符号化回路8では量子化されて入
力された変換係数を図8に示す順序でジグザグスキャン
し、低い周波数成分から高い周波数成分への走査を行
う。すなわち、変換係数は8×8のマトリックスに周波
数成分に対応して格納されており、原点に近いほど、周
波数が低いので、ジグザグスキャンすることで低い周波
数成分から高い周波数成分へと走査できる。
【0093】図の走査順序の1番目のデータは直流成
分DCであるから、この直流成分DCのデータは直前に
可変長符号化を行ったブロック(一つ前のブロック)の
直流成分DCとの差分値diff−DCをハフマン符号
化する(図(dl),(el))。
【0094】交流成分ACについては図の走査順序の
2番目から64番目まで順番に変換係数を見て行き、変
換係数が0でない(すなわち、有効な)係数が出て来た
らその直前に存在した連続した0(無効)の係数の数
(ゼロラン)とその有効係数の値とで2次元のハフマン
符号化を行う((d2),(e2))。
【0095】また、可変長符号化回路8は、ある係数以
降64番目の係数まで連続して無効係数が続く場合はブ
ロックの終りを示すEOB(エンド・オブ・ブロック)
の符号を与える。
【0096】そして、一つの符号が発生する度にその発
生した符号量を符号量算出回路14に出力する(g
1)。そして、1画像分の全ブロックについてこのよう
な処理を実行して行く。
【0097】Y成分についてのこのような処理が終了し
たなら、次にCr,Cb各成分についても同様の処理を
行う。
【0098】一方、符号量算出回路14は入力された
Y,Cr,Cb各成分の1画像全体の直流成分及び交流
成分の符号量の計算をすべく、Y,Cr,Cb各成分の
各ブロック毎の交流成分の符号量の算出とその符号量及
び直流成分の符号量の積算を行う(g2)と共に、各ブ
ロック毎の交流成分の符号量のデータは符号量割当回路
20に出力する。符号量割当回路20はこの各ブロック
毎の交流成分の符号量のデータを符号量情報テーブルに
おける該当ブロック位置の交流成分の符号量情報として
書き込む。
【0099】そして、1画像分の全ブロックについて
Y,Cr,Cb各成分すべてのハフマン符号化処理を終
了した段階で、制御回路18から入力した収めるべき目
的とする符号量(目的符号量)から画像全体の直流成分
の符号量およびEOF符号の符号量を引き、その残りの
容量である収めるべき目的とする交流成分の符号量(交
流成分用の目的符号量)を求めるとともに、制御回路1
8の制御により符号量算出回路14は、この画像全体の
交流成分の符号量と、目的とする交流成分の符号量のデ
ータとを量子化幅予測回路12に出力すると共に、符号
量割当回路20にも出力する。
【0100】量子化幅予測回路12はこの入力された画
像全体の交流成分の符号量データと、目的とする交流成
分の符号量データと、統計処理に用いた暫定的量子化幅
係数αとから、例えば、線形予測を用いて、目標符号量
(目的符号量)の値に近づけるのに最適な交流成分の量
子化幅係数αを予測する(図(h2))。
【0101】以上で1パス目、すなわち、各ブロックの
割り当て符号量の決定及び量子化幅の最適化のための第
1の符号化(統計処理)を終了する。
【0102】次に2パス目の処理に入る。この2パス目
の処理は第2の符号化(符号化処理)であり、目的符号
量に収まるように最適化した最終の符号化出力を得る処
理である。
【0103】この処理はまず、Y成分について行い、Y
成分が終了した後にCr,Cb成分について行うように
する。すなわち、初めに画像データをブロック化して続
出し、これについて抽出されて信号処理回路60から出
力されるY成分(輝度系)の画像信号データを符号化回
路80に入力する(図(a))。入力されたブロック
化画像データは符号化回路80における直交変換回路4
に入力され、再び直交変換が行われる(図(b))。
この直交変換により得られた変換係数は量子化回路6に
入力され、再び量子化が行われる(図(c))。ただ
し、このとき使用する量子化幅係数αは直流成分に関し
ては前回のパスで使用した暫定的な量子化幅係数αであ
り、交流成分に関しては前回のパスにおいて得られた情
報に基づき、量子化幅予測回路12が予測した最適量子
化幅係数αである。
【0104】この間、符号量割当回路20は符号量算出
回路14から入力した各ブロック毎の交流成分の符号量
および画像全体の交流成分の符号量と、目的とする交流
成分の符号量とから各ブロックの交流成分の割り当て符
号量を、例えば各ブロック毎の交流成分の符号量の比
で、目的とする交流成分の符号量(目的符号量)を比例
配分する等して算出する(図(h3))。
【0105】具体的には、最初のブロックの交流成分の
割り当て符号量を決定するには、最初のブロックの交流
成分の符号量と目的とする交流成分の符号量とを乗算
し、それを画像全体の交流成分の符号量で割ることで得
た結果を以てそのブロックの交流成分の割り当て符号量
とする。そして、この算出した各ブロックの交流成分の
割り当て符号量のデータを符号化打切回路16に与えら
れる。そして、目的とする交流成分の符号量から、この
割り当てられた符号量を引くとともに、画像全体の交流
成分の符号量からこのブロックの交流成分の符号量を引
いておく。そして、次のブロックではこの新たな目的と
する交流成分の符号量を、目的とする交流成分の符号量
として用いる。これは、前記割当符号量の計算の際に発
生する1ビットに満たない小数点以下の符号量の端数の
丸め誤差の影響によって割り当てられるべき符号量の無
駄を防ぐための工夫であり、以降のブロックに対しても
同様の計算を行う。
【0106】一方、符号化打切回路16では、符号量割
当回路20から入力した当該ブロックの交流成分の割り
当て符号量と、その前の処理ブロックで残った割り当て
符号量の余り分を加えて当該ブロックの符号化に実際に
使用できる値として割り当て符号量を求めておく。
【0107】そして、量子化したブロック画像データの
変換係数は、可変長符号化回路8に入力される。可変長
符号化は統計処理の時と同様、このブロック画像データ
の変換係数のうち、まず直流成分DCの差分値diff
−DCをハフマン符号化し((d1),(e1))、次
に交流成分ACをジグザグスキャンで順次データ抽出し
て2次元のハフマン符号化を行う((d2),(e
2))。
【0108】但し、一つの交流成分の要素(マトリック
ス内の一つの位置)に対するハフマン符号が発生する度
に、符号量算出回路14は可変長符号化回路8から入力
したその符号データの符号量を符号化打切回路16に出
力し、一方、符号化打ち切り回路16では当該ブロック
の交流成分の割当符号量をもとに、その送出すべき符号
データの符号量を割当符号量が上回っている場合は、打
切り信号を発生せず、該ブロックの割当符号量から送出
すべき符号量を減ずる処理を行う。そして、送出すべき
該ブロックの符号量が割当符号量の残りの符号量を上回
ったときに、符号化打切回路16は可変長符号化回路8
に打切り信号を出力し、その符号は送出させずに当該ブ
ロックのハフマン符号化を終了させる。割り当て符号量
の余りは前述の通り、次のブロックの符号化で利用する
のでその値を保持しておく。そして、可変長符号化回路
8は量子化回路6より得られる次のブロックのハフマン
符号化に移る。
【0109】従って、可変長符号化回路8は符号化打切
回路16から打切り信号が入力されるまで、変換された
ハフマン符号を、符号出力回路10に出力し、打切り信
号発生前にマトリックスのすべての要素に対するハフマ
ン符号化が終わった場合には、可変長符号化回路8はE
OBの信号を符号出力回路10に出力する。また、可変
長符号化回路8はマトリックスの全ての要素に対するハ
フマン符号化が終わらない前に打切り信号が入力された
場合には、その符号の代りにEOBの符号を符号出力回
路10に出力することになる。符号出力回路10ではこ
の符号化されたビット列のデータをつなぎ合わせて一定
の書き込み単位の量になるまで一時的に記憶し、その書
き込み単位になると同時に記録系22に出力し、記録系
22におけるメモリカード等の記憶媒体71に書き込み
を行うとともに(f)、記憶しておいたデータをクリア
し、引き続き、続きのデータを一時記憶する。
【0110】そして、可変長符号化回路8は量子化回路
6より得られる次のブロックのハフマン符号化に移る。
【0111】このような動作を繰り返し、1画面の画像
の全ブロックの処理が終わることにより、全ての符号化
処理を終了する。Y成分に対するこのような処理が終る
と、次に同様の手法でクロマ系成分(Cr,Cb)の処
理に入る。クロマ系成分の処理でも量子化回路6は直流
成分については前回のパスで使用した暫定的量子化幅α
を交流成分については前回のパスにおいて量子化幅予測
回路12が算出した予測の最適量子化幅係数αを使用す
る。
【0112】クロマ系成分について、1画面分の画像の
全ブロックの上記2パス目の処理が終わることにより、
全ての符号化処理を終了する。
【0113】この終了にあたり、符号出力回路10では
一時的に記憶しておいた、一定の書き込み単位の量に満
たなかったデータを記録系22に出力し、記録系22に
おけるメモリカードと云った記憶媒体71に書き込む
(f)。この符号出力回路10の出力による記憶媒体7
1への書き込みは、第1パスが終って第2パス実行に入
った段階で可変長のハフマン符号をつなぎ合わせた結果
が、1バイト若しくは数バイトの単位の書き込み単位に
まとまり次第、順次、記憶媒体へ書き込むようにしても
良いが、第2パスが終わった段階でまとめて行うように
しても良い。
【0114】尚、これに先立ち、符号出力回路10では
符号化に使用した直流成分に対する暫定的量子化幅αと
交流成分に対する最適量子化幅係数αあるいは量子化幅
そのものを当該符号化した画像の記憶データにおけるヘ
ッダ部分に書き込み、再生時の手掛かりとして残す。
【0115】以上、本装置においては、最初に目的の圧
縮率に応じた暫定的な量子化幅を用いて統計処理を行
い、この統計処理により直交変換係数の直流成分に関す
る符号量を確定させるとともに、直交変換係数の交流成
分に関する最適な量子化幅の予測と、各ブロックの交流
成分に対する割り当て符号量の決定に必要な統計量を
得、これらの情報をもとに交流成分の最適な量子化幅の
予測と、これらの情報と予測した量子化幅を用いて各ブ
ロックの交流成分の割り当て符号量の決定を行った後、
実際の符号化の処理に入り、直流成分に対しては統計処
理において用いた暫定的な量子化幅を、また、交流成分
に対しては前記予測した最適な量子化幅を用いて、順次
符号化出力を見ながら、各ブロックの割り当て符号量と
前のブロックまでの割り当て符号量の余りを合わせて得
られたそのブロックの交流成分に対する割り当て符号量
内に収まるように、交流成分の可変長符号化を打ち切る
ことでブロック毎に符号量を微調整し、所望の符号量内
で確実に収まった符号化出力を最終出力として得るよう
にしたものであり、この点が本発明の重要なポイントと
なっている。よって、本実施例で使用したブロックサイ
ズ、直交変換の種類、可変長符号化の種類などに限定さ
れるものではない。また、統計処理は必ずしも一回であ
る必要はなく、複数回実施させ、変換係数の直流成分に
ついても量子化幅を最適化してから、その符号量を確定
し、最終的な符号化処理に入るようにしても良い。
【0116】また、統計処理において実際に符号化を行
って発生符号量を確認するのは変換係数の直流成分につ
いては必ず行わなくてはならないが、交流成分に関して
は必ずしもその必要はなく、各ブロック毎にアクティビ
ティーを求め、その結果から各ブロック毎の交流成分の
割り当て符号量を求めるとともに最適な量子化係数を予
測するものでも勿論良い。また、交流成分用の収めるべ
き目的の総符号量(交流成分用目的符号量)をすべて、
各ブロックの交流成分の割り当て符号量に割り当てる必
要は必ずしもなく、例えば当該交流成分用目的符号量を
各ブロックの割り当て符号量に割り当てた時の端数を仮
に最初のブロックに対し、前ブロックでの余り分として
与えるなどしても良い。
【0117】また圧縮率は可変で無くても良く、一種類
の圧縮率に固定であり、目的の総符号量(目的符号
量)、暫定的な量子化係数などがすべて固定値として与
えられていても勿論良く、このように固定とすると、装
置としての構成はより簡単になる。また、画像データバ
ッファメモリは直交変換回路4と量子化回路6との間に
あっても良く、むしろこのようにすると符号化処理にお
けるブロック化と直交変換のプロセスを省略できる。し
かし、精度を保つためには、この場合、画像メモリのサ
イズが大きくなる。また、プロセス処理も、A/D変換
の前に行なうようにし、その後にディジタル化するよう
にしても構わない。また、本装置においては、ブロック
毎の可変長符号化を低周波成分より行い、画質への視覚
的影響の比較的少ない高周波成分が符号化の打ち切りに
より省略されるようにしているので、画質の劣化を最小
限に抑えて、しかも、高圧縮で符号化できるようにな
る。
【0118】以上、詳述した図1および図2の構成の本
発明は、要するに、統計処理の結果をもとに変換係数の
直流成分に関する発生符号量を確定させると共に、交流
成分に関する量子化係数の予測を行い、また、各ブロッ
ク毎の交流成分の発生符号量を予測し、これを各ブロッ
ク毎の交流成分の割り当て符号量とし、この割り当て符
号量とそのブロックの一つ前での処理ブロックで残った
割り当て符号量の余り分とを加えた値であるそのブロッ
クでの割り当て符号量に収まるように、ブロック毎に交
流成分の符号量を監視しながら、符号化を進め、符号量
が割り当て符号量に達するとそのブロックの符号化は終
了させ、そのときの割り当て符号量の余りを記憶してお
き、次のブロックの符号化に移ってゆくようにし、交流
成分に関しては予測した量子化係数を用いて符号化する
ようにしたものである。
【0119】これは、統計処理において変換係数の直流
成分に関する符号量を確定し、交流成分に関しては符号
量の目標値を絶対に超えることのないように符号量制御
し、これによって1画像に対して許された目的符号量を
オーバーフローすることのないようにするためである。
【0120】そして、符号化時に必須の直流成分に対し
ては符号化打ち切りが発生しないようにでき、視覚的に
画質に対して影響の小さい交流成分に対しては許容され
る容量の範囲で符号化を行い、溢れる分は符号化を打ち
切るようにしたものである。
【0121】従って、この発明によれば、画質をなるべ
く損なわずに、簡単な回路により一定の処理時間内で一
定の符号量内に1ビットも越えることなく確実に収まる
ように符号化できるようになる。
【0122】ここで、暫定的な量子化幅係数を如何にし
て最適な値にするかが、重要な課題となるので、この点
について少し説明する。画像データを前処理し、この出
力を量子化し、この量子化出力を可変長符号化する場
合、この量子化の量子化幅を変化させることにより、発
生する符号量が変化することは周知の事実である。これ
は、ハフマン符号化に代表される可変長符号化は、符号
化するデータの発生確率の偏りを利用してそのデータを
表現するのに必要な符号量を減少させると云うものであ
ることから、前記「量子化幅を変化させる」と云うこと
は、量子化値の発生確率を変化させることでもあるか
ら、量子化幅を変化させることにより発生符号量も変化
することがわかる。
【0123】ところで、同じ量子化幅で同一の符号化を
行っても、そのときの画像データによって発生符号量は
異なる。しかし、1つの画像データに対して量子化幅を
変化させて同一の符号化を行った場合は量子化幅と、発
生符号量との間には一定の関係が得られる。また、多く
の画像データで量子化幅と発生符号量の関係を求める
と、最も発生頻度の高い関係が統計的に得られることが
明らかになった。
【0124】具体的には多くの場合、次の関係が得られ
た。すなわち、ある量子化幅に対する相対的な比(量子
化係数)をαとし、発生符号量1画素あたりのビット数
(ビットレート)で表わしてこれをBRとすると、log BR=a ×log α+b …(1) なる関係になる。a は特にシステムに大きく依存し、同
一の符号化であれば、画像によらず略一定であり、ま
た、b は画像に依存する。このb の値は画像により、一
定の分布を持ち、この発生頻度分布から代表的なb が得
られる。
【0125】上述した図2の構成の符号化回路80は、
圧縮符号化において、一連の処理を目的符号量に基づき
算出した暫定的な量子化幅で第1パスの処理を行い、そ
の結果をもとに変換係数の直流成分に関する符号量を確
定させるとともに、交流成分に関する最適な量子化幅の
予測と、各ブロック毎の交流成分の割り当て符号量を求
めて、直流成分については第1パスで使用した暫定的量
子化幅、交流成分については第1パスにより予測した最
適な量子化幅により、交流成分の符号化を打ち切ること
で符号量制御を行いながら第2パスを実施し、最終的な
圧縮符号化データを得るといった少なくとも二回の処理
で完成させるもので、第1パスにより直流成分の符号量
を確定させ、交流成分に対する最適な量子化幅αと、各
ブロック毎の交流成分の割り当て符号量を決定するため
のものである。
【0126】図3においては符号化回路80の処理の流
れを分り易くするために、第1パスでの信号の流れを点
線の矢印P1で、また、第2パスでの信号の流れを実線
の矢印P2でそれぞれ図示してある。この信号の流れに
沿ってざっと動作を追ってみると次のようになる。
【0127】画像データの符号化が行われるに当り、画
像当たりの目標とする総符号量(目的符号量)が符号化
回路80の制御回路18内に設定される。これはスイッ
チ30の操作により、使用者が所望の撮影可能枚数を設
定することにより、この設定した撮影可能枚数に応じて
制御回路90が最適符号量を選択し、これを目的符号量
の情報として符号化回路80に与えることで実現してい
る。尚、初期状態ではあらかじめ定めた標準的な撮影可
能枚数に設定される。
【0128】撮影が行われると、これにより撮像系40
内の撮像素子から画像信号が出力される。この出力され
た画像信号は信号処理回路60内においてディジタル信
号に変換され、バッファメモリに記憶された後、8×8
画素のブロック単位で読み出され、Y成分、次にCr成
分、次にCb成分に分離される。この分離は最初にY成
分について行われ、8×8画素のブロック単位で出力さ
れるY成分の画像データは直交変換回路4に入力され
て、ブロック毎に直交変換(本例ではDCT;離散コサ
イン変換(Discrete Cosine Tran
sform)が行われる。直交変換回路4で得られたD
CT変換の変換係数は量子化回路6に入力され、一方、
制御回路18から目的とする符号量が量子化幅予測回路
12に出力され、量子化幅予測回路12では目的の符号
量から式(1) の関係を用いて量子化幅係数αの初期値を
設定し、量子化回路6に出力する。量子化回路6では、
入力された量子化幅係数αを用いて、変換係数を線形量
子化する。量子化された変換係数はエントロピ符号化回
路8に入力され、可変長符号化(本例ではハフマン符号
化)が行われる。
【0129】ここで入力された量子化係数は、ジグザグ
スキャンと呼ばれる低周波数成分から高周波数成分への
走査が行われ、一番目の直流成分のデータは直前に可変
長符号化を行ったブロックの直流成分との差分値がハフ
マン符号化されて出力される。
【0130】交流成分については走査順序の2番目から
64番目まで順番に変換係数を見てゆき、変換係数が0
でない(すなわち、有効な)係数が出てきたら、その直
前に存在した連続した0(零;無効)の係数の数(ゼロ
ラン)とその有効係数との値で、2次元のハフマン符号
化が行われる。また、ある係数以降、64番目の係数ま
で、連続して無効出力が続く場合には、ブロックの終り
を示すEOF(エンド・オブ・ファイル)の符号を出力
する。可変長符号化回路8は、以上のような符号が発生
する毎に、その発生した符号の符号量を符号量算出回路
14に出力する。
【0131】符号量算出回路14は、直流成分の符号の
符号量が入力されると画像全体の直流成分の符号量を求
めるべく累積し、交流成分の符号の符号量が入力される
と、当該ブロックの交流成分の符号量と画像全体の交流
成分の符号量とを求めるべく累積を行う。一ブロックに
ついて、符号化が終了すると、符号量算出回路14は当
該ブロックの交流成分の符号量を符号量割当回路14に
出力する。符号量割当回路20はこれを符号量情報テー
ブルに記憶する。Y成分についてのこのような処理が終
了すると、次にCr成分、そしてCb成分についても同
様の処理を行う。
【0132】一画像について、符号化が終了すると、符
号量算出回路14は制御回路18から入力した目的符号
量から、累積した画像全体の直流成分の符号量を引き、
交流成分用として残された符号量である交流成分用目的
符号量を算出する。この交流成分用目的符号量と第1パ
スで発生した画像全体の交流成分の符号量は量子化幅予
測回路12に出力され、また、交流成分用目的符号量及
び画像全体の交流成分の符号量とは割当回路20に出力
される。
【0133】以上の第1パスの符号化処理が終了する
と、続いて同じ画像データに対して第2パスの符号化処
理が行われる。第2パスでは信号処理回路60内のメモ
リから読み出された画像データは、最初にY成分、次に
Cr成分、次にCb成分に分離され、それぞれの成分の
画像データは8×8画素のブロック化等の処理が行われ
た後、直交変換回路4に入力され、ブロック毎に直交変
換(DCT変換)され、これにより、直交変換回路4で
得られたDCT変換係数は量子化回路6に入力される。
【0134】一方、量子化幅予測回路12では第1パス
での符号化により求められた画像全体の交流成分の符号
量と、目的とする交流成分の符号量と第1パスで用いた
量子化幅係数αとから、より適した量子化幅係数αを予
測し、量子化回路6に出力する。量子化回路6において
は直流成分については第1パスで用いた量子化幅係数α
を、交流成分については与えられたこの予測による新た
な量子化幅係数αによって算出した量子化幅を用いて、
DCT変換係数を線形量子化する。量子化された係数は
可変長符号化回路8に入力され、第1パスの符号化時と
同様の方式でハフマン符号化される。
【0135】この時、各ブロックのハフマン符号化を実
施する前に符号量割当回路20は、前述した方法で当該
ブロックの割り当て符号量を算出し、符号化打ち切り回
路16に出力する。
【0136】そして実際の符号化においては、発生した
交流成分の符号の符号量と符号量割当回路20から入力
した当該ブロックの割り当て符号量との比較が符号化打
切回路16で行われ、発生符号量が割り当て符号量を超
える場合にはその符号を含め当該ブロック内でそれ以降
の符号が出力されないように符号化を打ち切るため、符
号化打切回路16は打ち切り信号を可変長符号化回路8
に出力する。これにより、ハフマン符号化は打ち切られ
る。
【0137】以上の方法により、目的符号量に収まるよ
うに制御された符号データは順次、符号出力回路10を
経由して記録系70に出力され、記録される。
【0138】次に記録系70にて記録された記録媒体7
1の圧縮符号化記録画像データの再生について説明す
る。
【0139】図4に再生機の構成を示す。図において、
100は再生機本体であり、この再生機本体100は読
取部102、復号化回路104および処理回路106お
よび制御回路108を備える。読取部102は記憶媒体
71を着脱でき、記録媒体71の内容をインタフェース
回路110を介して読出すようになっている。
【0140】復号回路104は図5のような機能ブロッ
クを有する。すなわち、112はハフマン符号化データ
を復号化するハフマン復号部、114はこのハフマン復
号されて得られたデータを、記憶媒体71から読み出さ
れて設定入力された量子化幅の情報に基づいて逆量子化
する逆量子化部、116はこの逆量子化されて得られた
データを逆DCT変換して映像信号データとして出力す
るIDCT(逆DCT変換)部、そして、118はこれ
らの制御を司る制御部である。
【0141】処理回路106はバッファメモリ120、
エンコーダ122およびD/A変換器124を備える。
バッファメモリ120は復号化回路104から出力され
た映像信号データを一時保持するメモリであり、エンコ
ーダ122はこのバッファメモリ120から読み出され
る映像信号データをNTSC方式の映像信号に変換する
ものであり、D/A変換器124はこのNTSC方式の
映像信号をアナログ変換してテレビ用の映像信号として
出力するためのものである。
【0142】前記制御回路108は再生機本体100全
体の制御を司るものであり、再生機本体100の読取部
102に対し、符号化時の量子化幅の情報を読み出すべ
く制御して、その結果、記録媒体71から読み出された
符号化時の量子化幅の情報を復号化回路104の逆量子
化部114に設定させ、続いて制御回路108は記録媒
体71から圧縮符号化された映像信号データを読出すべ
く、読取部102を制御すると云った制御を行う。ま
た、図示しないが再生機本体100には、コマ送りスイ
ッチ等があり、このスイッチにより指定されたコマ位置
の映像を再生したりすることができる。このような制御
も制御回路108が行う。
【0143】次に上記構成の再生機の動作を説明する。
圧縮符号化された映像信号データが記録された記録媒体
(メモリカード)71が再生機本体100の読取部10
2に装着されると、まず、制御回路108は読取部10
2に対し、符号化時の量子化幅の情報を読み出すべく制
御する。その結果、読取部102において記録媒体71
から符号化時の量子化幅の情報が読み出され、この情報
は復号化回路104の逆量子化部114に設定される。
続いて制御回路108は記録媒体71から映像信号を読
出すべく、読取部102を制御するので、読取部102
は記録媒体71から映像信号を順次読み出し、復号化回
路104に入力する。これを受けた復号化回路104で
は、ハフマン復号部112においてハフマン符号を復号
し、量子化係数を得る。こうして得られた量子化係数は
逆量子化回路114に与えて逆量子化する。ここでの逆
量子化は先に設定されている前記量子化幅の情報を用い
て行われる。
【0144】逆量子化により得られた変換係数は、ID
CT部116においてブロック毎に逆DCT変換され、
元の映像信号に復元される。このようにしてY,Cr,
Cbの順で映像信号が復元されて復号化回路104から
出力され、処理回路106内のバッファメモリ120に
書き込まれる。1画面の映像信号データの書き込みが終
了すると、バッファメモリ120から通常のテレビ信号
の走査順で映像信号データが読み出され、エンコーダ1
22においてNTSC方式の映像信号に変換される。更
にD/A変換器124によりアナログ信号に変換され、
出力される。この映像信号をテレビモニタに入力するこ
とにより、画像がテレビ映像として再生され、映像とし
て鑑賞でき、また、ビデオプリンタ等のプリント装置に
与えてプリントすることによりハードコピーが得られる
ので、写真等と同様な形で鑑賞することがきるようにな
る。
【0145】以上説明したように、カメラは所望の撮影
可能枚数を設定でき、撮影可能枚数を設定することで、
カメラではこれに対応する圧縮率を自動設定すると共
に、この設定圧縮率に応じて定まる暫定的な量子化幅を
用いて、1画面分の撮影画像データを量子化し、可変長
符号化し、その結果得られるその1画面分の撮影画像デ
ータの交流成分の符号量より交流成分の最適量子化幅を
予測し、直流成分については、暫定的な量子化幅をその
まま予測値とし、この予測した最適量子化幅により前記
1画面分の撮影画像データを量子化し、エントロピ符号
化するようにし、符号化された映像信号の再生時には撮
影時に使用した前記最適量子化幅を用いて復号すること
により、所望の圧縮率での符号化を圧縮率別にハードウ
ェアを設けることなく、共通の一つのハードウェアで実
現でき、同様に所望の圧縮率で符号化された画像データ
の復号化を圧縮率別にハードウェアを設けることなく、
共通の一つのハードウェアで実現できる。
【0146】実施例では符号化の過程が第1パス、第2
パスの2回の処理で終了する2パス方式としたが、これ
に限るものではなく、3パス以上とし、直交変換の直流
成分の量子化幅も最適化してから発生符号量を確定さ
せ、それから交流成分について符号量制御しながら符号
化するようにしても良い。また、記録媒体にメモリカー
ドを用いた例を示したが、その他、フロッピディスク、
光ディスク、磁気テープ等を利用することもできる。ま
た、カメラと再生機が別体となっているものを示した
が、カメラが再生機の機能を合せ持つ一体型のものでも
良い。量子化幅の値そのものを記録媒体に記録するよう
にしたが、量子化幅値を変換あるいは符号化して記録す
るようにしても良い。直交変換はKL変換等でも良い。
エントロピ符号化は算術符号化、ランレングス符号化等
でも良い。
【0147】以上の実施例では目的符号量から量子化幅
を設定していたが、複数の目的符号量をモードで切換え
て使用するようなアプリケーションにおいては、それぞ
れのモードに対応する量子化幅を予め用意しておき、こ
れをモードで切り換えて使用するようにしても勿論差支
えない。
【0148】尚、本発明は上記し、且つ、図面に示す実
施例に限定することなくその要旨を変更しない範囲内で
適宜変形して実施し得るものであり、本発明はスチル画
像に限らず動画像等、種々の画像に対しての圧縮符号化
に適用できるものである。
【0149】
【発明の効果】以上詳述したように、本発明によれば、
所望の圧縮率で画像の圧縮符号化を行うことができ、し
かも、決して目的符号量を超えることなく符号化を行う
ことが可能となる符号化装置および符号化方法を提供で
きる。
【図面の簡単な説明】
【図1】 本発明の第1の実施例を示すブロック図。
【図2】 本発明装置の要部構成例を示すブロック図。
【図3】 図2の回路の動作の流れを説明するためのブ
ロック図。
【図4】 本発明を適用した再生機の構成を示すブロッ
ク図。
【図5】 本発明を適用した再生機の構成を示すブロッ
ク図。
【図6】 本発明による電子カメラ本体の外観を示す斜
視図。
【図7】 本発明の原理的な作用を説明するための動作
遷移図。
【図8】 8×8画素に分けられたブロックのジグザグ
・スキャンを説明するための図。
【図9】 従来技術を説明するための動作遷移図。
【符号の説明】
1…電子カメラ本体、6…量子化回路、8…可変長符号
化回路、10…符号出力回路、12…量子化幅予測回
路、14…符号量算出回路、16…符号打切回路、1
8,18a…制御回路、20…符号量割当回路、24…
DCPM回路、30…スイッチ、40…撮像系、48…
LCD表示器、60…信号処理回路、80…符号化回
路、70…記録系、71…記録媒体、90…制御回路、
100…再生機本体、102…読取部、104…復号化
回路、106…処理回路、108…制御回路、110…
インタフェース回路、112…ハフマン復号部、114
…逆量子化部、116…IDCT(逆DCT変換)部、
118…制御部。

Claims (5)

    (57)【特許請求の範囲】
  1. 【請求項1】 画像データを所定サイズのブロックに分
    割し、この各ブロック分けされた画像データに対して直
    交変換を行い、周波数成分別の直交変換係数化すると共
    に、この直交変換係数を量子化手段により量子化し、こ
    の量子化により得られた値を可変長符号化手段により可
    変長符号化して圧縮するようにした画像データの符号化
    装置において、 可変長符号化手段の出力を受け、符号量を算出して算出
    符号量情報として出力する符号量算出手段と、 画像当りの収めるべき目的の符号量の情報を与えると共
    に初めに統計処理指令を発令し、統計処理が終わると符
    号化処理指令を発令して実施させるよう制御する制御手
    段と、 前記統計処理指令による実行時には前記制御手段からの
    目的符号量の情報に基づき、該目的符号量の枠に対応し
    た所定の量子化幅の情報を前記量子化手段に与え、前記
    符号化処理指令による実行時には前記所定の量子化幅の
    情報を直流成分用の最適量子化幅として定め、交流成分
    に対しては直流成分を当該最適量子化幅で量子化し、符
    号化した場合の符号量を前記目的符号量から差し引いた
    残りの符号量に対応して予測した最適量子化幅を交流成
    分用の最適量子化幅と定め、前記量子化手段に与える量
    子化幅設定手段と、 前記統計処理において得られる算出符号量情報と前記目
    的符号量とを得て各ブロック毎に割り当てる割当符号量
    を算出する符号量割当手段と、 前記符号化処理指令による実行時、前記各ブロック毎の
    前記算出符号量情報がそのブロックでの前記割当符号量
    に達すると前記可変長符号化手段の当該ブロックに対す
    る符号化を打切るべく制御する符号化打切手段とを設け
    ると共に、 前記量子化手段は量子化幅の情報を受けてその量子化幅
    で量子化する構成とすることを特徴とする画像データの
    符号化装置。
  2. 【請求項2】 画像データをブロックに分割し、この分
    割されたブロック毎に直交変換を行ってからこの変換出
    力を暫定的な量子化幅で量子化手段により量子化し、こ
    の量子化出力を可変長符号化手段に与えて可変長符号化
    し、その時の発生符号量を調べ、この発生符号量から最
    適な量子化幅を予測し、その後、再び前記画像データを
    ブロックに分割し、この分割されたブロック毎に直交変
    換を行ってからこの変換出力を前記予測した量子化幅で
    量子化手段により量子化し、この量子化出力を可変長符
    号化手段に与えて可変長符号化を行う際に、各ブロック
    毎の前記発生符号量から決定した各ブロック毎の割り当
    て符号量にしたがって各ブロック毎に符号量制御を行い
    ながら可変長符号化を行う符号化装置において、 前記直交変換係数出力の交流成分に対する量子化幅につ
    いてのみ最適な量子化幅を予測し、直流成分の量子化幅
    は暫定的な量子化幅をそのまま最適な量子化幅とする量
    子化幅予測手段と、 前記予測した量子化幅と前記各ブロック毎の統計量とか
    ら各ブロック毎の交流成分の発生符号量を予測し、これ
    を各ブロック毎の交流成分の割り当て符号量とするとと
    もに、符号化処理を実施するブロックより前の処理済み
    ブロックでの符号化による発生符号の、割り当て符号量
    に対する余りを求め、当該余りと当該符号処理を実施
    するブロックの割り当て符号量とを加えて当該ブロック
    の交流成分の割り当て符号量として決定する符号量割当
    手段と、 前記符号量割当手段により割り当てられた交流成分の割
    り当て符号量を超えないように、前記可変長符号化にお
    ける量子化された変換出力の交流成分の符号化を打ち切
    る符号化打切手段とを備えて構成することを特徴とする
    画像データの符号化装置。
  3. 【請求項3】 画像データをブロックに分割し、この分
    割されたブロック毎に直交変換を行ってからこの変換出
    力を暫定的な量子化幅で量子化手段により量子化し、こ
    の量子化出力を可変長符号化手段に与えて可変長符号化
    し、その時の発生符号量を調べ、この発生符号量から最
    適な量子化幅を予測し、その後、再び前記画像データを
    ブロックに分割し、この分割されたブロック毎に直交変
    換を行ってからこの変換出力を前記予測した量子化幅で
    量子化手段により量子化し、この量子化出力を可変長符
    号化手段に与えて可変長符号化を行う際に、各ブロック
    毎の前記発生符号量から決定した各ブロック毎の割り当
    て符号量にしたがって各ブロック毎に符号量制御を行い
    ながら可変長符号化を行う符号化装置において、前記直
    交変換係数出力の交流成分に対する量子化幅についての
    み最適な量子化幅を予測し、直流成分の量子化幅は暫定
    的な量子化幅をそのまま最適な量子化幅とする量子化幅
    予測手段と、 前記予測した量子化幅と前記各ブロック毎の統計量とか
    ら各ブロック毎の交流成分の発生符号量を予測し、これ
    を各ブロック毎の交流成分の割り当て符号量とするとと
    もに、符号化処理を実施するブロックの前の処理済みブ
    ロックでの符号化による発生符号の、割り当て符号量に
    対する余りを求め、当該余りと当該符号化処理を実施す
    るブロックの割り当て符号量とを加えてこれを当該ブロ
    ックの交流成分の割り当て符号量として決定する符号量
    割当手段と、 前記符号量割当手段により割り当てられた交流成分の割
    り当て符号量を超えないように、前記可変長符号化にお
    ける量子化された変換出力の交流成分の符号化を打ち切
    る符号化打切手段とを備え、 前記可変長符号化手段には前記直交変換により得られる
    前記各ブロック単位の画像データのうち、直流成分につ
    いて前のブロックでの直流成分との差分を得ると共にこ
    の差分を可変長符号化する直流成分用の符号化処理部
    と、この直流成分の符号化処理部の処理が終わった後、
    前記交流成分について可変長符号化する交流成分用の符
    号化処理部とを設け、前記符号化打ち切り手段は交流成
    分用の符号化処理部に対してのみ機能させる構成とする
    ことを特徴とする画像データの符号化装置。
  4. 【請求項4】 画像データを所定サイズのブロックに分
    割し、この各ブロック分けされた画像データに対して直
    交変換を行い、周波数成分別の直交変換係数化すると共
    に、この直交変換係数を量子化し、この量子化により得
    られた値を可変長符号化して圧縮するようにした画像デ
    ータの符号化方法において、 統計処理と符号化処理に分け、初めに統計処理を行って
    から次に符号化処理に入るようにし、統計処理では前記
    量子化を予め定めた所定の量子化幅により行い、この量
    子化により得られた値の可変長符号化データの量を求め
    てこれと収めるべき目的の符号量とから交流成分用の最
    適量子化幅を予測し、且つ、各ブロック毎の割り当て符
    号量を決定し、直流成分用は統計処理で用いた前記所定
    の量子化幅を最適量子化幅とし、次に符号化処理に入
    り、前記量子化を前記最適量子化幅により行い、これを
    可変長符号化することにより発生した符号量を求めて、
    符号量がそのブロックでの割り当て符号量を超えない範
    囲で出力させて前記符号化処理を行うようにすることを
    特徴とする画像データの符号化方法。
  5. 【請求項5】 画像データをブロックに分割し、この分
    割されたブロック毎に直交変換を行ってからこの変換出
    力を暫定的な量子化幅で量子化手段により量子化し、こ
    の量子化出力を可変長符号化手段に与えて可変長符号化
    し、その時の発生符号量を調べ、この発生符号量から最
    適な量子化幅を予測し、その後、再び前記画像データを
    ブロックに分割し、この分割されたブロック毎に直交変
    換を行ってからこの変換出力を前記予測した量子化幅で
    量子化手段により量子化し、この量子化出力を可変長符
    号化手段に与えて可変長符号化を行う際に、各ブロック
    毎の前記発生符号量から決定した各ブロック毎の割り当
    て符号量にしたがって各ブロック毎に符号量制御を行い
    ながら可変長符号化を行う符号化方法において、 前記画像データの符号化処理を暫定的な量子化幅を用い
    て行い、最適化するのに必要な画像全体の符号量と各ブ
    ロック毎の交流成分の符号量を調べる第1のステップ
    と、 この第1のステップで得た画像全体の符号量から最適化
    に必要な交流成分の量子化幅の予測を行うとともに直流
    成分については暫定的な量子化幅をそのまま予測量子化
    幅とする第2のステップと、 前記予測された量子化幅を用いて前記各ブロック毎の量
    子化を行う第3のステップと、 前記各ブロックの交流成分の符号量と前記予測量子化幅
    とから各ブロック毎の交流成分の割り当て符号量を求
    め、この割り当て符号量と当該ブロックの前のブロック
    での符号化により発生した割り当て符号量の余り分とを
    加えた新たな割り当て符号量に収まる範囲でそのブロッ
    クの可変長符号化を実施する第4のステップとからなる
    ことを特徴とする画像データの符号化方法。
JP3026702A 1991-01-29 1991-01-29 画像データの符号化装置および符号化方法 Expired - Lifetime JP3012698B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP3026702A JP3012698B2 (ja) 1991-01-29 1991-01-29 画像データの符号化装置および符号化方法
US07/824,366 US5335016A (en) 1991-01-29 1992-01-23 Image data compressing/coding apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3026702A JP3012698B2 (ja) 1991-01-29 1991-01-29 画像データの符号化装置および符号化方法

Publications (2)

Publication Number Publication Date
JPH053550A JPH053550A (ja) 1993-01-08
JP3012698B2 true JP3012698B2 (ja) 2000-02-28

Family

ID=12200723

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3026702A Expired - Lifetime JP3012698B2 (ja) 1991-01-29 1991-01-29 画像データの符号化装置および符号化方法

Country Status (2)

Country Link
US (1) US5335016A (ja)
JP (1) JP3012698B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7369231B2 (en) 2003-03-31 2008-05-06 Nihon Kohden Corporation Flow cytometer for classifying leukocytes and method for determining detection angle range of the same
US10284859B2 (en) 2011-03-09 2019-05-07 Nec Corporation Video decoding device and method using inverse quantization

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3145403B2 (ja) * 1991-06-04 2001-03-12 クァルコム・インコーポレーテッド アダプティブ・ブロックサイズイメージ圧縮方法およびシステム
JP3348310B2 (ja) * 1992-09-28 2002-11-20 ソニー株式会社 動画像符号化方法および動画像符号化装置
US5543844A (en) * 1992-11-25 1996-08-06 Matsushita Electric Industrial Co., Ltd. Method and apparatus for coding image data
DE69417471T2 (de) * 1993-05-12 1999-11-25 Matsushita Electric Ind Co Ltd Gerät zur Aufzeichnung und Wiedergabe von Videosignalen
KR960010196B1 (ko) * 1993-06-04 1996-07-26 배순훈 인간의 시각특성을 이용한 디씨(dc) 변환계수 양자화기
JPH07123269A (ja) * 1993-10-22 1995-05-12 Fuji Xerox Co Ltd 画像信号の符号化装置
JP2581421B2 (ja) * 1993-11-25 1997-02-12 日本電気株式会社 動画像圧縮符号化方法
DE4408163A1 (de) * 1994-03-11 1995-09-14 Bosch Gmbh Robert Verfahren zum Übertragen von Daten
JP3336754B2 (ja) * 1994-08-19 2002-10-21 ソニー株式会社 デジタルビデオ信号の記録方法及び記録装置
JP2882287B2 (ja) * 1994-08-22 1999-04-12 日本電気株式会社 動画像符号化装置
JP3082585B2 (ja) * 1994-09-09 2000-08-28 富士ゼロックス株式会社 画像情報符号化処理装置、画像情報復号化処理装置及び画像情報符号化復号化処理装置
US5748786A (en) * 1994-09-21 1998-05-05 Ricoh Company, Ltd. Apparatus for compression using reversible embedded wavelets
JP3302229B2 (ja) 1994-09-20 2002-07-15 株式会社リコー 符号化方法、符号化/復号方法及び復号方法
GB2293734B (en) * 1994-09-20 1997-04-09 Ricoh Kk Method for compression using reversible embedded wavelets
US6873734B1 (en) 1994-09-21 2005-03-29 Ricoh Company Ltd Method and apparatus for compression using reversible wavelet transforms and an embedded codestream
US5867602A (en) * 1994-09-21 1999-02-02 Ricoh Corporation Reversible wavelet transform and embedded codestream manipulation
US6549666B1 (en) 1994-09-21 2003-04-15 Ricoh Company, Ltd Reversible embedded wavelet system implementation
US6195465B1 (en) 1994-09-21 2001-02-27 Ricoh Company, Ltd. Method and apparatus for compression using reversible wavelet transforms and an embedded codestream
US6229927B1 (en) 1994-09-21 2001-05-08 Ricoh Company, Ltd. Reversible embedded wavelet system implementation
US5881176A (en) 1994-09-21 1999-03-09 Ricoh Corporation Compression and decompression with wavelet style and binary style including quantization by device-dependent parser
US5966465A (en) * 1994-09-21 1999-10-12 Ricoh Corporation Compression/decompression using reversible embedded wavelets
KR0139164B1 (ko) * 1994-12-19 1998-06-01 김광호 적응적 직교변환부호화 장치
US5623424A (en) * 1995-05-08 1997-04-22 Kabushiki Kaisha Toshiba Rate-controlled digital video editing method and system which controls bit allocation of a video encoder by varying quantization levels
US5612900A (en) * 1995-05-08 1997-03-18 Kabushiki Kaisha Toshiba Video encoding method and system which encodes using a rate-quantizer model
US5819004A (en) * 1995-05-08 1998-10-06 Kabushiki Kaisha Toshiba Method and system for a user to manually alter the quality of previously encoded video frames
AU724540B2 (en) * 1995-05-08 2000-09-21 Kabushiki Kaisha Toshiba A system for manually altering the quality of a previously encoded video sequence
US5684714A (en) * 1995-05-08 1997-11-04 Kabushiki Kaisha Toshiba Method and system for a user to manually alter the quality of a previously encoded video sequence
JP3310525B2 (ja) * 1995-06-01 2002-08-05 ビー・イー・テクノロジー株式会社 デジタルデータ処理装置
US5953456A (en) * 1995-09-05 1999-09-14 Canon Kabushiki Kaisha Recording apparatus for repetitively recording image data of same frame and reproducing apparatus
US6571019B1 (en) * 1995-10-26 2003-05-27 Hyundai Curitel, Inc Apparatus and method of encoding/decoding a coded block pattern
FR2743246B1 (fr) * 1995-12-29 1998-01-23 Thomson Broadcast Systems Procede et dispositif de compression de donnees numeriques
US5786856A (en) * 1996-03-19 1998-07-28 International Business Machines Method for adaptive quantization by multiplication of luminance pixel blocks by a modified, frequency ordered hadamard matrix
JP3796756B2 (ja) * 1996-08-30 2006-07-12 ソニー株式会社 静止画動画記録装置及び静止画動画記録方法
JPH10117350A (ja) * 1996-10-09 1998-05-06 Matsushita Electric Ind Co Ltd アナログ処理方式の画像符号化装置
US5999656A (en) * 1997-01-17 1999-12-07 Ricoh Co., Ltd. Overlapped reversible transforms for unified lossless/lossy compression
DE69805583T2 (de) * 1997-02-08 2003-01-23 Matsushita Electric Ind Co Ltd Quantisierungsmatrix für die codierung von stand- und bewegtbildern
JP3364113B2 (ja) * 1997-05-19 2003-01-08 アイシン精機株式会社 スライドドアのロック装置
JPH10336654A (ja) * 1997-06-02 1998-12-18 Nec Corp 画像符号化装置
JP3522495B2 (ja) * 1997-06-13 2004-04-26 三洋電機株式会社 画像合成方法およびディジタルカメラ
US6266419B1 (en) * 1997-07-03 2001-07-24 At&T Corp. Custom character-coding compression for encoding and watermarking media content
US6058210A (en) * 1997-09-15 2000-05-02 Xerox Corporation Using encoding cost data for segmentation of compressed image sequences
US6115423A (en) * 1997-11-19 2000-09-05 Rockwell Science Center, Llc Image coding for liquid crystal displays
US6044172A (en) * 1997-12-22 2000-03-28 Ricoh Company Ltd. Method and apparatus for reversible color conversion
JP4131052B2 (ja) 1998-07-17 2008-08-13 ソニー株式会社 撮像装置
US7142235B2 (en) * 1998-07-30 2006-11-28 Hewlett-Packard Development Company, L.P. Opportunistic improvement of digital camera image quality
US6396958B1 (en) * 1998-09-25 2002-05-28 Lockheed Martin Corporation Image transmission system and method employing compression and error correction
JP3172500B2 (ja) 1998-10-19 2001-06-04 三洋電機株式会社 電子カメラ
JP2000224470A (ja) * 1999-02-02 2000-08-11 Minolta Co Ltd カメラシステム
US6314452B1 (en) 1999-08-31 2001-11-06 Rtimage, Ltd. System and method for transmitting a digital image over a communication network
JP3603000B2 (ja) * 2000-02-01 2004-12-15 カネボウ株式会社 ハフマン符号化装置、ハフマン符号化方法およびハフマン符号化処理プログラムを記録した記録媒体
WO2001080561A1 (en) * 2000-04-18 2001-10-25 Rtimage Inc. System and method for the lossless progressive streaming of images over a communication network
JP2002118853A (ja) * 2000-08-04 2002-04-19 Matsushita Electric Ind Co Ltd 画像復号装置及び画像復号方法
AU2002229090A1 (en) * 2000-12-14 2002-06-24 Rtimage Inc. Three-dimensional image streaming system and method for medical images
US6898323B2 (en) 2001-02-15 2005-05-24 Ricoh Company, Ltd. Memory usage scheme for performing wavelet processing
US6895120B2 (en) 2001-03-30 2005-05-17 Ricoh Co., Ltd. 5,3 wavelet filter having three high pair and low pair filter elements with two pairs of cascaded delays
US7006697B1 (en) 2001-03-30 2006-02-28 Ricoh Co., Ltd. Parallel block MQ arithmetic image compression of wavelet transform coefficients
US7062101B2 (en) 2001-03-30 2006-06-13 Ricoh Co., Ltd. Method and apparatus for storing bitplanes of coefficients in a reduced size memory
US6859563B2 (en) 2001-03-30 2005-02-22 Ricoh Co., Ltd. Method and apparatus for decoding information using late contexts
US6950558B2 (en) * 2001-03-30 2005-09-27 Ricoh Co., Ltd. Method and apparatus for block sequential processing
US7581027B2 (en) 2001-06-27 2009-08-25 Ricoh Co., Ltd. JPEG 2000 for efficent imaging in a client/server environment
US6650784B2 (en) * 2001-07-02 2003-11-18 Qualcomm, Incorporated Lossless intraframe encoding using Golomb-Rice
JP3869714B2 (ja) * 2001-12-17 2007-01-17 三洋電機株式会社 画像記録装置
US7280252B1 (en) 2001-12-19 2007-10-09 Ricoh Co., Ltd. Error diffusion of multiresolutional representations
JP2003199019A (ja) 2001-12-26 2003-07-11 Sony Corp 撮像装置および方法、記録媒体、並びにプログラム
US7095907B1 (en) 2002-01-10 2006-08-22 Ricoh Co., Ltd. Content and display device dependent creation of smaller representation of images
US7120305B2 (en) 2002-04-16 2006-10-10 Ricoh, Co., Ltd. Adaptive nonlinear image enlargement using wavelet transform coefficients
JP3858789B2 (ja) 2002-08-29 2006-12-20 コベルコ建機株式会社 建設機械のドアロック装置
US8049741B2 (en) * 2006-01-11 2011-11-01 Dell Products L.P. Video optimized LCD response time compensation
WO2007094100A1 (ja) * 2006-02-13 2007-08-23 Kabushiki Kaisha Toshiba 動画像符号化/復号化方法及び装置並びにプログラム
JP5222160B2 (ja) * 2009-01-13 2013-06-26 キヤノン株式会社 画像符号化装置、画像復号化装置、画像符号化方法及び画像復号化方法
WO2011024602A1 (ja) * 2009-08-26 2011-03-03 シャープ株式会社 画像符号化装置および画像復号装置
JP2014115963A (ja) * 2012-12-12 2014-06-26 Canon Inc 情報処理装置、情報処理方法、及びプログラム
US9722627B2 (en) * 2015-08-11 2017-08-01 International Business Machines Corporation Detection of unknown code page indexing tokens

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56136093A (en) * 1980-03-26 1981-10-23 Fuji Photo Film Co Ltd Adaptive quantizer
US4386373A (en) * 1980-07-18 1983-05-31 Ricoh Company, Ltd. Facsimile apparatus
DE3735349A1 (de) * 1986-10-18 1988-04-28 Toshiba Kawasaki Kk Bildpresservorrichtung
JPS63173485A (ja) * 1987-01-13 1988-07-18 Toshiba Corp 画像デ−タ圧縮装置
JPS63227272A (ja) * 1987-03-17 1988-09-21 Toshiba Corp 圧縮伸長処理装置
DE3709094A1 (de) * 1987-03-23 1988-10-06 Ant Nachrichtentech Verfahren zur codierung von bildsignalen
US4780761A (en) * 1987-06-02 1988-10-25 Eastman Kodak Company Digital image compression and transmission system visually weighted transform coefficients
BE1000643A5 (fr) * 1987-06-05 1989-02-28 Belge Etat Procede de codage de signaux d'image.
US5045853A (en) * 1987-06-17 1991-09-03 Intel Corporation Method and apparatus for statistically encoding digital data
JPH0810935B2 (ja) * 1988-12-09 1996-01-31 富士写真フイルム株式会社 画像信号圧縮符号化装置および伸長再生装置
JP3085465B2 (ja) * 1989-10-31 2000-09-11 オリンパス光学工業株式会社 画像データの符号化装置および符号化方法
US5079621A (en) * 1990-06-29 1992-01-07 Eastman Kodak Company Dct transform compression, transmission and recovery of digital color using virtual filtering mechanism

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7369231B2 (en) 2003-03-31 2008-05-06 Nihon Kohden Corporation Flow cytometer for classifying leukocytes and method for determining detection angle range of the same
US10284859B2 (en) 2011-03-09 2019-05-07 Nec Corporation Video decoding device and method using inverse quantization
US10771790B2 (en) 2011-03-09 2020-09-08 Nec Corporation Video decoding device and method using inverse quantization
US11483571B2 (en) 2011-03-09 2022-10-25 Nec Corporation Video decoding device and method using inverse quantization
US11496749B2 (en) 2011-03-09 2022-11-08 Nec Corporation Video decoding device and method using inverse quantization
US11509909B2 (en) 2011-03-09 2022-11-22 Nec Corporation Video decoding device and method using inverse quantization

Also Published As

Publication number Publication date
US5335016A (en) 1994-08-02
JPH053550A (ja) 1993-01-08

Similar Documents

Publication Publication Date Title
JP3012698B2 (ja) 画像データの符号化装置および符号化方法
US5291282A (en) Image data coding apparatus and method capable of controlling amount of codes
JP3085465B2 (ja) 画像データの符号化装置および符号化方法
KR100616262B1 (ko) 디지털 카메라 장치 및 기록 방법
US7903162B2 (en) Electronic camera that display information representative of its selected mode
US5384644A (en) Image processing method and apparatus for encoding variable-length data
JP3093233B2 (ja) 画像符号化装置及びその方法
KR100483101B1 (ko) 화상 복호 방법 및 장치
JP2959831B2 (ja) 画像データの符号化装置
JP2952000B2 (ja) 画像データの符号化装置および符号化方法
JP3795932B2 (ja) 画像データ圧縮符号化方法および装置
JP3037961B2 (ja) 電子カメラ装置および画像データの符号化装置
JPWO2002080575A1 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
JP3192133B2 (ja) 電子カメラ装置
JP3038022B2 (ja) 電子カメラ装置
JP2002252759A (ja) 画像量子化方法と装置、およびそれらを利用可能な画像符号化装置
JP3239583B2 (ja) 撮像装置及び撮像装置を有するテレビ電話装置
JP2941913B2 (ja) 画像信号記録装置
JPH0468770A (ja) 画像符号化方式
JPH04179371A (ja) 画像データの符号化装置および符号化方法
JPH0537901A (ja) 画像記録装置
JPH04207266A (ja) 画像データの符号化装置および符号化方法
JPH04207352A (ja) 画像データの符号化装置および符号化方法
EP0474444B1 (en) Image processing method and apparatus
JP3055954B2 (ja) 電子スチルカメラ

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19991109