WO2010035378A1 - 画像符号化装置、画像符号化方法及び撮像システム - Google Patents

画像符号化装置、画像符号化方法及び撮像システム Download PDF

Info

Publication number
WO2010035378A1
WO2010035378A1 PCT/JP2009/003308 JP2009003308W WO2010035378A1 WO 2010035378 A1 WO2010035378 A1 WO 2010035378A1 JP 2009003308 W JP2009003308 W JP 2009003308W WO 2010035378 A1 WO2010035378 A1 WO 2010035378A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
unit
code amount
image
coding apparatus
Prior art date
Application number
PCT/JP2009/003308
Other languages
English (en)
French (fr)
Inventor
高倉憲太郎
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2010530691A priority Critical patent/JPWO2010035378A1/ja
Priority to CN2009801334399A priority patent/CN102132569A/zh
Publication of WO2010035378A1 publication Critical patent/WO2010035378A1/ja
Priority to US12/979,938 priority patent/US20110096831A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to an image coding apparatus and image coding method for compression coding image data.
  • the present invention also relates to an imaging system.
  • JPEG Joint Photographic Experts Group
  • MPEG Motion Picture Experts Group
  • compression encoding processing in a plurality of encoding processing units is performed so as to reduce bias in the amount of data generated when generating a plurality of encoded data having different bit rates from the same input image data.
  • the start timing of the frame is offset controlled on a frame basis.
  • the multiplexing processing unit transmits the data at equal intervals in the unit time according to the code amount of each piece of encoded data generated in the unit time by the plurality of encoding processing units (see Patent Document 1).
  • the code amount is detected by the code amount detection unit, and the detected code amount is compared with a preset target code amount, and a target is obtained.
  • the quantization table is set so that the quantization coefficient becomes smaller and the coefficient evaluated as 0 increases.
  • data is quantized using the quantization table set anew, and the quantized data is encoded, compared with the target code amount, and repeated until it becomes smaller than the predetermined target code amount, thereby reducing the data amount. I was going. Therefore, updating of the quantization table, quantization, and coding are repeated, causing delay in data transfer and deterioration of the frame rate of moving images.
  • the code target data increases due to a sudden image change (person entry) or the like in a network camera etc.
  • the code amount rapidly increases, and when the target code amount is exceeded, frame dropping or the like occurs.
  • the present invention is to provide an image coding apparatus and method capable of speeding up compression encoding processing by reducing the number of times of quantization. To aim.
  • an image coding processing unit that compresses and codes image data; And a quantization parameter for achieving a target code amount of the second and subsequent coded data based on the code amount detection unit that detects the code amount of 1 encoded data and the code amount from the code amount detection unit.
  • a configuration provided with a code amount control unit to be determined is adopted.
  • a conversion table for determining a multiplier to be multiplied by a quantization parameter in order to generate second and subsequent encoded data in the image encoding processing unit based on the detected code amount of the first encoded data is further added. If provided, the code amount control unit can determine the quantization parameter for achieving the target code amount of the second and subsequent encoded data based on the determined multiplier.
  • the multiplier of the quantization parameter for generating the second and subsequent encoded data is determined in the conversion table on the basis of the code amount of the first encoded data, and based on the determined multiplier. , By determining the quantization parameter for achieving the target code amount of the second and subsequent coded data, before performing the quantization and coding for the generation of the second and subsequent coded data. It is possible to reduce the amount of coded code.
  • the image coding apparatus has a function of detecting the code amount of the second and subsequent coded data in the code amount detection unit. According to this, when generating the third and subsequent encoded data, an appropriate quantization parameter can be determined from the code amount of the first or second encoded data.
  • the present invention since quantization parameters are controlled in advance before performing quantization and coding, the number of processes can be reduced, and compression coding of image data can be sped up.
  • FIG. 2 It is a block diagram showing composition of an imaging system in an embodiment of the invention. It is a block diagram which shows embodiment of the image coding apparatus in FIG. It is a block diagram which shows other embodiment of the image coding apparatus in FIG. It is a figure which shows an example of the DCT (discrete cosine transform) coefficient obtained by the structure of FIG.2 and FIG.3.
  • A), (b) and (c) is a figure which shows the example of the conversion table in the structure of FIG. 3 respectively.
  • FIG. 1 is a block diagram showing a configuration of an imaging system (for example, a network camera) 20 according to an embodiment of the present invention.
  • 21 is an optical system
  • 22 is an image sensor
  • 23 is an analog-to-digital converter (ADC)
  • 24 is a signal processing circuit
  • 25 is an image encoding device
  • 26 is a recording and transfer circuit
  • 27 is a system control circuit
  • 28 is a timing control circuit
  • 29 is a network interface circuit.
  • 30 is a receiving system.
  • the entire imaging system 20 of FIG. 1 is controlled by a system control circuit 27.
  • an object image incident through the optical system 21 is formed on the image sensor 22.
  • the image sensor 22 is driven by the timing control circuit 28 to accumulate optical data of the formed object image and photoelectrically convert it into an electric signal.
  • the electrical signal read from the image sensor 22 is converted into a digital signal by the ADC 23 and then input to the signal processing circuit 24 including the image coding device 25.
  • the signal processing circuit 24 performs image processing such as Y / C separation processing, edge processing, image enlargement / reduction processing, compression encoding processing using the present invention, and the like.
  • the image data subjected to the image processing is recorded on the medium or transferred to the network in the recording and transfer circuit 26.
  • the transferred image data is transmitted by the network interface circuit 29 to the receiving system 30.
  • FIG. 2 is a block diagram showing an embodiment of the image coding apparatus 25 in FIG. 1 in JPEG.
  • the image coding apparatus 25 of FIG. 2 includes a still image coding processing unit 40, a code amount detection unit 51, a conversion table 52, and a code amount control unit 53.
  • the still image coding processing unit 40 sequentially receives 8 ⁇ 8 pixel data forming one block as the input image data IN, and performs orthogonal transform on the pixel data, and the DCT unit 41 And a variable-length coding unit 43 that codes the quantized data from the quantization unit 42 and supplies the output coded data OUT.
  • FIG. 3 is a block diagram showing an embodiment of the image encoding device 25 in FIG. 1 in MPEG.
  • the image encoding device 25 of FIG. 3 includes a moving image encoding processing unit 60, a code amount detection unit 81, a conversion table 82, and a code amount control unit 83.
  • the moving picture coding processing unit 60 includes a prediction error generation unit 61, a DCT unit 62, a quantization unit 63, a variable length coding unit 64, an inverse quantization unit 65, and an inverse DCT unit 66.
  • FIG. 4 is a diagram showing an example of DCT coefficients obtained by the configurations of FIG. 2 and FIG.
  • the change in color is mostly smooth. Therefore, in the DCT coefficient distribution as shown in FIG. 4 generated by performing the orthogonal transformation, the DCT coefficients having a large value are concentrated in the low frequency region M, and the DCT coefficients having a small value in the high frequency region N are Become distributed.
  • DCT coefficients as shown in FIG. 4 can be obtained by the DCT unit 41.
  • the quantization unit 42 generates a quantization coefficient by dividing the DCT coefficient by the quantization parameter set in advance in the quantization table. By performing such processing, it is possible to make the value 0 (zero) for the high frequency area N which does not affect the image quality, and to concentrate the quantization coefficient in the low frequency area M.
  • image data is allocated by assigning code words having different lengths according to the appearance rate of the combination of the number of data having a value of 0 (zero) and the value of the quantization coefficient. Compression coding is realized.
  • the encoded data obtained by the variable-length coding unit 43 is input to the code amount detection unit 51, and the code amount is obtained.
  • the code amount control unit 53 calculates the multiplier of the quantization parameter by the conversion table 52 from the code amount obtained by the code amount detection unit 51, and determines the quantization parameter from the multiplier.
  • coding using intra-frame correlation or coding using inter-frame correlation is performed to obtain I picture, P picture, and B picture.
  • the output from the quantization unit 63 is also input to the inverse quantization unit 65, and then passes through the inverse DCT unit 66 and is sent to the reconstructed image generation unit 67.
  • the result of the motion compensation unit 70 is also input to the reconstructed image generation unit 67. If it is a block of inter-frame correlation, both input data are added and the result is written to the frame memory 68, but the result of the motion compensation unit 70 is not input since it is only the intra-frame correlation in I picture. . Therefore, the data sent from the inverse DCT unit 66 is written to the frame memory 68 as it is.
  • the image data sent to the frame memory 68 is called a reconstructed image, and is used as a reference image for P picture or B picture.
  • image data is input in block units and sent to the prediction error generation unit 61 and the motion detection unit 69.
  • the motion detection unit 69 receives the input image data, reads nearby pixel data at the same spatial position as the input image data from the frame memory 68, and performs a motion search for a pixel position having the highest correlation with the input image data. Then, the motion detection unit 69 sends the image data with the highest correlation to the motion compensation unit 70 as the searched reference image data, and at the same time sends a motion vector indicating the position to the motion vector coding unit 71.
  • intra-frame correlation encoding is selected, the subsequent encoding processing is the same as in the I picture.
  • the reference image data is sent to the prediction error generation unit 61 via the motion compensation unit 70, and the difference with the input image data is calculated and output to the DCT unit 62.
  • the variable length coding unit 64 codes the quantized image data, and at the same time, the data is output from the multiplexing unit 72 together with the motion vector data coded by the motion vector coding unit 71.
  • FIG. 5A shows a specific example of the conversion table 82 in the configuration of FIG.
  • the conversion table 82 in FIG. 5A is “H.264 / 60 fps” encoding (this is called first encoding) is 1, H.264 is used.
  • the frame rates of MPEG-4 and MPEG-2 respectively indicate the values of multipliers to be multiplied by the quantization parameter (first quantization parameter) of the first encoding.
  • the coded data obtained by the variable-length coding unit 64 is input to the code amount detection unit 81, and the code amount is obtained.
  • the code amount control unit 83 calculates a multiplier for the first quantization parameter by the conversion table 82 shown in FIG. 5A from the code amount obtained by the code amount detection unit 81, and calculates the quantization parameter from the multiplier. decide.
  • FIG. 6 is a timing chart showing an example of multi-stream coding order in the configuration of FIG.
  • “H.264 / 60 fps” is the first coding
  • “MPEG-4 / 60 fps” is the second coding
  • “H.264 / 30 fps” is the third coding.
  • the multiplier “1.2” is selected at the time of the second encoding
  • “first quantization parameter ⁇ 1.2” is set as the second quantization parameter
  • the target code amount of the second encoding can be achieved.
  • the multiplier “0.5” is selected, and “first quantization parameter ⁇ 0.5” is set as the third quantization parameter, thereby achieving the third encoding target.
  • a code amount can be achieved.
  • the conversion table 82 may be rewritten by the user.
  • the magnitude of the encoded data is calculated before the second and third encoded data are generated by the moving picture encoding processing unit 60.
  • the magnitude of the encoded data is calculated before the second and third encoded data are generated by the moving picture encoding processing unit 60.
  • the first encoding to be the reference is "H.264 / 60 fps", but may be "another encoding method / frame rate”.
  • the multiplier it is possible to calculate the multiplier not only from the frame rate but also from the bit rate and the frame type.
  • An example for the bit rate is shown in FIG. 5 (b).
  • An example of the frame type is shown in FIG.
  • the quantization parameter when the quantization parameter is determined with the code amount generated by the P picture of MPEG-2 as the target code amount, the code amount of four times is generated by the I picture of MPEG-2 Be done.
  • the code amount generated in the I picture can be made closer to the target code amount. is there.
  • the image processing in the image encoding device 25 is not necessarily applied only to the signal based on the subject image formed on the image sensor 22 via the optical system 21, for example It is needless to say that the present invention can also be applied to processing an image signal input as an electrical signal from an apparatus.
  • the present invention can speed up image compression encoding, so an image encoding apparatus that needs control to obtain a fixed code amount, for example, a network camera including a monitoring camera , Useful for videophones etc.
  • Reference Signs List 20 imaging system 21 optical system 22 image sensor 23 analog-to-digital converter (ADC) 24 signal processing circuit 25 image encoding device 26 recording transfer circuit 27 system control circuit 28 timing control circuit 29 network interface circuit 30 reception system 40 still picture encoding processing unit 41 DCT unit (orthogonal transformation unit) 42 Quantization unit 43 Variable length coding unit 51 Code amount detection unit 52 Conversion table 53 Code amount control unit 60 Video encoding processing unit 61 Prediction error generation unit 62 DCT unit (Orthogonal transformation unit) 63 Quantization unit 64 Variable-length coding unit 65 Inverse quantization unit 66 Inverse DCT unit (inverse orthogonal transformation unit) 67 reconstructed image generation unit 68 frame memory 69 motion detection unit 70 motion compensation unit 71 motion vector encoding unit 72 multiplexing unit 81 code amount detection unit 82 conversion table 83 code amount control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

　同一の入力画像データから複数の符号化データを生成する画像符号化装置（２５）であって、画像データを圧縮符号化する動画像符号化処理部（６０）と、生成された第１の符号化データの符号量を検出する符号量検出部（８１）と、検出された第１の符号化データの符号量を基準にして動画像符号化処理部（６０）にて第２以降の符号化データを生成するために量子化パラメータに乗算すべき乗数を決定する変換テーブル（８２）と、決定された乗数に基づいて、第２以降の符号化データの目標符号量を達成するための量子化パラメータを決定する符号量制御部（８３）とを備える。

Description

画像符号化装置、画像符号化方法及び撮像システム
　本発明は、画像データを圧縮符号化する画像符号化装置及び画像符号化方法に関する。また、撮像システムに関するものである。
　デジタルスチルカメラやデジタルビデオカメラの普及に伴って、画像データの圧縮符号化技術であるＪＰＥＧ（Joint Photographic Experts Group）やＭＰＥＧ（Moving Picture Experts Group）が広く普及している。また、インターネット等のネットワークが急速に普及しており、監視カメラを含むネットワークカメラやテレビ電話が大きい広がりを見せている。しかしながら、ネットワーク帯域が広がるにつれ一度に接続されるユーザも増えるため、送受信可能なデータ量が限られる。そこで、各社にてデータ量を削減する制御方法が検討されている。
　ある従来技術によれば、同一の入力画像データからビットレートの異なる複数の符号化データを生成する場合に発生するデータ量の偏りを低減するように、複数の符号化処理部における圧縮符号化処理の開始タイミングがフレーム単位でオフセット制御される。多重化処理部は、複数の符号化処理部によって単位時間内に生成された各符号化データの符号量に応じて単位時間内で均等に間隔を空けて送信する（特許文献１参照）。
特開２００４－１４０６５１号公報
　従来の画像符号化装置では、符号化処理部によって生成された符号化データは、符号量検出部において符号量が検出され、検出された符号量は予め設定された目標符号量と比較され、目標符号量を超えた場合は、量子化係数が小さくなるように、また０と評価される係数が増えるように量子化テーブルを設定する。そして、改めて設定された量子化テーブルを用いてデータを量子化し、量子化されたデータを符号化し、目標符号量と比較し、所定の目標符号量より小さくなるまで繰り返すことで、データ量低減を行っていた。したがって、量子化テーブルの更新、量子化、符号化が繰り返され、データ転送に遅延や、動画像のフレームレート悪化が生じていた。
　具体的には、ネットワークカメラ等において急な画像変化（人物進入）等により、符号対象データが増えることで、急激に符号量が増え、目標符号量を超えた場合、コマ落ち等が発生していた。
　本発明は、上記問題点を解決するために、量子化を行う回数を少なくすることによって、圧縮符号化処理の高速化を図ることができる画像符号化装置及びその方法を提供することを１つの目的とする。
　上記目的を達成するために、本発明は、同一の入力画像データから複数の符号化データを生成する画像符号化装置において、画像データを圧縮符号化する画像符号化処理部と、生成された第１の符号化データの符号量を検出する符号量検出部と、当該符号量検出部からの符号量に基づいて、第２以降の符号化データの目標符号量を達成するための量子化パラメータを決定する符号量制御部とを備えた構成を採用したものである。
　検出された第１の符号化データの符号量を基準にして画像符号化処理部にて第２以降の符号化データを生成するために量子化パラメータに乗算すべき乗数を決定する変換テーブルを更に備えれば、符号量制御部は、決定された乗数に基づいて、第２以降の符号化データの目標符号量を達成するための量子化パラメータを決定することができる。
　これによると、第１の符号化データの符号量を基準にして第２以降の符号化データを生成するための量子化パラメータの乗数を変換テーブルにて決定し、かつ決定された乗数に基づいて、第２以降の符号化データの目標符号量を達成するための量子化パラメータを決定することで、第２以降の符号化データの生成のための量子化及び符号化を実施する前に、生成される符号量を低減することが可能である。
　また、本発明に係る画像符号化装置は、符号量検出部で第２以降の符号化データの符号量を検出する機能を有する。これによると、第３以降の符号化データの生成に際し、第１又は第２の符号化データの符号量から適切な量子化パラメータを決定することができる。
　本発明によれば、量子化及び符号化を実施する前に、量子化パラメータを事前に制御するので、処理回数を削減することができ、画像データの圧縮符号化を高速化することができる。
本発明の実施の形態における撮像システムの構成を示すブロック図である。 図１中の画像符号化装置の実施の形態を示すブロック図である。 図１中の画像符号化装置の他の実施の形態を示すブロック図である。 図２及び図３の構成にて得られるＤＣＴ（discrete cosine transform）係数の一例を示す図である。 （ａ）、（ｂ）及び（ｃ）は各々図３の構成における変換テーブルの具体例を示す図である。 図３の構成における符号化順序例を示すタイミング図である。
　以下、本発明の実施の形態について、図面を参照しながら説明する。
　図１は、本発明の実施の形態における撮像システム（例えばネットワークカメラ）２０の構成を示すブロック図である。図１において、２１は光学系、２２はイメージセンサ、２３はアナログ・デジタル変換器（ＡＤＣ）、２４は信号処理回路、２５は画像符号化装置、２６は記録転送回路、２７はシステム制御回路、２８はタイミング制御回路、２９はネットワークインターフェース回路である。３０は受信システムである。図１の撮像システム２０の全体は、システム制御回路２７によって制御されている。
　図１の撮像システム２０において、光学系２１を通って入射した被写体像はイメージセンサ２２上に結像される。イメージセンサ２２はタイミング制御回路２８によって駆動されることにより、結像された被写体像の光学データを蓄積し、電気信号へと光電変換する。イメージセンサ２２から読み出された電気信号は、ＡＤＣ２３によってデジタル信号へと変換された後、画像符号化装置２５を含む信号処理回路２４に入力される。この信号処理回路２４においては、Ｙ／Ｃ分離処理、エッジ処理、画像の拡大縮小処理、本発明を用いた圧縮符号化処理等の画像処理が行われる。画像処理された画像データは、記録転送回路２６においてメディアへの記録あるいはネットワークへの転送が行われる。転送された画像データは、ネットワークインターフェース回路２９により受信システム３０へ向けて送信される。
　図２は、図１中の画像符号化装置２５のＪＰＥＧにおける実施の形態を示すブロック図である。図２の画像符号化装置２５は、静止画像符号化処理部４０と、符号量検出部５１と、変換テーブル５２と、符号量制御部５３とを備える。このうち静止画像符号化処理部４０は、入力画像データＩＮとして１ブロックを構成する８×８個の画素データが順次入力されて当該画素データを直交変換するＤＣＴ部４１と、当該ＤＣＴ部４１からの直交変換データを量子化する量子化部４２と、当該量子化部４２からの量子化データを符号化して出力符号化データＯＵＴを供給する可変長符号化部４３とを備える。
　図３は、図１中の画像符号化装置２５のＭＰＥＧにおける実施の形態を示すブロック図である。図３の画像符号化装置２５は、動画像符号化処理部６０と、符号量検出部８１と、変換テーブル８２と、符号量制御部８３とを備える。このうち動画像符号化処理部６０は、予測誤差生成部６１と、ＤＣＴ部６２と、量子化部６３と、可変長符号化部６４と、逆量子化部６５と、逆ＤＣＴ部６６と、再構成画像生成部６７と、フレームメモリ６８と、動き検出部６９と、動き補償部７０と、動きベクトル符号化部７１と、多重化部７２とを備え、入力画像データＩＮとして１ブロックを構成する８×８個の画素データが順次入力され、多重化部７２から出力符号化データＯＵＴが得られるものである。
　図４は、図２及び図３の構成にて得られるＤＣＴ係数の一例を示す図である。一般に自然画像においては、大部分が色の変化は滑らかである。したがって、直交変換を行うことによって生成される図４に示すようなＤＣＴ係数分布においては、低周波領域Ｍに大きな値を有するＤＣＴ係数が集中し、高周波領域Ｎには小さな値を有するＤＣＴ係数が分布するようになる。
　図２の構成によれば、ＤＣＴ部４１にて、図４に示すようなＤＣＴ係数が得られる。量子化部４２は、予め量子化テーブルに設定された量子化パラメータでＤＣＴ係数を除算することによって、量子化係数を生成する。かかる処理を行うことによって、画質的に影響を与えない高周波領域Ｎについては値が０（ゼロ）となるようにし、以て低周波領域Ｍに量子化係数を集中させることが可能となる。次に、可変長符号化部４３において、値が０（ゼロ）であるデータの個数と量子化係数の値との組み合わせの出現率に合わせて長さの異なる符号語を割り当てることにより、画像データの圧縮符号化が実現する。
　しかも、可変長符号化部４３によって得られた符号化データは符号量検出部５１に入力され、その符号量が求められる。符号量制御部５３は、符号量検出部５１で求められた符号量から変換テーブル５２によって量子化パラメータの乗数を算出し、その乗数から量子化パラメータを決定する。
　一方、図３の構成によれば、フレーム内相関を利用した符号化又はフレーム間相関を利用した符号化が実施され、Ｉピクチャ、Ｐピクチャ及びＢピクチャが得られる。
　Ｉピクチャの場合、量子化部６３からの出力は逆量子化部６５にも入力され、その後逆ＤＣＴ部６６を通り再構成画像生成部６７に送られる。この再構成画像生成部６７には、同時に動き補償部７０の結果も入力される。もし、フレーム間相関のブロックであれば、両入力データが足し合わされその結果が、フレームメモリ６８に書き込まれるのだが、Ｉピクチャではフレーム内相関のみであるため、動き補償部７０の結果は入力されない。このため、逆ＤＣＴ部６６から送られてくるデータがそのままフレームメモリ６８に書き込まれる。このフレームメモリ６８へ送られる画像データを再構成画像と呼び、Ｐピクチャ又はＢピクチャ時の参照画像として使用される。
　Ｐピクチャ及びＢピクチャの場合、画像データがブロック単位で入力され、予測誤差生成部６１及び動き検出部６９に送られる。動き検出部６９は、入力画像データを受け、入力画像データと同一空間位置の近傍画素データをフレームメモリ６８から読み出し、入力画像データと最も相関の高い画素位置を求める動き探索を行う。そして、動き検出部６９において、最も相関の高い画像データを探索された参照画像データとして動き補償部７０に送るのと同時に、その位置を示す動きベクトルを動きベクトル符号化部７１に送る。ここで、フレーム内相関符号化が選択された場合、以後の符号化処理はＩピクチャ時と同様となる。フレーム間相関符号化が選択された場合には、動き補償部７０を経由して参照画像データが予測誤差生成部６１に送られ、入力画像データとの差分をとり、ＤＣＴ部６２に出力する。可変長符号化部６４においては、量子化された画像データを符号化し、これと同時に、動きベクトル符号化部７１において符号化された動きベクトルのデータとともに多重化部７２から出力される。
　図５（ａ）は、図３の構成における変換テーブル８２の具体例を示す図である。図５（ａ）の変換テーブル８２は、「Ｈ．２６４／６０ｆｐｓ」の符号化（これを第１の符号化と呼ぶ。）の場合を１とした場合に、Ｈ．２６４の他のフレームレート時、ＭＰＥＧ－４、ＭＰＥＧ－２のそれぞれのフレームレート時に、第１の符号化の量子化パラメータ（第１の量子化パラメータ）に乗算すべき乗数の値を示す。
　図３において、可変長符号化部６４によって得られた符号化データは符号量検出部８１に入力され、その符号量が求められる。符号量制御部８３は、符号量検出部８１で求められた符号量から、図５（ａ）に示す変換テーブル８２によって第１の量子化パラメータに対する乗数を算出し、その乗数から量子化パラメータを決定する。
　図６は、図３の構成におけるマルチストリームの符号化順序例を示すタイミング図である。図６によれば、「Ｈ．２６４／６０ｆｐｓ」を第１の符号化とし、「ＭＰＥＧ－４／６０ｆｐｓ」を第２の符号化とし、「Ｈ．２６４／３０ｆｐｓ」を第３の符号化としている。図５（ａ）によれば、第２の符号化時に乗数「１．２」が選択され、「第１の量子化パラメータ×１．２」を第２の量子化パラメータに設定することで、第２の符号化の目標符号量を達成することができる。また、第３の符号化時には乗数「０．５」が選択され、「第１の量子化パラメータ×０．５」を第３の量子化パラメータに設定することで、第３の符号化の目標符号量を達成することができる。なお、変換テーブル８２はユーザが書き換えてもよい。
　上記のように構成された本発明の実施の形態によれば、例えば動画像符号化処理部６０によって第２、第３の符号化データの生成を実施する前に、これらの符号化データの大小が把握できる。つまり、量子化、符号化を実施する前に、生成される符号量を低減することが可能である。
　なお、上記の例では基準となる第１の符号化を「Ｈ．２６４／６０ｆｐｓ」としたが、「他の符号化方式／フレームレート」としてもよい。また、フレームレートのみでなく、ビットレート、フレームタイプからも乗数を算出することが可能である。ビットレートの場合の例を図５（ｂ）に示す。また、フレームタイプの場合の例を図５（ｃ）に示す。
　図５（ｃ）によれば、例えば、ＭＰＥＧ－２のＰピクチャで生成される符号量を目標符号量として量子化パラメータを決定した場合、ＭＰＥＧ－２のＩピクチャでは４倍もの符号量が生成される。一方、量子化パラメータと符号量との間には反比例の関係が成り立つ。そこで、Ｉピクチャの符号化時には、Ｐピクチャの場合の量子化パラメータに乗数「４」を掛けて４倍にすることで、Ｉピクチャで生成される符号量を目標符号量に近づけることができるのである。
　また、本発明の実施の形態の画像符号化装置２５における画像処理は、必ずしも光学系２１を介してイメージセンサ２２に結像された被写体像に基づく信号のみに適用されるものではなく、例えば外部装置から電気信号として入力される画像信号を処理する際にも適用可能であることはいうまでもない。
　以上説明したように、本発明は、画像の圧縮符号化を高速化することができるので、一定の符号量が得られるような制御が必要となる画像符号化装置、例えば監視カメラを含むネットワークカメラ、テレビ電話等に有用である。
２０　撮像システム
２１　光学系
２２　イメージセンサ
２３　アナログ・デジタル変換器（ＡＤＣ）
２４　信号処理回路
２５　画像符号化装置
２６　記録転送回路
２７　システム制御回路
２８　タイミング制御回路
２９　ネットワークインターフェース回路
３０　受信システム
４０　静止画像符号化処理部
４１　ＤＣＴ部（直交変換部）
４２　量子化部
４３　可変長符号化部
５１　符号量検出部
５２　変換テーブル
５３　符号量制御部
６０　動画像符号化処理部
６１　予測誤差生成部
６２　ＤＣＴ部（直交変換部）
６３　量子化部
６４　可変長符号化部
６５　逆量子化部
６６　逆ＤＣＴ部（逆直交変換部）
６７　再構成画像生成部
６８　フレームメモリ
６９　動き検出部
７０　動き補償部
７１　動きベクトル符号化部
７２　多重化部
８１　符号量検出部
８２　変換テーブル
８３　符号量制御部

Claims (14)

  1. 　同一の入力画像データから複数の符号化データを生成する画像符号化装置であって、
    　画像データを圧縮符号化する画像符号化処理部と、
    　生成された第１の符号化データの符号量を検出する符号量検出部と、
    　前記符号量検出部からの符号量に基づいて、第２以降の符号化データの目標符号量を達成するための量子化パラメータを決定する符号量制御部とを備えたことを特徴とする画像符号化装置。
  2. 　同一の入力画像データから複数の符号化データを生成する画像符号化装置であって、
    　画像データを圧縮符号化する画像符号化処理部と、
    　生成された第１の符号化データの符号量を検出する符号量検出部と、
    　検出された第１の符号化データの符号量を基準にして前記画像符号化処理部にて第２以降の符号化データを生成するために量子化パラメータに乗算すべき乗数を決定する変換テーブルと、
    　決定された乗数に基づいて、第２以降の符号化データの目標符号量を達成するための量子化パラメータを決定する符号量制御部とを備えたことを特徴とする画像符号化装置。
  3. 　請求項２記載の画像符号化装置において、
    　前記符号量検出部は、第２以降の符号化データの符号量を検出する機能を更に備え、
    　前記変換テーブルは、前記第２以降の符号化データの符号量に基づいて量子化パラメータの乗数を決定することを特徴とする画像符号化装置。
  4. 　請求項２記載の画像符号化装置において、
    　前記変換テーブルは、第１の符号化データと第２以降の符号化データとの符号化方式に基づいて量子化パラメータの乗数を決定することを特徴とする画像符号化装置。
  5. 　請求項２記載の画像符号化装置において、
    　前記変換テーブルは、第１の符号化データと第２以降の符号化データとのフレームレートに基づいて量子化パラメータの乗数を決定することを特徴とする画像符号化装置。
  6. 　請求項２記載の画像符号化装置において、
    　前記変換テーブルは、第１の符号化データと第２以降の符号化データとのフレームタイプに基づいて量子化パラメータの乗数を決定することを特徴とする画像符号化装置。
  7. 　請求項２記載の画像符号化装置において、
    　前記変換テーブルは、第１の符号化データと第２以降の符号化データとのビットレートに基づいて量子化パラメータの乗数を決定することを特徴とする画像符号化装置。
  8. 　請求項２記載の画像符号化装置において、
    　前記変換テーブルは、符号化方式、フレームレート、フレームタイプ、ビットレートのいずれか１つ又はこれらの組み合わせによって量子化パラメータの乗数を決定することを特徴とする画像符号化装置。
  9. 　請求項２記載の画像符号化装置において、
    　前記画像符号化処理部は、
    　１ブロックを構成する画素データが順次入力されて当該画素データを直交変換する直交変換部と、
    　前記直交変換部からの直交変換データを量子化する量子化部と、
    　前記量子化部からの量子化データを符号化する符号化部とを備え、
    　前記符号量制御部は、前記量子化部における量子化を制御することを特徴とする画像符号化装置。
  10. 　請求項２記載の画像符号化装置において、
    　前記画像符号化処理部は、
    　１ブロックを構成する画素データが順次入力されて当該画素データを直交変換する直交変換部と、
    　前記直交変換部からの直交変換データを量子化する量子化部と、
    　前記量子化部からの量子化データを符号化する符号化部と、
    　前記量子化部からの量子化データを逆量子化する逆量子化部と、
    　前記逆量子化部からの逆量子化データを逆直交変換する逆直交変換部と、
    　前記逆直交変換部からの逆直交変換データを記憶するフレームメモリと、
    　前記フレームメモリからのデータと現フレームの入力画像データとから動き検出を行う動き検出部と、
    　前記動き検出部からの動き検出結果に基づいて参照画像データを生成する動き補償部と、
    　入力画像データと前記動き補償部からの参照画像データとの差分を生成する予測誤差生成部とを備え、
    　前記符号量制御部は、前記量子化部における量子化と、前記逆量子化部における逆量子化とを制御することを特徴とする画像符号化装置。
  11. 　画像符号化装置を用いて、同一の入力画像データから複数の符号化データを生成する画像符号化方法であって、
    　画像データを圧縮符号化する工程と、
    　生成された第１の符号化データの符号量を検出する工程と、
    　前記検出された符号量に基づいて、第２以降の符号化データの目標符号量を達成するための量子化パラメータを決定する工程とを備えたことを特徴とする画像符号化方法。
  12. 　請求項２記載の画像符号化装置を含んで信号処理を行う信号処理回路と、
    　前記信号処理回路へ画像信号を出力するセンサと、
    　前記センサへ光を結像する光学系とを備えたことを特徴とする撮像システム。
  13. 　請求項１２記載の撮像システムにおいて、
    　前記センサから得た画像信号をデジタル信号に変換して前記信号処理回路へ供給する変換器を更に備えたことを特徴とする撮像システム。
  14. 　請求項１２記載の撮像システムにおいて、
    　前記画像符号化装置の符号化データをネットワークへ送出するインターフェース回路を更に備えたことを特徴とする撮像システム。
PCT/JP2009/003308 2008-09-29 2009-07-14 画像符号化装置、画像符号化方法及び撮像システム WO2010035378A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010530691A JPWO2010035378A1 (ja) 2008-09-29 2009-07-14 画像符号化装置、画像符号化方法及び撮像システム
CN2009801334399A CN102132569A (zh) 2008-09-29 2009-07-14 图像编码装置、图像编码方法和摄像系统
US12/979,938 US20110096831A1 (en) 2008-09-29 2010-12-28 Image encoding device, image encoding method, and imaging system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008251111 2008-09-29
JP2008-251111 2008-09-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/979,938 Continuation US20110096831A1 (en) 2008-09-29 2010-12-28 Image encoding device, image encoding method, and imaging system

Publications (1)

Publication Number Publication Date
WO2010035378A1 true WO2010035378A1 (ja) 2010-04-01

Family

ID=42059394

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/003308 WO2010035378A1 (ja) 2008-09-29 2009-07-14 画像符号化装置、画像符号化方法及び撮像システム

Country Status (4)

Country Link
US (1) US20110096831A1 (ja)
JP (1) JPWO2010035378A1 (ja)
CN (1) CN102132569A (ja)
WO (1) WO2010035378A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012042701A1 (ja) * 2010-09-28 2012-04-05 パナソニック株式会社 マルチストリーム符号化制御装置及びカメラシステム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08149413A (ja) * 1994-09-22 1996-06-07 Matsushita Electric Ind Co Ltd 可変ビットレート符号化装置および記録装置および記録媒体
JPH08237657A (ja) * 1995-03-01 1996-09-13 Hitachi Ltd 動画像符号化装置及び動画像伝送装置並びにテレビ会議装置
JP2006086861A (ja) * 2004-09-16 2006-03-30 Victor Co Of Japan Ltd 画像符号化装置
JP2007281973A (ja) * 2006-04-07 2007-10-25 Canon Inc 映像データ送信装置、映像データ送信方法及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5861921A (en) * 1993-03-29 1999-01-19 Canon Kabushiki Kaisha Controlling quantization parameters based on code amount
US5949956A (en) * 1994-09-22 1999-09-07 Matsushita Electric Industrial Co., Ltd. Variable bit rate video encoder, and video recorder, including code amount allocation
JP4297235B2 (ja) * 2000-03-17 2009-07-15 パナソニック株式会社 信号記録装置、信号記録方法、信号再生装置、信号再生方法、および記録媒体
JP4040426B2 (ja) * 2002-10-18 2008-01-30 富士通株式会社 データ送信装置
US20050276500A1 (en) * 2004-06-15 2005-12-15 Canon Kabushiki Kaisha Image encoding apparatus, and image processing apparatus and its control method
EP1638333A1 (en) * 2004-09-17 2006-03-22 Mitsubishi Electric Information Technology Centre Europe B.V. Rate adaptive video coding
KR101150332B1 (ko) * 2004-10-21 2012-06-08 삼성전자주식회사 양자화계수 선택빈도수가 통계적으로 반영된 테이블을이용한 영상부호화 제어장치 및 방법
JP4909779B2 (ja) * 2006-04-17 2012-04-04 パナソニック株式会社 画像データ転送方法、画像処理装置、及び撮像システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08149413A (ja) * 1994-09-22 1996-06-07 Matsushita Electric Ind Co Ltd 可変ビットレート符号化装置および記録装置および記録媒体
JPH08237657A (ja) * 1995-03-01 1996-09-13 Hitachi Ltd 動画像符号化装置及び動画像伝送装置並びにテレビ会議装置
JP2006086861A (ja) * 2004-09-16 2006-03-30 Victor Co Of Japan Ltd 画像符号化装置
JP2007281973A (ja) * 2006-04-07 2007-10-25 Canon Inc 映像データ送信装置、映像データ送信方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012042701A1 (ja) * 2010-09-28 2012-04-05 パナソニック株式会社 マルチストリーム符号化制御装置及びカメラシステム

Also Published As

Publication number Publication date
CN102132569A (zh) 2011-07-20
US20110096831A1 (en) 2011-04-28
JPWO2010035378A1 (ja) 2012-02-16

Similar Documents

Publication Publication Date Title
CN102986211B (zh) 视频编码中的速率控制
US7885341B2 (en) Spatial filtering for improving compression efficiency of motion compensated interframe coding
KR20040047977A (ko) 공간적으로 스케일가능한 압축
JPH03267877A (ja) 画像符号化装置及びその方法
US5844607A (en) Method and apparatus for scene change detection in digital video compression
JP2007067796A (ja) 符号化方法
KR100961760B1 (ko) 이산코사인변환 계수를 참조하는 움직임 추정 방법 및 장치
US8705628B2 (en) Method and device for compressing moving image
JP2007274621A (ja) 画像伝送システム及び画像伝送方法
JP2023063113A (ja) 符号化装置及び方法、及び電子機器
JP5843631B2 (ja) フレームレート制御方法，フレームレート制御装置およびフレームレート制御プログラム
JP5130245B2 (ja) 撮影解像度予測型動画像符号化装置および復号装置
JP2010183181A (ja) 画像処理装置、およびそれを搭載した撮像装置
US20090060039A1 (en) Method and apparatus for compression-encoding moving image
JP2009055236A (ja) 映像符号化装置及び方法
WO2010035378A1 (ja) 画像符号化装置、画像符号化方法及び撮像システム
WO2011074189A1 (ja) 画像符号化方法及び画像符号化装置
KR100366382B1 (ko) 동영상 부호화 장치 및 방법
KR20130032807A (ko) 동영상 부호화 장치 및 방법
JP2007336260A (ja) 映像監視装置
US8913200B2 (en) Encoding apparatus, encoding method, and program
JP2007336005A (ja) 画像符号化装置および画像符号化方法
JPH07298270A (ja) 動き補償フレーム間予測符号化装置
JP2009302947A (ja) 画像符号化装置、画像符号化方法および撮像システム
JP2012049753A (ja) 映像圧縮装置、映像圧縮方法およびプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980133439.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09815800

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010530691

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09815800

Country of ref document: EP

Kind code of ref document: A1