WO2014050015A1 - 画像符号化装置、撮影画像記録システム、撮像装置、画像符号化方法、および画像符号化プログラム - Google Patents

画像符号化装置、撮影画像記録システム、撮像装置、画像符号化方法、および画像符号化プログラム Download PDF

Info

Publication number
WO2014050015A1
WO2014050015A1 PCT/JP2013/005485 JP2013005485W WO2014050015A1 WO 2014050015 A1 WO2014050015 A1 WO 2014050015A1 JP 2013005485 W JP2013005485 W JP 2013005485W WO 2014050015 A1 WO2014050015 A1 WO 2014050015A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
complexity
code amount
encoded data
Prior art date
Application number
PCT/JP2013/005485
Other languages
English (en)
French (fr)
Inventor
中野　智史
真理 安田
田中　哲夫
池田　淳
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to EP13842957.6A priority Critical patent/EP2903271B1/en
Priority to US14/427,931 priority patent/US10091521B2/en
Priority to CN201380050218.1A priority patent/CN104685871B/zh
Publication of WO2014050015A1 publication Critical patent/WO2014050015A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to an image encoding device that encodes a plurality of input images that are continuously input to generate a plurality of encoded data constituting video data, an imaging device including the same, a captured image recording system, and an image encoding
  • the present invention relates to a method and an image encoding program.
  • CBR constant bit rate
  • VBR variable bit rate variable bit rate
  • the generated code amount is suppressed for a complex scene that requires a large amount of code, so that the image quality is deteriorated, or a large amount for a monotonous scene that requires a small amount of code. Therefore, when recording video data, there is a problem that a monotonous scene requires more storage capacity than necessary.
  • the generated code amount can be minimized while ensuring high image quality, but in principle, the bit rate varies depending on the scene. Therefore, in the VBR encoding method, the amount of generated code per unit time cannot be predicted, and when video data is recorded on a recording medium with limited storage capacity, how many hours of video data can be recorded on the recording medium. There is a drawback that cannot be predicted.
  • a standard quantization parameter is set, provisional encoding is performed, a generated code amount is calculated, and then a 2-pass VBR code that actually encodes an image.
  • the conversion method is known.
  • this two-pass VBR encoding method since the main encoding is performed after knowing the characteristics of the entire content by provisional encoding, the image quality can be maximized so as to be within the target storage capacity. .
  • real encoding cannot be performed because the main encoding is performed after provisional encoding is completed for the entire content.
  • One of the image encoding devices adopting the 1-pass VBR encoding method is an image encoding device described in Patent Document 1.
  • the first image unit for example, Image complexity for each 1 GOP
  • the average image complexity of the encoded image from the start of encoding to the present is calculated from the quantization parameter and the generated code amount
  • the quantization parameter for the first image unit is calculated from the average bit rate. Since the amount is adjusted for each second image unit (for example, macroblock) based on the excess / deficiency from the bit rate, the amount of code can be controlled in real time in the VBR encoding method, and high The encoding of quality can be achieved.
  • the image quality fluctuates when the subject changes over a longer period than the first image unit.
  • the time for responding to a continuous change in the state of the subject is increased in proportion to the elapsed time, and the bit rate and image quality until the response are increased. You are out of your target.
  • the present invention has been made in view of the above problems, and provides an image encoding apparatus capable of recording encoded data for a desired time on a recording medium having a predetermined storage capacity in the VBR encoding method. With the goal.
  • An image encoding device encodes a plurality of input images that are continuously input to generate a plurality of encoded data constituting video data, and a code for each cycle of the plurality of encoded data. And a code amount control unit that controls the code amount of the encoded data generated by the image encoding unit so that the amount becomes a predetermined value.
  • the captured image recording system is a captured image recording system that includes an imaging device and an image recording device.
  • the captured image recording system includes an imaging unit that captures a subject and generates an image, and the imaging device.
  • An image encoding unit that encodes a plurality of input images that are generated and continuously input by the imaging unit, and generates a plurality of encoded data constituting video data, and a cycle unit of the plurality of encoded data
  • the code amount control unit for controlling the code amount of the encoded data generated by the image encoding unit, and the image encoding unit provided in the image recording apparatus so that the code amount of the image becomes a predetermined value.
  • a recording medium having a predetermined storage capacity for recording the generated encoded data.
  • the imaging device captures a plurality of encoded data constituting video data by encoding a photographing unit that photographs a subject and generates an image, and a plurality of input images that are generated and continuously input by the photographing unit.
  • the image encoding method includes: an image encoding step for encoding a plurality of input images that are continuously input to generate a plurality of encoded data constituting video data; and a code for each cycle of the plurality of encoded data.
  • a code amount control step for controlling the code amount of the encoded data generated in the image encoding step so that the amount becomes a predetermined value.
  • An image encoding program is an image encoding unit that encodes a plurality of input images that are continuously input to generate a plurality of encoded data constituting video data, and a cycle unit of the plurality of encoded data
  • the code amount is controlled so as to function as a code amount control unit that controls the code amount of the encoded data generated by the image encoding unit.
  • the present invention it is possible to control the amount of generated code per cycle, and it is possible to record encoded data for a desired time on a recording medium having a predetermined storage capacity.
  • FIG. 1 is a block diagram illustrating a configuration of an image encoding device according to an embodiment.
  • FIG. 2 is a block diagram illustrating a captured image recording system according to the embodiment.
  • FIG. 3 is a graph showing an example of fluctuation in image complexity of 1 GOP in the embodiment.
  • FIG. 4 is a graph showing a frequency spectrum obtained by performing Fourier transform on the image complexity in the embodiment.
  • FIG. 5 is a flowchart showing the operation of the image coding apparatus according to the embodiment.
  • FIG. 6 is a graph illustrating an example of fluctuations in the bit rate of 1 GOP in the modification of the embodiment.
  • FIG. 7 is a block diagram showing a captured image recording system in the first modification of the embodiment.
  • FIG. 8 is a block diagram showing a captured image recording system in a second modification of the embodiment.
  • FIG. 9 is a block diagram illustrating a captured image recording system according to a third modification of the embodiment.
  • An image encoding device encodes a plurality of continuously input images and generates a plurality of encoded data constituting video data, and the plurality of encoded data And a code amount control unit that controls the code amount of the encoded data generated by the image encoding unit so that the code amount of each period becomes a predetermined value.
  • An image encoding device encodes a plurality of input images that are continuously input to generate a plurality of encoded data constituting video data, and within a period unit.
  • a quantity control unit With this configuration, the image quality within a period unit can be made constant, the amount of generated codes per period unit can be controlled, and encoded data for a desired time can be recorded on a recording medium having a predetermined storage capacity.
  • the period unit may be a change period of the code amount of the encoded data or a change period of the complexity of the input image.
  • an image encoding apparatus encodes a plurality of continuous input images in which a code amount of encoded data fluctuates periodically to generate a plurality of encoded data. And a code amount control unit that controls a coding parameter of the image coding unit so as to obtain a constant image quality within the period unit.
  • an image encoding device encodes a plurality of input images that are continuously input, and generates a plurality of encoded data constituting video data;
  • a code amount control unit that controls the encoding parameter of the encoded data generated by the image encoding unit so that the image quality is constant in a unit of period in which the code amount of the encoded data is constant have.
  • the code amount for each cycle may be the total generated code amount or the average bit rate in the cycle.
  • the image encoding device may further include an average image complexity calculating unit that calculates an average image complexity in a fluctuation cycle of the complexity of the input image based on a plurality of encoded data, and the code amount control The unit may control the code amount of the encoded data generated by the image encoding unit based on the average image complexity.
  • the image encoding device includes an image complexity calculation unit that calculates the complexity of an input image based on the encoded data, and a variation period that calculates a variation period of the complexity calculated by the image complexity calculation unit.
  • the average image complexity calculation unit may calculate the average image complexity in the variation period calculated by the variation period calculation unit. With this configuration, the complexity fluctuation period for calculating the average image complexity can be calculated from the encoded data.
  • the image complexity calculating unit may calculate the complexity of the input image based on the code amount of the encoded data. With this configuration, the fluctuation period of the complexity of the input image can be calculated from the code amount of the encoded data.
  • the image complexity calculation unit may calculate the complexity of the input image based on the code amount of the encoded data and the quantization parameter of the quantization unit.
  • the complexity fluctuation period for calculating the average image complexity can be calculated from the code amount of the encoded data and the quantization parameter.
  • the image complexity calculation unit may calculate the complexity for each GOP of a plurality of input images that are continuously input, and the fluctuation period calculation unit is the image complexity calculation unit.
  • the variation period may be calculated every time the complexity is calculated, and the average image complexity calculation unit calculates the average image complexity in the variation period every time the variation period is calculated by the variation period calculation unit. It's okay.
  • the fluctuation period calculation unit may calculate the fluctuation period at a constant time interval, and the average image complexity calculation unit calculates the fluctuation period every time the fluctuation period calculation unit calculates You may calculate the average image complexity in the said fluctuation period.
  • the fixed time interval may be, for example, a complexity fluctuation cycle calculated by a fluctuation cycle calculation unit, or may be an arbitrarily determined time regardless of the complexity fluctuation cycle.
  • the image encoding unit may include a quantization unit and a variable length encoding unit that performs variable length encoding on the data output from the quantization unit.
  • the input image is encoded through a process of quantization and variable length encoding.
  • the code amount control unit may control the code amount of the encoded data by adjusting the quantization parameter in the quantization unit.
  • the code amount control unit may control the code amount of the encoded data based on the average image complexity and the target code amount set in the fluctuation period.
  • the code amount control unit may control the code amount of the encoded data based on the average image complexity and the target code amount set in the fluctuation period.
  • the average image complexity calculating unit may calculate the average image complexity using the operating time of the image encoding device in one day as a fluctuation cycle.
  • the complexity of the input image fluctuates with a cycle of one day and when the operating time of the day is known, such as when shooting a moving image of a customer at a store
  • the operating time can be set as a fluctuation cycle.
  • the average image complexity calculating unit may calculate the average image complexity using the operation time of the image encoding device in one week as a fluctuation cycle.
  • a captured image recording system is a captured image recording system including an imaging device and an image recording device.
  • the imaging unit is provided in the imaging device and shoots a subject to generate an image.
  • An image encoding unit that generates a plurality of encoded data constituting video data by encoding a plurality of input images generated and continuously input by the imaging unit, and a plurality of encodings
  • a code amount control unit that controls the code amount of the encoded data generated by the image encoding unit so that the code amount of the cycle unit of the data becomes a predetermined value, and an image code provided in the image recording apparatus
  • a recording medium having a predetermined storage capacity for recording the encoded data generated by the converting unit is also with this configuration, it is possible to control the amount of generated code per cycle, and it is possible to record encoded data for a desired time on a recording medium having a predetermined storage capacity.
  • the captured image recording system described above includes an image complexity calculation unit that calculates the complexity of an input image based on encoded data, and a change cycle that calculates a change cycle of the complexity calculated by the image complexity calculation unit.
  • the code amount of the encoded data generated by the image encoding unit may be controlled based on the above. With this configuration, the code amount of the encoded data is controlled based on the average image complexity in the fluctuation cycle of the complexity of the input image, and the complexity fluctuation cycle for calculating the average image complexity is encoded data. It can be calculated from
  • the image complexity calculating unit and the fluctuation period calculating unit may be provided in the image recording apparatus. With this configuration, calculation resources required for the imaging apparatus can be reduced, and the imaging apparatus can be configured to be small, light, and inexpensive.
  • the average image complexity calculating unit may be provided in the image recording apparatus. With this configuration, calculation resources required for the imaging apparatus can be reduced, and the imaging apparatus can be configured to be small, light, and inexpensive.
  • An imaging apparatus encodes a photographing unit that shoots a subject and generates an image, and a plurality of input images that are generated and continuously input by the photographing unit to form a plurality of video data
  • the code amount of the encoded data generated by the image encoding unit and the image encoding unit that generates the encoded data and the encoded amount of the encoded data generated by the image encoding unit are controlled so that the code amount of the plurality of encoded data in units of cycles And a code amount control unit. Also with this configuration, it is possible to control the amount of generated code per cycle, and it is possible to record encoded data for a desired time on a recording medium having a predetermined storage capacity.
  • An image encoding method encodes a plurality of continuously input images to generate a plurality of encoded data constituting video data, and a plurality of encoded data
  • a code amount control step for controlling the code amount of the encoded data generated in the image encoding step so that the code amount in the period unit becomes a predetermined value.
  • An image encoding program includes: an image encoding unit that encodes a plurality of input images that are continuously input to generate a plurality of encoded data that constitute video data; and a plurality of encodings It is characterized by functioning as a code amount control unit for controlling the code amount of the encoded data generated by the image encoding unit so that the code amount of the cycle unit of data becomes a predetermined value. Also with this configuration, it is possible to control the amount of generated code per cycle, and it is possible to record encoded data for a desired time on a recording medium having a predetermined storage capacity.
  • an image encoding device according to an embodiment and a captured image recording system including the image encoding device will be described with reference to the drawings.
  • an example of an image encoding device that encodes a moving image by the MPEG-2 method will be described as an aspect of the image encoding device.
  • the encoding method of the image encoding device is not limited to MPEG-2.
  • a method such as H.263 may be employed.
  • FIG. 2 is a block diagram showing a captured image recording system 1000 according to the embodiment.
  • the captured image recording system 1000 includes an imaging unit 100, an image encoding device 200, and a recording device 300.
  • the imaging unit 100 is connected to the image encoding device 200, and the image encoding device 200 is further connected to the recording device 30.
  • the photographing unit 100 and the image encoding device 200 are provided in a camera 400 as an imaging device, and the image encoding device 200 in the camera 400 is connected to the recording device 300 via the network NW.
  • the network NW does not necessarily need to be interposed between the image encoding device 200 and the recording device 300, and for example, a configuration in which the recording device 300 is built in the camera 400 may be employed.
  • Such a captured image recording system 1000 can be applied as, for example, a surveillance video recording system that records a video of a surveillance camera installed in a store or the like.
  • the camera 400 which is a monitoring camera is installed so as to photograph the vicinity of the store entrance, for example, the recording device 300 is installed in the monitoring center, and the camera 400 and the recording device 300 communicate via the Internet.
  • the monitoring video captured by the monitoring camera is recorded in the recording device 300.
  • the photographing unit 100 is a general photographing unit including a lens, an image sensor, and the like.
  • the photographing unit 100 photographs a subject and generates and outputs continuous frame images at a predetermined frame rate (for example, 1/30 second).
  • the frame images generated by the photographing unit 100 are continuously input to the image encoding device 200 as input images.
  • the image encoding device 200 encodes these input images to generate a plurality of encoded data constituting video data.
  • the image encoding device 200 encodes the input image by the VBR encoding method.
  • the generated plurality of encoded data is transmitted to the recording apparatus 300 via the network NW.
  • the recording apparatus 300 includes a recording medium having a predetermined storage capacity, and records a plurality of encoded data (video data) transmitted via the network NW on the recording medium.
  • the video data is recorded to the full storage capacity of the recording medium of the recording apparatus 300 and the timing at which the recording medium runs out can be designated. This is because the video data recorded on the recording medium can be copied to another recording medium at such timing to ensure free space or to switch to a new recording medium.
  • the image encoding apparatus 200 encodes an input image by the VBR encoding method
  • the generated code amount varies depending on the content of the input image, and cannot be predicted. Therefore, in order to avoid a situation in which the recording medium of the recording apparatus 300 runs out of space and recording becomes impossible, the free capacity of the recording medium of the recording apparatus 300 must be monitored. Therefore, in the present embodiment, a captured image recording system 1000 is provided in which image quality is ensured by the VBR encoding method and the time (number of days) of video recorded on the recording medium of the recording apparatus 300 can be designated.
  • FIG. 1 is a block diagram illustrating a configuration of an image encoding device according to an embodiment.
  • the image encoding device 200 encodes continuously input input images to generate encoded data constituting video data, and controls a generated code amount in the image encoding unit 10. And a control unit 20.
  • the image encoding unit 10 includes a subtractor 11, a DCT unit 12, a quantizer 13, an inverse quantizer 14, an inverse DCT unit 15, an adder 16, a frame memory 17, a motion compensation predictor 18, and a variable length encoding.
  • a container 19 is provided.
  • the continuous frame images photographed by the photographing unit 100 are input to the image encoding unit 10 as input images.
  • the input image is divided into an I picture that performs intra-frame coding, a P picture that performs inter-frame prediction coding only with forward prediction, and inter-frame prediction coding in both forward and reverse directions. Are classified into B pictures to be performed.
  • the input image is divided into 16 ⁇ 16 pixel macroblocks, and encoding processing is performed in units of macroblocks.
  • the input image of the I picture input to the subtractor 11 is input to the DCT unit 12 as it is.
  • the DCT unit 12 performs discrete cosine transform on the input image, generates DCT coefficients, and outputs them to the quantizer 13.
  • the quantizer 13 quantizes the input DCT coefficient with a quantization parameter (quantization width) specified by a code amount control unit 26 described later to generate a quantized transform coefficient, and the inverse quantizer 14 and This is output to the variable length encoder 19.
  • the variable length encoder 19 encodes the input quantized transform coefficient to generate and output I-picture encoded data.
  • the inverse quantizer 14 inversely quantizes the input quantized transform coefficient, generates an inverse quantized transform coefficient, and outputs it to the inverse DCT unit 15.
  • the inverse DCT unit 15 performs inverse discrete cosine transform on the input inverse quantization transform coefficient to restore the input image.
  • the restored input image is recorded in the frame memory 17 to be used as a reference image in later inter-frame prediction.
  • the input images of P picture and B picture are input to the motion compensated predictor 18.
  • the motion compensation predictor 18 compares the input image with the reference image recorded in the frame memory 17 and calculates a motion vector for each macroblock.
  • the motion compensation predictor 18 further generates a predicted image for the input image by performing motion compensation frame prediction based on the calculated motion vector.
  • the predicted image generated by the motion compensated predictor 18 is output to the subtractor 11 and the adder 16.
  • the subtractor 11 calculates a difference image between the input image and the predicted image and outputs the difference image to the DCT unit 12.
  • the DCT unit 12 performs discrete cosine transform on the input difference image, calculates DCT coefficients, and outputs them to the quantizer 13.
  • the quantizer 13 quantizes the input DCT coefficient with the quantization parameter specified by the code amount controller 25 to generate a quantized transform coefficient, and sends it to the inverse quantizer 14 and the variable length encoder 19. Output.
  • the variable length encoder 19 encodes the input quantized transform coefficient, generates P-picture or B-picture encoded data, and outputs it.
  • the inverse quantizer 14 inversely quantizes the input quantized transform coefficient, generates an inverse quantized transform coefficient, and outputs it to the inverse DCT unit 15.
  • the inverse DCT unit 15 performs inverse discrete cosine transform on the input inverse quantization transform coefficient, restores the difference image, and outputs the difference image to the adder 16.
  • the adder 16 restores the input image by adding the input difference image and the prediction image previously output from the motion compensation predictor 18.
  • the restored input image is recorded in the frame memory 17 as a reference image.
  • the encoded data of the I picture, the P picture, and the B picture is output as a bit stream in a predetermined order from the variable length encoder 19.
  • the bit stream output from the variable length encoder 19 is output to the recording device 300.
  • the quantization parameter in the quantizer 13 is variable. If the quantization parameter is increased, the code amount of the encoded data generated by the variable length encoder 19 is reduced. Conversely, the quantization parameter in the quantizer 13 is reduced. When the value is reduced, the code amount of the encoded data generated by the variable length encoder 19 increases. Of course, even if the quantization parameter is fixed, the higher the spatial frequency of the input image and the greater the movement of the subject in the input image, the greater the code amount of the generated encoded data.
  • the quantization parameter used in the quantizer 13 in the above encoding process is output to the average QP detection unit 22.
  • the encoded data generated by the variable length encoder 19 is also output to the generated code amount detection unit 21.
  • the average QP detection unit 22 calculates the average (average quantization parameter) of quantization parameters for 1 GOP and outputs the average to the image complexity calculation unit 23.
  • the generated code amount detection unit 21 accumulates the generated code amount for 1 GOP, calculates the bit rate of the 1 GOP, and outputs it to the image complexity calculation unit 23.
  • GOP Group Of Picture
  • a GOP has a minimum unit structure constituting a reproducible moving image when an I picture of one frame is included therein.
  • the generated code amount detector 21 calculates the bit rate by dividing the sum of the code amounts of a plurality of encoded data for 1 GOP by the time of the 1 GOP.
  • the image complexity calculation unit 23 calculates the image complexity based on the average quantization parameter input from the average QP detection unit 22 and the bit rate input from the generated code amount detector 21.
  • the image complexity (Fim) is obtained by applying the input average quantization parameter (QP AVG ) and the bit rate (Br) to a predetermined transformation function f 1 , encoding difficulty or image complexity. And is calculated by the following equation (1).
  • Fim f 1 (QP AVG , Br) (1)
  • the transformation function f 1 is selected such that the image complexity (Fim) simply increases for each increase in the average quantization parameter (QP AVG ) and the bit rate (Br).
  • the calculated image complexity is output to the fluctuation period calculation unit 24 and the average image complexity calculation unit 25.
  • the fluctuation cycle calculation unit 24 records the image complexity for each GOP input from the image complexity calculation unit 23, and calculates the fluctuation cycle by performing frequency analysis on the recording.
  • the fluctuation period calculation unit 24 of the present embodiment employs Fourier transform for frequency analysis, other frequency analysis such as analysis using an autocorrelation function may be performed.
  • the fluctuation cycle calculation unit 24 periodically calculates the fluctuation cycle for each set cycle (for example, once every day) or for each latest fluctuation cycle calculated by the fluctuation cycle calculation unit 24. Further, the fluctuation cycle calculation unit 24 calculates the fluctuation cycle in accordance with an external trigger input (for example, an instruction from the user) regardless of whether or not it is time to calculate the fluctuation cycle. For example, when the operating time of the day is changed, the user instructs calculation of the fluctuation cycle.
  • the fluctuation cycle calculation unit 24 calculates the fluctuation cycle by Fourier transforming the image complexity for the previous week (7 days). In addition, when the images are not input continuously for one week, for example, when the images are input for only 8 hours every day (the image encoding device does not operate), the fluctuation cycle calculation unit 24 is for the immediately preceding week (8 hours ⁇ The frequency of the image complexity of 7 days) is analyzed to calculate the fluctuation period. The calculated fluctuation period is output to the recording time setting unit 28 and the average image complexity calculation unit 25.
  • the average image complexity calculation unit 25 is based on the fluctuation cycle input from the fluctuation cycle calculation unit 24 and averages the image complexity for one cycle of the fluctuation cycle calculated by the fluctuation cycle calculation unit 24 (average image complexity Fim). AVG ) is calculated and output to the code amount control unit 26. For each GOP, the average image complexity calculation unit 25 calculates the average image complexity in the latest one change cycle using the image complexity of one change cycle before the GOP of the image complexity. The average image complexity calculation unit 25 may calculate the average image complexity for each fluctuation cycle calculated by the fluctuation cycle calculation unit 24, and the image complexity is input from the image complexity calculation unit 23. The average image complexity may be calculated for each. After calculating the average image complexity, the average image complexity calculation unit 25 outputs the average image complexity to the code amount control unit 26.
  • the recording time setting unit 28 calculates the recording time based on the daily operation time and the desired number of recording days.
  • the desired number of recording days is set by the user as the number of days to be recorded on the recording medium of the recording apparatus 300.
  • the fluctuation period calculated by the fluctuation period calculation unit 24 is used as the daily operating time.
  • the operating time for one day may be set in the recording time setting unit 28 by the user.
  • the recording time setting unit 28 outputs the calculated recording time to the target bit rate calculation unit 27.
  • the storage capacity setting unit 29 the storage capacity of the recording medium of the recording apparatus 300 is set by the user.
  • the storage capacity setting unit 29 may acquire information on the storage capacity of the storage medium from the recording device 300.
  • the storage capacity setting unit 29 outputs the storage capacity information to the target bit rate setting unit 27.
  • the target bit rate setting unit 27 sets the target bit rate based on the storage capacity of the storage medium of the recording apparatus 300 obtained from the storage capacity setting unit 29 and the recording time obtained from the recording time setting unit 28.
  • the target bit rate setting unit 27 sets 4.55 Mbps as the target bit rate.
  • the code amount control unit 26 determines a quantization parameter based on the average image complexity acquired from the average image complexity calculation unit 25 and the target bit rate acquired from the target bit rate setting unit 27. Specifically, the code amount control unit 26 determines a quantization parameter QP when the quantizer 13 quantizes the DCT coefficient by the following equation (2).
  • QP f 2 (Fim AVG , TgtBr) (2)
  • Fim AVG is the average image complexity
  • TgtBr is the target bit rate
  • f 2 is the quantization parameter that should be quantized to achieve the target bit rate from the average image complexity. Is a function that determines
  • the code amount control unit 26 sets the calculated quantization parameter in the quantizer 13.
  • the quantizer 13 quantizes the DCT coefficient with the quantization parameter set by the code amount control unit 26.
  • the image complexity calculation unit 23 calculates the image complexity for each GOP
  • the average image complexity calculation unit 25 calculates the average image complexity for each GOP. Then, the quantizer 13 changes the quantization parameter for each GOP.
  • the average image complexity calculation unit 25 calculates the average of the image complexity for one fluctuation period as follows.
  • FIG. 3 is a graph showing an example of fluctuation in image complexity of 1 GOP.
  • image complexity for one week (7 days) is recorded with 1 GOP as 1 second.
  • the image complexity may vary as shown in FIG.
  • the camera 400 when the camera 400 is installed in a store and used as a surveillance camera, there are many visitors during the day and the subject's movement becomes intense, so the input image becomes complicated, and there are few visitors at midnight, and the input image is stationary.
  • the complexity of the input image varies so that the image is a monotonous image similar to the image. In this way, for example, the complexity of the input image varies greatly between day and night, but if this variation is periodic, the total generated code amount in any one variation period is substantially constant, that is, any one variation.
  • the average bit rate when the average is taken in the period is almost constant, and it is possible to determine how many days (how many periods) of video can be recorded in the recording apparatus 300.
  • FIG. 4 is a graph showing a frequency spectrum obtained by performing Fourier transform on the image complexity of FIG.
  • the fluctuation period calculation unit 24 obtains a frequency spectrum as shown in FIG. 4 by performing Fourier transform on the image complexity. From the frequency spectrum, the fluctuation cycle calculation unit 24 sets the cycle having the largest peak as the fluctuation cycle of the image complexity. In the example of FIG. 4, the largest peak appears at 24 hours. Therefore, the fluctuation period of the image complexity in FIG. 3 is calculated to be 24 hours.
  • the code amount control unit 26 does not control the code amount so that the bit rate of 1 GOP becomes the target bit rate, but instead of the variation period calculated by the variation period calculation unit 24 (in the examples of FIGS. 3 and 4, 24).
  • the quantization amount is set so that the average bit rate in time) becomes the target bit rate, and the code amount is controlled. That is, the code amount control unit 26 uses a VBR encoding method within one fluctuation period as the bit rate is high when the input image is complex, and the bit rate is low when the input image is monotonous.
  • the quantization parameter is controlled so that the total generated code amount in one fluctuation period or the average bit rate in one fluctuation period becomes a target value.
  • the code amount control unit 26 does not have a relationship between the image complexity for each 1 GOP obtained by the image complexity calculation unit 23 and the target bit rate, but one variation obtained by the average image complexity calculation unit 25.
  • the quantization parameter is determined from the relationship between the average image complexity in the period and the target bit rate.
  • FIG. 5 is a flowchart showing the operation of the image coding apparatus 200 according to the present embodiment.
  • step S54 it is determined whether or not the encoding is completed. If the encoding is not completed, that is, if a frame image is still input (NO in step S54), the image encoding unit 10 Encodes an input image of 1 GOP (step S55). Subsequently, the image complexity calculation unit 23 calculates the image complexity Fim from the result of the encoding in step S55, that is, the average QP and the bit rate Br at that time, using the above equation (1) (step S56). The fluctuation period calculation unit 24 and the plain image complexity calculation unit 25 record the image complexity Fim (step S57).
  • the quantization parameter is controlled so that the average bit rate in one variation period of the complexity of the input image becomes the target bit rate.
  • the code amount is changed according to the change, that is, a large amount of code is required Generates a large amount of code, so that the image quality is also maintained by the VBR encoding method.
  • the image complexity calculation unit 23 calculates the image complexity (Fim) based on the bit rate (Br) based on the generated code amount of 1 GOP and the average quantization parameter (QP AVG ) of 1 GOP.
  • the image complexity calculation unit 23 may refer to only the generated code amount and use the generated code amount (Br) as the image complexity (Fim) as it is.
  • the quantization parameter should be fixed during the period during which the fluctuation period calculation unit 24 performs frequency analysis (one week in the above example). This is because, if the quantization parameter is changed during this period, the generated code amount does not become an image complexity in a strict sense. Therefore, the code amount control unit 26 should not update the quantization parameter for the code amount control during the period subjected to the frequency analysis by the fluctuation period calculating unit 24, and therefore the average image complexity calculating unit 25 during that period. Does not calculate the average image complexity.
  • FIG. 6 is a graph showing an example of fluctuation of the bit rate of 1 GOP in the same case as FIG.
  • the vertical movement of the bit rate is similar to the vertical movement of the image complexity. Therefore, when the change of the bit rate in FIG. 6 is Fourier transformed, the largest peak in 24 hours as in FIG. Appears. This means that the bit rate can be directly handled as the image complexity.
  • the fluctuation period calculation unit 24 calculates the fluctuation period from the frequency complexity of the image complexity calculated by the image complexity calculation part 23, but the image coding apparatus 200 The period calculation unit 24 may not be provided.
  • the fluctuation period is set in the recording time setting unit 28 by the user.
  • the average image complexity calculation unit 25 calculates the average of the image complexity within the cycle, with the cycle set by the recording time setting unit 28 as a variation cycle. For example, in the case of a monitoring camera that captures a store visitor, the fluctuation period is a movable time of one day, and the user can set the operation time as the fluctuation period in the recording time setting unit 28.
  • the calculation of the average image complexity by the average image complexity calculation unit 25 and the calculation of the quantization parameter by the code amount control unit 26 may be performed at an arbitrary timing. For example, it may be performed every 1 GOP as described above, or may be performed every one fluctuation period. In any case, when the average image complexity calculating unit 25 calculates the average image complexity, the average of the image complexity of the latest one fluctuation cycle is taken. The code amount control unit 26 may calculate the quantization parameter every time the average image complexity calculation unit 25 calculates a new average image complexity.
  • the time interval when the fluctuation cycle calculation unit 24 periodically calculates the fluctuation cycle may be arbitrary.
  • the image complexity calculation unit 23 calculates the image complexity. May be calculated every time, i.e., every 1 GOP.
  • the variation period is calculated from the image complexity, and the image complexity is calculated only from the generated code amount as described above, the period to be subjected to frequency analysis by the variation period calculation unit 24. Since the quantization parameter is not updated (for example, for one week), it is redundant to calculate the fluctuation period for each GOP in this case.
  • the code amount control unit 26 determines that the average bit rate in the variation period is the target bit rate setting unit 27 based on the average image complexity calculated by the average image complexity calculation unit 25. Although the quantization parameter is determined so that the set target bit rate is obtained, the code amount control unit 26 further receives feedback of the average quantization parameter for each 1 GOP from the average QP detection unit 22, and also refers to it. Then, the quantization parameter may be determined.
  • the fluctuation cycle calculation unit 24 of the above-described embodiment determines the cycle having the maximum peak as the fluctuation cycle as a result of Fourier transform of the image complexity
  • the variation period may be, for example, the maximum period among periods in which the peak is equal to or greater than a predetermined size.
  • the least common multiple thereof may be used as the fluctuation period. For example, when there are several periods with relatively large peaks, or when the period when the peak is maximum is extremely short and sudden image quality fluctuations are a concern, the least common multiple of multiple periods is used as the fluctuation period. It is advantageous to do so.
  • the photographed image recording system of the above embodiment includes a camera 400 and a recording device 300, and the camera 400 includes the photographing unit 100 and the image encoding device 200.
  • the image coding apparatus 200 was provided with the image coding part 10 and the control part 20, as shown in FIG.
  • the configuration of the captured image recording system is not limited to this, and the configuration of a part of the image encoding device 200 illustrated in FIG. 1 may be provided in the recording device 300 instead of the camera 400.
  • the input image is generally encoded by the camera 400
  • most of the calculation resources of the camera 400 are used for encoding the input image, and the configuration of the image encoding device 200 provided in the camera 400 is illustrated.
  • the allocation of the calculation resources of the control unit 20 tends to be small.
  • the recording apparatus 300 can be constituted by a video recorder or a personal computer, it is possible to easily give a margin to a calculation resource. Therefore, by providing a part of the configuration of the image encoding device 200 in the recording device 300 instead of the camera 400, the processing in the camera 400 can be reduced and the calculation resources required for the camera 400 can be reduced.
  • modifications of the overall configuration of the captured image recording system will be described.
  • FIG. 7 is a block diagram showing the overall configuration of the captured image recording system of the first modification.
  • the network NW (see FIG. 2) is not shown.
  • the recording apparatus 300 includes all the configurations of the control unit 20 illustrated in FIG.
  • the camera 400 is a normal camera that does not have a configuration for calculating the average image complexity in the fluctuation cycle of the complexity of the input image.
  • the recording apparatus 300 includes an image recording unit 31 and a recording medium 32 in addition to the configuration of the control unit 20 shown in FIG.
  • the image recording unit 31 records the encoded data transmitted from the camera 400 on the recording medium 32.
  • the average QP detection unit 22 and the generated code amount detection unit 21 of the recording apparatus 300 detect the average quantization parameter and the generated code amount based on the encoded data transmitted from the camera 400, respectively.
  • a control signal from the code amount control unit 26 provided in the recording apparatus 300 is transmitted from the recording apparatus 300 to the camera 400 and input to the quantization unit 13 of the camera 400.
  • FIG. 8 is a block diagram showing the overall configuration of the captured image recording system of the second modification.
  • the control unit 20 of the image encoding device 200 of the captured image recording system 1002 includes the fluctuation period calculating unit 24. I do not have.
  • a configuration for calculating the fluctuation period of the image complexity is provided in the recording apparatus 300.
  • the recording apparatus 300 includes a generated code amount detection unit 21, an average QP detection unit 22, an image complexity calculation unit 23, and a fluctuation cycle calculation unit 24 as a configuration for calculating the fluctuation cycle of the image complexity.
  • the recording apparatus 300 includes the recording medium 32 and the image recording unit 31 that records the encoded data transmitted from the camera 400 on the recording medium 32 as in the first modification.
  • the average QP detection unit 22 and the generated code amount detection unit 21 of the recording apparatus 300 detect the average quantization parameter and the generated code amount based on the encoded data transmitted from the camera 400, respectively.
  • the fluctuation period calculated by the fluctuation period calculation unit 24 of the recording device 300 is transmitted to the camera 200 via the network and input to the recording time setting unit 28 of the image encoding device 200.
  • FIG. 9 is a block diagram showing the overall configuration of the captured image recording system of the third modification.
  • the control unit 20 of the image encoding device 200 of the captured image recording system 1003 includes the generated code amount detection unit 21.
  • the average QP detecting unit 22, the image complexity calculating unit 23, the fluctuation period calculating unit 24, and the average image complexity calculating unit 25 are not provided.
  • a configuration for calculating the fluctuation period based on the image complexity and calculating the average image complexity is provided in the recording apparatus 300.
  • the recording apparatus 300 calculates the fluctuation period based on the image complexity, and as a configuration for calculating the average image complexity, the generated code amount detection unit 21, the average QP detection unit 22, the image complexity calculation unit 23, A fluctuation period calculation unit 24 and an average image complexity calculation unit 25 are provided.
  • the recording apparatus 300 includes the recording medium 32 and the image recording unit 31 that records the encoded data transmitted from the camera 400 on the recording medium 32 as in the first modification.
  • the average QP detection unit 22 and the generated code amount detection unit 21 of the recording apparatus 300 detect the average quantization parameter and the generated code amount based on the encoded data transmitted from the camera 400, respectively.
  • the fluctuation period calculated by the fluctuation period calculation unit 24 of the recording device 300 is transmitted to the camera 200 via the network and input to the recording time setting unit 28 of the image encoding device 200.
  • the average image complexity calculated by the average image complexity calculation unit 25 of the recording device 300 is transmitted to the camera 200 via the network and is input to the code amount control unit 26 of the image encoding device 200.
  • the processing in the camera 400 can be reduced and the calculation resources required for the camera 400 can be reduced.
  • the camera 400 can be configured to be small, light, and inexpensive.
  • the present invention can control the total generated code amount of the fluctuation cycle of the complexity of the input image, and can record encoded data for a desired time on a recording medium having a predetermined storage capacity. Therefore, the present invention is useful as an image encoding device or the like that generates a plurality of encoded data constituting video data by encoding a plurality of input images that are continuously input.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　ＶＢＲ符号化方式において、所定の記憶容量を有する記録媒体に所望の時間分の符号化データを記録できる画像符号化装置を提供する。画像符号化装置（２００）は、連続的に入力される複数の入力画像を符号化して、映像データを構成する複数の符号化データを生成する画像符号化部（１９）と、複数の符号化データに基づいて、入力画像の複雑度の変動周期における平均画像複雑度を算出する平均画像複雑度算出部（２５）と、平均画像複雑度に基づいて、画像符号化部（１９）にて生成される符号化データの符号量を制御する符号量制御部（２６）を備えている。

Description

画像符号化装置、撮影画像記録システム、撮像装置、画像符号化方法、および画像符号化プログラム 関連する出願
　本出願では、２０１２年９月２６日に日本国に出願された特許出願番号２０１２－２１２０５４の利益を主張し、当該出願の内容は引用することによりここに組み込まれているものとする。
　本発明は、連続的に入力される複数の入力画像を符号化して映像データを構成する複数の符号化データを生成する画像符号化装置およびそれを含む撮像装置および撮影画像記録システム、画像符号化方法、ならびに画像符号化プログラムに関するものである。
　符号化された映像データを生成する際のレート制御として、固定ビットレート（ＣＢＲ：Ｃｏｎｓｔａｎｔ　Ｂｉｔ　Ｒａｔｅ）符号化方式と可変ビットレート（ＶＢＲ：Ｖａｒｉａｂｌｅ　Ｂｉｔ　Ｒａｔｅ）符号化方式がある。ＣＢＲ符号化方式では、符号化された映像データにおける単位時間当たりの符号量（ビットレート）が一定になるように制御される。よって、ＣＢＲ符号化方式では、符号化された映像データを記憶容量の限られた記録媒体に記録する場合に、記録媒体に映像データを記録できる時間を正確に予測できる。しかしながら、ＣＢＲ符号化方式では、多くの符号量を必要とする複雑なシーンに対して発生符号量を抑えてしまうため、画質が劣化し、または、少ない符号量で足りる単調なシーンに対して多くの符号量を発生させてしまうため、映像データを記録する際には単調なシーンについて必要以上に記憶容量を要するという問題がある。
　これに対して、ＶＢＲ符号化方式では、高画質を確保しつつ発生符号量を必要最小限に抑えることができるが、原理的にはシーンによってビットレートが変動する。よって、ＶＢＲ符号化方式では、単位時間当たりの発生符号量を予測できず、映像データを記憶容量の限られた記録媒体に記録する場合には、記録媒体に何時間の映像データを記録できるかを予測できないという欠点がある。
　このようなＶＢＲ符号化方式の課題を解決する方式として、まず標準量子化パラメータを設定して仮符号化を行って発生符号量を算出した後に、実際に画像を本符号化する２パスＶＢＲ符号化方式が知られている。この２パスＶＢＲ符号化方式によれば、仮符号化でコンテンツ全体の特性を知った上で本符号化を行なうので、目標とする記憶容量に収まるように、最大限に画像を高画質にできる。しかしながら、２パスＶＢＲ符号化方式では、コンテンツ全体について仮符号化が終了してから本符号化を行なうので、リアルタイムの記録ができない。
　リアルタイム用途でＶＢＲ符号化方式の上記の課題を解決する方式として、仮符号化をしないで符号化を行なう１パスＶＢＲ符号化方式がある。１パスＶＢＲ符号化方式を採用した画像符号化装置の１つに特許文献１に記載の画像符号化装置がある。この画像符号化装置では、動画像を符号化する際に、入力画像データを所定の量子化パラメータで符号化した時の発生符号量と、その量子化パラメータとにより、第１画像単位（例えば、１ＧＯＰ）ごとの画像複雑度を計算し、量子化パラメータと発生符号量とにより符号化開始時から現在までの符号化した画像の平均画像複雑度を計算し、第１画像単位ごとの画像複雑度と平均画像複雑度のうちの小さいほうの画像複雑度を選択して、平均ビットレートから第１画像単位の量子化パラメータと計算し、この量子化パラメータを、発生符号量と予め設定された平均ビットレートからの過不足量とから、第２画像単位（例えば、マクロブロック）ごとに調整するので、ＶＢＲ符号化方式において符号量がリアルタイムに制御可能となり、かつ高画質の符号化を達成できる。
特許３５０８９１６号公報
　しかしながら、特許文献１に記載の画像符号化装置では、被写体の変化が第１画像単位より長期間にわたる場合には、画質が変動してしまう。また、特許文献１に記載の画像符号化装置では、経過時間に比例して、被写体の状況の継続的な変化に対応するための時間が長くなり、対応するまでの間のビットレートおよび画質が目標から外れてしまう。
　本発明は、上記の問題に鑑みてなされたものであり、ＶＢＲ符号化方式において、所定の記憶容量を有する記録媒体に所望の時間分の符号化データを記録できる画像符号化装置を提供することを目的とする。
　画像符号化装置は、連続的に入力される複数の入力画像を符号化して、映像データを構成する複数の符号化データを生成する画像符号化部と、複数の符号化データの周期単位の符号量が所定の値になるように、画像符号化部にて生成される符号化データの符号量を制御する符号量制御部とを備えた構成を有している。
　撮影画像記録システムは、撮像装置と画像記録装置とを備えた撮像画像記録システムであって、撮像装置に設けられた、被写体を撮影して画像を生成する撮影部と、撮像装置に設けられた、撮像部にて生成されて連続的に入力される複数の入力画像を符号化して、映像データを構成する複数の符号化データを生成する画像符号化部と、複数の符号化データの周期単位の符号量が所定の値になるように、画像符号化部にて生成される符号化データの符号量を制御する符号量制御部と、画像記録装置に設けられた、画像符号化部にて生成された符号化データを記録するための所定の記憶容量を有する記録媒体とを備えた構成を有している。
　撮像装置は、被写体を撮影して画像を生成する撮影部と、撮影部にて生成されて連続的に入力される複数の入力画像を符号化して、映像データを構成する複数の符号化データを生成する画像符号化部と、複数の符号化データの周期単位の符号量が所定の値になるように、画像符号化部にて生成される符号化データの符号量を制御する符号量制御部とを備えた構成を有する。
　画像符号化方法は、連続的に入力される複数の入力画像を符号化して、映像データを構成する複数の符号化データを生成する画像符号化ステップと、複数の符号化データの周期単位の符号量が所定の値になるように、画像符号化ステップにて生成される符号化データの符号量を制御する符号量制御ステップとを含んでいる。
　画像符号化プログラムは、コンピュータを、連続的に入力される複数の入力画像を符号化して、映像データを構成する複数の符号化データを生成する画像符号化部、複数の符号化データの周期単位の符号量が所定の値になるように、画像符号化部にて生成される符号化データの符号量を制御する符号量制御部として機能させる。
　本発明によれば、周期単位の発生符号量を制御することができ、所定の記憶容量を有する記録媒体に所望の時間分の符号化データを記録できる。
　以下に説明するように、本発明には他の態様が存在する。したがって、この発明の開示は、本発明の一部の提供を意図しており、ここで記述され請求される発明の範囲を制限することは意図していない。
図１は、実施の形態における画像符号化装置の構成を示すブロック図である。 図２は、実施の形態における撮影画像記録システムを示すブロック図である。 図３は、実施の形態における１ＧＯＰの画像複雑度の変動の例を示すグラフである。 図４は、実施の形態における画像複雑度に対してフーリエ変換を行なって得られる周波数スペクトルを示すグラフである。 図５は、実施の形態における画像符号化装置の動作を示すフロー図である。 図６は、実施の形態の変形例における１ＧＯＰのビットレートの変動の例を示すグラフである。 図７は、実施の形態の第１の変形例における撮影画像記録システムを示すブロック図である。 図８は、実施の形態の第２の変形例における撮影画像記録システムを示すブロック図である。 図９は、実施の形態の第３の変形例における撮影画像記録システムを示すブロック図である。
　以下に、本発明の詳細な説明を述べる。以下に説明する実施の形態は本発明の単なる例であり、本発明は様々な態様に変形することができる。従って、以下に開示する特定の構成および機能は、特許請求の範囲を限定するものではない。　
　実施の形態の画像符号化装置は、連続的に入力される複数の入力画像を符号化して、映像データを構成する複数の符号化データを生成する画像符号化部と、前記複数の符号化データの周期単位の符号量が所定の値になるように、前記画像符号化部にて生成される符号化データの符号量を制御する符号量制御部とを備えた構成を有している。この構成により、周期単位の発生符号量を制御することができ、所定の記憶容量を有する記録媒体に所望の時間分の符号化データを記録できる。
　別の実施の形態の画像符号化装置は、連続的に入力される複数の入力画像を符号化して、映像データを構成する複数の符号化データを生成する画像符号化部と、周期単位内で一定の画質になるように符号化パラメータを制御するとともに、前記周期単位の符号量が所定の値になるように前記画像符号化部にて生成される前記符号化データの符号量を制御する符号量制御部とを備えた構成を有している。この構成により、周期単位内の画質を一定にできるとともに、周期単位の発生符号量を制御することができ、所定の記憶容量を有する記録媒体に所望の時間分の符号化データを記録できる。
　上記の画像符号化装置において、前記周期単位は、前記符号化データの符号量の変動周期もしくは前記入力画像の複雑度の変動周期であってよい。
　さらに別の実施の形態の画像符号化装置は、符号化したデータの符号量が周期的に変動する、連続的な複数の入力画像を符号化して、複数の前記符号化データを生成する画像符号化部と、前記周期単位内で一定の画質になるように、前記画像符号化部の符号化パラメータを制御する符号量制御部とを備えた構成を有している。この構成により、周期単位内の画質を一定にできる、所定の記憶容量を有する記録媒体に所望の時間分の符号化データを記録できる。
　さらに別の実施の形態の画像符号化装置は、連続的に入力される複数の入力画像を符号化して、映像データを構成する複数の符号化データを生成する画像符号化部と、前記複数の符号化データの符号量が一定になる周期単位で、一定の画質になるように前記画像符号化部にて生成される符号化データの符号化パラメータを制御する符号量制御部とを備えた構成を有している。この構成により、周期単位の発生符号量を一定にできるとともに、周期単位内の画質を一定にでき、所定の記憶容量を有する記録媒体に所望の時間分の符号化データを記録できる。
　上記の画像符号化装置において、前記周期単位の符号量は、該周期における総発生符号量もしくは平均ビットレートであってよい。
　上記の画像符号化装置は、複数の符号化データに基づいて、入力画像の複雑度の変動周期における平均画像複雑度を算出する平均画像複雑度算出部をさらに備えていてよく、前記符号量制御部は、平均画像複雑度に基づいて、画像符号化部にて生成される符号化データの符号量を制御してよい。この構成により、入力画像の複雑度の変動周期における平均画像複雑度に基づいて符号化データの符号量が制御されるので、ＶＢＲ符号化方式において、入力画像の複雑度の変動周期の総発生符号量を制御することができ、所定の記憶容量を有する記録媒体に所望の時間分の符号化データを記録できる。
　上記の画像符号化装置は、符号化データに基づいて、入力画像の複雑度を算出する画像複雑度算出部と、画像複雑度算出部にて算出された複雑度の変動周期を算出する変動周期算出部とをさらに備えていてよく、平均画像複雑度算出部は、変動周期算出部にて算出された変動周期における平均画像複雑度を算出してよい。この構成により、平均画像複雑度を算出するための複雑度の変動周期を符号化データから算出できる。
　上記の画像符号化装置において、画像複雑度算出部は、符号化データの符号量に基づいて入力画像の複雑度を算出してよい。この構成により、符号化データの符号量から入力画像の複雑度の変動周期を算出できる。
　上記の画像符号化装置において、画像複雑度算出部は、符号化データの符号量および量子化部の量子化パラメータに基づいて入力画像の複雑度を算出してよい。この構成により、平均画像複雑度を算出するための複雑度の変動周期を符号化データの符号量および量子化パラメータから算出できる。
　上記の画像符号化装置において、画像複雑度算出部は、連続的に入力される複数の入力画像の１ＧＯＰごとの複雑度を算出してよく、変動周期算出部は、画像複雑度算出部にて複雑度が算出されるごとに変動周期を算出してよく、平均画像複雑度算出部は、変動周期算出部にて変動周期が算出されるごとに、当該変動周期における平均画像複雑度を算出してよい。この構成により、１ＧＯＰごとに変動周期が算出されるので、変動周期の変化にも迅速に対応でき、かつ、１ＧＯＰごとに平均画像複雑度が算出されるので、より正確な符号量の制御が行なえる。
　上記の画像符号化装置において、変動周期算出部は、一定の時間間隔で変動周期を算出してよく、平均画像複雑度算出部は、変動周期算出部にて変動周期が算出されるごとに、当該変動周期における平均画像複雑度を算出してよい。この構成により、一定の時間ごとに変動周期が算出され、かつ平均画像複雑度が算出されるので、変動周期の変化にも対応できる。なお、一定の時間間隔は、例えば変動周期算出部によって算出された複雑度の変動周期であってもよく、複雑度の変動周期とは関係なく任意に定められた時間であってもよい。
　上記の画像符号化装置において、画像符号化部は、量子化部および量子化部から出力されたデータを可変長符号化する可変長符号化部を備えていてよい。この構成により、入力画像は、量子化および可変長符号化の過程を経て符号化される。
　上記の画像符号化装置において、符号量制御部は、量子化部における量子化パラメータを調整することで、符号化データの符号量を制御してよい。この構成により、入力画像は、量子化の過程を経て符号化される際に、量子化パラメータが大きくされることで、符号化データの符号量が小さくされ、量子化パラメータが小さくされることで、符号化データの符号量が大きくされる。
　上記の画像符号化装置において、符号量制御部は、平均画像複雑度および変動周期における設定された目標符号量に基づいて、符号化データの符号量を制御してよい。この構成により、平均画像複雑度を算出して変動周期の目標符号量と照らし合わせてフィードバック制御を行なうことで、変動周期における発生符号量が目標符号量となるように制御できる。なお、変動周期の目標符号量は、変動周期における平均のビットレートであってもよいし、変動周期における総発生符号量であってもよい。
　上記の画像符号化装置において、平均画像複雑度算出部は、一日における画像符号化装置の稼働時間を変動周期として、平均画像複雑度を算出してよい。この構成により、例えば店舗の来客の動画像を撮影する場合のように、入力画像の複雑度が一日を周期として変動することがわかっており、かつ一日の稼働時間がわかっている場合には、その稼働時間を変動周期とすることができる。
　上記の画像符号化装置において、平均画像複雑度算出部は、一週間における画像符号化装置の稼働時間を変動周期として、平均画像複雑度を算出してよい。この構成により、入力画像の複雑度が一週間を周期として変動することがわかっており、かつ一週間の稼働時間がわかっている場合には、その稼働時間を変動周期とすることができる。
　実施の形態の撮影画像記録システムは、撮像装置と画像記録装置とを備えた撮像画像記録システムであって、撮像装置に設けられた、被写体を撮影して画像を生成する撮影部と、撮像装置に設けられた、撮像部にて生成されて連続的に入力される複数の入力画像を符号化して、映像データを構成する複数の符号化データを生成する画像符号化部と、複数の符号化データの周期単位の符号量が所定の値になるように、画像符号化部にて生成される符号化データの符号量を制御する符号量制御部と、画像記録装置に設けられた、画像符号化部にて生成された符号化データを記録するための所定の記憶容量を有する記録媒体とを備えた構成を有している。この構成によっても、周期単位の発生符号量を制御することができ、所定の記憶容量を有する記録媒体に所望の時間分の符号化データを記録できる。
　上記の撮影画像記録システムは、符号化データに基づいて、入力画像の複雑度を算出する画像複雑度算出部と、画像複雑度算出部にて算出された複雑度の変動周期を算出する変動周期算出部と、前記変動周期算出部にて算出された変動周期における平均画像複雑度を算出する平均画像複雑度算出部とをさらに備えていてよく、前記符号量制御部は、前記平均画像複雑度に基づいて、前記画像符号化部にて生成される符号化データの符号量を制御してよい。この構成により、入力画像の複雑度の変動周期における平均画像複雑度に基づいて符号化データの符号量が制御されるとともに、平均画像複雑度を算出するための複雑度の変動周期を符号化データから算出できる。
　上記の撮影画像記録システムにおいて、画像複雑度算出部および変動周期算出部は、画像記録装置に設けられていてよい。この構成により、撮像装置に要する計算資源を軽減でき、撮像装置を小型、軽量、安価に構成できる。
　上記の撮影画像記録システムにおいて、平均画像複雑度算出部は、画像記録装置に設けられていてよい。この構成により、撮像装置に要する計算資源を軽減でき、撮像装置を小型、軽量、安価に構成できる。
　実施の形態の撮像装置は、被写体を撮影して画像を生成する撮影部と、撮影部にて生成されて連続的に入力される複数の入力画像を符号化して、映像データを構成する複数の符号化データを生成する画像符号化部と、複数の符号化データの周期単位の符号量が所定の値になるように、画像符号化部にて生成される符号化データの符号量を制御する符号量制御部とを備えた構成を有する。この構成によっても、周期単位の発生符号量を制御することができ、所定の記憶容量を有する記録媒体に所望の時間分の符号化データを記録できる。
　実施の形態の画像符号化方法は、連続的に入力される複数の入力画像を符号化して、映像データを構成する複数の符号化データを生成する画像符号化ステップと、複数の符号化データの周期単位の符号量が所定の値になるように、画像符号化ステップにて生成される符号化データの符号量を制御する符号量制御ステップとを含んでいる。この構成によっても、周期単位の生符号量を制御することができ、所定の記憶容量を有する記録媒体に所望の時間分の符号化データを記録できる。
　実施の形態の画像符号化プログラムは、コンピュータを、連続的に入力される複数の入力画像を符号化して、映像データを構成する複数の符号化データを生成する画像符号化部、複数の符号化データの周期単位の符号量が所定の値になるように、画像符号化部にて生成される符号化データの符号量を制御する符号量制御部として機能させることを特徴とする。この構成によっても、周期単位の発生符号量を制御することができ、所定の記憶容量を有する記録媒体に所望の時間分の符号化データを記録できる。
　以下、実施の形態の画像符号化装置およびそれを含む撮影画像記録システムについて、図面を参照しながら説明する。以下では、画像符号化装置の一態様として、ＭＰＥＧ－２の方式によって動画像を符号化する画像符号化装置を例に説明するが、画像符号化装置の符号化方式はＭＰＥＧ－２に限られず、例えばＭＰＥＧ－１、Ｈ．２６１、Ｈ．２６３などの方式を採用してもよい。
　図２は、実施の形態の撮影画像記録システム１０００を示すブロック図である。撮影画像記録システム１０００は、撮影部１００、画像符号化装置２００、および記録装置３００を備えている。撮影部１００は、画像符号化装置２００と接続されており、画像符号化装置２００はさらに記録装置３０に接続されている。本実施の形態では、撮影部１００および画像符号化装置２００は撮像装置としてのカメラ４００に備えられて、このカメラ４００内の画像符号化装置２００がネットワークＮＷを介して記録装置３００と接続されている。なお、必ずしも画像符号化装置２００と記録装置３００との間にネットワークＮＷが介在している必要はなく、例えば記録装置３００がカメラ４００に内蔵される構成であってもよい。
　このような撮影画像記録システム１０００は、例えば、店舗等に設置された監視カメラの映像を記録する監視映像記録システムとして応用され得る。この場合、監視カメラであるカメラ４００は例えば店舗入り口付近を撮影するように設置され、記録装置３００は監視センタに設置され、カメラ４００と記録装置３００とはインターネット経由で通信を行なう。これによって、監視カメラで撮影された監視映像が記録装置３００に記録される。
　撮影部１００は、レンズ、撮像素子等を備えた一般的な撮影ユニットであり、被写体を撮影して、所定のフレームレート（例えば１／３０秒）で連続するフレーム画像を生成して出力する。撮影部１００にて生成されたフレーム画像は、入力画像として、画像符号化装置２００に連続的に入力される。画像符号化装置２００は、これらの入力画像を符号化して映像データを構成する複数の符号化データを生成する。ここで、画像符号化装置２００は、ＶＢＲ符号化方式によって入力画像を符号化する。生成された複数の符号化データは、ネットワークＮＷを介して記録装置３００に送信される。記録装置３００は、所定の記憶容量を有する記録媒体を備えており、ネットワークＮＷを介して送信されてきた複数の符号化データ（映像データ）を記録媒体に記録する。
　ここで、記録装置３００の記録媒体の記憶容量いっぱいに映像データを記録して記録媒体の空き容量がなくなるタイミングを指定できれば便利である。そのようなタイミングで、記録媒体に記録された映像データを他の記録媒体に複写して空き容量を確保したり、新たな記録媒体への切替えを行なったりできるからである。しかしながら、上述のように、画像符号化装置２００はＶＢＲ符号化方式によって入力画像を符号化するので、入力画像の内容に応じて発生符号量が変動し、それを予測することはできない。よって、記録装置３００の記録媒体の空き容量がなくなって記録ができなくなる事態を避けるために、記録装置３００の記録媒体の空き容量を監視しなければならない。そこで、本実施の形態では、ＶＢＲ符号化方式によって画質を確保するとともに、記録装置３００の記録媒体に記録される映像の時間（日数）を指定できる撮影画像記録システム１０００を提供する。
　図１は、実施の形態の画像符号化装置の構成を示すブロック図である。画像符号化装置２００は、連続的に入力される入力画像を符号化して、映像データを構成する符号化データを生成する画像符号化部１０と、画像符号化部１０における発生符号量を制御する制御部２０とを備えている。画像符号化部１０は、減算器１１、ＤＣＴ器１２、量子化器１３、逆量子化器１４、逆ＤＣＴ器１５、加算器１６、フレームメモリ１７、動き補償予測器１８、および可変長符号化器１９を備えている。
　画像符号化部１０には、撮影部１００で撮影された連続するフレーム画像が、入力画像として入力される。画像符号化部１０では、入力画像は、フレーム内符号化を行なうＩピクチャと、順方向予測のみでフレーム間予測符号化を行なうＰピクチャと、順方向および逆方向の両方向のフレーム間予測符号化を行なうＢピクチャとに分類される。また、画像符号化部１０において、入力画像は、１６×１６画素のマクロブロックに分割されて、マクロブロック単位で符号化処理が行なわれる。
　減算器１１に入力されたＩピクチャの入力画像は、そのままＤＣＴ器１２に入力される。ＤＣＴ器１２は、入力画像に対して離散コサイン変換をして、ＤＣＴ係数を生成し、量子化器１３に出力する。量子化器１３は、入力されたＤＣＴ係数を後述する符号量制御部２６より指定された量子化パラメータ（量子化幅）で量子化して、量子化変換係数を生成し、逆量子化器１４および可変長符号化器１９に出力する。可変長符号化器１９は、入力された量子化変換係数を符号化して、Ｉピクチャの符号化データを生成して出力する。
　逆量子化器１４は、入力された量子化変換係数を逆量子化して、逆量子化変換係数を生成し、逆ＤＣＴ器１５に出力する。逆ＤＣＴ器１５は、入力された逆量子化変換係数を逆離散コサイン変換して、入力画像を復元する。復元された入力画像は、後のフレーム間予測において参照画像として用いられるためにフレームメモリ１７に記録される。
　動き補償予測器１８にはＰピクチャおよびＢピクチャの入力画像が入力される。動き補償予測器１８は、入力画像とフレームメモリ１７に記録された参照画像とを比較して、マクロブロックごとに動きベクトルを算出する。動き補償予測器１８は、さらに算出された動きベクトルに基づいて動き補償フレーム予測を行なうことにより入力画像に対する予測画像を生成する。動き補償予測器１８で生成された予測画像は、減算器１１および加算器１６に出力される。
　減算器１１は、入力画像と予測画像との差分画像を算出してＤＣＴ器１２に出力する。ＤＣＴ器１２は入力された差分画像を離散コサイン変換して、ＤＣＴ係数を算出し、量子化器１３に出力する。量子化器１３は、入力されたＤＣＴ係数を符号量制御器２５より指定された量子化パラメータで量子化して、量子化変換係数を生成し、逆量子化器１４および可変長符号化器１９に出力する。可変長符号化器１９は、入力された量子化変換係数を符号化して、ＰピクチャまたはＢピクチャの符号化データを生成して出力する。
　逆量子化器１４は、入力された量子化変換係数を逆量子化して、逆量子化変換係数を生成し、逆ＤＣＴ器１５に出力する。逆ＤＣＴ器１５は、入力された逆量子化変換係数を逆離散コサイン変換して、差分画像を復元し、加算器１６に出力する。加算器１６は、入力された差分画像と先に動き補償予測器１８より出力された予測画像とを加算することで、入力画像を復元する。復元された入力画像は、参照画像としてフレームメモリ１７に記録される。
　以下、同様の処理を繰り返されることで、可変長符号化器１９からは、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの符号化データが所定の順序でビットストリームとして出力される。可変長符号化器１９から出力されたビットストリームは、記録装置３００に出力される。
　量子化器１３における量子化パラメータは可変であり、この量子化パラメータを大きくすると可変長符号化器１９で生成される符号化データの符号量が少なくなり、逆に量子化器１３における量子化パラメータを小さくすると可変長符号化器１９で生成される符号化データの符号量が多くなる。なお、当然ながら、量子化パラメータが固定されていても、入力画像の空間周波数が高いほど、また、入力画像における被写体の動きが激しいほど、生成される符号化データの符号量が多くなる。
　上記の符号化の過程で量子化器１３にて用いられた量子化パラメータは、平均ＱＰ検出部２２に出力される。また、可変長符号化器１９で生成された符号化データは発生符号量検出部２１にも出力される。平均ＱＰ検出部２２は、１ＧＯＰ分の量子化パラメータの平均（平均量子化パラメータ）を算出して、画像複雑度算出部２３に出力する。また、発生符号量検出部２１は、１ＧＯＰ分の発生符号量を蓄積して、当該１ＧＯＰのビットレートを算出し、画像複雑度算出部２３に出力する。
　ここで、ＧＯＰ（Ｇｒｏｕｐ　Ｏｆ　Ｐｉｃｔｕｒｅ）は、少なくとも１フレームのＩピクチャを含む複数のフレームの集合を意味する。ＧＯＰは、そこに１フレームのＩピクチャが含まれる場合には、再生可能な動画像を構成している最小の単位構造となる。また、発生符号量検出器２１は、１ＧＯＰ分の複数の符号化データの符号量の総和を当該１ＧＯＰの時間で割ることで、ビットレートを算出する。
　画像複雑度算出部２３は、平均ＱＰ検出部２２から入力された平均量子化パラメータおよび発生符号量検出器２１から入力されたビットレートに基づいて、画像複雑度を算出する。画像複雑度（Ｆｉｍ）は、入力された平均量子化パラメータ（ＱＰＡＶＧ）およびビットレート（Ｂｒ）を所定の変換関数ｆ１に適用して得られる、符号化の難易度ないしは画像の複雑度を示す値であり、下式（１）によって算出される。
　Ｆｉｍ＝ｆ１（ＱＰＡＶＧ，Ｂｒ）　　・・・（１）
　ここで、変換関数ｆ１は、平均量子化パラメータ（ＱＰＡＶＧ）およびビットレート（Ｂｒ）の各々の増加に対して画像複雑度（Ｆｉｍ）が単純増加するように選択される。算出された画像複雑度は、変動周期算出部２４および平均画像複雑度算出部２５に出力される。
　変動周期算出部２４は、画像複雑度算出部２３から入力されたＧＯＰごとの画像複雑度を記録して、その記録に対して周波数解析を行なうことで、変動周期を算出する。本実施の形態の変動周期算出部２４は、周波数解析にフーリエ変換を採用するが、自己相関関数を用いた解析等、他の周波数解析を行なってもよい。変動周期算出部２４は、設定された周期ごと（例えば毎日１回）、又は変動周期算出部２４が算出した最新の変動周期ごとに、定期的に変動周期を算出する。また、変動周期算出部２４は、変動周期を算出する時刻になったか否かにかかわらず、外部のトリガ入力（例えば、ユーザからの指示）に応じて変動周期を算出する。ユーザは、例えば１日の稼働時間を変更した場合に、変動周期の算出を指示する。
　変動周期算出部２４は、直前の１週間（７日間）分の画像複雑度をフーリエ変換することで変動周期を算出する。なお、画像が１週間にわたって連続で入力されない場合、例えば毎日８時間しか画像が入力されない（画像符号化装置が稼動しない）場合にも、変動周期算出部２４は、直前１週間分（８時間×７日分）の画像複雑度の周波数解析をして変動周期を算出する。算出された変動周期は、記録時間設定部２８および平均画像複雑度算出部２５に出力される。
　平均画像複雑度算出部２５は、変動周期算出部２４から入力された変動周期に基づいて、変動周期算出部２４で算出された変動周期１周期分の画像複雑度の平均（平均画像複雑度ＦｉｍＡＶＧ）を算出し、符号量制御部２６に出力する。平均画像複雑度算出部２５は、１ＧＯＰごとに、その画像複雑度のＧＯＰ以前の１変動周期分の画像複雑度を用いて、最新の１変動周期における平均画像複雑度を算出する。平均画像複雑度算出部２５は、変動周期算出部２４で算出された変動周期１周期ごとに平均画像複雑度を算出してもよいし、画像複雑度算出部２３から画像複雑度が入力されるごとに平均画像複雑度を算出してもよい。平均画像複雑度算出部２５は、平均画像複雑度を算出すると、それを符号量制御部２６に出力する。
　記録時間設定部２８は、１日の稼働時間と所望の記録日数とに基づいて、記録時間を算出する。所望の記録日数は、記録装置３００の記録媒体に記録したい日数として、ユーザによって設定される。１日の稼働時間は、変動周期算出部２４が算出した変動周期を用いる。１日の稼働時間は、ユーザが記録時間設定部２８に設定してもよい。記録時間設定部は、１日の稼働時間に所望の記録日数をかけて記録時間を算出する。例えば、１日の稼働時間（変動周期）が８時間であり、３０日分の映像データをこの記録媒体に記録したい場合は、記録時間設定部２８にて設定される記録時間は、２４０時間（＝８時間×３０日）となる。記録時間設定部２８は、算出した記録時間を目標ビットレート算出部２７に出力する。
　記憶容量設定部２９には、ユーザによって、記録装置３００の記録媒体の記憶容量が設定される。記憶容量設定部２９は、記録装置３００からその記憶媒体の記憶容量の情報を取得してもよい。記憶容量設定部２９は、記憶容量の情報を目標ビットレート設定部２７に出力する。
　目標ビットレート設定部２７は、記憶容量設定部２９から得た記録装置３００の記憶媒体の記憶容量および記録時間設定部２８から得た記録時間に基づいて、目標ビットレートを設定する。記録装置３００の記録媒体の記憶容量が４８０ＧＢであり、記録時間が２４０時間である場合には、１時間当たりの総発生符号量を約２ＧＢ／ｈ（＝４８０ＧＢ／２４０時間）にすべきである。即ち、この場合には、平均のビットレートを約４．５５Ｍｂｐｓ（＝２ＧＢ×８×１０２４／６０分／６０秒）とすべきである。この場合には、目標ビットレート設定部２７は、目標ビットレートとして、４．５５Ｍｂｐｓを設定する。
　符号量制御部２６は、平均画像複雑度算出部２５から取得した平均画像複雑度および目標ビットレート設定部２７から取得した目標ビットレートに基づいて、量子化パラメータを決定する。具体的には、符号量制御部２６は、下式（２）によって、量子化器１３にてＤＣＴ係数を量子化する際の量子化パラメータＱＰを決定する。
　ＱＰ＝ｆ２（ＦｉｍＡＶＧ，ＴｇｔＢｒ）　　・・・（２）
　ここで、ＦｉｍＡＶＧは平均画像複雑度であり、ＴｇｔＢｒは目標ビットレートであり、ｆ２は平均画像複雑度から目標ビットレートを達成するためにどの程度の量子化パラメータで量子化すればよいかを決定する関数である。
　符号量制御部２６は、算出された量子化パラメータを量子化器１３に設定する。量子化器１３は、符号量制御部２６によって設定された量子化パラメータでＤＣＴ係数を量子化する。上述のように、画像複雑度算出部２３はＧＯＰごとに画像複雑度を算出し、平均画像複雑度算出部２５はＧＯＰごとに平均画像複雑度を算出するので、符号量制御部２６はＧＯＰごとに量子化パラメータを算出して、量子化器１３はＧＯＰごとに量子化パラメータを変更する。
　上記のように、平均画像複雑度算出部２５にて画像複雑度の変動周期１周期分における平均を算出する理由は以下のとおりである。図３は、１ＧＯＰの画像複雑度の変動の例を示すグラフである。図３の例では、１ＧＯＰを１秒として、１週間（７日）分の画像複雑度を記録したものである。時間帯によって被写体の動きの量が変動すると、ＶＢＲ符号化方式では、図３に示したように画像複雑度は変動し得る。
　例えば、カメラ４００を店舗に設置して監視カメラとして用いるような場合には、昼間は来客が多く、被写体の動きが激しくなるので入力画像が複雑になり、深夜は来客が少なく、入力画像は静止画同様の単調な画像になるというように、入力画像の複雑度が変動する。このように、例えば昼と夜とでは入力画像の複雑度は大きく変動するが、この変動が周期的であれば、任意の１変動周期における総発生符号量はほぼ一定となり、即ち任意の１変動周期で平均をとった場合の平均ビットレートはほぼ一定となり、記録装置３００に何日分（何周期分）の映像が記録可能であるかを確定できる。
　図４は、図３の画像複雑度に対してフーリエ変換を行なって得られる周波数スペクトルを示すグラフである。変動周期算出部２４は、画像複雑度に対してフーリエ変換を行なうことにより、図４のような周波数スペクトルを求める。変動周期算出部２４は、この周波数スペクトルから、ピークの最も大きい周期を画像複雑度の変動周期とする。図４の例では、２４時間に最も大きいピークが現れている。よって、図３の画像複雑度の変動周期は、２４時間であると算出される。
　符号量制御部２６は、１ＧＯＰのビットレートが目標ビットレートとなるように符号量を制御するのではなく、変動周期算出部２４で算出された変動周期（図３および図４の例では、２４時間）における平均ビットレートが目標ビットレートとなるように量子化パラメータを設定して符号量を制御する。即ち、符号量制御部２６は、１変動周期内においては、ＶＢＲ符号化方式として、入力画像が複雑である場合にはビットレートが高くなり、入力画像が単調である場合にはビットレートが低くなることを許容する一方で、１変動周期における総発生符号量ないしは１変動周期における平均ビットレートについては、それが目標とする値となるように量子化パラメータを制御する。このために、符号量制御部２６は、画像複雑度算出部２３で得られた１ＧＯＰごとの画像複雑度と目標ビットレートとの関係ではなく、平均画像複雑度算出部２５で得られた１変動周期における平均の画像複雑度と目標ビットレートとの関係から量子化パラメータを決定する。
　図５は、本実施の形態の画像符号化装置２００の動作を示すフロー図である。画像符号化の処理が開始すると、まず、目標ビットレートＴｇｔＢｒが初期化され、ＴｇｔＢｒ＝ＴｇｔＢｒ０とされる（ステップＳ５１）。また、量子化パラメータＱＰが初期化されて、ＱＰ＝ＱＰ０とされる（ステップＳ５２）。さらに、変動周期λも初期化されて、λ＝λ０とされる（ステップＳ５３）。
　次に、符号化が終了したか否かが判断され（ステップＳ５４）、終了していない場合、即ちまだフレーム画像が入力されている場合には（ステップＳ５４にてＮＯ）、画像符号化部１０は、１ＧＯＰの入力画像を符号化する（ステップＳ５５）。続いて、画像複雑度算出部２３は、ステップＳ５５における符号化の結果、即ちそのときの平均ＱＰおよびビットレートＢｒから、上記の式（１）によって画像複雑度Ｆｉｍを算出し（ステップＳ５６）、変動周期算出部２４および平気画像複雑度算出部２５はこの画像複雑度Ｆｉｍを記録する（ステップＳ５７）。
　変動周期算出部２４は、変動周期を算出するか否かを判断する（ステップＳ５８）。変動周期算出部２４は、上述のように、外部トリガがあるか又は変動周期を算出すべき時刻になった場合に、変動周期を算出すると判断する。変動周期算出部２４は、変動周期を算出すると判断した場合には（ステップＳ５８にてＹＥＳ）、画像複雑度Ｆｉｍの直近の過去１週間分の記録を周波数解析して、変動周期λｎｅｗを算出して、λ＝λｎｅｗとして変動周期λを更新する（ステップＳ５９）。
　変動周期を算出するための外部トリガがなく、変動周期を算出すべき時刻にもなっていない場合（ステップＳ５８にてＮＯ）、およびステップＳ５９にて変動周期λを更新した後に、平均画像複雑度算出部２５は、変動周期λにおける平均画像複雑度ＦｉｍＡＶＧを算出する（ステップＳ６０）。続いて、符号量制御部２６は、目標ビットレート（ＴｇｔＢｒ）と平均画像複雑度ＦｉｍＡＶＧとから、次のＧＯＰで用いる量子化パラメータＱＰｎｅｗを算出し、ＱＰ＝ＱＰｎｅｗとして量子化パラメータＱＰを更新する（ステップＳ６１）。そして、ステップＳ５４に戻って、符号化が終了したか、即ち、符号化すべき入力画像がまだあるか否かを判断する。符号化すべき入力画像がなくなり、符号化が終了した場合には（ステップＳ５４にてＮＯ）、処理を終了する。
　以上のように、本実施の形態の画像符号化装置２００では、入力画像の複雑度の１変動周期における平均のビットレートが目標ビットレートとなるように量子化パラメータが制御されるので、１変動周期における発生符号量が所定の値に固定されるとともに、１変動周期内で入力画像の複雑度が変化する場合にその変動に応じて符号量を変化させ、即ち多くの符号量が必要な場合には多くの符号量を発生させるので、ＶＢＲ符号化方式よって画質も維持される。
（変形例）
　上記の実施の形態では、画像複雑度算出部２３は、１ＧＯＰの発生符号量に基づくビットレート（Ｂｒ）および１ＧＯＰの平均量子化パラメータ（ＱＰＡＶＧ）に基づいて画像複雑度（Ｆｉｍ）を算出したが、画像複雑度算出部２３は、発生符号量のみを参照して、発生符号量（Ｂｒ）をそのまま画像複雑度（Ｆｉｍ）としてよい。
　この場合には、変動周期算出部２４が周波数解析を行なう期間（上記の例では１週間）は、量子化パラメータを固定とすべきである。この期間に量子化パラメータを変動させると発生符号量は厳密な意味での画像複雑度とはならないからである。よって、変動周期算出部２４による周波数解析の対象となる期間は、符号量制御部２６は符号量制御のために量子化パラメータを更新すべきでなく、したがってその期間は平均画像複雑度算出部２５も平均画像複雑度を算出しない。
　図６は、図３と同一の事例において１ＧＯＰのビットレートの変動の例を示すグラフである。図６を図３と比較するとビットレートの上下動は画像複雑度の上下動と同様であり、よって、図６のビットレートの変化をフーリエ変換すると、図４と同様に２４時間に最も大きなピークが現れる。このことは、ビットレートをそのまま画像複雑度として扱うことができることを意味している。
　上記の実施の形態では、変動周期算出部２４が画像複雑度算出部２３で算出された画像複雑度を周波数解析することで、そこから変動周期を算出したが、画像符号化装置２００は、変動周期算出部２４を備えていなくてもよい。この場合には、変動周期はユーザが記録時間設定部２８に設定することになる。平均画像複雑度算出部２５は、記録時間設定部２８にて設定された周期を変動周期として、その周期内の画像複雑度の平均を算出する。例えば、店舗の来客を撮影する監視カメラの場合には、変動周期は１日の可動時間であり、ユーザは、その稼働時間を変動周期として、記録時間設定部２８に設定できる。
　また、平均画像複雑度算出部２５による平均画像複雑度の算出および符号量制御部２６による量子化パラメータの算出は、任意のタイミングで行なってよい。例えば、上述のように１ＧＯＰごとに行なってもよいし、１変動周期ごとに行なってもよい。いずれにしても、平均画像複雑度算出部２５が平均画像複雑度を算出する場合には、直近の１変動周期の画像複雑度の平均をとる。符号量制御部２６は、平均画像複雑度算出部２５が新たな平均画像複雑度を算出するごとに量子化パラメータを算出してよい。
　また、変動周期算出部２４が定期的に変動周期を算出する場合の時間間隔は任意であってよく、最も短周期で変動周期を算出する場合には、画像複雑度算出部２３から画像複雑度が入力されるごと、即ち１ＧＯＰごとに、変動周期を算出してもよい。なお、画像複雑度から変動周期を算出する場合であって、かつ上述のように、発生符号量のみによって画像複雑度を算出する場合には、変動周期算出部２４による周波数解析の対象となる期間（例えば１週間）は量子化パラメータの更新は行なわれないので、この場合には１ＧＯＰごとに変動周期を算出することは冗長となる。
　また、上記の実施の形態では、符号量制御部２６は、平均画像複雑度算出部２５にて算出された平均画像複雑度に基づいて、変動周期における平均ビットレートが目標ビットレート設定部２７に設定された目標ビットレートになるように量子化パラメータを決定したが、符号量制御部２６は、更に、平均ＱＰ検出部２２から１ＧＯＰごとの平均量子化パラメータのフィードバックを受けて、それをも参照して量子化パラメータを決定してよい。
　また、上記の実施の形態の変動周期算出部２４は、画像複雑度をフーリエ変換した結果、ピークが最大の周期を変動周期として決定したが、変動周期の決定方法はこれに限られない。変動周期は、例えば、ピークが所定の大きさ以上である周期のうちの最大の周期としてよい。また、ピークが所定の大きさ以上である周期が複数ある場合に、それらの最小公倍数を変動周期としてもよい。例えば、ピークが比較的大きい周期がいくつか存在する場合や、ピークが最大である周期が極端に短く急な画質変動が危惧される場合には、このように複数の周期の最小公倍数を変動周期とすることが有利である。
　上記の実施の形態の撮影画像記録システムは、図２に示すように、カメラ４００および記録装置３００からなり、カメラ４００には撮影部１００と画像符号化装置２００が備えられていた。そして、画像符号化装置２００は、図１に示すように、画像符号化部１０と制御部２０とを備えていた。しかし、撮影画像記録システムの構成はこれに限られず、図１に示した画像符号化装置２００の一部の構成が、カメラ４００ではなく記録装置３００に備えられていてもよい。
　入力画像を符号化するのは一般的にはカメラ４００であるので、カメラ４００の計算資源の多くは入力画像の符号化に使われ、カメラ４００に備えられた画像符号化装置２００の構成を図１に示したものとする場合には、小型であり、軽量であり、安価であることが求められるカメラ４００においては、制御部２０の計算資源の割り当ては少なくなりがちである。一方、記録装置３００は、映像レコーダ又はパーソナルコンピュータで構成することができるので、比較的容易に計算資源に余裕を持たせることができる。よって、画像符号化装置２００の一部の構成をカメラ４００ではなく記録装置３００に設けることで、カメラ４００での処理を軽減してカメラ４００に要する計算資源を軽減できる。以下、撮影画像記録システムの全体構成の変形例を説明する。
　図７は、第１の変形例の撮影画像記録システムの全体構成を示すブロック図である。なお、図７においてネットワークＮＷ（図２を参照）は図示を省略している。第１の変形例の撮影画像記録システム１００１において、図１に示した制御部２０の構成はすべて記録装置３００に備えられている。カメラ４００は、入力画像の複雑度の変動周期における平均画像複雑度を算出するための構成を有しない通常のカメラである。
　記録装置３００には、図１に示した制御部２０の構成のほかに、画像記録部３１および記録媒体３２を備えている。画像記録部３１は、カメラ４００から送信されてきた符号化データを記録媒体３２に記録する。記録装置３００の平均ＱＰ検出部２２および発生符号量検出部２１は、カメラ４００から送信されてきた符号化データに基づいて、それぞれ平均量子化パラメータおよび発生符号量を検出する。記録装置３００に備えられた符号量制御部２６からの制御信号は、記録装置３００からカメラ４００に送信されて、カメラ４００の量子化部１３に入力される。
　図８は、第２の変形例の撮影画像記録システムの全体構成を示すブロック図である。第２の変形例の撮影画像記録システム１００２において、画像符号化装置２００を図１の例と比較すると、撮影画像記録システム１００２の画像符号化装置２００の制御部２０は、変動周期算出部２４を備えていない。画像複雑度の変動周期を算出するための構成は、記録装置３００に設けられている。
　記録装置３００は、画像複雑度の変動周期を算出するための構成として、発生符号量検出部２１、平均ＱＰ検出部２２、画像複雑度算出部２３、および変動周期算出部２４を備えている。また、記録装置３００は、第１の変形例と同様に、記録媒体３２と、カメラ４００から送信されてきた符号化データを記録媒体３２に記録する画像記録部３１とを備えている。
　記録装置３００の平均ＱＰ検出部２２および発生符号量検出部２１は、カメラ４００から送信されてきた符号化データに基づいて、それぞれ平均量子化パラメータおよび発生符号量を検出する。記録装置３００の変動周期算出部２４で算出された変動周期は、ネットワークを介してカメラ２００に送信されて、画像符号化装置２００の記録時間設定部２８に入力される。
　図９は、第３の変形例の撮影画像記録システムの全体構成を示すブロック図である。第３の変形例の撮影画像記録システム１００３において、画像符号化装置２００を図１の例と比較すると、撮影画像記録システム１００３の画像符号化装置２００の制御部２０は、発生符号量検出部２１、平均ＱＰ検出部２２、画像複雑度算出部２３、変動周期算出部２４、および平均画像複雑度算出部２５を備えていない。画像複雑度に基づいてその変動周期を算出し、平均画像複雑度を算出するための構成は、記録装置３００に設けられている。
　記録装置３００は、画像複雑度に基づいてその変動周期を算出し、平均画像複雑度を算出するための構成として、発生符号量検出部２１、平均ＱＰ検出部２２、画像複雑度算出部２３、変動周期算出部２４、および平均画像複雑度算出部２５を備えている。また、記録装置３００は、第１の変形例と同様に、記録媒体３２と、カメラ４００から送信されてきた符号化データを記録媒体３２に記録する画像記録部３１とを備えている。
　記録装置３００の平均ＱＰ検出部２２および発生符号量検出部２１は、カメラ４００から送信されてきた符号化データに基づいて、それぞれ平均量子化パラメータおよび発生符号量を検出する。記録装置３００の変動周期算出部２４で算出された変動周期は、ネットワークを介してカメラ２００に送信されて、画像符号化装置２００の記録時間設定部２８に入力される。記録装置３００の平均画像複雑度算出部２５で算出された平均画像複雑度は、ネットワークを介してカメラ２００に送信されて、画像符号化装置２００の符号量制御部２６に入力される。
　以上のように、画像符号化装置２００の一部の構成をカメラ４００ではなく記録装置３００に設けることで、カメラ４００での処理を軽減してカメラ４００に要する計算資源を軽減でき、それによって、カメラ４００を小型、軽量、安価に構成することができる。
　以上に現時点で考えられる本発明の好適な実施の形態を説明したが、本実施の形態に対して多様な変形が可能であり、そして、本発明の真実の精神と範囲内にあるそのようなすべての変形を添付の請求の範囲が含むことが意図されている。
　本発明は、ＶＢＲ符号化方式において、入力画像の複雑度の変動周期の総発生符号量を制御することができ、所定の記憶容量を有する記録媒体に所望の時間分の符号化データを記録できるという効果を有し、連続的に入力される複数の入力画像を符号化して映像データを構成する複数の符号化データを生成する画像符号化装置等として有用である。
　１０　画像符号化部
　１１　減算器
　１２　ＤＣＴ器
　１３　量子化器
　１４　逆量子化器
　１５　逆ＤＣＴ器
　１６　加算器
　１７　フレームメモリ
　１８　動き補償予測器
　１９　可変長符号化器
　２０　制御部
　２１　発生符号量検出部
　２２　平均ＱＰ検出部
　２３　画像複雑度算出部
　２４　変動周期算出部
　２５　平均画像複雑度算出部
　２６　符号量制御部
　２７　目標ビットレート設定部
　２８　記録時間設定部
　２９　記憶容量設定部
　１００　撮影部
　２００　画像符号化装置
　３００　記録装置
　４００　カメラ
　１０００、１００１、１００２、１００３　撮影画像記録システム

Claims (24)

  1. 　連続的に入力される複数の入力画像を符号化して、映像データを構成する複数の符号化データを生成する画像符号化部と、
    　前記複数の符号化データの周期単位の符号量が所定の値になるように、前記画像符号化部にて生成される符号化データの符号量を制御する符号量制御部と、
    　を備えたことを特徴とする画像符号化装置。
  2. 　連続的に入力される複数の入力画像を符号化して、映像データを構成する複数の符号化データを生成する画像符号化部と、
    　周期単位内で一定の画質になるように符号化パラメータを制御するとともに、前記周期単位の符号量が所定の値になるように前記画像符号化部にて生成される前記符号化データの符号量を制御する符号量制御部と、
    　を備えたことを特徴とする画像符号化装置。
  3. 　前記周期単位は、前記符号化データの符号量の変動周期もしくは前記入力画像の複雑度の変動周期である請求項１又は２に記載の画像符号化装置。
  4. 　符号化したデータの符号量が周期的に変動する、連続的な複数の入力画像を符号化して、複数の前記符号化データを生成する画像符号化部と、
    　前記周期単位内で一定の画質になるように、前記画像符号化部の符号化パラメータを制御する符号量制御部と、
    　を備えたことを特徴とする画像符号化装置。
  5. 　連続的に入力される複数の入力画像を符号化して、映像データを構成する複数の符号化データを生成する画像符号化部と、
    　前記複数の符号化データの符号量が一定になる周期単位で、一定の画質になるように前記画像符号化部にて生成される符号化データの符号化パラメータを制御する符号量制御部と、
    　を備えたことを特徴とする画像符号化装置。
  6. 　前記周期単位の符号量は、該周期における総発生符号量もしくは平均ビットレートである請求項１ないし５項のいずれか一項に記載の画像符号化装置。
  7. 　　前記複数の符号化データに基づいて、前記入力画像の複雑度の変動周期における平均画像複雑度を算出する平均画像複雑度算出部をさらに備え、
    　前記符号量制御部は、前記平均画像複雑度に基づいて、前記画像符号化部にて生成される符号化データの符号量を制御する
    　ことを特徴とする請求項１ないし６のいずれか一項に記載の画像符号化装置。
  8. 　前記符号化データに基づいて、前記入力画像の複雑度を算出する画像複雑度算出部と、
    　前記画像複雑度算出部にて算出された前記複雑度の変動周期を算出する変動周期算出部と、
    　をさらに備え、
    　前記平均画像複雑度算出部は、前記変動周期算出部にて算出された変動周期における平均画像複雑度を算出する
    　ことを特徴とする請求項７に記載の画像符号化装置。
  9. 　前記画像複雑度算出部は、前記符号化データの符号量に基づいて前記入力画像の複雑度を算出することを特徴とする請求項８に記載の画像符号化装置。
  10. 　　前記画像複雑度算出部は、前記符号化データの符号量および量子化部の量子化パラメータに基づいて前記入力画像の複雑度を算出することを特徴とする請求項８に記載の画像符号化装置。
  11. 　前記画像複雑度算出部は、前記連続的に入力される複数の入力画像の１ＧＯＰごとの前記複雑度を算出し、
    　前記変動周期算出部は、前記画像複雑度算出部にて前記複雑度が算出されるごとに前記変動周期を算出し、
    　前記平均画像複雑度算出部は、前記変動周期算出部にて前記変動周期が算出されるごとに、当該変動周期における前記平均画像複雑度を算出する
    　ことを特徴とする請求項８に記載の画像符号化装置。
  12. 　前記変動周期算出部は、一定の時間間隔で前記変動周期を算出し、
    　前記平均画像複雑度算出部は、前記変動周期算出部にて前記変動周期が算出されるごとに、当該変動周期における前記平均画像複雑度を算出する
    　ことを特徴とする請求項８に記載の画像符号化装置。
  13. 　前記画像符号化部は、量子化部および前記量子化部から出力されたデータを可変長符号化する可変長符号化部を備えることを特徴とする請求項７に記載の画像符号化装置。
  14. 前記符号量制御部は、前記量子化部における量子化パラメータを調整することで、前記符号化データの符号量を制御することを特徴とする請求項１３に記載の画像符号化装置。
  15. 　前記符号量制御部は、前記平均画像複雑度および前記変動周期における設定された目標符号量に基づいて、前記符号化データの符号量を制御することを特徴とする請求項７に記載の画像符号化装置。
  16. 　前記平均画像複雑度算出部は、一日における前記画像符号化装置の稼働時間を前記変動周期として、前記平均画像複雑度を算出することを特徴とする請求項７に記載の画像符号化装置。
  17. 　前記平均画像複雑度算出部は、一週間における前記画像符号化装置の稼働時間を前記変動周期として、前記平均画像複雑度を算出することを特徴とする請求項７に記載の画像符号化装置。
  18. 　撮像装置と画像記録装置とを備えた撮像画像記録システムであって、
    　前記撮像装置に設けられた、被写体を撮影して画像を生成する撮影部と、
    　前記撮像装置に設けられた、前記撮像部にて生成されて連続的に入力される複数の入力画像を符号化して、映像データを構成する複数の符号化データを生成する画像符号化部と、
    　前記複数の符号化データの周期単位の符号量が所定の値になるように、前記画像符号化部にて生成される符号化データの符号量を制御する符号量制御部と、
    　前記画像記録装置に設けられた、前記画像符号化部にて生成された符号化データを記録するための所定の記憶容量を有する記録媒体と、
    　を備えたことを特徴とする撮影画像記録システム。
  19. 　前記符号化データに基づいて、前記入力画像の複雑度を算出する画像複雑度算出部と、
    　前記画像複雑度算出部にて算出された前記複雑度の変動周期を算出する変動周期算出部と、
    　前記変動周期算出部にて算出された変動周期における平均画像複雑度を算出する平均画像複雑度算出部と、
    　をさらに備え、
    　前記符号量制御部は、前記平均画像複雑度に基づいて、前記画像符号化部にて生成される符号化データの符号量を制御することを特徴とする請求項１８に記載の撮影画像記録システム。
  20. 　前記画像複雑度算出部および前記変動周期算出部は、前記画像記録装置に設けられていることを特徴とする請求項１９に記載の撮影画像記録システム。
  21. 　前記平均画像複雑度算出部は、前記画像記録装置に設けられていることを特徴とする請求項１９又は２０に記載の撮影画像記録システム。
  22. 　被写体を撮影して画像を生成する撮影部と、
    　前記撮影部にて生成されて連続的に入力される複数の入力画像を符号化して、映像データを構成する複数の符号化データを生成する画像符号化部と、
    　前記複数の符号化データの周期単位の符号量が所定の値になるように、前記画像符号化部にて生成される符号化データの符号量を制御する符号量制御部と、
    　を備えたことを特徴とする撮像装置。
  23. 　連続的に入力される複数の入力画像を符号化して、映像データを構成する複数の符号化データを生成する画像符号化ステップと、
    　前記複数の符号化データの周期単位の符号量が所定の値になるように、前記画像符号化ステップにて生成される符号化データの符号量を制御する符号量制御ステップと、
    　を含むことを特徴とする画像符号化方法。
  24. 　コンピュータを、
    　連続的に入力される複数の入力画像を符号化して、映像データを構成する複数の符号化データを生成する画像符号化部、
    　前記複数の符号化データの周期単位の符号量が所定の値になるように、前記画像符号化部にて生成される符号化データの符号量を制御する符号量制御部、
    　として機能させることを特徴とする画像符号化プログラム。
PCT/JP2013/005485 2012-09-26 2013-09-17 画像符号化装置、撮影画像記録システム、撮像装置、画像符号化方法、および画像符号化プログラム WO2014050015A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP13842957.6A EP2903271B1 (en) 2012-09-26 2013-09-17 Image encoding device, captured image recording system, capture device, image encoding method, and image encoding program
US14/427,931 US10091521B2 (en) 2012-09-26 2013-09-17 Image encoding device, captured image recording system, imaging device, method of encoding image, and image encoding program
CN201380050218.1A CN104685871B (zh) 2012-09-26 2013-09-17 图像编码装置、摄影图像记录系统、摄像装置及图像编码方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-212054 2012-09-26
JP2012212054A JP6094956B2 (ja) 2012-09-26 2012-09-26 画像符号化装置、撮影画像記録システム、撮像装置、画像符号化方法、および画像符号化プログラム

Publications (1)

Publication Number Publication Date
WO2014050015A1 true WO2014050015A1 (ja) 2014-04-03

Family

ID=50387458

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/005485 WO2014050015A1 (ja) 2012-09-26 2013-09-17 画像符号化装置、撮影画像記録システム、撮像装置、画像符号化方法、および画像符号化プログラム

Country Status (5)

Country Link
US (1) US10091521B2 (ja)
EP (1) EP2903271B1 (ja)
JP (1) JP6094956B2 (ja)
CN (1) CN104685871B (ja)
WO (1) WO2014050015A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BE1021071B1 (nl) 2012-08-03 2015-04-21 Atlas Copco Airpower, Naamloze Vennootschap Koelcircuit, koeldrooginstallatie en werkwijze voor het regelen van een koelcircuit
US11146608B2 (en) * 2017-07-20 2021-10-12 Disney Enterprises, Inc. Frame-accurate video seeking via web browsers
WO2019069753A1 (ja) * 2017-10-04 2019-04-11 パナソニックＩｐマネジメント株式会社 映像信号処理装置、映像表示システム、及び映像信号処理方法
WO2019127136A1 (zh) * 2017-12-27 2019-07-04 深圳市大疆创新科技有限公司 码率控制的方法与编码装置
CN111010576B (zh) * 2019-12-18 2021-04-27 腾讯科技（深圳）有限公司 一种数据处理方法及相关设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05336511A (ja) * 1992-06-03 1993-12-17 Toshiba Corp 動画像符号化装置
JPH10164577A (ja) * 1996-11-28 1998-06-19 Matsushita Electric Ind Co Ltd 動画像符号化装置
JP3508916B2 (ja) 1999-03-11 2004-03-22 日本電気株式会社 動画像可変ビットレート符号化方法および装置
JP2005151485A (ja) * 2003-11-20 2005-06-09 Hitachi Ltd 映像信号符号化装置および映像信号記録装置
JP2007074634A (ja) * 2005-09-09 2007-03-22 Matsushita Electric Ind Co Ltd 動画像圧縮装置
JP2009130810A (ja) * 2007-11-27 2009-06-11 Casio Comput Co Ltd 符号量制御装置、符号量制御方法、符号量制御プログラム、動画記録装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4650173B2 (ja) * 2005-09-05 2011-03-16 ソニー株式会社 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
JP4784650B2 (ja) * 2009-01-07 2011-10-05 ソニー株式会社 符号化装置、目標符号量調整方法及び記録媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05336511A (ja) * 1992-06-03 1993-12-17 Toshiba Corp 動画像符号化装置
JPH10164577A (ja) * 1996-11-28 1998-06-19 Matsushita Electric Ind Co Ltd 動画像符号化装置
JP3508916B2 (ja) 1999-03-11 2004-03-22 日本電気株式会社 動画像可変ビットレート符号化方法および装置
JP2005151485A (ja) * 2003-11-20 2005-06-09 Hitachi Ltd 映像信号符号化装置および映像信号記録装置
JP2007074634A (ja) * 2005-09-09 2007-03-22 Matsushita Electric Ind Co Ltd 動画像圧縮装置
JP2009130810A (ja) * 2007-11-27 2009-06-11 Casio Comput Co Ltd 符号量制御装置、符号量制御方法、符号量制御プログラム、動画記録装置

Also Published As

Publication number Publication date
JP2014068182A (ja) 2014-04-17
JP6094956B2 (ja) 2017-03-15
US20150229941A1 (en) 2015-08-13
EP2903271B1 (en) 2021-06-30
EP2903271A4 (en) 2015-10-07
US10091521B2 (en) 2018-10-02
EP2903271A1 (en) 2015-08-05
CN104685871A (zh) 2015-06-03
CN104685871B (zh) 2018-07-13

Similar Documents

Publication Publication Date Title
JP5495625B2 (ja) 監視カメラシステム、監視カメラ及び監視カメラ制御装置
EP2847993B1 (en) Motion sensor assisted rate control for video encoding
WO2014050015A1 (ja) 画像符号化装置、撮影画像記録システム、撮像装置、画像符号化方法、および画像符号化プログラム
WO2010095207A1 (ja) 動画撮像装置
JP6319545B2 (ja) 画像符号化装置、撮影システム、撮影記録システム、画質符号化方法、及び画像符号化制御プログラム
US11178401B2 (en) Method and bitrate controller for controlling output bitrate of a video encoder
KR20160047395A (ko) 비디오 인코딩 방법 및 비디오 인코더 시스템
KR102424258B1 (ko) 비디오를 인코딩하기 위한 방법 및 인코더 시스템
JP2006135557A (ja) 動画像符号化装置
WO2005101850A1 (ja) 画像信号処理装置および方法、記録媒体、プログラム、並びにビデオカメラ
JP3858520B2 (ja) 動画像符号化装置及びその方法
JP2001025016A (ja) 動画像符号化装置及びその方法
JP2008252225A (ja) 動画像符号化装置及び方法
JP2005045736A (ja) 画像信号符号化方法及び装置、符号化制御装置並びにプログラム
JP2003032691A (ja) 画像特徴に応じた画像符号化装置
JP2001025015A (ja) 動画像符号化装置及びその方法
CN102202220B (zh) 编码设备及其控制方法
US8761530B2 (en) Apparatus and method to control target code amount
JP2005303577A (ja) 画像信号処理装置および方法、記録媒体、プログラム、並びにビデオカメラ
JP2007324685A (ja) 動画像処理装置及び方法
JP4747109B2 (ja) 演算量調整装置
KR20070030770A (ko) 화상 신호 처리 장치 및 방법, 기록 매체, 프로그램, 및비디오 카메라
JP2008160403A (ja) 撮像装置
JP2005303578A (ja) 画像信号処理装置および方法、記録媒体、プログラム、並びにビデオカメラ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13842957

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14427931

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2013842957

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE