WO2009141973A1 - 動画像符号化装置及び動画像符号化方法 - Google Patents

動画像符号化装置及び動画像符号化方法 Download PDF

Info

Publication number
WO2009141973A1
WO2009141973A1 PCT/JP2009/002061 JP2009002061W WO2009141973A1 WO 2009141973 A1 WO2009141973 A1 WO 2009141973A1 JP 2009002061 W JP2009002061 W JP 2009002061W WO 2009141973 A1 WO2009141973 A1 WO 2009141973A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
encoding
unit
luminance
flicker
Prior art date
Application number
PCT/JP2009/002061
Other languages
English (en)
French (fr)
Inventor
関征永
津田賢治郎
重里達郎
小林裕樹
増野貴司
西郷賀津雄
島崎浩昭
千葉琢麻
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2010512926A priority Critical patent/JP5044015B2/ja
Priority to US12/937,757 priority patent/US8494050B2/en
Publication of WO2009141973A1 publication Critical patent/WO2009141973A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination

Definitions

  • the present invention relates to a moving image encoding apparatus and a moving image encoding method for encoding data relating to a moving image, and in particular, a moving image capable of suppressing a decrease in encoding efficiency due to flicker that occurs during high-speed imaging under fluorescent lamp illumination or the like.
  • the present invention relates to an image encoding technique.
  • the captured image data includes a flicker component that blinks due to the power frequency of the fluorescent lamp.
  • the commercial power supply frequency is 50 Hz
  • the fluorescent lamp flickers every half-wave rectification cycle, so the flicker frequency is 100 Hz.
  • the luminance of each field image is different and the video signal is changed. Will contain a flicker component.
  • the noise component due to flicker cannot be removed for an image captured at a timing when the luminance of the illumination is low, the signal-to-noise power ratio of the image decreases. That is, it is impossible to suppress a decrease in encoding efficiency due to flicker.
  • the present invention solves such a conventional problem, even if flicker occurs depending on the state of light in the environment where the image was captured, and the imaging cycle is very short compared to the flicker cycle, It is an object of the present invention to provide a moving image encoding apparatus and a moving image encoding method that can suppress a decrease in encoding efficiency due to flicker and realize highly efficient encoding.
  • a video encoding apparatus is a video encoding apparatus that encodes an image in which a subject is imaged.
  • a luminance information acquisition unit that acquires luminance information indicating the magnitude of luminance, and a picture type that is applied when encoding the image according to the blinking state of the light obtained from the acquired luminance information.
  • an encoding unit that encodes the image by a predictive encoding method.
  • the present invention can be realized not only as such a moving image encoding device, but also as an integrated circuit that includes each processing unit constituting the device and controls the moving image encoding device, It can be realized as a method in which the above process is a step. Furthermore, the present invention can be realized as a program for causing a computer to execute these steps, as a recording medium such as a computer-readable CD-ROM in which the program is recorded, or as information, data, or a signal indicating the program. It can also be realized. These programs, information, data, and signals may be distributed via a communication network such as the Internet.
  • flicker occurs depending on the state of light in the environment where an image is captured, and the imaging cycle is much shorter than the flicker cycle.
  • it is possible to suppress a decrease in encoding efficiency due to the flicker and realize highly efficient encoding.
  • FIG. 1 is a block diagram showing a functional configuration of a moving picture coding apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram showing a functional configuration of the flicker control unit according to Embodiment 1 of the present invention.
  • FIG. 3 is a flowchart showing an operation procedure of the moving picture coding apparatus according to Embodiment 1 of the present invention.
  • FIG. 4 is a diagram for explaining a moving picture coding method in the moving picture coding apparatus according to Embodiment 1 of the present invention.
  • FIG. 5 is a block diagram showing a functional configuration of the moving picture coding apparatus including the illumination luminance photometry unit according to the first embodiment of the present invention.
  • FIG. 6 is a block diagram showing a functional configuration of the moving picture coding apparatus according to Embodiment 2 of the present invention.
  • FIG. 7 is a diagram for explaining a moving image encoding method when the flicker cycle is not an integral multiple of the imaging cycle in Embodiment 2 of the present invention.
  • FIG. 8 is a block diagram illustrating a functional configuration of a control unit that changes the imaging cycle in a modification of the second embodiment of the present invention.
  • FIG. 9 is a block diagram showing a functional configuration of a conventional moving picture coding apparatus.
  • FIG. 10 is a diagram for explaining a moving picture coding method in a conventional moving picture coding apparatus.
  • FIG. 11 is a diagram illustrating an example of realizing a moving image coding apparatus with an integrated circuit.
  • a moving image encoding apparatus that encodes an image in which a subject is imaged, and obtains luminance information indicating the magnitude of light luminance in an environment in which the subject is imaged. And a predictive encoding method with a picture type applied when encoding the image according to the blinking state of the light obtained from the acquired luminance information. And an encoding unit that performs conversion.
  • encoding is performed by an encoding method corresponding to the blinking state of the light obtained from the luminance information.
  • the encoding method according to the flickering state due to flicker is used. Encoding is performed. For this reason, it is possible to suppress a decrease in encoding efficiency due to flicker and achieve an effect of realizing highly efficient encoding.
  • the moving image encoding device further includes an image information acquisition unit that acquires image information indicating a bright image captured in a bright state among the blinking states, and the encoding unit includes the image information.
  • image information acquisition unit that acquires image information indicating a bright image captured in a bright state among the blinking states
  • the encoding unit includes the image information.
  • the image encoded by the intra prediction encoding and the forward inter prediction encoding is a bright image captured at a timing when the luminance of the illumination light is high. For this reason, even if flicker occurs depending on the state of light in the environment where the image was captured, and the imaging cycle is very short compared to the flicker cycle, the signal-to-noise power ratio of the bright image should be increased. Can do. Further, when a plurality of bright images are captured, the luminance of the illumination light at the time of imaging between the plurality of bright images can be regarded as substantially the same. Therefore, there is an effect that the correlation between the plurality of bright images becomes high, and high-efficiency encoding can be realized.
  • the moving image encoding apparatus further includes an imaging unit that images the subject at a predetermined imaging cycle, and the image information acquisition unit identifies the bright image from images captured at the imaging cycle.
  • the image information indicating the bright image may be acquired.
  • the subject is imaged at a predetermined imaging cycle, and a bright image is specified from images captured at the imaging cycle. For this reason, even if flicker occurs depending on the state of light in the environment where the image is captured, and the imaging cycle is very short compared to the flicker cycle, the signal-to-noise of the bright image that is periodically identified
  • the power ratio can be increased.
  • luminance of the illumination light at the time of imaging between the bright images specified periodically can be considered as substantially the same. Therefore, there is an effect that the correlation between bright images is increased, and high-efficiency encoding can be realized.
  • the moving image encoding apparatus further includes a flicker cycle acquisition unit that acquires a flicker cycle that is a cycle in which the light flickers from the luminance information acquired by the luminance information acquisition unit, and the acquired flicker cycle is You may make it a structure provided with the imaging period change part which changes the imaging period which the said imaging part images so that it may become an integral multiple of the said imaging period.
  • the luminance information acquisition unit may acquire an average luminance value of a captured image as the luminance information.
  • the moving image encoding device further includes an illumination luminance photometry unit that measures the illumination luminance of light in an environment where the subject is imaged, and the luminance information acquisition unit uses the measured illumination luminance as the light intensity. You may make it the structure acquired as luminance information.
  • the encoding unit is configured to perform encoding by weighted predictive encoding with reference to a decoded image obtained by decoding the encoded bright image for images other than the captured bright image. It doesn't matter.
  • the encoding unit determines the weight based on a ratio of luminance information in an environment where the bright image and an image other than the bright image to be encoded are captured, so that the weighted prediction is performed. You may make it the structure which encodes by encoding.
  • the average luminance of the image other than the bright image to be encoded and the motion compensated prediction image generated with reference to the decoded image of the encoded bright image are made substantially the same, and the encoding efficiency is further improved. The effect which becomes possible is produced.
  • the encoding unit sets a predetermined number of captured images as a group image, and among the images included in the group image, the first bright image in the imaging order is encoded by intra prediction encoding. You may make it the structure to perform.
  • GOP Group Of Pictures
  • MPEG-2 MPEG-2 standard
  • a moving image encoding method for encoding an image in which a subject is imaged a luminance information acquisition step for acquiring luminance information indicating a luminance level of light in an environment in which the subject is imaged;
  • An encoding step of encoding the image by a predictive encoding method with a picture type applied when encoding the image according to the blinking state of the light obtained from the acquired luminance information It may be configured to include.
  • a luminance information acquisition step for acquiring a luminance information indicating a magnitude of light luminance in an environment in which the subject is imaged, which is a moving image encoding program for encoding an image in which the subject is imaged Encoding the image by a predictive encoding method with a picture type applied when encoding the image according to the blinking state of the light obtained from the acquired luminance information
  • You may comprise as a moving image encoding program for making a computer perform a step.
  • the encoding can be realized by a program.
  • a luminance information acquisition unit that acquires a luminance information indicating a magnitude of light luminance in an environment in which the subject is imaged;
  • An encoding unit that encodes the image by a predictive encoding method using a picture type applied when encoding the image according to the blinking state of the light obtained from the acquired luminance information May be configured as a moving image encoding integrated circuit.
  • the encoding can be realized by the encoding integrated circuit.
  • the imaging cycle in the present invention is represented by a time interval between adjacent images. That is, the imaging cycle is the reciprocal of the number of images captured per unit time.
  • the unit time may be the basic unit of seconds, minutes, or hours.
  • the flicker cycle is expressed by a time interval from light to light or from light to light, for example, in flickering due to the power supply frequency of a fluorescent lamp.
  • the bright image refers to an image captured in the bright state among the light states in the environment where the apparatus is placed, such as an image captured in the bright state, for example, when the fluorescent lamp blinks at the power supply frequency.
  • FIG. 1 is a block diagram showing a hardware configuration of moving picture coding apparatus 100 according to the first embodiment.
  • FIG. 2 is a block diagram illustrating a functional configuration of the flicker control unit 105 according to the first embodiment.
  • the moving picture coding apparatus 100 captures an interlaced scanned image of 480 fields per second under fluorescent lamp illumination with a power supply frequency of 60 Hz. It is not limited to such a configuration, and an image may be captured at any imaging cycle.
  • a moving image encoding apparatus 100 includes a lens group 101, an imaging unit 102, an A / D conversion unit 103, an image signal processing unit 104, a flicker control unit 105, a moving image encoding unit 106, a recording process.
  • the input unit 109 receives a user operation such as setting of an imaging cycle in the imaging unit 102 via an input device. Then, the input unit 109 outputs the received user operation to the control unit 110 as operation information.
  • the user operation input to the input unit 109 is input using, for example, a touch pad input device, a pointing device, a tablet, or the like.
  • the control unit 110 controls the imaging unit 102, the image signal processing unit 104, the flicker control unit 105, the moving image encoding unit 106, the recording processing unit 107, and the recording control unit 108 to record in the moving image encoding device 100. Execute processing etc.
  • the control unit 110 may be constituted by a CPU that can execute software, for example.
  • the lens group 101 is composed of a plurality of optical lenses.
  • the imaging unit 102 images the subject at a predetermined imaging cycle.
  • the imaging unit 102 includes an imaging element such as a CCD element, for example, and images a subject input via the lens group 101.
  • an imaging cycle when the imaging unit 102 captures an image is specified via the control unit 110 based on operation information output from the input unit 109 to the control unit 110.
  • the imaging unit 102 outputs the captured image to the A / D conversion unit 103 as an analog signal.
  • the imaging unit 102 is not limited to a configuration using a CCD element, and may be configured using a CMOS element. By using a CMOS element, power consumption can be reduced.
  • the A / D conversion unit 103 converts the analog signal output from the imaging unit 102 into a digital signal. Then, the A / D conversion unit 103 outputs the digital signal obtained by the conversion to the image signal processing unit 104.
  • the image signal processing unit 104 performs processing such as noise removal and image quality adjustment on the digital signal output from the A / D conversion unit 103, and then performs an interlaced scanned image (hereinafter referred to as a 480i image) of 480 fields per second. Is output to the flicker control unit 105 and the moving image encoding unit 106.
  • the flicker control unit 105 determines whether there is flicker depending on the light state of the environment where the apparatus is placed and the image information of the bright image among the images included in the 480i image as flicker information. The result is output to the moving image encoding unit 106.
  • the flicker control unit 105 includes a luminance information acquisition unit 121, an image information acquisition unit 122, a flicker cycle acquisition unit 123, and a control buffer unit 124.
  • the luminance information acquisition unit 121 acquires luminance information indicating the magnitude of light luminance in the environment where the subject is imaged. Specifically, the luminance information acquisition unit 121 acquires an average luminance value of a captured image as luminance information.
  • the luminance information acquisition unit 121 calculates an average luminance value for each image included in the 480i image as an average value of luminance values based on the pixel values of the image, and the flicker control unit 105 performs time series.
  • the data is stored in the control buffer unit 124 included therein.
  • the luminance information acquisition unit 121 determines that flicker has occurred when the average luminance stored in the control buffer unit 124 periodically has a maximum value or a minimum value, and the flicker information is used as the flicker information.
  • the information is output to the moving image encoding unit 106 via the information acquisition unit 122.
  • the flicker cycle acquisition unit 123 acquires a flicker cycle that is a cycle in which light blinks from the luminance information acquired by the luminance information acquisition unit 121.
  • the flicker cycle acquisition unit 123 is an image of an image that takes the maximum value or the minimum value when the average luminance stored in the control buffer unit 124 periodically takes a maximum value or a minimum value. Based on the interval, the flicker cycle is calculated.
  • the image information acquisition unit 122 acquires image information indicating a bright image captured in the bright state among the blinking states of light in the environment where the subject is captured, which is obtained from the luminance information acquired by the luminance information acquisition unit 121. To do. Specifically, the image information acquisition unit 122 specifies a bright image from images captured at the imaging cycle, and acquires image information indicating the bright image.
  • the image information acquisition unit 122 determines that the image having the maximum value is a bright image in which the light state of the environment in which the apparatus is placed is captured in a bright state, and determines the image information of the image. get. Then, the image information acquisition unit 122 outputs the image information of the bright image to the moving image encoding unit 106 as flicker information.
  • the image information may be any information as long as the image can be uniquely identified. For example, the image information when the image is captured, information included in the header of the image, or the like is used. You may make it the structure to do.
  • the average luminance of the image is calculated. However, for example, a partial average luminance of the image may be calculated.
  • the control buffer unit 124 is a recording medium such as a non-volatile memory and is configured to be included in the flicker control unit 105. However, for example, the control buffer unit 124 may be provided outside.
  • the flicker presence / absence determination method determines that flicker occurs when the average luminance of the image periodically has a maximum value or a minimum value, but is not limited to such a configuration. Any flicker detection method conventionally used may be used.
  • the moving image encoding unit 106 is a prediction code with a picture type applied when encoding an image according to the blinking state of light obtained from the luminance information acquired by the luminance information acquisition unit 121.
  • the image is encoded by the encoding method.
  • the moving image encoding unit 106 corresponds to the “encoding unit” recited in the claims.
  • the moving image encoding unit 106 converts the 480i image output from the image signal processing unit 104 based on the flicker information output from the flicker control unit 105 to the MPEG-2 standard that is a compression standard, H. Based on an encoding method such as the H.264 standard, it is compressed as an interlaced scanned image (hereinafter referred to as a 60i image) of 60 fields per second, and ancillary information and audio signals (not shown) are multiplexed by MPEG-2 Systems, etc. Multiplex based on. Then, the moving image file obtained by multiplexing is output to the recording processing unit 107.
  • the MPEG-2 standard that is a compression standard, H.
  • ancillary information and audio signals are multiplexed by MPEG-2 Systems, etc. Multiplex based on.
  • the moving image file obtained by multiplexing is output to the recording processing unit 107.
  • the moving image encoding unit 106 starts encoding until a decoded image of an encoded bright image that is referenced from another image at the time of encoding and the next bright image in the order of imaging are encoded.
  • An encoding buffer unit 131 for accumulating incapable images is provided inside.
  • the encoding buffer unit 131 is a recording medium such as a nonvolatile memory.
  • the bright image indicated by the flicker information is captured in the past from the intra-screen predictive encoding and the imaging time of the bright image accumulated in the encoding buffer unit 131. Then, encoding is performed using at least one of the forward inter-frame predictive encoding in which encoding is performed with reference to the decoded image obtained by decoding the encoded bright image.
  • the moving image encoding unit 106 sets a predetermined number of captured images as a group image, and among the images included in the group image, the first bright image in the imaging order Encoding is performed by conversion.
  • This group image is, for example, a GOP. Note that the number of images included in the group image does not have to be constant, and may vary for each group image.
  • the moving image encoding unit 106 stores the images other than the bright image in the encoding buffer unit 131 until the next bright image is encoded in the imaging order to be referred to at the time of encoding. Bidirectional referring to a decoded image of a bright image captured and encoded in the past than the image stored in the encoding buffer unit 131 and a decoded image of a bright image captured and encoded in the future It is assumed that encoding is performed using inter-screen predictive encoding.
  • the image encoded by the intra prediction encoding and the forward inter prediction encoding is an image captured at a timing when the luminance of the illumination light is high, the signal-to-noise power ratio is high, Since the brightness of the illumination light at the time of imaging can be regarded as substantially the same, the correlation between images is increased, and an effect of enabling highly efficient encoding is achieved.
  • the 480i image encoded as a 60i image in this way can be decoded and reproduced as a 60i image with 8 ⁇ speed slow.
  • the recording processing unit 107 writes the moving image file output from the moving image encoding unit 106 in the recording medium 10 according to the file configuration set in the compression standard.
  • the recording medium 10 may be a recording device built in the moving picture coding apparatus 100, for example, a hard disk drive, or may be configured to use a detachable semiconductor memory, for example, an SD card.
  • the recording control unit 108 controls a recording protocol such as a drive device for driving the recording medium 10 or a recording address input procedure.
  • FIG. 3 is a flowchart showing the encoding of an image when a subject is imaged by the moving image encoding apparatus 100.
  • FIG. 4 is a diagram for explaining a moving picture coding method in the moving picture coding apparatus 100.
  • Step S1001 When the moving image encoding apparatus 100 captures a subject and obtains a 480i image in the image signal processing unit 104, the moving image encoding unit 100 outputs the 480i image to the flicker control unit 105 and the moving image encoding unit 106. The process proceeds to step S1002.
  • Step S1002 When an input image is input from the image signal processing unit 104 to the flicker control unit 105, the luminance information acquisition unit 121 acquires luminance information and stores the luminance information in the control buffer unit 124. Let Then, the luminance information acquisition unit 121 calculates the average luminance of the input image from the luminance information, and based on the calculated average luminance value and the average luminance of the past input image stored in the control buffer unit 124 in time series. In addition, it is determined whether or not flicker exists in the input image currently input. If it is determined that flicker has occurred, the process advances to step S1003. On the other hand, if it is determined that no flicker has occurred, the process advances to step S1010.
  • Step S1003 Then, if it is determined that the flicker has occurred in the input image, the flicker cycle acquisition unit 123 acquires the flicker cycle. Then, the image information acquisition unit 122 determines whether the input image corresponds to a bright image based on an image interval at which the average luminance of images stored in time series takes a maximum value. If it is determined that the input image is a bright image, the process proceeds to step S1004. On the other hand, if it is determined that the input image is not a bright image, the process proceeds to step S1009.
  • the average luminance of the image included in the 480i image is a maximum value.
  • the images to be taken are an image 1103 and an image 1107. That is, the flicker cycle is 1/120 second of 4 image units.
  • the image information acquisition unit 122 encodes a moving image using the image 1103 in which the average luminance of the image has a maximum value and the image information of the image 1107 as flicker information. To the unit 106.
  • Step S1004 When it is determined that the input image is a bright image, the moving image encoding unit 106 determines whether or not the input image is the first bright image in the shooting order of each GOP. If it is determined that the image is the first bright image in the GOP, the process proceeds to step S1005. On the other hand, if it is determined that it is not the first bright image in the shooting order of each GOP, the process proceeds to step S1006.
  • Step S1005 When the input image is determined to be the first bright image in the GOP, the moving image encoding unit 106 encodes the input image by intra prediction encoding. Further, the process proceeds to step S1007.
  • Step S1006 When it is determined that the input image is not the first bright image in the shooting order of each GOP, the moving image encoding unit 106 determines the shooting time of the bright image stored in the encoding buffer unit 131. With reference to a decoded image of a bright image having a past shooting time, encoding is performed by forward inter-screen predictive encoding. Further, the process proceeds to step S1007.
  • Step S1007 Since the bright image encoded in step S1006 can be referred to when another image is encoded, the decoded image of the bright image is stored in the encoding buffer unit 131. Further, the process proceeds to step S1008.
  • Step S ⁇ b> 1008 The moving image encoding unit 106 refers to a previously input unencoded image stored in the encoding buffer unit 131 and a decoded image of a bright image stored in the encoding buffer unit 131. Encoding is performed by the bidirectional inter-screen predictive encoding. Then, the process proceeds to step S1011.
  • Step S1009 On the other hand, when it is determined that the input image is not a bright image, the moving image encoding unit 106 stores the input image in the encoding buffer unit 131. Then, the process proceeds to step S1011.
  • Step S1010 When the moving image encoding unit 106 determines that no flicker occurs in the input image, the moving image encoding unit 106 encodes the input image without considering the influence of the flicker. Then, the process proceeds to step S1011.
  • Step S1011 Then, based on the control from the control unit 110, the end of the encoding process is determined. When the encoding process is continued, the processes after step S1001 are performed again.
  • the moving image coding apparatus 100 calculates the luminance information based on the image output from the image signal processing unit 104 by the flicker control unit 105.
  • the moving image coding apparatus A luminance metering unit may be provided.
  • FIG. 5 is a block diagram illustrating a functional configuration of the moving image encoding apparatus 300 including the illumination luminance photometry unit 111.
  • the moving image encoding apparatus 300 includes an illumination luminance photometry unit 111 including an optical sensor or the like.
  • the illumination luminance metering unit 111 measures the illumination luminance of light in the environment where the subject is imaged.
  • the luminance information acquisition unit 121 of the flicker control unit 105 shown in FIG. 2 acquires the illumination luminance measured by the illumination luminance photometry unit 111 as luminance information. That is, the luminance information acquisition unit 121 calculates luminance information based on the illumination photometry result obtained by the illumination luminance photometry unit 111.
  • the moving image encoding unit 106 refers to a decoded image obtained by decoding the encoded bright image for images other than the bright image in which the average luminance of the image has the maximum among the images in each flicker cycle.
  • the encoding may be performed by inter-frame prediction encoding using the weighted prediction.
  • the weight used at the time of encoding can be calculated
  • p is the average luminance of the encoding target image
  • q0 is the average luminance of the previous image that is an image whose luminance before the encoding target image is larger than a predetermined threshold
  • Q1 is the average luminance of the subsequent image, which is an image whose luminance later in time is larger than a predetermined threshold
  • the moving image encoding apparatus 100 is configured to input the captured image to the flicker control unit 105 and the moving image encoding unit 106 at the same time, the captured image is input to the flicker control unit 105 and the moving image code. Is stored in a frame buffer unit arranged at a different position from the conversion unit 106, and the flicker control unit 105 determines the presence / absence of flicker for the image stored in the frame buffer unit, and then the moving image encoding unit 106 performs encoding. May be performed.
  • the moving picture coding apparatus 100 is based on the flicker information detected by the flicker control unit 105, and the bright image picked up in the bright state among the blinking light of the environment where the image was picked up.
  • An image (for example, the image 1103 or the image 1107 shown in FIG. 4) is subjected to intra-frame predictive encoding, or a forward inter-screen predictive code referring to a decoded image of a bright image captured and encoded in the past than the image. Encode by encoding.
  • the images encoded by the intra prediction encoding and the forward inter prediction encoding have a high signal-to-noise power ratio because they are imaged at a timing when the luminance of the illumination light is high. Since the luminance of light can be regarded as substantially the same, the correlation between images is increased, and the reduction in coding efficiency due to flicker can be suppressed.
  • an image for example, the image 1104, the image 1105, or the image shown in FIG. 4
  • the reference picture coding efficiency is high and the signal-to-noise power ratio is improved, so that a reduction in coding efficiency due to flicker can be suppressed.
  • the number of images to be encoded with reference to the decoded image of the image encoded by the intra prediction encoding and the forward inter prediction encoding does not have to be a fixed number every flicker period. You may change for every period. Even in this case, since the signal-to-noise power ratio of the image is improved, a decrease in encoding efficiency due to flicker can be suppressed.
  • Embodiment 2 the moving picture coding apparatus 200 according to Embodiment 2 of the present invention will be described with reference to the drawings.
  • the difference between the moving picture coding apparatus 200 in the second embodiment and the moving picture coding apparatus 100 in the first embodiment is accepted by the control unit 210 based on the flicker cycle calculated by the flicker control unit 105. This is to limit the designated imaging cycle from the input unit 109.
  • FIG. 6 is a block diagram showing a hardware configuration of the moving picture coding apparatus 200 according to Embodiment 2 of the present invention. Note that the same reference numerals are used for the same hardware configuration as that of the moving picture encoding apparatus 100 in Embodiment 1, and a detailed description thereof is omitted.
  • FIG. 7 is a diagram for explaining a moving image encoding method when the flicker cycle is not an integral multiple of the imaging cycle in Embodiment 2 of the present invention. Specifically, this figure shows an encoding method when imaging is performed at 250 fields per second under fluorescent lamp illumination with a power supply frequency of 50 Hz.
  • the flicker cycle is 1/100 second and the imaging cycle is 1/250 second.
  • the flicker cycle does not become an integral multiple of the imaging cycle (2.5 times in the figure) among the images in each flicker cycle, the image 1201 and the image 1202 that have the maximum average luminance of the image Is not less than a predetermined error. For this reason, there is a possibility that the correlation between images becomes small and the encoding efficiency is lowered.
  • the control unit 210 of the moving picture coding apparatus 200 according to Embodiment 2 of the present invention has a flicker cycle that is an integral multiple of the imaging cycle based on the flicker cycle calculated by the flicker cycle acquisition unit 123 of the flicker control unit 105.
  • the designated imaging cycle received from the input unit 109 is limited.
  • control unit 210 controls the flicker cycle to be an integral multiple of the imaging cycle, so that among the images within each flicker cycle, the illumination at the time of imaging is taken between images with the maximum average luminance of the images.
  • the luminance is substantially the same. Therefore, there is an effect that it is possible to suppress a decrease in encoding efficiency due to flicker.
  • the number of images to be subjected to bidirectional inter-screen predictive coding sandwiched between images to be subjected to intra-screen predictive coding or forward inter-screen predictive coding is also constant. Therefore, there is an effect that the encoding control becomes easy.
  • control unit 210 is configured to prompt the user to change the imaging cycle through a user interface such as a display. It doesn't matter.
  • control unit 210 may automatically change the imaging cycle.
  • FIG. 8 is a block diagram showing a functional configuration of the control unit 210 that changes the imaging cycle in the modification of the second embodiment of the present invention.
  • control unit 210 includes an imaging cycle changing unit 141.
  • the imaging cycle changing unit 141 changes the imaging cycle captured by the imaging unit 102 so that the flicker cycle acquired by the flicker cycle acquiring unit 123 is an integral multiple of the imaging cycle.
  • the moving picture coding apparatus 200 uses the flicker cycle calculated by the flicker control unit 105 as the designated imaging cycle received from the input unit 109, and the flicker cycle is an integral multiple of the imaging cycle. The period is limited to
  • the brightness of the illumination at the time of imaging is substantially the same among the images captured in the bright state among the light blinking states of the environment where the images were captured, and the effect of suppressing the decrease in the encoding efficiency due to flicker is achieved.
  • the number of images to be subjected to bidirectional inter-screen predictive coding sandwiched between bright images can be made constant, and an effect of facilitating coding control can be achieved.
  • FIG. 1 the figure is a functional block diagram which shows the functional structure of the conventional moving image encoder.
  • FIG. 1 an outline of the operation of the moving picture coding apparatus will be described by taking the case of performing frame coding as an example.
  • an optical signal incident on the imaging unit 1 is converted into an electrical signal, further converted into an image signal in the image signal processing unit 2, and then to a flicker removing unit 510 in a predetermined block unit determined by the encoding method. Entered.
  • the predetermined block unit image signal passes through the level correction unit 513 and is input to the next-stage moving image encoding unit 20.
  • the motion compensation inter-frame prediction unit 21 of the moving image encoding unit 20 detects the moving region and the still region of the subject in units of blocks between the current frame and the previous frame of the image signal.
  • the moving area and the stationary area are determined based on a change in signal level between the current frame and the previous frame. If the level change amount is equal to or less than a predetermined threshold, the stationary area and the threshold are exceeded. If it does, it will be the moving area.
  • the still region level detection unit 511 detects the signal level of the still region based on the still region position information a output from the motion compensation inter-screen prediction unit 21 and outputs the block signal level b.
  • the block signal level b is accumulated for one frame in the level averaging unit 512, and then an average value c is calculated.
  • the level difference between the average value c calculated here and the still area of the current frame can be a plus or minus value with respect to zero.
  • the level correction unit 513 removes a noise component from the signal level in the frame by calculating a difference between the average value level signal c calculated by the level averaging unit 512 and the still region of the current frame.
  • Block sequential data from which noise such as flicker has been removed is encoded by the moving image encoding unit 20.
  • the noise component due to flicker cannot be removed for an image captured at a timing when the luminance of the illumination is low, the signal-to-noise power ratio of the image decreases. That is, it is impossible to suppress a decrease in encoding efficiency due to flicker.
  • FIG. 10 is a diagram for explaining a moving picture coding method in a conventional moving picture coding apparatus. Specifically, this figure shows an encoding method when imaging is performed at 480 fields per second in a conventional moving image encoding apparatus under fluorescent lamp illumination with a power supply frequency of 60 Hz.
  • an I image 1001 is an image to be subjected to intraframe prediction encoding
  • P images 1004 and 1007 are images to be subjected to forward interframe prediction encoding
  • B images 1002, 1003, 1005, 1006, 1008, and 1009 are bidirectional. The image which performs inter-screen prediction encoding is shown.
  • the P image 1004 is encoded with reference to the I image 1001
  • the P image 1007 is encoded with reference to the P image 1004.
  • the B images 1002 and 1003 are encoded with reference to the I image 1001 and the P image 1004, and the B image 1005 and the B image 1006 are encoded with reference to the P image 1004 and the P image 1007. Shall.
  • the forward inter-screen predictive code is referred to with reference to the I image 1001.
  • the I image 1001 to be referred to contains a large amount of noise components, and the illumination luminance at the time of capturing the I image 1001 and the P image 1004 is different. Is difficult to encode.
  • the P image 1004 to be referenced has low coding efficiency, so that the decoded image includes a lot of noise components, and the illumination brightness at the time of capturing the P image 1004 and the P image 1007 is different. Therefore, the correlation between images becomes small, and highly efficient encoding is difficult.
  • high-efficiency encoding is also difficult for images that perform bidirectional inter-frame prediction encoding with reference to these intra-frame prediction encoding and forward inter-frame prediction encoding images.
  • flicker occurs depending on the state of light in the environment where the image is captured, and the imaging cycle is very short compared to the flicker cycle.
  • it is possible to suppress a decrease in encoding efficiency due to flicker and realize highly efficient encoding.
  • the imaging unit 102 images a subject at a predetermined imaging cycle, and the image information acquisition unit 122 acquires image information indicating a bright image from images captured at the imaging cycle. It was decided. However, as long as the image information acquisition unit 122 can acquire image information indicating a bright image, the imaging unit 102 does not have to capture a subject in a predetermined imaging cycle.
  • the image information acquisition unit 122 acquires image information indicating a bright image captured in a bright state, and the moving image encoding unit 106 performs intra-screen prediction encoding or Coding was performed using forward inter-screen predictive coding.
  • the encoding target image is not limited to a bright image. That is, the image information acquisition unit 122 acquires image information indicating an image captured in an environment having the same luminance instead of a bright image, and the moving image encoding unit 106 performs intra-screen predictive encoding or forward direction. You may decide to encode using inter-screen prediction encoding.
  • the moving picture encoding apparatus includes a CPU (Central Processing Unit), a system LSI (Large Scale Integration), a RAM (Random Access Memory), a ROM (Read Only Memory), and an HDD (HardD). Drive), a network interface, or the like. Furthermore, a drive device capable of reading and writing with respect to a portable recording medium such as a DVD-RAM, a Blu-ray disc, and an SD (Secure Digital) memory card may be provided.
  • a portable recording medium such as a DVD-RAM, a Blu-ray disc, and an SD (Secure Digital) memory card
  • the moving image encoding apparatus may be an embedded system such as a digital video camera, a digital recorder, a digital TV, a game machine, a mobile phone, or the like.
  • a program for controlling the moving image encoding device (hereinafter referred to as a moving image encoding program) is installed in the HDD or ROM, and the moving image encoding program is executed, thereby moving images.
  • a program for controlling the moving image encoding device (hereinafter referred to as a moving image encoding program) is installed in the HDD or ROM, and the moving image encoding program is executed, thereby moving images.
  • a program for controlling the moving image encoding device hereinafter referred to as a moving image encoding program
  • the moving image encoding program may be recorded on a recording medium readable by a hardware system such as a computer system or an embedded system. Furthermore, the program may be read and executed by another hardware system via the recording medium. Thereby, each function of the moving picture coding apparatus can be realized in another hardware system.
  • a computer system-readable recording medium an optical recording medium (for example, a CD-ROM), a magnetic recording medium (for example, a hard disk), a magneto-optical recording medium (for example, an MO), or a semiconductor memory. (For example, a memory card).
  • the moving picture encoding program may be held in a hardware system connected to a network such as the Internet or a local area network. Furthermore, it may be downloaded to another hardware system via a network and executed. Thereby, each function of the moving picture coding apparatus can be realized in another hardware system.
  • a network a terrestrial broadcasting network, a satellite broadcasting network, a PLC (Power Line Communication), a mobile telephone network, a wired communication network (for example, IEEE802.3), and a wireless communication network (for example, IEEE802.11).
  • a network a terrestrial broadcasting network, a satellite broadcasting network, a PLC (Power Line Communication), a mobile telephone network, a wired communication network (for example, IEEE802.3), and a wireless communication network (for example, IEEE802.11).
  • each function of the moving image encoding device may be realized by a moving image encoding integrated circuit mounted on the moving image encoding device.
  • FIG. 11 is a diagram illustrating an example of realizing a moving image coding apparatus with an integrated circuit.
  • each functional block of the moving picture coding apparatus is realized as a moving picture coding integrated circuit 400 which is an integrated circuit (LSI).
  • LSI integrated circuit
  • each functional block excluding the lens group 101 and the imaging unit 102 from the block diagrams illustrated in FIGS. 1, 5, and 6 is realized as a moving image encoding integrated circuit 400.
  • These may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
  • LSI is used, but it may be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration. Further, the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible.
  • the moving image coding integrated circuit is a semi-custom LSI such as a full custom LSI (Large Scale Integration), ASIC (Application Specific Integrated Circuit), or an FPGA (Field Programmable Gate Array).
  • LSI Large Scale Integration
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • Such a programmable logic device may be formed as a dynamic reconfigurable device whose circuit configuration can be dynamically rewritten.
  • the design data for forming each function of the moving picture coding apparatus in the moving picture coding integrated circuit may be a program described in a hardware description language (hereinafter referred to as HDL program). Further, it may be a gate level netlist obtained by logical synthesis of an HDL program. Alternatively, macro cell information in which arrangement information, process conditions, and the like are added to a gate level netlist may be used. Further, it may be mask data in which dimensions, timing, and the like are defined.
  • VHDL Very high speed integrated circuit Hardware Description Language
  • Verilog-HDL Verilog-HDL
  • SystemC SystemC as hardware description languages.
  • the design data may be recorded on a recording medium readable by a hardware system such as a computer system or an embedded system.
  • the program may be read and executed by another hardware system via the recording medium.
  • the design data read by the other hardware system via these recording media may be downloaded to the programmable logic device via the download cable.
  • the design data may be held in a hardware system connected to a network such as the Internet or a local area network. Furthermore, it may be downloaded to another hardware system via a network and executed. And the design data acquired by other hardware systems via these networks may be downloaded to a programmable logic device via a download cable.
  • a network such as the Internet or a local area network.
  • the design data may be recorded in a serial ROM so that it can be transferred to the FPGA when energized.
  • the design data recorded in the serial ROM may be downloaded directly to the FPGA when energized.
  • the design data may be generated by a microprocessor and downloaded to the FPGA when energized.
  • the present invention provides a moving picture encoding apparatus capable of suppressing a decrease in encoding efficiency due to flicker that occurs when an image is taken under illumination of a fluorescent lamp or the like.
  • the present invention is useful in a moving image encoding apparatus that suppresses a decrease in encoding efficiency due to flicker that occurs during high-speed imaging.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　蛍光灯照明下等で高速撮像した際に生じるフリッカによる符号化効率の低下を抑制できる動画像符号化装置を提供する。 　被写体が撮像された画像の符号化を行う動画像符号化装置（１００）であって、被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得部（１２１）と、取得された輝度情報から得られる光の明滅状態に応じた、画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、画像の符号化を行う動画像符号化部（１０６）とを備える。

Description

動画像符号化装置及び動画像符号化方法
　本発明は、動画像に関するデータを符号化する動画像符号化装置及び動画像符号化方法に関し、特に蛍光灯照明下等において、高速撮像した際に生じるフリッカによる符号化効率の低下を抑制できる動画像符号化技術に関する。
　蛍光灯照明下において、撮像された画像データには、蛍光灯の電源周波数による明滅のフリッカ成分が含まれる。例えば、関東地区では商用電源周波数は５０Ｈｚであり、蛍光灯はその半波整流周期毎に明滅するため、明滅周波数は１００Ｈｚである。このような照明環境下で例えば毎秒６０フィールドの撮像を行うと、照明の明滅の周期（フリッカ周期）と、撮像の周期（撮像周期）とが異なるため、各フィールド画像の輝度が異なり映像信号にはフリッカ成分が含まれることになる。
　そして、このようなフリッカ成分を含む映像信号を符号化すると、映像信号の圧縮効率が低下するという課題があった。そこで、従来、フリッカによる雑音成分を除去し、映像信号の圧縮効率の低下を抑制する技術が開示されている（例えば、特許文献１参照）。この従来の技術によれば、映像信号の信号レベルの変化量（差分）に基づいて、信号レベルを差分補正することにより、当該信号レベルからフリッカによる雑音成分を除去する。これにより、映像信号の圧縮効率の低下を抑制することができ、フリッカによる符号化効率の低下を抑制することができる。
特開平９－１３０８０６号公報
　しかしながら、上記従来の技術では、フリッカによる雑音成分を除去することが困難なために、フリッカによる符号化効率の低下を抑制することができない場合があるという課題がある。
　つまり、被写体が撮像された環境下における光の状態によってフリッカが発生し、かつ、上記フリッカによるフリッカ周期に比べて非常に短い撮像周期で撮像を行う場合、各画像間の平均輝度が大きく異なる。このため、上記特許文献１等で開示されている従来の技術では、映像信号の信号レベルの差分が大きくなり過ぎて、信号レベルを差分補正しフリッカによる雑音成分を除去することが困難になる。
　特に、照明の輝度が低いタイミングで撮像した画像について、フリッカによる雑音成分を除去することができなければ、当該画像の信号対雑音電力比は低下する。つまり、フリッカによる符号化効率の低下を抑制することができない。
　このように、撮像周期がフリッカ周期に比べて非常に短い場合、上記従来の技術では、フリッカによる雑音成分を除去することが困難なために、フリッカによる符号化効率の低下を抑制することができない場合があるという課題がある。
　本発明は、このような従来の課題を解決するもので、画像が撮像された環境下における光の状態によってフリッカが発生し、撮像周期がフリッカ周期に比べて非常に短い場合であっても、フリッカによる符号化効率の低下を抑制し、高効率の符号化を実現できる動画像符号化装置及び動画像符号化方法を提供することを目的とする。
　上記目的を達成するために、本発明に係る動画像符号化装置は、被写体が撮像された画像の符号化を行う動画像符号化装置であって、前記被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得部と、取得された前記輝度情報から得られる前記光の明滅状態に応じた、前記画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、前記画像の符号化を行う符号化部とを備える。
　また、本発明は、このような動画像符号化装置として実現できるだけでなく、その装置を構成する各処理部を備え当該動画像符号化装置を制御する集積回路として実現したり、当該各処理部の処理をステップとする方法として実現したりすることができる。さらに、本発明は、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体として実現したり、そのプログラムを示す情報、データ又は信号として実現したりすることもできる。そして、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信してもよい。
　本発明の動画像符号化装置及び動画像符号化方法によれば、画像が撮像された環境下における光の状態によってフリッカが発生し、撮像周期がフリッカ周期に比べて非常に短い場合であっても、当該フリッカによる符号化効率の低下を抑制し、高効率の符号化を実現することができる。
（本願の技術的背景に関する情報）
　２００８年５月２０日に出願された出願番号２００８－１３１５０９の日本出願の明細書、図面および特許請求の範囲における開示は、その全体を、参照用として、本願に取り込む。
図１は、本発明の実施の形態１における動画像符号化装置の機能的な構成を示すブロック図である。 図２は、本発明の実施の形態１におけるフリッカ制御部の機能的な構成を示すブロック図である。 図３は、本発明の実施の形態１における動画像符号化装置の動作手順を示すフローチャートである。 図４は、本発明の実施の形態１の動画像符号化装置における動画像符号化方法を説明する図である。 図５は、本発明の実施の形態１における照明輝度測光部を備える動画像符号化装置の機能的な構成を示すブロック図である。 図６は、本発明の実施の形態２における動画像符号化装置の機能的な構成を示すブロック図である。 図７は、本発明の実施の形態２におけるフリッカ周期が撮像周期の整数倍とならない場合の動画像符号化方法を説明する図である。 図８は、本発明の実施の形態２の変形例における撮像周期を変更する制御部の機能的な構成を示すブロック図である。 図９は、従来の動画像符号化装置の機能的な構成を示すブロック図である。 図１０は、従来の動画像符号化装置における動画像符号化方法を説明する図である。 図１１は、動画像符号化装置を集積回路で実現する一例を示す図である。
　本発明の実施の形態においては、被写体が撮像された画像の符号化を行う動画像符号化装置であって、前記被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得部と、取得された前記輝度情報から得られる前記光の明滅状態に応じた、前記画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、前記画像の符号化を行う符号化部とを備えることを特徴としている。
　これにより、輝度情報から得られる前記光の明滅状態に応じた符号化方法により、符号化が行われる。つまり、画像が撮像された環境下における光の状態によってフリッカが発生し、撮像周期がフリッカ周期に比べて非常に短い場合であっても、フリッカによる明滅状態に応じた符号化方法で、画像の符号化が行われる。このため、フリッカによる符号化効率の低下を抑制し、高効率の符号化を実現することが可能となる効果を奏する。
　また、前記動画像符号化装置は、さらに、前記明滅状態のうち、明状態で撮像された明画像を示す画像情報を取得する画像情報取得部を備え、前記符号化部は、前記画像情報で示される明画像を、画面内予測符号化と、当該明画像の撮像時刻よりも過去に撮像された明画像の復号画像を参照して符号化を行う順方向画面間予測符号化とのうち、少なくとも１つにより符号化する構成にしても構わない。
　これにより、画面内予測符号化および順方向画面間予測符号化によって符号化される画像を、照明光の輝度が高いタイミングで撮像された明画像としている。このため、画像が撮像された環境下における光の状態によってフリッカが発生し、撮像周期がフリッカ周期に比べて非常に短い場合であっても、当該明画像の信号対雑音電力比を高くすることができる。また、複数の明画像を撮像した場合に、複数の明画像間での撮像時の照明光の輝度を略同一とみなすことができる。そのため、当該複数の明画像間の相関が高くなり、高効率の符号化を実現することが可能となる効果を奏する。
　また、前記動画像符号化装置は、さらに、前記被写体を所定の撮像周期で撮像する撮像部を備え、前記画像情報取得部は、前記撮像周期で撮像された画像の中から前記明画像を特定し、前記明画像を示す画像情報を取得する構成にしても構わない。
　これにより、被写体を所定の撮像周期で撮像し、当該撮像周期で撮像された画像の中から明画像を特定している。このため、画像が撮像された環境下における光の状態によってフリッカが発生し、撮像周期がフリッカ周期に比べて非常に短い場合であっても、周期的に特定される当該明画像の信号対雑音電力比を高くすることができる。また、この周期的に特定される明画像間での撮像時の照明光の輝度を略同一とみなすことができる。そのため、明画像間の相関が高くなり、高効率の符号化を実現することが可能となる効果を奏する。
　また、前記動画像符号化装置は、さらに、前記輝度情報取得部が取得した輝度情報から、前記光が明滅する周期であるフリッカ周期を取得するフリッカ周期取得部と、取得された前記フリッカ周期が前記撮像周期の整数倍になるように、前記撮像部が撮像する撮像周期を変更する撮像周期変更部とを備える構成にしても構わない。
　これにより、明画像間に挟まる双方向画面間予測符号化を行う画像の数も一定とすることが可能となり、符号化制御が容易となる効果を奏する。
　また、前記輝度情報取得部は、撮像された画像の平均輝度値を前記輝度情報として取得する構成にしても構わない。
　これにより、撮像された画像に関する情報のみから輝度情報を取得することが可能となる効果を奏する。
　また、前記動画像符号化装置は、さらに、前記被写体が撮像された環境での光の照明輝度を測光する照明輝度測光部を備え、前記輝度情報取得部は、測光された前記照明輝度を前記輝度情報として取得する構成にしても構わない。
　これにより、フリッカ周期内に含まれる画像を基に輝度情報を算出する場合と比べて、例えば画像の平均輝度の計算が不要となり、さらに被写体像が変化することによる画像平均輝度変化の影響が軽減される効果を奏する。
　また、前記符号化部は、さらに、撮像された前記明画像以外の画像については、符号化された当該明画像が復号された復号画像を参照した重み付き予測符号化により符号化を行う構成にしても構わない。
　これにより、符号化対象となる明画像以外の画像と、符号化された明画像の復号画像を参照して生成する動き補償予測画像の相関が高くなるため、符号化効率をより改善することが可能となる効果を奏する。
　また、前記符号化部は、前記明画像と、符号化対象となる前記明画像以外の画像とが撮像された環境での輝度情報の比を基に重みを決定することで、前記重み付き予測符号化により符号化を行う構成にしても構わない。
　これにより、符号化対象となる明画像以外の画像と、符号化された明画像の復号画像を参照して生成する動き補償予測画像との平均輝度を略同一にし、符号化効率をより改善することが可能となる効果を奏する。
　また、前記符号化部は、撮像された所定の数の画像をグループ画像とし、前記グループ画像に含まれる画像のうち、撮像順で最初の明画像については、画面内予測符号化により符号化を行う構成にしても構わない。
　これにより、例えば、グループ画像をＭＰＥＧ－２規格などに定められたＧＯＰ（Ｇｒｏｕｐ　Ｏｆ　Ｐｉｃｔｕｒｅｓ）とすることで、ＧＯＰ構造を守り、符号化できる効果を奏する。
　また、被写体が撮像された画像の符号化を行う動画像符号化方法であって、前記被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得ステップと、取得された前記輝度情報から得られる前記光の明滅状態に応じた、前記画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、前記画像の符号化を行う符号化ステップとを含む構成にしても構わない。
　これにより、画像が撮像された環境の光の状態によってフリッカが発生し、撮像周期がフリッカ周期に比べて非常に短い場合であっても、当該フリッカによる符号化効率の低下を抑制し、高効率の符号化を実現することができるという効果を奏する。
　また、被写体が撮像された画像の符号化を行うための動画像符号化プログラムであって、前記被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得ステップと、取得された前記輝度情報から得られる前記光の明滅状態に応じた、前記画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、前記画像の符号化を行う符号化ステップとをコンピュータに実行させるための動画像符号化プログラムとして構成しても構わない。
　これにより、画像が撮像された環境の光の状態によってフリッカが発生し、撮像周期がフリッカ周期に比べて非常に短い場合であっても、当該フリッカによる符号化効率の低下を抑制し、高効率の符号化をプログラムによって実現することができるという効果を奏する。
　また、被写体が撮像された画像の符号化を行う動画像符号化集積回路であって、前記被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得部と、取得された前記輝度情報から得られる前記光の明滅状態に応じた、前記画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、前記画像の符号化を行う符号化部とを備える動画像符号化集積回路として構成しても構わない。
　これにより、画像が撮像された環境の光の状態によってフリッカが発生し、撮像周期がフリッカ周期に比べて非常に短い場合であっても、当該フリッカによる符号化効率の低下を抑制し、高効率の符号化を符号化集積回路によって実現することができるという効果を奏する。
　なお、本発明における撮像周期とは、隣り合う画像間の時間間隔によって表されるものである。つまり、撮像周期は、単位時間あたりに撮像される画像の枚数の逆数である。単位時間とは、秒、分、時を基本単位としても構わない。
　また、フリッカ周期とは、例えば蛍光灯の電源周波数による明滅においては、明から明、または滅から滅までの時間間隔によって表されるものである。
　さらに、明画像とは、例えば蛍光灯の電源周波数による明滅において、明状態で撮像された画像等、自装置が置かれた環境下における光状態のうち明状態で撮像された画像を指す。
　以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。
　（実施の形態１）
　図１は、実施の形態１における動画像符号化装置１００のハードウェア構成を示すブロック図である。
　図２は、実施の形態１におけるフリッカ制御部１０５の機能的な構成を示すブロック図である。
　なお、本発明の実施の形態１における動画像符号化装置１００は、ここでは、電源周波数が６０Ｈｚの蛍光灯照明下において、毎秒４８０フィールドのインタレース走査画像を撮像することを想定するが、このような構成に限定されるものではなく、どのような撮像周期で画像を撮像しても構わない。
　図１に示すように、動画像符号化装置１００は、レンズ群１０１、撮像部１０２、Ａ／Ｄ変換部１０３、画像信号処理部１０４、フリッカ制御部１０５、動画像符号化部１０６、記録処理部１０７、記録制御部１０８、入力部１０９、及び制御部１１０を備える。
　入力部１０９は、入力デバイスを介して、撮像部１０２における撮像周期の設定などのユーザ操作を受け付ける。そして、入力部１０９は、受け付けたユーザ操作を操作情報として制御部１１０に出力する。この入力部１０９に入力されるユーザ操作は、例えば、タッチパッド入力装置、ポインティングデバイス、タブレット等を利用して入力される。
　制御部１１０は、撮像部１０２、画像信号処理部１０４、フリッカ制御部１０５、動画像符号化部１０６、記録処理部１０７、及び記録制御部１０８を制御して、動画像符号化装置１００における記録処理等を実行する。この制御部１１０は、例えばソフトウェアを実行可能なＣＰＵ等で構成しても構わない。
　レンズ群１０１は、複数の光学レンズから構成される。
　撮像部１０２は、被写体を所定の撮像周期で撮像する。具体的には、撮像部１０２は、例えばＣＣＤ素子等の撮像素子等から構成され、レンズ群１０１を介して入力される被写体を撮像する。また、撮像部１０２が撮像する際の撮像周期は、入力部１０９から制御部１１０に出力された操作情報を基に、制御部１１０を介して指定される。
　そして、撮像部１０２は、撮像した画像をアナログ信号としてＡ／Ｄ変換部１０３に出力する。なお、撮像部１０２は、ＣＣＤ素子を利用した構成に限定されるものではなく、ＣＭＯＳ素子を利用した構成にしても構わない。ＣＭＯＳ素子を用いることにより、消費電力を低減することが可能となる。
　Ａ／Ｄ変換部１０３は、撮像部１０２から出力されたアナログ信号をデジタル信号に変換する。そして、Ａ／Ｄ変換部１０３は、変換して得られたデジタル信号を画像信号処理部１０４に出力する。
　画像信号処理部１０４は、Ａ／Ｄ変換部１０３から出力されたデジタル信号に対してノイズ除去や画質調整等の処理を施したのち、毎秒４８０フィールドのインタレース走査画像（以下、４８０ｉ画像と称す。）を、フリッカ制御部１０５および、動画像符号化部１０６に出力する。
　フリッカ制御部１０５は、入力される４８０ｉ画像を基に、自装置が置かれた環境の光状態によるフリッカの有無および、４８０ｉ画像に含まれる画像のうち、明画像の画像情報を、フリッカ情報として動画像符号化部１０６に出力する。
　具体的には、図２に示すように、フリッカ制御部１０５は、輝度情報取得部１２１、画像情報取得部１２２、フリッカ周期取得部１２３及び制御バッファ部１２４を備えている。
　輝度情報取得部１２１は、被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する。具体的には、輝度情報取得部１２１は、撮像された画像の平均輝度値を、輝度情報として取得する。
　さらに具体的には、輝度情報取得部１２１は、４８０ｉ画像に含まれる画像毎の平均輝度値を、当該画像の画素値に基づく輝度値の平均値として算出し、時系列にフリッカ制御部１０５の内部に含まれる制御バッファ部１２４に保存しておく。
　そして、輝度情報取得部１２１は、制御バッファ部１２４に保存される平均輝度が周期的に極大値、または極小値をとる場合には、フリッカが発生していると判定し、フリッカ情報として、画像情報取得部１２２を介して動画像符号化部１０６に出力する。
　フリッカ周期取得部１２３は、輝度情報取得部１２１が取得した輝度情報から、光が明滅する周期であるフリッカ周期を取得する。具体的には、フリッカ周期取得部１２３は、制御バッファ部１２４に保存される平均輝度が周期的に極大値、または極小値をとる場合に、上記極大値、または上記極小値を取る画像の画像間隔を基に、フリッカ周期を算出する。
　画像情報取得部１２２は、輝度情報取得部１２１が取得した輝度情報から得られる、被写体が撮像された環境での光の明滅状態のうち、明状態で撮像された明画像を示す画像情報を取得する。具体的には、画像情報取得部１２２は、撮像周期で撮像された画像の中から明画像を特定し、明画像を示す画像情報を取得する。
　さらに具体的には、画像情報取得部１２２は、上記極大値を取る画像を、自装置が置かれた環境の光状態が明状態に撮像された明画像と判定し、その画像の画像情報を取得する。そして、画像情報取得部１２２は、当該明画像の画像情報をフリッカ情報として動画像符号化部１０６に出力する。
　なお、画像情報は、画像を一意に識別可能な情報であればどのようなものを用いても良く、例えば、画像を撮像した際の撮影時刻情報や、画像のヘッダに含まれる情報等を利用する構成にしても構わない。なお、画像の輝度を算出する際に、画像の平均輝度を算出したが、例えば画像の部分的な平均輝度を算出する構成にしても構わない。
　また、制御バッファ部１２４は、不揮発性メモリ等の記録媒体であり、フリッカ制御部１０５に含まれる構成としたが、例えば外部に制御バッファ部１２４を設ける構成にしても構わない。
　また、フリッカの有無の判定方法は、画像の平均輝度が周期的に極大値、または極小値をとる場合、フリッカが発生していると判定したが、このような構成に限定されるものではなく、従来から用いられているフリッカの検出方法であればどのようなものを用いても構わない。
　図１に戻り、動画像符号化部１０６は、輝度情報取得部１２１が取得した輝度情報から得られる光の明滅状態に応じた、画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、画像の符号化を行う。なお、動画像符号化部１０６は、請求の範囲に記載の「符号化部」に相当する。
　具体的には、動画像符号化部１０６は、フリッカ制御部１０５から出力されたフリッカ情報を基に、画像信号処理部１０４から出力された４８０ｉ画像を、圧縮規格であるＭＰＥＧ－２規格や、Ｈ．２６４規格等の符号化方法に基づいて毎秒６０フィールドのインタレース走査画像（以下、６０ｉ画像と称す）として圧縮し、付属情報や、音声信号（図示せず）をＭＰＥＧ－２　Ｓｙｓｔｅｍｓ等の多重方法に基づいて多重する。そして、多重して得られた動画ファイルを、記録処理部１０７に出力する。
　また、動画像符号化部１０６は、符号化の際に他の画像から参照される符号化された明画像の復号画像および、撮像順で次の明画像が符号化されるまで符号化を開始できない画像を蓄積するための符号化バッファ部１３１を、内部に備える。符号化バッファ部１３１は、不揮発性メモリ等の記録媒体である。
　この動画像符号化部１０６における圧縮方法は、上記フリッカ情報により示される明画像を、画面内予測符号化と、上記符号化バッファ部１３１に蓄積される当該明画像の撮像時刻よりも過去に撮像され符号化された明画像が復号された復号画像を参照して符号化を行う順方向画面間予測符号化とのうち、少なくとも１つを用いて符号化するものである。
　具体的には、動画像符号化部１０６は、撮像された所定の数の画像をグループ画像とし、当該グループ画像に含まれる画像のうち、撮像順で最初の明画像については、画面内予測符号化により符号化を行う。このグループ画像は、例えばＧＯＰである。なお、このグループ画像に含まれる画像の数は、一定でなくともよく、グループ画像ごとに変化するものであってもよい。
　さらに、動画像符号化部１０６は、明画像以外の画像は、符号化の際に参照する撮像順で次の明画像が符号化されるまで上記符号化バッファ部１３１に蓄積された後、上記符号化バッファ部１３１に蓄積される当該画像よりも過去に撮像され符号化された明画像の復号画像と、未来に撮像され符号化される明画像の復号画像との２つを参照する双方向画面間予測符号化を用いて符号化を行うものとする。
　この場合、画面内予測符号化および、順方向画面間予測符号化で符号化される画像は、照明光の輝度が高いタイミングで撮像されている画像であるため、信号対雑音電力比が高く、撮像時の照明光の輝度を略同一とみなせるため、画像間の相関が高くなり、高効率の符号化が可能となる効果を奏する。なお、このように６０ｉ画像として符号化された４８０ｉ画像は、８倍速スローの６０ｉ画像として復号し再生することが可能となる。
　記録処理部１０７は、動画像符号化部１０６から出力された動画ファイルを、上記圧縮規格に設定されているファイル構成に従って記録媒体１０に書き込む。なお、記録媒体１０は、動画像符号化装置１００に内蔵される記録デバイス、例えばハードディスクドライブでも構わないし、着脱可能な半導体メモリ、例えばＳＤカード等を利用する構成にしても構わない。
　記録制御部１０８は、記録媒体１０を駆動するドライブ装置、あるいは、記録アドレス入力手順等の記録プロトコルを制御する。
　以下、本発明の実施の形態１における動画像符号化装置１００における、フリッカ情報を用いた動作について、図面を参照しながら説明する。
　図３は、動画像符号化装置１００によって被写体を撮像した際の、画像の符号化を示すフローチャートである。また、図４は、動画像符号化装置１００における動画像符号化方法を説明する図である。
　（ステップＳ１００１）動画像符号化装置１００は、被写体を撮像し、画像信号処理部１０４において４８０ｉ画像を得ると、該４８０ｉ画像を、フリッカ制御部１０５と動画像符号化部１０６とに出力し、ステップＳ１００２に進む。
　（ステップＳ１００２）次に、フリッカ制御部１０５に、入力画像が画像信号処理部１０４から入力されると、輝度情報取得部１２１は、輝度情報を取得し、当該輝度情報を制御バッファ部１２４に記憶させる。そして、輝度情報取得部１２１は、当該輝度情報から入力画像の平均輝度を計算し、算出された平均輝度値と、制御バッファ部１２４に時系列で保存された過去の入力画像の平均輝度を基に、現在入力された入力画像に、フリッカが存在するか否かを判定する。フリッカが発生していると判定された場合はステップＳ１００３に進む。一方、フリッカが発生していないと判定された場合は、ステップＳ１０１０に進む。
　（ステップＳ１００３）そして、フリッカ周期取得部１２３は、入力画像にフリッカが発生していると判定された場合、フリッカ周期を取得する。そして、画像情報取得部１２２は、時系列で保存された画像の平均輝度が極大値を取る画像間隔を基に、当該入力画像が明画像に該当するか否かを判定する。当該入力画像が明画像であると判定された場合は、ステップＳ１００４に進む。一方、入力画像が明画像でないと判定された場合は、ステップＳ１００９に進む。
　例えば、図４に示すように、電源周波数が６０Ｈｚの蛍光灯照明下で、撮像周期が１／４８０秒である４８０ｉ画像の撮像を行った場合、４８０ｉ画像に含まれる画像の平均輝度が極大値を取る画像は、画像１１０３および、画像１１０７である。つまり、フリッカ周期は４画像単位の１／１２０秒となる。また、入力画像が明画像であると判定された場合は、画像情報取得部１２２は、画像の平均輝度が極大値をとる画像１１０３および、画像１１０７の画像情報をフリッカ情報として、動画像符号化部１０６に出力する。
　（ステップＳ１００４）入力画像が明画像であると判定された場合、動画像符号化部１０６は、入力画像が各ＧＯＰの撮影順で最初の明画像であるか否かを判定する。ＧＯＰ内で最初の明画像であると判定された場合は、ステップＳ１００５に進む。一方、各ＧＯＰの撮影順で最初の明画像でないと判定された場合は、ステップＳ１００６に進む。
　（ステップＳ１００５）入力画像がＧＯＰ内で最初の明画像であると判定された場合、動画像符号化部１０６は、入力画像を画面内予測符号化により符号化する。さらにステップＳ１００７に進む。
　（ステップＳ１００６）入力画像が各ＧＯＰの撮影順で最初の明画像でないと判定された場合、動画像符号化部１０６は、符号化バッファ部１３１に蓄積されている当該明画像の撮影時刻よりも過去の撮影時刻を持つ明画像の復号画像を参照して、順方向画面間予測符号化により符号化する。さらにステップＳ１００７に進む。
　（ステップＳ１００７）ステップＳ１００６で符号化された明画像は、他の画像の符号化の際に参照され得るため、当該明画像の復号画像を符号化バッファ部１３１に蓄積する。さらにステップＳ１００８に進む。
　（ステップＳ１００８）動画像符号化部１０６は、符号化バッファ部１３１に蓄積されている過去に入力された未符号化画像を、符号化バッファ部１３１に蓄積されている明画像の復号画像を参照した双方向画面間予測符号化により符号化する。そして、ステップＳ１０１１に進む。
　（ステップＳ１００９）一方、入力画像が明画像でないと判定された場合、動画像符号化部１０６は入力画像を符号化バッファ部１３１に蓄積する。そして、ステップＳ１０１１に進む。
　（ステップＳ１０１０）また、動画像符号化部１０６は、入力画像にフリッカが発生していないと判定された場合、入力画像をフリッカの影響を考慮せずに符号化する。そして、ステップＳ１０１１に進む。
　（ステップＳ１０１１）そして、制御部１１０からの制御を基に、符号化処理の終了を判定する。符号化処理を続行する場合は、再度ステップＳ１００１以降の処理を行う。
　なお、実施の形態１において、動画像符号化装置１００は、フリッカ制御部１０５が画像信号処理部１０４から出力される画像を基に輝度情報を算出するとしたが、動画像符号化装置は、照明輝度測光部を備えることにしてもよい。
　図５は、照明輝度測光部１１１を備える動画像符号化装置３００の機能的な構成を示すブロック図である。
　同図に示すように、動画像符号化装置３００は、光センサーなどから構成される照明輝度測光部１１１を備えている。
　照明輝度測光部１１１は、被写体が撮像された環境での光の照明輝度を測光する。
　そして、図２に示されたフリッカ制御部１０５の輝度情報取得部１２１は、照明輝度測光部１１１が測光した照明輝度を輝度情報として取得する。つまり、輝度情報取得部１２１は、当該照明輝度測光部１１１において得られる照明の測光結果を基に輝度情報を算出する。
　このように、照明の測光結果を基に輝度情報を算出する場合、フリッカ周期内に含まれる画像を基に輝度情報を算出する場合と比べて、例えば画像の平均輝度の計算が不要となること、撮像対象物の変化による画像平均輝度変化の影響が軽減されること、などの効果を奏することが期待される。
　また、動画像符号化部１０６は、各フリッカ周期内における画像のうち、画像の平均輝度が最大となる明画像以外の画像については、符号化された当該明画像が復号された復号画像を参照した重み付き予測を用いた画面間予測符号化により符号化してもよい。符号化の際に使用する重みは、例えば参照画像である明画像と符号化対象となる明画像以外の画像とが撮像された環境での平均輝度の比から求めることができる。
　具体的には、符号化対象画像の平均輝度をｐ、当該符号化対象画像の時間的に前における輝度が所定の閾値よりも大きい画像である前画像の平均輝度をｑ０、当該符号化対象画像の時間的に後における輝度が所定の閾値よりも大きい画像である後画像の平均輝度をｑ１、当該前画像から生成する動き補償予測画像にかける重み係数をＷ０、当該後画像から生成する動き補償予測画像にかける重み係数をＷ１とすると、Ｗ０＝ｐ／２ｑ０、Ｗ１＝ｐ／２ｑ１とすればよい。
　このような重み係数をかけて生成される動き補償予測画像の平均輝度は、Ｗ０×ｑ０＋Ｗ１×ｑ１＝ｐとなり符号化対象画像の平均輝度と略同一となる。この結果、符号化対象画像と動き補償予測画像の相関が高くなるため、符号化効率を改善できる。
　また、動画像符号化装置１００は、撮像する画像をフリッカ制御部１０５と、動画像符号化部１０６とに同時に入力するものとしたが、撮像する画像を、フリッカ制御部１０５と、動画像符号化部１０６とは異なる位置に配されるフレームバッファ部とに蓄積し、フレームバッファ部に蓄積された画像に関して、フリッカ制御部１０５でフリッカの有無を判定した後、動画像符号化部１０６で符号化を実行してもよい。
　上記本実施の形態１における動画像符号化装置１００は、フリッカ制御部１０５で検出されるフリッカ情報を基に、画像が撮像された環境の光の明滅状態のうち、明状態に撮像された明画像（例えば、図４に示された画像１１０３や画像１１０７）を画面内予測符号化、またはその画像よりも過去に撮像され符号化された明画像の復号画像を参照した順方向画面間予測符号化により符号化する。
　これにより、これら画面内予測符号化および順方向画面間予測符号化で符号化された画像は、照明光の輝度が高いタイミングで撮像されているため信号対雑音電力比が高く、撮像時の照明光の輝度を略同一とみなせるため、画像間の相関が高くなり、フリッカによる符号化効率の低下を抑制できる。また、これら画面内予測符号化および順方向画面間予測符号化で符号化された画像の復号画像を参照して符号化される画像（例えば、図４に示された画像１１０４、画像１１０５や画像１１０６）についても、参照画像の符号化効率が高く信号対雑音電力比が向上することから、フリッカによる符号化効率の低下を抑制できる。
　なお、この画面内予測符号化および順方向画面間予測符号化で符号化された画像の復号画像を参照して符号化される画像の枚数は、フリッカ周期ごとに一定数でなくともよく、フリッカ周期ごとに変化してもよい。この場合であっても、当該画像の信号対雑音電力比が向上することから、フリッカによる符号化効率の低下を抑制できる。
　（実施の形態２）
　以下、本発明の実施の形態２における動画像符号化装置２００について、図面を参照しながら説明する。本実施の形態２における動画像符号化装置２００と、実施の形態１における動画像符号化装置１００との相違点は、フリッカ制御部１０５によって算出されるフリッカ周期を基に、制御部２１０が受け付ける入力部１０９からの指定撮像周期を制限することである。
　図６は、本発明の実施の形態２における動画像符号化装置２００のハードウェア構成を示すブロック図である。なお、実施の形態１における動画像符号化装置１００のハードウェア構成と同じものは、同一符号を使用し、その詳細な説明は省略する。
　図７は、本発明の実施の形態２におけるフリッカ周期が撮像周期の整数倍とならない場合の動画像符号化方法を説明する図である。具体的には、同図は、電源周波数が５０Ｈｚの蛍光灯照明下で、毎秒２５０フィールドの撮像を行った場合の符号化方法を示す。
　つまり、フリッカ周期は１／１００秒であり、撮像周期は１／２５０秒である。このように、フリッカ周期が撮像周期の整数倍とならない（同図の場合は２．５倍）場合、各フリッカ周期内における画像のうち、画像の平均輝度が最大となる画像１２０１と画像１２０２との平均輝度が、所定の誤差以下とはならない。このため、画像間での相関が小さくなり符号化効率の低下を招く恐れがある。
　また、同図に示すように、画像１２０１と画像１２０２との間には２枚の画像があるのに対し、画像１２０２と画像１２０３との間には１枚の画像しかない。このように、画面内予測符号化または順方向画面間予測符号化を行う画像の間に挟まる双方向画面間予測符号化を行う画像の数が一定とならず、符号化制御が複雑となる。
　そこで、本発明の実施の形態２の動画像符号化装置２００の制御部２１０は、フリッカ制御部１０５のフリッカ周期取得部１２３によって算出されるフリッカ周期を基に、フリッカ周期が撮像周期の整数倍になるように、入力部１０９から受け付ける指定撮像周期を制限する。
　このように、フリッカ周期が撮像周期の整数倍となるように制御部２１０が制御することで、各フリッカ周期内における画像のうち、画像の平均輝度が最大となる画像間で撮像時の照明の輝度が略同一となる。そのため、フリッカによる符号化効率の低下を抑制できる効果を奏する。
　さらに、上記のように制御することで、画面内予測符号化または順方向画面間予測符号化を行う画像の間に挟まる双方向画面間予測符号化を行う画像の数も一定となる。そのため、符号化制御が容易となる効果を奏する。
　なお、予め指定されている撮像周期が、フリッカ周期が撮像周期の整数倍となるような周期ではない場合、制御部２１０は、ディスプレイなどのユーザーインターフェースを通じて使用者に撮像周期の変更を促す構成にしても構わない。
　また、制御部２１０が自動的に撮像周期を変更する構成にしても構わない。
　図８は、本発明の実施の形態２の変形例における撮像周期を変更する制御部２１０の機能的な構成を示すブロック図である。
　同図に示すように、制御部２１０は、撮像周期変更部１４１を備えている。
　そして、撮像周期変更部１４１は、フリッカ周期取得部１２３が取得したフリッカ周期が撮像周期の整数倍になるように、撮像部１０２が撮像する撮像周期を変更する。
　このように、本実施の形態２における動画像符号化装置２００は、フリッカ制御部１０５によって算出されるフリッカ周期を基に、入力部１０９から受け付ける指定撮像周期を、フリッカ周期が撮像周期の整数倍となるような周期に制限する。
　これにより、画像が撮像された環境の光の明滅状態のうち、明状態に撮像された画像間で撮像時の照明の輝度が略同一となり、フリッカによる符号化効率の低下を抑制できる効果を奏する。また、明画像間に挟まる双方向画面間予測符号化を行う画像の数も一定とすることが可能となり、符号化制御が容易となる効果を奏する。
　次に、本発明の実施の形態に係る動画像符号化装置の効果について、具体的に説明する。
　まず、図９を参照しながら、従来の動画像符号化装置の動作の概要を説明する。なお、同図は、従来の動画像符号化装置の機能的な構成を示す機能ブロック図である。また、ここではフレーム符号化を行う場合を例に、動画像符号化装置の動作の概要を説明する。
　まず、撮像部１で入射される光信号は電気信号に変換され、画像信号処理部２でさらに画像信号に変換された後、符号化方式により定められた所定のブロック単位でフリッカ除去部５１０へ入力される。所定のブロック単位の画像信号は、レベル補正部５１３を通過して、次段の動画像符号化部２０へ入力される。ここで、動画像符号化部２０の動き補償画面間予測部２１は、画像信号の現フレームと、前フレームとの間で被写体の動領域と静止領域をブロック単位で検出する。この動領域と静止領域は、現フレームと、前フレームとの間での信号レベルの変化に基づいて判定され、レベル変化量が所定のしきい値以下の場合は静止領域、しきい値を超えた場合は動領域とする。
　信号レベル変化の大きい動領域については、そのレベル変化が、被写体が動いたことによるものか、フリッカなどの雑音によるものかを判断することは困難であるが、レベル変化量が小さい静止領域については、あくまで被写体が静止していると認識するため、その微少なレベル変化はフリッカ等の雑音に起因するものと判断できる。
　そこで、静止領域レベル検出部５１１において、動き補償画面間予測部２１が出力する静止領域位置情報ａにより、静止領域の信号レベルを検出しブロック信号レベルｂを出力する。このブロック信号レベルｂはレベル平均化部５１２において画像１フレーム分蓄積された後、平均値ｃを算出する。フリッカ等の雑音が重畳されている場合は、ここで算出される平均値ｃと現フレームの静止領域のレベル差分は、零に対してプラスまたは、マイナスの値を取り得る。レベル補正部５１３はレベル平均化部５１２が算出した平均値レベル信号ｃと、現フレームの静止領域との差分を演算することにより、フレーム内の信号レベルから雑音成分を除去する。フリッカ等の雑音が除去されたブロック順次のデータは、動画像符号化部２０において、符号化される。
　しかしながら、上記従来の技術では、フリッカによる雑音成分を除去することが困難なために、フリッカによる符号化効率の低下を抑制することができない場合があるという課題がある。
　つまり、被写体が撮像された環境下における光の状態によってフリッカが発生し、かつ、上記フリッカによるフリッカ周期に比べて非常に短い撮像周期で撮像を行う場合、各画像間の平均輝度が大きく異なる。このため、上記従来の技術では、映像信号の信号レベルの差分が大きくなり過ぎて、信号レベルを差分補正しフリッカによる雑音成分を除去することが困難になる。
　特に、照明の輝度が低いタイミングで撮像した画像について、フリッカによる雑音成分を除去することができなければ、当該画像の信号対雑音電力比は低下する。つまり、フリッカによる符号化効率の低下を抑制することができない。
　このように、撮像周期がフリッカ周期に比べて非常に短い場合、上記従来の技術では、フリッカによる雑音成分を除去することが困難なために、以下のように、フリッカによる符号化効率の低下を抑制することができない場合があるという課題がある。
　図１０は、従来の動画像符号化装置における動画像符号化方法を説明する図である。具体的には、同図は、従来の動画像符号化装置において、電源周波数が６０Ｈｚの蛍光灯照明下で、毎秒４８０フィールドの撮像を行った場合の符号化方法を示す。
　同図において、Ｉ画像１００１は画面内予測符号化を行う画像、Ｐ画像１００４、１００７は順方向画面間予測符号化を行う画像、Ｂ画像１００２、１００３、１００５、１００６、１００８、１００９は双方向画面間予測符号化を行う画像を示す。
　ここで、Ｐ画像１００４はＩ画像１００１を参照して符号化し、Ｐ画像１００７はＰ画像１００４を参照して符号化するものとする。また、Ｂ画像１００２および１００３は、Ｉ画像１００１およびＰ画像１００４を参照して符号化し、Ｂ画像１００５と、Ｂ画像１００６とは、Ｐ画像１００４と、Ｐ画像１００７とを参照して符号化するものとする。
　同図に示すように、照明の輝度が低いタイミングで撮像された信号対雑音電力比が低いＩ画像１００１を画面内予測符号化した場合、当該Ｉ画像１００１を参照して順方向画面間予測符号化するＰ画像１００４については、参照するＩ画像１００１に雑音成分が多く含まれること、およびＩ画像１００１とＰ画像１００４の撮像時の照明輝度が異なることから、画像間の相関が小さくなり高効率の符号化は困難である。
　また、Ｐ画像１００７についても、参照するＰ画像１００４は符号化効率が低いためその復号画像には雑音成分が多く含まれること、およびＰ画像１００４とＰ画像１００７の撮像時の照明輝度が異なることから、画像間の相関が小さくなり高効率の符号化は困難である。
　さらに、これらの画面内予測符号化および順方向画面間予測符号化した画像を参照して双方向画面間予測符号化を行う画像に関しても、同様に高効率の符号化は困難である。
　そして、本発明の実施の形態に係る動画像符号化装置によれば、画像が撮像された環境下における光の状態によってフリッカが発生し、撮像周期がフリッカ周期に比べて非常に短い場合であっても、フリッカによる符号化効率の低下を抑制し、高効率の符号化を実現できる。
　以上、本発明に係る動画像符号化装置について、上記実施の形態を用いて説明したが、本発明は、これに限定されるものではない。
　つまり、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
　例えば、本実施の形態では、撮像部１０２は、被写体を所定の撮像周期で撮像し、画像情報取得部１２２は、当該撮像周期で撮像された画像の中から明画像を示す画像情報を取得することとした。しかし、画像情報取得部１２２が、明画像を示す画像情報を取得できるのであれば、撮像部１０２が被写体を撮像するのは、所定の撮像周期でなくともよい。
　また、本実施の形態では、画像情報取得部１２２が、明状態で撮像された明画像を示す画像情報を取得し、動画像符号化部１０６は、当該明画像を、画面内予測符号化又は順方向画面間予測符号化を用いて符号化することとした。しかし、この符号化対象の画像は、明画像に限られない。つまり、画像情報取得部１２２は、明画像ではなく輝度が同じ環境で撮像された画像を示す画像情報を取得し、動画像符号化部１０６は、当該画像を、画面内予測符号化又は順方向画面間予測符号化を用いて符号化することにしてもよい。
　なお、本発明の実施の形態に係る動画像符号化装置は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、システムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、ネットワークインターフェース等を備えるとしてもよい。さらに、ＤＶＤ－ＲＡＭ、Ｂｌｕ－ｒａｙディスク、ＳＤ（Ｓｅｃｕｒｅ　Ｄｉｇｉｔａｌ）メモリカードのような可搬性の記録媒体に対して読み書き可能なドライブ装置を備えるとしてもよい。
　なお、動画像符号化装置は、デジタルビデオカメラ、デジタルレコーダ、デジタルテレビ、ゲーム機、携帯電話機等のような組み込みシステムとしてもよい。
　さらに、ＨＤＤまたはＲＯＭ等に、動画像符号化装置を制御するプログラム（以下、動画像符号化プログラムと呼称する。）がインストールされており、動画像符号化プログラムが実行されることによって、動画像符号化装置の各機能が実現されるとしてもよい。
　なお、動画像符号化プログラムは、コンピュータシステム、組み込みシステム等のようなハードウェアシステムに読み取り可能な記録媒体に記録されているとしてもよい。さらに、記録媒体を介して他のハードウェアシステムに読み出されて実行されるとしてもよい。これによって、動画像符号化装置の各機能を他のハードウェアシステムに実現することができる。ここで、コンピュータシステム読み取り可能な記録媒体として、光学記録媒体（例えば、ＣＤ－ＲＯＭ等。）、磁気記録媒体（例えば、ハードディスク等。）、光磁気記録媒体（例えば、ＭＯ等。）、半導体メモリ（例えば、メモリカード等。）等がある。
　また、動画像符号化プログラムは、インターネット、ローカルエリアネットワーク等のようなネットワークに接続されているハードウェアシステムに保持されているとしてもよい。さらに、ネットワークを介して他のハードウェアシステムにダウンロードされて実行されるとしてもよい。これによって、動画像符号化装置の各機能を他のハードウェアシステムに実現することができる。ここで、ネットワークとして、地上放送網、衛星放送網、ＰＬＣ（Ｐｏｗｅｒ　Ｌｉｎｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、移動電話網、有線通信網（例えば、ＩＥＥＥ８０２．３等。）、無線通信網（例えば、ＩＥＥＥ８０２．１１等。）がある。
　または、動画像符号化装置に実装される動画像符号化集積回路によって、動画像符号化装置の各機能が実現されるとしてもよい。
　図１１は、動画像符号化装置を集積回路で実現する一例を示す図である。
　同図に示すように、動画像符号化装置の各機能ブロックは、集積回路（ＬＳＩ）である動画像符号化集積回路４００として実現される。具体的には、図１、図５及び図６に示されたブロック図からレンズ群１０１及び撮像部１０２を除いた各機能ブロックが、動画像符号化集積回路４００として実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。
　ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。
　さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
　なお、動画像符号化集積回路は、フルカスタムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等のようなセミカスタムＬＳＩ、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）やＣＰＬＤ（Ｃｏｍｐｌｅｘ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）等のようなプログラマブル・ロジック・デバイス、動的に回路構成が書き換え可能なダイナミック・リコンフィギュラブル・デバイスに形成されるとしてもよい。
　さらに、動画像符号化装置の各機能を動画像符号化集積回路に形成する設計データは、ハードウェア記述言語によって記述されたプログラム（以下、ＨＤＬプログラムと称す。）としてもよい。さらに、ＨＤＬプログラムを論理合成して得られるゲート・レベルのネットリストとしてもよい。また、ゲート・レベルのネットリストに、配置情報、プロセス条件等を付加したマクロセル情報としてもよい。また、寸法、タイミング等が規定されたマスクデータとしてもよい。ここで、ハードウェア記述言語として、ＶＨＤＬ（Ｖｅｒｙ　ｈｉｇｈ　ｓｐｅｅｄ　ｉｎｔｅｇｒａｔｅｄ　ｃｉｒｃｕｉｔ　Ｈａｒｄｗａｒｅ　Ｄｅｓｃｒｉｐｔｉｏｎ　Ｌａｎｇｕａｇｅ）、Ｖｅｒｉｌｏｇ－ＨＤＬ、ＳｙｓｔｅｍＣがある。
　さらに、設計データは、コンピュータシステム、組み込みシステム等のようなハードウェアシステムに読み取り可能な記録媒体に記録されているとしてもよい。さらに、記録媒体を介して他のハードウェアシステムに読み出されて実行されるとしてもよい。そして、これらの記録媒体を介して他のハードウェアタシステムに読み取られた設計データが、ダウンロードケーブルを介して、プログラマブル・ロジック・デバイスにダウンロードされるとしてもよい。
　または、設計データは、インターネット、ローカルエリアネットワーク等のようなネットワークに接続されているハードウェアシステムに保持されているとしてもよい。さらに、ネットワークを介して他のハードウェアシステムにダウンロードされて実行されるとしてもよい。そして、これらのネットワークを介して他のハードウェアシステムに取得された設計データが、ダウンロードケーブルを介して、プログラマブル・ロジック・デバイスにダウンロードされるとしてよい。
　または、設計データは、通電時にＦＰＧＡに転送され得るように、シリアルＲＯＭに記録しておくとしてもよい。そして、シリアルＲＯＭに記録された設計データは、通電時に、直接、ＦＰＧＡにダウンロードされるとしてもよい。
　または、設計データは、通電時に、マイクロプロセッサによって生成されて、ＦＰＧＡにダウンロードされるとしてもよい。
　本発明は、蛍光灯照明下等で撮像した際に生じるフリッカによる符号化効率の低下を抑制できる動画像符号化装置を提供する。特に、高速撮像した際に生じるフリッカによる符号化効率の低下を抑制する動画像符号化装置において有用である。
　　　１　撮像部
　　　２　画像信号処理部
　　１０　記録媒体　　
　　２０　動画像符号化部
　　２１　動き補償画面間予測部
　１００、２００、３００　動画像符号化装置
　１０１　レンズ群
　１０２　撮像部
　１０３　Ａ／Ｄ変換部
　１０４　画像信号処理部
　１０５　フリッカ制御部
　１０６　動画像符号化部
　１０７　記録処理部
　１０８　記録制御部
　１０９　入力部
　１１０、２１０　制御部
　１１１　照明輝度測光部
　１２１　輝度情報取得部
　１２２　画像情報取得部
　１２３　フリッカ周期取得部
　１２４　制御バッファ部
　１３１　符号化バッファ部
　１４１　撮像周期変更部
　４００　動画像符号化集積回路
　５１０　フリッカ除去部
　５１１　静止領域レベル検出部
　５１２　レベル平均化部
　５１３　レベル補正部

Claims (12)

  1. 　被写体が撮像された画像の符号化を行う動画像符号化装置であって、
    　前記被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得部と、
    　取得された前記輝度情報から得られる前記光の明滅状態に応じた、前記画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、前記画像の符号化を行う符号化部と
    　を備える動画像符号化装置。
  2. 　前記動画像符号化装置は、さらに、
    　前記明滅状態のうち、明状態で撮像された明画像を示す画像情報を取得する画像情報取得部を備え、
    　前記符号化部は、前記画像情報で示される明画像を、画面内予測符号化と、当該明画像の撮像時刻よりも過去に撮像された明画像の復号画像を参照して符号化を行う順方向画面間予測符号化とのうち、少なくとも１つにより符号化する
    　請求項１に記載の動画像符号化装置。
  3. 　前記動画像符号化装置は、さらに、
    　前記被写体を所定の撮像周期で撮像する撮像部を備え、
    　前記画像情報取得部は、前記撮像周期で撮像された画像の中から前記明画像を特定し、前記明画像を示す画像情報を取得する
    　請求項２に記載の動画像符号化装置。
  4. 　前記動画像符号化装置は、さらに、
    　前記輝度情報取得部が取得した輝度情報から、前記光が明滅する周期であるフリッカ周期を取得するフリッカ周期取得部と、
    　取得された前記フリッカ周期が前記撮像周期の整数倍になるように、前記撮像部が撮像する撮像周期を変更する撮像周期変更部とを備える
    　請求項３に記載の動画像符号化装置。
  5. 　前記輝度情報取得部は、撮像された画像の平均輝度値を前記輝度情報として取得する
    　請求項１に記載の動画像符号化装置。
  6. 　前記動画像符号化装置は、さらに、
    　前記被写体が撮像された環境での光の照明輝度を測光する照明輝度測光部を備え、
    　前記輝度情報取得部は、測光された前記照明輝度を前記輝度情報として取得する
    　請求項１に記載の動画像符号化装置。
  7. 　前記符号化部は、さらに、撮像された前記明画像以外の画像については、符号化された当該明画像が復号された復号画像を参照した重み付き予測符号化により符号化を行う
    　請求項２に記載の動画像符号化装置。
  8. 　前記符号化部は、前記明画像と、符号化対象となる前記明画像以外の画像とが撮像された環境での輝度情報の比を基に重みを決定することで、前記重み付き予測符号化により符号化を行う
    　請求項７に記載の動画像符号化装置。
  9. 　前記符号化部は、撮像された所定の数の画像をグループ画像とし、前記グループ画像に含まれる画像のうち、撮像順で最初の明画像については、画面内予測符号化により符号化を行う
    　請求項２に記載の動画像符号化装置。
  10. 　被写体が撮像された画像の符号化を行う動画像符号化方法であって、
    　前記被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得ステップと、
    　取得された前記輝度情報から得られる前記光の明滅状態に応じた、前記画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、前記画像の符号化を行う符号化ステップと
    　を含む動画像符号化方法。
  11. 　被写体が撮像された画像の符号化を行うための動画像符号化プログラムであって、
    　前記被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得ステップと、
    　取得された前記輝度情報から得られる前記光の明滅状態に応じた、前記画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、前記画像の符号化を行う符号化ステップと
    　をコンピュータに実行させる動画像符号化プログラム。
  12. 　被写体が撮像された画像の符号化を行う動画像符号化集積回路であって、
    　前記被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得部と、
    　取得された前記輝度情報から得られる前記光の明滅状態に応じた、前記画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、前記画像の符号化を行う符号化部と
    　を備える動画像符号化集積回路。
PCT/JP2009/002061 2008-05-20 2009-05-12 動画像符号化装置及び動画像符号化方法 WO2009141973A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010512926A JP5044015B2 (ja) 2008-05-20 2009-05-12 動画像符号化装置及び動画像符号化方法
US12/937,757 US8494050B2 (en) 2008-05-20 2009-05-12 Moving picture coding device and moving picture coding method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-131509 2008-05-20
JP2008131509 2008-05-20

Publications (1)

Publication Number Publication Date
WO2009141973A1 true WO2009141973A1 (ja) 2009-11-26

Family

ID=41339914

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/002061 WO2009141973A1 (ja) 2008-05-20 2009-05-12 動画像符号化装置及び動画像符号化方法

Country Status (3)

Country Link
US (1) US8494050B2 (ja)
JP (1) JP5044015B2 (ja)
WO (1) WO2009141973A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130342690A1 (en) * 2012-06-26 2013-12-26 Thomas H. Williams Technique for Enhancing the Quality of Compressed Video Images
US9648249B2 (en) * 2013-11-20 2017-05-09 Canon Kabushiki Kaisha Image capturing apparatus, method of controlling the same, and storage medium
CN111273050B (zh) * 2020-02-12 2022-05-20 清华大学 信号采集处理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09130806A (ja) * 1995-10-27 1997-05-16 Nec Eng Ltd 画像符号化伝送装置
JPH10257500A (ja) * 1997-03-10 1998-09-25 Sony Corp 映像信号処理装置
JP2000134631A (ja) * 1998-10-23 2000-05-12 Canon Inc 画像符号化装置、方法、画像復号化装置、方法及びコンピュータ読み取り可能な記憶媒体
JP2006084556A (ja) * 2004-09-14 2006-03-30 Pentax Corp 焦点検出装置
JP2007158712A (ja) * 2005-12-05 2007-06-21 Canon Inc 画像符号化装置及び画像符号化方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006287743A (ja) 2005-04-01 2006-10-19 Canon Inc 情報処理装置及びその制御方法、プログラム、記憶媒体
US8036281B2 (en) * 2005-06-01 2011-10-11 Canon Kabushiki Kaisha Image coding apparatus and image coding method
KR101303876B1 (ko) * 2006-05-19 2013-09-04 삼성전자주식회사 촬상 기기의 포커싱 제어 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09130806A (ja) * 1995-10-27 1997-05-16 Nec Eng Ltd 画像符号化伝送装置
JPH10257500A (ja) * 1997-03-10 1998-09-25 Sony Corp 映像信号処理装置
JP2000134631A (ja) * 1998-10-23 2000-05-12 Canon Inc 画像符号化装置、方法、画像復号化装置、方法及びコンピュータ読み取り可能な記憶媒体
JP2006084556A (ja) * 2004-09-14 2006-03-30 Pentax Corp 焦点検出装置
JP2007158712A (ja) * 2005-12-05 2007-06-21 Canon Inc 画像符号化装置及び画像符号化方法

Also Published As

Publication number Publication date
US20110032989A1 (en) 2011-02-10
JPWO2009141973A1 (ja) 2011-09-29
JP5044015B2 (ja) 2012-10-10
US8494050B2 (en) 2013-07-23

Similar Documents

Publication Publication Date Title
CN101662578B (zh) 图像处理装置及其控制方法
CN101385334B (zh) 图像捕捉设备和方法、记录设备和方法及再现设备和方法
JP4799438B2 (ja) 画像記録装置、画像記録方法、画像符号化装置、及びプログラム
US8035699B2 (en) Image capturing apparatus, control method therefor, and program
JP2006253768A (ja) デジタルカメラ
JP2013545371A (ja) 時間的コヒーレンス・ダイナミックレンジ・マッピングを用いたビデオ符号化
JP2004200989A (ja) 撮影装置及び監視システム
KR20080095084A (ko) 영상 잡음 제거 장치 및 방법
JP4483483B2 (ja) 撮像装置
CN101568031A (zh) 图像处理设备及其控制方法
US20080100730A1 (en) Imaging apparatus and control method thereof
JP5044015B2 (ja) 動画像符号化装置及び動画像符号化方法
JP5583439B2 (ja) 画像符号化装置及びカメラシステム
US8405745B2 (en) Image processing apparatus, image processing method, and program
KR20100061311A (ko) 촬상장치 및 촬상장치의 제어 방법
JP2023052939A (ja) 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、および復号プログラム
JP5106055B2 (ja) 撮像装置及びそのフリッカ検出方法
JP2008113112A (ja) 撮像装置
JP4288992B2 (ja) 撮像装置及び方法
JP5165084B2 (ja) 画像符号化装置
JP2008103928A (ja) 撮像装置
JP5211947B2 (ja) 撮像装置及びプログラム
JP2009124239A (ja) 撮像装置及びそのフリッカ検出方法
JP2009232004A (ja) 信号処理装置および信号処理方法、ならびに、撮像装置および撮像装置の制御方法
JP5202713B2 (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09750335

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010512926

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 12937757

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09750335

Country of ref document: EP

Kind code of ref document: A1