WO2010050106A1 - 画像符号化方法、画像符号化装置および撮像システム - Google Patents

画像符号化方法、画像符号化装置および撮像システム Download PDF

Info

Publication number
WO2010050106A1
WO2010050106A1 PCT/JP2009/004108 JP2009004108W WO2010050106A1 WO 2010050106 A1 WO2010050106 A1 WO 2010050106A1 JP 2009004108 W JP2009004108 W JP 2009004108W WO 2010050106 A1 WO2010050106 A1 WO 2010050106A1
Authority
WO
WIPO (PCT)
Prior art keywords
orthogonal transform
image
edge
transform size
flat part
Prior art date
Application number
PCT/JP2009/004108
Other languages
English (en)
French (fr)
Inventor
日下部敏彦
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN2009801425129A priority Critical patent/CN102197650A/zh
Priority to JP2010535628A priority patent/JPWO2010050106A1/ja
Publication of WO2010050106A1 publication Critical patent/WO2010050106A1/ja
Priority to US13/095,457 priority patent/US8224105B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding

Definitions

  • the present invention provides a plurality of orthogonal transform sizes (for example, 4 ⁇ 4 pixel units and 8 in accordance with the state of an image in order to improve encoding efficiency, perform high-speed processing, and improve image quality degradation in image encoding.
  • the present invention relates to a technique for encoding moving images by adaptively switching ( ⁇ 8 pixel units).
  • MPEG-4 Part 10 Advanced Video Coding (abbreviated MPEG-4 AVC) developed by ISO / IEC JTC1 MPEG (Moving Picture Experts Group).
  • MPEG-4 AVC Advanced Video Coding
  • orthogonal transform sizes of 4 ⁇ 4 pixel units and 8 ⁇ 8 pixel units can be selected as the orthogonal transform block size.
  • the orthogonal transformation in units of 4 ⁇ 4 pixels has a narrow influence range of noise generated by quantization. Further, the orthogonal transformation in units of 8 ⁇ 8 pixels is easy to reproduce the unevenness in a complicated pattern, but has a wide influence range of noise.
  • Patent Document 1 discloses a method for improving the image quality of a block image including a character image such as a caption by switching the orthogonal transform size. Since a block image including a character image includes many edges whose pixel values change sharply, mosquito noise is likely to occur due to image encoding. In Japanese Patent Application Laid-Open No. 2004-228867, by selecting orthogonal transformation in units of 4 ⁇ 4 pixels for a block image including a character image, an area where mosquito noise is diffused is reduced, thereby making it difficult to visually recognize mosquito noise. Make improvements. However, Patent Document 1 only mentions the use of edge detection or the like as a method for selecting an orthogonal transform size, and does not describe a detailed example of the selection method.
  • Patent Document 2 discloses a method for selecting an orthogonal transform size by edge detection.
  • FIG. 10 shows a flow of the orthogonal transform size selection method of Patent Document 2.
  • the orthogonal transform size selection method includes an edge detection step S91 for detecting an edge of the processing target block, an edge determination step S92 for determining whether an edge exists in the processing target block based on the detection result, and an edge exists.
  • 4 ⁇ 4 orthogonal transformation selection step S93 for selecting orthogonal transformation in units of 4 ⁇ 4 pixels when determined, and 8 ⁇ 8 orthogonal transformation for selecting orthogonal transformation in units of 8 ⁇ 8 pixels when it is determined that no edge exists.
  • a selection step S94 is a selection step S94.
  • FIG. 11 shows a block image in which orthogonal transform in units of 4 ⁇ 4 pixels is selected when the orthogonal transform size selection method of Patent Document 2 is applied to an image including a character image such as a caption. It can be seen that 4 ⁇ 4 orthogonal transformation is selected for the block image including the character image at the bottom of the image (a region surrounded by a square with a thick solid line).
  • Patent Document 2 has a problem that the code amount greatly increases in a block image in which 4 ⁇ 4 orthogonal transform is selected, particularly when the block image to be processed is an intra prediction mode in which prediction within a frame is performed. is there.
  • the reason why the code amount of the block for which 4 ⁇ 4 orthogonal transform is selected increases is that the block size for performing intra prediction differs depending on the orthogonal transform size. Details are as follows.
  • the intra prediction method is applied with an 8 ⁇ 8 pixel unit intra prediction method, whereas when the orthogonal transform size is 4 ⁇ 4 pixel units, As the intra prediction method, an intra prediction method in units of 4 ⁇ 4 pixels or an intra prediction method in units of 16 ⁇ 16 pixels is applied.
  • intra prediction is performed in units of four 8 ⁇ 8 pixel blocks in a macro block of 16 ⁇ 16 pixels, and each of the four intra prediction modes is encoded. Store in the macroblock header area of the encoded output bitstream.
  • the 16 ⁇ 16 pixel macroblock is subjected to intra prediction in units of 16 4 ⁇ 4 pixel blocks, and each of the 16 intra prediction modes is set. Encode and store in the macroblock header of the output bitstream after image encoding. Therefore, the number of intra prediction modes stored in the macroblock header is increased, and the amount of code is significantly increased as compared with the intra prediction method in units of 8 ⁇ 8 pixels.
  • the present invention was created in view of such circumstances, and by appropriately selecting an orthogonal transform size for a block including a character image or the like, the mosquito noise of the character image is suppressed while suppressing an increase in the code amount.
  • the main purpose is to be able to suppress degradation of image quality due to.
  • An image encoding method includes: An image encoding method for performing image encoding on an encoding target block image based on an orthogonal transform with a selected orthogonal transform size after selecting one of a plurality of orthogonal transform sizes in block units, An edge detection step of detecting an edge of the encoding target block image and outputting a detection result as edge information; An edge determination step of determining whether an edge exists in the encoding target block image by comparing the edge information with an edge determination threshold; A flat part detection step of detecting a flat part in the encoding target block image when it is determined that an edge exists in the encoding target block image in the edge determination step, and outputting a detection result as flat part information; A flat portion determination step for determining whether or not a flat portion exists in the encoding target block image by comparing the flat portion information with a flat portion determination threshold;
  • the plurality of orthogonal transform sizes are composed of a first orthogonal transform size group composed of one or a plurality of orthogonal transform sizes
  • the encoding target block image is included in the first orthogonal transform size group.
  • a first orthogonal transform size selection step for selecting one orthogonal transform; When it is determined in the edge determination step that no edge exists in the encoding target block image, or when it is determined in the flat portion determination step that the flat portion does not exist in the encoding target block image.
  • the selection conditions are set more finely in selecting the orthogonal transform size. That is, in addition to the determination of the presence of the edge, the determination of the presence of the flat portion is taken into account.
  • the processing target block includes an edge and further includes a flat portion
  • an orthogonal transform based on one of the first orthogonal transform size groups is selected.
  • the processing target block does not include an edge, and when the processing target block includes an edge but does not include a flat portion, the orthogonal transform by one of the second orthogonal transform size groups is selected. Is done.
  • the selection of the orthogonal transform size is made more appropriate for a block including a character image and the like, and it is possible to suppress image quality deterioration due to mosquito noise of the character image while suppressing an increase in the code amount.
  • the first orthogonal transform size group includes an orthogonal transform size of 4 ⁇ 4 pixels
  • the second orthogonal transformation size group includes an orthogonal transformation size of 8 ⁇ 8 pixel units
  • In the first orthogonal transform size selection step an orthogonal transform with an orthogonal transform size of the 4 ⁇ 4 pixel unit is selected
  • In the second orthogonal transform size selection step an orthogonal transform with an orthogonal transform size of the 8 ⁇ 8 pixel unit is selected.
  • There is a mode For example, for block images such as tree branches and leaves, edges are detected, but flat portions are not detected, so orthogonal transform by one of the first orthogonal transform groups (4 ⁇ 4 pixel units, etc.) is selected.
  • one of the second orthogonal transform size groups (8 ⁇ 8 pixel unit or the like) is selected.
  • an orthogonal size by one of the first orthogonal transform groups is selected. In this way, it is possible to suppress deterioration in image quality due to mosquito noise of character images while suppressing an increase in code amount.
  • the edge detection step a difference absolute value of pixels adjacent in the horizontal direction and the vertical direction in the encoding target block image is calculated, and when the calculated difference absolute value is larger than an edge detection threshold, the edge and Edge detection is performed, and the number of detected edges is output as the edge information. There is a mode. According to this configuration, since edge detection is performed based on the absolute difference value between adjacent pixels in the horizontal and vertical directions, it is possible to perform high-speed edge detection with a reduced calculation processing amount.
  • the flat part detecting step a difference absolute value of pixels adjacent in the horizontal direction and the vertical direction in the encoding target block image is calculated, and if the calculated difference absolute value is smaller than a flat part detection threshold value, the flat part is detected.
  • the flat part detection is performed, and the number of detected flat parts is output as the flat part information. There is a mode. According to this configuration, since the flat portion detection is performed based on the absolute difference value of adjacent pixels in the horizontal and vertical directions, it is possible to perform high-speed flat portion detection with a reduced calculation processing amount.
  • An image encoding device includes: An image encoding device that performs image encoding on a block image to be encoded based on orthogonal transform based on a selected orthogonal transform size after selecting orthogonal transforms based on a plurality of orthogonal transform sizes, An edge detection unit that detects an edge of the encoding target block image and outputs a detection result as edge information; An edge determination unit that determines whether or not the encoding target block image includes an edge by comparing the edge information with an edge determination threshold; A flat part detecting unit that detects a flat part of the encoding target block image and outputs a detection result as flat part information; A flat part determination unit that determines whether or not the encoding target block image includes the flat part by comparing the flat part information with a flat part determination threshold; An orthogonal transform size selection unit for selecting an orthogonal transform size; With The orthogonal transform size selection unit includes a first orthogonal transform size group composed of one or a plurality of orthogonal transform sizes and
  • the edge determination unit determines that the edge is included in the encoding target block image and the flat portion determination unit If it is determined that the flat part is included in the encoding target block image in step 1, select one of the first orthogonal transform size group, The orthogonal transform size selection unit determines that the edge determination unit determines that the edge is not included in the encoding target block image, or the flat part determination unit includes the flat portion in the encoding target block. If it is determined that it is not, one of the second orthogonal transform size groups is selected.
  • the selection condition is set more finely by performing the selection by adding the determination of the presence of the flat portion in addition to the determination of the presence of the edge. Therefore, the selection of the orthogonal transform size is made more appropriate for blocks containing character images, etc., and image quality deterioration due to mosquito noise in character images can be suppressed while suppressing an increase in code amount, which is a great improvement in subjective image quality. effective.
  • FIG. 1 is a flowchart showing an operation of selecting an orthogonal transform size in the image coding method according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram showing the positional relationship between adjacent pixels for calculating the absolute difference value of the image coding method according to Embodiment 1 of the present invention.
  • FIG. 3 is a flowchart showing an edge detection operation in the horizontal direction in the image coding method according to Embodiment 1 of the present invention.
  • FIG. 4 is a flowchart showing an edge detection operation in the vertical direction in the image coding method according to Embodiment 1 of the present invention.
  • FIG. 5 is a flowchart showing an operation of detecting a flat portion in the horizontal direction in the image coding method according to Embodiment 1 of the present invention.
  • FIG. 6 is a flowchart showing an operation of detecting a flat portion in the vertical direction in the image coding method according to Embodiment 1 of the present invention.
  • FIG. 7 is a diagram showing a 4 ⁇ 4 orthogonal transform selection result when the orthogonal transform size selection method of the image coding method according to Embodiment 1 of the present invention is applied to an image.
  • FIG. 8 is a block diagram showing the configuration of the image coding apparatus according to Embodiment 2 of the present invention.
  • FIG. 9 is a block diagram illustrating a configuration of an imaging system according to Embodiment 3 of the present invention.
  • FIG. 10 is a flowchart showing a conventional orthogonal transform size selection operation.
  • FIG. 11 is a diagram illustrating a 4 ⁇ 4 orthogonal transform selection result when the conventional method is applied to an image.
  • FIG. 12 is a diagram illustrating a 4 ⁇ 4 orthogonal transform selection result when the conventional method is applied to an image.
  • FIG. 1 is a flowchart of orthogonal transform size selection in the image coding method according to Embodiment 1 of the present invention.
  • the orthogonal transform size selection method of the image coding method in Embodiment 1 includes an edge detection step S1, an edge determination step S2, a flat portion detection step S3, a flat portion determination step S4, a 4 ⁇ 4 orthogonal transform selection step S5, and An 8 ⁇ 8 orthogonal transform selection step S6 is included.
  • edge detection step S1 an edge where the pixel value changes sharply is detected.
  • edge determination step S2 it is determined whether an edge is included in the processing target block based on the detection result in the edge detection step S1.
  • flat part detection step S3 when it is determined in the edge determination step S2 that the processing target block includes an edge, a flat part in which the pixel value gradually changes is detected in the processing target block.
  • the flat part determination step S4 it is determined whether or not the processing target block includes a flat part based on the detection result in the flat part detection step S3.
  • 4 ⁇ 4 orthogonal transform selection step S5 when it is determined in the flat portion determination step S4 that a flat portion is included, orthogonal transform in units of 4 ⁇ 4 pixels is selected.
  • the 8 ⁇ 8 orthogonal transform selection step S6 when it is determined in the edge determination step S2 that the processing target block does not include an edge, and in the flat portion determination step S4, it is determined that the processing target block does not include a flat portion.
  • an orthogonal transformation in units of 8 ⁇ 8 pixels is selected.
  • the 4 ⁇ 4 pixel unit is one of the orthogonal transform sizes constituting the first orthogonal transform size group, and the 8 ⁇ 8 pixel unit has a larger orthogonal transform size size than the first orthogonal transform size group. This is one of the orthogonal transform sizes constituting the two orthogonal transform size groups.
  • the first and second orthogonal transform size groups are each composed of one, but the first and second orthogonal transform size groups may be composed of a plurality.
  • an edge where the pixel value changes sharply with respect to the processing target block is detected.
  • an edge detection method there is a method of detecting using an absolute difference value between adjacent pixels.
  • the difference absolute value of adjacent pixels is calculated, and when the calculated difference absolute value is larger than the edge detection threshold (Th1), it is determined as an edge and the number of detected edges (Cnt1) is counted.
  • FIG. 2 shows the positional relationship between adjacent pixels for calculating the absolute difference value.
  • H1 indicates the positional relationship between adjacent pixels referred to when calculating the absolute difference value in the horizontal direction
  • V1 indicates the positional relationship between adjacent pixels referred to when the absolute difference value is calculated in the vertical direction.
  • step S1 absolute difference values in the horizontal direction and the vertical direction are calculated. If the adjacent pixel calculation target pixel is x (i, j), the edge detection flow in the horizontal direction is as shown in FIG. The details of the horizontal edge detection flow will be described below with reference to FIG.
  • the horizontal edge detection flow includes a vertical initial setting step S10 for initial setting of the vertical pixel position, a horizontal initial setting step S20 for initial setting of the horizontal pixel position, and a horizontal difference absolute value.
  • Horizontal difference absolute value calculation step S30 for calculating (AbsDiff), difference absolute value comparison step S40 for comparing the difference absolute value (AbsDiff) with the edge detection threshold (Th1), and the difference absolute value (AbsDiff) being an edge
  • the detection threshold (Th1) is greater, the edge count step S50 for increasing the number of edges (Cnt1) by 1, the horizontal target pixel moving step S60 for moving the target pixel by one pixel in the horizontal direction, and the horizontal component Horizontal pixel position determination step S for determining whether the macro block size is smaller than “16” 0, a vertical target pixel moving step S80 for moving the target pixel one pixel in the vertical direction, and a vertical pixel position determining step S90 for determining whether the vertical component is smaller than “16” which is the block size of the processing target block.
  • the flow of edge detection in the vertical direction is as shown in FIG.
  • the details of the edge detection flow in the vertical direction will be described below with reference to FIG.
  • the vertical difference absolute value for calculating the vertical difference absolute value is calculated.
  • a calculation step S31 is provided.
  • edge determination step S2 when the number of edges (Cnt1) counted in the edge detection step S1 is larger than the edge determination threshold (Th2), it is determined that the processing target block includes an edge, and edge determination is performed. When the threshold value (Th2) or less, it is determined that the processing target block does not include an edge.
  • a flat portion in which the pixel value gently changes with respect to the processing target block is detected.
  • a method for detecting a flat portion there is a method using an absolute difference value of adjacent pixels as in edge detection. The difference absolute value of adjacent pixels is calculated, and when the calculated difference absolute value is larger than the flat part detection threshold (Th3), it is determined as a flat part, and the number of flat parts (Cnt2) detected by this determination is calculated. Count.
  • the horizontal flat portion detection flow includes a vertical direction initial setting step S10 for initial setting of a vertical pixel position, a horizontal direction initial setting step S20 for initial setting of a horizontal pixel position, and an absolute difference in the horizontal direction.
  • a vertical target pixel moving step S80 for moving the target pixel by one pixel in the vertical direction
  • a vertical pixel position determining step S90 for determining whether the vertical component is smaller than “16” which is the block size of the processing target block.
  • the flow of detecting the flat portion in the vertical direction is as shown in FIG.
  • the flow of detecting the flat portion in the vertical direction will be described with reference to FIG.
  • the vertical direction difference is calculated in the vertical direction flat part detection flow.
  • An absolute value calculating step S31 is provided.
  • the flat portion determination step S4 when the number of flat portions counted in the flat portion detection step S3 is larger than the flat portion determination threshold value (Th4), it is determined that the processing target block includes a flat portion, and the flat portion is flat. When it is equal to or less than the part determination threshold (Th4), it is determined that the flat block is not included in the processing target block.
  • the 4 ⁇ 4 pixel unit which is one of the first orthogonal transform size groups, is selected only when the processing target block includes an edge and further includes a flat portion.
  • 8 ⁇ which is one of the second orthogonal transform size groups
  • An 8-pixel unit is selected. This is a feature of the present embodiment in comparison with the prior art.
  • the selection of the pixel unit described above selects an arbitrary pixel unit in each of the first and second orthogonal transform size groups. Just do it.
  • the first orthogonal transform size group (4 ⁇ 4 orthogonal transform size, etc.) is selected. There is no. Further, for a block image including a character image, an edge is detected and a flat portion is also detected, so that the first orthogonal transform size group (4 ⁇ 4 orthogonal transform size or the like) can be selected.
  • FIG. 7 shows the result of the orthogonal transform size using the orthogonal transform size selection method of the first embodiment.
  • the orthogonal transform size selection method of the present embodiment in a block including only edges such as tree branches and leaves, one of the second orthogonal transform size groups (8 ⁇ 8 orthogonal transform size, etc.) is selected, It can be seen that one block (4 ⁇ 4 orthogonal transform size, etc.) in the first orthogonal transform size group is selected as a block including a character image in which both edges and flat portions exist.
  • the first orthogonal transform size group (4 ⁇ 4 orthogonal transform size) is also selected for the trunk portion of the tree. In the tree portion, the region where the first orthogonal transform size group is selected is greatly reduced as compared with FIG. 11 of the prior art, and the code amount is reduced.
  • the method of using the adjacent pixel difference absolute value is described as the method of edge detection and flat portion detection.
  • the present invention is not limited to this.
  • FIG. 8 is a block diagram showing the configuration of the image coding apparatus A according to Embodiment 2 of the present invention.
  • the image coding apparatus A according to Embodiment 3 includes a block division unit 1, an edge detection unit 2, an edge determination unit 3, a flat portion detection unit 4, a flat portion determination unit 5, and an orthogonal transform size selection unit 6.
  • the block division unit 1 performs division for each block in the input image.
  • the edge detection unit 2 detects edges in the block image (encoding target block) obtained by the block division unit 1 and outputs the detection results as edge information.
  • the edge detection performed by the edge detection unit 2 is performed by the same method as the edge detection described in the first embodiment.
  • the edge determination unit 3 determines whether or not an edge is included in the block image by comparing the edge information output from the edge detection unit 2 with an edge determination threshold value.
  • the flat part detecting unit 4 detects a flat part in the block image obtained by the block dividing unit 1 and outputs the detection result as flat part information.
  • the flat part detection performed by the flat part detection unit 4 is performed by the same method as the flat part detection described in the first embodiment.
  • the flat part determination unit 5 determines whether or not the block image includes a flat part by comparing the flat part information output from the flat part detection unit 4 with a flat part determination threshold value.
  • the orthogonal transform size selection unit 6 performs size selection for orthogonal transform based on the determination results of the edge determination unit 3 and the flat portion determination unit 5.
  • the selector 7 receives an instruction from the orthogonal transform size selection unit 6 and switches between 4 ⁇ 4 orthogonal transform size and 8 ⁇ 8 orthogonal transform size.
  • the 4 ⁇ 4 orthogonal transform size is an example in the first orthogonal transform size group
  • the 8 ⁇ 8 orthogonal transform size is an example in the second orthogonal transform size group. Needless to say.
  • the first orthogonal transform unit 8 performs 4 ⁇ 4 orthogonal transform.
  • the first quantization unit 9 quantizes the transform coefficient obtained by the first orthogonal transform unit 8.
  • the second orthogonal transform unit 10 performs 8 ⁇ 8 orthogonal transform.
  • the second quantization unit 11 performs quantization on the transform coefficient obtained by the second orthogonal transform unit 10.
  • the selector 12 switches the outputs of the first quantization unit 9 and the second quantization unit 11 based on an instruction from the orthogonal transform size selection unit 6.
  • the entropy encoding unit 13 encodes the quantized coefficient output from the selector 12.
  • the inverse quantization unit 14 performs inverse quantization on the quantization coefficient output from the selector 12.
  • the inverse orthogonal transform unit 15 performs inverse orthogonal transform on the transform coefficient obtained by the inverse quantization unit 14.
  • the first frame memory 16 stores image data obtained by adding predicted image data to the image data obtained by the inverse orthogonal transform unit 15.
  • the intra prediction unit 17 performs intra prediction using the pixels in the frame stored in the first frame memory 16.
  • the loop filter 18 applies a deblocking filter that removes block distortion in the image data obtained by adding the image data obtained by the inverse orthogonal transform unit 15 and the predicted image data.
  • the second frame memory 19 stores the image data that has been deblocked by the loop filter 18.
  • the inter prediction unit 20 performs inter-frame prediction with reference to the image data stored in the second frame memory 19.
  • the intra / inter determination unit 21 performs an intra / inter determination from the information obtained by the intra prediction unit 17 and the information obtained by the inter prediction unit 20.
  • the selector 22 selects one of the predicted image data obtained by the intra prediction unit 17 and the predicted image data obtained by the inter prediction unit 20 based on the determination result by the intra / inter determination unit 21.
  • the orthogonal transform size selection unit 6 is configured to perform orthogonal transform size selection by the method of the first embodiment. Therefore, according to the present embodiment, only one of the first orthogonal transform size groups (such as 4 ⁇ 4 orthogonal transform size) is selected only for a character image or the like where mosquito noise is conspicuous, and the code amount The increase can be suppressed.
  • the image encoding device A is typically realized as an LSI which is a semiconductor integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
  • the name used here is LSI, but it may also be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI, and implementation with a dedicated circuit or a general-purpose processor is also possible.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • the present embodiment shows an example of an imaging system (video system) such as a digital still camera or a video conference system camera using the moving image encoding method described above.
  • an imaging system video system
  • video system such as a digital still camera or a video conference system camera using the moving image encoding method described above.
  • FIG. 9 is a block diagram showing the configuration of the imaging system according to the third embodiment of the present invention.
  • the image light incident through the optical system 31 is imaged on the image sensor 32 and subjected to photoelectric conversion.
  • the electrical signal obtained by the photoelectric conversion is converted into a digital value by the A / D conversion circuit 33, and then supplied to the image processing circuit 34 including the image encoding device A shown in FIG. 8, for example.
  • the image processing circuit 34 performs signal processing such as Y / C processing, edge processing, image enlargement / reduction, image compression / expansion processing such as MPEG / JPEG (Joint Photographic Experts Group), and control of an image compressed stream. Is done.
  • the image encoding device A has the same configuration as the image encoding device A described in the second embodiment.
  • the signal subjected to image processing by this imaging system is recorded on a medium or transmitted via the Internet or the like in the recording / transfer system 35.
  • the recorded or transferred signal is reproduced by the reproduction system 36.
  • the image sensor 32 and the image processing circuit 34 are controlled by a timing control circuit 37, and the optical system 31, the recording / transfer system 35, the reproduction system 36, and the timing control circuit 37 are each controlled by a system control circuit 38.
  • the camera device or the like in which the image light from the optical system 31 is photoelectrically converted by the image sensor 32 and input to the A / D conversion circuit 33 has been described, but the present invention is not limited to this.
  • analog video input from an AV device such as a television may be directly input to the A / D conversion circuit 33.
  • the determination of the presence of a flat portion is taken into account, and the selection conditions are set more finely.
  • the orthogonal transform size can be selected more appropriately for blocks including the above, and image quality degradation due to mosquito noise in the character image can be suppressed while suppressing an increase in the amount of code, so the image quality performance of the character image is required. This is useful as an image encoding technique for a video conference system.

Abstract

　処理対象ブロックのエッジ検出結果に基づいて処理対象ブロックがエッジを含んでいるか判定を行い、エッジを含んでいる場合は平坦部検出を行い、平坦部検出の結果に基づいて処理対象ブロックが平坦部を含んでいるかの判定を行い、平坦部を含んでいる場合には、第１の直交変換サイズ群の中の一つを選択し、エッジを含んでいない場合または平坦部を含んでいない場合には、第１の直交変換サイズ群より直交変換サイズが大きい第２の直交変換サイズの中の一つを選択する。

Description

画像符号化方法、画像符号化装置および撮像システム
　本発明は、画像符号化において、符号化効率を高めたり高速処理を行ったり画質劣化を改善したりするために、画像の状態に応じて複数の直交変換サイズ（例えば４×４画素単位と８×８画素単位）を適応的に切り替えて動画像の符号化を行う技術に関する。
　本出願は、２００８年１０月２７日に出願された、明細書,図面、特許請求の範囲を含む日本特許出願２００８－２７５３４５号の全てを、ここに参照として本明細書に組み入れている。
　動画像データを符号化する標準技術として、ISO/IEC JTC1のMPEG（Moving Picture Experts Group）が策定したMPEG-4 Part10:Advanced Video Coding（略して、MPEG-4 AVC）がある。このMPEG-4 AVCでは、直交変換のブロックサイズとして４×４画素単位と８×８画素単位との直交変換サイズを選択することができる。４×４画素単位の直交変換は、量子化によって発生したノイズの影響範囲が狭いものとされている。また、８×８画素単位の直交変換は、複雑な模様での凹凸を再現しやすいがノイズの影響範囲が広いものとされている。処理ブロック単位で画像の状態に応じて直交変換サイズを選択し、直交変換を行うことにより符号化効率の向上を図ることや、画像符号化による画質劣化を改善することができる。
　特許文献１では、直交変換サイズを切り替えることにより、キャプションなどの文字画像を含むブロック画像の画質を改善する方法が開示される。文字画像を含むブロック画像は画素値の変化が急峻なエッジを多く含むため、画像符号化によるモスキートノイズが発生しやすい。特許文献１では、文字画像を含むブロック画像に対して４×４画素単位の直交変換を選択することでモスキートノイズが拡散する領域を小さくし、モスキートノイズを視覚的に認識させ難くすることで画質改善を図る。しかしながら、特許文献１では、直交変換サイズの選択方法としてエッジ検出などを使うことが言及されているのみであり、選択方法についての詳細な実施例は記載されていない。
　特許文献２では、エッジ検出による直交変換サイズの選択方法が開示されている。図１０は特許文献２の直交変換サイズ選択方法のフローを示す。その直交変換サイズ選択方法は、処理対象ブロックのエッジを検出するエッジ検出ステップＳ９１と、その検出結果に基づいて処理対象ブロックにエッジが存在するかを判定するエッジ判定ステップＳ９２と、エッジが存在すると判定した場合に４×４画素単位の直交変換を選択する４×４直交変換選択ステップＳ９３と、エッジが存在しないと判定した場合に８×８画素単位の直交変換を選択する８×８直交変換選択ステップＳ９４とから構成される。
　図１１は特許文献２の直交変換サイズ選択方法をキャプションなどの文字画像を含む画像に適用したときに４×４画素単位の直交変換が選択されるブロック画像を示す。画像下部にある文字画像を含むブロック画像に対して、４×４直交変換が選択されていることが分かる（太い実線で四角に囲った領域）。
　しかしながら、特許文献２には、４×４直交変換を選択したブロック画像では、特に処理対象のブロック画像がフレーム内の予測を行うイントラ予測モードである場合に、符号量が大きく増加するという不具合がある。４×４直交変換が選択されたブロックの符号量が増加する理由としては、イントラ予測を行うブロックサイズが直交変換サイズによって異なることが挙げられる。詳しくは次のとおりである。
　直交変換サイズが８×８画素単位である場合に、イントラ予測方式は８×８画素単位のイントラ予測方式が適用されるのに対し、直交変換サイズが４×４画素単位である場合には、イントラ予測方式は４×４画素単位のイントラ予測方式または１６×１６画素単位のイントラ予測方式が適用される。
　８×８画素単位のイントラ予測方式では、１６×１６画素のマクロブロック内を４個の８×８画素のブロック単位でイントラ予測を行い、４個のそれぞれのイントラ予測モードを符号化して、画像符号化後の出力ビットストリームのマクロブロックヘッダ領域に格納する。
　これに対して、４×４画素単位のイントラ予測方式では、１６×１６画素のマクロブロック内を１６個の４×４画素のブロック単位でイントラ予測を行い、１６個のそれぞれのイントラ予測モードを符号化して、画像符号化後の出力ビットストリームのマクロブロックヘッダに格納する。そのため、マクロブロックヘッダに格納するイントラ予測モードの数が多くなり、８×８画素単位のイントラ予測方式に比べて符号量が大幅に増加する。
特開２００８－４９８３号 特開２００７-１１０５６８号
　従来の直交変換サイズ選択方式では、図１１に示すように、文字画像だけでなくエッジの多い木の枝葉などを含むブロック画像に対しても４×４直交変換サイズを選択するため、４×４直交変換サイズを選択したブロック数が多くなり、符号量が増大するという問題がある。
　そこで、４×４直交変換サイズが選択されるブロック数を少なくすることを考える。エッジ検出またはエッジ判定の際のしきい値を調整し、４×４直交変換サイズが選択され難くすることはできる。しかしながら、この場合、図１２に示すように、モスキートノイズによる画質劣化を目立たせないようにしたい文字画像を含むブロック画像に対して、４×４直交変換サイズが選択されなくなってしまうという問題がある（“ＡＢＣＤＥ”の部分から太い四角の実線が消え、８×８直交変換サイズに変わっている）。
　本発明は、このような事情に鑑みて創作したものであり、文字画像などを含むブロックに対して直交変換サイズの選択を適正化することにより、符号量の増加を抑えつつ文字画像のモスキートノイズによる画質劣化を抑えることができるようにすることを主たる目的とする。
　本発明による画像符号化方法は、
　複数の直交変換サイズの中から一つをブロック単位で選択したうえで、選択した直交変換サイズによる直交変換に基づいて、符号化対象ブロック画像に画像符号化を行う画像符号化方法であって、
　前記符号化対象ブロック画像のエッジを検出し、検出結果をエッジ情報として出力するエッジ検出ステップと、
　前記エッジ情報をエッジ判定しきい値と比較することにより前記符号化対象ブロック画像にエッジが存在するか否かを判定するエッジ判定ステップと、
　前記エッジ判定ステップにおいて前記符号化対象ブロック画像にエッジが存在すると判定した場合に前記符号化対象ブロック画像に平坦な部分を検出し、検出結果を平坦部情報として出力する平坦部検出ステップと、
　前記平坦部情報を平坦部判定しきい値と比較することにより前記符号化対象ブロック画像に平坦部が存在するか否かを判定する平坦部判定ステップと、
　前記複数の直交変換サイズを一つまたは複数の直交変換サイズからなる第１の直交変換サイズ群と、一つまたは複数の直交変換サイズからなり前記第１の直交変換サイズ群より直交変換サイズが大きい第２の直交変換サイズ群とに区分したうえで、前記平坦部判定ステップにおいて前記平坦部が存在すると判定した場合に、前記符号化対象ブロック画像に、前記第１の直交変換サイズ群の中の一つによる直交変換を選択する第１直交変換サイズ選択ステップと、
　前記エッジ判定ステップにおいて前記符号化対象ブロック画像にエッジが存在しないと判定した場合、または前記平坦部判定ステップにおいて前記符号化対象ブロック画像に前記平坦部が存在しないと判定した場合に、前記符号化対象ブロック画像に、前記第２の直交変換サイズ群の中の一つによる直交変換を選択する第２直交変換サイズ選択ステップと、
　を含むものである。
　この構成においては、直交変換サイズの選択において、その選択の条件をより細かく設定している。すなわち、エッジの存在の判定に加えて平坦部の存在の判定を加味している。処理対象ブロックにエッジが含まれており、さらに平坦部が含まれている場合には、第１の直交変換サイズ群の一つによる直交変換が選択される。処理対象ブロックにエッジが含まれていない場合と、処理対象ブロックにエッジが含まれているが平坦部が含まれていない場合には、第２の直交変換サイズ群の一つによる直交変換が選択される。これにより、文字画像などを含むブロックに対して直交変換サイズの選択がより適正化され、符号量の増加を抑えつつ文字画像のモスキートノイズによる画質劣化を抑えることが可能となる。
　上記構成の画像符号化方法において、
　前記第１の直交変換サイズ群は、４×４画素単位の直交変換サイズを含み、
　前記第２の直交変換サイズ群は、８×８画素単位の直交変換サイズを含み、
　前記第１直交変換サイズ選択ステップでは、前記４×４画素単位の直交変換サイズによる直交変換を選択し、
　前記第２直交変換サイズ選択ステップでは、前記８×８画素単位の直交変換サイズによる直交変換を選択する、
　という態様がある。例えば、木の枝葉などのブロック画像に対しては、エッジは検出されるが平坦部は検出されないので、第１の直交変換群の一つ（４×４画素単位等）による直交変換が選択されることはなく、第２の直交変換サイズ群の一つ（８×８画素単位等）の直交変換を選択することになる。また、文字画像を含むブロック画像に対しては、エッジを検出するとともに平坦部も検出するので、第１の直交変換群の一つによる直交サイズが選択される。このようにして、符号量の増加を抑えつつ文字画像のモスキートノイズによる画質劣化を抑えることが可能となる。
　また上記構成の画像符号化方法において、
　前記エッジ検出ステップでは、前記符号化対象ブロック画像内の水平方向および垂直方向に隣接する画素の差分絶対値を算出し、算出した前記差分絶対値がエッジ検出しきい値より大きい場合に前記エッジと判定するエッジ検出を行い、検出した前記エッジの数を前記エッジ情報として出力する、
　という態様がある。この構成によれば、エッジ検出を水平・垂直方向の隣接画素の差分絶対値に基づいて行うので、算出処理量を抑えて高速なエッジ検出を行うことが可能となる。
　また上記構成の画像符号化方法において、
　前記平坦部検出ステップでは、前記符号化対象ブロック画像内の水平方向および垂直方向に隣接する画素の差分絶対値を算出し、算出した差分絶対値が平坦部検出しきい値より小さい場合に平坦部とする平坦部検出を行い、検出した平坦部の数を前記平坦部情報として出力する、
　という態様がある。この構成によれば、平坦部検出を水平・垂直方向の隣接画素の差分絶対値に基づいて行うので、算出処理量を抑えて高速な平坦部検出を行うことが可能となる。
　本発明による画像符号化装置は、
　複数の直交変換サイズによる直交変換をブロック単位で選択したうえで、選択した直交変換サイズによる直交変換に基づいて、符号化対象ブロック画像に画像符号化を行う画像符号化装置であって、
　前記符号化対象ブロック画像のエッジを検出し、検出結果をエッジ情報として出力するエッジ検出部と、
　前記エッジ情報をエッジ判定しきい値と比較することにより前記符号化対象ブロック画像にエッジが含まれているか否かを判定するエッジ判定部と、
　前記符号化対象ブロック画像の平坦部を検出し、検出結果を平坦部情報として出力する平坦部検出部と、
　前記平坦部情報を平坦部判定しきい値と比較することにより前記符号化対象ブロック画像に前記平坦部が含まれているか否かを判定する平坦部判定部と、
　直交変換サイズを選択する直交変換サイズ選択部と、
　を備え、
　前記直交変換サイズ選択部は、前記複数の直交変換サイズを一つまたは複数の直交変換サイズからなる第１の直交変換サイズ群と、一つまたは複数の直交変換サイズからなり前記第１の直交変換サイズ群より直交変換サイズが大きい第２の直交変換サイズ群とに区分したうえで、前記エッジ判定部において前記符号化対象ブロック画像に前記エッジが含まれていると判定しかつ前記平坦部判定部において前記符号化対象ブロック画像に前記平坦部が含まれていると判定した場合には、前記第１の直交変換サイズ群の中の一つを選択し、
　前記直交変換サイズ選択部は、前記エッジ判定部において前記符号化対象ブロック画像に前記エッジが含まれていないと判定した場合または前記平坦部判定部において前記符号化対象ブロックに前記平坦部が含まれていないと判定した場合には、前記第２の直交変換サイズ群の中の一つを選択する。
　本発明によれば、直交変換サイズの選択において、エッジの存在の判定に加えて平坦部の存在の判定を加えて選択を行うことで、選択の条件をより細かく設定している。そのため、文字画像などを含むブロックに対して直交変換サイズの選択がより適正化され、符号量の増加を抑えつつ文字画像のモスキートノイズによる画質劣化を抑えることができ、主観的な画質改善に大きな効果がある。
図１は、本発明の実施の形態１における画像符号化方法の直交変換サイズ選択の動作を示すフローチャートである。 図２は、本発明の実施の形態１における画像符号化方法の差分絶対値を算出する隣接画素の位置関係を示す図である。 図３は、本発明の実施の形態１における画像符号化方法の水平方向のエッジ検出の動作を示すフローチャートである。 図４は、本発明の実施の形態１における画像符号化方法の垂直方向のエッジ検出の動作を示すフローチャートである。 図５は、本発明の実施の形態１における画像符号化方法の水平方向の平坦部検出の動作を示すフローチャートである。 図６は、本発明の実施の形態１における画像符号化方法の垂直方向の平坦部検出の動作を示すフローチャートである。 図７は、本発明の実施の形態１における画像符号化方法の直交変換サイズ選択の方法を画像に適用した場合の４×４直交変換選択結果を示す図である。 図８は、本発明の実施の形態２における画像符号化装置の構成を示すブロック図である。 図９は、本発明の実施の形態３における撮像システムの構成を示すブロック図である。 図１０は、従来の直交変換サイズ選択の動作を示すフローチャートである。 図１１は、従来の方法を画像に適用した場合の４×４直交変換選択結果を示す図である。 図１２は、従来の方法を画像に適用した場合の４×４直交変換選択結果を示す図である。
　以下、本発明にかかわる画像符号化方法および画像符号化装置の実施の形態を図面を用いて詳細に説明する。
　（実施の形態１）
　図１は本発明の実施の形態１における画像符号化方法の直交変換サイズ選択のフローチャートである。実施の形態１における画像符号化方法の直交変換サイズ選択方法は、エッジ検出ステップステップＳ１,エッジ判定ステップＳ２,平坦部検出ステップＳ３,平坦部判定ステップＳ４,４×４直交変換選択ステップＳ５,および８×８直交変換選択ステップＳ６を含む。
　エッジ検出ステップＳ１では、画素値が急峻に変化するエッジを検出する。エッジ判定ステップＳ２では、エッジ検出ステップＳ１による検出結果に基づいて処理対象ブロックにエッジが含まれているかを判定する。平坦部検出ステップＳ３では、エッジ判定ステップＳ２で処理対象ブロックにエッジが含まれていると判定した場合に、処理対象ブロックにおいて、画素値がなだらかに変化する平坦な部分を検出する。平坦部判定ステップＳ４では、平坦部検出ステップＳ３による検出結果に基づいて処理対象ブロックに平坦部が含まれているか否かを判定する。４×４直交変換選択ステップＳ５では、平坦部判定ステップＳ４において平坦部が含まれていると判定した場合に４×４画素単位の直交変換を選択する。８×８直交変換選択ステップＳ６では、エッジ判定ステップＳ２において処理対象ブロックにエッジが含まれていないと判定した場合および平坦部判定ステップＳ４において処理対象ブロックに平坦部が含まれていないと判定した場合に、８×８画素単位の直交変換を選択する。なお、４×４画素単位は、第１の直交変換サイズ群を構成する直交変換サイズの一つであり、８×８画素単位は、第１の直交変換サイズ群より直交変換サイズサイズが大きい第２の直交変換サイズ群を構成する直交変換サイズの一つである。本実施の形態では、第１,第２の直交変換サイズ群はそれぞれ一つから構成されるが、第１,第２の直交変換サイズ群は複数から構成されてもよい。
　なお、エッジ検出ステップＳ１では、処理対象ブロックに対して画素値が急峻に変化するエッジを検出する。エッジ検出の方法として、隣接画素の差分絶対値を用いて検出する方法がある。このエッジ検出方法では、隣接画素の差分絶対値を算出し、算出した差分絶対値がエッジ検出しきい値（Ｔｈ１）より大きい場合にエッジとし、検出したエッジの数（Ｃｎｔ１）をカウントする。
　図２は差分絶対値を算出する隣接画素の位置関係を示す。Ｈ１は水平方向で差分絶対値を算出するときに参照される隣接画素の位置関係を示し、Ｖ１は垂直方向で差分絶対値を算出するときに参照される隣接画素の位置関係を示す。ステップＳ１では、水平方向・垂直方向の差分絶対値がそれぞれ算出される。隣接画素算出対象画素をｘ（ｉ，ｊ）とすると、水平方向のエッジ検出のフローは図３のようになる。以下、図３を参照して水平方向のエッジ検出のフローの詳細を説明する。
　水平方向のエッジ検出フローは、垂直方向の画素位置の初期設定を行う垂直方向初期設定ステップＳ１０と、水平方向の画素位置の初期設定を行う水平方向初期設定ステップＳ２０と、水平方向の差分絶対値（ＡｂｓＤｉｆｆ）を算出する水平方向差分絶対値算出ステップＳ３０と、差分絶対値（ＡｂｓＤｉｆｆ）をエッジ検出しきい値（Ｔｈ１）と比較する差分絶対値比較ステップＳ４０と、差分絶対値（ＡｂｓＤｉｆｆ）がエッジ検出しきい値（Ｔｈ１）より大きい場合に、エッジの数（Ｃｎｔ１）を１増加させるエッジカウントステップＳ５０と、対象画素を水平方向に１画素移動させる水平方向対象画素移動ステップＳ６０と、水平成分がマクロブロックサイズである“１６”より小さいかを判定する水平画素位置判定ステップＳ７０と、対象画素を垂直方向に１画素移動させる垂直方向対象画素移動ステップＳ８０と、垂直成分が処理対象ブロックのブロックサイズである“１６”より小さいか否かを判定する垂直画素位置判定ステップＳ９０とを含む。
　同様に、垂直方向のエッジ検出のフローは図４のようになる。以下、図４を参照して垂直方向のエッジ検出のフローの詳細を説明する。垂直方向エッジ検出のフローでは、水平方向エッジ検出のフローで水平方向差分絶対値の算出を行う水平方向差分絶対値算出ステップＳ３０の代わりに、垂直方向の差分絶対値を算出する垂直方向差分絶対値算出ステップＳ３１が設けられている。水平方向と垂直方向との両方向のエッジ検出を行うことで対象ブロックの水平方向と垂直方向を合わせたエッジの数（Ｃｎｔ１）を算出することができる。
　エッジ判定ステップＳ２では、エッジ検出ステップＳ１でカウントしたエッジの数（Ｃｎｔ１）がエッジ判定しきい値（Ｔｈ２）より大きい場合に、処理対象ブロックにエッジが含まれていると判定し、エッジ判定しきい値（Ｔｈ２）以下の場合に、処理対象ブロックにエッジが含まれていないと判定する。
　平坦部検出ステップＳ３では、処理対象ブロックに対して画素値がなだらかに変化する平坦部を検出する。平坦部を検出する方法として、エッジ検出と同様に隣接画素の差分絶対値を用いる方法がある。隣接画素の差分絶対値を算出し、算出した差分絶対値が平坦部検出しきい値（Ｔｈ３）より大きい場合に平坦部と判定したうえで、この判定により検出した平坦部の数（Ｃｎｔ２）をカウントする。
　隣接画素算出対象画素をｘ（ｉ，ｊ）とすると、水平方向の平坦部検出のフローは図５のようになる。以下、水平方向の平坦部検出のフローを図５を参照して説明する。水平方向の平坦部検出フローは、垂直方向の画素位置の初期設定を行う垂直方向初期設定ステップＳ１０と、水平方向の画素位置の初期設定を行う水平方向初期設定ステップＳ２０と、水平方向の差分絶対値（ＡｂｓＤｉｆｆ）を算出する水平方向差分絶対値算出ステップＳ３０と、差分絶対値（ＡｂｓＤｉｆｆ）を平坦部検出しきい値（Ｔｈ３）と比較する差分絶対値比較ステップＳ４１と、差分絶対値（ＡｂｓＤｉｆｆ）が平坦部検出しきい値（Ｔｈ３）より小さい場合に、平坦部の数（Ｃｎｔ２）を１増加させる平坦部カウントステップＳ５１と、対象画素を水平方向に１画素移動させる水平方向対象画素移動ステップＳ６０と、水平成分がマクロブロックサイズである“１６”より小さいか否かを判定する水平画素位置判定ステップＳ７０と、対象画素を垂直方向に１画素移動させる垂直方向対象画素移動ステップＳ８０と、垂直成分が処理対象ブロックのブロックサイズである“１６”より小さいか否かを判定する垂直画素位置判定ステップＳ９０とを含む。
　同様に、垂直方向の平坦部検出のフローは図６のようになる。以下、垂直方向の平坦部検出のフローを図６を参照して説明する。垂直方向平坦部検出のフローでは、水平方向平坦部検出のフローで水平方向差分絶対値の算出を行う水平方向差分絶対値算出ステップＳ３０の代わりに、垂直方向の差分絶対値を算出する垂直方向差分絶対値算出ステップＳ３１が設けられる。水平方向と垂直方向の平坦部検出を行うことで対象ブロックの水平方向と垂直方向を合わせた平坦部の数（Ｃｎｔ２）を算出することができる。
　平坦部判定ステップＳ４では、平坦部検出ステップＳ３でカウントした平坦部の数が平坦部判定しきい値（Ｔｈ４）より大きい場合に、処理対象ブロックに平坦部が含まれていると判定し、平坦部判定しきい値（Ｔｈ４）以下の場合に、処理対象ブロックに平坦部が含まれていないと判定する。
　第１の直交変換サイズ群の中の一つである４×４画素単位を選択するのは、処理対象ブロックにエッジが含まれており、さらに平坦部が含まれている場合に限られ、処理対象ブロックにエッジが含まれていない場合と、処理対象ブロックにエッジが含まれているが平坦部が含まれていない場合には、第２の直交変換サイズ群の中の一つである８×８画素単位を選択するものとなっている。この点が、従来技術との比較において、本実施の形態の特徴となっている。
　なお、第１,第２の直交変換サイズ群がそれぞれ複数から構成される場合、上述した画素単位の選択では、第１,第２の直交変換サイズ群それぞれの中の任意の画素単位が選択されればよい。
　上記の判定結果により、木の枝葉などのブロック画像に対しては、エッジは検出するが平坦部は検出しないので、第１の直交変換サイズ群（４×４直交変換サイズ等）を選択することはない。また、文字画像を含むブロック画像に対しては、エッジを検出するとともに平坦部も検出するので、第１の直交変換サイズ群（４×４直交変換サイズ等）を選択することができる。
　図７は実施の形態１の直交変換サイズ選択方法を用いた結果の直交変換サイズを示す。本実施の形態の直交変換サイズ選択方法により、木の枝葉などのエッジのみが含まれるブロックでは、第２の直交変換サイズ群の中の一つ（８×８直交変換サイズ等）が選択され、エッジも平坦部もともに存在する文字画像が含まれるブロックは第１の直交変換サイズ群の中の一つ（４×４直交変換サイズ等）が選択されることが分かる。なお、一部ではあるが、木の幹の部分に対しても第１の直交変換サイズ群（４×４直交変換サイズ）が選択された結果となっている。木の部分において、第１の直交変換サイズ群が選択される領域は、従来技術の図１１と比べて大幅に削減されており、符号量の軽減が図られている。
　なお、実施の形態１では、エッジ検出および平坦部検出の方法として隣接画素差分絶対値を用いる方法を説明したが、本発明ではこれに限るものではない。
　（実施の形態２）
　図８は本発明の実施の形態２における画像符号化装置Ａの構成を示すブロック図である。実施の形態３における画像符号化装置Ａは、ブロック分割部１と、エッジ検出部２と、エッジ判定部３と、平坦部検出部４と、平坦部判定部５と、直交変換サイズ選択部６と、セレクタ７と、第１直交変換部８と、第１量子化部９と、第２直交変換部１０と、第２量子化部１１と、セレクタ１２と、エントロピー符号化部１３と、逆量子化部１４と、逆直交変換部１５と、第１フレームメモリ１６と、イントラ予測部１７と、ブロッキングフィルタをかけるループフィルタ１８と、第２フレームメモリ１９と、インター予測部２０と、イントラ・インター判定部２１と、セレクタ２２とを備える。
　ブロック分割部１は、入力画像において、ブロック毎の分割を行う。エッジ検出部２は、ブロック分割部１で得られたブロック画像（符号化対象ブロック）においてエッジの検出を行い、検出結果をエッジ情報として出力する。エッジ検出部２が行うエッジ検出は、実施の形態１で説明したエッジの検出と同様の方法によって行われる。
　エッジ判定部３は、エッジ検出部２が出力するエッジ情報を、エッジ判定しきい値と比較することによりブロック画像にエッジが含まれているか否かを判定する。平坦部検出部４は、ブロック分割部１で得られたブロック画像において平坦部の検出を行い、検出結果を平坦部情報として出力する。平坦部検出部４が行う平坦部検出は、実施の形態１で説明した平坦部の検出と同様の方法によって行われる。
　平坦部判定部５は、平坦部検出部４が出力する平坦部情報を、平坦部判定しきい値と比較することによりブロック画像に平坦部が含まれているか否かを判定する。直交変換サイズ選択部６は、エッジ判定部３と平坦部判定部５との判定結果に基づいて直交変換のサイズ選択を行う。セレクタ７は、直交変換サイズ選択部６から指示を受けて４×４直交変換サイズと８×８直交変換サイズとの切り替えを行う。なお、４×４直交変換サイズは、第１の直交変換サイズ群の中の一つの一例であり、８×８直交変換サイズは、第２の直交変換サイズ群の中の一つの一例であるのはいうまでもない。
　第１直交変換部８は、４×４直交変換を行う。第１量子化部９は、第１直交変換部８で得られた変換係数に対して量子化を行う。第２直交変換部１０は、８×８直交変換を行う。第２量子化部１１は、第２直交変換部１０で得られた変換係数に対して量子化を行う。セレクタ１２は、直交変換サイズ選択部６から指示に基づいて、第１量子化部９と第２量子化部１１の出力の切り替えを行う。エントロピー符号化部１３は、セレクタ１２から出力された量子化係数を符号化する。
　逆量子化部１４は、セレクタ１２から出力された量子化係数の逆量子化を行う。逆直交変換部１５は、逆量子化部１４で得られた変換係数を逆直交変換する。第１フレームメモリ１６は、逆直交変換部１５で得られた画像データに予測画像データを加算した画像データを記憶する。
　イントラ予測部１７は、第１フレームメモリ１６に記憶されたフレーム内の画素を用いてイントラ予測を行う。ループフィルタ１８は、逆直交変換部１５で得られた画像データと予測画像データを加算した画像データおいてブロック歪の除去を行うデブロッキングフィルタをかける。第２フレームメモリ１９は、ループフィルタ１８でデブロッキングフィルタをかけられた画像データを記憶する。
　インター予測部２０は、第２フレームメモリ１９に記憶された画像データを参照してフレーム間予測を行う。イントラ・インター判定部２１は、イントラ予測部１７で得られた情報とインター予測部２０で得られた情報とからイントラ・インター判定を行う。セレクタ２２は、イントラ・インター判定部２１による判定結果に基づいてイントラ予測部１７で得られた予測画像データとインター予測部２０で得られた予測画像データとのうちの一つを選択する。
　上記の構成において、直交変換サイズ選択部６は、実施の形態１の方法により直交変換サイズ選択を行うように構成されている。したがって本実施の形態によれば、モスキートノイズが目立ってしまう文字画像などに対してのみ第１の直交変換サイズ群の中の一つ（４×４直交変換サイズ等）を選択し、符号量の増加を抑えることができる。
　なお、画像符号化装置Ａは典型的には半導体集積回路であるＬＳＩとして実現される。これらは個別に１チップ化してもよいし、一部またはすべてを含むように１チップ化してもよい。ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
　また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。また、バイオ技術の適用等が可能性としてあり得る。
　（実施の形態３）
　次に、本発明の実施の形態３を説明する。本実施の形態は、以上で説明した動画像符号化方法を利用した例えばデジタルスチルカメラやテレビ会議システム用カメラ等の撮像システム（映像システム）の一例を示す。
　図９は本発明の実施の形態３の撮像システムの構成を示すブロック図である。この撮像システムでは、光学系３１を通って入射した画像光はイメージセンサ３２上に結像されて光電変換される。光電変換によって得られた電気信号はＡ/Ｄ変換回路３３によりデジタル値に変換された後、例えば図８に示した画像符号化装置Ａを含む画像処理回路３４に供給される。画像処理回路３４は、Ｙ/Ｃ処理,エッジ処理,画像の拡大縮小,およびＭＰＥＧ/ＪＰＥＧ（Joint Photographic Experts Group）等の画像圧縮/伸張処理,画像圧縮されたストリームの制御等の信号処理が実施される。画像符号化装置Ａは、実施の形態２で説明した画像符号化装置Ａと同様の構成を備える。
　この撮像システムによって画像処理された信号は、記録系/転送系３５においてメディアへの記録またはインターネット等を介する伝送が行われる。記録または転送された信号は再生系３６により再生される。イメージセンサ３２および画像処理回路３４はタイミング制御回路３７により制御され、光学系３１,記録系/転送系３５,再生系３６,およびタイミング制御回路３７は各々システム制御回路３８により制御される。
　なお、図９に示した撮像システムでは、光学系３１からの画像光をイメージセンサ３２で光電変換してＡ/Ｄ変換回路３３に入力したカメラ機器等について説明したが、本発明はこれに限定されるものではなく、その他、テレビ等のＡＶ機器のアナログ映像入力を直接にＡ/Ｄ変換回路３３に入力してもよい。
　本発明の技術は、複数の直交変換サイズの直交変換の選択において、エッジの存在の判定に加えて平坦部の存在の判定を加味し、選択の条件をより細かく設定しているので、文字画像などを含むブロックに対して直交変換サイズの選択をより適正なものとでき、符号量の増加を抑えつつ文字画像のモスキートノイズによる画質劣化を抑えることができるため、文字画像の画質性能が求められるテレビ会議システム向けの画像符号化技術等として有用である。
　Ａ　画像符号化装置
　１　ブロック分割部
　２　エッジ検出部
　３　エッジ判定部
　４　平坦部検出部
　５　平坦部判定部
　６　直交変換サイズ選択部
　７　セレクタ
　８　第１直交変換部
　９　第１量子化部
　１０　第２直交変換部
　１１　第２量子化部
　１２　セレクタ
　１３　エントロピー符号化部
　１４　逆量子化部
　１５　逆直交変換部
　１６　第１フレームメモリ
　１７　イントラ予測部
　１８　ループフィルタ
　１９　第２フレームメモリ
　２０　インター予測部
　２１　イントラ・インター判定部
　２２　セレクタ
　３１　光学系
　３２　イメージセンサ
　３３　Ａ/Ｄ変換回路
　３４　画像処理回路
　３５　記録系/転送系
　３６　再生系
　３７　タイミング制御回路
　３８　システム制御回路
　Ｓ１　エッジ検出ステップ
　Ｓ２　エッジ判定ステップ
　Ｓ３　平坦部検出ステップ
　Ｓ４　平坦部判定ステップ
　Ｓ５　４×４直交変換選択ステップ
　Ｓ６　８×８直交変換選択ステップ
Ｓ１０　垂直方向初期設定ステップ
Ｓ２０　水平方向初期設定ステップ
Ｓ３０　水平方向差分絶対値算出ステップ
Ｓ３１　垂直方向差分絶対値算出ステップ
Ｓ４０　差分絶対値比較ステップ
Ｓ４１　差分絶対値比較ステップ
Ｓ５０　エッジ数カウントステップ
Ｓ５１　平坦部数カウントステップ
Ｓ６０　水平方向対象画素移動ステップ
Ｓ７０　水平画素位置判定ステップ
Ｓ８０　垂直方向対象画素移動ステップ
Ｓ９０　垂直画素位置判定ステップ

Claims (10)

  1. 　複数の直交変換サイズの中から一つをブロック単位で選択したうえで、選択した直交変換サイズによる直交変換に基づいて、符号化対象ブロック画像に画像符号化を行う画像符号化方法であって、
    　前記符号化対象ブロック画像のエッジを検出し、検出結果をエッジ情報として出力するエッジ検出ステップと、
    　前記エッジ情報をエッジ判定しきい値と比較することにより前記符号化対象ブロック画像にエッジが存在するか否かを判定するエッジ判定ステップと、
    　前記エッジ判定ステップにおいて前記符号化対象ブロック画像にエッジが存在すると判定した場合に前記符号化対象ブロック画像に平坦な部分を検出し、検出結果を平坦部情報として出力する平坦部検出ステップと、
    　前記平坦部情報を平坦部判定しきい値と比較することにより前記符号化対象ブロック画像に平坦部が存在するか否かを判定する平坦部判定ステップと、
    　前記複数の直交変換サイズを一つまたは複数の直交変換サイズからなる第１の直交変換サイズ群と、一つまたは複数の直交変換サイズからなり前記第１の直交変換サイズ群より直交変換サイズが大きい第２の直交変換サイズ群とに区分したうえで、前記平坦部判定ステップにおいて前記平坦部が存在すると判定した場合に、前記符号化対象ブロック画像に、前記第１の直交変換サイズ群の中の一つによる直交変換を選択する第１直交変換サイズ選択ステップと、
    　前記エッジ判定ステップにおいて前記符号化対象ブロック画像にエッジが存在しないと判定した場合、または前記平坦部判定ステップにおいて前記符号化対象ブロック画像に前記平坦部が存在しないと判定した場合に、前記符号化対象ブロック画像に、前記第２の直交変換サイズ群の中の一つによる直交変換を選択する第２直交変換サイズ選択ステップと、
    　を含む画像符号化方法。
  2. 　前記第１の直交変換サイズ群は、４×４画素単位の直交変換サイズを含み、
    　前記第２の直交変換サイズ群は、８×８画素単位の直交変換サイズを含み、
    　前記第１直交変換サイズ選択ステップでは、前記４×４画素単位の直交変換サイズによる直交変換を選択し、
    　前記第２直交変換サイズ選択ステップでは、前記８×８画素単位の直交変換サイズによる直交変換を選択する、
    　請求項１の画像符号化方法。
  3. 　前記エッジ検出ステップでは、前記符号化対象ブロック画像内の水平方向および垂直方向に隣接する画素の差分絶対値を算出し、算出した前記差分絶対値がエッジ検出しきい値より大きい場合に前記エッジと判定するエッジ検出を行い、検出した前記エッジの数を前記エッジ情報として出力する、
    　請求項１の画像符号化方法。
  4. 　前記平坦部検出ステップでは、前記符号化対象ブロック画像内の水平方向および垂直方向に隣接する画素の差分絶対値を算出し、算出した差分絶対値が平坦部検出しきい値より小さい場合に平坦部とする平坦部検出を行い、検出した平坦部の数を前記平坦部情報として出力する、
    　請求項１の画像符号化方法。
  5. 　複数の直交変換サイズによる直交変換をブロック単位で選択したうえで、選択した直交変換サイズによる直交変換に基づいて、符号化対象ブロック画像に画像符号化を行う画像符号化装置であって、
    　前記符号化対象ブロック画像のエッジを検出し、検出結果をエッジ情報として出力するエッジ検出部と、
    　前記エッジ情報をエッジ判定しきい値と比較することにより前記符号化対象ブロック画像にエッジが含まれているか否かを判定するエッジ判定部と、
    　前記符号化対象ブロック画像の平坦部を検出し、検出結果を平坦部情報として出力する平坦部検出部と、
    　前記平坦部情報を平坦部判定しきい値と比較することにより前記符号化対象ブロック画像に前記平坦部が含まれているか否かを判定する平坦部判定部と、
    　直交変換サイズを選択する直交変換サイズ選択部と、
    　を備え、
    　前記直交変換サイズ選択部は、前記複数の直交変換サイズを一つまたは複数の直交変換サイズからなる第１の直交変換サイズ群と、一つまたは複数の直交変換サイズからなり前記第１の直交変換サイズ群より直交変換サイズが大きい第２の直交変換サイズ群とに区分したうえで、前記エッジ判定部において前記符号化対象ブロック画像に前記エッジが含まれていると判定しかつ前記平坦部判定部において前記符号化対象ブロック画像に前記平坦部が含まれていると判定した場合には、前記第１の直交変換サイズ群の中の一つを選択し、
    　前記直交変換サイズ選択部は、前記エッジ判定部において前記符号化対象ブロック画像に前記エッジが含まれていないと判定した場合または前記平坦部判定部において前記符号化対象ブロックに前記平坦部が含まれていないと判定した場合には、前記第２の直交変換サイズ群の中の一つを選択する、
    　画像符号化装置。
  6. 　前記第１の直交変換サイズ群は、４×４画素単位の直交変換サイズを含み、
    　前記第２の直交変換サイズ群は、８×８画素単位の直交変換サイズを含み、
    　前記直交変換サイズ選択部は、前記第１の直交変換サイズ群の中の一つによる直交変換として、前記４×４画素単位の直交変換サイズを選択し、前記第２の直交変換サイズ群の中の一つによる直交変換として、前記８×８画素単位の直交変換サイズを選択する、
    　請求項５の画像符号化装置。
  7. 　前記エッジ検出部は、前記符号化対象ブロック画像内の水平方向および垂直方向に隣接する画素の差分絶対値を算出し、算出した差分絶対値がエッジ検出しきい値より大きい場合に前記エッジとするエッジ検出を行い、検出した前記エッジの数を前記エッジ情報として前記エッジ判定部に出力する、
    　請求項５の画像符号化装置。
  8. 　前記平坦部検出部は、前記符号化対象ブロック画像内の水平方向および垂直方向に隣接する画素の差分絶対値を算出し、算出した前記差分絶対値が平坦部検出しきい値より小さい場合に前記平坦部とする平坦部検出を行い、検出した平坦部の数を前記平坦部情報として前記平坦部判定部に出力する、
    　請求項５の画像符号化装置。
  9. 　請求項１の画像符号化方法に基づいて画像符号化処理を行う画像処理回路と、
    　前記画像処理回路に画像信号を出力するイメージセンサと、
    　前記イメージセンサへ被写体の光学像を結像する光学系と、
    　を備える、
    　撮像システム。
  10. 　請求項５の画像符号化装置を含んで画像処理を行う画像処理回路と、
    　前記画像処理回路に画像信号を出力するイメージセンサと、
    　前記イメージセンサへ被写体の光学像を結像する光学系と、
    　を備える、
    　撮像システム。
PCT/JP2009/004108 2008-10-27 2009-08-26 画像符号化方法、画像符号化装置および撮像システム WO2010050106A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2009801425129A CN102197650A (zh) 2008-10-27 2009-08-26 图像编码方法、图像编码装置以及摄像系统
JP2010535628A JPWO2010050106A1 (ja) 2008-10-27 2009-08-26 画像符号化方法、画像符号化装置および撮像システム
US13/095,457 US8224105B2 (en) 2008-10-27 2011-04-27 Method for coding image, image coding device and image pickup system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-275345 2008-10-27
JP2008275345 2008-10-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/095,457 Continuation US8224105B2 (en) 2008-10-27 2011-04-27 Method for coding image, image coding device and image pickup system

Publications (1)

Publication Number Publication Date
WO2010050106A1 true WO2010050106A1 (ja) 2010-05-06

Family

ID=42128480

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/004108 WO2010050106A1 (ja) 2008-10-27 2009-08-26 画像符号化方法、画像符号化装置および撮像システム

Country Status (4)

Country Link
US (1) US8224105B2 (ja)
JP (1) JPWO2010050106A1 (ja)
CN (1) CN102197650A (ja)
WO (1) WO2010050106A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011102074A1 (ja) * 2010-02-19 2011-08-25 パナソニック株式会社 画像符号化方法、画像符号化装置及び撮像システム
JP2016007055A (ja) * 2010-05-14 2016-01-14 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 複数のグループに割り当てられた画素を有するブロックをイントラ符号化する方法および装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012169762A (ja) 2011-02-10 2012-09-06 Sony Corp 画像符号化装置と画像復号化装置およびその方法とプログラム
US20160173906A1 (en) * 2014-12-11 2016-06-16 Intel Corporation Partition mode and transform size determination based on flatness of video
KR20230143623A (ko) * 2016-03-28 2023-10-12 로즈데일 다이나믹스 엘엘씨 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN110662048A (zh) * 2018-06-28 2020-01-07 华为技术有限公司 一种图像编码方法以及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003317096A (ja) * 2002-04-25 2003-11-07 Sharp Corp 画像処理方法および画像処理装置、それを備える画像形成装置ならびにプログラムおよび記録媒体
JP2008004983A (ja) * 2006-06-20 2008-01-10 Sony Corp 画像理装置および方法、プログラム、並びに記録媒体

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0387051B1 (en) * 1989-03-10 1997-08-06 Canon Kabushiki Kaisha Method and apparatus for coding image information
US5241395A (en) * 1989-08-07 1993-08-31 Bell Communications Research, Inc. Adaptive transform coding using variable block size
US5048112A (en) * 1990-04-25 1991-09-10 Hughes Aircraft Company Data decompression system and method
JP2006157481A (ja) * 2004-11-30 2006-06-15 Canon Inc 画像符号化装置及びその方法
JP2007110568A (ja) 2005-10-14 2007-04-26 Matsushita Electric Ind Co Ltd 画像符号化装置
KR100977101B1 (ko) * 2005-11-30 2010-08-23 가부시끼가이샤 도시바 화상 부호화/화상 복호화 방법 및 화상 부호화/화상 복호화장치
BRPI0813904B1 (pt) * 2007-06-29 2020-12-08 Velos Media International Limited dispositivo de codificação de imagem para codificar imagens de entrada e dispositivo de decodificação de imagem para decodificar dados de imagens codificados

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003317096A (ja) * 2002-04-25 2003-11-07 Sharp Corp 画像処理方法および画像処理装置、それを備える画像形成装置ならびにプログラムおよび記録媒体
JP2008004983A (ja) * 2006-06-20 2008-01-10 Sony Corp 画像理装置および方法、プログラム、並びに記録媒体

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011102074A1 (ja) * 2010-02-19 2011-08-25 パナソニック株式会社 画像符号化方法、画像符号化装置及び撮像システム
US9118917B2 (en) 2010-02-19 2015-08-25 Panasonic Intellectual Property Management Co., Ltd. Image coding method, image coding apparatus, and imaging system
JP2016007055A (ja) * 2010-05-14 2016-01-14 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 複数のグループに割り当てられた画素を有するブロックをイントラ符号化する方法および装置
US10080024B2 (en) 2010-05-14 2018-09-18 Thomson Licensing Methods and apparatus for intra coding a block having pixels assigned to groups
US10805610B2 (en) 2010-05-14 2020-10-13 Interdigital Vc Holdings, Inc. Methods and apparatus for intra coding a block having pixels assigned to groups
US11212534B2 (en) 2010-05-14 2021-12-28 Interdigital Vc Holdings, Inc. Methods and apparatus for intra coding a block having pixels assigned to groups
US11871005B2 (en) 2010-05-14 2024-01-09 Interdigital Vc Holdings, Inc. Methods and apparatus for intra coding a block having pixels assigned to groups

Also Published As

Publication number Publication date
JPWO2010050106A1 (ja) 2012-03-29
US8224105B2 (en) 2012-07-17
US20110222792A1 (en) 2011-09-15
CN102197650A (zh) 2011-09-21

Similar Documents

Publication Publication Date Title
JP5513740B2 (ja) 画像復号化装置、画像符号化装置、画像復号化方法、画像符号化方法、プログラムおよび集積回路
JP4847890B2 (ja) 符号化方式変換装置
CA2614016C (en) Moving image encoding device, moving image decoding device, moving image encoding method, and moving image decoding method
JP4844305B2 (ja) 撮像装置
JP5261376B2 (ja) 画像符号化装置および画像復号化装置
KR101879890B1 (ko) 화상 처리 장치, 화상 처리 방법 및 기록 매체
TWI684351B (zh) 解碼裝置、解碼方法、編碼裝置，以及編碼方法
JP2009004920A (ja) 画像符号化装置および画像符号化方法
WO2010050106A1 (ja) 画像符号化方法、画像符号化装置および撮像システム
JPWO2011080925A1 (ja) 画像符号化装置および方法
US9118917B2 (en) Image coding method, image coding apparatus, and imaging system
JP2006229411A (ja) 画像復号化装置及び画像復号化方法
JP2006197557A (ja) 画像符号化装置、画像符号化方法及びそのプログラム
KR20090078494A (ko) 영상 데이터의 디블록킹 필터링 방법 및 디블록킹 필터
JP2007134755A (ja) 動画像符号化装置及び画像記録再生装置
JP2011250400A (ja) 動画像符号化装置及び動画像符号化方法
JP5396302B2 (ja) 映像信号符号化装置及び映像信号符号化方法
JP2008244993A (ja) トランスコーディングのための装置および方法
WO2011074189A1 (ja) 画像符号化方法及び画像符号化装置
JP5507702B2 (ja) 動画像符号化方法および動画像符号化装置
RU2783348C1 (ru) Кодер, декодер и соответствующие способы получения граничной мощности фильтра деблокинга
JP2007020123A (ja) 動き検出装置、および動き検出方法
JP2009010586A (ja) トランスコーダおよびトランスコード方法
JP2006060267A (ja) 符号化装置、撮像装置、復号化装置及び画像データの処理方法
JP2006050471A (ja) 符号化装置、撮像装置、撮像素子の集積回路、復号化装置及び画像データの処理方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980142512.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09823223

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2010535628

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09823223

Country of ref document: EP

Kind code of ref document: A1