WO2016158309A1 - 画像処理システムおよび画像処理方法 - Google Patents

画像処理システムおよび画像処理方法 Download PDF

Info

Publication number
WO2016158309A1
WO2016158309A1 PCT/JP2016/057720 JP2016057720W WO2016158309A1 WO 2016158309 A1 WO2016158309 A1 WO 2016158309A1 JP 2016057720 W JP2016057720 W JP 2016057720W WO 2016158309 A1 WO2016158309 A1 WO 2016158309A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
wavelet
mask
image
roi
Prior art date
Application number
PCT/JP2016/057720
Other languages
English (en)
French (fr)
Inventor
水野　雄介
Original Assignee
株式会社メガチップス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社メガチップス filed Critical 株式会社メガチップス
Publication of WO2016158309A1 publication Critical patent/WO2016158309A1/ja
Priority to US15/712,976 priority Critical patent/US10298928B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data

Definitions

  • the present invention relates to an image processing system and an image processing method.
  • Patent Documents 1 to 3 disclose techniques for detecting a moving object in a moving image.
  • Patent Documents 4 and 5 disclose techniques for tracking moving objects using a particle filter. By using such a moving object detection technique, a moving object in an image can be cut out as an ROI (region of interest).
  • a technique for separating a foreground image and a background image from an entire image by graph cut for a still image taken by a digital camera is known.
  • a foreground image can be cut out as an ROI.
  • JP 2013-254291 A Japanese Patent Laid-Open No. 2007-088897 JP 2006-093784 A JP 2009-199363 A JP 2005-165688 A JP 2006-203409 A JP-T-2001-520466 JP 2003-324613 A
  • the ROI may be set with a portion that locally protrudes from the intended region, or conversely, a portion that locally erodes the intended region.
  • the ROI may be set with a defect in the intended region. That is, where the entire region of the intended region is supposed to be set as the ROI, it is determined that a non-ROI exists in the region, and the non-ROI forms a ROI defect. Combining an insufficient ROI with such defects in the outline and / or interior with another image will feel unnatural.
  • an image processing system includes an image synthesis system that synthesizes an ROI (region of interest) in a first target image with a second target image.
  • the second target image is similar to the first target image, and a similarity ratio of the second target image to the first target image is 1 or less.
  • the image composition system includes an encoded bitstream for first target image data that is data of the first target image and second basic image data that is data of a second basic image that is a source of the second target image. And synthesis control data for controlling the degree of synthesis.
  • first wavelet coefficient data is generated by performing wavelet transform on the first target image data to a preset initial decomposition level.
  • mask data which is mask data for discriminating between the wavelet transform processing and the ROI coefficient related to the ROI and the non-ROI coefficient related to the non-ROI for the first wavelet coefficient data
  • the ROI coefficient and the non-ROI coefficient in the first wavelet coefficient data are discriminated, and the first wavelet coefficient data is determined so that the non-ROI coefficient becomes zero.
  • the quantization process thereby generating quantized wavelet coefficient data, and the amount Including reduction and coding processing wavelet coefficient data is encoded to generate encoded data, the bit stream generation process for generating the coded bit stream from the encoded data.
  • the image synthesis system includes: a bit stream analysis unit that extracts the encoded data from the encoded bit stream; a decoding unit that decodes the encoded data to generate the quantized wavelet coefficient data; By determining whether the value of each data constituting the quantized wavelet coefficient data is 0, the ROI coefficient and the non-ROI coefficient in the quantized wavelet coefficient data are determined, and the determination result
  • a mask reproduction unit that reproduces the mask data at the initial decomposition level based on the first wavelet coefficient at the initial decomposition level by performing inverse quantization on the quantized wavelet coefficient data;
  • An inverse quantization unit that generates data, and the first wavelet coefficient data and the mask data are A decomposition level conversion unit that performs a decomposition level conversion process for converting the decomposition level to a first decomposition level specified by the synthesis control data, and second target image data that is data of the second target image And a wavelet transform unit that generates second wavelet coefficient data by performing the wavelet transform up to a second decomposition level
  • the first decomposition level of the first wavelet coefficient data is P1
  • the second decomposition level of the second wavelet coefficient data is P2
  • the similarity ratio is 1/2 P3.
  • P2 P1-P3.
  • the image composition system further determines the ROI coefficient and the non-ROI coefficient for the first wavelet coefficient data at the first decomposition level based on the mask data at the first decomposition level; Coefficient synthesis processing is performed to synthesize the ROI coefficient in the first wavelet coefficient data at the first decomposition level and the coefficient in the second wavelet coefficient data, whereby the image size and the decomposition level are reduced.
  • a synthesis execution unit that generates synthesized coefficient data that is the same as the second wavelet coefficient data, and inverse wavelet transformation is performed on the synthesized coefficient data until a decomposition level reaches a predetermined end level.
  • an inverse wavelet transform unit for generating composite image data.
  • the first target image data and the second wavelet coefficient obtained by converting the first target image data and the second target image data are combined with the ROI in the first target image and the second target image. This is done using the data. Also, the ROI in the first target image is determined by determining the ROI coefficient for the first wavelet coefficient data. For this reason, even if insufficient ROI is used, a repaired ROI can be provided on the composite image. That is, a better composite image can be obtained as compared with the case where the first target image data and the second target image data are combined as they are. Further, by controlling the decomposition level of the wavelet transform with the synthesis control data, the degree of synthesis (ROI restoration, ROI expansion, etc.) can be adjusted. In addition, the image size of the composite image can be adjusted.
  • FIG. 1 is a conceptual diagram of an image processing system according to Embodiment 1.
  • FIG. 1 is a block diagram illustrating an image processing system according to Embodiment 1.
  • FIG. 1 is a block diagram illustrating a data supply system according to Embodiment 1.
  • FIG. It is a figure explaining a Mallat type wavelet plane about Embodiment 1 (decomposition level 1). It is a figure explaining a Mallat type wavelet plane about Embodiment 1 (decomposition level 2). It is a figure explaining a Mallat type wavelet plane about Embodiment 1 (decomposition level 3).
  • 5 is a block diagram illustrating a mask generation unit in the first embodiment.
  • FIG. 6 is a diagram illustrating an example of a first basic image in the first embodiment.
  • FIG. 1 is a block diagram illustrating an image processing system according to Embodiment 1.
  • FIG. 1 is a block diagram illustrating an image processing system according to Embodiment 1.
  • FIG. 1 is a block diagram illustrating
  • FIG. 6 is a diagram illustrating an example of a basic mask in the first embodiment.
  • FIG. It is a figure explaining a development mask about Embodiment 1 (decomposition level 1). It is a figure explaining the expansion
  • 5 is a flowchart for explaining mask development processing in the first embodiment.
  • FIG. 10 is a diagram for explaining mask development processing when a 5 ⁇ 3 filter is used for wavelet transformation in the first embodiment.
  • FIG. 10 is a diagram for describing mask development processing when a Daubechies 9 ⁇ 7 filter is used for wavelet transformation in the first embodiment.
  • FIG. 4 is a flowchart for explaining the operation of the data supply system according to the first embodiment.
  • 1 is a block diagram illustrating an image composition system according to Embodiment 1.
  • FIG. 6 is a flowchart illustrating mask reproduction processing according to the first embodiment.
  • 4 is a block diagram illustrating a decomposition level conversion unit in the first embodiment.
  • FIG. 6 is a flowchart illustrating mask restoration processing according to the first embodiment.
  • FIG. 10 is a diagram for explaining mask restoration processing when a 5 ⁇ 3 filter is used for wavelet transformation in the first embodiment.
  • FIG. 10 is a diagram for explaining mask restoration processing when a Daubechies 9 ⁇ 7 filter is used for wavelet transformation in the first embodiment.
  • FIG. 6 is a flowchart for explaining a coefficient synthesis process (first coefficient synthesis process) in the first embodiment.
  • 5 is a flowchart for explaining a coefficient synthesis process (second coefficient synthesis process) in the first embodiment.
  • 4 is a flowchart for explaining the operation of the image composition system in the first embodiment. 4 is a flowchart for explaining the operation of the image composition system in the first embodiment.
  • FIG. 10 is a block diagram illustrating a decomposition level conversion unit in the second embodiment. 10 is a flowchart for explaining the operation of a decomposition level conversion unit in the second embodiment. 10 is a block diagram illustrating a data supply system according to Embodiment 3.
  • FIG. 10 is a block diagram illustrating an image composition system according to Embodiment 3.
  • FIG. 14 is a flowchart for explaining the operation of the data supply system according to the third embodiment.
  • 10 is a flowchart for explaining the operation of the image composition system in the third embodiment.
  • FIG. 10 is a block diagram illustrating a data supply system according to a fourth embodiment.
  • FIG. 10 is a block diagram illustrating an image composition system according to a fourth embodiment.
  • FIG. 10 is a block diagram illustrating an image composition system according to a fifth embodiment.
  • FIG. 20 is a diagram for explaining a cut-out range in the sixth embodiment.
  • FIG. 20 is a diagram for explaining a cut-out range in the sixth embodiment.
  • FIG. 20 is a diagram for explaining a cut-out range in the sixth embodiment.
  • FIG. 20 is a diagram for explaining a cut-out range in the sixth embodiment.
  • FIG. 20 is a diagram for explaining a cut-out range in the sixth embodiment.
  • FIG. 20 is a diagram for explaining a cut-out range in the sixth embodiment.
  • FIG. 20 is a flowchart for explaining cutout range determination processing in the sixth embodiment. It is a figure explaining the range of the pixel required in order to obtain the output for 1 pixel by wavelet transformation about Embodiment 6.
  • FIG. It is a figure explaining the range of the pixel required in order to obtain the output for 1 pixel by wavelet transformation about Embodiment 6.
  • FIG. It is a figure explaining the range of the pixel required in order to obtain the output for 1 pixel by wavelet transformation about Embodiment 6 (Daubechies 9x7 filter).
  • Daubechies 9x7 filter It is a figure explaining the range of the pixel required in order to obtain the output for 1 pixel by wavelet transformation about Embodiment 6 (Daubechies 9x7 filter).
  • 20 is a diagram for explaining a minimum tracking range in the sixth embodiment. It is a flowchart explaining how to obtain the upper left coordinates of the minimum tracking range in the sixth embodiment (5 ⁇ 3 filter). It is a flowchart explaining how to obtain the lower right corner coordinates of the minimum tracking range in the sixth embodiment (5 ⁇ 3 filter). It is a flowchart explaining how to obtain the upper left corner coordinates of the minimum tracking range in the sixth embodiment (Daubechies 9 ⁇ 7 filter). It is a flowchart explaining how to obtain the lower right corner coordinates of the minimum tracking range in the sixth embodiment (Daubechies 9 ⁇ 7 filter). It is a flowchart explaining how to obtain
  • FIG. 10 is a block diagram illustrating a data supply system according to a sixth embodiment.
  • FIG. 10 is a block diagram illustrating a mask generation unit in the sixth embodiment.
  • FIG. 10 is a block diagram illustrating an image composition system according to a sixth embodiment.
  • 24 is a flowchart for explaining the operation of the data supply system in the sixth embodiment.
  • 24 is a flowchart for explaining the operation of the data supply system in the sixth embodiment.
  • 20 is a flowchart for explaining the operation of the image composition system in the sixth embodiment.
  • 20 is a flowchart for explaining the operation of the image composition system in the sixth embodiment.
  • FIG. 20 is a conceptual diagram of image composition in the seventh embodiment.
  • FIG. 20 is a block diagram illustrating an inverse wavelet transform unit in the seventh embodiment.
  • FIG. 20 is a conceptual diagram of image composition in the eighth embodiment.
  • FIG. 20 is a conceptual diagram of image composition in the eighth embodiment.
  • FIG. 20 is a conceptual diagram of image composition in the eighth embodiment.
  • FIG. 20 is a block diagram illustrating an image composition system according to an eighth embodiment. 42 is a flowchart for explaining the operation of the image composition system in the eighth embodiment.
  • FIG. 19 is a conceptual diagram of image composition in the ninth embodiment.
  • FIG. 10 is a block diagram illustrating a supply system according to a tenth embodiment.
  • FIG. 20 is a hardware configuration diagram illustrating an image processing apparatus according to a tenth embodiment.
  • FIG. 1 shows a conceptual diagram of an image processing system 1 according to the first embodiment.
  • the image processing system 1 includes two image processing systems 10 and 20.
  • One image processing system 10 includes a data supply system 11
  • the other image processing system 20 includes an image composition system 21.
  • the image composition system 21 executes image composition processing.
  • the data supply system 11 outputs data used for image composition processing.
  • the image processing system 1 may be referred to as an overall system 1
  • the data supply system 11 may be referred to as a supply system 11
  • the image composition system 21 may be referred to as a composition system 21.
  • the image processing system 10 may be configured only by the supply system 11 or may further include another processing system.
  • the image processing system 20 may be configured by only the synthesis system 21 or may further include another processing system.
  • the supply system 11 is included in the image processing system 10 and also in the overall system 1.
  • the composition system 21 is included in the image processing system 20 and also in the overall system 1.
  • the image processing systems 10 and 20 are provided by a semiconductor integrated circuit. That is, the various functions and processes of the image processing systems 10 and 20 are realized in a circuit, in other words, in hardware. However, part or all of the functions and processes can be realized by a program that causes the microprocessor to function, in other words, by software.
  • FIG. 2 shows an application example of the entire system 1.
  • the image processing system 10 is provided in the data supply side device 30, and the image processing system 20 is provided in the image composition side device 40.
  • the data supply device 30 may be referred to as a supply device 30 and the image composition device 40 may be referred to as a composition device 40.
  • the user of the supply side device 30 is different from the user of the composition side device 40, but is not limited to this example.
  • the supply side device 30 includes a display unit 31, an operation unit 32, an external interface 33, and an image input unit 34.
  • the composition side device 40 includes a display unit 41, an operation unit 42, an external interface 43, and an image input unit 44.
  • the external interfaces 33 and 43 may be referred to as I / Fs 33 and 43.
  • the display units 31 and 41 are configured by, for example, a liquid crystal display device, but the display units 31 and 41 may be configured by different types of display devices.
  • the operation units 32 and 42 are operation media for the user to input instructions, data, and the like to the devices 30 and 40, in other words, the image processing systems 10 and 20.
  • the operation units 32 and 42 are configured by one or a plurality of devices such as a keyboard, a mouse, a button, and a switch.
  • the I / F 33 is a part where the supply side device 30 inputs and outputs signals with the outside of the device.
  • the I / F 43 is a part where the synthesizing apparatus 40 inputs and outputs signals with the outside of the apparatus.
  • the I / Fs 33 and 43 include a communication interface, so that the supply side device 30 and the composition side device 40 can communicate with each other through the I / Fs 33 and 43.
  • the communication method between the devices 30 and 40 may be any of wired, wireless, and combinations thereof.
  • a medium 50 is interposed for information transmission between the devices 30 and 40. In the case of communication as described above, the medium 50 is a wireless or wired communication medium (in other words, a communication path).
  • the I / Fs 33 and 34 may include an interface for an external storage medium in addition to or instead of the communication interface.
  • information transmission between the supply-side device 30 and the composition-side device 40 can be performed via an external storage medium, and the external storage medium corresponds to the medium 50 interposed between the devices 30 and 40. .
  • the image input unit 34 is configured by a digital camera. Alternatively, the image input unit 34 may be a storage device that supplies image data. The image input unit 44 is similarly configured. The image input units 34 and 44 may be configured by different types of devices.
  • combination side apparatus 40 is not limited to the example of FIG. That is, some of the above components may be omitted, or other components may be added.
  • FIG. 3 shows a configuration example of the supply system 11.
  • the supply system 11 has an image data encoding function as described below. With such an encoding function, the first target image data A20 that is the data of the first target image supplied to the synthesis system 21 is encoded to generate encoded image data A50.
  • the encoded image data A50 may be simply referred to as encoded data A50.
  • encoding is generally used for compression of image data.
  • compression and “encoding” are used synonymously.
  • image compression may be expressed as image encoding or image compression encoding.
  • decompression and “decoding” are used synonymously.
  • image expansion may be expressed as image decoding or image expansion decoding.
  • the encoded data A50 is output from the supply system 11 by the bit stream (hereinafter also referred to as encoded bitstream) Abs for the encoded data A50, and is supplied to the synthesis system 21.
  • bit stream hereinafter also referred to as encoded bitstream
  • the image input to the supply system 11 is an image that is a source of the first target image, and therefore, the input image may be referred to as a first basic image.
  • the first basic image data which is the data of the first basic image, is assigned a reference A10 different from the reference A20 of the first target image data.
  • the first target image is an image including an ROI (region of interest), and provides a main image in the image synthesis in the synthesis system 21.
  • the ROI in the first target image is also present in the first basic image.
  • the first basic image and the first target image may be images taken with a digital camera or the like, or may be computer graphics.
  • the supply system 11 includes a preprocessing unit 1020, a wavelet transform unit 1030, a quantization unit 1040, a mask generation unit 1050, an encoding unit 1060, and a bit stream generation unit 1070. Is included.
  • the preprocessing unit 1020 performs predetermined preprocessing on the first target image data A20.
  • the preprocessing unit 1020 includes a DC level shift unit 1021, a color space conversion unit 1022, and a tiling unit 1023.
  • the DC level shift unit 1021 converts the DC level of the first target image data A20 as necessary.
  • the color space conversion unit 1022 converts the color space of the image data after DC level conversion. For example, the RGB component is converted into a YCbCr component (consisting of a luminance component Y and color difference components Cb and Cr).
  • the tiling unit 1023 divides the image data after color space conversion into a plurality of rectangular region components called “tiles”. Then, the tiling unit 1023 supplies the image data to the wavelet conversion unit 1030 for each tile. Note that it is not always necessary to divide the image data into tiles, and the image data for one frame output from the color space conversion unit 1022 may be supplied to the wavelet conversion unit 1030 as it is.
  • the wavelet conversion unit 1030 performs wavelet conversion processing. Specifically, the wavelet transform unit 1030 performs an integer type or real number type discrete wavelet transform (DWT) on the pre-processed first target image data A20, and obtains a transform coefficient obtained as a result. Output.
  • the transform coefficient may be referred to as, for example, a wavelet transform coefficient or a wavelet coefficient.
  • data (a group of wavelet coefficients) generated by performing wavelet transformation on the first target image data A20 will be referred to as first wavelet coefficient data A21.
  • a high frequency component in other words, a high frequency component
  • a low frequency component in other words, a low frequency component
  • Such frequency decomposition is also called, for example, band division.
  • Each band component obtained by frequency decomposition that is, each of a low-frequency component and a high-frequency component
  • a subband is also called.
  • JPEG Joint-Photographic Experts Group 2000
  • the octave division method is adopted, in which only the band components that are divided in the low frequency side in both the vertical and horizontal directions are recursively divided. It shall be.
  • the number of recursive band divisions is called a decomposition level.
  • the first target image data A20 is decomposed to a predetermined decomposition level.
  • a predetermined decomposition level In general, when the decomposition level is about 3 to 5, good coding efficiency can be obtained.
  • the predetermined decomposition level in the wavelet conversion unit 1030 may be referred to as an initial decomposition level.
  • FIGS. 4 to 6 show Mallat wavelet planes 61 to 63 for two-dimensional wavelet transformation.
  • the input image two-dimensional image
  • the input image is subjected to frequency decomposition for each of the vertical direction and the horizontal direction at decomposition level 1 (see FIG. 4).
  • decomposition level 1 see FIG. 4
  • the band component LL1 obtained at the decomposition level 1 is further decomposed into four band components HH2, HL2, LH2, and LL2 at the decomposition level 2 (see the wavelet plane 62 in FIG. 5).
  • the band component LL2 obtained at the decomposition level 2 is further decomposed into four band components HH3, HL3, LH3 and LL3 at the decomposition level 3 (see the wavelet plane 63 in FIG. 6).
  • HL1 is a band component composed of a horizontal high-frequency component H and a vertical low-frequency component L at decomposition level 1.
  • the notation is generalized as “XYm” (X and Y are either H or L. m is an integer of 1 or more). That is, the band component composed of the horizontal band component X and the vertical band component Y at the decomposition level m is denoted as “XYm”.
  • the wavelet plane (see FIGS. 4 to 6) is a two-dimensional map in which the wavelet transform calculation result data is associated with a sequence of pixels in the original image (an image in which the wavelet transform is not performed).
  • a group of data arranged.
  • the calculation result data (LL component data) obtained by using a certain pixel in the original image as the target pixel is the value of the target pixel in the original image. It is arranged according to the position.
  • the wavelet plane is sometimes called a wavelet space, a wavelet region, or a wavelet image.
  • the band component LL1 corresponds to the essential information of the image. Note that according to the band component LL1, it is possible to provide an image having a quarter size of the image before decomposition (in other words, an image having a reduction ratio of 1/2 with respect to the image before decomposition).
  • the band component HL1 corresponds to edge information extending in the vertical direction
  • the band component LH1 corresponds to edge information extending in the horizontal direction
  • the band component HH corresponds to information on an edge extending in an oblique direction.
  • an original image that has not been subjected to wavelet conversion may be associated with decomposition level 0, and the original image may be expressed as a decomposition level 0 wavelet plane.
  • the band component most decomposed in the wavelet plane will be referred to as the highest band component.
  • the highest band components are LL3, HL3, LH3, and HH3.
  • the highest band components are LLk, HLk, LHk, and HHk.
  • the band component LL is referred to as the lowest band component and the band component HH is referred to as the highest band component.
  • the LL component is recursively decomposed by the same number of times in each of the horizontal direction and the vertical direction.
  • band components are synthesized in the reverse order of the decomposition.
  • the upper left corner is taken as the origin of the coordinate system, the origin is treated as 0, the wavelet transform L component output is treated as an even number, and the H component output is treated as an odd number. However, it is also possible to treat the L component output as an odd number and the H component output as an even number.
  • the wavelet plane (see FIGS. 4 to 6) is a conceptual plane in which the even-numbered and odd-numbered outputs of the wavelet transform are rearranged for each band component.
  • the quantization unit 1040 performs quantization processing. Specifically, the quantization unit 1040 performs scalar quantization on the first wavelet coefficient data A21 supplied from the wavelet transform unit 1030 based on the quantization step size, and thereby the quantization wave The let coefficient data A22 is generated.
  • the quantization step size is set according to the target image quality, for example.
  • the quantization unit 1040 uses, as the data constituting the first wavelet coefficient data A21 (in other words, each coefficient value), coefficients related to the ROI in the first target image (hereinafter also referred to as ROI coefficients). Then, a coefficient discrimination process for discriminating coefficients related to non-ROI (hereinafter also referred to as non-ROI coefficients) is performed. Then, the quantization unit 1040 quantizes the first wavelet coefficient data A21 so that the non-ROI coefficient after quantization becomes zero.
  • Such quantization can be realized by, for example, a technique (see Patent Document 6) that determines a quantization value based on a norm.
  • the quantization unit 1040 performs coefficient determination processing based on the mask data B21 supplied from the mask generation unit 1050.
  • the mask data B21 provides a mask for discriminating ROI coefficients and non-ROI coefficients for the first wavelet coefficient data A21.
  • the mask generation unit 1050 performs mask generation processing. Specifically, the mask generation unit 1050 generates mask data B21 that is mask data for discriminating between the ROI coefficient and the non-ROI coefficient for the first wavelet coefficient data A21.
  • FIG. 7 shows a configuration example of the mask generation unit 1050.
  • the mask generation unit 1050 includes a basic mask generation unit 1051 and a mask development unit 1052.
  • the basic mask generation unit 1051 performs basic mask generation processing. Specifically, the basic mask generation unit 1051 generates basic mask data B10, which is basic mask data for determining ROI and non-ROI in the range of the first basic image, based on the first basic image data A10. Generate.
  • the basic mask generation unit 1051 can be configured by various mask generation techniques. For example, a technique for detecting a moving object in a moving image is known. By using this moving object detection technique, a mask in which a moving object in an image is set to ROI can be generated. See, for example, Patent Documents 1 to 3 regarding the moving object detection technology. For example, Patent Documents 4 and 5 describe a technique for tracking a moving object using a particle filter. According to such a moving object tracking technique, the accuracy of detecting a moving object can be improved and the amount of calculation can be reduced.
  • a technique for separating a foreground image and a background image from an entire image by graph cut for a still image taken by a digital camera is known. If the basic mask generation unit 1051 is configured using this image separation technique, a mask in which the foreground image is set to ROI can be generated.
  • the basic mask generation unit 1051 performs preprocessing as appropriate when generating a mask.
  • the first basic image data A10 is image data (Bayer data) captured by a digital camera
  • the Bayer data is converted into RGB color data.
  • reduction processing is performed to reduce the amount of calculation.
  • color space conversion to black and white, YUV, HSV, or the like is performed in order to extract feature amounts.
  • the part of the moving person is set to the ROI 60a, and the other part is set to the non-ROI 60b.
  • the basic mask 70 corresponding to the entire range of the first image 60 is shown in FIG.
  • the basic mask 70 can be understood as an image indicating whether each pixel in the first basic image 60 belongs to the ROI 60a or the non-ROI 60b.
  • the basic mask 70 has an ROI corresponding portion 70a and a non-ROI corresponding portion 70b corresponding to the ROI 60a and the non-ROI 60b in the first basic image 60.
  • the white portion is the ROI corresponding portion 70a
  • the black portion is the non-ROI corresponding portion 70b.
  • the basic mask 70 may be generated for all the frame images, or the basic mask 70 may be generated, for example, every fixed frame or every fixed time. The same applies to the case where still images are sequentially input.
  • the mask development unit 1052 performs mask development processing. Specifically, the mask development unit 1052 uses the ROI corresponding portion and the non-ROI corresponding portion of the basic mask for each band component included in the first wavelet coefficient data A21 (in other words, the first wavelet coefficient data). (For each band component included in the wavelet plane corresponding to A21). By such mask development processing, a development mask which is a mask for the first wavelet coefficient data A21 is generated. Regarding the development of the mask, see, for example, Patent Documents 6 and 7 and Non-Patent Document 1.
  • the development mask generated by the mask development unit 1052 is the above-described mask for discriminating between the ROI coefficient and the non-ROI coefficient for the first wavelet coefficient data A21. That is, the mask generation unit 1050 generates and outputs development mask data as the mask data B21.
  • FIGS. 10 to 12 show unfolded masks 71, 72, and 73, respectively, in which the basic mask 70 of FIG.
  • ROI corresponding portions 71a, 72a, 73a are illustrated in white
  • non-ROI corresponding portions 71b, 72b, 73b are illustrated in black.
  • FIG. 13 shows a flowchart of the mask development process.
  • a process of increasing the mask decomposition level by one step (hereinafter also referred to as a level increase unit process) S202 is performed.
  • the level increase unit process S202 is repeated until a mask of the decomposition level is obtained (see step S201).
  • the first mask for the first wavelet plane is converted into a second mask for the second wavelet plane whose decomposition level is one step higher than that of the first wavelet plane.
  • the first mask to be developed is an original mask
  • the original image before wavelet conversion corresponds to the first wavelet plane.
  • the repetition of the level increase unit process S202 is performed recursively. That is, the level increase unit process S202 is performed again by setting the second mask as a new first mask.
  • the level increase unit process S202 is repeated according to the wavelet conversion method. For example, when the above Mallat type method is adopted (see FIGS. 4 to 6), the wavelet plane recursively decomposes only the lowest band component LL. For this reason, mask development is also performed recursively only for the portion corresponding to the band component LL.
  • the level increase unit process S202 is performed based on a predetermined mask development condition, and the mask development condition depends on the number of taps of the wavelet transform filter.
  • the mask development condition includes two conditions (referred to as a first development condition and a second development condition) based on FIG.
  • the decomposition-side low-pass filter has 5 taps
  • the decomposition-side high-pass filter has 3 taps.
  • n can be expressed as 2nth, where n is an integer
  • the second mask is formed so that the nth data of the component (corresponding to the output data on the low-pass filter side) is associated with the ROI.
  • a second mask is formed so that the ⁇ n ⁇ 1 ⁇ th and nth data of the high-frequency component (corresponding to the output data on the high-pass filter side) are associated with the ROI in the second wavelet plane.
  • Second development condition When the ⁇ 2n + 1 ⁇ th data on the first wavelet plane is associated with the ROI by the first mask, the nth and ⁇ n + 1 ⁇ th of the low-frequency component in the second wavelet plane and The second mask is formed so that the ⁇ n ⁇ 1 ⁇ th to ⁇ n + 1 ⁇ th data of the high frequency components are associated with the ROI.
  • the mask development condition includes two conditions (referred to as a third development condition and a fourth development condition) based on FIG.
  • the decomposition-side low-pass filter has 9 taps
  • the decomposition-side high-pass filter has 7 taps.
  • the mask generation unit 1050 When the decomposition level of the first wavelet coefficient data A21 is 3, the mask generation unit 1050 generates a decomposition level 73 expansion mask 73 (see FIG. 12), and supplies the expansion mask 73 to the quantization unit 1040. Based on the distinction between the ROI-corresponding portion 73a and the non-ROI-corresponding portion 73b in the development mask 73, the quantization unit 1040 decomposes the first wavelet coefficient data A21 at the decomposition level 3, in other words, the wavelet plane 63 at the decomposition level 3. The coefficient discrimination process (see FIG. 6) is performed.
  • the quantization unit 1040 performs the quantization at the decomposition level 3 so that the value after quantization of the non-ROI coefficient in the first wavelet coefficient data A21 becomes 0 based on the coefficient discrimination result. Wavelet coefficient data A22 is generated.
  • the encoding unit 1060 performs an encoding process. Specifically, the encoding unit 1060 performs predetermined encoding on the quantized wavelet coefficient data A22 generated by the quantization unit 1040, thereby generating encoded data A50. In the predetermined encoding, for example, entropy encoding is performed according to EBCOT (Embedded Block Coding with Optimized Truncation) that performs bit-plane encoding. In the example of FIG. 3, the encoding unit 1060 includes a coefficient bit modeling unit 1061 and an entropy encoding unit 1062.
  • EBCOT Embedded Block Coding with Optimized Truncation
  • the coefficient bit modeling unit 1061 performs bit modeling processing on the quantized wavelet coefficients.
  • bit modeling process uses a known technique, and detailed description thereof is omitted.
  • the coefficient bit modeling unit 1061 divides the input band component into regions called “code blocks” of about 32 ⁇ 32 or 64 ⁇ 64. Coefficient bit modeling section 1061 assigns each bit value constituting the binary value of each quantized wavelet coefficient in the code block to a separate bit plane. The bit modeling process is performed in units of such bit planes.
  • the entropy encoding unit 1062 performs entropy encoding on the data generated by the coefficient bit modeling unit 1061 to generate encoded image data.
  • entropy coding for example, known arithmetic coding is used.
  • the coding unit 1060 may control the code amount by performing rate control on the coded image data generated by the entropy coding unit 1062.
  • bit stream generation unit 1070 performs a bit stream generation process. Specifically, the bit stream generation unit 1070 multiplexes the encoded data A50 output from the encoding unit 1060 with additional information, thereby generating an encoded bit stream Abs compliant with JPEG2000. Examples of the additional information include header information, layer configuration, scalability information, quantization table, and the like.
  • the bit stream generation unit 1070 acquires the synthesis control data C50 and embeds the synthesis control data C50 in the encoded bit stream Abs.
  • the composition control data C50 is data for controlling the degree of composition in the image composition processing in the composition system 21.
  • the synthesis control data C50 is supplied to the supply system 11 when the user inputs the operation unit 32 provided on the supply system 11 side.
  • the encoded bitstream Abs has an area that does not affect the encoded data, and the bitstream generation unit 1070 embeds the synthesis control data C50 in that area.
  • an area of the encoded bit stream Abs for example, a header area, a comment area in the format of the encoded stream, an application marker (APP marker) area, and the like can be used.
  • APP marker application marker
  • FIG. 16 shows a flowchart for explaining the operation of the supply system 11. According to the operation flow S1000 of FIG. 16, when the first basic image data A10 is input to the supply system 11, the pre-processing unit 1020 and the mask generation unit 1050 acquire the first basic image data A10 (step S1001).
  • the pre-processing unit 1020 performs predetermined pre-processing on the first basic image data A10, in other words, the first target image data A20 (step S1101).
  • the wavelet transform unit 1030 performs wavelet transform on the first target image data A20 after the preprocessing up to a predetermined decomposition level, thereby generating the first wavelet coefficient data A21 (step S1102). .
  • the mask generation unit 1050 generates, based on the first basic image data A10, a mask for the first wavelet coefficient data A21, that is, development mask data B21 corresponding to the decomposition level of the first wavelet coefficient data A21. (Step S1200). Specifically, the basic mask generation unit 1051 performs the basic mask generation process (step S1201), and the mask expansion unit 1052 performs the mask expansion process (step S1202).
  • step S1200 is executed in parallel with steps S1101 and S1102, but step S1200 can also be executed before or after steps S1101 and S1102.
  • the first wavelet coefficient data A21 generated in step S1102 and the mask data B21 generated in step S1200 are input to the quantization unit 1040.
  • the quantization unit 1040 based on the mask data B21, sets the first wavelet coefficient data A21 so that the value after quantization of the non-ROI coefficient in the first wavelet coefficient data A21 becomes zero. Is quantized (step S1002). Thereby, quantized wavelet coefficient data A22 is generated.
  • the quantized wavelet coefficient data A22 is encoded by the encoding unit 1060, and encoded data A50 is generated (step S1003).
  • the encoded data A50 is converted into the encoded bitstream Abs for the first target image by the bitstream generation unit 1070 (step S1004).
  • the bit stream generation unit 1070 acquires the synthesis control data C50 and embeds the synthesis control data C50 in the encoded bit stream Abs as described above (step S1005). Note that the composition control data C50 may be input in step S1005, or the composition control data C50 input and held in advance may be used in step S1005.
  • the encoded bitstream Abs is output from the bitstream generation unit 1070 (step S1006).
  • the encoded bit stream Abs is output from the supply system 11 with the synthesis control data C50 embedded as described above, and is output from the I / F 33 to the outside of the supply-side device 30 in the example of FIG.
  • the encoded bit stream Abs is input to the synthesis system 21 via the I / F 43 in a state where the synthesis control data C50 is embedded.
  • the medium 50 (see FIG. 2) is used.
  • the synthesis control data C50 is embedded in the encoded bit stream Abs for the encoded data A50, the encoded data A50 and the synthesis control data C50 are transmitted by the same medium 50 (for example, a communication medium or an external storage medium). , Supplied to the synthesis system 21.
  • FIG. 17 shows a configuration example of the synthesis system 21.
  • the synthesis system 21 includes a bitstream analysis unit 1210, a decoding unit 1220, a mask reproduction unit 1230, an inverse quantization unit 1240, a decomposition level conversion unit 1250, and a wavelet conversion unit. 1260, a synthesis execution unit 1270, an inverse wavelet conversion unit 1280, and a post-processing unit 1290.
  • the bit stream analysis unit 1210 performs a bit stream analysis process. Specifically, the bitstream analysis unit 1210 analyzes the encoded bitstream Abs in accordance with the JPEG2000 specification, and extracts the encoded data A50, the additional information, and the synthesis control data C50 from the encoded bitstream Abs. To do.
  • the encoded data A50 is supplied to the decoding unit 1220. Various kinds of additional information are respectively supplied to predetermined processing units.
  • the composition control data C50 is supplied to the decomposition level conversion unit 1250 and the wavelet conversion unit 1260.
  • the decryption unit 1220 performs decryption processing. Specifically, the decoding unit 1220 performs predetermined decoding on the encoded data A50.
  • the predetermined decoding is basically the reverse of the encoding in the encoding unit 1060 in FIG. 3 except for the code amount control.
  • quantized wavelet coefficient data A22 is generated from the encoded data A50.
  • the decoding unit 1220 includes an entropy decoding unit 1221 and a coefficient bit modeling unit 1222.
  • the entropy decoding unit 1221 performs entropy decoding on the encoded data A50 to generate bit data. Entropy decoding is the reverse of the entropy encoding in the entropy encoding unit 1062 in FIG.
  • the coefficient bit modeling unit 1222 performs bit modeling processing on the bit data generated by the entropy decoding unit 1221 to restore the quantized wavelet coefficient data A22.
  • the bit modeling process here corresponds to a process opposite to that in the coefficient bit modeling unit 1061 in FIG.
  • the quantized wavelet coefficient data A22 generated by the coefficient bit modeling unit 1222 is supplied to the mask reproduction unit 1230 and the inverse quantization unit 1240.
  • the mask reproduction unit 1230 performs a mask reproduction process. Specifically, the mask reproduction unit 1230 discriminates the value of each data constituting the quantized wavelet coefficient data A22, so that the developed mask applied when the quantized wavelet coefficient data A22 is generated in the supply system 11 To reproduce.
  • the quantized wavelet coefficient data A22 is generated so that the value after quantization of the non-ROI coefficient in the first wavelet coefficient data A21 becomes zero.
  • the mask reproduction unit 1230 determines whether or not the value of each data constituting the quantized wavelet coefficient data A22 is 0, and thereby determines the ROI coefficient in the quantized wavelet coefficient data A22.
  • a non-ROI coefficient is discriminated (see step S11 of the mask reproduction process S10 in FIG. 18).
  • the mask reproduction unit 1230 reproduces the mask data B21 that is the data of the expansion mask corresponding to the quantized wavelet coefficient data A22 (steps S12 and S13 of the mask reproduction process S10 in FIG. 18). reference).
  • the inverse quantization unit 1240 performs an inverse quantization process. Specifically, the inverse quantization unit 1240 performs inverse quantization on the quantized wavelet coefficient data A22.
  • the inverse quantization here corresponds to the reverse process of the quantization in the quantization unit 1040 of FIG.
  • the quantized wavelet coefficient data A22 is converted into the first wavelet coefficient data A21.
  • the decomposition level conversion unit 1250 acquires the first wavelet coefficient data A21 from the inverse quantization unit 1240, acquires the mask data B21 from the mask reproduction unit 1230, and acquires the synthesis control data C50 from the bitstream analysis unit 1210. Then, the decomposition level conversion unit 1250 performs a decomposition level conversion process that is a process of converting the decomposition levels of the first wavelet coefficient data A21 and the mask data B21.
  • the decomposition level after conversion is specified by the synthesis control data C50.
  • the decomposition level specified by the synthesis control data C50 may be referred to as a first decomposition level.
  • the first decomposition level is an integer of 1 or more.
  • the decomposition level of the first wavelet coefficient data A21 and the mask data B21 is a level set by the supply system 11 at this time (in other words, when supplied to the synthesis system 21).
  • the decomposition level conversion unit 1250 converts this initial decomposition level into the first decomposition level designated by the synthesis control data C50. That is, the decomposition level conversion unit 1250 converts the first wavelet coefficient data A21 and the mask data B21 at the decomposition level set by the supply system 11 into the first wavelet coefficient data A61 and the mask data at the first decomposition level. Convert to B61.
  • FIG. 19 shows a configuration example of the decomposition level conversion unit 1250.
  • the decomposition level conversion unit 1250 includes a decomposition level reduction unit 1251 and a decomposition level increase unit 1256.
  • the decomposition level reduction unit 1251 determines the first wavelet coefficient data when the first decomposition level specified by the synthesis control data C50 is smaller than the initial decomposition levels of the first wavelet coefficient data A21 and the mask data B21. A decomposition level reduction process for reducing the decomposition levels of A21 and mask data B21 is performed. Conversely, the decomposition level increasing unit 1256 performs a decomposition level increasing process for increasing the decomposition levels of the first wavelet coefficient data A21 and the mask data B21 when the first decomposition level is higher than the initial decomposition level.
  • decomposition level conversion section 1250 keeps input first wavelet coefficient data A21 and mask data B21 as they are, and first wavelet coefficient data A61 and mask. Assume that data B61 is output.
  • the decomposition level reduction unit 1251 includes an inverse wavelet conversion unit 1252 and a mask restoration unit 1253.
  • the inverse wavelet transform unit 1252 acquires the first wavelet coefficient data A21 and the synthesis control data C50, and sets the first wavelet coefficient data A21 to the first decomposition level specified by the synthesis control data C50. Inverse wavelet transform (IDWT) is performed until Thereby, the first wavelet coefficient data A61 of the first decomposition level is generated.
  • IDLT Inverse wavelet transform
  • the reverse wavelet conversion is a process opposite to the wavelet conversion performed by the wavelet conversion unit 1030 of the supply system 11.
  • band components are recursively synthesized.
  • the number of synthesis in the inverse wavelet transform is called a synthesis level. Note that the synthesis level in the state before the inverse wavelet transform is expressed as 0.
  • the reverse wavelet conversion unit 1252 and the later-described reverse wavelet conversion unit 1280 may be realized by the same circuit, or may be realized by separate circuits.
  • the mask restoration unit 1253 acquires the mask data B21 and the synthesis control data C50, and performs mask restoration processing.
  • the mask restoration process is a process for restoring a mask having a lower decomposition level from a given mask, and is the reverse process of the mask development process (see FIGS. 13 to 15). More specifically, the mask data B21 is included in the first wavelet coefficient data A61 that is to be generated by the decomposition level conversion unit 1250 (that is, has the first decomposition level specified by the synthesis control data C50). Convert for each band component. Thereby, mask data B61 of the first decomposition level is generated.
  • FIG. 20 shows a flowchart of the mask restoration process.
  • a process of lowering the mask decomposition level by one step (hereinafter also referred to as level reduction unit process) S222 is performed. If the difference between the initial decomposition level and the first decomposition level is 2 or more, the level reduction unit process S222 is repeated until a mask of the first decomposition level is obtained (see step S221).
  • the first mask for the first wavelet plane is converted into a second mask for the second wavelet plane whose decomposition level is one step lower than that of the first wavelet plane. Since the first decomposition level specified by the synthesis control data C50 is an integer of 1 or more as described above, the restored second mask is not an original mask.
  • the repetition of the level reduction unit process S222 is performed recursively. That is, the level reduction unit processing S222 is performed again by setting the second mask as a new first mask. Further, the level reduction unit process S222 is repeated according to the inverse wavelet transform method. For example, when the above Mallat type method is adopted (see FIGS. 4 to 6), only the highest band component (LLk, HLk, LHk, HHk at the decomposition level k) in the wavelet plane is recursively decomposed. I will do it. For this reason, mask restoration is recursively performed only for the portion corresponding to the highest band component.
  • the level reduction unit process S222 is performed based on a predetermined mask restoration condition.
  • the mask restoration condition is that, when the data of the designated position on the first wavelet plane is associated with the ROI by the first mask, the data on the position associated with the designated position on the second wavelet plane becomes the ROI. It is defined that the second mask is formed so as to be associated with each other.
  • the mask restoration condition depends on the number of taps of the inverse wavelet transform filter. For example, when a 5 ⁇ 3 filter is used in the inverse wavelet transform processing, the mask restoration condition is based on FIG. When a Daubechies 9 ⁇ 7 filter is used in the inverse wavelet transform calculation process, the mask restoration condition is based on FIG.
  • the mask restoration conditions are roughly classified into two conditions (referred to as a first restoration condition and a second restoration condition). That is, the first restoration condition is for forming the second mask so that the 2n-th (n is an integer) data is associated with the ROI in the second wavelet plane. The second restoration condition is for forming the second mask so that the ⁇ 2n + 1 ⁇ th data is associated with the ROI in the second wavelet plane.
  • the first restoration condition and the second restoration condition also impose a condition that the data at the specified position on the first wavelet plane is associated with the ROI by the first mask (referred to as a restoration execution condition). is doing.
  • the specified position is a position associated with the 2n-th position on the second wavelet plane.
  • the position may be referred to as a first designated position.
  • candidates for the first designated position are the n-th and high-frequency components (high-pass components) of the low-frequency component (corresponding to input data on the low-pass filter side) on the first wavelet plane. ⁇ N ⁇ 1 ⁇ th and nth) corresponding to the input data on the filter side.
  • the specified position is a position associated with the ⁇ 2n + 1 ⁇ th position on the second wavelet plane.
  • the position may be referred to as a second designated position.
  • candidates for the second designated position are nth and ⁇ n + 1 ⁇ th of the low frequency component and ⁇ n ⁇ 1 ⁇ th of the high frequency component from the ⁇ n ⁇ 1 ⁇ th in the first wavelet plane. n + 1 ⁇ th.
  • the first restoration condition and the second restoration condition can be variously defined according to the usage mode of these candidates at the designated position.
  • the second mask can be adjusted in various ways.
  • the usage mode of the candidate for the designated position is set by a user instruction.
  • this user instruction will be referred to as a mask adjustment instruction.
  • the composition control data C50 includes a mask adjustment instruction, and thereby the mask adjustment instruction is supplied to the level reduction unit process S222 in the composition system 21 (see FIG. 20).
  • the mask adjustment instruction includes three instructions, that is, a mode instruction, a low-frequency selection instruction, and a high-frequency selection instruction.
  • the mode instruction relates to which band component is to be used among the low frequency component and the high frequency component of the first wavelet plane.
  • the low range selection instruction relates to whether or not to impose a restoration execution condition on all candidates included in the low frequency component of the first wavelet plane.
  • LSEL AND is expressed.
  • LSEL OR is expressed.
  • the high frequency selection instruction relates to whether or not the restoration execution condition is imposed on all candidates included in the high frequency component of the first wavelet plane.
  • HSEL AND is expressed.
  • mode instruction MODE the low-frequency selection instruction LSEL, and the high-frequency selection instruction HSEL can be supplied to the mask restoration unit 1253 (see FIG. 19) by three signals assigned for each instruction. is there.
  • Table 1 shows some specific examples of mask adjustment instructions. However, the content of the mask adjustment instruction is not limited to the example in Table 1.
  • the mask adjustment instruction # 1 is for lossless compression. That is, when the image compression (more specifically, quantization of ROI coefficient) in the supply system 11 is lossless, the mask adjustment instruction # 1 is suitable. According to lossless compression, the ROI coefficient after quantization does not become zero.
  • Mask adjustment instruction # 2 is for near lossless compression. Near lossless compression results in a data loss that is greater than lossless compression, but can provide image quality comparable to lossless compression. In view of this point, near-lossless compression is irreversible in terms of data but can be regarded as lossless in terms of image quality. However, in the two major categories of lossless and lossy, near lossless is often classified as lossy.
  • Mask adjustment instructions # 3 to # 7 are for lossy compression. According to the lossy compression, the ROI coefficient after quantization tends to be 0 in the high frequency component. As this tendency becomes stronger (in other words, when the quantized value is larger (that is, the compression ratio is larger) and the high frequency component has more ROI coefficients with a value after quantization of 0), # 4, # 7, It is preferable to apply the instructions in the order of # 3, # 6, and # 5.
  • n-th data of the low-frequency component of the first wavelet plane is associated with the ROI by the first mask, and the ⁇ n-1 ⁇ -th and n-th data of the high-frequency component of the first wavelet plane
  • the second mask is formed so that the 2n-th data is associated with the ROI in the second wavelet plane.
  • Second restoration condition All the nth and ⁇ n + 1 ⁇ th data of the low frequency component of the first wavelet plane are associated with the ROI by the first mask, and the high frequency component of the first wavelet plane
  • the ⁇ 2n + 1 ⁇ th data is associated with the ROI in the second wavelet plane.
  • a second mask is formed.
  • First restoration condition When the n-th data of the low frequency component of the first wavelet plane is associated with the ROI by the first mask, the 2n-th data is associated with the ROI in the second wavelet plane. Next, a second mask is formed.
  • Second restoration condition When all of the nth and ⁇ n + 1 ⁇ th data of the low frequency components of the first wavelet plane are associated with the ROI by the first mask, ⁇ 2n + 1 ⁇ in the second wavelet plane A second mask is formed so that the second data is associated with the ROI.
  • First restoration condition When the n-th data of the low frequency component of the first wavelet plane is associated with the ROI by the first mask, the 2n-th data is associated with the ROI in the second wavelet plane. Next, a second mask is formed.
  • this first restoration condition is the same as the mask adjustment instruction # 3 described above.
  • Second restoration condition when at least one of the nth and ⁇ n + 1 ⁇ th data of the low frequency component of the first wavelet plane is associated with the ROI by the first mask, the second wavelet plane A second mask is formed so that the ⁇ 2n + 1 ⁇ th data is associated with the ROI.
  • n-th data of the low-frequency component of the first wavelet plane is associated with the ROI by the first mask, and the ⁇ n-1 ⁇ -th and n-th data of the high-frequency component of the first wavelet plane
  • the second mask is formed so that the 2n-th data is associated with the ROI in the second wavelet plane.
  • Second restoration condition All the nth and ⁇ n + 1 ⁇ th data of the low frequency component of the first wavelet plane are associated with the ROI by the first mask, and the high frequency component of the first wavelet plane
  • the ⁇ 2n + 1 ⁇ th data is associated with the ROI in the second wavelet plane.
  • n-th data of the low-frequency component of the first wavelet plane is associated with the ROI by the first mask, and the ⁇ n-1 ⁇ -th and n-th data of the high-frequency component of the first wavelet plane
  • the second mask is formed so that the 2n-th data is associated with the ROI in the second wavelet plane.
  • the first restoration condition is the same as the mask adjustment instruction # 6 described above.
  • Second restoration condition At least one of the n-th and ⁇ n + 1 ⁇ -th low-frequency components of the first wavelet plane is associated with the ROI by the first mask, and the height of the first wavelet plane If at least one of the ⁇ n-1 ⁇ th to ⁇ n + 1 ⁇ th data of the band component is associated with the ROI by the first mask, the ⁇ 2n + 1 ⁇ th data becomes the ROI in the second wavelet plane.
  • a second mask is formed so as to be associated with each other.
  • Second restoration condition all the ⁇ n-1 ⁇ to ⁇ n + 2 ⁇ -th data of the low frequency components of the first wavelet plane are associated with the ROI by the first mask, and the height of the first wavelet plane
  • the ⁇ 2n + 1 ⁇ th data is associated with the ROI in the second wavelet plane.
  • First restoration condition When all the ⁇ n-1 ⁇ to ⁇ n + 1 ⁇ -th data of the low frequency components of the first wavelet plane are associated with the ROI by the first mask, the second wavelet plane A second mask is formed so that the 2n-th data is associated with the ROI.
  • Second restoration condition when all the ⁇ n-1 ⁇ to ⁇ n + 2 ⁇ -th data of the low frequency components of the first wavelet plane are associated with the ROI by the first mask, A second mask is formed so that the ⁇ 2n + 1 ⁇ th data is associated with the ROI.
  • First restoration condition when at least one of the ⁇ n ⁇ 1 ⁇ th to ⁇ n + 1 ⁇ th low-frequency components of the first wavelet plane is associated with the ROI by the first mask, the second wave A second mask is formed so that the 2n-th data is associated with the ROI in the let plane.
  • Second restoration condition when at least one of the ⁇ n ⁇ 1 ⁇ th to ⁇ n + 2 ⁇ th low-frequency components of the first wavelet plane is associated with the ROI by the first mask, the second wave A second mask is formed so that the ⁇ 2n + 1 ⁇ -th data is associated with the ROI in the let plane.
  • First restoration condition All the ⁇ n-1 ⁇ to ⁇ n + 1 ⁇ -th data of the low frequency components of the first wavelet plane are associated with the ROI by the first mask and the first wavelet plane height
  • the 2nth data is associated with the ROI in the second wavelet plane.
  • a second mask is formed.
  • Second restoration condition all the ⁇ n-1 ⁇ to ⁇ n + 2 ⁇ -th data of the low frequency components of the first wavelet plane are associated with the ROI by the first mask, and the height of the first wavelet plane If at least one of the ⁇ n-2 ⁇ th to ⁇ n + 2 ⁇ th of the band components is associated with the ROI by the first mask, the ⁇ 2n + 1 ⁇ th data becomes the ROI in the second wavelet plane.
  • a second mask is formed so as to be associated with each other.
  • First restoration condition At least one data of ⁇ n ⁇ 1 ⁇ th to ⁇ n + 1 ⁇ th of the low frequency components of the first wavelet plane is associated with the ROI by the first mask, and the first wavelet If at least one of ⁇ n ⁇ 2 ⁇ to ⁇ n + 1 ⁇ th of the high frequency components of the plane is associated with the ROI by the first mask, the 2n th data in the second wavelet plane is the ROI.
  • a second mask is formed so as to be associated with.
  • Second restoration condition At least one data of ⁇ n ⁇ 1 ⁇ th to ⁇ n + 2 ⁇ th of the low frequency components of the first wavelet plane is associated with the ROI by the first mask, and the first wavelet When at least one of ⁇ n ⁇ 2 ⁇ to ⁇ n + 2 ⁇ th of the high frequency components of the plane is associated with the ROI by the first mask, the ⁇ 2n + 1 ⁇ th data in the second wavelet plane The second mask is formed so that is associated with the ROI.
  • ⁇ Mask adjustment instructions> the designated position in the first restoration condition and the second restoration condition can be designated by the mask adjustment instruction.
  • the user can input a mask adjustment instruction by inputting a mode instruction (MODE), a low-frequency selection instruction (LSEL), and a high-frequency selection instruction (HSEL).
  • a plurality of mask adjustment instructions are defined in advance by combining a mode instruction (MODE), a low-frequency selection instruction (LSEL), and a high-frequency selection instruction (HSEL), and the user can Alternatively, a mask adjustment instruction may be selected.
  • the decomposition level increasing unit 1256 includes a wavelet converting unit 1257 and a mask developing unit 1258.
  • the wavelet transform unit 1257 acquires the first wavelet coefficient data A21 and the synthesis control data C50, and becomes the first decomposition level designated by the synthesis control data C50 with respect to the first wavelet coefficient data A21. Wavelet transformation is performed until. Thereby, the first wavelet coefficient data A61 of the first decomposition level is generated.
  • the wavelet conversion unit 1257 and a wavelet conversion unit 1260 described later may be realized by the same circuit or may be realized by separate circuits.
  • the mask development unit 1258 acquires the mask data B21 and the synthesis control data C50, and performs mask development processing. Specifically, the mask data B21 is generated by the decomposition level conversion unit 1250 (that is, each of the first wavelet coefficient data A61 included in the first wavelet coefficient data A61 having the first decomposition level specified by the synthesis control data C50). Convert for band component. Thereby, mask data B61 of the first decomposition level is generated.
  • the mask developing unit 1258 operates in the same manner as the mask developing unit 1052 of the supply system 11 (see FIGS. 7 and 13 to 15). For this reason, redundant description is omitted here.
  • the decomposition level decrease unit 1251 or the decomposition level increase unit 1256 may be omitted.
  • the decomposition level conversion unit 1250 has the first decomposition level designated by the synthesis control data C50 as the initial decomposition level of the first wavelet coefficient data A21 and the mask data B21.
  • Specialized in use conditions that are: On the contrary, when only the decomposition level increasing unit 1256 is provided, the decomposition level converting unit 1250 is specialized in a use condition that the first decomposition level is equal to or higher than the initial decomposition level.
  • the wavelet conversion unit 1260 obtains the second target image data D50, which is the data of the second target image, and the synthesis control data C50.
  • the second target image is an image that is combined with the ROI of the first target image, and provides a background image for image combination.
  • the second basic image data D10 that is the data of the second basic image serving as the source of the second target image is input to the synthesis system 21.
  • the entire second basic image constitutes the second target image that is, a case where the second basic image and the second target image are the same will be described.
  • the second basic image data D10 is supplied from, for example, the image input unit 44 provided on the synthesis system 21 side or another system of the image processing system 20 (see FIG. 1).
  • the second basic image and the second target image may be images captured by a digital camera or the like, or may be computer graphics.
  • the wavelet conversion unit 1260 performs wavelet conversion on the second target image data D50 up to a predetermined decomposition level (referred to as a second decomposition level), thereby generating second wavelet coefficient data D61. Generate.
  • the wavelet conversion unit 1260 operates according to the same specifications as the wavelet conversion unit 1030 (see FIG. 3) of the supply system 11. In the first embodiment, it is assumed that the decomposition level (second decomposition level) of the second wavelet coefficient data D61 is equal to the first decomposition level specified by the combination control data C50.
  • the wavelet conversion unit 1260 of the synthesis system 21 when the wavelet conversion unit 1260 of the synthesis system 21 is distinguished from the wavelet conversion unit 1030 of the supply system 11, the wavelet conversion unit 1030 of the supply system 11 is referred to as the first wavelet conversion unit 1030 and is combined.
  • the wavelet conversion unit 1260 of the system 21 may be referred to as the second wavelet conversion unit 1260. Not only in this example, but by adding the first, second,..., Similar names can be more clearly distinguished.
  • the synthesis execution unit 1270 obtains the first wavelet coefficient data A61 and the mask data B61 of the first decomposition level from the decomposition level conversion unit 1250, and the second decomposition level (here, the first decomposition level (here, the first decomposition level) 2nd wavelet coefficient data D61 (equal to the decomposition level) is acquired. Then, the composition execution unit 1270 performs image composition of the ROI in the first target image and the second target image based on the data A61, B61, and D61 (composition execution processing).
  • the synthesis execution unit 1270 determines the ROI coefficient and the non-ROI coefficient for the first wavelet coefficient data A61 at the first decomposition level based on the mask data B61 at the first decomposition level (coefficient Discrimination process). Then, based on the determination result, the synthesis execution unit 1270 synthesizes the ROI coefficient in the first wavelet coefficient data A61 and the coefficient in the second wavelet coefficient data D61 (coefficient synthesis process). Thereby, the synthesis execution unit 1270 generates synthesized coefficient data E61.
  • the non-ROI coefficient is set as the second wavelet.
  • the coefficient data D61 is replaced with data existing at the same position on the wavelet plane. According to this, the first wavelet coefficient data A61 is converted into the combined coefficient data E61.
  • FIG. 23 shows a flowchart for explaining the coefficient synthesis process. 23, first, one wavelet coefficient to be inspected is selected from the first wavelet coefficient data A61 (step S301). Then, it is determined whether the inspection object coefficient is an ROI coefficient or a non-ROI coefficient (step S302). That is, in step S302, coefficient determination processing is performed.
  • step S303 When the inspection target coefficient is a non-ROI coefficient, the inspection target coefficient is replaced with the corresponding wavelet coefficient in the second wavelet coefficient data D61 (step S303). On the other hand, when the inspection target coefficient is an ROI coefficient, step S303 is not performed. Steps S301 to S303 are repeated until all the wavelet coefficients in the first wavelet coefficient data A61 are inspected (step S304).
  • FIG. 24 shows another flowchart for explaining the coefficient synthesis process.
  • step S303B is provided instead of step S303. That is, when it is determined in the coefficient determination processing step S302 that the inspection target coefficient is an ROI coefficient, the ROI coefficient in the first wavelet coefficient data A61 is associated with the corresponding one in the second wavelet coefficient data D61 in step S303B. Embed in position. According to this, the second wavelet coefficient data D61 is converted into the combined coefficient data E61.
  • composition of the ROI coefficient in the first wavelet coefficient data A61 and the wavelet coefficient in the second wavelet coefficient data D61 includes two specific methods (first coefficient synthesis process and second coefficient). (Referred to as synthesis processing).
  • First coefficient synthesis process (see S300 in FIG. 23): The non-ROI coefficient in the first wavelet coefficient data A61 is replaced with the corresponding wavelet coefficient in the second wavelet coefficient data D61.
  • Second coefficient synthesis process (see S300B in FIG. 24): The ROI coefficient in the first wavelet coefficient data A61 is embedded in the corresponding position in the second wavelet coefficient data D61.
  • the inverse wavelet transform unit 1280 performs inverse wavelet transform on the combined coefficient data E61 generated by the composition execution unit 1270 until the decomposition level becomes zero. Thereby, synthesized image data E80 is generated from the synthesized coefficient data E61.
  • the post-processing unit 1290 acquires the composite image data E80 from the inverse wavelet transform unit 1280, and performs predetermined post-processing on the composite image data E80.
  • the predetermined post-process corresponds to a process opposite to the predetermined pre-process performed in the pre-processing unit 1020 of the supply system 11 in FIG.
  • the post-processing unit 1290 includes a tiling unit 1291, a color space conversion unit 1292, and a DC level shift unit 1293.
  • the tiling unit 1291 performs the reverse process of the tiling unit 1023 of the supply system 11 of FIG. Specifically, the tiling unit 1291 synthesizes the tile-unit composite image data E80 output from the inverse wavelet transform unit 1280 to generate image data for one frame. If the composite image data E80 is not supplied in units of tiles, in other words, if wavelet conversion has not been performed in units of tiles in the supply system 11, processing by the tiling unit 1291 is omitted. Alternatively, the tiling part 1291 itself may be omitted.
  • the color space conversion unit 1292 performs the reverse process of the color space conversion unit 1022 of the supply system 11 in FIG.
  • the image data output from the tiling unit 1291 is converted into RGB components.
  • the DC level shift unit 1293 converts the DC level of the image data output from the color space conversion unit 1292 as necessary.
  • the composite image data E100 output from the DC level shift unit 1293 is output image data of the composite system 21.
  • FIG. 25 and 26 are flowcharts for explaining the operation of the synthesis system 21.
  • FIG. 25 and FIG. 26 are connected by a connector C1.
  • the bitstream analysis unit 1210 acquires the encoded bitstream Abs (step S2101), and the encoded bitstream Encoded data A50 and synthesis control data C50 are extracted from Abs (step S2102).
  • the encoded data A50 is decoded by the decoding unit 1220, and the quantized wavelet coefficient data A22 is generated (step S2103).
  • the quantized wavelet coefficient data A22 is input to the inverse quantization unit 1240 and the mask reproduction unit 1230 (see FIG. 17).
  • the inverse quantization unit 1240 performs inverse quantization on the quantized wavelet coefficient data A22 to generate first wavelet coefficient data A21 (step S2104).
  • the mask reproduction unit 1230 reproduces the mask data B21 applied when the quantized wavelet coefficient data A22 is generated in the supply system 11 based on the quantized wavelet coefficient data A22 (step S2105). ).
  • steps S2104 and S2105 are executed in parallel, but step S2104 can also be executed before or after step S2105.
  • the decomposition level conversion unit 1250 converts the decomposition levels of the first wavelet coefficient data A21 and the mask data B21 to the first decomposition level designated by the synthesis control data C50 (step S2106).
  • first wavelet coefficient data A61 and mask data B21 of the first decomposition level are generated.
  • the wavelet transform unit 1260 acquires the second basic image data D10 (step S2201), and the second basic image data D10 is second with respect to the second basic image data D10. Wavelet transformation is performed up to the decomposition level (step S2202). As a result, second wavelet coefficient data D61 is generated.
  • the second decomposition level is equal to the first decomposition level specified by the synthesis control data C50. For this reason, step S2202 of wavelet conversion is executed after step S2102 in which the synthesis control data C50 is acquired.
  • the second basic image data D10 is handled as the second target image data D50 used for image synthesis.
  • the synthesis execution unit 1270 synthesizes the first wavelet coefficient data A61 and the second wavelet coefficient data D61 to generate synthesized coefficient data E61 (step S2301). Then, the inverse wavelet transform unit 1280 performs inverse wavelet transform on the combined coefficient data E61 up to the decomposition level 0 (step S2302). Thereby, the composite image data E80 is generated.
  • the post-processing unit 1290 performs predetermined post-processing on the composite image data E80 (step S2303), and the composite image data E100 after step S2303 is output from the composite system 21 (step S2304).
  • the synthesis of the ROI in the first target image and the second target image is performed using the first wavelet coefficient data A61 and the second wavelet coefficient data D61. Also, the ROI in the first target image is determined by determining the ROI coefficient for the first wavelet coefficient data A61. Such coefficient discrimination is performed based on the development mask data B61 for the first wavelet coefficient data A61.
  • the synthesis condition (ROI repair, ROI expansion, etc.) can be adjusted.
  • the quantization unit 1040 of the supply system 11 quantizes the first wavelet coefficient data A21 so that the non-ROI coefficient after quantization becomes zero. Therefore, it is not necessary to output the mask data B61 itself from the supply system 11. For this reason, when the supply system 11 and the synthesizing system 21 communicate with each other by wire or wirelessly, the communication amount can be reduced, which is useful for immediate transmission. As a result, the speed of image composition, in other words, the immediacy of image composition is improved.
  • Max-shift method As a technique for reflecting the mask data in the quantized wavelet coefficients, there is a Max-shift method which is an optional function of JPEG2000. According to the Max-shift method, scale-up and scale-down of wavelet coefficients are performed in quantization and inverse quantization. On the other hand, in the quantization, the inverse quantization, and the mask reproduction according to the first embodiment, such a scaling process is not necessary.
  • the synthesis control data C50 is embedded in an area that does not affect the encoded data A50 of the first target image in the bit stream Abs for the first target image. For this reason, the backward compatibility with respect to the existing encoded stream can be ensured.
  • the mask data B21 is reflected in the quantized wavelet coefficient data A22.
  • the quantization unit 1040 of the supply system 11 quantizes the first wavelet coefficient data A21 so that the non-ROI coefficient after quantization becomes zero. According to such a method, there is a case where the value after quantization of the ROI coefficient in the first wavelet coefficient becomes zero when trying to encode efficiently. In particular, the tendency is large for the ROI coefficient having a small value.
  • FIGS. 17 and 19 are a block diagram and a flowchart for explaining the decomposition level conversion unit 1250B according to the second embodiment.
  • the decomposition level conversion unit 1250B is supplied to the mask restoration unit 1253, but not supplied to the mask development unit 1258, as can be seen from the comparison with FIG. 19 described above. Further, the synthesis control data C50 is supplied to the mask development unit 1258, but is not supplied to the mask restoration unit 1253.
  • the mask restoration unit 1253 performs mask restoration processing on the mask data B21 until the decomposition level becomes zero. Thereby, a mask of decomposition level 0, that is, an original mask is generated.
  • the original mask data is input to the mask development unit 1258, and mask development processing is performed on the original mask data up to the first decomposition level specified by the synthesis control data C50 (see steps S201 and S202 in FIG. 28). .
  • the process flow S240 is executed regardless of the magnitude relationship between the first decomposition level specified by the synthesis control data C50 and the initial decomposition level of the first wavelet coefficient data A21. In order to solve the above problem, it is preferable that the processing flow S240 is executed even when the first decomposition level is equal to the initial decomposition level.
  • the inverse wavelet transform unit 1252 and the wavelet transform unit 1257 depend on the magnitude relationship between the first decomposition level specified by the synthesis control data C50 and the initial decomposition level of the first wavelet coefficient data A21. The operation is the same as in the first embodiment. Then, output data of one of the inverse wavelet conversion unit 1252 and the wavelet conversion unit 1257 is supplied to the synthesis execution unit 1270 as the first wavelet coefficient data A61.
  • FIGS. 29 and 30 show configuration examples of the supply system 11C and the synthesis system 21C according to the third embodiment.
  • the supply system 11C and the composition system 21C can be applied to the image processing systems 1, 10, 20 and the like instead of the supply system 11 and the composition system 21 according to the first embodiment.
  • the supply system 11C and the synthesis system 21C basically have the same configuration as the supply system 11 and the synthesis system 21 (see FIGS. 3 and 17) according to the first embodiment. is doing. However, the supply system 11C outputs the synthesis control data C50 input by the user without being embedded in the encoded bitstream Abs. Therefore, the bit stream generation unit 1070 of the supply system 11C does not embed the synthesis control data C50, and the bit stream analysis unit 1210 of the synthesis system 21C does not extract the synthesis control data C50.
  • FIG. 31 shows a flowchart for explaining the operation of the supply system 11C.
  • step S1005 is deleted from the operation flow S1000 (see FIG. 16) according to the first embodiment.
  • step S1006C which is provided instead of step S1006, the encoded bit dream Abs and the synthesis control data C50 are output.
  • FIG. 32 shows a flowchart for explaining the operation of the synthesis system 21C.
  • step S2102 is deleted from the operation flow S2000 (see FIG. 25) according to the first embodiment.
  • step S2101C provided instead of step S2101
  • the encoded bit dream Abs and the synthesis control data C50 are acquired.
  • the encoded bitstream Abs and the synthesis control data C50 may be acquired in different steps, in other words, at different timings.
  • the encoded bit stream Abs that is, the encoded data A50
  • the synthesis control data C50 are supplied to the synthesis system 21C by the same medium 50 (for example, a communication medium or an external storage medium).
  • a different medium 50 may be used.
  • a communication medium may be used to supply the encoded data A50
  • an external storage medium may be used to supply the synthesis control data C50.
  • the same effect as in the first embodiment can be obtained.
  • the third embodiment can be combined with the second embodiment, whereby the same effect as the second embodiment can be obtained.
  • ⁇ Embodiment 4> 33 and 34 show configuration examples of the supply system 11D and the synthesis system 21D according to the fourth embodiment.
  • Supply system 11D and composition system 21D can be applied to image processing systems 1, 10, 20 and the like instead of supply system 11 and composition system 21 according to the first embodiment.
  • the supply system 11D and the synthesis system 21D basically have the same configuration as the supply system 11 and the synthesis system 21 (see FIGS. 3 and 17) according to the first embodiment. is doing.
  • the synthesis control data C50 is supplied to the synthesis system 21D when the user inputs the operation unit 42 (see FIG. 2) provided on the synthesis system 21D side.
  • the supply system 11D does not accept the input of the synthesis control data C50 and output it outside the system.
  • the encoded bit stream Abs (that is, the encoded data A50) is supplied to the synthesis system 21D by the medium 50 (for example, a communication medium or an external storage medium) as in the third embodiment.
  • the synthesizing system 21D acquires the synthesizing control data C50 by a medium different from the medium that supplies the encoded data A50.
  • the same effect as in the first embodiment can be obtained.
  • the synthesis control data C50 can be input on the synthesis system 21D side
  • the synthesis condition can be adjusted on the synthesis system 21D side.
  • the fourth embodiment can be combined with the second embodiment, whereby the same effect as the second embodiment can be obtained.
  • FIG. 35 shows a configuration example of the synthesis system 21E according to the fifth embodiment.
  • the synthesizing system 21E can be applied to the image processing systems 1, 20 and the like instead of the synthesizing system 21 according to the first embodiment.
  • the synthesis system 21E is combined with the supply system 11 (see FIG. 3) according to the first embodiment.
  • the synthesis system 21E has a configuration in which a selector 1300 is added to the synthesis system 21 according to the first embodiment.
  • the selector 1300 selectively supplies one of the plurality of synthesis control data to the decomposition level conversion unit 1250 and the wavelet conversion unit 1260.
  • two synthesis control data C41 and C42 are input to the selector 1300, and one of the synthesis control data is output as synthesis control data C50.
  • combination control data C41 is supplied to the selector 1300 when the user of the synthetic
  • the second synthesis control data C42 is supplied from the supply system 11 to the selector 1300 by the medium 50. More specifically, the second synthesis control data C42 is embedded in the encoded bit stream Abs in the supply system 11, and the encoded bit stream Abs is supplied to the bit stream analyzing unit 1210 by the medium 50. The second synthesis control data C42 is extracted by the bitstream analysis unit 1210 and input to the selector 1300. That is, the second synthesis control data C42 is supplied by a medium different from the first synthesis control data C41.
  • the selector 1300 is set to preferentially select and output the first synthesis control data C41. According to this, as in the fourth embodiment, the composition level can be adjusted on the synthesis system 21E side. On the other hand, when the first synthesis control data C41 is not input, the second synthesis control data C42 is output, so that the labor on the synthesis system 21E side can be saved.
  • the selection priority of a plurality of composition control data may be fixed or may be changeable. For example, it is assumed that the selection priority is changed by one or both of the operation unit 42 provided on the synthesis system 21E side and the operation unit 32 provided on the supply system 11 side.
  • the same effect as in the first embodiment can be obtained.
  • the fifth embodiment can be combined with the second embodiment and the like, and thereby, the same effect as the second embodiment can be obtained.
  • FIG. 35 it is possible to realize a form in which a first decomposition level instruction is input to the supply system 11 and a mask adjustment instruction is input to the synthesis system 21D, and vice versa.
  • the size of the encoded data A50 for the first target image can be reduced, and thus the size of the encoded bitstream can be reduced. For this reason, when the encoded bit stream is transmitted by wired or wireless communication, the reduction of the encoded data A50 can reduce the amount of communication and is useful for immediate transmission. Further, as the first target image becomes smaller, the second target image becomes smaller, so that the calculation load in the synthesis system can be reduced. This is useful for speeding up image synthesis. In view of these, the immediacy of image synthesis is improved.
  • the size of the encoded data output from the supply system can be reduced. Therefore, basically, an arbitrary range including the ROI in the first basic image can be set as the first target image. In order to greatly reduce the data size, the first target image is preferably as small as possible.
  • the ROI range is not distorted also in the wavelet coefficient data (in other words, on the wavelet plane). It is necessary to determine the cutting range.
  • FIG. 36 shows a rectangular minimum range 81 including the ROI 60a by taking the first basic image 60 of FIG. 8 as an example. Since the minimum range 81 is set to a rectangle, the position and range of the minimum range 81 can be specified by the upper left coordinates (AX1, AY1) and the lower right coordinates (BX1, BY1) of the minimum range 81.
  • the upper left corner of the first basic image 60 is taken as the origin O (0, 0) of the coordinate system, and two axes orthogonal to the horizontal direction and the vertical direction of the first basic image 60 are taken.
  • FIG. 37 shows a range 83 to be cut out as the first target image.
  • the cut-out range 83 includes the minimum range 81 and is larger than the minimum range 81.
  • the upper left corner coordinates are (AX3, AY3), and the lower right corner coordinates are (BX3, BY3).
  • 38 and 39 are diagrams showing the minimum range 81 and the cutout range 83 on the basic mask 70 corresponding to the first basic image.
  • FIG. 40 shows a flowchart of the process for determining the cutout range 83.
  • the minimum range specifying process is performed in step S501
  • the tracking process is performed in step S502
  • the necessary range specifying process is performed in step S503.
  • a rectangular minimum range 81 including the ROI 60a is specified in the first basic image 60 that is the original image before cutting.
  • the minimum range 81 is specified based on an original mask for the first basic image 60, that is, the basic mask 70.
  • each row of the basic mask 70 is selected in order from the top, and it is determined whether or not the selected row has pixels belonging to the ROI corresponding portion 70a.
  • the position of the row that is first determined to have pixels belonging to the ROI corresponding portion 70a corresponds to AY1.
  • BY1 can be obtained by selecting each row of the basic mask 70 sequentially from the bottom.
  • AX1 can be obtained by selecting each column of the basic mask 70 in order from the left, and BX1 can be obtained by selecting each column of the basic mask 70 in order from the right.
  • ⁇ Tracking process> In order to prevent the ROI range from being distorted on the wavelet plane, it is necessary to be able to perform wavelet transformation on the entire area of the minimum range 81. In the wavelet transform, not only the data of the pixel of interest but also the data of the pixels on both sides thereof are used. For this reason, when performing wavelet transform on pixels near the outer edge of the minimum range 81, data of pixels outside the minimum range 81 is required. For this reason, the cutout range 83 is larger than the minimum range 81.
  • Patent Document 8 can be referred to for obtaining a pixel range necessary outside the minimum range 81.
  • the range of pixels required outside the minimum range 81 depends on the number of taps of the wavelet transform division filter.
  • the range of pixels required outside the minimum range 81 also depends on the decomposition level of the wavelet transform. This is because, for the highest band component (that is, the most decomposed band component) in the wavelet plane, the processing by the division filter is repeated for the number of decomposition levels.
  • step S502 of the tracking process the range corresponding to the minimum range 81 is specified as the minimum tracking range in the highest band component of the final wavelet plane.
  • the wavelet conversion is performed in the wavelet conversion unit 1030 (see FIG. 3 and the like) of the supply system. Further, when the first decomposition level specified by the combination control data C50 is larger than the initial decomposition level on the supply system side, the decomposition level conversion unit 1250 of the combining system (see FIGS. 17 and 27). Wavelet transformation is also performed at. In view of this point, the range of the ROI is distorted by assuming the wavelet plane having the higher decomposition level among the initial decomposition level and the first decomposition level as the final wavelet plane. Can be avoided more reliably. It should be noted that the higher one of the initial decomposition level and the first decomposition level is referred to as the highest decomposition level.
  • FIG. 45 shows a diagram for explaining the minimum tracking range.
  • the highest band components LL3, HL3, LH3, and HH3 in the wavelet plane 63 at the decomposition level 3 are shown enlarged.
  • FIG. 45 shows a case where the minimum tracking range 82 corresponding to the minimum range 81 is specified in the lowest band component LL3 among the highest band components LL3, HL3, LH3, and HH3.
  • the origin O (0, 0) of the wavelet plane corresponds to the origin O of the original image (that is, the first basic image 60).
  • the upper left corner coordinates are (AX2, AY2)
  • the lower right corner coordinates are (BX2, BY2).
  • 46 and 47 show flowcharts for obtaining the minimum tracking range 82 when a 5 ⁇ 3 filter is used for wavelet transformation. 46 shows how to obtain the upper left corner coordinates (AX2, AY2), and FIG. 47 shows how to obtain the lower right coordinates (BX2, BY2).
  • the upper left corner coordinates (AX1, AY1) of the minimum range 81 are set in the parameter q in step S511.
  • q AX1 is set first.
  • step S515 if it is determined in step S515 that the current decomposition level has reached the maximum decomposition level, the value of p at that time is set to AX2 of the minimum tracking range 82 in step S518.
  • the tracking process when a 5 ⁇ 3 filter is used for wavelet conversion can be expressed as follows.
  • AX1 is an even number
  • AX1 / 2 is set to a new AX1
  • ⁇ AX1-1 ⁇ / 2 is set to a new AX1 (referred to as a first recursive process).
  • the designated number of times designated by the value of the highest decomposition level is performed, and finally obtained AX1 is set to AX2.
  • AY1 is an even number
  • AY1 / 2 is set to a new AY1
  • ⁇ AY1-1 ⁇ / 2 is set to a new AY1 (hereinafter referred to as a second recursion process). The specified number of times is performed, and finally obtained AY1 is set to AY2.
  • BX1 is an even number
  • BX1 / 2 is set to a new BX1
  • a process of setting ⁇ BX1 + 1 ⁇ / 2 to a new BX1 (referred to as a third recursion process) is performed for the specified number of times.
  • BX1 finally obtained is set to BX2.
  • BY1 is an even number
  • BY1 / 2 is set to a new BY1.
  • ⁇ BY1 + 1 ⁇ / 2 is set to a new BY1 (referred to as a fourth recursion process).
  • the BY1 finally obtained is set to BY2.
  • 48 and 49 are flowcharts for obtaining the minimum tracking range 82 when the Daubechies 9 ⁇ 7 filter is used for wavelet transformation.
  • 48 shows how to obtain the upper left corner coordinates (AX2, AY2)
  • FIG. 49 shows how to obtain the lower right corner coordinates (BX2, BY2).
  • the tracking process when the Daubechies 9 ⁇ 7 filter is used for wavelet conversion can also be expressed as follows.
  • AX1 is an even number
  • ⁇ AX1 / 2-1 ⁇ is set to a new AX1
  • ⁇ AX1-3 ⁇ / 2 is set to a new AX1 (referred to as a ninth recursion process). ) Is performed the designated number of times designated by the value of the highest resolution level, and the finally obtained AX1 is set to AX2.
  • AY1 is an even number
  • ⁇ AY1 / 2-1 ⁇ is set to a new AY1
  • ⁇ AY1-3 ⁇ / 2 is set to a new AY1 (referred to as a tenth recursive process). ) Is performed the number of times specified above, and finally obtained AY1 is set to AY2.
  • BX1 is an even number
  • ⁇ BX1 + 2 ⁇ / 2 is set to a new BX1
  • ⁇ BX1 + 3 ⁇ / 2 is set to a new BX1 (referred to as the eleventh recursive process). The designated number of times is performed, and finally obtained BX1 is set to BX2.
  • BY1 is an even number
  • ⁇ BY1 + 2 ⁇ / 2 is set to a new BY1
  • ⁇ BY1 + 3 ⁇ / 2 is set to a new BY1 (referred to as the 12th recursion process). This is performed the specified number of times, and finally obtained BY1 is set to BY2.
  • steps S513, S514, S523, S524, S533, S534, S543, and S544 are defined according to the number of taps of the filter. Also, in consideration of ease of calculation, carry to even number units is performed.
  • step S503 of the necessary range specifying process it is specified in which range of the first basic image 60 before cutting the data necessary for calculating the wavelet coefficient within the minimum tracking range 82 is specified. To do.
  • the specified necessary range becomes the cutout range 83.
  • FIG. 50 shows a flowchart for obtaining the cut-out range 83 from the minimum tracking range 82 when a 5 ⁇ 3 filter is used for wavelet conversion.
  • step S551 AX2, AY2, BX2, and BY2 of the minimum tracking range 82 are set in the parameter r in step S551.
  • r AX2 is set first.
  • step S555 determines whether the current decomposition level has reached 0 or not. If it is determined in step S555 that the current decomposition level has reached 0, the value of s at that time is set to AX3 of the cut-out range 83 in step S558.
  • the necessary range specifying process when a 5 ⁇ 3 filter is used for wavelet conversion can be expressed as follows.
  • the process of setting ⁇ AX2 ⁇ 2-2 ⁇ to a new AX2 (referred to as the fifth recursion process) is performed a specified number of times specified by the value of the highest decomposition level, and the finally obtained AX2 is Set to AX3.
  • the process of setting ⁇ BX2 ⁇ 2 + 2 ⁇ to a new BX2 (referred to as the seventh recursion process) is performed for the specified number of times, and the finally obtained BX2 is set to BX3.
  • the process of setting ⁇ BY2 ⁇ 2 + 2 ⁇ to a new BY2 (referred to as the 8th recursion process) is performed the specified number of times, and finally obtained BY2 is set to BY3.
  • FIG. 51 shows a flowchart for obtaining the cut-out range 83 from the minimum tracking range 82 when a Daubechies 9 ⁇ 7 filter is used for wavelet conversion.
  • the necessary range specifying process when the Daubechies 9 ⁇ 7 filter is used for wavelet conversion can be expressed as follows.
  • the process of setting ⁇ AX2 ⁇ 2-4 ⁇ to a new AX2 (referred to as the thirteenth recursion process) is performed the designated number of times specified by the value of the highest decomposition level, and the finally obtained AX2 is Set to AX3.
  • the process of setting ⁇ BX2 ⁇ 2 + 4 ⁇ to a new BX2 (referred to as the fifteenth recursion process) is performed for the specified number of times, and the finally obtained BX2 is set to BX3.
  • the process of setting ⁇ BY2 ⁇ 2 + 4 ⁇ to a new BY2 (referred to as the 16th recursion process) is performed the specified number of times, and finally obtained BY2 is set to BY3.
  • FIG. 52 shows a configuration example of a supply system 11F according to the sixth embodiment.
  • the supply system 11F can be applied to the image processing systems 1, 10 and the like instead of the supply system 11 according to the first embodiment.
  • a mask generation unit 1050F is provided instead of the mask generation unit 1050, and a first image cropping unit 1080 is added.
  • Other configurations of the supply system 11F are the same as those of the supply system 11 according to the first embodiment.
  • FIG. 53 shows a configuration example of the mask generation unit 1050F.
  • the mask generation unit 1050F includes the basic mask generation unit 1051 and the mask development unit 1052, the cut range determination unit 1053, and the mask cut unit 1054 described above.
  • the cut range determination unit 1053 determines the cut range 83. Specifically, the cut range determining unit 1053 performs the cut range determining process S500 (see FIG. 40), the basic mask data B10, the first decomposition level designated by the synthesis control data C50, and the wavelet transform unit 1030. Based on the initial decomposition level (given by the initial setting data H50). Then, the cut range determination unit 1053 generates cut range specifying data F50, which is data for specifying the cut range 83.
  • the cut area specifying data F50 is specifically data of the upper left corner coordinates (AX3, AY3) and the lower right corner coordinates (BX3, BY3) of the cut area 83.
  • the mask cut-out unit 1054 Based on the cut-out range specifying data F50, the mask cut-out unit 1054 converts the data in the cut-out range 83 (see FIG. 39) from the basic mask data B10 to the expansion mask data B21 (in other words, the expansion mask). (As original mask data B20).
  • the mask that has been cut out is developed by the mask development unit 1052 to the initial decomposition level specified by the initial setting data H50. That is, expanded mask data B21 is generated from original mask data B20.
  • the mask data B21 generated by the mask generation unit 1050F is supplied to the quantization unit 1040 as in the first embodiment.
  • the cut range specifying data F50 is supplied to the bit stream generation unit 1070 and embedded in the encoded bit stream Abs together with the synthesis control data C50. Further, the cropping range specifying data F50 is supplied to the first image cropping unit 1080.
  • the first image cutout unit 1080 cuts out the data in the cutout area 83 from the first basic image data A10 based on the cutout area specifying data F50 (see FIG. 37).
  • the cut data is supplied to the preprocessing unit 1020 as the first target image data A20.
  • FIG. 54 shows a configuration example of the synthesis system 21F according to the sixth embodiment.
  • the synthesizing system 21F can be applied to the image processing systems 1 and 20 instead of the synthesizing system 21 according to the first embodiment.
  • a second image cutout unit 1310 and an embedding unit 1320 are added.
  • the other configuration of the synthesis system 21F is the same as that of the synthesis system 21 according to the first embodiment.
  • the second image cutout unit 1310 acquires the second basic image data D10, the cutout range specifying data F50, and the composite position designation data G50.
  • the cut range specifying data F50 is extracted from the encoded bit stream Abs by the bit stream analysis unit 1210 and supplied to the second image cut unit 1310.
  • the synthesis position designation data G50 is data for designating a position where the ROI in the first target image is synthesized in the second basic image.
  • the composite position designation data G50 can be understood as, for example, embedded position data of the composite image data E80 as described later. More specifically, the embedding position of the composite image data E80 can be specified by the position of the upper left end of the embedding range of the composite image data E80, the center position of the embedding range, or the like.
  • the composition position designation data G50 is supplied to the second image cropping unit 1310 when the user of the composition system 21F inputs the operation unit 42 (see FIG. 2) provided on the composition system 21F side.
  • the second image cutout unit 1310 sets a synthesis destination range in the second basic image based on the synthesis position designation data G50.
  • the synthesis destination range is a range having the same shape and size as the first target image, and is therefore congruent with the first target image.
  • the composition destination range may be expressed as a similar shape range having a similarity ratio of 1 to the first target image.
  • the synthesis destination range is specified by the cut range specifying data F50.
  • the same shape and size of the first target image may be specified from the encoded data A50 instead of the cut-out range specifying data F50.
  • the second image cutout unit 1310 cuts out data within the synthesis destination range from the second basic image data D10. The cut data is supplied to the wavelet conversion unit 1260 as the second target image data D50.
  • the embedding unit 1320 embeds the synthesized image data E80 generated by the inverse wavelet transform unit 1280 and processed by the post-processing unit 1290 in the synthesis destination range in the second basic image data D10.
  • the second basic image data D10 into which the composite image data E80 is inserted is output as composite image data E100 that is output data of the composite system 21F.
  • ⁇ Operation> 55 and 56 are flowcharts for explaining the operation of the supply system 11F. 55 and 56 are connected by a connector C2.
  • the operation flow S1000F of FIGS. 55 and 56 is basically the same as the operation flow S1000 (see FIG. 16) according to the first embodiment, except for the following points.
  • a mask generation step S1200F is provided instead of the mask generation step S1200.
  • a first basic image cutting step S1103 is added.
  • a data embedding step S1005F is provided instead of the data embedding step S1005.
  • the basic mask generation unit 1051 generates the basic mask data B10.
  • the cut range determination unit 1053 determines the cut range 83.
  • the mask cutting unit 1054 generates original mask data B20 for a development mask from the basic mask data B10.
  • the mask development unit 1052 performs mask development processing on the original mask data B20 to generate development mask data B21.
  • the first image cutting unit 1080 cuts the first target image data A20 from the first basic image data A10 based on the cutting range specifying data F50 generated in step S1203. For this reason, step S1103 is executed after step S1203. After step S1103, preprocessing step S1101 is executed.
  • the bit stream generation unit 1070 embeds the synthesis control data C50 and the cut range specifying data F50 in the encoded bit stream Abs.
  • FIGS. 57 and 58 are flowcharts for explaining the operation of the synthesis system 21F. 57 and 58 are connected by a connector C3.
  • the operation flow S2000F of FIGS. 57 and 58 is basically the same as the operation flow S2000 (see FIGS. 25 and 26) according to the first embodiment, except for the following points.
  • a data extraction step S2102F is provided instead of the data extraction step S2102 (see FIG. 25).
  • a second basic image cutting step S2203 and an image embedding step S2305 are added.
  • the bit stream analysis unit 1210 extracts the encoded data A50, the synthesis control data C50, and the cut range specifying data F50 from the encoded bitstream Abs.
  • step S2203 the second image cutting unit 1310 cuts the second target image data D50 from the second basic image data D10 based on the cutting range specifying data F50 extracted in step S2102F. For this reason, step S2203 is executed after step S2102F. After step S2203, a wavelet conversion step S2203 is executed.
  • the image embedding step S2305 is executed after the post-processing step S2303.
  • the embedding unit 1320 embeds post-processed composite image data E80 in the composite destination range in the second basic image data D10.
  • output step S2304 is executed.
  • the supply system 11F cuts and outputs the first target image from the first basic image. For this reason, the size of the encoded data A50 can be reduced, and therefore the size of the encoded bitstream Abs can be reduced. Therefore, when the encoded bit stream Abs is transmitted by wired or wireless communication, the amount of communication can be reduced, which is useful for immediate transmission. Moreover, since the size of the first target image and the second target image is reduced, the calculation load in the synthesis system 21F can be reduced. This is useful for speeding up image synthesis. In view of these, the immediacy of image synthesis is improved.
  • the highest band component to be tracked Is the lowest band component LL3 in the wavelet plane at the highest resolution level.
  • the wavelet transform adopts a method of recursively decomposing the highest band component of the wavelet plane, the highest band component in the wavelet plane at the highest decomposition level is subject to tracking processing. become.
  • the high-frequency component that is, the high-pass filter side
  • the output on the left side (equivalent to the upper side) of the high frequency component is p
  • q 2n + 1
  • p n ⁇ 1
  • Solving this results in p (q ⁇ 3) / 2 (Formula 6).
  • the high-frequency component that is, the high-pass filter side
  • the output on the left side (equivalent to the upper side) of the high frequency component is p
  • q 2n
  • p n ⁇ 1
  • n p.
  • r p (Formula 13)
  • s 2p-2 (Formula 14)
  • Solving this results in s 2r-2 (Equation 15). This is an equation according to step S553.
  • the high-frequency component that is, the high-pass filter side
  • the output on the left side (equivalent to the upper side) of the high frequency component is p
  • q 2n + 1
  • p n ⁇ 2
  • Solving this results in p (q-5) / 2 (Equation 32).
  • the high-frequency component that is, the high-pass filter side
  • the output on the left side (equivalent to the upper side) of the high frequency component is p
  • q 2n
  • Solving this results in p q / 2-2 (Equation 38).
  • n p.
  • r p (Formula 39)
  • s 2p-4 (Formula 40)
  • Solving this results in s 2r-4 (Equation 41). This is an equation related to step S563.
  • n p.
  • r p (Formula 42)
  • s 2p-2 (Formula 43)
  • Solving this results in s 2r-2 (formula 44).
  • the second basic image is larger than the first target image and the second target image.
  • the second basic image itself may be the same size as the first target image and the second target image.
  • the second image cutout unit 1310 may be deleted.
  • the lowest band component LL1 at the decomposition level 1 can provide an image with a reduction ratio of 1/2 with respect to the original image (in other words, an image with an image size of 1/4).
  • the lowest band component LLm at the decomposition level m can provide an image having a reduction ratio of 1/2 m with respect to the original image (see FIG. 59).
  • m is an integer equal to or greater than 0 by associating an original image in a state where wavelet transformation is not performed with the decomposition level 0 as described above.
  • the image size when the original image is reduced by 1/2 m is equal to the image size provided by the lowest band component LLm when the original image is decomposed to the decomposition level m.
  • the size of a 1/2 m reduced image may be expressed as an image size corresponding to the decomposition level m. Note that this representation of image size can also be used when a reduced image is compared with another image having the same image size as the original image.
  • FIG. 60 is a block diagram illustrating an inverse wavelet transform unit 1280G according to the seventh embodiment.
  • the inverse wavelet conversion unit 1280G can be applied to Embodiments 1 to 5 instead of the inverse wavelet conversion unit 1280 (see FIG. 17 and the like) of the synthesis system 21 and the like.
  • the inverse wavelet transform unit 1280G performs inverse wavelet transform on the synthesized coefficient data E61 until the decomposition level reaches a predetermined end level.
  • the lowest band component LL is set in the composite image data E80.
  • the end level of the inverse wavelet conversion in other words, the image size of the composite image is instructed to the inverse wavelet conversion unit 1280G by the image size control data C60.
  • the image size control data C60 is input to the composition system by the user of the composition system.
  • the image size control data C60 may be supplied from the supply system in the same manner as the synthesis control data C50 (see FIGS. 3 and 29).
  • the image size control data C60 is, for example, a numerical value that directly indicates the end level of the inverse wavelet conversion.
  • the image size control data C60 may be data that can derive the end level of the inverse wavelet transform. Examples of data from which the end level of the inverse wavelet transform can be derived include a numerical value indicating the number of inverse wavelet conversions, a numerical value indicating a reduction ratio with respect to the original image size, and the like.
  • the end level of the inverse wavelet transform can be set within a range of the decomposition level 0 or more and the decomposition level of the synthesized coefficient data E61 (that is, the decomposition level specified by the synthesis control data C50).
  • the end level of inverse wavelet transformation is set to decomposition level 0
  • a composite image of the original image size can be obtained as in the first to fifth embodiments.
  • Embodiments 1 to 5 are examples in which the end level of inverse wavelet transformation is fixed to 0
  • Embodiment 7 is an example in which the end level of inverse wavelet transformation is variable.
  • the image size of the composite image can be controlled, and a composite image not only having the same size as the original image but also smaller than the original image can be obtained.
  • FIG. 61 shows a conceptual diagram of image composition according to the eighth embodiment.
  • the first basic image is used as it is as the first target image, and the first wavelet coefficient data is generated from the first target image.
  • the decomposition level of the first wavelet coefficient data is 3.
  • the entire second basic image is reduced, and the reduced image is used as the second target image.
  • the second basic image has the same size and shape as the first basic image (in other words, the second basic image is congruent with the first basic image), and the entire second basic image. Is reduced with a reduction ratio of 1/2. That is, the reduction ratio of the second target image to the second basic image and the first basic image is 1 ⁇ 2. In other words, the image size of the second target image is 1/4 with respect to the second basic image and the first basic image.
  • second wavelet coefficient data is generated from the second target image.
  • the first wavelet coefficient data and the second wavelet coefficient data are synthesized in the same manner as in the first embodiment.
  • synthesis is performed according to the range of the second target image having a small image size, in other words, according to the range of the second wavelet coefficient data.
  • a part of the first wavelet coefficient data (the part corresponding to the second wavelet coefficient data) and the whole of the second wavelet coefficient data are used for the coefficient synthesis process.
  • the part of the first wavelet coefficient data is the most decomposed band components (that is, the highest band components) LL3, HL3, LH3, HH3 in the first wavelet coefficient data.
  • the bands HL2, LH2, and HH2 are one level lower than the highest band component.
  • synthesized coefficient data having the same decomposition level as the second wavelet coefficient data (here, decomposition level 2) is generated.
  • composite image data is generated by performing inverse wavelet transform to the decomposition level 0 on the combined coefficient data.
  • a composite image having the same size and shape as the second target image in other words, a composite image having a reduction ratio of 1/2 with respect to the second basic image and the first basic image is provided.
  • the first wavelet coefficient data (in the example of FIG. 62, the highest band components LL3, HL3, LH3, and HH3 among the first wavelet coefficient data) and the second wavelet coefficient data are combined. .
  • synthesized coefficient data having the same decomposition level (here, decomposition level 1) as the second wavelet coefficient data is generated.
  • composite image data is generated by performing inverse wavelet transform to the decomposition level 0 on the combined coefficient data.
  • FIG. 63 shows an example in which the decomposition level of the first wavelet coefficient is 4, and the reduction ratio of the second target image to the second basic image is 1/2.
  • the first wavelet coefficient data data in the range from the highest band components LL4, HL4, LH4, and HH4 to the bands HL2, LH2, and HH2 that are two levels lower than the highest band component, Used for synthesis.
  • the composite image is provided with the same image size as the second target image, in other words, with a reduction ratio of 1/2 with respect to the second basic image and the first basic image.
  • the image size of the composite image can be controlled by controlling the image size of the second target image.
  • the following knowledge is obtained from the examples of FIGS.
  • the second target image has a similar shape to the first target image, and the similarity ratio of the second target image to the first target image is less than 1.
  • a similarity ratio of less than 1 may be referred to as a reduction ratio.
  • P1, P2, and P3 are natural numbers.
  • the coefficient synthesis process is performed in accordance with the range of the second wavelet coefficient data. For this reason, as the first wavelet coefficient data, band component data within a predetermined number of levels counted from the most significant band component is used, and the predetermined number of levels represents the decomposition level of the second wavelet coefficient data. Given as a number.
  • the decomposition level of the synthesized coefficient data is the same as that of the second wavelet coefficient data.
  • a composite image having the same image size as that of the second target image is obtained by performing inverse wavelet transform on the combined coefficient data up to the decomposition level 0.
  • FIG. 64 shows a configuration example of the synthesis system 21H with respect to an example in which the above knowledge is applied to the first embodiment.
  • the composition system 21H has a configuration in which an image reduction unit 1330 is added to the composition system 21 (see FIG. 17) according to the first embodiment.
  • the image reducing unit 1330 obtains the second basic image data D10 and reduces the second basic image to generate a second target image that is similar to the first target image.
  • the generated second target image data D50 is supplied to the wavelet conversion unit 1260.
  • the image reduction unit 1330 performs wavelet transform on the second basic image data D10 by resolving the lowest band component LL recursively. Repeat until level P3. Then, the image reduction unit 1330 extracts the lowest band component LL at the decomposition level P3 as the second target image data D50.
  • the image reduction unit 1330 may be configured to generate the second target image by a general image reduction process using an average filter. In that case, 1/2 reduction may be performed P3 times, or 1/2 P3 may be reduced at a time.
  • the image size of the second target image in other words, the image size of the composite image is instructed to the image reduction unit 1330 by the image size control data C70.
  • the image size control data C70 is input to the composition system 21H by the user of the composition system 21H.
  • the image size control data C70 may be supplied from the supply system in the same manner as the synthesis control data C50 (see FIGS. 3 and 29).
  • the image size control data C70 is set to a value of P3 when the similarity ratio of the second target image to the first target image is expressed as 1/2 P3 as described above.
  • the image size control data C70 may be data from which the value of P3 can be derived. Examples of data that can derive a value of P3, the value or the like of the similarity ratio (1/2 P3) and the like.
  • the image size control data C70 is also supplied to the wavelet conversion unit 1260.
  • the wavelet transform unit 1260 can acquire the first decomposition level designated for the first wavelet coefficient data A61, that is, the value of P1 from the above-described synthesis control data C50.
  • the wavelet conversion unit 1260 performs wavelet conversion on the second target image data D50 up to the decomposition level (second decomposition level) indicated by the obtained P2.
  • the image size control data C70 is also supplied to the synthesis execution unit 1270, and is used to specify a range to be used for coefficient synthesis processing in the first wavelet coefficient data A61.
  • the range of the first wavelet coefficient data A61 is determined according to the numerical value indicating the decomposition level P2 of the second wavelet coefficient data as described above.
  • the composition execution unit 1270 calculates the value of P2.
  • the synthesis execution unit 1270 may acquire the calculated value of P2 from the wavelet conversion unit 1260. In this case, the supply of the image size control data C70 to the composition execution unit 1270 can be omitted.
  • the image size control data C70 is also supplied to the inverse wavelet conversion unit 1280, and is used to set the number of inverse wavelet conversions, in other words, to know the decomposition level of the combined coefficient data E61.
  • FIG. 65 shows a flowchart for explaining the operation of the synthesis system 21H.
  • step S2204 is added to the operation flow S2000 (see FIG. 25) according to the first embodiment.
  • the image reduction unit 1330 reduces the second basic image to generate a second target image.
  • the image size of the composite image can be controlled, and a composite image having a size smaller than that of the original image can be obtained.
  • the eighth embodiment can be combined with the second embodiment and the like, whereby the same effect as the second embodiment can be obtained.
  • the second target image is generated by reducing the entire second basic image.
  • the second target image can be generated by reducing a part of the second basic image.
  • the second basic image before reduction may not be similar to the first target image.
  • the horizontal and vertical reduction ratios of the second basic image may be made different.
  • the similarity ratio of the second target image to the first target image is less than 1. That is, when the similarity ratio is expressed as 1/2 P3 , P3 is a natural number. However, when the similarity ratio is 1 (P3 is 0 at this time), that is, when the second target image is congruent with the first target image, the synthesis system 21H can be used.
  • the image reducing unit 1330 outputs the second basic image. May be supplied to the wavelet conversion unit 1260 without being reduced.
  • a composite image of the original image size can be obtained as in the first to fifth embodiments.
  • Embodiments 1 to 5 are examples specialized when the similarity ratio of the second target image to the first target image is 1.
  • a second target image having a similar shape to the first target image is generated by reducing at least a part of the second basic image (see FIGS. 61 to 63).
  • FIG. 66 an example will be described in which a part of the second basic image is cut out as a second target image having a similar shape to the first target image. That is, as long as the requirement that the second target image is similar to the first target image is satisfied, the second target image can be generated by cutting.
  • FIG. 67 shows a configuration example of the synthesis system 21I according to the ninth embodiment.
  • the composition system 21I has a configuration in which a second image cutout unit 1340 is provided instead of the image reduction unit 1330 in the composition system 21H (see FIG. 64) according to the eighth embodiment.
  • the other configuration of the synthesis system 21I is the same as that of the synthesis system 21H according to the eighth embodiment.
  • the second image cutout unit 1340 obtains the second basic image data D10, and uses the first target image in the second basic image with the similarity ratio (that is, the similarity ratio of the second target image to the first target image).
  • a similar shape range that forms a similar shape is set, and data in the similar shape range is cut out as second target image data D50 from the second basic image data D10.
  • the generated second target image data D50 is supplied to the wavelet conversion unit 1260.
  • the image size of the second target image in other words, the image size of the composite image is instructed to the second image cutout unit 1340 by the image size control data C70.
  • the image size control data C70 includes data indicating the position of the similar shape range cut out as the second target image.
  • FIG. 68 shows a flowchart for explaining the operation of the synthesis system 21I.
  • an image cutting step S2205 is provided instead of the image reduction step S2204.
  • the second image cutout unit 1340 cuts the second target image data D50 from the second basic image data D10 as described above.
  • Other steps in the operation flow S2000I are the same as those in the operation flow S2000H in FIG.
  • the image size of the composite image can be controlled, and a composite image having a size smaller than that of the original image can be obtained.
  • the eighth embodiment can be combined with the second embodiment and the like, whereby the same effect as the second embodiment can be obtained.
  • the synthesis system 21I can be used not only when the similarity ratio is less than 1 but also when it is 1 or less.
  • the second image cutout unit 1340 The image may be supplied to the wavelet conversion unit 1260 without being cut out. In this case, a composite image of the original image size can be obtained as in the first to fifth embodiments.
  • FIG. 69 shows a configuration example of a supply system 11J according to the tenth embodiment.
  • the supply system 11J can be applied to the image processing systems 1, 10 and the like instead of the supply system 11 according to the first embodiment.
  • the supply system 11J has a configuration in which a combining unit 1100 is added to the supply system 11 according to the first embodiment.
  • the synthesizing unit 1100 has a configuration in which the bit stream analyzing unit 1210 and the decoding unit 1220 are deleted from the synthesizing system 21 (see FIG. 17), and operates in the same manner as the synthesizing system 21 to generate synthesized image data E100. . Specifically, the synthesizing unit 1100 performs mask reproduction processing and inverse quantization processing based on the quantized wavelet coefficient data A22 generated by the quantization unit 1040, and generates a result of the mask reproduction processing and inverse quantization processing. Based on this, the decomposition level conversion process is performed. The synthesizing unit 1100 performs wavelet conversion processing on the second target image data.
  • the 2nd basic image data D10 used as the source of 2nd object image data is acquirable from the synthetic
  • the synthesis unit 1100 performs a synthesis execution process and an inverse wavelet conversion process based on the results of the decomposition level conversion process and the wavelet conversion process. Post-processing is performed on the data after the inverse wavelet conversion processing as necessary. Thereby, the composite image data E100 is generated.
  • the display unit 31 Based on the synthesized image data E100 generated by the synthesizing unit 1100, the display unit 31 (see FIG. 2) on the supply system 11J side performs a display operation, whereby the ROI and the second target image in the first target image are displayed. And a composite image can be displayed. For this reason, for example, before supplying the encoded bit stream Abs to the synthesis system 21 (in other words, before supplying the encoded data A22), the synthesized image can be confirmed on the supply system 11J side. In particular, it is possible to confirm the degree of composition according to the composition control data C50.
  • the supply side device 30 (see FIG. 2) can be applied alone as an image processing device having an image synthesis function.
  • a hardware configuration example of such an image processing device 30J is shown in FIG.
  • the image processing apparatus 30J includes an image processing system 90, a display unit 31, and an operation unit 32. Similar to the supply-side device 30, the image processing device 30J may include one or both of the I / F 33 and the image input unit 34.
  • the image processing system 90 includes an image composition system 91, and the image composition system 91 includes a composition unit 1100, a data preparation unit 1110, and a semiconductor memory (hereinafter also referred to as a memory) 1120.
  • the combining unit 1100, the data preparation unit 1110, and the memory 1120 are connected via a bus (which is an example of a wired communication medium).
  • the image processing system 90 can be formed as a single semiconductor integrated circuit, in other words, as a single chip.
  • the image processing system 90 may be configured only by the image composition system 91 or may further include another processing system.
  • the data preparation unit 1110 has a configuration in which the encoding unit 1060 and the bitstream generation unit 1070 are deleted from the supply system 11 (see FIG. 3), and acquires the first basic image data A10. Accordingly, the data preparation unit 1110 operates in the same manner as the supply system 11 and generates the quantized wavelet coefficient data A22 for the first target image.
  • the memory 1120 stores the first basic image data A10 and the second basic image data D10 supplied to the image composition system 91. Accordingly, the data preparation unit 1110 reads the first basic image data A10 from the memory 1120, and generates quantized wavelet coefficient data A22 based on the first basic image data A10. The synthesizing unit 1100 reads the second basic image data D10 from the memory 1120 and uses it for image synthesis.
  • the composition control data C50 is supplied to the composition unit 1100 when the user inputs it to the operation unit 32. Further, the display unit 31 displays a composite image based on the composite image data E100 generated by the composite unit 1100.
  • composition of the composition system according to the second embodiment or the like can be applied to the composition unit 1100.
  • the configuration formed by the memory 1120 and the data preparation unit 1110 can be regarded as a data supply system that supplies the quantized wavelet coefficient data A22.
  • the synthesizing unit 1100 is further regarded as an image synthesizing system
  • the configuration of FIG. 70 is such that the data supply system and the image synthesizing system are connected via a bus (an example of a wired communication medium as described above). It is possible to grasp that
  • a combination of the data supply system 11 and the synthesis system 21 can be formed by a single semiconductor integrated circuit.
  • the data supply system 11 and the synthesis system 21 are connected via a bus.
  • the data supply system 11 and the synthesizing system 21 communicate without going through the external I / Fs 33 and 43, unlike FIG. 2, but communicate through the bus corresponding to the medium 50.
  • encoding and decoding of the transfer data can be omitted. .
  • the encoding unit 1060, the bit stream generation unit 1070, the bit stream analysis unit 1210, and the decoding unit 1220 may not be used.
  • the encoding unit 1060, the bit stream generation unit 1070, the bit stream analysis unit 1210, and the decoding unit 1220 can be omitted.
  • other combinations of the data supply system 11B and the like and the synthesis system 21B and the like can be formed by a single semiconductor integrated circuit.
  • Image processing system (overall system) 10, 20, 90 Image processing system 11, 11C, 11D, 11F, 11J Data supply system 21, 21C to 21F, 21H, 21I, 91 Image composition system 32, 42 Operation unit (operation medium) 50 Medium 60 First basic image 60a ROI 60b non-ROI 61-63 Wavelet plane 70 Basic mask 71-73 Development mask 70a, 71a, 72a, 73a, 70aS ROI corresponding part 70b, 71b, 72b, 73b, 70bS Non-ROI corresponding part 81 Minimum range 82 Tracking minimum range 83 Cutout range 1030 Wavelet transform unit 1040 Quantization unit 1050, 1050F Mask generation unit 1051 Basic mask generation unit 1052 Mask expansion unit 1053 Clipping range determination unit 1054 Mask cutout unit 1060 Coding unit 1070 Bit stream generation unit 1080 First image cutout unit 1100 Synthesis unit 1110 Data preparation unit 1120 Semiconductor memory 1210 Bit stream analysis unit 1220 Decoding unit 1230 Mask reproduction unit 1240 Inverse quantization unit 1250, 12

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

　不十分なＲＯＩを利用しても、修復されたＲＯＩを有する合成画像を生成する。さらに合成具合等を調整する。合成実行部（１２７０）は、第１対象画像に対応する第１ウエーブレット係数データ（Ａ６１）についてＲＯＩ係数と非ＲＯＩ係数とを、第１ウエーブレット係数データ（Ａ６１）用に展開されたマスクデータ（Ｂ６１）に基づいて判別する。合成実行部（１２７０）は、第１ウエーブレット係数データ（Ａ６１）中のＲＯＩ係数と、第２対象画像に対応する第２ウエーブレット係数データ（Ｄ６１）中の係数とを合成する（係数合成処理）。それにより合成済み係数データ（Ｅ６１）が生成される。逆ウエーブレット変換部（１２８０）は、合成済み係数データ（Ｅ６１）に対して、分解レベルが所定の終了レベルになるまで逆ウエーブレット変換を行う。それにより合成画像データ（Ｅ８０）が生成される。

Description

画像処理システムおよび画像処理方法
　本発明は、画像処理システムおよび画像処理方法に関する。
　特許文献１～３には、動画像中の動体を検出する技術が開示されている。また、特許文献４，５には、パーティクルフィルタを利用して動体を追跡する技術が開示されている。このような動体検出技術を利用すれば、画像中の動体をＲＯＩ（関心領域）として切り取ることができる。
　また、デジタルカメラによって撮影された静止画像を対象として、グラフカットによって、画像全体から前景画像と背景画像とを分離する技術が知られている。このような画像分離技術を利用すれば、前景画像をＲＯＩとして切り取ることができる。
特開２０１３－２５４２９１号公報 特開２００７－０８８８９７号公報 特開２００６－０９３７８４号公報 特開２００９－１９９３６３号公報 特開２００５－１６５６８８号公報 特開２００６－２０３４０９号公報 特表２００１－５２０４６６号公報 特開２００３－３２４６１３号公報
INTERNATIONAL STANDARD ISO/IEC 15444-1 ITU-T RECOMMENDATION T.800 Information technology - JPEG 2000 image coding system: Core coding system Annex H - Coding of images with regions of interest
　上記のようにＲＯＩを自動的に設定する種々の技術が開発されている。しかし、ＲＯＩとして設定されるべき所期の領域を精度良く検出することは、技術的に未だ難しいと思われる。
　例えば、ＲＯＩの輪郭、換言すればＲＯＩと非ＲＯＩとの境界を正確に判別することは、難しい。このため、所期の領域から局所的に張り出した部分を有して、あるいは逆に所期の領域を局所的に侵食した部分を有して、ＲＯＩが設定されることがある。また、所期の領域内に欠損を有して、ＲＯＩが設定されることがある。すなわち、本来は所期の領域の全域がＲＯＩとして設定されるべきところ、当該領域内に非ＲＯＩが存在すると判別され、その非ＲＯＩがＲＯＩの欠損を成すのである。輪郭および／または内部にそのような不具合を有した不十分なＲＯＩを別の画像と合成しても、不自然さを感じるであろう。
　本発明は、不十分なＲＯＩを利用しても、修復されたＲＯＩを有する合成画像を生成可能であり、さらには合成具合を調整可能な技術を提供することを目的とする。また、関連技術を提供することを目的とする。
　本発明の一態様によれば、第１対象画像中のＲＯＩ（関心領域）と第２対象画像とを合成する画像合成システムを含む画像処理システムが提供される。ここで、前記第２対象画像は前記第１対象画像と相似形を成し、前記第１対象画像に対する前記第２対象画像の相似比が１以下である。前記画像合成システムは、前記第１対象画像のデータである第１対象画像データ用の符号化ビットストリームと、前記第２対象画像の源となる第２基礎画像のデータである第２基礎画像データと、合成具合を制御するための合成制御データとを取得する。ここで、前記符号化ビットストリームの生成処理は、前記第１対象画像データに対して、予め設定された初期の分解レベルまで、ウエーブレット変換を行うことによって、第１ウエーブレット係数データを生成する、ウエーブレット変換処理と、前記第１ウエーブレット係数データについて前記ＲＯＩに関与するＲＯＩ係数と非ＲＯＩに関与する非ＲＯＩ係数とを判別するためのマスクのデータであるマスクデータを生成する、マスク生成処理と、前記マスクデータに基づいて前記第１ウエーブレット係数データ中の前記ＲＯＩ係数と前記非ＲＯＩ係数とを判別し、前記非ＲＯＩ係数が０になるように前記第１ウエーブレット係数データに対して量子化を行い、それにより量子化ウエーブレット係数データを生成する、量子化処理と、前記量子化ウエーブレット係数データを符号化して符号化データを生成する符号化処理と、前記符号化データから前記符号化ビットストリームを生成するビットストリーム生成処理とを含む。前記画像合成システムは、前記符号化ビットストリームから前記符号化データを抽出するビットストリーム解析部と、前記符号化データを復号化して前記量子化ウエーブレット係数データを生成する復号化部と、前記量子化ウエーブレット係数データを構成する各データの値が０であるか否かを判別することによって、前記量子化ウエーブレット係数データ中の前記ＲＯＩ係数と前記非ＲＯＩ係数とを判別し、判別結果に基づいて前記初期の分解レベルの前記マスクデータを再現する、マスク再現部と、前記量子化ウエーブレット係数データに対して逆量子化を行うことによって、前記初期の分解レベルの前記第１ウエーブレット係数データを生成する、逆量子化部と、前記第１ウエーブレット係数データおよび前記マスクデータを、前記初期の分解レベルから、前記合成制御データによって指定された第１の分解レベルに変換する分解レベル変換処理を行う、分解レベル変換部と、前記第２対象画像のデータである第２対象画像データに対して、前記第１の分解レベルおよび前記相似比に応じて決まる第２の分解レベルまで前記ウエーブレット変換を行うことによって、第２ウエーブレット係数データを生成する、ウエーブレット変換部とを含む。ここで、前記第１ウエーブレット係数データの前記第１の分解レベルをＰ１とし、前記第２ウエーブレット係数データの前記第２の分解レベルをＰ２とし、前記相似比を１／２Ｐ３とした場合、Ｐ２＝Ｐ１－Ｐ３である。前記画像合成システムは、さらに、前記第１の分解レベルの前記第１ウエーブレット係数データについて前記ＲＯＩ係数と前記非ＲＯＩ係数とを、前記第１の分解レベルの前記マスクデータに基づいて判別し、前記第１の分解レベルの前記第１ウエーブレット係数データ中の前記ＲＯＩ係数と、前記第２ウエーブレット係数データ中の係数とを合成する係数合成処理を行い、それにより、画像サイズおよび分解レベルが前記第２ウエーブレット係数データと同じである合成済み係数データを生成する、合成実行部と、前記合成済み係数データに対して、分解レベルが所定の終了レベルになるまで逆ウエーブレット変換を行うことによって、合成画像データを生成する、逆ウエーブレット変換部とを含む。
　上記一態様によれば、第１対象画像中のＲＯＩと第２対象画像との合成は、第１対象画像データおよび第２対象画像データを変換した第１ウエーブレット係数データおよび第２ウエーブレット係数データを用いて行われる。また、第１対象画像中のＲＯＩの判別は、第１ウエーブレット係数データについてＲＯＩ係数を判別することによって行われる。このため、不十分なＲＯＩを利用しても、合成画像上では、修復されたＲＯＩを提供できる。すなわち、第１対象画像データおよび第２対象画像データをそのまま合成する場合に比べて、良好な合成画像が得られる。また、ウエーブレット変換の分解レベルを合成制御データで制御することによって、合成具合（ＲＯＩの修復、ＲＯＩの拡張、等）を調整できる。また、合成画像の画像サイズを調整できる。
　本発明の目的、特徴、局面、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
実施の形態１について、画像処理システムの概念図である。 実施の形態１について、画像処理システムを説明するブロック図である。 実施の形態１について、データ供給システムを説明するブロック図である。 実施の形態１について、Ｍａｌｌａｔ型のウエーブレット平面を説明する図である（分解レベル１）。 実施の形態１について、Ｍａｌｌａｔ型のウエーブレット平面を説明する図である（分解レベル２）。 実施の形態１について、Ｍａｌｌａｔ型のウエーブレット平面を説明する図である（分解レベル３）。 実施の形態１について、マスク生成部を説明するブロック図である。 実施の形態１について、第１基礎画像の例を示す図である。 実施の形態１について、基礎マスクの例を示す図である。 実施の形態１について、展開マスクを説明する図である（分解レベル１）。 実施の形態１について、展開マスクを説明する図である（分解レベル２）。 実施の形態１について、展開マスクを説明する図である（分解レベル３）。 実施の形態１について、マスク展開処理を説明するフローチャートである。 実施の形態１について、ウエーブレット変換に５×３フィルタが使用される場合のマスク展開処理を説明する図である。 実施の形態１について、ウエーブレット変換にDaubechies９×７フィルタが使用される場合のマスク展開処理を説明する図である。 実施の形態１について、データ供給システムの動作を説明するフローチャートである。 実施の形態１について、画像合成システムを説明するブロック図である。 実施の形態１について、マスク再現処理を説明するフローチャートである。 実施の形態１について、分解レベル変換部を説明するブロック図である。 実施の形態１について、マスク復元処理を説明するフローチャートである。 実施の形態１について、ウエーブレット変換に５×３フィルタが使用される場合のマスク復元処理を説明する図である。 実施の形態１について、ウエーブレット変換にDaubechies９×７フィルタが使用される場合のマスク復元処理を説明する図である。 実施の形態１について、係数合成処理（第１係数合成処理）を説明するフローチャートである。 実施の形態１について、係数合成処理（第２係数合成処理）を説明するフローチャートである。 実施の形態１について、画像合成システムの動作を説明するフローチャートである。 実施の形態１について、画像合成システムの動作を説明するフローチャートである。 実施の形態２について、分解レベル変換部を説明するブロック図である。 実施の形態２について、分解レベル変換部の動作を説明するフローチャートである。 実施の形態３について、データ供給システムを説明するブロック図である。 実施の形態３について、画像合成システムを説明するブロック図である。 実施の形態３について、データ供給システムの動作を説明するフローチャートである。 実施の形態３について、画像合成システムの動作を説明するフローチャートである。 実施の形態４について、データ供給システムを説明するブロック図である。 実施の形態４について、画像合成システムを説明するブロック図である。 実施の形態５について、画像合成システムを説明するブロック図である。 実施の形態６について、切り取り範囲を説明するための図である。 実施の形態６について、切り取り範囲を説明するための図である。 実施の形態６について、切り取り範囲を説明するための図である。 実施の形態６について、切り取り範囲を説明するための図である。 実施の形態６について、切り取り範囲決定処理を説明するフローチャートである。 実施の形態６について、ウエーブレット変換で１画素分の出力を得るために必要な画素の範囲を説明する図である（５×３フィルタ）。 実施の形態６について、ウエーブレット変換で１画素分の出力を得るために必要な画素の範囲を説明する図である（５×３フィルタ）。 実施の形態６について、ウエーブレット変換で１画素分の出力を得るために必要な画素の範囲を説明する図である（Daubechies９×７フィルタ）。 実施の形態６について、ウエーブレット変換で１画素分の出力を得るために必要な画素の範囲を説明する図である（Daubechies９×７フィルタ）。 実施の形態６について、追跡最小範囲を説明するための図である。 実施の形態６について、追跡最小範囲の左上端座標の求め方を説明するフローチャートである（５×３フィルタ）。 実施の形態６について、追跡最小範囲の右下端座標の求め方を説明するフローチャートである（５×３フィルタ）。 実施の形態６について、追跡最小範囲の左上端座標の求め方を説明するフローチャートである（Daubechies９×７フィルタ）。 実施の形態６について、追跡最小範囲の右下端座標の求め方を説明するフローチャートである（Daubechies９×７フィルタ）。 実施の形態６について、必要範囲（切り取り範囲）の求め方を説明するフローチャートである（５×３フィルタ）。 実施の形態６について、必要範囲（切り取り範囲）の求め方を説明するフローチャートである（Daubechies９×７フィルタ）。 実施の形態６について、データ供給システムを説明するブロック図である。 実施の形態６について、マスク生成部を説明するブロック図である。 実施の形態６について、画像合成システムを説明するブロック図である。 実施の形態６について、データ供給システムの動作を説明するフローチャートである。 実施の形態６について、データ供給システムの動作を説明するフローチャートである。 実施の形態６について、画像合成システムの動作を説明するフローチャートである。 実施の形態６について、画像合成システムの動作を説明するフローチャートである。 実施の形態７について、画像合成の概念図である。 実施の形態７について、逆ウエーブレット変換部を説明するブロック図である。 実施の形態８について、画像合成の概念図である。 実施の形態８について、画像合成の概念図である。 実施の形態８について、画像合成の概念図である。 実施の形態８について、画像合成システムを説明するブロック図である。 実施の形態８について、画像合成システムの動作を説明するフローチャートである。 実施の形態９について、画像合成の概念図である。 実施の形態９について、画像合成システムを説明するブロック図である。 実施の形態９について、画像合成システムの動作を説明するフローチャートである。 実施の形態１０について、供給システムを説明するブロック図である。 実施の形態１０について、画像処理装置を説明するハードウェア構成図である。
　＜実施の形態１＞
　＜システムの概要＞
　図１に、実施の形態１に係る画像処理システム１の概念図を示す。図１に示すように、画像処理システム１は２つの画像処理システム１０，２０を含んでいる。一方の画像処理システム１０はデータ供給システム１１を含み、もう一方の画像処理システム２０は画像合成システム２１を含んでいる。画像合成システム２１は画像合成処理を実行する。データ供給システム１１は画像合成処理に使用するデータを出力する。以下では、画像処理システム１を全体システム１と呼び、データ供給システム１１を供給システム１１と呼び、画像合成システム２１を合成システム２１と呼ぶ場合もある。
　画像処理システム１０は、供給システム１１だけで構成されてもよいし、他の処理システムをさらに含んでもよい。同様に、画像処理システム２０は、合成システム２１だけで構成されてもよいし、他の処理システムをさらに含んでもよい。また、図１から分かるように、供給システム１１は、画像処理システム１０に含まれると共に全体システム１にも含まれる。同様に、合成システム２１は、画像処理システム２０に含まれると共に全体システム１にも含まれる。
　画像処理システム１０，２０は、ここでは、半導体集積回路によって提供される。すなわち、画像処理システム１０，２０の各種の機能および処理は、回路的に、換言すればハードウェア的に実現される。但し、機能および処理の一部または全部を、マイクロプロセッサを機能させるプログラムによって、換言すればソフトウェアによって実現することも可能である。
　＜全体システム１の例＞
　図２に、全体システム１の適用例を示す。図２の例では、画像処理システム１０がデータ供給側装置３０に設けられ、画像処理システム２０が画像合成側装置４０に設けられている。以下では、データ供給側装置３０を供給側装置３０と呼び、画像合成側装置４０を合成側装置４０と呼ぶ場合もある。供給側装置３０のユーザは合成側装置４０のユーザとは異なるものとするが、この例に限定されるものではない。
　供給側装置３０は、画像処理システム１０の他に、表示部３１と、操作部３２と、外部インターフェース３３と、画像入力部３４とを含んでいる。合成側装置４０は、画像処理システム２０の他に、表示部４１と、操作部４２と、外部インターフェース４３と、画像入力部４４とを含んでいる。以下では、外部インターフェース３３，４３をＩ／Ｆ３３，４３と呼ぶ場合もある。
　表示部３１，４１は例えば液晶表示装置で構成されるが、表示部３１，４１は異なる種類の表示装置で構成されてもよい。操作部３２，４２は、ユーザが装置３０，４０に対して、換言すれば画像処理システム１０，２０に対して、指示、データ等を入力するための操作媒体である。操作部３２，４２はキーボード、マウス、ボタン、スイッチ等の１つまたは複数の装置によって構成される。
　Ｉ／Ｆ３３は供給側装置３０が装置外部と信号の入出力を行う部分である。同様に、Ｉ／Ｆ４３は合成側装置４０が装置外部と信号の入出力を行う部分である。Ｉ／Ｆ３３，４３を利用することによって、供給側装置３０と合成側装置４０との間で情報（データ、指示等）の伝達が可能になる。
　具体的にＩ／Ｆ３３，４３は通信インターフェースを含んでおり、それにより供給側装置３０と合成側装置４０とがＩ／Ｆ３３，４３によって通信可能になる。装置３０，４０間の通信方式は、有線と、無線と、それらの組み合わせとのいずれでもよい。装置３０，４０間の情報伝達には、媒体５０が介在する。上記のように通信の場合、媒体５０は無線または有線の通信媒体（換言すれば通信経路）である。
　Ｉ／Ｆ３３，３４は、通信インターフェースに加えてまたは代えて、外部記憶媒体用のインターフェースを含んでもよい。その場合、供給側装置３０と合成側装置４０との間の情報伝達は外部記憶媒体を介して行うことが可能であり、その外部記憶媒体が装置３０，４０間に介在する媒体５０に該当する。
　画像入力部３４は、デジタルカメラによって構成される。あるいは、画像入力部３４は、画像データを供給する記憶装置であってもよい。画像入力部４４も同様に構成される。なお、画像入力部３４，４４は異なる種類の装置で構成されてもよい。
　なお、供給側装置３０および合成側装置４０の構成は図２の例に限定されるものではない。すなわち、上記の構成要素のうちの一部を省略してもよいし、他の構成要素を追加してもよい。
　＜供給システム１１の例＞
　図３に、供給システム１１の構成例を示す。供給システム１１は、以下に説明するように画像データの符号化機能を有している。かかる符号化機能によって、合成システム２１に供給する第１対象画像のデータである第１対象画像データＡ２０を符号化し、符号化画像データＡ５０を生成する。なお、符号化画像データＡ５０を単に符号化データＡ５０とも呼ぶ場合もある。
　なお、一般的に、画像データの圧縮には符号化が採用されている。このため「圧縮」と「符号化」とが同義で用いられ、例えば画像圧縮が画像符号化または画像圧縮符号化と表現される場合がある。同様に、「伸張」と「復号化」とが同義で用いられ、例えば画像伸張が画像復号化または画像伸張復号化と表現される場合がある。
　符号化データＡ５０は、符号化データＡ５０用のビットストリーム（以下、符号化ビットストリームとも呼ぶ）Ａｂｓによって供給システム１１から出力され、合成システム２１に供給される。
　一方、供給システム１１に入力される画像は第１対象画像の源となる画像であり、このため当該入力画像を第１基礎画像と呼ぶ場合もある。実施の形態１では、第１基礎画像の全体が第１対象画像を構成する場合、すなわち第１基礎画像と第１対象画像とは同じである場合を説明する。なお、後述の説明のために、第１基礎画像のデータである第１基礎画像データに対しては、第１対象画像データの符号Ａ２０とは異なる符号Ａ１０を付している。
　第１対象画像は、ＲＯＩ（関心領域）を含む画像であり、合成システム２１での画像合成において主画像を提供する。第１対象画像中のＲＯＩは当然、第１基礎画像中にも存在する。なお、第１基礎画像および第１対象画像は、デジタルカメラ等によって撮影した画像であってもよいし、あるいは、コンピュータグラフィックスであってもよい。
　図３の例によれば、供給システム１１は、前処理部１０２０と、ウエーブレット変換部１０３０と、量子化部１０４０と、マスク生成部１０５０と、符号化部１０６０と、ビットストリーム生成部１０７０とを含んでいる。
　＜前処理部１０２０＞
　前処理部１０２０は、第１対象画像データＡ２０に対して所定の前処理を行う。図３の例では、前処理部１０２０は、ＤＣレベルシフト部１０２１と、色空間変換部１０２２と、タイリング部１０２３とを含んでいる。
　ＤＣレベルシフト部１０２１は、第１対象画像データＡ２０のＤＣレベルを必要に応じて変換する。色空間変換部１０２２は、ＤＣレベル変換後の画像データの色空間を変換する。例えば、ＲＧＢ成分がＹＣｂＣｒ成分（輝度成分Ｙと色差成分Ｃｂ，Ｃｒとから成る）に変換される。タイリング部１０２３は、色空間変換後の画像データを、「タイル」と呼ばれる矩形状の複数の領域成分に分割する。そして、タイリング部１０２３は、タイルごとに画像データをウエーブレット変換部１０３０に供給する。なお、必ずしも画像データをタイルに分割する必要はなく、色空間変換部１０２２から出力された１フレーム分の画像データを、そのままウエーブレット変換部１０３０に供給してもよい。
　＜ウエーブレット変換部１０３０＞
　ウエーブレット変換部１０３０はウエーブレット変換処理を行う。具体的には、ウエーブレット変換部１０３０は、前処理後の第１対象画像データＡ２０に対して、整数型または実数型の離散ウエーブレット変換（ＤＷＴ）を行い、その結果得られた変換係数を出力する。以下では、変換係数を例えば、ウエーブレット変換係数、または、ウエーブレット係数と呼ぶ場合もある。また、第１対象画像データＡ２０に対してウエーブレット変換を行うことによって生成されるデータ（ウエーブレット係数の群）を、第１ウエーブレット係数データＡ２１と呼ぶことにする。
　ウエーブレット変換では、２次元画像データが高域成分（換言すれば高周波成分）と低域成分（換言すれば低周波成分）とに分解される。かかる周波数分解は例えば帯域分割とも呼ばれる。また、周波数分解によって得られた各帯域成分（すなわち低域成分と高域成分のそれぞれ）はサブバンドとも呼ばれる。ここでは、ＪＰＥＧ（Joint Photographic Experts Group）２０００の基本方式に倣い、垂直方向と水平方向の両方について低域側に分割された帯域成分のみを再帰的に帯域分割していく、オクターブ分割方式を採用するものとする。再帰的な帯域分割を行った回数は、分解レベルと呼ばれる。
　ウエーブレット変換部１０３０では、所定の分解レベルまで第１対象画像データＡ２０が分解される。一般的には分解レベルが３～５程度の場合に、良好な符号化効率が得られる。なお、ウエーブレット変換部１０３０における上記所定の分解レベルを、初期の分解レベルと呼ぶ場合もある。
　図４～図６に、２次元でのウエーブレット変換について、Ｍａｌｌａｔ型のウエーブレット平面６１～６３を示す。図４～図６の例によれば、入力画像（２次元画像）は、分解レベル１において（図４参照）、垂直方向と水平方向のそれぞれについて周波数分解が行われる。これにより、図４のウエーブレット平面６１に示すように、４つの帯域成分ＨＨ１，ＨＬ１，ＬＨ１，ＬＬ１に分解される。分解レベル１で得られた帯域成分ＬＬ１は、分解レベル２において（図５のウエーブレット平面６２を参照）、更に４つの帯域成分ＨＨ２，ＨＬ２，ＬＨ２，ＬＬ２に分解される。分解レベル２で得られた帯域成分ＬＬ２は、分解レベル３において（図６のウエーブレット平面６３を参照）、更に４つの帯域成分ＨＨ３，ＨＬ３，ＬＨ３，ＬＬ３に分解される。
　２次元のウエーブレット変換に関する表記について、例えばＨＬ１は、分解レベル１における水平方向の高域成分Ｈと垂直方向の低域成分Ｌとからなる帯域成分である。その表記法は「ＸＹｍ」と一般化される（ＸおよびＹはそれぞれＨ，Ｌのいずれか。ｍは１以上の整数）。すなわち、分解レベルｍにおける水平方向の帯域成分Ｘと垂直方向の帯域成分Ｙとからなる帯域成分は「ＸＹｍ」と表記される。
　ここで、ウエーブレット平面（図４～図６参照）は、ウエーブレット変換の演算結果データを、原画像（ウエーブレット変換が行われていない状態の画像）中の画素の並びに対応付けて２次元配列したデータ群である。例えばウエーブレット平面において帯域成分ＬＬ１として示されている領域内には、原画像中のある画素を注目画素として得られた演算結果データ（ＬＬ成分データ）が、原画像中での当該注目画素の位置に対応して並べられている。なお、ウエーブレット平面はウエーブレット空間、ウエーブレット領域、または、ウエーブレット画像と呼ばれる場合もある。
　分解レベル１において、帯域成分ＬＬ１は画像の本質的な情報に対応する。なお、帯域成分ＬＬ１によれば、分解前の画像の１／４のサイズの画像（換言すれば、分解前の画像に対する縮小比が１／２の画像）を提供可能である。帯域成分ＨＬ１は垂直方向に伸びるエッジの情報に対応し、帯域成分ＬＨ１は水平方向に伸びるエッジの情報に対応する。帯域成分ＨＨは斜め方向に伸びるエッジの情報に対応する。これらの点は他の分解レベルについても同様である。例えば、分解レベル２の帯域成分ＬＬ２，ＨＬ２，ＬＨ２，ＨＨ２は、分解前の帯域成分ＬＬ１を原画像と見なした場合における帯域成分ＬＬ１，ＨＬ１，ＬＨ１，ＨＨ１とそれぞれ同様の関係にある。
　以下では、ウエーブレット変換が行われていない状態の原画像を分解レベル０に対応させ、当該原画像を分解レベル０のウエーブレット平面と表現する場合もある。
　また、ウエーブレット平面において最も分解された帯域成分を、最上位帯域成分と呼ぶことにする。具体的には、分解レベル３のウエーブレット平面６３（図６参照）において、最上位帯域成分はＬＬ３，ＨＬ３，ＬＨ３，ＨＨ３である。一般化するならば、分解レベルｋのウエーブレット平面において、最上位帯域成分はＬＬｋ，ＨＬｋ，ＬＨｋ，ＨＨｋである。また、分解回数が同じ帯域成分において、帯域成分ＬＬを最低域の帯域成分と呼び、帯域成分ＨＨを最高域の帯域成分と呼ぶことにする。
　なお、Ｍａｌｌａｔ型では、上記のように、ＬＬ成分を水平方向と垂直方向のそれぞれについて同じ回数で、再帰的に分解する。また後述のように、Ｍａｌｌａｔ型では分解とは逆の手順で帯域成分が合成される。但し、水平方向と垂直方向のそれぞれのＬ成分とＨ成分を同じ回数で、分解および合成する必要はない。すなわち、Ｍａｌｌａｔ型とは異なる型式のウエーブレット変換を用いてもよい。
　また、原画像およびウエーブレット平面において左上端を座標系の原点に採り、原点を０として扱い、ウエーブレット変換のＬ成分出力を偶数として扱い、Ｈ成分出力を奇数として扱う例を挙げる。但し、Ｌ成分出力を奇数として扱い、Ｈ成分出力を偶数として扱うことも可能である。なお、ウエーブレット平面（図４～図６参照）は、ウエーブレット変換の偶数番目および奇数番目の出力を、帯域成分ごとに再配置した概念的な平面である。
　＜量子化部１０４０＞
　図３に戻り、量子化部１０４０は量子化処理を行う。具体的には、量子化部１０４０は、ウエーブレット変換部１０３０から供給された第１ウエーブレット係数データＡ２１に対して、量子化ステップサイズに基づいて、スカラー量子化を行い、それにより量子化ウエーブレット係数データＡ２２を生成する。量子化ステップサイズは、例えば目標画質に応じて設定される。
　特に量子化部１０４０は、第１ウエーブレット係数データＡ２１を構成する各データ（換言すれば、各係数値）について、第１対象画像中のＲＯＩに関与する係数（以下、ＲＯＩ係数とも呼ぶ）と、非ＲＯＩに関与する係数（以下、非ＲＯＩ係数とも呼ぶ）とを判別する係数判別処理を行う。そして、量子化部１０４０は、量子化後の非ＲＯＩ係数が０になるように、第１ウエーブレット係数データＡ２１の量子化を行う。このような量子化は、例えばノルムに基づいて量子化値を決定する技術（特許文献６参照）によって、実現可能である。
　量子化部１０４０は、係数判別処理を、マスク生成部１０５０から供給されるマスクデータＢ２１に基づいて行う。マスクデータＢ２１は、第１ウエーブレット係数データＡ２１についてＲＯＩ係数と非ＲＯＩ係数とを判別するためのマスクを提供する。
　＜マスク生成部１０５０＞
　マスク生成部１０５０はマスク生成処理を行う。具体的には、マスク生成部１０５０は、第１ウエーブレット係数データＡ２１についてＲＯＩ係数と非ＲＯＩ係数とを判別するためのマスクのデータであるマスクデータＢ２１を生成する。
　図７に、マスク生成部１０５０の構成例を示す。図７の例によれば、マスク生成部１０５０は、基礎マスク生成部１０５１と、マスク展開部１０５２とを含んでいる。
　＜基礎マスク生成部１０５１＞
　基礎マスク生成部１０５１は基礎マスク生成処理を行う。具体的には、基礎マスク生成部１０５１は、第１基礎画像データＡ１０に基づいて、第１基礎画像の範囲においてＲＯＩと非ＲＯＩとを判別するための基礎マスクのデータである基礎マスクデータＢ１０を生成する。
　基礎マスク生成部１０５１は、各種のマスク生成技術によって構成可能である。例えば動画像中の動体を検出する技術が知られており、この動体検出技術を利用すれば、画像中の動体をＲＯＩに設定したマスクを生成できる。動体検出技術に関しては、例えば特許文献１～３を参照。また、例えば特許文献４，５にはパーティクルフィルタを利用して動体を追跡する技術が記載されており、かかる動体追跡技術によれば動体検出精度を向上でき、また、演算量を削減できる。
　また、デジタルカメラによって撮影された静止画像を対象として、グラフカットによって、画像全体から前景画像と背景画像とを分離する技術が知られている。この画像分離技術を利用して基礎マスク生成部１０５１を構成すれば、前景画像をＲＯＩに設定したマスクを生成できる。
　なお、基礎マスク生成部１０５１は、マスク生成に際して適宜、前処理を行う。例えば、第１基礎画像データＡ１０が、デジタルカメラによる撮影画像データ（Ｂａｙｅｒデータ）である場合、ＢａｙｅｒデータをＲＧＢカラーデータに変換する。また、第１基礎画像のサイズが大きい場合、演算量を減らすために縮小処理を行う。また、特徴量を抽出するために、白黒、ＹＵＶ、ＨＳＶ等への色空間変換を行う。
　ここで、図８に第１基礎画像６０の例を示す。第１基礎画像６０において、移動中の人物の部分をＲＯＩ６０ａに設定し、それ以外の部分を非ＲＯＩ６０ｂに設定するものとする。
　第１画像６０の全範囲に対応する基礎マスク７０を、図９に示す。基礎マスク７０は、第１基礎画像６０中の各画素がＲＯＩ６０ａと非ＲＯＩ６０ｂのどちらに属するのかを示す画像として理解できる。基礎マスク７０は、第１基礎画像６０中のＲＯＩ６０ａおよび非ＲＯＩ６０ｂに対応するＲＯＩ対応部分７０ａおよび非ＲＯＩ対応部分７０ｂを有している。図９において、白抜き部分がＲＯＩ対応部分７０ａであり、黒塗り部分が非ＲＯＩ対応部分７０ｂである。
　なお、動画像の場合、全てのフレーム画像を対象にして基礎マスク７０を生成してもよいし、あるいは、例えば一定フレーム毎または一定時間毎に基礎マスク７０を生成してもよい。また、静止画像が順次入力される場合についても、同様である。
　＜マスク展開部１０５２＞
　マスク展開部１０５２はマスク展開処理を行う。具体的には、マスク展開部１０５２は、基礎マスクのＲＯＩ対応部分および非ＲＯＩ対応部分を、第１ウエーブレット係数データＡ２１に含まれる各帯域成分用に（換言すれば、第１ウエーブレット係数データＡ２１に対応するウエーブレット平面に含まれる各帯域成分用に）展開する。このようなマスク展開処理によって、第１ウエーブレット係数データＡ２１用のマスクである展開マスクが生成される。マスクの展開に関しては、例えば特許文献６，７および非特許文献１を参照。
　マスク展開部１０５２によって生成された展開マスクが、第１ウエーブレット係数データＡ２１についてＲＯＩ係数と非ＲＯＩ係数とを判別するための上記マスクである。すなわち、マスク生成部１０５０は、上記マスクデータＢ２１として展開マスクのデータを生成して出力する。
　図１０～図１２に、図９の基礎マスク７０を分解レベル１，２，３のウエーブレット平面６１～６３（図４～図６参照）に展開した展開マスク７１，７２，７３をそれぞれ示す。展開マスク７１，７２，７３において、ＲＯＩ対応部分７１ａ，７２ａ，７３ａが白抜きで図示され、非ＲＯＩ対応部分７１ｂ，７２ｂ，７３ｂが黒塗りで図示されている。
　図１３に、マスク展開処理のフローチャートを示す。図１３のマスク展開処理Ｓ２００によれば、マスクの分解レベルを１段階上げる処理（以下、レベル増加単位処理とも呼ぶ）Ｓ２０２が行われる。第１ウエーブレット係数データＡ２１の分解レベルが２以上である場合、その分解レベルのマスクが得られるまで、レベル増加単位処理Ｓ２０２が繰り返される（ステップＳ２０１参照）。
　レベル増加単位処理Ｓ２０２では、第１ウエーブレット平面用の第１マスクを、第１ウエーブレット平面よりも分解レベルが１段階高い第２ウエーブレット平面用の第２マスクに、変換する。なお、展開対象の第１マスクが原マスクである場合、上記の第１ウエーブレット平面はウエーブレット変換前の原画像が対応する。上記のように原画像を分解レベル０のウエーブレット平面と表現することによって、第１ウエーブレット平面には原画像も含まれることが理解できる。
　レベル増加単位処理Ｓ２０２の繰り返しは、再帰的に行われる。すなわち、第２マスクを新たな第１マスクに設定することによって、レベル増加単位処理Ｓ２０２が再度、行われる。また、レベル増加単位処理Ｓ２０２の繰り返しは、ウエーブレット変換の方式に従って行われる。例えば上記のＭａｌｌａｔ型の方式が採用されている場合（図４～図６参照）、ウエーブレット平面は最低域の帯域成分ＬＬのみを再帰的に分解していく。このため、マスクの展開も帯域成分ＬＬに対応する部分に対してのみ再帰的に行う。
　レベル増加単位処理Ｓ２０２は所定のマスク展開条件に基づいて行われ、マスク展開条件はウエーブレット変換のフィルタのタップ数に依存する。
　例えばウエーブレット変換の演算処理において５×３フィルタが使用される場合、マスク展開条件は、図１４に基づいた２つの条件（第１展開条件と第２展開条件と呼ぶことにする）を含む。なお、５×３フィルタでは、分解側のローパスフィルタが５タップであり、分解側のハイパスフィルタが３タップである。
　第１展開条件：第１ウエーブレット平面上の偶数番目（ｎを整数として、２ｎ番目と表記できる）のデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において低域成分（ローパスフィルタの側の出力データに対応する）のｎ番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。それと共に、第２ウエーブレット平面において高域成分（ハイパスフィルタの側の出力データに対応する）の｛ｎ－１｝番目およびｎ番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。
　第２展開条件：第１ウエーブレット平面上の｛２ｎ＋１｝番目のデータが第１マスクによってＲＯＩに対応付けられているとき、第２ウエーブレット平面において低域成分のｎ番目および｛ｎ＋１｝番目ならびに高域成分の｛ｎ－１｝番目から｛ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。
　また、ウエーブレット変換の演算処理においてDaubechies９×７フィルタが用いられる場合、マスク展開条件は、図１５に基づいた２つの条件（第３展開条件と第４展開条件と呼ぶことにする）を含む。なお、Daubechies９×７フィルタでは、分解側のローパスフィルタが９タップであり、分解側のハイパスフィルタが７タップである。
　第３展開条件：第１ウエーブレット平面上の２ｎ番目のデータが第１マスクによってＲＯＩに対応付けられているとき、第２ウエーブレット平面において低域成分の｛ｎ－１｝番目から｛ｎ＋１｝番目および高域成分の｛ｎ－２｝番目から｛ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。
　第４展開条件：第１ウエーブレット平面上の｛２ｎ＋１｝番目のデータが第１マスクによってＲＯＩに対応付けられているとき、第２ウエーブレット平面において低域成分の｛ｎ－１｝番目から｛ｎ＋２｝番目および高域成分の｛ｎ－２｝番目から｛ｎ＋２｝番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。
　第１ウエーブレット係数データＡ２１の分解レベルが３の場合、マスク生成部１０５０は、分解レベル３の展開マスク７３（図１２参照）を生成し、当該展開マスク７３を量子化部１０４０に供給する。量子化部１０４０は、展開マスク７３におけるＲＯＩ対応部分７３ａと非ＲＯＩ対応部分７３ｂとの区別に基づいて、分解レベル３の第１ウエーブレット係数データＡ２１、換言すれば分解レベル３のウエーブレット平面６３（図６参照）の係数判別処理を行う。そして上記のように、量子化部１０４０は、係数判別結果に基づいて、第１ウエーブレット係数データＡ２１中の非ＲＯＩ係数の量子化後の値が０になるように、分解レベル３の量子化ウエーブレット係数データＡ２２を生成する。
　＜符号化部１０６０＞
　図３に戻り、符号化部１０６０は符号化処理を行う。具体的には、符号化部１０６０は、量子化部１０４０によって生成された量子化ウエーブレット係数データＡ２２に対して、所定の符号化を行い、それにより符号化データＡ５０を生成する。所定の符号化では、例えば、ビットプレーン符号化を行うＥＢＣＯＴ（Embedded Block Coding with Optimized Truncation）に従ってエントロピー符号化が行われる。図３の例では、符号化部１０６０は、係数ビットモデリング部１０６１と、エントロピー符号化部１０６２とを含んでいる。
　係数ビットモデリング部１０６１は、量子化されたウエーブレット係数に対して、ビットモデリング処理を行う。ここでは、ビットモデリング処理は既知技術を利用するものとし、詳細な説明は省略する。
　なお、係数ビットモデリング部１０６１は、入力された帯域成分を３２×３２または６４×６４程度の「コードブロック」と呼ばれる領域に分割する。そして、係数ビットモデリング部１０６１は、コードブロック中の各量子化ウエーブレット係数の二進値を構成する各ビット値を別々のビットプレーンに割り当てる。ビットモデリング処理は、そのようなビットプレーン単位で行われる。
　エントロピー符号化部１０６２は、係数ビットモデリング部１０６１で生成されたデータに対してエントロピー符号化を行って、符号化画像データを生成する。エントロピー符号化として、例えば既知の算術符号化が利用される。
　なお、符号化部１０６０では、エントロピー符号化部１０６２によって生成された符号化画像データに対してレート制御を行って、符号量を制御してもよい。
　＜ビットストリーム生成部１０７０＞
　ビットストリーム生成部１０７０はビットストリーム生成処理を行う。具体的には、ビットストリーム生成部１０７０は、符号化部１０６０から出力される符号化データＡ５０を付加情報と多重化し、それによりＪＰＥＧ２０００に準拠した符号化ビットストリームＡｂｓを生成する。付加情報として例えば、ヘッダ情報，レイヤー構成、スケーラビリティ情報、量子化テーブル、等が挙げられる。
　特に、ビットストリーム生成部１０７０は、図３に示すように、合成制御データＣ５０を取得し、合成制御データＣ５０も符号化ビットストリームＡｂｓに埋め込む。合成制御データＣ５０は、合成システム２１での画像合成処理において合成具合を制御するためのデータである。ここでは、合成制御データＣ５０は、供給システム１１の側に設けられた操作部３２にユーザが入力することによって、供給システム１１に供給される。
　符号化ビットストリームＡｂｓは符号化データに影響しない領域を有しており、ビットストリーム生成部１０７０はその領域に合成制御データＣ５０を埋め込む。符号化ビットストリームＡｂｓのそのような領域として、例えば、ヘッダ領域、符号化ストリームのフォーマット中のコメント領域、アプリケーションマーカ（ＡＰＰマーカ）領域、等を利用できる。
　＜供給システム１１の動作＞
　図１６に、供給システム１１の動作を説明するフローチャートを示す。図１６の動作フローＳ１０００によれば、供給システム１１に第１基礎画像データＡ１０が入力されると、前処理部１０２０およびマスク生成部１０５０が第１基礎画像データＡ１０を取得する（ステップＳ１００１）。
　前処理部１０２０は、第１基礎画像データＡ１０に対して、換言すれば第１対象画像データＡ２０に対して、所定の前処理を行う（ステップＳ１１０１）。次に、ウエーブレット変換部１０３０が、前処理後の第１対象画像データＡ２０に対して所定の分解レベルまでウエーブレット変換を行い、それにより第１ウエーブレット係数データＡ２１を生成する（ステップＳ１１０２）。
　一方、マスク生成部１０５０は、第１基礎画像データＡ１０に基づいて、第１ウエーブレット係数データＡ２１用のマスク、すなわち第１ウエーブレット係数データＡ２１の分解レベルに対応した展開マスクのデータＢ２１を生成する（ステップＳ１２００）。具体的には、基礎マスク生成部１０５１が上記の基礎マスク生成処理を行い（ステップＳ１２０１）、マスク展開部１０５２が上記のマスク展開処理を行う（ステップＳ１２０２）。
　なお、図１６の例では、ステップＳ１２００をステップＳ１１０１，Ｓ１１０２と並行して実行するが、ステップＳ１２００をステップＳ１１０１，Ｓ１１０２の前または後で実行することも可能である。
　ステップＳ１１０２で生成された第１ウエーブレット係数データＡ２１と、ステップＳ１２００で生成されたマスクデータＢ２１とは、量子化部１０４０に入力される。量子化部１０４０は、上記のように、マスクデータＢ２１に基づいて、第１ウエーブレット係数データＡ２１中の非ＲＯＩ係数の量子化後の値が０になるように、第１ウエーブレット係数データＡ２１に対して量子化を行う（ステップＳ１００２）。それにより、量子化ウエーブレット係数データＡ２２が生成される。
　量子化ウエーブレット係数データＡ２２は符号化部１０６０によって符号化され、符号化データＡ５０が生成される（ステップＳ１００３）。符号化データＡ５０はビットストリーム生成部１０７０によって、第１対象画像用の符号化ビットストリームＡｂｓに変換される（ステップＳ１００４）。
　また、ビットストリーム生成部１０７０は、合成制御データＣ５０を取得し、合成制御データＣ５０を上記のように符号化ビットストリームＡｂｓに埋め込む（ステップＳ１００５）。なお、合成制御データＣ５０はステップＳ１００５において入力されてもよいし、あるいは、事前に入力され保持していた合成制御データＣ５０をステップＳ１００５で利用してもよい。
　その後、符号化ビットストリームＡｂｓは、ビットストリーム生成部１０７０から出力される（ステップＳ１００６）。
　＜媒体５０＞
　符号化ビットストリームＡｂｓは、上記のように合成制御データＣ５０が埋め込まれた状態で供給システム１１から出力され、図２の例ではＩ／Ｆ３３から供給側装置３０の外部に出力される。そして、符号化ビットストリームＡｂｓは、合成制御データＣ５０が埋め込まれた状態で、Ｉ／Ｆ４３を介して合成システム２１に入力される。その際、媒体５０（図２参照）が利用される。ここでは符号化データＡ５０用の符号化ビットストリームＡｂｓに合成制御データＣ５０が埋め込まれているので、符号化データＡ５０と合成制御データＣ５０とが、同じ媒体５０（例えば通信媒体または外部記憶媒体）によって、合成システム２１に供給される。
　＜合成システム２１の例＞
　図１７に、合成システム２１の構成例を示す。図１７の例によれば、合成システム２１は、ビットストリーム解析部１２１０と、復号化部１２２０と、マスク再現部１２３０と、逆量子化部１２４０と、分解レベル変換部１２５０と、ウエーブレット変換部１２６０と、合成実行部１２７０と、逆ウエーブレット変換部１２８０と、後処理部１２９０とを含んでいる。
　＜ビットストリーム解析部１２１０＞
　ビットストリーム解析部１２１０はビットストリーム解析処理を行う。具体的には、ビットストリーム解析部１２１０は、符号化ビットストリームＡｂｓをＪＰＥＧ２０００の仕様に準拠して解析し、当該符号化ビットストリームＡｂｓから符号化データＡ５０と付加情報と合成制御データＣ５０とを抽出する。符号化データＡ５０は復号化部１２２０に供給される。各種の付加情報はそれぞれ所定の処理部に供給される。合成制御データＣ５０は、分解レベル変換部１２５０とウエーブレット変換部１２６０とに供給される。
　＜復号化部１２２０＞
　復号化部１２２０は復号化処理を行う。具体的には、復号化部１２２０は、符号化データＡ５０に対して、所定の復号化を行う。所定の復号化は、符号量制御を除いて、基本的には、図３の符号化部１０６０における符号化とは逆の処理にあたる。所定の復号化によって、符号化データＡ５０から、量子化ウエーブレット係数データＡ２２が生成される。図１７の例では、復号化部１２２０は、エントロピー復号化部１２２１と、係数ビットモデリング部１２２２とを含んでいる。
　エントロピー復号化部１２２１は、符号化データＡ５０に対してエントロピー復号化を行って、ビットデータを生成する。エントロピー復号化は、図３のエントロピー符号化部１０６２におけるエントロピー符号化とは逆の処理にあたる。
　係数ビットモデリング部１２２２は、エントロピー復号化部１２２１によって生成されたビットデータに対してビットモデリング処理を行って、量子化ウエーブレット係数データＡ２２を復元する。ここでのビットモデリング処理は、図３の係数ビットモデリング部１０６１におけるそれとは逆の処理にあたる。係数ビットモデリング部１２２２によって生成された量子化ウエーブレット係数データＡ２２は、マスク再現部１２３０と逆量子化部１２４０に供給される。
　＜マスク再現部１２３０＞
　マスク再現部１２３０はマスク再現処理を行う。具体的には、マスク再現部１２３０は、量子化ウエーブレット係数データＡ２２を構成する各データの値を判別することによって、供給システム１１において量子化ウエーブレット係数データＡ２２の生成時に適用された展開マスクを再現する。
　すなわち、上記のように量子化ウエーブレット係数データＡ２２は、第１ウエーブレット係数データＡ２１のうちで非ＲＯＩ係数の量子化後の値が０になるように、生成されている。かかる点に鑑み、マスク再現部１２３０は、量子化ウエーブレット係数データＡ２２を構成する各データの値が０であるか否かを判別することによって、量子化ウエーブレット係数データＡ２２中のＲＯＩ係数と非ＲＯＩ係数とを判別する（図１８のマスク再現処理Ｓ１０のステップＳ１１参照）。そして、マスク再現部１２３０は、判別結果に基づいて、量子化ウエーブレット係数データＡ２２に対応する上記展開マスクのデータであるマスクデータＢ２１を再現する（図１８のマスク再現処理Ｓ１０のステップＳ１２，Ｓ１３参照）。
　＜逆量子化部１２４０＞
　図１７に戻り、逆量子化部１２４０は逆量子化処理を行う。具体的には、逆量子化部１２４０は、量子化ウエーブレット係数データＡ２２に対して、逆量子化を行う。ここでの逆量子化は、図３の量子化部１０４０における量子化とは逆の処理にあたる。逆量子化によって、量子化ウエーブレット係数データＡ２２は、第１ウエーブレット係数データＡ２１に変換される。
　＜分解レベル変換部１２５０＞
　分解レベル変換部１２５０は、逆量子化部１２４０から第１ウエーブレット係数データＡ２１を取得し、マスク再現部１２３０からマスクデータＢ２１を取得し、ビットストリーム解析部１２１０から合成制御データＣ５０を取得する。そして、分解レベル変換部１２５０は、第１ウエーブレット係数データＡ２１およびマスクデータＢ２１の分解レベルを変換する処理である分解レベル変換処理を行う。
　特に、変換後の分解レベルは、合成制御データＣ５０によって指定される。なお、合成制御データＣ５０によって指定された分解レベルを、第１の分解レベルと呼ぶ場合もある。ここでは、第１の分解レベルは１以上の整数とする。
　第１ウエーブレット係数データＡ２１およびマスクデータＢ２１の分解レベルは、この時点において（換言すれば、合成システム２１に供給された時点において）、供給システム１１で設定されたレベルである。分解レベル変換部１２５０では、この初期の分解レベルを、合成制御データＣ５０によって指定された第１の分解レベルに変換する。すなわち、分解レベル変換部１２５０は、供給システム１１で設定された分解レベルに在る第１ウエーブレット係数データＡ２１およびマスクデータＢ２１を、第１の分解レベルの第１ウエーブレット係数データＡ６１およびマスクデータＢ６１に変換する。
　ここで、図１９に、分解レベル変換部１２５０の構成例を示す。図１９の例によれば、分解レベル変換部１２５０は、分解レベル減少部１２５１と、分解レベル増加部１２５６とを含んでいる。
　分解レベル減少部１２５１は、合成制御データＣ５０によって指定された第１の分解レベルが、第１ウエーブレット係数データＡ２１およびマスクデータＢ２１の初期の分解レベルよりも小さい場合に、第１ウエーブレット係数データＡ２１およびマスクデータＢ２１の分解レベルを減少させる分解レベル減少処理を行う。逆に、分解レベル増加部１２５６は、第１の分解レベルが初期の分解レベルよりも大きい場合に、第１ウエーブレット係数データＡ２１およびマスクデータＢ２１の分解レベルを増加させる分解レベル増加処理を行う。
　ここでは、第１の分解レベルが初期の分解レベルと等しい場合、分解レベル変換部１２５０は、入力された第１ウエーブレット係数データＡ２１およびマスクデータＢ２１をそのまま、第１ウエーブレット係数データＡ６１およびマスクデータＢ６１として出力するものとする。
　＜分解レベル減少部１２５１＞
　分解レベル減少部１２５１は、逆ウエーブレット変換部１２５２と、マスク復元部１２５３とを含んでいる。
　＜逆ウエーブレット変換部１２５２＞
　逆ウエーブレット変換部１２５２は、第１ウエーブレット係数データＡ２１と合成制御データＣ５０とを取得し、第１ウエーブレット係数データＡ２１に対して、合成制御データＣ５０によって指定された第１の分解レベルになるまで逆ウエーブレット変換（ＩＤＷＴ）を行う。それにより、第１の分解レベルの第１ウエーブレット係数データＡ６１が生成される。
　逆ウエーブレット変換は、供給システム１１のウエーブレット変換部１０３０で行われるウエーブレット変換とは逆の処理である。逆ウエーブレット変換では、帯域成分が再帰的に合成される。逆ウエーブレット変換における合成回数は、合成レベルと呼ばれる。なお、逆ウエーブレット変換前の状態の合成レベルを０と表現することにする。
　逆ウエーブレット変換部１２５２と後述の逆ウエーブレット変換部１２８０とは、同じ回路によって実現されてもよいし、あるいは別々の回路によって実現されてもよい。
　＜マスク復元部１２５３＞
　マスク復元部１２５３は、マスクデータＢ２１と合成制御データＣ５０とを取得し、マスク復元処理を行う。マスク復元処理は、与えられたマスクから、分解レベルがより低いマスクを復元する処理であり、上記のマスク展開処理（図１３～図１５参照）の逆の処理にあたる。より具体的には、マスクデータＢ２１を、分解レベル変換部１２５０で生成しようとしている（すなわち、合成制御データＣ５０によって指定された第１の分解レベルを有する）第１ウエーブレット係数データＡ６１に含まれる各帯域成分用に変換する。それにより、第１の分解レベルのマスクデータＢ６１が生成される。マスクの復元に関しては、例えば特許文献６，７および非特許文献１を参照。
　図２０に、マスク復元処理のフローチャートを示す。図２０のマスク復元処理Ｓ２２０によれば、マスクの分解レベルを１段階下げる処理（以下、レベル減少単位処理とも呼ぶ）Ｓ２２２が行われる。初期の分解レベルと第１の分解レベルとの差が２以上である場合、第１の分解レベルのマスクが得られるまで、レベル減少単位処理Ｓ２２２が繰り返される（ステップＳ２２１参照）。
　レベル減少単位処理Ｓ２２２では、第１ウエーブレット平面用の第１マスクを、第１ウエーブレット平面よりも分解レベルが１段階低い第２ウエーブレット平面用の第２マスクに、変換する。なお、上記のように合成制御データＣ５０によって指定される第１の分解レベルは１以上の整数であるので、復元後の第２マスクは原マスクにはならない。
　レベル減少単位処理Ｓ２２２の繰り返しは、再帰的に行われる。すなわち、第２マスクを新たな第１マスクに設定することによって、レベル減少単位処理Ｓ２２２が再度、行われる。また、レベル減少単位処理Ｓ２２２の繰り返しは、逆ウエーブレット変換の方式に従って行われる。例えば上記のＭａｌｌａｔ型の方式が採用されている場合（図４～図６参照）、ウエーブレット平面中の最上位帯域成分（分解レベルｋではＬＬｋ，ＨＬｋ，ＬＨｋ，ＨＨｋ）のみを再帰的に分解していく。このため、マスクの復元は最上位帯域成分に対応する部分に対してのみ再帰的に行う。
　＜マスク復元条件＞
　レベル減少単位処理Ｓ２２２は所定のマスク復元条件に基づいて行われる。マスク復元条件は、第１ウエーブレット平面の指定位置のデータが第１マスクによってＲＯＩに対応付けられている場合に、第２ウエーブレット平面において上記指定位置に対応付けられた位置のデータがＲＯＩに対応付けられるように第２マスクを形成することを規定している。
　マスク復元条件は逆ウエーブレット変換のフィルタのタップ数に依存する。例えば逆ウエーブレット変換の演算処理において５×３フィルタが使用される場合、マスク復元条件は図２１に基づく。また、逆ウエーブレット変換の演算処理においてDaubechies９×７フィルタが用いられる場合、マスク復元条件は図２２に基づく。
　図２１および図２２のいずれの場合にも、マスク復元条件は２つの条件（第１復元条件と第２復元条件と呼ぶことにする）に大別される。すなわち、第１復元条件は、第２ウエーブレット平面において２ｎ番目（ｎは整数）のデータがＲＯＩに対応付けられるように第２マスクを形成するためのものである。第２復元条件は、第２ウエーブレット平面において｛２ｎ＋１｝番目のデータがＲＯＩに対応付けられるように第２マスクを形成するためのものである。
　ここで、第１復元条件および第２復元条件も、第１ウエーブレット平面の指定位置のデータが第１マスクによってＲＯＩに対応付けられているという条件（復元実行条件と呼ぶことにする）を課している。
　第１復元条件において上記指定位置は、第２ウエーブレット平面の上記２ｎ番目に対応付けられた位置である。当該位置を以下、第１指定位置と呼ぶ場合もある。図２１を参照すると５×３フィルタの場合、第１指定位置の候補は、第１ウエーブレット平面において低域成分（ローパスフィルタの側の入力データに対応する）のｎ番目および高域成分（ハイパスフィルタの側の入力データに対応する）の｛ｎ－１｝番目とｎ番目である。図２２を参照するとDaubechies９×７フィルタの場合、第１ウエーブレット平面において低域成分の｛ｎ－１｝番目から｛ｎ＋１｝番目および高域成分の｛ｎ－２｝番目から｛ｎ＋１｝番目が、第１指定位置の候補になる。
　同様に、第２復元条件において上記指定位置は、第２ウエーブレット平面の上記｛２ｎ＋１｝番目に対応付けられた位置である。当該位置を以下、第２指定位置と呼ぶ場合もある。図２１を参照すると５×３フィルタの場合、第２指定位置の候補は、第１ウエーブレット平面において低域成分のｎ番目と｛ｎ＋１｝番目および高域成分の｛ｎ－１｝番目から｛ｎ＋１｝番目である。図２２を参照するとDaubechies９×７フィルタの場合、第１ウエーブレット平面において低域成分の｛ｎ－１｝番目から｛ｎ＋２｝番目および高域成分の｛ｎ－２｝番目から｛ｎ＋２｝番目が、第２指定位置の候補になる。
　指定位置のこれらの候補の利用形態に応じて、第１復元条件および第２復元条件を様々に規定可能である。その結果、第２マスクを様々に調整可能である。ここでは、指定位置の候補の利用形態は、ユーザの指示によって設定されるものとする。以下、このユーザ指示を、マスク調整指示と呼ぶことにする。また、合成制御データＣ５０がマスク調整指示を含むものとし、それによりマスク調整指示が合成システム２１におけるレベル減少単位処理Ｓ２２２に供給されるものとする（図２０参照）。但し、マスク調整指示を、合成制御データＣ５０とは別個に供給することも可能である。
　指定位置の候補の利用形態、換言すればマスク調整指示の内容は、数多く想定される。以下では、マスク調整指示がモード指示と低域選択指示と高域選択指示という３つの指示によって構成される例を説明する。
　モード指示（ＭＯＤＥ）は、第１ウエーブレット平面の低域成分と高域成分とのうちでどの帯域成分を利用するのか否かに関する。低域成分のみを利用する指示を、ＭＯＤＥ＝Ｌと表現することにする。また、低域成分と高域成分の両方を利用する指示を、ＭＯＤＥ＝ＬＨと表現することにする。
　低域選択指示（ＬＳＥＬ）は、第１ウエーブレット平面の低域成分に含まれる全ての候補に復元実行条件を課すのか否かに関する。低域成分に含まれる全ての候補が復元実行条件を満足することを要求する場合、ＬＳＥＬ＝ＡＮＤと表現することにする。逆に、低域成分に含まれる少なくとも１つの候補が復元実行条件を満足すれば良い場合、ＬＳＥＬ＝ＯＲと表現することにする。
　高域選択指示（ＨＳＥＬ）は、第１ウエーブレット平面の高域成分に含まれる全ての候補に復元実行条件を課すのか否かに関する。高域成分に含まれる全ての候補が復元実行条件を満足することを要求する場合、ＨＳＥＬ＝ＡＮＤと表現することにする。逆に、高域成分に含まれる少なくとも１つの候補が復元実行条件を満足すれば良い場合、ＨＳＥＬ＝ＯＲと表現することにする。
　なお、モード指示ＭＯＤＥと低域選択指示ＬＳＥＬと高域選択指示ＨＳＥＬとは、回路的には、各指示用に割り当てられた３つの信号によって、マスク復元部１２５３（図１９参照）に供給可能である。
　マスク調整指示の具体例のいくつかを表１に示す。但し、マスク調整指示の内容は表１の例に限定されるものではない。
Figure JPOXMLDOC01-appb-T000001
　表１において、マスク調整指示＃１はロスレス圧縮向けである。すなわち、供給システム１１での画像圧縮（より具体的にはＲＯＩ係数の量子化）がロスレスである場合、マスク調整指示＃１が好適である。なお、ロスレス圧縮によれば、量子化後のＲＯＩ係数は０にならない。
　マスク調整指示＃２はニアロスレス圧縮向けである。ニアロスレス圧縮によれば、ロスレス圧縮に比べてデータロスは大きくなるが、ロスレス圧縮と同程度の画質が得られる。かかる点に鑑みれば、ニアロスレス圧縮は、データ上は非可逆性であるが画質上は可逆性の圧縮として捉えることができる。但し、ロスレスとロッシーという２つの大分類においては、ニアロスレスはロッシーに分類されることが多い。
　マスク調整指示＃３～＃７はロッシー圧縮用である。ロッシー圧縮によれば、高域成分において量子化後のＲＯＩ係数が０になりやすい傾向がある。この傾向が強くなるほど（換言すれば、量子化値が大きい（つまり圧縮率が大きい）、高域成分において、量子化後の値が０になるＲＯＩ係数が多い場合）、＃４、＃７、＃３、＃６、＃５の順に指示を適用するのが好ましい。
　なお、表１の例ではマスク調整指示＃１，＃２，＃５は同じであるが、説明のために重複して記載している。
　＜５×３フィルタの場合＞
　以下、表１を参照しつつ、逆ウエーブレット変換に５×３フィルタが使用される場合について、マスク調整指示ごとに、第１復元条件および第２復元条件を説明する。
　＜５×３フィルタの場合のマスク調整指示＃１，＃２，＃５＞
　マスク調整指示＃１，＃２，＃５（ＭＯＤＥ＝ＬＨ、且つ、ＬＳＥＬ＝ＡＮＤ、且つ、ＨＳＥＬ＝ＡＮＤ）によれば、第１復元条件および第２復元条件は次のように規定される。
　第１復元条件：第１ウエーブレット平面の低域成分のｎ番目のデータが第１マスクによってＲＯＩに対応付けられ、且つ、第１ウエーブレット平面の高域成分の｛ｎ－１｝番目とｎ番目との全てのデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において２ｎ番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。
　第２復元条件：第１ウエーブレット平面の低域成分のｎ番目と｛ｎ＋１｝番目との全てのデータが第１マスクによってＲＯＩに対応付けられ、且つ、第１ウエーブレット平面の高域成分の｛ｎ－１｝番目から｛ｎ＋１｝番目の全てのデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において｛２ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。
　＜５×３フィルタの場合のマスク調整指示＃３＞
　マスク調整指示＃３（ＭＯＤＥ＝Ｌ、且つ、ＬＳＥＬ＝ＡＮＤ）によれば、第１復元条件および第２復元条件は次のように規定される。
　第１復元条件：第１ウエーブレット平面の低域成分のｎ番目のデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において２ｎ番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。
　第２復元条件：第１ウエーブレット平面の低域成分のｎ番目と｛ｎ＋１｝番目との全てのデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において｛２ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。
　＜５×３フィルタの場合のマスク調整指示＃４＞
　マスク調整指示＃４（ＭＯＤＥ＝Ｌ、且つ、ＬＳＥＬ＝ＯＲ）によれば、第１復元条件および第２復元条件は次のように規定される。
　第１復元条件：第１ウエーブレット平面の低域成分のｎ番目のデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において２ｎ番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。
　ここでは、低域成分のｎ番目のみが候補であるので、この第１復元条件は上記のマスク調整指示＃３と同じになる。
　第２復元条件：第１ウエーブレット平面の低域成分のｎ番目と｛ｎ＋１｝番目とのうちの少なくとも１つのデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において｛２ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。
　＜５×３フィルタの場合のマスク調整指示＃６＞
　マスク調整指示＃６（ＭＯＤＥ＝ＬＨ、且つ、ＬＳＥＬ＝ＡＮＤ、且つ、ＨＳＥＬ＝ＯＲ）によれば、第１復元条件および第２復元条件は次のように規定される。
　第１復元条件：第１ウエーブレット平面の低域成分のｎ番目のデータが第１マスクによってＲＯＩに対応付けられ、且つ、第１ウエーブレット平面の高域成分の｛ｎ－１｝番目とｎ番目とのうちの少なくとも１つのデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において２ｎ番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。
　第２復元条件：第１ウエーブレット平面の低域成分のｎ番目と｛ｎ＋１｝番目との全てのデータが第１マスクによってＲＯＩに対応付けられ、且つ、第１ウエーブレット平面の高域成分の｛ｎ－１｝番目から｛ｎ＋１｝番目のうちの少なくとも１つのデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において｛２ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。
　＜５×３フィルタの場合のマスク調整指示＃７＞
　マスク調整指示＃７（ＭＯＤＥ＝ＬＨ、且つ、ＬＳＥＬ＝ＯＲ、且つ、ＨＳＥＬ＝ＯＲ）によれば、第１復元条件および第２復元条件は次のように規定される。
　第１復元条件：第１ウエーブレット平面の低域成分のｎ番目のデータが第１マスクによってＲＯＩに対応付けられ、且つ、第１ウエーブレット平面の高域成分の｛ｎ－１｝番目とｎ番目とのうちの少なくとも１つのデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において２ｎ番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。
　ここでは、低域成分のｎ番目のみが候補であるので、この第１復元条件は上記のマスク調整指示＃６と同じになる。
　第２復元条件：第１ウエーブレット平面の低域成分のｎ番目と｛ｎ＋１｝番目とのうちの少なくとも１つのデータが第１マスクによってＲＯＩに対応付けられ、且つ、第１ウエーブレット平面の高域成分の｛ｎ－１｝番目から｛ｎ＋１｝番目のうちの少なくとも１つのデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において｛２ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。
　＜Daubechies９×７フィルタの場合＞
　以下、表１を参照しつつ、逆ウエーブレット変換にDaubechies９×７フィルタが使用される場合について、マスク調整指示ごとに、第１復元条件および第２復元条件を説明する。
　＜Daubechies９×７フィルタの場合のマスク調整指示＃１，＃２，＃５＞
　マスク調整指示＃１，＃２，＃５（ＭＯＤＥ＝ＬＨ、且つ、ＬＳＥＬ＝ＡＮＤ、且つ、ＨＳＥＬ＝ＡＮＤ）によれば、第１復元条件および第２復元条件は次のように規定される。
　第１復元条件：第１ウエーブレット平面の低域成分の｛ｎ－１｝番目から｛ｎ＋１｝番目の全てのデータが第１マスクによってＲＯＩに対応付けられ、且つ、第１ウエーブレット平面の高域成分の｛ｎ－２｝番目から｛ｎ＋１｝番目の全てのデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において２ｎ番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。
　第２復元条件：第１ウエーブレット平面の低域成分の｛ｎ－１｝番目から｛ｎ＋２｝番目の全てのデータが第１マスクによってＲＯＩに対応付けられ、且つ、第１ウエーブレット平面の高域成分の｛ｎ－２｝番目から｛ｎ＋２｝番目の全てのデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において｛２ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。
　＜Daubechies９×７フィルタの場合のマスク調整指示＃３＞
　マスク調整指示＃３（ＭＯＤＥ＝Ｌ、且つ、ＬＳＥＬ＝ＡＮＤ）によれば、第１復元条件および第２復元条件は次のように規定される。
　第１復元条件：第１ウエーブレット平面の低域成分の｛ｎ－１｝番目から｛ｎ＋１｝番目の全てのデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において２ｎ番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。
　第２復元条件：第１ウエーブレット平面の低域成分の｛ｎ－１｝番目から｛ｎ＋２｝番目の全てのデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において｛２ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。
　＜５×３フィルタの場合のマスク調整指示＃４＞
　マスク調整指示＃４（ＭＯＤＥ＝Ｌ、且つ、ＬＳＥＬ＝ＯＲ）によれば、第１復元条件および第２復元条件は次のように規定される。
　第１復元条件：第１ウエーブレット平面の低域成分の｛ｎ－１｝番目から｛ｎ＋１｝番目のうちの少なくとも１つのデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において２ｎ番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。
　第２復元条件：第１ウエーブレット平面の低域成分の｛ｎ－１｝番目から｛ｎ＋２｝番目のうちの少なくとも１つのデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において｛２ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。
　＜Daubechies９×７フィルタの場合のマスク調整指示＃６＞
　マスク調整指示＃６（ＭＯＤＥ＝ＬＨ、且つ、ＬＳＥＬ＝ＡＮＤ、且つ、ＨＳＥＬ＝ＯＲ）によれば、第１復元条件および第２復元条件は次のように規定される。
　第１復元条件：第１ウエーブレット平面の低域成分の｛ｎ－１｝番目から｛ｎ＋１｝番目の全てのデータが第１マスクによってＲＯＩに対応付けられ、且つ、第１ウエーブレット平面の高域成分の｛ｎ－２｝番目から｛ｎ＋１｝番目のうちの少なくとも１つのデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において２ｎ番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。
　第２復元条件：第１ウエーブレット平面の低域成分の｛ｎ－１｝番目から｛ｎ＋２｝番目の全てのデータが第１マスクによってＲＯＩに対応付けられ、且つ、第１ウエーブレット平面の高域成分の｛ｎ－２｝番目から｛ｎ＋２｝番目のうちの少なくとも１つのデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において｛２ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。
　＜Daubechies９×７フィルタの場合のマスク調整指示＃７＞
　マスク調整指示＃７（ＭＯＤＥ＝ＬＨ、且つ、ＬＳＥＬ＝ＯＲ、且つ、ＨＳＥＬ＝ＯＲ）によれば、第１復元条件および第２復元条件は次のように規定される。
　第１復元条件：第１ウエーブレット平面の低域成分の｛ｎ－１｝番目から｛ｎ＋１｝番目のうちの少なくとも１つのデータが第１マスクによってＲＯＩに対応付けられ、且つ、第１ウエーブレット平面の高域成分の｛ｎ－２｝番目から｛ｎ＋１｝番目のうちの少なくとも１つのデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において２ｎ番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。
　第２復元条件：第１ウエーブレット平面の低域成分の｛ｎ－１｝番目から｛ｎ＋２｝番目のうちの少なくとも１つデータが第１マスクによってＲＯＩに対応付けられ、且つ、第１ウエーブレット平面の高域成分の｛ｎ－２｝番目から｛ｎ＋２｝番目のうちの少なくとも１つのデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において｛２ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。
　＜マスク調整指示＞
　このように、第１復元条件および第２復元条件における上記指定位置を、マスク調整指示によって指示できる。ユーザは、モード指示（ＭＯＤＥ）と低域選択指示（ＬＳＥＬ）と高域選択指示（ＨＳＥＬ）とをそれぞれ入力することによって、マスク調整指示を入力することが可能である。あるいは、表１のように、モード指示（ＭＯＤＥ）と低域選択指示（ＬＳＥＬ）と高域選択指示（ＨＳＥＬ）とを予め組み合わせて複数のマスク調整指示を予め規定しておき、ユーザはその中からマスク調整指示を選ぶようにしてもよい。
　なお、モード指示（ＭＯＤＥ）を低域選択指示（ＬＳＥＬ）と高域選択指示（ＨＳＥＬ）のそれぞれに組み込むことも可能である。例えば、低域成分を利用しない指示としてＬＳＥＬ＝ＮＯを追加し、高域成分を利用しない指示としてＨＳＥＬ＝ＮＯを追加すれば、モード指示（ＭＯＤＥ）を別途設ける必要がない。
　＜分解レベル増加部１２５６＞
　図１９に戻り、分解レベル増加部１２５６は、ウエーブレット変換部１２５７と、マスク展開部１２５８とを含んでいる。
　＜ウエーブレット変換部１２５７＞
　ウエーブレット変換部１２５７は、第１ウエーブレット係数データＡ２１と合成制御データＣ５０とを取得し、第１ウエーブレット係数データＡ２１に対して、合成制御データＣ５０によって指定された第１の分解レベルになるまでウエーブレット変換を行う。それにより、第１の分解レベルの第１ウエーブレット係数データＡ６１が生成される。
　なお、ウエーブレット変換部１２５７と後述のウエーブレット変換部１２６０とは、同じ回路によって実現されてもよいし、あるいは別々の回路によって実現されてもよい。
　＜マスク展開部１２５８＞
　マスク展開部１２５８は、マスクデータＢ２１と合成制御データＣ５０とを取得し、マスク展開処理を行う。具体的には、マスクデータＢ２１を、分解レベル変換部１２５０で生成しようとしている（すなわち、合成制御データＣ５０によって指定された第１の分解レベルを有する）第１ウエーブレット係数データＡ６１に含まれる各帯域成分用に変換する。それにより、第１の分解レベルのマスクデータＢ６１が生成される。
　マスク展開部１２５８は、供給システム１１のマスク展開部１０５２と同様に動作する（図７、図１３～図１５参照）。このため、ここでは重複の説明を省略する。
　＜分解レベル変換部１２５０の変形例＞
　なお、分解レベル減少部１２５１または分解レベル増加部１２５６を省略してもよい。分解レベル減少部１２５１のみが設けられた場合、分解レベル変換部１２５０は、合成制御データＣ５０によって指定された第１の分解レベルが、第１ウエーブレット係数データＡ２１およびマスクデータＢ２１の初期の分解レベル以下であるという使用条件に特化される。逆に、分解レベル増加部１２５６のみが設けられた場合、分解レベル変換部１２５０は、第１の分解レベルが初期の分解レベル以上であるという使用条件に特化される。
　＜ウエーブレット変換部１２６０＞
　図１７に戻り、ウエーブレット変換部１２６０は、第２対象画像のデータである第２対象画像データＤ５０と、合成制御データＣ５０とを取得する。第２対象画像は、第１対象画像のＲＯＩと合成される画像であり、画像合成のための背景画像を提供する。
　ここで、合成システム２１には、第２対象画像の源となる第２基礎画像のデータである第２基礎画像データＤ１０が入力されるものとする。但し、実施の形態１では、第２基礎画像の全体が第２対象画像を構成する場合、すなわち第２基礎画像と第２対象画像とは同じである場合を説明する。
　第２基礎画像データＤ１０は、例えば、合成システム２１の側に設けられた画像入力部４４、または、画像処理システム２０（図１参照）の他のシステムから供給される。なお、第２基礎画像および第２対象画像は、デジタルカメラ等によって撮影した画像であってもよいし、あるいは、コンピュータグラフィックスであってもよい。
　ウエーブレット変換部１２６０は、第２対象画像データＤ５０に対して、所定の分解レベル（第２の分解レベルと呼ぶことにする）までウエーブレット変換を行い、それにより第２ウエーブレット係数データＤ６１を生成する。ウエーブレット変換部１２６０は、供給システム１１のウエーブレット変換部１０３０（図３参照）と同様の仕様によって動作する。実施の形態１では、第２ウエーブレット係数データＤ６１の分解レベル（第２の分解レベル）は、合成制御データＣ５０によって指定された第１の分解レベルと等しいものとする。
　なお、例えば、合成システム２１のウエーブレット変換部１２６０を供給システム１１のウエーブレット変換部１０３０と区別する場合、供給システム１１のウエーブレット変換部１０３０を第１のウエーブレット変換部１０３０と呼び、合成システム２１のウエーブレット変換部１２６０を第２のウエーブレット変換部１２６０と呼べばよい。この例に限らず、第１の、第２の、…を付記することによって、同様の名称をより明確に区別できる。
　＜合成実行部１２７０＞
　合成実行部１２７０は、分解レベル変換部１２５０から第１の分解レベルの第１ウエーブレット係数データＡ６１およびマスクデータＢ６１を取得し、ウエーブレット変換部１２６０から第２の分解レベル（ここでは第１の分解レベルに等しい）の第２ウエーブレット係数データＤ６１を取得する。そして、合成実行部１２７０は、これらのデータＡ６１，Ｂ６１，Ｄ６１に基づいて、第１対象画像中のＲＯＩと第２対象画像との画像合成を行う（合成実行処理）。
　合成実行処理では、合成実行部１２７０は、第１の分解レベルの第１ウエーブレット係数データＡ６１についてＲＯＩ係数と非ＲＯＩ係数とを、第１の分解レベルのマスクデータＢ６１に基づいて判別する（係数判別処理）。そして、判別結果に基づいて、合成実行部１２７０は、第１ウエーブレット係数データＡ６１中のＲＯＩ係数と、第２ウエーブレット係数データＤ６１中の係数とを合成する（係数合成処理）。それにより、合成実行部１２７０は合成済み係数データＥ６１を生成する。
　具体的には、第１ウエーブレット係数データＡ６１によるウエーブレット平面上の或る位置のデータが、ＲＯＩ係数でない（換言すれば非ＲＯＩ係数である）場合、当該非ＲＯＩ係数を、第２ウエーブレット係数データＤ６１によるウエーブレット平面上で同じ位置に存在するデータで置換する。これによれば、第１ウエーブレット係数データＡ６１が、合成済み係数データＥ６１に変換される。
　図２３に、係数合成処理を説明するフローチャートを示す。図２３の係数合成処理Ｓ３００によれば、まず、第１ウエーブレット係数データＡ６１中から検査対象とするウエーブレット係数を１つ選択する（ステップＳ３０１）。そして、その検査対象係数がＲＯＩ係数と非ＲＯＩ係数のどちらであるかを判別する（ステップＳ３０２）。すなわち、ステップＳ３０２において、係数判別処理が行われる。
　検査対象係数が非ＲＯＩ係数である場合、その検査対象係数を、第２ウエーブレット係数データＤ６１中の対応するウエーブレット係数で置換する（ステップＳ３０３）。これに対し、検査対象係数がＲＯＩ係数である場合、ステップＳ３０３は行わない。第１ウエーブレット係数データＡ６１中の全てのウエーブレット係数を検査し終えるまで、ステップＳ３０１～Ｓ３０３を繰り返す（ステップＳ３０４）。
　図２４に、係数合成処理を説明する別のフローチャートを示す。図２４の係数合成処理Ｓ３００Ｂでは、上記ステップＳ３０３の代わりに、ステップＳ３０３Ｂが設けられている。すなわち、係数判別処理ステップＳ３０２において検査対象係数がＲＯＩ係数であると判別された場合、ステップＳ３０３Ｂにおいて第１ウエーブレット係数データＡ６１中の当該ＲＯＩ係数を、第２ウエーブレット係数データＤ６１中の対応する位置に埋め込む。これによれば、第２ウエーブレット係数データＤ６１が、合成済み係数データＥ６１に変換される。
　このように、第１ウエーブレット係数データＡ６１中のＲＯＩ係数と第２ウエーブレット係数データＤ６１中のウエーブレット係数との合成には、２種類の具体的手法（第１係数合成処理と第２係数合成処理と呼ぶことにする）がある。
　第１係数合成処理（図２３のＳ３００を参照）：第１ウエーブレット係数データＡ６１中の非ＲＯＩ係数を、第２ウエーブレット係数データＤ６１中の対応するウエーブレット係数で置換する。
　第２係数合成処理（図２４のＳ３００Ｂを参照）：第１ウエーブレット係数データＡ６１中のＲＯＩ係数を、第２ウエーブレット係数データＤ６１中の対応する位置に埋め込む。
　＜逆ウエーブレット変換部１２８０＞
　図１７に戻り、逆ウエーブレット変換部１２８０は、合成実行部１２７０によって生成された合成済み係数データＥ６１に対して、分解レベルが０になるまで逆ウエーブレット変換を行う。これにより、合成済み係数データＥ６１から、合成画像データＥ８０が生成される。
　＜後処理部１２９０＞
　後処理部１２９０は、逆ウエーブレット変換部１２８０から合成画像データＥ８０を取得し、合成画像データＥ８０に対して所定の後処理を行う。所定の後処理は、ここでは、図３の供給システム１１の前処理部１０２０で行われる所定の前処理とは逆の処理にあたる。図１７の例では、後処理部１２９０は、タイリング部１２９１と、色空間変換部１２９２と、ＤＣレベルシフト部１２９３とを含んでいる。
　タイリング部１２９１は、図３の供給システム１１のタイリング部１０２３とは逆の処理を行う。具体的には、タイリング部１２９１は、逆ウエーブレット変換部１２８０から出力されるタイル単位の合成画像データＥ８０を合成して、１フレーム分の画像データを生成する。なお、合成画像データＥ８０がタイル単位で供給されない場合、換言すれば供給システム１１においてウエーブレット変換がタイル単位で行われていなかった場合、タイリング部１２９１による処理は省略される。あるいは、タイリング部１２９１自体を省略してもよい。
　色空間変換部１２９２は、図３の供給システム１１の色空間変換部１０２２とは逆の処理を行う。例えば、タイリング部１２９１から出力された画像データをＲＧＢ成分に変換する。ＤＣレベルシフト部１２９３は、色空間変換部１２９２から出力された画像データのＤＣレベルを必要に応じて変換する。図１７の例では、ＤＣレベルシフト部１２９３から出力される合成画像データＥ１００が、合成システム２１の出力画像データとなる。
　合成画像データＥ１００に基づいて表示部４１に表示動作を行わせることによって、第１対象画像中のＲＯＩと第２対象画像との合成画像が表示される。
　＜合成システム２１の動作＞
　図２５および図２６に、合成システム２１の動作を説明するフローチャートを示す。なお、図２５および図２６のフローは結合子Ｃ１によって繋がっている。
　図２５および図２６の動作フローＳ２０００によれば、合成システム２１に符号化ビットストリームＡｂｓが入力されると、ビットストリーム解析部１２１０が符号化ビットストリームＡｂｓを取得し（ステップＳ２１０１）、符号ビットストリームＡｂｓから符号化データＡ５０と合成制御データＣ５０とを抽出する（ステップＳ２１０２）。
　そして、符号化データＡ５０は、復号化部１２２０によって復号化され、量子化ウエーブレット係数データＡ２２が生成される（ステップＳ２１０３）。量子化ウエーブレット係数データＡ２２は、逆量子化部１２４０とマスク再現部１２３０とに入力される（図１７参照）。
　逆量子化部１２４０は、量子化ウエーブレット係数データＡ２２に対して逆量子化を行い、第１ウエーブレット係数データＡ２１を生成する（ステップＳ２１０４）。一方、マスク再現部１２３０は、上記のように、量子化ウエーブレット係数データＡ２２に基づいて、供給システム１１において量子化ウエーブレット係数データＡ２２の生成時に適用されたマスクデータＢ２１を再現する（ステップＳ２１０５）。なお、図２５の例では、ステップＳ２１０４，Ｓ２１０５を並行して実行するが、ステップＳ２１０４をステップＳ２１０５の前または後で実行することも可能である。
　そして、分解レベル変換部１２５０が、上記のように、第１ウエーブレット係数データＡ２１およびマスクデータＢ２１の分解レベルを、合成制御データＣ５０によって指定された第１の分解レベルに変換する（ステップＳ２１０６）。これにより、第１の分解レベルの第１ウエーブレット係数データＡ６１およびマスクデータＢ２１が生成される。
　ここで、合成システム２１に第２基礎画像データＤ１０が入力されると、ウエーブレット変換部１２６０が第２基礎画像データＤ１０を取得し（ステップＳ２２０１）、第２基礎画像データＤ１０に対して第２の分解レベルまでウエーブレット変換を行う（ステップＳ２２０２）。これにより、第２ウエーブレット係数データＤ６１が生成される。
　上記のように実施の形態１では、第２の分解レベルは、合成制御データＣ５０によって指定された第１の分解レベルに等しい。このため、ウエーブレット変換のステップＳ２２０２は、合成制御データＣ５０が取得されるステップＳ２１０２よりも後で実行される。また、実施の形態１では上記のように、第２基礎画像データＤ１０は、画像合成に供される第２対象画像データＤ５０として扱われる。
　ステップＳ２１０６，Ｓ２２０２の後、合成実行部１２７０が、第１ウエーブレット係数データＡ６１と第２ウエーブレット係数データＤ６１とを合成し、合成済み係数データＥ６１を生成する（ステップＳ２３０１）。そして、合成済み係数データＥ６１に対して、逆ウエーブレット変換部１２８０が分解レベル０まで逆ウエーブレット変換を行う（ステップＳ２３０２）。これにより、合成画像データＥ８０が生成される。
　その後、合成画像データＥ８０に対して後処理部１２９０が所定の後処理を行い（ステップＳ２３０３）、ステップＳ２３０３後の合成画像データＥ１００が合成システム２１から出力される（ステップＳ２３０４）。
　＜効果＞
　実施の形態１によれば、第１対象画像中のＲＯＩと第２対象画像との合成は、第１ウエーブレット係数データＡ６１および第２ウエーブレット係数データＤ６１を用いて行われる。また、第１対象画像中のＲＯＩの判別は、第１ウエーブレット係数データＡ６１についてＲＯＩ係数を判別することによって行われる。かかる係数判別は、第１ウエーブレット係数データＡ６１用の展開マスクのデータＢ６１に基づいて、行われる。
　ウエーブレット変換および逆ウエーブレット変換では、処理対象の注目画素の情報だけでなくその周辺の画素の情報も利用する。ウエーブレット係数用の展開マスクの生成についても同様である。このため、実施の形態１によれば、第１対象画像データおよび第２対象画像データをそのまま合成する場合に比べて、良好な合成画像が得られる。すなわち、輪郭および／または内部に不具合を有した不十分なＲＯＩを利用しても（換言すれば、そのような不十分なＲＯＩ用の原マスクを利用しても）、合成画像上では、修復されたＲＯＩを提供できる。
　また、ウエーブレット変換の分解レベルを合成制御データＣ５０によって制御することによって、合成具合（ＲＯＩの修復、ＲＯＩの拡張、等）を調整できる。
　これらに鑑みると、実施の形態１によれば、ＲＯＩの設定に高コストな技術を利用しなくても済む。つまり、良好な合成画像を低コストで生成できる。
　また、上記のように、供給システム１１の量子化部１０４０は、量子化後の非ＲＯＩ係数が０になるように、第１ウエーブレット係数データＡ２１の量子化を行う。したがって、マスクデータＢ６１自体を供給システム１１から出力する必要がない。このため、供給システム１１と合成システム２１とが有線または無線によって通信する場合、通信量を削減でき、伝送の即時性に役立つ。その結果、画像合成の高速化、換言すれば画像合成の即時性が向上する。
　ここで、マスクデータを量子化ウエーブレット係数に反映させる手法として、ＪＰＥＧ２０００のオプション機能であるＭａｘ－ｓｈｉｆｔ法がある。このＭａｘ－ｓｈｉｆｔ法によれば、量子化および逆量子化においてウエーブレット係数のスケールアップおよびスケールダウンが行われる。これに対し、実施の形態１に係る量子化、逆量子化およびマスク再現では、そのようなスケーリング処理は必要ない。
　また、合成制御データＣ５０が、第１対象画像用のビットストリームＡｂｓのうちで第１対象画像の符号化データＡ５０に影響しない領域に埋め込まれている。このため、既存の符号化ストリームに対する後方互換性を確保することができる。
　＜実施の形態２＞
　実施の形態１では、マスクデータＢ２１を量子化ウエーブレット係数データＡ２２に反映させる。具体的には、供給システム１１の量子化部１０４０が、量子化後の非ＲＯＩ係数が０になるように、第１ウエーブレット係数データＡ２１の量子化を行う。かかる手法によれば、効率良く符号化しようとすると、第１ウエーブレット係数のうちのＲＯＩ係数の量子化後の値が０になってしまう場合がある。特に値が小さいＲＯＩ係数について、その傾向が大きい。
　このような問題点は、分解レベル変換部１２５０（図１７および図１９参照）を変形することによって、解消可能である。図２７および図２８に、実施の形態２に係る分解レベル変換部１２５０Ｂを説明するブロック図およびフローチャートを示す。
　図２７の分解レベル変換部１２５０Ｂは、既述の図１９との比較から分かるように、マスクデータＢ２１は、マスク復元部１２５３に供給されるが、マスク展開部１２５８には供給されない。また、合成制御データＣ５０は、マスク展開部１２５８に供給されるが、マスク復元部１２５３には供給されない。
　かかる構成の下、図２８の処理フローＳ２４０のステップＳ２４１，Ｓ２２２に示すように、マスク復元部１２５３は、マスクデータＢ２１に対して、分解レベルが０になるまでマスク復元処理を行う。これにより、分解レベル０のマスク、すなわち原マスクが生成される。原マスクデータはマスク展開部１２５８に入力され、原マスクデータに対して、合成制御データＣ５０によって指定された第１の分解レベルまで、マスク展開処理が行われる（図２８のステップＳ２０１，Ｓ２０２参照）。
　処理フローＳ２４０は、合成制御データＣ５０によって指定された第１の分解レベルと、第１ウエーブレット係数データＡ２１の初期の分解レベルとの大小関係に関わらず、実行される。なお、上記問題点を解消するためには、第１の分解レベルと初期の分解レベルとが等しい場合にも処理フローＳ２４０が実行されることが、好ましい。
　なお、逆ウエーブレット変換部１２５２およびウエーブレット変換部１２５７は、合成制御データＣ５０によって指定された第１の分解レベルと、第１ウエーブレット係数データＡ２１の初期の分解レベルとの大小関係に応じて、実施の形態１と同様に動作する。そして、逆ウエーブレット変換部１２５２とウエーブレット変換部１２５７とのいずれか一方の出力データが、第１ウエーブレット係数データＡ６１として、合成実行部１２７０に供給される。
　実施の形態２によれば、実施の形態１の効果が得られると共に、上記問題点を解消することができる。
　＜実施の形態３＞
　図２９および図３０に、実施の形態３に係る供給システム１１Ｃおよび合成システム２１Ｃの構成例を示す。供給システム１１Ｃおよび合成システム２１Ｃは、実施の形態１に係る供給システム１１および合成システム２１に代えて、画像処理システム１，１０，２０等に適用可能である。
　図２９および図３０から分かるように、供給システム１１Ｃおよび合成システム２１Ｃは、基本的には、実施の形態１に係る供給システム１１および合成システム２１（図３および図１７参照）と同じ構成を有している。但し、供給システム１１Ｃは、ユーザによって入力された合成制御データＣ５０を、符号化ビットストリームＡｂｓに埋め込まずに出力する。このため、供給システム１１Ｃのビットストリーム生成部１０７０は合成制御データＣ５０の埋め込みを行わず、合成システム２１Ｃのビットストリーム解析部１２１０は合成制御データＣ５０の抽出を行わない。
　図３１に、供給システム１１Ｃの動作を説明するフローチャートを示す。図３１の動作フローＳ１０００Ｃによれば、実施の形態１に係る動作フローＳ１０００（図１６参照）からステップＳ１００５が削除されている。また、ステップＳ１００６の代わりに設けられたステップＳ１００６Ｃにおいて、符号化ビットリームＡｂｓと合成制御データＣ５０とが出力される。
　図３２に、合成システム２１Ｃの動作を説明するフローチャートを示す。図３２の動作フローＳ２０００Ｃによれば、実施の形態１に係る動作フローＳ２０００（図２５参照）からステップＳ２１０２が削除されている。また、ステップＳ２１０１の代わりに設けられたステップＳ２１０１Ｃにおいて、符号化ビットリームＡｂｓと合成制御データＣ５０とが取得される。図３２とは違えて、符号化ビットリームＡｂｓと合成制御データＣ５０とを別々のステップで、換言すれば別々のタイミングで取得してもよい。
　ここでは、符号化ビットストリームＡｂｓ（すなわち符号化データＡ５０）と合成制御データＣ５０とが、同じ媒体５０（例えば通信媒体または外部記憶媒体）によって、合成システム２１Ｃに供給されるものとする。但し、異なる媒体５０を利用してもよい。例えば、符号化データＡ５０の供給に通信媒体を利用し、合成制御データＣ５０の供給に外部記憶媒体を利用してもよい。
　実施の形態３によれば、実施の形態１と同様の効果を得ることができる。なお、実施の形態３は実施の形態２と組み合わせ可能であり、それにより実施の形態２と同様の効果を得ることができる。
　＜実施の形態４＞
　図３３および図３４に、実施の形態４に係る供給システム１１Ｄおよび合成システム２１Ｄの構成例を示す。供給システム１１Ｄおよび合成システム２１Ｄは、実施の形態１に係る供給システム１１および合成システム２１に代えて、画像処理システム１，１０，２０等に適用可能である。
　図３３および図３４から分かるように、供給システム１１Ｄおよび合成システム２１Ｄは、基本的には、実施の形態１に係る供給システム１１および合成システム２１（図３および図１７参照）と同じ構成を有している。但し、合成制御データＣ５０は、合成システム２１Ｄの側に設けられた操作部４２（図２参照）にユーザが入力することによって、合成システム２１Ｄに供給される。このため、供給システム１１Ｄは、合成制御データＣ５０の入力受付およびシステム外部への出力を行わない。
　他方、符号化ビットストリームＡｂｓ（すなわち符号化データＡ５０）は、実施の形態３と同様に、媒体５０（例えば通信媒体または外部記憶媒体）によって、合成システム２１Ｄに供給される。合成システム２１Ｄは、合成制御データＣ５０を、符号化データＡ５０を供給する媒体とは異なる媒体によって取得する。
　実施の形態４によれば、実施の形態１と同様の効果を得ることができる。特に実施の形態４によれば、合成制御データＣ５０を合成システム２１Ｄの側で入力することができるので、合成システム２１Ｄの側で合成具合を調整できる。なお、実施の形態４は実施の形態２と組み合わせ可能であり、それにより実施の形態２と同様の効果を得ることができる。
　＜実施の形態５＞
　図３５に、実施の形態５に係る合成システム２１Ｅの構成例を示す。合成システム２１Ｅは、実施の形態１に係る合成システム２１に代えて、画像処理システム１，２０等に適用可能である。ここでは、合成システム２１Ｅは、実施の形態１に係る供給システム１１（図３参照）と組み合わされるものとする。
　図３５を図１７と比較すれば分かるように、合成システム２１Ｅは、実施の形態１に係る合成システム２１に、セレクタ１３００が追加された構成を有している。セレクタ１３００は、複数の合成制御データのうちの１つを選択的に、分解レベル変換部１２５０およびウエーブレット変換部１２６０に供給する。図３５の例では、セレクタ１３００に２つの合成制御データＣ４１，Ｃ４２が入力され、いずれか一方の合成制御データが合成制御データＣ５０として出力される。
　第１合成制御データＣ４１は、合成システム２１Ｅの側に設けられた操作部４２（図２参照）に、合成システム２１Ｅのユーザが入力することによって、セレクタ１３００に供給される。
　第２合成制御データＣ４２は、供給システム１１から媒体５０によって、セレクタ１３００に供給される。より具体的には、第２合成制御データＣ４２は供給システム１１において符号化ビットストリームＡｂｓに埋め込まれ、その符号化ビットストリームＡｂｓが媒体５０によってビットストリーム解析部１２１０に供給される。そして、第２合成制御データＣ４２は、ビットストリーム解析部１２１０によって抽出され、セレクタ１３００に入力される。つまり、第２合成制御データＣ４２は、第１合成制御データＣ４１とは異なる媒体によって供給される。
　セレクタ１３００は、第１合成制御データＣ４１を優先的に選択して出力するように設定されている。これによれば、実施の形態４と同様に、合成システム２１Ｅの側で合成具合を調整できる。一方、第１合成制御データＣ４１が入力されない場合には第２合成制御データＣ４２が出力されるので、合成システム２１Ｅの側での手間が省ける。
　複数の合成制御データの選択優先度は固定されていてもよいし、あるいは変更可能であってもよい。選択優先度の変更は、例えば、合成システム２１Ｅの側に設けられた操作部４２と、供給システム１１の側に設けられた操作部３２との一方または両方によって、行うことが想定される。
　また、実施の形態５によれば、実施の形態１と同様の効果も得ることができる。なお、実施の形態５は実施の形態２等と組み合わせ可能であり、それにより実施の形態２等と同様の効果を得ることができる。
　なお、図３５を応用すれば、第１の分解レベルの指示が供給システム１１に入力され、マスク調整指示が合成システム２１Ｄに入力されるといった形態、および、その逆の形態も実現可能である。
　＜実施の形態６＞
　実施の形態１では、第１基礎画像の全体が、画像合成に供される第１対象画像を構成する場合を説明した。実施の形態２～５についても同様である。ここで、画像合成において基本的には第１基礎画像中の非ＲＯＩは不要である点に鑑みると、第１基礎画像のうちでＲＯＩを含む一部分だけを切り取り、切り取った画像を第１対象画像として合成システム２１に供給する例が考えられる。
　第１基礎画像の一部分を第１対象画像として切り取ることによって、第１対象画像用の符号化データＡ５０のサイズを削減でき、したがって符号化ビットストリームのサイズを削減することができる。このため、符号化ビットストリームが有線または無線の通信によって伝送される場合、符号化データＡ５０の削減は、通信量を削減でき、伝送の即時性に役立つ。また、第１対象画像が小さくなるのに合わせて、第２対象画像も小さくなるので、合成システムでの演算負荷を削減できる。このため、画像合成の高速化に役立つ。これらに鑑みると、画像合成の即時性が向上する。
　＜切り取り範囲決定処理＞
　実施の形態６に係るシステムの構成例を説明する前に、第１基礎画像から第１対象画像として切り取る範囲について説明する。
　上記のように、第１基礎画像の一部分を第１対象画像として切り取れば、供給システムから出力する符号化データのサイズを小さくできる。このため、基本的には、第１基礎画像のうちでＲＯＩを含む任意の範囲を、第１対象画像として設定可能である。そして、データサイズを大きく削減するためには、第１対象画像はできるだけ小さい方が好ましい。
　その一方で、第１対象画像と第２対象画像とはウエーブレット変換後に合成されるので、ウエーブレット係数データにおいても（換言すれば、ウエーブレット平面上においても）ＲＯＩの範囲が歪まないように、切り取り範囲を決定する必要がある。
　図３６～図３９に、切り取り範囲を説明するための図を示す。図３６には、図８の第１基礎画像６０を例にして、ＲＯＩ６０ａを含む矩形の最小範囲８１を示している。最小範囲８１は矩形に設定しているので、最小範囲８１の左上端座標（ＡＸ１，ＡＹ１）および右下端座標（ＢＸ１，ＢＹ１）によって、最小範囲８１の位置および範囲を特定可能である。図３６等では、第１基礎画像６０の左上端を座標系の原点Ｏ（０，０）に採り、第１基礎画像６０の水平方向および垂直方向に直交する２つの軸を採っている。
　図３７には、第１対象画像として切り取る範囲８３を示している。切り取り範囲８３は、最小範囲８１を含み且つ最小範囲８１よりも大きい。切り取り範囲８３について、左上端座標を（ＡＸ３，ＡＹ３）とし、右下端座標を（ＢＸ３，ＢＹ３）とする。
　図３８および図３９は、最小範囲８１および切り取り範囲８３を、第１基礎画像に対応する基礎マスク７０に示した図である。
　図４０に、切り取り範囲８３の決定処理のフローチャートを示す。図４０のフローＳ５００によれば、ステップＳ５０１において最小範囲特定処理が行われ、ステップＳ５０２において追跡処理が行われ、ステップＳ５０３において必要範囲特定処理が行われる。
　＜最小範囲特定処理＞
　最小範囲特定処理のステップＳ５０１では、切り取り前の原画像である第１基礎画像６０において、ＲＯＩ６０ａを含む矩形の最小範囲８１を特定する。最小範囲８１の特定は、第１基礎画像６０を対象とした原マスク、すなわち基礎マスク７０に基づいて行われる。
　例えば、基礎マスク７０の各行を上から順に選択して行き、選択した行が、ＲＯＩ対応部分７０ａに属する画素を有するか否かを判別する。ＲＯＩ対応部分７０ａに属する画素を有すると最初に判別された行の位置が、ＡＹ１に当たる。同様に、基礎マスク７０の各行を下から順に選択して行くことによって、ＢＹ１を求めることができる。さらに、基礎マスク７０の各列を左から順に選択して行くことによってＡＸ１を求めることができ、基礎マスク７０の各列を右から順に選択して行くことによってＢＸ１を求めることができる。
　＜追跡処理＞
　ウエーブレット平面上においてＲＯＩの範囲が歪まないようにするためには、最小範囲８１の全域に対してウエーブレット変換を実行可能であることが必要である。ウエーブレット変換では、注目画素のデータだけでなく、その両側の画素のデータも利用する。このため、最小範囲８１の外縁付近の画素に対してウエーブレット変換を行う場合、最小範囲８１よりも外側の画素のデータが必要になる。かかる理由により、切り取り範囲８３は最小範囲８１よりも大きくなるのである。
　最小範囲８１よりも外側に必要な画素の範囲の求め方は、例えば特許文献８を参照することができる。最小範囲８１よりも外側に必要な画素の範囲は、ウエーブレット変換の分割フィルタのタップ数に依存する。
　例えば、分解側のローパスフィルタが５タップであり分解側のハイパスフィルタが３タップである５×３フィルタの場合、図４１に示すように、ローパスフィルタのｎ番目の出力を得るためには、入力側において｛２ｎ－２｝番目から｛２ｎ＋２｝番目の５画素分のデータが必要である。また、図４２に示すように、ハイパスフィルタのｎ番目の出力を得るためには、入力側において２ｎ番目から｛２ｎ＋２｝番目の３画素分のデータが必要である。
　また、分解側のローパスフィルタが９タップであり分解側のハイパスフィルタが７タップであるDaubechies９×７フィルタの場合、図４３に示すように、ローパスフィルタのｎ番目の出力を得るためには、入力側において｛２ｎ－４｝番目から｛２ｎ＋４｝番目の９画素分のデータが必要である。また、図４４に示すように、ハイパスフィルタのｎ番目の出力を得るためには、入力側において｛２ｎ－２｝番目から｛２ｎ＋４｝番目の７画素分のデータが必要である。
　さらに、最小範囲８１よりも外側に必要な画素の範囲は、ウエーブレット変換の分解レベルにも依存する。なぜならば、ウエーブレット平面において最上位帯域成分（すなわち最も分解された帯域成分）については、分割フィルタによる処理が、分解レベルの回数だけ繰り返されるからである。
　これらの点に鑑み、追跡処理のステップＳ５０２では、最終的なウエーブレット平面の最上位帯域成分において、最小範囲８１に対応する範囲を追跡最小範囲として特定する。
　ここで、ウエーブレット変換は供給システムのウエーブレット変換部１０３０（図３等参照）において行われる。また、供給システム側におけるこの初期の分解レベルよりも、合成制御データＣ５０によって指定された第１の分解レベルの方が大きい場合、合成システムの分解レベル変換部１２５０（図１７、図２７等参照）においてもウエーブレット変換が行われる。かかる点に鑑みると、初期の分解レベルと第１の分解レベルとのうちで高い方の分解レベルのウエーブレット平面を、上記の最終的なウエーブレット平面として想定することによって、ＲＯＩの範囲が歪むのをより確実に回避できる。なお、初期の分解レベルと第１の分解レベルとのうちで高い方の分解レベルを、最高分解レベルと呼ぶことにする。
　図４５に、追跡最小範囲を説明するための図を示す。図４５では、分解レベル３のウエーブレット平面６３のうちで最上位帯域成分ＬＬ３，ＨＬ３，ＬＨ３，ＨＨ３を拡大して図示している。また、図４５は、最上位帯域成分ＬＬ３，ＨＬ３，ＬＨ３，ＨＨ３のうちで最低域の帯域成分ＬＬ３において、最小範囲８１に対応する追跡最小範囲８２を特定する場合を示している。なお、ウエーブレット平面の原点Ｏ（０，０）は、原画像（すなわち第１基礎画像６０）の原点Ｏに対応する。ウエーブレット平面６３上の追跡最小範囲８２について、左上端座標を（ＡＸ２，ＡＹ２）とし、右下端座標を（ＢＸ２，ＢＹ２）とする。
　図４６および図４７に、ウエーブレット変換に５×３フィルタが使用される場合において、追跡最小範囲８２を求めるためのフローチャートを示す。なお、図４６は左上端座標（ＡＸ２，ＡＹ２）の求め方を示し、図４７は右下端座標（ＢＸ２，ＢＹ２）の求め方を示している。
　図４６の処理フローＳ５１０によれば、ステップＳ５１１においてパラメータｑに最小範囲８１の左上端座標（ＡＸ１，ＡＹ１）が設定される。ここでは、まず、ｑ＝ＡＸ１が設定されるとする。
　ステップＳ５１２においてｑが偶数と判別された場合、ステップＳ５１３においてパラメータｐ＝ｑ／２に設定される。これに対し、ステップＳ５１２においてｑが奇数と判別された場合、ステップＳ５１４においてｐ＝（ｑ－１）／２に設定される。
　そして、ステップＳ５１５において現在の分解レベルが、最高分解レベルに達していないと判別された場合、ステップＳ５１６においてｐの現在値をｑの新たな値に設定する（ｑ＝ｐ）。その後、ステップＳ５１７において分解レベルを上げ、ステップＳ５１２に戻る。
　これに対し、ステップＳ５１５において現在の分解レベルが最高分解レベルに達したと判別された場合、ステップＳ５１８においてその時点のｐの値を追跡最小範囲８２のＡＸ２に設定する。
　ステップＳ５１１においてｑ＝ＡＹ１に設定することによって、ステップＳ５１８において追跡最小範囲８２のＡＹ２が求められる。
　図４７の処理フローＳ５２０によれば、最小範囲８１のＢＸ１から追跡最小範囲８２のＢＸ２が求められ、最小範囲８１のＢＹ１から追跡最小範囲８２のＢＹ２が求められる。処理フローＳ５２０は、ステップＳ５２４での演算内容を除いて、基本的には図４６の処理フローＳ５１０と同様である。すなわち、ステップＳ５２２においてｑが奇数と判別された場合、ステップＳ５２４においてｐ＝（ｑ＋１）／２に設定される。
　処理フローＳ５１０，Ｓ５２０に鑑みると、ウエーブレット変換に５×３フィルタが使用される場合の追跡処理は次のようにも表現できる。
　ＡＸ１が偶数ならばＡＸ１／２を新たなＡＸ１に設定し、ＡＸ１が奇数ならば｛ＡＸ１－１｝／２を新たなＡＸ１に設定するという処理（第１再帰処理と呼ぶことにする）を、最高分解レベルの値によって指定された指定回数行い、最終的に得られたＡＸ１をＡＸ２に設定する。
　ＡＹ１が偶数ならばＡＹ１／２を新たなＡＹ１に設定し、ＡＹ１が奇数ならば｛ＡＹ１－１｝／２を新たなＡＹ１に設定するという処理（第２再帰処理と呼ぶことにする）を上記指定回数行い、最終的に得られたＡＹ１をＡＹ２に設定する。
　ＢＸ１が偶数ならばＢＸ１／２を新たなＢＸ１に設定し、ＢＸ１が奇数ならば｛ＢＸ１＋１｝／２を新たなＢＸ１に設定するという処理（第３再帰処理と呼ぶことにする）を上記指定回数行い、最終的に得られたＢＸ１をＢＸ２に設定する。
　ＢＹ１が偶数ならばＢＹ１／２を新たなＢＹ１に設定し、ＢＹ１が奇数ならば｛ＢＹ１＋１｝／２を新たなＢＹ１に設定するという処理（第４再帰処理と呼ぶことにする）を上記指定回数行い、最終的に得られたＢＹ１をＢＹ２に設定する。
　図４８および図４９に、ウエーブレット変換にDaubechies９×７フィルタが使用される場合において、追跡最小範囲８２を求めるためのフローチャートを示す。なお、図４８は左上端座標（ＡＸ２，ＡＹ２）の求め方を示し、図４９は右下端座標（ＢＸ２，ＢＹ２）の求め方を示している。
　図４８の処理フローＳ５３０によれば、最小範囲８１のＡＸ１から追跡最小範囲８２のＡＸ２が求められ、最小範囲８１のＡＹ１から追跡最小範囲８２のＡＹ２が求められる。処理フローＳ５３０は、ステップＳ５３３，Ｓ５３４での演算内容を除いて、基本的には図４６の処理フローＳ５１０と同様である。すなわち、ステップＳ５３２においてｑが偶数と判別された場合、ステップＳ５３３においてｐ＝ｑ／２－１に設定される。これに対し、ステップＳ５３２においてｑが奇数と判別された場合、ステップＳ５３４においてｐ＝（ｑ－３）／２に設定される。
　図４９の処理フローＳ５４０によれば、最小範囲８１のＢＸ１から追跡最小範囲８２のＢＸ２が求められ、最小範囲８１のＢＹ１から追跡最小範囲８２のＢＹ２が求められる。処理フローＳ５４０は、ステップＳ５４３，Ｓ５４４での演算内容を除いて、基本的には図４６の処理フローＳ５１０と同様である。すなわち、ステップＳ５４２においてｑが偶数と判別された場合、ステップＳ５４３においてｐ＝（ｑ＋２）／２に設定される。これに対し、ステップＳ５４２においてｑが奇数と判別された場合、ステップＳ５４４においてｐ＝（ｑ＋３）／２に設定される。
　処理フローＳ５３０，Ｓ５４０に鑑みると、ウエーブレット変換にDaubechies９×７フィルタが使用される場合の追跡処理は次のようにも表現できる。
　ＡＸ１が偶数ならば｛ＡＸ１／２－１｝を新たなＡＸ１に設定し、ＡＸ１が奇数ならば｛ＡＸ１－３｝／２を新たなＡＸ１に設定するという処理（第９再帰処理と呼ぶことにする）を、最高分解レベルの値によって指定された指定回数行い、最終的に得られたＡＸ１をＡＸ２に設定する。
　ＡＹ１が偶数ならば｛ＡＹ１／２－１｝を新たなＡＹ１に設定し、ＡＹ１が奇数ならば｛ＡＹ１－３｝／２を新たなＡＹ１に設定するという処理（第１０再帰処理と呼ぶことにする）を上記指定回数行い、最終的に得られたＡＹ１をＡＹ２に設定する。
　ＢＸ１が偶数ならば｛ＢＸ１＋２｝／２を新たなＢＸ１に設定し、ＢＸ１が奇数ならば｛ＢＸ１＋３｝／２を新たなＢＸ１に設定するという処理（第１１再帰処理と呼ぶことにする）を上記指定回数行い、最終的に得られたＢＸ１をＢＸ２に設定する。
　ＢＹ１が偶数ならば｛ＢＹ１＋２｝／２を新たなＢＹ１に設定し、ＢＹ１が奇数ならば｛ＢＹ１＋３｝／２を新たなＢＹ１に設定するという処理（第１２再帰処理と呼ぶことにする）を上記指定回数行い、最終的に得られたＢＹ１をＢＹ２に設定する。
　なお、ステップＳ５１３，Ｓ５１４，Ｓ５２３，Ｓ５２４，Ｓ５３３，Ｓ５３４，Ｓ５４３，Ｓ５４４での演算内容は、フィルタのタップ数に応じて規定されている。また、演算のしやすさに鑑みて、偶数単位への桁上げを行っている。
　＜必要範囲特定処理＞
　図４０に戻り、必要範囲特定処理のステップＳ５０３では、追跡最小範囲８２内のウエーブレット係数を算出するために必要なデータが、切り取り前の第１基礎画像６０のどの範囲に存在するのかを特定する。特定された必要範囲が切り取り範囲８３になる。
　図５０に、ウエーブレット変換に５×３フィルタが使用される場合において、追跡最小範囲８２から切り取り範囲８３を求めるためのフローチャートを示す。
　図５０の処理フローＳ５５０によれば、ステップＳ５５１においてパラメータｒに追跡最小範囲８２のＡＸ２，ＡＹ２，ＢＸ２，ＢＹ２が設定される。ここでは、まず、ｒ＝ＡＸ２が設定されるとする。
　ステップＳ５５２においてｒがＢＸ２またはＢＹ２ではないと判別された場合（換言すれば、ｒが追跡最小範囲８２の左上端座標であると判別された場合）、ステップＳ５５３においてパラメータｓ＝２ｒ－２に設定される。これに対し、ステップＳ５５２においてｒがＢＸ２またはＢＹ２であると判別された場合（換言すれば、ｒが追跡最小範囲８２の右下端座標であると判別された場合）、ステップＳ５５４においてｓ＝２ｒ＋２に設定される。
　そして、ステップＳ５５５において現在の分解レベルが０に達していないと判別された場合、ステップＳ５５６においてｓの現在値をｒの新たな値に設定する（ｒ＝ｓ）。その後、ステップＳ５５７において分解レベルを下げ、ステップＳ５５２に戻る。
　これに対し、ステップＳ５５５において現在の分解レベルが０に達したと判別された場合、ステップＳ５５８においてその時点のｓの値を切り取り範囲８３のＡＸ３に設定する。
　ステップＳ５５１においてｒ＝ＡＹ２，ＢＸ２，ＢＹ２に設定することによって、ステップＳ５５８において切り取り範囲８３のＡＹ３，ＢＸ３，ＢＹ３が求められる。
　処理フローＳ５５０に鑑みると、ウエーブレット変換に５×３フィルタが使用される場合の必要範囲特定処理は次のようにも表現できる。
　｛ＡＸ２×２－２｝を新たなＡＸ２に設定するという処理（第５再帰処理と呼ぶことにする）を、最高分解レベルの値によって指定された指定回数行い、最終的に得られたＡＸ２をＡＸ３に設定する。
　｛ＡＹ２×２－２｝を新たなＡＹ２に設定するという処理（第６再帰処理と呼ぶことにする）を上記指定回数行い、最終的に得られたＡＹ２をＡＹ３に設定する。
　｛ＢＸ２×２＋２｝を新たなＢＸ２に設定するという処理（第７再帰処理と呼ぶことにする）を上記指定回数行い、最終的に得られたＢＸ２をＢＸ３に設定する。
　｛ＢＹ２×２＋２｝を新たなＢＹ２に設定するという処理（第８再帰処理と呼ぶことにする）を上記指定回数行い、最終的に得られたＢＹ２をＢＹ３に設定する。
　図５１に、ウエーブレット変換にDaubechies９×７フィルタが使用される場合において、追跡最小範囲８２から切り取り範囲８３を求めるためのフローチャートを示す。
　図５１の処理フローＳ５６０は、ステップＳ５６３，Ｓ５６４での演算内容を除いて、基本的には図５０の処理フローＳ５５０と同様である。すなわち、ステップＳ５６２においてｒがＢＸ２またはＢＹ２ではないと判別された場合、ステップＳ５６３においてｓ＝２ｒ－４に設定される。これに対し、ステップＳ５６２においてｒがＢＸ２またはＢＹ２であると判別された場合、ステップＳ５６４においてｓ＝２ｒ＋４に設定される。
　処理フローＳ５６０に鑑みると、ウエーブレット変換にDaubechies９×７フィルタが使用される場合の必要範囲特定処理は次のようにも表現できる。
　｛ＡＸ２×２－４｝を新たなＡＸ２に設定するという処理（第１３再帰処理と呼ぶことにする）を、最高分解レベルの値によって指定された指定回数行い、最終的に得られたＡＸ２をＡＸ３に設定する。
　｛ＡＹ２×２－４｝を新たなＡＹ２に設定するという処理（第１４再帰処理と呼ぶことにする）を上記指定回数行い、最終的に得られたＡＹ２をＡＹ３に設定する。
　｛ＢＸ２×２＋４｝を新たなＢＸ２に設定するという処理（第１５再帰処理と呼ぶことにする）を上記指定回数行い、最終的に得られたＢＸ２をＢＸ３に設定する。
　｛ＢＹ２×２＋４｝を新たなＢＹ２に設定するという処理（第１６再帰処理と呼ぶことにする）を上記指定回数行い、最終的に得られたＢＹ２をＢＹ３に設定する。
　＜供給システム１１Ｆ＞
　図５２に、実施の形態６に係る供給システム１１Ｆの構成例を示す。供給システム１１Ｆは、実施の形態１に係る供給システム１１に代えて、画像処理システム１，１０等に適用可能である。供給システム１１Ｆでは、マスク生成部１０５０に代えてマスク生成部１０５０Ｆが設けられ、第１画像切り取り部１０８０が追加されている。供給システム１１Ｆのその他の構成は、実施の形態１に係る供給システム１１と同様である。
　図５３に、マスク生成部１０５０Ｆの構成例を示す。図５３に示すように、マスク生成部１０５０Ｆは、既述の基礎マスク生成部１０５１およびマスク展開部１０５２と、切り取り範囲決定部１０５３と、マスク切り取り部１０５４とを含んでいる。
　切り取り範囲決定部１０５３は、切り取り範囲８３を決定する。具体的には、切り取り範囲決定部１０５３は、切り取り範囲決定処理Ｓ５００（図４０参照）を、基礎マスクデータＢ１０と、合成制御データＣ５０によって指定された第１の分解レベルと、ウエーブレット変換部１０３０における初期の分解レベル（初期設定データＨ５０によって与えられる）に基づいて行う。そして、切り取り範囲決定部１０５３は、切り取り範囲８３を特定するためのデータである切り取り範囲特定データＦ５０を生成する。切り取り範囲特定データＦ５０は、具体的には、切り取り範囲８３の左上端座標（ＡＸ３，ＡＹ３）および右下端座標（ＢＸ３，ＢＹ３）のデータである。
　マスク切り取り部１０５４は、切り取り範囲特定データＦ５０に基づいて、基礎マスクデータＢ１０のうちで切り取り範囲８３（図３９参照）内のデータを、展開マスクのデータＢ２１用に（換言すれば、展開マスクのための原マスクのデータＢ２０として）切り取る。切り取られたマスクは、マスク展開部１０５２において、初期設定データＨ５０によって指定された初期の分解レベルまで展開される。すなわち、原マスクデータＢ２０から展開マスクデータＢ２１が生成される。
　図５２に戻り、マスク生成部１０５０Ｆで生成されたマスクデータＢ２１は、実施の形態１と同様に量子化部１０４０に供給される。切り取り範囲特定データＦ５０は、ビットストリーム生成部１０７０に供給され、合成制御データＣ５０と共に符号化ビットストリームＡｂｓに埋め込まれる。また、切り取り範囲特定データＦ５０は、第１画像切り取り部１０８０に供給される。
　第１画像切り取り部１０８０は、切り取り範囲特定データＦ５０に基づいて、第１基礎画像データＡ１０のうちで切り取り範囲８３内のデータを切り取る（図３７参照）。切り取ったデータは、第１対象画像データＡ２０として、前処理部１０２０に供給される。
　＜合成システム２１Ｆ＞
　図５４に、実施の形態６に係る合成システム２１Ｆの構成例を示す。合成システム２１Ｆは、実施の形態１に係る合成システム２１に代えて、画像処理システム１，２０等に適用可能である。合成システム２１Ｆでは、第２画像切り取り部１３１０および埋め込み部１３２０が追加されている。合成システム２１Ｆのその他の構成は、実施の形態１に係る合成システム２１と同様である。
　第２画像切り取り部１３１０は、第２基礎画像データＤ１０と、切り取り範囲特定データＦ５０と、合成位置指定データＧ５０とを取得する。切り取り範囲特定データＦ５０は、ビットストリーム解析部１２１０において符号化ビットストリームＡｂｓから抽出され、第２画像切り取り部１３１０に供給される。
　合成位置指定データＧ５０は、第２基礎画像において第１対象画像中のＲＯＩを合成する位置を指定するデータである。合成位置指定データＧ５０は、例えば、後述のように合成画像データＥ８０の埋め込み位置のデータとして理解できる。より具体的には、合成画像データＥ８０の埋め込み位置は、合成画像データＥ８０の埋め込み範囲の左上端部の位置、あるいは、当該埋め込み範囲の中心位置、等によって指定可能である。合成位置指定データＧ５０は、合成システム２１Ｆの側に設けられた操作部４２（図２参照）に、合成システム２１Ｆのユーザが入力することによって、第２画像切り取り部１３１０に供給される。
　第２画像切り取り部１３１０は、合成位置指定データＧ５０に基づいて、第２基礎画像中に合成先範囲を設定する。合成先範囲は、第１対象画像と同じ形状および大きさの範囲であり、このため第１対象画像と合同である。あるいは、合成先範囲は、第１対象画像に対する相似比が１の相似形範囲である、と表現してもよい。合成先範囲は、ここでは切り取り範囲特定データＦ５０によって特定されるものとする。但し、切り取り範囲特定データＦ５０に代えて、符号化データＡ５０から第１対象画像の同じ形状および大きさを特定するようにしてもよい。第２画像切り取り部１３１０は、第２基礎画像データＤ１０のうちで合成先範囲内のデータを切り取る。切り取ったデータは、第２対象画像データＤ５０として、ウエーブレット変換部１２６０に供給される。
　埋め込み部１３２０は、逆ウエーブレット変換部１２８０によって生成され後処理部１２９０で処理された合成画像データＥ８０を、第２基礎画像データＤ１０中の合成先範囲に埋め込む。合成画像データＥ８０がはめ込まれた第２基礎画像データＤ１０が、合成システム２１Ｆの出力データである合成画像データＥ１００として出力される。
　＜動作＞
　図５５および図５６に、供給システム１１Ｆの動作を説明するフローチャートを示す。なお、図５５および図５６のフローは結合子Ｃ２によって繋がっている。図５５および図５６の動作フローＳ１０００Ｆは基本的には実施の形態１に係る動作フローＳ１０００（図１６参照）と同様であるが、次の点が異なる。動作フローＳ１０００Ｆでは、マスク生成ステップＳ１２００に代えて、マスク生成ステップＳ１２００Ｆが設けられている。また、第１基礎画像切り取りステップＳ１１０３が追加されている。また、データ埋め込みステップＳ１００５に代えて、データ埋め込みステップＳ１００５Ｆが設けられている。
　マスク生成ステップＳ１００Ｆによれば、基礎マスク生成ステップＳ１２０１において、基礎マスク生成部１０５１が基礎マスクデータＢ１０を生成する。次に、切り取り範囲決定ステップＳ１２０３において、切り取り範囲決定部１０５３が切り取り範囲８３を決定する。そして、マスク切り取りステップＳ１２０４において、マスク切り取り部１０５４が、基礎マスクデータＢ１０から、展開マスク用の原マスクデータＢ２０を生成する。次に、マスク展開ステップＳ１２０２において、マスク展開部１０５２が、原マスクデータＢ２０に対してマスク展開処理を行い、展開マスクデータＢ２１を生成する。
　第１基礎画像切り取りステップＳ１１０３では、第１画像切り取り部１０８０が、ステップＳ１２０３で生成された切り取り範囲特定データＦ５０に基づいて、第１基礎画像データＡ１０から第１対象画像データＡ２０を切り取る。このため、ステップＳ１１０３は、ステップＳ１２０３の後に実行される。ステップＳ１１０３の後、前処理ステップＳ１１０１が実行される。
　データ埋め込みステップＳ１００５Ｆでは、ビットストリーム生成部１０７０が、符号化ビットストリームＡｂｓに、合成制御データＣ５０と切り取り範囲特定データＦ５０を埋め込む。
　図５７および図５８に、合成システム２１Ｆの動作を説明するフローチャートを示す。なお、図５７および図５８のフローは結合子Ｃ３によって繋がっている。図５７および図５８の動作フローＳ２０００Ｆは基本的には実施の形態１に係る動作フローＳ２０００（図２５および図２６参照）と同様であるが、次の点が異なる。動作フローＳ２０００Ｆでは、データ抽出ステップＳ２１０２（図２５参照）に代えて、データ抽出ステップＳ２１０２Ｆが設けられている。また、第２基礎画像切り取りステップＳ２２０３と画像埋め込みステップＳ２３０５が追加されている。
　データ抽出ステップＳ２１０２Ｆでは、ビットストリーム解析部１２１０が符号化ビットストリームＡｂｓから、符号化データＡ５０と合成制御データＣ５０と切り取り範囲特定データＦ５０とを抽出する。
　第２基礎画像切り取りステップＳ２２０３では、第２画像切り取り部１３１０が、ステップＳ２１０２Ｆで抽出された切り取り範囲特定データＦ５０に基づいて、第２基礎画像データＤ１０から第２対象画像データＤ５０を切り取る。このため、ステップＳ２２０３は、ステップＳ２１０２Ｆの後に実行される。ステップＳ２２０３の後、ウエーブレット変換ステップＳ２２０３が実行される。
　画像埋め込みステップＳ２３０５は、後処理ステップＳ２３０３の後に実行される。当該ステップＳ２３０５では、埋め込み部１３２０が、後処理後の合成画像データＥ８０を、第２基礎画像データＤ１０中の合成先範囲に埋め込む。当該ステップＳ２３０５の後に、出力ステップＳ２３０４が実行される。
　＜効果＞
　実施の形態６によれば、実施の形態１等と同様の効果を得ることができる。
　特に実施の形態６によれば、供給システム１１Ｆは、第１基礎画像から第１対象画像を切り取って出力する。このため、符号化データＡ５０のサイズを削減でき、したがって符号化ビットストリームＡｂｓのサイズを削減することができる。したがって、符号化ビットストリームＡｂｓが有線または無線の通信によって伝送される場合、通信量を削減でき、伝送の即時性に役立つ。また、第１対象画像および第２対象画像のサイズが小さくなるので、合成システム２１Ｆでの演算負荷を削減できる。このため、画像合成の高速化に役立つ。これらに鑑みると、画像合成の即時性が向上する。
　なお、実施の形態６は実施の形態２等と組み合わせ可能であり、それにより実施の形態２等と同様の効果を得ることができる。
　＜追跡処理についての考察＞
　ここで、上記ではウエーブレット変換が各分解レベルのウエーブレット平面に含まれる最低域の帯域成分を再帰的に分解する方式を採用していることに鑑み、追跡処理の対象にする最上位帯域成分を、最高分解レベルのウエーブレット平面において最低域の帯域成分ＬＬ３とした。これに対し、例えばウエーブレット変換がウエーブレット平面の最高域の帯域成分を再帰的に分解する方式を採用している場合、最高分解レベルのウエーブレット平面において最高域の帯域成分が追跡処理の対象になる。
　また、上記では、４つの最上位帯域成分ＬＬ３，ＨＬ３，ＬＨ３，ＨＨ３のうちで最低域の帯域成分ＬＬ３のみを、追跡処理の対象にした。すなわち、ローパスフィルタの出力のみを、追跡処理の対象にした。追跡処理に関してハイパスフィルタが不要である理由を、以下に説明する。
　＜図４６のステップＳ５１４について（５×３フィルタ）＞
　図４６のステップＳ５１２においてパラメータｑ、すなわち最小範囲８１の左端座標ＡＸ１または上端座標ＡＹ１が奇数と判別された場合、図１５を参照して低域成分の左側（上側に相当）の出力をｐとすると、
　　ｑ＝２ｎ＋１　…（式１）
　　ｐ＝ｎ　　　　…（式２）
　これを解くと、ｐ＝（ｑ－１）／２となる（式３）。これはステップＳ５１４に係る上記式になる。
　ここで図１４を参照して高域成分（すなわちハイパスフィルタ側）についても考える。高域成分の左側（上側に相当）の出力をｐとすると、
　　ｑ＝２ｎ＋１　…（式４）
　　ｐ＝ｎ－１　　…（式５）
　これを解くとｐ＝（ｑ－３）／２となる（式６）。
　＜図４６のステップＳ５１３について（５×３フィルタ）＞
　図４６のステップＳ５１２においてパラメータｑ、すなわち最小範囲８１の左端座標ＡＸ１または上端座標ＡＹ１が偶数と判別された場合、図１４を参照して低域成分の左側（上側に相当）の出力をｐとすると、
　　ｑ＝２ｎ　…（式７）
　　ｐ＝ｎ　　…（式８）
　これを解くとｐ＝ｑ／２となる（式９）。これはステップＳ５１３に係る式になる。
　ここで図１４を参照して高域成分（すなわちハイパスフィルタ側）についても考える。高域成分の左側（上側に相当）の出力をｐとすると、
　　ｑ＝２ｎ　　…（式１０）
　　ｐ＝ｎ－１　…（式１１）
　これを解くとｐ＝ｑ／２－１となる（式１２）。
　ここで、高域成分を再帰的に入力しない場合のＭａｌｌａｔ型を考えると、高域側の出力は入力側にはならない。よって、高域成分は最後の分解レベルだけを考えればよいことになる。低域成分を再帰的に入力する場合は、入力側のみを考えればよい。
　＜図５０のステップＳ５５３について（５×３フィルタ）＞
　図４１の５タップのローパスフィルタに、低域成分が入力されたとする。また、図４１においてｎ＝ｐとする。図５０のステップＳ５５１において追跡最小範囲８２の左端座標ＡＸ２または上端座標ＡＹ２が入力された場合（ステップＳ５５２参照）、
　　ｒ＝ｐ　　　　…（式１３）
　　ｓ＝２ｐ－２　…（式１４）
　これを解くとｓ＝２ｒ－２となる（式１５）。これはステップＳ５５３に係る式になる。
　図４２の３タップのハイパスフィルタに、高域成分が入力されたとする。また、図４２においてｎ＝ｐとする。図５０のステップＳ５５１において追跡最小範囲８２の左端座標ＡＸ２または上端座標ＡＹ２が入力された場合（ステップＳ５５２参照）、
　　ｒ＝ｐ　　…（式１６）
　　ｓ＝２ｐ　…（式１７）
　これを解くとｓ＝２ｒとなる（式１８）。
　ここで、上記のように、図４６のステップＳ５１２においてパラメータｑ、すなわち最小範囲８１の左端座標ＡＸ１または上端座標ＡＹ１が奇数と判別された場合、低域成分については式１３，３から、ｒ＝（ｑ－１）／２が得られる（式１９）。また、式１９，１５からｓ＝ｑ－３が得られる（式２０）。これに対し、高域成分については式１６，６から、ｒ＝（ｑ－３）／２が得られる（式２１）。また、式２１，１８からｓ＝ｑ－３が得られる（式２２）。式２０，２２を見れば分かるように、低域成分と高域成分とのいずれについても同様の結果になる。
　また、上記のように、図４６のステップＳ５１２においてパラメータｑ、すなわち最小範囲８１の左端座標ＡＸ１または上端座標ＡＹ１が偶数と判別された場合、低域成分については式１３，９から、ｒ＝ｑ／２が得られる（式２３）。また、式２３，１５からｓ＝ｑ－２が得られる（式２４）。これに対し、高域成分については式１６，１２から、ｒ＝ｑ／２－１が得られる（式２５）。また、式２５，１８からｓ＝ｑ－２が得られる（式２６）。式２４，２６を見れば分かるように、低域成分と高域成分とのいずれについても同様の結果になる。
　このように高域成分を再帰的に入力しない場合のＭａｌｌａｔ型を考えると、低域成分と高域成分のいずれを追跡しても同じ結果になる。このため、ウエーブレット変換に５×３フィルタが使用される場合の図４６、図４７および図５０の処理フローＳ５１０，Ｓ５２０，Ｓ５５０では低域成分だけに着目している。
　＜図４８のステップＳ５３４について（９×７フィルタ）＞
　図４８のステップＳ５３２においてパラメータｑ、すなわち最小範囲８１の左端座標ＡＸ１または上端座標ＡＹ１が奇数と判別された場合、図１５を参照して低域成分の左側（上側に相当）の出力をｐとすると、
　　ｑ＝２ｎ＋１　…（式２７）
　　ｐ＝ｎ－１　　…（式２８）
　これを解くと、ｐ＝（ｑ－３）／２となる（式２９）。これはステップＳ５３４に係る上記式になる。
　ここで図１５を参照して高域成分（すなわちハイパスフィルタ側）についても考える。高域成分の左側（上側に相当）の出力をｐとすると、
　　ｑ＝２ｎ＋１　…（式３０）
　　ｐ＝ｎ－２　　…（式３１）
　これを解くとｐ＝（ｑ－５）／２となる（式３２）。
　＜図４８のステップＳ５３３について（９×７フィルタ）＞
　図４８のステップＳ５３２においてパラメータｑ、すなわち最小範囲８１の左端座標ＡＸ１または上端座標ＡＹ１が偶数と判別された場合、図１５を参照して低域成分の左側（上側に相当）の出力をｐとすると、
　　ｑ＝２ｎ　　　…（式３３）
　　ｐ＝ｎ－１　　…（式３４）
　これを解くとｐ＝ｑ／２－１となる（式３５）。これはステップＳ５３３に係る式になる。
　ここで図１５を参照して高域成分（すなわちハイパスフィルタ側）についても考える。高域成分の左側（上側に相当）の出力をｐとすると、
　　ｑ＝２ｎ　　…（式３６）
　　ｐ＝ｎ－２　…（式３７）
　これを解くとｐ＝ｑ／２－２となる（式３８）。
　ここで、高域成分を再帰的に入力しない場合のＭａｌｌａｔ型を考えると、高域側の出力は入力側にはならない。よって、高域成分は最後の分解レベルだけを考えればよいことになる。低域成分を再帰的に入力する場合は、入力側のみを考えればよい。
　＜図５１のステップＳ５６３について（９×７フィルタ）＞
　図４３の９タップのローパスフィルタに、低域成分が入力されたとする。また、図４３においてｎ＝ｐとする。図５１のステップＳ５６１において追跡最小範囲８２の左端座標ＡＸ２または上端座標ＡＹ２が入力された場合（ステップＳ５６２参照）、
　　ｒ＝ｐ　　　　…（式３９）
　　ｓ＝２ｐ－４　…（式４０）
　これを解くとｓ＝２ｒ－４となる（式４１）。これはステップＳ５６３に係る式になる。
　図４４の７タップのハイパスフィルタに、高域成分が入力されたとする。また、図４４においてｎ＝ｐとする。図５１のステップＳ５６１において追跡最小範囲８２の左端座標ＡＸ２または上端座標ＡＹ２が入力された場合（ステップＳ５６２参照）、
　　ｒ＝ｐ　　…（式４２）
　　ｓ＝２ｐ－２　…（式４３）
　これを解くとｓ＝２ｒ－２となる（式４４）。
　ここで、上記のように、図４８のステップＳ５３２においてパラメータｑ、すなわち最小範囲８１の左端座標ＡＸ１または上端座標ＡＹ１が奇数と判別された場合、低域成分については式３９，２９から、ｒ＝（ｑ－３）／２が得られる（式４５）。また、式４５，４１からｓ＝ｑ－７が得られる（式４６）。これに対し、高域成分については式４２，３２から、ｒ＝（ｑ－５）／２が得られる（式４７）。また、式４７，４４からｓ＝ｑ－７が得られる（式４８）。式４６，４８を見れば分かるように、低域成分と高域成分とのいずれについても同様の結果になる。
　また、上記のように、図４８のステップＳ５３２においてパラメータｑ、すなわち最小範囲８１の左端座標ＡＸ１または上端座標ＡＹ１が偶数と判別された場合、低域成分については式３９，３５から、ｒ＝ｑ／２が得られる（式４９）。また、式４９，４１からｓ＝ｑ－６が得られる（式５０）。これに対し、高域成分については式４２，３８から、ｒ＝ｑ／２－２が得られる（式５１）。また、式５１，４４からｓ＝ｑ－６が得られる（式５２）。式５０，５２を見れば分かるように、低域成分と高域成分とのいずれについても同様の結果になる。
　このように高域成分を再帰的に入力しない場合のＭａｌｌａｔ型を考えると、低域成分と高域成分のいずれを追跡しても同じ結果になる。このため、ウエーブレット変換に９×７フィルタが使用される場合の図４８、図４９および図５１の処理フローＳ５３０，Ｓ５４０，Ｓ５６０では低域成分だけに着目している。
　＜実施の形態６の変形例＞
　実施の形態６では第２基礎画像は第１対象画像および第２対象画像よりも大きいものとした。しかし、第２基礎画像自体が第１対象画像および第２対象画像と同じ大きさであってもよい。この場合、第２画像切り取り部１３１０を削除してもよい。但し、第２画像切り取り部１３１０が設けられていることによって、様々な大きさの第２基礎画像に対応でき、利便性が向上する。
　＜実施の形態７＞
　上記のように、分解レベル１において最低域の帯域成分ＬＬ１は、原画像に対する縮小比が１／２の画像（換言すれば、画像サイズが１／４の画像）を提供可能である。最低域の帯域成分ＬＬを再帰的に分解する方式によれば、分解レベル２の帯域成分ＬＬ２は、分解前の帯域成分ＬＬ１によって提供される画像に対する縮小比が１／２の画像を提供可能であり、したがって原画像に対する縮小比が１／４（＝１／２２）の画像を提供可能である。
　一般化するならば、分解レベルｍにおける最低域の帯域成分ＬＬｍは、原画像に対する縮小比が１／２ｍの画像を提供可能である（図５９参照）。なお、上記のようにウエーブレット変換が行われていない状態の原画像を分解レベル０に対応させることによって、ｍは０以上の整数である。
　逆に考えると、原画像を１／２ｍで縮小した場合の画像サイズは、原画像を分解レベルｍまで分解した場合の最低域の帯域成分ＬＬｍによって提供される画像サイズと等しい。このため、１／２ｍの縮小画像のサイズを、分解レベルｍ相当の画像サイズと表現してもよい。なお、画像サイズについての当該表現は、縮小画像を、原画像と同じ画像サイズを有する他の画像と比較する場合にも使える。
　上記の点に鑑みると、図５９の概念図に示すように、逆ウエーブレット変換の回数によって、合成画像の画像サイズを制御可能である。図６０に、実施の形態７に係る逆ウエーブレット変換部１２８０Ｇを説明するブロック図を示す。逆ウエーブレット変換部１２８０Ｇは、合成システム２１等の逆ウエーブレット変換部１２８０（図１７等参照）に代えて、実施の形態１～５に適用可能である。
　逆ウエーブレット変換部１２８０Ｇは、逆ウエーブレット変換処理ステップ（図２６のステップＳ２３０２を参照）において、合成済み係数データＥ６１に対して、分解レベルが所定の終了レベルになるまで逆ウエーブレット変換を行い、逆ウエーブレット変換後のデータのうちで最低域の帯域成分ＬＬを合成画像データＥ８０に設定する。逆ウエーブレット変換の終了レベル、換言すれば合成画像の画像サイズは、画像サイズ制御データＣ６０によって、逆ウエーブレット変換部１２８０Ｇに指示される。ここでは、画像サイズ制御データＣ６０は、合成システムに、当該合成システムのユーザによって入力されるものとする。但し、画像サイズ制御データＣ６０は、合成制御データＣ５０と同様に、供給システムから供給されてもよい（図３および図２９参照）。
　画像サイズ制御データＣ６０は、例えば、逆ウエーブレット変換の終了レベルを直接的に示す数値である。あるいは、画像サイズ制御データＣ６０は、逆ウエーブレット変換の終了レベルを導出可能なデータであってもよい。逆ウエーブレット変換の終了レベルを導出可能なデータの例として、逆ウエーブレット変換の回数を示す数値、原画像サイズに対する縮小比を示す数値、等が挙げられる。
　逆ウエーブレット変換の終了レベルは、分解レベル０以上、且つ、合成済み係数データＥ６１の分解レベル（すなわち、合成制御データＣ５０によって指定された分解レベル）以下の範囲で設定可能である。逆ウエーブレット変換の終了レベルが分解レベル０に設定された場合、実施の形態１～５と同様に、原画像サイズの合成画像を得ることができる。換言すれば、実施の形態１～５は逆ウエーブレット変換の終了レベルが０に固定された例であり、本実施の形態７は逆ウエーブレット変換の終了レベルを可変にした例である。他方、逆ウエーブレット変換の終了レベルが合成済み係数データＥ６１の分解レベルと同じレベルに設定された場合、逆ウエーブレット変換は行われず、合成済み係数データＥ６１中の最低域の帯域成分ＬＬが合成画像データＥ８０として抽出される。
　実施の形態７によれば、合成画像の画像サイズを制御することができ、原画像と同じサイズだけでなく原画像よりも小さいサイズの合成画像を得ることができる。
　＜実施の形態８＞
　実施の形態８では、実施の形態７とは異なる手法によって、合成画像の画像サイズを制御する例を説明する。図６１に、実施の形態８に係る画像合成の概念図を示す。図６１によれば、第１基礎画像はそのまま第１対象画像として利用され、第１対象画像から第１ウエーブレット係数データが生成される。ここでは、第１ウエーブレット係数データの分解レベルが３である例を挙げる。
　他方、第２基礎画像の全体が縮小され、その縮小画像が第２対象画像として利用される。図６１の例では、第２基礎画像は第１基礎画像と同じ大きさおよび形状を有し（換言すれば、第２基礎画像は第１基礎画像と合同である）、第２基礎画像の全体が１／２の縮小比で以て縮小される。すなわち、第２基礎画像および第１基礎画像に対する第２対象画像の縮小比は、１／２である。換言すれば、第２対象画像の画像サイズは、第２基礎画像および第１基礎画像に対して１／４である。
　そして、第２対象画像から第２ウエーブレット係数データが生成される。ここでは、第２ウエーブレット係数データの分解レベルは２であり、第１ウエーブレット係数データの分解レベル（＝３）よりも１レベル低い。
　次に、第１ウエーブレット係数データと第２ウエーブレット係数データとが、実施の形態１と同様に合成される。但し、第１対象画像と第２対象画像との画像サイズが異なるので、画像サイズの小さい第２対象画像の範囲に合わせて、換言すれば第２ウエーブレット係数データの範囲に合わせて、合成が行われる。すなわち、第１ウエーブレット係数データの一部（第２ウエーブレット係数データに対応する部分）と、第２ウエーブレット係数データの全体とが、係数合成処理に利用される。図６１の例では、第１ウエーブレット係数データの上記一部とは、第１ウエーブレット係数データのうちで、最も分解された帯域成分（すなわち最上位帯域成分）ＬＬ３，ＨＬ３，ＬＨ３，ＨＨ３と、最上位帯域成分よりも１レベル低い帯域ＨＬ２，ＬＨ２，ＨＨ２である。
　このような合成によって、第２ウエーブレット係数データと同じ分解レベル（ここでは分解レベル２）の合成済み係数データが生成される。そして、合成済み係数データに対して、分解レベル０まで逆ウエーブレット変換を行うことによって、合成画像データが生成される。この合成画像データによれば、第２対象画像と同じ大きさおよび形状を有する合成画像、換言すれば第２基礎画像および第１基礎画像に対する縮小比が１／２の合成画像が提供される。
　図６２に、第２基礎画像に対する第２対象画像の縮小比が１／４（＝１／２２）である例を示す。図６２においても、第１基礎画像はそのまま第１対象画像として利用され、第１対象画像から分解レベル３の第１ウエーブレット係数データが生成される。他方、第２対象画像から分解レベル１の第２ウエーブレット係数データが生成される。この場合、第２ウエーブレット係数データの分解レベル（＝１）は、第１ウエーブレット係数データの分解レベル（＝３）よりも２レベル低い。
　次に、第１ウエーブレット係数データ（図６２の例では、第１ウエーブレット係数データのうちで最上位帯域成分ＬＬ３，ＨＬ３，ＬＨ３，ＨＨ３）と、第２ウエーブレット係数データとが合成される。
　このような合成によって、第２ウエーブレット係数データと同じ分解レベル（ここでは分解レベル１）の合成済み係数データが生成される。そして、合成済み係数データに対して、分解レベル０まで逆ウエーブレット変換を行うことによって、合成画像データが生成される。この合成画像データによれば、合成画像は、第２対象画像と同じ画像サイズで以て、換言すれば第２基礎画像および第１基礎画像に対して縮小比１／４（＝１／２２）で以て提供される。
　図６３に、第１ウエーブレット係数の分解レベルが４であり、第２基礎画像に対する第２対象画像の縮小比が１／２である例を示す。この場合、第２ウエーブレット係数データの分解レベルは３であり、第１ウエーブレット係数データの分解レベル（＝４）よりも１レベル低い。図６３の場合、第１ウエーブレット係数データのうちで、最上位帯域成分ＬＬ４，ＨＬ４，ＬＨ４，ＨＨ４から、最上位帯域成分よりも２レベル低い帯域ＨＬ２，ＬＨ２，ＨＨ２までの範囲のデータが、合成に利用される。そして、合成画像は、第２対象画像と同じ画像サイズで以て、換言すれば第２基礎画像および第１基礎画像に対して縮小比１／２で以て提供される。
　図６１～図６３から分かるように、第２対象画像の画像サイズを制御することによって、合成画像の画像サイズに制御できる。図６１～図６３の例から、次の知見が得られる。
　第２対象画像は第１対象画像と相似形を成し、第１対象画像に対する第２対象画像の相似比は１未満である。なお、１未満の相似比を縮小比と呼んでもよい。第２ウエーブレット係数データの分解レベルは、第１ウエーブレット係数データの分解レベルと上記相似比とに応じて決まる。すなわち、第１ウエーブレット係数データの分解レベル（第１の分解レベル）をＰ１とし、第２ウエーブレット係数データの分解レベル（第２の分解レベル）をＰ２とし、第１対象画像に対する第２対象画像の相似比を１／２Ｐ３とした場合、Ｐ２＝Ｐ１－Ｐ３が成り立つ。ここではＰ１，Ｐ２，Ｐ３は自然数である。
　また、上記のように、係数合成処理は第２ウエーブレット係数データの範囲に合わせて行われる。このため、第１ウエーブレット係数データについては、最上位帯域成分から数えて所定のレベル数の範囲の帯域成分データが利用され、当該所定のレベル数は第２ウエーブレット係数データの分解レベルを表す数値で与えられる。
　係数合成処理は第２ウエーブレット係数データの範囲に合わせて行われるので、合成済み係数データの分解レベルは第２ウエーブレット係数データと同じになる。合成済み係数データに対して、分解レベル０まで逆ウエーブレット変換を行うことによって、第２対象画像と同じ画像サイズの合成画像が得られる。
　図６４に、上記知見を実施の形態１に応用した例について、合成システム２１Ｈの構成例を示す。合成システム２１Ｈは、実施の形態１に係る合成システム２１（図１７参照）に画像縮小部１３３０が追加された構成を有する。画像縮小部１３３０は、第２基礎画像データＤ１０を取得し、第２基礎画像を縮小することによって、第１対象画像と相似形を成す第２対象画像を生成する。生成された第２対象画像データＤ５０は、ウエーブレット変換部１２６０に供給される。
　例えば、第２基礎画像を１／２Ｐ３に縮小する場合、画像縮小部１３３０は、第２基礎画像データＤ１０に対するウエーブレット変換を、最低域の帯域成分ＬＬを再帰的に分解する方式によって、分解レベルＰ３まで行う。そして、画像縮小部１３３０は、分解レベルＰ３における最低域の帯域成分ＬＬを、第２対象画像データＤ５０として抽出する。
　あるいは、平均フィルタを利用した一般的な画像縮小処理によって第２対象画像を生成するように、画像縮小部１３３０を構成してもよい。その場合、１／２の縮小をＰ３回行ってもよいし、一度に１／２Ｐ３の縮小を行ってもよい。
　第２対象画像の画像サイズ、換言すれば合成画像の画像サイズは、画像サイズ制御データＣ７０によって、画像縮小部１３３０に指示される。ここでは、画像サイズ制御データＣ７０は、合成システム２１Ｈに、当該合成システム２１Ｈのユーザによって入力されるものとする。但し、画像サイズ制御データＣ７０は、合成制御データＣ５０と同様に、供給システムから供給されてもよい（図３および図２９参照）。
　ここでは説明を分かりやすくするために、画像サイズ制御データＣ７０が、第１対象画像に対する第２対象画像の相似比を上記のように１／２Ｐ３と表現した場合におけるＰ３の値とする。あるいは、画像サイズ制御データＣ７０は、Ｐ３の値を導出可能なデータであってもよい。Ｐ３の値を導出可能なデータの例として、上記相似比（１／２Ｐ３）の値等が挙げられる。
　画像サイズ制御データＣ７０は、ウエーブレット変換部１２６０にも供給される。ウエーブレット変換部１２６０は、既述の合成制御データＣ５０から、第１ウエーブレット係数データＡ６１に対して指定される第１の分解レベル、すなわち上記Ｐ１の値を取得可能である。これにより、ウエーブレット変換部１２６０は、合成制御データＣ５０および画像サイズ制御データＣ７０から得られたＰ１およびＰ３に基づいて、第２ウエーブレット係数データＤ６１の分解レベルＰ２（＝Ｐ１－Ｐ３）を算出する。そして、ウエーブレット変換部１２６０は、得られたＰ２が示す分解レベル（第２の分解レベル）まで、第２対象画像データＤ５０に対してウエーブレット変換を行う。
　画像サイズ制御データＣ７０は、図６４の例では合成実行部１２７０にも供給され、第１ウエーブレット係数データＡ６１のうちで係数合成処理に供する範囲を特定するために利用される。第１ウエーブレット係数データＡ６１のうちの当該範囲は、上記のように第２ウエーブレット係数データの分解レベルＰ２を表す数値に応じて決まる。図６４の例では、合成実行部１２７０がＰ２の値を算出するものとする。但し、合成実行部１２７０がウエーブレット変換部１２６０から、算出済みのＰ２の値を取得してもよい。その場合、合成実行部１２７０に対する画像サイズ制御データＣ７０の供給を省略可能である。
　画像サイズ制御データＣ７０は、逆ウエーブレット変換部１２８０にも供給され、逆ウエーブレット変換の回数を設定するために、換言すれば合成済み係数データＥ６１の分解レベルを知るために利用される。
　図６５に、合成システム２１Ｈの動作を説明するフローチャートを示す。図６５の動作フローＳ２０００Ｈでは、実施の形態１に係る動作フローＳ２０００（図２５参照）に、ステップＳ２２０４が追加されている。当該ステップＳ２２０４では、画像縮小部１３３０が第２基礎画像を縮小することによって第２対象画像を生成する。
　実施の形態８によれば、合成画像の画像サイズを制御することができ、原画像よりも小さいサイズの合成画像を得ることができる。なお、実施の形態８は実施の形態２等と組み合わせ可能であり、それにより実施の形態２等と同様の効果を得ることができる。
　ここで、上記では第２基礎画像の全体を縮小することによって、第２対象画像を生成するものとした。但し、第２対象画像が第１対象画像と相似形であるという要件を満たす限り、第２基礎画像の一部分を縮小することによって、第２対象画像を生成することも可能である。同様に、縮小前の第２基礎画像は、第１対象画像と相似形でなくてもよい。第２基礎画像が第１対象画像と相似形ではなく且つ第２基礎画像の全体を縮小する場合、第２基礎画像の横方向および縦方向の縮小比を異ならせればよい。
　また、上記では、第１対象画像に対する第２対象画像の相似比を１未満とした。すなわち、当該相似比を１／２Ｐ３と表現した場合のＰ３が自然数であるとした。しかし、相似比が１（このときＰ３は０）の場合、すなわち第２対象画像が第１対象画像と合同である場合にも、合成システム２１Ｈを利用可能である。
　例えば、第２基礎画像が第１基礎画像および第１対象画像と合同であり、且つ、画像サイズ制御データＣ７０によって与えられるＰ３の値が０である場合、画像縮小部１３３０は、第２基礎画像を縮小せずに、ウエーブレット変換部１２６０に供給すればよい。この場合、実施の形態１～５と同様に、原画像サイズの合成画像を得ることができる。換言すれば、実施の形態１～５は、第１対象画像に対する第２対象画像の相似比を１である場合に特化した例である。これに対し、実施の形態８によれば、当該相似比が１以下において対応可能である。
　＜実施の形態９＞
　実施の形態８では、第２基礎画像の少なくとも一部分を縮小することによって、第１対象画像と相似形を成す第２対象画像を生成する（図６１～図６３参照）。これに対し、実施の形態９では、図６６に示すように、第２基礎画像の一部分を、第１対象画像と相似形を成す第２対象画像として切り取る例を説明する。すなわち、第２対象画像が第１対象画像と相似形であるという要件を満たす限り、切り取りによって第２対象画像を生成することも可能である。
　図６７に、実施の形態９に係る合成システム２１Ｉの構成例を示す。合成システム２１Ｉは、実施の形態８に係る合成システム２１Ｈ（図６４参照）において画像縮小部１３３０の代わりに第２画像切り取り部１３４０を設けた構成を有する。合成システム２１Ｉのその他の構成は、実施の形態８に係る合成システム２１Ｈと同様である。
　第２画像切り取り部１３４０は、第２基礎画像データＤ１０を取得し、第２基礎画像中に、上記相似比（すなわち第１対象画像に対する第２対象画像の相似比）で以て第１対象画像と相似形を成す相似形範囲を設定し、第２基礎画像データＤ１０のうちで当該相似形範囲内のデータを第２対象画像データＤ５０として切り取る。生成された第２対象画像データＤ５０は、ウエーブレット変換部１２６０に供給される。
　第２対象画像の画像サイズ、換言すれば合成画像の画像サイズは、画像サイズ制御データＣ７０によって、第２画像切り取り部１３４０に指示される。また、実施の形態９では、画像サイズ制御データＣ７０が、第２対象画像として切り取る上記相似形範囲の位置を指示するデータも含むものとする。
　図６８に、合成システム２１Ｉの動作を説明するフローチャートを示す。図６８の動作フローＳ２０００Ｉでは、実施の形態８に係る動作フローＳ２０００Ｈ（図６５参照）と比較すれば分かるように、画像縮小ステップＳ２２０４の代わりに画像切り取りステップＳ２２０５が設けられている。ステップＳ２２０５では、第２画像切り取り部１３４０が、上記のように第２基礎画像データＤ１０から第２対象画像データＤ５０を切り取る。動作フローＳ２０００Ｉのその他のステップは図６５の動作フローＳ２０００Ｈと同様である。
　実施の形態９によれば、合成画像の画像サイズを制御することができ、原画像よりも小さいサイズの合成画像を得ることができる。なお、実施の形態８は実施の形態２等と組み合わせ可能であり、それにより実施の形態２等と同様の効果を得ることができる。
　なお、実施の形態８と同様に、相似比が１未満である場合だけでなく１以下の場合にも、合成システム２１Ｉを利用可能である。例えば、第２基礎画像が第１基礎画像および第１対象画像と合同であり、且つ、画像サイズ制御データＣ７０によって与えられるＰ３の値が０である場合、第２画像切り取り部１３４０は第２基礎画像を、切り取りを行わずに、ウエーブレット変換部１２６０に供給すればよい。この場合、実施の形態１～５と同様に、原画像サイズの合成画像を得ることができる。
　＜実施の形態１０＞
　図６９に、実施の形態１０に係る供給システム１１Ｊの構成例を示す。供給システム１１Ｊは、実施の形態１に係る供給システム１１に代えて、画像処理システム１，１０等に適用可能である。供給システム１１Ｊは、実施の形態１に係る供給システム１１に合成部１１００が追加された構成を有している。
　合成部１１００は、合成システム２１（図１７参照）からビットストリーム解析部１２１０および復号化部１２２０を削除した構成を有しており、合成システム２１と同様に動作して合成画像データＥ１００を生成する。具体的には、合成部１１００は、量子化部１０４０によって生成された量子化ウエーブレット係数データＡ２２に基づいてマスク再現処理および逆量子化処理を行い、マスク再現処理および逆量子化処理の結果に基づいて分解レベル変換処理を行う。また、合成部１１００は、第２対象画像データに対してウエーブレット変換処理を行う。なお、第２対象画像データの源となる第２基礎画像データＤ１０は例えば、合成システム２１から取得可能である。そして、合成部１１００は、分解レベル変換処理およびウエーブレット変換処理の結果に基づいて、合成実行処理と逆ウエーブレット変換処理とを行う。逆ウエーブレット変換処理後のデータに対して、必要に応じて、後処理が行われる。これにより、合成画像データＥ１００が生成される。
　合成部１１００によって生成された合成画像データＥ１００に基づいて、供給システム１１Ｊの側の表示部３１（図２参照）に表示動作を行わせることによって、第１対象画像中のＲＯＩと第２対象画像との合成画像を表示できる。このため、例えば、合成システム２１に符号化ビットストリームＡｂｓを供給する前に（換言すれば、符号化データＡ２２を供給する前に）、供給システム１１Ｊの側において合成画像を確認することができる。特に、合成制御データＣ５０に応じた合成具合を確認することができる。
　ここで、合成部１１００の追加により、供給側装置３０（図２参照）を単独で、画像合成機能を有する画像処理装置として応用可能である。そのような画像処理装置３０Ｊについてハードウェア構成例を、図７０に示す。
　図７０によれば、画像処理装置３０Ｊは、画像処理システム９０と、表示部３１と、操作部３２とを含んでいる。なお、供給側装置３０に倣って、画像処理装置３０ＪはＩ／Ｆ３３と画像入力部３４との一方または両方を含んでもよい。画像処理システム９０は画像合成システム９１を含み、画像合成システム９１は、合成部１１００と、データ準備部１１１０と、半導体メモリ（以下、メモリとも呼ぶ）１１２０とを含んでいる。合成部１１００と、データ準備部１１１０と、メモリ１１２０とは、バス（有線の通信媒体の一例である）を介して繋がっている。画像処理システム９０は、単一の半導体集積回路、換言すれば単一のチップとして形成可能である。画像処理システム９０は、画像合成システム９１だけで構成されてもよいし、他の処理システムをさらに含んでもよい。
　データ準備部１１１０は、供給システム１１（図３参照）から符号化部１０６０およびビットストリーム生成部１０７０を削除した構成を有しており、第１基礎画像データＡ１０を取得する。これにより、データ準備部１１１０は、供給システム１１と同様に動作して、第１対象画像用の量子化ウエーブレット係数データＡ２２を生成する。
　メモリ１１２０は、画像合成システム９１に供給された第１基礎画像データＡ１０および第２基礎画像データＤ１０を格納する。これにより、データ準備部１１１０は、メモリ１１２０から第１基礎画像データＡ１０を読み出し、第１基礎画像データＡ１０に基づいて量子化ウエーブレット係数データＡ２２を生成する。また、合成部１１００は、メモリ１１２０から第２基礎画像データＤ１０を読み出して、画像合成に利用する。
　合成制御データＣ５０は、操作部３２にユーザが入力することによって、合成部１１００に供給される。また、合成部１１００が生成した合成画像データＥ１００に基づいて、表示部３１が合成画像を表示する。
　なお、合成部１１００に、実施の形態２等に係る合成システムの構成を応用することも可能である。
　ここで、メモリ１１２０とデータ準備部１１１０とで形成される構成を、量子化ウエーブレット係数データＡ２２を供給するデータ供給システムとして捉えることが可能である。この場合、さらに合成部１１００を画像合成システムとして捉えると、図７０の構成は、データ供給システムと画像合成システムとがバス（上記のように有線の通信媒体の一例である）を介して繋がっている、と捉えることが可能である。
　また、図７０の例に鑑みると、例えばデータ供給システム１１と合成システム２１との組み合わせを、単一の半導体集積回路で形成することも可能である。その場合、データ供給システム１１と合成システム２１とがバスを介して繋げられる。単一の半導体集積回路内においてデータ供給システム１１と合成システム２１とは、図２とは異なり外部Ｉ／Ｆ３３，４３を介さずに通信するが、媒体５０に相当する上記バスを介して通信する。また、単一の半導体集積回路内でデータを転送する場合（特に画像合成機能のための一連の処理においてデータを転送する場合）、転送データの符号化および復号化を省略することが可能である。具体的には、符号化部１０６０とビットストリーム生成部１０７０とビットストリーム解析部１２１０と復号化部１２２０とを利用しなくてもよい。あるいは、符号化部１０６０とビットストリーム生成部１０７０とビットストリーム解析部１２１０と復号化部１２２０とを省略することも可能である。同様にして、データ供給システム１１Ｂ等と合成システム２１Ｂ等とによる他の組み合わせについても、単一の半導体集積回路で形成することが可能である。
　＜付記＞
　本発明は詳細に説明されたが、上記した説明は、すべての局面において、例示であって、本発明がそれに限定されるものではない。例示されていない無数の変形例が、本発明の範囲から外れることなく想定され得るものと解される。
　１　画像処理システム（全体システム）
　１０，２０，９０　画像処理システム
　１１，１１Ｃ，１１Ｄ，１１Ｆ，１１Ｊ　データ供給システム
　２１，２１Ｃ～２１Ｆ，２１Ｈ，２１Ｉ，９１　画像合成システム
　３２，４２　操作部（操作媒体）
　５０　媒体
　６０　第１基礎画像
　６０ａ　ＲＯＩ
　６０ｂ　非ＲＯＩ
　６１～６３　ウエーブレット平面
　７０　基礎マスク
　７１～７３　展開マスク
　７０ａ，７１ａ，７２ａ，７３ａ，７０ａＳ　ＲＯＩ対応部分
　７０ｂ，７１ｂ，７２ｂ，７３ｂ，７０ｂＳ　非ＲＯＩ対応部分
　８１　最小範囲
　８２　追跡最小範囲
　８３　切り取り範囲
　１０３０　ウエーブレット変換部
　１０４０　量子化部
　１０５０，１０５０Ｆ　マスク生成部
　１０５１　基礎マスク生成部
　１０５２　マスク展開部
　１０５３　切り取り範囲決定部
　１０５４　マスク切り取り部
　１０６０　符号化部
　１０７０　ビットストリーム生成部
　１０８０　第１画像切り取り部
　１１００　合成部
　１１１０　データ準備部
　１１２０　半導体メモリ
　１２１０　ビットストリーム解析部
　１２２０　復号化部
　１２３０　マスク再現部
　１２４０　逆量子化部
　１２５０，１２５０Ｂ　分解レベル変換部
　１２５１　分解レベル減少部
　１２５２　逆ウエーブレット変換部
　１２５３　マスク復元部
　１２５６　分解レベル増加部
　１２５７　ウエーブレット変換部
　１２５８　マスク展開部
　１２６０　ウエーブレット変換部
　１２７０　合成実行部
　１２８０，１２８０Ｇ　逆ウエーブレット変換部
　１３００　セレクタ
　１３１０，１３４０　第２画像切り取り部
　１３２０　埋め込み部
　１３３０　画像縮小部
　Ａ１０　第１基礎画像データ
　Ａ２０　第１対象画像データ
　Ａ２１，Ａ６１　第１ウエーブレット係数データ
　Ａ２２　量子化ウエーブレット係数データ
　Ａｂｓ　符号化ビットストリーム
　Ｂ１０　基礎マスクデータ
　Ｂ２１，Ｂ６１　マスクデータ（展開マスクデータ）
　Ｃ５０　合成制御データ
　Ｃ６０，Ｃ７０　画像サイズ制御データ
　Ｄ５０　第２対象画像データ
　Ｄ６１　第２ウエーブレット係数データ
　Ｅ６１　合成済み係数データ
　Ｅ８０，Ｅ１００　合成画像データ
　Ｆ５０　切り取り範囲特定データ
　Ｇ５０　合成位置指定データ

Claims (36)

  1. 　第１対象画像中のＲＯＩ（関心領域）と第２対象画像とを合成する画像合成システムを備え、
    　前記第２対象画像は前記第１対象画像と相似形を成し、前記第１対象画像に対する前記第２対象画像の相似比が１以下であり、
    　前記画像合成システムは、
    　　前記第１対象画像のデータである第１対象画像データ用の符号化ビットストリームと、
    　　前記第２対象画像の源となる第２基礎画像のデータである第２基礎画像データと、
    　　合成具合を制御するための合成制御データと
    を取得し、
    　前記符号化ビットストリームの生成処理は、
    　　前記第１対象画像データに対して、予め設定された初期の分解レベルまで、ウエーブレット変換を行うことによって、第１ウエーブレット係数データを生成する、ウエーブレット変換処理と、
    　　前記第１ウエーブレット係数データについて前記ＲＯＩに関与するＲＯＩ係数と非ＲＯＩに関与する非ＲＯＩ係数とを判別するためのマスクのデータであるマスクデータを生成する、マスク生成処理と、
    　　前記マスクデータに基づいて前記第１ウエーブレット係数データ中の前記ＲＯＩ係数と前記非ＲＯＩ係数とを判別し、前記非ＲＯＩ係数が０になるように前記第１ウエーブレット係数データに対して量子化を行い、それにより量子化ウエーブレット係数データを生成する、量子化処理と、
    　　前記量子化ウエーブレット係数データを符号化して符号化データを生成する符号化処理と、
    　　前記符号化データから前記符号化ビットストリームを生成するビットストリーム生成処理と
    を含み、
    　前記画像合成システムは、
    　　前記符号化ビットストリームから前記符号化データを抽出するビットストリーム解析部と、
    　　前記符号化データを復号化して前記量子化ウエーブレット係数データを生成する復号化部と、
    　　前記量子化ウエーブレット係数データを構成する各データの値が０であるか否かを判別することによって、前記量子化ウエーブレット係数データ中の前記ＲＯＩ係数と前記非ＲＯＩ係数とを判別し、判別結果に基づいて前記初期の分解レベルの前記マスクデータを再現する、マスク再現部と、
    　　前記量子化ウエーブレット係数データに対して逆量子化を行うことによって、前記初期の分解レベルの前記第１ウエーブレット係数データを生成する、逆量子化部と、
    　　前記第１ウエーブレット係数データおよび前記マスクデータを、前記初期の分解レベルから、前記合成制御データによって指定された第１の分解レベルに変換する分解レベル変換処理を行う、分解レベル変換部と、
    　　前記第２対象画像のデータである第２対象画像データに対して、前記第１の分解レベルおよび前記相似比に応じて決まる第２の分解レベルまで前記ウエーブレット変換を行うことによって、第２ウエーブレット係数データを生成する、ウエーブレット変換部と
    を含み、
    　前記第１ウエーブレット係数データの前記第１の分解レベルをＰ１とし、前記第２ウエーブレット係数データの前記第２の分解レベルをＰ２とし、前記相似比を１／２Ｐ３とした場合、Ｐ２＝Ｐ１－Ｐ３であり、
    　前記画像合成システムは、さらに、
    　　前記第１の分解レベルの前記第１ウエーブレット係数データについて前記ＲＯＩ係数と前記非ＲＯＩ係数とを、前記第１の分解レベルの前記マスクデータに基づいて判別し、前記第１の分解レベルの前記第１ウエーブレット係数データ中の前記ＲＯＩ係数と、前記第２ウエーブレット係数データ中の係数とを合成する係数合成処理を行い、それにより、画像サイズおよび分解レベルが前記第２ウエーブレット係数データと同じである合成済み係数データを生成する、合成実行部と、
    　前記合成済み係数データに対して、分解レベルが所定の終了レベルになるまで逆ウエーブレット変換を行うことによって、合成画像データを生成する、逆ウエーブレット変換部と
    を含む、画像処理システム。
  2. 　請求項１に記載の画像処理システムであって、
    　前記分解レベル変換部は、前記マスクデータを、前記初期の分解レベルから分解レベル０に変換し、分解レベル０から前記第１の分解レベルに変換する、画像処理システム。
  3. 　請求項１または２に記載の画像処理システムであって、
    　前記画像合成システムは、前記合成制御データを、前記符号化ビットストリームと同じ媒体によって取得する、画像処理システム。
  4. 　請求項３に記載の画像処理システムであって、
    　前記合成制御データは、前記符号化ビットストリームのうちで前記符号化データに影響しない領域に埋め込まれた状態で、前記画像合成システムに供給され、
    　前記ビットストリーム解析部は、前記符号化ビットストリームから前記符号化データおよび前記合成制御データを抽出する、
    画像処理システム。
  5. 　請求項１または２に記載の画像処理システムであって、
    　前記画像合成システムは、前記合成制御データを、前記符号化ビットストリームを供給する媒体とは異なる媒体によって取得する、画像処理システム。
  6. 　請求項５に記載の画像処理システムであって、
    　前記画像合成システムは、前記符号化ビットストリームを無線もしくは有線の通信媒体または外部記憶媒体によって取得し、前記合成制御データを、前記画像合成システムの側に設けられた操作媒体によってユーザから取得する、画像処理システム。
  7. 　請求項１～６のうちのいずれか１つに記載の画像処理システムであって、
    　前記画像合成システムは、複数の合成制御データのうちの１つを選択的に前記分解レベル変換部および前記ウエーブレット変換部に供給するセレクタを含む、画像処理システム。
  8. 　請求項７に記載の画像処理システムであって、
    　前記複数の合成制御データは、
    　　前記画像合成システムの側に設けられた操作媒体にユーザが入力することによって供給された第１合成制御データと、
    　　前記操作媒体とは異なる媒体によって供給された第２合成制御データと
    を含み、
    　前記セレクタは、前記第１合成制御データを優先的に選択する、
    画像処理システム。
  9. 　請求項１～８のうちのいずれか１つに記載の画像処理システムであって、
    　前記画像合成システムは、
    　　前記第２基礎画像中に、前記相似比で以て前記第１対象画像と相似形を成す相似形範囲を設定し、前記第２基礎画像データのうちで前記相似形範囲内のデータを前記第２対象画像データとして切り取る、第２画像切り取り部
    をさらに含む、画像処理システム。
  10. 　請求項９に記載の画像処理システムであって、
    　画像合成システムは、
    　　前記逆ウエーブレット変換を分解レベルが０になるまで行うことによって得られた前記合成画像データを、前記第２基礎画像データ中の前記相似形範囲に埋め込む、埋め込み部
    をさらに含む、画像処理システム。
  11. 　請求項１～８のうちのいずれか１つに記載の画像処理システムであって、
    　前記画像合成システムは、
    　　前記第２基礎画像の少なくとも一部分を縮小して前記第２対象画像を生成する画像縮小部
    をさらに含む、画像処理システム。
  12. 　請求項１～１１のうちのいずれか１つに記載の画像処理システムであって、
    　前記符号化ビットストリームの前記生成処理を行い、前記符号化ビットストリームを前記画像合成システムに供給する、データ供給システム
    をさらに備える、画像処理システム。
  13. 　第１対象画像中のＲＯＩ（関心領域）と第２対象画像とを合成する画像合成処理に使用するデータを出力するデータ供給システムを備え、
    　前記第２対象画像は前記第１対象画像と相似形を成し、前記第１対象画像に対する前記第２対象画像の相似比が１以下であり、
    　前記データ供給システムは、
    　　前記第１対象画像のデータである第１対象画像データに対して、予め設定された初期の分解レベルまで、ウエーブレット変換を行うことによって、第１ウエーブレット係数データを生成する、ウエーブレット変換部と、
    　　前記第１ウエーブレット係数データについて前記ＲＯＩに関与するＲＯＩ係数と非ＲＯＩに関与する非ＲＯＩ係数とを判別するためのマスクのデータであるマスクデータを生成するマスク生成処理を行う、マスク生成部と、
    　　前記マスクデータに基づいて前記第１ウエーブレット係数データ中の前記ＲＯＩ係数と前記非ＲＯＩ係数とを判別し、前記非ＲＯＩ係数が０になるように前記第１ウエーブレット係数データに対して量子化を行い、それにより量子化ウエーブレット係数データを生成する、量子化部と、
    　　前記量子化ウエーブレット係数データを符号化して符号化データを生成する符号化部と、
    　　前記符号化データから前記符号化ビットストリームを生成するビットストリーム生成部と
    を含み、
    　前記画像合成処理は、
    　　前記符号化ビットストリームから前記符号化データを抽出するビットストリーム解析処理と、
    　　前記符号化データを復号化して前記量子化ウエーブレット係数データを生成する復号化処理と、
    　　前記量子化ウエーブレット係数データを構成する各データの値が０であるか否かを判別することによって、前記量子化ウエーブレット係数データ中の前記ＲＯＩ係数と前記非ＲＯＩ係数とを判別し、判別結果に基づいて前記初期の分解レベルの前記マスクデータを再現する、マスク再現処理と、
    　　前記量子化ウエーブレット係数データに対して逆量子化を行うことによって、前記初期の分解レベルの前記第１ウエーブレット係数データを生成する、逆量子化処理と、
    　　前記第１ウエーブレット係数データおよび前記マスクデータを、前記初期の分解レベルから第１の分解レベルに変換する、分解レベル変換処理と、
    　　前記第２対象画像のデータである第２対象画像データに対して、前記第１の分解レベルおよび前記相似比に応じて決まる第２の分解レベルまで前記ウエーブレット変換を行うことによって、第２ウエーブレット係数データを生成する、ウエーブレット変換処理と
    を含み、
    　前記第１ウエーブレット係数データの前記第１の分解レベルをＰ１とし、前記第２ウエーブレット係数データの前記第２の分解レベルをＰ２とし、前記相似比を１／２Ｐ３とした場合、Ｐ２＝Ｐ１－Ｐ３であり、
    　前記画像合成処理は、さらに、
    　　前記第１の分解レベルの前記第１ウエーブレット係数データについて前記ＲＯＩ係数と前記非ＲＯＩ係数とを、前記第１の分解レベルの前記マスクデータに基づいて判別し、前記第１の分解レベルの前記第１ウエーブレット係数データ中の前記ＲＯＩ係数と、前記第２ウエーブレット係数データ中の係数とを合成する係数合成処理を行い、それにより、画像サイズおよび分解レベルが前記第２ウエーブレット係数データと同じである合成済み係数データを生成する、合成実行処理と、
    　前記合成済み係数データに対して、分解レベルが所定の終了レベルになるまで逆ウエーブレット変換を行うことによって、合成画像データを生成する、逆ウエーブレット変換処理と
    を含み、
    　前記データ供給システムは、前記符号化ビットストリームと、前記画像合成処理の前記分解レベル変換処理において前記第１の分解レベルを指定するための合成制御データとを出力する、
    画像処理システム。
  14. 　請求項１３に記載の画像処理システムであって、
    　前記ビットストリーム生成部は、前記符号化ビットストリームのうちで前記符号化データに影響しない領域に前記合成制御データを埋め込み、
    　前記データ供給システムは、前記合成制御データが埋め込まれた状態の前記符号化ビットストリームを出力する、
    画像処理システム。
  15. 　請求項１３に記載の画像処理システムであって、
    　前記データ供給システムは、前記合成制御データを前記符号化ビットストリームと別に出力する、画像処理システム。
  16. 　請求項１３～１５のうちのいずれか１つに記載の画像処理システムであって、
    　前記マスク生成部は、
    　　前記ＲＯＩを含む第１基礎画像の範囲において前記ＲＯＩと前記非ＲＯＩとを判別するための基礎マスクのデータである基礎マスクデータを、前記第１基礎画像のデータである第１基礎画像データに基づいて生成する、基礎マスク生成部と、
    　　前記第１基礎画像における前記第１対象画像の範囲である切り取り範囲を決定する切り取り範囲決定処理を前記基礎マスクデータと前記初期の分解レベルと前記第１の分解レベルとに基づいて行い、前記切り取り範囲を特定するための切り取り範囲特定データを生成する、切り取り範囲決定部と、
    　　前記切り取り範囲特定データに基づいて、前記基礎マスクデータのうちで前記切り取り範囲内のデータを切り取る、マスク切り取り部と、
    　　前記マスク切り取り部によって切り取られたデータを、前記第１ウエーブレット係数データに含まれる各帯域成分用に展開することによって、前記第１ウエーブレット係数データ用の展開マスクである前記マスクを生成する、マスク展開処理を行うマスク展開部と
    を有し、
    　前記データ供給システムは、
    　　前記切り取り範囲特定データに基づいて、前記第１基礎画像データのうちで前記切り取り範囲内のデータを前記第１対象画像データとして切り取る、第１画像切り取り部
    をさらに含む、
    画像処理システム。
  17. 　請求項１６に記載の画像処理システムであって、
    　前記切り取り範囲決定処理は、
    　　前記基礎マスクに基づいて、前記ＲＯＩを含む矩形の最小範囲を特定する、最小範囲特定処理と、
    　　前記初期の分解レベルと前記第１の分解レベルとのうちで高い方の分解レベルである最高分解レベルのウエーブレット平面の最も分解された最上位帯域成分において、前記最小範囲に対応する範囲を追跡最小範囲として特定する、追跡処理と、
    　　前記追跡最小範囲内のウエーブレット係数を算出するために必要なデータが、前記切り取り前の前記第１基礎画像のどの範囲に存在するのかを特定する、必要範囲特定処理と
    を含み、
    　前記必要範囲特定処理によって特定された前記範囲を、前記切り取り範囲に設定する、
    画像処理システム。
  18. 　請求項１７に記載の画像処理システムであって、
    　前記ウエーブレット変換は、各分解レベルのウエーブレット平面に含まれる最低域の帯域成分を再帰的に分解する方式であり、
    　前記最上位帯域成分は、前記最高分解レベルのウエーブレット平面における最低域の帯域成分である、
    画像処理システム。
  19. 　請求項１７または１８に記載の画像処理システムであって、
    　前記最小範囲の左上端座標を（ＡＸ１，ＡＹ１）とし、
    　前記最小範囲の右下端座標を（ＢＸ１，ＢＹ１）とし、
    　前記追跡最小範囲の左上端座標を（ＡＸ２，ＡＹ２）とし、
    　前記追跡最小範囲の右下端座標を（ＢＸ２，ＢＹ２）とし、
    　前記切り取り範囲の左上端座標を（ＡＸ３，ＡＹ３）とし、
    　前記切り取り範囲の右下端座標を（ＢＸ３，ＢＹ３）とし、
    　前記ウエーブレット変換に５×３フィルタが使用される場合、
    　前記最小範囲特定処理では、前記ＡＸ１と前記ＡＹ１と前記ＢＸ１と前記ＢＹ１を求め、
    　前記追跡処理では、
    　　前記ＡＸ１が偶数ならばＡＸ１／２を新たなＡＸ１に設定し、前記ＡＸ１が奇数ならば｛ＡＸ１－１｝／２を新たなＡＸ１に設定するという第１再帰処理を、前記最高分解レベルの値によって指定された指定回数行い、最終的に得られたＡＸ１を前記ＡＸ２に設定し、
    　　前記ＡＹ１が偶数ならばＡＹ１／２を新たなＡＹ１に設定し、前記ＡＹ１が奇数ならば｛ＡＹ１－１｝／２を新たなＡＹ１に設定するという第２再帰処理を前記指定回数行い、最終的に得られたＡＹ１を前記ＡＹ２に設定し、
    　　前記ＢＸ１が偶数ならばＢＸ１／２を新たなＢＸ１に設定し、前記ＢＸ１が奇数ならば｛ＢＸ１＋１｝／２を新たなＢＸ１に設定するという第３再帰処理を前記指定回数行い、最終的に得られたＢＸ１を前記ＢＸ２に設定し、
    　　前記ＢＹ１が偶数ならばＢＹ１／２を新たなＢＹ１に設定し、前記ＢＹ１が奇数ならば｛ＢＹ１＋１｝／２を新たなＢＹ１に設定するという第４再帰処理を前記指定回数行い、最終的に得られたＢＹ１を前記ＢＹ２に設定し、
    　前記必要範囲特定処理では、
    　　｛ＡＸ２×２－２｝を新たなＡＸ２に設定するという第５再帰処理を前記指定回数行い、最終的に得られたＡＸ２を前記ＡＸ３に設定し、
    　　｛ＡＹ２×２－２｝を新たなＡＹ２に設定するという第６再帰処理を前記指定回数行い、最終的に得られたＡＹ２を前記ＡＹ３に設定し、
    　　｛ＢＸ２×２＋２｝を新たなＢＸ２に設定するという第７再帰処理を前記指定回数行い、最終的に得られたＢＸ２を前記ＢＸ３に設定し、
    　　｛ＢＹ２×２＋２｝を新たなＢＹ２に設定するという第８再帰処理を前記指定回数行い、最終的に得られたＢＹ２を前記ＢＹ３に設定する、
    画像処理システム。
  20. 　請求項１７または１８に記載の画像処理システムであって、
    　前記最小範囲の左上端座標を（ＡＸ１，ＡＹ１）とし、
    　前記最小範囲の右下端座標を（ＢＸ１，ＢＹ１）とし、
    　前記追跡最小範囲の左上端座標を（ＡＸ２，ＡＹ２）とし、
    　前記追跡最小範囲の右下端座標を（ＢＸ２，ＢＹ２）とし、
    　前記切り取り範囲の左上端座標を（ＡＸ３，ＡＹ３）とし、
    　前記切り取り範囲の右下端座標を（ＢＸ３，ＢＹ３）とし、
    　前記ウエーブレット変換にDaubechies９×７フィルタが使用される場合、
    　前記最小範囲特定処理では、前記ＡＸ１と前記ＡＹ１と前記ＢＸ１と前記ＢＹ１を求め、
    　前記追跡処理では、
    　　前記ＡＸ１が偶数ならば｛ＡＸ１／２－１｝を新たなＡＸ１に設定し、前記ＡＸ１が奇数ならば｛ＡＸ１－３｝／２を新たなＡＸ１に設定するという第９再帰処理を、前記最高分解レベルの値によって指定された指定回数行い、最終的に得られたＡＸ１を前記ＡＸ２に設定し、
    　　前記ＡＹ１が偶数ならば｛ＡＹ１／２－１｝を新たなＡＹ１に設定し、前記ＡＹ１が奇数ならば｛ＡＹ１－３｝／２を新たなＡＹ１に設定するという第１０再帰処理を前記指定回数行い、最終的に得られたＡＹ１を前記ＡＹ２に設定し、
    　　前記ＢＸ１が偶数ならば｛ＢＸ１＋２｝／２を新たなＢＸ１に設定し、前記ＢＸ１が奇数ならば｛ＢＸ１＋３｝／２を新たなＢＸ１に設定するという第１１再帰処理を前記指定回数行い、最終的に得られたＢＸ１を前記ＢＸ２に設定し、
    　　前記ＢＹ１が偶数ならば｛ＢＹ１＋２｝／２を新たなＢＹ１に設定し、前記ＢＹ１が奇数ならば｛ＢＹ１＋３｝／２を新たなＢＹ１に設定するという第１２再帰処理を前記指定回数行い、最終的に得られたＢＹ１を前記ＢＹ２に設定し、
    　前記必要範囲特定処理では、
    　　｛ＡＸ２×２－４｝を新たなＡＸ２に設定するという第１３再帰処理を前記指定回数行い、最終的に得られたＡＸ２を前記ＡＸ３に設定し、
    　　｛ＡＹ２×２－４｝を新たなＡＹ２に設定するという第１４再帰処理を前記指定回数行い、最終的に得られたＡＹ２を前記ＡＹ３に設定し、
    　　｛ＢＸ２×２＋４｝を新たなＢＸ２に設定するという第１５再帰処理を前記指定回数行い、最終的に得られたＢＸ２を前記ＢＸ３に設定し、
    　　｛ＢＹ２×２＋４｝を新たなＢＹ２に設定するという第１６再帰処理を前記指定回数行い、最終的に得られたＢＹ２を前記ＢＹ３に設定する、
    画像処理システム。
  21. 　請求項１３～２０のうちのいずれか１つに記載の画像処理システムであって、
    　前記データ供給システムは、
    　　前記量子化部によって生成された前記量子化ウエーブレット係数データに基づいて前記マスク再現処理および前記逆量子化処理を行い、前記マスク再現処理および前記逆量子化処理の結果に基づいて前記分解レベル変換処理を行い、前記第２対象画像データに対して前記ウエーブレット変換処理を行い、前記分解レベル変換処理および前記ウエーブレット変換処理の結果に基づいて前記合成実行処理と前記逆ウエーブレット変換処理とを行う、合成部
    をさらに含む、画像処理システム。
  22. 　請求項２１に記載の画像処理システムであって、
    　前記合成部は、
    　　前記第２対象画像の源となる第２基礎画像中に、前記相似比で以て前記第１対象画像と相似形を成す相似形範囲を設定し、前記第２基礎画像のデータである第２基礎画像データのうちで前記相似形範囲内のデータを前記第２対象画像データとして切り取る、第２画像切り取り部
    を有する、画像処理システム。
  23. 　請求項２２に記載の画像処理システムであって、
    　前記合成部は、
    　　前記逆ウエーブレット変換を分解レベルが０になるまで行うことによって得られた前記合成画像データを、前記第２基礎画像データ中の前記相似形範囲に埋め込む、埋め込み部
    をさらに有する、画像処理システム。
  24. 　請求項２１に記載の画像処理システムであって、
    　前記合成部は、
    　　前記第２対象画像の源となる第２基礎画像の少なくとも一部分を縮小して前記第２対象画像を生成する画像縮小部
    を有する、画像処理システム。
  25. 　請求項１～２４のうちのいずれか１つに記載の画像処理システムであって、
    　前記係数合成処理は、
    　　前記第１ウエーブレット係数データ中の前記非ＲＯＩ係数を、前記第２ウエーブレット係数データ中の対応するウエーブレット係数で置換する、第１係数合成処理と、
    　　前記第１ウエーブレット係数データ中の前記ＲＯＩ係数を、前記第２ウエーブレット係数データ中の対応する位置に埋め込む、第２係数合成処理と
    のうちのいずれかである、
    画像処理システム。
  26. 　請求項１または１３に記載の画像処理システムであって、
    　前記マスク生成処理は、
    　　前記第１対象画像の源となる第１基礎画像の範囲において前記ＲＯＩと前記非ＲＯＩとを判別するための基礎マスクのデータである基礎マスクデータを、前記第１基礎画像のデータである第１基礎画像データに基づいて生成する、基礎マスク生成処理と、
    　　前記基礎マスクを、前記第１ウエーブレット係数データに含まれる各帯域成分用に展開することによって、前記第１ウエーブレット係数データ用の展開マスクである前記マスクを生成する、マスク展開処理と
    を含む、画像処理システム。
  27. 　請求項１または１３に記載の画像処理システムであって、
    　前記分解レベル変換処理は、
    　　前記第１ウエーブレット係数データに対して前記第１の分解レベルになるまで前記ウエーブレット変換を行い、前記マスクデータを、前記第１の分解レベルの前記第１ウエーブレット係数データに含まれる各帯域成分用に展開するマスク展開処理を行う、分解レベル増加処理
    を含む、画像処理システム。
  28. 　請求項１６，２６，２７のうちのいずれか１つに記載の画像処理システムであって、
    　前記マスク展開処理では、第１ウエーブレット平面用の第１マスクを、前記第１ウエーブレット平面よりも分解レベルが１段階高い第２ウエーブレット平面用の第２マスクに、マスク展開条件に基づいて変換するレベル増加単位処理を行い、前記第２ウエーブレット平面を前記第１の分解レベルにするために前記レベル増加単位処理を複数回行う場合には、前記レベル増加単位処理を前記ウエーブレット変換の方式に従って再帰的に行い、
    　前記ウエーブレット変換に５×３フィルタが使用される場合における前記マスク展開条件は、ｎを整数として、
    　　前記第１ウエーブレット平面上の２ｎ番目のデータが前記第１マスクによって前記ＲＯＩに対応付けられているとき、前記第２ウエーブレット平面において低域成分のｎ番目ならびに高域成分の｛ｎ－１｝番目およびｎ番目のデータが前記ＲＯＩに対応付けられるように前記第２マスクを形成する、という第１展開条件と、
    　　前記第１ウエーブレット平面上の｛２ｎ＋１｝番目のデータが前記第１マスクによって前記ＲＯＩに対応付けられているとき、前記第２ウエーブレット平面において前記低域成分のｎ番目および｛ｎ＋１｝番目ならびに前記高域成分の｛ｎ－１｝番目から｛ｎ＋１｝番目のデータが前記ＲＯＩに対応付けられるように前記第２マスクを形成する、という第２展開条件と
    を含む、
    画像処理システム。
  29. 　請求項１６，２６，２７のうちのいずれか１つに記載の画像処理システムであって、
    　前記マスク展開処理では、第１ウエーブレット平面用の第１マスクを、前記第１ウエーブレット平面よりも分解レベルが１段階高い第２ウエーブレット平面用の第２マスクに、マスク展開条件に基づいて変換するレベル増加単位処理を行い、前記第２ウエーブレット平面を前記第１の分解レベルにするために前記レベル増加単位処理を複数回行う場合には、前記レベル増加単位処理を前記ウエーブレット変換の方式に従って再帰的に行い、
    　前記ウエーブレット変換にDaubechies９×７フィルタが使用される場合における前記マスク展開条件は、ｎを整数として、
    　　前記第１ウエーブレット平面上の２ｎ番目のデータが前記第１マスクによって前記ＲＯＩに対応付けられているとき、前記第２ウエーブレット平面において低域成分の｛ｎ－１｝番目から｛ｎ＋１｝番目および高域成分の｛ｎ－２｝番目から｛ｎ＋１｝番目のデータが前記ＲＯＩに対応付けられるように前記第２マスクを形成する、という第３展開条件と、
    　　前記第１ウエーブレット平面上の｛２ｎ＋１｝番目のデータが前記第１マスクによって前記ＲＯＩに対応付けられているとき、前記第２ウエーブレット平面において前記低域成分の｛ｎ－１｝番目から｛ｎ＋２｝番目および前記高域成分の｛ｎ－２｝番目から｛ｎ＋２｝番目のデータが前記ＲＯＩに対応付けられるように前記第２マスクを形成する、という第４展開条件と
    を含む、
    画像処理システム。
  30. 　請求項１または１３に記載の画像処理システムであって、
    　前記分解レベル変換処理は、
    　　前記第１ウエーブレット係数データに対して前記第１の分解レベルになるまで前記逆ウエーブレット変換を行い、前記マスクデータを、前記第１の分解レベルの前記第１ウエーブレット係数データに含まれる各帯域成分用に復元するマスク復元処理を行う、分解レベル減少処理
    を含む、画像処理システム。
  31. 　請求項３０に記載の画像処理システムであって、
    　前記マスク復元処理では、第１ウエーブレット平面用の第１マスクを、前記第１ウエーブレット平面よりも分解レベルが１段階低い第２ウエーブレット平面用の第２マスクに、マスク復元条件に基づいて変換するレベル減少単位処理を行い、前記第２ウエーブレット平面を前記第１の分解レベルにするために前記レベル減少単位処理を複数回行う場合には、前記レベル減少単位処理を前記ウエーブレット変換の方式に従って再帰的に行い、
    　前記マスク復元条件は、前記第１ウエーブレット平面の指定位置のデータが前記第１マスクによって前記ＲＯＩに対応付けられている場合に、前記第２ウエーブレット平面において前記指定位置に対応付けられた位置のデータが前記ＲＯＩに対応付けられるように前記第２マスクを形成することを規定しており、前記指定位置がマスク調整指示によって指示される、
    画像処理システム。
  32. 　請求項３１に記載の画像処理システムであって、
    　前記マスク復元条件は、ｎを整数として、
    　　前記第２ウエーブレット平面において２ｎ番目のデータが前記ＲＯＩに対応付けられるように前記第２マスクを形成するための第１復元条件と、
    　　前記第２ウエーブレット平面において｛２ｎ＋１｝番目のデータが前記ＲＯＩに対応付けられるように前記第２マスクを形成するための第２復元条件と
    を含み、
    　前記逆ウエーブレット変換に５×３フィルタが使用される場合、前記マスク調整指示の下、
    　　前記第１復元条件は、前記第１ウエーブレット平面の低域成分のｎ番目のデータが前記第１マスクによって前記ＲＯＩに対応付けられ、且つ、前記第１ウエーブレット平面の高域成分の｛ｎ－１｝番目とｎ番目との全てのデータが前記第１マスクによって前記ＲＯＩに対応付けられていることを課し、
    　　前記第２復元条件は、前記第１ウエーブレット平面の前記低域成分のｎ番目と｛ｎ＋１｝番目との全てのデータが前記第１マスクによって前記ＲＯＩに対応付けられ、且つ、前記第１ウエーブレット平面の前記高域成分の｛ｎ－１｝番目から｛ｎ＋１｝番目の全てのデータが前記第１マスクによって前記ＲＯＩに対応付けられていることを課す、
    画像処理システム。
  33. 　請求項３１に記載の画像処理システムであって、
    　前記マスク復元条件は、ｎを整数として、
    　　前記第２ウエーブレット平面において２ｎ番目のデータが前記ＲＯＩに対応付けられるように前記第２マスクを形成するための第１復元条件と、
    　　前記第２ウエーブレット平面において｛２ｎ＋１｝番目のデータが前記ＲＯＩに対応付けられるように前記第２マスクを形成するための第２復元条件と
    を含み、
    　前記逆ウエーブレット変換にDaubechies９×７フィルタが使用される場合、前記マスク調整指示の下、
    　　前記第１復元条件は、前記第１ウエーブレット平面の低域成分の｛ｎ－１｝番目から｛ｎ＋１｝番目の全てのデータが前記第１マスクによって前記ＲＯＩに対応付けられ、且つ、前記第１ウエーブレット平面の高域成分の｛ｎ－２｝番目から｛ｎ＋１｝番目の全てのデータが前記第１マスクによって前記ＲＯＩに対応付けられていることを課し、
    　　前記第２復元条件は、前記低域成分の｛ｎ－１｝番目から｛ｎ＋２｝番目の全てのデータが前記第１マスクによって前記ＲＯＩに対応付けられ、且つ、前記高域成分の｛ｎ－２｝番目から｛ｎ＋２｝番目の全てのデータが前記第１マスクによって前記ＲＯＩに対応付けられていることを課す、
    画像処理システム。
  34. 　請求項１または１３に記載の画像処理システムであって、
    　前記符号化ビットストリームはＪＰＥＧ（Joint Photographic Experts Group）２０００に準拠している、画像処理システム。
  35. 　メモリと、
    　前記メモリにバスを介して繋がっているデータ準備部および合成部と
    を備え、
    　前記メモリは、
    　　ＲＯＩ（関心領域）を有する第１対象画像の源となる第１基礎画像のデータである第１基礎画像データと、
    　　前記第１対象画像中の前記ＲＯＩと合成される第２対象画像の源となる第２基礎画像のデータである第２基礎画像データと
    を格納するために設けられており、
    　前記第２対象画像は前記第１対象画像と相似形を成し、前記第１対象画像に対する前記第２対象画像の相似比が１以下であり、
    　前記データ準備部は、前記メモリから前記第１基礎画像データを取得し、
    　前記データ準備部は、
    　　前記第１対象画像のデータである第１対象画像データに対して、予め設定された初期の分解レベルまで、ウエーブレット変換を行うことによって、第１ウエーブレット係数データを生成する、第１のウエーブレット変換部と、
    　　前記第１ウエーブレット係数データについて前記ＲＯＩに関与するＲＯＩ係数と非ＲＯＩに関与する非ＲＯＩ係数とを判別するためのマスクのデータであるマスクデータを生成するマスク生成処理を行う、マスク生成部と、
    　　前記マスクデータに基づいて前記第１ウエーブレット係数データ中の前記ＲＯＩ係数と前記非ＲＯＩ係数とを判別し、前記非ＲＯＩ係数が０になるように前記第１ウエーブレット係数データに対して量子化を行い、それにより量子化ウエーブレット係数データを生成する、量子化部と
    を含み、
    　前記合成部は、前記量子化ウエーブレット係数データを前記量子化部から取得し、前記第２基礎画像データを前記メモリから取得し、合成具合を制御するための合成制御データを取得し、
    　前記合成部は、
    　　前記量子化ウエーブレット係数データを構成する各データの値が０であるか否かを判別することによって、前記量子化ウエーブレット係数データ中の前記ＲＯＩ係数と前記非ＲＯＩ係数とを判別し、判別結果に基づいて前記初期の分解レベルの前記マスクデータを再現する、マスク再現部と、
    　　前記量子化ウエーブレット係数データに対して逆量子化を行うことによって、前記初期の分解レベルの前記第１ウエーブレット係数データを生成する、逆量子化部と、
    　　前記第１ウエーブレット係数データおよび前記マスクデータを、前記初期の分解レベルから、前記合成制御データによって指定された第１の分解レベルに変換する分解レベル変換処理を行う、分解レベル変換部と、
    　　前記第２対象画像のデータである第２対象画像データに対して、前記第１の分解レベルおよび前記相似比に応じて決まる第２の分解レベルまで前記ウエーブレット変換を行うことによって、第２ウエーブレット係数データを生成する、第２のウエーブレット変換部と
    を含み、
    　前記第１ウエーブレット係数データの前記第１の分解レベルをＰ１とし、前記第２ウエーブレット係数データの前記第２の分解レベルをＰ２とし、前記相似比を１／２Ｐ３とした場合、Ｐ２＝Ｐ１－Ｐ３であり、
    　前記合成部は、さらに、
    　　前記第１の分解レベルの前記第１ウエーブレット係数データについて前記ＲＯＩ係数と前記非ＲＯＩ係数とを、前記第１の分解レベルの前記マスクデータに基づいて判別し、前記第１の分解レベルの前記第１ウエーブレット係数データ中の前記ＲＯＩ係数と、前記第２ウエーブレット係数データ中の係数とを合成する係数合成処理を行い、それにより、画像サイズおよび分解レベルが前記第２ウエーブレット係数データと同じである合成済み係数データを生成する、合成実行部と、
    　前記合成済み係数データに対して、分解レベルが所定の終了レベルになるまで逆ウエーブレット変換を行うことによって、合成画像データを生成する、逆ウエーブレット変換部と
    を含む、画像処理システム。
  36. 　（ａ）ＲＯＩ（関心領域）を有する第１対象画像の源となる第１基礎画像のデータである第１基礎画像データを取得するステップと、
    　（ｂ）前記第１対象画像中の前記ＲＯＩと合成される第２対象画像の源となる第２基礎画像のデータである第２基礎画像データを取得するステップと
    を備え、
    　前記第２対象画像は前記第１対象画像と相似形を成し、前記第１対象画像に対する前記第２対象画像の相似比が１以下であり、
    　（ｃ）合成具合を制御するための合成制御データを取得するステップと、
    　（ｄ）前記第１対象画像のデータである第１対象画像データに対して、予め設定された初期の分解レベルまで、ウエーブレット変換を行うことによって、第１ウエーブレット係数データを生成するステップと、
    　（ｅ）前記第１ウエーブレット係数データについて前記ＲＯＩに関与するＲＯＩ係数と非ＲＯＩに関与する非ＲＯＩ係数とを判別するためのマスクのデータであるマスクデータを生成するマスク生成処理を行うステップと、
    　（ｆ）前記マスクデータに基づいて前記第１ウエーブレット係数データ中の前記ＲＯＩ係数と前記非ＲＯＩ係数とを判別し、前記非ＲＯＩ係数が０になるように前記第１ウエーブレット係数データに対して量子化を行い、それにより量子化ウエーブレット係数データを生成するステップと、
    　（ｇ）前記量子化ウエーブレット係数データを構成する各データの値が０であるか否かを判別することによって、前記量子化ウエーブレット係数データ中の前記ＲＯＩ係数と前記非ＲＯＩ係数とを判別し、判別結果に基づいて前記初期の分解レベルの前記マスクデータを再現するステップと、
    　（ｈ）前記量子化ウエーブレット係数データに対して逆量子化を行うことによって、前記初期の分解レベルの前記第１ウエーブレット係数データを生成するステップと、
    　（ｉ）前記第１ウエーブレット係数データおよび前記マスクデータを、前記初期の分解レベルから、前記合成制御データによって指定された第１の分解レベルに変換する分解レベル変換処理を行うステップと、
    　（ｊ）前記第２対象画像のデータである第２対象画像データに対して、前記第１の分解レベルおよび前記相似比に応じて決まる第２の分解レベルまで前記ウエーブレット変換を行うことによって、第２ウエーブレット係数データを生成するステップと、
    を備え、
    　前記第１ウエーブレット係数データの前記第１の分解レベルをＰ１とし、前記第２ウエーブレット係数データの前記第２の分解レベルをＰ２とし、前記相似比を１／２Ｐ３とした場合、Ｐ２＝Ｐ１－Ｐ３であり、
    　（ｋ）前記第１の分解レベルの前記第１ウエーブレット係数データについて前記ＲＯＩ係数と前記非ＲＯＩ係数とを、前記第１の分解レベルの前記マスクデータに基づいて判別し、前記第１の分解レベルの前記第１ウエーブレット係数データ中の前記ＲＯＩ係数と、前記第２ウエーブレット係数データ中の係数とを合成する係数合成処理を行い、それにより、画像サイズおよび分解レベルが前記第２ウエーブレット係数データと同じである合成済み係数データを生成するステップと、
    　（ｌ）前記合成済み係数データに対して、分解レベルが所定の終了レベルになるまで逆ウエーブレット変換を行うことによって、合成画像データを生成するステップと
    を備える、画像処理方法。
PCT/JP2016/057720 2015-03-31 2016-03-11 画像処理システムおよび画像処理方法 WO2016158309A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/712,976 US10298928B2 (en) 2015-03-31 2017-09-22 Image processing system and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015071408A JP6471023B2 (ja) 2015-03-31 2015-03-31 画像処理システムおよび画像処理方法
JP2015-071408 2015-03-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/712,976 Continuation US10298928B2 (en) 2015-03-31 2017-09-22 Image processing system and image processing method

Publications (1)

Publication Number Publication Date
WO2016158309A1 true WO2016158309A1 (ja) 2016-10-06

Family

ID=57006748

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/057720 WO2016158309A1 (ja) 2015-03-31 2016-03-11 画像処理システムおよび画像処理方法

Country Status (3)

Country Link
US (1) US10298928B2 (ja)
JP (1) JP6471023B2 (ja)
WO (1) WO2016158309A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11587419B2 (en) 2017-08-04 2023-02-21 Toyota Research Institute, Inc. Methods and systems providing an intelligent camera system
JP7277699B2 (ja) * 2018-12-05 2023-05-19 日本電信電話株式会社 画像処理装置、学習装置、画像処理方法、学習方法、及びプログラム
CN111479113B (zh) * 2020-04-15 2021-04-09 腾讯科技（深圳）有限公司 码率控制方法和装置、存储介质和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002094991A (ja) * 2000-09-19 2002-03-29 Mega Chips Corp 関心領域符号化方法
JP2006203409A (ja) * 2005-01-19 2006-08-03 Megachips Lsi Solutions Inc 圧縮符号化装置、圧縮符号化方法およびプログラム
JP2007104645A (ja) * 2005-09-06 2007-04-19 Megachips Lsi Solutions Inc 圧縮符号化装置、圧縮符号化方法およびプログラム
JP2007180801A (ja) * 2005-12-27 2007-07-12 Fujitsu Ltd 画像符号化方法および画像符号化装置
JP2007251476A (ja) * 2006-03-15 2007-09-27 Ricoh Co Ltd 画像圧縮装置および画像圧縮方法、ならびにそのためのプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141452A (en) * 1996-05-13 2000-10-31 Fujitsu Limited Apparatus for compressing and restoring image data using wavelet transform
SE9800088D0 (sv) 1997-10-10 1998-01-16 Ericsson Telefon Ab L M Long filter lossless region of interest coding
JP2001144966A (ja) * 1999-11-11 2001-05-25 Canon Inc 画像処理装置及びその方法
JP3814456B2 (ja) * 2000-02-07 2006-08-30 キヤノン株式会社 画像処理装置及びその方法
US6968088B2 (en) * 2000-03-28 2005-11-22 Canon Kabushiki Kaisha Modification of detected quantization step size from the encoded bitstream based on a region of interest (ROI) bitmask
JP2002064709A (ja) * 2000-06-06 2002-02-28 Canon Inc 画像処理装置及びその方法とそのコンピュータプログラム及び記憶媒体
JP4245123B2 (ja) 2002-02-28 2009-03-25 株式会社メガチップス ウエーブレット処理装置及びウエーブレット処理方法
JP2005165688A (ja) 2003-12-02 2005-06-23 Fuji Xerox Co Ltd 複数対象物追跡方法及びシステム
CN1655620B (zh) * 2004-02-09 2010-09-22 三洋电机株式会社 图像显示装置
US7720295B2 (en) * 2004-06-29 2010-05-18 Sanyo Electric Co., Ltd. Method and apparatus for coding images with different image qualities for each region thereof, and method and apparatus capable of decoding the images by adjusting the image quality
US20060045381A1 (en) * 2004-08-31 2006-03-02 Sanyo Electric Co., Ltd. Image processing apparatus, shooting apparatus and image display apparatus
JP4390671B2 (ja) 2004-09-21 2009-12-24 三洋電機株式会社 画像処理装置
US7916961B2 (en) 2005-09-06 2011-03-29 Megachips Corporation Compression encoder, compression encoding method and program
JP4407600B2 (ja) 2005-09-22 2010-02-03 日本ビクター株式会社 画像処理装置
JP4991595B2 (ja) 2008-02-21 2012-08-01 株式会社東芝 パーティクルフィルタを使用する追跡システム
US8406297B2 (en) * 2008-10-17 2013-03-26 Futurewei Technologies, Inc. System and method for bit-allocation in video coding
US9626769B2 (en) * 2009-09-04 2017-04-18 Stmicroelectronics International N.V. Digital video encoder system, method, and non-transitory computer-readable medium for tracking object regions
JP6076623B2 (ja) 2012-06-06 2017-02-08 株式会社メガチップス 動体検出装置、動体検出方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002094991A (ja) * 2000-09-19 2002-03-29 Mega Chips Corp 関心領域符号化方法
JP2006203409A (ja) * 2005-01-19 2006-08-03 Megachips Lsi Solutions Inc 圧縮符号化装置、圧縮符号化方法およびプログラム
JP2007104645A (ja) * 2005-09-06 2007-04-19 Megachips Lsi Solutions Inc 圧縮符号化装置、圧縮符号化方法およびプログラム
JP2007180801A (ja) * 2005-12-27 2007-07-12 Fujitsu Ltd 画像符号化方法および画像符号化装置
JP2007251476A (ja) * 2006-03-15 2007-09-27 Ricoh Co Ltd 画像圧縮装置および画像圧縮方法、ならびにそのためのプログラム

Also Published As

Publication number Publication date
US10298928B2 (en) 2019-05-21
JP2016192669A (ja) 2016-11-10
US20180014014A1 (en) 2018-01-11
JP6471023B2 (ja) 2019-02-13

Similar Documents

Publication Publication Date Title
JP6345961B2 (ja) 画像復号化装置および画像復号化方法
JP4618676B2 (ja) 構造化文書符号の転送方法、画像処理システム、サーバ装置、プログラム及び情報記録媒体
JP2008258994A (ja) 画像処理装置
JP4789148B2 (ja) 圧縮符号化装置、圧縮符号化方法およびプログラム
JP4898513B2 (ja) クライアント・サーバシステム
WO2016158309A1 (ja) 画像処理システムおよび画像処理方法
WO2016158310A1 (ja) 画像処理システムおよび画像処理方法
JP4888919B2 (ja) 動画像符号化装置および動画像復号装置
JP2007028439A (ja) 画像処理装置、画像処理方法
JP4637672B2 (ja) 符号化処理装置及び方法
JP2004166254A (ja) 画像符号化装置及び方法、並びにプログラム及び記録媒体
JP2007005844A (ja) 符号化処理装置、符号化処理方法、プログラム及び情報記録媒体
JP4726040B2 (ja) 符号化処理装置、復号処理装置、符号化処理方法、復号処理方法、プログラム及び情報記録媒体
JP2006014086A (ja) 動画像符号化装置及び動画像符号化方法
JP4315928B2 (ja) 画像処理装置および画像処理方法
JP6577855B2 (ja) 画像処理システムおよび画像処理方法
JP3897253B2 (ja) 画像処理方法、画像処理装置、撮像装置、プログラム及び記録媒体
JP4034236B2 (ja) 特定変換係数優先符号化装置、特定変換係数優先符号化復号システム及び特定変換係数優先符号化方法
JP2010062935A (ja) 符号化装置、符号化方法、プログラム、および情報記録媒体
JP4367113B2 (ja) 画像符号化装置及び方法
JP2006352365A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2002135781A (ja) 画像符号化装置、画像復号装置、及びそれらの方法並びに記憶媒体
JP2004159312A (ja) ノンインターレース画像の処理装置及び処理方法
JP2012114786A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2006050557A (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、コンピュータプログラム及び記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16772193

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16772193

Country of ref document: EP

Kind code of ref document: A1