WO2009142333A1 - 画像処理方法、画像処理装置及び画像処理プログラム並びに記憶媒体 - Google Patents

画像処理方法、画像処理装置及び画像処理プログラム並びに記憶媒体 Download PDF

Info

Publication number
WO2009142333A1
WO2009142333A1 PCT/JP2009/059824 JP2009059824W WO2009142333A1 WO 2009142333 A1 WO2009142333 A1 WO 2009142333A1 JP 2009059824 W JP2009059824 W JP 2009059824W WO 2009142333 A1 WO2009142333 A1 WO 2009142333A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pixel
image processing
area
pixels
Prior art date
Application number
PCT/JP2009/059824
Other languages
English (en)
French (fr)
Inventor
茂樹 嵯峨山
小野　順貴
浩 郭
Original Assignee
国立大学法人東京大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人東京大学 filed Critical 国立大学法人東京大学
Priority to JP2010513086A priority Critical patent/JPWO2009142333A1/ja
Publication of WO2009142333A1 publication Critical patent/WO2009142333A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text

Definitions

  • the present invention relates to an image processing method, an image processing apparatus, an image processing program, and a storage medium.
  • Non-Patent Documents 1 to 3 since the BSCB painting algorithm developed by Bertalmio et al. Was published in 2000-2000, image inpainting A lot of image impinging methods have been developed with great attention. These image painting algorithms can be roughly classified into two groups (1 7 0 1 and 1 7 0 2), as shown in Fig. 17.
  • the first group 1 7 0 1 is an “interpolation method” for filling small or narrow gaps
  • the second group 1 ⁇ 0 2 is “texture synthesis” for filling large missing areas. Texture synthesis method J.
  • the smoothness information of the image is estimated by the Laplacian image, and along the direction of isophor (line or surface with equal brightness, 1 8 0 1 in Fig. 1 8), the defect area (1 8 0 2) On the other hand, it propagates (1 8 0 3).
  • the Total Variational (TV) model described in Non-Patent Document 4 and the Curvature-Driven Diffusion (CD D) model described in Non-Patent Document 5 include Euler in addition to the anisotropic diffusion equation. ⁇ Use the Lagrangian equation to maintain the orientation of the isophoto. All these methods basically solve a partial differential equation (PDE) that shows the propagation of color into the missing region according to various heuristics (thought models) that try to maintain the orientation of the lysophor. Is.
  • PDE partial differential equation
  • Non-Patent Document 1 Bertalmio M, Sapiro G, Caselles V, Ballester C, "Image inpainting", Proc. Of the ACM SIGGRAPH 2000, New La, 2000, pp.417-424
  • Non-Patent Document 2 Bertalmio M, Bertozzi AL , Sapiro G. Navier-Stokes, "fluid dynamics, and image and video inpainting, Proc. Of the IEEE Int '1 Conf .on Computer Vision and Pattern Recognition, Volume I. Hawaii, 2001, pp.355—362
  • Non-special F Reference 3 C. Ballester, M. Bertalmio, V. Caselles, G. Sapiro, J. Verdera, "Filling-In by Joint Interpolation of Vector Fields and Gray Levels", IEEE Transactions on Signal Processing, 10 (8) , 2001, pp.1200-1211
  • Non-Patent Document 4 T. Chan, J. Shen, "Mathematical Models for Local Deterministic Inpaintings, Technical Report CAM 00-11, Image Processing Research Group, UCLA, 2000
  • Non-Patent Document 5 T. Chan, J. Shen, "Non-Texture Inpainting by Curvature Driven Diffusions (CDD), Technical Report CAM 00-35, Image Processing Research Group, UCLA, 2000
  • Non-Patent Document 6 Alexandru Telea, 'An Image Inpainting Technique Based on the Fast Marching Method ", Journal of Graphics Tools, 9 (1), 2004, pp.25-36
  • Non-Patent Document 7 AA Efros, TK Leung, ⁇ exture Synthesis by Nonparametric Sampling ", In IEEE International Conf.on Computer Vision, volume 2, 1999, 1033-1038
  • Non-Patent Document 8 L. -Y. Wei, M. Levoy, Fast Texture Synthesis Using
  • Non-Patent Document 9 Peng Tang, “Application of Non-parametric Texture Synthesis to Image Inpainting", MS, Computer Science, University of New Mexico, 2004
  • Non-Patent Document 10 Antonio Criminisi, Patrick Perez, Kentaro Toyama, Object Removal by Exemplar-based Inpainting (PDF) Jun ", WI Proc. IEEE Computer Vision and Pattern Recognition, 2003 (2), pp. 721-728
  • Patented Document 1 1 Hitostii Yamauchi, Jorg Haber, Hans-Peter Seidel, “Image
  • Non-Patent Document 12 H. Grossauer, A Combined PDE and Texture Synthesis Approach to Inpainting, European Conference on Computer Vision, LNCS 3022, 2004, pp.
  • Non-Patent Documents 1 to 5 If the complexity of the PDE-based algorithms appearing in Non-Patent Documents 1 to 5 mentioned above is removed, the main problem is that the estimation of isophores and the propagation of that information are both affected by the diffusion of numerical values. Is in the point of receiving. Although diffusion that stabilizes PDE to be solved is preferable, it is inevitable that the area to be repaired will be “blurred” (Fig. 19).
  • the FMM (Fast Marching Method) model discussed in Non-Patent Document 6 propagates the image smoothness according to the gradation change of the image, as in the B S BC model of Non-Patent Documents 1 and 2.
  • Non-Patent Documents 7 to 10 Texture compositing is suitable for filling large image areas with “pure” textures, that is, model 2 and repeating 2D texture patterns with random fluctuations. When different regions have such a texture, they are always recognized as close (highly identical). In many real and composite images, the missing region consists of a linear structure and a mixed texture (a number of textures that interact spatially in many real and composite images).
  • Non-Patent Documents 1 1 and 1 2 As shown in Non-Patent Documents 1 1 and 1 2
  • an image is processed at high speed and effectively using an image painting technology to obtain a high-quality image processing result.
  • the present invention is an image processing method for calculating unknown image information in a specific image region based on known image information in a peripheral region of the specific image region.
  • the feature defines a first structural feature patch having a predetermined number of pixels centered on an unknown pixel of interest included in a contour portion of the specific image area, and a pixel of a known pixel contained in the first structural feature patch
  • a search step for searching for a second structural feature patch having a pixel value arrangement similar to the value arrangement and having the same number of pixels in a known area of the peripheral area of the specific image area; and
  • a pixel value determination step for determining a pixel value of the target unknown pixel included in the patch by a pixel value of a pixel in a corresponding arrangement in the second structure feature patch; and another target unknown unknown included in the contour portion By repeating with respect to the pixel, the pixel value is determined once from the contour portion toward the inside of the specific image region.
  • the present invention can process an image at high speed and effectively while using an image inpainting technique, and can obtain a high-quality image processing result.
  • FIG. 1 is a diagram showing an example of image processing according to an embodiment of the present invention.
  • FIG. 2 is a diagram for explaining a basic theory of image processing according to the embodiment of the present invention.
  • FIG. 3 is a diagram showing processing target pixels according to the embodiment of the present invention.
  • FIG. 4 is a diagram illustrating structural features and texture features used in the image processing method according to the embodiment of the present invention.
  • FIG. 5 is a diagram showing propagation of structural features in the image processing method according to the embodiment of the present invention.
  • FIG. 6 is a diagram showing how error accumulation is avoided by the image processing method according to the embodiment of the present invention.
  • FIG. 7 is a diagram showing a method for avoiding error accumulation by the image processing method according to the embodiment of the present invention.
  • FIG. 8 is a diagram showing examples of various image processing results obtained by the image processing method according to the embodiment of the present invention.
  • FIG. 9 is a diagram showing an example of an image processing result by the image processing method according to the embodiment of the present invention.
  • FIG. 10 is a diagram showing a comparative example of an image processing result by an image processing method according to an embodiment of the present invention and an image processing result by a past image processing method.
  • FIG. 11 is a diagram showing an example of a system that realizes an image processing method according to an embodiment of the present invention.
  • FIG. 12 is a diagram showing an example of a user interface of an application that realizes the image processing method according to the embodiment of the present invention.
  • FIG. 13 is a flowchart explaining the flow of processing of an application that implements the image processing method according to the embodiment of the present invention.
  • FIG. 14 is a diagram showing an example of execution results of an application that implements the image processing method according to the embodiment of the present invention.
  • FIG. 15 is a diagram showing an example of execution results of an application that implements the image processing method according to the embodiment of the present invention.
  • FIG. 16 is a diagram showing another example of a user interface of an application that implements the image processing method according to the embodiment of the present invention.
  • FIG. 17 is a diagram for explaining an image in painting technique.
  • FIG. 18 is a diagram for explaining the maintenance of isocontinuity.
  • FIG. 19 is a diagram showing a conventional image processing result.
  • the image processing method fills a specific image area in an image using known image information of the peripheral area, and generates an image that looks complete and natural.
  • the terms “missing area” and “unknown image area” are used, but this not only indicates “damaged image area” or “image area without information”.
  • the processing target area that is intentionally specified by the user is included in the concept of “defect area” (“specific image area”). .
  • Image in painting is one means for repairing a defective area in an image so that the restored image looks complete and natural.
  • a new image in painting is used. Propose and use the algorithm.
  • a specific image area is processed by a morphological one contraction operation and a duplication of a structure characteristic.
  • both the texture feature information and the structural feature information of the patches in the peripheral region are propagated to a specific image region, thereby making it possible to perform a series of i sophote. Sex can be maintained. As a result, it is possible to output an image that looks complete and natural and is not blurred.
  • not only one pixel but also a plurality of pixels can be processed at a time in each inpainting step, so that many conventional texture synthesis paint painting algorithms can be processed.
  • the process can also be performed at high speed.
  • Image inpainting can be applied to a wide range of technologies. For example, it can be used to reconstruct deteriorated images by removing scratches and dust from scanned image data, and to remove characters and mouth from digital images. It can also be used. Furthermore, it can be used for various purposes such as creation of artistic effects.
  • Morphological shrinkage calculation is an operation using a kind of nonlinear filter (morphological filter).
  • a morphological operation is to apply dilatation or erosion to image data using graphic elements (edges, contours, etc.) called “structural elements”.
  • a structuring element is a set of multiple position vectors replaced with pixels.
  • two types of processing, dilatation and erosion are basic morphological operations.
  • “Expansion” is a process of adding pixels to the boundary part of an object in the image
  • “shrinkage” is a process of removing pixels from the boundary part. If a particular region is recognized as a region to be reduced, “shrink” is used for image inpainting.
  • Morphology-shrinkage treatment is defined as:
  • Equation 1 A is an input binary image
  • B is a structural element
  • Equation 1 indicates that the binary image A is contracted by the structural element B.
  • the structural element (B) X indicates the structural element B centered on the pixel X.
  • Important in the expansion and contraction process are the structural elements used to process the input image.
  • the structuring element is a matrix consisting of only 0 and 1 and having an arbitrary configuration and size. The size of the structuring element is usually much smaller than the size of the image to be processed.
  • the central pixel of the structuring element called “origin” is the pixel of interest, that is, the pixel to be processed.
  • FIG. 2 shows a schematic diagram in which only the band-like portion having a width of one pixel is contracted in each loop of the contraction process.
  • the main advantage of this process is that unknown image areas (such as specific image areas, missing areas, etc.) are used as structuring element areas for morphological shrinkage, separated from the known image areas, and then the pixels to be repaired.
  • the narrow band (thin band-like region) can be reliably maintained.
  • image painting processing such as a defective area is again performed. It can be executed using the contraction process.
  • Figure 1 shows the process of filling such an area.
  • the structural features and texture features in the structural element 20 4 are restored in one contraction loop for the input image 2 0 1 including the missing region 2 2 (2 0 3). This shrinking loop is repeated to completely fill the defect region 20 2 and then output (2 0 5).
  • the boundary portion 3 0 1 ( ⁇ Qt) between the missing region ⁇ and the known image region is extracted, and as shown in Fig. 3, “KN0WN (known)” 3 0 2, “EDGE (boundary ) ”3 0 3,“ UNKN0WN (Unknown) ”3 04 Mark the pixel with three flags.
  • “KN0WN” 3 0 2 indicates a pixel outside the boundary portion ⁇ ⁇ ⁇ , that is, a pixel in a known image region
  • “UNKN0WN” 3 0 4 indicates the inside of the boundary portion 3 0 1, that is, the region to be repaired.
  • “EDGE” 3 0 3 is a pixel between “KN0WN” 3 0 2 and “UNKN0WN” 3 04, and indicates a pixel belonging to the defect region ⁇ . [0 0 2 2]
  • the structuring element is applied repeatedly to erode all the pixels in the boundary to be processed.
  • the pixels covered by the structural element are repaired through a structural feature and texture feature matching process described later. All repaired pixels are marked with the “KN0WNJ flag. This process is repeated until there are no more pixels marked with the“ EDGE ”flag.
  • the next pixel or next patch to be repaired is clearly identified as the area covered by the structuring element. Grainscale or color image inpainting is not complete until the range of pixels has been filled and the structural and texture features of the range have been repaired.
  • the definition of any kind of structural and texture features in grayscale or color images is shown in FIG.
  • the texture feature 40 4 is an area that is recognized as similar or nearly identical, and each pixel in that area is only a few adjacent pixel groups. Indicates gray pixel values or color pixel values in different areas that are not relevant.
  • Structural features 4 0 3 are contour lines that are boundaries between different texture regions, and each pixel is strongly associated with a plurality of pixels along the contour line.
  • known image (pixel) information can be represented by three-dimensional data.
  • the values of X and Y are the values of the plane coordinates of each pixel of the known image, and Z is a value representing the color material of the pixel (the values can be determined individually in advance). Therefore, the data of a known image composed of many pixels is a collection of three-dimensional data for each pixel there.
  • the three-dimensional data can be replaced with data representing a three-dimensional surface (curved surface) with continuity. If the specific image area (defect area to be repaired) is generated on the continuous three-dimensional curved surface, the continuity is lost only there. Therefore, the matching of the structural features and texture features of the pixels in a specific image area is achieved by outputting pixel data having continuity with pixel data of a known image as unknown pixel data of the specific image area. Do.
  • the structural features and texture features of the pixels in the specific image region are not separately extracted by separately extracting the structural features and texture features, but a structure having a predetermined number of pixels, which will be described later. It is performed integrally by the feature patch.
  • the pixel data of the specific image region can be calculated from the pixel data of the known image while maintaining the direction of the alias.
  • This algorithm can repair some structural features (regular structures such as straight contours and curves with small curvature) in both large and narrow missing areas without blurring. .
  • the structural feature patch 5 0 7 (first structural feature patch) centered on the pixel of interest 5 0 6 Gray pixel value (or color pixel value) of 5 1 0 Structure feature patch (here 7 X 7 pixel area) 5 1 1 (2nd structure feature patch) with the same or similar pixel value Search range 5 0 3 Search from left to right and from top to bottom within the known area in the peripheral area of the specific image area.
  • the target unknown pixel 5 06 it is preferable that the target unknown pixel 5 06 be one pixel.
  • the similarity between the two patches is measured using the minimum value of the SSD (sum of squared difence) of all known pixels contained in the patch. If it is found in the search range that the structural feature patch 5 1 1 centered on the known pixel 5 0 5 has the maximum similarity (minimum SSD), the unknown pixel group included in the structural element 5 0 7 5 0 The pixel value of 8 is replaced with the pixel value of the known pixel group 5 09 included in the range of the structural element 5 0 4 of the structural feature patch 5 11. In this way, one step of the inpainting process is completed. According to this method, multiple pixels (6 pixels in the example of Fig. 5) can be processed in one step of the inpainting process, and the processing speed can be increased. In addition, structural features and texture features in the known region propagate into the missing region, and at the same time a narrow band is maintained.
  • the image processing method according to the present embodiment is based on the unknown image information in the specific image area (defect area) based on the known image information in the peripheral area of the specific image area as shown in FIG.
  • This is an image processing method to be calculated.
  • an unknown pixel of interest included in the contour portion of the specific image area is identified (2 0 0 1), and a first structure feature patch having a predetermined number of pixels centered on the unknown pixel of interest is defined (2 0 0 2)
  • the pixel value of the unknown pixel group around the target unknown pixel included in the first structural feature patch is determined by the pixel value of the pixel in the corresponding arrangement in the second structural feature patch (2 0 0 4) To do. Finally, it is determined (2 0 0 5) whether or not the specific image region contains an unknown pixel of interest. If it exists, the steps 2 0 0 1, 2 0 0 2, 2 0 0 3 and 2 0 0 4 are repeated for the other unknown pixels of interest included in the contour portion to Pixel values are determined toward the inside of the specific image area. If it does not exist, the image processing ends.
  • the structural features and texture features of the specific image area are not individually identified.
  • matching of the structural feature and texture feature of the specific image region is performed together. Can be done.
  • the number of pixels of the first structural feature patch is set to, for example, 5 X 5, 7 X 7, etc.
  • the morphology shrinkage calculation is not performed for each pixel, but in units of 5 X 5 or 7 X 7 pixels.
  • the number of pixels of the first structural feature patch (second structural feature patch) is, for example, 5 ⁇ 5, 7 ⁇ 7, 9 ⁇ 9, or the like.
  • “replace” as used in the present embodiment is appropriately used except when the value of the corresponding pixel in the second structure feature patch is completely copied as the value of the unknown pixel of the first structure feature patch. It can also be calculated by adding processing (error correction, etc.).
  • a new narrow band along the boundary between the missing region and the known region is formed based on the previous narrow band.
  • image 6 0 2 as a result of performing inpainting processing on a real image (or composite image) 6 0 1 having a missing region 6 0 4 as shown in FIG. It can be seen that the accumulation phenomenon 6 0 5 can occur. In other words, if there is an error in the information in the previous narrow band for some reason, the error may propagate to the new narrow band one after another.
  • the process of repairing structural and texture features at each shrinking step is improved.
  • the center of the search range is aligned with the original boundary line from the beginning. Based on the fact that only information from the original image is reliable, only a part of the search range inside the original image is used.
  • This process is illustrated in Figure 7 and includes the following two steps: First, the center pixel 70 4 in the search range 70 3 is searched on the original boundary line closest to the unknown pixel to be processed. Then, the search range 70 3 is determined based on the center pixel 70 4. At this time, the already repaired area (original missing area) between the original boundary portion 7 0 5 and the boundary portion 7 06 after the process is removed from the search range.
  • the repair area is not added to the search range.
  • a similar structural feature patch is searched only from the hatched portion in the search range 70 3. to continue.
  • the target unknown pixel to be processed is inside the original missing area, the original missing area is not included in the range of the peripheral area where the second structural feature patch is searched.
  • the number of pixels of the first structural feature patch can be set to, for example, 5 ⁇ 5, 7 ⁇ 7, 9 ⁇ 9, or the like.
  • This algorithm is applied to the restoration of various images as shown in Fig. 8.
  • the filled area is the missing area.
  • a program based on the algorithm described in this embodiment by a computer having a clock of 1.2 GHz (C ++ ( Can be restored in 5 minutes.
  • C ++ Can be restored in 5 minutes.
  • a similar program written in Java is executed on the same computer on the same image, it can be restored in about 20 seconds.
  • Example 1 and Example 2 in Fig. 8 From the results of Example 1 and Example 2 in Fig. 8, it can be seen that this inpainting method can repair the texture and structural features by blurring them in a large and thick missing region. In Example 3 and Example 4 in Fig. 8, this method is performed on missing castles of various shapes.
  • Figure 9 shows an example of processing an image.
  • FIG. 10 shows a comparative example of processing for an image 1 0 0 1 having a missing region 1 0 0 4 with another method. According to this, it can be seen that the result 1003 of this method is of higher quality than the result 1002 of the previous method.
  • the method can maintain both isomorphic continuity by passing both texture feature information and structural feature information from the known region to the missing region. It can be seen that an image without blur can be output.
  • the inpainting process is one means for repairing a defective area of an image.
  • Most inpainting algorithms disclosed in previous literature were too complex to understand and implement.
  • This inpainting algorithm is a new algorithm that fills missing regions based on a morphological contraction process and a structural feature matching process.
  • Image information is calculated based on known image information of the peripheral area of the specific image area. Simply put, this image processing method has the following characteristics.
  • the image processing method is based on a matching algorithm for structural features and texture features, and blurs some structural features (such as contour lines or curves with small curvatures) for both large and thick missing regions. Repair without letting.
  • the texture feature information and the structure feature information of the patch are propagated to the defect area, and the continuity of the isophor is maintained, and the algorithm is executed effectively in a short time.
  • FIG. 11 shows an image processing system 1 1 0 0 that realizes the image processing method described above.
  • CPU 1 1 0 1 is a central processing unit that controls the entire image processing system.
  • ROM1 1 0 2 is a read only memory storing a basic program booted by CPU 1 1 0 1.
  • the RAM 1103 is a random access memory having a storage area for developing programs and data stored in the HD 110.04.
  • HD 1 1 04 is a hard disk.
  • the above-described image processing method is used.
  • the painting application-1 1 0 7 is provided.
  • the image painting application 1 1 0 7 has a parameter setting module 1 1 0 7 a, an image processing area setting module 1 1 0 7 b, an image processing module 1 1 0 7 c, and an image as shown in the figure. And a drawing module 1 1 0 7 d.
  • the parameter setting module 1 1 0 7 a sets various parameters according to the operation of the user.
  • the image processing area setting module 1 1 0 7 b sets an image processing area (so-called missing area) in response to a user operation or dynamically in the image to be processed.
  • the image processing module 1 1 0 7 c performs an inpainting process on the set image processing area using the data of the peripheral image area.
  • the image drawing module 1 1 0 7 d draws various images using the function of OS 1 1 0 5 according to various instructions and timing.
  • the image processing system 1 1 0 0 further inputs image data from an external image input device 1 1 1 0, outputs image data to the display 1 1 1 1, mouse or key
  • An input / output unit (I ZO) 1 1 0 8 is provided as an interface for inputting information from an input device 1 1 1 2 such as a board.
  • Figure 12 shows.
  • the user interface 1 2 0 0 in Figure 1 2 there is a command line that allows you to select four types of commands: “File”, “Inpainting”, “Extras”, and “Help”. 1 is provided.
  • “Brush” is a command that draws a missing area with a pen
  • “Shape” is a command that draws a missing area with a shape
  • “Area” is missing by dragging and surrounding it. This command draws an area.
  • “By ColorJ” is a command that selects pixels that have a common color value (or color value range) in the opened image data as a missing region at a time.
  • “ByArea” This is a command for selecting a pixel having a color value (or color value range) common to a pixel and continuing as the selected pixel as a missing region.
  • An image display area 1 2 0 3 is provided below the icon line 1 2 0 2, and the image data opened by selecting the Open command displayed by selecting the File menu or clicking the Open icon or Display video data.
  • the image display area 1 2 0 3 a plurality of image data can be virtually superimposed and displayed, and a plurality of image data once opened can be displayed by a tab displayed above. The displayed image data can be switched from the inside.
  • dialog 1 2 0 4 to set the thickness of the line when “Brush” of icon line 1 2 0 2 is selected, and the end of the line when “Brush” of icon line 1 2 0 2 is selected Shape (Square or round force setting dialog 1 2 0 5 is displayed. Below that, the color value used when “By Color” or “By Area” of the icon line 1 2 0 2 is selected.
  • the tolerance dialog 1 2 0 6 for determining the range is displayed.
  • a dialog 1 2 0 7 for selecting a figure (rectangle, circle, polygon) drawn when the “Shape” icon is selected in the icon line 1 2 0 2 is displayed.
  • a dialog 1208 is provided for setting a frame to which a mask (missing area) is copied when moving image data is opened. This makes it possible to perform inpainting processing using the same mask in multiple frames of moving image data.
  • step S 1 3 0 the CPU 1 1 0 1 running OS 1 1 0 5 and inpainting application 1 1 0 7 is displayed with the “0pen” icon in FIG.
  • the image data to be processed is read from HD 1 2004 according to the selection of and the specific operation of the image data to be opened.
  • step S 1 3 0 2 the CPU 1 1 0 1 uses the functions of the OS 1 1 0 5 and the painting application 1 1 0 7 to cooperate with each other to read the processing target image read.
  • the user interface 1 2 0 0 is rendered in the image display area 1 2 0 3.
  • step S 1 3 0 various parameter settings from the user, selection of commands or icons, and the operation of the cursor on the image displayed in the image display area 1 2 0 3
  • the processing target area (defect area) for the drawn image is determined.
  • step S 1 3 04 in-painting processing is performed on the processing target area in accordance with the selection of the “Inpainting” icon by the user.
  • step S 1 3 0 5 the images being processed and processed are drawn.
  • step S 1 3 0 6 according to an instruction from the user, it is selected whether to return to the state before the inpainting process, save, or additionally perform the inpainting process.
  • steps S 1 3 0 6 according to an instruction from the user, it is selected whether to return to the state before the inpainting process, save, or additionally perform the inpainting process.
  • step S 1 306 If the rundoj icon is selected in step S 1 306, the process returns to step S 1 3 0 to display the image before the inpainting process. Step S 1 3 0 6 When the “BrushJ”, “Shape”, “AreaJ”, “By ColorJ”, or “By AreaJ” icons are selected, the respective images after the in-painting process are selected. Then, the process returns to step S 1 303 to perform additional inpainting processing.
  • step S 1 3 0 6 if the rsavej icon “Save asj icon is selected, proceed to step S 1 3 0 7 to overwrite or newly save the image after the inpainting process. If processing is to be performed again, step S 1 3 0 8 or However, if an instruction to end the process is accepted, the application is terminated.
  • Fig. 14 shows an execution example of the painting application described with reference to Figs. 11 to 13.
  • scratches and runny nose on the child's face appear in the image 1 4 0 1 before the inpainting process.
  • An image 1 4 0 3 is generated in about 10 seconds in total. That is, the image can be corrected / processed very simply and at high speed.
  • an image comparison command is further displayed.
  • CPU 1 1 0 1 draws two images before and after the inpainting process in one image and displays the image comparison window 1 as shown in Fig. 15.
  • 5 0 1 is displayed on display 1 1 1 1.
  • 1 5 0 2 indicates an image before the inpainting process
  • 1 5 0 3 indicates an image after the inpainting process.
  • the rate of change due to the inpainting process is shown in 1 5 0 4.
  • the user can effectively confirm the image processing by the inpainting processing.
  • FIG. 16 Another example of the user interface by the painting application 1 1 0 7 according to the present embodiment is shown in FIG.
  • the user interface shown in Fig. 16 shows how the speed and image quality can be compared with the percentage bar 1 6 0 1 that displays the progress of processing in addition to the user interface shown in Fig. 12. It has a speed quality bar 1 6 0 2 to set what you want to achieve with a good balance. If you want to emphasize speed, move the ⁇ mark to the left in the figure, and if you want to emphasize image quality, move the ⁇ mark to the right in the figure. Then, the size of the search range 50 3 in FIG. 5, the structural feature patches 5 0 7 and 5 1 1, and the structural element 5 0 4 may be determined according to the position of this ⁇ .
  • a software program for realizing the functions of the above-described embodiments can be mentioned. This is because the same result can be obtained even if the system or device computer reads and executes the program supplied directly or remotely.
  • the program form may be any object code, program executed by an interpreter, script data supplied to the OS, etc. as long as it has program functions.
  • floppy (registered trademark) disk C Recording of hard disk, optical disk, magneto-optical disk, M0, CD-ROM, CD—R, CD—RW, magnetic tape, nonvolatile memory card, R0M, DVD (DVD-RO M, DVD-R), etc.
  • Programs stored on a medium are also included in the scope of the present invention.
  • a program downloaded from the Internet site or a program file stored on a server computer so as to be downloadable is also included in the scope of the present invention.
  • an image processing apparatus and an image processing application for example, an object for image processing, an object for image restoration, and an object for image synthesis. Specifically, it is used for processing that erases a person from an image that contains a person, processing that replaces the person with another character image, and composition processing of a person image and a background image (to make the boundary portion look natural). And high quality results can be obtained very quickly.

Abstract

　本発明の画像処理方法は、特定画像領城における未知の画像情報を、前記特定画像領城の周辺領域の既知の画像情報に基づいて算出する画像処理方法である。まず、特定画像領域の輪郭部分に含まれる注目未知画素を中心とする所定の画素数を有する第１構造特徴パッチを定義し、第１構造特徴パッチに含まれる既知画素の画素値の配置と類似した画素値の配置を有し、同じ画素数を持つ第２構造特徴パッチを、特定画像領域の前記周辺領城の既知領域において検索する。第１構造特徴パッチの前記注目未知画素の値を、前記第２構造特徴パッチで対応する配置にある画素の画素値で決定する。このように輪郭部分において注目未知画素の画素値を決定することにより、特定画像領域の外縁の画素から内側に向かって画素値を決定していくことを特徴とする。

Description

明細書 画像処理方法、 画像処理装置及び画像処理プログラム並びに記憶媒体 技術分野
[ 0 0 0 1 ]
本発明は、 画像処理方法、 画像処理装置及び画像処理プログラム並びに記憶媒体 に関する。 背景技術
[ 0 0 0 2]
従来から、 イメージインペインティング（Image inpainting)という技術が知られ ている。 非特許文献 1乃至 3に開示されているように、 Bertalmio らが開発した B S C Bィンペインティングァルゴリズムが、 2 0 0 0年〜 2 0 0 1年に発表されて から、 イメージインペインティングは、 大きな注目を集め、 多くのイメージインぺ インティングメソッ ドが新たに開発されてきた。 それらのィメージィンペインティ ングァルゴリズムは、 図 1 7に示すように、 大きく 2つのグループ （1 7 0 1、 1 7 0 2 ) に分類することができる。 第 1のグループ 1 7 0 1は、 小さな或いは細長 いギャップを埋めるための 「補完方法 （interpolation method) 」 であり、 第 2の グループ 1 Ί 0 2は、大きな欠損領域を埋めるための「テクスチャ合成方法（texture synthesis method) J である。
[ 0 0 0 3 ]
また、 従来の多くのイメージインペインティングメソッ ドは、 第 1のグループ 1 7 0 1に属している。 B S B Cモデルでは、 画像の平滑度情報がラプラシアン画像 によって推定され、 ァイソフォ ト （等しい明度を持つ線又は表面、 図 1 8の 1 8 0 1 ) 方向に沿って、 欠損領域 （ 1 8 0 2) に対し、 伝搬する （ 1 8 0 3) 。 非特許 文献 4に記載された全変動 （T V： Total Variational) モデル及び非特許文献 5に 記載された曲率駆動拡散 （CD D : Curvature-Driven Diffusion) モデルは、 異方 性拡散方程式に加えてオイラー · ラグランジュ方程式を用いることによってアイソ フォ トの方向を維持させる。 これら全ての方法は、 基本的に、 ァイソフォ トの方向 を維持しょうとする様々なヒューリスティックス （思考モデル） に従って、 欠損領 域内への色の伝搬を示す偏微分方程式 （P D E : Partial Differential Equation) を解く ものである。
[先行技術文献] ' [非特許文献]
[ 0 0 0 4]
非特許文献 1 ： Bertalmio M, Sapiro G, Caselles V, Ballester C, "Image inpainting" , Proc. of the ACM SIGGRAPH 2000, New Orleans, 2000, pp.417-424 非特許文献 2 ： Bertalmio M， Bertozzi AL, Sapiro G. Navier - Stokes, "fluid dynamics, and image and video inpainting , Proc. Of the IEEE Int' 1 Conf . on Computer Vision and Pattern Recognition, Volume I. Hawaii, 2001, pp.355—362 非特 F文献 3 ： C. Ballester, M. Bertalmio, V. Caselles, G. Sapiro, J. Verdera, "Filling - In by Joint Interpolation of Vector Fields and Gray Levels" , IEEE Transactions on Signal Processing, 10 (8) , 2001, pp.1200-1211
非特許文献 4 ： T. Chan, J. Shen, "Mathematical Models for Local Deterministic Inpaintings , Technical Report CAM 00 - 11， Image Processing Research Group, UCLA, 2000
非特許文献 5 ： T. Chan, J. Shen, "Non-Texture Inpainting by Curvature Driven Diffusions (CDD) , Technical Report CAM 00 - 35， Image Processing Research Group, UCLA, 2000
非特許文献 6 ： Alexandru Telea, 'An Image Inpainting Technique Based on the Fast Marching Method" , Journal of Graphics Tools, 9(1), 2004, pp.25 - 36 非特許文献 7 ： A. A. Efros, T. K. Leung, ι exture Synthesis by Nonparametric Sampling" , In IEEE International Conf . on Computer Vision, volume 2, 1999, 1033 - 1038
非特許文献 8 ： L. -Y. Wei, M. Levoy, Fast Texture Synthesis Using
Tree-Structured Vector Quantization , Computer Graphics (SIGGRAPH 2000 Conf. Proc.), 2000, pp. 479-488
非特許文献 9 ： Peng Tang, "Application of Non-parametric Texture Synthesis to Image Inpainting" , M. S. , Computer Science, University of New Mexico, 2004 非特許文献 1 0 ： Antonio Criminisi, Patrick Perez, Kentaro Toyama, Object Removal by Exemplar-based Inpainting (PDF) Jun" , WI Proc. IEEE Computer Vision and Pattern Recognition, 2003 (2) , pp. 721-728
被特許文献 1 1 ： Hitostii Yamauchi, Jorg Haber, Hans-Peter Seidel, "Image
Restoration using Multiresolution Texture Synthesis and Image Inpainting" ，
Proc. Computer Graphics International (CGI) 2003, pp. 120 - 125
非特許文献 1 2 ： H. Grossauer, A Combined PDE and Texture Synthesis Approach to Inpainting , European Conference on Computer Vision, LNCS 3022, 2004, pp.
214-224
[ 0 0 0 5 ]
上述の非特許文献 1乃至 5に登場する P D Eベースのアルゴリズムの複雑さを抜 きにすれば、 その主な問題は、 ァイソフォ トの推定及びその情報の伝搬が、 両方と も数値の拡散の影響を受けてしまう点にある。 解くべき P D Eを安定化させる拡散 であれば好ましいが、 修復しょう とする領域が 「ボケ」 てしまうことは避けられな い （図 1 9 ) 。 非特許文献 6にて論じられた FMM (Fast Marching Method) モデ ルは、 非特許文献 1及び 2の B S B Cモデルと同様に、 画像の階調変化に従って画 像平滑度を伝搬する。 しかしながら、 この画像平滑度は、 修復すべき画素に近接し た既知の画像における加重平均値に基づいて ¾かれるので、 この方法も、やはり 「ボ ケ」 を発生させてしまう。 細く長い欠損領域の修正においては目立たないかもしれ ない （図 1 9の 1 9 0 1 ) 力';、 大きく太い欠損領域の修正においては、 そのような 「ボケ」 は許容できない （図 1 9の 1 9 0 2 ) 。
[ 0 0 0 6 ] これに対し、 従来から、 様々な研究者が、 大きく太い欠損領域を埋める方法とし て、 テクスチャ合成インペインティングについて研究を行なってきた (非特許文献 7乃至 1 0 ) 。 テクスチャ合成は、 「ピュアな」 テクスチャ、 つまり、 モデレ一 1、 な確率変動を有する 2次元テクスチャパターンの繰り返し、 を用いて大きな画像領 域を埋めるのに適している。異なる領域がそのようなテクスチャを有すると、常に、 近似した （同一性の高い） ものとして認識される。 多くのリアル画像及び合成画像 においては、 欠損領域は、 リニアなス トラクチャ一と混合テクスチャ (多くのリア ル画像及び合成画像において空間的に相互作用する複数のテクスチャ） から構成さ れる。 従来のテクスチャ合成技術の中には、 事例ベース （exemplar-based) 技術の ように、 ソースから色値をサンプリングしてコピーすることにより、 安価かつ効果 的に新しいテクスチャを生成する技術もあるが、 このようなテクスチャ合成技術で は、 上述のような領域を埋めることは困難であり、 混合テクスチャに対してなすす ベがない。 一方、 非特許文献 1 1、 1 2に示すように、 近年では補完法
( interpo lat i on)とテクスチャ合成とを組み合わせた方法も提案されてきている力 S、 (データ値の） 補完には時間がかかるため、 処理スピードが非常に遅くなる。
発明の開示
発明が解決しょうとする課題
[ 0 0 0 7 ]
このように、 従来は、 イメージインペインティングよって、 大きな欠損領域を修 復することは困難であった。 具体的には、 以下の 2つの主な懸念事項が存在してい た。 つまり、 （ 1 ) 既知のパッチのテクスチャ特徴情報及び構造特徴情報を欠損領 域に伝搬しつつアイソフォ トの連続性を維持するにはどうすればよいのカ そして、 ( 2 )短時間に効果的にアルゴリズムを実行するにはどうすればよいの力 、である。
[ 0 0 0 8 ]
本発明は、上記従来技術を踏まえ、ィメージィンペインティング技術を用いつつ、 高速且つ効果的に画像を処理し、 高品質の画像処理結果を得る。
[課題を解決するための手段]
[ 0 0 0 9 ]
本発明は、 特定画像領域における未知の画像情報を、 前記特定画像領域の周辺領 域の既知の画像情報に基づいて算出する画像処理方法である。 その特徴は、 前記特 定画像領域の輪郭部分に含まれる注目未知画素を中心とする所定の画素数を有する 第 1構造特徴パツチを定義し、 前記第 1構造特徴パツチに含まれる既知画素の画素 値の配置と類似した画素値の配置を有し、同じ画素数を持つ第 2構造特徴パッチを、 前記特定画像領域の前記周辺領域の既知領域において検索する検索ステップと、 前 記第 1構造特徴パッチに含まれる前記注目未知画素の画素値を、 第 2構造特徴パッ チにおいて対応する配置にある画素の画素値で決定する画素値決定ステツプと、 を 前記輪郭部分に含まれる別の前記注目未知画素に対して繰り返すことにより、 前記 輪郭部分から前記特定画像領域の内側に向かつて画素値を決定していく ことである。
[ 0 0 1 0 ]
発明の効果
本発明は、 イメージインペインティング技術を用いつつ、 高速且つ効果的に画像 を処理することができ、 高品質の画像処理結果を得ることができる。 図面の簡単な説明
[0 0 1 1]
[図 1] 本発明の実施形態に係る画像処理の一例を示す図である。
[図 2 ] 本発明の実施形態に係る画像処理の基礎理論を説明するための図である。
[図 3 ] 本発明の実施形態に係る処理対象画素を示す図である。
[図 4 ] 本発明の実施形態に係る画像処理方法に用いられる構造特徴とテクスチ ャ特徴を例示する図である。
[図 5] 本発明の実施形態に係る画像処理方法における、 構造特徴の伝搬を示す 図である。
[図 6] 本発明の実施形態 ίこ係る画像処理方法による、 エラー蓄積回避の様子を 示す図である。
[図 7] 本発明の実施形態 ίこ係る画像処理方法による、 エラー蓄積回避の方法を 示す図である。
[図 8] 本発明の実施形態 ίこ係る画像処理方法による、 様々な画像処理結果の例 を示す図である。
[図 9] 本発明の実施形態 ίこ係る画像処理方法による、 画像処理結果の一例を示 す図である。
[図 1 0] 本発明の実施形態に係る画像処理方法による画像処理結果と、 過去の 画像処理方法による画像処理結果の比較例を示す図である。
[図 1 1] 本発明の実施形態に係る画像処理方法を実現するシステムの一例を示 す図である。
[図 1 2] 本発明の実施形態に係る画像処理方法を実現するアプリケーショ ンの ユーザィンタフェースの一例を示す図である。
[図 1 3] 本発明の実施形態に係る画像処理方法を実現するアプリケーションの 処理の流れを説明するフローチヤ一トである。
[図 1 4] 本発明の実施形態に係る画像処理方法を実現するアプリケーションの 実行結果例を示す図である。
[図 1 5] 本発明の実施形態に係る画像処理方法を実現するアプリケーションの 実行結果例を示す図である。
[図 1 6] 本発明の実施形態に係る画像処理方法を実現するアプリケーションの ユーザィンタフェースの他の例を示す図である。
[図 1 7] イメージインペインティング技術について説明する図である。
[図 1 8] アイソフォ トの連続性の維持について説明する図である。
[図 1 9] 従来の画像処理結果を示す図である。
[発明を実施するための形態]
[0 0 1 2]
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。 ただし、 以下の実施の形態に記載されている構成要素はあくまで例示であり、 本発 明の技術範囲をそれらのみに限定する趣旨のものではない。
[0 0 1 3]
1. 概要 本発明の実施形態としての画像処理方法は、 画像において特定画像領域を、 その 周辺領域の既知の画像情報を用いて埋め、 完全かつ自然に見える画像を生成するも のである。 以下の説明では、 「欠損領域」 や 「未知の画像領域」 という表現が用い られているが、 これは 「損傷を受けた画像領域」 や 「情報のない画像領域」 を示す のだけではなく、 周辺領域の画像情報を用いて埋めよう とするあらゆる領域を意味 し、 本発明でいう 「特定画像領域」 である。 つまり、 処理前から何ら情報が欠落し ていない領域であっても、 ユーザによって作為的に特定された処理対象領域は 「欠 損領域」 （ 「特定画像領域」 ） の概念に含まれるものとする。
[ 0 0 1 4
イメージインペインティングは、 画像において欠損領域を修復し、 修復後の画像 が、 完全かつ自然に見えるようにするための 1つの手段であり、 本実施形態に係る 画像処理方法では、 新しいイメージインペインティングアルゴリズムを提案し利用 する。 本実施形態で提案する新しい画像処理アルゴリズムによれば、 モルフォロジ 一収縮演算及びス トラクチャ一特性の複製によって、特定画像領域の処理を行なう。 構造特徴及びテクスチャ特徴マッチングアルゴリズムに基づく方法によれば、 周辺 領域のパッチのテクスチャ特徴情報と構造特徴情報の両方を、 特定画像領域に伝搬 (propagate) させることによって、 ァイソフォ ト （i sophote) の連続性を維持する ことができる。 結果と して、 完全かつ自然に見え、 ぼやけていない画像を出力する ことが可能となる。 モルフォロジ一収縮によって領域を埋める方法によれば、 各ィ ンペインティングステップにおいて、 1画素のみならず複数の画素をまとめて処理 することができるので、 従来の多くのテクスチヤ合成ィンペインティングアルゴリ ズムょり も高速に処理を行なうことができる。 イメージインペインティングを適用 できる技術範囲は広く、 例えば、 スキャンした画像データ上の傷やゴミを取り除く ことによる劣化した画像の再構築にも利用できるし、 デジタル画像から文字や口ゴ の除去するために利用することもできる。 更には、 芸術的効果の創作などの様々な 目的にも利用可能である。
[ 0 0 1 5 ]
2 . モルフォロジー収縮処理に基づくィメージィンペインティング
2 . 1 モルフォロジ一収縮処理
モルフォロジー収縮演算とは、 非線形フィルタの一種（モルフォロジ一フィルタ） を用いた演算である。 モルフォロジ一演算とは、 「構造要素（structural el ement)」 と呼ばれる図形要素（ェッジ、輪郭など）を利用して、画像データに拡張（Di lat ion)、 収縮 （Eros ion) を施すことをいう。 構造要素とは、 複数の位置べク トルの集合を画 素に置き換えたものである。 つまり、 拡張（Di lat i on)及び収縮（Eros ion)の 2種類の 処理が、 基本的なモルフォロジ一カル動作である。 「拡張」 は、 画像中のオブジェ タ トの境界部分に画素を追加する処理であり、 「収縮」 は、 その境界部分から画素 を取り除く処理である。特定の領域が、小さくなるべき領域として認識される場合、 「収縮」 をイメージインペインティングに用いる。
[ 0 0 1 6 ]
モルフォロジ一収縮処理は、 下の式のよ うに定義される。
[数 1 ] ΑΘΒ = {x e A \ (B)x C A}. (数式 1 ) [0 0 1 7]
上記数式 1において、 Aは入力二値画像であり、 Bは構造要素であって、 数式 1 は、二値画像 Aが構造要素 Bによって収縮されることを示している。構造要素（B)X は、画素 Xを中心とする構造要素 Bを示す。拡張及び収縮処理において重要なのは、 入力画像を処理するために用いられる構造要素である。 構造要素は、 0と 1のみか らなり任意の構成及びサイズを持つマトリクスである。構造要素のサイズは、通常、 処理すべき画像のサイズよりもずっと小さい。 「オリジン（origin)」 と呼ばれる構 造要素の中心画素は、 注目未知画素、 つまり処理すべき画素である。
[0 0 1 8]
2. 2 領域充填アルゴリズム '
図 2を用いて、 2値画像のィメージィンペインティング収縮処理について説明す る。 ここでは、 構造要素の領域を表す画素が 1 (理論値） で定義されている。 図 2 において、 構造要素 1 0 1は、 オリジン 1 0 2を中心とする 3 X 3画素のマトリク スであり、 構造要素 1 0 1に含まれる全ての画素の値は 1 となっている。 これによ り図 2では、 1画素幅の帯状部分のみが、 収縮処理の各ループにおいて収縮される 模式を示している。
[0 0 1 9]
この処理の主な利点は、 （特定画像領域、 欠損領域等の） 未知の画像領域をモル フォロジー収縮処理で用いる構造要素の領域とし、 既知の画像領域から切り離し、 次に修復すべき画素を示すナローバンド （細い帯状領域） を確実に維持できること にある。 一方、 グレースケール画像又はカラ一画像においても、 隣接画素の情報に 基づいて未知の画素のグレー情報又はカラー情報を復元可能な場合には、 やはり、 欠損領域等のィメージィンペインティング処理を、 収縮処理を利用して実行するこ とができる。 このような領域を埋める処理を、 図 1に示す。 図 1において、 欠損領 域 2 ◦ 2を含む入力画像 2 0 1に対し、 1つの収縮ループにおいて、 構造要素 2 0 4における構造特徴及びテクスチャ特徴を修復する （ 2 0 3 ) 。 これの収縮ループ を繰り返して、 欠損領域 2 0 2を完全に埋めた後、 出力する （ 2 0 5 ) 。
[ 0 0 2 0]
簡単に言えば、 欠損領域 2 0 2を修復するために、 1つの構造要素 204を繰り 返し適用し、 結果として、 処理対象の境界部分 δ Ωΐの不明瞭な（discrete)画素を 全て収縮させ、 修復する。 δ Ωΐ:は、 時間 t (t=0, 1， ·'·，Τ, ···) のタイ ミングでの境 界部分を示し、 δ Ω0は初期境界部分である。 そして、全体領域が修復されるまで、 領域 Ω の内側に向かって境界部分は移動していく。
[ 0 0 2 1 ]
ここで、 インペインティングアルゴリズムの 1ループについて説明する。 時間 t において、 欠損領域 Ω と既知の画像領域との間の境界部分 3 0 1 ( δ Qt) を抽出 し、図 3に示すように、 「KN0WN (既知）」 3 0 2、 「EDGE (境界）」 3 0 3、 「UNKN0WN (未 知）」 3 04という、 3つのフラグで、 画素をマークする。 ここで、 「KN0WN」 3 0 2は、 境界部分 δ Ωΐの外側、 つまり既知の画像領域の画素を示し、 「UNKN0WN」 3 0 4は、 境界部分 3 0 1の内側、 つまり修復すべき領域の画素を示し、 「EDGE」 3 0 3は、 「KN0WN」 3 0 2と 「UNKN0WN」 3 04との間の画素であって、 欠損領域 Ω に属する画素を示す。 [ 0 0 2 2 ]
構造要素は、処理対象となる境界部分のそれぞれの画素を全て収縮（erode)するた めに繰り返し適用される。 この収縮処理の各ステップでは、 構造要素によってカバ 一された画素が、 後述する構造特徴及びテクスチャ特徴マツチング処理を経て修復 される。 修復された全ての画素は、 「KN0WNJ のフラグでマークされる。 「EDGE」 の フラグでマークされた画素が無くなるまでこの処理は繰り返し行なわれる。
1つの収縮ループが終了すると、 1つのレイヤーの画素が修復される。 そして、 「UNKN0WN」 のフラグでマークされた画素が無くなるまで、 このループ処理は繰り返 される。
各領域充填ループの各収縮ステップでは、 修復すべき次の画素或いは次のパッチ は、 構造要素によってカバ一された範囲として明確に特定される。 その範囲の画素 が充填され、 その範囲の構造特徴及びテクスチャ特徴が修復されるまで、 グレース ケール画像又はカラー画像のィンペインティング処理は完了しない。
[ 0 0 2 3 ]
2 . 3 各収縮ステップにおける構造特徴及びテクスチャ特徴の修復 ほぼ全ての P D Eベ一スのィンペインティング方法は、 ボケを回避することはで きず、 ボケが目立たない長くて細い欠損領域についてのみ効果的であるということ がよく知られている。一方、大きく太い欠損領域については、ボケは許容されない。 ボケることなく構造特徵及びテクスチャ特徴が修復された場合のみ、 完全かつ自然 に見える画像を実現することができる。 本発明では、 グレースケール又はカラー画 像において、 どの種の構造特徴及びテクスチャ特徴について図 4にその定義が示さ れている。 処理対象画像 4 0 1の部分拡大画像 4 ◦ 2において、 テクスチヤ特徴 4 0 4は、 類似或いはほぼ同一に認識される領域であって、 その領域中の各画素は少 しの隣接画素群にしか関連しないような、 異なる領域のグレー画素値又はカラー画 素値を示す。 構造特徴 4 0 3は、 異なるテクスチャ領域の境となる輪郭線であり、 各画素は、 その輪郭線に沿った複数の画素と強く関連している。
[ 0 0 2 4 ]
また、 本発明では、 既知の画像 （画素） 情報を三次元のデータであらわすことが できる。 X及び Yの値はその既知の画像の各々画素の平面座標の値であり、 Zはそ の画素の色材等を表す値 （その値は予め個別で決めておく ことができる） である。 したがって、 多くの画素で構成した既知の画像のデータは、 そこにある各々の画素 の三次元のデータで集まりである。 その三次元データでは、 連続性の持つ三次元の 面 （曲面） を表すデータに匱き換えることができる。 その連続性のある三次元の曲 面において、 前記特定画像領域 （修復すべき欠損領域） が生じると、 そこだけは前 記連続性を失うことになる。 そこで、 特定画像領域にある画素の構造特微及びテク スチヤ特徴のマツチングは、 既知の画像の画素データと連続性を有する画素データ を特定画像領域の未知画素のデータと して^出することで行う。
[ 0 0 2 5 ]
よって、 本発明は、 特定画像領域にある画素の構造特徴及びテクスチャ特徴のマ ッチングは当該構造特徴及びテクスチャ特徴を個別に取り出して別々で行うのでは なく、後述する、所定の画素数を有する構造特徴パツチにより一体的に行っている。 また、 本発明では、 既知の画像の画素データからァイソフォ トの方向を維持した、 前記特定画像領域の画素データを算出することができる。
次に図 5を用いて、 構造特徴及びテクスチャ特徴マッチングアルゴリズムについ て説明する。 このアルゴリズムは、 大きく太い欠損領域についても、 細長い欠損領 域についても、 いくつかの構造特徴 （直線的な輪郭線や小さな曲率を有するカーブ といった普通の構造） を、 ボケを発生させることなく修復できる。
[ 0 0 2 6 ]
欠損領域 5 1 2を含む処理対象画像 5 0 1の一部 5 0 2を拡大した場合、 前記注 目未知画素 5 0 6を中心とする構造特徴パッチ 5 0 7 (第 1構造特徴パッチ） 内の グレー画素値 （又はカラー画素値） 5 1 0と同じ或いは類似の画素値を有する構造 特徴パッチ （ここでは 7 X 7画素領域） 5 1 1 (第 2構造特徴パッチ） を、 サーチ 範囲 5 0 3 (特定画像領域の周辺領域の既知領域） の内部において左から右へ、 上 から下へ向かって検索する。 ここで、 本発明において、 前記注目未知画素 5 0 6を 一画素とすることが好ましい。
[ 0 0 2 7 ]
2つのパッチの類似性は、 そこに含まれる全ての既知画素の S S D ( Sum of Squared Di f f erenc e：輝度差の二乗和） の最小値を用いて測定される。 検索範囲に おいて、 既知画素 5 0 5を中心とする構造特徴パッチ 5 1 1が最大の類似性 （最小 S S D ) を有することが分かれば、 構造要素 5 0 7に含まれる未知画素群 5 0 8の 画素値は、 構造特徴パッチ 5 1 1の構造要素 5 0 4の範囲に含まれる既知画素群 5 0 9の画素値によって置き換えられる。 このようにして、 インペインティング処理 の 1ステップが完了する。 この方法によれば、 インペインティング処理の 1ステツ プで複数画素（図 5の例では 6画素） を処理することができ、処理を高速化できる。 また、 既知領域の構造特徴及ぴテクスチャ特徴が欠損領域内に伝搬し、 同時にナロ 一バンドが維持される。
[ 0 0 2 8 ]
このように、 本実施形態に係る画像処理方法は、 図 2 0のように、 特定画像領域 (欠損領域） における未知の画像情報を該特定画像領域の周辺領域の既知の画像情 報に基づいて算出する画像処理方法である。 まず、 前記特定画像領域の輪郭部分に 含まれる注目未知画素を特定 （ 2 0 0 1 ) し、 前記注目未知画素を中心とする所定 の画素数を有する第 1構造特徴パッチを定義 （ 2 0 0 2 ) する。 そして、 前記第 1 構造特徴パツチに含まれる既知画素の画素値の配置と類似した画素値の配置を有し、 同じ画素数を持つ第 2構造特徴パッチを、 前記特定画像領域の周辺領域の既知領域 において検索 （ 2 0 0 3 ) する。 次いで前記第 1構造特徴パッチに含まれる前記注 目未知画素の周囲にある未知画素群の画素値を、 第 2構造特徴パッチにおいて対応 する配置にある画素の画素値で決定 （2 0 0 4 ) する。 最後に、 前記特定画像領城 に注目未知画素が含まれているか否かと判断 （ 2 0 0 5 ) する。 存在するなら、 前 記輪郭部分に含まれる別の前記注目未知画素に対して 2 0 0 1、 2 0 0 2、 2 0 0 3及び 2 0 0 4のステップを繰り返すことにより、 前記輪郭部分から前記特定画像 領域の内側に向かって画素値を決定していく。 存在しないなら、 画像処理を終了す る。
[ 0 0 2 9 ] また、 本実施形態によれば、 特定画像領域の構造特徴及びテクスチャ特徴を個別 に識別しない。 前記第 1構造特徴パッチの未知画素の値を第 2構造特徴パッチにお いて対応する配置の画素の値を置き換える （複製する） ことによって、 特定画像領 域の構造特徴及びテクスチャ特徴のマッチングを一緒に行うことができる。さらに、 第 1構造特徴パッチの画素数をたとえば、 5 X 5、 7 X 7等とすることで、 前記モ ルフォロジー収縮演算は 1画素ずつではなく、 5 X 5又は 7 X 7画素を単位として 前記特定画像領域の輪郭に沿つて収縮していき、 特定画像領域の未知画素の処理の 高速化を可能にすることができる。 本発明では、 第 1構造特徴パッチ （第 2構造特 徴パッチ） の画素数をたとえば、 5 X 5、 7 X 7または 9 X 9等とすることが好ま しい。
また、 本実施形態でいう、 「置き換える」 とは、 第 2構造特徴パッチにおいて対 応する配置の画素の値を完全に第 1構造特徴パッチの未知画素の値として複製する 場合以外に、 適宜に加工 （エラー修正等） を加えて算出することもできる。
[ 0 0 3 0 ]
2 . 4 改良点の詳細
2 . 4 . 1 エラー蓄積回避方法
本方法では、 境界部分に沿ったインペインティングの 1ループの後で、 欠損領域 と既知領域との間の境界部分に沿った新しいナローバンドが前のナローバンドに基 づいて形成される。 この場合、 例えば、 図 6のように、 欠損領域 6 0 4を有するリ アル画像 （又は合成画像） 6 0 1に対し、 インペインティング処理を施した結果、 画像 6 0 2に示すようにエラー蓄積現象 6 0 5が起こり うることが分かる。 すなわ ち、 なんらかの理由で以前のナローバンドにおける情報に誤りがあった場合、 次々 と新しいナローバンドにその誤りが伝搬する可能性がある。
[ 0 0 3 1 ]
この問題を解決するため、 各収縮ステップにおける構造特徴及びテクスチャ特徴 の修復処理を改良する。 すなわち、 サーチ範囲の中心を、 始めからずっとオリジナ ルの境界線に合わせる。 そして、 オリジナル画像からの情報しか信頼性がないとい う事実に基づき、オリジナル画像の内部にあるサーチ範囲の一部のみが用いられる。 この処理は、 図 7に示されており、 次の 2つのステップを含む。 まず、 サーチ範囲 7 0 3の中心画素 7 0 4を、 処理しよう とする未知画素に最も近いオリジナルの境 界線上で検索する。 そして、 そのサーチ範囲 7 0 3を、 その中心画素 7 0 4に基づ いて決定する。 この時、 オリジナルの境界部分 7 0 5 と処理進行後の境界部分 7 0 6の間にある、 既に修復された領域 （オリジナルの欠損領域） をサーチ範囲から排 除する。つまり、ィンペインティング処理が進んで、輪郭部分が内側に移動しても、 修復領域をサーチ範囲に加えず、 例えばサーチ範囲 7 0 3内の斜線部分のみから類 似した構造特徴パッチを探し続ける。 言い換えれば、 処理対象となる注目未知画素 がォリジナルの欠損領域の内側になっても、 第 2構造特徴パッチを検索する周辺領 域の範囲には、 オリジナルの欠損領域を含めない。 この方法により、 エラー蓄積現 象を避けることができる （図 6の画像 6 0 3 ) 。
[ 0 0 3 2 ]
2 . 4 . 2 インペインティング処理の髙速化方法 図 2に示された 2値画像の収縮処理では、 各収縮ステップにおいて、 一層の画素 のみが収縮される。 しかし、 ここには、 少なく とも以下の 2つの問題 （1 ) 、 （ 2 ) がある。 隣接画素間の相互関係を無視すること、 及び、 収縮ループの各ステップに おいて、 1つの画素のみを修復することは、 （ 1 ) 最適解とは言えず、 完全に分析 されきれていない情報を含み、 （2 ) 修復スピードを低速化してしまう。
[ 0 0 3 3 ]
そこで、 図 1や図 5に示したように各収縮ステップにおいて構造特徴及びテクス チヤ特徴の修復処理を行なえば、 各インペインティングステップにおいて、 1画素 のみならず複数画素を修復できるので、 従来のテクスチャ合成インペインティング アルゴリズムに比べて処理は高速になり、 同時に、 情報の信頼性を示すナローバン ドも維持される。 具体的には、 前記のように、 本発明では、 第 1構造特徴パッチ （第 2構造特徴パッチ） の画素数をたとえば、 5 X 5、 7 X 7または 9 X 9等とするこ とができる。
[ 0 0 3 4 ]
3 . 実験結果
本アルゴリズムは、 図 8に示すように様々な画像の修復に適用される。 画像中、 塗りつぶされた領域が欠損領域である。 8 0 0 X 6 0 0画素のカラー画像の 1 8 % の画素を修復しょう とする場合、 クロックが 1 . 2 G H zのコンピュータによって 本実施形態で説明してきたアルゴリズムに基づくプログラム （C + + (登録商標） で書かれたもの） を実行すると、 5分で修復できる。 一方同様の画像に対して同様 のコンピュータで Javaで書かれた同様のプ口グラムを実行すると、約 2 0秒で修復 できる。
[ 0 0 3 5 ]
図 8の例 1、 例 2の結果を見れば、 本インペインティングメソッ ドが、 大きく太 い欠損領域においてテクスチャ特徴と構造特徴をボケ為しに修復できることが分か る。 図 8の例 3、 例 4では、 本方法を、 様々な形状の欠損領城に対して実行してい る。 図 9には、 画像を加工する例を示している。 図 1 0には、 欠損領域 1 0 0 4を 有する画像 1 0 0 1に対する処理について、 他の方法との比較例を示している。 こ れによれば、 本方法の結果 1 0 0 3が、 従前の方法の結果 1 0 0 2に比べて高品質 であることがわかる。
[ 0 0 3 6 ]
これらの例を見れば、 本方法が、 テクスチャ特徴情報と構造特徴情報の両方を、 既知領域から欠損領域へ受け渡すことにより、 アイソフォ トの連続性を維持するこ とができ、 完全且つ自然な、 ボケの無い画像を出力できることが分かる。
[ 0 0 3 7 ]
4 . 結論
インペインティング処理とは、 画像の欠損領域を修復する一つの手段である。 過 去の文献に開示された大部分のィンペインティングアルゴリズムは、 理解及び実行 するには複雑すぎた。 本インペインティングアルゴリズムは、 モルフォロジ一収縮 処理及び構造特徴のマッチング処理に基づいて欠損領域を充填する新しいアルゴリ ズムである。 言い換えれば、 モルフォロジ一収縮処理と、 構造特徴及びテクスチャ 特徴のマツチング処理と組み合わせることにより、 特定画像領域における未知の画 像情報を、 該特定画像領域の周辺領域の既知の画像情報に基づいて算出する。 簡単 に言えば、 本画像処理方法は、 以下の特徴を有する。
[ 00 3 8]
(1 ) 画像処理方法は、 構造特徴及びテクスチャ特徴のマッチングアルゴリズム に基づき、 大きく太い欠損領域又は細長い欠損領域の両方について、 いくつかの構 造特徴（輪郭線又は小さな曲率を持つカーブなど）をぼけさせることなく修復する。
[ 0 0 3 9]
(2) モルフォロジ一収縮処理に基づく画像処理方法により、 各インペインティ ングステップにおいて、 単一の画素ではなく複数画素を修復する。 これにより、 従 来の多くのテクスチャ合成ィンペインティングアルゴリズムに比べて、 高速に処理 を行なうことが可能である。
[00 4 0]
これにより、 パッチのテクスチャ特徴情報及び構造特徴情報を欠損領域に伝搬し つつアイソフォ トの連続性を維持し、 かつ、 短時間に効果的にアルゴリズムを実行 する。
[ 00 4 1 ]
5. 画像処理システム
5. 1 ハードウェア構成
図 1 1に、 上述してきた画像処理方法を実現する画像処理システム 1 1 0 0を示 す。 C PU 1 1 0 1は画像処理システム全体を制御する中央処理ュニッ トである。 ROM1 1 0 2は、 C PU 1 1 0 1によってブー卜される基本プログラムを格納し たリードオンリ一メモリである。 RAM 1 1 0 3は、 HD 1 1 0 4に格納されたプ 口グラムやデータを展開するための記憶領域を有するランダムアクセスメモリであ る。 HD 1 1 04は、 ハードディスクであり、 本実施形態の画像処理システムにお いては、 O S (オペレーショ ンシステム） 1 1 0 5や、画像データ 1 1 0 6の他に、 上述した画像処理方法を実行するプログラムとして、 ィンペインティングアプリケ —シヨ ン 1 1 0 7を備えている。
[ 0 0 4 2]
ィンペインティングアプリケーション 1 1 0 7は、 図のように、 パラメータ設定 モジュール 1 1 0 7 a と、 画像処理領域設定モジュール 1 1 0 7 b と、 画像処理モ ジュール 1 1 0 7 c と、 画像描画モジュール 1 1 0 7 dとを備える。 このうち、 パ ラメータ設定モジュール 1 1 0 7 aは、 ュ一ザの操作に応じて各種のパラメータを 設定する。 また、 画像処理領域設定モジュール 1 1 0 7 bは、 処理対象となる画像 において、 ユーザの操作に応じて或いは g動的に画像処理領域（いわゆる欠損領域） を設定する。 更に、 画像処理モジュール 1 1 0 7 cは、 設定された画像処理領域に 対して、周辺画像領域のデータを用いてィンペインティング処理を行なう。そして、 画像描画モジュール 1 1 0 7 dは、 各種の指示やタイミングに応じて、 O S 1 1 0 5の機能を利用して様々な画像を描画する。
[00 4 3]
本画像処理システム 1 1 0 0は更に、 外部の画像入力装置 1 1 1 0から画像デー タを入力したり、 ディスプレイ 1 1 1 1に画像データを出力したり、 マウスやキー ボードなどの入力装置 1 1 1 2から情報を入力したりするための、 インタフェース である入出力部 （ I ZO) 1 1 0 8を備えている。
[ 0 0 4 4]
5. 2 ユーザインターフェース
C PU 1 1 0 1が O S 1 1 0 5及び本実施形態に係るィンペインティングアプリ ケーシヨ ン 1 1 0 7を実行した場合に、 ディスプレイ 1 1 1 1に表示されるユーザ ィンタフェースの一例を図 1 2に示す。 図 1 2のュ一ザィンタフェース 1 2 0 0に おいて、 最上部には、 「File」 、 「Inpainting」 、 「Extras」 、 「Help」 の 4種類 のコマンドを選択できるコマンドライン 1 2 0 1が設けられている。 そして上から 2段目には、 「0pen」 、 「SaveJ ゝ 「Save AsJ、 「Zoom -」 、 「（Zoom) ResetJ 、 「Zoom+」、 「Brush」 、 「ShapeJ 、 「Area」 、 「By ColorJ 、 「By AreaJ 、 「UndoJ 、 「Redo」 、 inpaintingj 、 「Pause」 、 「Stop」 といったコマンドを選択できるアイコンライ ン 1 2 0 2が設けられ、 各アイコンが状況に応じて選択可能となっている。 アイコ ン 「Brush」 、 「Shape」 、 「Area」 、 「By ColorJ 、 「By AreaJ は、 それぞれ、 表 示された画像に対して、 画像処理を行なう領域 （いわゆる欠損領域） を設定するた めのコマンドに対応する。 例えば、 「Brush」 は、 ペンによって欠損領域を描く コマ ンドであり、 「Shape」 は、 図形によって欠損領域を描く コマンドであり、 「Area」 は、 ドラッグして囲むことにより欠損領域を描く コマンドである。更に、 「By ColorJ は、 開かれた画像データ中において共通の色値 （又は色値範囲） を有する画素を一 度に欠損領域と して選択するコマンドである。 「ByArea」 は、 選択された画素と共 通の色値 （又は色値範囲） を有する画素であって、 選択された画素と連続するもの を欠損領城として選択するコマンドである。
[ 0 0 4 5]
アイコンライン 1 2 0 2の下方には、 画像表示ェリア 1 2 0 3が設けられ、 File メニューを選択して表示される Openコマンドの選択、 或いは Openアイコンのクリ ックによって開かれた画像データ又は動画データを表示する。 画像表示ェリア 1 2 0 3には、 複数の画像デ一タを仮想的に重ねて表示することができるようになって おり、 上方に表示されたタブにより、 一旦開かれた複数の画像データの中から、 表 示される画像データを切り替えることができる。
[ 0 0 4 6 ]
画像表示エリア 1 2 0 3の、 右側には、 各種パラメータを設定するためのダイァ 口グがならんでいる。 まず、 アイコンライン 1 2 0 2の 「Brush」 を選択した場合の 線の太さを設定するダイァログ 1 2 0 4、 アイコンライン 1 2 0 2の 「Brush」 を選 択した場合の線の端部形状 （スクェアかラウンド力 を設定するダイアログ 1 2 0 5が表示される。 またその下方には、 アイコンライン 1 2 0 2の 「By Color」 や 「By Area」 を選択した場合に用いられる色値範囲を決定する許容差ダイアログ 1 2 0 6 が表示されている。
[ 0 0 4 7]
更に下方には、 アイコンライン 1 2 0 2において、 「Shape」 アイコンを選択した 場合に描かれる図形 （四角形、 円形、 多角形） を選択するダイアログ 1 2 0 7が表 示される。
[ 0 0 4 8] さらに、 動画データを開いた場合に、 マスク （欠損領域） をコピーする対象とな るフ レームを設定するダイアログ 1 20 8が設けられている。 これにより、 動画デ ータの複数のフレームにおいて同じマスクを用いてィンペインティング処理を行な うことが可能となる。
[0 04 9]
5. 3 処理の流れ
上述のィンペインティングアプリケーショ ン 1 1 0 7を起動後の通常の処理の流 れについて、 図 1 3のフローチャートを用いて説明する。
[ 0 0 5 0 ]
まず、 ステップ S 1 3 0 1において、 O S 1 1 0 5及びィンペインティングァプ リケ一ション 1 1 0 7を実行中の C PU 1 1 0 1は、 図 1 2における 「0pen」 アイ コンの選択及び開くべき画像データの特定操作に応じて、 HD 1 2 04から処理対 象画像データを読み込む。
[ 0 0 5 1 ]
次に、 ステップ S 1 3 0 2において、 C PU 1 1 0 1は、 O S 1 1 0 5及ぴィン ペインティングアプリケーション 1 1 0 7の機能を協働させて、 読み込まれた処理 対象画像を、ユーザィンタフエース 1 2 0 0の画像表示ェリア 1 2 0 3に描画する。
[ 0 0 5 2]
次に、 ステップ S 1 3 0 3において、 ユーザからの各種パラメータ設定、 コマン ド又はアイコンの選択、 及ぴ、 画像表示エリア 1 2 0 3に表示された画像上におけ るカーソルの操作に応じて、 描画画像に対する処理対象領域 （欠損領域） を決定す る。
[ 0 0 5 3 ]
更に、 ステップ S 1 3 04において、 ユーザによる 「Inpainting」 アイコンの選 択などに応じて、 処理対象領域に対してインペインティング処理を施す。 そして、 ステップ S 1 3 0 5において、 処理中及び処理後の画像を描画する。
[0 0 5 4]
次に、 ステップ S 1 3 0 6においては、 ユーザによる指示に応じて、 ィンペイン ティング処理前の状態に戻すか、 保存するか、 或いは追加的にインペインティング 処理を行なうか等を選択する。 これらの選択肢は一例に過ぎず、 更に、 処理対象領 域が無い状態に戻すなど、 他の処理を選択することもできる。
[0 0 5 5]
ステップ S 1 306において、 rundoj アイコンが選択されれば、 ステップ S 1 3 0 に戻り、 ィンペインティング処理前の画像を表示する。 ステップ S 1 3 0 6 ίこおレヽて、 「BrushJ 、 「Shape」 、 「AreaJ 、 「By ColorJ 又 ίま 「By AreaJ アイコ ンが選択されると、 それぞれ、 インペインティング処理後の画像に対して、 更に追 加的にィンペインティング処理を行なうべく、 ステップ S 1 30 3に戻る。
[ 0056 ]
ステップ S 1 3 0 6において、 rsavej アイコンゃ 「Save asj アイコンが選択さ れれば、 ステップ S 1 3 0 7に進み、 インペインティング処理後の画像を上書き或 いは新たに保存する。 保存後、 再度処理を行なう場合には、 ステップ S 1 3 0 8か らステップ S 1 3 0 3に戻ることもできるが、 処理を終了する指示を受け付けた場 合には、 アプリケーションを終了する。
[ 0 0 5 7 ]
5 . 4 処理例
図 1 1乃至図 1 3を用いて説明したィンペインティングアプリケーションの実行 例を図 1 4に示す。 図 1 4に示されているように、 インペインティング処理前の画 像 1 4 0 1においては、子供の顔についたひっかき傷と鼻水が写ってしまっている。 これに対し、 「Brush」 アイコンを選択後、 画像 1 4 0 2に示すように、 マウスなど でひっかき傷部分と鼻水部分とをドラッグしてなぞり、 更に r inpaint ingj をク リ ックすれば、 トータル 1 0秒ほどで画像 1 4 0 3が生成される。 すなわち、 非常に 簡便且つ高速に画像の修正/加工を行なうことができる。
[ 0 0 5 8 ]
5 . 5 画像比較
更に、 図 1 2のコマンドライン 1 2 0 1に含まれる 「Extras」 を選択した場合、 画像比較コマンドが更に表示される。 この画像比較コマンドが選択されると、 C P U 1 1 0 1は、 ィンペインティング処理前後の 2つの画像を 1枚の画像に含めて描 画し、 図 1 5に示すように画像比較ウインドウ 1 5 0 1をディスプレイ 1 1 1 1に 表示する。 画像比較ウインドウ 1 5 0 1において、 1 5 0 2は、 ィンペインティン グ処理前の画像を示し、 1 5 0 3は、 インペインティング処理後の画像を示す。 更 に、 ィンペインティング処理による変化率が、 1 5 0 4に示されている。
[ 0 0 5 9 ]
以上の画像比較処理により、 ユーザは、 インペインティング処理による画像処理 を効果的に確認することができる。
[ 0 0 6 0 ]
5 . 6 ユーザインタフェースの他の例
本実施形態に係るィンペインティングアプリケーション 1 1 0 7によるユーザィ ンタフェースの他の例を図 1 6に示す。図 1 6のユーザィンタフェース 1 6 0 0は、 図 1 2のユーザィンタフェース 1 2 0 0に加えて、 処理の進埗を表示するパーセン テージバー 1 6 0 1 と、 スピードと画質とをどのようなバランスで達成したいかを 設定するスピードークオリティバー 1 6 0 2とを備えている。 スピードを重視した い場合には、 ▽のマークを図中左側に移動させ、 画質を重視したい場合には、 ▽の マークを図中右側に移動させればよい。 そして、 この▽の位置に応じて、 図 5のサ ーチ範囲 5 0 3や、 構造特徴パッチ 5 0 7、 5 1 1、 構造要素 5 0 4の大きさを決 定すればよい。
[ 0 0 6 1 ]
(他の実施形態）
本発明の他の実施形態として、 上述の実施形態の機能を実現するソフ トウエアの プログラムが举げられる。 直接或いは遠隔から供給されたそのプログラムを、 シス テム或いは装 Eのコンピュータが読み出して実行しても、 同様の結果が得られるか らである。 その場合、 プログラムの機能を有していれば、 オブジェク トコード、 ィ ンタプリタにより実行されるプログラム、 O Sに供給するスクリプトデータ等、 プ ログラムの形態を問わない。 また、 例えば、 フロッピー （登録商標） ディスク、 ハ ードディスク、 光ディスク、 光磁気ディスク、 M〇、 CD-ROM, CD— R、 C D— RW、 磁気テープ、 不揮発性のメモリカード、 R〇M、 DVD (DVD-RO M, DVD-R) などの記録媒体に記憶されたプログラムも本発明の範嶋に含まれ る。 更に、 インターネッ トのサイ トからダウンロードされたプログラム又はサーバ コンピュータにおいてダウンロード可能に記憶されたプログラムゃフアイルも本発 明の範疇に含まれる。
[ 0 0 6 2]
さらに、 一般的なコンピュータに含まれるオペレーションシステムやハードゥエ ァが提供する機能と協働することで、 上記実施形態に示した機能を実現するプログ ラムも本発明の範疇に含まれるものとする。
[ 0 0 6 3 ]
[産業上の利用可能性]
画像処理装置及び画像処理アプリケーショ ン、 例えば、 画像の加工を目的とする もの、 画像の修復を目的とするもの、 画像の合成を目的とするものなどに利用可能 である。 具体的には、 人物が含まれた画像から人物を消す処理、 更にその人物を他 のキャラクター画像で置き換える処理、 人物画像と背景画像との合成処理 （境界部 分を自然に見せる） などに利用でき、 非常に高速に高品質の結果を得ることができ る。

Claims

請求の範囲
[ 1 ] 特定画像領域における未知の画像情報を、 前記特定画像領域の周辺領域の 既知の画像情報に基づいて算出する画像処理方法であって、
前記特定画像領域の輪郭部分に含まれる注目未知画素を中心とする所定の画素数を 有する第 1構造特徴パツチを定義し、 前記第 1構造特徴パツチに含まれる既知画素 の画素値の配置と類似した画素値の配置を有し、 同じ画素数を持つ第 2構造特徴パ ツチを、 前記特定画像領域の前記周辺領域の既知領域において検索する検索ステツ プと、
前記第 1構造特徴パッチに含まれる前記注目未知画素の画素値を、 第 2構造特徴パ ツチにおいて対応する配置にある画素の画素値で決定する画素値決定ステップと、 を前記輪郭部分に含まれる別の前記注目未知画素に対して繰り返すことにより、 前 記輪郭部分から前記特定画像領域の内側に向かって画素値を決定していく ことを特 徴とする画像処理方法。
[ 2 ] 前記画素値決定ステップでは、 前記第 1構造特徴パッチに含まれる前記注 目未知画素の周囲にある未知画素の画素値を、 前記第 2構造特徴パツチで対応する 配置にある画素の画素値によって置き換えることを特徴とする請求項 1に記載の画 像処理方法。
[ 3 ] 前記検索ステップでは、 輝度差の二乗和の最小値を用いて、 前記第 1構造 特徴パツチと類似する前記第 2構造特徴パツチを検索することを特徴とする請求項 1に記載の画像処理方法。
[ 4 ] 前記注目未知画素が前記特定画像領域の内側に移動しても、 前記第 2構造 特徴パッチを検索する周辺領域として、 前記特定画像領域を含めないことを特徴と する請求項 1に記載の画像処理方法。
[ 5 ] モルフォロジ一収縮処理と、 構造特徴及びテクスチャ特徴のマッチング処 理とを組み合わせたィンペインティングアルゴリズムにより、 特定画像領域におけ る未知の画像情報を、 前記特定画像領域の周辺領域の既知の画像情報に基づいて算 出することを特徴とする画像処理方法。
[ 6 ] 特定画像領域における未知の画像情報を、 前記特定画像領域の周辺領域の 既知の画像情報に基づいて算出する画像処理装置であって、
前記特定画像領域の輪郭部分に含まれる注目未知画素を中心とする所定の画素数を 有する第 1構造特徴パツチを定義し、 前記第 1構造特徴パツチに含まれる既知画素 の画素値の配置と類似した画素値の配置を有し、 同じ画素数を持つ第 2構造特徴パ ツチを、前記特定画像領域の前記周辺領域の既知領域において検索する検索手段と、 前記第 1構造特徴パッチに含まれる前記注目未知画素の画素値を、 前記第 2構造特 微パッチで対応する配置にある画素の画素値で決定する画素値決定手段と、 による、 検索処理及び画素値決定処理を前記輪郭部分に含まれる別の前記注目未知 画素に対して繰り返すことにより、 前記輪郭部分から前記特定画像領域の内側に向 かって画素値を決定していくことを特徴とする画像処理装置。
[ 7 ] 前記画素値決定手段では、 前記第 1構造特徴パッチに含まれる前記注目未 知画素の周囲にある未知画素の画素値を、 前記第 2構造特徴パッチで対応する配置 にある画素の画素値によって置き換えることを特徴とする請求項 6に記載の画像処 理装置。
[ 8 ] 前記検索手段では、 輝度差の二乗和の最小値を用いて、 前記第 1構造特徴 パッチと類似する前記第 2構造特徴パツチを検索することを特徴とする請求項 6に 記載の画像処理装置。
[ 9 ] 前記注目未知画素が前記特定画像領域の内側に移動しても、 前記第 2構造 特徴パッチを検索する周辺領域として、 前記特定画像領域を含めないことを特徴と する請求項 6に記載の画像処理装置。
[ 1 0 ] モルフォロジ一収縮処理と、 構造特徴及びテクスチャ特徴のマッチング 処理とを組み合わせたィンペインティングアルゴリズムにより、 特定画像領域にお ける未知の画像情報を、 前記特定画像領域の周辺領域の既知の画像情報に基づいて 算出することを特徴とする画像処理装置。
[ 1 1 ] コンピュータによつて実行されることにより、
請求項 1乃至 5の何れか 1項に記載の画像処理方法を実現する画像処理プロダラ ム。
[ 1 2 ] 請求項 1 1に記載の画像処理プログラムを格納したことを特徴とするコ ンピュータ読取可能な記憶媒体。
PCT/JP2009/059824 2008-05-22 2009-05-22 画像処理方法、画像処理装置及び画像処理プログラム並びに記憶媒体 WO2009142333A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010513086A JPWO2009142333A1 (ja) 2008-05-22 2009-05-22 画像処理方法、画像処理装置及び画像処理プログラム並びに記憶媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US5541008P 2008-05-22 2008-05-22
US61/055,410 2008-05-22

Publications (1)

Publication Number Publication Date
WO2009142333A1 true WO2009142333A1 (ja) 2009-11-26

Family

ID=41340256

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/059824 WO2009142333A1 (ja) 2008-05-22 2009-05-22 画像処理方法、画像処理装置及び画像処理プログラム並びに記憶媒体

Country Status (2)

Country Link
JP (1) JPWO2009142333A1 (ja)
WO (1) WO2009142333A1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011089996A1 (ja) * 2010-01-20 2011-07-28 三洋電機株式会社 画像処理装置及び電子機器
JP2011170838A (ja) * 2010-01-20 2011-09-01 Sanyo Electric Co Ltd 画像処理装置及び電子機器
JP2012221106A (ja) * 2011-04-06 2012-11-12 Nippon Hoso Kyokai <Nhk> 画像修正装置およびそのプログラム
JP2014027373A (ja) * 2012-07-24 2014-02-06 Olympus Corp 画像処理装置、画像処理方法及び画像処理プログラム
WO2014155913A1 (ja) * 2013-03-25 2014-10-02 パナソニック株式会社 画像補間装置、画像処理装置および画像補間方法
US9230309B2 (en) 2013-04-05 2016-01-05 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and image processing method with image inpainting
WO2016051913A1 (ja) * 2014-09-30 2016-04-07 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法、制御プログラム、記録媒体および画像処理装置
US20160300323A1 (en) 2013-12-20 2016-10-13 Rocoh Company, Ltd. Image generating apparatus, image generating method, and program
US9495757B2 (en) 2013-03-27 2016-11-15 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and image processing method
US9530216B2 (en) 2013-03-27 2016-12-27 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and image processing method
JP2019020877A (ja) * 2017-07-13 2019-02-07 日本電信電話株式会社 画像領域生成装置、その方法、及びプログラム
CN111612715A (zh) * 2020-05-20 2020-09-01 北京字节跳动网络技术有限公司 图像修复方法、装置和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001103304A (ja) * 1999-07-29 2001-04-13 Fuji Photo Film Co Ltd 特定被写体抽出方法および装置
JP2004054347A (ja) * 2002-07-16 2004-02-19 Fujitsu Ltd 画像処理方法、画像処理プログラムおよび画像処理装置
JP2006279442A (ja) * 2005-03-29 2006-10-12 Fuji Photo Film Co Ltd 画像処理方法および装置並びにプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008300990A (ja) * 2007-05-29 2008-12-11 Nagasaki Univ 画像修復方法及び画像修復装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001103304A (ja) * 1999-07-29 2001-04-13 Fuji Photo Film Co Ltd 特定被写体抽出方法および装置
JP2004054347A (ja) * 2002-07-16 2004-02-19 Fujitsu Ltd 画像処理方法、画像処理プログラムおよび画像処理装置
JP2006279442A (ja) * 2005-03-29 2006-10-12 Fuji Photo Film Co Ltd 画像処理方法および装置並びにプログラム

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011089996A1 (ja) * 2010-01-20 2011-07-28 三洋電機株式会社 画像処理装置及び電子機器
JP2011170838A (ja) * 2010-01-20 2011-09-01 Sanyo Electric Co Ltd 画像処理装置及び電子機器
JP2012221106A (ja) * 2011-04-06 2012-11-12 Nippon Hoso Kyokai <Nhk> 画像修正装置およびそのプログラム
JP2014027373A (ja) * 2012-07-24 2014-02-06 Olympus Corp 画像処理装置、画像処理方法及び画像処理プログラム
US9361673B2 (en) 2013-03-25 2016-06-07 Panasonic Intellectual Property Management Co., Ltd. Image interpolation device, image processing device, and image interpolation method
WO2014155913A1 (ja) * 2013-03-25 2014-10-02 パナソニック株式会社 画像補間装置、画像処理装置および画像補間方法
JPWO2014155913A1 (ja) * 2013-03-25 2017-02-16 パナソニックＩｐマネジメント株式会社 画像補間装置、画像処理装置および画像補間方法
US9530216B2 (en) 2013-03-27 2016-12-27 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and image processing method
US9495757B2 (en) 2013-03-27 2016-11-15 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and image processing method
US9230309B2 (en) 2013-04-05 2016-01-05 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and image processing method with image inpainting
US20160300323A1 (en) 2013-12-20 2016-10-13 Rocoh Company, Ltd. Image generating apparatus, image generating method, and program
US10186013B2 (en) 2013-12-20 2019-01-22 Ricoh Company, Ltd. Image generating apparatus, image generating method, and program
US10628916B2 (en) 2013-12-20 2020-04-21 Ricoh Company, Ltd. Image generating apparatus, image generating method, and program
JP2016067280A (ja) * 2014-09-30 2016-05-09 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法、制御プログラム、記録媒体および画像処理装置
WO2016051913A1 (ja) * 2014-09-30 2016-04-07 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法、制御プログラム、記録媒体および画像処理装置
JP2019020877A (ja) * 2017-07-13 2019-02-07 日本電信電話株式会社 画像領域生成装置、その方法、及びプログラム
CN111612715A (zh) * 2020-05-20 2020-09-01 北京字节跳动网络技术有限公司 图像修复方法、装置和电子设备
CN111612715B (zh) * 2020-05-20 2022-09-23 北京字节跳动网络技术有限公司 图像修复方法、装置和电子设备

Also Published As

Publication number Publication date
JPWO2009142333A1 (ja) 2011-09-29

Similar Documents

Publication Publication Date Title
WO2009142333A1 (ja) 画像処理方法、画像処理装置及び画像処理プログラム並びに記憶媒体
Barnes et al. PatchMatch: A randomized correspondence algorithm for structural image editing
Newson et al. Video inpainting of complex scenes
Cheng et al. Robust algorithm for exemplar-based image inpainting
US6825850B2 (en) System and process for optimal texture map reconstruction from multiple views
US20050285872A1 (en) System and process for optimal texture map reconstruction from multiple views
Vo et al. Structural inpainting
CN112785674A (zh) 纹理贴图的生成方法、渲染方法、装置、设备及存储介质
CN111583381B (zh) 游戏资源图的渲染方法、装置及电子设备
Ting et al. Image inpainting by global structure and texture propagation
Daisy et al. A smarter exemplar-based inpainting algorithm using local and global heuristics for more geometric coherence
CN109118556A (zh) 一种实现ui界面动画过渡效果的方法、系统及存储介质
CN115100334A (zh) 一种图像描边、图像动漫化方法、设备及存储介质
Mahajan et al. Image in painting techniques: A survey
CN110675345A (zh) 一种遥感图像待修复区域的模糊补全处理方法及装置
CN114782645A (zh) 虚拟数字人制作方法、相关设备及可读存储介质
Guo et al. A structure-synthesis image inpainting algorithm based on morphological erosion operation
Sangeetha et al. A novel exemplar based Image Inpainting algorithm for natural scene image completion with improved patch prioritizing
CN113362262A (zh) 图像融合预处理的方法、装置、设备、存储介质
Bhele et al. An efficient texture-structure conserving patch matching algorithm for inpainting mural images
CN116051407A (zh) 一种图像修复方法
Shen et al. Gradient based image completion by solving poisson equation
US20040085314A1 (en) Method for rendering outlines of 3D objects
JP4009289B2 (ja) フットプリントに係るテクセルのカラー値をカラー計算するための重み付けファクタを決定する方法
Alotaibi et al. Image completion by structure reconstruction and texture synthesis

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09750695

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010513086

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09750695

Country of ref document: EP

Kind code of ref document: A1