WO2018011930A1 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
WO2018011930A1
WO2018011930A1 PCT/JP2016/070751 JP2016070751W WO2018011930A1 WO 2018011930 A1 WO2018011930 A1 WO 2018011930A1 JP 2016070751 W JP2016070751 W JP 2016070751W WO 2018011930 A1 WO2018011930 A1 WO 2018011930A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
region
shadow
similar
area
Prior art date
Application number
PCT/JP2016/070751
Other languages
English (en)
French (fr)
Inventor
千葉　直樹
醒基 曾
Original Assignee
楽天株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 楽天株式会社 filed Critical 楽天株式会社
Priority to US15/751,469 priority Critical patent/US10861138B2/en
Priority to EP16908832.5A priority patent/EP3327662B1/en
Priority to ES16908832T priority patent/ES2827177T3/es
Priority to JP2016564293A priority patent/JP6091727B1/ja
Priority to PCT/JP2016/070751 priority patent/WO2018011930A1/ja
Publication of WO2018011930A1 publication Critical patent/WO2018011930A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and a program.
  • Patent Document 1 when a part of a subject is blocked by a shielding object, the shielding object is removed from the image based on a pattern around the shielding object, and the portion blocked by the shielding object is restored.
  • the technology to do is described.
  • Non-Patent Document 1 Even if the technique of Non-Patent Document 1 is used, the same pattern as the portion blocked by the shielding object is not always copied in the vicinity thereof, so there is a possibility that the accuracy of restoration cannot be increased.
  • the inventors of the present invention have a top secret that when a shadow or an obstruction is captured in a certain first image, the second image captured from the position where the portion can be seen is used to improve the accuracy of restoration.
  • the first image and the second image are taken from different positions, and the way the subject is captured differs between the first image and the second image.
  • the inventors believe that the accuracy cannot be improved even if the portion copied in the second image is directly pasted on the first image.
  • the second image is taken from a distance farther than the first image, or when the second image is taken from an angle different from the first image, the above-mentioned of the second image is adjusted to match the first image.
  • the part needs to be enlarged or deformed.
  • the resolution of the second image is reduced due to the processing on the portion of the second image, and only the portion pasted on the first image has a low resolution, which makes the first image unnatural.
  • the present invention has been made in view of the above problems, and an object of the present invention is to improve the accuracy of restoration of an image in which a shadow or an obstruction is captured.
  • an image processing apparatus acquires a first image acquired from a first position and capturing a first image in which a shadow or an obstacle is present in a part of the space. And a second image that is taken from a second position that is further away from the first position than the shadow portion or shielded portion of the space in the first image, and that captures the shadow portion or shielded portion.
  • a shooting partial region specifying means for specifying a shooting partial region in which the shadow portion or the shielded portion is copied in the low-resolution second image, and the first image and the second image
  • a similar region specifying unit that specifies a similar region similar to the photographing partial region, and a processing unit that processes the processing target region in the first image based on the similar region.
  • An image processing method includes a first image acquisition step of acquiring a first image that is taken from a first position and in which a shadow or a shield is present in a part of the space; A second image acquisition step of acquiring a second image taken from a second position away from the first position from the shadow portion or the shielded portion of the space and capturing the shadow portion or the shielded portion; A processing target area specifying step for specifying a processing target area in which the shadow or the shielding object is copied in the first image; and the resolution of the second image is reduced to match the subject in the first image, and the low resolution
  • An imaging partial area specifying step for specifying an imaging partial area in which the shadow part or the shielded part is imaged in the second image, and at least one of the first image and the second image,
  • a program according to the present invention is a first image acquisition unit that acquires a first image that is captured from a first position and that shows a shadow or an obstruction in a part of the space, and the space in the first image.
  • Second image acquisition means for acquiring a second image taken from a second position that is further away from the first position than the shadow part or the shielded part, and that captures the shadow part or the shielded part; and the first image
  • a processing target area specifying means for specifying a processing target area in which the shadow or the shielding object is copied, the second image is reduced in resolution so as to match the subject in the first image, and the reduced resolution second
  • An imaging partial area specifying means for specifying an imaging partial area in which the shadow part or the shielded part is captured in an image, and a similarity similar to the imaging partial area from at least one of the first image and the second image Similar area specifying means for specifying a frequency, on the basis of the similar region, processing means for processing the processing object region in the first image, causes a
  • the information storage medium according to the present invention is a computer-readable information storage medium storing the above program.
  • the similar region specifying unit lowers the resolution of the first image so as to match the resolution of the reduced-resolution second image, and in the reduced-resolution first image, A region similar to the photographing partial region is specified as the similar region.
  • the processing means processes based on the pixel value of the similar region in the first image before the resolution is reduced.
  • the similar region specifying unit specifies the similar region similar to the photographing partial region and the surrounding region including the shadow or the shielding object in the first image.
  • the image processing device has a periphery similar to a surrounding region including the shadow or the shielding object in the first image from at least one of the first image and the second image.
  • the image processing apparatus further includes surrounding similar area specifying means for specifying a similar area, wherein the processing means further performs processing based on the surrounding similar area.
  • the image processing apparatus estimates the shadow part or the shielded part of the space based on a periphery of the shadow or the translucent shield in the first image.
  • the processing means further includes processing means based on the estimation result by the estimation means.
  • the image processing apparatus estimates the shadow part or the shielded part of the space based on a periphery of the shadow or the translucent shield in the first image. And surrounding area acquisition means for acquiring the surrounding area based on the estimation result by the estimation means.
  • the processing target area includes a plurality of processing target small areas
  • the imaging partial area specifying unit includes a plurality of the imaging partial areas respectively corresponding to the plurality of processing target small areas.
  • the similar region specifying means specifies a plurality of similar regions that are respectively similar to the plurality of photographing partial regions, and the processing means assigns each of the plurality of processing target small regions to the corresponding photographing portion. It processes based on the said similar area
  • the processing target small area is an individual pixel or a plurality of pixels in which the shadow or the shielding object is copied in the first image.
  • the accuracy of restoration of an image in which a shadow or an obstruction is copied is increased.
  • the image processing apparatus is a computer that can perform image processing, such as a personal computer, a server computer, a portable information terminal (including a tablet computer), a mobile phone (including a smartphone), or the like.
  • FIG. 1 is a diagram illustrating a hardware configuration of the image processing apparatus.
  • the image processing apparatus 10 includes a control unit 11, a storage unit 12, a communication unit 13, an operation unit 14, a display unit 15, and an input / output unit 16.
  • the control unit 11 includes, for example, one or a plurality of microprocessors.
  • the control unit 11 executes processing according to programs and data stored in the storage unit 12.
  • the storage unit 12 includes a main storage unit and an auxiliary storage unit.
  • the main storage unit is a volatile memory such as a RAM
  • the auxiliary storage unit is a non-volatile memory such as a hard disk or a flash memory.
  • the communication unit 13 is a communication interface for wired communication or wireless communication, and performs data communication via a network.
  • the operation unit 14 is an input device for a user to perform an operation, for example, a pointing device such as a touch panel or a mouse, a keyboard, or the like.
  • the operation unit 14 transmits details of operations performed by the user to the control unit 11.
  • the display unit 15 is, for example, a liquid crystal display unit or an organic EL display unit.
  • the display unit 15 displays a screen according to instructions from the control unit 11.
  • the input / output unit 16 is an input / output interface, for example, a USB port.
  • the input / output unit 16 is used for data communication with an external device.
  • the input / output unit 16 can be connected to the camera 20 and may capture an image.
  • the camera 20 is a general imaging device capable of capturing still images and moving images, and includes an imaging element such as a CMOS image sensor or a CCD image sensor, for example.
  • the camera 20 generates an image captured by the image sensor and records the data in a memory.
  • This memory may be a memory built in the camera 20 or a removable flash memory.
  • the camera 20 may include a wide-angle lens or a fish-eye lens, and the angle of view and the focal length may be arbitrary.
  • the camera 20 may be an omnidirectional camera, or may be a camera capable of photographing at least one of the horizontal direction and the vertical direction by including a plurality of lenses.
  • the program and data described as being stored in the storage unit 12 may be supplied via a network.
  • the hardware configuration of the image processing apparatus 10 is not limited to the above example, and various hardware can be applied.
  • the image processing apparatus 10 may include a reading unit (for example, an optical disk drive or a memory card slot) that reads a computer-readable information storage medium.
  • a program or data stored in an information storage medium may be supplied to the image processing apparatus 10 via the reading unit or the input / output unit 16.
  • the user captures images with the camera 20 while moving in the space, and a plurality of images respectively captured at a plurality of positions are generated.
  • the space is a place on the earth that is to be photographed by the camera 20, and a plurality of subjects are arranged.
  • FIG. 2 is a diagram illustrating a state in which a space is photographed by the camera 20.
  • a road 32 and a fence 33 are arranged on the ground 31 in the space 30.
  • the user shoots with the camera 20 fixed on the tripod 21 on the road 32.
  • the user will be described a case of shooting at a first position P 1 and the second position P 2, may be taken at least three locations.
  • the photographing direction V 1 at the first position P 1, the photographing direction V 2 at the second position P 2 is may be different, for simplicity of explanation, here, the same.
  • the sun is behind the camera 20. Therefore, as shown in FIG. 2, at the time of shooting at the first position P 1, the elongation shadow S 1 of the camera 20 and the tripod 21 is forward, at the time of photographing in the second position P 2, the shadow of the camera 20 and the tripod 21 S 2 extends forward. Further, the shadow S 3 of the ridge 33 is also on the ground 31. In FIG. 2, for convenience of explanation, both of the shadows S 1 and S 2 are shown. However, in reality, the shadow S 2 does not exist at the time of shooting at the first position P 1 , and the second position P 2 is present. shadow S 1 does not exist at the time of shooting in.
  • Figure 3 is an example of a first image captured by the first position P 1
  • FIG. 4 is an example of a second image taken at the second position P 2.
  • the screen coordinate axes at the upper left of the image as the origin O S (X S axis and Y S axis)
  • the position of the pixel in the image is assumed to be represented by two-dimensional coordinates.
  • the first image I 1H and the second image I 2H have the same size, and are square here.
  • the first image I IH and shadow S 1 is photographed, the shadow S 2 is photographed in the second image I 2H.
  • the shadow S 1 is not dark due to the shadow but is captured in a bright state. Therefore, the pattern of the shadow portion 34 that is dark in the shadow S 1 and difficult to see in the first image I 1H is clearly shown in the second image I 2H .
  • the shadow portion 34 can be discriminated in the second image I 2H for the time being, as described above, the shadow portion 34 of the second image I 2H needs to be enlarged or deformed. The inventors believe that it cannot be increased.
  • the first image I 1H the other part of the road 32 is photographed, and there is a possibility that a state similar to the shadow part 34 is captured. Therefore, in the present embodiment, it searches an area similar to the shadow portion 34 from the first image I IH, so as to change the color of the shadow S 1 that is photographed in the first image I IH based on the region Yes.
  • FIG. 5 is a functional block diagram illustrating an example of functions realized by the image processing apparatus 10. As shown in FIG. 5, in the present embodiment, the data storage unit 100, the first image acquisition unit 101, the second image acquisition unit 102, the processing target region specification unit 103, the imaging partial region specification unit 104, and the similar region specification unit 105. A case where the processing unit 106 is realized by the image processing apparatus 10 will be described.
  • the data storage unit 100 is realized mainly by the storage unit 12.
  • the data storage unit 100 stores an image (photograph) taken by the camera 20.
  • the aspect ratio, size, resolution, number of colors (the number of bits in a color image), and data format of each of a plurality of images are the same.
  • the data storage unit 100 stores a plurality of images taken from different positions.
  • the image may be stored in another device or a computer.
  • the image may be stored in the memory of the camera 20 or may be stored in a server computer. That is, the first image acquisition unit 101 and the second image acquisition unit 102 to be described later may acquire images from other than the data storage unit 100.
  • the first image acquisition unit 101 is realized mainly by the control unit 11.
  • the first image acquisition unit 101 of the present embodiment acquires a first image I 1H that is taken from the first position P 1 and in which a shadow S 1 is captured in a part of the space 30.
  • the first image acquisition unit 101 acquires the first image I 1H stored in the data storage unit 100.
  • the first image I 1H is an image taken in a state where the shadow S 1 is in the shadow portion 34 that is a part of the space 30.
  • the shadow portion 34 is a portion that the shadow S 1 is dropped during shooting of the first image I IH.
  • the shadow portion 34 is a subject of a portion darkened by the shadow S 1 among subjects photographed in the first image I 1H .
  • the shadow portion 34 is a part of the road 32 where the shadow S 1 of the camera 20 and the tripod 21 is present when the first image I 1H is captured.
  • the second image acquisition unit 102 is realized mainly by the control unit 11.
  • the second image acquisition unit 102 acquires the second image I 2H taken from the second position P 2 and in which the shadow portion 34 of the space 30 in the first image I 1H is captured.
  • the second image acquisition unit 102 is photographed from the second position P 2 that is further away from the first position P 1 than the shadow portion 34 of the space 30 in the first image I 1H , and the shadow portion 34 is copied.
  • a second image I2H is obtained.
  • the second image acquisition unit 102 acquires the second image I 2H stored in the data storage unit 100.
  • the second image I2H is taken with no shadow in the shadow portion 34. That is, the second image I 2H is taken in a state where the shadow portion 34 is exposed to light. In the second image I2H , the shadow portion 34 must not have a shadow. If the shadow portion 34 is clearer than the first image I1H , the shadow portion 34 has a slight shadow. There may be. Further, in the present embodiment, as shown in FIG. 2, the second position P 2, since apart from the shade portion 34 than the first position P 1, shaded area 34, the second image I 2H first It is shown smaller than the image I 1H . Similarly, portions of the road 32 and the fence 33 photographed in the first image I IH also in the second image I 2H, it is photographed smaller than the first image I IH.
  • the processing target area specifying unit 103 is realized mainly by the control unit 11.
  • the processing target area specifying unit 103 specifies a processing target area in which the shadow S 1 is copied in the first image I 1H .
  • Processing target area is a region including at least a part or the whole of the shadow S 1, it can be said that the subject to regions of the image processing by the processing unit 106.
  • Processing target region may be composed of only the pixel indicating the shadow S 1, it may be composed of a pixel showing the shadow S 1 and its surrounding pixels.
  • the processing target area is, the case consists of only the pixel indicating the shadow S 1.
  • the processing target area when including the pixel and its surrounding pixels showing a shadow S 1 is the processing target region, it may be used as the region from the contour of the shadow S 1 including pixels within a predetermined distance, a predetermined shape And an area of a predetermined size.
  • the processing target area may not be divided into a plurality of areas in particular, but in the present embodiment, the processing target area includes a plurality of processing target small areas. Machining target small area is an area for the search units of similar area to be described later, for example, among the entire pixels exhibiting the shadow S 1, which is an area comprising at least one pixel.
  • the processing target small area is described the case where each pixel shadow S 1 is was photographed in the first image I IH, may be a plurality of pixels shadow S 1 is a photographed . Therefore, the shadow S 1 is the n is a processing object region (n is a positive integer,. Indicating the total number of pixels of the processing target area) When indicated by pixels, also there are n processing target small area .
  • FIG. 6 is a diagram illustrating a processing target area and a processing target small area.
  • the processing target area is a shadow S 1
  • the processing target sub-regions, each of the pixels constituting the shadow S 1 p n (x n, y n ).
  • (x n , y n ) is a two-dimensional coordinate for identifying a pixel.
  • the pixel p n (x n, y n ) for each, the pixel p n (x n, y n ) is the surrounding area A n of a predetermined size including a set.
  • the peripheral region A n is the square of a predetermined size centering point pixel p n (x n, y n ) a.
  • the surrounding area An is used to specify an imaging partial area described later.
  • FIG. 6 there is shown only one peripheral area A n, the surrounding region A n, the number of the processing target small region (i.e., n number) is set only.
  • the processing target area specifying unit 103 may specify the processing target area based on a user operation or image analysis. For example, when the processing target area is specified based on the user's operation, the processing target area specifying unit 103 displays the first image I 1H on the display unit 15 and receives the user's operation. For example, the user operates the operation unit 14, selects an area representing the shadow S 1. Operation of selecting a region may be a region selection operation that is employed in typical paint software, for example, be an operation of tracing a contour or near the shadow S 1 with the cursor using the pointing device Good. The processing target area specifying unit 103 specifies the processing target area based on the area selected by the user.
  • the processing target area specifying unit 103 determines the shadow S 1 based on the template matching using the template image indicating the basic pattern of the shadow S 1 . Specify the processing target area. Additional example, a shadow S 1 is predetermined color (e.g., black, dark blue, or gray) since they have, the processing target area specifying unit 103 executes the edge detection processing for the first image I IH Then, an area having a predetermined color among the extracted areas (that is, areas where the same color or similar colors are continuous) may be specified as the processing target area.
  • the algorithm itself to identify a shadow S 1 is applicable to various known shadow detection algorithm.
  • the processing target area specifying unit 103 may specify the processing target area based on the area detected by the shadow detection algorithm.
  • the first image I 1H there are also shadows other than the shadow S 1 of the tripod 21 of the camera 20 (for example, the shadow S 3 of the eyelid 33).
  • Only a predetermined area (for example, near the lower half or the center of the image) of one image I 1H may be set as a search target of the processing target area. As described above, when the position of the processing target area can be predicted, the number of search target areas is reduced so as to reduce the processing load of the image processing apparatus 10 and to quickly specify the processing target area. Good.
  • the photographing partial area specifying unit 104 is realized mainly by the control unit 11.
  • the imaging partial area specifying unit 104 specifies the imaging partial area in which the shadow part 34 of the space 30 is captured based on the second image I2H .
  • the shooting partial area specifying unit 104 processes the second image I 2H to specify the shooting partial area will be described, but shooting is performed in the second image I 2H without any particular processing.
  • a partial region may be specified.
  • the photographing partial area is a part of an image in which the shadow part 34 is captured.
  • the photographing partial region is a part of an image in which the shadow portion 34 is captured more clearly or brightly than the first image I 1H .
  • the photographing partial region is a part in an image that is captured in a state where there is no shadow in the shadow portion 34 of the space 30.
  • the processing means including various image processing such as enlargement, reduction, deformation, perspective conversion, projection conversion, resolution change, or cropping.
  • imaging partial region specifying unit 104 based on known shadow detection algorithm or contour extraction algorithm, a shadow S 3 was photographed in the first image I IH, shadows S 3 was photographed in the second image I 2H , And each feature point is extracted.
  • Feature point may be any point representing the geometric characteristics of the shadow S 3, for example, any point on the contour of the shadow S 3 may be as used.
  • the imaging portion area specifying unit 104 using the vertices of the shadow S 3.
  • the imaging portion area specifying unit 104 the positional relationship between the feature points of the shadow S 3 of the first image I IH, and the positional relationship of the feature points of the shadow S 3 of the second image I 2L, on the basis of the second Process the image I2H .
  • FIG. 7 is a diagram illustrating an example of the processed second image I2L .
  • perspective transformation and projection transformation will be described as an example of processing.
  • the resolution of an image is lowered. Therefore, in FIG. 7, a state in which the resolution of the second image I 2L is reduced is schematically drawn with a broken line. That is, in the present embodiment, in the drawing, a subject drawn with a solid line means high resolution, and a subject drawn with a broken line means low resolution.
  • imaging section area specifying unit 104 the two-dimensional coordinates of the shadow S 3 of the feature point Q 1 ⁇ Q 5 of the first image I IH, feature points of the shadow S 3 of the second image I 2L
  • the second image I 2L is processed so that the deviation from the two-dimensional coordinates R 1 to R 5 is less than the threshold value.
  • the imaging partial area specifying unit 104 may calculate an evaluation value indicating the degree of deviation of the feature points based on the difference between these two-dimensional coordinates.
  • the imaging partial area specifying unit 104 finds the second image I 2L in which the deviation degree indicated by the evaluation value is less than the threshold by repeating the perspective transformation and the projection transformation on the second image I 2H . That is, the imaging partial region specifying unit 104 processes the second image I 2H so that the shadow S 3 in the second image I 2L matches the shadow S 3 in the first image I 1H .
  • imaging partial region specifying unit 104 a shadow S 3 of the first image I IH the sizing and alignment of the shadow S 3 of the second image I 2L.
  • the imaging partial region specifying unit 104 performs blurring processing on portions other than the road 32 in the first image I 1H and the second image I 2H.
  • the above size alignment and position alignment may be performed.
  • portions other than the road 32 may be excluded from feature point extraction by masking instead of blurring.
  • the subject was photographed in both the first image I IH and the second image I 2H may be a reference.
  • the size adjustment and the position adjustment may be performed with reference to another subject (for example, the road 32 or the eaves 33).
  • the subject may be specified using a known object detection algorithm.
  • the processing target region (here, the shadow S 1 ) is divided into a plurality of processing target small regions (here, the pixel pn (x n , y n ) indicating the shadow S 1 ). Therefore, the imaging partial area specifying unit 104 specifies a plurality of imaging partial areas respectively corresponding to the plurality of processing target small areas. That is, one photographing partial region is specified for one processing target region.
  • FIG. 8 is a diagram illustrating a photographing partial area.
  • the imaging partial region specifying unit 104 has pixels of the same coordinates as the pixel pn (x n , y n ) that is the small region to be processed in the second image I 2L with reduced resolution.
  • the imaging partial region Bn is specified so as to include Note that these are not necessarily the same coordinates, and there may be some deviation.
  • the photographing partial area B n has the same shape and size as the surrounding area An, and is a square having a predetermined size with the pixel pn (x n , y n ) as the center point. Note that these do not have to have exactly the same shape and size, and the shape and size may be slightly different.
  • the shooting partial area specifying unit 104 acquires, as a shooting partial area Bn , an area in which the shadow portion 34 is captured in the second image I 2L whose resolution has been reduced.
  • the photographing partial region specifying unit 104 specifies a region in the second image I 2L at the same position (two-dimensional coordinates) as the processing target region in the first image I 1H as the photographing partial region B n . For this reason, the two-dimensional coordinates included in the region to be processed and the two-dimensional coordinates included in the imaging partial region Bn are the same.
  • the imaging partial region identification unit 104 may identify the imaging partial region B n based on a user operation. Good.
  • the photographing partial region specifying unit 104 displays the second image I 2H or the second image I 2L with a reduced resolution on the display unit 15 and receives a user operation.
  • the imaging partial area specifying unit 104 may specify the area selected by the user as the imaging partial area Bn .
  • the imaging partial region specifying unit 104 processes the second image I 2H to some extent by a user operation, and then performs image analysis so that the second image I 2L having a reduced resolution matches the first image I 1H. You may adjust by.
  • the similar area specifying unit 105 is realized mainly by the control unit 11.
  • the similar area specifying unit 105 specifies a similar area C n similar to the imaging partial area B n based on at least one of the first image I 1H and the second image I 2H .
  • a case where the similar region specifying unit 105 specifies the similar region C n from the first image I 1H will be described, but an image obtained by processing the first image I 1H as in a modified example described later. may identify the similar region C n from a, may be to identify the similar region C n in the second image I 2H, also identify the similar region C n among these images Good.
  • the similar region C n may be searched not from the entire image but from a part such as near the center or near the end.
  • the similar area specifying unit 105 since the imaging partial area B n is specified for each pixel pn (x n , y n ) that is a small area to be processed, the similar area specifying unit 105 includes a plurality of imaging partial areas B n. A plurality of similar regions C n that are similar to each other are identified. That is, here, one similar region C n is specified for one photographing partial region B n . It should be noted that only one similar region C n may be specified particularly when a small region to be processed is not set.
  • FIG. 9 is a diagram illustrating a method for specifying a similar region.
  • the similar area specifying unit 105 specifies the similar area C n by executing template matching using the imaging partial area B n as a template image.
  • the similar area specifying unit 105 converts the first image I 1H into a plurality of small areas having the same or similar size as the imaging partial area B n (in FIG. 7, 8 ⁇ 8 divided by broken lines). 64).
  • a relatively large small region is used, but the size may be reduced by dividing it into several hundred or more small regions.
  • the photographing partial area Bn may be reduced in size and divided into a plurality of areas.
  • the similar region specifying unit 105 calculates an evaluation value indicating the similarity based on the pixel value in each small region and the pixel value in the photographing partial region Bn .
  • the pixel value is a value indicating the color of the pixel, and is an R value, a G value, and a B value in the case of an RGB color image.
  • the pixel value is also called brightness.
  • the similar region specifying unit 105 may calculate the evaluation value using the following formula 1. Note that the calculation of the evaluation value is not limited to the mathematical formula 1, and a mathematical formula that can comprehensively evaluate the shift degree of the pixel value may be used.
  • E H1R in Equation 1 is an evaluation value.
  • m is the total number of pixels in the small area and the photographing partial area Bn .
  • X1Hi is the pixel value of each pixel in the small area.
  • X Bni is a pixel value of each pixel in the photographing partial area Bn .
  • the similar area specifying unit 105 specifies a small area where the evaluation value E H1R is the smallest or a small area where the evaluation value E H1R is less than the threshold as the similar area C n .
  • specific methods analogous region C n that described above is an example, can be applied to class whether various matching methods that can determine the image.
  • the processing unit 106 is realized mainly by the control unit 11.
  • the processing unit 106 processes the processing target area in the first image I 1H based on the similar area C n .
  • the processing is to change the pixel value of the processing target region, that is, to change the color of the processing target region.
  • FIG. 10 is a diagram illustrating a processing method by the processing unit 106.
  • the processing target area here, the shadow S 1
  • processing target small areas here, the pixels pn (x n , y n ) of the shadow S 1
  • the processing unit 106 Processes each of the plurality of processing target small areas based on the similar area C n similar to the corresponding imaging partial area B n .
  • the processing unit 106 the processing target small area pixel p n (x n, y n ) in the center of the surrounding area A n pixel values of the pixels within the similar region C n (for example, the center of the pixel) The pixel value.
  • Processing unit 106 repeats the process for the number of pixels p n (x n, y n ).
  • the processing unit 106 may change the pixel value to be exactly the same as the pixel value in the similar region C n, it may not be exactly the same as the pixel value in the similar region C n, the pixel The pixel value may be changed so as to approach the value.
  • FIG. 11 is a diagram illustrating the first image I 1H processed by the processing unit 106.
  • the processing of the processing unit 106 removes the shadow S 1 that is the processing target region, and a pattern that is the same as or similar to the pattern in the shadow portion 34 is drawn in the processing target region.
  • the processing unit 106 may perform a process of smoothing the color boundary, such as Poisson blending, after changing the color in the processing target region.
  • FIG. 12 is a flowchart illustrating an example of processing executed in the image processing apparatus 10. The process illustrated in FIG. 12 is executed by the control unit 11 operating according to a program stored in the storage unit 12. The process described below is an example of a process executed by the functional block shown in FIG.
  • the control unit 11 acquires a first image I 1H and a second image I 2H (S1, S2).
  • Each of the first image I 1H and the second image I 2H may be stored in the storage unit 12 or may be stored in a memory in the camera 20. Alternatively, it may be stored in an information storage medium connected to the image processing apparatus 10, or may be stored in a server computer or the like.
  • Control unit 11 from among the first image I IH, shadows S 1 is to identify the processing target area is an area photographed (S3).
  • the control unit 11 may be specified a shadow S 1 as a processing target area based on the selection of the user, the image analysis identifies the shadow S 1 as a processing target area May be.
  • Controller 11 to mate with the first image I IH, to lower the resolution of the second image I 2H (S4).
  • S4 the control unit 11, a feature point of the shadow S 3 it was photographed in the first image I IH, and feature points of the shadow S 3 was photographed in the second image I 2L, displacement of The perspective transformation and the projection transformation are repeated until the condition becomes less than the threshold value.
  • the control unit 11 specifies the photographing partial region B n for each pixel pn (x n , y n ) of the shadow S 1 from the second image I 2L having a reduced resolution (S5). As described above, in S5, the control unit 11 superimposes the first image I1H and the second image I2L having a reduced resolution, and processes the pixel pn ( xn , the area of a predetermined shape including the same coordinates as y n), the pixel p n (x n, will be identified as the imaging partial regions B n of y n). Here, since there are n small areas to be processed, the control unit 11 specifies n imaging partial areas Bn .
  • the control unit 11 specifies a similar region C n for each photographing partial region B n specified in S5 from the first image I 1H (S6). As described above, in S6, the control unit 11 divides the first image I 1H into a plurality of small areas, and based on the evaluation value E H1R indicating the similarity with the pixel value in the imaging partial area B n . identify similar regions C n. Here, since there are n small regions to be processed, the control unit 11 specifies n similar regions Cn.
  • the control unit 11 processes the processing target area (here, the shadow S 1 ) of the first image I 1H based on the similar area C n specified in S6 (S7), and the process ends.
  • the control unit 11 the pixel values in similar regions C n, the pixel value of the pixel of the processing target area.
  • the control unit 11 changes the pixel value of the corresponding small area to be processed based on the n similar areas C n .
  • the similar region C n is searched from the high-resolution first image I 1H and the shadow S 1 that is the processing target region is processed, and therefore unnaturalness due to the difference in resolution. And the accuracy of restoration of the shadow portion 34 can be improved.
  • the shooting partial area B n is specified from the second image I 2L having a reduced resolution, even if the shadow part 34 appears in the shooting partial area B n , a low-resolution image is displayed. If it is pasted as it is to the high-resolution first image I 1H , an unnatural state will result.
  • the color of the subject does not appear in detail or the color change does not appear strictly compared to a high resolution image (for example, a low resolution image
  • the color change is smaller than the actual color because the image is blurred, but a high-resolution image can clearly express the color change), so a low-resolution image is pasted on the high-resolution first image I 1H. And it becomes unnatural.
  • the processed portion is the color of the subject. Therefore, the shadow portion 34 can be restored in a more natural state.
  • each pixel p n (x n, y n ) constituting the shadow S 1 and, by dividing into smaller units, it is possible to determine the class whether the finer color, The accuracy of restoration of the shadow portion 34 can be further increased.
  • FIG. 13 is a functional block diagram of a modified example. As illustrated in FIG. 13, in a modification described below, a surrounding similar region specifying unit 107, an estimating unit 108, and a surrounding region acquiring unit 109 are realized. Each of these functions is realized mainly by the control unit 11. Note that the image processing apparatus 10 need not include all of them.
  • the shooting partial region B n is specified from the second image I 2L whose resolution has been reduced
  • the resolution of the first image I 1H is further improved in order to further improve the matching accuracy. May be reduced to the same level as the second image I 2L, and the similar region C n may be searched from the first image I 1L whose resolution has been reduced.
  • the similar area specifying unit 105 of the modified example (1) reduces the resolution of the first image I 1H so as to match the resolution of the second image I 2L whose resolution has been reduced.
  • similar region specifying unit 105 may be to reduce the resolution of the first image I IH to the same resolution as the second image I 2L, not be the exact same resolution, the difference in the resolution of the second image I 2L
  • the resolution of the first image I 1H may be reduced to a resolution that is less than the threshold.
  • a known resolution conversion method can be applied to the method itself for reducing the resolution of an image.
  • FIG. 14 is a diagram illustrating the first image I 1L with reduced resolution. Note that, in FIG. 14, similarly to FIG. 7, the manner in which the resolution of an image is reduced is schematically indicated by a broken line. As shown in FIG. 14, the first image I 1L with the reduced resolution is in the same degree of blur as the second image I 2L with the reduced resolution.
  • the similar region specifying unit 105 reduces the resolution of the first image I 1H and generates the first image I 1L in which the subject is totally blurred.
  • the similar area specifying unit 105 specifies an area similar to the captured partial area B n as the similar area C n in the first image I 1L with reduced resolution. That is, in the first image I 1L whose resolution has been reduced, the same region in the first image I 1L as the region similar to the captured partial region B n may be specified as the similar region C n .
  • the method itself for specifying a similar region may be the same as the method described in the embodiment. That is, the similar area specifying unit 105 may specify the similar area C n by executing the template matching using the photographing partial area B n as a template image.
  • the similar area specifying unit 105 divides the first image I 1L into a plurality of small areas having the same or similar size as the imaging partial area B n, and the pixel values in each small area and the imaging Based on the pixel value in the partial region Bn , an evaluation value E L1R indicating the similarity is calculated.
  • the calculation of the evaluation value E L1R may be the same as Equation 1 described in the embodiment.
  • the processing unit 106 may use the pixel value of the similar region C n in the first image I 1L with the reduced resolution, but here, the first image I 1L with the reduced resolution is the similar region C n.
  • the pixel value of the similar region C n in the high-resolution first image I 1H is used for processing the processing target region.
  • the processing unit 106 processes based on the pixel value of the similar region C n in the first image I 1H before the resolution is reduced. That is, the processing unit 106 processes using the pixel values of the pixels of the first image I 1H having the same coordinates as those of the similar region C n specified using the first image I 1L whose resolution has been reduced. How the processing unit 106 is processed based on the pixel values of the similar region C n itself may be similar to the method described in the embodiment.
  • the similar region C n is searched from the first image I 1L whose resolution is reduced to the same level as the second image I 2L whose resolution has been reduced.
  • the area can be specified more accurately. As a result, the accuracy of restoration of the shadow portion 34 can be increased.
  • the accuracy of the restoration of the shadow portion 34 can be increased to some extent, but the pixel value of the first image I 1H having a high resolution is used. If processed, unnaturalness caused by the difference in resolution can be eliminated, and the accuracy of restoration of the shadow portion 34 can be further increased.
  • the similar region C n may be specified by comprehensively considering the similarity with the imaging partial region B n and the similarity with the pattern around the shadow S 1 .
  • Similar region specifying unit 105 of the present modification identifies the imaging partial regions B n, and the surrounding regions A n, including the shadow in the first image I IH, similar to similar regions C n in.
  • the peripheral area A n a region including the pixel within a predetermined distance from the pixel a shadow S 1 is was photographed.
  • the surrounding area An may have an arbitrary shape, which is a square here, but may be another shape such as a rectangle or a circle.
  • the size of the peripheral region A n may be any, but here, the same size as the small area obtained by dividing the first image I IH. Since the shadow S 1 is in the shadow portion 34 which is a part on the road 32, the surrounding area An is a portion where the surrounding road 32 is photographed.
  • FIG. 15 is a diagram illustrating a method of specifying the similar region C n in the modification example (2).
  • similar region specifying unit 105 the operation or the image analysis of the user, identifying the peripheral regions A n from the first image I IH.
  • the similar area specifying unit 105 displays the first image I 1H on the display unit 15 and receives the user's operation.
  • the user operates the operation unit 14 may be configured to select a peripheral region A n so as to include some or all of the shadow S 1.
  • the similar region specifying unit 105 based on the user-selected area, to identify the peripheral area A n.
  • the similar area specifying unit 105 specifies the shadow S 1 in the same manner as when the processing target area is specified, and the shadow S 1 You may specify the peripheral regions a n so as to include some or all of the.
  • the small area including the shadow S 1 may be set as the target outside the search.
  • the similar region specifying unit 105 calculates an evaluation value E H1A indicating the degree of similarity.
  • the evaluation value E H1A may be calculated on the basis of the difference between these pixel values, and the mathematical formula similar to the mathematical formula 1 described in the embodiment may be used.
  • Similar area specifying unit 105 identification and evaluation value E H1R indicating the similarity between the captured partial region B n, the evaluation value E H1A indicating the similarity between the peripheral regions A n, based on the similar region C n
  • the similarity is comprehensive. Is identified as a similar region C n .
  • a small region may be selected using a value calculated by weighting with a predetermined coefficient instead of the sum of these.
  • a small area may be selected using these average values. That may be the overall similarity between the imaging partial regions B n and the surrounding area A n as the original in the similar region C n identified.
  • the similarity region C n is specified in consideration of the similarity to the surrounding region An, and the region similar to the shadow portion 34 is obtained using the information around the shadow S 1. Can find out. As a result, the accuracy of restoration of the shadow portion 34 can be further increased.
  • the image processing apparatus 10 includes a surrounding similar area specifying unit 107. Surrounding similar region specifying unit 107, based on at least one of the first image I IH and the second image I 2H, around similar region C nA similar to the peripheral region A n, including shadows S 1 in the first image I IH Identify.
  • the surrounding similar region specifying unit 107 specifies the surrounding similar region C nA from the first image I 1H.
  • an image obtained by processing the first image I 1H for example, the resolution reduction
  • the surrounding similar region C nA may be specified from the first image I 1L ).
  • the surrounding similar area specifying unit 107 may specify the surrounding similar area C nA by using the surrounding area An as a template image and performing template matching. For example, peripheral similar region specifying unit 107, small area most evaluation value E H1A indicating the similarity between the peripheral regions A n, or a small area of less than the evaluation value E H1A threshold, as surrounding similar region C nA Identify.
  • the processing unit 106 further performs processing based on the surrounding similar region CnA . That is, the processing unit 106 performs processing based on the similar region C n and the surrounding similar region C nA . For example, the processing unit 106 compares the evaluation value E H1R of the similar region C n with the evaluation value E H1A of the surrounding similar region C nA , and based on the lower value (that is, the higher similarity). The region to be processed may be processed.
  • the processing method when the similarity in the similar region C n is higher than that in the surrounding similar region C nA is the same as the method described in the embodiment.
  • the processing unit 106 changes the pixel value in the processing target region based on the pixel value in the surrounding similar region C nA . That's fine.
  • the processing unit 106 assigns the pixel value obtained by substituting the pixel value in the similar region C n and the pixel value in the surrounding similar region C nA to a given mathematical expression as a shadow that is the processing target region. it may be used as the pixel value in S 1. That is, by mixing these two pixel values, may be filled shadows S 1.
  • This mathematical formula may be a predetermined mathematical formula, for example, a simple average or a weighted average. In the case of a weighted average, the coefficient may be determined based on the value of the evaluation value.
  • the region to be processed is processed based on more information. Since the shadow portion 34 can be restored, the accuracy of restoration of the shadow portion 34 can be further increased.
  • a shadow S 1 that is photographed in the first image I IH is completely black and not limited, to some extent there is a possibility that appear the characteristics of a shadow portion 34. Therefore, based on the color of the shadow S1, it estimates the color of the shaded area 34, as well as similar regions C n, the processing of the processing target area may be performed based on the estimation result.
  • the image processing apparatus 10 includes an estimation unit 108.
  • the estimation unit 108 estimates the shadow portion 34 of the space 30 based on the periphery of the shadow S 1 in the first image I 1H .
  • the estimation unit 108 estimates the color of the shadow portion 34 based on the pixel value of the pixel of the shadow S 1 in the first image I 1H and the pixel values of the surrounding pixels.
  • FIG. 16 is a diagram illustrating a method for estimating the shadow portion 34.
  • the estimation unit 108 identifies a shadow S 1 from the first image I 1H by the same method as the processing target region identification unit 103 and acquires the color of the surrounding pixels.
  • the estimation unit 108 modification (2), but may identify the peripheral regions A n Similarly, assumed here to obtain the color of the adjacent pixel of the shadow S 1.
  • a pixel value indicating the original color of the shaded area 34 and O, base color of the shadow S 1 (e.g., black) and is T, when the transparency and r (0 ⁇ r ⁇ 1) , the shadow S 1 of The pixel value X of the pixel can be defined by the following formula 2.
  • Original color of the pixel of the end portion of the shadow S 1 is, in adjacent regions S n adjacent to the pixel Assume that the pixel color is the same. Furthermore, transparency of r pixels showing a shadow S 1 is assumed to be common. Under these assumptions, the estimating unit 108, based on the pixel values of the adjacent region S n, to calculate the transparency r. Then, the estimation unit 108 generates an estimated image G indicating the result of estimating the color of the shadow portion 34 by back-calculating the pixel value O from the pixel value X of each pixel based on the transparency r.
  • the method of generating the estimated image G is not limited to the above example, the pixel values of the pixels showing the shadow S 1, the pixel value of the surrounding may be so as to be generated based on.
  • the processing unit 106 further performs processing based on the estimation result by the estimation unit 108. That is, the processing unit 106 performs processing based on the similar region C n and the color of the shadow portion 34 estimated by the estimation unit 108 (pixel value of the estimated image G). For example, the processing unit 106 substitutes the pixel value obtained by substituting the pixel value in the similar region C n and the color of the shadow portion 34 estimated by the estimation unit 108 into a given formula, in the processing target region. It may be a pixel value.
  • This mathematical formula may be a predetermined mathematical formula, for example, a simple average or a weighted average. In the case of a weighted average, the coefficient may be determined in advance.
  • the processing target region is processed using not only the pixel values in the similar region C n but also the estimation result of the shadow portion 34, so that the accuracy of restoration of the shadow portion 34 is further increased. Can do.
  • the peripheral area A n utilized in the modification (2) and (3) may be estimated result in a modification (4). That is, rather than using a perimeter shadow S 1 that is photographed in the first image I IH the surrounding area A n as it is, in terms of estimating the shaded area 34 as in Modification (4), the peripheral region A n May be used as
  • the image processing apparatus 10 includes a surrounding area acquisition unit 109.
  • Surrounding region acquisition unit 109 based on the estimation result by the estimating unit 108 acquires the peripheral area A n.
  • the surrounding area acquisition unit 109 acquires the surrounding area An as the surrounding area An based on the pixel value of the image processed by the estimation unit 108.
  • the surrounding area acquisition unit 109 will retrieve some or all of the estimated image G as the surrounding area A n. That is, the peripheral region A n, of the estimated image G, the pixel p n (x n, y n ) may be a region of a predetermined shape around the.
  • a method in which identify areas similar to the surrounding area A n is the same as the method described in the modified examples.
  • the accuracy of restoration of the shadow part 34 can be further increased.
  • the similar region specifying unit 105 specifies the similar region C n based on the first image I 1H has been described.
  • the unit 105 may search for a region similar to the imaging partial region Bn or the like based on the second image I2H . That is, similar region specifying unit 105, at least one of the first image I IH and the second image I 2H (e.g., may be the among the first image I IH and the second image I 2H high-resolution, low-resolution Based on the first image I 1L and the second image I 2L ), a region similar to the photographing partial region B n or the like may be searched.
  • first similar region C n1 what is specified based on the first image I 1H is referred to as a first similar region C n1
  • second similar region C n2 what is specified based on the second image I 2H is referred to as a second similar region C n2 , Distinguish.
  • the second similar region C n2 may also be searched for each pixel pn (x n , y n ) that is a small region to be processed, like the first similar region C n1 .
  • the similar area specifying unit 105 may specify the second similar area C n2 similar to the imaging partial area B n based on the second image I 2H .
  • This specifying method itself may be the same as the method described in the first similar region C n1 . That is, the similar region specifying unit 105 may specify the second similar region C n2 by executing the template matching using the photographing partial region B n as a template image. For example, the similar area specifying unit 105 divides the second image I2H into a plurality of small areas having the same size as the shooting partial area Bn, and the pixel values in each small area and the pixels in the shooting partial area Bn . Based on the value, an evaluation value E H2R indicating the similarity is calculated. The calculation of the evaluation value E H2R may be the same as that of Equation 1 described in the embodiment, and may be based on the difference in pixel values.
  • the processing unit 106 may perform processing based on the second similar region Cn2 .
  • the processing unit 106 may perform processing based on both the first similar region C n1 and the second similar region C n2 .
  • the processing unit 106 substitutes the pixel value obtained by substituting the pixel value in the first similar region C n1 and the pixel value in the second similar region C n2 into a given formula in the processing target region. It is good also as a pixel value. That is, by mixing these two pixel values, may be filled shadows S 1.
  • This mathematical formula may be a predetermined mathematical formula, for example, a simple average or a weighted average. In the case of a weighted average, the coefficient may be determined based on the value of the evaluation value.
  • the processing unit 106 may select and process one of the first similar region C n1 and the second similar region C n2 .
  • the processing unit 106 compares the evaluation value E H1R of the first similar region C n1 with the evaluation value E H2R of the second similar region C n2 , and the processing unit 106 has a lower value (that is, a higher similarity level). ),
  • the region to be processed may be processed.
  • the processing method when the similarity is higher in the first similar region C n1 than in the second similar region C n2 is the same as the method described in the embodiment.
  • the processing unit 106 determines whether or not the pixels in the processing target region are based on the pixel values in the second similar region C n2 . Change the value.
  • the processing unit 106 processes based on the second similar region C n2. May be. In this case, the processing unit 106, based on the second similar region C n2, a pixel p n (x n, y n ) in the shadow S 1 as a processing target area to change the pixel values of.
  • the modification (6) it is possible to improve the accuracy of the restoration of the shadow portion 34 in consideration of the pixel value of the second similar region C n2 based on the high-resolution second image I2H .
  • the shadow portion 34 can be restored based on more information, so the accuracy of the restoration of the shadow portion 34 Can be further enhanced.
  • the similar region specifying unit 105 based on the second image I 2H, similar to the imaging partial regions B n and the surrounding area A n
  • the second similar region C n2 to be identified may be specified.
  • the method for specifying the second similar region C n2 may be the same as the method described in the modification (2). That is, similar region specifying unit 105, the pixel values of the small area of the second image I 2H, the pixel value of the surrounding area A n, on the basis, calculates an evaluation value E H2A indicating the degree of similarity.
  • the evaluation value E H2A may be calculated based on the difference between the pixel values, and a mathematical expression similar to the mathematical expression 1 described in the embodiment may be used.
  • Similar area specifying unit 105 the evaluation value E H2R indicating the similarity between the captured partial region B n, the evaluation value E H2A indicating the similarity between the peripheral regions A n, on the basis, a second similar region C n2 Is identified.
  • the similar region specifying unit 105 specifies a small region having the lowest sum of the evaluation value E H2R and the evaluation value E H2A (ie, a small region having a high overall similarity) as the second similar region C n2 . .
  • a small region may be selected using a value calculated by weighting with a predetermined coefficient instead of the sum of these.
  • a small area may be selected using these average values. That is, it suffices to second similar region C n2 is identified on the basis of overall similarity between the imaging partial regions B n and the surrounding area A n.
  • the similar region specifying unit 105 based on the second image I 2H, specifying a second peripheral similar region C n2A similar to the peripheral region A n You may do it.
  • the method itself for specifying a similar region may be the same as the method described in the modification (3). That is, the similar area specifying unit 105 may specify the second surrounding similar area C n2A by using the surrounding area An as a template image and performing template matching.
  • similar region specifying unit 105 small area most evaluation value E H2A indicating the similarity between the peripheral regions A n, or a small area of less than the evaluation value E H2A threshold, the second peripheral similar regions C n2A As specified.
  • the processing unit 106 may further perform processing based on the second surrounding similar region C n2A . That is, the processing unit 106 may perform processing based on the second similar region C n2 and the second surrounding similar region C n2A . For example, the processing unit 106 compares the evaluation value E H2R of the second similar region C n2 with the evaluation value E H2A of the second surrounding similar region C n2A , and the processing unit 106 has a lower value (that is, a higher similarity level). ), The region to be processed may be processed.
  • the processing method in the case where the second similar region C n2 has a higher similarity than the second surrounding similar region C n2A is the same as the method described in the modification (3).
  • the processing unit 106 uses the pixel value in the second surrounding similar region C n2A to It is sufficient to change the pixel value.
  • the processing unit 106 processes the pixel value obtained by substituting the pixel value in the second similar region C n2 and the pixel value in the second surrounding similar region C n2A into a given formula. It may be a pixel value in the region. That is, by mixing these two pixel values, may be filled shadows S 1.
  • This mathematical formula may be a predetermined mathematical formula, for example, a simple average or a weighted average. In the case of a weighted average, the coefficient may be determined based on the value of the evaluation value.
  • the estimation result of the estimation unit 108 may be a peripheral region A n. That is, also in the modified example (7), the surrounding area An may be acquired based on the estimated image G.
  • the shaded area 34 by identifying the second similar region C n2 in consideration also the similarity with the surrounding regions A n, the shaded area 34 by utilizing the information of the surrounding of the shadow S 1 Similar Can search for the area. As a result, the accuracy of restoration of the shadow portion 34 can be further increased.
  • the shadow target portion 34 is processed based on more information by processing the processing target region. Therefore, the accuracy of restoration of the shadow portion 34 can be further improved.
  • the restoration of the shadow portion 34 has been described as an example, but the image processing apparatus 10 may restore the shielding portion blocked by the shielding object.
  • the shielding object is an object that blocks an object when the object placed in the space 30 is viewed from the camera 20.
  • the shielding object is an object between the object and the camera 20.
  • an object obstructed by the shielding object is referred to as an object to be shielded.
  • the shielded object is an object that becomes invisible or difficult to see due to the shield.
  • the shield may be a luggage or a plastic bag on the road 32, or a signboard that hides the road 32.
  • the shield may be an object that does not have transparency, or may be a translucent object.
  • a part described as “shadow” can be read as “shielding object”, and a part described as “shadow part” can be read as “shielded part”.
  • the first image I 1H may show a state in which there is an obstacle in a part of the space 30.
  • the second image I 2H only needs to capture the shielded portion of the space 30.
  • the processing target area specifying unit 103 may specify the processing target area in which the shielding object is copied in the first image I 1H .
  • the imaging partial area specifying unit 104 may specify the imaging partial area B n in which the shielded part of the space 30 is captured.
  • the image processing apparatus 10 may remove the shielding object instead of the shadow and restore the shielding part instead of the shadow part. Thereby, the image processing apparatus 10 can improve the accuracy of restoring the shielded object.
  • the processing target small region may be a plurality of pixels (for example, 3 pixels ⁇ 3 pixels). In this case, the number of pixels may be different for each small region to be processed. Further, for example, the case where the processing target area is divided into the processing target small areas has been described, but the processing target area may not be divided into a plurality of areas.
  • the imaging partial area specifying unit 104 specifies one imaging partial area corresponding to the entire processing target area
  • the similar area specifying unit 105 includes one similar area similar to the one imaging partial area (for example, shadow S 1 may identify the similar region) that is similar to the whole.
  • the processing unit 106 may change the color of the entire processing target region based on one similar region.
  • the processing unit 106 may paste the similar region as it is on the processing target region (the shadow S 1 may be painted at once in the similar region similar to the entire shadow S 1 ), or the pixel value of the similar region You may make it change the pixel value of a process target area so that it may approach.
  • the second position P 2 may not be separated from the shadow portion or the shielding portion than the first position P 1.
  • the second position P 2 may be any photographable position shadows portion or the shielding portion may be the same distance may be close to the shadow portion or the shielding portion than the first position P 1.
  • photographing direction V 2 from the second position P 2 may be different from the imaging direction V 1 of the from the first position P 1.
  • the second image I 2H may be shot from a different angle from the first image I 1H so that a shadow portion or a shielded portion is captured.
  • the perspective transformation and the projection transformation may be performed in consideration of the difference in angle when specifying the photographing partial region Bn .
  • the first image I 1H and the second image I 2H may be a cube map that can be generated from an image captured by an omnidirectional camera. Further, for example, the first image I 1H and the second image I 2H do not have to be square, may be rectangular, or may be images of other shapes. Further, the first image I 1H and the second image I 2H may not be color images, but may be grayscale images or monochrome images. Further, the number of shadow parts or shielded parts to be restored may not be one but may be plural. Furthermore, when a plurality of shadow parts or shielded parts are included, all or only some of the objects to be restored may be restored.
  • the image processing apparatus 10 changes the pixel value of the processing target area based on the similar area searched out from the first image or the second image with high resolution.
  • the image processing apparatus 10 searches for a similar region from the low-resolution first image or the second image, and reduces the low-resolution.
  • the pixel value of the region to be processed may be changed based on the pixel value of the image. For example, in the prior art, the shielded portion is restored using only the first image, but the image processing apparatus 10 of the present modification uses the second image or the second image with a reduced resolution.
  • the image processing apparatus 10 specifies a similar region from at least one of the low-resolution first image and the low-resolution second image, and based on the pixel value of the low-resolution image, the pixel of the processing target region The value may be changed.
  • the image processing apparatus 10 may change the pixel value of the processing target area based on the captured partial area in the high-resolution or low-resolution second image without particularly specifying the similar area. Even in this way, there is a possibility that the accuracy of restoration can be improved as compared with the conventional technique using only the first image. That is, the similar area specifying unit 105 may be omitted. In this case, the processing unit 106 processes the processing target area based on the photographing partial area.
  • the method itself of processing the processing target region based on the pixel values in the region may be the same as the method described in the embodiment.
  • the processing unit 106 may change the pixel value of the processing target area so that the pixel value is the same as the pixel value of the shooting partial area, or the pixel value may not be the same as the pixel value of the shooting partial area. You may change the pixel value of a process target area

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Processing Or Creating Images (AREA)

Abstract

画像の復元の精度を高める。画像処理装置（１０）の第１画像取得手段（１０１）は、第１位置から撮影され、空間の一部に影又は遮蔽物がある様子が写された第１画像を取得する。第２画像取得手段（１０２）は、第１画像における空間の影部分又は被遮蔽部分から離れた第２位置から撮影され、影部分又は被遮蔽部分が写された第２画像を取得する。加工対象領域特定手段（１０３）は、第１画像において影又は遮蔽物が写された加工対象領域を特定する。撮影部分領域特定手段（１０４）は、第１画像における被写体と合うように第２画像を低解像度化し、低解像度化された第２画像において影部分又は被遮蔽部分が写された撮影部分領域を特定する。類似領域特定手段（１０５）は、第１画像及び第２画像の少なくとも一方の中から、撮影部分領域に類似する類似領域を特定する。加工手段（１０６）は、類似領域に基づいて、第１画像における加工対象領域を加工する。

Description

画像処理装置、画像処理方法、及びプログラム
　本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
　従来、空間をカメラで撮影した画像に写された影又は遮蔽物を取り除くための技術が検討されている。例えば、特許文献１には、被写体の一部が遮蔽物で遮られている場合に、遮蔽物の周囲のパターンに基づいて、画像から遮蔽物を除去し、遮蔽物で遮られた部分を復元する技術が記載されている。
http://research.microsoft.com/pubs/69211/siggraph05_0265_final.pdf
　しかしながら、非特許文献１の技術を利用しても、遮蔽物で遮られた部分と同じパターンがその近くに写されているとは限らないので、復元の精度を高められない可能性がある。
　この点、本発明の発明者達は、ある第１画像において影又は遮蔽物が写された場合に、その部分が見える位置から撮影した第２画像を利用し、復元の精度を高めることを極秘に独自で検討している。しかし、この場合、第１画像と第２画像は互いに異なる位置から撮影されており、被写体の写り方は第１画像と第２画像で異なる。このため、発明者達は、第２画像に写された上記部分をそのまま第１画像に貼り付けても精度を高めることができないと考えている。例えば、第２画像が第１画像よりも遠くから撮影されていたり、第２画像が第１画像とは異なる角度から撮影されていたりする場合、第１画像と合わせるために、第２画像の上記部分を拡大したり変形したりする必要がある。この場合、第２画像の上記部分に対する加工により例えば解像度が低下し、第１画像に貼り付けた部分だけが低解像度となってしまい、第１画像が不自然になってしまう。
　本発明は上記課題に鑑みてなされたものであって、その目的は、影又は遮蔽物が写された画像の復元の精度を高めることである。
　上記課題を解決するために、本発明に係る画像処理装置は、第１位置から撮影され、空間の一部に影又は遮蔽物がある様子が写された第１画像を取得する第１画像取得手段と、前記第１画像における前記空間の影部分又は被遮蔽部分から前記第１位置よりも離れた第２位置から撮影され、前記影部分又は前記被遮蔽部分が写された第２画像を取得する第２画像取得手段と、前記第１画像において前記影又は前記遮蔽物が写された加工対象領域を特定する加工対象領域特定手段と、前記第１画像における被写体と合うように前記第２画像を低解像度化し、前記低解像度化された第２画像において前記影部分又は前記被遮蔽部分が写された撮影部分領域を特定する撮影部分領域特定手段と、前記第１画像及び前記第２画像の少なくとも一方の中から、前記撮影部分領域に類似する類似領域を特定する類似領域特定手段と、前記類似領域に基づいて、前記第１画像における前記加工対象領域を加工する加工手段と、を含むことを特徴とする。
　本発明に係る画像処理方法は、第１位置から撮影され、空間の一部に影又は遮蔽物がある様子が写された第１画像を取得する第１画像取得ステップと、前記第１画像における前記空間の影部分又は被遮蔽部分から前記第１位置よりも離れた第２位置から撮影され、前記影部分又は前記被遮蔽部分が写された第２画像を取得する第２画像取得ステップと、前記第１画像において前記影又は前記遮蔽物が写された加工対象領域を特定する加工対象領域特定ステップと、前記第１画像における被写体と合うように前記第２画像を低解像度化し、前記低解像度化された第２画像において前記影部分又は前記被遮蔽部分が写された撮影部分領域を特定する撮影部分領域特定ステップと、前記第１画像及び前記第２画像の少なくとも一方の中から、前記撮影部分領域に類似する類似領域を特定する類似領域特定ステップと、前記類似領域に基づいて、前記第１画像における前記加工対象領域を加工する加工ステップと、を含むことを特徴とする。
　本発明に係るプログラムは、第１位置から撮影され、空間の一部に影又は遮蔽物がある様子が写された第１画像を取得する第１画像取得手段、前記第１画像における前記空間の影部分又は被遮蔽部分から前記第１位置よりも離れた第２位置から撮影され、前記影部分又は前記被遮蔽部分が写された第２画像を取得する第２画像取得手段、前記第１画像において前記影又は前記遮蔽物が写された加工対象領域を特定する加工対象領域特定手段、前記第１画像における被写体と合うように前記第２画像を低解像度化し、前記低解像度化された第２画像において前記影部分又は前記被遮蔽部分が写された撮影部分領域を特定する撮影部分領域特定手段、前記第１画像及び前記第２画像の少なくとも一方の中から、前記撮影部分領域に類似する類似領域を特定する類似領域特定手段、前記類似領域に基づいて、前記第１画像における前記加工対象領域を加工する加工手段、としてコンピュータを機能させる。
　また、本発明に係る情報記憶媒体は、上記のプログラムが記憶されたコンピュータ読み取り可能な情報記憶媒体である。
　また、本発明の一態様では、前記類似領域特定手段は、前記低解像度化された第２画像の解像度と合うように前記第１画像を低解像度化し、当該低解像度化された第１画像において、前記撮影部分領域に類似する領域を、前記類似領域として特定する。
　また、本発明の一態様では、前記加工手段は、低解像度化される前の前記第１画像における前記類似領域の画素値に基づいて加工する。
　また、本発明の一態様では、前記類似領域特定手段は、前記撮影部分領域と、前記第１画像における前記影又は前記遮蔽物を含む周囲領域と、に類似する前記類似領域を特定する。
　また、本発明の一態様では、前記画像処理装置は、前記第１画像及び前記第２画像の少なくとも一方の中から、前記第１画像における前記影又は前記遮蔽物を含む周囲領域に類似する周囲類似領域を特定する周囲類似領域特定手段を更に含み、前記加工手段は、更に前記周囲類似領域に基づいて加工する、ことを特徴とする。
　また、本発明の一態様では、前記画像処理装置は、前記第１画像における前記影又は半透明の前記遮蔽物の周囲に基づいて、前記空間の前記影部分又は前記被遮蔽部分を推定する推定手段を更に含み、前記加工手段は、更に前記推定手段による推定結果に基づいて加工する、ことを特徴とする。
　また、本発明の一態様では、前記画像処理装置は、前記第１画像における前記影又は半透明の前記遮蔽物の周囲に基づいて、前記空間の前記影部分又は前記被遮蔽部分を推定する推定手段と、前記推定手段による推定結果に基づいて、前記周囲領域を取得する周囲領域取得手段と、を含むことを特徴とする。
　また、本発明の一態様では、前記加工対象領域は、複数の加工対象小領域を含み、前記撮影部分領域特定手段は、前記複数の加工対象小領域にそれぞれ対応する複数の前記撮影部分領域を特定し、前記類似領域特定手段は、前記複数の撮影部分領域にそれぞれ類似する複数の前記類似領域を特定し、前記加工手段は、前記複数の加工対象小領域の各々を、対応する前記撮影部分領域に類似する前記類似領域に基づいて加工する、ことを特徴とする。
　また、本発明の一態様では、前記加工対象小領域は、前記第１画像において前記影又は前記遮蔽物が写された個々の画素又は複数の画素である。
　本発明によれば、影又は遮蔽物が写された画像の復元の精度が高まる。
画像処理装置のハードウェア構成を示す図である。 カメラで空間が撮影される様子を示す図である。 第１位置で撮影された第１画像の一例であり、 第２位置で撮影された第２画像の一例である。 画像処理装置で実現される機能の一例を示す機能ブロック図である。 加工対象領域及び加工対象小領域を示す図である。 加工された第２画像の一例を示す図である。 撮影部分領域を示す図である。 類似領域の特定方法を示す図である。 加工部による加工方法を示す図である。 加工部により加工された第１画像を示す図である。 画像処理装置において実行される処理の一例を示すフロー図である。 変形例の機能ブロック図である。 低解像度化された第１画像を示す図である。 変形例（２）における類似領域の特定方法を示す図である。 影部分の推定方法を示す図である。
　以下、本発明に関わる画像処理装置の実施形態の例を説明する。画像処理装置は、画像処理が可能なコンピュータであり、例えば、パーソナルコンピュータ、サーバコンピュータ、携帯情報端末（タブレット型コンピュータを含む）、又は携帯電話機（スマートフォンを含む）等である。
［１．画像処理装置のハードウェア構成］
　図１は、画像処理装置のハードウェア構成を示す図である。図１に示すように、画像処理装置１０は、制御部１１、記憶部１２、通信部１３、操作部１４、表示部１５、及び入出力部１６を含む。
　制御部１１は、例えば、一又は複数のマイクロプロセッサを含む。制御部１１は、記憶部１２に記憶されたプログラムやデータに従って処理を実行する。記憶部１２は、主記憶部及び補助記憶部を含む。例えば、主記憶部はＲＡＭなどの揮発性メモリであり、補助記憶部は、ハードディスクやフラッシュメモリなどの不揮発性メモリである。通信部１３は、有線通信又は無線通信用の通信インタフェースであり、ネットワークを介してデータ通信を行う。
　操作部１４は、ユーザが操作を行うための入力デバイスであり、例えば、タッチパネルやマウス等のポインティングデバイスやキーボード等である。操作部１４は、ユーザによる操作内容を制御部１１に伝達する。表示部１５は、例えば、液晶表示部又は有機ＥＬ表示部等である。表示部１５は、制御部１１の指示に従って画面を表示する。入出力部１６は、入出力インタフェースであり、例えば、ＵＳＢポートである。入出力部１６は、外部機器とデータ通信を行うために用いられる。例えば、入出力部１６は、カメラ２０と接続可能であり、画像を取り込めるようにしてよい。
　カメラ２０は、静止画や動画を撮影可能な一般的な撮像装置であり、例えば、ＣＭＯＳイメージセンサ又はＣＣＤイメージセンサなどの撮像素子を含む。カメラ２０は、撮像素子で撮影した画像を生成してそのデータをメモリに記録する。このメモリは、カメラ２０に内蔵されたメモリであってもよいし、取り外し可能なフラッシュメモリなどであってもよい。また、カメラ２０は、広角レンズ又は魚眼レンズを備えていてもよく、画角や焦点距離は任意であってよい。例えば、カメラ２０は、全天球カメラであってもよいし、複数のレンズを備えることで水平方向及び垂直方向の少なくとも一方の全方向を撮影可能なカメラであってもよい。
　なお、記憶部１２に記憶されるものとして説明するプログラム及びデータは、ネットワークを介して供給されるようにしてもよい。また、画像処理装置１０のハードウェア構成は、上記の例に限られず、種々のハードウェアを適用可能である。例えば、画像処理装置１０は、コンピュータ読み取り可能な情報記憶媒体を読み取る読取部（例えば、光ディスクドライブやメモリカードスロット）を含んでもよい。例えば、情報記憶媒体に記憶されたプログラムやデータが当該読取部や入出力部１６を介して、画像処理装置１０に供給されるようにしてもよい。
［２．画像処理装置が実行する処理の概要］
　次に、画像処理装置１０が実行する処理の概要を説明する。本実施形態では、例えば、ユーザが空間内を移動しながらカメラ２０で撮影し、複数の位置でそれぞれ撮影された複数の画像が生成される。なお、空間は、カメラ２０の撮影対象となる地球上の場所であり、複数の被写体が配置されている。
　図２は、カメラ２０で空間が撮影される様子を示す図である。図２に示すように、例えば、空間３０には、地面３１の上に道路３２と塀３３が配置されている。ユーザは、道路３２の上においてカメラ２０を三脚２１で固定して撮影する。ここでは、ユーザは、第１位置Ｐ１と第２位置Ｐ２で撮影する場合を説明するが、３地点以上において撮影してもよい。また、第１位置Ｐ１における撮影方向Ｖ１と、第２位置Ｐ２における撮影方向Ｖ２と、は異なっていてもよいが、説明の簡略化のために、ここでは同じとする。
　また、本実施形態では、カメラ２０の後方に太陽があるものとする。このため、図２に示すように、第１位置Ｐ１における撮影時には、カメラ２０及び三脚２１の影Ｓ１が前方に伸び、第２位置Ｐ２における撮影時には、カメラ２０及び三脚２１の影Ｓ２が前方に伸びている。また、塀３３の影Ｓ３も地面３１の上にある。なお、図２では、説明の都合上、影Ｓ１，Ｓ２の両方を示しているが、実際には、第１位置Ｐ１における撮影時には影Ｓ２は存在せず、第２位置Ｐ２における撮影時には影Ｓ１は存在しない。
　図３は、第１位置Ｐ１で撮影された第１画像の一例であり、図４は、第２位置Ｐ２で撮影された第２画像の一例である。なお、ここでは、画像の左上を原点ＯＳとしたスクリーン座標軸（ＸＳ軸及びＹＳ軸）が設定され、画像内の画素の位置は、２次元座標で示されるものとする。また、第１画像Ｉ１Ｈと第２画像Ｉ２Ｈは、互いに同じサイズであり、ここでは、正方形とする。
　図３及び図４に示すように、第１画像Ｉ１Ｈには影Ｓ１が写されており、第２画像Ｉ２Ｈには影Ｓ２が写されている。先述したように、第２画像Ｉ２Ｈの撮影時には影Ｓ１が存在しないので、第１画像Ｉ１Ｈにおいて影Ｓ１がある空間３０の一部分（ここでは、道路３２上の一部分である。以降、影部分３４という。）は、第２画像Ｉ２Ｈでは、影で暗くなっておらず、明るい状態で写されている。このため、第１画像Ｉ１Ｈでは影Ｓ１で暗くなって見えにくい影部分３４の模様が、第２画像Ｉ２Ｈでは鮮明に写されている。
　一応、第２画像Ｉ２Ｈにおいて影部分３４を判別可能ではあるが、先述したように、第２画像Ｉ２Ｈの影部分３４は拡大したり変形したりする必要があるため十分に復元の精度を高めることができないと、発明者達は考えている。一方、第１画像Ｉ１Ｈには、道路３２の他の部分が撮影されており、影部分３４と似た様子が写されている可能性がある。このため、本実施形態では、第１画像Ｉ１Ｈの中から影部分３４に類似する領域を探し出し、当該領域に基づいて第１画像Ｉ１Ｈに写された影Ｓ１の色を変えるようにしている。以降、この技術の詳細を説明する。
［３．画像処理装置において実現される機能］
　図５は、画像処理装置１０で実現される機能の一例を示す機能ブロック図である。図５に示すように、本実施形態では、データ記憶部１００、第１画像取得部１０１、第２画像取得部１０２、加工対象領域特定部１０３、撮影部分領域特定部１０４、類似領域特定部１０５、及び加工部１０６が画像処理装置１０で実現される場合を説明する。
［３－１．データ記憶部］
　データ記憶部１００は、記憶部１２を主として実現される。データ記憶部１００は、カメラ２０が撮影した画像（写真）を記憶する。本実施形態は、複数の画像の各々の縦横比、サイズ、解像度、色数（カラー画像におけるビット数）、及びデータ形式が互いに同じであるものとするが、画像間でこれらは異なっていてもよい。データ記憶部１００は、互いに異なる位置から撮影された複数の画像を記憶することになる。
　なお、本実施形態では、データ記憶部１００に画像が記憶される場合を説明するが、画像は、他の機器又はコンピュータに記憶されているようにしてもよい。例えば、画像は、カメラ２０のメモリに記憶されていてもよいし、サーバコンピュータに記憶されていてもよい。即ち、後述する第１画像取得部１０１及び第２画像取得部１０２は、データ記憶部１００以外から画像を取得してもよい。
［３－２．第１画像取得部］
　第１画像取得部１０１は、制御部１１を主として実現される。本実施形態の第１画像取得部１０１は、第１位置Ｐ１から撮影され、空間３０の一部に影Ｓ１がある様子が写された第１画像Ｉ１Ｈを取得する。例えば、第１画像取得部１０１は、データ記憶部１００に記憶された第１画像Ｉ１Ｈを取得する。
　第１画像Ｉ１Ｈは、空間３０の一部である影部分３４に影Ｓ１がある状態で撮影された画像である。先述したように、影部分３４は、第１画像Ｉ１Ｈの撮影時に影Ｓ１が落とされた部分である。別の言い方をすれば、影部分３４は、第１画像Ｉ１Ｈに写された被写体のうち、影Ｓ１で暗くなった部分の被写体である。本実施形態では、影部分３４は、第１画像Ｉ１Ｈの撮影時にカメラ２０及び三脚２１の影Ｓ１がある道路３２の一部分である。
［３－３．第２画像取得部］
　第２画像取得部１０２は、制御部１１を主として実現される。第２画像取得部１０２は、第２位置Ｐ２から撮影され、第１画像Ｉ１Ｈにおける空間３０の影部分３４が写された第２画像Ｉ２Ｈを取得する。本実施形態では、第２画像取得部１０２は、第１画像Ｉ１Ｈにおける空間３０の影部分３４から第１位置Ｐ１よりも離れた第２位置Ｐ２から撮影され、影部分３４が写された第２画像Ｉ２Ｈを取得する。例えば、第２画像取得部１０２は、データ記憶部１００に記憶された第２画像Ｉ２Ｈを取得する。
　第２画像Ｉ２Ｈは、影部分３４に影がない状態で撮影されている。即ち、第２画像Ｉ２Ｈは、影部分３４に対して光が当たった状態で撮影されている。なお、第２画像Ｉ２Ｈには、影部分３４に絶対に影があってはならないわけではなく、第１画像Ｉ１Ｈよりも影部分３４が鮮明であれば、影部分３４に少しだけ影があってもよい。また、本実施形態では、図２に示すように、第２位置Ｐ２は、第１位置Ｐ１よりも影部分３４から離れているので、影部分３４は、第２画像Ｉ２Ｈでは第１画像Ｉ１Ｈよりも小さく写されている。同様に、第１画像Ｉ１Ｈに写された道路３２及び塀３３の部分も、第２画像Ｉ２Ｈでは、第１画像Ｉ１Ｈよりも小さく写されている。
［３－４．加工対象領域特定部］
　加工対象領域特定部１０３は、制御部１１を主として実現される。加工対象領域特定部１０３は、第１画像Ｉ１Ｈにおいて影Ｓ１が写された加工対象領域を特定する。
　加工対象領域は、影Ｓ１の一部又は全部を少なくとも含む領域であり、加工部１０６による画像処理の対象となる領域といえる。加工対象領域は、影Ｓ１を示す画素だけから構成されてもよいし、影Ｓ１を示す画素とその周囲の画素とから構成されてもよい。ここでは、加工対象領域が、影Ｓ１を示す画素だけから構成される場合を説明する。なお、加工対象領域が、影Ｓ１を示す画素とその周囲の画素を含む場合には、加工対象領域は、影Ｓ１の輪郭から所定距離以内の画素を含む領域としてもよいし、所定形状及び所定サイズの領域であってもよい。
　加工対象領域は、特に複数の領域に分かれていなくてもよいが、本実施形態では、複数の加工対象小領域を含むものとする。加工対象小領域は、後述する類似領域の検索単位となる領域であり、例えば、影Ｓ１を示す画素全体のうち、少なくとも１つの画素から構成される領域である。本実施形態では、加工対象小領域は、第１画像Ｉ１Ｈにおいて影Ｓ１が写された個々の画素である場合を説明するが、影Ｓ１が写された複数の画素であってもよい。このため、加工対象領域である影Ｓ１がｎ個（ｎは正整数であり、加工対象領域の総画素数を示す。）の画素によって示されたとすると、加工対象小領域もｎ個存在する。
　図６は、加工対象領域及び加工対象小領域を示す図である。先述したように、本実施形態では、加工対象領域は影Ｓ１であるため、図６に示すように、加工対象小領域は、影Ｓ１を構成する個々の画素ｐｎ（ｘｎ，ｙｎ）となる。なお、（ｘｎ，ｙｎ）は、画素を識別する２次元座標である。本実施形態では、画素ｐｎ（ｘｎ，ｙｎ）ごとに、当該画素ｐｎ（ｘｎ，ｙｎ）を含む所定サイズの周囲領域Ａｎが設定される。ここでは、周囲領域Ａｎは、画素ｐｎ（ｘｎ，ｙｎ）を中心点とする所定サイズの正方形である。本実施形態では、周囲領域Ａｎは、後述する撮影部分領域を特定するために用いられる。なお、図６では、周囲領域Ａｎを１つだけ示しているが、周囲領域Ａｎは、加工対象小領域の数（即ち、ｎ個）だけ設定される。
　加工対象領域特定部１０３は、ユーザの操作又は画像解析に基づいて、加工対象領域を特定すればよい。例えば、ユーザの操作に基づいて加工対象領域が特定される場合には、加工対象領域特定部１０３は、表示部１５に第１画像Ｉ１Ｈを表示させ、ユーザの操作を受け付ける。例えば、ユーザは、操作部１４を操作して、影Ｓ１を表す領域を選択する。領域を選択する操作は、一般的なペイントソフトで採用されている領域選択操作であってよく、例えば、ポインティングデバイスを利用してカーソルで影Ｓ１の輪郭又はその付近をなぞる操作であってもよい。加工対象領域特定部１０３は、ユーザが選択した領域に基づいて、加工対象領域を特定する。
　また例えば、画像解析に基づいて加工対象領域が特定される場合には、加工対象領域特定部１０３は、影Ｓ１の基本パターンを示すテンプレート画像を利用したテンプレートマッチングに基づいて、影Ｓ１を特定し、加工対象領域を特定する。他にも例えば、影Ｓ１は所定の色（例えば、黒、濃紺、又はグレー）を有しているので、加工対象領域特定部１０３は、第１画像Ｉ１Ｈに対してエッジ検出処理を実行して抽出した領域（即ち、同一色又は類似色が連続する領域）のうち所定の色を有する領域を、加工対象領域として特定してもよい。なお、影Ｓ１を特定するアルゴリズム自体は、公知の種々の影検出アルゴリズムを適用可能である。加工対象領域特定部１０３は、影検出アルゴリズムで検出した領域に基づいて、加工対象領域を特定すればよい。
　なお、第１画像Ｉ１Ｈの中には、カメラ２０の三脚２１の影Ｓ１以外の影（例えば、塀３３の影Ｓ３）も存在するので、例えば、加工対象領域特定部１０３は、第１画像Ｉ１Ｈの所定領域（例えば、画像の下半分や中央付近）だけを加工対象領域の検索対象としてもよい。このように、加工対象領域の位置が予想可能である場合には、検索対象となる領域を少なくして、画像処理装置１０の処理負荷軽減及び加工対象領域の迅速な特定を図るようにしてもよい。
［３－５．撮影部分領域特定部］
　撮影部分領域特定部１０４は、制御部１１を主として実現される。撮影部分領域特定部１０４は、第２画像Ｉ２Ｈに基づいて、空間３０の影部分３４が写された撮影部分領域を特定する。なお、本実施形態では、撮影部分領域特定部１０４は、第２画像Ｉ２Ｈを加工して撮影部分領域を特定する場合を説明するが、特に加工せずに第２画像Ｉ２Ｈの中で撮影部分領域を特定してもよい。
　撮影部分領域は、影部分３４が写された画像の一部分である。別の言い方をすれば、撮影部分領域は、第１画像Ｉ１Ｈよりも影部分３４が鮮明に又は明るく写された画像の一部分である。本実施形態では、撮影部分領域は、空間３０の影部分３４に影がない状態で写された画像内の一部分である。
　例えば、第１画像Ｉ１Ｈの撮影タイミングと、第２画像Ｉ２Ｈの撮影タイミングと、の時間差がほとんどない場合、塀３３と太陽との位置関係はほとんど変わらないので、道路３２上にできた塀３３の影Ｓ３の形状もほとんど変わらない。本実施形態では、この点に注目し、撮影部分領域特定部１０４は、第１画像Ｉ１Ｈにおける影Ｓ３の形状と合うように、第２画像Ｉ２Ｈを加工する場合を説明する。このように第２画像Ｉ２Ｈを加工するのは、第１画像Ｉ１Ｈにおいて影Ｓ１が写った画素に対応する第２画像Ｉ２Ｈの画素がどこであるかを特定するためである。なお、加工とは、拡大、縮小、変形、透視変換、投影変換、解像度変更、又は切り取りなどの種々の画像処理を含む意味である。
　まず、撮影部分領域特定部１０４は、公知の影検出アルゴリズム又は輪郭抽出アルゴリズムに基づいて、第１画像Ｉ１Ｈに写された影Ｓ３と、第２画像Ｉ２Ｈに写された影Ｓ３と、を特定し、それぞれの特徴点を抽出する。特徴点は、影Ｓ３の形状的な特徴を表す点であればよく、例えば、影Ｓ３の輪郭上の任意の点が用いられるようにしてよい。ここでは、特徴点の一例として、影Ｓ３の頂点を用いる。そして、撮影部分領域特定部１０４は、第１画像Ｉ１Ｈの影Ｓ３の特徴点の位置関係と、第２画像Ｉ２Ｌの影Ｓ３の特徴点の位置関係と、に基づいて、第２画像Ｉ２Ｈを加工する。
　図７は、加工された第２画像Ｉ２Ｌの一例を示す図である。なお、ここでは、加工の一例として、透視変換及び投影変換を説明する。一般的に、透視変換及び投影変換が行われると画像の解像度は低下するので、図７では、第２画像Ｉ２Ｌが低解像度化されている様子を、模式的に破線で描いている。即ち、本実施形態では、図面において、実線で描画している被写体は高解像度であることを意味し、破線で描画している被写体は低解像度であることを意味する。
　図７に示すように、撮影部分領域特定部１０４は、第１画像Ｉ１Ｈの影Ｓ３の特徴点Ｑ１～Ｑ５の２次元座標と、第２画像Ｉ２Ｌの影Ｓ３の特徴点Ｒ１～Ｒ５の２次元座標と、のずれ具合が閾値未満となるように、第２画像Ｉ２Ｌを加工する。例えば、撮影部分領域特定部１０４は、これらの２次元座標の差に基づいて、特徴点のずれ具合を示す評価値を算出してもよい。例えば、撮影部分領域特定部１０４は、第２画像Ｉ２Ｈに対する透視変換及び投影変換を繰り返すことによって、評価値が示すずれ具合が閾値未満となる第２画像Ｉ２Ｌを見つけ出す。即ち、撮影部分領域特定部１０４は、第２画像Ｉ２Ｌにおける影Ｓ３が第１画像Ｉ１Ｈにおける影Ｓ３と合うように、第２画像Ｉ２Ｈを加工する。
　上記のように、撮影部分領域特定部１０４は、第１画像Ｉ１Ｈの影Ｓ３と第２画像Ｉ２Ｌの影Ｓ３とのサイズ合わせ及び位置合わせをする。なお、サイズ合わせ及び位置合わせの精度を高めるために、撮影部分領域特定部１０４は、第１画像Ｉ１Ｈ及び第２画像Ｉ２Ｈのうち、道路３２以外の部分に対してぼかし処理を施したうえで、上記のサイズ合わせ及び位置合わせをするようにしてもよい。この場合、道路３２以外の部分はぼかされているので、影Ｓ３の特徴点だけを正確に検出することができるので、サイズ合わせ及び位置合わせの精度を高めることができる。なお、道路３２以外の部分は、ぼかすのではなく、マスクすることによって特徴点抽出の対象外としてもよい。
　なお、ここでは、影Ｓ３を基準にしたが、第１画像Ｉ１Ｈと第２画像Ｉ２Ｈの両方に写された被写体を基準にすればよい。このため、他の被写体（例えば、道路３２や塀３３など）を基準にしてサイズ合わせ及び位置合わせが行われるようにしてもよい。被写体の特定は、公知の物体検出アルゴリズムを利用すればよい。
　本実施形態では、先述したように、加工対象領域（ここでは、影Ｓ１）が複数の加工対象小領域（ここでは、影Ｓ１を示す画素ｐｎ（ｘｎ，ｙｎ））に分けられているので、撮影部分領域特定部１０４は、複数の加工対象小領域にそれぞれ対応する複数の撮影部分領域を特定する。即ち、１つの加工対象領域に対して、１つの撮影部分領域が特定される。
　図８は、撮影部分領域を示す図である。図８に示すように、例えば、撮影部分領域特定部１０４は、低解像度化された第２画像Ｉ２Ｌにおいて、加工対象小領域である画素ｐｎ（ｘｎ，ｙｎ）と同じ座標の画素を含むように、撮影部分領域Ｂｎを特定する。なお、これらは全く同じ座標である必要はなく、多少のずれがあってもよい。また、撮影部分領域Ｂｎは、周囲領域Ａｎと同じ形状及びサイズであり、画素ｐｎ（ｘｎ，ｙｎ）を中心点とした所定サイズの正方形とする。なお、これらは、全く同じ形状及びサイズである必要はなく、形状及びサイズが多少はずれていてもよい。
　上記のように、本実施形態では、第２位置Ｐ２は、第１位置Ｐ１よりも、空間３０の影部分３４から離れているので、撮影部分領域特定部１０４は、第１画像Ｉ１Ｈにおける被写体と合うように第２画像Ｉ２Ｈを低解像度化する。そして、撮影部分領域特定部１０４は、低解像度化された第２画像Ｉ２Ｌにおいて影部分３４が写された領域を、撮影部分領域Ｂｎとして取得する。例えば、撮影部分領域特定部１０４は、第１画像Ｉ１Ｈにおける加工対象領域と同じ位置（２次元座標）にある第２画像Ｉ２Ｌ内の領域を、撮影部分領域Ｂｎとして特定する。このため、加工対象領域に含まれる２次元座標と、撮影部分領域Ｂｎとに含まれる２次元座標と、は同じとなる。
　また、ここでは、画像解析を利用して撮影部分領域Ｂｎが特定される場合を説明したが、撮影部分領域特定部１０４は、ユーザの操作に基づいて撮影部分領域Ｂｎを特定してもよい。この場合、撮影部分領域特定部１０４は、表示部１５に第２画像Ｉ２Ｈ又は低解像度化された第２画像Ｉ２Ｌを表示させ、ユーザの操作を受け付ける。撮影部分領域特定部１０４は、ユーザが選択した領域を、撮影部分領域Ｂｎとして特定すればよい。また例えば、撮影部分領域特定部１０４は、ユーザの操作によってある程度は第２画像Ｉ２Ｈを加工したうえで、低解像度化された第２画像Ｉ２Ｌが第１画像Ｉ１Ｈと合うように画像解析によって調整してもよい。
［３－６．類似領域特定部］
　類似領域特定部１０５は、制御部１１を主として実現される。類似領域特定部１０５は、第１画像Ｉ１Ｈ及び第２画像Ｉ２Ｈの少なくとも一方に基づいて、撮影部分領域Ｂｎに類似する類似領域Ｃｎを特定する。本実施形態では、類似領域特定部１０５は、第１画像Ｉ１Ｈの中から類似領域Ｃｎを特定する場合を説明するが、後述する変形例のように、第１画像Ｉ１Ｈを加工した画像の中から類似領域Ｃｎを特定してもよいし、第２画像Ｉ２Ｈの中で類似領域Ｃｎを特定してもよいし、これらの画像の中で類似領域Ｃｎを特定してもよい。なお、類似領域Ｃｎは、画像全体の中から探索されるのではなく、中央付近や端部付近などの一部分から探索されてもよい。
　また、本実施形態では、加工対象小領域である画素ｐｎ（ｘｎ，ｙｎ）ごとに撮影部分領域Ｂｎが特定されるので、類似領域特定部１０５は、複数の撮影部分領域Ｂｎにそれぞれ類似する複数の類似領域Ｃｎを特定する。即ち、ここでは、１つの撮影部分領域Ｂｎに対して、１つの類似領域Ｃｎが特定される。なお、特に加工対象小領域が設定されない場合には、類似領域Ｃｎが１つだけ特定されるようにしてもよい。
　図９は、類似領域の特定方法を示す図である。例えば、類似領域特定部１０５は、撮影部分領域Ｂｎをテンプレート画像とし、テンプレートマッチングを実行することによって、類似領域Ｃｎを特定する。図９に示すように、類似領域特定部１０５は、第１画像Ｉ１Ｈを撮影部分領域Ｂｎと同じ又は同程度のサイズの複数の小領域（図７では、破線で区切られた８×８の６４個）に分割する。なお、ここでは、説明の簡略化のために、比較的大きい小領域としているが、数百個又はそれ以上の小領域に分割してサイズを小さくしてもよい。同様に、撮影部分領域Ｂｎも小さなサイズにして複数の領域に分割してもよい。
　そして、類似領域特定部１０５は、各小領域内の画素値と、撮影部分領域Ｂｎ内の画素値と、に基づいて、類似度を示す評価値を算出する。なお、画素値とは、画素の色を示す値であり、ＲＧＢカラー画像であれば、Ｒ値、Ｇ値、及びＢ値である。画素値は、明度とも呼ばれる。例えば、類似領域特定部１０５は、下記の数式１を用いて評価値を算出してもよい。なお、評価値の算出は、数式１に限られず、画素値のずれ具合を総合的に評価可能な数式を用いればよい。
Figure JPOXMLDOC01-appb-M000001
　上記数式１のＥＨ１Ｒは、評価値である。ｍは、小領域及び撮影部分領域Ｂｎ内の画素の総数である。Ｘ１Ｈｉは、小領域内の各画素の画素値である。ＸＢｎｉは、撮影部分領域Ｂｎ内の各画素の画素値である。ここでは、これらの差の二乗の総和を評価値ＥＨ１Ｒとして用いているので、評価値ＥＨ１Ｒが大きいほど色のずれ具合が大きいことを示し、評価値ＥＨ１Ｒが小さいほど色のずれ具合が小さいことを示す。類似領域特定部１０５は、評価値ＥＨ１Ｒが最も小さくなる小領域、又は、評価値ＥＨ１Ｒが閾値未満となる小領域を、類似領域Ｃｎとして特定する。なお、上記説明した類似領域Ｃｎの特定方法は一例であり、画像の類否判断が可能な種々のマッチング手法を適用可能である。
［３－７．加工部］
　加工部１０６は、制御部１１を主として実現される。加工部１０６は、類似領域Ｃｎに基づいて、第１画像Ｉ１Ｈにおける加工対象領域を加工する。ここでの加工とは、加工対象領域の画素値を変えることであり、即ち、加工対象領域の色を変えることである。
　図１０は、加工部１０６による加工方法を示す図である。本実施形態では、加工対象領域（ここでは、影Ｓ１）が加工対象小領域（ここでは、影Ｓ１の画素ｐｎ（ｘｎ，ｙｎ））に分けられているので、加工部１０６は、複数の加工対象小領域の各々を、対応する撮影部分領域Ｂｎに類似する類似領域Ｃｎに基づいて加工する。
　例えば、加工部１０６は、周囲領域Ａｎの中心にある加工対象小領域の画素ｐｎ（ｘｎ，ｙｎ）の画素値を、類似領域Ｃｎ内の画素（例えば、中心の画素）の画素値とする。加工部１０６は、この処理を画素ｐｎ（ｘｎ，ｙｎ）の数だけ繰り返す。なお、加工部１０６は、類似領域Ｃｎ内の画素値と全く同じになるように画素値を変更してもよいし、類似領域Ｃｎ内の画素値と全く同じでなくても、当該画素値に近づくように画素値を変更してもよい。
　図１１は、加工部１０６により加工された第１画像Ｉ１Ｈを示す図である。図１１に示すように、加工部１０６の処理により、加工対象領域である影Ｓ１が除去され、影部分３４にある模様と同じ又は似た模様が、加工対象領域内に描画される。なお、加工部１０６は、加工対象領域内の色を変更した後に、ポアソンブレンディングのように色の境界を滑らかにする処理を施してもよい。
［４．本実施形態において実行される処理］
　図１２は、画像処理装置１０において実行される処理の一例を示すフロー図である。図１２に示す処理は、制御部１１が、記憶部１２に記憶されたプログラムに従って動作することによって実行される。下記に説明する処理は、図５に示す機能ブロックにより実行される処理の一例である。
　図１２に示すように、まず、制御部１１は、第１画像Ｉ１Ｈ及び第２画像Ｉ２Ｈを取得する（Ｓ１，Ｓ２）。第１画像Ｉ１Ｈ及び第２画像Ｉ２Ｈの各々は、記憶部１２に記憶されていてもよいし、カメラ２０内のメモリに記憶されていてもよい。あるいは、画像処理装置１０に接続された情報記憶媒体に記憶されていてもよいし、サーバコンピュータなどに記憶されていてもよい。
　制御部１１は、第１画像Ｉ１Ｈの中から、影Ｓ１が写された領域である加工対象領域を特定する（Ｓ３）。先述したように、Ｓ３においては、制御部１１は、ユーザの選択に基づいて加工対象領域である影Ｓ１を特定してもよいし、画像解析により加工対象領域である影Ｓ１を特定してもよい。
　制御部１１は、第１画像Ｉ１Ｈと合うように、第２画像Ｉ２Ｈを低解像度化する（Ｓ４）。先述したように、Ｓ４においては、制御部１１は、第１画像Ｉ１Ｈに写された影Ｓ３の特徴点と、第２画像Ｉ２Ｌに写された影Ｓ３の特徴点と、のずれ具合が閾値未満となるまで透視変換及び投影変換を繰り返す。
　制御部１１は、低解像度化された第２画像Ｉ２Ｌの中から、影Ｓ１の画素ｐｎ（ｘｎ，ｙｎ）ごとに、撮影部分領域Ｂｎを特定する（Ｓ５）。先述したように、Ｓ５においては、制御部１１は、第１画像Ｉ１Ｈと、低解像度化された第２画像Ｉ２Ｌと、を重ね合わせ、加工対象小領域である画素ｐｎ（ｘｎ，ｙｎ）と同じ座標を含む所定形状の領域を、当該画素ｐｎ（ｘｎ，ｙｎ）の撮影部分領域Ｂｎとして特定することになる。ここでは、加工対象小領域がｎ個あるので、制御部１１は、ｎ個分の撮影部分領域Ｂｎを特定する。
　制御部１１は、第１画像Ｉ１Ｈの中から、Ｓ５で特定した撮影部分領域Ｂｎごとに、類似領域Ｃｎを特定する（Ｓ６）。先述したように、Ｓ６においては、制御部１１は、第１画像Ｉ１Ｈを複数の小領域に分割し、撮影部分領域Ｂｎ内の画素値との類似度を示す評価値ＥＨ１Ｒに基づいて類似領域Ｃｎを特定する。ここでは、加工対象小領域がｎ個あるので、制御部１１は、ｎ個分の類似領域Ｃｎを特定する。
　制御部１１は、Ｓ６で特定した類似領域Ｃｎに基づいて、第１画像Ｉ１Ｈの加工対象領域（ここでは、影Ｓ１）を加工し（Ｓ７）、本処理は終了する。Ｓ７においては、先述したように、制御部１１は、類似領域Ｃｎ内の画素値を、加工対象領域内の画素の画素値とする。ここでは、加工対象小領域がｎ個あるので、制御部１１は、ｎ個分の類似領域Ｃｎに基づいて、対応する加工対象小領域の画素値を変更する。
　以上説明した画像処理装置１０によれば、高解像度の第１画像Ｉ１Ｈから類似領域Ｃｎを検索し、加工対象領域である影Ｓ１を加工するので、解像度の差に起因する不自然さを解消することができ、影部分３４の復元の精度を高めることができる。例えば、実施形態では、撮影部分領域Ｂｎは低解像度化された第２画像Ｉ２Ｌから特定されたものなので、撮影部分領域Ｂｎに影部分３４が写っていたとしても、低解像度の画像をそのまま高解像度の第１画像Ｉ１Ｈに貼り付けると、不自然な状態となってしまう。即ち、例えば、低解像度の画像は、高解像度の画像に比べて、被写体の色が詳細に表れていなかったり、色の変化が厳密に表れていなかったりする（例えば、低解像度の画像だと全体的にぼやけるため、色の変化が実際よりも小さくなるが、高解像度だと、はっきりと色が変化する様子を表現できる）ため、高解像度の第１画像Ｉ１Ｈに低解像度の画像を貼り付けると、不自然となる。この点、実施形態のように、高解像度の第１画像Ｉ１Ｈから類似領域Ｃｎを検索して、加工対象領域である影Ｓ１の色を変えることによって、加工した部分は、被写体の色を詳細に示したり、色の変化を厳密に表したりすることができるので、より自然な状態で影部分３４を復元することができる。また、第１画像Ｉ１Ｈの全体から類似領域Ｃｎを探索するので、第１画像Ｉ１Ｈにおいて影Ｓ１から離れた部分に、影部分３４と似たパターンが存在していたとしても、その部分を検出して復元することもできる。更に、第１画像Ｉ１Ｈにおける被写体と合うように第２画像Ｉ２Ｈを低解像度化することで、影部分３４が写された撮影部分領域Ｂｎをより正確に特定することができる。
　また、加工対象領域を複数の加工対象小領域に分け、加工対象小領域ごとに、対応する類似領域Ｃｎに基づいて加工する場合には、より細かい単位で色の類否を判断し、影Ｓ１の色を変えることができるので、影部分３４の復元の精度をより高めることができる。
　また、加工対象小領域を、影Ｓ１を構成する個々の画素ｐｎ（ｘｎ，ｙｎ）とし、より細かい単位に分けることで、より細かく色の類否を判断することができるので、影部分３４の復元の精度をより高めることができる。
［５．変形例］
　なお、本発明は、以上に説明した実施の形態に限定されるものではない。本発明の趣旨を逸脱しない範囲で、適宜変更可能である。
　図１３は、変形例の機能ブロック図である。図１３に示すように、以降説明する変形例では、周囲類似領域特定部１０７、推定部１０８、及び周囲領域取得部１０９が実現される。これら各機能は、制御部１１を主として実現される。なお、画像処理装置１０は、これらを全て備える必要はない。
　（１）例えば、実施形態で説明したように、低解像度化した第２画像Ｉ２Ｌから撮影部分領域Ｂｎが特定される場合、マッチングの精度をより高めるために、第１画像Ｉ１Ｈの解像度を第２画像Ｉ２Ｌと同程度まで低下させ、低解像度化された第１画像Ｉ１Ｌの中から、類似領域Ｃｎを探索してもよい。
　変形例（１）の類似領域特定部１０５は、低解像度化された第２画像Ｉ２Ｌの解像度と合うように第１画像Ｉ１Ｈを低解像度化する。例えば、類似領域特定部１０５は、第２画像Ｉ２Ｌと同じ解像度まで第１画像Ｉ１Ｈの解像度を低下させてもよいし、全く同じ解像度でなくとも、第２画像Ｉ２Ｌの解像度の差が閾値未満となる解像度まで第１画像Ｉ１Ｈの解像度を低下させてもよい。なお、画像の解像度を低下させる方法自体は、公知の解像度変換方法を適用可能である。
　図１４は、低解像度化された第１画像Ｉ１Ｌを示す図である。なお、図１４では、図７と同様に、画像が低解像度化される様子を、模式的に破線で示している。図１４に示すように、低解像度化された第１画像Ｉ１Ｌは、低解像度化された第２画像Ｉ２Ｌと同程度のぼやけ具合となっている。類似領域特定部１０５は、第１画像Ｉ１Ｈを低解像度化して、全体的に被写体をぼかした第１画像Ｉ１Ｌを生成することになる。
　本変形例の類似領域特定部１０５は、低解像度化された第１画像Ｉ１Ｌにおいて、撮影部分領域Ｂｎに類似する領域を、類似領域Ｃｎとして特定する。即ち、低解像度化された第１画像Ｉ１Ｌにおいて、撮影部分領域Ｂｎに類似する領域と同じ第１画像Ｉ１Ｌ内の領域が、類似領域Ｃｎとして特定されてよい。類似する領域を特定する方法自体は、実施形態で説明した方法と同様であってよい。即ち、類似領域特定部１０５は、撮影部分領域Ｂｎをテンプレート画像とし、テンプレートマッチングを実行することによって、類似領域Ｃｎを特定してもよい。この場合、例えば、類似領域特定部１０５は、第１画像Ｉ１Ｌを撮影部分領域Ｂｎと同じ又は同程度の大きさの複数の小領域に分割し、各小領域内の画素値と、撮影部分領域Ｂｎ内の画素値と、に基づいて、類似度を示す評価値ＥＬ１Ｒを算出する。評価値ＥＬ１Ｒの算出は、実施形態で説明した数式１と同様であってよい。
　なお、加工部１０６は、低解像度化された第１画像Ｉ１Ｌにおける類似領域Ｃｎの画素値を使ってもよいが、ここでは、低解像度化された第１画像Ｉ１Ｌは類似領域Ｃｎの特定にだけ利用し、加工対象領域に対する加工には、高解像度の第１画像Ｉ１Ｈにおける類似領域Ｃｎの画素値を使うものとする。加工部１０６は、低解像度化される前の第１画像Ｉ１Ｈにおける類似領域Ｃｎの画素値に基づいて加工することになる。即ち、加工部１０６は、低解像度化された第１画像Ｉ１Ｌを使って特定された類似領域Ｃｎと同じ座標の第１画像Ｉ１Ｈの画素の画素値を使って加工する。加工部１０６が類似領域Ｃｎの画素値に基づいて加工する方法自体は、実施形態で説明した方法と同様であってよい。
　変形例（１）によれば、低解像度化された第２画像Ｉ２Ｌと同程度まで解像度を下げた第１画像Ｉ１Ｌの中から類似領域Ｃｎを検索するので、影部分３４と類似する領域をより正確に特定することができる。その結果、影部分３４の復元の精度を高めることができる。
　また、低解像度化された第１画像Ｉ１Ｌの画素値を使っても、影部分３４の復元の精度をそれなりに高めることができるが、高解像度の第１画像Ｉ１Ｈの画素値を使って加工すれば、解像度の差に起因する不自然さを解消することができ、影部分３４の復元の精度をより高めることができる。
　（２）また例えば、第１画像Ｉ１Ｈに写された影Ｓ１の周囲には、影部分３４と同様のパターンが表れている可能性がある。このため、撮影部分領域Ｂｎとの類似度と、影Ｓ１の周囲のパターンとの類似度と、を総合的に考慮して、類似領域Ｃｎを特定してもよい。
　本変形例の類似領域特定部１０５は、撮影部分領域Ｂｎと、第１画像Ｉ１Ｈにおける影を含む周囲領域Ａｎと、に類似する類似領域Ｃｎを特定する。先述したように、周囲領域Ａｎは、影Ｓ１が写された画素から一定距離以内の画素を含む領域である。周囲領域Ａｎは、任意の形状であってよく、ここでは正方形とするが、長方形又は円形などの他の形状であってよい。周囲領域Ａｎのサイズも任意であってよいが、ここでは、第１画像Ｉ１Ｈを分割した小領域と同じサイズとする。なお、影Ｓ１は、道路３２上の一部である影部分３４にあるので、周囲領域Ａｎは、その周囲の道路３２が撮影された部分となる。
　図１５は、変形例（２）における類似領域Ｃｎの特定方法を示す図である。まず、類似領域特定部１０５は、ユーザの操作又は画像解析により、第１画像Ｉ１Ｈの中から周囲領域Ａｎを特定する。例えば、ユーザの操作に基づいて周囲領域Ａｎが特定される場合には、類似領域特定部１０５は、表示部１５に第１画像Ｉ１Ｈを表示させ、ユーザの操作を受け付ける。例えば、ユーザは、操作部１４を操作して、影Ｓ１の一部又は全部を含むように周囲領域Ａｎを選択するようにしてよい。この場合、類似領域特定部１０５は、ユーザが選択した領域に基づいて、周囲領域Ａｎを特定する。また例えば、画像解析に基づいて周囲領域Ａｎが特定される場合には、類似領域特定部１０５は、加工対象領域を特定する場合と同様の方法で影Ｓ１を特定し、当該影Ｓ１の一部又は全部を含むように周囲領域Ａｎを特定すればよい。なお、影Ｓ１を含む小領域は、検索の対象外とするようにしてよい。
　そして、類似領域特定部１０５は、第１画像Ｉ１Ｈの各小領域内の画素値と、周囲領域Ａｎ内の画素値と、に基づいて、類似度を示す評価値ＥＨ１Ａを算出する。評価値ＥＨ１Ａは、これらの画素値の差に基づいて算出されるようにすればよく、実施形態で説明した数式１と同様の数式を利用してよい。
　類似領域特定部１０５は、撮影部分領域Ｂｎとの類似度を示す評価値ＥＨ１Ｒと、周囲領域Ａｎとの類似度を示す評価値ＥＨ１Ａと、に基づいて、類似領域Ｃｎを特定する。例えば、類似領域特定部１０５は、評価値ＥＨ１Ｒと評価値ＥＨ１Ａとの和が最も低い小領域（即ち、Ｅ＝argmin(ＥＨ１Ｒ＋ＥＨ１Ａ)となる小領域。言い換えれば、類似度が総合的に高い小領域）を、類似領域Ｃｎとして特定する。なお、これらの和ではなく、所定の係数で重み付けをして算出した値を用いて小領域が選択されてもよい。また、これらの平均値を用いて小領域が選択されてもよい。即ち、撮影部分領域Ｂｎと周囲領域Ａｎとの総合的な類似度をもとに類似領域Ｃｎが特定されるようにすればよい。
　変形例（２）によれば、周囲領域Ａｎとの類似度も考慮したうえで類似領域Ｃｎを特定することにより、影Ｓ１の周囲の情報を利用して影部分３４と似た領域を探し出すことができる。その結果、影部分３４の復元の精度をより高めることができる。
　（３）また例えば、変形例（２）では、撮影部分領域Ｂｎと周囲領域Ａｎとの総合的な類似度をもとに、１つの類似領域Ｃｎを特定する場合を説明したが、撮影部分領域Ｂｎに類似する領域と、周囲領域Ａｎに類似する領域と、をそれぞれ別個に特定し、これら２つの領域内の画素値をもとに、加工対象領域である影Ｓ１を加工してもよい。
　本変形例の画像処理装置１０は、周囲類似領域特定部１０７を含む。周囲類似領域特定部１０７は、第１画像Ｉ１Ｈ及び第２画像Ｉ２Ｈの少なくとも一方に基づいて、第１画像Ｉ１Ｈにおける影Ｓ１を含む周囲領域Ａｎに類似する周囲類似領域ＣｎＡを特定する。なお、ここでは、周囲類似領域特定部１０７は、第１画像Ｉ１Ｈの中から周囲類似領域ＣｎＡを特定する場合を説明するが、第１画像Ｉ１Ｈを加工した画像（例えば、低解像度化された第１画像Ｉ１Ｌ）の中から周囲類似領域ＣｎＡを特定してもよい。
　類似する領域を特定する方法自体は、類似領域Ｃｎと同様であってよい。即ち、周囲類似領域特定部１０７は、周囲領域Ａｎをテンプレート画像とし、テンプレートマッチングを実行することによって、周囲類似領域ＣｎＡを特定すればよい。例えば、周囲類似領域特定部１０７は、周囲領域Ａｎとの類似度を示す評価値ＥＨ１Ａが最も高い小領域、又は、評価値ＥＨ１Ａが閾値未満の小領域を、周囲類似領域ＣｎＡとして特定する。
　加工部１０６は、更に周囲類似領域ＣｎＡに基づいて加工する。即ち、加工部１０６は、類似領域Ｃｎと周囲類似領域ＣｎＡとに基づいて加工する。例えば、加工部１０６は、類似領域Ｃｎの評価値ＥＨ１Ｒと、周囲類似領域ＣｎＡの評価値ＥＨ１Ａと、を比較し、値が低い方（即ち、類似度の高い方）に基づいて、加工対象領域を加工してもよい。類似領域Ｃｎの方が周囲類似領域ＣｎＡよりも類似度が高い場合の加工方法は、実施形態で説明した方法と同じである。一方、周囲類似領域ＣｎＡの方が類似領域Ｃｎよりも類似度が高い場合、加工部１０６は、周囲類似領域ＣｎＡ内の画素値に基づいて、加工対象領域内の画素値を変更すればよい。
　また例えば、加工部１０６は、類似領域Ｃｎ内の画素値と、周囲類似領域ＣｎＡ内の画素値と、を所与の数式に代入して得られる画素値を、加工対象領域である影Ｓ１内の画素値としてもよい。即ち、これら２つの画素値を混ぜて、影Ｓ１を塗りつぶすようにしてもよい。この数式は、予め定められた数式であればよく、例えば、単純平均であってもよいし、加重平均であってもよい。加重平均である場合には、評価値の値に基づいて係数が定まってもよい。
　変形例（３）によれば、類似領域Ｃｎの画素値だけでなく、周囲類似領域ＣｎＡの画素値を考慮したうえで加工対象領域を加工することによって、より多くの情報をもとに影部分３４を復元することができるので、影部分３４の復元の精度をより高めることができる。
　（４）また例えば、第１画像Ｉ１Ｈに写された影Ｓ１は、真っ黒とは限られず、ある程度は影部分３４の特徴が表れている可能性がある。このため、影Ｓ１の色に基づいて、影部分３４の色を推定し、類似領域Ｃｎだけでなく、当該推定結果に基づいて加工対象領域の加工が行われてもよい。
　変形例（４）の画像処理装置１０は、推定部１０８を含む。推定部１０８は、第１画像Ｉ１Ｈにおける影Ｓ１の周囲に基づいて、空間３０の影部分３４を推定する。例えば、推定部１０８は、第１画像Ｉ１Ｈにおける影Ｓ１の画素の画素値と、その周囲の画素の画素値と、に基づいて、影部分３４の色を推定する。
　図１６は、影部分３４の推定方法を示す図である。図１６に示すように、推定部１０８は、加工対象領域特定部１０３と同様の方法で、第１画像Ｉ１Ｈの中から影Ｓ１を特定し、その周囲の画素の色を取得する。なお、推定部１０８は、変形例（２）と同様に周囲領域Ａｎを特定してもよいが、ここでは、影Ｓ１の隣の画素の色を取得するものとする。例えば、影部分３４の本来の色を示す画素値をＯとし、影Ｓ１の基本色（例えば、黒）をＴとし、透明度をｒ（０≦ｒ≦１）とすると、影Ｓ１内の画素の画素値Ｘを、下記の数式２により定義することができる。
Figure JPOXMLDOC01-appb-M000002
　ここでは、影Ｓ１の端部の画素の本来の色（影Ｓ１がなかったとした場合の色。即ち、影部分３４の本来の色。）が、当該画素と隣接する隣接領域Ｓｎの画素の色と同じと仮定する。更に、影Ｓ１を示す画素の透明度ｒが共通であると仮定する。これらの仮定のもと、推定部１０８は、隣接領域Ｓｎの画素値に基づいて、透明度ｒを計算する。そして、推定部１０８は、当該透明度ｒに基づいて、各画素の画素値Ｘから画素値Ｏを逆算することによって、影部分３４の色を推定した結果を示す推定画像Ｇを生成する。なお、推定画像Ｇの生成方法は、上記の例に限られず、影Ｓ１を示す画素の画素値と、その周囲の画素値と、に基づいて生成されるようにすればよい。
　加工部１０６は、更に推定部１０８による推定結果に基づいて加工する。即ち、加工部１０６は、類似領域Ｃｎと、推定部１０８が推定した影部分３４の色（推定画像Ｇの画素値）と、に基づいて加工する。例えば、加工部１０６は、類似領域Ｃｎ内の画素値と、推定部１０８が推定した影部分３４の色と、を所与の数式に代入して得られる画素値を、加工対象領域内の画素値としてもよい。この数式は、予め定められた数式であればよく、例えば、単純平均であってもよいし、加重平均であってもよい。加重平均である場合には、係数は予め決めておけばよい。
　変形例（４）によれば、類似領域Ｃｎ内の画素値だけでなく、影部分３４の推定結果も使って加工対象領域の加工をするので、影部分３４の復元の精度をより高めることができる。
　（５）また例えば、変形例（２）及び（３）で利用される周囲領域Ａｎを、変形例（４）における推定結果としてもよい。即ち、第１画像Ｉ１Ｈに写された影Ｓ１の周囲をそのまま周囲領域Ａｎとして使用するのではなく、変形例（４）のように影部分３４を推定したうえで、周囲領域Ａｎとして使用してもよい。
　変形例（５）の画像処理装置１０は、周囲領域取得部１０９を含む。周囲領域取得部１０９は、推定部１０８による推定結果に基づいて、周囲領域Ａｎを取得する。周囲領域取得部１０９は、推定部１０８が加工した画像の画素値に基づいて、周囲領域Ａｎとして取得する。この場合、周囲領域取得部１０９は、推定画像Ｇの一部又は全部を周囲領域Ａｎとして取得することになる。即ち、周囲領域Ａｎは、推定画像Ｇのうち、画素ｐｎ（ｘｎ，ｙｎ）を中心とした所定形状の領域であってよい。周囲領域Ａｎと類似する領域を特定する方法等は、各変形例で説明した方法と同様である。
　変形例（５）によれば、影部分３４の推定結果を利用して周囲領域Ａｎを取得するので、影部分３４の復元の精度をより高めることができる。
　（６）また例えば、上記実施形態及び変形例では、類似領域特定部１０５が、第１画像Ｉ１Ｈに基づいて類似領域Ｃｎを特定する場合を説明したが、先述したように、類似領域特定部１０５は、第２画像Ｉ２Ｈに基づいて、撮影部分領域Ｂｎなどに類似する領域を検索してもよい。即ち、類似領域特定部１０５は、第１画像Ｉ１Ｈ及び第２画像Ｉ２Ｈの少なくとも一方（例えば、高解像度の第１画像Ｉ１Ｈ及び第２画像Ｉ２Ｈの中からでもよいし、低解像度の第１画像Ｉ１Ｌ及び第２画像Ｉ２Ｌの中からでもよい）に基づいて、撮影部分領域Ｂｎなどに類似する領域を検索すればよい。以降、第１画像Ｉ１Ｈに基づいて特定されるものを第１類似領域Ｃｎ１と記載し、第２画像Ｉ２Ｈに基づいて特定されるものを第２類似領域Ｃｎ２と記載し、これらを区別する。なお、第２類似領域Ｃｎ２も、第１類似領域Ｃｎ１と同様に、加工対象小領域である画素ｐｎ（ｘｎ，ｙｎ）ごとに探索されるようにしてよい。
　例えば、類似領域特定部１０５は、第２画像Ｉ２Ｈに基づいて、撮影部分領域Ｂｎに類似する第２類似領域Ｃｎ２を特定するようにしてよい。この特定方法自体は、第１類似領域Ｃｎ１で説明した方法と同様であってよい。即ち、類似領域特定部１０５は、撮影部分領域Ｂｎをテンプレート画像とし、テンプレートマッチングを実行することによって、第２類似領域Ｃｎ２を特定すればよい。例えば、類似領域特定部１０５は、第２画像Ｉ２Ｈを撮影部分領域Ｂｎと同じ大きさの複数の小領域に分割し、各小領域内の画素値と、撮影部分領域Ｂｎ内の画素値と、に基づいて、類似度を示す評価値ＥＨ２Ｒを算出する。評価値ＥＨ２Ｒの算出は、実施形態で説明した数式１と同様であってよく、画素値の差に基づくものであればよい。
　加工部１０６は、第２類似領域Ｃｎ２に基づいて加工してもよい。例えば、加工部１０６は、第１類似領域Ｃｎ１と第２類似領域Ｃｎ２の両方に基づいて加工してもよい。例えば、加工部１０６は、第１類似領域Ｃｎ１内の画素値と、第２類似領域Ｃｎ２内の画素値と、を所与の数式に代入して得られる画素値を、加工対象領域内の画素値としてもよい。即ち、これら２つの画素値を混ぜて、影Ｓ１を塗りつぶすようにしてもよい。この数式は、予め定められた数式であればよく、例えば、単純平均であってもよいし、加重平均であってもよい。加重平均である場合には、評価値の値に基づいて係数が定まってもよい。
　また例えば、加工部１０６は、第１類似領域Ｃｎ１と第２類似領域Ｃｎ２のうち、いずれか一方を選択して加工してもよい。例えば、加工部１０６は、第１類似領域Ｃｎ１の評価値ＥＨ１Ｒと、第２類似領域Ｃｎ２の評価値ＥＨ２Ｒと、を比較して、値が低い方（即ち、類似度の高い方）に基づいて、加工対象領域を加工してもよい。第１類似領域Ｃｎ１の方が第２類似領域Ｃｎ２よりも類似度が高い場合の加工方法は、実施形態で説明した方法と同じである。一方、第２類似領域Ｃｎ２の方が第１類似領域Ｃｎ１よりも類似度が高い場合、加工部１０６は、第２類似領域Ｃｎ２内の画素値に基づいて、加工対象領域内の画素値を変更すればよい。
　また例えば、類似領域特定部１０５が第１類似領域Ｃｎ１の特定を省略し、第２類似領域Ｃｎ２のみを特定する場合には、加工部１０６は、第２類似領域Ｃｎ２に基づいて加工してもよい。この場合、加工部１０６は、第２類似領域Ｃｎ２に基づいて、加工対象領域である影Ｓ１内の画素ｐｎ（ｘｎ，ｙｎ）の画素値を変更する。
　変形例（６）によれば、高解像度の第２画像Ｉ２Ｈに基づく第２類似領域Ｃｎ２の画素値を考慮して影部分３４の復元の精度を高めることができる。例えば、第１類似領域Ｃｎ１と第２類似領域Ｃｎ２の両方を利用する場合には、より多くの情報をもとに影部分３４を復元することができるので、影部分３４の復元の精度をより高めることができる。
　（７）また例えば、変形例（２）と変形例（６）を組み合わせて、類似領域特定部１０５は、第２画像Ｉ２Ｈに基づいて、撮影部分領域Ｂｎと周囲領域Ａｎとに類似する第２類似領域Ｃｎ２を特定するようにしてよい。第２類似領域Ｃｎ２の特定方法は、変形例（２）で説明した方法と同様であってよい。即ち、類似領域特定部１０５は、第２画像Ｉ２Ｈの各小領域内の画素値と、周囲領域Ａｎ内の画素値と、に基づいて、類似度を示す評価値ＥＨ２Ａを算出する。評価値ＥＨ２Ａの算出は、画素値の差に基づいて行えばよく、実施形態で説明した数式１と同様の数式を利用してよい。
　類似領域特定部１０５は、撮影部分領域Ｂｎとの類似度を示す評価値ＥＨ２Ｒと、周囲領域Ａｎとの類似度を示す評価値ＥＨ２Ａと、に基づいて、第２類似領域Ｃｎ２を特定する。例えば、類似領域特定部１０５は、評価値ＥＨ２Ｒと評価値ＥＨ２Ａとの和が最も低い小領域（即ち、類似度が総合的に高い小領域）を、第２類似領域Ｃｎ２として特定する。なお、これらの和ではなく、所定の係数で重み付けをして算出した値を用いて小領域が選択されてもよい。また、これらの平均値を用いて小領域が選択されてもよい。即ち、撮影部分領域Ｂｎと周囲領域Ａｎとの総合的な類似度をもとに第２類似領域Ｃｎ２が特定されるようにすればよい。
　また例えば、変形例（３）と変形例（６）を組み合わせて、類似領域特定部１０５は、第２画像Ｉ２Ｈに基づいて、周囲領域Ａｎに類似する第２周囲類似領域Ｃｎ２Ａを特定するようにしてよい。類似する領域を特定する方法自体は、変形例（３）で説明した方法と同様であってよい。即ち、類似領域特定部１０５は、周囲領域Ａｎをテンプレート画像とし、テンプレートマッチングを実行することによって、第２周囲類似領域Ｃｎ２Ａを特定すればよい。例えば、類似領域特定部１０５は、周囲領域Ａｎとの類似度を示す評価値ＥＨ２Ａが最も高い小領域、又は、評価値ＥＨ２Ａが閾値未満の小領域を、第２周囲類似領域Ｃｎ２Ａとして特定する。
　加工部１０６は、更に第２周囲類似領域Ｃｎ２Ａに基づいて加工するようにしてもよい。即ち、加工部１０６は、第２類似領域Ｃｎ２と第２周囲類似領域Ｃｎ２Ａとに基づいて加工するようにしてもよい。例えば、加工部１０６は、第２類似領域Ｃｎ２の評価値ＥＨ２Ｒと、第２周囲類似領域Ｃｎ２Ａの評価値ＥＨ２Ａと、を比較し、値が低い方（即ち、類似度の高い方）に基づいて、加工対象領域を加工してもよい。第２類似領域Ｃｎ２の方が第２周囲類似領域Ｃｎ２Ａよりも類似度が高い場合の加工方法は、変形例（３）で説明した方法と同じである。一方、第２周囲類似領域Ｃｎ２Ａの方が第２類似領域Ｃｎ２よりも類似度が高い場合、加工部１０６は、第２周囲類似領域Ｃｎ２Ａ内の画素値に基づいて、加工対象領域内の画素値を変更すればよい。
　また例えば、加工部１０６は、第２類似領域Ｃｎ２内の画素値と、第２周囲類似領域Ｃｎ２Ａ内の画素値と、を所与の数式に代入して得られる画素値を、加工対象領域内の画素値としてもよい。即ち、これら２つの画素値を混ぜて、影Ｓ１を塗りつぶすようにしてもよい。この数式は、予め定められた数式であればよく、例えば、単純平均であってもよいし、加重平均であってもよい。加重平均である場合には、評価値の値に基づいて係数が定まってもよい。
　また例えば、変形例（５）と（６）を組み合わせて、推定部１０８の推定結果を周囲領域Ａｎとしてもよい。即ち、変形例（７）においても、推定画像Ｇに基づいて、周囲領域Ａｎが取得されるようにしてもよい。
　変形例（７）によれば、周囲領域Ａｎとの類似度も考慮したうえで第２類似領域Ｃｎ２を特定することにより、影Ｓ１の周囲の情報を利用して影部分３４と似た領域を探し出すことができる。その結果、影部分３４の復元の精度をより高めることができる。また、第２類似領域Ｃｎ２の画素値だけでなく、第２周囲類似領域Ｃｎ２Ａの画素値を考慮したうえで加工対象領域を加工することによって、より多くの情報をもとに影部分３４を復元することができるので、影部分３４の復元の精度をより高めることができる。
　（８）また例えば、上記実施形態及び変形例では、影部分３４の復元を例に挙げて説明したが、画像処理装置１０は、遮蔽物に遮られた遮蔽部分の復元をしてもよい。遮蔽物は、カメラ２０から空間３０内に配置された物体を見た場合に、当該物体を遮る物体である。別の言い方をすれば、遮蔽物は、当該物体とカメラ２０との間にある物体である。以降、遮蔽物により遮られる物体を被遮蔽物という。
　被遮蔽物は、遮蔽物により見えなくなる物体又は見えにくくなる物体である。例えば、被遮蔽物が道路３２上の一部であれば、遮蔽物は、道路３２上にある荷物やビニール袋であってもよいし、道路３２を隠す看板などであってもよい。なお、遮蔽物は、透明度を有しない物体であってもよいし、半透明の物体であってもよい。実施形態及び変形例の説明において「影」と記載した箇所は、「遮蔽物」と読み替えることができ、「影部分」と記載した箇所は、「被遮蔽部分」と読み替えることが可能である。
　例えば、第１画像Ｉ１Ｈは、空間３０の一部に遮蔽物がある様子が写されていてよい。また例えば、第２画像Ｉ２Ｈは、空間３０の被遮蔽部分が写されていればよい。また例えば、加工対象領域特定部１０３は、第１画像Ｉ１Ｈにおいて、遮蔽物が写された加工対象領域を特定すればよい。また例えば、撮影部分領域特定部１０４は、空間３０の被遮蔽部分が写された撮影部分領域Ｂｎを特定すればよい。他の処理についても同様に、画像処理装置１０は、影ではなく遮蔽物を除去し、影部分ではなく遮蔽部分を復元するようにしてよい。これにより、画像処理装置１０は、被遮蔽物を復元する精度を高めることが可能となる。
　（９）また例えば、加工対象小領域が個々の画素である場合を説明したが、加工対象小領域は、複数の画素（例えば、３画素×３画素など）であってもよい。この場合、加工対象小領域ごとに画素の数が異なってもよい。また例えば、加工対象領域が加工対象小領域に分けられている場合を説明したが、加工対象領域は、特に複数の領域に分けられていなくてもよい。この場合、撮影部分領域特定部１０４は、加工対象領域全体に対応する１つの撮影部分領域を特定し、類似領域特定部１０５は、当該１つの撮影部分領域に類似する１つの類似領域（例えば、影Ｓ１全体に類似する類似領域）を特定してもよい。そして、加工部１０６は、1つの類似領域に基づいて、加工対象領域全体の色を変えてもよい。この場合、加工部１０６は、類似領域をそのまま加工対象領域に貼り付けてもよいし（影Ｓ１全体に類似する類似領域で一度に影Ｓ１を塗りつぶしてもよい）、類似領域の画素値に近づくように、加工対象領域の画素値を変更するようにしてもよい。
　また例えば、第２位置Ｐ２は、第１位置Ｐ１よりも影部分又は被遮蔽部分から離れていなくてもよい。第２位置Ｐ２は、影部分又は被遮蔽部分を撮影可能な位置であればよく、第１位置Ｐ１よりも影部分又は被遮蔽部分に近くてもよいし同じ距離であってもよい。この場合、第２位置Ｐ２からの撮影方向Ｖ２は、第１位置Ｐ１からの撮影方向Ｖ１と異なっていてよい。即ち、第２画像Ｉ２Ｈは、第１画像Ｉ１Ｈとは違う角度から撮影されたことにより、影部分や被遮蔽部分が写されているようにしてよい。この場合には、撮影部分領域Ｂｎを特定する際に、角度の違いを考慮にいれたうえで、透視変換及び投影変換が行われるようにすればよい。
　また例えば、第１画像Ｉ１Ｈ及び第２画像Ｉ２Ｈは、全天球カメラで撮影した画像から生成可能なキューブマップであってもよい。また例えば、第１画像Ｉ１Ｈ及び第２画像Ｉ２Ｈは、正方形でなくてもよく、長方形であってもよいし、他の形状の画像であってもよい。更に、第１画像Ｉ１Ｈ及び第２画像Ｉ２Ｈは、カラー画像でなくてもよく、グレースケール画像やモノクロ画像であってもよい。また、復元対象となる影部分又は被遮蔽部分は、１つではなく、複数であってもよい。更に、複数の影部分又は被遮蔽部分が含まれている場合に、復元対象となるのは、全部であってもよいし、一部のみであってもよい。
　（１０）また例えば、上記実施形態及び変形例では、画像処理装置１０が、高解像度の第１画像又は第２画像の中から探し出した類似領域に基づいて、加工対象領域の画素値を変える場合を説明したが、低解像度の画像に起因する不自然さを程度は許容する場合には、画像処理装置１０が、低解像度の第１画像又は第２画像の中から類似領域を探し、低解像度の画像の画素値に基づいて、加工対象領域の画素値を変えてもよい。例えば、従来技術では、第１画像だけを使って被遮蔽部分を復元しているが、本変形例の画像処理装置１０では、第２画像又は低解像度化された第２画像を利用しているので、従来技術に比べて復元の精度を高められる可能性がある。このため、画像処理装置１０は、低解像度の第１画像及び低解像度の第２画像の少なくとも一方の中から類似領域を特定し、低解像度の画像の画素値に基づいて、加工対象領域の画素値を変えるようにしてもよい。
　また例えば、画像処理装置１０は、特に類似領域を特定せず、高解像度又は低解像度の第２画像における撮影部分領域に基づいて、加工対象領域の画素値を変更してもよい。このようにすることでも、第１画像しか利用しない従来技術に比べて、復元の精度を高められる可能性がある。即ち、類似領域特定部１０５は省略してもよい。この場合、加工部１０６は、撮影部分領域に基づいて、加工対象領域を加工することになる。領域内の画素値に基づいて加工対象領域を加工する方法自体は、実施形態で説明した方法と同様であってよい。例えば、加工部１０６は、撮影部分領域の画素値と同じ画素値になるように加工対象領域の画素値を変更してもよいし、撮影部分領域の画素値と同じでなくても、当該画素値に近づくように加工対象領域の画素値を変更してもよい。

Claims (11)

  1. 　第１位置から撮影され、空間の一部に影又は遮蔽物がある様子が写された第１画像を取得する第１画像取得手段と、
    　前記第１画像における前記空間の影部分又は被遮蔽部分から前記第１位置よりも離れた第２位置から撮影され、前記影部分又は前記被遮蔽部分が写された第２画像を取得する第２画像取得手段と、
    　前記第１画像において前記影又は前記遮蔽物が写された加工対象領域を特定する加工対象領域特定手段と、
    　前記第１画像における被写体と合うように前記第２画像を低解像度化し、前記低解像度化された第２画像において前記影部分又は前記被遮蔽部分が写された撮影部分領域を特定する撮影部分領域特定手段と、
    　前記第１画像及び前記第２画像の少なくとも一方の中から、前記撮影部分領域に類似する類似領域を特定する類似領域特定手段と、
    　前記類似領域に基づいて、前記第１画像における前記加工対象領域を加工する加工手段と、
    　を含むことを特徴とする画像処理装置。
  2. 　前記類似領域特定手段は、前記低解像度化された第２画像の解像度と合うように前記第１画像を低解像度化し、当該低解像度化された第１画像において、前記撮影部分領域に類似する領域を、前記類似領域として特定する、
    　ことを特徴とする請求項１に記載の画像処理装置。
  3. 　前記加工手段は、低解像度化される前の前記第１画像における前記類似領域の画素値に基づいて加工する、
    　ことを特徴とする請求項２に記載の画像処理装置。
  4. 　前記類似領域特定手段は、前記撮影部分領域と、前記第１画像における前記影又は前記遮蔽物を含む周囲領域と、に類似する前記類似領域を特定する、
    　ことを特徴とする請求項１～３の何れかに記載の画像処理装置。
  5. 　前記画像処理装置は、前記第１画像及び前記第２画像の少なくとも一方の中から、前記第１画像における前記影又は前記遮蔽物を含む周囲領域に類似する周囲類似領域を特定する周囲類似領域特定手段を更に含み、
    　前記加工手段は、更に前記周囲類似領域に基づいて加工する、
    　ことを特徴とする請求項１～３の何れかに記載の画像処理装置。
  6. 　前記画像処理装置は、前記第１画像における前記影又は半透明の前記遮蔽物の周囲に基づいて、前記空間の前記影部分又は前記被遮蔽部分を推定する推定手段を更に含み、
    　前記加工手段は、更に前記推定手段による推定結果に基づいて加工する、
    　ことを特徴とする請求項１～５の何れかに記載の画像処理装置。
  7. 　前記画像処理装置は、
    　前記第１画像における前記影又は半透明の前記遮蔽物の周囲に基づいて、前記空間の前記影部分又は前記被遮蔽部分を推定する推定手段と、
    　前記推定手段による推定結果に基づいて、前記周囲領域を取得する周囲領域取得手段と、
    　を含むことを特徴とする請求項４又は５に記載の画像処理装置。
  8. 　前記加工対象領域は、複数の加工対象小領域を含み、
    　前記撮影部分領域特定手段は、前記複数の加工対象小領域にそれぞれ対応する複数の前記撮影部分領域を特定し、
    　前記類似領域特定手段は、前記複数の撮影部分領域にそれぞれ類似する複数の前記類似領域を特定し、
    　前記加工手段は、前記複数の加工対象小領域の各々を、対応する前記撮影部分領域に類似する前記類似領域に基づいて加工する、
    　ことを特徴とする請求項１～７の何れかに記載の画像処理装置。
  9. 　前記加工対象小領域は、前記第１画像において前記影又は前記遮蔽物が写された個々の画素又は複数の画素である、
    　ことを特徴とする請求項８に記載の画像処理装置。
  10. 　第１位置から撮影され、空間の一部に影又は遮蔽物がある様子が写された第１画像を取得する第１画像取得ステップと、
    　前記第１画像における前記空間の影部分又は被遮蔽部分から前記第１位置よりも離れた第２位置から撮影され、前記影部分又は前記被遮蔽部分が写された第２画像を取得する第２画像取得ステップと、
    　前記第１画像において前記影又は前記遮蔽物が写された加工対象領域を特定する加工対象領域特定ステップと、
    　前記第１画像における被写体と合うように前記第２画像を低解像度化し、前記低解像度化された第２画像において前記影部分又は前記被遮蔽部分が写された撮影部分領域を特定する撮影部分領域特定ステップと、
    　前記第１画像及び前記第２画像の少なくとも一方の中から、前記撮影部分領域に類似する類似領域を特定する類似領域特定ステップと、
    　前記類似領域に基づいて、前記第１画像における前記加工対象領域を加工する加工ステップと、
    　を含むことを特徴とする画像処理方法。
  11. 　第１位置から撮影され、空間の一部に影又は遮蔽物がある様子が写された第１画像を取得する第１画像取得手段、
    　前記第１画像における前記空間の影部分又は被遮蔽部分から前記第１位置よりも離れた第２位置から撮影され、前記影部分又は前記被遮蔽部分が写された第２画像を取得する第２画像取得手段、
    　前記第１画像において前記影又は前記遮蔽物が写された加工対象領域を特定する加工対象領域特定手段、
    　前記第１画像における被写体と合うように前記第２画像を低解像度化し、前記低解像度化された第２画像において前記影部分又は前記被遮蔽部分が写された撮影部分領域を特定する撮影部分領域特定手段、
    　前記第１画像及び前記第２画像の少なくとも一方の中から、前記撮影部分領域に類似する類似領域を特定する類似領域特定手段、
    　前記類似領域に基づいて、前記第１画像における前記加工対象領域を加工する加工手段、
    　としてコンピュータを機能させるためのプログラム。
PCT/JP2016/070751 2016-07-13 2016-07-13 画像処理装置、画像処理方法、及びプログラム WO2018011930A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US15/751,469 US10861138B2 (en) 2016-07-13 2016-07-13 Image processing device, image processing method, and program
EP16908832.5A EP3327662B1 (en) 2016-07-13 2016-07-13 Image processing device, image processing method, and program
ES16908832T ES2827177T3 (es) 2016-07-13 2016-07-13 Dispositivo de procesamiento de imágenes, método de procesamiento de imágenes y programa
JP2016564293A JP6091727B1 (ja) 2016-07-13 2016-07-13 画像処理装置、画像処理方法、及びプログラム
PCT/JP2016/070751 WO2018011930A1 (ja) 2016-07-13 2016-07-13 画像処理装置、画像処理方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/070751 WO2018011930A1 (ja) 2016-07-13 2016-07-13 画像処理装置、画像処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2018011930A1 true WO2018011930A1 (ja) 2018-01-18

Family

ID=58261908

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/070751 WO2018011930A1 (ja) 2016-07-13 2016-07-13 画像処理装置、画像処理方法、及びプログラム

Country Status (5)

Country Link
US (1) US10861138B2 (ja)
EP (1) EP3327662B1 (ja)
JP (1) JP6091727B1 (ja)
ES (1) ES2827177T3 (ja)
WO (1) WO2018011930A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339822B (zh) * 2017-07-17 2023-06-30 Oppo广东移动通信有限公司 活体检测方法及相关产品
CN111986783B (zh) * 2020-08-05 2023-03-28 中南大学湘雅二医院 一种病理图片加载方法及装置
CN112532879B (zh) * 2020-11-26 2022-04-12 维沃移动通信有限公司 图像处理方法及装置
WO2022197072A1 (en) * 2021-03-16 2022-09-22 Samsung Electronics Co., Ltd. Method and apparatus for removing shadows from high resolution images

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002354467A (ja) * 2001-05-25 2002-12-06 Nissan Motor Co Ltd 車両周囲情報表示装置
JP2006252269A (ja) * 2005-03-11 2006-09-21 Aisin Seiki Co Ltd 広域画像生成装置及びこれを用いた車両の周辺監視装置並びに広域画像生成方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6738532B1 (en) * 2000-08-30 2004-05-18 The Boeing Company Image registration using reduced resolution transform space
US7362918B2 (en) * 2003-06-24 2008-04-22 Microsoft Corporation System and method for de-noising multiple copies of a signal
US7269299B2 (en) * 2003-10-10 2007-09-11 Orbimage Si Opco, Inc. Image warp
JP2007041046A (ja) * 2005-07-29 2007-02-15 Eastman Kodak Co 撮像装置
JP4623122B2 (ja) * 2008-04-03 2011-02-02 ソニー株式会社 画像信号処理装置、画像信号処理方法、およびプログラム
US20090303338A1 (en) * 2008-06-06 2009-12-10 Texas Instruments Incorporated Detailed display of portion of interest of areas represented by image frames of a video signal
SE534551C2 (sv) * 2010-02-15 2011-10-04 Scalado Ab Digital bildmanipulation innefattande identifiering av ett målområde i en målbild och sömlös ersättning av bildinformation utifrån en källbild
SE1150505A1 (sv) * 2011-05-31 2012-12-01 Mobile Imaging In Sweden Ab Metod och anordning för tagning av bilder
JP5435307B2 (ja) * 2011-06-16 2014-03-05 アイシン精機株式会社 車載カメラ装置
JP5939705B2 (ja) * 2012-02-08 2016-06-22 カシオ計算機株式会社 被写体判定装置、被写体判定方法及びプログラム
US9858668B2 (en) * 2012-10-05 2018-01-02 Volcano Corporation Guidewire artifact removal in images
US9311756B2 (en) * 2013-02-01 2016-04-12 Apple Inc. Image group processing and visualization
GB2533581B (en) * 2014-12-22 2016-12-07 Ibm Image processing
JP6545997B2 (ja) * 2015-04-24 2019-07-17 日立オートモティブシステムズ株式会社 画像処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002354467A (ja) * 2001-05-25 2002-12-06 Nissan Motor Co Ltd 車両周囲情報表示装置
JP2006252269A (ja) * 2005-03-11 2006-09-21 Aisin Seiki Co Ltd 広域画像生成装置及びこれを用いた車両の周辺監視装置並びに広域画像生成方法

Also Published As

Publication number Publication date
US10861138B2 (en) 2020-12-08
JP6091727B1 (ja) 2017-03-08
EP3327662A1 (en) 2018-05-30
JPWO2018011930A1 (ja) 2018-07-12
EP3327662B1 (en) 2020-09-23
US20180232865A1 (en) 2018-08-16
EP3327662A4 (en) 2019-03-06
ES2827177T3 (es) 2021-05-20

Similar Documents

Publication Publication Date Title
US9811946B1 (en) High resolution (HR) panorama generation without ghosting artifacts using multiple HR images mapped to a low resolution 360-degree image
CN108668093B (zh) Hdr图像的生成方法及装置
CN111476737B (zh) 一种图像处理方法、智能设备及计算机可读存储介质
JP6561216B2 (ja) 光学フローを使用した中間ビューの生成
KR101643607B1 (ko) 영상 데이터 생성 방법 및 장치
JP6091727B1 (ja) 画像処理装置、画像処理方法、及びプログラム
CN112367459B (zh) 图像处理方法、电子装置及非易失性计算机可读存储介质
WO2021082883A1 (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
CN106604005B (zh) 一种投影电视自动对焦方法及系统
CN111770273B (zh) 图像的拍摄方法和装置、电子设备及可读存储介质
CN110610531A (zh) 图像处理方法、图像处理装置和记录介质
CN111183630B (zh) 一种智能终端的照片处理方法及处理装置
US11334961B2 (en) Multi-scale warping circuit for image fusion architecture
JP4843787B2 (ja) 被写体追尾方法及び装置
CN103632131B (zh) 用于提取对象的设备和方法
JP6669390B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20140368701A1 (en) Cloning image data patch in hole of pixel array (patch and clone)
RU2661537C2 (ru) Способ и система сверхразрешения с помощью комбинированной разреженной аппроксимации
JP7025237B2 (ja) 画像処理装置およびその制御方法ならびにプログラム
JP2020009099A (ja) 画像処理装置、画像処理方法、及びプログラム
JP7496564B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP5487126B2 (ja) 画像処理装置、撮像装置、および画像処理プログラム
CN114677443B (zh) 光学定位方法、装置、设备及存储介质
WO2022181048A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
CN110059681B (zh) 信息处理装置、信息处理方法和存储介质

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2016564293

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15751469

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2016908832

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE