WO2022181048A1 - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

画像処理装置、画像処理方法、及び、プログラム Download PDF

Info

Publication number
WO2022181048A1
WO2022181048A1 PCT/JP2021/048739 JP2021048739W WO2022181048A1 WO 2022181048 A1 WO2022181048 A1 WO 2022181048A1 JP 2021048739 W JP2021048739 W JP 2021048739W WO 2022181048 A1 WO2022181048 A1 WO 2022181048A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
partial
moving object
partial image
unit
Prior art date
Application number
PCT/JP2021/048739
Other languages
English (en)
French (fr)
Inventor
祐樹 岸田
拓 仮屋崎
省吾 佐々木
寿人 吉松
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2022553685A priority Critical patent/JP7496564B2/ja
Publication of WO2022181048A1 publication Critical patent/WO2022181048A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present disclosure relates to an image processing device, an image processing method, and a program.
  • Patent Document 1 discloses a technique for synthesizing a plurality of original images obtained by continuous shooting to generate a high-resolution image.
  • the present disclosure provides an image processing device and the like that can easily confirm the result of combining a plurality of images.
  • An image processing apparatus includes an acquisition unit that acquires a plurality of image data obtained by capturing images with a camera at a plurality of timings; (i) generating first partial image data by synthesizing a detection unit that detects a moving object region; ii) generating second partial image data using the moving object region of a portion of the image data among the plurality of image data; and (iii) generating the first partial image data and the second partial image data. and an output unit for outputting the synthesized image data and area information for distinguishing between the first partial image data and the second partial image data.
  • a program includes an obtaining step of obtaining a plurality of image data obtained by photographing with a camera at a plurality of timings; (i) generating first partial image data by synthesizing stationary object regions other than the moving object region detected in the detection step in the plurality of image data; ii) generating second partial image data using the moving object region of a portion of the image data among the plurality of image data; and (iii) generating the first partial image data and the second partial image data. and an output step of outputting the synthesized image data and area information for distinguishing between the first partial image data and the second partial image data.
  • non-transitory recording medium such as a system, an integrated circuit, a computer program, or a computer-readable CD-ROM. and any combination of non-transitory recording media.
  • the image processing device and the like according to the present disclosure can easily confirm the synthesis result of a plurality of image data.
  • FIG. 1 is a diagram illustrating an example of an image processing apparatus according to Embodiment 1.
  • FIG. 2 is a block diagram illustrating an example of a hardware configuration of the image processing apparatus according to Embodiment 1.
  • FIG. 3 is a block diagram illustrating an example of the functional configuration of the image processing apparatus according to Embodiment 1.
  • FIG. 4 is a diagram for explaining imaging processing by the imaging unit.
  • FIG. 5 is a diagram for explaining a synthesizing process performed by a generating unit;
  • FIG. 6 is a diagram showing an example of a plurality of image data shot when a moving object is included in the subject.
  • FIG. 7 is a diagram illustrating an example of synthetic image data generated by a generating unit;
  • FIG. 1 is a diagram illustrating an example of an image processing apparatus according to Embodiment 1.
  • FIG. 2 is a block diagram illustrating an example of a hardware configuration of the image processing apparatus according to Embodiment 1.
  • FIG. 3 is a block diagram illustrating an
  • FIG. 8 is a diagram illustrating an example of output image data generated by a generation unit
  • FIG. 9 is a flow chart showing an example of an image processing method by the image processing apparatus according to the second embodiment.
  • FIG. 10 is a flow chart showing another example of the image processing method by the image processing device.
  • FIG. 11 is a diagram showing an example of a UI (User Interface) displayed together with output image data.
  • FIG. 12 is a diagram illustrating an example of an image processing device according to a second embodiment; 13 is a block diagram illustrating an example of a hardware configuration of an image processing apparatus according to Embodiment 2.
  • FIG. 14 is a block diagram illustrating an example of a functional configuration of an image processing apparatus according to Embodiment 2.
  • FIG. 15 is a flowchart illustrating an example of an image processing method by the image processing apparatus according to Embodiment 2.
  • FIG. 15 is a flowchart illustrating an example of an image processing method by the image processing apparatus according to Embodiment 2.
  • Patent Document 1 when a high-resolution image is generated by synthesizing a plurality of original images obtained by continuous shooting, an afterimage occurs in the high-resolution image if a moving object is included in the subject.
  • an area in which a moving object is detected is replaced with a representative image consisting of one image in order to eliminate the afterimage of the moving object.
  • An image processing apparatus includes an acquisition unit that acquires a plurality of image data obtained by capturing images with a camera at a plurality of timings; (i) generating first partial image data by synthesizing a detection unit that detects a moving object region; ii) generating second partial image data using the moving object region of a portion of the image data among the plurality of image data; and (iii) generating the first partial image data and the second partial image data. and an output unit for outputting the synthesized image data and area information for distinguishing between the first partial image data and the second partial image data.
  • the area information for distinguishing between the first partial image data synthesized using a plurality of image data and the second partial image data generated using a part of the image data is output. do. Therefore, the user can easily distinguish between the first partial image data synthesized using a plurality of image data and the second partial image data generated using a part of the image data. . Therefore, the user can easily confirm the synthesis result of a plurality of image data.
  • the area information is area image data indicating that it is the second partial image data
  • the generation unit further superimposes the area image data on the second partial image data of the combined image data.
  • the output image data may be generated, and the output unit may output the output image data.
  • the user can easily confirm the synthesis result of a plurality of image data simply by visually recognizing the displayed output image data.
  • the detection unit has pixels whose positions correspond to each other between the first image data and each of the plurality of second image data other than the first image data among the plurality of image data.
  • the difference between pixel values is equal to or greater than a predetermined threshold, the area including the pixel may be detected as the moving object area.
  • the moving object region may be detected using the determined predetermined threshold value.
  • the user can easily change the predetermined threshold for detecting the moving object area.
  • the generation unit may determine partial image data of the moving object region of one image data among the plurality of image data as the second partial image data. good.
  • the generation unit in generating the second partial image data, the generation unit generates the moving object of the first image data based on the position of the image sensor of the camera when the image indicated by each image data was captured. one or more pieces of second image data in which the difference between the partial image data of the area and the partial image data of the moving object area of the first image data among the plurality of second image data is less than the predetermined threshold.
  • the second partial image data may be generated by aligning and synthesizing the partial image data of the moving object region.
  • the generation unit may generate the area image data in a display mode according to the number of pieces of image data used to generate the second partial image data.
  • the display mode of the area image data is changed according to the number of pieces of image data used to generate the second partial image data, the user can select which of the second partial image data is used for generation. It is possible to easily distinguish regions for each number of image data.
  • the plurality of image data are obtained by moving an image sensor provided in the camera by a distance unit equal to or less than a pixel pitch of the image sensor and capturing images at each moved position.
  • a plurality of partial image data of the stationary object region of the plurality of image data are aligned based on the position of the image sensor when the image indicated by each image data was captured. may be combined.
  • the first partial image data with high resolution can be generated.
  • an image processing method includes an obtaining step of obtaining a plurality of image data obtained by photographing with a camera at a plurality of timings; (i) generating first partial image data by synthesizing stationary object areas other than the moving object area detected in the detecting step in the plurality of image data; , (ii) generating second partial image data using the moving object region of a portion of the image data among the plurality of image data; and (iii) generating the first partial image data and the second portion. a generation step of generating composite image data including image data; and an output step of outputting the composite image data and area information for distinguishing between the first partial image data and the second partial image data. .
  • the area information for distinguishing between the first partial image data synthesized using a plurality of image data and the second partial image data generated using a part of the image data is output. Therefore, the user can easily confirm the result of synthesizing a plurality of image data.
  • a program includes an obtaining step of obtaining a plurality of image data obtained by photographing with a camera at a plurality of timings; (i) generating first partial image data by synthesizing stationary object regions other than the moving object region detected in the detection step in the plurality of image data; ii) generating second partial image data using the moving object region of a portion of the image data among the plurality of image data; and (iii) generating the first partial image data and the second partial image data. and an output step of outputting the synthesized image data and area information for distinguishing between the first partial image data and the second partial image data.
  • the area information for distinguishing between the first partial image data synthesized using a plurality of image data and the second partial image data generated using a part of the image data is output. Therefore, the user can easily confirm the result of synthesizing a plurality of image data.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of the image processing apparatus according to Embodiment 1. As shown in FIG.
  • the actuator 102 moves the image sensor 101 in a direction parallel to the light receiving surface of the image sensor 101 in units equal to or less than the pixel pitch of the image sensor 101 .
  • the pixel pitch is the pixel pitch when a plurality of sub-pixels of the image sensor 101 are regarded as one pixel, and indicates the pitch of two sub-pixels adjacent to each other.
  • a plurality of sub-pixels of the image sensor 101 are arranged in, for example, a Bayer array.
  • the processor 103 includes a CPU (Central Processing Unit) that executes programs stored in the storage 105 and the like, and an image processing circuit that is hardware that performs image processing.
  • CPU Central Processing Unit
  • the storage 105 is a nonvolatile storage area that holds various data such as programs.
  • the storage 105 stores, for example, image data generated by the image sensor 101, various data generated as a result of processing by the processor 103, and the like.
  • the various data include composite image data, output image data, area information, and the like.
  • the communication IF 106 is a communication interface for transmitting data between external devices such as smartphones, tablets, PCs (Personal Computers), and servers.
  • the communication IF 106 may be, for example, an interface for wireless communication such as a wireless LAN interface or a Bluetooth (registered trademark) interface.
  • the communication IF 106 may be an interface for wired communication such as a USB (Universal Serial Bus) or wired LAN interface.
  • the communication IF 106 is not limited to the above, and may be a communication interface for transmitting data to and from an external device via a communication network. Further, the communication IF 106 may be a reader that reads data stored in a recording medium such as a memory card.
  • the input IF 107 is an interface for accepting input from the user.
  • the input IF 107 may be a button, dial, or touch panel.
  • the display 108 is a liquid crystal display, an organic EL display, or the like.
  • a display 108 displays an image based on image data generated by the image sensor 101 .
  • Display 108 may display the results of processing by processor 103 .
  • FIG. 3 is a block diagram showing an example of the functional configuration of the image processing apparatus according to Embodiment 1.
  • FIG. 3 is a block diagram showing an example of the functional configuration of the image processing apparatus according to Embodiment 1.
  • the image processing apparatus 100 includes an imaging unit 111, an acquisition unit 112, a detection unit 113, a generation unit 114, and an output unit 115.
  • the image processing apparatus 100 may further include a reception unit 116 and a change unit 117 .
  • the photographing unit 111 generates a plurality of pieces of image data by photographing at a plurality of timings, for example, by taking continuous shots. Specifically, the imaging unit 111 captures a plurality of image data including first image data and second image data in which an image captured with the first image data is shifted by a distance unit equal to or less than the pixel pitch. Generate. The photographing unit 111 obtains a plurality of image data by moving the image sensor 101 by the actuator 102 in units of distance equal to or less than the pixel pitch of the image sensor 101 and photographing each moved position.
  • the plurality of image data are, for example, four image data obtained by photographing in four directions of up, down, left, and right with respect to each pixel pitch, and one image photographed at the center of these four image data. and four image data obtained by photographing in the four directions of up, down, left, and right.
  • the plurality of image data generated by the imaging unit 111 may be associated with position information for specifying the position of the image sensor 101 where the image of each image data was captured.
  • the position information may be information indicating the position of the image sensor 101 (for example, positions P1 to P8 to be described later), or the minimum number (for example, 8) used for synthesis processing for high resolution. It may be information indicating the order of photographing in the data set of the image data, or information indicating photographing times (for example, times t1 to t8, which will be described later).
  • the imaging unit 111 is implemented by, for example, the processor 103 executing a program stored in the storage 105 to control operations of the image sensor 101 and the actuator 102 .
  • the acquisition unit 112 acquires a plurality of image data obtained by being photographed by the photographing unit 111.
  • acquisition of a plurality of images by acquisition unit 112 is processing for temporarily storing image data generated by image sensor 101 in main memory 104 .
  • acquisition of a plurality of images by the acquisition unit 112 is processing in which the image processing apparatus 100 acquires a plurality of image data generated by the image sensor 101 .
  • the acquiring unit 112 may acquire a plurality of pieces of image data obtained by shooting with the shooting unit 111 each time a predetermined number of images are taken, or each time an image is taken. Alternatively, a plurality of image data accumulated in a predetermined period may be acquired in units of a predetermined number.
  • the predetermined number is the minimum number of image data (8 in the present embodiment) that is used by the generation unit 114, which will be described later, for synthesizing processing for increasing the resolution.
  • Acquisition unit 112 is realized by main memory 104 or the like, for example.
  • the detection unit 113 and the generation unit 114 perform each process for each data set containing the minimum number of image data used in the synthesis process for increasing the resolution. That is, the detection unit 113 and the generation unit 114 perform processing described below for each of the multiple images included in each data set.
  • the detection unit 113 performs the above determination for each pixel of the first image data.
  • the region of the pixels may be determined to be the moving object region.
  • the detection unit 113 may determine that the region of the pixels is the still object region. good.
  • the detection unit 113 performs the above determination for each pixel of the first image data, and determines whether the pixels included in the pixels whose positions correspond to each other between the first image data and each of the plurality of second image data. A plurality of differences are calculated by comparing the values, and if the maximum value among the plurality of differences is equal to or greater than a predetermined threshold, the region including pixels having the pixel value is determined to be a moving object region. good too.
  • the detection unit 113 selects one image data (first image data) out of eight image data used in synthesis processing for high resolution and the remaining seven image data.
  • the detection unit 113 may determine that the region including pixels having the pixel value is the still object region.
  • the detection unit 113 performs, for example, the above determination for each pixel of the first pixels, and determines the pixel values of the pixels whose positions correspond to each other between the first image data and each of the plurality of second image data.
  • a plurality of differences are calculated by comparing the two, and if the minimum value among the plurality of differences is equal to or greater than a predetermined threshold, the region including the pixel having the pixel value may be determined to be the moving object region. good.
  • the detection unit 113 performs the above determination for each pixel, the determination is not limited to this, and the above determination may be performed for each block composed of a predetermined number of pixels.
  • a representative value of pixel values in each block may be used as a comparison target.
  • the representative value is, for example, the pixel value of pixels at a fixed position in each block, the average value of pixel values in each block, the maximum pixel value in each block, the minimum pixel value in each block, or the pixel value in each block. such as the median value of
  • the pixel value of the pixel of the second image data corresponding in position to the pixel of the first image data may be the pixel value obtained from the same element of the image sensor 101 as the pixel of the first image data.
  • the pixel value of the pixel of the second image data corresponding in position to the pixel of the first image data is the pixel value at the same position as the pixel of the first image data in consideration of the displacement of the image sensor 101, and It may be a pixel value obtained by interpolating from the pixel value of the second image data.
  • the detection unit 113 may, for example, acquire from the storage 105 a predetermined threshold used for this determination. When the difference between the pixel values of the pixels whose positions correspond to each other is greater than or equal to a predetermined threshold value, the detection unit 113 detects a region including the pixels as a moving object region. On the contrary, when the difference between the pixel values of the pixels whose positions correspond to each other is less than the predetermined threshold value, the detection unit 113 detects the area including the pixels as a still object area. In other words, the detection unit 113 compares the first image data and the second image data, and detects areas in which different subjects are photographed in areas at the same position, thereby determining the moving object area and the stationary object area. To detect. A moving object area is an area other than the stationary object area.
  • the detection unit 113 is implemented, for example, by the processor 103 executing a program stored in the storage 105 .
  • the generation unit 114 determines whether or not a moving object region is detected by the detection unit 113 in the plurality of image data, and if a moving object region is detected, generates a still object region and a Synthetic image data is generated by performing different image processing for the moving object region.
  • the generating unit 114 generates first partial image data in the stationary object region and second partial image data in the moving object region, and synthesizes the first partial image data and the second partial image data, Composite image data including first partial image data and second partial image data is generated.
  • the stationary object area and the moving object area are, for example, different areas in the combined image data.
  • a stationary object area is an area other than the moving object area in the synthesized image data.
  • partial image data indicates image data in a partial area of one piece of image data, and is a set of a plurality of pixels included in the partial area.
  • the generation unit 114 generates first partial image data by synthesizing a plurality of partial image data in the still object region of the plurality of image data acquired by the acquisition unit 112 . Specifically, the generation unit 114 aligns and synthesizes the plurality of partial image data in the still object region of the plurality of image data based on the positions at which the plurality of images indicated by the plurality of image data were captured. By doing so, the first partial image data is generated. Note that the positions at which the plurality of images indicated by the plurality of image data were captured are indicated by position information associated with each of the plurality of image data by the imaging unit 111 .
  • the generation unit 114 performs interpolation by calculating the pixel value of a pixel at a position between two adjacent pixels of one image data out of a plurality of image data using the pixel values of other image data. do.
  • two adjacent pixels may be adjacent in the vertical direction, may be adjacent in the horizontal direction, or may be adjacent in an oblique direction intersecting the vertical direction and the horizontal direction (for example, and a direction intersecting the horizontal direction at an angle of 45 degrees or 135 degrees).
  • the generation unit 114 generates the first partial image data with higher resolution than each of the plurality of image data.
  • increasing the resolution means processing for improving the pixel density.
  • the generation unit 114 generates second partial image data using the moving object region of part of the image data among the plurality of image data. Specifically, the generation unit 114 extracts partial image data of a moving object region of one image data (for example, first image data) among the plurality of image data, and uses the extracted partial image data to generate the first image data. Generate two partial image data. For example, the generation unit 114 enlarges the partial image data of the moving object region of one image data out of the plurality of image data in accordance with the resolution (pixel density) of the first partial image data to generate the second partial image. Generate data.
  • first image data for example, first image data
  • the generation unit 114 enlarges the partial image data of the moving object region of one image data out of the plurality of image data in accordance with the resolution (pixel density) of the first partial image data to generate the second partial image.
  • “enlarging” as used herein specifically means that the pixel value of a pixel at a position between two adjacent pixels in one image data is changed to the pixel value of the two adjacent pixels and the pixel values of these two pixels. Interpolation is performed by performing calculation using at least one of the pixel values of pixels surrounding the pixel. Note that the two adjacent pixels are the same pixels as described in the generation of the first partial image data.
  • the generating unit 114 then generates composite image data by combining the generated first partial image data and the generated second partial image data.
  • the generation unit 114 also generates area information for distinguishing between the first partial image data and the second partial image data.
  • the area information is, for example, area image data indicating second partial image data.
  • the area image data is, for example, image data having the same size and shape as the second partial image data, and is image data arranged at the same position as the second partial image data in the combined image data. Note that the size of the image data is the size defined by the number of pixels, and is different from the amount of information of the image data. Then, the generation unit 114 generates output image data by superimposing the area image data on the second partial image data of the synthesized image data.
  • the area image data generated by the generation unit 114 may be, for example, image data indicating the first partial image data.
  • the area image data in this case is, for example, image data having the same size and shape as the first partial image data, and is image data arranged at the same position as the first partial image data in the synthesized image data.
  • the generation unit 114 aligns and synthesizes the plurality of image data based on the positions at which the plurality of images indicated by the plurality of image data were captured, thereby generating a composite image. Generate data. This process is similar to the process of generating the first partial image data, except that the process target is all of the plurality of image data. In the process of generating the first partial image data, the generation unit 114 may generate the first partial image data by combining all of the plurality of image data and extracting the moving object region after combining.
  • the generation unit 114 is implemented by executing a program stored in the storage 105 by the processor 103, for example.
  • the output unit 115 outputs output image data. Thereby, the output unit 115 outputs the synthesized image data and the area information. For example, the output unit 115 may output the output image data by displaying an output image indicated by the output image data on the display 108 .
  • the output unit 115 is realized, for example, by the processor 103 executing a program stored in the storage 105 and controlling the operation of the display 108 .
  • the output unit 115 may output the output image data to an external device via the communication IF 106 .
  • the output unit 115 may display the output image data on a display included in the external device, or may output (transmit) the output image data to the external device.
  • the output unit 115 outputs the composite image data and the area information by outputting the output image data
  • the output unit 115 is not limited to outputting the composite image data and the area information as one piece of output image data. may be output.
  • the output unit 115 may output the composite image data and the region information to an external device, and display an output image in which the region image indicated by the region information is superimposed on the composite image on a display included in the external device.
  • the reception unit 116 receives input from the user. Specifically, the receiving unit 116 receives an input from the user for changing the predetermined threshold used for detecting the moving object region by the detecting unit 113 .
  • the reception unit 116 is realized by the input IF 107, for example.
  • the changing unit 117 changes the predetermined threshold in accordance with the input received by the receiving unit 116 for changing the predetermined threshold that serves as the reference for detecting the moving object region by the detecting unit 113 .
  • the changing unit 117 stores the changed predetermined threshold in the storage 105, for example.
  • the detection unit 113 uses the predetermined threshold changed by the change unit 117 to detect the moving object region.
  • the changing unit 117 is implemented by executing a program stored in the storage 105 by the processor 103, for example.
  • the moving object region 152 is a region in which the difference in pixel value between the image data 131 and any of the other image data 132 to 138 is equal to or greater than a predetermined threshold. Therefore, the moving object area 152 is an area obtained by adding the areas including at least the moving objects 141 to 148 in the plurality of image data 131 to 138 .
  • the generating unit 114 generates the first partial image data by synthesizing a plurality of partial image data of the stationary object region 151 of the plurality of image data 131 to 138, and generates the first partial image data in the moving object region 152. , the partial image data of the moving object region 152 of the image data 131 is enlarged to generate the second partial image data. The generation unit 114 then combines the generated first partial image data and second partial image data to generate composite image data 160 as shown in FIG.
  • the generation unit 114 generates the output image data 170 by superimposing the area image data 172 for distinguishing the second partial image data on the moving object area 152 of the combined image data 160 .
  • the area image data 172 may be, for example, a zebra pattern as shown in FIG. 8, or a pattern filled with a single color.
  • the output image data may be image data changed so that the still object region and the moving object region have different hues, or changed so that the still object region and the moving object region have different brightness. It may be image data in which one of the still object area and the moving object area is black and white and the other area is color.
  • FIG. 9 is a flowchart showing an example of an image processing method by the image processing device according to Embodiment 1.
  • FIG. 9 is a flowchart showing an example of an image processing method by the image processing device according to Embodiment 1.
  • the photographing unit 111 generates a plurality of image data by photographing at a plurality of timings while moving the image sensor 101 (S11).
  • the generation unit 114 When a moving object region is detected (Yes in S14), the generation unit 114 generates first partial image data and second partial image data using a plurality of image data included in the data set, and generates the first partial image data. Composite image data including the image data and the second partial image data is generated (S15). Then, the generation unit 114 generates output image data by superimposing the area image data on the synthesized image data (S16).
  • the generation unit 114 generates composite image data in which the overall resolution is increased by superimposing and synthesizing all of the plurality of image data (S18). ).
  • This example differs in that steps S20 and S21 are further performed after steps S11 to S19 in the example of FIG. Further, when the output image indicated by the output image data or the synthesized image indicated by the synthesized image data is displayed on the display 108 in steps S17 and S19, the UI 180 for accepting an input to change the predetermined threshold is displayed along with the output image or the synthesized image. The difference is that they are displayed on the display 108 .
  • the detection result of the moving object area by the detection unit 113 can change, so the shape and size of the area image data 172 included in the output image data 170 can also change.
  • the size of the regional image data 172 included in the output image can be increased because the number of pixels exceeding the predetermined threshold can be increased by changing the predetermined threshold to be smaller.
  • the size of the regional image data 172 included in the output image can be reduced because the number of pixels exceeding the predetermined threshold can be reduced by changing the predetermined threshold to be larger. Therefore, the user can change the shape and size of the area image data 172 displayed on the display 108 by adjusting sliders shown on the UI 180 .
  • the size of the area image data here is the size indicated by the number of pixels, and is different from the amount of information of the area image data.
  • the generation unit 114 extracts partial image data of a moving object region of one piece of image data out of a plurality of image data in a region determined to be a moving object region, and extracts the extracted partial image data.
  • the second partial image data is generated by using the second partial image data
  • the partial image data of the moving object region of a plurality of pieces of image data, which is less than the plurality of image data, may be synthesized. That is, in generating the second partial image data, the generation unit 114 generates the moving object region of the first image data and the plurality of second images based on the position of the image sensor 101 when each image data was captured.
  • a second partial image is obtained by aligning and synthesizing partial image data of one or more moving object regions of the second image data whose difference from the moving object region of the first image data is less than a predetermined threshold. data may be generated. Therefore, even in the moving object region, by synthesizing partial image data whose pixel value difference is less than a predetermined threshold, the image quality of the second partial image data can be improved as compared with the case of using only one piece of image data. can be improved. Note that some of the image data are image data whose number is smaller than the number of image data used to generate the first partial image data. Therefore, the image quality of the second partial image data is lower than that of the first partial image data. That is, even in this modified example, there is a difference in image quality between the first partial image data and the second partial image data. The user can easily distinguish between the first partial image data and the second partial image data.
  • the generation unit 114 may generate area image data representing an area image in a display mode corresponding to the number of pieces of image data used to generate the second partial image data.
  • the generation unit 114 generates the second partial image data generated from the partial image data of N (N is a natural number) and the second partial image data generated from the partial image data of M (M is a natural number) different from N (M is a natural number).
  • area image data representing area images in different display modes may be generated for each area of the second partial image data. In this manner, since the display mode of the area image indicated by the area image data is changed according to the number of pieces of image data used to generate the second partial image data, the user can It is possible to easily distinguish the regions for each number of image data used for .
  • FIG. 12 is a diagram showing an example of an image processing device according to the second embodiment.
  • FIG. 13 is a block diagram showing an example of the hardware configuration of the image processing device according to Embodiment 2. As shown in FIG. 13
  • the image processing apparatus 200 has a hardware configuration including a processor 201, a main memory 202, a storage 203, a communication interface (IF) 204, an input interface (IF) 205, and a display 206. Prepare.
  • the main memory 202 is a volatile storage area.
  • the main memory 202 is used for temporarily storing data generated in the process of processing by the processor 201, used as a work area used when the processor 201 executes a program, and received by the communication IF 204. It is also used to temporarily store the data that has been processed.
  • the data generated in the course of processing by the processor 201 includes, for example, composite image data representing a composite image (see below) generated by the processor 201, and the like.
  • Data received by the communication IF 204 includes, for example, a plurality of image data 20 acquired from the camera 10 .
  • the storage 203 is a nonvolatile storage area that holds various data such as programs.
  • the storage 203 stores data including, for example, various data generated as a result of processing by the processor 201 and a plurality of image data 20 received by the communication IF 204 .
  • the various data include composite image data, output image data, area information, and the like.
  • the input IF 205 is an interface for receiving input from the user.
  • the input IF 205 may be a pointing device such as a mouse, touch pad, touch panel, or trackball, or may be a keyboard.
  • FIG. 14 is a block diagram showing an example of the functional configuration of the image processing apparatus according to Embodiment 2. As shown in FIG.
  • the function of the acquisition unit 211 is the same as that of the acquisition unit 112 included in the image processing apparatus 100 of Embodiment 1, but differs in that it is implemented by the communication IF 204 .
  • FIG. 15 is a flowchart showing an example of an image processing method by the image processing device according to Embodiment 2.
  • FIG. 15 is a flowchart showing an example of an image processing method by the image processing device according to Embodiment 2.
  • steps S13 to S19 are the same as those in Embodiment 1, the same reference numerals are given and the description is omitted.
  • the image processing device does not have to be realized by a camera, and may be realized by an information processing device such as a PC.
  • the plurality of image data is image data obtained by moving the image sensor 101 by a distance unit equal to or less than the pixel pitch of the image sensor 101 and capturing an image at each position.
  • the image processing apparatus according to the embodiment synthesizes a plurality of image data for high resolution, the present invention is not limited to this.
  • the plurality of image data may be image data captured for multiple exposure, and the image processing apparatus combines the plurality of image data to improve the quality of pixel values (that is, image quality). you can go In this case, the image processing apparatus performs synthesis for improving the quality of pixel values in the still object area, and uses one piece of image data in the moving object area to match the image data synthesized in the stationary object area. Adjustments may be made.
  • the plurality of image data may be image data captured for HDR (High Dynamic Range) synthesis, and the image processing apparatus performs HDR (High Dynamic Range) synthesis using the plurality of image data. may be performed.
  • the image processing device may perform HDR synthesis in the still object region, and perform image quality adjustment in accordance with the HDR synthesized image data in the still object region using one piece of image data in the moving object region.
  • each component may be configured with dedicated hardware or realized by executing a software program suitable for each component.
  • Each component may be realized by reading and executing a software program recorded in a recording medium such as a hard disk or a semiconductor memory by a program execution unit such as a CPU or processor.
  • each component may be a circuit (or an integrated circuit). These circuits may form one circuit as a whole, or may be separate circuits. These circuits may be general-purpose circuits or dedicated circuits.
  • the present disclosure may be implemented as an image processing method executed by an image processing device (computer or DSP), or may be implemented as a program for causing a computer or DSP to execute the image processing method.
  • an image processing device computer or DSP
  • a program for causing a computer or DSP to execute the image processing method may be implemented as a program for causing a computer or DSP to execute the image processing method.
  • the processing executed by a specific processing unit may be executed by another processing unit.
  • the order of the plurality of processes in the operation of the running sound generating device described in the above embodiment may be changed, and the plurality of processes may be executed in parallel.
  • the present disclosure is useful as an image processing device, an image processing method, a program, and the like that can easily confirm the result of synthesizing a plurality of image data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

カメラにより複数のタイミングで撮影されることで得られた複数の画像データを取得する取得部（１１２）と、複数の画像データにおいて移動物体が撮影された移動物体領域を検出する検出部（１１３）と、（ｉ）複数の画像データにおける、検出部において検出された移動物体領域以外の静止物体領域を合成することで第１部分画像データを生成し、（ｉｉ）複数の画像データのうちの一部の画像データの移動物体領域を用いて第２部分画像データを生成し、（ｉｉｉ）生成した第１部分画像データ及び第２部分画像データを含む合成画像データを生成する生成部（１１４）と、合成画像データと、第１部分画像データ及び第２部分画像データを区別するための領域情報とを出力する出力部（１１５）と、を備える。

Description

画像処理装置、画像処理方法、及び、プログラム
　本開示は、画像処理装置、画像処理方法、及び、プログラムに関する。
　特許文献１には、連写により得られた複数の原画像を合成してハイレゾ画像を生成する技術が開示されている。
特開２０１９－２００５５９号公報
　本開示は、複数の画像の合成結果を容易に確認することができる画像処理装置などを提供する。
　本開示の一態様に係る画像処理装置は、カメラにより複数のタイミングで撮影されることで得られた複数の画像データを取得する取得部と、前記複数の画像データにおいて移動する物体が撮影された移動物体領域を検出する検出部と、（ｉ）前記複数の画像データにおける、前記検出部において検出された移動物体領域以外の静止物体領域を合成することで第１部分画像データを生成し、（ｉｉ）前記複数の画像データのうちの一部の画像データの前記移動物体領域を用いて第２部分画像データを生成し、（ｉｉｉ）生成した前記第１部分画像データ及び前記第２部分画像データを含む合成画像データを生成する生成部と、前記合成画像データと、前記第１部分画像データ及び前記第２部分画像データを区別するための領域情報とを出力する出力部と、を備える。
　また、本開示の一態様に係る画像処理方法は、カメラにより複数のタイミングで撮影されることで得られた複数の画像データを取得する取得ステップと、前記複数の画像データにおいて移動する物体が撮影された移動物体領域を検出する検出ステップと、（ｉ）前記複数の画像データにおける、前記検出ステップにおいて検出された移動物体領域以外の静止物体領域を合成することで第１部分画像データを生成し、（ｉｉ）前記複数の画像データのうちの一部の画像データの前記移動物体領域を用いて第２部分画像データを生成し、（ｉｉｉ）生成した前記第１部分画像データ及び前記第２部分画像データを含む合成画像データを生成する生成ステップと、前記合成画像データと、前記第１部分画像データ及び前記第２部分画像データを区別するための領域情報とを出力する出力ステップと、を含む。
　また、本開示の一態様に係るプログラムは、カメラにより複数のタイミングで撮影されることで得られた複数の画像データを取得する取得ステップと、前記複数の画像データにおいて移動する物体が撮影された移動物体領域を検出する検出ステップと、（ｉ）前記複数の画像データにおける、前記検出ステップにおいて検出された移動物体領域以外の静止物体領域を合成することで第１部分画像データを生成し、（ｉｉ）前記複数の画像データのうちの一部の画像データの前記移動物体領域を用いて第２部分画像データを生成し、（ｉｉｉ）生成した前記第１部分画像データ及び前記第２部分画像データを含む合成画像データを生成する生成ステップと、前記合成画像データと、前記第１部分画像データ及び前記第２部分画像データを区別するための領域情報とを出力する出力ステップと、を含む画像処理方法を、コンピュータに実行させるためのプログラムである。
　なお、これらの全般的または具体的な態様は、システム、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、集積回路、コンピュータプログラム及び非一時的な記録媒体の任意な組み合わせで実現されてもよい。
　本開示における画像処理装置などは、複数の画像データの合成結果を容易に確認することができる。
図１は、実施の形態１に係る画像処理装置の一例を示す図である。 図２は、実施の形態１に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 図３は、実施の形態１に係る画像処理装置の機能構成の一例を示すブロック図である。 図４は、撮影部による撮影処理について説明するための図である。 図５は、生成部による合成処理について説明するための図である。 図６は、被写体に移動物体が含まれる場合に撮影される複数の画像データの一例を示す図である。 図７は、生成部により生成される合成画像データの一例を示す図である。 図８は、生成部により生成される出力画像データの一例を示す図である。 図９は、実施の形態２に係る画像処理装置による画像処理方法の一例を示すフローチャートである。 図１０は、画像処理装置による画像処理方法の他の一例を示すフローチャートである。 図１１は、出力画像データと共に表示するＵＩ（Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）の一例を示す図である。 図１２は、実施の形態２に係る画像処理装置の一例を示す図である。 図１３は、実施の形態２に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 図１４は、実施の形態２に係る画像処理装置の機能構成の一例を示すブロック図である。 図１５は、実施の形態２に係る画像処理装置による画像処理方法の一例を示すフローチャートである。
　（本開示の基礎となった知見）
　本発明者は、「背景技術」の欄において記載した、画像処理装置に関し、以下の問題が生じることを見出した。
　特許文献１の技術では、連写により得られた複数の原画像を合成してハイレゾ画像を生成する場合において、被写体の中に動体が含まれるとハイレゾ画像に残像が生じる。この技術では、この動体の残像を解消するために動体が検出された領域を１枚の画像からなる代表画像に置き換えている。
　特許文献１のような従来技術では、複数の画像を用いて画質を向上させるための合成が行われた領域と、動体の残像を解消するために代表画像に置き換えられた領域とが混在する合成画像を生成する。このような合成画像を示す合成画像データでは、置き換えられた領域において画質を向上させるための合成が行われていないため、合成が行われた領域の部分画像データと置き換えられた領域の部分画像データとの間で画質に差が生じている。
　しかしながら、ユーザは、合成が行われた領域の部分画像データと置き換えられた領域の部分画像データとを区別することが難しい。特に、カメラに搭載されているようなディスプレイは、ユーザが視認するのに十分なサイズではないため、ユーザは、このディスプレイにおいてこれらの２つの領域を区別することが難しい。このように、従来技術には、複数の画像データを用いて合成が行われた領域の部分画像データと、一部の画像データを用いて生成された領域の部分画像データとをユーザが容易に区別することが難しいという課題がある。
　そこで、本開示は、複数の画像データの合成結果を容易に確認することができる画像処理装置などを提供する。
　本開示の一態様に係る画像処理装置は、カメラにより複数のタイミングで撮影されることで得られた複数の画像データを取得する取得部と、前記複数の画像データにおいて移動する物体が撮影された移動物体領域を検出する検出部と、（ｉ）前記複数の画像データにおける、前記検出部において検出された移動物体領域以外の静止物体領域を合成することで第１部分画像データを生成し、（ｉｉ）前記複数の画像データのうちの一部の画像データの前記移動物体領域を用いて第２部分画像データを生成し、（ｉｉｉ）生成した前記第１部分画像データ及び前記第２部分画像データを含む合成画像データを生成する生成部と、前記合成画像データと、前記第１部分画像データ及び前記第２部分画像データを区別するための領域情報とを出力する出力部と、を備える。
　これによれば、複数の画像データを用いて合成が行われた第１部分画像データと、一部の画像データを用いて生成された第２部分画像データとを区別するための領域情報を出力する。このため、ユーザは、複数の画像データを用いて合成が行われた第１部分画像データと、一部の画像データを用いて生成された第２部分画像データとを容易に区別することができる。よって、ユーザは、複数の画像データの合成結果を容易に確認することができる。
　また、前記領域情報は、前記第２部分画像データであることを示す領域画像データであり、前記生成部は、さらに、前記合成画像データの前記第２部分画像データに、前記領域画像データを重畳した出力画像データを生成し、前記出力部は、前記出力画像データを出力してもよい。
　このため、ユーザは、表示された出力画像データを視認するだけで、複数の画像データの合成結果を容易に確認することができる。
　また、前記検出部は、前記複数の画像データのうちの、第１画像データと、前記第１画像データ以外の複数の第２画像データのそれぞれとの間で、位置が互いに対応する画素が有する画素値同士の差分が所定の閾値以上である場合に、当該画素を含む領域を前記移動物体領域として検出してもよい。
　このため、複数の画像データ間において所定の閾値以上の差分を有するような、高解像度化が難しい領域を検出して、複数の画像データを用いた合成を行わないため、合成後の画像データに残像が生じることを低減することができる。
　また、さらに、ユーザからの入力を受け付ける受付部と、前記受付部により受け付けられた前記入力に応じて前記所定の閾値を変更する変更部と、を備え、前記検出部は、前記変更部により変更された前記所定の閾値を用いて、前記移動物体領域の検出を行ってもよい。
　このため、ユーザは、移動物体領域を検出するための所定の閾値を容易に変更することができる。
　また、前記生成部は、前記第２部分画像データの生成において、前記複数の画像データのうちの一つの画像データの前記移動物体領域の部分画像データを前記第２部分画像データとして決定してもよい。
　また、前記生成部は、前記第２部分画像データの生成において、それぞれの画像データが示す画像が撮影されたときの前記カメラが備えるイメージセンサの位置に基づいて、前記第１画像データの移動物体領域の部分画像データと、前記複数の第２画像データのうちで前記第１画像データの移動物体領域の部分画像データとの前記差分が前記所定の閾値未満である１以上の第２画像データの前記移動物体領域の部分画像データを位置合わせして合成することで前記第２部分画像データを生成してもよい。
　このため、移動物体領域においても、画素値の差分が所定の閾値未満である一部の画像データを合成することで、一枚の画像データのみを用いる場合よりも、第２部分画像データにおける画質を向上させることができる。
　また、前記生成部は、前記第２部分画像データの生成に用いられた画像データの枚数に応じた表示態様の前記領域画像データを生成してもよい。
　これによれば、第２部分画像データの生成に用いられた画像データの数に応じて領域画像データの表示態様を変更するため、ユーザは、第２部分画像データのうちで、生成に用いられた画像データの数毎の領域を容易に区別することができる。
　また、前記複数の画像データは、前記カメラが備えるイメージセンサを前記イメージセンサの画素ピッチ以下の距離単位で移動させて移動させた位置毎に撮影することで得られ、前記生成部は、前記第１部分画像データの生成において、それぞれの画像データが示す画像が撮影されたときの前記イメージセンサの位置に基づいて、前記複数の画像データの前記静止物体領域の複数の部分画像データを位置合わせして合成してもよい。
　このため、高解像度化した第１部分画像データを生成することができる。
　また、本開示の一態様に係る画像処理方法は、カメラにより複数のタイミングで撮影されることで得られた複数の画像データを取得する取得ステップと、前記複数の画像データにおいて移動する物体が撮影された移動物体領域を検出する検出ステップと、（ｉ）前記複数の画像データにおける、前記検出ステップにおいて検出された移動物体領域以外の静止物体領域を合成することで第１部分画像データを生成し、（ｉｉ）前記複数の画像データのうちの一部の画像データの前記移動物体領域を用いて第２部分画像データを生成し、（ｉｉｉ）生成した前記第１部分画像データ及び前記第２部分画像データを含む合成画像データを生成する生成ステップと、前記合成画像データと、前記第１部分画像データ及び前記第２部分画像データを区別するための領域情報とを出力する出力ステップと、を含む。
　これによれば、複数の画像データを用いて合成が行われた第１部分画像データと、一部の画像データを用いて生成された第２部分画像データとを区別するための領域情報を出力するため、ユーザは、複数の画像データの合成結果を容易に確認することができる。
　また、本開示の一態様に係るプログラムは、カメラにより複数のタイミングで撮影されることで得られた複数の画像データを取得する取得ステップと、前記複数の画像データにおいて移動する物体が撮影された移動物体領域を検出する検出ステップと、（ｉ）前記複数の画像データにおける、前記検出ステップにおいて検出された移動物体領域以外の静止物体領域を合成することで第１部分画像データを生成し、（ｉｉ）前記複数の画像データのうちの一部の画像データの前記移動物体領域を用いて第２部分画像データを生成し、（ｉｉｉ）生成した前記第１部分画像データ及び前記第２部分画像データを含む合成画像データを生成する生成ステップと、前記合成画像データと、前記第１部分画像データ及び前記第２部分画像データを区別するための領域情報とを出力する出力ステップと、を含む画像処理方法を、コンピュータに実行させるためのプログラムである。
　これによれば、複数の画像データを用いて合成が行われた第１部分画像データと、一部の画像データを用いて生成された第２部分画像データとを区別するための領域情報を出力するため、ユーザは、複数の画像データの合成結果を容易に確認することができる。
　なお、これらの全般的または具体的な態様は、システム、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、集積回路、コンピュータプログラム及び非一時的な記録媒体の任意な組み合わせで実現されてもよい。
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、発明者は、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
　（実施の形態１）
　［１．構成］
　図１は、実施の形態１に係る画像処理装置の一例を示す図である。
　図１に示すように、画像処理装置１００は、カメラである。画像処理装置１００は、画像を撮影し、得られた画像データに対して画像処理を実行する。画像処理装置１００は、具体的には、撮影により得られた画像データの画質を向上させるために、異なる複数のタイミングで撮影することで得られた複数の画像データを合成する画像処理を行う。例えば、複数の画像データは、連写により得られる。複数の画像データは、互いに画素位置が画素単位以下の距離でずれて撮影された被写体を含む。複数の画像データは、例えば、カメラが三脚に固定されるなどで静止した状態で、カメラが備えるイメージセンサをシフトさせながら連写することで得られる。
　なお、このような複数の画像データは、カメラが備えるイメージセンサをシフトさせながら連写することで得られることに限らずに、カメラが備えるレンズをシフトさせながら連写することで得られてもよい。また、複数の画像データは、カメラが静止した状態で連写することで得られることに限らずに、ユーザが手持ちで、手ぶれ補正を利用して撮影することで得られてもよい。この場合の複数の画像データは、互いに画素位置が画素単位以下の距離でずれて撮影された被写体を含む。
　図２は、実施の形態１に係る画像処理装置のハードウェア構成の一例を示すブロック図である。
　図２に示すように、画像処理装置１００は、ハードウェア構成として、イメージセンサ１０１と、アクチュエータ１０２と、プロセッサ１０３と、メインメモリ１０４と、ストレージ１０５と、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）１０６と、入力ＩＦ（Ｉｎｔｅｒｆａｃｅ）１０７と、ディスプレイ１０８とを備える。
　イメージセンサ１０１は、図示しない光学系を介して、イメージセンサ１０１の受光面に結像された像の光による明暗の度合いを電荷の量に光電変換することで画像データを生成するためのセンサである。イメージセンサ１０１は、例えば、ベイヤー配列で並べられた複数の画素を有する。
　アクチュエータ１０２は、イメージセンサ１０１を、イメージセンサ１０１の受光面に平行な方向に、イメージセンサ１０１の画素ピッチ以下の単位で移動させる。ここでは、画素ピッチは、イメージセンサ１０１が有する複数のサブピクセルを１画素としたときの画素ピッチであり、互いに隣接する２つのサブピクセルのピッチを示す。イメージセンサ１０１が有する複数のサブピクセルは、例えば、ベイヤー配列で並べられている。
　プロセッサ１０３は、ストレージ１０５等に記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）と、画像処理を行うハードウェアである画像処理回路とを含む。
　メインメモリ１０４は、揮発性の記憶領域である。メインメモリ１０４は、イメージセンサ１０１により生成された画像データを一時的に記憶したり、プロセッサ１０３による処理の過程で生成されたデータを一時的に記憶させるために用いられたり、プロセッサ１０３がプログラムを実行するときに使用するワークエリアとして用いられたりする。プロセッサ１０３による処理の過程で生成されたデータには、例えば、プロセッサ１０３により生成された合成画像（後述参照）を示す合成画像データなどが含まれる。
　ストレージ１０５は、プログラムなどの各種データを保持する不揮発性の記憶領域である。ストレージ１０５は、例えば、イメージセンサ１０１により生成された画像データ、プロセッサ１０３による処理の結果生成された各種データなどを記憶する。各種データには、合成画像データ、出力画像データ、領域情報などが含まれる。
　通信ＩＦ１０６は、スマートフォン、タブレット、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、サーバなどの外部機器との間でデータの伝送を行うための通信インタフェースである。通信ＩＦ１０６は、例えば、無線ＬＡＮインタフェース、Ｂｌｕｅｔｏｏｔｈ（登録商標）インタフェースなどの無線通信のためのインタフェースであってもよい。通信ＩＦ１０６は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、有線ＬＡＮインタフェースなどの有線通信のためのインタフェースであってもよい。なお、通信ＩＦ１０６は、上記に限らずに、通信ネットワークを介して外部機器との間でデータの伝送を行うための通信インタフェースであってもよい。また、通信ＩＦ１０６は、メモリカードなどの記録媒体から当該記録媒体に格納されているデータを読み出すリーダであってもよい。
　入力ＩＦ１０７は、ユーザからの入力を受け付けるためのインタフェースである。入力ＩＦ１０７は、ボタン、ダイヤル、タッチパネルであってもよい。
　ディスプレイ１０８は、液晶ディスプレイ、有機ＥＬディスプレイなどである。ディスプレイ１０８は、イメージセンサ１０１により生成された画像データに基づく画像を表示する。ディスプレイ１０８は、プロセッサ１０３による処理結果を表示してもよい。
　図３は、実施の形態１に係る画像処理装置の機能構成の一例を示すブロック図である。
　図３に示すように、画像処理装置１００は、撮影部１１１と、取得部１１２と、検出部１１３と、生成部１１４と、出力部１１５とを備える。画像処理装置１００は、さらに、受付部１１６と、変更部１１７とを備えてもよい。
　撮影部１１１は、複数のタイミングで撮影する、例えば、連写することで複数の画像データを生成する。撮影部１１１は、具体的には、第１画像データと、第１画像データで撮影された像が画素ピッチ以下の距離単位でずれて撮影された第２画像データとを含む複数の画像データを生成する。撮影部１１１は、イメージセンサ１０１をイメージセンサ１０１の画素ピッチ以下の距離単位でアクチュエータ１０２により移動させて、移動させた位置毎に撮影することで複数の画像データを得る。複数の画像データは、例えば、画素ピッチ単位で互いに上下左右の４方向にずれて撮影されることで得られた４つの画像データと、これらの４つの画像データの中心で撮影された１枚を含み、互いに上下左右の４方向にずれて撮影されることで得られた４つの画像データとを含む。
　なお、撮影部１１１により生成される複数の画像データには、各画像データの画像が撮影されたイメージセンサ１０１の位置を特定するための位置情報が対応付けられていてもよい。位置情報は、イメージセンサ１０１の位置を示す情報（例えば、後述する位置Ｐ１～Ｐ８）であってもよいし、高解像度化のための合成処理に使用される最小の数（例えば８つ）単位の画像データのデータセットにおける撮影の順番を示す情報であってもよいし、撮影時刻（例えば、後述する時刻ｔ１～ｔ８）を示す情報であってもよい。
　なお、撮影部１１１による撮影処理の具体例は、後述する。撮影部１１１は、例えば、プロセッサ１０３がストレージ１０５に格納されているプログラムを実行して、イメージセンサ１０１及びアクチュエータ１０２の動作を制御することで実現される。
　取得部１１２は、撮影部１１１で撮影されることで得られた複数の画像データを取得する。本実施の形態において、取得部１１２による複数の画像の取得は、イメージセンサ１０１により生成された画像データをメインメモリ１０４に一時的に記憶させる処理である。言い換えると、取得部１１２による複数の画像の取得は、画像処理装置１００がイメージセンサ１０１により生成された複数の画像データを取得する処理である。取得部１１２は、撮影部１１１で撮影されることで得られた複数の画像データを、所定数ずつ撮影される毎に取得してもよいし、１つずつ撮影される毎に取得してもよいし、所定期間において蓄積された複数の画像データを所定数単位で取得してもよい。なお、所定数は、後述する生成部１１４によって高解像度化のための合成処理に使用される画像データの最小の数（本実施の形態では８つ）である。取得部１１２は、例えば、メインメモリ１０４などにより実現される。
　なお、検出部１１３及び生成部１１４は、高解像度化のための合成処理に使用される最小の数の画像データを含むデータセット単位で各処理を行う。つまり、検出部１１３及び生成部１１４は、各データセットに含まれる複数の画像毎に、以降で説明する処理を行う。
　検出部１１３は、取得部１１２により取得された複数の画像データにおいて移動する物体が撮影された移動物体領域を検出する。具体的には、検出部１１３は、複数の画像データのうちの、第１画像データと、第１画像データ以外の複数の第２画像データのそれぞれとの間で、位置が互いに対応する画素が有する画素値同士の差分が所定の閾値以上であるか否かを判定する。
　検出部１１３は、例えば、第１画像データの各画素について上記の判定を行い、少なくとも１枚の第２画像データとの間で所定の閾値以上となった画素の領域を移動物体領域であると判定してもよい。反対に、検出部１１３は、全ての第２画像データとの間で所定の閾値未満となった画素の領域を移動物体領域以外の静止物体領域であると判定してもよい。
　また、検出部１１３は、例えば、第１画像データの各画素について上記の判定を行い、所定の閾値未満となった画素値を有する画素を含む第２画像データが所定の枚数未満であれば、当該画素の領域を移動物体領域であると判定してもよい。反対に、検出部１１３は、所定の閾値未満となった画素値を有する画素を含む第２画像データが所定の枚数以上であれば、当該画素の領域を静止物体領域であると判定してもよい。
　また、検出部１１３は、例えば、第１画像データの各画素について上記の判定を行い、第１画像データと複数の第２画像データのそれぞれとの間で、位置が互いに対応する画素が有する画素値同士を比較することで複数の差分を算出し、複数の差分のうちの最大値が所定の閾値以上であれば、当該画素値を有する画素を含む領域を移動物体領域であると判定してもよい。本実施の形態では、検出部１１３は、高解像度化のための合成処理に使用される８つの画像データのうちの１つの画像データ（第１画像データ）と、残りの７つの画像データとの間で上記の比較を行うことで７つの差分を算出し、算出した７つの差分のうちの最大値が所定の閾値未満であれば、当該画素値を有する画素を含む領域を移動物体領域であると判定する。反対に、検出部１１３は、上記複数の差分のうちの最大値が所定の閾値以上であれば、当該画素値を有する画素を含む領域を静止物体領域であると判定してもよい。
　また、検出部１１３は、例えば、第１画素の各画素について上記の判定を行い、第１画像データと複数の第２画像データのそれぞれとの間で、位置が互いに対応する画素が有する画素値同士を比較することで複数の差分を算出し、複数の差分のうちの最小値が所定の閾値以上であれば、当該画素値を有する画素を含む領域を移動物体領域であると判定してもよい。
　また、検出部１１３は、画素毎に上記の判定を行うとしたが、これに限らずに、所定の数の画素で構成されるブロック単位で上記の判定を行ってもよい。この場合、比較対象としては、各ブロックにおける画素値の代表値が用いられてもよい。代表値は、例えば、各ブロックにおける固定の位置における画素の画素値、各ブロックにおける画素値の平均値、各ブロックにおける画素値の最大値、各ブロックにおける画素値の最小値、各ブロックにおける画素値の中央値などである。
　なお、第１画像データの画素と位置が対応する第２画像データの画素の画素値は、イメージセンサ１０１の第１画像データの画素と同じ素子から得られた画素値であってもよい。第１画像データの画素と位置が対応する第２画像データの画素の画素値は、イメージセンサ１０１の位置ずれを考慮して第１画像データの画素の位置と同じ位置における画素値であって、第２画像データの画素値から補間して得られた画素値であってもよい。
　また、検出部１１３は、例えば、この判定に用いる所定の閾値をストレージ１０５から取得してもよい。検出部１１３は、位置が互いに対応する画素が有する画素値同士の差分が所定の閾値以上である場合、当該画素を含む領域を移動物体領域として検出する。反対に、検出部１１３は、位置が互いに対応する画素が有する画素値同士の差分が所定の閾値未満である場合、当該画素を含む領域を静止物体領域として検出する。つまり、検出部１１３は、第１画像データと第２画像データとを比較して、互いに同じ位置の領域において異なる被写体が撮影されている領域を検出することで、移動物体領域及び静止物体領域を検出する。移動物体領域は、静止物体領域以外の領域である。検出部１１３は、例えば、プロセッサ１０３がストレージ１０５に格納されているプログラムを実行することで実現される。
　生成部１１４は、複数の画像データにおいて、検出部１１３により移動物体領域が検出されたか否かを判定し、移動物体領域が検出された場合、複数の画像データに対して、静止物体領域と、移動物体領域とで異なる画像処理を行うことで、合成画像データを生成する。この場合、生成部１１４は、静止物体領域における第１部分画像データと、移動物体領域における第２部分画像データとを生成し、第１部分画像データ及び第２部分画像データを合成することで、第１部分画像データ及び第２部分画像データを含む合成画像データを生成する。ここで、静止物体領域及び移動物体領域は、例えば、合成画像データにおいて互いに異なる領域である。静止物体領域は、合成画像データにおける移動物体領域以外の領域である。なお、部分画像データとは、１枚の画像データの一部の領域における画像データを示し、当該一部の領域に含まれる複数の画素の集合である。
　まず、生成部１１４は、取得部１１２により取得された複数の画像データの静止物体領域における複数の部分画像データを合成することで第１部分画像データを生成する。具体的には、生成部１１４は、複数の画像データが示す複数の画像が撮影された位置に基づいて、これらの複数の画像データの静止物体領域における複数の部分画像データを位置合わせして合成することで第１部分画像データを生成する。なお、複数の画像データが示す複数の画像が撮影された位置は、撮影部１１１により複数の画像データのそれぞれに対応付けられている位置情報で示される。生成部１１４は、例えば、複数の画像データのうちの一つの画像データの隣接する２つの画素の間の位置における画素の画素値を、他の画像データの画素値を用いて算出することで補間する。なお、隣接する２つの画素は、画像データにおいて、垂直方向に隣接していてもよいし、水平方向に隣接していてもよいし、垂直方向及び水平方向に交差する斜め方向（例えば、垂直方向及び水平方向に斜め４５度、１３５度に交差する方向）に隣接していてもよい。これにより、生成部１１４は、複数の画像データのそれぞれよりも高解像度化した第１部分画像データを生成する。ここで、高解像度化とは、画素密度を向上させる処理のことである。
　また、生成部１１４は、複数の画像データのうちの一部の画像データの移動物体領域を用いて第２部分画像データを生成する。具体的には、生成部１１４は、複数の画像データのうちの一つの画像データ（例えば、第１画像データ）の移動物体領域の部分画像データを抽出し、抽出した部分画像データを用いて第２部分画像データを生成する。例えば、生成部１１４は、複数の画像データのうちの一つの画像データの移動物体領域の部分画像データを、第１部分画像データの解像度（画素密度）に合わせて拡大することで第２部分画像データを生成する。なお、ここでいう「拡大する」とは、具体的には、一つの画像データの隣接する２つの画素の間の位置における画素の画素値を、隣接する２つの画素の画素値及びこれら２つの画素の周囲の画素の画素値の少なくとも一方を用いて算出することで補間することである。なお、隣接する２つの画素は、第１部分画像データの生成の説明と同様の画素である。そして、生成部１１４は、生成した第１部分画像データと、生成した第２部分画像データとを組み合わせることで合成画像データを生成する。
　また、生成部１１４は、第１部分画像データ及び第２部分画像データを区別するための領域情報を生成する。領域情報は、例えば、第２部分画像データであることを示す領域画像データである。領域画像データは、例えば、第２部分画像データと同じサイズ及び同じ形状の画像データであり、合成画像データにおける、第２部分画像データと同じ位置に配置される画像データである。なお、画像データのサイズとは、ここでは、画素数で規定されるサイズであり、画像データの情報量とは異なる。そして、生成部１１４は、合成画像データの第２部分画像データに、領域画像データを重畳した出力画像データを生成する。
　なお、生成部１１４によって生成される領域画像データは、例えば、第１部分画像データであることを示す画像データであってもよい。この場合の領域画像データは、例えば、第１部分画像データと同じサイズ及び同じ形状の画像データであり、合成画像データにおける、第１部分画像データと同じ位置に配置される画像データである。
　また、生成部１１４は、移動物体領域が検出されない場合、複数の画像データが示す複数の画像が撮影された位置に基づいて、これらの複数の画像データを位置合わせして合成することで合成画像データを生成する。この処理は、第１部分画像データを生成する処理と同様の処理であり、処理対象が複数の画像データの全部である点が異なる。なお、生成部１１４は、第１部分画像データを生成する処理において、複数の画像データの全部を合成し、合成後に移動物体領域を抽出することで第１部分画像データを生成してもよい。
　生成部１１４は、例えば、プロセッサ１０３がストレージ１０５に格納されているプログラムを実行することで実現される。
　出力部１１５は、出力画像データを出力する。これにより、出力部１１５は、合成画像データと、領域情報とを出力する。例えば、出力部１１５は、出力画像データが示す出力画像をディスプレイ１０８に表示することで、出力画像データを出力してもよい。出力部１１５は、例えば、プロセッサ１０３がストレージ１０５に格納されているプログラムを実行して、ディスプレイ１０８の動作を制御することで実現される。
　なお、出力部１１５は、出力画像データを、通信ＩＦ１０６を介して外部装置に出力してもよい。出力部１１５は、出力画像データを外部装置が備えるディスプレイに表示させてもよいし、出力画像データを外部装置に出力（送信）してもよい。
　また、出力部１１５は、出力画像データを出力することで合成画像データ及び領域情報を出力するとしたが、１つの出力画像データとして出力することに限らずに、合成画像データと、領域情報とを出力してもよい。例えば、出力部１１５は、合成画像データ及び領域情報を外部装置に出力し、外部装置が備えるディスプレイに、領域情報が示す領域画像が合成画像に重畳された出力画像を表示させてもよい。
　受付部１１６は、ユーザからの入力を受け付ける。具体的には、受付部１１６は、ユーザから検出部１１３による移動物体領域を検出するために用いる所定の閾値を変更するための入力を受け付ける。
　受付部１１６は、例えば、入力ＩＦ１０７などにより実現される。
　変更部１１７は、受付部１１６により受け付けられた、検出部１１３による移動物体領域を検出する基準となる所定の閾値を変更するための入力に応じて所定の閾値を変更する。変更部１１７は、例えば、変更後の所定の閾値をストレージ１０５に格納する。これにより検出部１１３は、変更部１１７により変更された所定の閾値を用いて、移動物体領域の検出を行うことになる。変更部１１７は、例えば、プロセッサ１０３がストレージ１０５に格納されているプログラムを実行することで実現される。
　次に、撮影部１１１による撮影処理の具体例について図４を用いて説明する。
　図４は、撮影部による撮影処理について説明するための図である。
　図４の（ａ）は、複数の画像を撮影するときのイメージセンサ１０１の位置について説明するための図である。図４の（ｂ）は、複数の画像を撮影するときのイメージセンサ１０１の１組の画素群１２１の位置について説明するための図である。
　図４では、イメージセンサ１０１に含まれる１組の画素群１２１を基準として説明する。１組の画素群１２１は、例えば、１つの赤（Ｒ）のサブピクセル、２つの緑（Ｇ）のサブピクセル、及び、１つの青（Ｂ）のサブピクセルを含む。この図に示されるように、イメージセンサ１０１は、例えば、ベイヤー配列で並べられた複数の画素を有する。ここでは、画素ピッチは、サブピクセルを１画素としたときの画素ピッチであり、互いに隣接する２つのサブピクセルのピッチを示す。
　撮影部１１１による撮影では、まず、最初の位置Ｐ１で撮影し、その後イメージセンサ１０１を画素ピッチ単位で異なる三方向に順に移動させる毎に、３つの位置Ｐ２、Ｐ３、Ｐ４で撮影する。例えば、イメージセンサ１０１は、図４の（ａ）における（１）の矢印、（２）の矢印、及び、（３）の矢印で示される方向に順に移動される。このように、位置Ｐ１を基準として異なる三方向にイメージセンサ１０１が移動される毎に撮影されることで、図４の（ｂ）の時刻ｔ１～ｔ４に示されるように、画素ピッチ単位で互いに上下左右の４方向にずれて撮影される。なお、図４の（ａ）では、１組の画素群１２１に含まれる赤（Ｒ）のサブピクセルの中心の位置をイメージセンサ１０１の基準の位置としている。また、図４では、イメージセンサ１０１が位置Ｐ１に配置される場合における、１組の画素群１２１が位置する領域である基準領域Ｂ１が示されている。
　次に、４つの位置Ｐ１～Ｐ４の中心の位置Ｐ５にイメージセンサ１０１を（４）の矢印で示されるように移動させて撮影し、その後イメージセンサ１０１を画素ピッチ単位で異なる三方向に順に移動させる毎に、３つの位置Ｐ６、Ｐ７、Ｐ８で撮影する。例えば、イメージセンサ１０１は、図４の（ａ）における（５）の矢印、（６）の矢印、及び、（７）の矢印で示される方向に順に移動される。このように、位置Ｐ５を基準として異なる三方向にイメージセンサ１０１が移動される毎に撮影されることで、図４の（ｂ）の時刻ｔ５～ｔ８に示されるように、画素ピッチ単位で互いに上下左右の４方向にずれて撮影される。このように、撮影部１１１は、８枚の画像を示す８つの画像データを生成する。
　次に、生成部１１４による合成処理の具体例について図５を用いて説明する。
　図５は、生成部による合成処理について説明するための図である。
　図５の（ａ）に示すように、互いに画素ピッチ単位以下で互いにずれた８つの位置で撮影された８つの画像データが得られることで、基準領域Ｂ１を基準とする８つの異なる位置における画素値が、４つのサブピクセルのそれぞれで取得される。生成部１１４は、４つのサブピクセルのそれぞれで取得される基準領域Ｂ１を基準とする８つの異なる位置における画素値を用いて、合成を行うことで、元の画像データの４倍の解像度の画像データを生成する。
　図６は、被写体に移動物体が含まれる場合に撮影される複数の画像データの一例を示す図である。図７は、生成部により生成される合成画像データの一例を示す図である。図８は、生成部により生成される出力画像データの一例を示す図である。
　高解像度化のために複数の画像データを連写で撮影すると、被写体に移動物体が含まれる場合に、移動物体とカメラとの間の相対的な位置が変化する。このため、図６に示す時刻ｔ１～ｔ８での撮影で得られた複数の画像データ１３１～１３８において、それぞれ異なる位置に移動物体１４１～１４８が撮影される。このように、異なる位置に移動物体１４１～１４８が撮影された場合、生成部１１４は、複数の画像データ１３１～１３８の全ての領域を用いて合成を行うと、移動物体１４１～１４８が含まれる移動物体領域１５２で移動物体の残像が生じてしまう。なお、移動物体領域１５２は、画像データ１３１と他の画像データ１３２～１３８いずれかの画像データとの間で画素値の差が所定の閾値以上である領域である。このため、移動物体領域１５２は、複数の画像データ１３１～１３８において移動物体１４１～１４８が少なくとも含まれる領域を加算した領域である。
　このため、生成部１１４は、静止物体領域１５１では、複数の画像データ１３１～１３８の静止物体領域１５１の複数の部分画像データを合成して第１部分画像データを生成し、移動物体領域１５２では、画像データ１３１の移動物体領域１５２の部分画像データを拡大して第２部分画像データを生成する。そして、生成部１１４は、生成した第１部分画像データ及び第２部分画像データを組み合わせて、図７に示すような合成画像データ１６０を生成する。
　そして、生成部１１４は、第２部分画像データを区別するための領域画像データ１７２を合成画像データ１６０の移動物体領域１５２に重畳することで、出力画像データ１７０を生成する。領域画像データ１７２は、例えば、図８に示すようなゼブラパターンであってもよいし、単色で塗りつぶしたパターンであってもよい。
　なお、出力画像データは、静止物体領域と移動物体領域とで色合いが異なるように変更された画像データであってもよいし、静止物体領域と移動物体領域とで明るさが異なるように変更された画像データであってもよいし、静止物体領域と移動物体領域との一方の領域を白黒にし他方の領域をカラーにした画像データであってもよい。
　［２．動作］
　次に、画像処理装置１００の動作について説明する。
　図９は、実施の形態１に係る画像処理装置による画像処理方法の一例を示すフローチャートである。
　まず、撮影部１１１は、イメージセンサ１０１を移動させながら複数のタイミングで撮影することで、複数の画像データを生成する（Ｓ１１）。
　次に、取得部１１２は、撮影部１１１により生成された複数の画像データ（本実施の形態では８つの画像データ）を取得する（Ｓ１２）。ここで、複数の画像データは、検出部１１３及び生成部１１４における各処理の処理対象となるデータセットに含まれる。
　次に、検出部１１３は、取得部１１２により取得されたデータセットに含まれる複数の画像データにおいて移動物体が撮影された移動物体領域を検出する（Ｓ１３）。
　次に、生成部１１４は、検出部１１３により移動物体領域が検出されたか否かを判定する（Ｓ１４）。
　生成部１１４は、移動物体領域が検出された場合（Ｓ１４でＹｅｓ）、データセットに含まれる複数の画像データを用いて、第１部分画像データ及び第２部分画像データを生成し、第１部分画像データ及び第２部分画像データを含む合成画像データを生成する（Ｓ１５）。そして、生成部１１４は、合成画像データに領域画像データを重畳した出力画像データを生成する（Ｓ１６）。
　次に、出力部１１５は、出力画像データが示す出力画像をディスプレイ１０８に表示する（Ｓ１７）。
　一方で、生成部１１４は、移動物体領域が検出されない場合（Ｓ１４でＮｏ）、複数の画像データの全部を用いて重ねて合成することで全体を高解像度化した合成画像データを生成する（Ｓ１８）。
　出力部１１５は、合成画像データが示す合成画像をディスプレイ１０８に表示する（Ｓ１９）。
　なお、検出部１１３による移動物体領域を検出する基準となる所定の閾値を変更する場合には、次のような処理方法となる。
　図１０は、画像処理装置による画像処理方法の他の一例を示すフローチャートである。図１１は、出力画像データが示す出力画像と共に表示するＵＩ（Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）の一例を示す図である。
　この例では、図９の例のステップＳ１１～Ｓ１９の後に、さらに、ステップＳ２０及びＳ２１を行う点が異なる。また、ステップＳ１７及びＳ１９で出力画像データが示す出力画像または合成画像データが示す合成画像をディスプレイ１０８に表示する場合、出力画像または合成画像と共に、所定の閾値を変更する入力を受け付けるためのＵＩ１８０をディスプレイ１０８に表示させる点が異なる。
　ステップＳ１７またはＳ１９の後で、受付部１１６は、ＵＩ１８０への入力を受け付けたか否かを判定する（Ｓ２０）。
　次に、受付部１１６がＵＩ１８０への入力を受け付けた場合（Ｓ２０でＹｅｓ）、変更部１１７は、受付部１１６により受け付けられた入力に応じて所定の閾値を変更する（Ｓ２１）。例えば、変更部１１７は、ＵＩ１８０で示されるスライダが右側に調整されるほど小さい値になるように所定の閾値を変更する。なお、変更部１１７は、上記とは反対に、ＵＩ１８０で示されるスライダが右側に調整されるほど大きい値になるように所定の閾値を変更してもよい。所定の閾値が変更されると、変更された所定の閾値を用いてステップＳ１３が行われる。
　これにより、検出部１１３による移動物体領域の検出結果が変わりうるため、出力画像データ１７０に含まれる領域画像データ１７２の形状及びサイズなども変わりうる。例えば、出力画像に含まれる領域画像データ１７２のサイズは、所定の閾値が小さくなるように変更されることで、所定の閾値を超える画素の数が増加しうるため、大きくなりうる。反対に、例えば、出力画像に含まれる領域画像データ１７２のサイズは、所定の閾値が大きくなるように変更されることで、所定の閾値を超える画素の数が減少しうるため、小さくなりうる。よって、ユーザは、ＵＩ１８０で示されるスライダを調整することで、ディスプレイ１０８に表示される領域画像データ１７２の形状及びサイズを変更することができる。なお、領域画像データのサイズとは、ここでは、画素数で示されるサイズであり、領域画像データの情報量とは異なる。
　［３．効果など］
　本実施の形態に係る画像処理装置１００によれば、複数の画像データを用いて合成が行われた第１部分画像データと、一部の画像データを用いて生成された第２部分画像データとを区別するための領域情報を出力するため、ユーザは、第１部分画像データと第２部分画像データとを、容易に区別することができる。
　また、本実施の形態に係る画像処理装置１００において、領域情報は、第２部分画像データであることを示す領域画像データであり、生成部１１４は、合成画像データの第２部分画像データに、領域画像データを重畳した出力画像データを生成し、出力部１１５は、出力画像データを出力する。このため、ユーザは、例えばディスプレイ１０８に表示された出力画像を視認するだけで、複数の画像データの合成結果を容易に確認することができる。
　また、本実施の形態に係る画像処理装置１００において、検出部１１３は、複数の画像データのうちの、第１画像データと、第１画像データ以外の複数の第２画像データのそれぞれとの間で、位置が互いに対応する画素が有する画素値同士の差分が所定の閾値以上である場合に、当該画素を含む領域を移動物体領域として検出する。このため、複数の画像データ間において所定の閾値以上の差分を有するような、複数の画像データの合成処理による高解像度化が難しい領域を検出して、複数の画像データを用いた合成を行わないため、合成後の画像データに残像が生じることを低減することができる。
　また、本実施の形態に係る画像処理装置１００は、さらに、ユーザからの入力を受け付ける受付部１１６と、受付部１１６により受け付けられた入力に応じて所定の閾値を変更する変更部１１７と、を備える。検出部１１３は、変更部１１７により変更された所定の閾値を用いて、移動物体領域の検出を行う。このため、ユーザは、移動物体領域を検出するための所定の閾値を容易に変更することができる。
　また、本実施の形態に係る画像処理装置１００において、複数の画像データは、カメラが備えるイメージセンサをイメージセンサの画素ピッチよりも小さい距離単位で移動させて移動させた位置毎に撮影することで得られる。生成部１１４は、第１部分画像データの生成において、それぞれの画像データが撮影されたときのイメージセンサの位置に基づいて、複数の画像データの静止物体領域の複数の部分画像データを位置合わせして合成する。このため、高解像度化した第１部分画像データを生成することができる。
　（実施の形態１の変形例）
　上記実施の形態では、生成部１１４は、移動物体領域と判定された領域において、複数の画像データのうちの一つの画像データの移動物体領域の部分画像データを抽出し、抽出した部分画像データを用いて第２部分画像データを生成するとしたが、複数の画像データよりも少ない複数枚の画像データの移動物体領域の部分画像データを合成してもよい。つまり、生成部１１４は、第２部分画像データの生成において、それぞれの画像データが撮影されたときのイメージセンサ１０１の位置に基づいて、第１画像データの移動物体領域と、複数の第２画像データのうちで第１画像データの移動物体領域との差分が所定の閾値未満である１以上の第２画像データの移動物体領域の部分画像データを位置合わせして合成することで第２部分画像データを生成してもよい。このため、移動物体領域においても、画素値の差分が所定の閾値未満である一部の画像データを合成することで、一枚の画像データのみを用いる場合よりも、第２部分画像データにおける画質を向上させることができる。なお、一部の画像データは、第１部分画像データの生成に用いられる画像データの数よりも少ない数の画像データである。このため、第２部分画像データは、第１部分画像データよりも画質が低くなる。つまり、本変形例においても、第１部分画像データと第２部分画像データとの間には、画質に差が生じるため、これらの部分画像データを区別するための領域情報を出力することで、ユーザは、第１部分画像データと第２部分画像データとを容易に区別することができる。
　また、生成部１１４は、第２部分画像データの生成に用いられた画像データの数に応じた表示態様の領域画像を示す領域画像データを生成してもよい。つまり、生成部１１４は、Ｎ枚（Ｎは自然数）の部分画像データで生成した第２部分画像データと、Ｎ枚とは異なるＭ枚（Ｍは自然数）の部分画像データで生成した第２部分画像データとを区別できるように、これらの第２部分画像データの領域毎に異なる表示態様の領域画像を示す領域画像データを生成してもよい。このように、第２部分画像データの生成に用いられた画像データの数に応じて領域画像データが示す領域画像の表示態様を変更するため、ユーザは、第２部分画像データのうちで、生成に用いられた画像データの数毎の領域を容易に区別することができる。
　なお、生成部１１４は、第２部分画像データ内における動き信頼度に応じた表示態様の領域画像を示す領域画像データを生成してもよい。つまり、生成部１１４は、動き信頼度が所定の信頼度よりも高い領域と所定の信頼度以下の領域とで異なる表示態様の領域画像を示す領域画像データを生成してもよい。
　（実施の形態２）
　実施の形態１では、カメラが画像処理装置の機能を実現するとしたが、カメラとは異なるＰＣなどの情報処理装置が画像処理装置の機能を実現してもよい。実施の形態２は、カメラとは異なる情報処理装置が画像処理装置の機能を実現する例である。
　図１２は、実施の形態２に係る画像処理装置の一例を示す図である。
　図１２に示すように、画像処理装置２００は、ＰＣなどの情報処理装置である。画像処理装置２００は、カメラ１０により複数のタイミングで撮影されることで生成された複数の画像データ２０を取得して、取得した複数の画像データ２０に対して画像処理を実行する。画像処理装置２００は、具体的には、撮影により得られた画像データの画質を向上させるために、異なる複数のタイミングで撮影することで得られた複数の画像データ２０を合成する画像処理を行う。例えば、複数の画像データ２０は、連写により得られる。
　図１３は、実施の形態２に係る画像処理装置のハードウェア構成の一例を示すブロック図である。
　図１３に示すように、画像処理装置２００は、ハードウェア構成として、プロセッサ２０１と、メインメモリ２０２と、ストレージ２０３と、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）２０４と、入力ＩＦ（Ｉｎｔｅｒｆａｃｅ）２０５と、ディスプレイ２０６とを備える。
　プロセッサ２０１は、ストレージ２０３等に記憶されたプログラムを実行するプロセッサである。
　メインメモリ２０２は、揮発性の記憶領域である。メインメモリ２０２は、プロセッサ２０１による処理の過程で生成されたデータを一時的に記憶させるために用いられたり、プロセッサ２０１がプログラムを実行するときに使用するワークエリアとして用いられたり、通信ＩＦ２０４により受信されたデータを一時的に記憶するために用いられたりする。プロセッサ２０１による処理の過程で生成されたデータには、例えば、プロセッサ２０１により生成された合成画像（後述参照）を示す合成画像データなどが含まれる。通信ＩＦ２０４により受信されたデータには、例えば、カメラ１０から取得した複数の画像データ２０が含まれる。
　ストレージ２０３は、プログラムなどの各種データを保持する不揮発性の記憶領域である。ストレージ２０３は、例えば、プロセッサ２０１による処理の結果生成された各種データ、通信ＩＦ２０４により受信された複数の画像データ２０などを含むデータを記憶する。各種データには、合成画像データ、出力画像データ、領域情報などが含まれる。
　通信ＩＦ２０４は、スマートフォン、タブレット、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、サーバなどの外部機器との間でデータの伝送を行うための通信インタフェースである。通信ＩＦ２０４は、例えば、無線ＬＡＮインタフェース、Ｂｌｕｅｔｏｏｔｈインタフェースなどの無線通信のためのインタフェースであってもよい。通信ＩＦ２０４は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、有線ＬＡＮインタフェースなどの有線通信のためのインタフェースであってもよい。なお、通信ＩＦ２０４は、上記に限らずに、通信ネットワークを介して外部機器との間でデータの伝送を行うための通信インタフェースであってもよい。また、通信ＩＦ２０４は、メモリカードなどの記録媒体から当該記録媒体に格納されているデータを読み出すリーダであってもよい。通信ＩＦ２０４は、例えば、カメラ１０から、カメラ１０により生成された複数の画像データ２０を受信する。
　入力ＩＦ２０５は、ユーザからの入力を受け付けるためのインタフェースである。入力ＩＦ２０５は、マウス、タッチパッド、タッチパネル、トラックボールなどのポインティングデバイスであってもよいし、キーボードであってもよい。
　ディスプレイ２０６は、液晶ディスプレイ、有機ＥＬディスプレイなどである。ディスプレイ２０６は、プロセッサ２０１による処理結果を表示してもよい。
　図１４は、実施の形態２に係る画像処理装置の機能構成の一例を示すブロック図である。
　図１４に示すように、画像処理装置２００は、取得部２１１と、検出部２１２と、生成部２１３と、出力部２１４とを備える。画像処理装置２００は、さらに、受付部２１５と、変更部２１６とを備えてもよい。検出部２１２、生成部２１３、出力部２１４、受付部２１５、及び、変更部２１６は、それぞれ、実施の形態１における検出部１１３、生成部１１４、出力部１１５、受付部１１６、及び、変更部１１７と同じ機能を有するため説明を省略する。
　取得部２１１の機能は、実施の形態１の画像処理装置１００が備える取得部１１２と同じであるが、通信ＩＦ２０４により実現される点が異なる。
　次に、画像処理装置２００の動作について説明する。
　図１５は、実施の形態２に係る画像処理装置による画像処理方法の一例を示すフローチャートである。
　画像処理装置２００では、取得部２１１がカメラ１０から通信ＩＦ２０４を介して複数の画像データを取得する（Ｓ１２ａ）。
　ステップＳ１３～Ｓ１９は、実施の形態１と同様であるので同じ符号を付して説明を省略する。
　このように、画像処理装置は、カメラで実現されなくてもよく、ＰＣなどの情報処理装置で実現されてもよい。
　（その他の実施の形態）
　上記実施の形態では、複数の画像データは、イメージセンサ１０１をイメージセンサ１０１の画素ピッチ以下の距離単位で移動させて移動させた位置毎に撮影することで得られる画像データであり、上記実施の形態に係る画像処理装置は、複数の画像データに高解像度化のための合成を行うとしたが、これに限らない。
　例えば、複数の画像データは、多重露出のために撮影された画像データであってもよく、画像処理装置は、複数の画像データの画素値の品質（つまり、画質）を向上させるための合成を行ってもよい。この場合、画像処理装置は、静止物体領域において画素値の品質を向上させるための合成を行い、移動物体領域において１枚の画像データを用いて静止物体領域において合成された画像データに合わせた画質調整を行ってもよい。
　また、例えば、複数の画像データは、ＨＤＲ（Ｈｉｇｈ　Ｄｙｎａｍｉｃ　Ｒａｎｇｅ）合成のために撮影された画像データであってもよく、画像処理装置は、複数の画像データを用いてＨＤＲ（Ｈｉｇｈ　Ｄｙｎａｍｉｃ　Ｒａｎｇｅ）合成を行ってもよい。この場合、画像処理装置は、静止物体領域においてＨＤＲ合成を行い、移動物体領域において１枚の画像データを用いて静止物体領域においてＨＤＲ合成された画像データに合わせた画質調整を行ってもよい。
　また、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　また、各構成要素は、回路（または集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
　また、本開示の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの非一時的な記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及びコンピュータ読み取り可能な非一時的な記録媒体の任意な組み合わせで実現されてもよい。
　例えば、本開示は、画像処理装置（コンピュータまたはＤＳＰ）が実行する画像処理方法として実現されてもよいし、上記画像処理方法をコンピュータまたはＤＳＰに実行させるためのプログラムとして実現されてもよい。
　また、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、上記実施の形態において説明された走行音生成装置の動作における複数の処理の順序は、変更されてもよいし、複数の処理は、並行して実行されてもよい。
　その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本開示の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。
　本開示は、複数の画像データの合成結果を容易に確認することができる画像処理装置、画像処理方法及びプログラムなどとして有用である。
　１０　　カメラ
　２０　　複数の画像データ
１００、２００　　画像処理装置
１０１　　イメージセンサ
１０２　　アクチュエータ
１０３、２０１　　プロセッサ
１０４、２０２　　メインメモリ
１０５、２０３　　ストレージ
１０６、２０４　　通信ＩＦ
１０７、２０５　　入力ＩＦ
１０８、２０６　　ディスプレイ
１１１　　撮影部
１１２、２１１　　取得部
１１３、２１２　　検出部
１１４、２１３　　生成部
１１５、２１４　　出力部
１１６、２１５　　受付部
１１７、２１６　　変更部
１２１　　画素群
１３１～１３８　　画像データ
１４１～１４８　　移動物体
１５１　　静止物体領域
１５２　　移動物体領域
１６０　　合成画像データ
１７０　　出力画像データ
１７２　　領域画像データ
１８０　　ＵＩ
　Ｂ１　　基準領域
　Ｐ１～Ｐ８　　位置
　ｔ１～ｔ８　　時刻

Claims (10)

  1. 　カメラにより複数のタイミングで撮影されることで得られた複数の画像データを取得する取得部と、
    　前記複数の画像データにおいて移動する物体が撮影された移動物体領域を検出する検出部と、
    　（ｉ）前記複数の画像データにおける、前記検出部において検出された移動物体領域以外の静止物体領域を合成することで第１部分画像データを生成し、（ｉｉ）前記複数の画像データのうちの一部の画像データの前記移動物体領域を用いて第２部分画像データを生成し、（ｉｉｉ）生成した前記第１部分画像データ及び前記第２部分画像データを含む合成画像データを生成する生成部と、
    　前記合成画像データと、前記第１部分画像データ及び前記第２部分画像データを区別するための領域情報とを出力する出力部と、を備える
    　画像処理装置。
  2. 　前記領域情報は、前記第２部分画像データであることを示す領域画像データであり、
    　前記生成部は、さらに、前記合成画像データの前記第２部分画像データに、前記領域画像データを重畳した出力画像データを生成し、
    　前記出力部は、前記出力画像データを出力する
    　請求項１に記載の画像処理装置。
  3. 　前記検出部は、前記複数の画像データのうちの、第１画像データと、前記第１画像データ以外の複数の第２画像データのそれぞれとの間で、位置が互いに対応する画素が有する画素値同士の差分が所定の閾値以上である場合に、当該画素を含む領域を前記移動物体領域として検出する
    　請求項２に記載の画像処理装置。
  4. 　さらに、
    　ユーザからの入力を受け付ける受付部と、
    　前記受付部により受け付けられた前記入力に応じて前記所定の閾値を変更する変更部と、を備え、
    　前記検出部は、前記変更部により変更された前記所定の閾値を用いて、前記移動物体領域の検出を行う
    　請求項３に記載の画像処理装置。
  5. 　前記生成部は、前記第２部分画像データの生成において、前記複数の画像データのうちの一つの画像データの前記移動物体領域の部分画像データを前記第２部分画像データとして決定する
    　請求項１から４のいずれか１項に記載の画像処理装置。
  6. 　前記生成部は、前記第２部分画像データの生成において、それぞれの画像データが示す画像が撮影されたときの前記カメラが備えるイメージセンサの位置に基づいて、前記第１画像データの移動物体領域の部分画像データと、前記複数の第２画像データのうちで前記第１画像データの移動物体領域の部分画像データとの前記差分が前記所定の閾値未満である１以上の第２画像データの前記移動物体領域の部分画像データを位置合わせして合成することで前記第２部分画像データを生成する
    　請求項３または４に記載の画像処理装置。
  7. 　前記生成部は、前記第２部分画像データの生成に用いられた画像データの枚数に応じた表示態様の前記領域画像データを生成する
    　請求項６に記載の画像処理装置。
  8. 　前記複数の画像データは、前記カメラが備えるイメージセンサを前記イメージセンサの画素ピッチ以下の距離単位で移動させて移動させた位置毎に撮影することで得られ、
    　前記生成部は、前記第１部分画像データの生成において、それぞれの画像データが示す画像が撮影されたときの前記イメージセンサの位置に基づいて、前記複数の画像データの前記静止物体領域の複数の部分画像データを位置合わせして合成する
    　請求項１から７のいずれか１項に記載の画像処理装置。
  9. 　カメラにより複数のタイミングで撮影されることで得られた複数の画像データを取得する取得ステップと、
    　前記複数の画像データにおいて移動する物体が撮影された移動物体領域を検出する検出ステップと、
    　（ｉ）前記複数の画像データにおける、前記検出ステップにおいて検出された移動物体領域以外の静止物体領域を合成することで第１部分画像データを生成し、（ｉｉ）前記複数の画像データのうちの一部の画像データの前記移動物体領域を用いて第２部分画像データを生成し、（ｉｉｉ）生成した前記第１部分画像データ及び前記第２部分画像データを含む合成画像データを生成する生成ステップと、
    　前記合成画像データと、前記第１部分画像データ及び前記第２部分画像データを区別するための領域情報とを出力する出力ステップと、を含む
    　画像処理方法。
  10. 　カメラにより複数のタイミングで撮影されることで得られた複数の画像データを取得する取得ステップと、
    　前記複数の画像データにおいて移動する物体が撮影された移動物体領域を検出する検出ステップと、
    　（ｉ）前記複数の画像データにおける、前記検出ステップにおいて検出された移動物体領域以外の静止物体領域を合成することで第１部分画像データを生成し、（ｉｉ）前記複数の画像データのうちの一部の画像データの前記移動物体領域を用いて第２部分画像データを生成し、（ｉｉｉ）生成した前記第１部分画像データ及び前記第２部分画像データを含む合成画像データを生成する生成ステップと、
    　前記合成画像データと、前記第１部分画像データ及び前記第２部分画像データを区別するための領域情報とを出力する出力ステップと、を含む画像処理方法を、
    　コンピュータに実行させるためのプログラム。
PCT/JP2021/048739 2021-02-25 2021-12-28 画像処理装置、画像処理方法、及び、プログラム WO2022181048A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022553685A JP7496564B2 (ja) 2021-02-25 2021-12-28 画像処理装置、画像処理方法、及び、プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021028201 2021-02-25
JP2021-028201 2021-02-25

Publications (1)

Publication Number Publication Date
WO2022181048A1 true WO2022181048A1 (ja) 2022-09-01

Family

ID=83048814

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/048739 WO2022181048A1 (ja) 2021-02-25 2021-12-28 画像処理装置、画像処理方法、及び、プログラム

Country Status (2)

Country Link
JP (1) JP7496564B2 (ja)
WO (1) WO2022181048A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008066978A (ja) * 2006-09-06 2008-03-21 Casio Comput Co Ltd 撮像装置
JP2008301043A (ja) * 2007-05-30 2008-12-11 Fujitsu Ltd 画像合成装置と画像合成方法および画像合成プログラム
JP2017005553A (ja) * 2015-06-12 2017-01-05 リコーイメージング株式会社 撮影装置及び撮影方法、制御装置及び制御方法、並びにプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5362878B2 (ja) 2012-05-09 2013-12-11 株式会社日立国際電気 画像処理装置及び画像処理方法
US9451165B2 (en) 2013-02-14 2016-09-20 Hitachi Kokusai Electric Inc. Image processing apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008066978A (ja) * 2006-09-06 2008-03-21 Casio Comput Co Ltd 撮像装置
JP2008301043A (ja) * 2007-05-30 2008-12-11 Fujitsu Ltd 画像合成装置と画像合成方法および画像合成プログラム
JP2017005553A (ja) * 2015-06-12 2017-01-05 リコーイメージング株式会社 撮影装置及び撮影方法、制御装置及び制御方法、並びにプログラム

Also Published As

Publication number Publication date
JP7496564B2 (ja) 2024-06-07
JPWO2022181048A1 (ja) 2022-09-01

Similar Documents

Publication Publication Date Title
US9420175B2 (en) Image processing system, image processing method, and computer-readable medium
JP5744161B2 (ja) 画像処理装置
CN109565551B (zh) 对齐于参考帧合成图像
JP5754312B2 (ja) 画像処理装置及び画像処理方法、並びにプログラム
JP6711612B2 (ja) 画像処理装置、画像処理方法、および撮像装置
US10002436B2 (en) Image processing device, image processing method, and solid-state imaging device
JP5767485B2 (ja) 画像処理装置及び制御方法
US20050195295A1 (en) Image-taking apparatus and image processing method
US8310553B2 (en) Image capturing device, image capturing method, and storage medium having stored therein image capturing program
KR101783229B1 (ko) 화상처리장치 및 그 제어 방법
JP2010273141A (ja) 画像処理装置およびその方法
US20240169481A1 (en) Demosaicing circuit for demosaicing quad bayer raw image data
US10116865B2 (en) Image processing apparatus and image processing method for calculating motion vector between images with different in-focus positions
US11936992B2 (en) Multi-mode demosaicing for raw image data
JP5970012B2 (ja) 画像処理装置およびその制御方法
JP6541501B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
US20170371129A1 (en) Image processing apparatus and image processing method
WO2022181048A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP6012396B2 (ja) 画像処理装置、画像処理方法およびプログラム。
JP5055571B2 (ja) 画像処理装置、電子カメラ、および画像処理プログラム
WO2018119787A1 (zh) 一种去马赛克方法及装置
TWI345413B (en) Document camera and its method for sharpening partial image on projected image
JP2017204787A (ja) 画像処理装置およびその制御方法、撮像装置、プログラム
JP6218520B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2018190201A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2022553685

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21928141

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21928141

Country of ref document: EP

Kind code of ref document: A1