WO2019044608A1 - 情報処理装置、情報処理方法、及び、記録媒体 - Google Patents

情報処理装置、情報処理方法、及び、記録媒体 Download PDF

Info

Publication number
WO2019044608A1
WO2019044608A1 PCT/JP2018/030930 JP2018030930W WO2019044608A1 WO 2019044608 A1 WO2019044608 A1 WO 2019044608A1 JP 2018030930 W JP2018030930 W JP 2018030930W WO 2019044608 A1 WO2019044608 A1 WO 2019044608A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
index
information processing
time
composite image
Prior art date
Application number
PCT/JP2018/030930
Other languages
English (en)
French (fr)
Inventor
剛志 柴田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2019539403A priority Critical patent/JP6841335B2/ja
Priority to US16/637,560 priority patent/US11055834B2/en
Publication of WO2019044608A1 publication Critical patent/WO2019044608A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00161—Viewing or previewing
    • H04N1/00164—Viewing or previewing at a remote location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00167—Processing or editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera

Definitions

  • the present invention relates to image processing, and more particularly to information processing using a plurality of images.
  • imaging devices for example, a camera or an image sensor
  • the imaging apparatus includes an imaging apparatus capable of changing imaging conditions.
  • the camera can change the exposure amount and the exposure time (shutter speed).
  • the camera can capture substantially different images, with or without a flash when shooting.
  • a surveillance camera using a visible light sensor is widely spread.
  • non-visible light sensors such as near-infrared cameras or far-infrared cameras are in widespread use.
  • a near ultraviolet camera may be used.
  • a device for imaging a longer wavelength than the wavelength region of infrared light such as terahertz waves or radio waves, may be used.
  • processing with multiple images can provide additional utility in addition to its utility in processing with a single image.
  • image composition can realize noise removal and the like. Therefore, various image synthesis methods have been developed (for example, Patent Documents 1 and 2 and Non-Patent Document 1).
  • Patent Document 1 accelerates the process of detecting misalignment between images when combining a plurality of images.
  • Patent Document 2 uses a plurality of images of different nature to improve visibility.
  • Non-Patent Document 1 a region with high visibility in each image from an image group including images in a plurality of wavelength regions (bands) acquired from a plurality of sensors or in a property (mode) There is disclosed a method of combining a single image including B.
  • a moving image includes a plurality of images captured at different times sequentially captured (hereinafter, the capturing time is also referred to as “frame”).
  • a predetermined area for example, an area with high visibility
  • an important predetermined area is also referred to as an "important area”.
  • monitoring of a target area is performed using a moving image of visible light and a moving image of infrared light.
  • Non-Patent Document 1 an image obtained by extracting and combining important regions in the plurality of moving images in each frame is used (see, for example, Non-Patent Document 1).
  • an important region may appear at different times (frames) in each moving image.
  • the case where the important area appears at different times (frames) in a plurality of moving images is referred to as “the important area is scattered in the frame”.
  • the important regions are at approximately the same position.
  • a moving object such as a person changes in position with time.
  • the image synthesis using the important areas needs to correspond to the change in the position of the important areas in different frames.
  • Patent Document 2 and Non-Patent Document 1 are inventions that combine a single high-visibility image from a plurality of still images. Therefore, the inventions described in Patent Document 2 and Non-Patent Document 1 can not combine images using the important regions scattered in the frame.
  • Patent Document 1 The invention described in Patent Document 1 is an invention for speeding up the process of detecting misalignment, and does not solve the above problem.
  • Patent Documents 1 and 2 and Non-Patent Document 1 combine images in a moving image using predetermined regions (important regions in the above example) interspersed in frames. There was a problem that I could not do it.
  • An object of the present invention is to solve the above-mentioned problems and to provide an information processing apparatus and the like which synthesizes an image by using a predetermined area scattered in a frame in a moving image.
  • An information processing apparatus includes an index calculation unit that calculates an index for selecting a predetermined region in a pixel of an image, and a first image at a first time of a plurality of moving images having different properties.
  • a first synthesized image based on the positional deviation calculation means for calculating the positional deviation between the first synthesized image and the first synthesized image at the second time before the first time;
  • Image transformation means for transforming a second image to generate a second composite image, a first region in which the first index in the first image satisfies a predetermined condition, and a second index in the second composite image
  • Region selection means for generating first information indicating a second region satisfying the condition, a first image, a second composite image, and the first information, at a first time
  • image combining means for combining the third combined image.
  • An information processing system includes the above-described information processing device, and a display device that receives and displays a third composite image from the information processing device.
  • An information processing method calculates an index for selecting a predetermined region at a pixel of an image, and generates a first image at a first time of a plurality of moving images having different properties; Calculating the displacement amount between the first composite image and the first composite image at the second time, which is the time before the second time, and modifying the first composite image based on the positional displacement amount to generate the second composite image A first region in which the first index in the first image satisfies the predetermined condition, and a second region in which the second index in the second composite image satisfies the predetermined condition. And generate the third composite image at the first time based on the first image, the second composite image, and the first information.
  • a recording medium includes a process of calculating an index for selecting a predetermined area in a pixel of an image, a first image at a first time of a plurality of moving images having different properties, and A process of calculating the amount of displacement between the first composite image and the first composite image at a second time before the time of 1 and the first composite image being deformed based on the amount of displacement. Processing of generating a composite image, a first area in which the first index in the first image satisfies the predetermined condition, and a second area in which the second index in the second composite image satisfies the predetermined condition And generating a third composite image at a first time based on the first image, the second composite image, and the first information.
  • Computer readable record a program that causes a computer to execute That.
  • FIG. 1 is a block diagram showing an example of the configuration of an information processing apparatus according to the first embodiment of the present invention.
  • FIG. 2 is a flowchart showing an example of the operation of the information processing apparatus according to the first embodiment.
  • FIG. 3 is a view showing the relationship between an image, an index, and the like in the first embodiment.
  • FIG. 4 is a diagram for explaining a composite image in the first embodiment.
  • FIG. 5 is a block diagram showing an example of a schematic configuration of the first embodiment.
  • FIG. 6 is a block diagram showing an example of the hardware configuration of the information processing apparatus according to the first embodiment.
  • FIG. 7 is a block diagram showing an example of the configuration of the information processing system according to the first embodiment.
  • the embodiment of the present invention uses a plurality of moving images with different characteristics, which are simultaneously captured for the same imaging target, as the processing targets.
  • m is an identifier (ID: Identifier) for distinguishing moving images.
  • M is an integer of 1 or more.
  • the “moving image” is an image group that continuously includes “still images” captured at a predetermined cycle.
  • each shooting time is also referred to as a "frame”.
  • the imaging cycle may change.
  • Each of the plurality of moving images includes still images at the same time (the same frame).
  • the still image at the same time may be a still image included in a predetermined time width that can be processed as a still image at the same time.
  • the required exposure time differs in relation to the performance of the imaging element and / or the nature described below. Therefore, even in the case of capturing still images at the same time, the imaging devices capture still images at strictly different times. However, these still images are still images that can be processed as still images at the same time in actual operation.
  • the “current frame” is the time of the still image to be processed. In the following description, the current frame is also referred to as "first time”.
  • the “target image” is a still image of the current frame.
  • the “target image” is also referred to as "first image”.
  • the "previous frame” is a time before the current frame.
  • the previous frame is also referred to as “second time”.
  • the "prior image” is a still image in the previous frame.
  • the “prior image” is also referred to as the "second image”.
  • the “after frame” is a time after the current frame.
  • the subsequent frame is also referred to as "third time”.
  • Embodiments of the present invention may use a portion of a still image included in a moving image. For example, embodiments of the present invention may select and process still images at predetermined intervals.
  • the predetermined interval is, for example, every other one or every two. Alternatively, if the imaging interval is 1/30 second, embodiments of the present invention may select and process still images (one per 30 frames) every second.
  • the "properties" of an image are the properties associated with the taking of the image. Properties are also called “modes”.
  • the property is the sensitivity characteristic to the wavelength region.
  • the wavelength range are bands of infrared light, visible light, and ultraviolet light.
  • the image may include an image acquired from a visible light sensor and an image acquired from a non-visible light sensor.
  • the image may include images (a plurality of invisible light images) acquired from a plurality of invisible light sensors (e.g., a near infrared sensor and a near ultraviolet sensor).
  • the image may include images (a plurality of visible light images) acquired from a plurality of visible light sensors (for example, a red sensor and a blue sensor).
  • the image may include images acquired from a plurality of cameras with different exposure amounts or a plurality of cameras with different shutter speeds.
  • the image may include an image different in the presence or absence of a flash at the time of shooting (for example, a flash image and an image without flash) or an image different in illumination light.
  • a flash image and an image without flash for example, a flash image and an image without flash
  • an image different in illumination light for example, a flash image and an image without flash
  • the difference in imaging time is a difference that does not affect the image composition described later.
  • the image is not limited to an image captured using a general camera or the like, and may include an image obtained by imaging predetermined information.
  • the image may be an image including depth information, such as an image from a depth sensor.
  • the image may be an image in which motion is computerized, such as an optical flow image, or an image in which a stereo is computerized, such as a stereo image.
  • the image is not limited to an image captured by a camera or the like, and may be an image generated or corrected using a predetermined process, such as an image generated using computer simulation or computer graphics.
  • the embodiment of the present invention generates one composite image for still images (a plurality of still images) at each time (each frame) in a moving image.
  • embodiments of the present invention may generate multiple composite images.
  • an embodiment of the present invention may generate a composite image focusing on changes in lightness (contrast) and a composite image focusing on changes in frequency.
  • the embodiments of the present invention generate a composite image.
  • the still image includes a plurality of "pixels".
  • the value of the pixel is used to calculate a value (hereinafter referred to as an “index”) used to select an area in accordance with a predetermined determination criterion.
  • the value of the pixel is, for example, an optical value (for example, brightness or brightness) at the position of the pixel.
  • the value of the pixel is the value of image contrast, edge intensity or frequency.
  • the pixel value may be a value calculated based on the contrast value or the like.
  • a pixel may include multiple values.
  • the pixel values may be calculated using multiple types of values.
  • the value of the pixel may be a value obtained by combining the contrast and the intensity of the edge by using a predetermined weight.
  • the determination criterion is arbitrary, and is determined by the user who uses the information processing apparatus. For example, the criterion is visibility, readability, or readability.
  • the index is calculated using a predetermined calculation formula (calculation formula using a pixel value) determined based on the judgment criteria.
  • the importance for example, contrast
  • the present invention does not limit the present invention.
  • the pixels of the target image are also referred to as “target pixels” or “first pixels”.
  • the pixels of the pre-image are also referred to as "pre-pixels” or "second pixels”.
  • the index corresponding to the "target pixel” is also referred to as “target index” or “first index”.
  • the index corresponding to the "prior pixel” is also referred to as the "prior index”.
  • Each still image and the composite image include the same size, ie, the same number of pixels.
  • the nth pixel is at the same position in each image. Therefore, in the following description, the image is not distinguished as the position of the pixel unless it is necessary to distinguish the image.
  • a label described in detail later is information generated for each pixel.
  • the label is not the information generated for the pixels of a particular image, but the information generated for each position of the pixel common to the images.
  • the label is information that exists one for each pixel position.
  • an embodiment of the present invention may include a storage unit (not shown), and data (such as an image) to be processed may be stored in the storage unit (for example, a recording device or a memory).
  • the storage unit for example, a recording device or a memory.
  • each component in the following description may obtain necessary data from the storage unit and store the generated or calculated data in the storage unit.
  • each configuration may transmit data to a configuration that requires data.
  • each configuration may acquire necessary data from the configuration which generated or acquired data.
  • transmission and reception of data between configurations is optional. Therefore, in the following description, the description related to data storage and transmission / reception is omitted as appropriate.
  • FIG. 1 is a block diagram showing an example of the configuration of an information processing apparatus 200 according to the first embodiment of the present invention.
  • the information processing apparatus 200 includes an index calculating unit 201, an area selecting unit 202, an index combining unit 203, an image combining unit 204, a positional deviation calculating unit 205, an image modifying unit 206, an index changing unit 207, and an image.
  • An acquisition unit 208 and an image output unit 209 are included.
  • the image acquisition unit 208 acquires a plurality of moving images from an imaging device (for example, a camera or a sensor for measurement) not shown.
  • an imaging device for example, a camera or a sensor for measurement
  • the index calculation unit 201 calculates an index for each pixel of the still image included in the moving image. For example, the index calculation unit 201 calculates a target index for each target pixel in the target image.
  • the index is, for example, the degree of importance in the level of visibility.
  • the index calculation unit 201 may calculate an index for each pixel of a composite image to be described later.
  • the index is arbitrary.
  • the index calculation unit 201 may calculate the index using a calculation formula that calculates the index based on the image contrast in the image, the intensity of the edge, or the frequency as the index.
  • the pixel serving as the boundary between light and dark is a pixel with high contrast and is a pixel with high visibility.
  • the index calculation unit 201 may use, for example, an expression that calculates a large value for a pixel with high contrast as a calculation expression. In this case, the index calculation unit 201 stores in advance a calculation formula for calculating an index.
  • the index calculation unit 201 may calculate an index (for example, the degree of importance in visibility) using a calculation formula generated using machine learning performed in advance.
  • Machine learning is optional.
  • Machine learning is machine learning using, for example, support vector machines, random forests, deep learning, and the like.
  • the index calculation unit 201 holds in advance a calculation formula for performing machine learning and calculating a large value (for example, a value of importance) for pixels in a region with high visibility as a result of machine learning. Keep it.
  • a predetermined training image preferably, an image close to an image to be processed
  • data indicating an important area (learning target area) in the training image are prepared in advance.
  • the index calculation unit 201 learns a calculation formula (for example, a regression function) for calculating an index (for example, the degree of importance) using the teacher data.
  • the configuration for executing machine learning is not limited to the index calculation unit 201.
  • the index calculation unit 201 may obtain a calculation formula as a result of machine learning performed by a configuration not shown.
  • the area selection unit 202 selects an area (for example, an area with a high value of the index) in which the index satisfies a specific condition based on the target index and the change index.
  • the change indicator will be explained later.
  • the area selection unit 202 generates predetermined information (hereinafter, referred to as “label”) for each pixel (each position of the pixel) in the selected area.
  • the “label” is information generated for each pixel, and is information indicating an image including pixels corresponding to the index used to select the region. Specifically, it is information indicating whether the position corresponding to each pixel of the region is “selected based on the target index” or “selected based on the change index”. In the following description, in the case of a pixel selected using both, the label is information indicating that it is selected based on the target index. However, in the case of a pixel selected using both, the label may be information indicating that it is selected based on the change index. Alternatively, the label may be information indicating that it has been selected based on both of the indicators. In the following description, the label is also referred to as "first information”.
  • the format and value of the label are arbitrary.
  • the region selection unit 202 may use the moving image index “m” as a label. For example, when the area is selected based on the “target index”, the area selecting unit 202 sets the index “m” of the moving image including the target image used for the selection when the area is selected based on the “target index”, and the area changes “changed”. If it is selected based on the index, "0" may be set.
  • the method by which the region selection unit 202 selects a region is arbitrary.
  • the region selection unit 202 may select a region where at least one of the target index and the change index is higher than a predetermined threshold.
  • the threshold for the target index may be the same as or different from the threshold for the change index. Alternatively, the threshold may be different for each moving image.
  • the region selection unit 202 may select a region where the index is spatially continuous and high. In this case, the region selection unit 202 may use optimization calculation such as graph cut for each index.
  • the index combining unit 203 sets a combining index for each pixel based on the target index, the change index, and the label. More specifically, the index combining unit 203 sets the value of the index (target index or change index) used for selecting the region as a combining index based on the label. The index combining unit 203 does not set a combining index for the pixels not selected as the area. However, the index combining unit 203 may set a predetermined value (for example, the value of the target index) as a combining index in pixels not selected as a region.
  • the composite index is also referred to as a “third index”.
  • the positional deviation calculation unit 205 calculates the amount of positional deviation between the composite image of the previous frame and the target image.
  • the composite image of the previous frame is an image composited using a preliminary image or the like in the processing of the previous frame.
  • the synthesized image of the previous frame is also referred to as a "pre-synthesized image” or a "first synthesized image”.
  • the moving image is obtained by shooting the same shooting target. Therefore, the amount of positional deviation is approximately the same value in any of the target images of the same frame. Therefore, the misregistration calculation unit 205 may calculate the misregistration amount between any one or a part of the target image and the pre-combined image determined in advance.
  • the method for the positional deviation calculation unit 205 to calculate the positional deviation amount between the target image and the prior synthesized image is arbitrary.
  • the positional deviation calculation unit 205 may calculate an optical flow in the target image and the pre-combined image as the positional deviation amount.
  • the misregistration calculation unit 205 may use the Lucas-Kanade method, the Horn-Schunk method, or the like to generate an optical flow of the target image and the pre-synthesized image. Is calculated.
  • the positional deviation calculation unit 205 generates a simple composite image based on the target image as preprocessing, in order to calculate a more precise optical flow. Then, the positional deviation calculation unit 205 may calculate, as the positional deviation amount, an optical flow based on the positional deviation amount of this simple composite image and the prior composite image.
  • a simple composite image is also referred to as a “simple composite image” or a “fourth composite image”.
  • the misregistration calculation unit 205 receives as a simple composite image. Create a blending image from the captured image. Then, the positional deviation calculation unit 205 may calculate the positional deviation amount between the generated blending image (an example of the simplified combined image) and the pre-composed image.
  • the blending image is an image obtained by combining a plurality of images with predetermined coefficients for each image.
  • the image combining unit 204 generates a combined image corresponding to the target image based on the target image, the deformed image, and the label.
  • the deformed image is an image obtained by deforming the pre-combined image based on the positional displacement amount by the image deforming unit 206 described later.
  • the deformed image is also referred to as a "second composite image”.
  • a composite image corresponding to a target image is also referred to as a "target composite image” or a "third composite image”.
  • the image combining unit 204 sets the pixel value of the target combined image as follows.
  • the image combining unit 204 sets the pixel value of the target image as the pixel value of the target combined image.
  • the image combining unit 204 sets the pixel value of the deformed image as the pixel value of the target combined image.
  • the label information is an index (m) of a moving image including pixels corresponding to the target index selected when the area is selected based on the "target index”, and the area is based on the "change index”. It is assumed that it is "0" when it is selected.
  • the image combining unit 204 may set the pixel value of the target combined image using an image (for example, a simple combined image) using a plurality of target images.
  • the image combining unit 204 calculates the pixel value of the target combined image using a gradient-based method such as Poisson combining based on the pixel value of the target image, the pixel value of the modified image, and the label of the pixel.
  • the image deformation unit 206 deforms the target composite image based on the positional displacement amount.
  • the target image of the current frame is a prior image with respect to the target image of a later time (rear frame). Therefore, the target composite image to be deformed here is a pre-combined image (pre-combined image of the previous frame) combined based on the previous image with respect to the target image of the later frame.
  • the image generated by the image deformation unit 206 being deformed is a deformed image generated by deforming the pre-synthesized image based on the displacement amount with respect to the target image of the subsequent frame.
  • the method used by the image deformation unit 206 for deformation is arbitrary.
  • the image deformation unit 206 may use a deformation method based on the displacement amount generally used in moving image processing.
  • the index changing unit 207 calculates a change index in each pixel from the composite index in each pixel based on the positional shift amount. More specifically, the index changing unit 207 changes the position in the pixel so that the combined index corresponds to the positional shift amount, and calculates the change index.
  • the operation of the information processing device 200 is not limited to the above.
  • the information processing apparatus 200 may calculate an index in the deformed image using the index calculation unit 201 as the change index.
  • the information processing apparatus 200 may not include the index combining unit 203 and the index changing unit 207.
  • the change index is also referred to as a "second index”.
  • the target image of the current frame is a prior image with respect to the target image of a later time (rear frame). Therefore, the composite index at this time point is a composite index synthesized using the prior index corresponding to the prior image for the target image in the later frame.
  • the change index calculated here is an index obtained by deforming, based on the positional deviation amount, the composite index synthesized using the advance index of the advance image for the target image of the subsequent frame.
  • the change index calculated based on the deformed image is also an index calculated based on the deformed image obtained by deforming the pre-composite image corresponding to the synthesized index based on the positional shift amount
  • the synthetic index is calculated based on the positional shift amount. It corresponds to a deformed index.
  • the method used by the index changing unit 207 is arbitrary.
  • the index changing unit 207 may use a deformation method based on the positional shift amount generally used in moving image processing.
  • the change index is a value calculated based on the index (pre-index) in the pre-image.
  • the region selection unit 202 sets the position of the synthesized image (pre-composition image) associated with the past still image (pre-image) in addition to the index (object index) associated with the still image (object image) to be processed.
  • An area is selected using an index (change index) associated with the image (deformed image) transformed into.
  • the selected area includes an area in which the change index in the deformed image has a predetermined value, in addition to the area of the target image in which the target index has a predetermined value.
  • the image combining unit 204 generates a target combined image using the selected area. Therefore, even if regions (for example, important regions) in which the index has a predetermined value are interspersed in the frame in the moving image, the information processing apparatus 200 can generate a composite image using these regions.
  • the image output unit 209 outputs the combined image combined by the image combining unit 204 to an external device (for example, a display device) not shown.
  • FIG. 2 is a flowchart showing an example of the operation of the information processing apparatus 200 according to the first embodiment.
  • the information processing apparatus 200 processes a still image at the first time (first frame), there is no previous frame. Therefore, the operation of the information processing apparatus 200 is different between the “first frame” and the “second frame or later”. Therefore, the operation of the first frame and the operation after the second frame will be separately described.
  • the image acquisition unit 208 acquires a plurality of moving images prior to or in parallel with the following operation.
  • the moving image includes a plurality of still images.
  • the information processing device 200 When the operation of the first frame is started, the information processing device 200 holds information indicating that the operation is the first frame. Then, the information processing device 200 starts the operation of the first frame. Each configuration refers to this information as needed.
  • the index calculation unit 201 calculates a target index in the target image (step S101).
  • the index combining unit 203 calculates a combining index based on the target index (step S102). Specifically, in the case of the first frame, the combined index is a target index.
  • the information processing apparatus 200 determines whether the target image is an image of the first frame (step S103).
  • step S103 since the target image is the image of the first frame (Yes in step S103), the information processing apparatus 200 proceeds to step S106. That is, the positional deviation calculation unit 205 and the image deformation unit 206 do not operate in the case of the first frame.
  • the positional deviation calculation unit 205 may calculate a predetermined value (for example, a value indicating that the positional deviation amount is “0”) as the positional deviation amount of each pixel. Even in this case, the image deformation unit 206 does not have to generate a deformed image. That is, the information processing apparatus 200 may execute the determination of step S103 after step S104.
  • a predetermined value for example, a value indicating that the positional deviation amount is “0”
  • the index changing unit 207 calculates a change index based on the synthesis index (step S106).
  • the change index is a composite index, that is, a target index.
  • the area selection unit 202 selects an area based on the target index and the change index, and further generates a label (step S107).
  • the change index is the target index. That is, the region selection unit 202 selects a region based on the target index, and further generates a label. In the case of the first frame, the region selection unit 202 may not generate a label.
  • the image combining unit 204 In the case of the first frame, the image combining unit 204 generates a target combined image based on the target image and the target index (step S108).
  • the image output unit 209 outputs the target composite image (step S109).
  • the information processing device 200 deletes the information indicating that it is the first frame, and holds the information that indicates that it is the operation of the second and subsequent frames. Each configuration refers to this information as needed.
  • the target composite image created in the first frame is the pre-composite image of the second frame.
  • the index calculation unit 201 calculates a target index in the target image (step S101).
  • the index combining unit 203 calculates a combined index based on the target index and the change index (step S102).
  • the information processing apparatus 200 determines whether the target image is an image of the first frame (step S103).
  • step S104 since the target image is not the image of the first frame (No in step S103), the information processing apparatus 200 proceeds to step S104.
  • the positional deviation calculation unit 205 calculates the amount of positional deviation between the target image and the pre-composite image (step S104).
  • the image deformation unit 206 deforms the pre-synthesized image based on the displacement amount to generate a deformed image (step S105).
  • the index changing unit 207 changes the combination index based on the positional deviation amount to calculate a change index (step S106).
  • the area selection unit 202 selects an area based on the target index and the change index, and further generates a label (step S107).
  • the image combining unit 204 generates a target combined image based on the target image, the deformed image, and the label (step S108).
  • the image output unit 209 outputs the target composite image (step S109).
  • the information processing apparatus 200 repeats the operations from step S101 to step S109 until the target image ends.
  • the order of the operations in the information processing apparatus 200 is not limited to the above.
  • the timing at which the image output unit 209 outputs the target composite image is not limited to the above.
  • the image combining unit 204 may store the target combined image in the buffer, and the image output unit 209 may output the target combined image at a predetermined interval.
  • the information processing apparatus 200 may start the operation after setting a predetermined value as the change index or the like prior to the operation. For example, the information processing apparatus 200 sets an initial value (for example, the lowest value) to all the change indicators, and sets a simplified composite image of the target image of the first frame to the pre-composition image and the deformation image. The operation may be started. In this case, the operation of the first frame and the operation after the second frame are the same. Therefore, the information processing apparatus 200 may omit step S103, omit the operation of the first frame, and start from operations of the second and subsequent frames.
  • a predetermined value for example, the information processing apparatus 200 sets an initial value (for example, the lowest value) to all the change indicators, and sets a simplified composite image of the target image of the first frame to the pre-composition image and the deformation image.
  • the operation may be started. In this case, the operation of the first frame and the operation after the second frame are the same. Therefore, the information processing apparatus 200 may omit step S103, omit the
  • FIG. 3 is a view showing the relationship between an image, an index, and the like in the first embodiment.
  • the images and indices shown to the right of the dotted line are the images and indices associated with the current frame.
  • the images and indices shown to the left of the dotted line are the images and indices associated with the previous frame.
  • the misalignment amount and the label shown on the dotted line are information calculated from both the current frame and the previous frame.
  • the index calculation unit 201 calculates a target index in target pixels included in a plurality of target images of the current frame in a plurality of moving images. In the process of the previous frame, the index calculation unit 201 calculates the advance index of the advance pixels included in the advance image (the target image in the process of the previous frame).
  • the misregistration calculation unit 205 calculates the misregistration amount between the pre-composed image synthesized based on the pre-image of the previous frame and the target image.
  • the image deformation unit 206 deforms the pre-synthesized image based on the positional displacement amount to generate a deformed image.
  • the index combining unit 203 combines the combination index using the change index calculated based on the combination index corresponding to the prior pixel included in the advance image and the target index.
  • the index changing unit 207 calculates a new change index (a change index corresponding to the target image) from the composite index based on the positional displacement amount.
  • the area selection unit 202 selects an area including the position of a pixel whose target index satisfies a predetermined condition (for example, larger than a threshold) and the position of a pixel whose change index satisfies a predetermined condition (larger than the threshold).
  • a predetermined condition for example, larger than a threshold
  • a predetermined condition large than the threshold
  • the area selection unit 202 generates a label that is information indicating whether the area is selected using the target index or the change index.
  • the image combining unit 204 combines the target combined image corresponding to the target image based on the deformed image, the target image, and the label in the region.
  • FIG. 4 is a diagram for explaining a composite image in the first embodiment.
  • FIG. 4 shows, as a reference for the description, a composite image in the case where a technique (hereinafter referred to as “related technology”) such as Non-Patent Document 1 is used in addition to the composite image generated by the first embodiment.
  • a technique hereinafter referred to as “related technology”
  • Non-Patent Document 1 is used in addition to the composite image generated by the first embodiment.
  • the predetermined condition applied to the indicator is that the indicator is higher than the predetermined threshold.
  • the first moving image (hereinafter referred to as “moving image A”) and the second moving image (hereinafter referred to as “moving image B”) are before the previous frame.
  • the index does not include high areas.
  • transformation based on positional offset amount is abbreviate
  • the moving image A includes an area with a high index (hereinafter, referred to as “area A”) in the previous frame.
  • area A an area with a high index
  • the moving picture B does not include the area where the index is high in the previous frame.
  • the synthesized image (pre-synthesized image) in the previous frame is an image including a region (region A) having a high index in the moving image A.
  • the composite image of the related art is also an image including a high index region (region A) in the moving image A.
  • the moving image A does not include the region where the index is high in the current frame.
  • the moving image B includes an area with a high index (hereinafter referred to as “area B”) in the current frame.
  • the composite image of the related art is an image including a region (region B) in which the index in the moving image B is high.
  • the information processing apparatus 200 corresponds to the area (area A) in which the index in the deformed image (pre-composition image) is high in addition to the area B using the operation described above. Region) is included in the composite image. As described above, in the moving image, the information processing apparatus 200 can synthesize an image using a predetermined region scattered in a frame.
  • the information processing apparatus 200 can achieve the effect of combining images using predetermined areas interspersed with frames in a moving image.
  • the information processing apparatus 200 includes an index calculation unit 201, an area selection unit 202, an image combining unit 204, a positional deviation calculation unit 205, and an image deformation unit 206.
  • the information processing apparatus 200 uses a plurality of moving images having different characteristics.
  • the index calculation unit 201 calculates an index for selecting a predetermined area in the pixel of the image.
  • the positional deviation calculation unit 205 determines whether the target image (first image) in the current frame (first time) and the previous frame (second time) before the current frame (first time) are a priori. The amount of positional deviation with respect to the composite image (first composite image) is calculated.
  • the image deformation unit 206 deforms the pre-combined image (first combined image) based on the positional displacement amount to generate a modified image (second combined image).
  • the region selection unit 202 sets a first region in which a target index (first index) in a target image (first image) satisfies a predetermined condition, and a change index (second one) in a deformed image (second composite image). And generate a label (first information) indicating a second area that satisfies the predetermined condition.
  • the image combining unit 204 generates a target composite image (third image) at a first time based on the target image (first image), the deformed image (second composite image), and the label (first information). Composite image).
  • the index calculation unit 201 calculates the index of the image.
  • the misregistration calculation unit 205 calculates the misregistration amount between the target image in the current frame and the pre-combined image in the previous frame.
  • the image deformation unit 206 deforms the pre-synthesized image based on the positional displacement amount to generate a deformed image.
  • the area selection unit 202 selects an area using a change index associated with the deformed image in addition to the target index associated with the target image.
  • the deformed image is a composite image associated with the previous frame in consideration of the displacement amount.
  • the change index is an index (pre-index) associated with the prior image (image of the previous frame) in which the positional displacement amount is considered, and is an index associated with the deformed image.
  • the area selection unit 202 selects an area using an index (modification index) associated with the deformed image in addition to the index (target index) in the target image. Therefore, the selected area includes the area where the change index related to the prior image is high, in addition to the area where the target index is high. Even if the region where the index is high is scattered in the frame, the region selecting unit 202 selects the region including the regions (the region of the target image and the region of the deformed image) scattered in the frame.
  • the image combining unit 204 creates a combined image using the deformed image in addition to the target image in the selected area. Therefore, even if regions (for example, important regions) in which the index has a predetermined value are interspersed in the frame in the moving image, the information processing apparatus 200 can generate a composite image using these regions.
  • the information processing apparatus 200 includes an index combining unit 203 and an index changing unit 207.
  • the index combining unit 203 calculates a combination index based on the label, the target index, and the change index. Then, the index changing unit 207 changes the combination index based on the positional deviation amount, and calculates the update index for the subsequent frame.
  • the information processing apparatus 200 uses these configurations to calculate the update index necessary for the operation of the subsequent frame. However, the information processing apparatus 200 may calculate the update index from the deformed image using the index calculation unit 201.
  • the information processing apparatus 200 includes an image acquisition unit 208 and an image output unit 209. Using these configurations, the information processing apparatus 200 can acquire a moving image from the outside and can output a composite image to a predetermined apparatus.
  • the information processing apparatus 200 may include a storage unit (not shown), may acquire a moving image from the storage unit, and may store the target composite image in the storage unit. In this case, the information processing apparatus 200 may not include the image acquisition unit 208 and / or the image output unit 209.
  • FIG. 5 is a block diagram showing an example of the configuration of the information processing apparatus 250 which is an outline of the first embodiment.
  • the information processing apparatus 250 includes an index calculation unit 201, an area selection unit 202, an image combining unit 204, a positional deviation calculation unit 205, and an image deformation unit 206.
  • the information processing apparatus 250 uses a plurality of moving images having different characteristics.
  • the index calculation unit 201 calculates an index for selecting a predetermined area in the pixel of the image.
  • the positional deviation calculation unit 205 determines whether the target image (first image) in the current frame (first time) and the previous frame (second time) before the current frame (first time) are a priori. The amount of positional deviation with respect to the composite image (first composite image) is calculated.
  • the image deformation unit 206 deforms the pre-combined image (first combined image) based on the positional displacement amount to generate a modified image (second combined image).
  • the region selection unit 202 sets a first region in which a target index (first index) in a target image (first image) satisfies a predetermined condition, and a change index (second one) in a deformed image (second composite image). And generate a label (first information) indicating a second area that satisfies the predetermined condition.
  • the image combining unit 204 generates a target composite image (third image) at a first time based on the target image (first image), the deformed image (second composite image), and the label (first information). Composite image).
  • the information processing apparatus 250 configured in this way has an effect of combining images using important areas scattered in frames in a moving image.
  • the reason is that the configuration in the information processing apparatus 250 operates as described above, and combines the images using the predetermined areas scattered in the frame in the moving image, as in the information processing apparatus 200.
  • the information processing apparatus 250 is the minimum configuration of the first embodiment.
  • the information processing apparatus 200 is configured as follows.
  • each component of the information processing device 200 may be configured by a hardware circuit.
  • each component may be configured using a plurality of devices connected via a network.
  • the plurality of components may be configured by one piece of hardware.
  • the information processing device 200 may be realized as a computer device including a central processing unit (CPU), a read only memory (ROM), and a random access memory (RAM).
  • the information processing apparatus 200 may be realized as a computer apparatus further including an input / output connection circuit (IOC: Input and Output Circuit) in addition to the above configuration.
  • the information processing device 200 may be realized as a computer device further including a network interface circuit (NIC: Network Interface Circuit) in addition to the above configuration.
  • NIC Network Interface Circuit
  • FIG. 6 is a block diagram showing the configuration of an information processing apparatus 600 which is an example of the hardware configuration of the information processing apparatus 200 according to the first embodiment.
  • the information processing device 600 includes a CPU 610, a ROM 620, a RAM 630, an internal storage device 640, an IOC 650, and an NIC 680, and constitutes a computer device.
  • the CPU 610 reads a program from the ROM 620. Then, the CPU 610 controls the RAM 630, the internal storage device 640, the IOC 650, and the NIC 680 based on the read program. Then, the computer including the CPU 610 controls these components to realize each function as each component shown in FIG.
  • Each configuration includes an index calculation unit 201, an area selection unit 202, an index combining unit 203, an image combining unit 204, a positional deviation calculation unit 205, an image deformation unit 206, an index changing unit 207, and image acquisition.
  • the unit 208 and the image output unit 209 are included.
  • the information processing device 200 may be configured using a combination of hardware and software (program).
  • the program may be recorded and distributed in a storage medium 700 storing the program in a computer readable manner.
  • the CPU 610 may read a program included in the recording medium 700 into the RAM 630 or the internal storage device 640 using a recording medium reading device (not shown) and operate based on the read program.
  • the recording medium 700 is, for example, an optical disk, an exchangeable magnetic disk, or an exchangeable semiconductor memory.
  • the CPU 610 may receive a program from an external device (not shown) via the NIC 680, save the program in the RAM 630 or the internal storage device 640, and operate based on the saved program.
  • the CPU 610 may use the RAM 630 or the internal storage device 640 as a temporary storage medium of the program when realizing each function.
  • the ROM 620 stores programs executed by the CPU 610 and fixed data.
  • the ROM 620 is, for example, a P-ROM (Programmable-ROM) or a flash ROM.
  • the RAM 630 temporarily stores programs and data that the CPU 610 executes.
  • the RAM 630 is, for example, a D-RAM (Dynamic-RAM).
  • the internal storage device 640 stores data and programs that the information processing apparatus 600 stores for a long time. Further, the internal storage device 640 may operate as a temporary storage device of the CPU 610.
  • the internal storage device 640 is, for example, a hard disk device, a magneto-optical disk device, a solid state drive (SSD), or a disk array device.
  • the ROM 620 and the internal storage device 640 are non-transitory recording media.
  • the RAM 630 is a volatile storage medium.
  • the CPU 610 can operate based on a program stored in the ROM 620, the internal storage device 640, or the RAM 630. That is, the CPU 610 can operate using a non-volatile storage medium or a volatile storage medium.
  • the IOC 650 mediates data between the CPU 610 and the input device 660 and the display device 670.
  • the IOC 650 is, for example, an IO interface card or a USB (Universal Serial Bus) card. Furthermore, the IOC 650 is not limited to wired like USB, and may use wireless.
  • the input device 660 is a device that receives an input instruction from the operator of the information processing apparatus 600.
  • the input device 660 is, for example, a keyboard, a mouse or a touch panel.
  • the information processing apparatus 600 may include an input device 660. In this case, the input device 660 may operate as the image acquisition unit 208.
  • the display device 670 is a device that displays information to the operator of the information processing apparatus 600.
  • the display device 670 is, for example, a liquid crystal display.
  • the information processing apparatus 600 may include a display device 670. In this case, the display device 670 may operate as the image output unit 209.
  • the NIC 680 relays exchange of data with an external device (not shown) via a network.
  • the NIC 680 is, for example, a LAN (Local Area Network) card. Furthermore, the NIC 680 may use wireless as well as wired.
  • the NIC 680 may operate as the image acquisition unit 208 and / or the image output unit 209.
  • the information processing apparatus 600 configured in this way can obtain the same effects as the information processing apparatus 200.
  • the reason is that the CPU 610 of the information processing device 600 can realize the same function as the information processing device 200 based on a program.
  • FIG. 7 is a block diagram showing an example of the configuration of the information processing system 300 according to the first embodiment.
  • the information processing system 300 includes an information processing device 200 and an image display device 310.
  • the information processing device 200 acquires a moving image from an external device. Then, the information processing device 200 generates a composite image based on the above operation. External devices are optional.
  • FIG. 7 shows, as an example of an external device, an imaging device for capturing a moving image, and an image recording device for storing the moving image.
  • the information processing device 200 transmits the generated composite image (target composite image) to the image display device 310.
  • the image display device 310 displays the received composite image.
  • the composite image is an image obtained by combining predetermined regions (for example, important regions) interspersed in frames in a moving image. Therefore, even when the important area is scattered in the frame, the user of the information processing system 300 can check the important area in the moving image by using the composite image displayed on the image display device 310.
  • predetermined regions for example, important regions
  • information processing apparatus 201 index calculation unit 202 area selection unit 203 index combination unit 204 image combination unit 205 positional deviation calculation unit 206 image deformation unit 207 index change unit 208 image acquisition unit 209 image output unit 250 information processing apparatus 300 information processing system 310 Image display apparatus 600 information processing apparatus 610 CPU 620 ROM 630 RAM 640 Internal storage 650 IOC 660 Input device 670 Display device 680 NIC 700 recording media

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

画像においてフレームに点在する所定の領域を用いて画像を合成するため、本発明の情報処理装置は、画像の画素において、所定の領域を選択するための指標を算出する指標算出手段と、性質の異なる複数の動画像の第１の時刻における第１の画像と、第１の時刻より前の時刻である第２の時刻における第１の合成画像との間における位置ずれ量を算出する位置ずれ算出手段と、位置ずれ量を基に、第１の合成画像を変形して第２の合成画像を生成する画像変形手段と、第１の画像における第１の指標が所定の条件を満たす第１の領域と、第２の合成画像における第２の指標が所定の条件を満たす第２の領域とを示す第１の情報を生成する領域選択手段と、第１の画像と、第２の合成画像と、第１の情報とを基に、第１の時刻における第３の合成画像を合成する画像合成手段とを含む。

Description

情報処理装置、情報処理方法、及び、記録媒体
　本発明は、画像の処理に関し、特に、複数の画像を用いた情報処理に関する。
　撮像装置の廉価化、及び、画像処理の高機能化に伴い、画像を用いた処理が、広く用いられている。
　また、撮像装置として、いろいろな用途に対応した撮像装置（例えば、カメラ又は画像センサ）が開発されている。
　撮像装置には、撮影条件を変更できる撮像装置がある。例えば、一般的に、カメラは、露光量、及び、露光時間（シャッター速度）を変更できる。さらに、カメラは、撮影時にフラッシュを焚く、又は、焚かないかで、実質的に異なる画像を取得できる。
　あるいは、可視光カメラ及び赤外線カメラのように、異なる波長領域に対する感度特性を備えたカメラがある。例えば、昼間時又は照明のある場所における人物などを監視するためには、可視光センサを用いた監視カメラが、広く普及している。一方、夜間における監視に対しては、近赤外線カメラ又は遠赤外線カメラなどの非可視光センサを用いたカメラが、広く普及している。あるいは、近紫外線カメラが、用いられる場合もある。あるいは、テラヘルツ波又は電波など赤外光の波長領域よりさらに長い波長をイメージングするデバイスが用いられる場合がある。
　また、複数の画像を用いた処理（例えば、画像の合成）は、単一の画像を用いた処理における有用性に加え、さらなる有用性を提供できる。例えば、画像の合成は、ノイズ除去などを実現できる。そこで、各種の画像合成手法が開発されている（例えば、特許文献１、２、及び、非特許文献１）。
　特許文献１に記載の画像処理装置は、複数の画像の合成時における、画像間の位置ずれの検出処理を高速化する。
　特許文献２に記載の画像構成システムは、性質の異なる複数の画像を用いて、視認性を向上する。
　非特許文献１には、複数のセンサから取得された複数の波長領域（バンド（ｂａｎｄ））、又は、性質（モード（ｍｏｄｅ））における画像を含む画像群から、各画像における視認性の高い領域を含む１枚の画像を合成する方法が開示されている。
特開２００７－２７４２１３号公報 特開２０１６－０３２２８９号公報
Takeshi Shibata, Masayuki Tanaka, and Masatoshi Okutomi, "Visible and near-infrared image fusion based on visually salient area selection", SPIE Proceeding, Volume 9404, Digital Photography XI, 94040G (February 27, 2015)
　動画像は、連続して撮影された異なる時間における複数の画像（以下、撮影時間を「フレーム」とも呼ぶ）を含む。動画像において所定の領域（例えば、視認性の高い領域）が重要となる。以下の説明では、重要となる所定の領域を「重要領域」とも呼ぶ。
　一つの撮影対象に対して、複数の性質の動画像を用いて監視する場合がある。例えば、可視光の動画像と、赤外光の動画像とを用いて、対象領域の監視することが行われている。
　しかし、監視者にとって、複数の動画像を同時に監視することは、難しい。そこで、複数の動画像を合成した合成画像の動画像を用いることが望まれている。複数の動画像を用いる場合、各フレームにおいて、複数の動画像における重要領域を抽出して合成した画像が用いられる（例えば、非特許文献１を参照）。
　しかし、複数の動画像を用いる場合、重要領域が、各動画像において、異なる時間（フレーム）に現れる場合がある。以下、重要領域が複数の動画像において異なる時間（フレーム）に現れる場合を、「重要領域がフレームに点在する」と呼ぶ。動画像を用いて画像を合成する場合、フレームに点在する重要領域を用いた合成が必要となる。
　同じフレームにおける複数の静止画像において、重要領域は、概ね同じ位置となる。しかし、人などの動体は、時間とともに位置が変化する。重要領域がフレームに点在する場合、重要領域を用いた画像合成は、異なるフレームにおける重要領域の位置の変化に対応する必要がある。
　特許文献２及び非特許文献１に記載の発明は、複数の静止画像から、一枚の視認性の高い画像を合成する発明である。そのため、特許文献２及び非特許文献１に記載の発明は、フレームに点在する重要領域を用いて画像を合成することができない。
　特許文献１に記載の発明は、位置ずれの検出処理を高速化する発明であり、上記問題を解決するものではない。
　このように、特許文献１、２、及び、非特許文献１に記載の発明は、動画像において、フレームに点在する所定の領域（上記の例では、重要領域）を用いて画像を合成することができないという問題点があった。
　本発明の目的は、上記問題点を解決し、動画像においてフレームに点在する所定の領域を用いて画像を合成する情報処理装置などを提供することにある。
　本発明の一形態における情報処理装置は、画像の画素において、所定の領域を選択するための指標を算出する指標算出手段と、性質の異なる複数の動画像の第１の時刻における第１の画像と、第１の時刻より前の時刻である第２の時刻における第１の合成画像との間における位置ずれ量を算出する位置ずれ算出手段と、位置ずれ量を基に、第１の合成画像を変形して第２の合成画像を生成する画像変形手段と、第１の画像における第１の指標が所定の条件を満たす第１の領域と、第２の合成画像における第２の指標が所定の条件を満たす第２の領域とを示す第１の情報を生成する領域選択手段と、第１の画像と、第２の合成画像と、第１の情報とを基に、第１の時刻における第３の合成画像を合成する画像合成手段とを含む。
　本発明の一形態における情報処理システムは、上記情報処理装置と、情報処理装置から第３の合成画像を受信して表示する表示装置とを含む。
　本発明の一形態における情報処理方法は、画像の画素において、所定の領域を選択するための指標を算出し、性質の異なる複数の動画像の第１の時刻における第１の画像と、第１の時刻より前の時刻である第２の時刻における第１の合成画像との間における位置ずれ量を算出し、位置ずれ量を基に、第１の合成画像を変形して第２の合成画像を生成し、第１の画像における第１の指標が所定の条件を満たす第１の領域と、第２の合成画像における第２の指標が所定の条件を満たす第２の領域とを示す第１の情報を生成し、第１の画像と、第２の合成画像と、第１の情報とを基に、第１の時刻における第３の合成画像を合成する。
　本発明の一形態における記録媒体は、画像の画素において、所定の領域を選択するための指標を算出する処理と、性質の異なる複数の動画像の第１の時刻における第１の画像と、第１の時刻より前の時刻である第２の時刻における第１の合成画像との間における位置ずれ量を算出する処理と、位置ずれ量を基に、第１の合成画像を変形して第２の合成画像を生成する処理と、第１の画像における第１の指標が所定の条件を満たす第１の領域と、第２の合成画像における第２の指標が所定の条件を満たす第２の領域とを示す第１の情報を生成する処理と、第１の画像と、第２の合成画像と、第１の情報とを基に、第１の時刻における第３の合成画像を合成する処理とをコンピュータに実行させるプログラムをコンピュータ読み取り可能に記録する。
　本発明に基づけば、動画像においてフレームに点在する所定の領域を用いて画像を合成するとの効果を奏することができる。
図１は、本発明における第１の実施形態に係る情報処理装置の構成の一例を示すブロック図である。 図２は、第１の実施形態に係る情報処理装置の動作の一例を示すフローチャートである。 図３は、第１の実施形態における画像及び指標などの関係を示す図である。 図４は、第１の実施形態における合成画像を説明するための図である。 図５は、第１の実施形態の概要の構成の一例を示すブロック図である。 図６は、第１の実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。 図７は、第１の実施形態に係る情報処理システムの構成の一例を示すブロック図である。
　次に、本発明における実施形態について図面を参照して説明する。
　各図面は、本発明の実施形態を説明するためのものである。ただし、本発明は、各図面の記載に限られるわけではない。また、各図面の同様の構成には、同じ番号を付し、その繰り返しの説明を、省略する場合がある。また、以下の説明に用いる図面において、本発明の説明に関係しない部分の構成については、記載を省略し、図示しない場合もある。
　本発明の実施形態は、処理の対象として、同一の撮影対象に対して同時に撮影された、性質の異なる複数の動画像を用いる。以下の説明において、「ｍ」は、動画像を区別するための識別子（ＩＤ：Ｉｄｅｎｔｉｆｉｅｒ）である。「ｍ」は１以上の整数とする。
　「動画像」とは、所定の周期で撮影された「静止画像」を、連続的に含む画像群である。以下の説明において、各撮影時間を、「フレーム」とも呼ぶ。なお、撮影周期は、変化してもよい。
　複数の動画像は、それぞれ、同一時刻（同一フレーム）の静止画像を含む。
　ただし、本実施形態において、「同一時刻」とは、完全に同じ時刻の場合に限定されない。同一時刻の静止画像は、以下の説明において、同じ時刻の静止画像として処理可能な範囲となる所定の時間幅に含まれる静止画像でもよい。
　これは、次のような要因を考慮しているためである。
　実際の撮像装置において、撮影素子の性能、及び／又は、以下で説明する性質に関連して、必要となる露光時間が異なる。そのため、同一時刻に静止画像を撮影する場合でも、撮像装置は、それぞれ、厳密には異なる時刻における静止画像を撮影している。ただし、これらの静止画像は、実際の運用においては、同一時刻の静止画像として処理可能な静止画像である。
　「現フレーム」は、処理対象となる静止画像の時刻である。以下の説明において、現フレームを、「第１の時刻」とも呼ぶ。
　「対象画像」とは、現フレームの静止画像である。以下の説明において、「対象画像」を「第１の画像」とも呼ぶ。
　「前フレーム」は、現フレームより前の時刻である。以下の説明において、前フレームを、「第２の時刻」とも呼ぶ。
　「事前画像」とは、前フレームにおける静止画像である。以下の説明において、「事前画像」を「第２の画像」とも呼ぶ。
　「後フレーム」は、現フレームより後の時刻である。以下の説明において、後フレームを、「第３の時刻」とも呼ぶ。
　本発明の実施形態は、動画像に含まれる静止画像の一部を用いてもよい。例えば、本発明の実施形態は、所定の間隔で、静止画像を選択して処理してもよい。所定の間隔とは、例えば、一つ置き、又は、二つ置きである。あるいは、撮影間隔が３０分の１秒の場合、本発明の実施形態は、１秒置きに（３０フレーム当たり一つの）静止画像を選択して処理してもよい。
　以下の説明において、動画像と静止画像とを区別する必要がない場合、単に「画像」と呼ぶ場合もある。
　画像の「性質」とは、画像の撮影に関連する性質である。性質は、「モード」とも呼ばれる。
　例えば、性質は、波長領域に対する感度特性である。波長領域の具体例は、赤外光、可視光、及び、紫外光の帯域である。例えば、画像には、可視光センサから取得された画像と、非可視光センサから取得された画像とが含まれていてもよい。あるいは、画像には、複数の非可視光センサ（例えば、近赤外線センサと近紫外線センサ）から取得された画像（複数の非可視光画像）が含まれていてもよい。あるいは、画像には、複数の可視光センサ（例えば、赤色センサと青色センサ）から取得された画像（複数の可視光画像）が含まれていてもよい。あるいは、画像には、露光量の異なる複数のカメラ、又は、シャッター速度の異なる複数のカメラから取得された画像が含まれていてもよい。
　あるいは、画像には、撮影時のフラッシュの有無が異なる画像（例えば、フラッシュ画像とフラッシュなし画像）、又は、照明光が異なる画像が含まれていてもよい。この場合、各動画像における撮影時間が異なる場合もあるが、撮影時間の差は、後ほど説明する画像合成に影響しない程度の差であるとする。
　あるいは、画像には、一般的なカメラなどを用いて撮影された画像に限られず、所定の情報を画像化した画像が含まれていてもよい。例えば、画像は、深度センサからの画像のように深度の情報を含んだ画像でもよい。あるいは、画像は、オプティカルフロー画像のような動きを情報化した画像、又は、ステレオ画像のように立体を情報化した画像でもよい。
　あるいは、画像は、カメラなどが撮影した画像に限られず、コンピュータシミュレーション又はコンピュータグラフィックを用いて生成された画像のように、所定の処理を用いて生成又は修正された画像でもよい。
　そして、本発明における実施形態は、動画像における各時刻（各フレーム）における静止画像（複数の静止画像）に対して一つの合成画像を生成する。ただし、本発明の実施形態は、複数の合成画像を生成してもよい。例えば、本発明の実施形態は、明度の変化（コントラスト）に注目した合成画像と、周波数の変化に注目した合成画像とを生成してもよい。以下の説明では、説明を明確にするため、本発明の実施形態は、一つの合成画像を生成する。
　静止画像は、複数の「画素」を含む。本発明の実施形態において、画素の値は、所定の判断基準に沿った領域の選択に用いられる値（以下、「指標」と呼ぶ）の算出に用いられる。
　より具体的には、画素の値は、例えば、画素の位置における光学的な値（例えば、輝度、又は、明度）である。あるいは、画素の値は、画像コントラスト、エッジの強度、又は、周波数の値である。あるいは、画素の値は、コントラストの値などを基に算出される値でもよい。画素は、複数の値を含んでもよい。
　画素の値は、複数の種類の値を用いて算出されてもよい。例えば、画素の値は、コントラストと、エッジの強度とを、所定の重みを用いて結合した値でもよい。
　判断基準は、任意であり、情報処理装置を用いる利用者が決定するものである。例えば、判断基準は、視認性、可読性、又は、判読性である。指標は、判断基準を基に決定された所定の計算式（画素の値を用いた計算式）を用いて算出される。
　以下の説明では、一例として、判断基準に関連する指標として、視認性における重要度（例えば、コントラスト）を用いる。ただし、これは、本発明を限定するものではない。
　以下の説明において、対象画像の画素を「対象画素」又は「第１の画素」とも呼ぶ。事前画像の画素を「事前画素」又は「第２の画素」とも呼ぶ。
　さらに、以下の説明において、「対象画素」に対応する指標を「対象指標」又は「第１の指標」とも呼ぶ。「事前画素」に対応する指標を「事前指標」とも呼ぶ。
　各静止画像及び合成画像は、同じ大きさ、つまり同じ数の画素を含む。例えば、ｎ番目の画素は、各画像において同じ位置となる。そのため、画像を区別した説明が必要な場合を除き、以下の説明において、画素の位置としては、画像を区別しないで説明する。
　例えば、後ほど詳細に説明するラベルは、画素毎に生成される情報である。これを詳細に説明すると、ラベルは、特定の画像の画素に対して生成される情報ではなく、画像間において共通である画素の各位置に対して生成される情報である。ラベルは、各画素の位置に対して一つ存在する情報である。
　さらに、本発明における実施形態は、図示しない記憶部を含み、処理対象のデータ（画像など）をその記憶部（例えば、記録装置又はメモリ）に保存してもよい。この場合、以下の説明における各構成は、その記憶部から必要なデータを取得し、生成又は計算したデータを記憶部に保存すればよい。
　あるいは、各構成は、データを必要とする構成にデータを送信してもよい。あるいは、各構成は、データを生成又は取得した構成から、必要となるデータを取得してもよい。このように、構成間におけるデータの送信及び受信は、任意である。そのため、以下の説明では、適宜、データの保存及び送受信に関連する説明を省略する。
　＜第１の実施形態＞
　図面を参照して、第１の実施形態について説明する。
　［構成の説明］
　まず、第１の実施形態に係る情報処理装置２００の構成について、図面を参照して説明する。
　図１は、本発明における第１の実施形態に係る情報処理装置２００の構成の一例を示すブロック図である。
　情報処理装置２００は、指標算出部２０１と、領域選択部２０２と、指標合成部２０３と、画像合成部２０４と、位置ずれ算出部２０５と、画像変形部２０６と、指標変更部２０７と、画像取得部２０８と、画像出力部２０９とを含む。
　画像取得部２０８は、図示しない撮像装置（例えば、カメラ又は測定用のセンサ）から、複数の動画像を取得する。
　指標算出部２０１は、動画像に含まれる静止画像の画素毎の指標を算出する。例えば、指標算出部２０１は、対象画像における対象画素毎の対象指標を算出する。指標とは、例えば、視認性の高さにおける重要度である。指標算出部２０１は、後ほど説明する合成画像の画素毎の指標を算出してもよい。
　本実施形態において、指標は、任意である。例えば、指標算出部２０１は、指標として、画像における画像コントラスト、エッジの強度、又は周波数などを基に指標を算出する算出式を用いて、指標を算出すればよい。
　例えば、明暗の境となる画素は、コントラストが強い画素であり、視認性が高い画素である。指標が視認性における重要度の場合、指標算出部２０１は、算出式として、例えば、コントラストが強い画素に対して大きな値を算出する式を用いればよい。なお、この場合、指標算出部２０１は、予め、指標を算出するための算出式を保存している。
　あるいは、指標算出部２０１は、予め実施した機械学習を用いて生成された算出式を用いて、指標（例えば、視認性における重要度）を算出してもよい。機械学習は、任意である。機械学習は、例えば、サポートベクトルマシン、ランダムフォレスト、又は、深層学習などを用いた機械学習である。例えば、指標算出部２０１は、予め、機械学習を実行し、機械学習の結果として、視認性の高い領域の画素に対して大きな値（例えば、重要度の値）を算出する算出式を保持しておく。
　より具体的に機械学習の一例を説明すると、次のとおりである。まず、教師データとして、予め、所定の訓練画像（望ましくは、処理の対象となる画像に近い画像）と、その訓練画像における重要な領域（学習対象領域）を示すデータとを用意する。そして、機械学習として、指標算出部２０１は、その教師データを用いて、指標（例えば、重要度）を算出する算出式（例えば、回帰関数）を学習する。
　なお、機械学習を実行する構成は、指標算出部２０１に限定されない。指標算出部２０１は、図示しない構成が実行した機械学習の結果として、算出式を取得してもよい。
　領域選択部２０２は、対象指標と、変更指標とを基に、指標が特定の条件を満たす領域（例えば指標の値が高い領域）を選択する。
　変更指標については、後ほど説明する。
　そして、領域選択部２０２は、選択された領域における画素毎（画素の位置毎）に、所定の情報（以下、「ラベル」と呼ぶ）を生成する。
　「ラベル」とは、画素毎に生成される情報であり、領域の選択に用いられた指標に対応した画素を含む画像を示す情報である。具体的には、その領域の各画素に対応する位置が、「対象指標を基に選択された」又は「変更指標を基に選択された」のどちらであるかを表す情報である。なお、以下の説明において、両方を用いて選択された画素の場合、ラベルは、対象指標を基に選択されたことを示す情報とする。ただし、両方を用いて選択された画素の場合、ラベルは、変更指標を基に選択されたことを示す情報としてもよい。あるは、ラベルは、両方の指標を基に選択されたことを示す情報でもよい。以下の説明において、ラベルを、「第１の情報」とも呼ぶ。
　第１の実施形態において、ラベルの形式及び値は、任意である。例えば、領域選択部２０２は、ラベルとして、動画像のインデックス「ｍ」を利用してもよい。例えば、領域選択部２０２は、ラベルとして、領域が「対象指標」を基に選択された場合には選択に用いられた対象画像を含む動画像のインデックス「ｍ」を設定し、領域が「変更指標」を基に選択された場合には「０」を設定してもよい。
　領域選択部２０２が領域を選択する手法は、任意である。例えば、領域選択部２０２は、対象指標及び変更指標の少なくともいずれかが、所定の閾値より高い領域を選択してもよい。なお、対象指標に対する閾値は、変更指標に対する閾値と同じでもよく、異なっていてもよい。あるいは、動画像ごとに、閾値が異なっていてもよい。
　あるいは、領域選択部２０２は、指標が空間的に連続して高い領域を選択してもよい。この場合、領域選択部２０２は、各指標に対して、グラフカットなどの最適化計算を用いればよい。
　指標合成部２０３は、対象指標と、変更指標と、ラベルとを基に、画素毎に、合成指標を設定する。より具体的には、指標合成部２０３は、ラベルを基に、合成指標として、領域の選択に用いられた指標（対象指標又は変更指標）の値を設定する。指標合成部２０３は、領域として選択されていない画素に対して、合成指標を設定しない。ただし、指標合成部２０３は、領域として選択されていない画素における合成指標として、所定の値（例えば、対象指標の値）を設定してもよい。
　以下の説明において、合成指標を、「第３の指標」とも呼ぶ。
　位置ずれ算出部２０５は、前フレームの合成画像と、対象画像との間の位置ずれ量を算出する。
　前フレームの合成画像は、前フレームの処理において事前画像などを用いて合成された画像である。以下の説明において、前フレームの合成画像を「事前合成画像」又は「第１の合成画像」とも呼ぶ。
　なお、動画像は、同一の撮影対象を撮影したものである。そのため、位置ずれ量は、同じフレームの対象画像のいずれにおいても、概ね同じ値となる。そこで、位置ずれ算出部２０５は、予め決めておいたいずれか一つ又は一部の対象画像と事前合成画像との位置ずれ量を算出してもよい。
　位置ずれ算出部２０５が対象画像と事前合成画像間の位置ずれ量を算出する方法は、任意である。例えば、位置ずれ算出部２０５は、位置ずれ量として、対象画像と、事前合成画像とにおけるオプティカルフローを算出してもよい。より詳細には、例えば、位置ずれ算出部２０５は、ルーカス・金田法（Ｌｕｃａｓ－Ｋａｎａｄｅ）、又は、ホーン－シャンク（Ｈｏｒｎ－Ｓｃｈｕｎｋ）法などを用いて、対象画像と事前合成画像とのオプティカルフローを算出すればよい。
　あるいは、例えば、位置ずれ算出部２０５は、より精緻なオプティカルフローを算出するために、前処理として、対象画像を基に簡易的な合成画像を生成する。そして、位置ずれ算出部２０５は、位置ずれ量として、この簡易的な合成画像と事前合成画像の位置ずれ量を基にしたオプティカルフローを算出してもよい。以下の説明において、簡易的な合成画像を「簡易合成画像」又は「第４の合成画像」とも呼ぶ。
　例えば、情報処理装置２００が、画像として、露光量が異なる複数の可視光画像、又は、可視光画像と非可視光画像とを取得した場合、位置ずれ算出部２０５は、簡易合成画像として、受信した画像からブレンディング画像を生成する。そして、位置ずれ算出部２０５は、生成したブレンディング画像（簡易合成画像の一例）と、事前合成画像との間の位置ずれ量を算出してもよい。
　ブレンディング画像とは、複数の画像を、各画像に対して予め定めた係数を用いて合成した画像である。
　画像合成部２０４は、対象画像と、変形画像と、ラベルとを基に、対象画像に対応した合成画像を生成する。
　変形画像とは、後ほど説明する画像変形部２０６が、位置ずれ量を基に事前合成画像を変形した画像である。以下の説明において、変形画像を「第２の合成画像」とも呼ぶ。
　また、以下の説明において、対象画像に対応した合成画像を「対象合成画像」又は「第３の合成画像」とも呼ぶ。
　画像合成部２０４は、対象合成画像の画素値を、次のように設定する。
　ラベルが対象指標を基に選択された情報の場合、画像合成部２０４は、対象合成画像の画素値として、対象画像の画素値を設定する。一方、ラベルが変更指標を基に選択された情報の場合、画像合成部２０４は、対象合成画像の画素値として、変形画像の画素値を設定する。
　例えば、ラベルの情報が、領域が「対象指標」を基に選択された場合に選択された対象指標に対応した画素を含む動画像のインデックス（ｍ）であり、領域が「変更指標」を基に選択された場合に「０」であるとする。
　この場合、画像合成部２０４は、次のように動作する。ラベルが０より大きい値の場合（ラベル＝ｍの場合）、画像合成部２０４は、対象合成画像の画素値に、ラベルの値（ｍ）に対応する対象画像（ｍ番目の動画像の対象画像）の画素値を設定する。一方、ラベルが０の場合、画像合成部２０４は、対象合成画像の画素値に、変形画像の画素値を設定する。
　あるいは、画像合成部２０４は、対象画像を用いる場合、複数の対象画像を用いた画像（例えば、簡易合成画像）を用いて対象合成画像の画素値を設定してもよい。
　あるいは、画像合成部２０４は、対象画像の画素値と、変形画像の画素値と、画素におけるラベルとを基に、ポアソン合成などの勾配ベースの方法を用いて、対象合成画像の画素値を算出してもよい。
　画像変形部２０６は、位置ずれ量を基に、対象合成画像を変形する。
　ここで、現フレームの対象画像は、後の時刻（後フレーム）の対象画像に対して、事前画像となる。そのため、ここで変形の対象となる対象合成画像は、後フレームの対象画像に対して、事前画像を基に合成された事前合成画像（前フレームの事前合成画像）となる。その結果、画像変形部２０６が変形して生成した画像は、後フレームの対象画像に対して、事前合成画像を位置ずれ量を基に変形して生成した変形画像となる。
　画像変形部２０６が変形に用いる手法は、任意である。画像変形部２０６は、動画像処理において一般的に用いられている位置ずれ量に基づく変形手法を用いればよい。
　指標変更部２０７は、位置ずれ量に基づいて、各画素における合成指標から、各画素における変更指標を算出する。より詳細には、指標変更部２０７は、合成指標を位置ずれ量に対応するように画素における位置を変化させて、変更指標を算出する。
　ただし、情報処理装置２００の動作は、上記に限定されない。例えば、情報処理装置２００は、変更指標として、指標算出部２０１を用いて変形画像における指標を算出してもよい。この場合、情報処理装置２００は、指標合成部２０３及び指標変更部２０７を含まなくてもよい。
　以下の説明において、変更指標を、「第２の指標」とも呼ぶ。
　ここで、現フレームの対象画像は、後の時刻（後フレーム）の対象画像に対して、事前画像となる。そのため、この時点における合成指標は、後フレームにおける対象画像に対して、事前画像に対応した事前指標を用いて合成された合成指標である。その結果、ここで算出された変更指標は、後フレームの対象画像に対して、事前画像の事前指標を用いて合成された合成指標を、位置ずれ量を基に変形した指標となる。
　変形画像を基に算出された変更指標も、合成指標に対応する事前合成画像を位置ずれ量を基に変形した変形画像を基に算出された指標のため、位置ずれ量を基に合成指標を変形した指標に相当する。
　指標変更部２０７が用いる手法は、任意である。指標変更部２０７は、動画像処理において一般的に用いられている位置ずれ量に基づく変形手法を用いればよい。
　変更指標は、事前画像における指標（事前指標）を基に算出される値である。領域選択部２０２は、処理対象の静止画像（対象画像）に関連する指標（対象指標）に加え、過去の静止画像（事前画像）に関連する合成画像（事前合成画像）を位置ずれ量を基に変形した画像（変形画像）に関連する指標（変更指標）を用いて、領域を選択する。選択された領域は、対象指標が所定の値となる対象画像の領域に加え、変形画像における変更指標が所定の値となる領域を含む。そして、画像合成部２０４は、選択された領域を用いて、対象合成画像を生成する。そのため、情報処理装置２００は、動画像において、指標が所定の値となる領域（例えば、重要領域）がフレームに点在しても、それらの領域を用いた合成画像を生成することができる。
　画像出力部２０９は、画像合成部２０４が合成した合成画像を図示しない外部の装置（例えば、表示装置）に出力する。
　[動作の説明]
　次に、図面を参照して、第１の実施形態に係る情報処理装置２００の動作を説明する。
　図２は、第１の実施形態に係る情報処理装置２００の動作の一例を示すフローチャートである。
　情報処理装置２００が最初の時刻（第１フレーム）の静止画像を処理する場合、前フレームが存在しない。そのため、情報処理装置２００の動作は、「第１フレーム」と、「第２フレーム以降」とで異なる。そこで、第１フレームの動作と、第２フレーム以降の動作とを、分けて説明する。
　なお、画像取得部２０８は、以下の動作に先立って、又は、並行して、複数の動画像を取得する。動画像は、複数の静止画像を含む。
　第１フレームの動作を開始するときに、情報処理装置２００は、第１フレームの動作であること示す情報を保持する。そして、情報処理装置２００は、第１フレームの動作を開始する。各構成は、必要に応じて、この情報を参照する。
　第１のフレームに関連する動作を説明する。
　指標算出部２０１は、対象画像における対象指標を算出する（ステップＳ１０１）。
　指標合成部２０３は、第１フレームの場合、対象指標を基に合成指標を算出する（ステップＳ１０２）。具体的には、第１フレームの場合、合成指標は、対象指標である。
　情報処理装置２００は、対象画像が第１フレームの画像か否かを判定する（ステップＳ１０３）。
　今の場合、対象画像が第１フレームの画像なので（ステップＳ１０３でＹｅｓ）、情報処理装置２００は、ステップＳ１０６へ進む。つまり、位置ずれ算出部２０５及び画像変形部２０６は、第１フレームの場合、動作しない。
　なお、位置ずれ算出部２０５は、第１フレームの場合、各画素の位置ずれ量として所定の値（例えば、位置ずれ量が「０」であることを示す値）を算出してもよい。この場合でも、画像変形部２０６は、変形画像を生成する必要はない。つまり、情報処理装置２００は、ステップＳ１０３の判断を、ステップＳ１０４の後に実行してもよい。
　指標変更部２０７は、第１フレームの場合、合成指標を基に変更指標を算出する（ステップＳ１０６）。具体的には、第１フレームの場合、変更指標は、合成指標、つまり、対象指標である。
　領域選択部２０２は、対象指標と変更指標とを基に領域を選択し、さらにラベルを生成する（ステップＳ１０７）。ただし、第１フレームの場合、上記のとおり、変更指標は対象指標である。つまり、領域選択部２０２が、対象指標を基に領域を選択し、さらにラベルを生成する。なお、領域選択部２０２は、第１フレームの場合、ラベルを生成しなくてもよい。
　画像合成部２０４は、第１フレームの場合、対象画像と対象指標とを基に対象合成画像を生成する（ステップＳ１０８）。
　画像出力部２０９は、対象合成画像を出力する（ステップＳ１０９）。
　ここまでが、第１フレームの動作である。
　第１フレームの動作が終了すると、情報処理装置２００は、第１フレームであることを示す情報を削除し、第２フレーム以降の動作であることを示す情報を保持する。各構成は、必要に応じて、この情報を参照する。
　第１フレームにおいて作成された対象合成画像が、第２フレームの事前合成画像である。
　次に、第２フレーム以降の動作を説明する。
　指標算出部２０１が、対象画像における対象指標を算出する（ステップＳ１０１）。
　指標合成部２０３が、対象指標と変更指標とを基に合成指標を算出する（ステップＳ１０２）。
　情報処理装置２００は、対象画像が第１フレームの画像か否かを判定する（ステップＳ１０３）。
　今の場合、対象画像が第１フレームの画像ではないので（ステップＳ１０３でＮｏ）、情報処理装置２００は、ステップＳ１０４へ進む。
　位置ずれ算出部２０５は、対象画像と事前合成画像との位置ずれ量を算出する（ステップＳ１０４）。
　画像変形部２０６は、位置ずれ量を基に、事前合成画像を変形して、変形画像を生成する（ステップＳ１０５）。
　指標変更部２０７は、位置ずれ量を基に、合成指標を変更して変更指標を算出する（ステップＳ１０６）。
　領域選択部２０２が、対象指標と変更指標とを基に領域を選択し、さらにラベルを生成する（ステップＳ１０７）。
　画像合成部２０４が、対象画像と、変形画像と、ラベルとを基に対象合成画像を生成する（ステップＳ１０８）。
　画像出力部２０９は、対象合成画像を出力する（ステップＳ１０９）。
　以後、情報処理装置２００は、対象画像が終了するまで、ステップＳ１０１からＳ１０９までの動作を繰り返す。
　情報処理装置２００における動作の順番は上記に限定されない。
　例えば、画像出力部２０９が対象合成画像を出力するタイミングは、上記に限定されない。例えば、情報処理装置２００が図示しないバッファを含む場合、画像合成部２０４が対象合成画像をバッファに保存し、画像出力部２０９が所定の間隔で対象合成画像を出力してもよい。
　なお、情報処理装置２００は、動作に先立ち、変更指標などに所定の値を設定してから、動作を開始してもよい。例えば、情報処理装置２００は、全ての変更指標に初期値（例えば、最低値）を設定し、事前合成画像及び変形画像に第１フレームの対象画像の簡易合成画像を設定してから、上記の動作を開始してもよい。この場合、第１フレームの動作と、第２フレーム以降の動作とが同じ動作となる。そのため、情報処理装置２００は、ステップＳ１０３を含まず、第１フレームの動作を省略し、第２フレーム以降の動作から開始してもよい。
　次に、図面を参照して、情報処理装置２００の動作をさらに説明する。
　図３は、第１の実施形態における画像及び指標などの関係を示す図である。図３において、点線より右側に示されている画像及び指標が、現フレームに関連する画像及び指標である。点線より左側に示されている画像及び指標が、前フレームに関連する画像及び指標である。点線上に示されている位置ずれ量及びラベルが、現フレームと前フレームとの両方から算出される情報である。
　指標算出部２０１は、複数の動画像における現フレームの複数の対象画像に含まれる対象画素における対象指標を算出する。なお、前フレームの処理では、指標算出部２０１は、事前画像（前フレームの処理では対象画像）に含まれる事前画素における事前指標を算出している。
　位置ずれ算出部２０５は、前フレームの事前画像を基に合成された事前合成画像と、対象画像との間の位置ずれ量を算出する。
　画像変形部２０６は、位置ずれ量を基に事前合成画像を変形して変形画像を生成する。
　指標合成部２０３は、事前画像に含まれる事前画素に対応した合成指標を基に算出される変更指標と、対象指標とを用いて合成指標を合成する。
　指標変更部２０７は、位置ずれ量を基に、合成指標から新しい変更指標（対象画像に対応した変更指標）を算出する。
　領域選択部２０２は、対象指標が所定の条件を満たす（例えば、閾値より大きい）画素の位置と、変更指標が所定の条件を満たす（閾値より大きい）画素の位置とを含む領域を選択する。図３は、領域の図示を省略している。領域については、後ほど、図４を参照して説明する。
　領域選択部２０２は、領域が対象指標及び変更指標のいずれを用いて選択されたかを示す情報であるラベルを生成する。
　画像合成部２０４は、領域において、変形画像と、対象画像と、ラベルとを基に、対象画像に対応する対象合成画像を合成する。
　図４は、第１の実施形態における合成画像を説明するための図である。図４は、説明の参考として、第１に実施形態が生成する合成画像に加え、非特許文献１などの技術（以下、「関連技術」と呼ぶ）を用いた場合の合成画像を示す。
　以下の説明において、指標に適用する所定の条件は、指標が所定の閾値より高いこととする。
　説明の便宜のため、図４において、第１の動画像（以下、「動画像Ａ」と呼ぶ）及び第２の動画像（以下、「動画像Ｂ」と呼ぶ）は、前フレームより前では指標が高い領域を含まないとする。また、図４は、位置ずれ量を基づく変形を省略している。つまり、図４において、変形画像は、事前合成画像と同じ画像となる。
　まず、前フレームにおける合成画像について説明する。
　動画像Ａは、前フレームにおいて、指標が高い領域（以下、「領域Ａ」と呼ぶ）を含む。一方、動画像Ｂは、前フレームにおいて、指標が高い領域を含まない。
　この場合、前フレームにおける合成画像（事前合成画像）は、動画像Ａにおける指標の高い領域（領域Ａ）を含む画像となる。
　関連技術の合成画像も、動画像Ａにおける指標の高い領域（領域Ａ）を含む画像となる。
　次に、現フレームにおける合成画像について説明する。
　動画像Ａは、現フレームにおいて、指標が高い領域を含まない。一方、動画像Ｂは、現フレームにおいて、指標が高い領域（以下、「領域Ｂ」と呼ぶ）を含む。
　この場合、関連技術の合成画像は、動画像Ｂにおける指標が高い領域（領域Ｂ）を含む画像となる。
　一方、情報処理装置２００は、図４に示されているように、これまで説明した動作を用いて、領域Ｂに加え、変形画像（事前合成画像）における指標が高い領域（領域Ａに対応する領域）を合成画像に含ませる。このように、情報処理装置２００は、動画像において、フレームに点在する所定の領域を用いて画像を合成することができる。
　［効果の説明］
　次に、第１の実施形態の効果を説明する。
　第１の実施形態に係る情報処理装置２００は、動画像においてフレームに点在する所定の領域を用いて画像を合成するとの効果を奏することができる。
　その理由は、次のとおりである。
　情報処理装置２００は、指標算出部２０１と、領域選択部２０２と、画像合成部２０４と、位置ずれ算出部２０５と、画像変形部２０６とを含む。情報処理装置２００は、性質の異なる複数の動画像を用いる。指標算出部２０１は、画像の画素において、所定の領域を選択するための指標を算出する。位置ずれ算出部２０５は、現フレーム（第１の時刻）における対象画像（第１の画像）と、現フレーム（第１の時刻）より前の時刻である前フレーム（第２の時刻）における事前合成画像（第１の合成画像）との間における位置ずれ量を算出する。画像変形部２０６は、位置ずれ量を基に、事前合成画像（第１の合成画像）を変形して変形画像（第２の合成画像）を生成する。領域選択部２０２は、対象画像（第１の画像）における対象指標（第１の指標）が所定の条件を満たす第１の領域と、変形画像（第２の合成画像）における変更指標（第２の指標）が所定の条件を満たす第２の領域とを示すラベル（第１の情報）を生成する。画像合成部２０４は、対象画像（第１の画像）と、変形画像（第２の合成画像）と、ラベル（第１の情報）とを基に、第１の時刻における対象合成画像（第３の合成画像）を合成する。
　上記のように、指標算出部２０１が、画像の指標を算出する。
　位置ずれ算出部２０５は、現フレームにおける対象画像と、前フレームにおける事前合成画像との位置ずれ量を算出する。
　画像変形部２０６は、位置ずれ量を基に、事前合成画像を変形して変形画像を生成する。
　領域選択部２０２は、対象画像に関連する対象指標に加え、変形画像に関連する変更指標を用いて領域を選択する。
　変形画像は、位置ずれ量を考慮した前フレームに関連する合成画像である。変更指標は、位置ずれ量を考慮した事前画像（前フレームの画像）に関連する指標（事前指標）であり、変形画像に関連する指標である。
　領域選択部２０２は、対象画像における指標（対象指標）に加え、変形画像に関連する指標（変更指標）を用いて領域を選択する。そのため、選択された領域は、対象指標が高い領域に加え、事前画像に関連する変更指標が高い領域を含む。指標が高い領域がフレームに点在していても、領域選択部２０２は、フレームに点在する領域（対象画像の領域と変形画像の領域）を含む領域を選択する。
　そして、画像合成部２０４は、選択された領域において、対象画像に加え、変形画像を用いて合成画像を作成する。そのため、情報処理装置２００は、動画像において、指標が所定の値となる領域（例えば、重要領域）がフレームに点在しても、それらの領域を用いた合成画像を生成することができる。
　さらに、情報処理装置２００は、指標合成部２０３と指標変更部２０７を含む。指標合成部２０３は、ラベルと、対象指標と、変更指標とを基に、合成指標を算出する。そして、指標変更部２０７は、位置ずれ量を基に、合成指標を変更して、後フレーム用の更新指標を算出する。情報処理装置２００は、これらの構成を用いて、後フレームの動作に必要となる更新指標を算出する。ただし、情報処理装置２００は、指標算出部２０１を用いて、変形画像から更新指標を算出してもよい。
　さらに、情報処理装置２００は、画像取得部２０８と、画像出力部２０９とを含む。情報処理装置２００は、これらの構成を用いて、外部から動画像を取得し、所定の装置に合成画像を出力することができる。
　ただし、情報処理装置２００は、図示しない記憶部を含み、その記憶部から動画像を取得してもよく、対象合成画像をその記憶部に保存してもよい。この場合、情報処理装置２００は、画像取得部２０８及び／又は画像出力部２０９を含まなくてもよい。
　［実施形態の概要］
　図面を参照して第１の実施形態の概要を説明する。
　図５は、第１の実施形態の概要である情報処理装置２５０の構成の一例を示すブロック図である。
　情報処理装置２５０は、指標算出部２０１と、領域選択部２０２と、画像合成部２０４と、位置ずれ算出部２０５と、画像変形部２０６とを含む。情報処理装置２５０は、性質の異なる複数の動画像を用いる。指標算出部２０１は、画像の画素において、所定の領域を選択するための指標を算出する。位置ずれ算出部２０５は、現フレーム（第１の時刻）における対象画像（第１の画像）と、現フレーム（第１の時刻）より前の時刻である前フレーム（第２の時刻）における事前合成画像（第１の合成画像）との間における位置ずれ量を算出する。画像変形部２０６は、位置ずれ量を基に、事前合成画像（第１の合成画像）を変形して変形画像（第２の合成画像）を生成する。領域選択部２０２は、対象画像（第１の画像）における対象指標（第１の指標）が所定の条件を満たす第１の領域と、変形画像（第２の合成画像）における変更指標（第２の指標）が所定の条件を満たす第２の領域とを示すラベル（第１の情報）を生成する。画像合成部２０４は、対象画像（第１の画像）と、変形画像（第２の合成画像）と、ラベル（第１の情報）とを基に、第１の時刻における対象合成画像（第３の合成画像）を合成する。
　このように構成された情報処理装置２５０は、情報処理装置２００と同様に、動画像においてフレームに点在する重要領域を用いて画像を合成するとの効果を奏する。
　その理由は、情報処理装置２５０における構成が、上記のとおり動作し、情報処理装置２００と同様に、動画像においてフレームに点在する所定の領域を用いて画像を合成するためである。
　なお、情報処理装置２５０は、第１の実施形態の最小構成である。
　［ハードウェアの説明］
　情報処理装置２００を参照して、情報処理装置２００及び２５０のハードウェアの構成について説明する。
　情報処理装置２００は、次のように構成される。
　例えば、情報処理装置２００の各構成部は、ハードウェア回路で構成されてもよい。
　あるいは、情報処理装置２００において、各構成部は、ネットワークを介して接続した複数の装置を用いて、構成されてもよい。
　あるいは、情報処理装置２００において、複数の構成部は、１つのハードウェアで構成されてもよい。
　あるいは、情報処理装置２００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）とを含むコンピュータ装置として実現されてもよい。情報処理装置２００は、上記構成に加え、さらに、入出力接続回路（ＩＯＣ：Ｉｎｐｕｔ　ａｎｄ　Ｏｕｔｐｕｔ　Ｃｉｒｃｕｉｔ）を含むコンピュータ装置として実現されてもよい。情報処理装置２００は、上記構成に加え、さらに、ネットワークインターフェース回路（ＮＩＣ：Ｎｅｔｗｏｒｋ　Ｉｎｔｅｒｆａｃｅ　Ｃｉｒｃｕｉｔ）を含むコンピュータ装置として実現されてもよい。
　図６は、第１の実施形態に係る情報処理装置２００のハードウェア構成の一例である情報処理装置６００の構成を示すブロック図である。
　情報処理装置６００は、ＣＰＵ６１０と、ＲＯＭ６２０と、ＲＡＭ６３０と、内部記憶装置６４０と、ＩＯＣ６５０と、ＮＩＣ６８０とを含み、コンピュータ装置を構成している。
　ＣＰＵ６１０は、ＲＯＭ６２０からプログラムを読み込む。そして、ＣＰＵ６１０は、読み込んだプログラムに基づいて、ＲＡＭ６３０と、内部記憶装置６４０と、ＩＯＣ６５０と、ＮＩＣ６８０とを制御する。そして、ＣＰＵ６１０を含むコンピュータは、これらの構成を制御し、図１に示されている、各構成としての各機能を実現する。各構成とは、指標算出部２０１と、領域選択部２０２と、指標合成部２０３と、画像合成部２０４と、位置ずれ算出部２０５と、画像変形部２０６と、指標変更部２０７と、画像取得部２０８と、画像出力部２０９とである。
　あるいは、情報処理装置２００は、ハードウェアとソフトウェア（プログラム）との組合せを用いて構成されてもよい。
　そのプログラムは、コンピュータで読み取り可能にプログラムを記憶した記録媒体７００に記録されて頒布されてもよい。この場合、ＣＰＵ６１０は、記録媒体７００が含むプログラムを、図示しない記録媒体読み取り装置を用いてＲＡＭ６３０又は内部記憶装置６４０に読み込み、読みこんだプログラムを基に動作すればよい。
　記録媒体７００は、例えば、オプティカルディスク、交換型磁気ディスク、又は、交換型半導体メモリである。
　あるいは、ＣＰＵ６１０は、ＮＩＣ６８０を介して、図示しない外部の装置からプログラムを受け取り、ＲＡＭ６３０又は内部記憶装置６４０に保存して、保存したプログラムを基に動作してもよい。
　ＣＰＵ６１０は、各機能を実現する際に、ＲＡＭ６３０又は内部記憶装置６４０を、プログラムの一時記憶媒体として使用してもよい。
　ＲＯＭ６２０は、ＣＰＵ６１０が実行するプログラム及び固定的なデータを記憶する。ＲＯＭ６２０は、例えば、Ｐ－ＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ－ＲＯＭ）又はフラッシュＲＯＭである。
　ＲＡＭ６３０は、ＣＰＵ６１０が実行するプログラム及びデータを一時的に記憶する。ＲＡＭ６３０は、例えば、Ｄ－ＲＡＭ（Ｄｙｎａｍｉｃ－ＲＡＭ）である。
　内部記憶装置６４０は、情報処理装置６００が長期的に保存するデータ及びプログラムを記憶する。また、内部記憶装置６４０は、ＣＰＵ６１０の一時記憶装置として動作してもよい。内部記憶装置６４０は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、又はディスクアレイ装置である。
　ここで、ＲＯＭ６２０と内部記憶装置６４０は、不揮発性（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）の記録媒体である。一方、ＲＡＭ６３０は、揮発性（ｔｒａｎｓｉｔｏｒｙ）の記録媒体である。そして、ＣＰＵ６１０は、ＲＯＭ６２０、内部記憶装置６４０、又は、ＲＡＭ６３０に記憶されているプログラムを基に動作可能である。つまり、ＣＰＵ６１０は、不揮発性記録媒体又は揮発性記録媒体を用いて動作可能である。
　ＩＯＣ６５０は、ＣＰＵ６１０と、入力機器６６０及び表示機器６７０とのデータを仲介する。ＩＯＣ６５０は、例えば、ＩＯインターフェースカード又はＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）カードである。さらに、ＩＯＣ６５０は、ＵＳＢのような有線に限らず、無線を用いてもよい。
　入力機器６６０は、情報処理装置６００の操作者からの入力指示を受け取る機器である。入力機器６６０は、例えば、キーボード、マウス又はタッチパネルである。情報処理装置６００は、入力機器６６０を含んでもよい。この場合、入力機器６６０は、画像取得部２０８として動作してもよい。
　表示機器６７０は、情報処理装置６００の操作者に情報を表示する機器である。表示機器６７０は、例えば、液晶ディスプレイである。情報処理装置６００は、表示機器６７０を含んでもよい。この場合、表示機器６７０は、画像出力部２０９として動作してもよい。
　ＮＩＣ６８０は、ネットワークを介した図示しない外部の装置とのデータのやり取りを中継する。ＮＩＣ６８０は、例えば、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）カードである。さらに、ＮＩＣ６８０は、有線に限らず、無線を用いてもよい。ＮＩＣ６８０は、画像取得部２０８及び／又は画像出力部２０９として動作してもよい。
　このように構成された情報処理装置６００は、情報処理装置２００と同様の効果を得ることができる。
　その理由は、情報処理装置６００のＣＰＵ６１０が、プログラムに基づいて情報処理装置２００と同様の機能を実現できるためである。
　［システムの説明］
　図面を参照して、情報処理装置２００を含む情報処理システム３００を説明する。
　図７は、第１の実施形態に係る情報処理システム３００の構成の一例を示すブロック図である。
　情報処理システム３００は、情報処理装置２００と、画像表示装置３１０とを含む。
　情報処理装置２００は、外部の装置から動画像を取得する。そして、情報処理装置２００は、上記の動作を基に合成画像を生成する。外部の装置は任意である。図７は、外部の装置の例示として、動画像を撮影する撮像装置、及び、動画像を保存している画像記録装置を示している。
　そして、情報処理装置２００は、生成した合成画像（対象合成画像）を画像表示装置３１０に送信する。
　画像表示装置３１０は、受信した合成画像を表示する。
　合成画像は、動画像においてフレームに点在する所定の領域（例えば、重要領域）を合成した画像である。そのため、重要領域がフレームに点在する場合でも、情報処理システム３００の利用者は、画像表示装置３１０に表示された合成画像を用いて、動画像における重要領域を確認することができる。
　なお、本発明の具体的な構成は前述の実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１７年　８月２９日に出願された日本出願特願２０１７－１６４２２５を基礎とする優先権を主張し、その開示のすべてをここに取り込む。
　２００　　情報処理装置
　２０１　　指標算出部
　２０２　　領域選択部
　２０３　　指標合成部
　２０４　　画像合成部
　２０５　　位置ずれ算出部
　２０６　　画像変形部
　２０７　　指標変更部
　２０８　　画像取得部
　２０９　　画像出力部
　２５０　　情報処理装置
　３００　　情報処理システム
　３１０　　画像表示装置
　６００　　情報処理装置
　６１０　　ＣＰＵ
　６２０　　ＲＯＭ
　６３０　　ＲＡＭ
　６４０　　内部記憶装置
　６５０　　ＩＯＣ
　６６０　　入力機器
　６７０　　表示機器
　６８０　　ＮＩＣ
　７００　　記録媒体

Claims (8)

  1. 　画像の画素において、所定の領域を選択するための指標を算出する指標算出手段と、
    　性質の異なる複数の動画像の第１の時刻における第１の画像と、前記第１の時刻より前の時刻である第２の時刻における第１の合成画像との間における位置ずれ量を算出する位置ずれ算出手段と、
    　前記位置ずれ量を基に、前記第１の合成画像を変形して第２の合成画像を生成する画像変形手段と、
    　前記第１の画像における第１の指標が所定の条件を満たす第１の領域と、前記第２の合成画像における第２の指標が所定の条件を満たす第２の領域とを示す第１の情報を生成する領域選択手段と、
    　前記第１の画像と、前記第２の合成画像と、前記第１の情報とを基に、前記第１の時刻における第３の合成画像を合成する画像合成手段と
    　を含む情報処理装置。
  2. 　前記位置ずれ算出手段が、
    　前記位置ずれ量として、１つ又は複数の前記第１の画像と前記第１の合成画像との間の前記位置ずれ量、又は、前記第１の画像を基に合成された第４の合成画像と前記第１の合成画像との間の前記位置ずれ量を算出する
    　請求項１に記載の情報処理装置。
  3. 　前記第１の画像における前記第１の指標と前記第２の指標とを基に第３の指標を合成する指標合成手段と
    　前記位置ずれ量を基に、前記第３の指標を変更して、前記第１の時刻より後の時刻である第３の時刻における前記第２の指標を算出する指標変更手段と、
    　をさらに含む請求項１又は２に記載の情報処理装置。
  4. 　前記指標算出手段が、
    　所定の訓練画像と前記訓練画像における学習対象領域を示す情報とを用いた機械学習の結果を基に用いる
    　請求項１ないし３のいずれか１項に記載の情報処理装置。
  5. 　前記指標が、画像における視認性、判読性、又は、可読性に関連する画像コントラスト、エッジの強度、及び、周波数の少なくとも一つを含む
    　請求項１に記載の情報処理装置。
  6. 　請求項１ないし５のいずれか１項に記載の前記情報処理装置と、
    　前記情報処理装置から前記第３の合成画像を受信して表示する表示装置と
    　を含む情報処理システム。
  7. 　画像の画素において、所定の領域を選択するための指標を算出し、
    　性質の異なる複数の動画像の第１の時刻における第１の画像と、前記第１の時刻より前の時刻である第２の時刻における第１の合成画像との間における位置ずれ量を算出し、
    　前記位置ずれ量を基に、前記第１の合成画像を変形して第２の合成画像を生成し、
    　前記第１の画像における第１の指標が所定の条件を満たす第１の領域と、前記第２の合成画像における第２の指標が所定の条件を満たす第２の領域とを示す第１の情報を生成し、
    　前記第１の画像と、前記第２の合成画像と、前記第１の情報とを基に、前記第１の時刻における第３の合成画像を合成する
    　を含む情報処理方法。
  8. 　画像の画素において、所定の領域を選択するための指標を算出する処理と、
    　性質の異なる複数の動画像の第１の時刻における第１の画像と、前記第１の時刻より前の時刻である第２の時刻における第１の合成画像との間における位置ずれ量を算出する処理と、
    　前記位置ずれ量を基に、前記第１の合成画像を変形して第２の合成画像を生成する処理と、
    　前記第１の画像における第１の指標が所定の条件を満たす第１の領域と、前記第２の合成画像における第２の指標が所定の条件を満たす第２の領域とを示す第１の情報を生成する処理と、
    　前記第１の画像と、前記第２の合成画像と、前記第１の情報とを基に、前記第１の時刻における第３の合成画像を合成する処理と
    　をコンピュータに実行させるプログラムをコンピュータ読み取り可能に記録する記録媒体。
PCT/JP2018/030930 2017-08-29 2018-08-22 情報処理装置、情報処理方法、及び、記録媒体 WO2019044608A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019539403A JP6841335B2 (ja) 2017-08-29 2018-08-22 情報処理装置、情報処理方法、及び、プログラム
US16/637,560 US11055834B2 (en) 2017-08-29 2018-08-22 Information processing device, information processing method, and recording medium for processing synthesized images

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-164225 2017-08-29
JP2017164225 2017-08-29

Publications (1)

Publication Number Publication Date
WO2019044608A1 true WO2019044608A1 (ja) 2019-03-07

Family

ID=65525429

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/030930 WO2019044608A1 (ja) 2017-08-29 2018-08-22 情報処理装置、情報処理方法、及び、記録媒体

Country Status (3)

Country Link
US (1) US11055834B2 (ja)
JP (1) JP6841335B2 (ja)
WO (1) WO2019044608A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007266713A (ja) * 2006-03-27 2007-10-11 Fujifilm Corp 監視システム、監視方法、及びプログラム
JP2010118917A (ja) * 2008-11-13 2010-05-27 Sony Corp 撮像装置、画像処理装置、画像処理方法およびプログラム
JP2011242134A (ja) * 2010-05-14 2011-12-01 Sony Corp 画像処理装置、画像処理方法、プログラム、及び電子装置
JP2015104016A (ja) * 2013-11-26 2015-06-04 キヤノン株式会社 被写体検出装置、撮像装置、被写体検出装置の制御方法、被写体検出装置の制御プログラムおよび記憶媒体
JP2016032289A (ja) * 2014-07-25 2016-03-07 日本電気株式会社 画像合成システム、画像合成方法、画像合成プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4597087B2 (ja) 2006-03-30 2010-12-15 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
JP2010004118A (ja) * 2008-06-18 2010-01-07 Olympus Corp デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体
KR101665130B1 (ko) * 2009-07-15 2016-10-25 삼성전자주식회사 복수의 인물에 대한 이미지 생성 장치 및 방법
KR101926490B1 (ko) * 2013-03-12 2018-12-07 한화테크윈 주식회사 이미지 처리 장치 및 방법
US10404969B2 (en) * 2015-01-20 2019-09-03 Qualcomm Incorporated Method and apparatus for multiple technology depth map acquisition and fusion

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007266713A (ja) * 2006-03-27 2007-10-11 Fujifilm Corp 監視システム、監視方法、及びプログラム
JP2010118917A (ja) * 2008-11-13 2010-05-27 Sony Corp 撮像装置、画像処理装置、画像処理方法およびプログラム
JP2011242134A (ja) * 2010-05-14 2011-12-01 Sony Corp 画像処理装置、画像処理方法、プログラム、及び電子装置
JP2015104016A (ja) * 2013-11-26 2015-06-04 キヤノン株式会社 被写体検出装置、撮像装置、被写体検出装置の制御方法、被写体検出装置の制御プログラムおよび記憶媒体
JP2016032289A (ja) * 2014-07-25 2016-03-07 日本電気株式会社 画像合成システム、画像合成方法、画像合成プログラム

Also Published As

Publication number Publication date
US20200219241A1 (en) 2020-07-09
US11055834B2 (en) 2021-07-06
JP6841335B2 (ja) 2021-03-10
JPWO2019044608A1 (ja) 2020-07-16

Similar Documents

Publication Publication Date Title
KR102480245B1 (ko) 패닝 샷들의 자동 생성
US8941750B2 (en) Image processing device for generating reconstruction image, image generating method, and storage medium
KR101489048B1 (ko) 촬상 장치, 화상 처리 방법 및 프로그램을 기록하기 위한 기록 매체
US20200175663A1 (en) Image processing system, server apparatus, image processing method, and image processing program
JP7070417B2 (ja) 画像処理装置および方法
CN106576159A (zh) 一种获取深度信息的拍照设备和方法
KR101601263B1 (ko) 비동기 센서들에 요구하는 씬의 3ｄ 재구성 방법
US9218688B2 (en) Animatable graphics lighting analysis reporting
JP2020028096A (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
CN108053438A (zh) 景深获取方法、装置及设备
US9436996B2 (en) Recording medium storing image processing program and image processing apparatus
JP2012185684A (ja) 対象物検出装置、対象物検出方法
JP2015026880A (ja) 撮像装置
JP2015035782A (ja) 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム
JP6841335B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP2019532319A (ja) 合成ユーザ・インタフェース
JP2017073642A (ja) 情報処理装置、情報処理方法及びプログラム
CN106412562A (zh) 三维场景中显示立体内容的方法及其系统
JP5086120B2 (ja) 奥行き情報取得方法、奥行き情報取得装置、プログラムおよび記録媒体
US9495796B2 (en) Animatable graphics lighting analysis reporting
WO2013186960A1 (ja) 画像データ処理装置及び画像データ処理方法
JP2005164832A (ja) 立体視画像生成装置および方法並びにプログラム
JP7384225B2 (ja) 行列解析装置、制御方法、及びプログラム
US20230230561A1 (en) Transmissive display apparatus and image combining method therein
JP2020197926A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18851329

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019539403

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18851329

Country of ref document: EP

Kind code of ref document: A1